KR20180059233A - 멀티 렌즈 기반의 촬영 장치 및 방법 - Google Patents

멀티 렌즈 기반의 촬영 장치 및 방법 Download PDF

Info

Publication number
KR20180059233A
KR20180059233A KR1020160158539A KR20160158539A KR20180059233A KR 20180059233 A KR20180059233 A KR 20180059233A KR 1020160158539 A KR1020160158539 A KR 1020160158539A KR 20160158539 A KR20160158539 A KR 20160158539A KR 20180059233 A KR20180059233 A KR 20180059233A
Authority
KR
South Korea
Prior art keywords
sensing
lenses
lens array
matrix
sensing information
Prior art date
Application number
KR1020160158539A
Other languages
English (en)
Other versions
KR102646437B1 (ko
Inventor
조양호
남동경
황효석
정영주
허진구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160158539A priority Critical patent/KR102646437B1/ko
Priority to US15/609,936 priority patent/US10187627B2/en
Priority to EP17181576.4A priority patent/EP3328058B1/en
Priority to CN201710800048.4A priority patent/CN108111714B/zh
Priority to JP2017224796A priority patent/JP7039265B2/ja
Publication of KR20180059233A publication Critical patent/KR20180059233A/ko
Priority to US16/252,873 priority patent/US10652518B2/en
Priority to US16/844,433 priority patent/US11064183B2/en
Application granted granted Critical
Publication of KR102646437B1 publication Critical patent/KR102646437B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H04N5/2254—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0085—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing wafer level optics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/005—Arrays characterized by the distribution or form of lenses arranged along a single direction only, e.g. lenticular sheets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/23212—
    • H04N5/23232—
    • H04N5/335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Lenses (AREA)

Abstract

멀티 렌즈 기반의 촬영 장치 및 방법이 개시된다. 일 실시예에 따른 촬영 장치는 렌즈 어레이 및 센서를 포함한다. 센서의 적어도 일부의 센싱 픽셀들은 상기 렌즈 어레이의 서로 다른 렌즈들을 통해 입사되는 빛에 기초하여 센싱 정보를 생성하고, 각 센싱 픽셀에 입사되는 빛은 모두 상이한 조합의 시점들에 대응한다.

Description

멀티 렌즈 기반의 촬영 장치 및 방법{CAPTUREING APPARATUS AND METOHD BASED ON MULTI LENS}
아래 실시예들은 멀티 렌즈 기반의 촬영 장치 및 방법에 관한 것이다.
광학 기술 및 영상 처리 기술의 발달로 인해, 멀티미디어 컨텐츠, 보안 및 인식 등 광범위한 분야에 촬영 장치가 활용되고 있다. 예를 들어, 촬영 장치는 모바일 기기, 카메라, 차량 및 컴퓨터 등에 탑재되어, 영상을 촬영하거나, 객체를 인식하거나, 기기를 제어하기 위한 데이터를 획득할 수 있다. 촬영 장치의 부피는 렌즈의 사이즈, 렌즈의 초점 거리(focal length) 및 센서의 사이즈 등에 의해 결정될 수 있다. 예를 들어, 렌즈의 사이즈와 센서의 사이즈에 기반하여 촬영 장치의 부피가 조절될 수 있다. 센서의 사이즈가 감소함에 따라, 센서에 입사되는 광량이 감소할 수 있다. 이에 따라, 영상의 해상도가 낮아지거나, 저조도 환경에서의 촬영이 어려울 수 있다. 촬영 장치의 부피를 감소시키기 위해, 소형 렌즈들로 구성된 멀티 렌즈가 이용될 수 있다. 렌즈의 사이즈가 감소할 경우, 렌즈의 초점 거리가 줄어들 수 있다. 따라서, 멀티 렌즈를 통해 촬영 장치의 부피가 감소할 수 있다.
일 실시예에 따르면, 촬영 장치는 렌즈 어레이 및 센서를 포함하고, 상기 센서의 적어도 일부의 센싱 픽셀은 상기 렌즈 어레이의 서로 다른 렌즈들을 통해 입사되는 빛에 기초하여 센싱 정보를 생성하며, 상기 센서의 각 센싱 픽셀에 입사되는 빛은 모두 상이한 조합의 시점들에 대응한다.
상기 센서 내 센싱 픽셀들의 수와 상기 렌즈 어레이 내 렌즈들의 수는 서로 소(relatively prime)이고, 상기 센싱 픽셀들의 수와 상기 렌즈들의 수의 비는 정수가 아닌 실수일 수 있다. 상기 센싱 픽셀들과 상기 시점들 사이의 대응 관계를 지시하는 행렬은 완전 랭크(full rank)를 가질 수 있다.
상기 촬영 장치는 상기 센싱 정보, 및 상기 센싱 픽셀들과 상기 시점들 사이의 대응 관계를 기초로 결정된 변환 행렬을 이용하여, 촬영 영상을 생성하는 프로세서를 더 포함할 수 있다. 상기 프로세서는 상기 센싱 정보에 기초하여 센싱 정보 행렬을 생성하고, 상기 센싱 정보 행렬 및 상기 변환 행렬을 이용하여, 픽셀 값 행렬에 포함된 상기 시점들에 대응하는 픽셀 값들을 결정하고, 상기 픽셀 값들에 기초하여 상기 촬영 영상을 생성할 수 있다.
상기 렌즈 어레이의 초점 거리는 상기 렌즈 어레이에 포함된 렌즈들의 수에 기초하여 결정될 수 있다. 상기 렌즈 어레이에 포함된 렌즈들의 수가 증가할수록, 상기 렌즈 어레이의 초점 거리는 짧아질 수 있다. 예를 들어, 동일한 시야각 범위를 촬영할 경우, 동일한 면적 내 렌즈들의 개수가 증가하면 개별 렌즈의 사이즈가 감소되고, 감소된 개별 렌즈의 사이즈에 비례하여 초점 거리가 감소될 수 있다.
일 실시예에 따르면, 촬영 방법은 센싱 픽셀들로부터 센싱 정보를 획득하는 단계; 및 상기 센싱 정보에 기초하여 촬영 영상을 생성하는 단계를 포함하고, 상기 센싱 픽셀들의 적어도 일부의 센싱 픽셀은 렌즈 어레이의 서로 다른 렌즈들을 통해 입사되는 빛에 기초하여 상기 센싱 정보를 생성하며, 각 센싱 픽셀에 입사되는 빛은 모두 상이한 조합의 시점들에 대응할 수 있다.
촬영 영상을 생성하는 단계는 상기 센싱 정보, 및 상기 센싱 픽셀들과 상기 시점들의 사이의 대응 관계를 기초로 결정된 변환 행렬을 이용하여, 촬영 영상을 생성하는 단계를 포함할 수 있다. 촬영 영상을 생성하는 단계는 상기 센싱 정보에 기초하여 센싱 정보 행렬을 생성하는 단계; 상기 센싱 정보 행렬 및 상기 변환 행렬을 이용하여, 픽셀 값 행렬에 포함된 상기 시점들에 대응하는 픽셀 값들을 결정하는 단계; 및 상기 픽셀 값들에 기초하여 상기 촬영 영상을 생성하는 단계를 포함할 수 있다.
다른 실시예에 따르면, 촬영 장치는 프로세서 및 컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리를 포함하고, 상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 센싱 픽셀들로부터 센싱 정보를 획득하고, 상기 센싱 정보에 기초하여 촬영 영상을 생성하고, 상기 센싱 정보는 렌즈 어레이의 서로 다른 렌즈들을 통해 입사되는 빛에 기초하여 상기 센싱 픽셀들의 적어도 일부의 센싱 픽셀에 의해 생성되며, 각 센싱 픽셀에 입사되는 빛은 모두 상이한 조합의 시점들에 대응한다.
도 1은 일 실시예에 따른 촬영 장치를 나타낸 도면.
도 2는 일 실시예에 따른 렌즈 사이즈의 영향을 나타낸 도면.
도 3은 일 실시예에 따른 렌즈 어레이에 의해 센싱 픽셀에 입사되는 빛을 나타낸 도면.
도 4는 다른 실시예에 따른 렌즈 어레이에 의해 센싱 픽셀에 입사되는 빛을 나타낸 도면.
도 5는 일 실시예에 따른 렌즈들의 수와 초점 거리의 관계를 나타낸 도면.
도 6은 일 실시예에 따른 렌즈 어레이 및 센서의 단면을 나타낸 도면.
도 7은 일 실시예에 따른 핀홀 마스크 및 센서의 단면을 나타낸 도면.
도 8은 일 실시예에 따른 모바일 기기를 나타낸 도면.
도 9는 일 실시예에 따른 휘어진 렌즈 어레이를 나타낸 도면.
도 10은 일 실시예에 따른 스마트 차량을 나타낸 도면.
도 11은 일 실시예에 따른 촬영 장치를 나타낸 블록도.
도 12는 일 실시예에 따른 촬영 방법을 나타낸 동작 흐름도.
본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 촬영 장치를 나타낸 도면이다.
일 실시예에 따른 촬영 장치를 설명하기에 앞서, 촬영 장치에 의하여 촬영되는 영상의 품질 및 촬영 장치의 부피를 결정하는 요소들을 간략하게 설명한다.
촬영 장치에 의하여 촬영되는 영상의 품질은 센서에 포함된 센싱 픽셀들의 수, 및 센싱 픽셀에 입사되는 광량에 의하여 결정될 수 있다. 예를 들어, 영상의 해상도는 센서에 포함된 센싱 픽셀들의 수에 의하여 결정되고, 영상의 감도는 센싱 픽셀에 입사되는 광량에 의하여 결정될 수 있다. 센싱 픽셀에 입사되는 광량은 센싱 픽셀의 사이즈에 기초하여 결정될 수 있다. 센싱 픽셀의 사이즈가 클수록 센싱 픽셀에 입사되는 광량은 증가할 수 있고, 센서의 동적 범위(dynamic range)가 증가할 수 있다. 따라서, 센서에 포함된 센싱 픽셀들의 수가 증가함에 따라 센서는 고해상도 영상을 촬영할 수 있고, 센싱 픽셀의 사이즈가 증가함에 따라 센서는 저조도에서 고감도 영상 촬영에 유리하게 작동할 수 있다.
촬영 장치의 부피는 렌즈의 초점 거리(focal length)에 의하여 결정될 수 있다. 보다 구체적으로, 촬영 장치의 부피는 렌즈와 센서 사이의 간격에 의하여 결정되는데, 렌즈에 의하여 굴절된 빛을 수집하기 위하여 센서는 렌즈의 초점 거리에 위치해야 하므로 촬영 장치에 포함된 렌즈와 센서는 렌즈의 초점 거리만큼 이격되어 배치되어야 하기 때문이다. 렌즈의 초점 거리는 촬영 장치의 시야각과 렌즈의 사이즈(예를 들어, 렌즈의 구경의 반지름)에 의하여 결정된다. 예를 들어, 시야각이 고정될 경우 렌즈의 사이즈에 비례하여 초점 거리가 길어진다. 또한, 렌즈의 사이즈는 센서의 사이즈에 기초하여 결정될 수 있다. 예를 들어, 일정한 시야각 범위의 영상을 촬영하기 위해서는, 센서의 사이즈가 증가함에 따라 렌즈의 사이즈가 증가되어야 한다.
전술한 바에 의하면, 시야각 및 영상의 해상도를 유지하면서 영상의 감도를 증가시키려면, 촬영 장치의 부피가 증가된다. 예를 들어, 영상의 해상도를 유지하면서 영상의 감도를 증가시키려면, 센서에 포함된 센싱 픽셀들의 수를 유지하면서 각 센싱 픽셀의 사이즈를 증가시켜야 하므로 센서의 사이즈가 증가된다. 이 때, 시야각을 유지하려면, 센서의 사이즈가 증가함에 따라 렌즈의 사이즈가 증가하며 렌즈의 초점 거리가 길어지므로, 촬영 장치의 부피가 증가된다.
촬영 장치의 부피를 감소시키기 위해, 센서의 해상도를 유지하면서 센싱 픽셀의 사이즈를 감소시키거나, 센싱 픽셀의 사이즈를 유지하면서 센서의 해상도를 감소시키는 설계 방법들이 고려될 수 있다. 다만, 센서의 해상도를 유지하면서 센싱 픽셀의 사이즈를 감소시키는 경우, 센서의 사이즈가 감소하고 렌즈의 초점 거리가 짧아져 촬영 장치의 부피를 감소시킬 수 있으나, 영상의 감도가 저하된다. 이 경우, 저조도 화질이 감소될 수 있다. 또한, 센싱 픽셀의 사이즈를 유지하면서 센서의 해상도를 감소시키는 경우, 센서의 사이즈가 감소하고 렌즈의 초점 거리가 짧아져 촬영 장치의 부피를 감소시킬 수 있으나, 영상의 해상도가 저하된다.
아래에서 설명하는 실시예들은 원하는 시야각, 해상도, 및 감도를 만족시키면서, 촬영 장치의 부피를 감소시키는 기술을 제공한다. 도 1을 참조하면, 촬영 장치는 렌즈 어레이(110) 및 센서(120)를 포함한다. 렌즈 어레이(110)는 렌즈들을 포함하고, 센서(120)는 센싱 픽셀들을 포함한다.
일 실시예에 따르면, 렌즈 어레이(110)에 포함된 렌즈들 각각의 사이즈를 감소시킬수록, 다시 말해 동일한 넓이에 포함되는 렌즈들의 수를 증가시킬수록 렌즈의 초점 거리는 작아질 수 있고, 촬영 장치의 두께는 감소할 수 있다. 이 경우 각 렌즈 어레이에서 촬영된 저해상도 영상들을 조합하여 원본 고해상도 영상을 복원할 수 있다. 따라서, 렌즈 어레이(110)에 포함된 렌즈들을 분할함으로써, 박형 카메라(thin camera)가 구현될 수 있다.
렌즈 어레이(110)의 개별 렌즈는 자신의 사이즈에 대응하는 센서(120)의 일정 영역을 커버할 수 있다. 다시 말해, 해당 영역에 포함된 센서(120)의 센싱 픽셀들에는 해당 개별 렌즈를 통과한 빛이 입사될 수 있다. 센서(120)의 센싱 픽셀들 각각은 렌즈 어레이(110)의 렌즈들을 통과한 빛에 기초하여 센싱 정보를 생성할 수 있다. 예를 들어, 센싱 픽셀(121) 및 센싱 픽셀(122)은 렌즈(111)를 통해 입사되는 빛에 기초하여 센싱 정보를 생성할 수 있고, 센싱 픽셀(123)은 렌즈(111) 및 렌즈(112)를 통해 입사되는 빛에 기초하여 센싱 정보를 생성할 수 있다. 촬영 장치는 센서(120)에서 출력된 센싱 정보에 기초하여, 촬영 장치의 시야에 포함된 시점들에 관한 픽셀 값들을 결정하고, 결정된 픽셀 값들에 기초하여 촬영 영상을 생성할 수 있다. 이 때, 센싱 정보의 다양성에 따라 식별 가능한 시점들의 수가 결정될 수 있다. 센싱 정보가 다양할수록 식별 가능한 시점들의 수는 증가할 수 있고, 촬영 영상의 해상도는 증가할 수 있다.
센싱 정보의 다양성은 각 센싱 픽셀에 입사되는 빛이 표현하는 시점들의 조합에 기초하여 결정될 수 있다. 예를 들어, 센싱 픽셀들(121 내지 123)에 제1 시점에 대응하는 빛이 입사되는 경우에 비해, 센싱 픽셀들(121 내지 123)에 제1 시점 내지 제3 시점에 대응하는 빛이 제공되는 경우에, 센싱 정보의 다양성은 증가할 수 있다.
센싱 정보의 다양성이 충분히 확보되어, 촬영 장치의 시야에 포함된 시점들에 대응하는 픽셀 값들과 센싱 정보 사이에 완전 랭크(full rank) 관계가 형성될 때, 센서(120)의 최대 해상도에 대응하는 촬영 영상이 도출될 수 있다. 센싱 정보의 다양성은 렌즈 어레이(110)에 포함된 렌즈들의 수 및 센서(120)에 포함된 센싱 픽셀들의 수와 같은 촬영 장치의 파라미터들에 기초하여 확보될 수 있다.
도 2는 일 실시예에 따른 렌즈 사이즈의 영향을 나타낸 도면이다. 도 2를 참조하면, 렌즈(210)에 의한 시야와 렌즈들(230)에 의한 시야는 동일하고, 렌즈들(230)의 수는 렌즈(210)의 수의 3배이다. 이 경우, 렌즈들(230)의 초점 거리는 렌즈(210)의 초점 거리의 1/3로 감소할 수 있다.
센싱 픽셀들(A1 내지 A9)에는 렌즈(210)를 통해 빛이 입사된다. 센싱 픽셀들(A1 내지 A9)에는 촬영 장치의 시야에 포함된 시점들(X1 내지 X9)에 대응하는 빛이 고르게 입사된다. 예를 들어, 센싱 픽셀(A5)에는 시점(X5)에 대응하는 빛이 입사된다. 따라서, 센싱 픽셀(A5)에서 출력된 센싱 정보에 기초하여, 시점(X5)에 대응하는 픽셀 값이 복원될 수 있다.
센싱 픽셀들(B1 내지 B9)에는 렌즈들(230)를 통해 빛이 입사된다. 센싱 픽셀들(B1 내지 B9)에는 시야에 포함된 시점들(X1 내지 X9)에 대응하는 빛이 중첩적으로 입사된다. 예를 들어, 센싱 픽셀(B5)에는 시점들(X4 내지 X6)에 대응하는 빛이 입사된다. 따라서, 센싱 픽셀(B5)에서 출력된 센싱 정보에 기초하여, 시점들(X4 내지 X6)에 대응하는 픽셀 값이 복원될 수 있다.
렌즈(210)가 이용되는 경우, 렌즈(230)가 이용되는 경우에 비해 시점들을 세밀하게 식별할 수 있다. 다시 말해, 렌즈(210)에 의한 촬영 영상의 해상도가 렌즈(230)에 의한 촬영 영상의 해상도에 비해 높을 수 있다. 따라서, 멀티 렌즈가 이용되는 경우, 촬영 장치의 파라미터들을 적절하게 조절하여 해상도의 저하를 막는 것이 필요하다.
도 3은 일 실시예에 따른 렌즈 어레이에 의해 센싱 픽셀에 입사되는 빛을 나타낸 도면이다. 도 3을 참조하면, 센싱 픽셀들(S1 내지 S9)에는 렌즈들(310)을 통해 빛이 입사된다.
센싱 픽셀들(S1 내지 S3), 센싱 픽셀들(S4 내지 S6) 및 센싱 픽셀들(S7 내지 S9)은 중첩적인 센싱 정보를 생성한다. 따라서, 촬영 장치가 도 3에 도시된 구조로 구현될 경우, 촬영 장치는 촬영 시점들(X1 내지 X9)에 대응하는 픽셀 값들을 모두 구할 수 없고, 최대 해상도보다 낮은 해상도로 촬영 영상을 복원하게 된다. 센싱 픽셀들(S1 내지 S9)에 의해 생성되는 센싱 정보는 수학식 1로 나타낼 수 있다.
Figure pat00001
수학식 1에서, I1 내지 I9은 센싱 픽셀들(S1 내지 S9)에 의해 생성된 센싱 정보를 나타내고, P1 내지 P9은 시점들(X1 내지 X9)에 대응하는 픽셀 값들을 나타낸다. 픽셀 값 행렬(P)을 센싱 정보 행렬(I)로 변환하는 변환 행렬(T)의 역 행렬(T -1)이 존재할 경우, 픽셀 값들(P1 내지 P9)을 모두 구할 수 있으므로, 센싱 정보(I1 내지 I9)로부터 최대 해상도의 촬영 영상을 복원할 수 있다. 변환 행렬(T)의 역 행렬이 존재하기 위해서는, 변환 행렬(T)가 완전 랭크를 가져야 한다. 따라서, 촬영 장치의 파라미터들은 변환 행렬(T)가 완전 랭크를 가지도록 조절될 수 있다.
도 4는 다른 실시예에 따른 렌즈 어레이에 의해 센싱 픽셀에 입사되는 빛을 나타낸 도면이다. 도 4를 참조하면, 센싱 픽셀들(S1 내지 S9)에는 렌즈들(410, 420)을 통해 빛이 입사된다.
모든 센싱 픽셀에 상이한 패턴의 빛이 입사됨에 따라, 변환 행렬(T)가 완전 랭크를 가질 수 있다. 다시 말해, 각 센싱 픽셀에 입사되는 빛이 모두 상이한 조합의 시점들에 대응함에 따라 변환 행렬(T)가 완전 랭크를 가질 수 있다. 예를 들어, 센싱 픽셀(S1)에 입사되는 빛은 시점들(X1, X2)의 조합에 대응하고, 센싱 픽셀(S2)에 입사되는 빛은 시점들(X3, X4)의 조합에 대응한다. 이와 같이, 센싱 픽셀들(S1 내지 S9)에 입사되는 빛은 모두 상이한 조합의 시점들(X1 내지 X9)에 대응한다. 센싱 픽셀들(S1 내지 S9)에 의해 생성되는 센싱 정보는 수학식 2로 나타낼 수 있다.
Figure pat00002
수학식 2에서, I1 내지 I9은 센싱 픽셀들(S1 내지 S9)에 의해 생성된 센싱 정보를 나타내고, P1 내지 P9은 시점들(X1 내지 X9)에 대응하는 픽셀 값들을 나타낸다. 수학식 2에 따라 서로 다른 관계식이 미지수에 해당하는 픽셀 값들(P1 내지 P9)의 수만큼 확보될 수 있다. 따라서, 수학식 2에서 변환 행렬(T)가 완전 랭크를 가지는 것으로 볼 수 있다.
촬영 장치는 픽셀 값 행렬(P)을 센싱 정보 행렬(I)로 변환하는 변환 행렬(T)의 역 행렬(T -1)을 구할 수 있다. 촬영 장치는 수학식 3에 기초하여 픽셀 값들(P1 내지 P9)을 모두 구할 수 있고, 픽셀 값들(P1 내지 P9)에 기초하여 최대 해상도의 촬영 영상을 복원할 수 있다.
Figure pat00003
역 행렬(T -1)은 센싱 픽셀들(S1 내지 S9)과 시점들(X1 내지 X9)의 대응 관계에 기초하여 결정되어, 촬영 장치에 미리 저장될 수 있다. 촬영 장치는 미리 저장된 역 행렬(T -1) 및 센싱 정보 행렬(I)에 기초하여 픽셀 값 행렬(P)을 결정할 수 있다.
도 4의 실시예처럼, 센싱 픽셀들이 9개고, 렌즈들이 2개면, 렌즈당 4.5개의 픽셀들에 빛을 제공한다. 만약, 센싱 픽셀들이 4001개고 렌즈들이 100개면, 렌즈당 40.01개의 픽셀들에 빛을 제공한다. 이 경우, 첫 번째 렌즈는 0 내지 40.01의 렌즈 오프셋을 커버하고, 두 번째 렌즈는 40.01 내지 80.02의 렌즈 오프셋을 커버하고, 세 번째 렌즈는 80.02 내지 120.03의 렌즈 오프셋을 커버한다. 마지막의 백 번째 렌즈는 3960.99 내지 4001의 렌즈 오프셋을 커버한다. 이와 같이, 센싱 픽셀들의 수와 렌즈들의 수가 서로 소(relatively prime)인 경우, 다시 말해 센싱 픽셀들의 수와 렌즈들의 수의 비가 정수가 아닌 실수인 경우에, 변환 행렬(T)가 완전 랭크를 가질 수 있다.
센싱 픽셀들의 수와 렌즈들의 수가 서로 소이고, 센싱 픽셀들의 수와 렌즈들의 수의 비가 정수가 아닌 실수인 경우, 센서의 적어도 일부의 센싱 픽셀은 렌즈 어레이의 서로 다른 렌즈들을 통해 입사되는 빛에 기초하여 센싱 정보를 생성할 수 있다. 예를 들어, 센싱 픽셀(S5)은 렌즈(410)를 통해 입사되는 빛과 렌즈(420)를 통해 입사되는 빛에 기초하여 센싱 정보를 생성한다. 따라서, 센서의 적어도 일부의 센싱 픽셀이 렌즈 어레이의 서로 다른 렌즈들을 통해 입사되는 빛에 기초하여 센싱 정보를 생성할 경우, 변환 행렬(T)가 완전 랭크를 가질 수 있다.
따라서, 일 실시예에 따르면, 촬영 장치의 파라미터들은 모든 센싱 픽셀에 상이한 패턴의 빛이 입사되도록, 혹은 각 센싱 픽셀에 입사되는 빛이 모두 상이한 조합의 시점들에 대응하도록 결정될 수 있다. 또한, 촬영 장치의 파라미터들은 센서의 적어도 일부의 센싱 픽셀이 렌즈 어레이의 서로 다른 렌즈들을 통해 입사되는 빛에 기초하여 센싱 정보를 생성하도록 결정될 수 있다. 일 실시예에 따르면, 촬영 장치의 파라미터들은 센싱 픽셀들의 수 및 렌즈들의 수를 포함할 수 있다. 이 경우, 센싱 픽셀들의 수와 렌즈들의 수는 서로 소로 결정되거나, 센싱 픽셀들의 수와 렌즈들의 수의 비는 정수가 아닌 실수로 결정될 수 있다. 따라서, 실시예들에 따르면, 멀티 렌즈를 통해 최대 해상도의 촬영 영상이 도출될 수 있다.
도 5는 일 실시예에 따른 렌즈들의 수와 초점 거리의 관계를 나타낸 도면이다. 도 5를 참조하면, 렌즈들(530)의 수와 센싱 픽셀들(540)의 수, 렌즈들(550)의 수와 센싱 픽셀들(560)의 수, 및 렌즈들(570)의 수와 센싱 픽셀들(580)의 수는 각각 서로 소다. 따라서, 렌즈들(530, 550, 570) 및 센싱 픽셀들(540, 560, 580)에 의해 변환 행렬(T)가 완전 랭크를 가질 수 있다. 변환 행렬(T)가 완전 랭크를 가지는 경우, 촬영 장치가 적용되는 어플리케이션의 특성에 따라 렌즈 어레이의 초점 거리가 결정될 수 있다. 예를 들어, 카메라의 센서가 정해지고, 렌즈까지의 두께 목표치와 카메라의 시야각이 결정되면 렌즈 어레이의 개수가 결정될 수 있다.
도 5를 참조하면, 렌즈들(510, 530, 550, 570)에 의한 시야는 모두 동일하다. 이 경우, 렌즈들(510, 530, 550, 570)의 초점 거리와 렌즈들(510, 530, 550, 570)의 수는 반비례할 수 있다. 예를 들어, 렌즈들(530)의 수가 렌즈(510)의 수에 2배이므로, 렌즈들(530)의 초점 거리는 렌즈(510)의 초점 거리의 1/2이 될 수 있다. 마찬가지로, 렌즈들(550)의 초점 거리는 렌즈(510)의 초점 거리의 1/4이 될 수 있고, 렌즈들(570)의 초점 거리는 렌즈(510)의 초점 거리의 1/5이 될 수 있다. 따라서, 렌즈 어레이에 포함된 렌즈들의 수에 기초하여 렌즈 어레이의 초점 거리가 조절될 수 있다. 상술된 예시에서, 렌즈 어레이에 포함된 렌즈들의 수를 조절함으로써, 렌즈 어레이의 초점 거리를 짧게 하여 초박형 카메라를 만들 수 있다.
도 6은 일 실시예에 따른 렌즈 어레이 및 센서의 단면을 나타낸 도면이다. 도 6을 참조하면, L은 렌즈 어레이(610)에 포함된 렌즈들의 수를 나타내고, P는 센서(620)에 포함된 센싱 픽셀들의 수를 나타낸다. 따라서, P/L은 센싱 픽셀들의 수와 렌즈들의 수의 비를 나타낸다. 각각의 렌즈들은 P/L에 해당하는 픽셀 오프셋만큼의 센싱 픽셀들을 커버할 수 있다. 상술된 것처럼, P/L이 정수가 아닌 실수인 경우, 촬영 영상의 해상도는 최대화될 수 있다. 따라서, 촬영 장치의 설계 과정에서, P/L이 정수가 아닌 실수가 되도록 P 및 L 중 적어도 하나가 조절될 수 있다. 도 6에서 P는 37이고, L은 6이므로, 도 6의 실시예에 따라 촬영 영상의 해상도는 최대화될 수 있다.
도 7은 일 실시예에 따른 핀홀 마스크 및 센서의 단면을 나타낸 도면이다. 도 7을 참조하면, P는 센서(720)에 포함된 센싱 픽셀들의 수를 나타내고, H은 핀홀 마스크(pinhole mask)(610)에 포함된 핀홀들의 수를 나타낸다. 상술된 내용은 렌즈 이외의 광학계에 적용될 수 있다. 도 7은 렌즈 대신 핀홀이 적용된 실시예이다. P/H는 센싱 픽셀들의 수와 핀홀들의 수의 비를 나타낸다. 각각의 핀홀들은 P/H에 해당하는 픽셀 오프셋만큼의 센싱 픽셀들을 커버할 수 있다. 상술된 것과 유사하게, P/H가 정수가 아닌 실수인 경우, 촬영 영상의 해상도는 최대화될 수 있다. 따라서, 촬영 장치의 설계 과정에서, P/H가 정수가 아닌 실수가 되도록 P 및 H 중 적어도 하나가 조절될 수 있다. 도 6에서 P는 37이고, H는 6이다. 따라서, 도 7의 실시예에 따라 촬영 영상의 해상도는 최대화될 수 있다.
도 8은 일 실시예에 따른 모바일 기기를 나타낸 도면이다. 도 8을 참조하면, 모바일 기기(800)는 촬영 장치(810)를 포함한다. 모바일 기기(800)의 경우 부피를 감소시키는 것이 중요한 설계 요소 중에 하나이다. 도 8에는 모바일 기기(800)가 스마트 폰으로 도시되어 있으나, 모바일 기기(800)는 스마트 워치, 스마트 밴드 및 스마트 안경 등의 웨어러블 디바이스를 포함할 수 있다. 웨어러블 디바이스의 경우 부피는 더욱 중요한 요소일 수 있다. 상술된 것처럼, 촬영 장치(810)는 멀티 렌즈를 포함할 수 있고, 촬영 장치(810)의 두께는 멀티 렌즈에 포함된 개별 렌즈들의 수에 기초하여 조절될 수 있다. 따라서, 모바일 기기(800)는 촬영 장치(810)의 두께에 의한 부피의 제약으로부터 자유로워질 수 있다.
도 9는 일 실시예에 따른 휘어진 렌즈 어레이를 나타낸 도면이다. 상술된 것처럼, 렌즈 어레이는 복수의 렌즈들을 포함하므로, 렌즈들 사이의 체결 부위를 통해 휘어지도록 설계될 수 있다. 이 경우, 휘어진 렌즈 어레이(curved lens array)(910)는 휘어진 상태에서 각 센싱 픽셀에 입사되는 빛이 모두 상이한 조합의 시점들에 대응하도록 설계될 수 있다. 휘어진 렌즈 어레이(curved lens array)(910)는 휘어진 스마트 폰과 같은 휘어진 기기들에 이용될 수 있다.
도 10은 일 실시예에 따른 스마트 차량을 나타낸 도면이다. 도 10을 참조하면, 스마트 차량은 지점들(1010 내지 1030)에 촬영 장치를 포함할 수 있다. 촬영 장치의 두께는 멀티 렌즈에 포함된 개별 렌즈들의 수에 기초하여 조절될 수 있으므로, 디자인적인 측면이나 안전성 측면을 저해하지 않고 스마트 차량에 설치될 수 있다.
도 11은 일 실시예에 따른 촬영 장치를 나타낸 블록도이다. 도 11을 참조하면, 촬영 장치(1100)는 프로세서(1110) 및 메모리(1120)를 포함한다.
프로세서(1110)는 상술한 적어도 하나의 방법을 수행할 수 있다. 예를 들어, 프로세서(1110)는 상술된 촬영 동작을 처리할 수 있다. 보다 구체적으로, 프로세서(1110)는 센싱 픽셀들로부터 센싱 정보를 획득하고, 상기 센싱 정보에 기초하여 촬영 영상을 생성할 수 있다. 메모리(1120)는 컴퓨터에서 읽을 수 있는 명령어들을 저장할 수 있다. 메모리(1120)에 저장된 명령어들이 프로세서(1110)에서 실행되면, 프로세서(1110)는 상술된 촬영 동작을 처리할 수 있다. 또한, 메모리(1120)는 센싱 픽셀들과 시점들의 대응 관계에 기초하여 결정된 역 행렬과 같은 촬영을 위한 데이터를 저장할 수 있다.
프로세서(1110)는 명령어들이나 프로그램들을 실행하거나, 촬영 장치를 제어할 수 있다. 촬영 장치는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. 촬영 장치는 이동 전화, 스마트 폰, PDA, 넷북, 태블릿 컴퓨터, 랩톱 컴퓨터 등과 같은 모바일 장치, 데스크탑 등과 같은 컴퓨팅 장치, 텔레비전, 스마트 텔레비전, 게이트 제어를 위한 보안 장치 등과 같은 전자 제품, 및 스마트 차량 등의 적어도 일부로 구현될 수 있다. 그 밖에, 촬영 장치에 관해서는 상술된 내용이 적용될 수 있으며, 보다 상세한 설명은 생략한다.
도 12는 일 실시예에 따른 촬영 방법을 나타낸 동작 흐름도이다. 도 12를 참조하면, 단계(1210)에서, 촬영 장치는 센싱 픽셀들로부터 센싱 정보를 획득한다. 단계(1220)에서, 촬영 장치는 센싱 정보에 기초하여 촬영 영상을 생성한다. 이 때, 상기 센싱 픽셀들의 적어도 일부의 센싱 픽셀은 렌즈 어레이의 서로 다른 렌즈들을 통해 입사되는 빛에 기초하여 상기 센싱 정보를 생성하며, 각 센싱 픽셀에 입사되는 빛은 모두 상이한 조합의 시점들에 대응한다. 그 밖에, 촬영 방법에 관해서는 상술된 내용이 적용될 수 있으며, 보다 상세한 설명은 생략한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 렌즈 어레이 및 센서를 포함하고,
    상기 센서의 적어도 일부의 센싱 픽셀은 상기 렌즈 어레이의 서로 다른 렌즈들을 통해 입사되는 빛에 기초하여 센싱 정보를 생성하며,
    상기 센서의 각 센싱 픽셀에 입사되는 빛은 모두 상이한 조합의 시점들에 대응하는, 촬영 장치.
  2. 제1항에 있어서,
    상기 센서 내 센싱 픽셀들의 수와 상기 렌즈 어레이 내 렌즈들의 수는 서로 소(relatively prime)이고, 상기 센싱 픽셀들의 수와 상기 렌즈들의 수의 비는 정수가 아닌 실수인, 촬영 장치.
  3. 제1항에 있어서,
    상기 센싱 픽셀들과 상기 시점들 사이의 대응 관계를 지시하는 행렬은 완전 랭크(full rank)를 가지는, 촬영 장치.
  4. 제1항에 있어서,
    상기 센싱 정보, 및 상기 센싱 픽셀들과 상기 시점들 사이의 대응 관계를 기초로 결정된 변환 행렬을 이용하여, 촬영 영상을 생성하는 프로세서를 더 포함하는, 촬영 장치.
  5. 제4항에 있어서,
    상기 프로세서는
    상기 센싱 정보에 기초하여 센싱 정보 행렬을 생성하고, 상기 센싱 정보 행렬 및 상기 변환 행렬을 이용하여, 픽셀 값 행렬에 포함된 상기 시점들에 대응하는 픽셀 값들을 결정하고, 상기 픽셀 값들에 기초하여 상기 촬영 영상을 생성하는, 촬영 장치.
  6. 제1항에 있어서,
    상기 렌즈 어레이의 초점 거리는 상기 렌즈 어레이에 포함된 렌즈들의 수에 기초하여 결정되는, 촬영 장치.
  7. 제1항에 있어서,
    상기 렌즈 어레이에 포함된 렌즈들의 수가 증가할수록, 상기 렌즈 어레이의 초점 거리는 짧아지는, 촬영 장치.
  8. 센싱 픽셀들로부터 센싱 정보를 획득하는 단계; 및
    상기 센싱 정보에 기초하여 촬영 영상을 생성하는 단계
    를 포함하고,
    상기 센싱 픽셀들의 적어도 일부의 센싱 픽셀은 렌즈 어레이의 서로 다른 렌즈들을 통해 입사되는 빛에 기초하여 상기 센싱 정보를 생성하며,
    각 센싱 픽셀에 입사되는 빛은 모두 상이한 조합의 시점들에 대응하는, 촬영 방법.
  9. 제8항에 있어서,
    상기 센싱 픽셀들의 수와 상기 렌즈 어레이 내 렌즈들의 수는 서로 소(relatively prime)이고, 상기 센싱 픽셀들의 수와 상기 렌즈들의 수의 비는 정수가 아닌 실수인, 촬영 방법.
  10. 제8항에 있어서,
    상기 센싱 픽셀들과 상기 시점들 사이의 대응 관계를 지시하는 행렬은 완전 랭크를 가지는, 촬영 방법.
  11. 제8항에 있어서,
    촬영 영상을 생성하는 단계는
    상기 센싱 정보, 및 상기 센싱 픽셀들과 상기 시점들 사이의 대응 관계를 기초로 결정된 변환 행렬을 이용하여, 촬영 영상을 생성하는 단계를 포함하는, 촬영 방법.
  12. 제11항에 있어서,
    촬영 영상을 생성하는 단계는
    상기 센싱 정보에 기초하여 센싱 정보 행렬을 생성하는 단계;
    상기 센싱 정보 행렬 및 상기 변환 행렬을 이용하여, 픽셀 값 행렬에 포함된 상기 시점들에 대응하는 픽셀 값들을 결정하는 단계; 및
    상기 픽셀 값들에 기초하여 상기 촬영 영상을 생성하는 단계
    를 포함하는, 촬영 방법.
  13. 제8항에 있어서,
    상기 렌즈 어레이의 초점 거리는 상기 렌즈 어레이에 포함된 렌즈들의 수에 기초하여 결정되는, 촬영 방법.
  14. 제8항에 있어서,
    상기 렌즈 어레이에 포함된 렌즈들의 수가 증가할수록, 상기 렌즈 어레이의 초점 거리는 짧아지는, 촬영 방법.
  15. 하드웨어와 결합되어 제8항 내지 제14항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  16. 프로세서 및 컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리
    를 포함하고,
    상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 센싱 픽셀들로부터 센싱 정보를 획득하고, 상기 센싱 정보에 기초하여 촬영 영상을 생성하고,
    상기 센싱 정보는 렌즈 어레이의 서로 다른 렌즈들을 통해 입사되는 빛에 기초하여 상기 센싱 픽셀들의 적어도 일부의 센싱 픽셀에 의해 생성되며,
    각 센싱 픽셀에 입사되는 빛은 모두 상이한 조합의 시점들에 대응하는, 촬영 장치.
  17. 제16항에 있어서,
    상기 센싱 픽셀들의 수와 상기 렌즈 어레이 내 렌즈들의 수는 서로 소(relatively prime)이고, 상기 센싱 픽셀들의 수와 상기 렌즈들의 수의 비는 정수가 아닌 실수인, 촬영 장치.
  18. 제16항에 있어서,
    상기 센싱 픽셀들과 상기 시점들 사이의 대응 관계를 지시하는 행렬은 완전 랭크를 가지는, 촬영 장치.
  19. 제16항에 있어서,
    상기 프로세서는
    상기 센싱 정보, 및 상기 센싱 픽셀들과 상기 시점들 사이의 대응 관계를 기초로 결정된 변환 행렬을 이용하여, 촬영 영상을 생성하는, 촬영 장치.
  20. 제19항에 있어서,
    상기 프로세서는
    상기 센싱 정보에 기초하여 센싱 정보 행렬을 생성하고, 상기 센싱 정보 행렬 및 상기 변환 행렬을 이용하여, 픽셀 값 행렬에 포함된 상기 시점들에 대응하는 픽셀 값들을 결정하고, 상기 픽셀 값들에 기초하여 상기 촬영 영상을 생성하는, 촬영 장치.
KR1020160158539A 2016-11-25 2016-11-25 멀티 렌즈 기반의 촬영 장치 및 방법 KR102646437B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020160158539A KR102646437B1 (ko) 2016-11-25 2016-11-25 멀티 렌즈 기반의 촬영 장치 및 방법
US15/609,936 US10187627B2 (en) 2016-11-25 2017-05-31 Multi-lens based capturing apparatus and method
EP17181576.4A EP3328058B1 (en) 2016-11-25 2017-07-17 Multi-lens based capturing apparatus and method
CN201710800048.4A CN108111714B (zh) 2016-11-25 2017-09-07 基于多透镜的捕获设备和方法
JP2017224796A JP7039265B2 (ja) 2016-11-25 2017-11-22 マルチレンズ基盤の撮影装置及び方法
US16/252,873 US10652518B2 (en) 2016-11-25 2019-01-21 Multi-lens based capturing apparatus and method
US16/844,433 US11064183B2 (en) 2016-11-25 2020-04-09 Multi-lens based capturing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160158539A KR102646437B1 (ko) 2016-11-25 2016-11-25 멀티 렌즈 기반의 촬영 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180059233A true KR20180059233A (ko) 2018-06-04
KR102646437B1 KR102646437B1 (ko) 2024-03-11

Family

ID=59631532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160158539A KR102646437B1 (ko) 2016-11-25 2016-11-25 멀티 렌즈 기반의 촬영 장치 및 방법

Country Status (5)

Country Link
US (3) US10187627B2 (ko)
EP (1) EP3328058B1 (ko)
JP (1) JP7039265B2 (ko)
KR (1) KR102646437B1 (ko)
CN (1) CN108111714B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200043778A (ko) * 2018-10-18 2020-04-28 삼성전자주식회사 영상 처리 장치 및 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5671842B2 (ja) * 2010-06-03 2015-02-18 株式会社ニコン 画像処理装置および撮像装置
KR102646437B1 (ko) * 2016-11-25 2024-03-11 삼성전자주식회사 멀티 렌즈 기반의 촬영 장치 및 방법
KR102565277B1 (ko) 2017-11-24 2023-08-09 삼성전자주식회사 영상 복원 장치 및 방법
US10916575B2 (en) 2018-04-04 2021-02-09 Samsung Electronics Co., Ltd. Image sensor and method of manufacturing image sensor
US11030724B2 (en) 2018-09-13 2021-06-08 Samsung Electronics Co., Ltd. Method and apparatus for restoring image
US10924667B2 (en) 2018-10-04 2021-02-16 Samsung Electronics Co., Ltd. Image sensor and image sensing method
US11375092B2 (en) 2018-10-04 2022-06-28 Samsung Electronics Co., Ltd. Image sensor and image sensing method
KR20200072136A (ko) 2018-12-12 2020-06-22 삼성전자주식회사 렌즈 어레이 카메라 및 렌즈 어레이 카메라의 구동 방법
KR20210046465A (ko) 2019-10-18 2021-04-28 삼성전자주식회사 수차 보정 방법 및 장치
KR20210051242A (ko) 2019-10-30 2021-05-10 삼성전자주식회사 멀티 렌즈 영상 복원 장치 및 방법
KR20210081767A (ko) 2019-12-24 2021-07-02 삼성전자주식회사 이미지 장치 및 이미지 센싱 방법
US11595575B2 (en) 2020-05-11 2023-02-28 Samsung Electronics Co., Ltd. Image sensor
KR20220053361A (ko) 2020-10-22 2022-04-29 삼성전자주식회사 이미징 장치
KR20220121533A (ko) 2021-02-25 2022-09-01 삼성전자주식회사 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치
KR20230037953A (ko) 2021-09-10 2023-03-17 삼성전자주식회사 컬러 변환 방법 및 이를 수행하는 전자 장치와 이미지 센서

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191376A (ja) * 2011-03-10 2012-10-04 Canon Inc 撮像装置および撮像光学系
WO2012140397A2 (en) * 2011-04-11 2012-10-18 News Plus Media Technologies Ltd Three-dimensional display system
JP2013081087A (ja) * 2011-10-04 2013-05-02 Sony Corp 撮像装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7196391B2 (en) 2002-02-05 2007-03-27 E-Phocus, Inc. MOS or CMOS sensor with micro-lens array
US20040032525A1 (en) 2002-05-09 2004-02-19 Oren Aharon Video camera with multiple fields of view
GB2405543A (en) * 2003-08-30 2005-03-02 Sharp Kk Multiple view directional display having means for imaging parallax optic or display.
JP2005109092A (ja) 2003-09-30 2005-04-21 Konica Minolta Opto Inc 固体撮像装置及び該固体撮像装置を備えた撮像装置
US7773143B2 (en) * 2004-04-08 2010-08-10 Tessera North America, Inc. Thin color camera having sub-pixel resolution
JP2008078692A (ja) 2006-09-19 2008-04-03 Ricoh Co Ltd 画像入力装置及び電子機器
WO2009151903A2 (en) 2008-05-20 2009-12-17 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with hetergeneous imagers
JP5127899B2 (ja) 2010-09-14 2013-01-23 株式会社東芝 固体撮像装置
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
JP5943596B2 (ja) 2011-12-19 2016-07-05 キヤノン株式会社 撮像装置
JP6031260B2 (ja) 2012-05-31 2016-11-24 日本放送協会 画像符号化装置および画像復号装置
TW201426018A (zh) * 2012-12-19 2014-07-01 Ind Tech Res Inst 影像處理裝置及影像再對焦方法
JP6305053B2 (ja) 2013-01-15 2018-04-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
KR20140094395A (ko) 2013-01-22 2014-07-30 삼성전자주식회사 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
EP2961153B1 (en) 2013-02-21 2020-05-06 Fujifilm Corporation Image pickup device
JP6286678B2 (ja) 2013-07-12 2018-03-07 パナソニックＩｐマネジメント株式会社 撮像装置
KR20160091083A (ko) 2015-01-23 2016-08-02 엘지이노텍 주식회사 이미지 센서 및 이를 이용한 스테레오 카메라
EP3065394A1 (en) * 2015-03-05 2016-09-07 Thomson Licensing Light field metadata
US10033986B2 (en) * 2015-05-26 2018-07-24 Google Llc Capturing light-field images with uneven and/or incomplete angular sampling
US10303041B2 (en) * 2016-08-10 2019-05-28 Apple Inc. Closed loop position control for camera actuator
KR102646437B1 (ko) * 2016-11-25 2024-03-11 삼성전자주식회사 멀티 렌즈 기반의 촬영 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191376A (ja) * 2011-03-10 2012-10-04 Canon Inc 撮像装置および撮像光学系
WO2012140397A2 (en) * 2011-04-11 2012-10-18 News Plus Media Technologies Ltd Three-dimensional display system
JP2013081087A (ja) * 2011-10-04 2013-05-02 Sony Corp 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200043778A (ko) * 2018-10-18 2020-04-28 삼성전자주식회사 영상 처리 장치 및 방법
US10868957B2 (en) 2018-10-18 2020-12-15 Samsung Electronics Co., Ltd. Apparatus and method for processing image to reconstruct image

Also Published As

Publication number Publication date
JP2018085728A (ja) 2018-05-31
CN108111714A (zh) 2018-06-01
EP3328058A1 (en) 2018-05-30
KR102646437B1 (ko) 2024-03-11
JP7039265B2 (ja) 2022-03-22
US10652518B2 (en) 2020-05-12
US11064183B2 (en) 2021-07-13
CN108111714B (zh) 2021-05-28
EP3328058B1 (en) 2020-09-02
US10187627B2 (en) 2019-01-22
US20180152692A1 (en) 2018-05-31
US20200236337A1 (en) 2020-07-23
US20190158810A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
KR102646437B1 (ko) 멀티 렌즈 기반의 촬영 장치 및 방법
US11663691B2 (en) Method and apparatus for restoring image
KR102466998B1 (ko) 영상 융합 방법 및 장치
KR102565277B1 (ko) 영상 복원 장치 및 방법
KR101308946B1 (ko) 3차원 얼굴 형상 재구성 방법
US9473700B2 (en) Camera systems and methods for gigapixel computational imaging
US11941781B2 (en) Method and apparatus for restoring image
US10924667B2 (en) Image sensor and image sensing method
CN110855957B (zh) 图像处理方法及装置、存储介质和电子设备
US11734877B2 (en) Method and device for restoring image obtained from array camera
US11778350B2 (en) Lens array camera and method of driving lens array camera
TWI594635B (zh) 產生寬動態範圍運算的目標增益值的方法
KR20200067020A (ko) 캘리브레이션 방법 및 장치
KR102653106B1 (ko) 영상 처리 장치 및 방법
CN116016816B (zh) 一种改进l-orb算法的嵌入式gpu零拷贝全景图像拼接方法和系统
KR20170062959A (ko) 객체 검출 방법 및 장치
CN117917685A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
KR20230059493A (ko) 특징 매칭 기반의 영상 합성을 통한 영상 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant