KR20150054615A - 플렌옵틱 카메라 장치 및 그의 세이딩 보정 방법 - Google Patents

플렌옵틱 카메라 장치 및 그의 세이딩 보정 방법 Download PDF

Info

Publication number
KR20150054615A
KR20150054615A KR1020140022128A KR20140022128A KR20150054615A KR 20150054615 A KR20150054615 A KR 20150054615A KR 1020140022128 A KR1020140022128 A KR 1020140022128A KR 20140022128 A KR20140022128 A KR 20140022128A KR 20150054615 A KR20150054615 A KR 20150054615A
Authority
KR
South Korea
Prior art keywords
image
pixels
dimensional
sub
gain
Prior art date
Application number
KR1020140022128A
Other languages
English (en)
Inventor
김대관
김태찬
정정훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/532,593 priority Critical patent/US20150130907A1/en
Publication of KR20150054615A publication Critical patent/KR20150054615A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 하나의 실시형태에 따른 플렌옵틱 카메라 장치(Plenoptic Camera Device)는 로우 이미지(raw image)를 구성하는 픽셀들 각각에 대하여 4차원의 좌표를 계산하고, 상기 4차원의 좌표에 대하여 폴리노미얼 핏(polynomial fit)을 적용하여 4차원 프로파일을 생성하고, 상기 프로파일을 이용하여 이득(gain)을 계산하는 세이딩 보정 블록(shading correction block) 및 상기 이득을 저장하는 비휘발성 메모리 장치(nonvolatile memory device)를 포함한다. 따라서, 본 발명의 실시 예에 따른 플렌옵틱 카메라 장치는 상기 이득을 이용하여 비그네팅 효과를 제거할 수 있다.

Description

플렌옵틱 카메라 장치 및 그의 세이딩 보정 방법{PLENOPTIC CAMERA DEVICE AND SHADING CORRECTING METHOD THEREOF}
본 발명은 플렌옵틱 카메라 장치에 관한 것으로, 특히 비그네팅 효과를 보정할 수 있는 플렌옵틱 카메라 장치 및 그의 세이딩 보정 방법에 관한 것이다.
플렌옵틱 카메라 장치 또는 광-필드(light-field) 카메라 장치는 광 필드(light field)에서 광 분포 및 광 방향을 샘플링 할 수 있다. 이를 통하여 얻어진 이미지들은 증가된 초점 깊이로서 수집될 수 있고 또는 디지탈화 되어 다시 초점을 맞추어질 수도 있다. 표준형 플렌옵틱 카메라 장치에 있어, 마이크로렌즈 어레이(micro-lens array)가 이미지 평면의 전방에, 예컨대 사진 건판(photographic plate) 또는 광센서 어레이(photosensor array)로서 위치한다. 이 구성은 특정 평면상에 초점을 갖는 광을 기록시킬 뿐만 아니라 렌즈들로부터 나오는 광선의 필드(광 필드)를 기록시킨다. 최종 이미지는 컴퓨터 알고리즘을 이용하여 기록된 초기 데이타(raw data)로부터 발생될 수 있다.
한편, 광 분포는 카메라 장치에서 렌즈의 경계에 가까울수록 떨어지고, 중심에 가까울수록 밀집한다. 따라서, 카메라 장치로부터 얻은 영상 이미지의 중심은 밝고 주변부로 갈수록 어두어 진다. 이러한 현상을 비그네팅 효과(vignetting effect)라 한다.
플렌옵틱 카메라 장치에 비그네팅 효과가 발생하면, 일반적인 카메라 장치에서 비그네팅 효과를 제거하기 위하여 사용하는 방법(즉, 세이딩 보정)을 사용할 수 없는 문제가 발생한다.
본 발명의 목적은 비그네팅 효과를 보정할 수 있는 플렌옵틱 카메라 장치를 제공하는데 있다.
본 발명의 다른 목적은 상기 플렌옵틱 카메라 장치의 세이딩 보정 방법을 제공하는데 있다.
상기 목적을 달성하기 위하여 본 발명의 하나의 실시형태에 따른 플렌옵틱 카메라 장치(Plenoptic Camera Device)는 로우 이미지(raw image)를 구성하는 픽셀들 각각에 대하여 4차원의 좌표를 계산하고, 상기 4차원의 좌표를 가지는 상기 픽셀들에 대하여 폴리노미얼 핏(polynomial fit)을 적용하여 4차원 프로파일을 생성하고, 상기 프로파일을 이용하여 이득(gain)을 계산하는 세이딩 보정 블록(shading correction block) 및 상기 이득을 저장하는 비휘발성 메모리 장치(nonvolatile memory device)를 포함한다.
실시 예로서, 상기 복수의 렌즈렛(lenslet)으로 구성되는 마스크(mask) 및 상기 복수의 렌즈렛 각각을 통하여 상기 로우 이미지를 캡쳐(capture)하는 이미지 센서(image sensor)를 더 포함한다.
실시 예로서, 상기 로우 이미지는 복수의 렌즈렛 각각에 대응하는 복수의 서브 이미지들을 포함한다.
실시 예로서, 상기 4차원 좌표는 상기 서브 이미지를 선택하기 위한 2차원의 좌표와 상기 선택된 서브 이미지 내 픽셀을 선택하기 위한 2차원의 좌표를 포함한다.
실시 예로서, 상기 서브 이미지를 선택하기 위한 2차원의 좌표는 상기 서브 이미지를 선택하기 위한 가로축 좌표와 세로축 좌표를 포함한다.
실시 예로서, 상기 선택된 서브 이미지 내 픽셀을 선택하기 위한 2차원의 좌표는 상기 선택된 서브 이미지 내에서 픽셀을 선택하기 위한 가로축 좌표와 세로축 좌표를 포함한다.
실시 예로서, 상기 세이딩 보정 블록은 상기 픽셀들 중 임계치 이하의 픽셀값을 가지는 픽셀을 제거한다.
실시 예로서, 상기 세이딩 보정 블록은 상기 플렌옵틱 카메라 장치의 초점(focus), 줌(zoom) 및 인테그레이션 타임(integration time)에 따라 상기 4차원 프로파일을 생성한다.
실시 예로서, 상기 세이딩 보정 블록은 상기 이득을 이용하여 비그네팅 효과(vignetting effect)를 제거한다.
본 발명의 다른 하나의 실시형태에 따른 플렌옵틱 카메라 장치의 세이딩 보정 방법은 로우 이미지를 수신하는 단계, 상기 로우 이미지의 픽셀들 각각에 대한 4차원의 좌표를 추출하는 단계, 상기 4차원의 좌표를 가지는 상기 픽셀들에 대하여 폴리노미얼 핏을 적용하여 4차원 프로파일을 생성하는 단계 및 상기 4차원 프로파일을 이용하여 이득을 계산하는 단계를 포함한다.
실시 예로서, 상기 픽셀들 중 임계치 이하의 픽셀을 제거하는 단계를 더 포함한다.
실시 예로서, 상기 로우 이미지의 픽셀들 각각에 대한 4차원의 좌표를 추출하는 단계는 복수의 렌즈렛 각각에 대응하는 복수의 서브 이미지들 중 어느 하나를 선택하기 위한 2차원의 좌표를 결정하는 단계 및 상기 선택된 서브 이미지 내 어느 하나의 픽셀을 선택하기 위한 2차원의 좌표를 결정하는 단계를 포함한다.
실시 예로서, 상기 복수의 서브 이미지들 중 어느 하나를 선택하기 위한 2차원의 좌표는 상기 서브 이미지를 선택하기 위한 가로축 좌표와 세로축 좌표를 포함하고, 상기 선택된 서브 이미지 내 어느 하나의 픽셀을 선택하기 위한 2차원의 좌표는 상기 선택된 서브 이미지 내에서 픽셀을 선택하기 위한 가로축 좌표와 세로축 좌표를 포함한다.
실시 예로서, 상기 픽셀들 각각의 픽셀 값에 폴리노미얼 핏을 적용하여 상기 4차원 프로파일을 생성하는 단계는 상기 플렌옵틱 카메라 장치의 초점(focus), 줌(zoom) 및 인테그레이션 타임(integration time)에 따라 상기 4차원 프로파일을 생성하는 단계를 포함한다.
실시 예로서, 상기 이득을 이용하여 비그네팅 효과를 제거하는 단계를 더 포함한다.
본 발명의 실시 예에 따른 플렌옵틱 카메라 장치는 세이딩 보정 방법을 통하여 비그네팅 효과를 보정할 수 있다.
도 1은 본 발명의 실시 예에 따른 플렌옵틱 카메라 장치를 도시한다.
도 2는 도 1에 도시된 플렌옵틱 카메라 장치의 영상을 처리하는 영상 처리 장치를 상세히 도시한 블록도이다.
도 3a은 비그네팅 효과(vignetting effect)를 설명하기 위한 이미지이다.
도 3b는 도 3a에 도시된 이미지의 일부분을 확대한 이미지이다.
도 3c는 단일한 조도를 가지는 광원(even illumination)을 도시한다.
도 4a는 도 3a에 도시된 2차원 이미지를 1차원으로 변환한 그래프이다.
도 4b는 도 4a에 도시된 복수의 점에 대하여 폴리노미얼 핏(polynomial fit)을 적용하여 생성된 프로파일을 도시한 그래프이다.
도 4c는 프로파일과 이득을 도시한 그래프이다.
도 5a는 플렌옵틱 카메라 장치로 대상을 촬영한 이미지를 도시한다.
도 5b는 도 5a에 도시된 이미지의 제1 부분을 확대한 도면이다.
도 5c는 도 5a에 도시된 이미지의 다른 부분을 확대한 도면이다.
도 6은 세이딩 보정 전, 플렌옵틱 카메라 장치로부터 촬영된 이미지를 도시한다.
도 7은 세이딩 보정 후, 플렌옵틱 카메라 장치로부터 촬영된 이미지를 도시한다.
도 8a는 도 6에 도시된 이미지에 대한 에피폴라 슬라이스(epipolar slice)를 도시한다.
도 8b는 도 7에 도시된 이미지에 대한 에피폴라 슬라이스를 도시한다.
도 9는 본 발명의 실시 예에 따른 플렌옵틱 카메라 장치의 세이딩 보정 방법을 도시한 순서도이다.
도 10는 본 발명의 다른 실시 예에 따른 플렌옵틱 카메라 장치의 세이딩 보정 방법을 도시한 순서도이다.
도 11은 본 발명의 하나의 실시 예에 따른 컴퓨터 시스템의 일 실시 예를 나타낸다.
도 12는 본 발명의 실시 예에 따른 컴퓨터 시스템의 다른 실시 예를 나타낸다.
본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 설명한다.
도 1은 본 발명의 실시 예에 따른 플렌옵틱 카메라 장치를 도시한다.
도 1을 참조하면, 플렌옵틱 카메라 장치(10)는 렌즈(11), 마스크(12), 이미지 센서(13) 및 데이터 처리부(14)를 포함할 수 있다. 실시 예로서, 플렌옵틱 카메라 장치(10)는 카메라, 또는 카메라를 포함하는 각종 전자제품으로 구현될 수 있다. 예를 들면, 플렌옵틱 카메라 장치(10)는 스마트폰(smart-phone), 테블릿 PC(tablet personal computer)의 카메라 모듈로서 구현될 수 있다.
렌즈(11)와 같은 광학 장치를 통과한 대상(object; 20)(또는 물체를 포함하는 장면)의 상(image)은 마스크(12)를 거쳐서 이미지 센서(13)에서 대상(20)에 대한 광 필드 데이터로서 획득될 수 있다.
마스크(12)는 렌즈(11)와 이미지 센서(13) 사이에 배치될 수 있다. 마스크(12)는 렌즈(11)와 평행하게 배열될 수 있다. 또한, 마스크(12)는 이미지 센서(13) 상에 설치될 수도 있다. 마스크(12)는 복수의 렌즈렛(lenslet)들이 벌집 모양으로 배열되도록 구성될 수 있다. 렌즈렛은 마이크로-렌즈(micro-lenz)로 불리울 수 있다. 마스크(12)의 모양은 도 5b 및 도 5c를 통하여 설명된다.
이미지 센서(13)는 4D(dimension) 광 필드 데이터(light field data)에 대응하는 2D 영상(2-dimension image)을 감지한다. 이미지 센서(13)는 복수 개의 픽셀들로 구성될 수 있다.
데이터 처리부(14)는 대상(20)에 대한 광 필드 데이터를 저장하거나 광 필드 데이터를 이용하여 초점을 재정렬할 수 있다. 실시 예로서, 데이터 처리부(14)는 감지된 영상을 처리하는 마이크로프로세서 또는 디지털 신호 처리기일 수 있다.
데이터 처리부(14)는 비그네팅 효과를 보정하기 위하여 4차원 좌표를 생성하고, 이를 이용하여 비그네팅 효과를 보정하기 위한 이득을 계산할 수 있다. 데이터 처리부(14)는 이득을 이용하여 비그네팅 효과를 보정할 수 있다. 데이터 처리부(14)는 도 2를 통하여 상세히 설명된다.
도 2는 도 1에 도시된 플렌옵틱 카메라 장치의 영상을 처리하는 영상 처리 장치를 상세히 도시한 블록도이다.
도 1 및 도 2를 참조하면, 데이터 처리부(14)는 프로세서(Processor; 141), 메모리 장치(Memory Device; 142), 비휘발성 메모리 장치(Non-volatile Memory device; 143) 및 ISP(Image Signal Processing; 144)를 포함한다.
프로세서(141)는 운영체제(operating system)를 구동할 수 있다. 실시 예로서, 플렌옵틱 카메라 장치(10)가 스마트폰 또는 테블릿 PC에 장착되면, 운영체제는 안드로이드(AndroidTM)를 포함할 수 있다. 또한, 프로세서(141)는 비그네팅 효과를 제거하기 위한 세이딩 보정 블록(Shading Correction Block; SCB)을 포함할 수 있다. 세이딩 보정 블록(SCB)는 비그네팅 효과를 제거하기 위하여 4차원 프로파일을 생성하고, 이를 이용하여 비그네팅 효과를 제거하기 위한 이득을 계산한다. 세이딩 보정 블록(SCB)는 이득을 이용하여 비그네팅 효과를 보정할 수 있다. 실시 예로서, 세이딩 보정 블록(SCB)은 프로세서(141) 내 하나의 기능 블록(functional block)으로 구현될 수 있다.
메모리 장치(142)는 운영체제 또는 이미지 센서(13)로부터 전송된 이미지 데이터를 저장할 수 있다. 비휘발성 메모리 장치(143)는 비그네팅 효과를 보정하기 위한 이득(gain)을 저장할 수 있다. 실시 예로서, 비휘발성 메모리 장치(143)는 OTP(One Time Programmable) 메모리 장치로 구현될 수 있다. ISP(144)는 이미지 센서(13)로부터 전송된 이미지 데이터를 영상 처리한다.
도 3a은 비그네팅 효과(vignetting effect)를 설명하기 위한 이미지이다.
도 1 및 도 3a를 참조하면, 이미지(30)는 제1 내지 제5 서브 이미지들(31-35)로 구성될 수 있다. 구체적으로, 제1 서브 이미지(31)는 이미지(30)의 중앙에 위치한다. 제2 내지 제5 서브 이미지(32-35) 각각은 이미지(30)의 경계에 위치한다.
렌즈(11)의 중심에 대응하는 제1서브 이미지(31)가 가장 높은 응답을 가진다. 이에 반하여, 렌즈(11)의 경계에 대응하는 제2 내지 제5 서브 이미지(32-35) 각각은 낮은 응답을 가진다. 즉, 이미지(30)는 비그네팅 효과를 가진다. 여기서, 응답은 이미지(30)의 밝기에 대응하는 디지털 값이다.
비그네팅 효과를 제거하기 위하여, 종래의 카메라 장치는 단일한/일정한 광원으로부터 이미지를 얻는 방법을 사용한다. 이러한 평범한 방법은 이미지 센서의 응답을 2차원 세이딩 프로파일(shading profile)로서 모델링하는 것이다.
그러나, 본 발명의 실시 예에 따른 플렌옵틱 카메라 장치(10)는 렌즈렛-베이스(letzlet-based) 방식이다. 따라서, 렌즈렛 각각의 세이딩 프로파일이 생성되기 때문에, 렌즈렛-베이스 플렌옵틱 카메라 장치(10)로부터 생성된 이미지는 2차원 세이딩 프로파일로 모델링될 수 없다.
이러한 문제를 해결하기 위하여, 본 발명의 실시 예에 따른 플렌옵틱 카메라 장치(10)는 종래의 2차원 세이딩 프로파일과 렌즈넷 각각의 2차원 세이딩 프로파일을 더하여 4차원 세이딩 프로파일을 사용한다. 4차원 세이딩 프로파일은 도 3b를 통하여 설명된다.
도 3b는 도 3a에 도시된 이미지의 일부분을 확대한 이미지이다.
도 1, 도 3a 및 도 3b를 참조하면, 비그네팅 효과를 제거하기 위하여, 본 발명의 실시 예에 따른 플렌옵틱 카메라 장치(10)는 4차원의 좌표를 사용한다. 즉, 일반적인 카메라 장치가 2차원의 프로파일(x, y)을 사용한다면, 플렌옵틱 카메라 장치(10)는 4차원의 프로파일(s, t, u, v)을 사용한다.
일반적인 카메라 장치는 비그네팅 효과를 제거하기 위하여 2차원의 프로파일을 사용한다. 2차원의 프로파일은 이미지(30)의 수평 방향(즉, x 좌표)과 이미지(30)의 수직 방향(즉, y 좌표)를 포함한다.
이에 반하여, 본 발명의 실시 예에 따른 플렌옵틱 카메라 장치(10)는 비그네팅 효과를 제거하기 위하여 4차원의 프로파일을 사용한다. 4차원의 프로파일은 이미지(30)의 수평 방향에 관한 s 좌표, 이미지(30)의 수직 방향에 관한 t 좌표, 각각의 서브 이미지(즉, 제1 내지 제5 서브 이미지(31-35) 중 선택된 서브 이미지)의 수평 방향에 관한 u 좌표 및 각각의 서브 이미지(즉, 제1 내지 제5 서브 이미지(31-35) 중 선택된 서브 이미지)의 수직 방향에 관한 v 좌표를 포함한다.
즉, 본 발명의 실시 예에 따른 플렌옵틱 카메라 장치(10)는 s와 t 좌표를 이용하여 서브 이미지를 선택할 수 있고, u와 v 좌표를 이용하여 선택된 서브 이미지 내 픽셀을 선택할 수 있다.
또한, 4차원의 프로파일은 플렌옵틱 카메라 장치(10)의 초점(focus), 줌(zoom) 및 인테그레이션 시간(integration time)에 따라 다를 수 있다. 인테그레이션 시간은 이미지 센서(13)가 이미지를 센싱하는 시간을 나타낸다.
도 3c는 단일한 조도를 가지는 광원(even illumination)을 도시한다.
도 3c를 참조하면, 단일한 조도를 가지는 광원(even illumination; 36)은 광원의 중심부와 경계 간의 조도가 모두 동일한 특징을 갖는다.
비그네팅 효과를 제거하기 위하여, 본 발명의 실시 예에 따른 플렌옵틱 카메라 장치(10)는 단일한 조도를 가지는 광원을 이용할 수 있다. 즉, 일반적인 카메라 장치는 단일한 조도를 가지는 광원으로부터 광원의 중심부와 경계 간의 차이(즉, 이득(gain))를 얻을 수 있다. 따라서, 일반적인 카메라 장치는 이득을 이용하여 비그네팅 효과를 제거할 수 있다.
도 4a는 도 3a에 도시된 2차원 이미지를 1차원으로 변환한 그래프이다.
도 2, 도 3a 및 도 4a를 참조하면, 가로축은 이미지(30)의 가로축 또는 세로축(즉, 거리)를 나타낸다. 세로축은 이미지(30)의 가로축 또는 세로축에 대한 응답(response)을 나타낸다. 응답은 2차원 이미지의 조도(intensity of illumination)에 대응하는 디지털 값(digital value)일 수 있다. 즉, 응답은 이미지(30)의 수평 거리에 대한 디지털 값이다.
또한, 세이딩 보정 블록(SCB)은 도 3a에 도시된 이미지(30)를 구성하는 모든 픽셀 각각에 대한 응답을 구할 수 있으나, 이 경우 프로파일을 구하기 위한 계산량이 급격히 증가될 수 있다. 따라서, 세이딩 보정 블록(SCB)은 이미지(30)를 구성하는 일부의 픽셀에 대한 응답만으로 프로파일을 구할 수 있다.
2차원 이미지의 각각의 픽셀에 대응하는 응답은 복수의 점(41)들로 표현될 수 있다. 비그네팅 효과로 인하여 2차원 이미지(30)의 중심부 조도는 높고, 경계 조도는 낮다. 따라서, 응답은 이미지(30)의 중심부에 해당하는 부분에서 높게 나타나고, 경계에 해당하는 양끝 단에서 낮게 나타난다.
도 4b는 도 4a에 도시된 복수의 점에 대하여 폴리노미얼 핏(polynomial fit)을 적용하여 생성된 프로파일을 도시한 그래프이다.
도 2, 도 4a 및 도 4b를 참조하면, 세이딩 보정 블록(SCB)은 복수의 점(41)에 대하여 폴리노미얼 핏을 적용하여 프로파일(42)을 생성할 수 있다. 실시 예로서, 폴리노미얼 핏은 다항식(polynomial expression)을 이용하여 구현될 수 있다.
도 4c는 프로파일과 이득을 도시한 그래프이다.
도 3a 및 도 4c를 참조하면, 이미지(30)에 비그네팅 효과가 완전히 제거되면, 이미지(30)에 대응하는 응답은 직선(43)으로 표현될 수 있다. 즉, 이미지(30)에 비그네팅 효과가 없다면, 거리에 따른 응답은 항상 일정할 것이다.
이득(gain; 44)은 직선(43)과 프로파일(42)의 차이로 정의된다. 따라서, 프로파일(42)에 이득(44)을 더하면, 비그네팅 효과가 제거될 수 있다.
도 5a는 플렌옵틱 카메라 장치로 대상을 촬영한 이미지를 도시한다.
도 1 및 도 5a를 참조하면, 플렌옵틱 카메라 장치(10)는 일반 카메라 장치와 동일하게 대상(20)에 대한 영상을 캡쳐하여 이미지(50)를 저장할 수 있다. 이미지(50)를 구성하는 복수의 픽셀들 각각은 x와 y 좌표를 가질 것이다.
만약 초점이 대상(20)에 일치하면, 선명한 이미지가 나타나고, 그렇지 않으면, 희미한(blur) 이미지가 나타낸다. 플렌옵틱 카메라 장치(10)는 초점이 대상에 일치하지 않는 경우 일반적인 카메라 장치보다 더 희미하게 나타날 수 있다.
대상(30)을 촬영한 후, 플렌옵틱 카메라 장치(10)는 대상(20)에서 희미한 부분을 중심으로 초점을 이동하면 희미한 부분의 이미지를 선명하게 만들 수 있다.
이미지(50)에서 제1 부분(51)은 초점이 맞지 않는 영역이고, 제2 부분(52)은 초점이 맞는 영역이다.
도 5b는 도 5a에 도시된 이미지의 제1 부분을 확대한 도면이다.
도 5a 및 도 5b를 참조하면, 제1 부분(51)을 확대하면, 복수의 렌즈렛(53)들이 벌집모양으로 배열된다. 실시 예로서, 마스크(12)는 400x400개의 렌즈렛들로 구성될 수 있다. 제1 부분(51)은 초점이 맞지 않는 곳이기에, 흐리게 나타낸다.
도 5c는 도 5a에 도시된 이미지의 다른 부분을 확대한 도면이다.
도 5a 및 도 5c를 참조하면, 제2 부분(52)을 확대하면, 복수의 렌즈렛(53)들이 벌집모양으로 배열된다. 제2 부분(52)은 초점이 맞는 곳이기에, 명확하게 나타낸다.
도 6은 세이딩 보정 전, 플렌옵틱 카메라 장치로부터 촬영된 이미지를 도시한다.
도 5a 및 도 6을 참조하면, 플렌옵틱 카메라 장치(10)로부터 얻은 이미지(50)로부터 모든 렌즈렛 단위로 쪼개서 도시한다.
도 6에 도시된 이미지(60)는 도 5a에 도시된 이미지(50)에서 렌즈렛마다 일정한 위치의 픽셀들을 모아서 형성될 수 있다.
예를 들면, 도 5a에 도시된 이미지(50)에서 복수의 렌즈렛들 각각에 대응하는 복수의 서브 이미지들 중 u 좌표가 1이고, v 좌표가 1인 픽셀들을 이용하여 서브 이미지(61)가 도시될 수 있다. 마찬가지로, 도 5a에 도시된 이미지(50)에서 복수의 렌즈렛들 각각에 대응하는 복수의 서브 이미지들 중 u 좌표가 5이고, v 좌표가 5인 픽셀들을 이용하여 서브 이미지(62)가 도시될 수 있다.
비그네팅 효과로 인하여 이미지(60)는 중심과 경계 간에 밝기의 차이를 가진다. 즉, 이미지(60)에서 경계에 위치한 서브 이미지(61)는 가장 낮은 조도를 가진다. 그리고, 이미지(60)에서 중간에 위치한 서브 이미지(62)는 가장 높은 조도를 가진다.
도 7은 세이딩 보정 후, 플렌옵틱 카메라 장치로부터 촬영된 이미지를 도시한다.
도 6 및 도 7을 참조하면, 본 발명의 실시 예에 따른 플렌옵틱 카메라 장치(10)는 도 6에 도시된 이미지(60)에 대하여 비그네팅 효과를 제거한다.
도 7에 도시된 이미지(70)는 비그네팅 효과가 제거된 것이다. 따라서, 이미지(70)의 중심과 경계 간에 밝기의 차이를 가지지 않는다. 즉, 이미지(70)에서 경계에 위치한 서브 이미지(71)와 이미지(70)에서 중간에 위치한 서브 이미지(72)는 비슷한 조도를 가진다.
도 8a는 도 6에 도시된 이미지에 대한 에피폴라 슬라이스(epipolar slice)를 도시한다.
도 8a에 도시된 에피폴라 슬라이스(81)는 도 6에 도시된 이미지(60)에 대하여 일정한 위치(예를 들면, 중간 위치)에서 가로 방향의 픽셀 라인들을 모아서 생성될 수 있다.
비그네팅 효과로 인하여 도 6에 도시된 이미지(60)의 경계는 어둡고, 이미지(60)의 중간은 밝게 나타나기 때문에, 도 8a에 도시된 에피폴라 슬라이스(81)의 중간 라인은 밝게 나타나고, 상하 라인은 어둡게 나타난다.
왼쪽으로 기울어진 직선은 초점이 맞는 대상보다 더 앞에 위치하기 때문에 발생될 수 있다. 마찬가지로, 오른쪽으로 기울어진 직선은 초점이 맞는 대상보다 더 뒤에 위치하기 때문에 발생될 수 있다.
플렌옵틱 카메라 장치(10)는 왼쪽으로 기울어진 직선을 수직으로 만든다면, 원래의 초점보다 더 앞에 위치하기 때문에 흐려진 대상을 명확하게 만들 수 있다. 또한, 플렌옵틱 카메라 장치(10)는 오른쪽으로 기울어진 직선을 수직으로 만든다면, 원래의 초점보다 더 뒤에 위치하기 때문에 흐려진 대상을 명확하게 만들 수 있다.
또한, 초점이 맞는 대상과의 거리는 왼쪽/오른쪽으로 기울어진 정도(즉, 기울기)를 통하여 계산될 수 있다.
도 8b는 도 7에 도시된 이미지에 대한 에피폴라 슬라이스를 도시한다.
도 8b에 도시된 에피폴라 슬라이스(82)는 도 7에 도시된 이미지(70)에 대하여 일정한 위치에서 가로 방향의 픽셀 라인들을 모아서 생성될 수 있다. 비그네팅 효과가 제거되었기 때문에, 도 8b에 도시된 에피폴라 슬라이스(82)의 상하 라인 및 중간 라인은 일정한 밝기를 가진다.
도 9는 본 발명의 실시 예에 따른 플렌옵틱 카메라 장치의 세이딩 보정 방법을 도시한 순서도이다.
도 1 및 도 9를 참조하면, 본 발명의 실시 예에 따른 플렌옵틱 카메라 장치(10)의 세이딩 보정 방법은 비그네팅 효과를 제거하기 위한 이득을 얻을 수 있다.
구체적으로 S11 단계에서, 플렌옵틱 카메라 장치(10)는 일정한 조도를 가지는 광원으로부터 로우 이미지(raw image)를 수신할 수 있다. 즉, 플렌옵틱 카메라 장치(10)는 상기 로우 이미지를 구성하는 각각의 픽셀에 대한 x, y 좌표를 계산한다.
S12 단계에서, 플렌옵틱 카메라 장치(10)는 상기 수신된 이미지를 구성하는 픽셀들 각각에 대한 x, y 좌표를 이용하여 4차원의 좌표(s, t, u, v)를 계산한다. s와 t 좌표는 복수의 렌즈렛들 각각에 대응하는 서브 이미지를 선택하는 좌표이고, u와 v 좌표는 선택된 서브 이미지 내에서 픽셀을 선택하는 좌표이다.
S13 단계에서, 플렌옵틱 카메라 장치(10)는 임계치(threshold)보다 낮은 값을 가지는 픽셀을 제거할 수 있다. 예를 들면, 렌즈렛의 경계에 대응하는 픽셀은 임계치 이하의 픽셀값을 가질 것이다.
S14 단계에서, 플렌옵틱 카메라 장치(10)는 상기 4차원의 좌표를 가지는 상기 픽셀들에 대하여 폴리노미얼 핏을 적용하여 초점, 줌, 그리고 인테그레이션 시간에 따른 4차원의 프로파일을 구할 수 있다.
S15 단계에서, 플렌옵틱 카메라 장치(10)는 4차원의 프로파일을 이용하여 비그네팅 효과를 제거하기 위한 이득을 계산할 수 있다.
S16 단계에서, 플렌옵틱 카메라 장치(10)는 상기 계산된 이득을 비휘발성 메모리 장치에 저장한다.
S17 단계에서, 플렌옵틱 카메라 장치(10)는 상기 이득을 이용하여 비그네팅 효과를 제거할 수 있다.
도 10는 본 발명의 다른 실시 예에 따른 플렌옵틱 카메라 장치의 세이딩 보정 방법을 도시한 순서도이다.
도 1 및 도 10를 참조하면, 본 발명의 실시 예에 따른 플렌옵틱 카메라 장치(10)는 최적의 세이딩 보정을 적용하기 위하여 초점, 줌 및 인테그레이션 시간에 따른 4차원 프로파일을 선택할 수 있다.
S21 단계에서, 플렌옵틱 카메라 장치(10)는 일정한 조도를 가지는 광원으로부터 로우 이미지(raw image)를 수신할 수 있다.
S22 단계에서, 플렌옵틱 카메라 장치(10)는 상기 수신된 이미지의 모든 픽셀들 각각에 대한 s, t, u, v 좌표를 구하고, s, t, u, v 좌표를 가지는 픽셀들에 대하여 폴리노미얼 핏을 적용하여 초점, 줌, 그리고 인테그레이션 시간에 따른 4차원의 프로파일을 구할 수 있다.
S23 단계에서, 플렌옵틱 카메라 장치(10)는 초점, 줌 또는 인테그레이션 시간에 따른 4차원 프로파일 중 특정한 조건(사용자가 지정한 조건)과 가장 가까운 프로파일을 선택할 수 있다.
예를 들면, 플렌옵틱 카메라 장치(10)는 초점거리 40mm과 초점거리 60mm에 대한 프로파일을 저장할 수 있다. 만약 초점거리 45mm에서 로우 이미지에 비그네팅 효과를 제거한다고 하면, 플렌옵틱 카메라 장치(10)는 비그네팅 효과를 제거하기 위하여 초점거리 40mm에 따른 프로파일을 사용하여 얻은 이득을 사용하거나 초점 거리 40mm와 초점 거리 60mm에 따른 프로파일에 대하여 가중 평균을 통하여 초점 거리 45mm에 대한 프로파일을 생성하여 얻은 이득을 사용할 수 있다.
S24 단계에서, 플렌옵틱 카메라 장치(10)는 상기 선택된 4차원의 프로파일을 이용하여 이득을 계산할 수 있다. 플렌옵틱 카메라 장치(10)는 상기 이득을 이용하여 비그네팅 효과를 제거할 수 있다.
S25 단계에서, 플렌옵틱 카메라 장치(10)는 세이딩 보정된 이미지를 영상 처리한다.
S26 단계에서, 플렌옵틱 카메라 장치(10)는 세이딩 보정된 이미지를 출력한다.
도 11은 본 발명의 하나의 실시 예에 따른 컴퓨터 시스템의 일 실시 예를 나타낸다.
도 11을 참조하면, 컴퓨터 시스템(210)은 PC(personal computer), 네트워크 서버(Network Server), 태블릿(tablet) PC(personal computer), 넷-북(net-book) 또는 e-리더(e-reader), 스마트폰(smart-phone), PDA (personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 또는 MP4 플레이어로 구현될 수 있다.
컴퓨터 시스템(210)은 메모리 장치(memory device; 211), 메모리 장치(211)을 제어하는 메모리 컨트롤러(memory controller)를 포함하는 애플리케이션 프로세서(application processor; 212), 모뎀(modem; 213), 안테나(antenna; 214), 입력 장치(input device; 215), 디스플레이 장치(display device; 216) 및 플렌옵틱 카메라 장치(227)를 포함한다.
모뎀(213)은 안테나(214)를 통하여 무선 신호를 주거나 받을 수 있다. 예컨대, 모뎀(213)은 안테나(214)를 통하여 수신된 무선 신호를 애플리케이션 프로세서(212)에서 처리될 수 있는 신호로 변경할 수 있다. 실시 예로서, 모뎀(213)은 LTE 송수신기(Long Term Evolution transceiver), HSDPA/WCDMA 송수신기(High Speed Downlink Packet Access/ Wideband Code Division Multiple Access transceiver), GSM 송수신기(Global System for Mobile Communications transceiver)를 포함할 수 있다.
따라서, 애플리케이션 프로세서(212)는 모뎀(213)로부터 출력된 신호를 처리하고 처리된 신호를 디스플레이 장치(216)로 전송할 수 있다. 또한, 모뎀(213)은 애플리케이션 프로세서(212)으로부터 출력된 신호를 무선 신호로 변경하고 변경된 무선 신호를 안테나(214)를 통하여 외부 장치로 출력할 수 있다.
입력 장치(215)는 애플리케이션 프로세서(212)의 동작을 제어하기 위한 제어 신호 또는 애플리케이션 프로세서(212)에 의하여 처리될 데이터를 입력할 수 있는 장치로서, 터치 패드 (touch pad)와 컴퓨터 마우스(computer mouse)와 같은 포인팅 장치(pointing device), 키패드(keypad), 또는 키보드로 구현될 수 있다.
플렌옵틱 카메라 장치(217)는 대상을 촬영한 후, 초점을 조절할 수 있다. 실시 예로서, 플렌옵틱 카메라 장치(217)는 도 1에 도시된 플렌옵틱 카메라 장치(10)로 구현될 수 있다.
도 12는 본 발명의 실시 예에 따른 컴퓨터 시스템의 다른 실시 예를 나타낸다.
도 12를 참조하면, 컴퓨터 시스템(220)은 이미지 처리 장치(Image Process Device), 예컨대 디지털 카메라 또는 디지털 카메라가 부착된 이동 전화기, 스마트 폰(smart phone) 또는 태블릿(tablet)으로 구현될 수 있다.
카메라 기능을 포함하는 컴퓨터 시스템(220)은 안드로이드(Android) 플랫폼을 기반으로 동작할 수 있다.
컴퓨터 시스템(220)은 메모리 장치(221)와 메모리 장치(221)의 데이터 처리 동작, 예컨대 라이트(write) 동작 또는 리드(read) 동작을 제어할 수 있는 메모리 컨트롤러를 포함하는 애플리케이션 프로세서(222), 입력 장치(223), 디스플레이 장치(224) 및 플렌옵틱 카메라 장치(225)를 더 포함한다.
입력 장치(223)는 애플리케이션 프로세서(222)의 동작을 제어하기 위한 제어 신호 또는 애플리케이션 프로세서(222)에 의하여 처리될 데이터를 입력할 수 있는 장치로서, 터치 패드(touch pad)와 컴퓨터 마우스(computer mouse)와 같은 포인팅 장치(pointing device), 키패드(keypad), 또는 키보드(keyboard)로 구현될 수 있다.
디스플레이 장치(224)는 애플리케이션 프로세서(222)의 제어에 응답하여 메모리 장치(221)에 저장된 데이터를 디스플레이할 수 있다.
플렌옵틱 카메라 장치(225)는 대상을 촬영한 후, 초점을 조절할 수 있다. 실시 예로서, 플렌옵틱 카메라 장치(225)는 도 1에 도시된 플렌옵틱 카메라 장치(10)로 구현될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 플렌옵틱 카메라 장치 및 이를 포함하는 모바일 장치 또는 컴퓨터 시스템에 적용이 가능할 것이다.
상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 플렌옵틱 카메라 장치
11 : 렌즈
12 : 마스크
13 : 이미지 센서
14 : 데이터 처리부
20 : 대상
141 : 프로세서
142 : 메모리 장치
143 : 비휘발성 메모리 장치
144 : ISP

Claims (10)

  1. 로우 이미지(raw image)를 구성하는 픽셀들 각각에 대하여 4차원의 좌표를 계산하고, 상기 4차원의 좌표를 가지는 상기 픽셀들에 대하여 폴리노미얼 핏(polynomial fit)을 적용하여 4차원 프로파일을 생성하고, 상기 프로파일을 이용하여 이득(gain)을 계산하는 세이딩 보정 블록(shading correction block); 및
    상기 이득을 저장하는 비휘발성 메모리 장치(nonvolatile memory device)를 포함하는 플렌옵틱 카메라 장치(Plenoptic Camera Device).
  2. 제 1 항에 있어서,
    상기 복수의 렌즈렛(lenslet)으로 구성되는 마스크(mask); 및
    상기 복수의 렌즈렛 각각을 통하여 상기 로우 이미지를 캡쳐(capture)하는 이미지 센서(image sensor)를 더 포함하는 플렌옵틱 카메라 장치.
  3. 제 2 항에 있어서,
    상기 로우 이미지는 복수의 렌즈렛 각각에 대응하는 복수의 서브 이미지들을 포함하는 플렌옵틱 카메라 장치.
  4. 제 3 항에 있어서,
    상기 4차원 좌표는 상기 서브 이미지를 선택하기 위한 2차원의 좌표와 상기 선택된 서브 이미지 내 픽셀을 선택하기 위한 2차원의 좌표를 포함하는 플렌옵틱 카메라 장치.
  5. 제 4 항에 있어서,
    상기 서브 이미지를 선택하기 위한 2차원의 좌표는 상기 서브 이미지를 선택하기 위한 가로축 좌표와 세로축 좌표를 포함하는 플렌옵틱 카메라 장치.
  6. 제 4 항에 있어서,
    상기 선택된 서브 이미지 내 픽셀을 선택하기 위한 2차원의 좌표는 상기 선택된 서브 이미지 내에서 픽셀을 선택하기 위한 가로축 좌표와 세로축 좌표를 포함하는 플렌옵틱 카메라 장치.
  7. 제 4 항에 있어서,
    상기 세이딩 보정 블록은 상기 픽셀들 중 임계치 이하의 픽셀값을 가지는 픽셀을 제거하는 플렌옵틱 카메라 장치.
  8. 로우 이미지를 수신하는 단계;
    상기 로우 이미지의 픽셀들 각각에 대한 4차원의 좌표를 추출하는 단계;
    상기 4차원의 좌표를 가지는 상기 픽셀들에 대하여 폴리노미얼 핏을 적용하여 4차원 프로파일을 생성하는 단계; 및
    상기 4차원 프로파일을 이용하여 이득을 계산하는 단계를 포함하는 플렌옵틱 카메라 장치의 세이딩 보정 방법.
  9. 제 8 항에 있어서,
    상기 픽셀들 중 임계치 이하의 픽셀을 제거하는 단계를 더 포함하는 플렌옵틱 카메라 장치의 세이딩 보정 방법.
  10. 제 8 항에 있어서,
    상기 로우 이미지의 픽셀들 각각에 대한 4차원의 좌표를 추출하는 단계는,
    복수의 렌즈렛 각각에 대응하는 복수의 서브 이미지들 중 어느 하나를 선택하기 위한 2차원의 좌표를 결정하는 단계; 및
    상기 선택된 서브 이미지 내 어느 하나의 픽셀을 선택하기 위한 2차원의 좌표를 결정하는 단계를 포함하는 플렌옵틱 카메라 장치의 세이딩 보정 방법.
KR1020140022128A 2013-11-11 2014-02-25 플렌옵틱 카메라 장치 및 그의 세이딩 보정 방법 KR20150054615A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/532,593 US20150130907A1 (en) 2013-11-11 2014-11-04 Plenoptic camera device and shading correction method for the camera device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361902419P 2013-11-11 2013-11-11
US61/902,419 2013-11-11

Publications (1)

Publication Number Publication Date
KR20150054615A true KR20150054615A (ko) 2015-05-20

Family

ID=53390715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140022128A KR20150054615A (ko) 2013-11-11 2014-02-25 플렌옵틱 카메라 장치 및 그의 세이딩 보정 방법

Country Status (1)

Country Link
KR (1) KR20150054615A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017139743A (ja) * 2015-12-15 2017-08-10 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ライトフィールドカメラによって取り込まれたイメージに生じる口径食効果を補正する方法及び装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017139743A (ja) * 2015-12-15 2017-08-10 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ライトフィールドカメラによって取り込まれたイメージに生じる口径食効果を補正する方法及び装置

Similar Documents

Publication Publication Date Title
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
JP6271990B2 (ja) 画像処理装置、画像処理方法
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
US9191578B2 (en) Enhanced image processing with lens motion
CN113766125B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN108419028B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110473159B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108076278B (zh) 一种自动对焦方法、装置及电子设备
US9076214B2 (en) Image acquisition apparatus and image processing apparatus using selected in-focus image data
JP6903816B2 (ja) 画像処理方法および装置
WO2016101742A1 (en) Light field collection control methods and apparatuses, light field collection devices
WO2017045558A1 (zh) 景深调节方法、装置及终端
CN103426147B (zh) 图像处理装置、图像拾取装置和图像处理方法
KR102209066B1 (ko) 다수의 초점거리를 이용한 이미지 합성 방법 및 장치
US10827107B2 (en) Photographing method for terminal and terminal
JP6308748B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP2015231220A (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN104065859A (zh) 一种全景深图像的获取方法及摄像装置
CN110324532A (zh) 一种图像虚化方法、装置、存储介质及电子设备
CN113313661A (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
JP6270413B2 (ja) 画像処理装置、撮像装置、および画像処理方法
CN109257540B (zh) 多摄镜头组的摄影校正方法及摄影装置
US20150130907A1 (en) Plenoptic camera device and shading correction method for the camera device
JP5927265B2 (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid