KR20170102755A - 라이트필드 카메라용 오토포커싱 장치 및 그 방법 - Google Patents

라이트필드 카메라용 오토포커싱 장치 및 그 방법 Download PDF

Info

Publication number
KR20170102755A
KR20170102755A KR1020160025285A KR20160025285A KR20170102755A KR 20170102755 A KR20170102755 A KR 20170102755A KR 1020160025285 A KR1020160025285 A KR 1020160025285A KR 20160025285 A KR20160025285 A KR 20160025285A KR 20170102755 A KR20170102755 A KR 20170102755A
Authority
KR
South Korea
Prior art keywords
image sensor
distance
main lens
microlens
image
Prior art date
Application number
KR1020160025285A
Other languages
English (en)
Inventor
박일규
김도형
박성진
배성준
박창준
최진성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160025285A priority Critical patent/KR20170102755A/ko
Publication of KR20170102755A publication Critical patent/KR20170102755A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G02B7/32—Systems for automatic generation of focusing signals using parallactic triangle with a base line using active means, e.g. light emitter
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/24—Focusing screens

Abstract

라이트필드 카메라용 오토포커싱 장치 및 그 방법이 개시된다. 일 실시 예에 따른 라이트필드 카메라용 오토포커싱 장치는, 이미지 센서와 메인 렌즈 사이의 거리를 조절하는 조작부와, 촬영 중에 마이크로렌즈 어레이에 의해 방향 별로 분해된 빛 정보로부터 획득되는 마이크로렌즈 영상들을 대상으로 이미지 센서와 메인 렌즈 사이의 거리 조절에 따른 각 마이크로렌즈 영상의 밝기 편차를 구하여 자동으로 초점을 맞추는 오토포커싱부를 포함한다.

Description

라이트필드 카메라용 오토포커싱 장치 및 그 방법 {Apparatus of autofocusing for light field camera and method thereof}
본 발명은 카메라 기술에 관한 것으로, 보다 상세하게는 라이트필드 카메라에 관한 것이다.
일반 카메라는 영상을 촬영할 때 렌즈의 모든 부분을 통해 들어온 빛을 합쳐 상을 만드는 것에 비해, 라이트필드 카메라(light field camera)는 동일한 위치에 들어오는 빛들을 방향별로 나누어 측정하는 카메라이다. 라이트필드 카메라를 만드는 방법은, 1) 카메라를 여러 대 두어 각 방향으로의 영상을 각각의 카메라로 촬영하는 방법, 2) 마이크로렌즈 어레이(micro lens array)를 이용하여 입사되는 빛을 방향별로 분할하여 상을 맺는 방법, 3) 카메라의 메인 렌즈와는 별도로 다수의 렌즈를 장착하여, 방향별로 별개의 상을 만든 후 이 상들을 카메라로 취득하는 방법 등이 있다. 전술한 방법들 중에서 카메라를 가장 소형화할 수 있는 방법은 2번째 방법으로서, 마이크로렌즈 어레이를 센서 위치에 장착하여 입사되는 빛을 분리하는 방법이다.
디지털 카메라에서 초점을 자동으로 맞추기 위해 사용되는 방법으로는, 레이저와 같은 별도의 거리 측정기를 사용하는 방법, 페이즈(phase) 측정방법, 콘트라스트(contrast) 측정방법 등이 있다. 이 중에, 별도의 거리 측정기를 사용하는 방법은 정확하지만 별도의 장치가 필요하여 장비의 크기 및 제작 비용, 구동 관리의 문제가 어렵다. 페이즈 측정방법은 DSLR 카메라에서 추가적인 센서를 장착하여 수행하는 경우가 많으며, 초점의 방향(원/근) 및 정도를 측정할 수 있어 DSLR급 고급 카메라에 사용되나, 내부구조가 복잡하여 크기 및 비용이 증가한다. 콘트라스트 측정방법은 대부분의 디지털 카메라에서 사용하고 있는 방법으로서, 초점이 맞지 않은 영상은 콘트라스트가 낮다는 사실을 이용하여 영상 콘트라스트 계산으로 초점의 정도를 측정한다. 이 방법은 이미 존재하는 센서만을 이용하여 추가적인 장치가 필요하지 않아 비용 및 구동방법이 단순해지는 장점이 있어 보편적으로 디지털 카메라에 사용된다.
마이크로렌즈를 이용하여 맺힌 라이트필드 영상은 일반 영상과는 달리, 인접한 픽셀들이 공간상의 인접 지점을 기록하지 않는다. 또한, 마이크로렌즈에 의해 분리된 라이트필드 영상의 픽셀들은 메인 렌즈의 일부분을 통해 들어온 빛을 기록하기 때문에, 실재적인 렌즈 구경이 매우 작아지게 되어 일반 카메라에서의 블러(blur) 효과가 일어나지 않는다.
일 실시 예에 따라, 추가적인 장치 없이 자동 초점 조절이 가능한 라이트필드 카메라용 오토포커싱 장치 및 그 방법을 제안한다.
일 실시 예에 따른 라이트필드 카메라용 오토포커싱 장치는, 이미지 센서와 메인 렌즈 사이의 거리를 조절하는 조작부와, 촬영 중에 마이크로렌즈 어레이에 의해 방향 별로 분해된 빛 정보로부터 획득되는 마이크로렌즈 영상들을 대상으로 이미지 센서와 메인 렌즈 사이의 거리 조절에 따른 각 마이크로렌즈 영상의 밝기 편차를 구하여 자동으로 초점을 맞추는 오토포커싱부를 포함한다.
이때, 이미지 센서와 마이크로렌즈 어레이는 단일의 구조체로 구성되며, 조작부는 구조체를 앞뒤로 이동시켜 가면서 이미지 센서와 메인 렌즈 사이의 거리를 조절할 수 있다. 또는 조작부는 메인 렌즈를 앞뒤로 이동시켜 가면서 이미지 센서와 메인 렌즈 사이의 거리를 조절할 수 있다.
오토포커싱부는, 이미지 센서와 메인 렌즈 간 거리 정보를 획득하는 정보 획득부와, 각 거리에서 마이크로렌즈 영상 각각의 밝기 편차를 계산하는 연산부와, 연산부를 통해 계산된 밝기 편차를 이용하여 초점이 맞게 하는 이미지 센서와 메인 렌즈 간 거리를 결정하는 위치 결정부를 포함할 수 있다.
위치 결정부는 이미지 센서와 메인 렌즈 간의 각 거리에서 마이크로렌즈 영상들의 밝기 편차를 합산하고, 밝기 편차 합이 최소가 되는 지점을 초점이 맞는 위치로 결정할 수 있다.
오토포커싱부는 거리 조절에 따라 마이크로렌즈 영상들의 밝기 편차 변화가 더 이상 줄어들지 않는 경우 오토포커싱을 종료할 수 있다. 또는 오토포커싱부는 거리 조절에 따라 마이크로렌즈 영상들의 밝기 편차가 미리 설정된 기준 값 이하가 되는 경우 오토포커싱을 종료할 수 있다.
다른 실시 예에 따른 라이트필드 카메라는, 메인 렌즈와, 메인 렌즈를 통해 입사된 광신호를 전기적 신호로 변환하는 이미지 센서와, 메인 렌즈에서 오는 빛을 방향 별로 분해하여 분해된 방향 별 빛 정보를 이미지 센서에 기록하는 다수 개의 마이크로 렌즈로 구성된 마이크로렌즈 어레이와, 이미지 센서에 기록된 방향 별 빛 정보로부터 마이크로렌즈 영상들을 획득하는 영상 처리부와, 이미지 센서와 메인 렌즈 사이의 거리를 조절하는 조작부와, 조작부의 거리 조절에 따라 획득되는 마이크로렌즈 영상들의 밝기 편차를 이용하여 초점을 맞추는 오토포커싱부를 포함한다.
또 다른 실시 예에 따른 오토포커싱 방법은, 라이트필드 카메라의 이미지 센서와 메인 렌즈 사이의 거리를 조절하는 단계와, 라이트필드 영상을 획득하고 획득된 라이트필드 영상을 마이크로렌즈 어레이를 통해 마이크로렌즈 영상들로 분리하는 단계와, 이미지 센서와 메인 렌즈 사이의 거리를 조절하면서 마이크로렌즈 영상들의 밝기 편차를 이용하여 초점을 맞추는 단계를 포함한다.
거리를 조절하는 단계에서, 이미지 센서와 마이크로 렌즈로 이루어진 구조체를 앞뒤로 이동시켜 가면서 이미지 센서와 메인 렌즈 사이의 거리를 조절할 수 있다. 거리를 조절하는 단계에서, 메인 렌즈를 앞뒤로 이동시켜 가면서 이미지 센서와 메인 렌즈 사이의 거리를 조절할 수 있다.
초점을 맞추는 단계는, 이미지 센서와 메인 렌즈 간 거리 정보를 획득하는 단계와, 각 거리에서 마이크로렌즈 영상 각각의 밝기 편차를 계산하는 단계와, 계산된 밝기 편차를 이용하여 초점이 맞게 하는 이미지 센서와 메인 렌즈 간 거리를 결정하는 단계를 포함할 수 있다. 거리를 결정하는 단계는, 이미지 센서와 메인 렌즈 간의 각 거리에서 마이크로렌즈 영상들의 밝기 편차를 합산하는 단계와, 밝기 편차 합이 최소가 되는 지점을 초점이 맞는 위치로 결정하는 단계를 포함할 수 있다.
초점을 맞추는 단계에서, 거리를 조절하면서, 마이크로렌즈 영상들의 밝기 편차 변화가 더 이상 줄어들지 않는 경우 오토포커싱을 종료할 수 있다. 초점을 맞추는 단계는 거리를 조절하면서, 마이크로렌즈 영상들의 밝기 편차가 미리 설정된 기준 값 이하가 되는 경우 오토포커싱을 종료할 수 있다.
일 실시 예에 따르면, 마이크로렌즈 어레이를 사용하는 라이트필드 카메라에서 추가적인 오토포커싱 기구 없이도 오토포커싱이 가능하다. 특히, 마이크로렌즈 어레이에 의해 방향 별로 분해된 빛 정보로부터 획득되는 마이크로렌즈 영상들을 대상으로 거리 조절에 따른 각 마이크로렌즈 영상의 밝기 편차를 구하여 자동으로 초점을 맞출 수 있다.
나아가, 마이크로렌즈 영상들의 밝기 편차 변화가 더 이상 줄어들지 않는 경우 오토포커싱을 종료하거나, 마이크로렌즈 영상들의 밝기 편차가 미리 설정된 기준 값 이하가 되는 경우 오토포커싱을 종료함에 따라 오토포커싱의 시간을 절약하고 효율성을 높일 수 있다.
도 1a 및 도 1b는 일반적인 카메라의 콘트라스트 기반 오토포커싱을 설명하기 위한 카메라 구조도,
도 2는 본 발명의 일 실시 예에 따른 라이트필드 카메라의 구조도,
도 3a 및 도 3b는 라이트필드 카메라를 대상으로 콘트라스트 기반 오토포커싱이 어려움을 보이기 위한 라이트필드 카메라의 구조도,
도 4a 및 도 4b는 초점이 맞지 않는 라이트필드 영상과 초점이 맞는 라이트필드 영상을 도시한 도면,
도 5a 및 도 5b는 라이트필드 카메라에 초점이 맞는 경우와 초점이 맞지 않는 경우의 라이트필드 카메라 구조를 도시한 도면,
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 오토포커싱 장치의 구성도,
도 7은 본 발명의 일 실시 예에 따른 라이트필드 카메라의 구성도,
도 8은 본 발명의 일 실시 예에 따른 오토포커싱부의 세부 구성도,
도 9는 본 발명의 일 실시 예에 따른 오토포커싱 방법을 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1a 및 도 1b는 일반적인 카메라의 콘트라스트 기반 오토포커싱을 설명하기 위한 카메라 구조도이다.
도 1a 및 도 1b를 참조하면, 일반적인 카메라는 대상체(100)에서 나오는 빛을 메인 렌즈(102)를 통해 이미지 센서(104)에 모아 영상(image)을 획득한다. 이때, 초점이 맞지 않는 경우는 도 1b에 도시된 바와 같이, 대상체(100)에서 나온 빛이 이미지 센서(104)에 정확히 맺히지 못하고 흐려지게 된다. 따라서, 이미지 센서(104)의 위치를 변화시키면서 영상의 콘트라스트를 계산하는 방법만으로도 추가적인 장치 없이 오토포커싱이 가능하다.
도 2는 본 발명의 일 실시 예에 따른 라이트필드 카메라의 구조도이다.
도 2를 참조하면, 라이트필드 카메라는 메인 렌즈(102)에서 오는 빛의 상(106)을 이미지 센서(104)에 기록하는 대신에, 상(106)을 마이크로렌즈 어레이(108)가 방향 별로 분해하여 분해된 방향 별 빛 정보(110)를 이미지 센서(104)에 기록한다. 이미지 센서(104)와 마이크로렌즈 어레이(108)는 단일의 구조체로 이루어질 수 있다.
도 3a 및 도 3b는 라이트필드 카메라를 대상으로 콘트라스트 기반 오토포커싱이 어려움을 보이기 위한 라이트필드 카메라의 구조도이다.
도 3a 및 도 3b를 참조하면, 라이트필드 카메라는 마이크로렌즈 어레이가 메인 렌즈(102)에서 오는 빛을 방향별로 분해하여 분해된 방향 별 빛 정보를 각각 이미지 센서(104)에 기록한다. 따라서, 도 3b에 도시된 바와 같이, 초점이 맞지 않더라도 라이트필드 영상의 흐려짐은 일반 영상보다 적게 되어, 초점을 맞추기 위해 콘트라스트를 이용하기는 어렵다.
도 4a 및 도 4b는 초점이 맞지 않는 라이트필드 영상과 초점이 맞는 라이트필드 영상을 도시한 도면으로, 세부적으로 도 4a 는 초점이 맞지 않는 라이트필드 영상을, 도 4b는 초점이 맞는 라이트필드 영상을 각각 도시한 것이다.
라이트필드 영상의 경우, 초점이 맞으면 도 4b의 도면부호 320에 도시된 바와 같이 마이크로렌즈별 영상인 각각의 동그라미가 하나의 색상으로 구성되나, 초점이 맞지 않으면 도 4a의 도면부호 310에 도시된 바와 같이 하나의 동그라미 내에 여러 색상이 기록된다.
도 5a 및 도 5b는 라이트필드 카메라에 초점이 맞는 경우와 초점이 맞지 않는 경우의 라이트필드 카메라 구조를 도시한 도면으로, 세부적으로 도 5a는 라이트필드 카메라에 초점이 맞는 경우의 라이트필드 카메라 구조를, 도 5b는 초점이 맞지 않는 경우의 라이트필드 카메라 구조를 각각 도시한 것이다.
라이트필드 영상의 경우, 초점이 맞으면 도 5a에 도시된 바와 같이 마이크로렌즈 어레이(108)에 대상체(100)의 동일한 위치에서 온 빛이 기록되며, 이는 이미지 센서(104)의 각 픽셀에 동일한 값으로 기록된다. 이에 비해, 초점이 맞지 않으면 도 5b에 도시된 바와 같이 마이크로렌즈 어레이(108)에 대상체(100)의 여러 지점으로부터 온 빛이 기록되며, 이는 이미지 센서(104)의 각 픽셀에 다른 값으로 기록된다. 일 실시 예에 따르면, 라이트필드 카메라에서 획득된 각 마이크로렌즈 영상(도 4a 및 도 4b에서 작은 동그라미 부분)을 대상으로 마이크로렌즈 영상 각각의 밝기 편차를 구하되, 이미지 센서(104)와 메인 렌즈(102) 간의 거리를 조정해 가면서 마이크로렌즈 영상의 밝기 편차를 연산하고 연산된 밝기 편차를 이용하여 초점을 자동으로 맞춘다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 오토포커싱 장치의 구성도다.
도 6a에 도시된 바와 같이 오토포커싱 장치(2)는 라이트필드 카메라(1)와 물리적으로 분리될 수도 있고, 도 6b에 도시된 바와 같이 라이트필드 카메라(1) 내부에 위치할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 라이트필드 카메라의 구성도이다.
도 7을 참조하면, 라이트필드 카메라(1)는 메인 렌즈(102), 마이크로렌즈 어레이(108), 이미지 센서(104), 신호 처리부(13), 영상 처리부(14), 오토포커싱부(15), 표시부(16), 제어부(17), 메모리(18) 및 조작부(19)를 포함한다.
메인 렌즈(102)와 마이크로렌즈 어레이(108) 및 이미지 센서(104)는 광축 방향을 따라 위치한다. 메인 렌즈(102)를 통해 입사된 대상체의 광신호가 이미지 센서(104)로 입력되며, 이미지 센서(104)는 광신호를 전기적 신호로 변환한다. 이미지 센서(104)는 예를 들어, CMOS 이미지 센서, CCD 이미지 센서이다. 마이크로렌즈 어레이(108)는 다수의 마이크로렌즈로 구성되며, 메인 렌즈(102)에서 오는 빛을 방향 별로 분해하고 분해한 방향별 빛 정보를 이미지 센서(104)에 기록한다. 이를 위해, 마이크로렌즈 어레이(108)는 이미지 센서(104)와 메인 렌즈(102) 사이에 위치하여 입사되는 빛을 분리한다. 이미지 센서(104)와 마이크로렌즈 어레이(108)는 하나의 구조체로 이루어져 같이 위치를 조정할 수 있다.
신호 처리부(13)는 이미지 센서(104)를 통해 변환된 전기적 신호를 신호처리한다. 예를 들어, 샘플링 처리, 신호 증폭, 기준 레벨 조정, A/D 변환과 같은 아날로그 신호 처리, 기준 레벨 조정 등의 디지털 신호 처리를 수행한다.
영상 처리부(14)는 신호 처리부(13)를 통해 신호처리된 신호로부터 영상을 생성한다. 생성된 영상은 메모리(18)에 기록될 수 있다. 일 실시 예에 따른 영상 처리부(14)는 라이트필드 영상을 획득하고 획득된 라이트필드 영상을 대상으로 마이크로렌즈 어레이(108)를 통해 분리된 마이크로렌즈 영상들을 획득한다.
오토포커싱부(15)는 영상 처리부(14)로부터 마이크로렌즈 영상들을 획득하고 이를 분석하여 임의의 초점 위치에 자동으로 초점을 맞추는 오토포커싱을 수행한다. 오토포커싱부(15)는 영상 처리부(14)를 통해 생성되어 메모리(18)에 기록된 마이크로렌즈 영상들을 분석하여 오토포커싱을 수행할 수 있다.
표시부(16)는 촬영 후의 영상, 라이브 뷰 영상, 각종 설정 화면을 화면에 출력한다. 제어부(17)는 이미지 센서(104)나 영상 처리부(14) 등 라이트필드 카메라 전체를 통괄적으로 구동 및 제어한다. 메모리(18)에는 영상 처리부(14)에서 생성되는 영상이 기록된다. 예를 들어, 라이트필드 영상이 분리된 마이크로렌즈 영상들이 기록된다. 메모리(18)에는 라이트필드 카메라(1)의 동작 수행을 위해 필요하거나 동작 수행 시 생성되는 데이터가 저장된다.
조작부(19)는 사용자로부터 각종 사용자 명령을 입력받아 제어부(17)에 전송한다. 일 실시 예에 따른 조작부(19)는 이미지 센서(104)와 메인 렌즈(102) 간의 거리를 조절한다. 이때, 마이크로렌즈 어레이(108)와 이미지 센서(104)는 하나의 구조체로 구성되며, 조작부(19)는 구조체를 앞뒤로 이동시켜 가면서 이미지 센서(104)와 메인 렌즈(102) 사이의 거리를 조절할 수 있다. 다른 예로, 조작부(19)는 메인 렌즈(102)를 앞뒤로 이동시켜 가면서 이미지 센서(104)와 메인 렌즈(102) 사이의 거리를 조절할 수도 있다. 조작부(19)는 이미지 센서(104)와 메인 렌즈(102) 간의 거리 범위를 설정하고, 설정된 거리 범위 내에서 이미지 센서(104)와 메인 렌즈(102) 사이의 거리를 조절할 수 있다.
영상 처리부(14)는 라이트필드 영상을 획득하고 라이트필드 영상을 대상으로 마이크로렌즈 어레이(108)를 통해 분리된 마이크로렌즈 영상들을 획득한다. 오토포커싱부(15)는 조작부(19)의 거리 조절에 따라 각 거리에서 영상 처리부(14)를 통해 획득된 마이크로렌즈 영상들의 밝기 편차를 구하여 초점을 자동으로 맞춘다. 예를 들어, 조작부(19)를 통해 이미지 센서(104)를 앞뒤로 이동시켜 가면서, 마이크로렌즈 영상들을 영상 처리부(14)를 통해 획득하며, 오토포커싱부(15)는 각 거리에서 마이크로 영상 별로 밝기 편차를 구하고 밝기 편차들을 합산한다. 이어서, 밝기 편차의 합이 최소가 되는 지점을 초점이 맞는 위치로 결정한다.
도 8은 본 발명의 일 실시 예에 따른 오토포커싱부의 세부 구성도이다.
도 7 및 도 8을 참조하면, 오토포커싱부(15)는 정보 획득부(150), 연산부(152) 및 위치 결정부(154)를 포함한다.
정보 획득부(150)는 이미지 센서(104)와 메인 렌즈(102) 간 거리 정보를 획득한다. 거리는 조작부(19)를 통한 조작에 의해 변화된다. 연산부(152)는 각 거리에서 마이크로렌즈 영상 각각의 밝기 편차를 계산한다.
위치 결정부(154)는 연산부(152)를 통해 계산된 마이크로렌즈 영상들의 밝기 편차를 이용하여 초점이 맞기 위한 이미지 센서(104)와 메인 렌즈(102) 간 거리를 결정한다. 예를 들어, 위치 결정부(154)는 이미지 센서(104)와 메인 렌즈(102) 간 거리 조절에 따라 각 거리에서 마이크로렌즈 영상들의 밝기 편차를 합산하고, 합이 최소가 되는 지점을 초점이 맞는 위치로 결정한다.
위치 결정부(154)는 마이크로렌즈 영상들의 밝기 편차 변화가 더 이상 줄어들지 않는 경우 해당 지점을 초점이 맞는 위치로 결정하고 오토포커싱을 종료할 수 있다. 다른 예로, 위치 결정부(154)는 마이크로렌즈 영상들의 밝기 편차가 미리 설정된 기준 값 이하가 되는 경우 해당 지점을 초점이 맞는 위치로 결정하고 오토포커싱을 종료할 수 있다. 마이크로렌즈 영상들의 밝기 편차의 합이 최소가 되는 지점을 찾으면 되지만, 최소값을 가지는 지점을 찾기 위해서는 마이크로렌즈 어레이를 모든 위치에 옮긴 후에야 최소값을 가지는 지점을 찾을 수 있으므로, 마이크로렌즈 어레이 이동시 편차가 더 이상 감소하다가 증가하면 해당 지점이 국지적 최소값(local minima)으로 간주하여 초점 찾기를 종료할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 오토포커싱 방법을 도시한 흐름도이다.
도 9를 참조하면, 라이트필드 카메라의 이미지 센서와 메인 렌즈 사이의 거리를 조절한다(900). 이때, 이미지 센서와 마이크로렌즈 어레이를 포함하는 구조체를 앞뒤로 이동시켜 가면서 이미지 센서와 메인 렌즈 사이의 거리를 조절할 수 있다. 다른 예로 메인 렌즈를 이동시켜 가면서 이미지 센서와 메인 렌즈 사이의 거리를 조절할 수도 있다
이어서, 라이트필드 영상을 획득(910)하고, 획득된 라이트필드 영상을 마이크로렌즈 어레이를 통해 마이크로렌즈 영상들로 분리한다(920).
이어서, 이미지 센서와 메인 렌즈 사이의 거리 조절에 따라 획득되는 마이크로렌즈 영상들의 밝기 편차를 계산한다(930). 이때, 이미지 센서와 메인 렌즈 간의 각 거리에서 마이크로렌즈 영상들의 밝기 편차를 합산하고, 밝기 편차 합이 최소가 되는지를 판단(950)하여, 최소가 되는 지점을 초점이 맞는 위치로 결정한다.
일 실시 예에 따라, 오토포커싱의 시간 절약을 위해, 마이크로렌즈 영상들의 밝기 편차 변화가 더 이상 줄어들지 않는 경우 오토포커싱을 종료할 수 있다. 다른 예로, 마이크로렌즈 영상들의 밝기 편차가 미리 설정된 기준 값 이하가 되는 경우 오토포커싱을 종료할 수도 있다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
1: 라이트필드 카메라 13: 신호 처리부
14: 영상 처리부 15: 오토포커싱부
16: 표시부 17: 제어부
18: 메모리 19: 조작부
102: 메인 렌즈 104: 이미지 센서
108: 마이크로렌즈 어레이 150: 정보 획득부
152: 연산부 154: 위치 결정부

Claims (15)

  1. 이미지 센서와 메인 렌즈 사이의 거리를 조절하는 조작부; 및
    촬영 중에 마이크로렌즈 어레이에 의해 방향 별로 분해된 빛 정보로부터 획득되는 마이크로렌즈 영상들을 대상으로 상기 이미지 센서와 메인 렌즈 사이의 거리 조절에 따른 각 마이크로렌즈 영상의 밝기 편차를 구하여 자동으로 초점을 맞추는 오토포커싱부;
    를 포함하는 것을 특징으로 하는 라이트필드 카메라용 오토포커싱 장치.
  2. 제 1 항에 있어서,
    상기 이미지 센서와 마이크로렌즈 어레이는 단일의 구조체로 구성되며,
    상기 조작부는 상기 구조체를 앞뒤로 이동시켜 가면서 이미지 센서와 메인 렌즈 사이의 거리를 조절하는 것을 특징으로 하는 라이트필드 카메라용 오토포커싱 장치.
  3. 제 1 항에 있어서, 상기 조작부는
    메인 렌즈를 앞뒤로 이동시켜 가면서 이미지 센서와 메인 렌즈 사이의 거리를 조절하는 것을 특징으로 하는 라이트필드 카메라용 오토포커싱 장치.
  4. 제 1 항에 있어서, 상기 오토포커싱부는
    이미지 센서와 메인 렌즈 간 거리 정보를 획득하는 정보 획득부;
    각 거리에서 마이크로렌즈 영상 각각의 밝기 편차를 계산하는 연산부; 및
    상기 연산부를 통해 계산된 밝기 편차를 이용하여 초점이 맞게 하는 이미지 센서와 메인 렌즈 간 거리를 결정하는 위치 결정부;
    를 포함하는 것을 특징으로 하는 라이트필드 카메라용 오토포커싱 장치.
  5. 제 4 항에 있어서, 상기 위치 결정부는
    이미지 센서와 메인 렌즈 간의 각 거리에서 마이크로렌즈 영상들의 밝기 편차를 합산하고, 밝기 편차 합이 최소가 되는 지점을 초점이 맞는 위치로 결정하는 것을 특징으로 하는 라이트필드 카메라용 오토포커싱 장치.
  6. 제 1 항에 있어서, 상기 오토포커싱부는
    거리 조절에 따라 마이크로렌즈 영상들의 밝기 편차 변화가 더 이상 줄어들지 않는 경우 오토포커싱을 종료하는 것을 특징으로 하는 라이트필드 카메라용 오토포커싱 장치.
  7. 제 1 항에 있어서, 상기 오토포커싱부는
    거리 조절에 따라 마이크로렌즈 영상들의 밝기 편차가 미리 설정된 기준 값 이하가 되는 경우 오토포커싱을 종료하는 것을 특징으로 하는 라이트필드 카메라용 오토포커싱 장치.
  8. 메인 렌즈;
    메인 렌즈를 통해 입사된 광신호를 전기적 신호로 변환하는 이미지 센서;
    메인 렌즈에서 오는 빛을 방향 별로 분해하여 분해된 방향 별 빛 정보를 상기 이미지 센서에 기록하는 다수 개의 마이크로 렌즈로 구성된 마이크로렌즈 어레이;
    상기 이미지 센서에 기록된 방향 별 빛 정보로부터 마이크로렌즈 영상들을 획득하는 영상 처리부;
    이미지 센서와 메인 렌즈 사이의 거리를 조절하는 조작부; 및
    상기 조작부의 거리 조절에 따라 획득되는 마이크로렌즈 영상들의 밝기 편차를 이용하여 초점을 맞추는 오토포커싱부;
    를 포함하는 것을 특징으로 하는 라이트필드 카메라.
  9. 라이트필드 카메라의 이미지 센서와 메인 렌즈 사이의 거리를 조절하는 단계;
    라이트필드 영상을 획득하고 획득된 라이트필드 영상을 마이크로렌즈 어레이를 통해 마이크로렌즈 영상들로 분리하는 단계; 및
    이미지 센서와 메인 렌즈 사이의 거리를 조절하면서 마이크로렌즈 영상들의 밝기 편차를 이용하여 초점을 맞추는 단계;
    를 포함하는 것을 특징으로 하는 오토포커싱 방법.
  10. 제 9 항에 있어서, 상기 거리를 조절하는 단계는
    이미지 센서와 마이크로 렌즈로 이루어진 구조체를 앞뒤로 이동시켜 가면서 이미지 센서와 메인 렌즈 사이의 거리를 조절하는 것을 특징으로 하는 오토포커싱 방법.
  11. 제 9 항에 있어서, 상기 거리를 조절하는 단계는
    메인 렌즈를 앞뒤로 이동시켜 가면서 이미지 센서와 메인 렌즈 사이의 거리를 조절하는 것을 특징으로 하는 라이트필드 카메라용 오토포커싱 방법.
  12. 제 9 항에 있어서, 상기 초점을 맞추는 단계는
    이미지 센서와 메인 렌즈 간 거리 정보를 획득하는 단계;
    각 거리에서 마이크로렌즈 영상 각각의 밝기 편차를 계산하는 단계; 및
    계산된 밝기 편차를 이용하여 초점이 맞게 하는 이미지 센서와 메인 렌즈 간 거리를 결정하는 단계;
    를 포함하는 것을 특징으로 하는 오토포커싱 방법.
  13. 제 12 항에 있어서, 상기 거리를 결정하는 단계는
    이미지 센서와 메인 렌즈 간의 각 거리에서 마이크로렌즈 영상들의 밝기 편차를 합산하는 단계; 및
    밝기 편차 합이 최소가 되는 지점을 초점이 맞는 위치로 결정하는 단계;
    를 포함하는 것을 특징으로 하는 오토포커싱 방법.
  14. 제 9 항에 있어서, 상기 초점을 맞추는 단계는
    거리를 조절하면서, 마이크로렌즈 영상들의 밝기 편차 변화가 더 이상 줄어들지 않는 경우 오토포커싱을 종료하는 것을 특징으로 하는 오토포커싱 방법.
  15. 제 9 항에 있어서, 상기 초점을 맞추는 단계는
    거리를 조절하면서, 마이크로렌즈 영상들의 밝기 편차가 미리 설정된 기준 값 이하가 되는 경우 오토포커싱을 종료하는 것을 특징으로 하는 오토포커싱 방법.
KR1020160025285A 2016-03-02 2016-03-02 라이트필드 카메라용 오토포커싱 장치 및 그 방법 KR20170102755A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160025285A KR20170102755A (ko) 2016-03-02 2016-03-02 라이트필드 카메라용 오토포커싱 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160025285A KR20170102755A (ko) 2016-03-02 2016-03-02 라이트필드 카메라용 오토포커싱 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20170102755A true KR20170102755A (ko) 2017-09-12

Family

ID=59926415

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160025285A KR20170102755A (ko) 2016-03-02 2016-03-02 라이트필드 카메라용 오토포커싱 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20170102755A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101957735B1 (ko) 2017-12-26 2019-03-13 충북대학교 산학협력단 공간 해상도를 향상시키기 위한 시분할 라이트 필드 카메라 장치
CN115174789A (zh) * 2022-07-04 2022-10-11 上海乂义实业有限公司 一种基于微动平台的微透镜阵列聚焦型光场相机

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101957735B1 (ko) 2017-12-26 2019-03-13 충북대학교 산학협력단 공간 해상도를 향상시키기 위한 시분할 라이트 필드 카메라 장치
CN115174789A (zh) * 2022-07-04 2022-10-11 上海乂义实业有限公司 一种基于微动平台的微透镜阵列聚焦型光场相机

Similar Documents

Publication Publication Date Title
JP5173954B2 (ja) 画像処理装置及び画像処理方法
JP5183715B2 (ja) 画像処理装置及び画像処理方法
EP2490060B1 (en) Focusing device and focusing method
WO2015137635A1 (en) Image pickup apparatus and method for generating image having depth information
US8878966B2 (en) Image pickup apparatus having focus detecting function
JP2016114946A (ja) カメラモジュール
US20130250159A1 (en) Image capturing apparatus
JP2015194706A (ja) 焦点検出装置及びその制御方法
JP5896763B2 (ja) 光学機器および自動焦点調節を行う方法
JP2009175528A (ja) 焦点調節装置および撮像装置
JP4995002B2 (ja) 撮像装置、合焦装置、撮像方法および合焦方法
US20170094151A1 (en) Focus detecting apparatus, and method of prediction for the same
JP2018101055A (ja) 焦点調節装置、撮像装置及び焦点調節方法
JP6405163B2 (ja) 焦点検出装置及びその制御方法
US10602050B2 (en) Image pickup apparatus and control method therefor
KR20160104236A (ko) 자동 초점 조절 촬상 장치 및 이를 포함하는 단말기와 그 장치를 이용한 자동 초점 조절 방법
KR20170102755A (ko) 라이트필드 카메라용 오토포커싱 장치 및 그 방법
US20200092489A1 (en) Optical apparatus, control method, and non-transitory computer-readable storage medium
JP6765875B2 (ja) 焦点調節装置及び焦点調節方法
JP2016142924A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP4954834B2 (ja) 撮像装置、合焦情報取得装置、撮像方法および合焦情報取得方法
JP6566800B2 (ja) 撮像装置及び撮像方法
JP5352003B2 (ja) 画像処理装置及び画像処理方法
JP5793210B2 (ja) 撮像装置
JP2019074634A (ja) 撮像装置