KR102027712B1 - 가우시안의 라플라시안 근사에 기초한 단일 이미지로부터의 디포커스 추정 - Google Patents

가우시안의 라플라시안 근사에 기초한 단일 이미지로부터의 디포커스 추정 Download PDF

Info

Publication number
KR102027712B1
KR102027712B1 KR1020187003331A KR20187003331A KR102027712B1 KR 102027712 B1 KR102027712 B1 KR 102027712B1 KR 1020187003331 A KR1020187003331 A KR 1020187003331A KR 20187003331 A KR20187003331 A KR 20187003331A KR 102027712 B1 KR102027712 B1 KR 102027712B1
Authority
KR
South Korea
Prior art keywords
image
gaussian
focus
iterations
defocus amount
Prior art date
Application number
KR1020187003331A
Other languages
English (en)
Other versions
KR20180026506A (ko
Inventor
핑산 리
자닝 웨이
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20180026506A publication Critical patent/KR20180026506A/ko
Application granted granted Critical
Publication of KR102027712B1 publication Critical patent/KR102027712B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06K9/036—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N5/23212—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

디포커스 추정 알고리즘이 본 명세서에 기술된다. 디포커스 추정 알고리즘은 단일 이미지를 이용한다. 가우시안의 라플라시안 근사는 가우시안의 차이를 계산함으로써 결정된다. 디포커스 블러는 가우시안의 차이를 사용하여 두 이미지들 간의 블러 차이를 계산함으로써 추정될 수 있다.

Description

가우시안의 라플라시안 근사에 기초한 단일 이미지로부터의 디포커스 추정
본 발명은 이미징 분야에 관한 것이다. 보다 구체적으로, 본 발명은 디포커스 추정(defocus estimation)에 관한 것이다.
디지털 카메라와 같은 디바이스로 이미지들을 획득할 때, 이미지가 블러링(blurring)되거나 디포커싱되는 등의 결함이 있는 경우가 종종 있다. 블러(blur) 보정을 시도하는 몇 가지 방법들이 있지만, 이 방법들은 블러 및 디포커스를 충분히 보정하지 못한다.
디포커스 추정 알고리즘이 본 명세서에 기술된다. 디포커스 추정 알고리즘은 단일 이미지를 이용한다. 가우시안의 라플라시안(Laplacian of Gaussian) 근사(approximation)는 가우시안의 차이를 계산함으로써 결정된다. 디포커스 블러는 가우시안의 차이를 사용하여 두 이미지들 간의 블러 차이를 계산함으로써 추정될 수 있다.
일 양태에서, 디바이스의 비-일시적(non-transitory) 메모리에 프로그램되는 방법은, 이미지를 획득하는 단계, 이미지의 가우시안의 차이를 계산함으로써 이미지의 가우시안의 라플라시안을 계산하는 단계, 및 이미지의 가우시안의 차이에 기초하여 이미지의 추정된 디포커스 양을 결정하는 단계를 포함한다. 추정된 디포커스 양은 반복적 컨볼루션(iterative convolution)을 사용하여 결정된다. 추정된 디포커스 양은 룩업 테이블(lookup table)을 사용하여 결정된다. 이 방법은 이미지의 포커스를 검출하는 단계를 더 포함한다. 이미지의 포커스를 검출하는 단계는 반복 횟수를 미리 정의된 임계값과 비교하는 단계를 포함한다. 반복 횟수가 임계값보다 작을 때 이미지는 인 포커스(in focus)이다. 이 방법은 이미지의 노이즈를 제거(denoising)하는 단계를 더 포함한다. 디바이스는 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임(mainframe) 컴퓨터, 핸드헬드(handheld) 컴퓨터, 개인용 디지털 보조 장치, 셀룰러/모바일 전화, 스마트 기기, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 뮤직 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어, 고화질 디스크 라이터/플레이어, 초 고화질 디스크 라이터/플레이어, 텔레비전, 홈 엔터테인먼트 시스템, 또는 스마트 시계를 포함한다.
다른 양태에서, 디바이스의 메모리에 프로그램된 시스템은, 이미지를 획득하도록 구성된 획득 모듈, 이미지의 가우시안의 차이를 계산함으로써 이미지의 가우시안의 라플라시안을 계산하도록 구성된 계산 모듈, 및 이미지의 가우시안의 차이에 기초하여 이미지의 추정된 디포커스 양을 결정하도록 구성된 결정 모듈을 포함한다. 추정된 디포커스 양은 반복적 컨볼루션을 사용하여 결정된다. 추정된 디포커스 양은 룩업 테이블을 사용하여 결정된다. 이 시스템은 이미지의 포커스를 검출하는 단계를 더 포함한다. 이미지의 포커스를 검출하는 단계는 반복 횟수를 미리 정의된 임계값과 비교하는 단계를 포함한다. 반복 횟수가 임계값보다 작을 때 이미지는 인 포커스이다. 이 시스템은 이미지의 노이즈를 제거하는 단계를 더 포함한다.
다른 양태에서, 장치는 애플리케이션을 저장하기 위한 비-일시적 메모리 - 상기 애플리케이션은: 이미지를 획득하는 단계, 이미지의 가우시안의 차이를 계산함으로써 이미지의 가우시안의 라플라시안을 계산하는 단계, 및 이미지의 가우시안의 차이에 기초하여 이미지의 추정된 디포커스 양을 결정하는 단계를 행하기 위한 것임 -; 및 메모리에 결합된 처리 컴포넌트 - 상기 처리 컴포넌트는 애플리케이션을 처리하도록 구성됨 - 를 포함한다. 추정된 디포커스 양은 반복적 컨볼루션을 사용하여 결정된다. 추정된 디포커스 양은 룩업 테이블을 사용하여 결정된다. 이 장치는 이미지의 포커스를 검출하는 단계를 더 포함한다. 이미지의 포커스를 검출하는 단계는 반복 횟수를 미리 정의된 임계값과 비교하는 단계를 포함한다. 반복 횟수가 임계값보다 작을 때 이미지는 인 포커스이다. 이 장치는 이미지의 노이즈를 제거하는 단계를 더 포함한다.
다른 양태에서, 카메라 디바이스는, 이미지를 획득하기 위한 센서, 애플리케이션을 저장하기 위한 비-일시적 메모리 - 상기 애플리케이션은: 이미지의 가우시안의 차이를 계산함으로써 이미지의 가우시안의 라플라시안을 계산하는 단계, 및 이미지의 가우시안의 차이에 기초하여 이미지의 추정된 디포커스 양을 결정하는 단계를 행하기 위한 것임 -; 및 메모리에 결합된 처리 컴포넌트 - 상기 처리 컴포넌트는 애플리케이션을 처리하도록 구성됨 - 를 포함한다. 추정된 디포커스 양은 반복적 컨볼루션을 사용하여 결정된다. 추정된 디포커스 양은 룩업 테이블을 사용하여 결정된다. 애플리케이션은 이미지의 렌즈의 포커스를 검출하도록 구성된다. 이미지의 포커스를 검출하는 단계는 반복 횟수를 미리 정의된 임계값과 비교하는 단계를 포함한다. 반복 횟수가 임계값보다 작을 때 이미지는 인 포커스이다. 애플리케이션은 이미지의 노이즈를 제거하도록 구성된다.
도 1은 일부 실시예들에 따른 가우시안 함수의 네거티브 2차 도함수를 도시한다.
도 2는 일부 실시예들에 따른 스텝 에지(step edge)(캘리브레이션 이미지(calibration image))로부터 얻어지는 디포커스 블러 반경과 반복 횟수 간의 관계를 도시한다.
도 3은 일부 실시예들에 따른 이미지의 디포커스 맵을 도시한다.
도 4는 일부 실시예들에 따른 다양한 비율들의 성능 그래프들을 도시한다.
도 5는 일부 실시예들에 따른 디포커스를 추정하는 방법의 흐름도를 도시한다.
도 6은 일부 실시예들에 따른 디포커스 추정 방법을 구현하도록 구성된 예시적 컴퓨팅 디바이스의 블록도를 도시한다.
단일 이미지를 사용하여 디포커스를 추정하기 위한 가우시안의 라플라시안(LoG; Laplacian of Gaussian)과 가우시안의 차이(DoG; Difference of Gaussian) 간의 근사가 본 명세서에 기술된다. 가우시안 함수의 2차 도함수는 가우시안의 라플라시안이다. 가우시안 함수의 네거티브 2차 도함수는 도 1에 보여진다.
가우시안 함수:
Figure 112018011904525-pct00001
열 확산 방정식은:
Figure 112018011904525-pct00002
x=0에서,
Figure 112018011904525-pct00003
Figure 112018011904525-pct00004
이다.
Figure 112018011904525-pct00005
을 선택하면, x=0에서 완벽하게 일치한다.
추가의 근사에서, DoG는:
Figure 112018011904525-pct00006
이다.
디포커스 블러에 대한 모델은:
Figure 112018011904525-pct00007
로 주어지고,
여기에서,
b는 아웃-포커스(out-of-focus) 이미지이고,
f는 인-포커스(in-focus) 이미지이고,
G는 가우시안 포인트 스프레드 함수(PSF; Point Spread Function)이고,
Figure 112018011904525-pct00008
는 컨볼루션을 표시한다.
목표는 b로부터
Figure 112018011904525-pct00009
를 추정하는 것이다.
재블러(reblur):
Figure 112018011904525-pct00010
블러 차이 근사는 다음에 의해 계산된다:
블러 차이를 고려하고:
Figure 112018011904525-pct00011
여기에서,
f는 인-포커스 이미지이고,
뺄셈은 가우시안의 차이이다.
다음은 가우시안의 라플라시안 근사이다:
Figure 112018011904525-pct00012
유사하게,
Figure 112018011904525-pct00013
Figure 112018011904525-pct00014
일 때,
Figure 112018011904525-pct00015
가 존재하므로
Figure 112018011904525-pct00016
이고,
여기에서
Figure 112018011904525-pct00017
이다.
일단
Figure 112018011904525-pct00018
가 결정되면,
Figure 112018011904525-pct00019
는 방정식으로부터 풀 수 있다.
구현
Figure 112018011904525-pct00020
를 결정하기 위해서는, 가우시안 함수 G를 찾는 것과 같으므로:
Figure 112018011904525-pct00021
또는,
Figure 112018011904525-pct00022
는 다음을 최소화하도록 찾아진다:
Figure 112018011904525-pct00023
이는 반복적 컨볼루션 방법을 사용하여 수행될 수 있다.
Figure 112018011904525-pct00024
여기에서, k는 작은 분산을 갖는 가우시안 커널(Gaussian kernel)이다.
도 2는 스텝 에지(캘리브레이션 이미지)로부터 얻어진 디포커스 블러 반경과 반복 횟수 간의 관계를 도시한다. 곡선은, 테스트 이미지들에 대한 반복 횟수로부터 블러 반경을 결정하기 위해 룩업 테이블로서 사용될 수 있다.
노이즈 제거
노이즈는, 특히 블러의 양이 증가할 때, 블러 매칭(matching) 성능에 영향을 줄 수 있다. 노이즈를 제거함으로써 성능이 향상될 수 있고, 이는 반복적인 컨볼루션 전에 캡처된 이미지에 블러 필터를 적용함으로써 행해진다. 동일한 양의 노이즈 제거가 캘리브레이션 이미지와 테스트 이미지들에 적용된다.
도 3은 일부 실시예들에 따른 이미지의 디포커스 맵을 도시한다. 디포커스 맵은 본 명세서에 기술된 디포커스 추정 방법을 사용하여 생성된다.
포커스 검출
포커스 검출은 단일 이미지를 사용하여 이미지가 인 포커스인지 여부를 결정하는데 사용된다. 이 애플리케이션에는 블러의 양이 요구되지 않는다. 포커스 검출은 반복 횟수를 미리 정의된 임계값과 비교함으로써 수행된다. 반복 횟수가 임계값보다 작을 때 이미지는 인 포커스이다. 그렇지 않으면, 이미지는 아웃 포커스이다. 노이즈 제거는 작은 블러와 인-포커스를 구별하기 어렵게 하기 때문에, 포커스 검출만 요구될 때에는 노이즈 제거가 턴 오프된다. 포커스 검출에는 작은
Figure 112018011904525-pct00025
비율들이 바람직하다.
도 4는 다양한
Figure 112018011904525-pct00026
비율들을 갖는 포커스 추정 방법의 성능 그래프들을 도시한다.
도 5는 일부 실시예들에 따라 디포커스를 추정하는 방법의 흐름도를 도시한다. 단계 500에서, 단일 이미지가 획득된다. 단계 502에서, 단일 이미지 정보의 DoG를 사용하여 LoG가 결정된다. 단계 504에서, 블러 차이(또는 디포커스)의 근사가 DoG를 사용하여 결정된다. 일부 실시예들에서, 블러 차이는 반복적 컨볼루션 방법을 사용하여 결정된다. 일부 실시예들에서, 블러 차이는 DoG를 사용하여 결정된 제2 이미지와 제1 이미지 간에서 근사화된다. 일부 실시예들에서, 제2 이미지는 테스트 이미지이다. 일부 실시예들에서, 제2 이미지는 제1 이미지의 블러링된 이미지이다. 이 방법은 나눗셈 및 최대(maximal) 연산자들을 사용하지 않으며; 따라서, 노이즈에 강하다. 일부 실시예들에서, 추가의 또는 더 적은 단계들이 구현된다.
도 6은 일부 실시예들에 따른 디포커스 추정 방법을 구현하도록 구성된 예시적 컴퓨팅 디바이스의 블록도를 도시한다. 컴퓨팅 디바이스(600)는 이미지들 및 비디오들과 같은 정보를 획득, 저장, 계산, 처리, 통신 및/또는 디스플레이하는데 사용될 수 있다. 일반적으로, 컴퓨팅 디바이스(600)를 구현하기에 적합한 하드웨어 구조는 네트워크 인터페이스(602), 메모리(604), 프로세서(606), I/O 디바이스(들)(608), 버스(610) 및 저장 디바이스(612)를 포함한다. 충분한 속도를 가진 적합한 프로세서가 선택되는 한 프로세서의 선택은 중요하지 않다. 메모리(604)는 본 기술 분야에 공지된 임의의 종래의 컴퓨터 메모리일 수 있다. 저장 디바이스(612)는 하드 드라이브, CDROM, CDRW, DVD, DVDRW, 고화질 디스크/드라이브, 초-HD 드라이브, 플래시 메모리 카드 또는 임의의 다른 저장 디바이스를 포함할 수 있다. 컴퓨팅 디바이스(600)는 하나 이상의 네트워크 인터페이스(602)를 포함할 수 있다. 네트워크 인터페이스의 예는 이더넷 또는 다른 유형의 LAN에 접속된 네트워크 카드를 포함한다. I/O 디바이스(들)(608)는, 키보드, 마우스, 모니터, 스크린, 프린터, 모뎀, 터치 스크린, 버튼 인터페이스 및 다른 디바이스들 중 하나 이상을 포함할 수 있다. 디포커스 추정 방법을 수행하는데 사용되는 디포커스 추정 애플리케이션(들)(630)은 저장 디바이스(612) 및 메모리(604)에 저장될 것이고, 애플리케이션들이 전형적으로 처리되는 바와 같이 처리될 것이다. 도 6에 도시된 더 많거나 적은 컴포넌트들이 컴퓨팅 디바이스(600)에 포함될 수 있다. 일부 실시예들에서, 디포커스 추정 하드웨어(620)가 포함된다. 도 6의 컴퓨팅 디바이스(600)가 디포커스 추정 방법을 위한 애플리케이션(630) 및 하드웨어(620)를 포함하지만, 디포커스 추정 방법은 하드웨어, 펌웨어, 소프트웨어 또는 이들의 임의의 조합으로 컴퓨팅 디바이스 상에 구현될 수 있다. 예를 들어, 일부 실시예들에서, 디포커스 추정 애플리케이션(630)은 메모리에 프로그램되고 프로세서를 사용하여 실행된다. 다른 예에서, 일부 실시예들에서, 디포커스 추정 하드웨어(620)는 디포커스 추정 방법을 구현하도록 특별히 설계된 게이트(gate)들을 포함하는 프로그램된 하드웨어 로직이다.
일부 실시예들에서, 디포커스 추정 애플리케이션(들)(630)은 몇몇 애플리케이션들 및/또는 모듈들을 포함한다. 일부 실시예들에서, 모듈은 또한 하나 이상의 서브-모듈을 포함한다. 일부 실시예들에서, 더 적은 또는 추가의 모듈들이 포함될 수 있다.
적합한 컴퓨팅 디바이스들의 예들은, 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임(mainframe) 컴퓨터, 핸드헬드(handheld) 컴퓨터, 개인용 디지털 보조 장치, 셀룰러/모바일 전화, 스마트 기기, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 뮤직 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어(예를 들어, DVD 라이터/플레이어, 고화질 디스크 라이터/플레이어, 초 고화질 디스크 라이터/플레이어), 텔레비전, 홈 엔터테인먼트 시스템, 스마트 쥬얼리(예를 들어, 스마트 시계) 또는 임의의 다른 적합한 컴퓨팅 디바이스를 포함한다.
디포커스 추정 방법을 이용하기 위해서, 디지털 카메라와 같은 디바이스가 이미지를 획득하는데 사용될 수 있다. 디포커스 추정 방법은 이미지 처리를 수행할 때 자동으로 사용된다. 디포커스 추정 방법은 사용자의 개입없이 자동으로 구현될 수 있다.
동작시, 디포커스 추정 방법은 이미지 처리 효율성을 향상시킨다. 단일 이미지와 LoG 및 DoG를 사용함으로써, 효율성이 향상된다.
가우시안의 라플라시안 근사에 기초한 단일 이미지로부터의 디포커스 추정의 일부 실시예들
1. 디바이스의 비-일시적 메모리에 프로그램되는 방법으로서,
a. 이미지를 획득하는 단계;
b. 상기 이미지의 가우시안의 차이를 계산함으로써 상기 이미지의 가우시안의 라플라시안을 계산하는 단계; 및
c. 상기 이미지의 상기 가우시안의 차이에 기초하여 상기 이미지의 추정된 디포커스 양을 결정하는 단계
를 포함하는 방법.
2. 제1절에 있어서, 상기 추정된 디포커스 양은 반복적 컨볼루션을 사용하여 결정되는 방법.
3. 제2절에 있어서, 상기 추정된 디포커스 양은 룩업 테이블을 사용하여 결정되는 방법.
4. 제2절에 있어서, 상기 이미지의 포커스를 검출하는 단계를 더 포함하는 방법.
5. 제4절에 있어서, 상기 이미지의 상기 포커스를 검출하는 단계는 반복 횟수를 미리 정의된 임계값과 비교하는 단계를 포함하는 방법.
6. 제5절에 있어서, 상기 반복 횟수가 상기 임계값보다 작을 때 상기 이미지는 인 포커스인 방법.
7. 제1절에 있어서, 상기 이미지의 노이즈를 제거하는 단계를 더 포함하는 방법.
8. 제1절에 있어서, 상기 디바이스는, 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인용 디지털 보조 장치, 셀룰러/모바일 전화, 스마트 기기, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 뮤직 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어, 고화질 디스크 라이터/플레이어, 초 고화질 디스크 라이터/플레이어, 텔레비전, 홈 엔터테인먼트 시스템, 또는 스마트 시계를 포함하는 방법.
9. 디바이스의 메모리에 프로그램된 시스템으로서,
a. 이미지를 획득하도록 구성된 획득 모듈;
b. 상기 이미지의 가우시안의 차이를 계산함으로써 상기 이미지의 가우시안의 라플라시안을 계산하도록 구성된 계산 모듈; 및
c. 상기 이미지의 상기 가우시안의 차이에 기초하여 상기 이미지의 추정된 디포커스 양을 결정하도록 구성된 결정 모듈을 포함하는 시스템.
10. 제9절에 있어서, 상기 추정된 디포커스 양은 반복적 컨볼루션을 사용하여 결정되는 시스템.
11. 제10절에 있어서, 상기 추정된 디포커스 양은 룩업 테이블을 사용하여 결정되는 시스템.
12. 제10절에 있어서, 상기 이미지의 포커스를 검출하는 단계를 더 포함하는 시스템.
13. 제12절에 있어서, 상기 이미지의 상기 포커스를 검출하는 단계는 반복 횟수를 미리 정의된 임계값과 비교하는 단계를 포함하는 시스템.
14. 제13절에 있어서, 상기 반복 횟수가 상기 임계값보다 작을 때 상기 이미지는 인 포커스인 시스템.
15. 제9절에 있어서, 상기 이미지의 노이즈를 제거하는 단계를 더 포함하는 시스템.
16. 장치로서,
a. 애플리케이션을 저장하기 위한 비-일시적 메모리 - 상기 애플리케이션은:
i. 이미지를 획득하는 단계;
ii. 상기 이미지의 가우시안의 차이를 계산함으로써 상기 이미지의 가우시안의 라플라시안을 계산하는 단계; 및
iii. 상기 이미지의 상기 가우시안의 차이에 기초하여 상기 이미지의 추정된 디포커스 양을 결정하는 단계를 행하기 위한 것임 -; 및
b. 상기 메모리에 결합된 처리 컴포넌트 - 상기 처리 컴포넌트는 상기 애플리케이션을 처리하도록 구성됨 - 를 포함하는 장치.
17. 제16절에 있어서, 상기 추정된 디포커스 양은 반복적 컨볼루션을 사용하여 결정되는 장치.
18. 제17절에 있어서, 상기 추정된 디포커스 양은 룩업 테이블을 사용하여 결정되는 장치.
19. 제17절에 있어서, 상기 이미지의 포커스를 검출하는 단계를 더 포함하는 장치.
20. 제19절에 있어서, 상기 이미지의 상기 포커스를 검출하는 단계는 반복 횟수를 미리 정의된 임계값과 비교하는 단계를 포함하는 장치.
21. 제20절에 있어서, 상기 반복 횟수가 상기 임계값보다 작을 때 상기 이미지는 인 포커스인 장치.
22. 제16절에 있어서, 상기 이미지의 노이즈를 제거하는 단계를 더 포함하는 장치.
23. 카메라 디바이스로서,
a. 이미지를 획득하기 위한 센서;
b. 애플리케이션을 저장하기 위한 비-일시적 메모리 - 상기 애플리케이션은:
i. 상기 이미지의 가우시안의 차이를 계산함으로써 상기 이미지의 가우시안의 라플라시안을 계산하는 단계; 및
ii. 상기 이미지의 상기 가우시안의 차이에 기초하여 상기 이미지의 추정된 디포커스 양을 결정하는 단계를 행하기 위한 것임 -; 및
c. 상기 메모리에 결합된 처리 컴포넌트 - 상기 처리 컴포넌트는 상기 애플리케이션을 처리하도록 구성됨 - 를 포함하는 카메라 디바이스.
24. 제23절에 있어서, 상기 추정된 디포커스 양은 반복적 컨볼루션을 사용하여 결정되는 카메라 디바이스.
25. 제24절에 있어서, 상기 추정된 디포커스 양은 룩업 테이블을 사용하여 결정되는 카메라 디바이스.
26. 제24절에 있어서, 상기 애플리케이션은 상기 이미지의 렌즈의 포커스를 검출하도록 구성되는 카메라 디바이스.
27. 제26절에 있어서, 상기 이미지의 상기 포커스를 검출하는 단계는 반복 횟수를 미리 정의된 임계값과 비교하는 단계를 포함하는 카메라 디바이스.
28. 제27절에 있어서, 상기 반복 횟수가 상기 임계값보다 작을 때 상기 이미지는 인 포커스인 카메라 디바이스.
29. 제23절에 있어서, 상기 애플리케이션은 상기 이미지의 노이즈를 제거하도록 구성되는 카메라 디바이스.
본 발명은, 본 발명의 구성 및 작동 원리의 이해를 용이하게 하기 위해 세부 사항들을 통합하는 특정 실시예들과 관련하여 기술되었다. 본 명세서의 특정 실시예들 및 그 세부 사항들에 대한 이러한 참조는 첨부된 청구 범위의 범위를 제한하려는 것이 아니다. 청구 범위에 의해 정의된 본 발명의 사상 및 범위를 벗어나지 않으면서 예시를 위해 선택된 실시예에서 다른 다양한 변형들이 이루어질 수 있다는 것은 통상의 기술자에게 쉽게 명백할 것이다.

Claims (29)

  1. 디바이스의 비-일시적(non-transitory) 메모리에 프로그램되는 방법으로서,
    이미지를 획득하는 단계;
    상기 이미지의 가우시안(Gaussian)의 차이를 계산함으로써 상기 이미지의 가우시안의 라플라시안(Laplacian of Gaussian)을 계산하는 단계;
    상기 이미지의 가우시안의 차이에 기초하여 상기 이미지의 추정된 디포커스 양(defocus amount)을 결정하는 단계 - 상기 추정된 디포커스 양은 작은 분산을 갖는 가우시안 커널(Gaussian kernel)을 포함하는 반복적 컨볼루션(iterative convolution)을 사용하여 결정되고, 상기 추정된 디포커스 양은 룩업 테이블(lookup table)을 사용하여 결정되고, 상기 룩업 테이블은 블러 반경(blur radius)과 반복 횟수 간의 관계에 관한 곡선에 기초함 -; 및
    상기 이미지의 추정된 디포커스 양에 기초하여 상기 디바이스를 포커싱하는 단계
    를 포함하는 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 이미지의 포커스를 검출하는 단계를 더 포함하는 방법.
  5. 제4항에 있어서, 상기 이미지의 포커스를 검출하는 단계는 반복 횟수를 미리 정의된 임계값과 비교하는 단계를 포함하는 방법.
  6. 제5항에 있어서, 상기 반복 횟수가 상기 임계값보다 작을 때 상기 이미지는 인 포커스(in focus)인 방법.
  7. 제1항에 있어서, 상기 이미지의 노이즈를 제거(denoising)하는 단계를 더 포함하는 방법.
  8. 제1항에 있어서, 상기 디바이스는, 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임(mainframe) 컴퓨터, 핸드헬드(handheld) 컴퓨터, 개인용 디지털 보조 장치, 셀룰러/모바일 전화, 스마트 기기, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 뮤직 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어, 고화질 디스크 라이터/플레이어, 초 고화질 디스크 라이터/플레이어, 텔레비전, 홈 엔터테인먼트 시스템, 또는 스마트 시계를 포함하는 방법.
  9. 디바이스의 메모리에 프로그램된 시스템으로서,
    이미지를 획득하도록 구성된 획득 모듈;
    상기 이미지의 가우시안의 차이를 계산함으로써 상기 이미지의 가우시안의 라플라시안을 계산하도록 구성된 계산 모듈;
    상기 이미지의 가우시안의 차이에 기초하여 상기 이미지의 추정된 디포커스 양을 결정하도록 구성된 결정 모듈 - 상기 추정된 디포커스 양은 작은 분산을 갖는 가우시안 커널을 포함하는 반복적 컨볼루션을 사용하여 결정되고, 상기 추정된 디포커스 양은 룩업 테이블을 사용하여 결정되고, 상기 룩업 테이블은 블러 반경과 반복 횟수 간의 관계에 관한 곡선에 기초함 -; 및
    상기 이미지의 추정된 디포커스 양에 기초하여 상기 디바이스를 포커싱하도록 구성되는 포커스 모듈
    을 포함하는 시스템.
  10. 삭제
  11. 삭제
  12. 제9항에 있어서, 상기 이미지의 포커스를 검출하도록 구성된 모듈을 더 포함하는 시스템.
  13. 제12항에 있어서, 상기 이미지의 포커스를 검출하도록 구성된 모듈은 반복 횟수를 미리 정의된 임계값과 비교하도록 구성되는 시스템.
  14. 제13항에 있어서, 상기 반복 횟수가 상기 임계값보다 작을 때 상기 이미지는 인 포커스인 시스템.
  15. 제9항에 있어서, 상기 이미지의 노이즈를 제거하도록 구성되는 모듈을 더 포함하는 시스템.
  16. 장치로서,
    애플리케이션을 저장하기 위한 비-일시적 메모리 - 상기 애플리케이션은:
    이미지를 획득하는 단계;
    상기 이미지의 가우시안의 차이를 계산함으로써 상기 이미지의 가우시안의 라플라시안을 계산하는 단계;
    상기 이미지의 가우시안의 차이에 기초하여 상기 이미지의 추정된 디포커스 양을 결정하는 단계 - 상기 추정된 디포커스 양은 작은 분산을 갖는 가우시안 커널을 포함하는 반복적 컨볼루션을 사용하여 결정되고, 상기 추정된 디포커스 양은 룩업 테이블을 사용하여 결정되고, 상기 룩업 테이블은 블러 반경과 반복 횟수 간의 관계에 관한 곡선에 기초함 -; 및
    상기 이미지의 추정된 디포커스 양에 기초하여 상기 장치를 포커싱하는 단계
    를 행하기 위한 것임 -; 및
    상기 메모리에 결합된 처리 컴포넌트 - 상기 처리 컴포넌트는 상기 애플리케이션을 처리하도록 구성됨 - 를 포함하는 장치.
  17. 삭제
  18. 삭제
  19. 제16항에 있어서, 상기 애플리케이션은 상기 이미지의 포커스를 검출하는 단계를 더 행하는 장치.
  20. 제19항에 있어서, 상기 이미지의 포커스를 검출하는 단계는 반복 횟수를 미리 정의된 임계값과 비교하는 단계를 포함하는 장치.
  21. 제20항에 있어서, 상기 반복 횟수가 상기 임계값보다 작을 때 상기 이미지는 인 포커스인 장치.
  22. 제16항에 있어서, 상기 애플리케이션은 상기 이미지의 노이즈를 제거하는 단계를 더 행하는 장치.
  23. 카메라 디바이스로서,
    이미지를 획득하기 위한 센서;
    애플리케이션을 저장하기 위한 비-일시적 메모리 - 상기 애플리케이션은:
    상기 이미지의 가우시안의 차이를 계산함으로써 상기 이미지의 가우시안의 라플라시안을 계산하는 단계;
    상기 이미지의 가우시안의 차이에 기초하여 상기 이미지의 추정된 디포커스 양을 결정하는 단계 - 상기 추정된 디포커스 양은 작은 분산을 갖는 가우시안 커널을 포함하는 반복적 컨볼루션을 사용하여 결정되고, 상기 추정된 디포커스 양은 룩업 테이블을 사용하여 결정되고, 상기 룩업 테이블은 블러 반경과 반복 횟수 간의 관계에 관한 곡선에 기초함 -; 및
    상기 이미지의 추정된 디포커스 양에 기초하여 상기 카메라 디바이스를 포커싱하는 단계
    를 행하기 위한 것임 -; 및
    상기 메모리에 결합된 처리 컴포넌트 - 상기 처리 컴포넌트는 상기 애플리케이션을 처리하도록 구성됨 - 를 포함하는 카메라 디바이스.
  24. 삭제
  25. 삭제
  26. 제23항에 있어서, 상기 애플리케이션은 상기 이미지의 렌즈의 포커스를 검출하도록 구성되는 카메라 디바이스.
  27. 제26항에 있어서, 상기 이미지의 포커스를 검출하는 단계는 반복 횟수를 미리 정의된 임계값과 비교하는 단계를 포함하는 카메라 디바이스.
  28. 제27항에 있어서, 상기 반복 횟수가 상기 임계값보다 작을 때 상기 이미지는 인 포커스인 카메라 디바이스.
  29. 제23항에 있어서, 상기 애플리케이션은 상기 이미지의 노이즈를 제거하도록 구성되는 카메라 디바이스.
KR1020187003331A 2015-08-21 2016-08-05 가우시안의 라플라시안 근사에 기초한 단일 이미지로부터의 디포커스 추정 KR102027712B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/832,781 US9646225B2 (en) 2015-08-21 2015-08-21 Defocus estimation from single image based on Laplacian of Gaussian approximation
US14/832,781 2015-08-21
PCT/US2016/045841 WO2017034784A1 (en) 2015-08-21 2016-08-05 Defocus estimation from single image based on laplacian of gaussian approximation

Publications (2)

Publication Number Publication Date
KR20180026506A KR20180026506A (ko) 2018-03-12
KR102027712B1 true KR102027712B1 (ko) 2019-10-01

Family

ID=58100665

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187003331A KR102027712B1 (ko) 2015-08-21 2016-08-05 가우시안의 라플라시안 근사에 기초한 단일 이미지로부터의 디포커스 추정

Country Status (6)

Country Link
US (1) US9646225B2 (ko)
EP (1) EP3320487A4 (ko)
JP (1) JP6579350B2 (ko)
KR (1) KR102027712B1 (ko)
CN (1) CN107924471B (ko)
WO (1) WO2017034784A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220077080A (ko) 2020-12-01 2022-06-08 주식회사 익센트릭게임그루 곡면 프로젝션에서의 몰입형 콘텐츠 제공 시스템 및 디포커스 제어 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10686969B2 (en) * 2016-07-08 2020-06-16 NETFLIX Inc. Detecting shot changes in a video
CN108765346B (zh) * 2018-05-30 2021-01-08 北京图森智途科技有限公司 一种辅助对焦方法、装置和可读介质
CN108592824B (zh) * 2018-07-16 2020-06-30 清华大学 一种基于景深反馈的变频条纹投影结构光测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070236694A1 (en) * 2006-04-05 2007-10-11 Morteza Gharib 3-Dimensional imaging by acoustic warping and defocusing
US20100080482A1 (en) * 2008-09-30 2010-04-01 Earl Quong Wong Fast Camera Auto-Focus
US20140133775A1 (en) * 2012-11-12 2014-05-15 Adobe Systems Incorporated De-Noising Image Content Using Directional Filters for Image De-Blurring
US20150161469A1 (en) * 2008-12-09 2015-06-11 Abbyy Development Llc Detecting glare in a frame of image data

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4905296A (en) 1986-07-22 1990-02-27 Schlumberger Systems & Services, Inc. System for shape recognition
US5899999A (en) 1996-10-16 1999-05-04 Microsoft Corporation Iterative convolution filter particularly suited for use in an image classification and retrieval system
GB0405773D0 (en) * 2004-03-15 2004-04-21 1 Ltd Autofocus method
US7995854B2 (en) * 2008-03-28 2011-08-09 Tandent Vision Science, Inc. System and method for identifying complex tokens in an image
US8280194B2 (en) * 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
WO2009156329A1 (en) 2008-06-25 2009-12-30 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Image deblurring and denoising system, device and method
US8120679B2 (en) * 2008-08-01 2012-02-21 Nikon Corporation Image processing method
CN101383008A (zh) * 2008-10-23 2009-03-11 上海交通大学 基于视觉注意模型的图像分类方法
US8928763B2 (en) * 2008-12-09 2015-01-06 Abbyy Development Llc Detecting and correcting blur and defocusing
US8368964B2 (en) 2009-08-06 2013-02-05 Xerox Corporation Method for estimation of image defocus and defocus restoration
US8229172B2 (en) * 2009-12-16 2012-07-24 Sony Corporation Algorithms for estimating precise and relative object distances in a scene
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
US8045046B1 (en) * 2010-04-13 2011-10-25 Sony Corporation Four-dimensional polynomial model for depth estimation based on two-picture matching
US9208570B2 (en) * 2012-03-28 2015-12-08 Sony Corporation System and method for performing depth estimation by utilizing an adaptive kernel
US8885941B2 (en) * 2011-09-16 2014-11-11 Adobe Systems Incorporated System and method for estimating spatially varying defocus blur in a digital image
JP4988057B1 (ja) * 2011-10-11 2012-08-01 アキュートロジック株式会社 全焦点画像生成方法、全焦点画像生成装置、全焦点画像生成プログラム、被写体高さ情報取得方法、被写体高さ情報取得装置及び被写体高さ情報取得プログラム
US8736747B2 (en) * 2012-01-13 2014-05-27 Sony Corporation Camera autofocus adaptive blur matching model fitting
US9117277B2 (en) * 2012-04-04 2015-08-25 Canon Kabushiki Kaisha Determining a depth map from images of a scene
JP6214183B2 (ja) * 2012-05-11 2017-10-18 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法、およびプログラム
US20140132822A1 (en) * 2012-11-14 2014-05-15 Sony Corporation Multi-resolution depth-from-defocus-based autofocus
CN104217402A (zh) * 2014-08-20 2014-12-17 北京奇艺世纪科技有限公司 一种移动设备上视频实时高斯模糊的方法和装置
US9715721B2 (en) * 2015-12-18 2017-07-25 Sony Corporation Focus detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070236694A1 (en) * 2006-04-05 2007-10-11 Morteza Gharib 3-Dimensional imaging by acoustic warping and defocusing
US20100080482A1 (en) * 2008-09-30 2010-04-01 Earl Quong Wong Fast Camera Auto-Focus
US20150161469A1 (en) * 2008-12-09 2015-06-11 Abbyy Development Llc Detecting glare in a frame of image data
US20140133775A1 (en) * 2012-11-12 2014-05-15 Adobe Systems Incorporated De-Noising Image Content Using Directional Filters for Image De-Blurring

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220077080A (ko) 2020-12-01 2022-06-08 주식회사 익센트릭게임그루 곡면 프로젝션에서의 몰입형 콘텐츠 제공 시스템 및 디포커스 제어 방법

Also Published As

Publication number Publication date
EP3320487A1 (en) 2018-05-16
US20170053187A1 (en) 2017-02-23
JP6579350B2 (ja) 2019-09-25
US9646225B2 (en) 2017-05-09
WO2017034784A1 (en) 2017-03-02
KR20180026506A (ko) 2018-03-12
CN107924471A (zh) 2018-04-17
EP3320487A4 (en) 2019-01-16
CN107924471B (zh) 2022-05-10
JP2018525742A (ja) 2018-09-06

Similar Documents

Publication Publication Date Title
JP5198192B2 (ja) 映像復元装置および方法
CN102640189B (zh) 用于估计场景中精确和相对物体距离的方法
KR102038789B1 (ko) 포커스 검출
JP6111489B2 (ja) 画像鮮鋭化処理方法および装置、ならびに撮影端末
CN105096281B (zh) 图像处理装置及图像处理方法
KR20150037369A (ko) 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
WO2016107961A1 (en) Method, apparatus and computer program product for motion deblurring of images
KR102027712B1 (ko) 가우시안의 라플라시안 근사에 기초한 단일 이미지로부터의 디포커스 추정
CN109064504A (zh) 图像处理方法、装置和计算机存储介质
JP2014098898A (ja) 多重解像度Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓベースのオートフォーカス
US9262833B2 (en) Methodology for performing depth estimation with defocused images under extreme lighting conditions
JP2012073703A (ja) 画像ボケ量計算装置およびそのプログラム
US8463037B2 (en) Detection of low contrast for image processing
KR102007601B1 (ko) 비디오 잡음 제거를 위한 효율적인 패치 기반 방법
Lee et al. Fast Motion Deblurring Using Sensor‐Aided Motion Trajectory Estimation
JP2017173920A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体
CN104932868B (zh) 一种数据处理方法及电子设备
US8179474B2 (en) Fast iterative motion estimation method on gradually changing images
US20120092513A1 (en) Novel and robust method for computing control points
CN111144312A (zh) 图像处理方法、装置、设备和介质
Kang et al. Minimizing Ringing Artifact of Image Restoration Using Autocorrelation

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20180202

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190408

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190916

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190925

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190925

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220822

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230828

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240826

Start annual number: 6

End annual number: 6