KR20100088569A - 이미지를 전자적으로 캡처하는 장치, 카메라로부터 물체까지의 초점 거리를 추정하는 장치, 카메라―물체 초점 심도의 자동 추정 방법 및 컴퓨터―판독가능 매체 - Google Patents

이미지를 전자적으로 캡처하는 장치, 카메라로부터 물체까지의 초점 거리를 추정하는 장치, 카메라―물체 초점 심도의 자동 추정 방법 및 컴퓨터―판독가능 매체 Download PDF

Info

Publication number
KR20100088569A
KR20100088569A KR1020100008362A KR20100008362A KR20100088569A KR 20100088569 A KR20100088569 A KR 20100088569A KR 1020100008362 A KR1020100008362 A KR 1020100008362A KR 20100008362 A KR20100008362 A KR 20100008362A KR 20100088569 A KR20100088569 A KR 20100088569A
Authority
KR
South Korea
Prior art keywords
focus
images
camera
matching
model
Prior art date
Application number
KR1020100008362A
Other languages
English (en)
Other versions
KR101345012B1 (ko
Inventor
핑샨 리
얼 웡
소로 트리테야프라셀트
Original Assignee
소니 주식회사
소니 일렉트로닉스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사, 소니 일렉트로닉스 인코포레이티드 filed Critical 소니 주식회사
Publication of KR20100088569A publication Critical patent/KR20100088569A/ko
Application granted granted Critical
Publication of KR101345012B1 publication Critical patent/KR101345012B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus

Abstract

카메라(스틸 및/또는 비디오 카메라)와 피사체 간의 포커싱 거리를 전자적으로 추정하는 장치 및 방법. 피사체 위치들 간의 거리와 함께 캘리브레이션 타겟의 서로 다른 초점 위치에서의 이미지가 수집된다. 한 측면에서, 잡음 오차를 감소시키기 위해 히스토그램 매칭이 수행된다. 이어서, 캘리브레이션 타겟의 연속적인 이미지들 간의 검출된 블러 차이에 응답하여 초점 매칭 모델이 발생된다. 초점 매칭 모델은 양호하게는 이미지 수집 잡음을 평탄화하기 위해 원하는 차수의 다항 방정식으로 변환된다. 동작 동안 액세스하기 위해 초점 매칭 모델이 저장된다. 사용 중에, 이미지를 캡처한 것, 이미지들 간의 블러 차이를 검출한 것, 및 블러 차이 정보를 매칭 모델에 입력한 것에 응답하여 피사체까지의 거리가 추정된다.

Description

이미지를 전자적으로 캡처하는 장치, 카메라로부터 물체까지의 초점 거리를 추정하는 장치, 카메라―물체 초점 심도의 자동 추정 방법 및 컴퓨터―판독가능 매체{TWO-DIMENSIONAL POLYNOMIAL MODEL FOR DEPTH ESTIMATION BASED ON TWO-PICTURE MATCHING}
저작권 보호를 받는 내용의 고지
본 특허 문서의 내용 중 일부는 미국 및 기타 국가들의 저작권법 하에서 저작권 보호를 받는다. 본 특허 문서 또는 특허 개시 내용이 미국 특허 상표청의 공개적으로 이용가능한 파일 또는 기록에 있기 때문에, 저작권의 소유자는 임의의 자에 의한 본 특허 문서 또는 특허 개시 내용의 팩시밀리 재현에 대해서는 이의를 하지 않지만, 그렇지 않다면 어떤 경우에도 모든 저작권을 보유한다. 저작권 소유자는 이로써 미국 특허법 시행규칙 1.14(37 C.F.R. §1.14)에 따른 권리(이에 한정되지 않음)를 비롯하여, 이 특허 문서가 비밀로 유지되어야 할 권리를 포기하지 않는다.
본 발명은 일반적으로 이미지 캡처(image capture)에 관한 것이며, 보다 상세하게는 2 사진 매칭(two picture matching)에 기초한 카메라-피사체 깊이 추정(camera to subject depth estimation) 방법 및 장치에 관한 것이다.
원하는 이미지를 캡처하는 데 한가지 중요한 척도는 그 이미지가 제대로 초점이 맞춰져 있느냐이다. 적절한 카메라 초점을 추정하거나 획득하는 수많은 시스템들이 개발되었다. 카메라-렌즈 시스템이 다수의 관련 요소 및 특성을 갖기 때문에, 이들 요소 및 그와 연관된 특성들에 대해 이하에서 간단히 설명한다.
일반적으로, 사진 렌즈(photographic lens)의 2가지 주요 광학 파라미터는 최대 구경(maximum aperture) 및 초점 거리(focal length)이다. 초점 거리는 시야각, 및 피사체까지의 주어진 거리(피사체-거리)에서의 물체(피사체)의 크기에 대한 이미지(image)의 크기를 결정한다. 최대 구경[f-수(f-number), 또는 f-스톱(f-stop)]은 주어진 설정(초점 거리/유효 구경)에 사용가능한 이미지의 밝기 및 최고 셔터 속도를 제한하며, 보다 작은 숫자는 더 많은 광이 초점면(focal plane)(통상적으로 간단한 디지털 카메라에서 이미지 센서의 면(face)으로 생각될 수 있음)에 제공된다는 것을 나타낸다.
한 형태의 통상적인 간단한 렌즈(기술적으로 단일 요소를 갖는 렌즈)는 단일 초점 거리를 갖는 렌즈("단초점 렌즈(prime lens)"라고도 함)이다. 단일 초점 거리 렌즈(single focal length lens)를 사용하여 카메라의 초점을 맞출 때, 카메라에서 렌즈와 초점면 간의 거리가 변하여, 그 초점면 상으로의 사진 피사체의 초점(focal point)을 변경시킨다. 따라서, 단일 초점 거리 렌즈가 고정된 광학 관계(optical relation) 및 초점 거리를 갖지만, 카메라에서 초점 범위 구간(focal range span)에 걸쳐 피사체에 초점을 맞추는 데 사용된다. 그 결과, 렌즈의 고정된 초점 거리와 그 렌즈를 사용하여 카메라에서 달성가능한 초점 거리의 범위와 혼동해서는 안되며, 그에 의해 초점면과 관련하여 그 렌즈의 위치를 조절하면 초점 거리가 변한다.
단일 초점 거리 렌즈를 사용할 때, 원하는 셔터 속도에 대한 광량을 선택하기 위해 구경을 조절하고, 이어서 초점 거리라고도 하는 피사체-거리에 따라 초점을 조절하며, 이어서 이미지를 캡처한다. 종종, 클로즈업 사진을 찍기 위해 다른 단일 초점 거리 렌즈를 통해 다른 초점 거리 선택을 갖는 매크로 설정(macro setting)이 제공된다. 망원 렌즈(telephoto lens)는 아주 좁은 시야각을 제공하며, 먼 곳에 있는 물체로부터의 이미지로 프레임을 채우기 위해 높은 배율을 갖는다.
다중 초점 거리 렌즈(multi-focal length lense)는 보통 "줌(zoom)" 렌즈라고 불리는데, 그 이유는 경우에 따라 이미지 배율(image magnification)이 "줌(zoom)" 또는 "언줌(unzoom)"될 수 있기 때문이다. 줌 렌즈는 사용자가 피사체의 배율, 달리 말하면 피사체가 프레임을 채우는 정도를 선택할 수 있게 해준다. 이들 렌즈 또는 카메라-렌즈 시스템의 줌 기능이 개념적으로 초점 조절(focus control) 및 구경 조절(aperture control) 둘다와 별개의 것이라는 것을 이해하는 것이 중요하다.
단일 초점 거리 렌즈가 이용되는지 또는 다중 초점 거리 렌즈가 이용되는지와 상관없이, 주어진 피사체-거리에 대해 렌즈의 초점을 제대로 맞출 필요가 있다. 주어진 초점 설정에 대한 타당한 초점 범위를, 물체 공간 또는 피사체 공간에서의 타당한 선예도 심도(depth of acceptable sharpness)의 척도인 "피사계 심도(depth of field)"라고 한다. 예를 들어, 피사체 거리가 15 피트인 경우, 고선명 카메라의 타당한 초점 범위는 수 인치 정도일 수 있지만, 최적의 초점은 훨씬 더 높은 정밀도를 필요로 할 수 있다. 포커싱이 중간 거리에서 "무한대"(예를 들어, 멀리 떨어져 있는 산, 구름, 기타 등등의 이미지를 캡처함) 쪽으로 이동함에 따라 피사계 심도가 증가하며, 물론 무한대가 그 범위에서 무제한의 피사계 심도를 갖는다는 것을 잘 알 것이다.
단일 초점 거리 렌즈의 경우, 주어진 구경 설정에서, 카메라로부터 피사체까지의 주어진 거리(피사체-거리)에 대해 1개의 최적 초점 설정이 있다. 카메라의 초점 거리보다 가까이 있는 또는 멀리 있는 피사체의 일부분들이, 피사계 심도에 영향을 미치는 많은 인자들에 따라, 캡처된 이미지에서 어느 정도의 블러링을 겪는 것으로 나타난다. 그렇지만, 다중 초점 렌즈에서는, 렌즈에 의해 달성가능한 각각의 렌즈 배율(렌즈 초점 거리)에 대한 최적의 초점이 있다. 실용성을 증대시키기 위해, 렌즈 제조업체는 줌 설정에 응답하여 초점을 재조정할 필요를 상당히 감소시켰지만, 초점 재조정(refocusing)의 필요성은 사용 중인 특정의 카메라-렌즈 시스템에 의존한다. 그에 부가하여, 구경 설정은 서로 다른 줌 배율 수준에 응답하여 변경을 필요로 할 수 있다.
원래, 카메라 초점은 조작자 인식 및 수동 초점 조절에 응답하여 결정되고 보정될 수 있을 뿐이었다. 그렇지만, 결과물에 대해 초점이 중요하기 때문에, 포커싱 보조 수단(focusing aid)이 즉각 채용되었다. 보다 최근에는, 영상 장치가 종종 피사체에 자동으로 초점을 맞출 수 있는 기능(현재 일반적으로 "오토 포커스(auto focus)"라고 불리우는 기능)을 제공한다. 많은 기존의 오토 포커스 메카니즘들 각각에 단점 및 트레이드오프가 있기 때문에, 초점은 계속하여 치열한 기술 개발 부문이다.
2가지 일반 유형의 오토 포커스(AF) 시스템, 즉 능동적 오토 포커스(active auto focus) 및 수동적 오토 포커스(passive auto focus)가 존재한다. 능동적 오토 포커스에서, 초점까지의 거리를 결정하는 데 또는 이미지 캡처 렌즈 시스템의 외부에 있는 초점을 검출하는 데 하나 이상의 이미지 센서가 이용된다. 능동적 AF 시스템이 신속한 포커싱을 수행할 수 있지만, 통상적으로 창문을 통하거나 기타 특정의 응용에서는 초점을 맞추지 못하는데, 그 이유는 음파 및 적외선이 유리 및 기타 표면에 의해 반사되기 때문이다. 수동적 오토 포커스 시스템에서는, 초점을 검출 및 설정하는 데 관찰된 이미지(viewed image)의 특성이 사용된다.
고급 SLR 카메라의 대부분은 현재, 예를 들어, 노출계(light meter)로도 이용될 수 있는, TTL 광학 AF 센서(through-the-lens optical AF sensor)를 사용한다. 이들 최신의 AF 시스템의 포커싱 능력은 종종 보통의 뷰파인더를 통해 수동으로 달성되는 정밀도보다 더 높은 정밀도를 가질 수 있다.
한 형태의 수동적 AF는 들어오는 광을 빔 분할기(beam splitter)를 통해 이미지 쌍으로 분할하고 AF 센서에서 이들을 비교하는 등에 의한 위상 검출을 이용한다. 2개의 광학 프리즘은 렌즈의 양쪽면으로부터 들어오는 광선을 잡아서 이를 AF 센서로 보내고, 렌즈의 직경과 동일한 베이스를 갖는 간단한 레인지파인더(rangefinder)를 생성한다. 유사한 광 세기 패턴이 있는지를 검사하는 것 및 물체가 초점의 전방에 있는 것으로 간주되는지 적절한 초점 위치의 후방에 있는 것으로 간주되는지를 판정하기 위해 계산된 위상차에 응답하여 초점이 결정된다.
다른 유형의 수동적 AF 시스템에서, 렌즈를 통해 센서 필드(sensor field) 내에서 콘트라스트 측정이 행해진다. 이 시스템은 일반적으로 올바른 이미지 초점을 나타내는, 인접한 픽셀들 간의 휘도차(intensity difference)를 최대로 하기 위해 초점을 조절한다. 따라서, 최대 수준의 콘트라스트가 달성될 때까지 포커싱이 수행된다. 이러한 형태의 포커싱은, 특히 흐릿한 불빛 아래서 동작할 때, 능동적 AF보다 느리지만, 저급 영상 장치에서 흔히 이용되는 방법이다.
수동적 시스템은 낮은 콘트라스트 조건에서, 특히 큰 단색 표면(고체 표면, 하늘, 기타)에서 또는 저조도(low-light) 조건에서 초점을 결정하는 데 성능이 나쁘기로 유명하다. 수동적 시스템은 피사체에 대한 어느 정도의 조명(자연적이거나 그렇지 않거나 간에)에 의존하는 반면, 능동적 시스템은 필요한 경우 완전히 어두운 곳에서도 정확하게 초점을 맞출 수 있다.
그에 따라, 광범위한 조건 하에서 빠르고 정확한 피사체-거리 추정 및/또는 초점 조절을 제공하는 개선된 오토 포커싱 기술이 필요하다. 본 발명은 그 요구는 물론 기타 요구를 충족시키며 이전의 카메라 초점 기술들의 단점을 극복한다.
블러 차이(blur difference) 및 다중 사진 매칭(multiple picture matching)에 기초하는 카메라 심도(camera depth) 추정 방법이 기술되어 있다. 이 방법은 서로 다른 초점 위치에서 캡처된 이미지들 간의 블러 차이를 계산한다. 이 블러 차이는 타겟 이미지에 대한 렌즈 초점 및 위치에 따라 달라지며, 이는 본 발명에 따르면 적어도 2 차원의 다항식 모델을 사용하여 근사화될 수 있다. 이 모델은 일련의 스텝-엣지 이미지(step-edge image)를 사용하여 또는 적절한 초점을 맞추기 위한 이와 비슷하게 편리한 캘리브레이션 이미지 메카니즘을 사용하여 캘리브레이션되고, 이어서 주어진 이미지 수집 장치에서 일반 이미지의 심도를 계산하는 데 이용된다. 따라서, 캘리브레이션 타겟, 즉 피사체는, 카메라 동작 동안에 사용하기 위해, 카메라 및 렌즈 시스템의 포커싱 특성, 보다 적절히 표현하면 블러링 특성이 결정되어 모델링되는 특성 평가 프로세스(characterization process)에서 사용된다.
본 명세서의 개시 내용은 주로 단일 초점 거리 렌즈를 갖는 카메라에 관한 것이지만, 이 기술은 다중 초점 거리 렌즈(예를 들어, "줌" 렌즈)에 적용가능하며, 이에 대해서는 본 명세서의 거의 끝부분에서 설명한다. 오토 포커싱에 부가하여, 본 명세서에 개시되는 심도 추정이 컴퓨터/로봇 시각(robotic vision), 감시, 3D 영상, 및 유사한 영상 시스템을 비롯한 영역들에서 많은 응용을 갖는다는 것을 잘 알 것이다.
본 발명의 개괄적인 설명에 따르면, 전체 포커싱 범위 또는 그 범위의 원하는 일부분에 걸쳐 서로 다른 거리에서 캘리브레이션 이미지(예를 들어, 스텝-엣지 이미지)에 대한 매칭 곡선이 획득된다. 이어서, 매칭 곡선을 표현하는 다차원(예를 들어, 2차원) 모델(양호하게는, 다항식 모델)이 생성된다. 이어서, 2차원 다항식 모델은 주어진 장치에서 일반적인 이미지들에 대해 블러 차이가 계산될 때 심도 추정을 위해 사용될 수 있다.
이하의 용어들은 일반적으로 본 명세서와 관련하여 기술되며, 본 명세서의 특정의 설명을 제한하는 쪽으로 해석되어서는 안된다.
용어 "히스토그램"은 빈도수를 도표로 나타낸 그래픽 표현을 말하는 통계 용어로서, 일반적으로 몇가지 카테고리(막대 형태로 이산적이거나, 어떤 범위에 걸쳐 있거나 상관없음) 각각에 속하는 경우의 수를 비례적으로 보여준다.
매칭 곡선을 모델링하는 데 적용되는 용어 "다항식"은 이하의 1차원 일반 형태를 갖는 것과 같은 다항식 함수이며,
Figure pat00001
여기서, n 은 다항식의 차수를 정의하는 음이 아닌 정수이다. 유의할 점은, 차수가 3인 다항식은 3차(cubic) 다항식이고, 차수가 2인 다항식은 2차(quadratic) 다항식이며, 1은 직선이고, 0은 상수라는 것이다. 다항 방정식(polynomial equation)은 광범위한 경험적으로 결정된 관계들을 모델링하는 데 사용될 수 있다.
용어 "컨벌루션(convolution)"은, 본 명세서에서 사용되는 바와 같이, 2개의 함수에 대한 수학적 연산을 말하며, 통상적으로 원래의 함수들 중 하나의 수정된 형태로 보여지는 제3 함수를 생성한다. 종종 제2 함수가 역전되어, 주어진 데이터 세트를 보다 적절하게 모델링하는 쪽으로 제1 함수의 일부분에 오버레이된다.
용어 "점 확산 함수(point spread function)(PSF)"는 점광원(point source) 또는 점 물체(point object)에 대한 영상 시스템의 응답을 말하며, 종종 스텝 엣지에 걸쳐 발견되는 것과 같은 임펄스 응답이라고도 한다. 이와 관련하여, 점 물체의 확산(블러링)의 정도가 영상 시스템의 초점 품질(focal quality)의 척도이다.
용어 "이상점(outlier)"은 경험적 데이터 세트에서의 하나 이상의 관찰 내용이 그 데이터 세트의 나머지와 수치적으로 다르거나 구분되는 것을 나타내는 통계 용어이다. 이상점이 시스템 결함, 잘못된 데이터, 기타 등등을 나타낼 수 있지만, 임의의 큰 샘플 세트에서 적은 수의 이상점이 예상된다. "이상점"을 포함하는 데이터 세트를 모델링하려는 시도는 이상점이 기본 함수의 특성을 제대로 표현하지 못하는 것으로 확실시되는 경우 이상점이 통상적으로 폐기되는 잘못된 모델을 야기할 수 있다.
본 발명은 이하의 설명(이들로 제한되지 않음)을 비롯한 다수한 방식으로 구현될 수 있다.
본 발명의 일 실시예는 이미지를 전자적으로 캡처하는 장치로서, 이 장치는 (a) 촬상 소자(imaging device)(예를 들어, 하나 이상의 전하-결합 소자(charge-coupled device)(CCD), 상보형 금속-산화물 반도체(complementary metal-oxide semiconductor)(CMOS) 촬상 소자, 기타 등등), (b) 상기 촬상 소자에 결합된 초점 조절 요소(focus control element), (c) 상기 촬상 소자 및 초점 조절 요소에 결합된 컴퓨터 프로세서, (d) 상기 촬상 소자로부터 캡처된 이미지들을 보유하도록 구성되어 있고 또 상기 컴퓨터 상에서 실행가능한 프로그래밍을 보유하도록 구성되어 있는 적어도 하나의 메모리, (e) 서로 다른 초점 거리에서 캘리브레이션 타겟을 촬상한 것에 응답하여 상기 장치에 대해 획득되어 상기 메모리에 보유되는 적어도 하나의 다차원 초점 매칭 모델, 및 (f) 상기 컴퓨터 상에서 실행가능한 프로그래밍 - 이 프로그래밍은 다수의 물체 이미지를 캡처하고, 물체 이미지들 간에 검출된 블러 차이를 상기 다차원 초점 매칭 모델에 입력한 것에 기초하여 물체 이미지들에 대해 심도 추정을 수행하는 것에 응답하여 상기 장치의 초점 조절 요소를 자동으로 조절함 - 을 포함한다. 이 장치가 적어도 하나의 스틸 이미지, 비디오 이미지, 또는 스틸 및 비디오 이미지 캡처 소자를 포함한다는 것을 잘 알 것이다. 또한, 캘리브레이션이 양호하게는 컴퓨터를 사용하여 수행되고, 주어진 카메라 또는 주어진 카메라 실시예에 저장하기 위해 다항식 계수가 컴퓨터에 의해 계산될 수 있다는 것을 잘 알 것이다. 양호한 실시예에서는, 이어서 심도 추정 및 초점 조절이 카메라에서 구현된다.
본 발명의 한 실시 형태에서, 초점 매칭 모델(예를 들어, 다차원 초점 매칭 모델)이 카메라의 초점 범위에서 캘리브레이션 타겟을 촬상한 것에 응답하여 획득된 초점 매칭 곡선을 모델링하는 다항식 함수로 변환된다. 유의할 점은, 카메라 장치(및/또는 렌즈 시스템)의 주어진 촬상 소자 실시예(예를 들어, 모델, 유형 또는 구성)에 대해 초점 매칭 모델이 결정되고, 이 모델을 표현하는 정보가 적어도 하나의 메모리에 저장되며, 이 메모리의 내용이 카메라 내의 컴퓨터 프로세서 요소에 의해 검색될 수 있다는 것이다.
본 발명의 한 실시 형태에서, 블러 차이를 계산하기 전에 히스토그램 매칭이 수행된다. 히스토그램 매칭은 평활화(equalization)를 포함하며, 이 경우 서로 다른 피사체 거리에서 캡처된 사진들 간의 오차를 최소화시키는 것에 응답하여 가장 가까운 휘도의 픽셀들이 히스토그램들 간에 천이된다. 이 프로세스는 이어서 선형 히스토그램 매칭 함수에 의해 근사화된다.
본 발명의 일 실시예는 카메라(대물렌즈)로부터 피사체까지의 포커싱 거리(focusing distance)를 추정하는 장치이며, 이 장치는 (a) 카메라의 촬상 소자와 일체로 되어 있거나 그에 연결되도록 구성된 컴퓨터(예를 들어, 카메라 장치 내의 계산 요소), (b) 캡처된 이미지들을 보유하고 또 상기 컴퓨터 상에서 실행가능한 프로그래밍을 보유하도록 구성되어 있는 적어도 하나의 메모리, (c) 서로 다른 초점 거리에서 캘리브레이션 타겟을 촬상한 것에 응답하여 상기 장치에 대해 획득되는 적어도 하나의 다차원 초점 매칭 모델 - 상기 다차원 초점 매칭 모델은 상기 메모리에 보유됨 -, 및 (d) (i) 다수의 물체 이미지를 캡처하는 것, (ii) 상기 다수의 물체 이미지들 간의 블러 차이를 결정하는 것, 및 (iii) 상기 블러 차이를 상기 다차원 초점 매칭 모델에 입력하여 피사체까지의 초점 거리의 추정치를 발생하는 것에 응답하여 심도 추정을 수행하는 것에 응답하여 적절한 초점 거리를 자동으로 추정하는(예를 들어, 오토 포커스), 상기 컴퓨터 상에서 실행가능한 프로그래밍을 포함한다. 상기 장치가 스틸 카메라, 비디오 카메라, 또는 스틸 및 비디오 겸용 카메라 장치 내에 포함되도록 구성되어 있다는 것을 잘 알 것이다. 단일 초점 거리 렌즈에 대해, 또는 다중 초점 거리(줌) 렌즈 시스템을 이용할 때는 배율의 범위에 걸쳐 얻어지는 부가의 데이터에 대해 상기 초점 매칭 모델이 생성되어 사용될 수 있다.
본 발명의 한 측면에서, 초점 매칭 곡선의 2차원 모델은, 카메라-캘리브레이션 피사체 거리가 카메라 및/또는 렌즈 시스템의 포커싱 범위의 적어도 일부분 또는 보다 양호하게는 그 전부에 걸쳐 변할 때, 콘트라스트 변화에 응답하여 결정되는 블러 차이에 기초한다. 그에 따라, 이미지들이 캡처되고 이들 이미지 간의 블러 차이가 검출되는 초점 설정이 실제 피사체 거리, 즉 카메라로부터의 피사체의 심도를 추정하는 데 이용된다. 본 발명의 한 실시 형태에서, 초점 매칭 곡선의 2차원 모델이 발생되며, 이 모델은 (i) 블러 변화를 제1 위치로부터 제2 위치로의 점 확산 함수로서 모델링하는 것, (ii) 제1 위치와 제2 위치 사이의 중간 위치들에서 블러 변화를 평가하고 어느 이미지가 더 선명한지를 판정하는 것, 및 (iii) 카메라의 초점 범위의 적어도 원하는 부분에 걸쳐, 또는 양호하게는 전체 초점 범위에 걸쳐(이 범위로부터의 이미지들 간의 블러 차이가 초점 매칭 모델에 포함됨) 일련의 이미지가 수집될 때 수행되는 단계 (i) 및 (ii)에 응답하여 초점 매칭 모델을 발생하는 것을 포함한다.
본 발명의 한 실시 형태에서, 블러에 기초하여 거리가 보다 정확하게 결정될 수 있도록, 물리적 카메라 및 환경 변동(예를 들어, 조명 변동, 셔터 타이밍 변동, 위치 변동, 기타)에 응답하여 연속적인 초점 위치들 사이에서 일어나는 불일치(mismatching)를 제거 또는 감소시키기 위해 히스토그램 매칭 프로세스가 수행된다. 초점 매칭 모델을 처음으로 발생할 때 캘리브레이션 타겟의 이미지들에 대해 또한 카메라 장치에서 블러 차이를 결정하기 전의 단계로서 초점 매칭 모델에서 사용하기 위해 캡처된 이미지들에 대해 히스토그램 매칭 프로세스가 수행될 수 있다는 것을 잘 알 것이다.
적어도 하나의 양호한 실시예에서, 초점 매칭 모델은 불일치 잡음을 감소시키는 쪽으로 초점 위치들 간의 곡선들을 평탄화시키는 다항식 함수로 변환된다. 이 다항식은 양호하게는 원하는 이미지 응용 및 사용 중인 렌즈 및 카메라 시스템의 성질에 기초하여 선택된다. 제한이 아닌 일례로서, 다항식 함수는 쌍2차(bi-quadratic) 함수 또는 쌍3차(bi-cubic) 함수, 기타일 수 있다.
본 발명의 일 실시예는 피사체 초점 심도의 자동 카메라 추정 방법이며, 이 방법은 (a) 서로 다른 초점 거리에서 캡처된 다수의 캘리브레이션 피사체 이미지들 간의 블러 차이를 검출하는 것에 응답하여 다차원 초점 매칭 모델을 저장하는 단계, (b) 다수의 물체 이미지를 캡처하는 단계, (c) 상기 다수의 물체 이미지들 간의 블러 차이를 결정하는 단계, 및 (d) 다수의 물체 이미지들 간의 블러 차이를 다차원 초점 매칭 모델에 입력하여 피사체까지의 초점 거리의 추정치를 발생하는 것에 응답하여 초점 심도(focal depth)를 추정하는 단계를 포함한다. 이 방법은 임의의 형태의 프레임-캡처 가능 영상 시스템 내에서, 예를 들어, 스틸 카메라, 비디오 카메라, 또는 스틸 및 비디오 겸용 카메라 내에서 구현될 수 있다.
본 발명의 한 측면에서, 캘리브레이션 피사체와 카메라 간의 거리가 변함에 따라 기지의 캘리브레이션 타겟(예를 들어, 특정의 고정된 슬레이트 또는 그래픽)의 콘트라스트 차이 변화를 결정하는 것에 응답하여, 캡처된 이미지들 간의 블러 차이가 결정된다. 초점 매칭 모델을 통해 실제 피사체 거리 또는 심도를 추정하기 위해, 이미지들이 캡처되는 초점 거리 및 이들 이미지 간의 블러 차이가 이용된다.
본 발명의 일 실시예는 단계들에 응답하여 피사체의 카메라 초점 심도를 자동으로 추정하도록 구성되어 있는, 컴퓨터(예를 들어, 카메라 장치 내에 일체화되어 있음) 상에서 실행가능한 컴퓨터 프로그램을 포함하는 컴퓨터-판독가능 매체이며, 상기 단계들은 (a) 서로 다른 초점 거리에서 캘리브레이션 피사체에 관해 발생된 블러 차이 정보에 응답하여 생성된 초점 매칭 모델을 저장하는 단계, (b) 적어도 2개의 서로 다른 초점 위치에 대한 이미지를 캡처하는 단계, (c) 캡처된 이미지들 간의 블러 차이를 결정하는 단계, 및 (d) 캡처된 이미지들 간의 블러 차이를 초점 매칭 모델에 입력하고 이 모델의 해를 구하여 피사체까지의 거리의 추정치를 발생하는 것에 응답하여 피사체의 심도를 추정하는 단계를 포함한다. 보다 상세하게는, 피사체까지의 거리의 추정치에 도달하기 위해 이 입력들의 해를 구하는 데 이 모델이 이용된다는 것을 잘 알 것이다. 따라서, 본 발명이 영상 장치(예를 들어, 전자 스틸 및/또는 비디오 카메라), 영상 장치의 제어 장치, 또는 영상 시스템(양호하게는 컴퓨터 처리 요소 및 컴퓨터 상에서 실행가능한 프로그래밍을 보유하는 메모리를 포함하는 영상 시스템 등) 내에서 피사체-거리를 추정하는 방법으로서 구성될 수 있다는 것을 잘 알 것이다.
본 발명은 본 개시 내용을 벗어나지 않고 개별적으로 또는 임의의 원하는 조합으로 구현될 수 있는 다수의 유익한 측면들을 제공한다.
본 발명의 한 측면은 카메라-렌즈 시스템의 특성 평가 동안에 다수의 초점에서 다수의 이미지를 캡처하여 매칭시키는 것에 응답하여 피사체까지의 거리(피사체-거리 또는 카메라 초점 거리)를 추정하는 방법이다.
본 발명의 다른 측면은 카메라 시스템 내에서 거리 추정치를 사용하여 초점을 추정하거나 초점 조절을 제어하는 것이다.
본 발명의 다른 측면은 적어도 주어진 피사체-거리에서 이미지가 촬영된 적어도 2개의 초점 설정을 표현하는 이미지들의 입력에 응답하여 거리를 추정할 수 있는 피사체-거리 추정 방법이다.
본 발명의 다른 측면은 주어진 피사체-거리에 대해 서로 다른 블러링 수준을 나타내는 적어도 2개의 이미지가 제공될 때 주어진 장치에 대한 블러 차이의 특성을 평가하고 이어서 이 특성 평가를 사용하여 피사체-거리를 추정하는 피사체-거리 추정 방법이다.
본 발명의 다른 측면은 피사체-거리를 추정하는 데 2개의 이미지 입력만을 사용하는 피사체-거리 추정 방법이지만, 원하는 바에 따라 또는 연속적인 및/또는 계속적인 추정에 대해 추정 정확도를 향상시키기 위해 부가의 입력들이 이용될 수 있다.
본 발명의 다른 측면은 고정된 피사체-거리를 갖는 이미지의 서로 다른 초점 설정을 갖는 다수의 이미지가 캡처되고 이들 이미지로부터의 블러 정보가 초점 매칭 모델에 입력되며 거리를 얻기 위해 이 모델을 풀어서 실제 피사체-거리의 추정치를 발생하는 피사체-거리 추정 방법이다.
본 발명의 다른 측면은 경험적인 초점 매칭 모델을 표현하기 위해 다항식 모델을 채택하는 피사체-거리 추정 방법 또는 장치이다.
본 발명의 다른 측면은 다른쪽 히스토그램에서 가장 가까운 휘도의 픽셀을 평활화하여 원하지 않는 물리적 및 환경적 변동에 응답하여 모델에 유입되는 잡음의 효과를 감소시키기 위해 픽셀이 순차적으로 한쪽 히스토그램에서 다른쪽 히스토그램으로 천이되는 히스토그램 매칭 방법이며, 선형 매칭 함수에 의해 근사화된다.
본 발명의 다른 측면은 단일 초점 렌즈(single focal point lense), 개별 초점 렌즈(discrete focal point lense)(예를 들어, 기본 및 매크로 설정), 또는 연속적으로 변하는 초점 렌즈(continuously variable focal point lense)(예를 들어, 줌 렌즈)에 대해 이용될 수 있는 피사체-거리 추정 장치 및 방법이다.
본 발명의 다른 측면은 카메라의 각각의 개별 배율 설정에 대해 또는 연속적으로 변하는 배율(줌) 범위를 따라 증분적 위치에서 초점 매칭 모델이 발생될 수 있는 거리 추정 장치 및 방법이다.
본 발명의 또다른 측면은 서로 다른 초점 및 줌 설정에서 이미지를 캡처하도록 구성되어 있는 광범위한 영상 장치(예를 들어, 스틸 및/또는 비디오 카메라 장치)에 대해 심도 추정 및 초점이 결정될 수 있는 것이다.
본 발명의 다른 측면들이 본 명세서의 이하의 부분들에서 설명될 것이며, 이 상세한 설명은 본 발명을 제한하지 않고 본 발명의 양호한 실시예들을 상세히 설명하기 위한 것이다.
본 발명은 단지 예시를 위한 이하의 도면들을 참조하면 더 잘 이해될 것이다.
도 1은 본 발명의 한 측면에 따른, 다수의 초점에서 다수의 이미지를 캡처하는 것을 개략적으로 나타낸 도면.
도 2a 및 도 2b는 본 발명의 한 측면에 따른, 캘리브레이션 타겟(예를 들어, 스텝 엣지) 이미지들의 비교를 나타낸 도면.
도 3은 본 발명의 한 측면에 따른, 블러 차이(blur difference)를 3회 반복하여 계산하는 것을 개략적으로 나타낸 도면.
도 4는 본 발명의 한 측면에 따른, 수집된 매칭 곡선의 그래프로서, 이상점 및 잡음을 포함하는 것을 나타냄.
도 5는 본 발명의 한 측면에 따른, 연속적인 피사체-거리들 간의 불일치의 히스토그램.
도 6은 도 5에 도시된 히스토그램의 일부분을 나타내는 확대된 히스토그램.
도 7은 본 발명에 따른, 히스토그램 매칭 전후의 매칭을 나타내는 매칭 곡선의 그래프.
도 8은 본 발명의 한 측면에 따른, 히스토그램 매칭 전후의 매칭을 나타내는 15개에 걸친 매칭 곡선의 그래프.
도 9는 본 발명의 한 측면에 따른, 쌍2차 근사(bi-quadratic fitting)의 사용을 보여주는 매칭 곡선의 그래프.
도 10는 본 발명의 한 측면에 따른, 쌍3차 근사(bi-cubic fitting)의 사용을 보여주는 매칭 곡선의 그래프.
도 11는 본 발명의 한 측면에 따른 캘리브레이션의 플로우차트.
도 12는 본 발명의 한 측면에 따른, 2 사진 매칭에 기초한 카메라 심도 추정의 플로우차트.
도 13은 본 발명의 한 측면에 따른 히스토그램 매칭의 플로우차트.
도 14는 본 발명의 한 측면에 따른, 심도 추정을 수행하도록 구성된 이미지 캡처 장치의 블록도.
첨부 도면들을 보다 구체적으로 참조하면, 예시를 위해, 본 발명은 도 1 내지 도 14에 개괄적으로 도시된 장치에서 구현된다. 본 명세서에 개시된 기본 개념들을 벗어나지 않고, 이 장치가 구성 및 부분의 상세에 있어서 다를 수 있다는 것과 이 방법이 구체적인 단계들 및 순서에 있어서 다를 수 있다는 것을 잘 알 것이다.
1. 블러 차이
도 1은 주어진 영상 장치(예를 들어, 카메라의 특정 실시예, 제조사 또는 모델, 또는 동일/유사한 광학 촬상 소자를 사용하는 계열의 카메라)에 대한 데이터 세트를 수집할 때 서로 다른 초점 위치(피사체-거리)에서 캘리브레이션 타겟(또는 캘리브레이션 피사체)의 다수의 이미지들이 캡처되는 실시예(10)를 나타낸 것이다. 데이터 세트를 수집하는 것은 주어진 배율 설정에서 카메라-렌즈 시스템(고정된 초점 거리, 줌 설정에서 렌즈)에 대한 특성 평가 프로세스를 포함한다. 최소 초점 거리(14)로부터 무한대(16)까지 초점을 맞출 수 있는 영상 장치(카메라)(12)가 도시되어 있다. 최소 초점 거리(14)(예를 들어, 이 경우에, 35 cm)는 물론 무한대(16)에 있는 초점도 도시되어 있다. 본 발명에 따르면, 초점이 초점 경로(focal path)(24)를 따라 제1 초점 위치(18)에 수렴하고, 이어서 스텝-엣지 이미지, 슬레이트, 격자선(graticule), 또는 기지의 광학 특성을 갖는 유사한 타겟 등의 캘리브레이션 타겟(22)에서 제2 초점 위치(20)에 수렴한다.
제한이 아닌 예로서, 본 명세서에서 본 발명의 방법을 설명하는 데 Sony DSC-R1 카메라가 사용되었지만, 당업자라면 이 방법이 다른 디지털 스틸 및/또는 비디오 카메라에서 이용될 수 있다는 것을 잘 알 것이다. 이 카메라의 포커싱 거리는 최소 초점 거리(예를 들어, Sony DSC-R1의 경우 35 cm)와 무한대 사이에 있다.
도 2a는 피사체(32)가 초점이 맞춰져 있는 상황(30)을 나타낸 것이며, 이 경우, 스텝 엣지의 "엣지 프로파일(edge profile)"이라고도 하는 선명한 콘트라스트 곡선(34)으로 나타낸 바와 같이, 캡처된 이미지가 가장 선명하다. 캘리브레이션 타겟 또는 피사체가 양호하게는 콘트라스트에 기초하여 초점의 선예도를 간단히 결정하는 메카니즘을 제공한다는 것을 잘 알 것이다. 예를 들어, 스텝-엣지 타겟에서, 적어도 2개의 색상, 음영, 휘도 간에 명확한 스텝-엣지 구분이 있으며, 이 경우 초점의 선예도가 콘트라스트 프로파일의 선예도로부터 용이하게 결정될 수 있다. 당업자라면 타겟이 다수의 서로 다른 방식들 중 임의의 방식으로, 즉 비디오 캡처 및 출력의 서로 다른 측면들을 테스트할 때 서로 다른 크로마 키 및 컬러 바 패턴을 사용하는 것과 유사한 방식으로 구성될 수 있다는 것을 잘 알 것이다.
도 2b는 렌즈가 "초점이 맞춰진(in-focus)" 위치로부터 멀어지게 이동함에 따라 물체(38)의 이미지가 점점 더 흐릿하게 될 때의 상황(36)을 나타낸 것으로서, 그 결과의 경사진 콘트라스트 곡선(40)이 도시되어 있다. 일반적으로, 2개의 서로 다른 초점 거리에서 2장의 사진을 찍을 때, 피사체-거리에 더 가까운 곳에서 찍은 사진이 다른쪽 사진보다 더 선명하다. 실제 피사체 거리 또는 심도를 추정하기 위해, 사진들을 찍은 초점 거리 및 이들 2장의 사진 간의 블러 차이가 사용될 수 있다.
2장의 사진
Figure pat00002
및
Figure pat00003
가 위치 A 및 B에서 찍은 것이고,
Figure pat00004
가
Figure pat00005
보다 더 선명한 것으로 가정한다. 블러 변화(blur change)가 다음과 같이 주어지는 점 확산 함수 P 에 의해 모델링될 수 있으며,
Figure pat00006
여기서 *는 2차원 컨벌루션을 나타낸다. 그에 부가하여, 점 확산 함수 P 는 블러 커널(blur kernel) K에 의한 일련의 컨벌루션을 사용함으로써 근사화될 수 있다.
Figure pat00007
한 테스트 경우에서, 커널 K 가 다음과 같이 선택되었다.
Figure pat00008
이것에 따라,
Figure pat00009
와
Figure pat00010
사이의 블러 차이가 수학식 1에서의 여러번의 컨벌루션에 의해 측정될 수 있다. 실제의 구현에서는, 블러 차이가 보다 양호하게는 반복 프로세스를 이용하여 획득된다.
도 3은 반복 프로세스를 나타낸 것이며, 본 명세서에서는 일례로서 사진
Figure pat00011
(좌측)과 사진
Figure pat00012
(우측) 간에 3번의 반복이 수행된다.
도 4는 고정된 거리(예를 들어, 100 cm)에 배치된 스텝-엣지의 이미지에 대해 획득된 매칭 곡선을 나타낸 것이다. 이 시퀀스의 제1 사진은 무한대의 초점 거리에서 찍은 것이고, 이어서 초점 거리가 최소 초점 거리에 도달할 때까지 더 가까운 한 피사계 심도에서 초점을 맞추기 위해 렌즈가 이동할 때마다 한장씩 사진을 찍는다. 이러한 사진 시퀀스가
Figure pat00013
로 나타내어져 있으며, 여기서 N 은 시퀀스의 길이이다. 실제로, 이 시퀀스가 전체 초점 범위에 걸쳐 있도록 하기 위해,
Figure pat00014
는 양호하게는 무한대보다 약간 더 멀리 있는 거리에서 시작하고,
Figure pat00015
는 지정된 최소 초점 거리보다 약간 더 가깝다. 이들 결과는 카메라 스텝 및 시퀀스를 제어하는 소프트웨어로 구성된 DSC-R1 카메라를 사용하여 달성되었다.
주어진 초점 심도에 대해, 반복 횟수와 초점 위치 간의 관계를 찾아내기 위해, 카메라의 전체 초점 범위에 대해 일련의 사진들을 찍고, 이로부터 모든 2개의 사진 간의 블러 차이가 계산될 수 있다.
어떤 도면들(예를 들어, 도 4)에 나타낸 바와 같이, 반복, 특히 마이너스 반복 횟수가 무엇을 의미하는지를 잘 알 것이다. 플러스 반복 횟수는
Figure pat00016
이
Figure pat00017
보다 더 선명하다는 것을 나타낸다. 반복 횟수의 절대값은 방정식
Figure pat00018
을 사용하여 계산된다. 그렇지 않고, 반복 횟수가 마이너스인 경우, 이것은
Figure pat00019
이
Figure pat00020
보다 더 선명하다는 것을 나타낸다. 이 경우에, 반복 횟수의 절대값은
Figure pat00021
로 주어진다. 유의할 점은
Figure pat00022
이 L 2 놈(norm)을 나타낸다는 것이다. 또한, 본 발명을 벗어나지 않고 다른 오차 측정 방법들이 이용될 수 있다는 것을 잘 알 것이다. 그렇지만, 유의할 점은, 2장의 사진을 찍을 때,
Figure pat00023
또는
Figure pat00024
중 어느 것이 더 선명한지를 사전에 알지 못한다는 것이다. 그에 따라, 이 방법은 이하의 수학식 3 및 4 둘다를 계산하도록 구성되어 있다.
Figure pat00025
Figure pat00026
I1이 I2보다 큰 경우,
Figure pat00027
가
Figure pat00028
보다 더 선명하고, 이 경우, 반복 횟수의 값(도 4 참조)이 I1이 된다. 그렇지 않고, I2가 I1보다 큰 경우,
Figure pat00029
이
Figure pat00030
보다 더 선명하고, 반복 횟수의 값(예를 들어, 도 4 참조)이 -I2가 된다. I1 와 I2가 같은 경우, 이하의 오차들을 비교한다.
Figure pat00031
, 및
Figure pat00032
e1이 e2보다 작은 경우,
Figure pat00033
이
Figure pat00034
보다 더 선명하고, 그렇지 않고 e2가 더 작은 경우,
Figure pat00035
이
Figure pat00036
보다 더 선명하다.
100 cm의 심도에 대한 반복 횟수와 초점 위치 간의 관계가 도 4에 도시되어 있다. 모든 2개의 사진
Figure pat00037
와
Figure pat00038
간의 블러 차이(단, i = 0,…, N-2 임)가 계산된다. "사진 번호" 축은 이미지 쌍을 나타내며, 이들 이미지 쌍에 대해 반복 횟수가 계산된다. 예를 들어, 사진 번호 0은 반복 횟수가
Figure pat00039
와
Figure pat00040
사이에서 계산된다는 것을 의미한다. 렌즈 초점 위치가 피사체 거리로부터 멀어지게 이동할 때 반복 횟수의 절대값이 증가한다는 것을 알 수 있다. 제로-교차점은 피사체가 초점이 맞춰진 곳이다.
도 5 및 도 6은 도 4로부터의 사진(138, 139)의 히스토그램을 비교한 것이며, 상당한 불일치가 눈에 띈다. 피사체-거리가 블러에 기초하여 정확하게 계산될 수 있기 이전에 이러한 불일치가 제거되어야만 한다는 것을 잘 알 것이다.
2. 히스토그램 매칭
불일치를 보정하기 위해, 매칭 절차는 양호하게는 한쪽 히스토그램을 다른쪽 히스토그램과 매칭하도록 수정함으로써 수행된다. 간단한 선형 매칭 함수가 이용될 수 있지만, 다른 함수들이 이용될 수 있다는 것을 잘 알 것이다. 다른쪽 히스토그램의 가장 가까운 휘도의 픽셀의 수를 평활화하기 위해 픽셀이 한쪽 히스토그램으로부터 순차적으로 천이된다. 2개의 히스토그램 간의 픽셀의 천이에 응답하여, 최소 자승 오차법(least squared error solution) 등을 사용하여 매칭 함수가 결정된다. 그 후에, 포커싱 매칭(focusing matching)이 수행되기 전에 히스토그램 매칭 함수가 2개의 사진에 적용된다.
도 7 및 도 8은 서로 다른 피사체 심도에 대한 반복 곡선을 나타낸 것으로서, 초점 매칭 전에 히스토그램 매칭이 적용되지 않은 것은 실선으로 도시되어 있고, 히스토그램 매칭이 있는 것은 점선으로 도시되어 있다. 도 7은 하나의 일례를 나타낸 반면, 도 8은 15개의 서로 다른 거리에 대한 반복 곡선을 나타낸 것이다. 도 8의 그래프는 각각 무한대, 1000, 500, 300, 200, 150, 125, 100, 80, 70, 60, 50, 45, 40 및 35 cm의 거리에 스텝-엣지를 배치함으로써 발생된 것이다. 반복 횟수 I 는 초점 거리 L 및 피사체 심도 D의 함수 F로 표현될 수 있다.
Figure pat00041
여기서 L 및 D는 둘다 사진 번호에 의해 측정되고, 이 사진 번호는 물리적으로 무한대로부터, 즉 사진 0이 정의되는 곳으로부터 측정되는 피사계 심도의 수를 의미한다. 심도 추정은 I 및 L이 주어진 경우 D 를 결정하는 프로세스이다. 도 8에 도시된 데이터에 대해, 심도 추정을 모델링하는 데 수학식 5가 사용된다.
도 4, 도 7 및 도 8에 도시된 데이터는 상당한 신호 잡음을 나타낸다. 예를 들어, 도 4 내지 도 6에서, 139번 사진에서 눈에 띄는 이상점이 보인다. 이들 이상점의 소스는 캡처 프로세스 동안의 조명 조건의 변화 및 구경 변동은 물론 다른 물리적 카메라 및 환경 변동도 포함할 수 있다.
이들 도면에서 보여지는 불일치를 고려하여, 블러 차이가 계산되기 전에 히스토그램 매칭 기법이 이미지들에 적용된다는 것을 잘 알 것이다. h1 및 h2가 각각 2개의 서로 다른 이미지
Figure pat00042
및
Figure pat00043
의 히스토그램을 나타낸다고 하자. h1을 기준 히스토그램(reference histogram)이라고 생각하고 h2를 h1과 매칭시키기 위해 수정될 히스토그램이라고 생각하며, 여기서 이하의 단계들이 수행된다.
(1) 픽셀 매핑 행렬 w(i,j)이 발생된다.
(2) 0 내지 최대 계조 M에 이르는 모든 i 및 j 에 대해 w(i,j) = 0으로 설정한다.
(3) h1 (i) > 0를 만족시키는 가장 작은 i를 찾고 h2(j) > 0를 만족시키는 가장 작은 j를 찾는다.
(4) h2(j) ≥ h1(i)인 경우, w(i,j) = h1(i)로 설정하고, h2(j)<- h2(j) - h1(i)에 의해 h2(j)를 업데이트시키며, h1(i) = 0으로 설정한다.
그렇지 않고 h2(j) < h1(i)인 경우, w(i,j) = h2(j)로 설정하고, h1(i) <- h1(i) - h2(j)에 의해 h1(i)를 업데이트시키며, h2(j) = 0으로 설정한다.
이어서, 모든 계조에 대해 h1 및 h2 둘다가 0으로 될 때(2장의 사진이 동일한 수의 픽셀을 갖는 것에 응답하여 일어남)까지 단계 3 및 4가 반복된다.
매핑 행렬 w(i,j) 이 생성된 후에, 가중 최소 자승 회귀법(weighted least squares regression method) 등을 사용하여 선형 매칭 함수 H(x) = ax + b가 작성되고, 여기서 a 및 b는 다음과 같이 계산된다.
Figure pat00044
Figure pat00045
행렬 w(i,j)는 일반적으로 희소 행렬(sparse)이다. 이 방법의 한 실시 형태에서, 메모리 및 계산 효율성을 향상시키기 위해 영이 아닌 값 및 그의 위치만이 저장된다.
2개의 이미지의 블러링 매칭을 수행하기 전에, 히스토그램 매칭 함수 H(x)가
Figure pat00046
의 각각의 픽셀에 적용된다. 히스토그램 매칭의 결과가 도 8에 도시되어 있다.
히스토그램 매칭의 주된 목적이 이상점을 제거하는 것이라는 것을 잘 알 것이다. 매칭 절차가 수행된 후라도, 매칭 곡선이 여전히 상당한 잡음을 나타낸다는 것을 알 수 있다. 그에 따라, 매칭이 수행된 후에, 다항식 모델에 따라 곡선이 모델링된다.
3. 2차원 다항식 모델
도 4 내지 도 8에 보이는 불일치 잡음의 대부분을 제거하면서 계산을 용이하게 해주기 위해, 상기한 매칭 곡선이 2차원(2-D) 다항식 함수 등의 다차원 다항식 함수를 사용하여 근사화될 수 있다.
이 모델에서, 반복 횟수는 렌즈 위치 및 물체 거리의 함수이다. 계수들은, 예를 들어, 최소 자승 오차 2차원 다항식 근사 알고리즘(least squared error two-dimensional polynomial fitting algorithm)을 사용하는 것에 응답하여 결정된다. 3차원 다항식은 수학식 5의 블러 반복 함수(blur iteration function)를 모델링하는 데 사용된다.
Figure pat00047
계수 C(i,j)는 T. B. Deng의 "Linear Approach to the Least-Square Multidimensional Polynomial Fitting(최소 자승 다차원 다항식 근사의 선형 방법)", Proc. IEEE International Conference on Information, Communication and Signal Processing, Singapore, September 1997에 기술된 방법을 사용하여 결정된다.
다항식의 차수 m 및 n은 특정의 렌즈 및 응용의 사용에 따라 선택된다. 쌍2차(m = n = 2) 및 쌍3차(m = n = 3) 다항식의 일례가 도면들에 도시되어 있다.
제1 일례로서, 근사 알고리즘(fitting algorithm)을 근사화하는 데 쌍2차 함수 계수가 사용될 수 있다. 제한이 아닌 예로서, 쌍2차 근사화의 경우, 곡선들이 다음과 같이 3x3 행렬로 표현될 수 있다.
Figure pat00048
도 9는 점선으로 도시된 쌍2차 근사 곡선(fitting curve)을 실선으로 도시된 매칭 데이터와 비교하여 나타낸 것이다. 쌍2차 근사 곡선의 평탄한 선은 경험적으로 수집된 매칭 데이터에 대한 보다 들쭉날쭉한 선과 극명하게 대조된다. 다항식이 실선으로 도시된 매칭 데이터와 충분히 매칭을 제공한다는 것을 잘 알 것이다.
제2 일례로서, 근사 알고리즘을 근사화하기 위해 다른 대안으로서 쌍3차 함수 계수가 이용될 수 있다. 제한이 아닌 예로서, 쌍3차 근사화의 경우, 곡선들이 다음과 같은 4x4 행렬로 표현될 수 있다.
Figure pat00049
도 10은 점선으로 도시된 쌍3차 근사 곡선을 실선으로 도시된 매칭 데이터와 비교하여 나타낸 것이다. 이 쌍3차 다항식이 도 9에 도시된 쌍2차 근사보다 약간 더 가까운 매칭을 제공한다는 것을 잘 알 것이다.
4. 심도 추정
수학식 5로 표현된 모델을 사용하여, 심도 추정 방법이 용이하게 구현된다. 먼저, 서로 다른 초점 위치에 있는 2개의 이미지가 캡처되고, 이들 초점 위치 간의 거리가 하나의 피사계 심도 내에 있다. 유의할 점은, 이 때에 피사체 거리를 알 수 없다는 것이며, 그 이유는 추정되는 것이 그것이기 때문이다. 이 프로세스에서 사용되는 2장의 사진이, 이들 2장의 사진의 초점 위치 간의 차이가 하나의 피사계 심도인 한, 어느 거리에서라도 캡처될 수 있다. 선택적으로, 블러 차이의 결정 이전에 캡처된 이미지 정보에 대해 히스토그램 매칭 등의 잡음 처리가 수행될 수 있다. 캡처된 이미지들 간의 블러 차이는 수학식 2 내지 수학식 4와 관련하여 계산되며, 수학식 5는 단일 변수 다항 방정식으로 된다. 다항 방정식을 D에 대해서 풀면, 그 결과 피사체-거리라고도 하는 추정된 물체의 심도가 발생된다. 유의할 점은, D 가 정수 또는 부동 소수점 수 등의 임의의 원하는 포맷으로 구성될 수 있다는 것이다. 오토 포커스 응용의 경우, 추정된 거리 D에서 초점을 맞추고 동일한 방식으로 새로운 심도를 추정하기 위해 렌즈가 이동될 수 있다. 이 절차는 반복 횟수가 0 또는 어떤 원하는 문턱값 이하에 수렴할 때까지 반복될 수 있다. 이 알고리즘이 다양한 초점 거리 및 구경에 대한 보다 높은 차원의 다항식 모델로 확장될 수 있다는 것을 잘 알 것이다.
5. 방법 및 장치에 대한 개괄적인 설명
도 11은 카메라 등의 주어진 영상 장치의 제조업체에 의해 수행되는 캘리브레이션 실시예를 나타낸 것이다. 블록(50)에서, 서로 다른 초점 거리에서 스텝-엣지 이미지에 대해 매칭 곡선이 획득된다. 이어서 블록(52)에 따라 매칭 곡선을, 예로서, 다차원 다항식 모델로 표현하는 2차원 모델이 생성된다. 이 캘리브레이션 프로세스 후에, 모델의 표현(모델의 다항식 계수 등)이 저장된다(54), 예를 들어, 카메라 장치의 비휘발성 프로그램 메모리 내에 인코딩된다.
도 12는 본 발명에 따른, 카메라 장치 내에서 다차원 다항식 모델을 사용하여 심도 추정을 하는 실시예를 나타낸 것이다. 캘리브레이션 프로세스(도 11) 후에, 이 모델은 따라서 특정의 카메라 장치 내에서 물체 심도를 추정하는 데 이용가능하다. 블록(60)에 나타낸 바와 같이, 서로 다른 초점 위치에서 2개의 이미지를 캡처한다(예를 들어, 사진을 찍는다). 블록(62)에 따라 양호하게도 이미지들에 히스토그램 매칭이 수행된다. 이어서, 블록(64)에서, 블러 차이가 계산된다. 이후에, 블록(66)에서 2개의 이미지가 캡처된 초점 위치 및 블러 차이에 기초하여 심도를 추정하기 위해 다항식 모델이 사용된다.
본 발명에 따라, 일련의 심도 추정이 수행될 수 있다는 것을 잘 알 것이다. 예를 들어, 이 방법이 카메라 초점 조절과 함께 이용되는 경우, 카메라 초점이 조절될 때, 부가의 이미지 입력이 수집될 수 있고, 카메라가 적절한 초점에 가까와짐에 따라 피사체-거리 추정치가 실제의 피사체-거리와 일치할 때 점점 더 높은 정확도를 제공하기 위해 거리 추정 프로세스가 다시(또는 계속하여) 수행될 수 있다.
초점 매칭 모델을 간단화하고 응답을 평탄하게 하기 위해, 물리적 카메라 측면에서의 변화(예를 들어, 구경 변동, 광학 요소 출력 및 온도 변동, 기계적 렌즈 설정 변동, 기타) 및 환경적 요인들(즉, 조명, 움직임, 온도, 위치, 기타)로 인해 발생하는 오차를 제거하는 것이 바람직하다. 히스토그램 매칭 프로세스가 블러 차이를 결정하기 전에 어떤 잡음원을 제거하였지만, 도 7에서 보이는 것과 같은, 제거될 수 있는 어느 정도의 잡음이 여전히 있다. 부가의 잡음을 제거하기 위해, 캘리브레이션 프로세스에 응답하여 결정된 초점 매칭 모델 자체가 양호하게는, 예를 들어, 심도 추정에 사용될 수 있는 원하는 차수(예를 들어, 2, 3 또는 4 차수)의 다항식 함수를 채택함으로써 충분히 평탄한 수학적 표현(함수)으로 변환된다. 따라서, 경험적으로 수집된 데이터에 기초하여 생성된 모델을 대체하기 위해 함수(예를 들어, 다항식 함수)가 선택된다. 이 대체 함수는 물론, 이 모델의 사용이 충분히 정확한 거리 추정을 하도록 경험적 데이터에 충분한 곡선 매칭(근사)을 제공해야만 한다.
예를 들어, 렌즈 위치 및 반복 횟수가 주어진 경우, 2차원 다항 방정식은 단일 변수 방정식으로 된다. 본 발명의 측면들에서는 단일 변수 방정식의 일례들을, 한 단계에서 풀 수 있는 2차 또는 3차 방정식이라고 한다. 또한, 이 알고리즘이 서로 다른 초점 거리 및 구경에 사용하기 위해, 원하는 바에 따라 보다 높은 차원의 다항식 함수로 확장될 수 있다는 것을 잘 알 것이다.
도 13은 도 12의 블록(62)에 나타낸 바와 같이, 양호하게는 블러 차이를 계산하기 전에 잡음을 제거하기 위해 수행되는 히스토그램 매칭 프로세스를 나타낸 것이다. 블록(70)에 나타낸 바와 같이, 서로 다른 초점 위치에서 획득된 2장의 사진에 대해 히스토그램이 발생된다. 블록(72)에 따라 다른쪽 히스토그램의 가장 가까운 휘도의 픽셀의 수를 같게 하기 위해 픽셀이 한쪽 히스토그램으로부터 순차적으로 천이된다. 블록(74)에 나타낸 바와 같이, 최소 자승 오차법을 사용하여 히스토그램 매칭 함수가 결정된다. 1차원 선형 함수가 양호하게는, 그의 간단함으로 인해, 이 히스토그램 매칭 함수로 선택된다는 것을 잘 알 것이다. 히스토그램 매칭 함수 및 초점 매칭 함수가 서로 다르고 개별적인 것이며, 후자가 2차원 다항식 함수라는 것을 잘 알 것이다.
도 14는 본 발명에 따라 심도 추정을 하도록 구성된 이미지 캡처 장치(카메라)(90)의 예시적인 실시예(90)를 나타낸 것이다. 초점/줌 조절(94)이 컴퓨터(CPU)(96)에 의해 제어되는 영상 광학계(92)에 결합되어 있는 것으로 도시되어 있다. 컴퓨터(96)는 메모리(98) 및/또는 보조 메모리(100)로부터 실행되는 명령어들에 응답하여 심도 추정 방법을 수행한다. 일례로서 카메라 장치(예를 들어, 비디오 또는 스틸)로서, 이미지 디스플레이(102) 및 터치 스크린(104)이 도시되어 있지만, 본 발명에 따른 방법이 초점 조절, 초점 표시자, 또는 이들의 조합으로 구성되어 있는 다양한 이미지 캡처 장치에서 구현될 수 있다는 것을 잘 알 것이다. 다항식 계수들에 의해 정의되는 것과 같은 모델을 발생하는 캘리브레이션 프로세스(예를 들어, 도 11)가 컴퓨터 제어 테스트 설정(computer controlled test setup)에 의해 수행된다는 것을 잘 알 것이다. 이와 달리, 심도 추정 및 초점 조절이 도 14에 도시된 것과 같은 카메라 또는 유사한 영상 장치에서 구현되어야 한다.
줌 조절 또는 렌즈 초점 거리(배율이라고도 함)를 변경하는 기타 수단의 사용과 관련하여, 사용 중인 카메라 및/또는 렌즈 시스템이 양호하게는 그의 적용가능한 줌 범위에 걸쳐 본 발명에 따라 특성 평가된다는 것을 잘 알 것이다. 예를 들어, 개별 렌즈 선택을 갖는 카메라에서 렌즈 설정의 각각의 개별 초점 거리에 대해 기술된 바와 같이 또는 연속적으로 선택가능한 줌 조절을 갖는 카메라의 줌 범위를 따라 증분적 스텝으로 카메라 및/또는 렌즈의 특성 평가가 수행된다. 이와 같이, 기술된 바와 같은 단일 초점 거리 렌즈에 대해 또는 연속적 범위(예를 들어, 줌)든 불연속적인 범위(보다 통상적으로 이산적 범위라고 함)든 간에 다수의 범위를 갖는 렌즈(예를 들어, 기본/매크로 설정 또는 기타 선택가능한 범위 설정)에 대해 피사체까지의 거리의 추정이 수행될 수 있다. 이전의 섹션에서, 다양한 초점 거리(서로 다른 줌 위치) 및 구경을 제공하는 2차원 다항식 모델의 고차원으로의 확장이 기술되어 있다. 제한이 아닌 예로서, 수학식 5는 I = F(L,D,Z,A)로 고쳐쓸 수 있으며, 여기서 Z 는 초점 거리이고, A 는 4차원 다항식 모델을 제공하는 구경이다.
이상의 설명이 많은 상세를 포함하고 있지만, 이들이 본 발명의 범위를 제한하는 것으로 해석되어서는 안되며, 본 발명의 현재 양호한 실시예들 중 일부의 예시를 제공하는 것에 불과한 것으로 해석되어야 한다. 따라서, 본 발명의 범위가 당업자에게 명백하게 될 수 있는 다른 실시예들을 완전히 포함한다는 것과, 본 발명의 범위가 그에 따라 첨부된 청구항들에 의해서만 제한된다는 것과, 청구항들에서 단수로 된 요소가, 명시적으로 그러한 것으로 언급하지 않는 한, "오직 하나"가 아니라 "하나 이상"을 의미하는 것으로 보아야 한다는 것을 잘 알 것이다. 당업자에게 공지되어 있는 상기한 양호한 실시예에의 구성요소들에 대한 모든 구조적 및 기능적 등가물이 명시적으로 본 명세서에 포함되며, 본 청구항들에 의해 포괄되는 것으로 보아야 한다. 게다가, 장치 또는 방법이 본 발명이 해결하려고 하는 모든 문제점을 해결할 필요는 없는데, 그 이유는 이들이 본 청구항들에 의해 포괄되기 때문이다. 게다가, 본 명세서에서의 구성요소, 컴포넌트, 또는 방법 단계가 청구항에 명시적으로 언급되어 있는지 여부와 상관없이, 이들 구성요소, 컴포넌트, 또는 방법 단계 어느 것도 공중에 전용되는 것으로 보아서는 안된다. 본 명세서의 어떤 청구항 구성요소도, 그 구성요소가 "~하는 수단"이라는 구문을 사용하여 명시적으로 언급되지 않는 한, 미국 특허법 112조 6항의 규정에 따라 해석되어서는 안된다.

Claims (20)

  1. 이미지를 전자적으로 캡처하는 장치로서,
    촬상 소자(imaging device),
    상기 촬상 소자에 결합된 초점 조절 요소(focus control element),
    상기 촬상 소자 및 초점 조절 요소에 결합된 컴퓨터 프로세서,
    상기 컴퓨터 프로세서에 결합되어 있고, 상기 촬상 소자로부터 캡처된 이미지들을 보유하고 또 상기 컴퓨터 프로세서에 의해 실행가능한 프로그래밍을 보유하도록 구성되어 있는 메모리,
    상기 메모리에 보유되어 있는 다차원 초점 매칭 모델 - 상기 모델은 서로 다른 초점 거리에서 캘리브레이션 타겟을 촬상한 것에 기초함 -, 및
    상기 컴퓨터 프로세서에 의해 실행가능한 프로그래밍을 포함하며, 상기 프로그래밍은
    (i) 다수의 물체 이미지를 캡처하는 단계, 및
    (ii) 상기 물체 이미지들 간에 검출된 블러 차이를 상기 초점 매칭 모델에 입력한 것에 기초하여 상기 물체 이미지들에 대해 심도 추정을 수행하는 것에 응답하여 상기 초점 조절 요소를 자동으로 조절하는 단계를 수행하는 것인, 이미지를 전자적으로 캡처하는 장치.
  2. 제1항에 있어서, 상기 영상 장치가 스틸 이미지 카메라, 비디오 이미지 카메라, 또는 스틸 및 비디오 겸용 이미지 카메라를 포함하는 것인, 이미지를 전자적으로 캡처하는 장치.
  3. 제1항에 있어서, 상기 초점 매칭 모델이 불일치 잡음을 감소시키기 위해 다항식 함수를 이용하는 것인, 이미지를 전자적으로 캡처하는 장치.
  4. 제3항에 있어서, 상기 다항식 함수의 계수들이 상기 메모리에 저장되는 것인, 이미지를 전자적으로 캡처하는 장치.
  5. 제1항에 있어서, 상기 블러 차이를 상기 초점 매칭 모델에 입력하기 전에 초점 위치들 간의 이상점들로부터의 잡음을 감소시키기 위해 상기 물체 이미지들을 처리하는, 상기 메모리에 보유되고 상기 컴퓨터 프로세서에 의해 실행가능한 히스토그램 매칭 프로그래밍을 더 포함하는, 이미지를 전자적으로 캡처하는 장치.
  6. 제1항에 있어서, 상기 초점 매칭 모델이 캘리브레이션 프로세스를 수행함으로써 발생되고,
    상기 캘리브레이션 프로세스는,
    적절한 초점을 맞추기 위해 일련의 캘리브레이션 타겟 이미지를 획득하는 단계,
    상기 일련의 캘리브레이션 타겟 이미지에 대한 초점 곡선을 획득하는 단계, 및
    상기 일련의 캘리브레이션 타겟 이미지에 대한 초점 곡선을 매칭시키는 것에 기초하여 상기 다차원 모델을 발생하는 단계를 포함하는 것인, 이미지를 전자적으로 캡처하는 장치.
  7. 제6항에 있어서, 상기 캘리브레이션 프로세스가 상기 일련의 캘리브레이션 타겟 이미지를 획득할 때 연속적인 초점 위치들 간의 불일치를 감소시키기 위해 히스토그램 매칭 프로세스를 포함하며,
    상기 히스토그램 매칭 프로세스는
    가장 가까운 휘도의 픽셀을 평활화하기 위해 제1 히스토그램에서 제2 히스토그램으로 픽셀들을 순차적으로 천이시키는 단계, 및
    선형 매칭 함수를 사용하여 상기 히스토그램 매칭을 근사화시키는 단계를 포함하며,
    원하지 않는 물리적 및 환경적 변동에 응답하여 상기 모델에 유입된 잡음 효과가 감소되는 것인, 이미지를 전자적으로 캡처하는 장치.
  8. 카메라로부터 물체까지의 초점 거리를 추정하는 장치로서,
    카메라의 촬상 소자와 관련하여 동작하도록 구성된 컴퓨터 프로세서,
    상기 컴퓨터 프로세서에 결합되어 있고, 상기 촬상 소자로부터 캡처된 물체의 이미지들을 보유하고 또 상기 컴퓨터 프로세서에 의해 실행가능한 프로그래밍을 보유하도록 구성되어 있는 메모리,
    상기 메모리에 보유되어 있는 다차원 초점 매칭 모델 - 상기 모델은 서로 다른 초점 거리에서 캘리브레이션 타겟을 촬상한 것에 기초함 -, 및
    심도 추정을 수행하는 것에 응답하여 적절한 초점 거리를 자동으로 추정하는, 상기 컴퓨터 프로세서에 의해 실행가능한 프로그래밍을 포함하며,
    상기 심도 추정은
    (i) 다수의 물체 이미지를 캡처하는 단계,
    (ii) 상기 다수의 물체 이미지들 간의 블러 차이를 결정하는 단계, 및
    (iii) 상기 블러 차이를 상기 초점 매칭 모델에 입력하여 상기 물체까지의 초점 거리의 추정치를 발생하는 단계를 포함하는 것인, 카메라로부터 물체까지의 초점 거리를 추정하는 장치.
  9. 제8항에 있어서, 상기 장치가 스틸 이미지 카메라, 비디오 이미지 카메라, 또는 스틸 및 비디오 겸용 이미지 카메라에 포함되어 있는 것인, 카메라로부터 물체까지의 초점 거리를 추정하는 장치.
  10. 제8항에 있어서, 상기 초점 매칭 모델은 상기 카메라의 초점 범위의 적어도 일부분에서 카메라-캘리브레이션 타겟 거리가 변할 때 검출되는 콘트라스트 변화에 응답하여 결정되는 블러 차이에 기초하는 것인, 카메라로부터 물체까지의 초점 거리를 추정하는 장치.
  11. 제10항에 있어서, 이미지들이 캡처되는 초점 거리 및 이들 이미지 간의 블러 차이가 상기 초점 매칭 모델 내에 모델링되는 것인, 카메라로부터 물체까지의 초점 거리를 추정하는 장치.
  12. 제8항에 있어서, 상기 프로그래밍이, 거리가 보다 정확한 블러 차이에 기초하여 보다 정확하게 결정될 수 있도록, 연속적인 초점 위치들 간의 불일치를 제거하기 위해 블러 차이를 결정하기 전에 수행되는 히스토그램 매칭 프로세스를 더 포함하는 것인, 카메라로부터 물체까지의 초점 거리를 추정하는 장치.
  13. 제8항에 있어서, 상기 초점 매칭 모델이 불일치 잡음을 감소시키기 위해 다항식 함수를 이용하는 것인, 카메라로부터 물체까지의 초점 거리를 추정하는 장치.
  14. 제6항에 있어서, 상기 초점 매칭 모델이 다중 초점 거리 렌즈 시스템의 서로 다른 초점 거리 설정에 대한 초점 매칭 정보를 더 포함하는 것인, 이미지를 전자적으로 캡처하는 장치.
  15. 카메라-물체 초점 심도의 자동 추정 방법으로서,
    서로 다른 초점 거리에서 캡처된 다수의 캘리브레이션 피사체 이미지들 간의 블러 차이를 검출하는 것에 응답하여 다차원 초점 매칭 모델을 발생하는 단계,
    다수의 물체 이미지를 캡처하는 단계,
    상기 다수의 물체 이미지들 간의 블러 차이를 결정하는 단계, 및
    상기 다수의 물체 이미지들 간의 블러 차이를 상기 초점 매칭 모델에 입력하여 상기 물체까지의 초점 거리의 추정치를 발생하는 것에 응답하여 초점 심도(focal depth)를 추정하는 단계를 포함하는, 카메라-물체 초점 심도의 자동 추정 방법.
  16. 제15항에 있어서, 상기 방법이 스틸 이미지 카메라, 비디오 이미지 카메라, 또는 스틸 및 비디오 겸용 이미지 카메라와 관련하여 수행되는 것인, 카메라-물체 초점 심도의 자동 추정 방법.
  17. 제16항에 있어서, 상기 블러 차이를 결정하는 단계가 물체와 카메라 간의 거리가 변할 때 콘트라스트 차이 변화(contrast difference change)를 검출하는 것에 응답하여 수행되는 것인, 카메라-물체 초점 심도의 자동 추정 방법.
  18. 제15항에 있어서, 블러 차이의 결정 이전에 초점 위치들 간의 이상점들과 연관된 잡음을 감소시키기 위해 상기 다수의 물체 이미지들의 히스토그램 매칭을 더 포함하는, 카메라-물체 초점 심도의 자동 추정 방법.
  19. 제15항에 있어서, 불일치 잡음을 감소시키기 위해 상기 초점 매칭 모델에 다항식 함수를 이용하는 단계를 더 포함하는, 카메라-물체 초점 심도의 자동 추정 방법.
  20. 단계들에 응답하여 물체의 카메라 초점 심도를 자동으로 추정하도록 구성되어 있는, 컴퓨터 상에서 실행가능한 컴퓨터 프로그램을 포함하는 컴퓨터-판독가능 매체로서,
    상기 단계들은,
    서로 다른 초점 거리에서 캘리브레이션 타겟에 관해 발생된 블러 차이 정보에 응답하여 생성된 초점 매칭 모델을 저장하는 단계,
    적어도 2개의 서로 다른 초점 위치에 대한 이미지를 캡처하는 단계,
    상기 캡처된 이미지들 간의 블러 차이를 계산하는 단계, 및
    상기 캡처된 이미지들 간의 블러 차이를 상기 초점 매칭 모델에 입력하고 이 모델의 해를 구하여 상기 물체까지의 거리의 추정치를 발생하는 것에 응답하여 상기 물체의 심도를 추정하는 단계를 포함하는 것인, 컴퓨터-판독가능 매체.
KR1020100008362A 2009-01-30 2010-01-29 이미지를 전자적으로 캡처하는 장치, 카메라로부터 물체까지의 초점 거리를 추정하는 장치, 카메라―물체 초점 심도의 자동 추정 방법 및 컴퓨터―판독가능 매체 KR101345012B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/363,511 US8199248B2 (en) 2009-01-30 2009-01-30 Two-dimensional polynomial model for depth estimation based on two-picture matching
US12/363,511 2009-01-30

Publications (2)

Publication Number Publication Date
KR20100088569A true KR20100088569A (ko) 2010-08-09
KR101345012B1 KR101345012B1 (ko) 2013-12-24

Family

ID=42122968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100008362A KR101345012B1 (ko) 2009-01-30 2010-01-29 이미지를 전자적으로 캡처하는 장치, 카메라로부터 물체까지의 초점 거리를 추정하는 장치, 카메라―물체 초점 심도의 자동 추정 방법 및 컴퓨터―판독가능 매체

Country Status (6)

Country Link
US (1) US8199248B2 (ko)
EP (1) EP2214139B1 (ko)
JP (1) JP2010176128A (ko)
KR (1) KR101345012B1 (ko)
CN (1) CN101795361B (ko)
TW (1) TW201103316A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019236208A1 (en) * 2018-06-04 2019-12-12 Waymo Llc Multistage camera calibration
KR20210136806A (ko) * 2020-05-08 2021-11-17 주식회사 아비커스 선박 운항 지원 시스템 및 이를 포함하는 선박

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US8553093B2 (en) 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
JP5173954B2 (ja) * 2009-07-13 2013-04-03 キヤノン株式会社 画像処理装置及び画像処理方法
US8229172B2 (en) * 2009-12-16 2012-07-24 Sony Corporation Algorithms for estimating precise and relative object distances in a scene
KR101137615B1 (ko) * 2010-01-12 2012-04-19 삼성전자주식회사 디지털 카메라의 자동 초점 조정 방법 및 장치
US8335390B2 (en) * 2010-03-22 2012-12-18 Sony Corporation Blur function modeling for depth of field rendering
US8045046B1 (en) * 2010-04-13 2011-10-25 Sony Corporation Four-dimensional polynomial model for depth estimation based on two-picture matching
JP2012003233A (ja) * 2010-05-17 2012-01-05 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2013030895A (ja) * 2011-07-27 2013-02-07 Sony Corp 信号処理装置、撮像装置、信号処理方法およびプログラム
EP2584309B1 (en) * 2010-06-15 2018-01-10 Panasonic Corporation Image capture device and image capture method
JP5832424B2 (ja) * 2010-11-17 2015-12-16 パナソニック株式会社 撮像装置及び距離計測方法
WO2012100819A1 (en) * 2011-01-25 2012-08-02 Telecom Italia S.P.A. Method and system for comparing images
US8564712B2 (en) * 2011-03-15 2013-10-22 Sony Corporation Blur difference estimation using multi-kernel convolution
EP2535681B1 (en) * 2011-06-17 2016-01-06 Thomson Licensing Device for estimating the depth of elements of a 3D scene
JP2013012820A (ja) * 2011-06-28 2013-01-17 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラム
DE102011078631A1 (de) * 2011-07-05 2013-01-10 Robert Bosch Gmbh Anordnung und Verfahren zum Bestimmen einer Abbildungsabweichung einer Kamera
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
US8340456B1 (en) * 2011-10-13 2012-12-25 General Electric Company System and method for depth from defocus imaging
US9262833B2 (en) * 2011-12-01 2016-02-16 Sony Corporation Methodology for performing depth estimation with defocused images under extreme lighting conditions
US8929607B2 (en) 2011-12-01 2015-01-06 Sony Corporation System and method for performing depth estimation utilizing defocused pillbox images
JP2013130761A (ja) * 2011-12-22 2013-07-04 Sony Corp 撮像装置、その制御方法およびプログラム
JP2013130762A (ja) * 2011-12-22 2013-07-04 Sony Corp 撮像装置、その制御方法およびプログラム
US8736747B2 (en) * 2012-01-13 2014-05-27 Sony Corporation Camera autofocus adaptive blur matching model fitting
JP2015510169A (ja) * 2012-01-17 2015-04-02 リープ モーション, インコーポレーテッドLeap Motion, Inc. 物体検出のためのコントラストの改善及び光学画像化による特徴評価
US8547439B2 (en) 2012-02-23 2013-10-01 Apple Inc. Testing an optical characteristic of a camera component
JP5966535B2 (ja) * 2012-04-05 2016-08-10 ソニー株式会社 情報処理装置、プログラム及び情報処理方法
CN104350735B (zh) * 2012-05-28 2016-04-13 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法
EP2698979B1 (de) * 2012-08-16 2017-05-03 Wincor Nixdorf International GmbH Vorrichtung und Verfahren zum Präsentieren von Objekten
CN104584069B (zh) * 2012-09-06 2019-11-15 索尼公司 信息处理装置、信息处理方法以及程序
US9894269B2 (en) * 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
US8896747B2 (en) 2012-11-13 2014-11-25 Qualcomm Technologies, Inc. Depth estimation based on interpolation of inverse focus statistics
US20140132822A1 (en) * 2012-11-14 2014-05-15 Sony Corporation Multi-resolution depth-from-defocus-based autofocus
TWI591584B (zh) 2012-12-26 2017-07-11 財團法人工業技術研究院 三維感測方法與三維感測裝置
CN105103089B (zh) * 2013-06-28 2021-11-09 谷歌有限责任公司 用于基于视频输入生成准确传感器校正的系统和方法
KR102094506B1 (ko) 2013-10-14 2020-03-27 삼성전자주식회사 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치.
TWI503789B (zh) * 2013-12-19 2015-10-11 Nat Inst Chung Shan Science & Technology An Automatic Threshold Selection Method for Image Processing
US9354489B2 (en) 2014-02-10 2016-05-31 Raytheon Company Robust autofocus algorithm for multi-spectral imaging systems
US9418432B2 (en) * 2014-03-28 2016-08-16 Sony Corporation Imaging system with depth estimation mechanism and method of operation thereof
KR101783991B1 (ko) * 2014-04-29 2017-10-11 한화테크윈 주식회사 영상촬영장치에서 개선된 줌트래킹 방법
CN104297925B (zh) * 2014-10-11 2016-07-13 北京工业大学 一种实现飞秒激光长焦深的折衍混合元件的设计方法
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
WO2016104839A1 (ko) * 2014-12-26 2016-06-30 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 애퍼처 카메라 시스템에서 이미지의 히스토그램을 이용하여 깊이 정보를 추출하는 방법 및 장치
CN106650556B (zh) * 2015-11-03 2019-10-25 原相科技股份有限公司 影像判断方法以及执行此影像判断方法的影像感测装置
US10755428B2 (en) * 2017-04-17 2020-08-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
CN107801006B (zh) * 2017-11-17 2018-06-29 泉州市奥维电子有限公司 一种智能化电视机监控方法
CN109816709B (zh) * 2017-11-21 2020-09-11 深圳市优必选科技有限公司 基于单目摄像头的深度估计方法、装置及设备
KR101999210B1 (ko) 2018-01-02 2019-07-11 (주)넥스틴 3차원 적층형 반도체장치의 칩 적층 공정을 위한 중간단계 검사 방법
EP3742391A1 (en) * 2018-03-29 2020-11-25 Leica Microsystems CMS GmbH Apparatus and computer-implemented method using baseline estimation and half-quadratic minimization for the deblurring of images
KR102472156B1 (ko) 2018-04-19 2022-11-30 삼성전자주식회사 전자 장치 및 그 깊이 정보 생성 방법
US10341551B1 (en) * 2018-05-21 2019-07-02 Grundium Oy Method, an apparatus and a computer program product for focusing
US10957034B2 (en) * 2019-01-17 2021-03-23 Applied Materials Israel Ltd. Method of examination of a specimen and system thereof
CN109951645B (zh) * 2019-04-30 2020-10-30 努比亚技术有限公司 对焦调节方法、移动终端及计算机可读存储介质
TWI698836B (zh) * 2019-10-21 2020-07-11 大陸商南京深視光點科技有限公司 具備雙倍搜索區間的立體匹配方法
CN111426299B (zh) * 2020-06-15 2020-11-03 北京三快在线科技有限公司 一种基于目标物的景深进行测距的方法及装置
CN112541932B (zh) * 2020-11-30 2024-03-26 西安电子科技大学昆山创新研究院 基于双光相机不同焦距变换参数的多源图像配准方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0408224B1 (en) * 1989-06-29 1995-09-06 The Research Foundation Of State University Of New York Computational methods and electronic camera apparatus for determining distance of objects, rapid autofocusing and obtaining improved focus images
JPH10105699A (ja) * 1996-09-30 1998-04-24 Olympus Optical Co Ltd ピーク状ノイズの除去方法
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP2001061096A (ja) * 1999-08-23 2001-03-06 Olympus Optical Co Ltd 電子カメラ
JP4354096B2 (ja) 2000-06-19 2009-10-28 オリンパス株式会社 撮像装置
US7187413B2 (en) * 2002-07-25 2007-03-06 Lockheed Martin Corporation Method and system for using an image based autofocus algorithm
JP4377404B2 (ja) * 2003-01-16 2009-12-02 ディ−ブルアー テクノロジス リミテッド 画像向上機能を備えたカメラ
GB0405773D0 (en) * 2004-03-15 2004-04-21 1 Ltd Autofocus method
US7728844B2 (en) * 2004-07-09 2010-06-01 Nokia Corporation Restoration of color components in an image model
US7336430B2 (en) * 2004-09-03 2008-02-26 Micron Technology, Inc. Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture
WO2006061938A1 (ja) * 2004-12-08 2006-06-15 Fujinon Corporation オートフォーカスシステム
JP2006310999A (ja) * 2005-04-27 2006-11-09 Sony Corp 画像処理装置および方法、並びにプログラム
US7538813B2 (en) * 2005-05-11 2009-05-26 Sony Ericsson Mobile Communications Ab Digital cameras with triangulation autofocus systems and related methods
US20070014468A1 (en) * 2005-07-12 2007-01-18 Gines David L System and method for confidence measures for mult-resolution auto-focused tomosynthesis
US20070019883A1 (en) * 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US7929801B2 (en) * 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
JP4840854B2 (ja) * 2006-01-27 2011-12-21 国立大学法人東京農工大学 電子顕微鏡の画像処理システム及び方法並びにスペクトル処理システム及び方法
JP2007199633A (ja) * 2006-01-30 2007-08-09 Olympus Corp 合焦検出装置
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
US7616254B2 (en) * 2006-03-16 2009-11-10 Sony Corporation Simple method for calculating camera defocus from an image scene
US7711201B2 (en) * 2006-06-22 2010-05-04 Sony Corporation Method of and apparatus for generating a depth map utilized in autofocusing
US8213734B2 (en) * 2006-07-07 2012-07-03 Sony Ericsson Mobile Communications Ab Active autofocus window
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
US7664384B2 (en) * 2006-11-07 2010-02-16 Sony Ericsson Mobile Communications Ab User defined autofocus area
US20090015681A1 (en) * 2007-07-12 2009-01-15 Sony Ericsson Mobile Communications Ab Multipoint autofocus for adjusting depth of field
KR101415872B1 (ko) * 2007-09-14 2014-07-11 삼성전기주식회사 영상 획득 장치의 자동초점조절 방법 및 장치
US20090079862A1 (en) * 2007-09-25 2009-03-26 Micron Technology, Inc. Method and apparatus providing imaging auto-focus utilizing absolute blur value
US8280194B2 (en) * 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019236208A1 (en) * 2018-06-04 2019-12-12 Waymo Llc Multistage camera calibration
CN112219226A (zh) * 2018-06-04 2021-01-12 伟摩有限责任公司 多阶段相机校准
CN112219226B (zh) * 2018-06-04 2022-03-08 伟摩有限责任公司 多阶段相机校准
KR20210136806A (ko) * 2020-05-08 2021-11-17 주식회사 아비커스 선박 운항 지원 시스템 및 이를 포함하는 선박

Also Published As

Publication number Publication date
EP2214139A1 (en) 2010-08-04
CN101795361A (zh) 2010-08-04
US8199248B2 (en) 2012-06-12
US20100194971A1 (en) 2010-08-05
EP2214139B1 (en) 2015-03-18
TW201103316A (en) 2011-01-16
KR101345012B1 (ko) 2013-12-24
CN101795361B (zh) 2014-09-24
JP2010176128A (ja) 2010-08-12

Similar Documents

Publication Publication Date Title
KR101345012B1 (ko) 이미지를 전자적으로 캡처하는 장치, 카메라로부터 물체까지의 초점 거리를 추정하는 장치, 카메라―물체 초점 심도의 자동 추정 방법 및 컴퓨터―판독가능 매체
JP5273408B2 (ja) ２写真照合に基づく奥行き推定のための４次元多項式モデル
KR101345093B1 (ko) 자동 초점 제어 장치, 이미지 캡처 장치 및 초점 자동 조절 방법
US8736747B2 (en) Camera autofocus adaptive blur matching model fitting
US10757312B2 (en) Method for image-processing and mobile terminal using dual cameras
US8624986B2 (en) Motion robust depth estimation using convolution and wavelet transforms
US8848094B2 (en) Optimal blur matching selection for depth estimation
TWI538512B (zh) 調整對焦位置的方法及電子裝置
US8411195B2 (en) Focus direction detection confidence system and method
US20120307009A1 (en) Method and apparatus for generating image with shallow depth of field
US8315512B2 (en) Method and apparatus for auto-focus control of digital camera
JP2014138290A (ja) 撮像装置及び撮像方法
TWI393981B (zh) Use the flash to assist in detecting focal lengths
JP5484129B2 (ja) 撮像装置
JP6611509B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
KR101436836B1 (ko) 디지털 영상 처리기에서 포커스 오차 보정 장치 및 방법
KR20160112183A (ko) 포커스 제어 장치 및 포커스 측정 방법
WO2024076363A1 (en) Field of view correction techniques for shutterless camera systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee