KR20180124981A - 광 흐름 기반 자동 초점 - Google Patents

Abstract

객체의 특징들의 세트를 식별하는 것을 포함하는 방법이 설명되며, 상기 특징들은 카메라에 의해 캡쳐된 이미지에서 추적된다. 상기 방법은 또한 상기 참조점들에 대한 벡터들의 필드를 생성하는 단계를 포함한다. 상기 벡터들은 상기 이미지의 하나 이상의 프레임에 걸친 상기 참조점들의 위치의 변화의 크기 및 방향을 나타낸다. 상기 방법은 상기 벡터들의 동일한 반경 방향으로부터 상기 객체의 특징들의 평면외 이동의 존재를 식별하는 단계를 더 포함한다. 상기 방법은 복수의 상기 참조점들 사이의 거리의 변화로부터 카메라에 가까워지는 객체의 특징들의 이동량 또는 카메라로부터 멀어지는 객체의 특징들의 이동량을 결정하는 단계를 더 포함한다. 상기 방법은 상기 카메라가 상기 객체에 초점을 유지하도록 상기 객체의 특징들에 대한 상기 가까워지는 이동량 또는 상기 멀어지는 이동량을 고려하여 상기 카메라의 렌즈의 위치를 조정하는 단계를 더 포함한다.

Description

광 흐름 기반 자동 초점

본 발명의 분야는 일반적으로 디지털 카메라 기술에 관한 것으로서, 보다 구체적으로는 광학 흐름 기반 자동 초점 기술에 관한 것이다.

정교한 프로세싱 능력을 다양한 전자 장치에 통합하는 구현 비용이 감소함에 따라 디자이너는 통합 프로세서 및 카메라로 구현할 수 있는 새로운 이미지 처리 패러다임을 찾고 있다. 특히, 일부 연산 강도를 가지지만 동시에, 예를 들어 카메라와 통합될 수 있는 다소 강력한 프로세서에 의해 동시에 실행될 수 있는 새로운 방법론이 특히 중요하다.

이미지의 객체 또는 이미지상 또는 이미지화된 장면에서 일련의 특징들 또는 동등하게 참조점들(reference points)을 식별하는 방법을 설명한다. 상기 객체는 유사하게 이미지 또는 장면의 대상으로 지칭될 수 있다. 상기 특징들 또는 참조점들은 카메라에 의해 캡처되는 일련의 이미지 프레임 내의 이미지에서 추적된다.

본 방법은 또한 상기 참조점들에 대한 벡터들의 필드를 생성하는 단계를 포함한다. 상기 벡터들은 일련의 이미지 프레임들 중 두 개 이상의 프레임에서 참조점들의 위치 변화의 크기와 방향을 나타낸다. 상기 방법은 상기 벡터들의 동일한 반경 방향(radial orientation)으로부터 상기 객체 또는 장면의 특징들 또는 참조점들의 평면외(out of plane) 이동의 존재를 식별하는 단계를 더 포함한다. 본 방법은 복수의 참조점들 사이의 거리의 변화로부터 카메라에 대한 또는 카메라로부터의 객체 또는 장면의 특징들 또는 참조점들의 더 가까운/더 먼 이동량을 결정하는 단계를 더 포함한다. 상기 방법은 상기 카메라가 상기 객체 또는 장면에 초점을 유지하도록 상기 객체 또는 장면의 특징들 또는 참조점들의 더 가깝거나 먼 이동량을 고려하여 카메라 렌즈의 위치를 조정하는 단계를 더 포함한다.

객체 또는 장면의 특징들 또는 참조점들의 세트를 식별하는 수단을 포함하는 장치가 개시되며, 상기 특징들은 카메라에 의해 캡쳐된 이미지(즉, 일련의 이미지 프레임들)에서 추적된다. 상기 장치는 또한 상기 참조점들에 대한 벡터들의 필드를 생성하는 수단을 포함한다. 상기 벡터들은 이미지의 두 개 이상의 프레임에서 참조점들의 위치 변화의 크기(magnitude)와 방향을 나타낸다. 상기 장치는 또한 상기 벡터들의 동일한 반경 방향으로부터 상기 객체의 특징들의 평면외 이동의 존재를 식별하는 수단을 포함한다. 또한, 상기 장치는 복수의 참조점들 사이의 거리의 변화로부터 카메라에 대한 또는 카메라로부터 객체의 특징들의 더 가깝거나 먼 이동량을 결정하는 수단을 포함한다. 상기 장치는 또한 카메라가 객체 상에 초점을 유지하도록 객체의 특징들의 더 가깝거나 먼 이동량을 고려하여 카메라 렌즈의 위치를 조정하는 수단을 포함한다. 이러한 장치는 카메라 또는 카메라의 적절한 부분, 또는 스마트폰 또는 태블릿 컴퓨터와 같은 카메라를 포함하는 장치에 의해 제공될 수 있다.

시간 경과에 따른 이미지의 특징들을 추적하기 위해 사용되는 일련의 이미지 프레임들의 프레임들은 연속적일 수 있지만, 당연히 모든 이용 가능한 프레임이 추적 프로세스에 사용될 필요는 없으며, 따라서 이미지화된 객체 또는 장면의 시간 진행을 나타내는 임의의 일련의 이미지 프레임, 예를 들어 매 두 번째 이미지 프레임 또는 임의의 후속 이미지 프레임 선택을 사용할 수 있다.

다음의 설명 및 첨부된 도면들은 본 발명의 실시예들을 설명하기 위해 사용된다.
도면들에서,
도 1은 이미지 프레임 내의 객체를 도시하며;
도 2a, 도 2b 및 도 2c는 카메라에 더 가깝게 이동하는 객체를 도시하며;
도 3a 및 도 3b는 도 2a 내지 도 2c에 도시된 이동으로부터의 벡터 필드를 도시하며;
도 4a, 도 4b 및 도 4c는 카메라로부터 더 멀리 이동하는 객체를 도시하며;
도 5a 및 도 5b는 도 4a 내지 도 4c에 도시된 이동으로부터의 벡터 필드를 도시하며;
도 6은 객체의 횡방향 이동을 도시하며;
도 7은 도 6의 객체의 이동으로부터의 벡터 필드를 도시하며;
도 8은 카메라에 더 가깝게 이동하는 객체에 대한 참조점들의 삼각측량(triangulation)을 도시하며;
도 9는 카메라로부터 더 멀리 이동하는 객체에 대한 참조점들의 삼각측량을 도시하며;
도 10a는 광 흐름 기반 자동 초점 방법을 도시하며;
도 10b는 도 10a의 방법이 실행될 수 있는 장치를 도시하며;
도 11은 컴퓨팅 시스템의 일 실시 예를 도시한다.

광 흐름은 배경에 대한 이미지 내에서 인식된 객체의 이동(움직임)을 인식하는 이미징 프로세스이다. 상기 객체는 이미지의 배경과 대비될 수 있기 때문에 객체의 이동은 추적될 수 있다. 그러나 전통적으로 광 흐름 프로세스는 탐지된 움직임의 깊이를 이해하는 데 전념했다. 즉, 예를 들어, 광 흐름 방법에 의한 객체의 추적은 객체의 움직임에서 3차원(3D) 장면을 재구성하는 데 사용된다.

광 흐름 프로세싱 방법은 객체의 추적된 움직임으로부터의 깊이의 이해에 주로 적용되었기 때문에 광 흐름 방법은 지금까지는 자동 초점에 적용되는 것으로 알려져 있지 않다. 당업계에 공지된 바와 같이, 자동 초점은 객체와 카메라 사이의 거리가 변경되었기 때문에 초점을 객체에 유지하기 위해 카메라 렌즈의 이동을 포함한다.

따라서, 본 출원은 광 흐름 기술을 사용하여 카메라 렌즈에 더 가깝게 또는 멀리 이동하는 객체의 움직임을 추적하는 것에 관한 것이다. 이러한 "평면외(out-of-plane)" 움직임을 추적함으로써 객체와 카메라 렌즈 사이의 거리 변화를 정밀하게 결정할 수 있으며, 차례로 카메라 렌즈 위치에 대한 조정을 수행하여 객체에 계속 초점을 유지할 수 있다.

도 1은 배경(102)에 대한 사람의 얼굴(101)의 묘사를 도시한다. 여기서, 사람의 얼굴(101)은 추적되고 있는 객체에 대응한다. 객체 인식 프로세스는 일반적으로 당 업계에 공지되어 있으며, 임의의 적합한 객체 인식 프로세스가 배경(102)에 대한 사람의 얼굴(101)을 인식하는데 사용될 수 있다. 배경(102)의 영역은 일반적으로 카메라에 의해 캡쳐되는 전체 이미지의 프레임 크기에 대응할 수 있다. 객체(101)가 인식되거나, 단순히 소정의 특징들(예를 들어, 눈, 코, 입 등)이 인식되는 경우(사람의 얼굴과 같은 더 큰 객체가 인식되지 않더라도), 객체/특징들에 대한 참조점들이 마찬가지로 쉽게 식별될 수 있다. 여기서, 도 1은 객체(A-H)의 둘레(즉, 사람의 머리의 윤곽을 중심으로) 및 객체(I-O)(예를 들어, 눈, 코, 입의 코너 등) 둘다에서 식별된 복수의 참조점(A-O)을 도시한다. 여기서 다시, 참조점들(A - O)은 특정 사람의 얼굴 전체를 인식하지 않고(즉, 전체적으로 특정 객체를 인식하지 않고) 임의의 사람 얼굴의 특정 특징들(눈, 코, 입의 코너 등)을 단순히 인식하는 것으로부터 식별 가능할 수 있다.

도 2a 내지 도 2c는 사람의 얼굴이 카메라에 더 가깝게 이동함에 따라 참조점들(A ~ O)의 상대 위치의 변화 순서를 도시한다. 예를 들어, 2a 내지도 2c 각각은 상이한 순간에 카메라에 의해 캡쳐된 상이한 이미지 프레임에 대응할 수 있다. 프레임들은 즉시 연속적이거나 프레임들 사이에 중간 프레임(intervening frames)이 있을 수 있다.

도 2a는 카메라 렌즈로부터 가장 먼 얼굴의 초기 위치에 대응한다. 도 2b는 카메라 렌즈에 더 가까이 이동한 후의 얼굴을 도시한다. 도 2c는 도 2b의 위치로부터 카메라 렌즈에 더 가깝게 이동한 후의 얼굴을 도시한다. 일반적으로, 참조점들(A - O)의 상대 위치는 얼굴의 중심 축(대략 참조점(L)을 통과함)에서 방사상으로 이동함에 따라 "익스플로전(explosion)"으로 특징지어질 수 있다.

도 3a 및 도 3b는 도 2a 내지 2c의 시퀀스로부터의 참조점들에 대한 벡터 필드들을 나타낸다. 당 업계에서 이해되는 바와 같이, 벡터는 크기 및 방향 모두를 나타낸다. 도 3a의 벡터 필드는 얼굴이 도 2a의 위치로부터 도 2b의 위치로 이동함에 따라 각각의 대응하는 참조점의 위치에서의 변화의 크기 및 방향을 도시한다. 마찬가지로, 도 3b의 벡터 필드는 얼굴이 도 2b의 위치로부터 도 2c의 위치로 이동함에 따라 각각의 대응하는 참조점의 위치의 변화의 크기 및 방향을 도시한다.

다른 방법으로, 도 3a는 객체가 도 2a의 위치로부터 도 2b의 위치로 이동함에 따른 참조점들의 다이버전스(divergence)를 도시한다. 마찬가지로, 도 3b는 객체가 도 2b의 위치로부터 도 2c의 위치로 이동함에 따른 참조점들의 다이버전스를 도시한다. 렌즈를 향한 객체의 이동의 결과로서 벡터들이 방사상 방향(radially) 외측을 향하고 있을 때의 다이버전스는 양의 다이버전스(positive divergence)로 특징지어질 수 있다.

도 3a 및 도 3b의 벡터 다이어그램으로부터 얻을 수 있는 바와 같이, 객체의 중심으로부터 반경 방향으로의 이동에 의해 예시되는 바와 같이, 객체의 참조점들이 바깥쪽으로 익스플로전할 때 카메라에 더 가까운 움직임이 식별될 수 있다. 즉, 상기 참조점들의 벡터들은 일반적으로 반경 방향을 가리킨다. 익스플로전 유추와 일치하여, 객체의 주변부(사람의 머리 둘레 주위)의 참조 점들(A-H)은 객체 내의 참조점들(I-O)보다 큰 반경 방향 움직임을 나타낸다.

즉, 사람의 머리 둘레에서의 참조점들(A-H)에 대한 벡터들의 크기는 사람의 머리 둘레 내의 참조점들(I-O)에 대한 벡터들의 크기보다 크다. 일반적으로 벡터들의 크기는 객체의 중심축에서 더 크게 이동한다. 이와 같이, 가장 큰 양의 다이버전스를 나타내는 벡터들은 본질적으로 카메라에 더 가깝게 이동하는 객체의 주변을 식별한다.

대조적으로, 도 4a 내지도 4c는 사람의 얼굴이 카메라로부터 더 멀리 이동함에 따른 참조점들의 상대적 위치에서의 변화의 시퀀스를 도시한다. 도 4a는 도 2c에 도시된 얼굴의 초기 위치에 대응한다. 도 4b는 카메라 렌즈에서 멀어진 후의 얼굴을 도시한다. 도 4c는 도 4b의 위치에서 카메라 렌즈로부터 더 멀리 이동한 후의 얼굴을 도시한다. 일반적으로, 참조점들의 상대적 위치들은 사람 얼굴의 중심축을 향해 반경 방향 내측으로 이동함에 따라 "임프로전(implosion)"으로 특징지어질 수 있다.

도 5a 및 도 5b는 도 4a 내지도 4c의 시퀀스로부터의 참조점들(A-O)에 대한 벡터 필드들을 도시한다. 도 5a의 벡터 필드는 얼굴이 도 4a의 위치로부터 도 4b의 위치로 이동함에 따른 각각의 대응하는 참조점들(A-O)의 위치에서의 변화의 크기 및 방향을 도시한다. 마찬가지로, 도 5b의 벡터 필드는 얼굴이 도 4b의 위치로부터 도 4c의 위치로 이동함에 따른 각각의 대응하는 참조점들(A-O)의 위치의 변화의 크기 및 방향을 도시한다.

따라서, 도 5a는 객체가 도 4a의 위치로부터 도 4b의 위치로 이동함에 따른 참조점들의 다이버전스를 도시한다. 마찬가지로, 도 5b는 객체가 도 4b의 위치로부터 도 4c의 위치로 이동함에 따른 참조점들의 다이버전스를 도시한다. 객체가 카메라 렌즈에서 멀어지는 이동의 결과로 벡터들이 안쪽으로 향할 때의 다이버전스는 음의 다이버전스로 특징지어질 수 있다.

도 5a 및 도 5b의 벡터 다이어그램으로부터 얻을 수 있는 바와 같이, 객체의 중심으로의 반경 방향 이동에 의해 예시되는 바와 같이, 객체의 참조점들이 내측으로 임프로전될 때 카메라로부터 멀리 떨어진 곳에서의 움직임이 식별될 수 있다. 즉, 참조점들(A - O)의 벡터들은 일반적으로 방사상으로 내부를 향한다. 임프로전 유추(implosion analogy)와 일치하여, 객체(A - H)(사람 머리의 둘레 주위)의 주변에 있는 참조점들은 객체 내의 참조점들보다 더 큰 이동을 나타낸다.

즉, 사람의 머리 둘레에서의 참조점들(A-H)에 대한 벡터들의 크기는 사람의 머리 둘레 내의 참조점들(I-O)에 대한 벡터들의 크기보다 크다. 다시 말하면, 일반적으로 벡터들의 크기는 객체의 중심축에서 더 멀리 이동하고, 객체의 주변에서 벡터 군(즉, 가장 큰 크기를 갖는 벡터들)의 최대 다이버전스가 발견된다. 따라서, 가장 큰 음의 다이버전스를 나타내는 벡터들은 본질적으로 카메라로부터 멀어져 이동하는 객체의 주변을 식별한다.

대조적으로, 도 6 및 도 7은 객체의 평면내(in-plane) 이동에 관한 것이다. 여기서, 도 6은 이미지 프레임의 좌측에서 우측으로 이동함에 따라 수평축을 따라 3개의 상이한 위치에 있는 객체를 도시한다. 도 7은 참조점들에 대한 해당 벡터들을 도시한다. 벡터 필드(701)는 객체가 가장 왼쪽 위치에서 중심 위치로 이동할 때의 벡터 필드를 나타내고, 벡터 필드(702)는 객체가 중심 위치에서 가장 오른쪽 위치로 이동할 때의 벡터 필드를 나타낸다. 모든 벡터들은 바깥쪽으로 익스플로전하거나(exploding) 안쪽으로 임플로딩하지(imploding) 않고 동일 방향으로 동일 양의 위치 변화를 반영한다. 또한, 객체의 움직임(예를 들어, 참조점들(B, C, D))의 리딩 에지에서의 벡터들은 양의 다이버전스를 나타내지만, 객체의 움직임(예를 들어, 참조점들(H, G, F))의 트레일링 에지에서의 벡터들은 음의 다이버전스를 나타낸다.

따라서, 시간의 경과에 따른 참조점들의 각 위치에서의 다이버전스를 반영하는 시간에 따른 참조점들에 대한 벡터들을 계산하고 그리고 벡터 전체의 특정 특성을 인식함으로써 객체의 평면내 움직임은 객체의 평면외 움직임과 구별될 수 있다. 보다 구체적으로, 객체에 대한 벡터 군이 실질적으로 동일한 방향을 가리키면 개체가 평면내 이동하고 자동 초점 기능은 렌즈 위치 조정을 할 필요가 없다(객체가 카메라 렌즈에서 멀어지거나 가까워지게 이동하지 않음).

대조적으로, 객체에 대한 벡터 군이 실질적으로 바깥쪽 반경 방향으로 향하는 경우, 객체는 카메라에 더 가깝게 평면외 이동하고 자동 초점 기능은 카메라에 더 가까운 객체에 초점을 맞추도록 카메라 렌즈를 조정해야 한다. 대안적으로, 객체에 대한 벡터 군이 실질적으로 안쪽 반경 방향을 향하고 있으면 객체가 카메라에서 멀리 떨어져 평면외 이동하고 자동 초점 기능이 카메라에서 먼 거리에 있는 객체에 초점을 맞추도록 카메라 렌즈를 조정해야 한다.

객체의 참조점들의 움직임을 벡터 추적한 후 객체가 평면외 이동을 하고 있음을 알게 되면 이후 처리 과정에서 객체가 평면외로 얼마나 멀리 이동했는지를 결정하여 객체에 초점을 계속 유지하는 새로운 렌즈 위치를 결정할 수 있다. 위에서 말한 바에 따르면, 최대 다이버전스를 나타내는 벡터 군은 일반적으로 평면외 이동함에 따른 객체의 주변 윤곽을 나타낸다. 일 실시예에서, 삼각측량(triangulation)은 객체가 얼마나 멀리 평면외 이동했는지를 결정하도록 객체의 주변 내의 참조점들과 함께 사용된다.

즉, 일 실시예에서, 상이한 참조점들이 상이한 목적으로 사용된다. 특히, 객체(A-H)의 주변부에서의 참조점들을 분석하여 객체가 평면외 이동하는지 여부를 표시하고, 만약 그렇다면 어느 방향(카메라에 더 가까워지는지 또는 카메라로부터 더 멀어지는지)을 향하는지를 표시한다. 상기 객체가 평면외 이동하는 것으로 간주되는 경우, 객체(I-O) 내의 참조점들을 사용하여 객체가 얼마나 멀리 이동했는지를 결정한다.

따라서, 일 실시예에서, 주변 참조점들(A-H)은 평면내 이동을 인식하도록 분석된다 (예를 들어, 주변 참조점들 중 일부가 양의 다이버전스를 나타내고 다른 주변 참조점들이 음의 다이버전스를 나타내는 경우). 평면내 이동이 인식되면 카메라 렌즈의 위치를 변경할 필요가 없다. 마찬가지로, 주변 참조점들(A - H)도 평면외 이동을 인식할뿐만 아니라 평면외 이동의 방향을 인식하기 위해 분석된다 (예를 들어, 그러한 모든 참조점이 양의 다이버전스를 나타내면 카메라를 향해 이동하는 반면, 모든 참조점이 음의 다이버전스를 나타내면 카메라로부터 멀어짐).

반대로, 도 8 및 도 9에 도시된 바와 같이, 내부 참조점들(1-O)은 객체가 카메라를 향해 얼마나 멀리 이동했는지 또는 카메라로부터 얼마나 멀리 이동했는지를 결정하는 삼각 측량 방법을 지원하는데 사용될 수 있다. 도 8은 도 2a 내지 도 2c의 시퀀스 동안 객체가 카메라를 향해 얼마나 이동했는지를 결정하기 위한 삼각 측량을 도시한다. 도 9는 도 4a 내지도 4c의 시퀀스 동안 객체가 카메라로부터 얼마나 멀어졌는지를 결정하기 위한 삼각 측량을 도시한다.

여기서, 도 8은 객체가 도 2a에 나타난 바와 같이 참조점들(A 내지 H)에 대한 제1 삼각 측량(801)을 도시하며, 객체가 도 2b에 나타난 바와 같이, 참조점들(A-H)에 대한 제2 삼각 측량(802)을 도시하며, 객체가 도 2c에 나타난 바와 같이, 참조점들(A-H)에 대한 제3 삼각 측량(802)을 도시한다.

도 8을 참조하면, 참조점들(A-H)의 다른 것들은 비교차 선들(non-crossing lines)에 의해 연결되어 각각의 삼각형 다리를 갖는 복수의 삼각형을 생성한다. 특히, 12개의 삼각형 다리가 도 8(IJ, IK, JK, JL, KL, JM, KO, LM, LN, LO, MN, NO)의 각 삼각 측량(801, 802, 803)에서 관찰된다. 객체가 카메라에 더 가깝게 이동하면 각 삼각형 다리 길이가 길어진다. 따라서, 삼각형 다리의 길이는 객체와 카메라와의 거리와 관련될 수 있는데, 큰 삼각형 다리는 카메라에 더 가깝고 더 짧은 삼각형 다리는 카메라에서 더 먼 거리에 해당한다.

여기서, 카메라의 광학 설계에 대한 일부 지식(예를 들어, 카메라 렌즈의 배율, 카메라 렌즈의 초점 거리 등)은 삼각형 다리 길이의 변화를 객체가 카메라로 이동하는 거리 또는 카메라로부터 이동한 거리와 정확하게 연관시키는 데 필요할 수 있다. 예를 들어, 당업자는 모든 삼각형 다리를 가로지른 삼각형 다리 길이의 평균 백분율 변화를 입력 값으로 받아들이고, 객체가 카메라 렌즈로 이동 또는 카메라 렌즈로부터 이동한 거리를 출력 값으로서 제공하는 수학식을 용이하게 개발할 수 있다.

따라서, 초점에 있는 것으로 알려진 객체로부터 시작하여, 객체가 카메라에 더 가깝게 이동하면, 삼각 다리의 증가된 길이가 정확하게 결정될 수 있고, 객체가 카메라를 향한 방향으로 이동한 정확한 거리와 상관관계가 있다. 이 거리를 사용하여 카메라 렌즈가 객체에 초점을 유지하기 위한 새로운 위치를 결정할 수 있다.

즉, 자동 초점 루틴은 예를 들어 카메라 내부의 렌즈 위치를 조정하여 객체가 초점을 유지하도록 카메라의 초점 길이를 효과적으로 변화시킬 수 있다. 여기서, 삼각형 다리 길이 변화로부터 객체 거리 이동을 제공하는 전술한 수학식은 초점 길이 거리를 감소시키기 위해 증가된 삼각형 다리 길이 변화로부터 적절한 렌즈 이동을 제공하도록 더욱 개발될 수 있다.

유사하게, 도 9는 객체가 도 4a에 도시된 바와 같이 참조점들(A-H)에 대한 제1 삼각 측량(901)을 도시하며, 객체가 도 4b에 도시된 바와 같이 참조점들(A-H)에 대한 제2 삼각 측량(902)을 도시하며, 객체가 도 4c에 도시된 바와 같이 참조점들(A-H)에 대한 제3 삼각 측량(903)을 도시한다.

여기서, 초점에 있는 것으로 알려진 객체부터 시작하여, 객체가 카메라에서 멀어지면 삼각형 다리의 감소된 길이가 정확하게 결정되고 그리고 객체가 카메라에서 멀어지는 방향으로 움직인 정확한 거리와 상호 연관될 수 있다. 이 거리를 사용하여 객체에 초점을 유지하도록 카메라 렌즈에 대한 새로운 위치를 결정할 수 있다.

삼각 측량 계산에 의해 객체가 카메라로부터 중심축을 따라 약간의 거리만큼 이동했다고 결정되면, 자동 초점 루틴은 객체에 초점을 유지하기 위해 렌즈의 위치가 특정 방향으로 일정량 변경되어야 함을 이해할 것이다. 그 다음 자동 초점 루틴은 예를 들어 카메라 내의 렌즈 위치를 그에 따라 조정할 수 있다. 여기서, 삼각형 다리 길이 변화로부터 객체 거리 이동을 제공하는 전술한 수학식은, 감소된 삼각형 다리 길이 변화로부터 적합한 렌즈 대 화상 평면 거리까지의 적절한 렌즈 이동을 제공하기 위해 더 개발될 수 있다.

도 10a는 전술한 바와 같은 카메라의 자동 초점 방법을 도시한다. 상기 방법은 객체의 특징들의 세트를 식별하는 단계(1001)를 포함하며, 카메라에 의해 캡쳐된 이미지에서 추적된다. 상기 방법은 또한, 참조점들에 대한 벡터들의 필드를 생성하는 단계(1002)를 포함하며, 상기 벡터들은 이미지의 하나 이상의 프레임에 걸친 참조점들의 위치의 변화의 크기 및 방향을 나타낸다.또한, 상기 방법은 상기 벡터들의 동일한 반경 방향으로부터 객체의 평면외 이동의 존재를 식별하는 단계(1003)를 포함한다. 또한, 상기 방법은 복수의 참조점들 사이의 거리의 변화로부터 카메라 쪽으로 가까워지는 객체의 이동량 또는 카메라로부터 멀어지는 객체의 이동량을 결정하는 단계(1004)를 포함한다. 또한, 상기 방법은 카메라가 객체에 초점을 유지하도록 상기 카메라 쪽으로 가까워지는 객체의 이동량 또는 카메라로부터 멀어지는 객체의 이동량을 고려하여 카메라 렌즈의 위치를 조정하는 단계(1005)를 포함한다.

전술한 임의의 광 흐름 기반 자동 초점 방법은 카메라 자체와 통합된 프로세싱 인텔리전스를 갖는 "스마트 카메라"에 의해 부분적으로 또는 전체적으로 수행 될 수 있다(예를 들어, 렌즈, 광 검출기 등과 함께 카메라 패키지에 통합되거나, 카메라 패키지의 외부에 통합됨). 예를 들어, 카메라는 집적 프로세서 및 메모리를 포함할 수 있으며, 메모리는 위에 설명된 광 흐름 기반 자동 초점 방법들 중 임의의 것을 수행하도록 프로세서에 의해 실행되는 프로그램 코드 명령어들을 저장한다. 선택적으로 또는 조합하여, 자동 초점 방법은 하드웨어에 내장된 및/또는 프로그램 가능한 전용 커스텀(예컨대, 로직) 회로로 구현 및/또는 향상될 수 있다. 이러한 회로는 다시 카메라 자체(예를 들어, 카메라 패키지 내의)와 통합될 수 있다. 또 다른 실시예들에서, 광 흐름 기반 자동 초점 방법들 또는 그 일부는 컴퓨팅 시스템의 주 메모리 또는 시스템 메모리 외부에서 동작하는 애플리케이션 프로세서 또는 메인 CPU 에 의해 수행될 수 있다.

도 10b는 도 10a의 방법을 수행할 수 있는 스마트 카메라의 실시예를 도시한다. 도 10b에 도시한 바와 같이, 카메라(1020)는 프로세서(1021) 및 메모리(1022)를 포함한다. 도 10a의 루틴과 같은 자동 초점 루틴을 위한 프로그램 코드는 메모리(1022)에 저장되고 프로세서(1021)에 의해 실행된다. 프로세서(1021)는 카메라(1020)에 의해 관측되는 콘텐츠를 프로세서가 처리할 수 있게 하는 이미지 센서(1023)에 결합된다. 프로세서(1021)는 또한 초점을 조절하는 모터(1025)에 결합된다. 상기 초점은 이미지 센서(1023)에 대해 초점 렌즈의 위치를 변경하거나, 카메라 렌즈와 이미지 센서(1023) 사이에 위치된 미러 또는 미러들을 이동시키는 모터 등을 사용하여 조정될 수 있다. 도 10a의 방법의 실행에 있어서, 예를 들어, 프로세서(1021)는 이미지 센서(1023)에 의해 감지된 이미지를 처리하고, 이에 응답하여 자동 초점 루틴에 따라 렌즈(1024) 및 이미지 센서(1023)의 초점 거리를 변경하도록 모터(1025)에 입력 자극(input stimuli)을 제공한다. 다른 카메라 실시예들은 하나 이상의 렌즈를 포함할 수 있다.

도 11은 컴퓨팅 시스템의 예시적인 도면을 제공한다. 이하에서 설명되는 컴퓨팅 시스템의 많은 컴포넌트들은 통합 카메라 및 관련 이미지 프로세서(예를 들어, 스마트폰 또는 태블릿 컴퓨터와 같은 핸드헬드 장치)를 갖는 컴퓨팅 시스템에 적용 가능하다. 당업자는 이 두 가지를 쉽게 구분할 수 있다.

도 11에 도시한 바와 같이, 기본 컴퓨팅 시스템은, 중앙 처리부(CPU)(1101)(예를 들어, 멀티 코어 프로세서 또는 애플리케이션 프로세서 상에 배치된 메인 메모리 제어기(1117) 및 복수의 범용 프로세싱 코어(core)(1115_1 내지 1115_N)를 포함할 수 있음), 시스템 메모리(1102), 디스플레이(1103)(예를 들어, 터치 스크린, 평판 패널), 로컬 유선 P2P(point-to-point) 링크(예를 들어, USB) 인터페이스(1104), 다양한 네트워크 I/O 기능들(N'wk)(1105)(예를 들어, 이더넷 인터페이스 및/또는 셀룰러 모뎀 서브 시스템), 무선 로컬 영역 네트워크(예를 들어, WiFi) 인터페이스(1106), 무선 P2P 링크(예를 들어, 블루투스) 인터페이스(BT)(1107) 및 GPS(Global Positioning System) 인터페이스(1108), 각종 센서들(Sens)(1109_1 내지 1109_N), 하나 이상의 카메라(1110), 배터리 (1111), 전력 관리 제어부(Pwr Mgt)(1112), 스피커 및 마이크로폰(Spkr/Mic)(1113) 및 오디오 코더/디코더(1114)를 포함한다.

애플리케이션 프로세서 또는 멀티 코어 프로세서(1150)는 그 CPU(1101) 내에 하나 이상의 범용 프로세싱 코어(1115), 하나 이상의 그래픽 처리부(GPU)(1116), 메모리 관리 기능(MC)(1117)(예를 들어, 메모리 제어기), I/O 제어 기능(전술한 주변 제어 허브와 같은)(1118)을 포함한다. 범용 프로세싱 코어(1115)는 전형적으로 컴퓨팅 시스템의 운영 시스템 및 애플리케이션 소프트웨어를 실행한다. 그래픽 처리부(1116)는 전형적으로, 예를 들어, 디스플레이(1103) 상에 제시되는 그래픽 정보를 생성하기 위해 그래픽 집약적 기능을 실행한다. 메모리 제어 기능(1117)은 시스템 메모리 (1102)와 인터페이스하여 시스템 메모리(1102)에 데이터를 기록 또는 시스템 메모리(1102)로부터 데이터를 판독한다. 전력 관리 제어부(1112)는 일반적으로 시스템 (1100)의 전력 소비를 제어한다.

터치 스크린 디스플레이(1103), 통신 인터페이스들(1104 내지 1107), GPS 인터페이스(1108), 센서들(1109), 카메라(1110) 및 스피커/마이크로폰 코덱(CODEC)(1113, 1114) 각각은 통합된 주변 장치(예를 들어, 하나 이상의 카메라(1110))를 포함하여 전체 컴퓨팅 시스템과 관련하는 다양한 형태의 I/O(입력 및/또는 출력)로 볼 수 있다. 구현예에 따라, 이들 I/O 컴포넌트들 중 다양한 것들은 애플리케이션 프로세서/멀티 코어 프로세서(1150) 상에 통합될 수 있거나 또는 다이(die) 외부 또는 애플리케이션 프로세서/멀티 코어 프로세서(1150)의 패키지 외부에 위치될 수 있다.

일 실시예에서, 카메라(1110)는 상기 길이로 설명된 바와 같이 광 흐름 기반 자동 초점 기술을 사용한다.

본 발명의 실시예들은 전술한 바와 같은 다양한 프로세스를 포함할 수 있다. 상기 프로세스는 기계 실행 가능 명령어들로 구현될 수 있다. 상기 명령어들은 범용 또는 특수 목적 프로세서가 특정 프로세스를 수행하도록 하는 데 사용될 수 있다. 대안적으로, 이러한 프로세스는 프로세스를 수행하기 위한 하드웨어에 내장된 로직을 포함하는 특정 하드웨어 컴포넌트에 의해 수행되거나 또는 프로그래밍된 컴퓨터 컴포넌트 및 커스텀 하드웨어 컴포넌트의 임의의 조합에 의해 수행될 수 있다.

본 발명의 구성요소들은 또한 기계-실행 가능 명령어들을 저장하기 위한 기계-판독 가능 매체로서 제공될 수 있다. 기계-판독 가능 매체는 플로피 디스켓, 광 디스크, CD-ROM 및 광 자기 디스크, 플래시 메모리, ROM, RAM, EPROM, EEPROM, 자기 또는 광학 카드, 전파 매체 또는 전자 명령어들을 저장하기에 적합한 기타 타입의 매체/기계-판독 가능 매체를 포함할 수 있지만, 이에 한정되지는 않는다. 예를 들어, 본 발명은 통신 링크(예: 모뎀 또는 네트워크 연결)를 통해 반송파 또는 다른 전파 매체에 내장된 데이터 신호에 의해 원격 컴퓨터(예: 서버)에서 요청 컴퓨터(예: 클라이언트)로 전송될 수 있는 컴퓨터 프로그램으로서 다운로드될 수 있다.

전술한 명세서에서, 본 발명은 특정 실시예들을 참조하여 설명되었다. 그러나, 첨부된 청구 범위에 설명된 본 발명의 더 넓은 사상 및 범위를 벗어나지 않으면서 다양한 변경 및 수정이 이루어질 수 있음이 자명할 것이다. 따라서, 명세서 및 도면은 제한적인 의미라기보다는 예시적인 것으로 간주되어야 한다.

Claims (15)

1. 컴퓨터로 구현되는 방법으로서,
   객체의 참조점들의 세트를 식별하는 단계 -상기 참조점들은 카메라에 의해 캡쳐된 이미지에서 추적됨 -;
   상기 참조점들에 대한 벡터들의 필드를 생성하는 단계 -상기 벡터들은 상기 이미지의 하나 이상의 프레임에 걸친 상기 참조점들의 위치의 변화의 크기 및 방향을 나타냄 -;
   상기 벡터들의 동일한 반경 방향(radial orientation)으로부터 상기 참조점들의 평면외(out of plane) 이동의 존재를 식별하는 단계;
   복수의 상기 참조점들 사이의 거리의 변화로부터 카메라에 가까워지는 참조점들의 이동량 또는 카메라로부터 멀어지는 참조점들의 이동량을 결정하는 단계;
   상기 카메라가 상기 객체에 초점을 유지하도록 상기 객체의 특징들에 대한 상기 가까워지는 이동량 또는 상기 멀어지는 이동량을 고려하여 상기 카메라의 초점 조정을 조정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
2. 제1항에 있어서, 상기 반경 방향은 바깥쪽(outward)이며, 상기 평면외 이동은 상기 카메라쪽으로 향하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
3. 제1항에 있어서, 상기 반경 방향은 안쪽(inward)이며, 상기 평면외 이동은 상기 카메라로부터 멀어지는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
4. 선행하는 어느 항에 있어서, 상기 동일한 반경 방향을 갖는 상기 벡터들은 상기 객체의 주변부에 있는 상기 참조점들의 벡터들을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
5. 선행하는 어느 항에 있어서, 상기 방법은,
   상기 객체의 윤곽에 대한 상기 벡터들의 순 다이버전스(net divergence) 없이 객체의 평면내(in plane) 이동을 인식하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
6. 선행하는 어느 항에 있어서, 상기 가까워지는 참조점들의 이동량 또는 멀어지는 참조점들의 이동량을 결정하는 단계는 상기 복수의 참조점들로부터 형성된 삼각형의 다리들의 변화를 측정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
7. 선행하는 어느 항에 있어서, 상기 복수의 참조점들은 상기 객체의 주변부 내에 위치하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
8. 기계-판독 가능 저장 매체로서,
   프로세서에 의해 처리될 때 제1항 내지 제7항 중 어느 한 항의 방법을 수행하게 하는 프로그램 코드를 포함하는 것을 특징으로 하는 기계-판독 가능 저장 매체.
9. 장치로서,
   이미지 센서;
   상기 이미지 센서와 연관된 적어도 하나의 렌즈를 포함하는 어셈블리;
   상기 렌즈 어셈블리에 연결된 모터;
   상기 모터에 연결된 프로세서; 그리고
   상기 프로세서에 연결된 메모리 -상기 메모리는 상기 프로세서로 실행하기 위한 프로그램 코드 명령어들을 저장하며, 상기 프로세서에 의한 상기 프로그램 코드 명령어들의 실행은 방법의 제어하에서 상기 렌즈 어셈블리에 의한 상기 이미지 센서 상의 초점이 상기 모터의 동작에 의해 조정되는 상기 방법을 수행하게 하며-를 포함하며,
   상기 방법은,
   객체의 특징들의 세트를 식별하는 단계 -상기 특징들은 상기 이미지 센서에 의해 캡쳐된 이미지에서 추적되며 -;
   참조점들에 대한 벡터들의 필드를 생성하는 단계 -상기 벡터들은 상기 이미지의 하나 이상의 프레임에 걸친 상기 참조점들의 위치의 변화의 크기 및 방향을 나타냄 -;
   상기 벡터들의 동일한 반경 방향에서 상기 객체의 특징들의 평면외 이동의 존재를 식별하는 단계;
   복수의 상기 참조점들 사이의 거리의 변화로부터 카메라에 가까워지는 상기 객체의 특징들의 이동량 또는 카메라로부터 멀어지는 상기 객체의 특징들의 이동량을 결정하는 단계;
   상기 카메라에 가까워지는 상기 객체의 특징들의 이동량 또는 상기 카메라로부터 멀어지는 상기 객체의 특징들의 이동량을 고려하여 상기 초점을 조정하도록 상기 모터를 구동하는 단계를 포함하는 것을 특징으로 하는 장치.
10. 제9항에 있어서, 상기 반경 방향은 바깥쪽(outward)이며, 상기 평면외 이동은 상기 카메라쪽으로 향하는 것을 특징으로 하는 장치.
11. 제9항에 있어서, 상기 반경 방향은 안쪽이며, 상기 평면외 이동은 상기 카메라로부터 멀어지는 것을 특징으로 하는 장치.
12. 제9항 내지 제11항 중 어느 항에 있어서, 상기 동일한 반경 방향을 갖는 상기 벡터들은 상기 객체의 주변부에 있는 상기 참조점들의 벡터들을 포함하는 것을 특징으로 하는 장치.
13. 제9항 내지 제12항 중 어느 항에 있어서, 상기 방법은,
    상기 객체의 윤곽에 대한 상기 벡터들의 순 다이버전스(net divergence) 없이 객체의 평면내 이동을 인식하는 단계를 더 포함하는 것을 특징으로 하는 장치.
14. 제9항 내지 제13항 중 어느 항에 있어서, 상기 복수의 참조점들은 상기 객체의 주변부 내에 위치하는 것을 특징으로 하는 장치.
15. 제9항 내지 제14항 중 어느 항에 있어서,
    상기 렌즈 어셈블리는 초점 렌즈를 포함하고, 상기 모터는 상기 초점을 조정하도록 상기 초점 렌즈를 이동시키는 것을 특징으로 하는 장치.

Images