KR20180101466A

KR20180101466A - 심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스

Info

Publication number: KR20180101466A
Application number: KR1020187022702A
Authority: KR
Inventors: 준 왕; 롱유에 수
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2016-01-12
Filing date: 2016-01-12
Publication date: 2018-09-12
Also published as: EP3389268A4; EP3389268A1; KR102143456B1; EP3389268B1; JP2019510234A; US10506164B2; CN107223330A; JP6663040B2; CN107223330B; WO2017120771A1; US20190028646A1

Abstract

본 발명의 실시예들은 심도 정보 획득 방법 및 장치, 그리고 이미지 취득 디바이스를 개시한다. 이미지 취득 디바이스는 제1 카메라 및 제2 카메라를 포함한다. 흔들림이 발생하는 것을 검출할 때, 심도 정보 획득 장치는 제1 카메라 및 제2 카메라에 의해 캡처된 이미지들을 획득하고, 2개의 이미지들에서의 목표 촬영물 사이의 초기 거리를 검출하고, 제1 이미지와 제2 이미지 사이의 오프셋 차이를 사용하는 것에 초기 거리를 수정하고, 수정된 초기 거리를 사용하는 것에 의해 목표 촬영물의 심도를 결정할 수 있다. 본 발명의 실시예들에서, 2개의 카메라들 양측 모두는 OIS 기능을 가질 수 있거나, 또는 카메라들 중 어느 하나가 OIS 기능을 갖는다. OIS를 수행할 때, 심도 정보 획득 장치는 2개의 카메라들에 의해 획득된 이미지들에서의 동일한 촬영물 사이의 거리를 수정하여, 최종적으로 획득된 심도 정보가 비교적 정확해진다. 이것은 촬영물에 대한 포커싱을 정확하고 신속하게 구현할 수 있다.

Description

심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스

본 발명의 실시예들은 전자 기술들의 분야에 관한 것으로, 구체적으로는, 심도(depth) 정보 획득 방법 및 장치, 그리고 이미지 취득 디바이스에 관한 것이다.

전자 기술들의 분야에서, 심도 정보는 이미지 취득 디바이스 내의 카메라 모듈의 렌즈(Lens)와 촬영물(shooting object) 사이의 수직 거리의 관련 정보이다. 심도 정보를 획득한 후에, 카메라 모듈은 심도 정보에 따라 렌즈의 이동을 제어하여, 촬영물에 대한 포커싱을 구현할 수 있다. 그에 따라, 포커싱 정확도는 심도 정보 획득 정확도에 의존한다. 광학 이미지 안정화(Optical Image Stabilization, OIS)는 사용 프로세스 동안 조작자의 흔들림으로 인한 이미지 불안정화를 최소화시키기 위해 감광 요소와 함께 특수 렌즈가 사용되는 기술이다. OIS는 렌즈를 이동시키는 것에 의해 주로 구현된다.

현재, 사람들은 카메라에 의해 캡처된 이미지의 품질에 대해 보다 엄격한 요구사항들을 갖고 있다. 보다 높은 이미지 품질을 획득하기 위해, 다수의 카메라 모듈들이 사용된다. 이미지 취득 디바이스가 다수의 카메라 모듈들을 사용하는 것에 의해 촬영을 수행할 때, 모든 카메라 모듈들에 의해 캡처된 이미지들이 최종적으로 하나의 이미지로 융합된다. 이것은 이미지 촬영 품질을 개선시킬 수 있다. 종래 기술에서는, 다수의 카메라 모듈들을 갖는 이미지 취득 디바이스 내의 모든 카메라 모듈들의 렌즈들의 포커스 길이들이 약간 상이하다. 그에 따라, 이미지 취득 디바이스가 OIS를 수행할 때, 동일한 흔들림은 카메라 모듈들 내의 렌즈들의 상이한 오프셋들을 초래할 수 있다. 결과적으로, 이미지 취득 디바이스에 의해 최종적으로 획득된 심도 정보는 부정확하고, 이미지 취득 디바이스는 포커싱 프로세스 동안 비교적 낮은 정확도 및 비교적 낮은 속도를 갖는다.

본 발명의 실시예들은, 다수의 카메라 모듈들이 OIS를 수행할 때 심도 정보가 정확하게 획득되어, 그에 의해 정확하고 신속하게 포커싱을 구현할 수 있도록 하는 심도 정보 획득 방법 및 장치, 그리고 이미지 취득 디바이스를 개시한다.

본 발명의 실시예들의 제1 양태는, 이미지 취득 디바이스에 적용되는 심도 정보 획득 방법을 개시하고, 여기서 이미지 취득 디바이스는 제1 카메라 및 제2 카메라를 포함하고, 이 방법은,

제1 카메라 및 제2 카메라가 흔들리는 것이 검출될 때, 심도 정보 획득 장치에 의해, 제1 카메라에 의해 캡처된 목표 촬영물의 제1 이미지 및 제2 카메라에 의해 캡처된 목표 촬영물의 제2 이미지를 획득하는 단계 - 여기서 제1 카메라 및 제2 카메라는 동시에 이미지 취득을 수행함 -; 제1 이미지에서의 목표 촬영물과 제2 이미지에서의 목표 촬영물 사이의 초기 거리를 검출하고, 제1 이미지와 제2 이미지 사이의 오프셋 차이를 결정하는 단계; 오프셋 차이를 사용하는 것에 의해 초기 거리를 수정하는 단계; 및 수정된 초기 거리에 따라 목표 촬영물의 심도를 최종적으로 결정하는 단계를 포함할 수 있다.

제1 카메라와 제2 카메라 양측 모두가 OIS 기능을 갖거나, 또는 카메라들 중 어느 하나가 OIS 기능을 갖는 경우, OIS를 수행할 때, 심도 정보 획득 장치는 2개의 카메라들에 의해 각각 획득된 2개의 이미지들에서의 동일한 촬영물 사이의 거리를 수정하여, 이미지 취득 디바이스가 촬영물의 비교적 정확한 심도를 최종적으로 획득하도록 한다는 것이 학습될 수 있다. 이것은 카메라들의 포커싱 정확도를 개선시킨다.

임의로, 제1 카메라는 제1 렌즈를 포함하고, 제2 카메라는 제2 렌즈를 포함한다. 심도 정보 획득 장치에 의해 제1 이미지와 제2 이미지 사이의 오프셋 차이를 결정하는 특정 방식은, 제1 카메라 및 제2 카메라가 흔들리는 것이 검출될 때, 카메라들 내의 홀 효과 센서(Hall effect sensor)들을 사용하는 것에 의해 제1 렌즈의 제1 오프셋 및 제2 렌즈의 제2 오프셋을 획득하는 것, 제1 오프셋 및 제2 오프셋에 따라 제1 이미지의 오프셋 값 및 제2 이미지의 오프셋 값을 각각 결정하는 것, 및 제1 이미지의 오프셋 값과 제2 이미지의 오프셋 값 사이의 오프셋 차이를 최종적으로 획득하는 것일 수 있다. 실제 적용에서, 렌즈의 오프셋은 이미지의 실제 오프셋이 아니다. 흔들림이 발생할 때의 이미지의 실제 오프셋 값은 렌즈의 오프셋과 이미지의 오프셋 사이의 관계에 따라 결정된다. 이러한 방식으로, 목표 촬영물의 최종적으로 획득된 심도가 더 정확해질 수 있다.

임의로, 이미지 취득 디바이스는 듀얼-카메라 이미지 취득 디바이스이다.

임의로, 이미지 취득 디바이스에서, 2개의 카메라들 양측 모두가 OIS 기능을 갖는 경우, 흔들림이 발생할 때 제1 이미지의 오프셋 값도 제2 이미지의 오프셋 값도 0이 아니다. 2개의 카메라들 중 단지 하나의 카메라만이 OIS 기능을 갖는 경우, 흔들림이 발생할 때 OIS 기능이 없는 카메라에 의해 캡처된 이미지의 오프셋 값은 0이라고 간주될 수 있다.

임의로, 이미지 취득 디바이스가 3개 이상의 카메라들을 포함할 때, 심도 정보 획득 장치는 또한 전술한 방식으로 목표 촬영물의 심도를 유사하게 획득할 수 있고, 최종적으로 평균 심도가 계산되어 목표 촬영물의 실제 심도로서 사용될 수 있다. 다수의 카메라들의 경우, OIS를 수행할 때, 모든 카메라들에 의해 획득된 심도들 사이에는 보다 큰 차이들이 있다. 그에 따라, 이러한 방식으로 획득된 목표 촬영물의 심도가 더 정확해져서, 포커싱 프로세스 동안 포커싱이 정확하고 신속하게 구현될 수 있다.

임의로, 초기 거리는 제1 이미지에서의 목표 촬영물과 제2 이미지에서의 목표 촬영물 사이의 상대 거리일 수 있고, 오프셋 차이는 제1 이미지의 오프셋 값과 제2 이미지의 오프셋 값 사이의 상대 차이이어야 한다. 즉, 초기 거리와 오프셋 차이 양측 모두는 벡터들이고, 오프셋 차이를 계산하는 방식은 초기 거리를 계산하는 방식에 대응할 필요가 있다.

임의로, 수정된 초기 거리에 따라 목표 촬영물의 심도를 결정한 후에, 목표 촬영물에 대한 포커싱을 위한 명령어를 수신할 때, 포커싱 명령어에 응답하여, 심도 정보 획득 장치는 추가로, 제1 렌즈의 것이고 심도에 대응하고 있는 제1 이동 거리를 획득하고, 제2 렌즈의 것이고 심도에 대응하고 있는 제2 이동 거리를 획득한 후에, 제1 이동 거리에 따라 제1 렌즈의 포커스 위치를 결정하고, 제2 이동 거리에 따라 제2 렌즈의 포커스 위치를 결정하고, 제1 렌즈 및 제2 렌즈를 개개의 포커스 위치들로 이동시키도록 최종적으로 제어할 수 있다.

목표 촬영물의 심도를 획득한 후에, 목표 촬영물에 대한 포커싱을 수행할 필요가 있을 때, 심도 정보 획득 장치는 렌즈들이 이동할 필요가 있고 심도에 대응하고 있는 거리들을 획득하고, 개개의 이동 거리들에 따라 렌즈들의 포커스 위치들을 결정한 후에, 렌즈들을 개개의 포커스 위치들로 이동시킬 수 있다는 것이 학습될 수 있다. 이것은 목표 촬영물에 대한 포커싱을 정확하고 신속하게 구현할 수 있다.

본 발명의 실시예들의 제2 양태는 이미지 취득 디바이스에 적용되는 심도 정보 획득 장치를 개시한다. 이미지 취득 디바이스는 제1 카메라 및 제2 카메라를 포함한다. 심도 정보 획득 장치는 획득 유닛, 검출 유닛, 제1 결정 유닛, 수정 유닛, 및 제2 결정 유닛을 포함할 수 있다. 제1 카메라와 제2 카메라가 흔들리는 것이 검출될 때, 획득 유닛은 제1 카메라에 의해 캡처된 목표 촬영물의 제1 이미지 및 제2 카메라에 의해 캡처된 목표 촬영물의 제2 이미지를 획득하고, 여기서 제1 카메라 및 제2 카메라는 동시에 이미지 취득을 수행하여, 검출 유닛이 제1 이미지에서의 목표 촬영물과 제2 이미지에서의 목표 촬영물 사이의 초기 거리를 검출하도록 한다. 부가적으로, 제1 결정 유닛은 제1 이미지와 제2 이미지 사이의 오프셋 차이를 결정한다. 그 후에, 수정 유닛은 오프셋 차이를 사용하는 것에 의해 초기 거리를 수정하고, 제2 결정 유닛은 수정된 초기 거리에 따라 목표 촬영물의 심도를 결정한다.

임의로, 제1 카메라는 제1 렌즈를 포함하고, 제2 카메라는 제2 렌즈를 포함한다. 제1 결정 유닛은 획득 서브유닛 및 결정 서브유닛을 포함할 수 있다.

심도 정보 획득 장치가 제1 카메라 및 제2 카메라가 흔들리는 것을 검출할 때, 획득 서브유닛은 카메라들 내의 홀 효과 센서들을 사용하는 것에 의해 제1 렌즈의 제1 오프셋 및 제2 렌즈의 제2 오프셋을 획득할 수 있다. 결정 서브유닛은 제1 오프셋 및 제2 오프셋에 따라 제1 이미지의 오프셋 값 및 제2 이미지의 오프셋 값을 각각 결정하고, 제1 이미지의 오프셋 값과 제2 이미지의 오프셋 값 사이의 오프셋 차이를 최종적으로 획득할 수 있다.

실제 적용에서, 렌즈의 오프셋은 이미지의 실제 오프셋이 아니다. 흔들림이 발생할 때의 이미지의 실제 오프셋 값은 렌즈의 오프셋과 이미지의 오프셋 사이의 관계에 따라 결정된다. 이러한 방식으로, 목표 촬영물의 최종적으로 획득된 심도가 더 정확해질 수 있다.

임의로, 심도 정보 획득 장치는 수신 유닛 및 제어 유닛을 더 포함할 수 있다.

수신 유닛이 목표 촬영물에 대한 포커싱을 위한 명령어를 수신할 때, 획득 유닛은 포커싱 명령어에 응답하여 트리거되어, 제1 렌즈의 것이고 심도에 대응하고 있는 제1 이동 거리를 획득하고, 제2 렌즈의 것이고 심도에 대응하고 있는 제2 이동 거리를 획득할 수 있다. 제2 결정 유닛은 제1 이동 거리에 따라 제1 렌즈의 포커스 위치를 결정하고, 제2 이동 거리에 따라 제2 렌즈의 포커스 위치를 결정한다. 최종적으로, 제어 유닛은 제1 렌즈 및 제2 렌즈를 개개의 포커스 위치들로 이동시키도록 제어한다.

본 발명의 실시예들의 제3 양태는 제1 카메라, 제2 카메라, 프로세서, 및 수신기를 포함하는 이미지 취득 디바이스를 개시한다. 제1 카메라는, 제1 카메라 및 제2 카메라가 흔들리는 것을 이미지 취득 디바이스가 검출할 때, 목표 촬영물의 제1 이미지를 캡처하도록 구성된다. 제2 카메라는, 제1 카메라 및 제2 카메라가 흔들리는 것을 이미지 취득 디바이스가 검출할 때, 목표 촬영물의 제2 이미지를 캡처하도록 구성되고, 여기서 제1 카메라 및 제2 카메라는 동시에 이미지 취득을 수행한다. 프로세서는 전술한 심도 정보 획득 장치의 획득 유닛, 검출 유닛, 수정 유닛, 결정 유닛, 및 제어 유닛에 의해 수행되는 동작들을 수행하도록 주로 구성된다. 수신기는 목표 촬영물에 대한 포커싱을 위한 명령어를 수신하도록 주로 구성되고, 프로세서는 포커싱 명령어에 응답하여 목표 촬영물에 대한 포커싱을 구현할 수 있다.

본 발명의 실시예들의 구현은 다음의 유리한 효과들을 가져온다:

본 발명의 실시예들에서, 카메라들이 흔들리는 것을 검출할 때, 심도 정보 획득 장치는 제1 카메라 및 제2 카메라에 의해 캡처된 이미지들을 획득하고, 2개의 이미지들에서의 목표 촬영물 사이의 초기 거리를 검출하고, 제1 이미지와 제2 이미지 사이의 오프셋 차이를 사용하는 것에 의해 초기 거리를 수정하고, 수정된 초기 거리를 심도 계산식에 최종적으로 대입하여, 목표 촬영물의 심도를 결정할 수 있다. 본 발명의 실시예들에 따르면, 2개의 카메라들 양측 모두가 OIS 기능을 가질 수 있거나, 또는 카메라들 중 어느 하나가 OIS 기능을 가질 때, 심도 정보 획득 장치는 2개의 카메라들에 의해 획득된 이미지들에서의 동일한 촬영물 사이의 거리를 수정할 수 있어서, 촬영물의, 수정된 거리에 따라 최종적으로 획득된, 심도 정보가 비교적 정확해진다. 이것은 촬영물에 대한 포커싱을 정확하고 신속하게 구현할 수 있다.

본 발명의 실시예들에서의 기술적 솔루션들을 더 명확히 설명하기 위해, 다음은 실시예들을 설명하기 위해 요구되는 첨부 도면들을 간략히 설명한다. 명백하게, 다음의 설명에서의 첨부 도면들은 단지 본 발명의 일부 실시예들을 도시한 것에 불과하고, 본 기술분야의 통상의 기술자가 창조적 노력 없이도 이들 첨부 도면들로부터 다른 도면들을 더욱 도출할 수 있다.
도 1은 본 발명의 실시예에 따른 카메라 모듈의 개략적 구조도이다.
도 2는 본 발명의 실시예에 따른 심도 정보 획득 방법의 개략적 흐름도이다.
도 3은 본 발명의 실시예에 따른 듀얼-카메라 촬영 시나리오의 개략도이다.
도 4는 본 발명의 실시예에 따른 다른 심도 정보 획득 방법의 개략적 흐름도이다.
도 5는 본 발명의 실시예에 따른 카메라가 OIS를 수행할 때 렌즈가 이동하는 시나리오의 개략도이다.
도 6은 본 발명의 실시예에 따른 렌즈의 포커스 길이 교정 방법의 개략도이다.
도 7은 본 발명의 실시예에 따른 심도 정보 획득 장치의 개략도이다.
도 8은 본 발명의 실시예에 따른 다른 심도 정보 획득 장치의 개략적 구조도이다.
도 9는 본 발명의 실시예에 따른 이미지 취득 디바이스의 개략적 구조도이다.

다음은 본 발명의 실시예들에서의 첨부 도면들을 참조하여 본 발명의 실시예들에서의 기술적 솔루션들을 명확하고 완전히 설명한다. 명백하게, 설명된 실시예들은 본 발명의 실시예들 중 전부가 아니라 단지 일부인 것에 불과하다. 창의적 노력 없이도 본 발명의 실시예들에 기초하여 본 기술분야의 통상의 기술자에 의해 획득되는 모든 다른 실시예들은 본 발명의 보호 범주 내에 있어야 한다.

본 발명의 실시예들은, 다수의 카메라 모듈들이 OIS를 수행할 때 심도 정보가 정확하게 획득되어, 그에 의해 정확하고 신속하게 포커싱을 구현할 수 있도록 하는 심도 정보 획득 방법 및 장치, 그리고 이미지 취득 디바이스를 개시한다. 다음은 상세한 설명들을 별개로 제공한다.

본 발명의 실시예들에 따른 심도 정보 획득 방법 및 장치, 그리고 이미지 취득 디바이스를 더 잘 이해하기 위해, 먼저 본 발명의 실시예들에 적용가능한 카메라 모듈의 구조체가 다음에 설명된다. 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 카메라 모듈의 개략적 구조도이다. 도 1에 도시된 구조체에서, 카메라 모듈은, ① 보호 필름, ② 렌즈 그룹, ③ 포커스 모터, ④ 광 필터, 및 ⑤ 감광 요소를 포함한다. 보호 필름(①)은 렌즈 그룹을 보호하도록 구성된다. 렌즈 그룹(②)은 일반적으로 다수의 렌즈들을 포함하고, 이미징 기능을 갖는다. 일반적으로, 렌즈 그룹은 OIS 기능을 갖는다. 흔들림이 발생할 때, 렌즈 그룹의 렌즈(본 발명의 실시예들에서는 렌즈로 집합적으로 지칭되고, 렌즈로도 또한 지칭됨)를 좌우로 이동시키는 것에 의해 비교적 선명한 이미지가 획득될 수 있다. 포커스 모터(③)는 포커스 지원을 위해 렌즈를 이동시키기 위해 구동하도록 주로 구성된다. 광 필터(④)는 적외선들을 필터링하여, 최종적으로 디스플레이되는 이미지가 비교적 작은 컬러 차이를 갖게 하도록 주로 구성된다. 감광 요소(⑤)는 렌즈 그룹(②)에 의해 획득된 이미지를 전자 이미지로 변환하도록 주로 구성된다. 감광 요소의 위치는 고정되어 있다. 다수의 카메라 모듈들을 갖는 이미지 취득 디바이스의 경우, 모든 카메라들에 대응하는 감광 요소들이 동일한 평면 상에 있다고 간주될 수 있다. 도 1에 도시된 카메라 모듈은, 스마트폰, 태블릿 컴퓨터, 개인 휴대 정보 단말기(Personal Digital Assistant, PDA), 모바일 인터넷 디바이스(Mobile Internet Device, MID), 및 디지털 카메라와 같은, 사진촬영 및 촬영 기능들을 갖는 이미지 취득 디바이스에 적용될 수 있다. 이미지 취득 디바이스가 다수의 카메라 모듈들을 포함할 때, 다수의 카메라 모듈들은 이미지 취득 디바이스에 나란히 배열된다. 부가적으로, 다수의 카메라 모듈들 모두가 OIS 기능을 가질 수 있거나, 또는 하나의 카메라만이 OIS 기능을 갖는다. 이것은 본 발명의 이 실시예에서 제한되지 않는다.

도 1에 도시된 카메라 모듈에 따르면, 이미지를 캡처한 후에, 이미지 취득 디바이스는 이미지에서 각각의 촬영물의 심도 정보를 계산할 수 있다. 촬영물에 포커싱이 수행될 필요가 있을 때, 이미지 취득 디바이스는 촬영물의 심도에 따라 촬영물에 대한 포커싱을 수행할 수 있다. 이미지 취득 디바이스가 다수의 카메라 모듈들을 포함할 때, 다수의 카메라 모듈들에 의해 캡처된 이미지들은 최종적으로 하나의 이미지로 융합되어, 캡처된 이미지가 더 선명해지고, 사용자의 촬영 요구사항을 더 잘 만족시킬 수 있다. 이 솔루션은 다수의 카메라들이 OIS를 수행한다는 기초 위에서 제안된다는 것에 유의해야 한다.

도 1에 도시된 카메라 모듈에 기초하여, 본 발명의 실시예는 심도 정보 획득 방법을 개시한다. 도 2를 참조하면, 도 2는 본 발명의 이 실시예에 따른 심도 정보 획득 방법의 개략적 흐름도이다. 도 2에 도시된 방법은 이미지 취득 디바이스에 적용될 수 있다. 이미지 취득 디바이스는 제1 카메라 및 제2 카메라를 포함한다. 도 2에 도시된 바와 같이, 심도 정보 획득 방법은 다음의 단계들을 포함할 수 있다.

S201. 제1 카메라 및 제2 카메라가 흔들리는 것을 검출할 때, 심도 정보 획득 장치는 제1 카메라에 의해 캡처된 목표 촬영물의 제1 이미지 및 제2 카메라에 의해 캡처된 목표 촬영물의 제2 이미지를 획득하고, 여기서 제1 카메라 및 제2 카메라는 동시에 이미지 취득을 수행한다.

본 발명의 이 실시예에서, 이미지 취득 디바이스가 이미지 프리뷰 스크린에 진입할 때, 제1 카메라 및 제2 카메라는 실시간으로 개개의 시야들 내의 이미지들을 캡처한다. 일반적으로, 제1 카메라 및 제2 카메라는 동시에 흔들린다. 그에 따라, 심도 정보 획득 장치가 제1 카메라 및 제2 카메라가 흔들리는 것을 검출할 때(구체적으로는, 자이로스코프가 흔들림이 발생하는지 여부를 검출하는 데 사용될 수 있다), 제1 카메라 및 제2 카메라는 동시에 현재 환경으로부터의 이미지들을 캡처하고, 제1 카메라의 제1 이미지 및 제2 카메라의 제2 이미지를 각각 획득하여, 심도 정보 획득 장치가 제1 이미지 및 제2 이미지를 획득하도록 한다. 제1 이미지와 제2 이미지 양측 모두는 목표 촬영물을 포함한다. 제1 이미지 및 제2 이미지는, 제1 카메라 및 제2 카메라의 감광 요소들에 의해, 카메라들의 렌즈들에 의해 획득된 이미지들을 변환하는 것에 의해 획득된 전자 이미지들이다. 목표 촬영물은, 인간의 얼굴, 건물, 또는 동물과 같은, 제1 이미지와 제2 이미지 양측 모두에 존재하는 임의의 촬영물이다. 이것은 본 발명의 이 실시예에서 제한되지 않는다.

본 발명의 이 실시예에서, 제1 카메라는 제1 렌즈를 포함하고, 제2 카메라는 제2 렌즈를 포함한다. 제1 카메라 및 제2 카메라가 흔들리는 것을 검출할 때, 제1 이미지 및 제2 이미지에 부가적으로, 심도 정보 획득 장치는 제1 렌즈의 이동 거리 af_offset₁ 및 제2 렌즈의 이동 거리 af_offset₂를 획득한다.

구체적으로는, af_offset₁은 3차원 좌표계의 Z축 상의 제1 렌즈의 제1 시작 위치와 제1 렌즈의 현재 위치 사이의 스칼라 거리, 즉, 제1 렌즈의 제1 시작 위치와 제1 렌즈가 제1 이미지를 캡처하는 현재 위치 사이의 상대 이동 거리이다. 구체적으로는, af_offset₂는 3차원 좌표계의 Z축 상의 제2 렌즈의 제2 시작 위치와 제2 렌즈의 현재 위치 사이의 스칼라 거리, 즉, 제2 렌즈의 제2 시작 위치와 제2 렌즈가 제2 이미지를 캡처하는 현재 위치 사이의 상대 이동 거리이다. 제1 시작 위치는 주로, 제1 카메라의 감광 요소와 제1 렌즈 사이의 수직 거리가 제1 렌즈의 포커스 길이의 1배인, 제1 렌즈의 위치이다. 제2 시작 위치는 주로, 제2 카메라의 감광 요소와 제2 렌즈 사이의 수직 거리가 제2 렌즈의 포커스 길이의 1배인, 제2 렌즈의 위치이다. 제1 카메라의 감광 요소와 제1 렌즈 사이의 최소 거리는 일반적으로 제1 렌즈의 포커스 길이의 1배의 거리이다. 제2 렌즈의 감광 요소와 제2 카메라 사이의 최소 거리는 유사하게 제2 렌즈의 포커스 길이의 1배의 거리이다.

S202. 심도 정보 획득 장치는 제1 이미지에서의 목표 촬영물과 제2 이미지에서의 목표 촬영물 사이의 초기 거리를 검출한다.

또한 도 3을 참조하면, 도 3은 본 발명의 실시예에 따른 듀얼-카메라 촬영 시나리오의 개략도이다. 도 3에서, 심도 정보 획득 장치는 카메라들의 감광 요소들이 위치되는 평면을 XY 평면으로서 사용하고 카메라들의 렌즈들이 감광 요소들에 수직인 방향을 Z축으로서 사용하는 것에 의해 3차원 좌표계를 생성할 수 있다. 본 발명의 이 실시예에서 3차원 좌표계의 원점의 위치는 제한되지 않는다. 그에 따라, (도 3의 (a)에 도시된 바와 같이) 제1 렌즈에 의해 캡처된 제1 이미지 및 제2 렌즈에 의해 캡처된 제2 이미지를 획득할 때, 심도 정보 획득 장치는 (도 3의 (b)에 도시된 바와 같이) 제1 이미지 및 제2 이미지가 중첩되게 하고 3차원 좌표계의 XY 평면 상에 매핑되게 할 수 있다.

추가로, 제1 이미지와 제2 이미지 양측 모두에 목표 촬영물이 존재할 때, 심도 정보 획득 장치는 제1 이미지에서의 목표 촬영물과 제2 이미지에서의 목표 촬영물 사이의 초기 거리를 검출할 수 있다. 초기 거리는 일반적으로 벡터 거리이고 d₀으로 표현된다. 구체적으로는, 초기 거리는 구체적으로는, 2개의 이미지들에서의 목표 촬영물 사이의, 심도 정보 획득 장치가 제1 이미지 및 제2 이미지가 중첩되게 하고 XY 평면 상에 매핑되게 한 후에 심도 정보 획득 장치에 의해 획득되는, 좌표 거리(즉, 도 3의 (b)에 도시된 제1 이미지 및 제2 이미지에서의 2개의 흑점들 사이의 거리 d0)이다.

구체적으로는, 초기 거리 d₀은, 2개의 이미지들에서의 목표 촬영물의 동일한 특징 픽셀의 좌표들 사이의, 심도 정보 획득 장치가 2개의 이미지들이 중첩되게 하고 3차원 좌표계의 XY 평면 상에 매핑되게 한 후에 심도 정보 획득 장치에 의해 획득되는, 벡터 거리일 수 있다. 대안적으로, 초기 거리 d₀은 다음과 같이 획득되는 거리일 수 있다: XY 평면 상에서, 심도 정보 획득 장치는 제1 이미지로부터 다수의 특징 픽셀들을 선택하고; 특징 픽셀들 각각에 대해, 제2 이미지로부터, 특징 픽셀과 동일한 특징을 갖는 픽셀을 선택하고; 2개의 픽셀들의 좌표들 사이의 벡터 거리를 계산하고; 제1 이미지에서의 목표 촬영물과 제2 이미지에서의 목표 촬영물 사이의 초기 거리 d₀과 동일한 특징들을 갖는 픽셀들의 다수의 그룹들의 벡터 거리들의 평균 값을 최종적으로 사용한다. 이것은 본 발명의 이 실시예에서 제한되지 않는다.

본 발명의 이 실시예에서, 심도 정보 획득 장치에 의해 제1 이미지에서의 목표 촬영물과 제2 이미지에서의 목표 촬영물 사이의 초기 거리를 검출하는 특정 방식은,

3차원 좌표계의 XY 평면 상에 매핑되는, 제1 이미지에서의 목표 촬영물과 제2 이미지에서의 목표 촬영물 사이의 초기 거리 d₀을 검출하는 것일 수 있다. 도 3에서 생성된 3차원 좌표계의 XY 평면 상에서, 심도 정보 획득 장치는 먼저 제1 이미지 및 제2 이미지를 서로 중첩시키고; 제1 이미지에서의 목표 촬영물로부터 좌표들, 말하자면

를 갖는 특징 픽셀 P₁을 선택하고; 제2 이미지에서의 목표 촬영물로부터, 좌표들, 말하자면

를 갖는 특징 픽셀과 동일한 특징을 갖는 픽셀 P₂를 선택할 수 있다. 이러한 방식으로, 심도 정보 획득 장치는, P₁과 P₂의 좌표들에 따라, 2개의 픽셀들의 초기 벡터 거리 d₀, 말하자면

를 계산할 수 있다.

는

또는

일 수 있다.

일 때

이거나; 또는

일 때,

이다. 이것은 본 발명의 이 실시예에서 제한되지 않는다.

임의로, 심도 정보 획득 장치는 추가로, 제1 카메라의 감광 요소에서의 제1 이미지의 중심점을 사용하여 3차원 좌표계를 생성하고; 제2 카메라의 감광 요소에서의 제2 이미지의 중심점을 사용하여 다른 3차원 좌표계를 생성하고; 그 후에, 2개의 좌표계들에서, 제1 이미지에서의 목표 촬영물과 제2 이미지에서의 목표 촬영물의 동일한 특징 픽셀의 좌표들을 별개로 획득하고; 제1 이미지에서의 목표 촬영물의 좌표들과 제2 이미지에서의 목표 촬영물의 좌표들 사이의 벡터 거리를 최종적으로 계산할 수 있다. 2개의 좌표계들은 좌표들의 상이한 원점들을 제외하고는 동일한 단위 거리 및 동일한 X, Y, 및 Z축 방향들을 갖는다.

심도 정보 획득 장치는 2개의 카메라들 각각에 대한 3차원 좌표계를 생성할 수 있거나, 또는 하나의 3차원 좌표계만을 생성할 수 있다는 것에 유의해야 한다. 이것은 본 발명의 이 실시예에서 제한되지 않는다. 설명의 용이를 위해, 하나의 3차원 좌표계를 생성하는 것이 본 명세서의 설명을 위해 사용된다. 본 발명의 이 실시예에서 세부사항들이 추가로 설명되지 않는다.

S203. 심도 정보 획득 장치는 제1 이미지와 제2 이미지 사이의 오프셋 차이를 결정한다.

본 발명의 이 실시예에서, 제1 이미지와 제2 이미지 사이의 오프셋 차이는 제1 이미지의 오프셋 값과 제2 이미지의 오프셋 값 사이의 차이로서 이해될 수 있다. 구체적으로는, 제1 이미지 및 제2 이미지를 획득한 후에, 심도 정보 획득 장치는 3차원 좌표계의 XY 평면 상의 제1 이미지 및 제2 이미지의 좌표 위치들을 별개로 결정하고; 제1 카메라에 의해 캡처된 제3 이미지의 좌표 위치 및 제2 카메라에 의해 캡처된 제4 이미지의 좌표 위치를 획득하고 - 여기서 좌표 위치들은 카메라들이 흔들리지 않을 때 미리 기록됨 -; 제1 이미지의 좌표 위치와 제3 이미지의 좌표 위치 사이의 상대 좌표 오프셋, 말하자면 d₁, 그리고 제2 이미지의 좌표 위치와 제4 이미지의 좌표 위치 사이의 상대 좌표 오프셋, 말하자면 d₂를 별개로 계산할 수 있다. d₁과 d₂ 사이의 차이는 제1 이미지와 제2 이미지 사이의 오프셋 차이이다. d₁, d₂, 및 오프셋 차이는 모두 벡터들이다.

실제 적용에서, 오프셋 값 d₁은 일반적으로 제1 시작 위치에서 제1 렌즈에 의해 캡처되는 이미지와 제1 이미지 사이의 상대 벡터 오프셋이고, 오프셋 값 d₂는 일반적으로 제2 시작 위치에서 제2 렌즈에 의해 캡처되는 이미지와 제2 이미지 사이의 상대 벡터 오프셋이다.

구체적으로는, 심도 정보 획득 장치는, (이미지에서의 각각의 픽셀의 좌표 위치를 구체적으로 기록하고 있을 수 있는) 3차원 좌표계에서 XY 평면 상에 매핑되는, 제1 렌즈의 포커스 길이의 1배(즉, 제1 시작 위치)에서 제1 렌즈에 의해 캡처된, 이미지의 좌표들을 미리 기록한다. 제1 카메라가 OIS를 수행할 때, 제1 렌즈는 3차원 좌표계의 XY 평면 상에서 이동한다. 이 경우에, 제1 카메라에 의해 캡처된 제1 이미지와 제1 시작 위치에서 캡처된 이미지 사이의 상대 오프셋이 XY 평면 상에서 발생할 수 있다. 제1 렌즈에 의해 제1 시작 위치에서 캡처된 이미지 내의 위치에서의 픽셀의 좌표들이

라고 가정하면, 심도 정보 획득 장치는, 제1 이미지로부터, 좌표들, 말하자면

를 갖는, 제1 시작 위치에서 캡처된 이미지에서의 픽셀과 동일한 위치에서의 픽셀을 선택한다. 심도 정보 획득 장치는 2개의 이미지들에서의 2개의 픽셀들의 좌표들을 비교하는 것에 의해, 제1 이미지의 오프셋 값 d₁, 즉,

를 획득할 수 있다.

유사하게, 제2 이미지의 오프셋 값 d₂, 즉,

가 획득될 수 있다.

제2 이미지에서의 목표 촬영물의 특징 픽셀의 좌표들을 제1 이미지에서의 목표 촬영물의 동일한 특징 픽셀의 좌표들로부터 감산하는 것에 의해 초기 거리 d₀이 획득되는 경우, 즉, d₀이

인 경우, 오프셋 차이는

라는 것이 이해될 수 있다. 대조적으로, 제1 이미지에서의 목표 촬영물의 특징 픽셀의 좌표들을 제2 이미지에서의 목표 촬영물의 동일한 특징 픽셀의 좌표들로부터 감산하는 것에 의해 초기 거리 d₀이 획득되는 경우, 즉, d₀이

인 경우, 오프셋 차이는

이다. 이것은 본 발명의 이 실시예에서 제한되지 않는다. 즉, 오프셋 차이를 계산하기 위한 방법은 d₀을 계산하기 위한 방법과 일치시킬 필요가 있다.

초기 거리는 제1 이미지에서의 목표 촬영물과 제2 이미지에서의 목표 촬영물 사이의 상대 벡터 거리일 수 있고, 오프셋 차이는 제1 이미지의 오프셋 값과 제2 이미지의 오프셋 값 사이의 상대 오프셋 차이라는 것에 유의해야 한다. 대안적으로, 초기 거리는 제2 이미지에서의 목표 촬영물과 제1 이미지에서의 목표 촬영물 사이의 상대 벡터 거리일 수 있고, 오프셋 차이는 제2 이미지의 오프셋 값과 제1 이미지의 오프셋 값 사이의 상대 오프셋 차이이다. 이것은 본 발명의 이 실시예에서 제한되지 않는다.

S204. 심도 정보 획득 장치는 오프셋 차이를 사용하는 것에 의해 초기 거리를 수정한다.

본 발명의 이 실시예에서, 제1 이미지와 제2 이미지 사이의 오프셋 차이를 결정한 후에, 심도 정보 획득 장치는 오프셋 차이를 사용하는 것에 의해 d₀을 수정하여 수정된 거리

, 즉,

를 획득할 수 있다. 구체적으로는, 심도 정보 획득 장치에 의해 d₀을 수정하는 특정 방식은,

이다. 즉,

그리고

이다.

S205. 심도 정보 획득 장치는 수정된 초기 거리에 따라 목표 촬영물의 심도를 결정한다.

흔들리는 것이 발생하는 경우, 카메라들이 광학 이미지 안정화를 수행할 때, XY 평면 상의 렌즈들 상에 오프셋이 발생하고, 그에 대응하여 캡처된 이미지들 사이의 거리가 그에 따라 변경된다는 것에 유의해야 한다.

본 발명의 이 실시예에서, 광학 이미지 안정화가 수행되지 않을 때, 제1 카메라 및 제2 카메라에 의해 캡처된 이미지들에서, 2개의 이미지들에서의 동일한 촬영물 사이의 거리가 존재한다. 그러나, 이 경우에 XY 평면 상의 렌즈들 상에는 오프셋이 발생하지 않는다. 그에 따라, 심도 계산식에 따라 계산에 의해 획득된, 각각의 촬영물의, 심도가 정확해진다. 그러나, 제1 렌즈와 제2 렌즈의 포커스 길이들은 약간 상이하다. 그에 따라, 흔들림이 발생할 때, 제1 카메라 또는 제2 카메라 중 어느 하나가 광학 이미지 안정화를 수행하고, XY 평면 상의 개개의 시작 위치들에 대한 제1 렌즈 및 제2 렌즈의 오프셋들도 또한 상이하다. 제1 카메라 및 제2 카메라가 목표 촬영물을 갖는 이미지를 별개로 캡처할 때, 제1 렌즈와 제2 렌즈 사이의 실제 거리는 (도 3에 도시된 바와 같이)

라고 가정한다. 광학 이미지 안정화가 수행될 때, XY 평면 상의 제1 렌즈의 오프셋과 제2 렌즈의 오프셋 사이의 차이가 비교적 작고, 일반적으로 심도 정보 장치는 2개의 렌즈들 사이의 실제 거리를 직접 획득할 수 없다. 그에 따라, 일반적으로, 종래 기술에서는, 촬영물의 심도가 계산될 때, 제1 시작 위치와 제2 시작 위치 사이의 벡터 거리가 제1 렌즈와 제2 렌즈 사이의 실제 벡터 거리로서 일반적으로 사용된다. 그 결과, 최종적으로 획득된 심도 정보는 정확하지 않거나, 또는 심지어 최종적으로 획득된 심도 정보와 실제 심도 정보 사이에 큰 차이가 있다.

본 발명의 이 실시예에서, 렌즈의 포커스 길이가 일반적으로 주어진다. 그에 따라, 심도 정보 획득 장치는 일반적으로 제1 시작 위치와 제2 시작 위치 사이의 벡터 거리 D₀을 직접 획득할 수 있다. XY 평면 상의 벡터 거리 D₀은

로서 표현될 수 있다. 그에 따라, 심도 정보 획득 장치는 수정된 거리

및 D₀을 사용하는 것에 의해 목표 촬영물의 심도를 계산할 수 있다. 이러한 방식으로, 최종적으로 획득된 심도 정보가 비교적 정확해진다.

D₀은 XY 평면 상의 제2 시작 위치의 좌표들을 XY 평면 상의 제1 시작 위치의 좌표들로부터 감산하는 것에 의해 획득될 수 있거나, 또는 XY 평면 상의 제1 시작 위치의 좌표들을 XY 평면 상의 제2 시작 위치의 좌표들로부터 감산하는 것에 의해 획득될 수 있다는 것에 유의해야 한다. D₀을 계산하기 위한 방법도 또한 d₀을 계산하기 위한 방법과 일치시킬 필요가 있다. 본 발명의 이 실시예에서 세부사항들이 본 명세서에 추가로 설명되지 않는다.

본 발명의 이 실시예에서, 제1 시작 위치와 제2 시작 위치 사이의 벡터 거리 D₀, 수정된 거리

, af_offset₁, 및 af_offset₂를 획득한 후에, 심도 정보 획득 장치는 심도 계산식에 따라 목표 촬영물의 심도를 계산할 수 있다.

다수의 카메라 모듈들을 갖는 이미지 취득 디바이스가 촬영 또는 OIS를 수행할 때, 모든 카메라들의 렌즈들과 감광 요소들 사이의 거리들이 동일할 필요가 있다는 것이 이해될 수 있다. 그에 따라, 심도 정보 획득 장치는 제1 카메라의 파라미터에 따라 목표 촬영물의 실제 심도를 계산할 수 있거나, 또는 제2 카메라의 파라미터에 따라 목표 촬영물의 실제 심도를 계산할 수 있다. 이것은 본 발명의 이 실시예에서 제한되지 않는다.

즉, 이미지 취득 디바이스의 경우,

은

와 동일하게 유지할 필요가 있다. f₁은 제1 렌즈의 포커스 길이이고, f₂는 제2 렌즈의 포커스 길이이다. 심도 정보 획득 장치가 d₀을 수정한 후에, 목표 촬영물의, Depth로 표현되는, 최종적으로 획득된 심도는

또는

일 수 있다.

특정 구현 동안, 초기 거리 d₀을 수정한 후에, 심도 정보 장치는 제1 이미지에서의 목표 촬영물의 심도 및 제2 이미지에서의 목표 촬영물의 심도를 계산하기 위한 심도 계산식을 사용할 수 있고, 여기서

그리고

이다.

임의로, 제1 카메라와 제2 카메라 양측 모두가 OIS 기능을 갖는 경우, 이미지 취득 디바이스가 OIS를 수행할 때, XY 평면 상의 제1 렌즈 및 제2 렌즈 상에서 개개의 시작 위치들에 대해 오프셋들이 발생한다. 그에 따라, 제1 이미지의 오프셋 값 d₁도 제2 이미지의 오프셋 값 d₂도 0이 아니다. 제1 카메라와 제2 카메라 중 어느 하나가 OIS 기능을 갖는 경우(제1 카메라가 OIS 기능을 갖는 것으로 가정함), 이미지 취득 디바이스가 OIS를 수행할 때, XY 평면 상의 제1 렌즈 상에서만 제1 렌즈의 시작 위치에 대해 오프셋이 발생한다. 그에 따라, 오프셋 값 d₁은 0이 아니고, OIS 기능이 없는 카메라(제2 카메라)에 의해 캡처된 제2 이미지의 오프셋 값 d₂는 0이다. 즉, 이 솔루션은 2개의 카메라들이 OIS 기능을 갖는 이미지 취득 디바이스에 적용가능할 뿐만 아니라, 하나의 카메라만이 OIS 기능을 갖는 이미지 취득 디바이스에도 적용가능하다. 이것은 본 발명의 이 실시예에서 제한되지 않는다.

임의로, 이 솔루션은 2개의 카메라들을 가지며 카메라들 중 적어도 하나가 OIS 기능을 갖는 이미지 취득 디바이스에 적용가능하게 될 수 있을 뿐만 아니라, 3개 이상의 카메라들을 가지며 카메라들 중 적어도 하나가 OIS 기능을 갖는 이미지 취득 디바이스에도 적용가능하게 될 수 있다. 다수의 카메라들을 갖는 이미지 취득 디바이스에서, 예로서 3개의 카메라들을 갖는 이미지 취득 디바이스를 사용하여, 심도 정보 획득 장치는 3개의 카메라들 중 2개씩 조합하고, 각각의 조합에서의 2개의 카메라들을 사용하는 것에 의해 목표 촬영물의 심도들을 획득하여, 3개의 심도들을 획득할 수 있다. 최종적으로, 심도 정보 획득 장치는 3개의 심도들의 평균 심도를 목표 촬영물의 실제 심도로서 사용할 수 있다. 이것은 본 발명의 이 실시예에서 제한되지 않는다.

도 2에 도시된 방법에서, 카메라들이 흔들리는 것을 검출할 때, 심도 정보 획득 장치는 제1 카메라 및 제2 카메라에 의해 캡처된 이미지들을 획득하고, 2개의 이미지들에서의 목표 촬영물 사이의 초기 거리를 검출하고, 제1 이미지와 제2 이미지 사이의 오프셋 차이를 사용하는 것에 의해 초기 거리를 수정하고, 수정된 초기 거리를 심도 계산식에 최종적으로 대입하여, 목표 촬영물의 심도를 결정할 수 있다는 것이 학습될 수 있다. 본 발명의 이 실시예에 따르면, 2개의 카메라들 양측 모두가 OIS 기능을 가질 수 있거나, 또는 카메라들 중 어느 하나가 OIS 기능을 가질 때, 심도 정보 획득 장치는 2개의 카메라들에 의해 획득된 이미지들에서의 동일한 촬영물 사이의 거리를 수정할 수 있어서, 촬영물의, 수정된 거리에 따라 최종적으로 획득된, 심도 정보가 비교적 정확해진다. 이것은 촬영물에 대한 포커싱을 정확하고 신속하게 구현할 수 있다.

도 1에 도시된 카메라 모듈에 기초하여, 본 발명의 실시예는 다른 심도 정보 획득 방법을 개시한다. 도 4를 참조하면, 도 4는 본 발명의 이 실시예에 따른 다른 심도 정보 획득 방법의 개략적 흐름도이다. 도 4에 도시된 방법은 이미지 취득 디바이스에 적용될 수 있다. 이미지 취득 디바이스는 제1 카메라 및 제2 카메라를 포함한다. 도 4에 도시된 바와 같이, 심도 정보 획득 방법은 다음의 단계들을 포함할 수 있다.

S401. 제1 카메라 및 제2 카메라가 흔들리는 것을 검출할 때, 심도 정보 획득 장치는 제1 카메라에 의해 캡처된 목표 촬영물의 제1 이미지 및 제2 카메라에 의해 캡처된 목표 촬영물의 제2 이미지를 획득하고, 여기서 제1 카메라 및 제2 카메라는 동시에 이미지 취득을 수행한다.

S402. 심도 정보 획득 장치는 제1 이미지에서의 목표 촬영물과 제2 이미지에서의 목표 촬영물 사이의 초기 거리를 검출한다.

S403. 심도 정보 획득 장치는 제1 이미지와 제2 이미지 사이의 오프셋 차이를 결정한다.

본 발명의 이 실시예에서, 심도 정보 획득 장치에 의해 제1 이미지와 제2 이미지 사이의 오프셋 차이를 결정하는 특정 방식은 다음의 단계들을 포함할 수 있다.

(11) 제1 카메라 및 제2 카메라가 흔들리는 것을 검출할 때, 심도 정보 획득 장치는 제1 렌즈의 제1 오프셋 및 제2 렌즈의 제2 오프셋을 획득한다.

(12) 심도 정보 획득 장치는 제1 오프셋에 따라 제1 이미지의 오프셋 값을 결정하고, 제2 오프셋에 따라 제2 이미지의 오프셋 값을 결정하고, 제1 이미지의 오프셋 값과 제2 이미지의 오프셋 값 사이의 오프셋 차이를 획득한다.

특정 구현 동안, 제1 렌즈의 제1 오프셋은 제1 렌즈의 현재 위치와 XY 평면 상의 제1 시작 위치 사이의 벡터 오프셋으로서 이해될 수 있고, 여기서 벡터 오프셋은 L₁로서 마킹된다. 제2 렌즈의 제2 오프셋은 제2 렌즈의 현재 위치와 XY 평면 상의 제2 시작 위치 사이의 벡터 오프셋으로서 이해될 수 있고, 여기서 벡터 오프셋은 L₂로서 마킹된다.

또한 도 5를 참조하면, 도 5는 본 발명의 실시예에 따른 카메라가 OIS를 수행할 때 렌즈가 이동하는 시나리오의 개략도이다. 도 5에 도시된 바와 같이, 렌즈의 점선으로 표현된 위치는 렌즈의 시작 위치이고, 렌즈의 실선으로 표시된 위치는, 렌즈가 목표 촬영물을 갖는 이미지를 캡처하는 동안 OIS를 수행하는 렌즈 위치(즉, 렌즈의 현재 위치)이다. 도 5에서 생성된 3차원 좌표계에서, XY 평면 상의 시작 위치의 좌표들이 XY 평면 상의 렌즈의 현재 위치의 좌표들로부터 감산되어 렌즈와 시작 위치 사이의 상대 오프셋 L을 획득하고, 오프셋은 벡터이다. 시작 위치의 Z축 좌표가 렌즈의 현재 위치의 Z축 좌표로부터 감산되어 렌즈와 시작 위치 사이의 이동 거리 af_offset을 획득한다.

예를 들어, 제1 렌즈가 예로서 사용된다. 도 5에 도시된 시작 위치는 제1 렌즈의 제1 시작 위치(좌표들이

라고 가정함)이고, 도 5에 도시된 현재 위치는 제1 렌즈의 현재 위치(좌표들이

라고 가정함)이다. 이 경우에, 제1 렌즈의 현재 위치와 제1 시작 위치 사이의 Z축 상의 이동 거리 af_offset₁은 스칼라 거리인

이다. 제1 렌즈의 현재 위치와 제1 시작 위치 사이의 XY 평면 상의 제1 오프셋 L₁은 벡터 거리인

이다.

유사하게, 제2 렌즈의 이동 거리 af_offset₂,즉,

가 획득될 수 있고, 제2 렌즈의 제2 오프셋 L₂,즉,

가 획득될 수 있다.

본 명세서에서 언급된 렌즈의 이동 거리와 오프셋 양측 모두는 렌즈(볼록 렌즈)의 광학 중심들 사이의 거리를 지칭한다는 것에 유의해야 한다. 본 발명의 이 실시예에서 세부사항들이 추가로 설명되지 않는다.

심도 정보 획득 장치는 주로 홀 효과 센서들 또는 레이저들을 사용하는 것에 의해 XY 평면 상의 제1 렌즈 및 제2 렌즈의 오프셋 스케일들을 기록한다는 것에 유의해야 한다. 오프셋 스케일들을 기록하는 것에 부가적으로, 오프셋 방향들이 기록될 수 있다. 렌즈들의 오프셋들은 스케일들에 대응하는 거리들 및 렌즈들의 오프셋 방향들에 따라 획득된다.

실현가능한 구현에서, 제1 렌즈 및 제2 렌즈의 오프셋들을 획득하기 전에, 심도 정보 획득 장치는 홀 스케일을 추가로 교정할 수 있다. 특정 방식은 다음과 같을 수 있다:

각각의 카메라(포커스 길이가 주어지며, f로서 마킹됨)에 대해, 심도 정보 획득 장치는, 카메라의 렌즈를, 촬영 심도가 주어진(S로서 마킹됨) 테이블을 캡처하도록 제어할 수 있고, 렌즈를 렌즈의 1차 광축을 따라 이동시키도록 제어한다. 먼저, 렌즈는 하나의 홀 스케일로 이동되고, 테이블이 캡처되어, 감광 요소 상의 테이블의 폭(d로서 마킹됨)이 획득될 수 있다. 이미징 공식

에 따르면, 여기서

이고 렌즈와 감광 요소 사이의 거리이다. 그에 따라, af_offset의 값, 즉, 하나의 홀 스케일에 대응하는 거리가 획득될 수 있다.

본 발명의 이 실시예에서, L₁ 및 L₂를 획득한 후에, 심도 정보 획득 장치는 렌즈의 오프셋과 이미지의 오프셋 사이의 관계에 따라 제1 이미지의 오프셋 값 d₁ 및 제2 이미지의 오프셋 값 d₂를 별개로 계산할 수 있다. 계산 방식은 구체적으로는,

, 그리고

이다.

본 발명의 이 실시예에서, 제1 렌즈 및 제2 렌즈의 오프셋들이 먼저 획득되고, 상술한 계산식들에 따라 제1 이미지의 오프셋 값 및 제2 이미지의 오프셋 값이 별개로 계산된 후에, 2개의 이미지들 사이의 오프셋 차이가 획득된다. 그에 따라, 2개의 이미지들에서 목표 촬영물 사이의 거리의 수정이 더 정확해져서, 그에 의해 심도 정보의 정확도를 개선시킨다.

S404. 심도 정보 획득 장치는 오프셋 차이를 사용하는 것에 의해 초기 거리를 수정한다.

S405. 심도 정보 획득 장치는 수정된 초기 거리에 따라 목표 촬영물의 심도를 결정한다.

임의로, 더 정확한 심도 정보를 획득하기 위해, 심도 정보 획득 장치는 미리 제1 렌즈 및 제2 렌즈의 포커스 길이들을 추가로 교정할 수 있다. 특정 방식은 다음과 같을 수 있다:

또한 도 6을 참조하면, 도 6은 본 발명의 실시예에 따른 렌즈의 포커스 길이 교정 방법의 개략도이다. 도 6에 도시된 바와 같이, 심도 정보 획득 장치는, 카메라의 렌즈를, 촬영 심도가 주어지고(S로서 마킹됨) 폭이 주어진(D로서 마킹됨) 테이블을 캡처하도록 제어하고, 렌즈를 렌즈의 1차 광축을 따라 이동시키도록 제어할 수 있다. 이미지가 가장 높은 콘트라스트를 갖는 위치로 렌즈가 이동될 때, 테이블이 캡처되고, 감광 요소 상의 테이블의 폭(d로서 마킹됨)이 획득될 수 있다. 부가적으로, 심도 정보 획득 장치는 렌즈의 시작 위치에 대한 Z축 상의 렌즈의 이동 거리 af_offset을 획득할 수 있다. 이 경우의 렌즈와 감광 요소 사이의 거리가 s라고 가정하면, 여기서

이고, 도 6의 볼록 렌즈의 이미징 공식 및 그 렌즈의 이미징 원리에 따라 다음의 관계식이 획득될 수 있다:

.

렌즈의 포커스 길이 f는 전술한 관계식에 따라 계산될 수 있다, 즉,

이다.

그에 따라, 심도 취득의 정확도를 개선시키기 위해, 심도 정보 획득 장치는 이러한 방식으로 각각의 카메라의 포커스 길이를 추가로 계산할 수 있다.

부가적으로, 생산 라인에서, 2개의 카메라들의 포커스 길이들 사이의 차이가 관리 및 제어될 수 있다. 2개의 카메라들의, 전술한 방식으로 교정된, 포커스 길이들 사이의 차이는 미리 설정된 포커스 길이 임계치보다 더 크지 않게 설정된다. 미리 설정된 포커스 길이 임계치는 0.01일 수 있다. 차이가 미리 설정된 포커스 길이 임계치보다 더 큰 경우, 예를 들어,

또는

인 경우, 그것은 이번에는 포커스 길이 교정이 실패함을 나타내고, 카메라 또는 렌즈가 생산 라인에서 교체된다. 2개의 카메라들의, 전술한 방식으로 교정된, 포커스 길이들 사이의 차이가 미리 설정된 포커스 길이 임계치보다 더 작은 경우, 그것은 포커스 길이 교정이 성공함을 나타내고, 심도 정보 획득 장치는 교정된 포커스 길이를 사용하는 것에 의해 이미지에서의 목표 촬영물의 심도를 계산할 수 있다.

S406. 심도 정보 획득 장치는 목표 촬영물에 대한 포커싱을 위한 명령어를 수신한다.

본 발명의 이 실시예에서, 심도 정보 획득 장치는 목표 촬영물의 심도를 획득하는 전술한 방식으로 각각의 촬영물의 심도를 획득할 수 있다. 예로서 모바일 폰 사진촬영이 사용된다. 사용자가 목표 촬영물에 대한 포커싱을 수행할 필요가 있을 때, 사용자가 모바일 폰의 이미지 프리뷰 스크린 상의 목표 촬영물을 탭(tap)한 후에, 심도 정보 획득 장치는 목표 촬영물에 대한 포커싱을 위한 명령어를 수신할 수 있다. 즉, 심도 정보 획득 장치에 의해 수신된 포커싱 명령어는 사용자에 의해 트리거될 수 있거나, 또는 이미지 분석에 의해 획득될 수 있다. 이것은 본 발명의 이 실시예에서 제한되지 않는다.

예를 들어, 모바일 폰이 사진촬영을 위한 인물사진 모드를 시작할 때, 현재 시나리오에서 각각의 촬영물의 심도를 획득한 후에, 모바일 폰은 목표 촬영물이 사람이라는 것을 자동으로 식별할 수 있고, 현재 시나리오에서 사람에 대한 포커싱을 위한 명령어가 생성될 수 있다. 사용자가 배경에 있는 식물에 대해 포커싱하기를 원할 경우, 사용자는 모바일 폰의 이미지 프리뷰 스크린 상의 식물을 탭할 수 있고, 심도 정보 획득 장치는 식물에 대한 포커싱을 위한 명령어를 수신한다.

S407. 포커싱 명령어에 응답하여, 심도 정보 획득 장치는, 제1 렌즈의 것이고 심도에 대응하고 있는 제1 이동 거리를 획득하고, 제2 렌즈의 것이고 심도에 대응하고 있는 제2 이동 거리를 획득한다.

본 발명의 이 실시예에서, 포커싱 명령어를 수신한 후에, 심도 정보 획득 장치는, 목표 촬영물의 획득된 심도(Depth)에 따라, 제1 시작 위치에 대한 Z축 상의 제1 렌즈의 제1 이동 거리 af_offset₁'를 계산할 수 있다. 유사하게, 심도 정보 획득 장치는 제2 시작 위치에 대한 Z축 상의 제2 렌즈의 제2 이동 거리 af_offset₂'를 획득할 수 있다.

구체적으로는, 도 6에 도시된 개략도를 참조하면, 목표 촬영물의 심도(Depth)는 도 6에서 S이고,

는 도 6에서 s이다. 그에 따라, 제1 이동 거리 af_offset₁'의 계산 동안, 심도(Depth)에 대한 표현식 및 s에 대한 표현식이 이미징 공식에 대입되고, 구체적으로는 제1 이동 거리 af_offset₁'가 다음과 같이 계산될 수 있다:

.

도 6에서

가 s이기 때문에, 유사하게, 제2 이동 거리 af_offset₂'는 다음과 같이 획득될 수 있다:

.

S408. 심도 정보 획득 장치는 제1 이동 거리에 따라 제1 렌즈의 포커스 위치를 결정하고, 제2 이동 거리에 따라 제2 렌즈의 포커스 위치를 결정하고, 제1 렌즈 및 제2 렌즈를 개개의 포커스 위치들로 이동시키도록 제어한다.

본 발명의 이 실시예에서, 목표 촬영물에 대해 포커싱이 수행될 필요가 필요가 있을 때, 제1 렌즈의 제1 이동 거리 af_offset₁' 및 제2 렌즈의 제2 이동 거리 af_offset₂'를 결정한 후에, 심도 정보 획득 장치는, 제1 이동 거리 af_offset₁'에 따라, 제1 렌즈가 목표 촬영물에 대한 포커싱을 수행하는 포커스 위치를 결정하고; 제2 이동 거리 af_offset₂'에 따라, 제2 렌즈가 목표 촬영물에 대한 포커싱을 수행하는 포커스 위치를 결정하고, 제1 렌즈 및 제2 렌즈를 개개의 포커스 위치들로 이동시키도록 제어하여, 목표 촬영물에 대한 포커싱을 구현할 수 있다.

추가로, 제1 렌즈 및 제2 렌즈가 목표 촬영물에 대한 포커싱을 수행할 때, 심도 정보 획득 장치는 다른 촬영물의 심도와 목표 촬영물의 심도 사이의 차이에 따라 다른 촬영물을 추가로 블러링할 수 있다. 구체적으로는, 심도 정보 획득 장치는, 블러링 알고리즘을 사용하는 것에 의해 목표 촬영물(즉, 포커스 포인트)과는 상이한 다른 촬영물을 블러링하고, 그 목표 촬영물로부터 보다 멀리 떨어진 촬영물이 보다 높은 정도의 블러링을 받고, 목표 촬영물에 보다 가까운 촬영물이 보다 낮은 정도의 블러링을 받는다.

도 4에 도시된 방법에서, 심도 정보 획득 장치는 제1 시작 위치에 대한 XY 평면 상의 제1 렌즈의 제1 오프셋 및 제2 시작 위치에 대한 XY 평면 상의 제2 렌즈의 제2 오프셋을 검출하여, 제1 이미지의 오프셋 값 및 제2 이미지의 오프셋 값을 결정할 수 있다는 것이 학습될 수 있다. 이러한 방식으로, 제1 이미지에서의 목표 촬영물과 제2 이미지에서의 목표 촬영물 사이의 초기 거리가 더 정확하게 수정될 수 있고, 목표 촬영물의 최종적으로 계산된 심도가 더 정확해진다. 추가로, 본 발명의 이 실시예에서 획득된 심도에 따르면, 목표물에 대해 포커싱이 수행될 때, 목표 촬영물의 심도가 비교적 정확해진다. 그에 따라, 목표 촬영물의 포커싱 정확도 및 포커싱 속도가 증가될 수 있고, 이미지 취득 디바이스의 이미징 품질이 개선될 수 있다.

도 1에 도시된 카메라 모듈에 기초하여, 본 발명의 실시예는 심도 정보 획득 장치를 개시한다. 도 7을 참조하면, 도 7은 본 발명의 이 실시예에 따른 심도 정보 획득 장치의 개략적 구조도이다. 도 7에 도시된 심도 정보 획득 장치(700)는 이미지 취득 디바이스에 적용될 수 있다. 이미지 취득 디바이스는 제1 카메라 및 제2 카메라를 포함한다. 도 7에 도시된 바와 같이, 심도 정보 획득 장치(700)가 다음의 유닛들을 포함할 수 있다:

제1 카메라 및 제2 카메라가 흔들리는 것이 검출될 때, 제1 카메라에 의해 캡처된 목표 촬영물의 제1 이미지 및 제2 카메라에 의해 캡처된 목표 촬영물의 제2 이미지를 획득하도록 구성되는 획득 유닛(701) - 여기서 제1 카메라 및 제2 카메라는 동시에 이미지 취득을 수행함 -; 및

제1 이미지에서의 목표 촬영물과 제2 이미지에서의 목표 촬영물 사이의 초기 거리를 검출하도록 구성되는 검출 유닛(702);

제1 이미지와 제2 이미지 사이의 오프셋 차이를 결정하도록 구성되는 제1 결정 유닛(703);

오프셋 차이를 사용하는 것에 의해 초기 거리를 수정하도록 구성되는 수정 유닛(704); 및

수정된 초기 거리에 따라 목표 촬영물의 심도를 결정하도록 구성되는 제2 결정 유닛(705).

임의로, 초기 거리는 제1 이미지에서의 목표 촬영물과 제2 이미지에서의 목표 촬영물 사이의 상대 벡터 거리일 수 있고, 오프셋 차이는 제1 이미지의 오프셋 값과 제2 이미지의 오프셋 값 사이의 상대 오프셋 차이이다. 대안적으로, 초기 거리는 제2 이미지에서의 목표 촬영물과 제1 이미지에서의 목표 촬영물 사이의 상대 벡터 거리일 수 있고, 오프셋 차이는 제2 이미지의 오프셋 값과 제1 이미지의 오프셋 값 사이의 상대 오프셋 차이이다. 이것은 본 발명의 이 실시예에서 제한되지 않는다.

또한 도 8을 참조하면, 도 8은 본 발명의 실시예에 따른 다른 심도 정보 획득 장치의 개략적 구조도이다. 도 8에 도시된 심도 정보 획득 장치(700)는 도 7에 도시된 심도 정보 획득 장치(700)에 기초하여 수행된 최적화에 의해 획득된다. 도 8에 도시된 바와 같이, 심도 정보 획득 장치(700)가 다음의 유닛들을 더 포함할 수 있다.

수신 유닛(706)은 목표 촬영물에 대한 포커싱을 위한 명령어를 수신하도록 구성된다.

획득 유닛(701)은, 포커싱 명령어에 응답하여, 제1 렌즈의 것이고 심도에 대응하고 있는 제1 이동 거리를 획득하고, 제2 렌즈의 것이고 심도에 대응하고 있는 제2 이동 거리를 획득하도록 추가로 구성된다.

제2 결정 유닛(705)은 제1 이동 거리에 따라 제1 렌즈의 포커스 위치를 결정하고, 제2 이동 거리에 따라 제2 렌즈의 포커스 위치를 결정하도록 추가로 구성된다.

제어 유닛(707)은 제1 렌즈 및 제2 렌즈를 개개의 포커스 위치들로 이동시키도록 제어하도록 구성된다.

본 발명의 이 실시예에서, 목표 촬영물의 심도를 획득한 후에, 목표 촬영물에 대한 포커싱을 수행할 필요가 있을 때, 심도 정보 획득 장치(700)는 렌즈들이 이동할 필요가 있고 심도에 대응하고 있는 거리들을 획득하고, 개개의 이동 거리들에 따라 렌즈들의 포커스 위치들을 결정한 후에, 렌즈들을 거리들에 각각 대응하는 포커스 위치들로 이동시킬 수 있다. 이것은 목표 촬영물에 대한 포커싱을 정확하고 신속하게 구현할 수 있다.

실현가능한 구현에서, 제1 결정 유닛(703)은 획득 서브유닛(7031) 및 결정 서브유닛(7032)을 포함할 수 있다.

획득 서브유닛(7031)은, 심도 정보 획득 장치(700)가 제1 카메라 및 제2 카메라가 흔들리는 것을 검출할 때, 제1 렌즈의 제1 오프셋 및 제2 렌즈의 제2 오프셋을 획득하도록 구성된다.

결정 서브유닛(7032)은 제1 오프셋에 따라 제1 이미지의 오프셋 값을 결정하고, 제2 오프셋에 따라 제2 이미지의 오프셋 값을 결정하여, 제1 이미지의 오프셋 값과 제2 이미지의 오프셋 값 사이의 오프셋 차이를 획득하도록 구성된다.

도 7 및 도 8에 도시된 심도 정보 획득 장치들에서, 카메라들이 흔들리는 것을 검출할 때, 심도 정보 획득 장치는 제1 카메라 및 제2 카메라에 의해 캡처된 이미지들을 획득하고, 2개의 이미지들에서의 목표 촬영물 사이의 초기 거리를 검출하고, 제1 이미지와 제2 이미지 사이의 오프셋 차이를 사용하는 것에 의해 초기 거리를 수정하고, 수정된 초기 거리를 심도 계산식에 최종적으로 대입하여, 목표 촬영물의 심도를 결정할 수 있다는 것이 학습될 수 있다. 본 발명의 이 실시예에 따르면, 2개의 카메라들 양측 모두가 OIS 기능을 가질 수 있거나, 또는 카메라들 중 어느 하나가 OIS 기능을 가질 때, 심도 정보 획득 장치는 2개의 카메라들에 의해 획득된 이미지들에서의 동일한 촬영물 사이의 거리를 수정할 수 있어서, 촬영물의, 수정된 거리에 따라 최종적으로 획득된, 심도 정보가 비교적 정확해진다. 이것은 촬영물에 대한 포커싱을 정확하고 신속하게 구현할 수 있다.

도 1에 도시된 카메라 모듈에 기초하여, 본 발명의 실시예는 이미지 취득 디바이스를 개시한다. 도 9를 참조하면, 도 9는 본 발명의 이 실시예에 따른 이미지 취득 디바이스의 개략적 구조도이다. 도 9에 도시된 이미지 취득 디바이스(900)는 제1 카메라(901), 제2 카메라(902), CPU와 같은 적어도 하나의 프로세서(903), 수신기(904), 전송기(905), 디스플레이 스크린(906), 및 통신 버스(907)를 포함할 수 있다.

전송기(905)는 이미지와 같은 다양한 데이터 신호들을 외부 디바이스로 전송하도록 구성된다.

디스플레이 스크린(906)은 제1 카메라(901) 및 제2 카메라(902)에 의해 캡처된 이미지들을 디스플레이하도록 구성된다. 디스플레이 스크린은 터치 디스플레이 스크린일 수 있다.

통신 버스(907)는 제1 카메라(901), 제2 카메라(902), 프로세서(903), 수신기(904), 전송기(905), 및 디스플레이 스크린(906)과 같은 이들 컴포넌트들 간의 통신 커넥션들을 구현하도록 구성된다.

제1 카메라(901)는, 제1 카메라 및 제2 카메라가 흔들리는 것을 이미지 취득 디바이스(900)가 검출할 때, 목표 촬영물의 제1 이미지를 캡처하도록 구성된다.

제2 카메라(902)는, 제1 카메라 및 제2 카메라가 흔들리는 것을 이미지 취득 디바이스(900)가 검출할 때, 목표 촬영물의 제2 이미지를 캡처하도록 구성되고, 여기서 제1 카메라 및 제2 카메라는 동시에 이미지 취득을 수행한다.

프로세서(903)는 제1 이미지 및 제2 이미지를 획득하고, 제1 이미지에서의 목표 촬영물과 제2 이미지에서의 목표 촬영물 사이의 초기 거리를 검출하도록 구성된다.

프로세서(903)는 제1 이미지와 제2 이미지 사이의 오프셋 차이를 결정하고, 오프셋 차이를 사용하는 것에 의해 초기 거리를 수정하도록 추가로 구성된다.

프로세서(903)는 수정된 초기 거리에 따라 목표 촬영물의 심도를 결정하도록 추가로 구성된다.

제1 카메라와 제2 카메라 양측 모두가 OIS 기능을 갖거나, 또는 카메라들 중 어느 하나가 OIS 기능을 갖는 경우, OIS를 수행할 때, 이미지 취득 디바이스(900)는 2개의 카메라들에 의해 각각 획득된 2개의 이미지들에서의 동일한 촬영물 사이의 거리를 수정하여, 이미지 취득 디바이스가 촬영물의 비교적 정확한 심도를 최종적으로 획득하도록 한다는 것이 학습될 수 있다. 이것은 카메라들의 포커싱 정확도를 개선시킨다.

실현가능한 구현에서, 프로세서(903)에 의해 제1 이미지와 제2 이미지 사이의 오프셋 차이를 결정하는 특정 방식은,

제1 카메라 및 제2 카메라가 흔들리는 것이 검출될 때, 제1 렌즈의 제1 오프셋 및 제2 렌즈의 제2 오프셋을 획득하는 것; 및

제1 오프셋에 따라 제1 이미지의 오프셋 값을 결정하고, 제2 오프셋에 따라 제2 이미지의 오프셋 값을 결정하여, 제1 이미지의 오프셋 값과 제2 이미지의 오프셋 값 사이의 오프셋 차이를 획득하는 것일 수 있다.

다른 실현가능한 구현에서, 수신기(904)는 목표 촬영물에 대한 포커싱을 위한 명령어를 수신하도록 구성된다.

프로세서(903)는, 포커싱 명령어에 응답하여, 제1 렌즈의 것이고 심도에 대응하고 있는 제1 이동 거리를 획득하고, 제2 렌즈의 것이고 심도에 대응하고 있는 제2 이동 거리를 획득하도록 추가로 구성된다.

프로세서(903)는 제1 이동 거리에 따라 제1 렌즈의 포커스 위치를 결정하고, 제2 이동 거리에 따라 제2 렌즈의 포커스 위치를 결정하도록 추가로 구성된다.

프로세서(903)는 제1 렌즈 및 제2 렌즈를 개개의 포커스 위치들로 이동시키도록 제어하도록 추가로 구성된다.

본 발명의 이 실시예에서, 목표 촬영물의 심도를 획득한 후에, 목표 촬영물에 대한 포커싱을 수행할 필요가 있을 때, 이미지 취득 디바이스(900)는 렌즈들이 이동할 필요가 있고 심도에 대응하고 있는 거리들을 획득하고, 개개의 이동 거리들에 따라 렌즈들의 포커스 위치들을 결정한 후에, 렌즈들을 개개의 포커스 위치들로 이동시킬 수 있다. 이것은 목표 촬영물에 대한 포커싱을 정확하고 신속하게 구현할 수 있다.

도 9에 도시된 이미지 취득 디바이스에서, 이미지 취득 디바이스는 제1 카메라, 제2 카메라, 프로세서, 및 수신기를 포함할 수 있다는 것이 학습될 수 있다. 제1 카메라 및 제2 카메라가 흔들리는 것이 검출될 때, 제1 카메라 및 제2 카메라는 목표 촬영물의 제1 이미지 및 제2 이미지를 각각 캡처할 수 있다. 프로세서는 제1 이미지 및 제2 이미지를 획득하고, 2개의 이미지들에서의 목표 촬영물 사이의 초기 거리를 검출하고, 제1 이미지와 제2 이미지 사이의 오프셋 차이를 사용하는 것에 의해 초기 거리를 수정하고, 수정된 초기 거리를 심도 계산식에 최종적으로 대입하여, 목표 촬영물의 심도를 결정할 수 있다. 본 발명의 이 실시예에 따르면, 2개의 카메라들 양측 모두가 OIS 기능을 가질 수 있거나, 또는 카메라들 중 어느 하나가 OIS 기능을 가질 때, 이미지 취득 디바이스는 2개의 카메라들에 의해 획득된 이미지들에서의 동일한 촬영물 사이의 거리를 수정할 수 있어서, 촬영물의, 수정된 거리에 따라 최종적으로 획득된, 심도 정보가 비교적 정확해진다. 이것은 촬영물에 대한 포커싱을 정확하고 신속하게 구현할 수 있다.

전술한 실시예들에서, 각각의 실시예의 설명은 개개의 포커스들을 갖는다는 것에 유의해야 한다. 실시예에서 상세히 설명되지 않은 부분에 대해서는, 다른 실시예들에서 관련된 설명들이 참조될 수 있다. 부가적으로, 본 기술분야의 통상의 기술자는 본 명세서에 설명된 모든 실시예들이 예시적인 실시예들이고, 관련 동작들 및 모듈들이 반드시 본 발명에 필수적인 것은 아니라는 것을 또한 이해해야 한다.

본 발명의 실시예들에서 방법들의 단계들의 시퀀스는 조정될 수 있고, 실제 요구사항에 따라 단계들이 결합 또는 제거될 수 있다.

실제 요구사항에 따라 본 발명의 실시예들에서의 심도 정보 획득 장치의 유닛들에 대해 결합, 분할, 및 제거가 수행될 수 있다.

본 발명의 실시예들의 유닛들은 CPU(Central Processing Unit, 중앙 프로세싱 유닛) 또는 ASIC(Application Specific Integrated Circuit, 주문형 집적 회로)와 같은 범용 집적 회로를 사용하는 것에 의해 구현될 수 있다.

본 기술분야의 통상의 기술자는 실시예들에서의 방법들의 프로세스들 중 전부 또는 일부가 관련 하드웨어에게 명령하는 컴퓨터 프로그램에 의해 구현될 수 있다는 것을 이해할 수 있다. 프로그램은 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 프로그램이 실행될 때, 실시예들에서의 방법들의 프로세스들이 수행된다. 전술한 저장 매체는 자기 디스크, 광 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 또는 랜덤 액세스 메모리(Random Access Memory, RAM)일 수 있다.

본 발명의 실시예들에 개시되는 심도 정보 획득 방법 및 장치, 그리고 이미지 취득 디바이스가 전술한 것에서 상세히 설명된다. 본 명세서에서, 특정 예들은 본 발명의 원리 및 구현들을 예시하기 위해 사용된다. 실시예들의 전술한 설명들은 본 발명 및 본 발명의 핵심 아이디어를 이해하는 것을 돕는 것으로 단지 의도된 것에 불과하다. 부가적으로, 본 발명의 아이디어에 기초하여, 본 기술분야의 통상의 기술자는 특정 구현들 및 적용 범주에 관련하여 수정들을 행할 수 있다. 결론적으로, 본 명세서의 내용은 본 발명의 제한으로서 해석되어서는 안된다.

Claims

이미지 취득 디바이스에 적용되는 심도(depth) 정보 획득 방법으로서,
상기 이미지 취득 디바이스는 제1 카메라 및 제2 카메라를 포함하고,
상기 심도 정보 획득 방법은,
상기 제1 카메라 및 상기 제2 카메라가 흔들리는 것이 검출될 때, 상기 제1 카메라에 의해 캡처된 목표 촬영물(target shooting object)의 제1 이미지 및 상기 제2 카메라에 의해 캡처된 목표 촬영물의 제2 이미지를 획득하는 단계 - 상기 제1 카메라 및 상기 제2 카메라는 동시에 이미지 취득을 수행함 -;
상기 제1 이미지에서의 목표 촬영물과 상기 제2 이미지에서의 목표 촬영물 사이의 초기 거리를 검출하고, 상기 제1 이미지와 상기 제2 이미지 사이의 오프셋 차이를 결정하는 단계;
상기 오프셋 차이를 사용하는 것에 의해 상기 초기 거리를 수정하는 단계; 및
상기 수정된 초기 거리에 따라 상기 목표 촬영물의 심도를 결정하는 단계
를 포함하는, 심도 정보 획득 방법.
제1항에 있어서,
상기 제1 카메라는 제1 렌즈를 포함하고, 상기 제2 카메라는 제2 렌즈를 포함하고,
상기 제1 이미지와 상기 제2 이미지 사이의 오프셋 차이를 결정하는 단계는,
상기 제1 카메라 및 상기 제2 카메라가 흔들리는 것이 검출될 때, 상기 제1 렌즈의 제1 오프셋 및 상기 제2 렌즈의 제2 오프셋을 획득하는 단계; 및
상기 제1 오프셋에 따라 상기 제1 이미지의 오프셋 값을 결정하고, 상기 제2 오프셋에 따라 상기 제2 이미지의 오프셋 값을 결정하여, 상기 제1 이미지의 오프셋 값과 상기 제2 이미지의 오프셋 값 사이의 오프셋 차이를 획득하는 단계
를 포함하는, 심도 정보 획득 방법.
제1항 또는 제2항에 있어서,
상기 초기 거리는 상기 제1 이미지에서의 목표 촬영물과 상기 제2 이미지에서의 목표 촬영물 사이의 상대 거리이고, 상기 오프셋 차이는 상기 제1 이미지의 오프셋 값과 상기 제2 이미지의 오프셋 값 사이의 상대 차이인, 심도 정보 획득 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 수정된 초기 거리에 따라 상기 목표 촬영물의 심도를 결정하는 단계 후에, 상기 심도 정보 획득 방법은,
상기 목표 촬영물에 대한 포커싱을 위한 명령어를 수신하는 단계;
상기 포커싱 명령어에 응답하여, 상기 제1 렌즈의 것이고 상기 심도에 대응하고 있는 제1 이동 거리를 획득하고, 상기 제2 렌즈의 것이고 상기 심도에 대응하고 있는 제2 이동 거리를 획득하는 단계;
상기 제1 이동 거리에 따라 상기 제1 렌즈의 포커스 위치를 결정하고, 상기 제2 이동 거리에 따라 상기 제2 렌즈의 포커스 위치를 결정하는 단계; 및
상기 제1 렌즈 및 상기 제2 렌즈를 개개의 포커스 위치들로 이동시키도록 제어하는 단계
를 더 포함하는, 심도 정보 획득 방법.
이미지 취득 디바이스에 적용되는 심도 정보 획득 장치로서,
상기 이미지 취득 디바이스는 제1 카메라 및 제2 카메라를 포함하고,
상기 심도 정보 획득 장치는,
상기 제1 카메라 및 상기 제2 카메라가 흔들리는 것이 검출될 때, 상기 제1 카메라에 의해 캡처된 목표 촬영물의 제1 이미지 및 상기 제2 카메라에 의해 캡처된 목표 촬영물의 제2 이미지를 획득하도록 구성되는 획득 유닛 - 상기 제1 카메라 및 상기 제2 카메라는 동시에 이미지 취득을 수행함 -;
상기 제1 이미지에서의 목표 촬영물과 상기 제2 이미지에서의 목표 촬영물 사이의 초기 거리를 검출하도록 구성되는 검출 유닛;
상기 제1 이미지와 상기 제2 이미지 사이의 오프셋 차이를 결정하도록 구성되는 제1 결정 유닛;
상기 오프셋 차이를 사용하는 것에 의해 상기 초기 거리를 수정하도록 구성되는 수정 유닛; 및
상기 수정된 초기 거리에 따라 상기 목표 촬영물의 심도를 결정하도록 구성되는 제2 결정 유닛
을 포함하는, 심도 정보 획득 장치.
제5항에 있어서,
상기 제1 카메라는 제1 렌즈를 포함하고, 상기 제2 카메라는 제2 렌즈를 포함하고, 상기 제1 결정 유닛은 획득 서브유닛 및 결정 서브유닛을 포함하고,
상기 획득 서브유닛은 상기 제1 카메라 및 상기 제2 카메라가 흔들리는 것이 검출될 때, 상기 제1 렌즈의 제1 오프셋 및 상기 제2 렌즈의 제2 오프셋을 획득하도록 구성되고;
상기 결정 서브유닛은 상기 제1 오프셋에 따라 상기 제1 이미지의 오프셋 값을 결정하고, 상기 제2 오프셋에 따라 상기 제2 이미지의 오프셋 값을 결정하여, 상기 제1 이미지의 오프셋 값과 상기 제2 이미지의 오프셋 값 사이의 오프셋 차이를 획득하도록 구성되는, 심도 정보 획득 장치.
제5항 또는 제6항에 있어서,
상기 초기 거리는 상기 제1 이미지에서의 목표 촬영물과 상기 제2 이미지에서의 목표 촬영물 사이의 상대 거리이고, 상기 오프셋 차이는 상기 제1 이미지의 오프셋 값과 상기 제2 이미지의 오프셋 값 사이의 상대 차이인, 방법.
제5항 내지 제7항 중 어느 한 항에 있어서,
상기 심도 정보 획득 장치는,
상기 목표 촬영물에 대한 포커싱을 위한 명령어를 수신하도록 구성되는 수신 유닛 -
상기 획득 유닛은, 상기 포커싱 명령어에 응답하여, 상기 제1 렌즈의 것이고 상기 심도에 대응하고 있는 제2 이동 거리를 획득하고, 상기 제2 렌즈의 것이고 상기 심도에 대응하고 있는 제2 이동 거리를 획득하도록 추가로 구성되고;
상기 제2 결정 유닛은 상기 제1 이동 거리에 따라 상기 제1 렌즈의 포커스 위치를 결정하고, 상기 제2 이동 거리에 따라 상기 제2 렌즈의 포커스 위치를 결정하도록 추가로 구성됨 -; 및
상기 제1 렌즈 및 상기 제2 렌즈를 개개의 포커스 위치들로 이동시키도록 제어하도록 구성되는 제어 유닛
을 더 포함하는, 심도 정보 획득 장치.
이미지 취득 디바이스로서,
상기 이미지 취득 디바이스는 제1 카메라, 제2 카메라, 및 프로세서를 포함하고,
상기 제1 카메라는, 상기 제1 카메라 및 상기 제2 카메라가 흔들리는 것이 검출될 때, 목표 촬영물의 제1 이미지를 캡처하도록 구성되고;
상기 제2 카메라는, 상기 제1 카메라 및 상기 제2 카메라가 흔들리는 것이 검출될 때, 상기 목표 촬영물의 제2 이미지를 캡처하도록 구성되고 - 상기 제1 카메라 및 상기 제2 카메라는 동시에 이미지 취득을 수행함 -;
상기 프로세서는 상기 제1 이미지 및 상기 제2 이미지를 획득하고, 상기 제1 이미지에서의 목표 촬영물과 상기 제2 이미지에서의 목표 촬영물 사이의 초기 거리를 검출하도록 구성되고;
상기 프로세서는 상기 제1 이미지와 상기 제2 이미지 사이의 오프셋 차이를 결정하고, 상기 오프셋 차이를 사용하는 것에 의해 상기 초기 거리를 수정하도록 추가로 구성되고;
상기 프로세서는 상기 수정된 초기 거리에 따라 상기 목표 촬영물의 심도를 결정하도록 추가로 구성되는, 이미지 취득 디바이스.
제9항에 있어서,
상기 제1 카메라는 제1 렌즈를 포함하고, 상기 제2 카메라는 제2 렌즈를 포함하고,
상기 프로세서에 의해 상기 제1 이미지와 상기 제2 이미지 사이의 오프셋 차이를 결정하는 특정 방식은,
상기 제1 카메라 및 상기 제2 카메라가 흔들리는 것이 검출될 때, 상기 제1 렌즈의 제1 오프셋 및 상기 제2 렌즈의 제2 오프셋을 획득하는 것; 및
상기 제1 오프셋에 따라 상기 제1 이미지의 오프셋 값을 결정하고, 상기 제2 오프셋에 따라 상기 제2 이미지의 오프셋 값을 결정하여, 상기 제1 이미지의 오프셋 값과 상기 제2 이미지의 오프셋 값 사이의 오프셋 차이를 획득하는 것
인, 이미지 취득 디바이스.
제9항 또는 제10항에 있어서,
상기 초기 거리는 상기 제1 이미지에서의 목표 촬영물과 상기 제2 이미지에서의 목표 촬영물 사이의 상대 거리이고, 상기 오프셋 차이는 상기 제1 이미지의 오프셋 값과 상기 제2 이미지의 오프셋 값 사이의 상대 차이인, 이미지 취득 디바이스.
제9항 내지 제11항 중 어느 한 항에 있어서,
상기 이미지 취득 디바이스는,
상기 목표 촬영물에 대한 포커싱을 위한 명령어를 수신하도록 구성되는 수신기를 더 포함하고,
상기 프로세서는, 상기 포커싱 명령어에 응답하여, 상기 제1 렌즈의 것이고 상기 심도에 대응하고 있는 제1 이동 거리를 획득하고, 상기 제2 렌즈의 것이고 상기 심도에 대응하고 있는 제2 이동 거리를 획득하도록 추가로 구성되고;
상기 프로세서는 상기 제1 이동 거리에 따라 상기 제1 렌즈의 포커스 위치를 결정하고, 상기 제2 이동 거리에 따라 상기 제2 렌즈의 포커스 위치를 결정하도록 추가로 구성되고;
상기 프로세서는 상기 제1 렌즈 및 상기 제2 렌즈를 개개의 포커스 위치들로 이동시키도록 제어하도록 추가로 구성되는, 이미지 취득 디바이스.