KR20130061635A

KR20130061635A - 초점이 흐려진 필박스 화상을 이용하여 깊이 평가를 수행하는 시스템 및 방법

Info

Publication number: KR20130061635A
Application number: KR1020120136072A
Authority: KR
Inventors: 핑샨 리; 겐스케 미야기; 플로리안 씨우리아; 도모노리 슈다
Original assignee: 소니 주식회사
Priority date: 2011-12-01
Filing date: 2012-11-28
Publication date: 2013-06-11
Also published as: EP2600310B1; JP2013117967A; US8929607B2; TW201337838A; CN103136745A; TWI557688B; CA2796543C; CN103136745B; JP5459523B2; KR101437234B1; US20130142394A1; EP2600310A2; EP2600310A3; CA2796543A1

Abstract

초점이 흐려진 필박스 화상을 이용하여 깊이 평가 절차를 수행하는 시스템 및 방법은, 사진 타겟의 필박스 블러 화상을 캡쳐하는 센서 장치를 갖는 카메라 장치를 포함한다. 카메라는 깊이 평가기를 이용하여 필박스 블러 화상을 대응하는 가우스 블러 화상으로 변환하는 가우스화 절차를 수행한다. 가우스화 절차는 대응하는 가우스 블러 화상을 생성하기 위해 필박스 블러 화상을 가우스화 커널로 콘볼브함으로써 수행된다. 이어서, 깊이 평가기는 가우스 블러 화상을 이용하여 깊이 평가 절차를 효과적으로 수행한다.

Description

초점이 흐려진 필박스 화상을 이용하여 깊이 평가를 수행하는 시스템 및 방법{SYSTEM AND METHOD FOR PERFORMING DEPTH ESTIMATION UTILIZING DEFOCUSED PILLBOX IMAGES}

본 출원은 2011년 12월 1일자 출원된 "Depth Estimation From Two Defocused Images Under Various Lighting Conditions"라고 하는 미국 가특허 출원 61/565,790호에 관한 것이고 그 우선권을 주장한다. 상기 관련 출원은 통상 양도되고, 본 명세서에 참고로 원용된다.

본 발명은 일반적으로 화상 데이터를 해석하기 위한 기술에 관한 것으로, 보다 구체적으로는, 초점이 흐려진(defocused) 필박스(pillbox) 화상을 이용하여 깊이 평가를 수행하는 시스템 및 방법에 관한 것이다.

화상 데이터를 해석하는 효율적인 방법을 구현하는 것은 최근의 전자 장치의 설계자 및 제조자에게 상당히 고려되는 사항이다. 그러나, 전자 장치로 화상 데이터를 효율적으로 해석하는 것은 시스템 설계자에게 상당한 시험대이기도 하다. 예를 들어, 증가된 장치 기능과 성능을 위한 향상된 요구는 보다 많은 시스템 처리 능력을 요구하고 부가적인 하드웨어 리소스를 요구할 수 있다. 처리 또는 하드웨어 요건의 증가는 또한 증가된 제조 비용 및 동작 비효율로 인해 그에 상응하는 불리한 경제적 영향을 줄 수 있다.

또한, 다양한 진보된 동작을 수행하기 위한 향상된 장치 능력은 시스템 사용자에게 부가적인 이점을 제공할 수 있지만, 다양한 장치 부품의 제어 및 관리에 대한 요구를 증가시키기도 한다. 예를 들어, 디지털 화상 데이터를 효과적으로 해석하는 향상된 전자 장치는 대량의 복잡한 디지털 데이터와 관련되기 때문에 효과적인 구현을 할 수 있다는 이점이 있다.

시스템 리소스에 대한 요구가 늘어나고 실질적으로 데이터 크기가 증가함으로 인해, 화상 데이터를 해석하기 위한 새로운 기술을 개발하는 것은 관련된 전자 기술의 관심사라는 것은 분명하다. 그러므로, 상기의 모든 이유로 인해, 화상 데이터를 해석하기 위한 효과적인 시스템을 개발하는 것은 최근의 전자 장치의 설계자, 제조자, 및 사용자에게는 중요한 고려 사항이다.

본 발명에 따르면, 초점이 흐려진 필박스 화상을 이용하여 깊이 평가를 수행하는 시스템 및 방법이 개시된다. 한 실시 형태에서, 카메라는 초기에 초점이 흐려진 필박스 화상1을 캡쳐한다. 이어서, 카메라의 초점 설정이 변경된다. 예를 들어, 초점 설정은 카메라의 초점을 1 피사계 깊이(depth-of-field)만큼 감소하도록 조정될 수 있다. 이어서, 카레라는 이전에 캡쳐된 필박스 화상1보다 흐릿한(아웃 오브 포커스(out of focus)) 초점이 흐려진 화상2를 캡쳐한다.

깊이 평가기 또는 다른 적절한 엔티티는 콘볼류션(convolution) 절차를 수행하기 위해 적절한 커널 K를 선택한다. 커널 K는 임의의 적절한 방식으로 구성될 수 있다. 예를 들어, 소정의 실시 형태들에서, 커널 K는 작은 분산을 갖는 3 x 3 가우스 커널로서 구성될 수 있다. 깊이 평가기는 또한 본 발명에 따라 가우스화(Gaussianization) 절차를 수행하기 위해 적절한 가우스화 커널을 선택한다. 가우스화 커널이 적절한 방식으로 구현되고 이용될 수 있다. 예를 들어, 가우스화 커널은 가우스 함수 또는 제한된 평균 및 분산을 갖는 보다 일반적인 블러 함수(blur function)일 수 있다.

이어서, 초점 평가기는 화상1과 화상2 사이의 매칭 에러를 계산한 후, 콘볼류션 절차를 수행하여 선택된 커널 K로 콘볼브된 직전의 화상1과 동일한 새로운 현재의 화상1을 생성한다. 초점 평가기는 현재의 화상1과 화상2 사이의 매칭 에러를 계산한 후, 현재의 화상1과 화상2가 매치하는지를 판정한다. 이러한 2개의 화상이 매치하지 않으면, 과정은 마찬가지 방식으로 추가 콘볼류션 반복을 수행하기 위해 돌아간다.

그러나, 화상1과 화상2가 매치하면, 초점 평가기는 이전에 선택된 가우스화 커널을 이용하여 현재의 화상1 및 화상2 둘 다에 대해 가우스화 절차를 수행하여 넌가우스(non-Gaussian) 블러 화상을 대응하는 가우스 블러 화상으로 변환한다. 특히, 깊이 평가기는 콘볼류션 절차를 수행하여 선택된 가우스화 커널로 콘볼브된 직전의 필박스 블러 화상1과 동일한 새로운 현재의 가우스 화상1을 생성한다. 또한, 깊이 평가기는 콘볼류션 절차를 수행하여 선택된 가우스화 커널로 콘볼브된 직전의 필박스 블러 화상2와 동일한 새로운 현재의 가우스 화상2를 생성한다.

깊이 평가기는 이어서 콘볼류션 절차를 수행하여 선택된 커널 K로 콘볼브된 직전의 가우스 화상1과 동일한 새로운 현재의 가우스 화상1을 생성한다. 깊이 평가기는 현재의 가우스 화상1과 가우스 화상2 사이의 매칭 에러를 계산하고, 현재의 가우스 화상1과 가우스 화상2가 매치하는지를 판정한다. 이러한 2개의 화상이 매치하지 않으면, 과정은 추가 반복을 수행하기 위해 돌아간다. 그러나, 현재의 가우스 화상1과 가우스 화상2가 매치하면, 과정은 종료할 수 있다. 그러므로 본 발명은 초점이 흐려진 필박스 화상을 이용하여 깊이 평가 절차를 수행하는 개선된 시스템 및 방법을 제공한다.

도 1은 본 발명에 따른, 카메라 장치의 한 실시 형태의 블록도.
도 2는 본 발명에 따른, 도 1의 캡쳐 서브시스템의 한 실시 형태의 블록도.
도 3은 본 발명에 따른, 도 1의 제어 모듈의 한 실시 형태의 블록도.
도 4는 본 발명에 따른, 도 3의 메모리의 한 실시 형태의 블록도.
도 5는 본 발명에 따른, 초점이 흐려진 블러 화상을 캡쳐하는 한 예시적인 실시 형태의 도면.
도 6은 본 발명의 한 실시 형태에 따른, 예시적인 매칭 곡선의 그래프.
도 7은 본 발명의 한 실시 형태에 따른, 블러 화상의 예시적인 가우스 모델의 그래프.
도 8은 본 발명의 한 실시 형태에 따른, 블러 화상의 예시적인 필박스 모델의 그래프.
도 9a 내지 9c는 본 발명의 한 실시 형태에 따른, 필박스 블러 화상으로 깊이 평가 절차를 수행하는 방법 단계들의 플로우 차트.
도 10은 본 발명의 한 예시적인 실시 형태에 따른, 2개의 포화된 필박스 화상의 도면.
도 11은 본 발명의 한 예시적인 실시 형태에 따른, 도 10의 포화된 필박스 화상을 위한 박스채움(fillbox) 기술을 도시한 도면.

본 발명은 화상 데이터 해석 기술의 개선에 관한 것이다. 다음의 설명은 본 기술에 통상의 지식을 가진 자가 발명을 제작 및 사용가능하게 하도록 제시된 것이고 특허 출원의 맥락 및 그 요건에서 제공된다. 개시된 실시 형태들에 대한 다양한 변형이 본 기술에 통상의 지식을 가진 자에게는 명백하고, 여기서의 일반적인 원리는 다른 실시 형태들에 적용될 수 있다. 따라서, 본 발명은 도시된 실시 형태로 제한되는 것으로 의도되지 않고, 여기서 설명된 원리 및 특징에 부합되는 가장 넓은 범위에 따른다.

본 발명은 초점이 흐려진 필박스 화상을 이용하여 깊이 평가 절차를 수행하는 시스템 및 방법을 포함하고, 사진 타겟의 필박스 블러 화상을 캡쳐하는 센서 장치를 갖는 카메라 장치를 포함한다. 카메라는 깊이 평가기를 이용하여 필박스 블러 화상을 대응하는 가우스 블러 화상으로 변환하는 가우스화 절차를 수행한다. 가우스화 절차는 대응하는 가우스 블러 화상을 생성하기 위해 가우스화 커널로 필박스 블러 화상을 콘볼브함으로써 수행된다. 이어서, 깊이 평가기는 가우스 블러 화상을 이용하여 깊이 평가 절차를 효과적으로 수행한다.

이제 도 1을 참조하면, 본 발명에 따른, 카메라 장치(110)의 한 실시 형태의 블록도가 도시된다. 도 1의 실시 형태에서, 카메라 장치(110)는 캡쳐 서브시스템(114), 시스템 버스(116), 및 제어 모듈(118)을 포함할 수 있지만, 이러한 예들로 제한되지 않는다. 도 1의 실시 형태에서, 캡쳐 서브시스템(114)은 사진 타겟(112)에 광학적으로 결합될 수 있고, 또한 시스템 버스(116)를 통해 제어 모듈(118)에 전기적으로 결합될 수 있다.

대안적 실시 형태에서, 카메라 장치(110)는 도 1과 관련하여 기술된 구성 요소 외에, 또는 그 대신에 다양한 다른 구성 요소를 포함할 수 있다. 또한, 소정의 실시 형태들에서, 본 발명은 도 1의 카메라 장치(110) 이외의 임의의 적절한 타입의 전자 장치로 대안적으로 실시될 수 있다. 예를 들어, 카메라 장치(110)는 대안적으로 촬상 장치, 컴퓨터 장치, 또는 가전 장치로서 구현될 수 있다.

도 1의 실시 형태에서, 일단 카메라(110)의 캡쳐 서브시스템(114)이 타겟(112)에 자동적으로 초점이 맞추어지면, 카메라 사용자는 타겟(112)에 대응하는 화상 데이터를 캡쳐하라고 카메라 장치(110)에 요구할 수 있다. 이어서, 제어 모듈(118)은 시스템 버스(116)를 통해 캡쳐 서브시스템(114)에 타겟(112)을 나타내는 화상 데이터를 갭쳐하라고 지시하는 것이 바람직할 수 있다. 이어서, 캡쳐된 화상 데이터는 시스템 버스(116)를 통해 제어 모듈(118)에 전송되고, 제어 모듈은 그에 응답하여 화상 데이터를 이용하여 다양한 처리를 수행하고 기능할 수 있다. 시스템 버스(116)는 또한 다양한 상태 및 제어 신호를 캡쳐 서브시스템(114)과 제어 모듈(118) 사이에서 양방향으로 전송할 수 있다.

이제 도 2를 참조하면, 본 발명에 따른, 도 1의 캡쳐 서브시스템(114)의 한 실시 형태의 블록도가 도시된다. 도 2의 실시 형태에서, 캡쳐 서브시스템(114)은 바람직하게는 셔터(218), 렌즈(220), 화상 센서(224), 적색, 녹색, 및 청색(R/G/B) 증폭기(228), 아날로그-디지털(A/D) 변환기(230), 및 인터페이스(232)를 포함하지만, 이로 제한되지 않는다. 대안적 실시 형태들에서, 캡쳐 서브시스템(114)은 도 2의 실시 형태와 관련하여 논의된 구성 요소 외에, 또는 그 대신에 다양한 다른 구성 요소를 포함할 수 있다.

도 2의 실시 형태에서, 캡쳐 서브시스템(114)은 광 경로(236)를 따라 반사된 광이 충돌하는 화상 센서(224)를 통해 타겟(112)에 대응하는 화상 데이터를 캡쳐할 수 있다. 바람직하게는 전하 결합 소자(CCD)를 포함할 수 있는 화상 센서(224)는 타겟(112)을 나타내는 화상 데이터의 세트를 응답하여 생성될 수 있다. 이어서, 화상 데이터는 증폭기(228), A/D 변환기(230), 및 인터페이스(232)를 통해 보내질 수 있다. 인터페이스(232)로부터, 화상 데이터는 시스템 버스(116)를 통해 제어 모듈(118)로 전달되어 적절히 처리 및 기억된다. CMOS 또는 선형 어레이 등의, 다른 타입의 화상 캡쳐 센서가 또한 본 발명과 관련하여 화상 데이터를 캡쳐하기 위해 고려된다. 카메라(110)의 이용 및 기능이 도 3 내지 도 11과 관련하여 이후 더 논의된다.

이제 도 3을 참조하면, 본 발명에 따른, 도 1의 제어 모듈(118)의 한 실시 형태의 블록도가 도시된다. 도 3의 실시 형태에서, 제어 모듈(118)은 바람직하게는 뷰파인더(308), 중앙 처리 장치(CPU)(344), 메모리(346), 및 하나 이상의 입/출력 인터페이스(들)(I/O)(348)을 포함하지만, 이로 제한되지 않는다. 뷰파인더(308), CPU(344), 메모리(346), 및 I/O(348)는 바람직하게는 서로 결합되고, 캡쳐 서브시스템(114)과도 통신하는 공통 시스템 버스(116)를 통해 통신한다. 대안적 실시 형태들에서, 제어 모듈(118)은 도 3의 실시 형태와 관련하여 논의된 구성 요소 외에, 또는 그 대신에 다양한 다른 구성 요소를 포함할 수 있다.

도 3의 실시 형태에서, CPU(344)는 임의의 적절한 마이크로프로세서를 포함하도록 구현될 수 있다. 대안적으로, CPU(344)는 임의의 다른 적절한 기술을 이용하여 구현될 수 있다. 예를 들어, CPU(344)는 소정의 주문형 집적 회로(ASIC) 또는 다른 적절한 전자 장치를 포함하도록 구현될 수 있다. 메모리(346)는 리드 온리 메모리, 랜덤 액세스 메모리, 및 플로피 디스크 장치, 하드 디스크 장치, 또는 플래시 메모리 등의 다양한 불휘발성 메모리를 포함하나 이로 제한되지 않는 하나 이상의 적절한 기억 장치로서 구현될 수 있다. I/O(348)는 카메라 장치(110)와 시스템 사용자 또는 다른 전자 장치를 포함하는, 외부 엔티티 사이의 양방향 통신을 가능하게 하는 하나 이상의 효과적인 인터페이스를 제공할 수 있다. I/O(348)는 임의의 적절한 입력 및/또는 출력 장치를 이용하여 구현될 수 있다. 제어 모듈(118)의 동작 및 이용은 도 4 내지 도 11과 관련하여 이후 더 논의된다.

이제 도 4를 참조하면, 본 발명에 따른, 도 3의 메모리(346)의 한 실시 형태의 블록도가 도시된다. 도 4의 실시 형태에서, 메모리(346)는 카메라 어플리케이션(412), 운영 체제(414), 깊이 평가기(416), 화상 데이터(418), 평가 데이터(420), 자동 초점 모듈(422), 및 기타 정보(424)를 포함할 수 있지만, 이로 제한되지 않는다. 대안적 실시 형태들에서, 메모리(346)는 도 4의 실시 형태와 관련하여 논의된 구성 요소 외에, 또는 그 대신에 다양한 다른 구성 요소를 포함할 수 있다.

도 4의 실시 형태에서, 카메라 어플리케이션(412)은 카메라 장치(110)에 대한 다양한 기능 및 동작을 수행하기 위해 CPU(344)(도 3)에 의해 바람직하게 실행되는 프로그램 명령을 포함할 수 있다. 카메라 어플리케이션(412)의 특정 성질 및 기능성은 바람직하게는 대응하는 카메라 장치(110)의 타입 및 특정 용도 등의 팩터에 따라 변화한다.

도 4의 실시 형태에서, 운영 체제(414)는 바람직하게는 카메라 장치(110)의 저 레벨 기능성을 제어하고 조정한다. 본 발명에 따르면, 깊이 평가기(416)는 카메라(110)에서의 자동 초점 특징을 가능하게 하기 위한 깊이 평가 절차를 제어하고 조정할 수 있다. 도 4의 실시 형태에서, 화상 데이터(418)는 카메라 장치(110)에 의해 캡쳐된 사진 타겟(112)의 하나 이상의 화상을 포함할 수 있다. 평가 데이터(420)는 깊이 평가 절차를 수행하기 위한 임의 타입의 정보 또는 데이터를 포함할 수 있다. 도 4의 실시 형태에서, 자동 초점 모듈(422)은 깊이 평가 절차의 결과를 이용하여 카메라 장치(110)에 대한 자동 초첨 절차를 수행할 수 있다. 기타 정보(424)는 카메라(110)의 동작을 위한 임의의 다른 적절한 정보를 포함한다. 깊이 평가기(416)의 동작에 관한 추가 상세가 도 5 내지 도 11과 관련하여 이후 더 논의된다.

이제 도 5를 참조하면, 본 발명에 따른, 초점이 흐려진 화상(518)을 캡쳐하기 위한 하나의 예시적이 실시 형태가 도시된다. 도 5의 실시 형태는 예시를 위해 제공된 것이고, 대안적 실시 형태들에서, 본 발명은 다양한 다른 구성 및 소자들을 이용하여 초점이 흐려진 블러 화상(518)을 캡쳐할 수 있다.

도 5의 실시 형태에서, 카메라(110)의 센서(224)(도 2 참조)는 깊이 평가 절차를 수행하기 위해 사진 타겟 또는 장면(112)의 초점이 흐려진 블러 화상(518)을 캡쳐할 수 있다. 초점이 흐려진 화상(518)은, 렌즈(220)를 타겟(112), 렌즈(220), 및 센서(224)의 상대적 위치들에 따른 정확한 인 포커스(in-focus) 렌즈 위치 이외의 위치로 조정함으로써 생성될 수 있다.

한 실시 형태에서, 2개의 다른, 초점이 흐려진 블러 화상(518)은 깊이 평가를 유도하기 위해 비교될 수 있다. 블러 차는 서로 1 피사계 깊이만큼 떨어진 2개의 블러 화상(518)에 대해 계산될 수 있다. 알려진 매칭 곡선의 기울기 및 블러 차는 주어진 타겟(112)의 깊이를 결정하는 데 이용될 수 있다. 깊이 평가를 위한 초점이 흐려진 블러 화상의 생성 및 이용이 도 6 내지 도 11과 관련하여 더 논의된다.

이제 도 6을 참조하면, 본 발명의 한 실시 형태에 따른, 예시적인 매칭 곡선(714)의 그래프가 도시된다. 도 6의 실시 형태는 예시를 위해 제시된 것이고, 대안적 실시 형태들에서, 본 발명은 도 6의 실시 형태와 관련하여 논의된 소정의 구성 및 파라미터 외에, 또는 그 대신에 다른 구성 및 파라미터를 갖는 매칭 곡선을 이용하도록 구현될 수 있다.

소정의 실시 형태들에서, 블러 화상1 및 더 초점이 흐려진 블러 화상2가 캡쳐될 수 있고, 콘볼브된 화상1을 생성하기 위해 더 선명한 화상1이 가우스 커널(예를 들어, 작은 분산을 갖는 3×3 가우스 행렬)로 콘볼브될 수 있다. 콘볼브된 화상1은 블러 화상2와 비교된다. 이 과정은 2개의 블러 화상이 매치할 때까지 반복된다. 이어서, 임의의 아웃 오브 포커스 위치로부터 인 포커스 위치까지의 거리를 평가하는 데 이용될 수 있는 블러 매칭 곡선을 생성하기 위해 반복 횟수가 깊이(또는 1 DOF(depth-of-field)로 증분되는 화상 수)에 대해 그래프로 표시될 수 있다. 상기 초점 평가 기술에 관한 추가 상세가 본 명세서에 참고로 원용되는, Li 등에게 허여된 미국 특허 제8,045,046호에서 더 논의되어 있다.

이제 도 7을 참조하면, 본 발명의 한 실시 형태에 따른, 블러 화상(518)(도 5)의 예시적인 가우스 모델(718)의 그래프가 도시된다. 도 7의 실시 형태는 예시를 위해 제시된 것이고, 대안적 실시 형태들에서, 본 발명은 도 7의 실시 형태와 관련하여 논의된 요소 및 구성 이외의 요소 및 구성을 갖는 가우스 모델을 이용할 수 있다.

도 7의 실시 형태에서, 휘도는 수직 축 상에 표시되고 화소는 수평 축 상에 표시된다. 도 7의 그래프에서, 가우스 모델(718)은 전형적인 종형 곡선(bell-curve) 형태를 표시한다. 그러나, 블러 화상(518) 모두가 가우스 모델(718)을 이용하여 최상으로 표시되는 것은 아니다. 사진 타겟 또는 장면의 화상 특성에 따라, 소정의 넌가우스 모델이 더 효과적일 수 있다. 넌가우스 모델의 한 예가 도 8 내지 도 11과 관련하여 이후 더 논의된다.

이제 도 8을 참조하면, 본 발명의 한 실시 형태에 따른, 블러 화상(518)의 예시적인 필박스 모델의 그래프가 도시된다. 도 8의 실시 형태는 예시를 위해 제시된 것이고, 대안적 실시 형태들에서, 본 발명은 도 8의 실시 형태와 관련하여 논의된 요소 및 구성 이외의 요소 및 구성을 갖는 필박스 모델을 이용할 수 있다.

도 8의 실시 형태에서, 휘도는 수직 축 상에 표시되고 화소는 수평 축 상에 표시된다. 도 8의 그래프에서, 필박스 모델(818)은 전형적인 예리한 에지 형태를 표시한다. 사진 타겟 또는 장면의 화상 특성에 따라, 필박스 모델(818) 등의, 소정의 넌가우스 모델이 더 효과적일 수 있다. 예를 들어, 필박스 모델(818)은 캔들 등의 매우 밝은 광원을 포함하는 어두운 밤의 장면에 대해 더 양호할 수 있다.

그러나, 위에 논의된 소정의 깊이 평가 기술은 필박스 블러 화상과 관련하여 이용될 때 만족하게 수행하지 못한다. 따라서, 본 발명에 따르면, 가우스화 절차는, 위에 논의된 바와 같이, 필박스 블러 화상을 깊이 평가 절차를 위해 성공적으로 이용될 수 있는 가우스 포맷으로 유리하게 변환하는 데 이용된다.

가우스화 절차는 임의의 효과적인 방식으로 수행될 수 있다. 예를 들어, 필박스 블러 화상은 가우스화된 블러 화상을 생성하기 위해 가우스화 커널로 콘볼브될 수 있다. 가우스화 커널은 임의의 적절한 방식으로 구현되고 이용될 수 있다. 예를 들어, 가우스화 커널은 가우스 함수 또는 제한된 평균 및 분산을 갖는 보다 일반적인 함수일 수 있다.

소정의 실시 형태들에서, 가우스화 커널은, 모든 행렬 값이 동일 값이고 이들 행렬 값의 합이 1인 정방 행렬을 갖는 박스 함수로서 구현될 수 있다. 가우스화 커널은 또한 다음의 식에 따라 2개의 1차원 함수의 텐서 곱(tensor product)으로서 표현될 수 있는 2차원의 균일한 박스 함수로서 구현될 수 있다.

여기서, m과 n은 화소 좌표이고, M과 N은 커널 행렬의 각 치수이다. 하나의 대안적 실시 형태에서, 다단계의 가우스화는 효율을 개선하는 데 이용될 수 있다. 예를 들어, 더 작은 가우스화 커널이 더 작은 세그멘트에서의 가우스화 절차를 수행하는 데 이용될 수 있다. 이 기술은 많은 가우스화를 필요로 하지 않는 화상에 대한 계산 속도를 개선할 수 있다. 가우스화 절차에 관한 추가 상세가 도 9 내지 도 11과 관련하여 더 논의된다.

이제 도 9a 내지 9c를 참조하면, 본 발명에 따른, 필박스 화상으로 깊이 평가 절차를 수행하는 방법 단계들의 플로우 차트가 도시된다. 도 9의 실시 형태는 예시를 위해 제시된 것이고, 대안적 실시 형태들에서, 본 발명은 도 9의 실시 형태와 관련하여 논의된 그런 단계들 및 순차들 이외의 다양한 단계들 및 순차들을 이용할 수 있다.

도 9a의 실시 형태에서, 단계 914에서, 카메라(110)는 초점이 흐려진 필박스 화상1을 캡쳐한다. 단계 918에서, 카메라(110)의 초점 설정이 변경된다. 예를 들어, 도 9a의 실시 형태에서, 초점 설정은 카메라(110)의 초점을 1 피사계 깊이만큼 감소시키도록 조정될 수 있다. 단계 922에서, 카메라(110)는 이전에 캡쳐된 필박스 화상1보다 흐릿한(아웃 오브 포커스) 초점이 흐려진 필박스 화상2를 캡쳐한다.

단계 926에서, 깊이 평가기(416) 또는 다른 적절한 엔티티는 콘볼류션 절차를 수행하기 위해 적절한 커널 K을 선택한다. 커널 K는 다른 적절한 방식으로 구성될 수 있다. 예를 들어, 소정의 실시 형태들에서, 커널 K는 작은 분산을 갖는 3 x 3 가우스 커널로서 구성될 수 있다. 단계 926에서, 깊이 평가기(416)는 또한 본 발명에 따라 가우스화 절차를 수행하기 위해 적절한 가우스화 커널을 선택한다.

상술한 바와 같이, 가우스화 커널은 적절한 방식으로 구현되고 이용될 수 있다. 예를 들어, 가우스화 커널은 가우스 함수 또는 제한된 평균 및 분산을 갖는 보다 일반적인 블러 함수일 수 있다. 단계 928에서, 깊이 평가기(416)는 화상1과 화상2 사이의 매칭 에러를 계산하고, 단계 930에서, 깊이 평가기(416)는 화상이 매치하는지를 판정한다. 화상이 매치하면, 도 9의 과정이 종료할 수 있다. 그러나, 화상이 매치하지 않으면, 도 9a의 과정이 연결 문자 "A"를 통해 도 9b의 단계 932로 진행한다.

단계 932에서, 깊이 평가기(416)는 콘볼류션 절차를 수행하여 선택된 커널 K로 콘볼브된 직전의 화상1과 동일한 새로운 현재의 화상1을 생성한다. 단계 934에서, 깊이 평가기(416)는 현재의 화상1과 화상2 사이의 매칭 에러를 계산한다. 단계 938에서, 깊이 평가기(416)는 현재의 화상1과 화상2가 매치하는지를 판정한다. 2개의 화상이 매치하지 않으면, 도 9의 과정은 단계 932로 돌아가 추가 반복을 수행한다.

그러나, 단계 938에서 화상1과 화상2가 매치하면, 단계 942에서, 깊이 평가기(416)는 넌가우스 블러 화상을 대응하는 가우스 블러 화상으로 변환하기 위해 이전에 선택된 가우스화 커널을 이용함으로써 현재의 화상1과 화상2 둘 다에 대해 가우스화 절차를 수행한다. 특히, 깊이 평가기(416)는 콘볼류션 절차를 수행하여 선택된 가우스화 커널로 콘볼브된 직전의 화상1과 동일한 새로운 현재의 화상1을 생성한다. 또한, 깊이 평가기(416)는 콘볼류션 절차를 수행하여 선택된 가우스화 커널로 콘볼브된 직전의 화상2와 동일한 새로운 현재의 화상2를 생성한다. 도 9b의 실시 형태에서, 가우스화 커널은 작은 분산 값으로 구현될 수 있다. 이어서, 도 9b의 과정은 연결 문자 "B"를 통해 도 9c의 단계 946으로 진행한다.

단계 946에서, 깊이 평가기(416)는 콘볼류션 절차를 수행하여 선택된 커널 K로 콘볼브된 직전의 화상1과 동일한 새로운 현재의 화상1을 생성한다. 단계 950에서, 깊이 평가기(416)는 현재의 화상1과 현재의 화상2 사이의 매칭 에러를 계산한다. 단계 954에서, 깊이 평가기(416)는 현재의 화상1과 현재의 화상2가 매치하는지를 판정한다. 2개의 화상이 매치하지 않으면, 도 9의 과정은 단계 946으로 돌아가 추가 반복을 수행한다. 그러나, 화상1과 화상2가 단계 938에서 매치하면, 단계 958에서, 깊이 평가기(416)는 상기 단계 946에서 얼마나 많은 콘볼류션이 수행되었는지를 결정한다. 넌제로 컨볼류션이 있다면, 도 9c의 과정은 연결 문자 "C"를 통해 도 9b의 단계 942로 돌아가 하나 이상의 추가 가우스화 절차를 수행한다. 그러나, 제로 콘볼류션이 있다면, 도 9의 과정은 종료할 수 있다. 이어서, 화상1과 화상2 사이의 블러 차는 단계 932 및 946에서 수행된 커널 K로의 콘볼류션의 총 수에 의해 주어진다. 그러므로 본 발명은 필박스 블러 화상을 이용하여 깊이 평가 절차를 수행하는 개선된 시스템 및 방법을 제공한다.

이제 도 10을 참조하면, 본 발명의 한 실시 형태에 따른, 2개의 포화된 필박스 화상(1014 및 1018)의 도면이 도시된다. 도 10의 실시 형태는 예시를 위해 제시된 것이고, 대안적 실시 형태들에서, 본 발명은 도 10의 실시 형태와 관련하여 논의된 요소 및 구성 이외의 요소 및 구성을 갖는 필박스 화상을 이용할 수 있다.

도 10의 실시 형태에서, 제1 필박스 화상(1014)(예를 들어 도 9의 화상1) 및 제2 필박스 화상(1018)(예를 들어 도 9의 화상2)을 위한 파형이 중첩되게 도시된다. 화상(1014)이 더 초점이 맞추어지기 때문에, 그 파형 형태는 화상(1018)의 파형보다 좁고 높다. 그러나, 다른 타입의 블러 화상과 같이, 필박스 블러 화상은 동일한 양의 에너지/총 휘도를 보존하여야 한다.

도 10의 실시 형태에서, 필박스 화상들은 이들이 포화 임계 레벨(1022)을 초과하기 때문에 클립(clip)/포화된다. 필박스 블러 화상이 포화/클립되면, 2개의 픽쳐의 총 휘도 사이의 차가 있다. 일반적으로, 블러 매칭 기술(도 9에서 논의된 가우스화 절차 등)은 포화된 필박스 블러 화상에 대해 제대로 기능하지 않는데 왜냐하면 총 휘도가 보존되지 않기 때문이다. 따라서, 본 발명의 소정의 실시 형태들에 따라, 임의의 블러 매칭 기술을 수행하기 전에 박스채움 기술이 이용될 수 있다. 하나의 이러한 박스채움 실시 형태가 도 11과 관련하여 이후 논의된다.

이제 도 11을 참조하면, 본 발명의 한 실시 형태에 따른, 도 10의 포화된 필박스 화상을 다루기 위한 박스채움 기술을 도시한 도면이 도시된다. 도 11의 실시 형태는 예시를 위해 제시된 것이고, 대안적 실시 형태들에서, 본 발명은 도 11의 실시 형태와 관련하여 논의된 요소, 단계, 및 구성 이외의 요소, 단계, 및 구성을 갖는 박스채움 기술을 이용할 수 있다.

도 11의 좌측에는, 필박스 화상(1018 및 1014(a))은 그들 둘 다가 포화 임계 레벨(1022)을 초과하기 때문에 클립/포화된다. 필박스 블러 화상이 포화/클립되면, 2개의 픽쳐의 총 휘도 사이의 차가 있다. 화상(1014(a))이 더 높기 때문에, 더 많은 휘도가 포화 임계 레벨(1022)에 의해 제거된다. 도 11의 우측에 도시한 바와 같이, 박스채움 절차는 화상(1014(a))의 휘도를 휘도 채움 양(1030)만큼 증가시킴으로써 화상(1018 및 1014(a))의 각각의 휘도 총계를 등화하는 데 유리하게 이용되어 새로운 등화된 화상(1014(b))을 생성한다.

도 11의 실시 형태에서, 깊이 평가기(416)(도 4) 또는 다른 적절한 엔티티는 초기에 각각의 픽쳐(1014(a) 및 1018) 내의 포화된 필박스의 총 휘도를 계산한다. 깊이 평가기(416)는 2개의 픽쳐(1014(a)와 1018) 사이의 총 휘도의 차를 결정한다. 이어서, 더 작은 총 휘도를 갖는 필박스 블러 화상(1014(a))에 대해, 깊이 평가기는 필박스 화상(1014(a))의 각 포화된 화소에 총 휘도의 평균 차를 가산하여 등화된 화상(1014(b))을 생성한다. 이 박스채움 기술은 2개의 화상이 체적/총 휘도에서 동일할 때까지 더 작은 필박스(1014(a))를 채우는 것으로서 특징지워질 수 있다. 상술한 박스채움 절차를 완료한 후, 깊이 평가기(416)는 필박스 블러 화상(1014(b) 및 1018)을 비포화된 필박스로서 처리할 수 있고, 도 9와 관련하여 상술한 가우스화 절차로 블러 매칭을 수행할 수 있다.

본 발명이 소정의 실시 형태들을 참조하여 위에 설명되었다. 본 개시에 비추어서 본 기술 분야에 통상의 지식을 가진 자에게는 다른 실시 형태들이 분명하게 될 것이다. 예들 들어, 본 발명은 상기 실시 형태들에서 설명된 것들 이외의 구성 및 기술을 이용하여 용이하게 구현될 수 있다. 부가적으로, 본 발명은 상술한 것들 이외의 시스템과 함께 효과적으로 이용될 수 있다. 따라서, 설명된 실시 형태들에 대한 이들 및 다른 변화는 첨부된 청구 범위에 의해서만 제한되는, 본 발명에 의해 커버되는 것으로 의도된다.

110: 카메라 장치, 114: 캡쳐 서브시스템, 118: 제어 모듈, 220: 렌즈, 218: 셔터, 224: 화상 센서, 232: 인터페이스, 308: 뷰파인더, 344: CPU, 346: 메모리, 348: I/O, 518: 초점이 흐려진 블러 화상

Claims

깊이 평가 절차를 수행하는 시스템으로서,
사진 타겟의 필박스 블러 화상(pillbox blur image)을 캡쳐하는 센서 장치; 및
상기 필박스 블러 화상을 가우스 블러 화상으로 변환하는 가우스화 절차를 수행한 후, 상기 가우스 블러 화상을 이용하여 상기 깊이 평가 절차를 수행하는 깊이 평가기를 포함하는, 깊이 평가 절차 수행 시스템.
제1항에 있어서,
상기 깊이 평가기는 상기 필박스 화상을 가우스화 커널로 콘볼브(convolve)함으로써 상기 가우스화 절차를 수행하여 상기 가우스 블러 화상을 생성하는, 깊이 평가 절차 수행 시스템.
제2항에 있어서,
상기 가우스화 커널은, 모든 행렬 값이 동일 값이고 상기 모든 행렬 값의 합이 1인 정방 행렬을 갖는 박스 함수로서 구현되는, 깊이 평가 절차 수행 시스템.
제2항에 있어서,
상기 가우스화 커널은 다음 식에 따라 2개의 1차원 함수의 텐서 곱(tensor product)으로서 표현된 2차원의 균일한 박스 함수로서 구현되고,

여기서 m과 n은 화소 좌표이고, M과 N은 상기 가우스화 커널의 행렬의 각 치수인, 깊이 평가 절차 수행 시스템.
제1항에 있어서,
상기 깊이 평가기는 상기 필박스 블러 화상이 포화 임계 레벨에 의해 클립(clip)된 것으로 판정한 후, 상기 가우스화 절차를 수행하기 전에 상기 필박스 블러 화상에 대한 에너지 총계를 등화시키기 위한 박스채움(fillbox) 절차를 수행하는, 깊이 평가 절차 수행 시스템.
제5항에 있어서,
상기 깊이 평가기는, 제1 화상의 제1 총 휘도 및 제2 화상의 제2 총 휘도를 초기에 계산함으로써 상기 박스채움 절차를 수행하고, 상기 제1 총 휘도와 상기 제2 총 휘도 사이의 휘도 차를 결정하는, 깊이 평가 절차 수행 시스템.
제6항에 있어서,
상기 깊이 평가기는, 상기 제1 화상과 상기 제2 화상의 상기 에너지 총계가 등화되도록 상기 필박스 블러 화상 중 작은 총 휘도를 갖는 필박스 블러 화상에 상기 휘도 차를 가산함으로써 상기 박스채움 절차를 완료하는, 깊이 평가 절차 수행 시스템.
제1항에 있어서,
상기 센서 장치 및 상기 깊이 평가기는 상기 깊이 평가 절차로부터의 하나 이상의 깊이 값을 이용하여 자동 초점 절차를 수행하는 전자 카메라 장치에서 구현되는, 깊이 평가 절차 수행 시스템.
제8항에 있어서,
상기 센서 장치는 초점이 흐려진(defocused) 제1 렌즈 위치를 이용하여 사진 타겟에 대응하는 화상1을 캡쳐하고, 이어서, 상기 카메라 장치는 상기 초점이 흐려진 제1 렌즈 위치와 다른 초점이 흐려진 제2 렌즈 위치로 조정되고, 상기 센서 장치는 상기 초점이 흐려진 제2 렌즈 위치를 이용하여 상기 사진 타겟에 대응하는 화상2를 캡쳐하고, 상기 초점이 흐려진 제2 렌즈 위치는 상기 초점이 흐려진 제1 렌즈 위치보다 초점이 덜 맞추어진, 깊이 평가 절차 수행 시스템.
제9항에 있어서,
상기 깊이 평가기는 커널 K 및 가우스화 커널을 선택하는, 깊이 평가 절차 수행 시스템.
제10항에 있어서,
상기 커널 K는 작은 분산을 갖는 가우스 3 x 3 행렬로서 구현되는, 깊이 평가 절차 수행 시스템.
제10항에 있어서,
상기 가우스화 커널은, 모든 행렬 값이 동일 값이고 상기 모든 행렬 값의 합이 1인 정방 행렬을 갖는 박스 함수로서 구현되는, 깊이 평가 절차 수행 시스템.
제10항에 있어서,
상기 깊이 평가기는 제1 콘볼류션 절차에서 상기 화상1을 상기 커널 K로 콘볼브하여 현재의 콘볼브된 화상1을 생성하는, 깊이 평가 절차 수행 시스템.
제13항에 있어서,
상기 깊이 평가기는, 제1 블러 화상 매칭 절차에서 상기 현재의 콘볼브된 화상1을 상기 화상2와 비교하고, 제1 매칭 결과에 도달할 때까지 상기 콘볼류션 절차의 추가 반복을 수행하는, 깊이 평가 절차 수행 시스템.
제14항에 있어서,
상기 깊이 평가기는, 가우스화 커널을 이용하여 상기 현재의 콘볼브된 화상1 및 상기 화상2에 대해 상기 가우스화 절차를 수행하여 가우스 화상1 및 가우스 화상2를 생성하는, 깊이 평가 절차 수행 시스템.
제15항에 있어서,
상기 깊이 평가기는 제2 콘볼류션 절차에서 상기 가우스 화상1을 상기 커널 K로 콘볼브하여 현재의 콘볼브된 가우스 화상1을 생성하는, 깊이 평가 절차 수행 시스템.
제16항에 있어서,
상기 깊이 평가기는, 제2 블러 화상 매칭 절차에서 상기 현재의 콘볼브된 가우스 화상1을 상기 가우스 화상2와 비교하고, 제2 매칭 결과에 도달할 때까지 상기 제2 콘볼류션 절차의 추가 반복을 수행하고, 상기 추가 반복에 기초하여 총 반복 횟수를 생성하는, 깊이 평가 절차 수행 시스템.
제17항에 있어서,
상기 깊이 평가기는, 상기 총 반복 횟수를 이용하여 상기 깊이 평가 절차를 위한 매칭 곡선을 생성하고, 상기 매칭 곡선을 이용하여 상기 사진 타겟에 대응하는 깊이 값을 생성하는, 깊이 평가 절차 수행 시스템.
제18항에 있어서,
상기 깊이 평가기는 감소된 크기의 가우스화 커널로 상기 필박스 블러 화상의 세그먼트를 처리하는 다단계 가우스화 절차를 수행하는, 깊이 평가 절차 수행 시스템.
깊이 평가 절차를 수행하는 방법으로서,
사진 타겟의 필박스 블러 화상을 캡쳐하는 센서 장치를 제공하는 단계; 및
깊이 평가기에 의해, 상기 필박스 블러 화상을 가우스 블러 화상으로 변환하는 가우스화 절차를 수행한 후, 상기 가우스 블러 화상을 이용하여 상기 깊이 평가 절차를 수행하는 단계
를 포함하는, 깊이 평가 절차 수행 방법.