KR20120099713A - 장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘 - Google Patents

장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘 Download PDF

Info

Publication number
KR20120099713A
KR20120099713A KR1020127014350A KR20127014350A KR20120099713A KR 20120099713 A KR20120099713 A KR 20120099713A KR 1020127014350 A KR1020127014350 A KR 1020127014350A KR 20127014350 A KR20127014350 A KR 20127014350A KR 20120099713 A KR20120099713 A KR 20120099713A
Authority
KR
South Korea
Prior art keywords
image
curve information
distance
subject
focus position
Prior art date
Application number
KR1020127014350A
Other languages
English (en)
Other versions
KR101429371B1 (ko
Inventor
얼 웡
핑샨 리
마모루 스기우라
마끼비 나까무라
히데노리 구시다
요시히로 무라까미
소로 트리테야프라이서트
Original Assignee
소니 주식회사
소니 일렉트로닉스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사, 소니 일렉트로닉스 인코포레이티드 filed Critical 소니 주식회사
Publication of KR20120099713A publication Critical patent/KR20120099713A/ko
Application granted granted Critical
Publication of KR101429371B1 publication Critical patent/KR101429371B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

2개 사진 매칭 곡선 정보가, 장면 내에서의 정확한 피사체 거리 또는 상대적인 피사체 거리를 결정하기 위해 이용될 수 있다. 곡선 정보 외에, 상이한 블러 정보(blur information)를 갖는 2개의 화상을 취득함으로써, 장치는 장면 내의 피사체들의 거리 정보를 결정할 수 있게 된다. 거리 정보는 깊이 맵을 생성하는 단계를 포함하는 화상 프로세싱에 이용될 수 있고, 그 후 깊이 맵은 많은 촬상 애플리케이션들에 이용될 수 있다.

Description

장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘{ALGORITHMS FOR ESTIMATING PRECISE AND RELATIVE OBJECT DISTANCES IN A SCENE}
본 발명은 화상 프로세싱의 분야에 관한 것이다. 더 구체적으로, 본 발명은 장면 내의 피사체 거리들을 결정하는 것에 관한 것이다.
깊이 맵(Depth Map(DM))은, 카메라 센서로부터 장면 내에서의 하나의 화소마다 대응하는 포인트까지의 거리를 나타내는 맵이다. 전통적인 DM 생성 방법들로서는, 카메라로부터의 거리를 계측하기 위해 음향파를 이용하거나, 또는 레이저 패턴을 투사하거나, 또는 어떤 다른 수단으로 장면을 주사하는 레인지 센서들(range sensors), 및 2개 이상의 카메라/렌즈를 이용하여 장면의 복수의 화상들을 취득한 다음, 장면 내의 포인트들을 삼각 측량하기 위해 그들을 매칭하는 입체 시스템들(stereoscopic systems)을 포함한다. 이 두 경우 모두에서, 싱글 렌즈 카메라들은 DM을 생성하기 위해 부가적인 하드웨어를 필요로 한다.
장면 내에서의 정확한 피사체 거리 또는 상대적인 피사체 거리를 결정하기 위해, 2개 사진 매칭 곡선 정보(two picture matching curve information)가 이용될 수 있다. 곡선 정보 외에, 상이한 블러 정보(blur information)를 갖는 2개의 화상을 취득함으로써, 장치는 장면 내의 피사체들의 거리 정보를 결정할 수 있게 된다. 거리 정보는 깊이 맵을 생성하는 단계를 포함하는 화상 프로세싱에 이용될 수 있고, 그 후 깊이 맵은 많은 촬상 애플리케이션들에 이용될 수 있다.
일 양태에 있어서, 장치에 구현되는 방법은, 장면의 제1 화상을 취득하는 단계, 장면의 제2 화상을 취득하는 단계, 및 곡선 정보를 이용하여 장면 내의 피사체의 장치-피사체 거리를 결정하는 단계를 포함한다. 곡선 정보는 사전에 계산된다. 곡선 정보를 이용하는 단계는, 제1 화상과 제2 화상 중 하나를 제1 화상과 제2 화상 중 다른 하나의 흐릿함까지 블러링(blur)하기 위해 이용되는 컨볼루션들의 수를 결정하는 단계, 컨볼루션들의 수를 이용하여 곡선 정보에 기초해서 피사체-포커스 위치 거리를 결정하는 단계, 장치-포커스 위치 거리를 산출하는 단계, 및 피사체-포커스 위치 거리와 장치-포커스 위치 거리를 가산함으로써 장치-피사체 거리를 결정하는 단계를 포함한다. 곡선 정보는 복수의 곡선을 포함한다. 이 방법은 곡선 정보를 생성하는 단계를 더 포함한다. 곡선 정보를 생성하는 단계는 상이한 블러량들(blur quantities)로 복수의 화상을 취득하는 단계를 포함한다. 제1 화상 및 제2 화상은 상이한 블러량을 갖는다. 상이한 블러량은 제1 화상의 취득과 제2 화상의 취득 사이에 포커스 위치를 변경함으로써 달성된다. 이 방법은 깊이 맵을 생성하는 단계를 더 포함한다. 이 방법은 깊이 맵을 저장하는 단계를 더 포함한다. 이 방법은 깊이 맵을 이용하여 애플리케이션을 수행하는 단계를 더 포함한다. 애플리케이션은, 자동 포커스, 자동 노광, 줌 설정, 어퍼처 설정, 플래쉬 설정, 셔터 속도, 화이트 밸런스, 노이즈 저감, 감마 보정(gamma correction), 모션 예측, 화상/비디오 압축, 블러 생성, 화질 향상, 3-D 화상 생성, 섀도우 제거, 및 피사체 세그먼테이션(object segmentation)을 포함하는 그룹으로부터 선택된다. 장치는, 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 휴대용 컴퓨터, 퍼스널 디지털 어시스턴트(personal digital assistant), 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 재생기, DVD 기록기/재생기, 텔레비전, 및 가정용 오락 시스템을 포함하는 그룹으로부터 선택된다.
다른 실시 형태에 있어서, 화상 내의 피사체들의 거리들을 결정하도록 구성된 장치에 구현되는 시스템은, 제1 화상 및 제2 화상을 취득하도록 구성된 화상 취득 모듈, 화상 취득 모듈에 접속되어 동작하고 곡선 정보를 생성하도록 구성된 곡선 생성 모듈, 및 곡선 생성 모듈에 접속되어 동작하고 화상 내의 피사체의 장치-피사체 거리를 산출하도록 구성된 거리 산출 모듈을 포함한다. 거리 산출 모듈은, 제1 화상과 제2 화상 중 하나를 제1 화상과 제2 화상 중 다른 하나의 흐릿함(blurriness)까지 블러링하기 위해 이용되는 컨볼루션들의 수를 결정하는 단계, 컨볼루션들의 수를 이용하여 곡선 정보에 기초해서 피사체-포커스 위치 거리를 결정하는 단계, 장치-포커스 위치 거리를 산출하는 단계, 및 피사체-포커스 위치 거리와 장치-포커스 위치 거리를 가산함으로써 장치-피사체 거리를 결정하는 단계에 의해, 곡선 정보를 이용한다. 곡선 정보는 상이한 블러량들로 복수의 화상의 타겟 데이터를 취득함으로써 결정된다. 곡선 정보는 복수의 곡선을 포함한다. 제1 화상 및 제2 화상은 상이한 블러량을 갖는다. 상이한 블러량은 제1 화상의 취득과 제2 화상의 취득 사이에 포커스 위치를 변경함으로써 달성된다. 이 시스템은 거리 산출 모듈에 접속되어 동작하는 깊이 맵 생성 모듈을 더 포함하고, 깊이 맵 생성 모듈은 깊이 맵을 생성하도록 구성된다. 깊이 맵은 저장된다. 깊이 맵을 이용하여 애플리케이션을 수행한다. 애플리케이션은, 자동 포커스, 자동 노광, 줌 설정, 어퍼처 설정, 플래쉬 설정, 셔터 속도, 화이트 밸런스, 노이즈 저감, 감마 보정, 모션 예측, 화상/비디오 압축, 블러 생성, 화질 향상, 3-D 화상 생성, 섀도우 제거, 및 피사체 세그먼테이션을 포함하는 그룹으로부터 선택된다. 장치는, 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 휴대용 컴퓨터, 퍼스널 디지털 어시스턴트, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 재생기, DVD 기록기/재생기, 텔레비전, 및 가정용 오락 시스템을 포함하는 그룹으로부터 선택된다.
다른 양태에 있어서, 장치는, 장면의 제1 화상을 취득하는 단계, 장면의 제2 화상을 취득하는 단계, 및 곡선 정보를 이용하여 장면 내의 하나 이상의 피사체의 거리를 결정하는 단계를 수행하도록 구성된 애플리케이션을 저장하는 메모리, 및 메모리에 접속되고 애플리케이션을 프로세싱하도록 구성된 프로세싱 컴포넌트를 포함한다. 곡선 정보를 이용하는 단계는, 제1 화상과 제2 화상 중 하나를 제1 화상과 제2 화상 중 다른 하나의 흐릿함까지 블러링하기 위해 이용되는 컨볼루션들의 수를 결정하는 단계, 컨볼루션들의 수를 이용하여 곡선 정보에 기초해서 피사체-포커스 위치 거리를 결정하는 단계, 장치-포커스 위치 거리를 산출하는 단계, 및 피사체-포커스 위치 거리와 장치-포커스 위치 거리를 가산함으로써 장치-피사체 거리를 결정하는 단계를 포함한다. 곡선 정보는 사전에 결정된다. 곡선 정보는 복수의 곡선을 포함한다. 애플리케이션은 또한 곡선 정보를 생성하는 단계를 수행하도록 구성된다. 곡선 정보를 생성하는 단계는 상이한 블러량들로 복수의 화상을 취득하는 단계를 포함한다. 제1 화상 및 제2 화상은 상이한 블러량을 갖는다. 상이한 블러량은 제1 화상의 취득과 제2 화상의 취득 사이에 포커스 위치를 변경함으로써 달성된다. 이 애플리케이션은 또한 깊이 맵을 생성하는 단계를 수행하도록 구성된다. 깊이 맵은 저장된다. 이 애플리케이션은 또한 깊이 맵을 이용하여 촬상 애플리케이션을 수행하는 단계를 수행하도록 구성된다. 촬상 애플리케이션은, 자동 포커스, 자동 노광, 줌 설정, 어퍼처 설정, 플래쉬 설정, 셔터 속도, 화이트 밸런스, 노이즈 저감, 감마 보정, 모션 예측, 화상/비디오 압축, 블러 생성, 화질 향상, 3-D 화상 생성, 섀도우 제거, 및 피사체 세그먼테이션을 포함하는 그룹으로부터 선택된다. 장치는, 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 휴대용 컴퓨터, 퍼스널 디지털 어시스턴트, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 재생기, DVD 기록기/재생기, 텔레비전, 및 가정용 오락 시스템을 포함하는 그룹으로부터 선택된다.
다른 양태에 있어서, 장치에 있어서 곡선 정보를 생성하는 방법은, 장면 내의 검사 피사체의 제1 화상 및 제2 화상을, 제2 화상에 대해선 변경된 포커스 위치로, 취득하는 단계, 제1 화상과 제2 화상 간의 블러의 변화를 산출하는 단계, 및 복수의 상이한 포커스 위치에 대하여 상기의 단계들을 반복하여 곡선 정보를 생성하는 단계를 포함한다. 이 방법은 장면 내의 검사 피사체를 식별하는 단계를 더 포함한다. 검사 피사체의 화상은 고정된 줌 및 어퍼처에 대해 취득된다. 곡선 정보를 생성하는 단계는, 장치를 캘리브레이트하는 동안 일어난다. 곡선 정보는 장치에 저장된다. 장치는, 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 휴대용 컴퓨터, 퍼스널 디지털 어시스턴트, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 재생기, DVD 기록기/재생기, 텔레비전, 및 가정용 오락 시스템을 포함하는 그룹으로부터 선택된다.
도 1은 소정의 실시 형태들에 따른 곡선을 도시하는 그래프이다.
도 2a 및 도 2b는 소정의 실시 형태들에 따라 사진을 취득하는 카메라를 도시하는 도면이다.
도 3a 및 도 3b는 소정의 실시 형태들에 따라 컨볼루션들을 이용하여 사진의 포커스에 영향을 주는 것을 도시하는 도면이다.
도 4는 소정의 실시 형태들에 따른 컨볼루션들 및 거리를 도시하는 도면이다.
도 5는 소정의 실시 형태들에 따른 곡선을 도시하는 도면이다.
도 6은 소정의 실시 형태들에 따라 화상을 블러링하기 위한 예시적인 화상 및 컨볼루션들의 세트를 도시하는 도면이다.
도 7은 소정의 실시 형태들에 따라 화상 내의 거리들을 결정하는 것을 도시하는 도면이다.
도 8은 소정의 실시 형태들에 따른 일련의 곡선들을 도시하는 도면이다.
도 9는 소정의 실시 형태들에 따라 장치를 이용하여 피사체 거리들을 결정하는 방법을 도시하는 흐름도이다.
도 10은 소정의 실시 형태들에 따라 피사체 거리들을 결정하는 예시적인 컴퓨팅 장치를 도시하는 블록도이다.
간단한 렌즈 모델에 기초해서 수학식을 이용하여 장면 내의 피사체 거리들을 산출하는 것에 대해 앞서 설명했다. 이 수학식에의 입력은, 2개 사진 매칭 곡선 정보뿐만 아니라 초점 길이, 어퍼처 사이즈, 및 기타 정보 등의 고유 카메라 파라미터들이다.
전술한 수학식을 이용하는 것 대신, 2개 사진 매칭 곡선 정보가, 장면 내의 정확한 피사체 거리 또는 상대적인 피사체 거리를 결정하기 위해 이용될 수 있다.
2개 사진 매칭 곡선은, CCD(Charge-Coupled Device) 또는 CMOS(Complimentary Metal-Oxide-Semiconductor) 센서를 채택하는 임의의 촬상 장치에 의해 캡처된 데이터로부터 산출되는 물리적인 양이다. 2개 사진 매칭 곡선 상의 특정 포인트는 다음의 방식으로 생성된다. 고정된 카메라 줌(zoom) 및 어퍼처(aperture)에 대해, 검사 대상 또는 피사체의 사진이 특정 카메라 포커스 위치에 대해 캡처된다. 그 다음, 카메라 포커스 위치가 어떤 소량만큼 변경되고, 제2 사진이 캡처된다. 그 후, 검사 타겟 또는 피사체에 대한 블러의 변화가 산출된다. 그 후, 상이한 카메라 포커스 위치들에 대해 프로세스가 반복됨으로써, 2개 사진 매칭 곡선을 생성한다. 이웃하는 카메라 포커스 위치들이 M 심도들(M은 논-제로의 유리수의 양임)에 대응하는 어떤 고정량만큼 반복적으로 변경된다면, 가우시안 컨볼루션 커널(Gaussian convolution kernel)을 적용할 경우, 산출되는 2개 사진 매칭 곡선은 이론적으로 선형이다. 그 외에는, 곡선은 단조적으로 증가/감소한다. 카메라 포커스 위치가, 각각의 새로운 카메라 포커스 위치를 위해 그의 이전의 카메라 포커스 위치에 대해 상대적으로 고정된 M 심도만큼 변경되더라도, 카메라 렌즈의 불완전성에 기인하여, 선형성은 고정된 범위에 대해서만 존재한다.
캡처된 2개 사진 매칭 곡선의 예가 도 1에 도시된다. 수평축은 사진 넘버로서 정의되고, 종축은 반복 수(iterations number)(=컨볼루션들)로서 정의된다. 사진 넘버는(상이한 카메라 포커스 위치들과 연관된) 캡처된 화상들을 의미한다.
자연적 장면(natural scene)의 경우, 반복은 장면 내의 비-중첩 영역들로 계산되며 그와 연관된다. 그 후, 장면 내의 피사체들의 상대적 순서를(예를 들면, 어느 피사체들이 카메라에 더 가깝고, 어느 피사체들이 더 멀리 있는지를) 결정하거나, 또는 장면 내의 피사체들의 실제 거리를 근사적으로 추정하기 위해, 그 수가 이용된다. 반복 정보를 포함하는 매트릭스가 반복 맵(iteration map)으로서 정의된다.
상대적인 피사체 거리를 결정하기:
예를 들면, 문제의 장면은 다음의 기초적인 3×3 반복 맵을 갖는다.
Figure pct00001
매트릭스의 상부의 좌측 코너가 엔트리 (1, 1)로서 정의되고, 매트릭스의 하부의 우측 코너가 엔트리 (3, 3)으로서 정의된다면, 엔트리 (2, 2)에 위치된 피사체는 반복 맵 넘버 8에 대응한다. 이 피사체가 카메라에 가장 가깝다. 마찬가지로, 반복 맵 넘버 -7에 대응하는 엔트리 (3, 2)에 위치된 피사체는 카메라로부터 가장 멀다. 마찬가지로, 반복 맵 넘버 1에 대응하는 엔트리 (1, 3)에 위치된 피사체는 카메라의 현재 포커스 위치에 가장 가깝다.
반복 맵의 디멘전은 n×m이다. 또한, 반복 맵은 종종 경계 영역들에 대응하는 2개의 별개의 깊이를 포함하는 비-중첩 영역들(전경 피사체와 배경 피사체 등)을 포함한다. 이 위치들에서, 반복 맵 정보는 부정확하다. 일반적으로, 기초적인 필터링 또는 클러스터링 스킴은 비-경계 위치들에 있어서의 반복 맵 추정을 향상시키기 위해 이용될 수 있다. 그 후 반복 맵의 정보는 상대적인 피사체 거리 및 정확한 피사체 거리를 결정하기 위해 이용될 수 있다. 그러나, 문제의 피사체가 반복 맵 내에 몇몇의 비-중첩 영역들/복수의 이웃하는 엔트리들을 포함한다고 가정하면, 간단한 클러스터링 스킴을 채택함으로써, 상대적인 피사체 거리가 결정될 수 있다.
정확한 피사체 거리를 결정하기:
각각의 인접한 카메라 위치가 M 심도의 이동에 대응한다면, 피사체 거리를 산출하기 위해 반복 수가 이용될 수 있다. 이것은 도 1에 도시된다.
도 1에 있어서, 현재의 포커스 위치에 있는 문제의 피사체에 대한 반복 수는 K이다. 예시적으로, 현재의 포커스 위치에 연관된 2개 사진 매칭 곡선이 도 1에 도시된다. 그 곡선을 이용하면, K는, 현재의 포커스 위치로부터 [(N+8)-N]=8만큼 떨어져 있는 사진 넘버에 대응한다. 그 후, 피사체의 거리가 8 * M 심도로서 결정될 수 있다.
각각의 연속적인 사진 넘버 위치는 수학식으로부터 산출된다. 한가지 가능성은, 각각의 연속한 사진 넘버 위치를, 어떤 기준 사진 넘버 1[또는 Nmax]로부터, 또는 1과 Nmax 사이의 어떤 다른 사진 넘버로부터 전방(또는 후방)의 심도 위치로서 산출하는 것이다. 현재의 카메라 포커스 위치를 이용하여 피사체 위치를 산출하기 위해, 하기에 나타낸 코드(sign(depth_of_fields)==1)가 적용될 수 있다. 각각의 새로운 카메라 포커스 위치는 새롭게 산출된 전방 심도 위치의 대체에 의해 산출된다. 하기에 주어진 예에서, 카메라 초점 길이(focal length), fnumber, 및 시작하는 포커스 거리(사진 넘버 N=1에 대응함)는 각각 63㎜, 5.2, 및 1㎝이다. 프로세스는 피사체 거리를 결정하기 위해 8회 반복된다.
Figure pct00002
마찬가지로, 후방 심도 위치들도 산출될 수 있고 이용될 수 있다. 이 경우, distance_focus = H/2[N=Nmax에 대응함]이고 sign(depth_of_fields) 옵션이 -1로서 선택된다.
마찬가지로, "교과서" 심도 정의에 기초하여 새로운 사진 넘버 위치들이 전방 방향으로 산출될 수 있다. 여기서, distance_focus = 1이고, Dno1 및 Dfo1 양방이 전술한 식들을 이용하여 산출된다. 다음의 사진 넘버 위치에 대응하는 다음의 포커스 위치를 산출하기 위해, 하기의 방정식을 푼다.
Figure pct00003
프로세스는 모든 후속의 거리 포커스 위치들을 생성하기 위해 반복된다.
Figure pct00004
마찬가지로, 새로운 사진 넘버 위치들이 "교과서" 심도 정의에 기초하여 역방향으로 산출된다. 여기서, distance_focus = H/2이고 Dno1 및 Dfo1 양방이 상기의 식들을 이용하여 산출된다. 다음의 사진 넘버 위치에 대응하는 다음의 포커스 위치를 산출하기 위해, 하기의 방정식을 푼다.
Figure pct00005
프로세스는 모든 후속의 거리 포커스 위치들을 생성하기 위해 반복된다.
Figure pct00006
식들과 정의들에 대한 다른 변형들도 이용될 수 있다.
사진 넘버 위치들은 사전에 결정된 수학식을 이용하여 산출된다. 수학식을 반복함으로써, 특정 반복 수에 연관된 피사체 깊이가 결정될 수 있다.
도 2a는 소정의 실시 형태들에 따라 사진을 취득하는 카메라를 도시하는 도면이다. 장면을 보는 카메라는 줌(z1) 및 어퍼처 사이즈(a1) 등의 특정 세팅을 갖는다. 카메라는 또한 포커스 위치(f1)를 갖는다. 이 정보로부터, 거리(D1)가 산출될 수 있다. 도 2a에 있어서, 사람에 포커스되고 태양이 블러링된 화상이 도시된다. 카메라로부터, 카메라가 포커스되는, 즉, 사람이 있는 곳까지의 거리는 D1이다.
도 2b는 소정의 실시 형태들에 따라 사진을 취득하는 카메라를 도시하는 도면이다. 줌 및 어퍼처 사이즈는 동일하게 유지되나, 포커스 위치(f2)는 변경된다. 그런 다음, 이 정보로부터, 거리(D2)가 산출될 수 있다. 일반적으로, distance = function(zL, aL, fL)이다. 도 2b에 있어서는, 도 2a와 대조적으로, 화상이 태양에 더 가까이 포커스되고, 사람이 블러링된다. 카메라로부터, 카메라가 포커스되는, 즉, 사람 뒤에 있는 곳까지의 거리는 D2이다. 따라서, 도 2a 및 도 2b에서 취득된 화상들을 비교할 때, 하나는 포커스된 사람과 블러링된 태양을 갖고, 다른 하나는 블러링된 사람과 덜 블러링된 태양을 갖는다. 이 화상들은 사람 등의 화상 내의 모든 피사체들의 거리를 결정하기 위해 이용될 수 있다.
도 3a는 소정의 실시 형태들에 따라 컨볼루션을 이용하여 사진의 포커스에 영향을 주는 것을 도시하는 도면이다. 2개의 사진이 찍혀지고, 예를 들어, 제1 사진은 처음에 사람에 포커스되고 태양이 블러링되고, 제2 사진은 태양에 더 가까이 포커스되고 사람은 블러링된다. 제1 사진에 있어서 사람을 제2 사진의 사람과 같이 블러링하는 것을 목표로 하여, 수학적 컨볼루션 연산들이 적용될 수 있다. 컨볼루션들은 반복되어, 각각의 반복 후에 제1 사진과 제2 사진의 근사성이 확인된다. 따라서, 각각의 반복은 사람을 더 블러링한다. 결국, 블러링이 매칭될 것이고, 그 이상의 블러링은 제1 사진을 제2 사진보다 더 블러링되게 할 것이다. M 컨볼루션 등의 컨볼루션들의 수는 기록될 수 있다.
도 3b는 소정의 실시 형태들에 따라 컨볼루션을 이용하여 사진의 포커스에 영향을 주는 것을 도시하는 도면이다. 도 3a에서 사람을 블러링하기 위한 컨볼루션들과 마찬가지로, 태양이 N 컨볼루션으로 블러링되어 블러의 매칭이 달성될 수 있다.
도 4는 소정의 실시 형태들에 따른 컨볼루션들 및 거리를 도시하는 도면이다. 포커스 포인트(예를 들면, 검사 타겟의 포커스 위치)를 초과하여 사진 쌍을 찍은 경우, 컨볼루션 연산자의 부호는 포지티브이고, 포커스 포인트 앞에서의 사진 쌍의 경우, 그 부호는 네거티브이다. 바꿔 말하면, 사진 쌍이 포커스 포인트를 초과한 경우, 제2 사진이 제1 사진보다 더 블러링되어, 컨볼루션 연산자가 포지티브로 될 것이다. 그러나, 사진 쌍이 포커스 포인트 앞인 경우, 제1 사진이 제2 사진보다 더 블러링되어, 컨볼루션 연산자의 부호는 네거티브로 될 것이다. 부호는 방향을 나타낸다. 이것은 사진 쌍이 찍혀지는 곳에 의존하여 넘버들의 시퀀스를 구할 수 있게 한다. 도 1에서 설명된 바와 같이, 곡선이 생성될 수 있다. 그 후, 사진 쌍들, 사진 쌍들과 관련된 컨볼루션들, 및 생성된 곡선을 이용하여, 도 5에 도시된 바와 같이 거리들이 결정될 수 있다.
도 6은 소정의 실시 형태들에 따라 화상을 블러링하기 위한 예시적인 화상 및 컨볼루션들의 세트를 도시하는 도면이다. 도 7은 소정의 실시 형태들에 따라 화상 내의 거리들을 결정하는 것을 도시하는 도면이다. 도 6의 선명한 자동차를 덜 선명한 자동차로 블러링하기 위한 컨볼루션들의 수는 L 컨볼루션들이다. 그 후, 곡선을 이용하여, L 컨볼루션들에 의해 자동차에 대한 거리, 즉, d_car를 얻는다. 포커스 위치가 알려져 있으므로, 포커스 위치로부터 자동차까지의 거리가 결정될 수 있다. 자동차로부터 카메라까지의 거리는 d_car + d_camera이다.
각 카메라에 대해 곡선이 생성된다. 어떤 실시 형태들에서는, 카메라가 캘리브레이트될 때, 곡선이 생성되어 카메라에 저장된다. 어떤 실시 형태들에서는, 성능을 향상시키기 위해 복수의 곡선이 생성된다. 곡선들의 경사들은, 카메라가 어디에 포커스되어 있는지 등의 복수의 인자에 의존하여 약간 상이해질 수 있어서, 한 곡선이 다른 곡선보다 이용하기에 더 적합하게 된다. 어떤 실시 형태들에 있어서, 카메라가 어디에 포커스되어 있는지에 기초하여 곡선이 곡선들의 세트로부터 선택된다. 어떤 실시 형태들에 있어서, 곡선은 다른 인자에 기초하여 선택된다.
사진 쌍을 취득하는 것은, 심도의 일부분을 이격시켜 2개의 사진을 찍는 것을 수반한다. 어떤 실시 형태들에 있어서, 심도의 이격은 유리수이다. 예를 들면, 이격은 1 심도, 2 심도, 또는 0.5 심도 등이다. 하나 이상의 곡선이 카메라 등의 장치 내에 저장된다. 도 8은 소정의 실시 형태들에 따른 일련의 곡선들을 도시하는 도면이다. 그 후, 2개의 사진들의 포커스 위치들을 이용하여, 어느 곡선이 적절한지, 그리고 그 곡선에 기초한 거리는 얼마인지 결정된다. 카메라 파라미터들이 변경되면, 곡선들이 변경될 수 있다. 곡선들과 전술한 정보를 이용하여, 화상 내의 피사체들의 거리들, 및 깊이 맵이 결정될 수 있다. 깊이 맵은, 장면 내의 많은 피사체들에 대한 거리들을 확정하고, 그 후 거리들이 맵핑됨으로써 결정될 수 있고, 이에 의해 깊이 맵이 생성된다. 곡선들은 룩업 테이블(lookup table) 등의 임의의 데이터 구조체 내에 저장될 수 있다.
도 9는 소정의 실시 형태들에 따라 장치를 이용하여 피사체 거리들을 결정하는 방법을 도시하는 흐름도이다. 단계 900에 있어서, 제1 화상이 취득된다. 단계 902에 있어서, 제2 화상이 취득된다. 제1 화상과 제2 화상은 상이한 블러량을 갖는다. 단계 904에 있어서, 결정된 곡선을 이용하여, 취득된 화상들 내의 하나 이상의 피사체들의 거리를 결정한다. 거리는, 더 선명한 화상(예를 들면, 제1 화상)을 덜 선명한 화상(예를 들면, 제2 화상)까지 블러링하기 위해 이용될 컨볼루션들의 수를 결정하고, 그런 다음, 컨볼루션들의 수를 이용하여 곡선에 기초해서(도 5를 참조) 피사체로부터 포커스 위치까지의 거리(예를 들면, 피사체-포커스 위치 거리)를 결정함으로써, 산출된다. 포커스 위치가 알려져 있으므로, 카메라로부터 포커스 위치까지의 거리(예를 들면, 장치-포커스 위치 거리)가 산출될 수 있다. 그런 다음, 카메라로부터 포커스 위치까지의 거리를 포커스 위치로부터 피사체까지의 거리와 가산하면, 카메라로부터 피사체의 총 거리가 된다. 카메라까지의 피사체의 거리를 산출하는 것 외에, 상대적인 피사체 거리도 산출될 수 있다. 예를 들어, 2개의 분리된 피사체들에 대해 피사체까지의 포커스 위치 거리들이 산출된다면, 그 거리들은 상대적인 피사체 거리를 결정하기 위해 이용될 수 있다. 곡선은, 전술한 바와 같이, 상이한 블러량들을 갖는 타겟의 화상들을 취득함으로써 결정된다. 어떤 실시 형태들에서는, 단계 906에 있어서, 깊이 맵은 결정된 거리들에 기초하여 생성된다. 어떤 실시 형태들에 있어서, 결정된 곡선은 제1 화상이 취득되기 전에 결정되어 저장된다. 단계 908에 있어서, 깊이 맵이 저장된다. 어떤 실시 형태들에 있어서, 깊이 맵은 저장되지 않고 단계 908이 생략될 수 있다. 단계 910에 있어서, 깊이 맵을 이용하여 후술하는 애플리케이션 등의 애플리케이션들을 수행한다.
도 10은 소정의 실시 형태들에 따라 화상 내의 피사체 거리들을 결정하는 예시적인 컴퓨팅 장치를 도시하는 블록도이다. 컴퓨팅 장치(1000)는 화상 및 비디오 등의 정보를 취득하고, 저장하고, 계산하고, 통신하고, 그리고/또는 표시하기 위해 이용될 수 있다. 예를 들면, 컴퓨팅 장치(1000)는 취득된 사진으로부터의 정보를 이용하여 연산을 수행할 수 있을 뿐만 아니라, 사진을 취득할 수 있고 저장할 수 있다. 일반적으로, 컴퓨팅 장치(1000)를 구현하기에 적합한 하드웨어 구조는 네트워크 인터페이스(1002), 메모리(1004), 프로세서(1006), I/O 장치(들)(1008), 버스(1010), 및 스토리지 장치(1012)를 포함한다. 프로세서의 선택은, 충분한 속도를 갖는 적합한 프로세서가 선택되는 한, 크게 상관없다. 메모리(1004)는 업계에 알려져 있는 임의의 통상적인 컴퓨터 메모리일 수 있다. 스토리지 장치(1012)는 하드 드라이브, CDROM, CDRW, DVD, DVDRW, 플래시 메모리 카드, 또는 임의의 다른 스토리지 장치를 포함할 수 있다. 컴퓨팅 장치(1000)는 하나 이상의 네트워크 인터페이스(1002)를 포함할 수 있다. 네트워크 인터페이스의 예로서는, Ethernet 또는 다른 종류의 LAN에 접속된 네트워크 카드를 포함한다. I/O 장치(들)(1008)는 다음의 것들, 즉, 키보드, 마우스, 모니터, 디스플레이, 프린터, 모뎀, 터치스크린, 버튼 인터페이스, 및 기타 장치 중 하나 이상을 포함할 수 있다. 거리 방법들을 수행하기 위해 이용되는 거리 애플리케이션(들)(1030)은 스토리지 장치(1012) 및 메모리(1004)에 저장되고, 애플리케이션들이 전형적으로 프로세싱되는 바와 같이 프로세싱되기 쉽다. 도 10에 도시된 다소의 컴포넌트들은 컴퓨팅 장치(1000)에 포함될 수 있다. 소정의 실시 형태들에 있어서, 거리 프로세싱 하드웨어(1020)가 포함된다. 비록 도 10의 컴퓨팅 장치(1000)가 애플리케이션들(1030) 및 거리 애플리케이션들용의 하드웨어(1020)를 포함하더라도, 거리 애플리케이션들은 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 임의의 조합으로 컴퓨팅 장치에서 구현될 수 있다.
어떤 실시 형태들에 있어서, 거리 애플리케이션(들)(1030)은 몇몇의 애플리케이션들 및/또는 모듈들을 포함한다. 어떤 실시 형태들에 있어서, 거리 애플리케이션(들)(1030)은, 복수의 화상/사진/비디오(예를 들면, 제1 화상/사진/비디오와 제2 화상/사진/비디오)를 취득하는 화상/사진/비디오 취득 모듈(1032), 곡선을 생성하는 곡선 생성 모듈(1034), 화상/사진/비디오 내의 피사체의 거리를 결정/산출하는 거리 산출 모듈(1036), 및 깊이 맵을 생성하는 깊이 맵 생성 모듈(1038)을 포함한다.
적합한 컴퓨팅 장치들의 예들로서는, 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 휴대용 컴퓨터, 퍼스널 디지털 어시스턴트, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 재생기, DVD 기록기/재생기, 텔레비전, 가정용 오락 시스템, 또는 임의의 다른 적합한 컴퓨팅 장치를 포함한다.
결정된 거리들 및 깊이 맵을 이용하기 위해, 애플리케이션들의 어떤 양태들은 촬상 프로세스 중 상이한 스테이지들에 적용될 수 있다. 화상/비디오가 취득되기 전에, 거리 및/또는 깊이 맵을 이용하는 애플리케이션들은 자동 포커스, 자동 노광, 줌 설정, 어퍼처 설정, 플래쉬 설정, 및 셔터 속도를 포함한, 그러나 이것들에 한정되지 않는 파라미터들을 설정할 수 있다. 이 애플리케이션들은 자동으로 구현될 수 있거나 또는 유저에 의해 수동으로 구현될 수 있다. 그런 다음, 유저는 타겟을 포인팅하거나 버튼을 누르는 등에 의해 임의의 화상/비디오를 취득고자 할 때, 화상/비디오를 취득할 수 있다. 화상/비디오가 취득되는 동안, 화이트 밸런스, 노이즈 저감, 감마 보정, 모션 예측, 및 화상/비디오 압축을 포함한, 그러나 그것에 한정되지 않는 부가적인 애플리케이션들이 화상에 영향을 줄 수 있다. 화상/비디오가 저장된 후, 포스트 프로세싱(post processing)이 일어날 수 있다. 예를 들면, 화상은 카메라/캠코더 또는 컴퓨터 등의 다른 장치에 저장된다. 입력 메커니즘을 이용하여, 유저는 화상/비디오에 대해 포스트 프로세싱 동작들을 수행할 수 있다. 어떤 실시 형태들에서는, 포스트 프로세싱이 유저 입력 없이 자동적으로 일어난다. 화상의 포스트 프로세싱의 예들로서는, 블러 생성, 화질 향상, 3-D 화상 생성, 섀도우 제거, 및 피사체 세그먼테이션을 포함하지만, 이것들에 한정되지 않는다. 이 단계들은 모두 거리 정보 및 깊이 맵으로부터 혜택을 받을 수 있다.
동작 중에, 곡선 정보 및 2개 이상의 화상을 이용하여 거리 정보 및/또는 깊이 맵을 결정함으로써, 화상/비디오 프로세싱이 많은 방법으로 향상될 수 있다. 곡선은 취득된 화상 정보를 이용하여 생성된다. 그런 다음, 상이한 블러를 갖는 2개 이상의 화상을 취득함으로써, 더 선명한 화상을 더 블러링된 화상까지 블러링하기 위한 컨볼루션들의 수가 기록될 수 있고, 그 후 그 수는 거리(피사체로부터 초점 위치까지의 거리 등)를 결정하기 위해 곡선과 함께 이용된다. 초점 위치로부터 카메라까지의 거리는 계산될 수 있다. 이 2개의 거리는 합해서 피사체로부터 카메라 또는 다른 장치까지의 거리이다. 화상/비디오가 취득되기 전에 카메라 세팅이 적절하게 구성됨으로써, 화상 취득이 향상될 수 있다. 취득된 화상의 화상 프로세싱이 향상될 수 있다. 거리 정보도 이용하여 화상의 포스트 프로세싱도 향상될 수 있다. 향상으로서는, 더 효율적인 프로세싱, 더 양질의 화상/비디오, 부가적인 특징, 및 기타 개선들을 포함한다.
본 발명은, 본 발명의 구성 및 동작의 원리의 이해를 용이하게 하기 위해 상세한 사항들을 포함하는 특정 실시 형태들과 관련하여 설명되었다. 이와 같은 특정 실시 형태들 및 그의 상세한 사항들에 대한 본 명세서에 있어서의 인용은 본 명세서에 첨부된 청구항들의 범위를 제한하고자 하는 것이 아니다. 당업자는 청구항들에 의해 정의된 본 발명의 사상 및 범위로부터 벗어나지 않고서, 예시용으로 선택된 실시 형태들에 있어서 다른 다양한 변형들이 만들어질 수 있다는 것을 쉽게 명백히 알 것이다.

Claims (43)

  1. 장치에 구현되는 방법으로서,
    a. 장면의 제1 화상을 취득하는 단계,
    b. 상기 장면의 제2 화상을 취득하는 단계, 및
    c. 곡선 정보를 이용하여 상기 장면 내의 피사체의 장치-피사체 거리를 결정하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 곡선 정보는 사전에 계산되는, 방법.
  3. 제1항에 있어서,
    상기 곡선 정보를 이용하는 단계는,
    a. 상기 제1 화상과 상기 제2 화상 중 하나를 상기 제1 화상과 상기 제2 화상 중 다른 하나의 흐릿함까지 블러링(blur)하기 위해 이용되는 컨볼루션들의 수를 결정하는 단계,
    b. 상기 컨볼루션들의 수를 이용하여 상기 곡선 정보에 기초해서 피사체-포커스 위치 거리를 결정하는 단계,
    c. 장치-포커스 위치 거리를 산출하는 단계, 및
    d. 상기 피사체-포커스 위치 거리와 상기 장치-포커스 위치 거리를 가산함으로써 장치-피사체 거리를 결정하는 단계를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 곡선 정보는 복수의 곡선을 포함하는, 방법.
  5. 제1항에 있어서,
    상기 곡선 정보를 생성하는 단계를 더 포함하는, 방법.
  6. 제5항에 있어서,
    상기 곡선 정보를 생성하는 단계는, 상이한 블러량들(blur quantities)로 복수의 화상을 취득하는 단계를 포함하는, 방법.
  7. 제1항에 있어서,
    상기 제1 화상 및 상기 제2 화상은 상이한 블러량을 갖는, 방법.
  8. 제7항에 있어서,
    상기 상이한 블러량은 상기 제1 화상의 취득과 상기 제2 화상의 취득 사이에 포커스 위치를 변경함으로써 달성되는, 방법.
  9. 제1항에 있어서,
    깊이 맵을 생성하는 단계를 더 포함하는, 방법.
  10. 제9항에 있어서,
    상기 깊이 맵을 저장하는 단계를 더 포함하는, 방법.
  11. 제10항에 있어서,
    상기 깊이 맵을 이용하여 애플리케이션을 수행하는 단계를 더 포함하는, 방법.
  12. 제11항에 있어서,
    상기 애플리케이션은, 자동 포커스, 자동 노광, 줌 설정, 어퍼처 설정, 플래쉬 설정, 셔터 속도, 화이트 밸런스, 노이즈 저감, 감마 보정, 모션 예측, 화상/비디오 압축, 블러 생성, 화질 향상, 3-D 화상 생성, 섀도우 제거, 및 피사체 세그먼테이션을 포함하는 그룹으로부터 선택되는, 방법.
  13. 제1항에 있어서,
    상기 장치는, 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 휴대용 컴퓨터, 퍼스널 디지털 어시스턴트, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 재생기, DVD 기록기/재생기, 텔레비전, 및 가정용 오락 시스템을 포함하는 그룹으로부터 선택되는, 방법.
  14. 화상 내의 피사체들의 거리들을 결정하도록 구성된 장치에 구현되는 시스템으로서,
    a. 제1 화상 및 제2 화상을 취득하도록 구성된 화상 취득 모듈,
    b. 상기 화상 취득 모듈에 접속되어 동작하고, 곡선 정보를 생성하도록 구성된 곡선 생성 모듈, 및
    c. 상기 곡선 생성 모듈에 접속되어 동작하고, 화상 내의 피사체의 장치-피사체 거리를 산출하도록 구성된 거리 산출 모듈을 포함하는, 시스템.
  15. 제14항에 있어서,
    상기 거리 산출 모듈은,
    a. 상기 제1 화상과 상기 제2 화상 중 하나를 상기 제1 화상과 상기 제2 화상 중 다른 하나의 흐릿함까지 블러링하기 위해 이용되는 컨볼루션들의 수를 결정하는 단계,
    b. 상기 컨볼루션들의 수를 이용하여 상기 곡선 정보에 기초해서 피사체-포커스 위치 거리를 결정하는 단계,
    c. 장치-포커스 위치 거리를 산출하는 단계, 및
    d. 상기 피사체-포커스 위치 거리와 상기 장치-포커스 위치 거리를 가산함으로써 장치-피사체 거리를 결정하는 단계에 의해, 상기 곡선 정보를 이용하는, 시스템.
  16. 제14항에 있어서,
    상기 곡선 정보는 상이한 블러량들로 복수의 화상의 타겟 데이터를 취득함으로써 결정되는, 시스템.
  17. 제14항에 있어서,
    상기 곡선 정보는 복수의 곡선을 포함하는, 시스템.
  18. 제14항에 있어서,
    상기 제1 화상 및 상기 제2 화상은 상이한 블러량을 갖는, 시스템.
  19. 제18항에 있어서,
    상기 상이한 블러량은 상기 제1 화상의 취득과 상기 제2 화상의 취득 사이에 포커스 위치를 변경함으로써 달성되는, 시스템.
  20. 제14항에 있어서,
    상기 거리 산출 모듈에 접속되어 동작하는 깊이 맵 생성 모듈을 더 포함하고, 상기 깊이 맵 생성 모듈은 깊이 맵을 생성하도록 구성된, 시스템.
  21. 제21항에 있어서,
    상기 깊이 맵은 저장되는, 시스템.
  22. 제22항에 있어서,
    상기 깊이 맵을 이용하여 애플리케이션을 수행하는, 시스템.
  23. 제23항에 있어서,
    상기 애플리케이션은, 자동 포커스, 자동 노광, 줌 설정, 어퍼처 설정, 플래쉬 설정, 셔터 속도, 화이트 밸런스, 노이즈 저감, 감마 보정, 모션 예측, 화상/비디오 압축, 블러 생성, 화질 향상, 3-D 화상 생성, 섀도우 제거, 및 피사체 세그먼테이션을 포함하는 그룹으로부터 선택되는, 시스템.
  24. 제14항에 있어서,
    상기 장치는, 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 휴대용 컴퓨터, 퍼스널 디지털 어시스턴트, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 재생기, DVD 기록기/재생기, 텔레비전, 및 가정용 오락 시스템을 포함하는 그룹으로부터 선택되는, 시스템.
  25. 장치로서,
    a. 애플리케이션을 저장하는 메모리 - 상기 애플리케이션은
    i. 장면의 제1 화상을 취득하는 단계,
    ii. 상기 장면의 제2 화상을 취득하는 단계, 및
    iii. 곡선 정보를 이용하여 상기 장면 내의 하나 이상의 피사체들의 거리를 결정하는 단계를 수행하도록 구성됨 -, 및
    b. 상기 메모리에 접속되고 상기 애플리케이션을 프로세싱하도록 구성된 프로세싱 컴포넌트를 포함하는, 장치.
  26. 제25항에 있어서,
    상기 곡선 정보를 이용하는 단계는,
    a. 상기 제1 화상과 상기 제2 화상 중 하나를 상기 제1 화상과 상기 제2 화상 중 다른 하나의 흐릿함까지 블러링하기 위해 이용되는 컨볼루션들의 수를 결정하는 단계,
    b. 상기 컨볼루션들의 수를 이용하여 상기 곡선 정보에 기초해서 피사체-포커스 위치 거리를 결정하는 단계,
    c. 장치-포커스 위치 거리를 산출하는 단계, 및
    d. 상기 피사체-포커스 위치 거리와 상기 장치-포커스 위치 거리를 가산함으로써 장치-피사체 거리를 결정하는 단계를 포함하는, 장치.
  27. 제25항에 있어서,
    상기 곡선 정보는 사전에 결정되는, 장치.
  28. 제25항에 있어서,
    상기 곡선 정보는 복수의 곡선을 포함하는, 장치.
  29. 제25항에 있어서,
    상기 애플리케이션은 또한 상기 곡선 정보를 생성하는 단계를 수행하도록 구성되는, 장치.
  30. 제29항에 있어서,
    상기 곡선 정보를 생성하는 단계는, 상이한 블러량들로 복수의 화상을 취득하는 단계를 포함하는, 장치.
  31. 제25항에 있어서,
    상기 제1 화상 및 상기 제2 화상은 상이한 블러량을 갖는, 장치.
  32. 제31항에 있어서,
    상기 상이한 블러량은 상기 제1 화상의 취득과 상기 제2 화상의 취득 사이에 포커스 위치를 변경함으로써 달성되는, 장치.
  33. 제25항에 있어서,
    상기 애플리케이션은 또한 깊이 맵을 생성하는 단계를 수행하도록 구성되는, 장치.
  34. 제34항에 있어서,
    상기 깊이 맵은 저장되는, 장치.
  35. 제35항에 있어서,
    상기 애플리케이션은 또한 상기 깊이 맵을 이용하여 촬상 애플리케이션을 수행하는 단계를 수행하도록 구성되는, 장치.
  36. 제36항에 있어서,
    상기 촬상 애플리케이션은, 자동 포커스, 자동 노광, 줌 설정, 어퍼처 설정, 플래쉬 설정, 셔터 속도, 화이트 밸런스, 노이즈 저감, 감마 보정, 모션 예측, 화상/비디오 압축, 블러 생성, 화질 향상, 3-D 화상 생성, 섀도우 제거, 및 피사체 세그먼테이션을 포함하는 그룹으로부터 선택되는, 장치.
  37. 제25항에 있어서,
    상기 장치는, 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 휴대용 컴퓨터, 퍼스널 디지털 어시스턴트, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 재생기, DVD 기록기/재생기, 텔레비전, 및 가정용 오락 시스템을 포함하는 그룹으로부터 선택되는, 장치.
  38. 장치에 있어서 곡선 정보를 생성하는 방법으로서,
    a. 장면 내의 검사 피사체의 제1 화상 및 제2 화상을, 상기 제2 화상에 대해선 변경된 포커스 위치로, 취득하는 단계,
    b. 상기 제1 화상과 상기 제2 화상 간의 블러의 변화를 산출하는 단계, 및
    c. 복수의 상이한 포커스 위치에 대하여 상기 단계 a와 b를 반복하여 곡선 정보를 생성하는 단계를 포함하는, 곡선 정보 생성 방법.
  39. 제38항에 있어서,
    상기 장면 내의 상기 검사 피사체를 식별하는 단계를 더 포함하는, 곡선 정보 생성 방법.
  40. 제38항에 있어서,
    상기 검사 피사체의 화상은 고정된 줌 및 어퍼처에 대해 취득되는, 곡선 정보 생성 방법.
  41. 제38항에 있어서,
    상기 곡선 정보를 생성하는 단계는, 상기 장치를 캘리브레이트하는 동안 일어나는, 곡선 정보 생성 방법.
  42. 제38항에 있어서,
    상기 곡선 정보는 상기 장치에 저장되는, 곡선 정보 생성 방법.
  43. 제38항에 있어서,
    상기 장치는, 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 휴대용 컴퓨터, 퍼스널 디지털 어시스턴트, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 재생기, DVD 기록기/재생기, 텔레비전, 및 가정용 오락 시스템을 포함하는 그룹으로부터 선택되는, 곡선 정보 생성 방법.
KR1020127014350A 2009-12-16 2010-12-02 장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘 KR101429371B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/639,841 2009-12-16
US12/639,841 US8229172B2 (en) 2009-12-16 2009-12-16 Algorithms for estimating precise and relative object distances in a scene
PCT/US2010/058711 WO2011084279A2 (en) 2009-12-16 2010-12-02 Algorithms for estimating precise and relative object distances in a scene

Publications (2)

Publication Number Publication Date
KR20120099713A true KR20120099713A (ko) 2012-09-11
KR101429371B1 KR101429371B1 (ko) 2014-08-11

Family

ID=44142954

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127014350A KR101429371B1 (ko) 2009-12-16 2010-12-02 장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘

Country Status (6)

Country Link
US (1) US8229172B2 (ko)
EP (1) EP2494524B1 (ko)
JP (1) JP2013512626A (ko)
KR (1) KR101429371B1 (ko)
CN (1) CN102640189B (ko)
WO (1) WO2011084279A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016114427A1 (ko) * 2015-01-16 2016-07-21 재단법인 다차원 스마트 아이티 융합시스템 연구단 이미지로부터 심도정보를 추정할 때의 연산 복잡도를 감소시키기 위한 방법 및 장치
KR20190085964A (ko) * 2016-11-15 2019-07-19 구글 엘엘씨 오브젝트 거리 정보에 기초하여 자동-초점 기능을 제공하기 위한 디바이스, 시스템 및 방법
WO2024063242A1 (ko) * 2022-09-20 2024-03-28 한화비전 주식회사 영상 분석 장치 및 방법

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US8553093B2 (en) * 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
US8335390B2 (en) * 2010-03-22 2012-12-18 Sony Corporation Blur function modeling for depth of field rendering
JP2012003233A (ja) * 2010-05-17 2012-01-05 Sony Corp 画像処理装置、画像処理方法およびプログラム
US8488900B2 (en) * 2010-06-23 2013-07-16 Digimarc Corporation Identifying and redressing shadows in connection with digital watermarking and fingerprinting
US9307134B2 (en) * 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
JP2013005091A (ja) * 2011-06-14 2013-01-07 Pentax Ricoh Imaging Co Ltd 撮像装置および距離情報取得方法
US8929607B2 (en) * 2011-12-01 2015-01-06 Sony Corporation System and method for performing depth estimation utilizing defocused pillbox images
KR101393869B1 (ko) * 2012-07-10 2014-05-12 엘지이노텍 주식회사 3ｄ 카메라 모듈 및 그의 구동 방법
US9336302B1 (en) 2012-07-20 2016-05-10 Zuci Realty Llc Insight and algorithmic clustering for automated synthesis
US9066002B2 (en) * 2012-08-29 2015-06-23 Sony Corporation System and method for utilizing enhanced scene detection in a depth estimation procedure
JP5995614B2 (ja) * 2012-08-31 2016-09-21 キヤノン株式会社 距離情報推定装置
US9894269B2 (en) * 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
CN104853172B (zh) * 2014-02-19 2017-11-07 联想(北京)有限公司 一种信息处理方法以及一种电子设备
US20150271467A1 (en) * 2014-03-20 2015-09-24 Neal Weinstock Capture of three-dimensional images using a single-view camera
US9418432B2 (en) * 2014-03-28 2016-08-16 Sony Corporation Imaging system with depth estimation mechanism and method of operation thereof
CN106416217A (zh) * 2014-04-17 2017-02-15 索尼公司 照相机的深度辅助场景识别
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
CN105721852B (zh) * 2014-11-24 2018-12-14 奥多比公司 用于确定深度细化图像捕获指令的方法、存储设备和系统
US9639946B2 (en) * 2015-03-11 2017-05-02 Sony Corporation Image processing system with hybrid depth estimation and method of operation thereof
US9723197B2 (en) * 2015-03-31 2017-08-01 Sony Corporation Depth estimation from image defocus using multiple resolution Gaussian difference
WO2017007047A1 (ko) * 2015-07-08 2017-01-12 재단법인 다차원 스마트 아이티 융합시스템 연구단 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치
US9646225B2 (en) * 2015-08-21 2017-05-09 Sony Corporation Defocus estimation from single image based on Laplacian of Gaussian approximation
EP3398111B1 (en) * 2015-12-28 2023-12-13 Robert Bosch GmbH Depth sensing based system for detecting, tracking, estimating, and identifying occupancy in real-time
DE112017001464B4 (de) 2016-03-22 2021-09-23 Mitsubishi Electric Corporation Abstandsmessvorrichtung und Abstandsmessverfahren
SE541141C2 (en) * 2016-04-18 2019-04-16 Moonlightning Ind Ab Focus pulling with a stereo vision camera system
CN109479086B (zh) 2016-07-20 2021-08-10 深圳市大疆创新科技有限公司 相对于物体变焦的方法和设备
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
US10277889B2 (en) * 2016-12-27 2019-04-30 Qualcomm Incorporated Method and system for depth estimation based upon object magnification
CN106959075B (zh) * 2017-02-10 2019-12-13 深圳奥比中光科技有限公司 利用深度相机进行精确测量的方法和系统
JP7002050B2 (ja) * 2018-07-11 2022-02-10 パナソニックＩｐマネジメント株式会社 撮像装置
US11115582B2 (en) * 2018-11-28 2021-09-07 Jvckenwood Corporation Imaging control apparatus, imaging apparatus, and recording medium
CN111435436B (zh) * 2019-12-13 2021-01-08 珠海大横琴科技发展有限公司 一种基于目标位置的周界防入侵方法和装置
CN113936199B (zh) * 2021-12-17 2022-05-13 珠海视熙科技有限公司 一种图像的目标检测方法、装置及摄像设备
KR20230155939A (ko) 2022-05-04 2023-11-13 한화비전 주식회사 영상 분석 장치 및 방법
KR20240040005A (ko) 2022-09-20 2024-03-27 한화비전 주식회사 영상 분석 장치 및 방법
KR20240137865A (ko) 2023-03-09 2024-09-20 한화비전 주식회사 영상 촬영 장치 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6229913B1 (en) * 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
JP4403477B2 (ja) * 2000-01-26 2010-01-27 ソニー株式会社 画像処理装置及び画像処理方法
US20070016425A1 (en) * 2005-07-12 2007-01-18 Koren Ward Device for providing perception of the physical environment
US7929801B2 (en) * 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
JP4752733B2 (ja) * 2005-12-02 2011-08-17 ソニー株式会社 撮像装置および撮像方法、並びに撮像装置の設計方法
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
US7711201B2 (en) * 2006-06-22 2010-05-04 Sony Corporation Method of and apparatus for generating a depth map utilized in autofocusing
JP2008067093A (ja) * 2006-09-07 2008-03-21 Nikon Corp カメラシステム、画像処理装置、および画像処理プログラム
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US8199248B2 (en) 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
TWI393980B (zh) * 2009-06-08 2013-04-21 Nat Univ Chung Cheng The method of calculating the depth of field and its method and the method of calculating the blurred state of the image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016114427A1 (ko) * 2015-01-16 2016-07-21 재단법인 다차원 스마트 아이티 융합시스템 연구단 이미지로부터 심도정보를 추정할 때의 연산 복잡도를 감소시키기 위한 방법 및 장치
KR20190085964A (ko) * 2016-11-15 2019-07-19 구글 엘엘씨 오브젝트 거리 정보에 기초하여 자동-초점 기능을 제공하기 위한 디바이스, 시스템 및 방법
WO2024063242A1 (ko) * 2022-09-20 2024-03-28 한화비전 주식회사 영상 분석 장치 및 방법

Also Published As

Publication number Publication date
KR101429371B1 (ko) 2014-08-11
EP2494524A2 (en) 2012-09-05
JP2013512626A (ja) 2013-04-11
EP2494524B1 (en) 2021-06-16
WO2011084279A3 (en) 2011-09-29
US20110142287A1 (en) 2011-06-16
CN102640189B (zh) 2015-05-27
WO2011084279A2 (en) 2011-07-14
CN102640189A (zh) 2012-08-15
EP2494524A4 (en) 2017-02-22
US8229172B2 (en) 2012-07-24

Similar Documents

Publication Publication Date Title
KR101429371B1 (ko) 장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘
US9591237B2 (en) Automated generation of panning shots
US9998666B2 (en) Systems and methods for burst image deblurring
CN101960860B (zh) 使用基于区域的滤波的深度图提取系统和方法
CN102907082B (zh) 摄像装置、图像处理装置、图像处理方法
EP2704423B1 (en) Image processing apparatus, image processing method, and image processing program
EP2947627B1 (en) Light field image depth estimation
CN106683147B (zh) 一种图像背景虚化的方法
US9361704B2 (en) Image processing device, image processing method, image device, electronic equipment, and program
JP6308748B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP6319972B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2015148532A (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
WO2016097468A1 (en) Method, apparatus and computer program product for blur estimation
CN106576140A (zh) 图像处理装置以及程序
JP2009153046A (ja) ぶれ補正装置及び方法並びに撮像装置
CN112132879A (zh) 一种图像处理的方法、装置和存储介质
CN115103108B (zh) 防抖处理方法、装置、电子设备和计算机可读存储介质
Sörös et al. Multiframe visual-inertial blur estimation and removal for unmodified smartphones
JP6548409B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP2015133532A (ja) 撮像装置及び画像処理方法
CN119295524A (zh) 视频深度估计方法、装置、存储介质和程序产品
WO2024158376A1 (en) System and method for image enhancement
Stupich Low Power Parallel Rolling Shutter Artifact Removal
CN109993737A (zh) 一种处理方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20120601

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130830

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140311

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140717

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140805

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140805

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170726

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20170726

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180727

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180727

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190725

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20200729

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20230802

Start annual number: 10

End annual number: 10