KR20150004397A - 이미지들 내에서의 대화형 리포커싱을 제공하기 위한 시스템들, 방법들, 및 매체들 - Google Patents

이미지들 내에서의 대화형 리포커싱을 제공하기 위한 시스템들, 방법들, 및 매체들 Download PDF

Info

Publication number
KR20150004397A
KR20150004397A KR20147032888A KR20147032888A KR20150004397A KR 20150004397 A KR20150004397 A KR 20150004397A KR 20147032888 A KR20147032888 A KR 20147032888A KR 20147032888 A KR20147032888 A KR 20147032888A KR 20150004397 A KR20150004397 A KR 20150004397A
Authority
KR
South Korea
Prior art keywords
images
image
depth
lens
scene
Prior art date
Application number
KR20147032888A
Other languages
English (en)
Inventor
슈리 케이. 네이어
다니엘 미아우
창인 주
Original Assignee
더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 filed Critical 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕
Publication of KR20150004397A publication Critical patent/KR20150004397A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S378/00—X-ray or gamma ray systems or devices
    • Y10S378/901—Computer tomography program or processor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

대화형 리포커싱을 제공하기 위한 시스템들, 방법들, 및 매체들이 제공되고, 상기 시스템들은 렌즈; 이미지 센서; 및 처리기를 포함하고, 상기 처리기는, 이미지 센서가 미리 결정된 시간 기간 동안 복수의 이미지들을 캡처하게 하고, 복수의 이미지들의 각각은 상이한 시점들에서의 장면을 표현하고; 적어도 한 쌍의 복수의 이미지들 사이에 피사계 심도를 변경시키고; 이미지들이 캡처되었던 순서로 지속 기간 초점 부피를 생성하기 위해 복수의 이미지들을 연결시키고; 지속 기간 초점 부피에 기초하여 복수의 이미지들의 각각으로부터의 인-포커스 부분들을 표현하는 시간-공간 인-포커스 이미지를 계산하고; 지속 기간 초점 부피 및 시간-공간 인-포커스 이미지에 기초하여 복수의 이미지들 중에서 장면의 각각의 위치에 대한 인-포커스 이미지를 식별하는 시간-공간 색인 맵을 계산한다.

Description

이미지들 내에서의 대화형 리포커싱을 제공하기 위한 시스템들, 방법들, 및 매체들{SYSTEMS, METHODS, AND MEDIA FOR PROVIDING INTERACTIVE REFOCUSING IN IMAGES}
<관련 출원의 상호-참조>
본 출원은 그 전체가 참조로서 여기에 통합된, 2012년 4월 26일자 출원된 미국 가출원 번호 제61/638,974호의 이점을 청구한다.
<미국 연방 정부가 후원한 연구 또는 개발에 대한 서술>
본 발명은 미국 해군 연구소가 선정한 등록 번호 제N00014-11-1-0285호 및 제N00014-08-1-0929호와, 미국 방위 고등 연구 계획국이 선정한 등록 번호 제W911NF-10-1-0214호 하에서 정부 지원됐다. 미국 정부는 본 발명에 특정 권리들을 갖는다.
<기술 분야>
개시된 주제는 이미지들 내에서의 대화형 리포커싱(interactive refocusing)을 제공하기 위한 시스템들, 방법들, 및 매체들에 대한 것이다.
이미지의 피사계 심도(depth of field; DOF)는 장면 내의 물체들이 장면의 이미지 내에서 인-포커스(in-focus)이게 보이는 장면 깊이들의 범위이다. 소비자 디지털 사진에서 광학 현미경까지의 이미징의 대부분의 응용들에서, 캡처되고 있는 이미지의 DOF를 제어하는 것이 바람직하다. 피사계 심도가 증가함에 따라, 보다 많은 장면이 인-포커스로 보여질 수 있으므로, 매우 큰 DOF를 갖고 이미지들을 캡쳐하는 것은 특히 매력적이다. 그러나, 카메라의 조리개를 줄이는 것과 같은 피사계 심도를 증가시키기 위한 몇몇의 종래 기술들은 제한사항들을 갖는다. 예를 들어, 보다 작은 조리개로는, 이미지 센서(또는 필름)에서 적은 광이 수신되고, 이것은 보다 긴 노출들을 요구하여, 신호 대 잡음 비를 낮추고 카메라 흔들림 및/또는 장면 내의 물체들의 움직임으로 인한 흐려짐(blurring)을 유발할 수 있다. 또한, 화소 크기가 작아지면서(및/또는 센서 해상도가 증가하면서), 이미지 내에 존재하는 임의의 초점 흐림(defocus blur)이 많은 수의 화소들을 점유하기 때문에, 이미지의 DOF가 감소된다. 동시에, 각각의 화소는 적은 광을 수신하여, 신호 대 잡음 비가 또한 낮아질 수 있다. 이 DOF와 신호 대 잡음 비 사이의 이러한 절충은 이미지 처리에서 기초적이고 오래된 제한사항들 중 하나이다.
이미지들 내의 DOF들에 대한 2개의 다른 제한사항들은: (1) 많은 카메라들은 단지 장면 내의 단일 범위에 대응하는 단일의 제한된 DOF만을 캡처할 수 있고; (2) 이미지 내의 DOF는 전형적으로 고정적어서 이미지를 캡처한 후에는 사용자에 의해 바뀔 수 없다는 것이다. 이 단일의 고정된 DOF 때문에, 단지 DOF 내의 물체들만이 인-포커스로 캡처되고, DOF 외부의 장면 내의 물체들은 어느 정도 흐려진다. 이것은, 예를 들어, 사용자가, 카메라에 가까운(예를 들어, 수 인치 내지 수 피트 떨어진) 물체 및 카메라로부터 멀리 떨어진(예를 들어, 수 피트 내지 수십 피트 떨어진) 물체들 모두가 인-포커스된 이미지를 캡처하지 못하게 하고, 사용자로 하여금 어느 물체를 인-포커스 상태로 캡처할지 선택하게 강요한다.
따라서, 다수의 피사계 심도들에 걸쳐 이미지들 내에서의 대화형 리포커싱을 제공할 수 있고 이미지들에 확장된 피사계 심도를 제공할 수 있는 메커니즘들이 필요하다.
개시된 요지의 다양한 실시예들에 따라, 이미지들 내에서의 대화형 리포커싱을 제공하기 위한 시스템들, 방법들, 및 매체들이 제공된다.
개시된 요지의 몇몇의 실시예들에 따라, 이미지들 내에서의 대화형 리포커싱을 제공하기 위한 시스템들이 제공되고, 이 시스템들은: 렌즈; 이미지 센서; 및 하드웨어 처리기를 포함하고, 상기 하드웨어 처리기는 이미지 센서가 미리 결정된 시간 기간 동안, 각각은 상이한 시점에서 장면을 표현하는, 복수의 이미지들을 캡처하게 하고; 복수의 이미지들 중 적어도 한 쌍 사이에 피사계 심도를 변경시키고; 이미지들이 캡처되었던 순서로 지속 기간 초점 부피(duration focal volume)를 생성하기 위해 복수의 이미지들을 연결시키고; 지속 기간 초점 부피에 기초하여 복수의 이미지들의 각각으로부터 인-포커스 부분들을 표현하는 시간-공간 인-포커스 이미지를 계산하고; 지속 기간 초점 부피 및 시간-공간 인-포커스 이미지에 기초하여 복수의 이미지들 중에서 장면의 각각의 위치에 대한 인-포커스 이미지를 식별하는 시간-공간 색인 맵을 계산하도록 구성된다.
개시된 요지의 몇몇의 실시예들에 따라, 대화형 리포커싱을 제공하기 위한 방법들이 제공되고, 이 방법들은, 하드웨어 처리기를 사용하여, 각각이 상이한 시점에서의 장면을 표현하는, 복수의 이미지들이 미리 결정된 시간 기간에 걸쳐 캡처되게 하는 단계; 복수의 이미지들이 캡처된 피사계 심도가 복수의 이미지들의 적어도 한 쌍 사이에서 변경되게 하는 단계; 이미지들이 캡처되었던 순서로 복수의 이미지들을 연결시킴으로써 지속 기간 초점 부피를 생성하는 단계; 지속 기간 초점 부피에 기초하여 복수의 이미지들의 각각으로부터 인-포커스 부분들을 표현하는 시간-공간 인-포커스 이미지를 계산하는 단계; 지속 기간 초점 부피 및 시간-공간 인-포커스 이미지에 기초하여 복수의 이미지들 중에서 장면의 각각의 위치에 대한 인-포커스 이미지를 식별하는 시간-공간 색인 맵을 계산하는 단계를 포함한다.
개시된 요지의 몇몇의 실시예들에 따라, 처리기에 의해 수행될 때, 그 처리기가 대화형 리포커싱을 제공하기 위한 방법을 수행하게 하는 컴퓨터 실행가능 명령들을 포함하는 비-일시적 컴퓨터 판독가능 매체가 제공되고, 상기 방법들은: 미리 결정된 시간 기간 동안 복수의 이미지들이 캡처되게 하는 단계로서, 복수의 이미지들의 각각은 상이한 시점에서의 장면을 표현하는, 상기 복수의 이미지들이 캡처되게 하는 단계; 복수의 이미지들이 캡처된 피사계 심도가 적어도 한 쌍의 복수의 이미지들 사이에서 변경되게 하는 단계; 이미지들이 캡처되었던 순서로 복수의 이미지들을 연결시킴으로써 지속 기간 초점 부피를 생성하는 단계; 지속 기간 초점 부피에 기초하여 복수의 이미지들의 각각으로부터 인-포커스 부분들을 표현하는 시간-공간 인-포커스 이미지를 계산하는 단계; 및 지속 기간 초점 부피 및 시간-공간 인-포커스 이미지에 기초하여 복수의 이미지들 중에서 장면의 각각의 위치에 대한 인-포커스 이미지를 식별하는 시간-공간 색인 맵을 계산하는 단계를 포함한다.
개시된 요지의 몇몇의 실시예들에 따라, 대화형 리포커싱을 제공하기 위한 시스템들이 제공되고, 이 시스템들은: 렌즈; 이미지 센서; 이미지 센서가 각각이 상이한 시점에서의 장면을 표현하는 복수의 이미지들을 미리 결정된 시간 기간 동안 캡처하게 하기 위한 수단; 복수의 이미지들 중 적어도 한 쌍 사이에 피사계 심도를 변경시키기 위한 수단; 이미지들이 캡처되었던 순서로 지속 기간 초점 부피를 생성하기 위해 복수의 이미지들을 연결시키기 위한 수단; 지속 기간 초점 부피에 기초하여 복수의 이미지들의 각각으로부터 인-포커스 부분들을 표현하는 시간-공간 인-포커스 이미지를 계산하기 위한 수단; 및 지속 기간 초점 부피 및 시간-공간 인-포커스 이미지에 기초하여 복수의 이미지들 중에서 장면의 각각의 위치에 대한 인-포커스 이미지를 식별하는 시간-공간 색인 맵을 계산하기 위한 수단을 포함한다.
몇몇의 실시예들에서, 피사계 심도를 변경시키기 위한 수단은 렌즈와 이미지 센서 사이의 거리를 변경시키기 위한 수단을 포함한다.
몇몇의 실시예들에서, 렌즈와 이미지 센서 사이의 거리를 변경시키기 위한 수단은 이미지 센서가 렌즈에 관련하여 움직이게 하는 액추에이터(actuator)를 구동시키기 위한 수단을 포함한다.
몇몇의 실시예들에서, 렌즈와 이미지 센서 사이의 거리를 변경시키기 위한 수단은 렌즈가 이미지 센서에 관련하여 움직이게 하는 액추에이터를 구동시키기 위한 수단을 포함한다.
몇몇의 실시예들에서, 피사계 심도를 변경시키기 위한 수단은 렌즈의 초점 거리를 변경시키기 위한 수단을 포함한다.
몇몇의 실시예들에서, 피사계 심도를 변경시키기 위한 수단은 광학 축 방향으로 제 2 렌즈를 움직이는 수단을 포함하고, 여기서, 제 2 렌즈는 광학 축 방향으로 렌즈와 이미지 센서 사이에 배치한다.
몇몇의 실시예들에서, 지속 기간 초점 부피 내의 복수의 이미지들의 각각에 대하여, 이미지의 피사계 심도는 하나 이상의 인접한 이미지들에 대한 피사계 심도와 실질적으로 연속하다.
몇몇의 실시예들에서, 복수의 이미지들에 대한 피사계 심도들의 교차 지점은 빈 세트이다.
몇몇의 실시예들에서, 상기 시스템은 복수의 이미지들이 미리 결정된 프레임 속도에서 캡처되게 하기 위한 수단을 추가로 포함한다.
몇몇의 실시예들에서, 상기 시스템은 미리 결정된 프레임 속도; 이미지 센서의 화소 크기; 및 렌즈의 f-수의 파라미터들 중 적어도 하나에 기초하여 고정된 속도에서 렌즈와 이미지 센서 사이의 거리를 변경시키기 위한 수단을 추가로 포함한다.
개시된 요지의 몇몇의 실시예들에 따라, 대화형 리포커싱을 제공하기 위한 시스템들이 제공되고, 상기 시스템들은, 장면의 이미지가 사용자에게 디스플레이되게 하고, 이미지는 상이한 시점들에 장면의 캡처된 복수의 이미지들을 포함하는 지속 기간 초점 부피 내에 표현된 장면을 나타내고, 복수의 이미지들은 복수의 상이한 피사계 심도에서 캡처되고; 사용자에 의한 이미지 내의 점의 선택을 수신하고; 복수의 이미지들 중에서 선택된 이미지가 사용자에게 디스플레이되게 하도록 구성된 하드웨어 처리기를 포함하고, 선택된 이미지는 사용자에 의해 선택된 점에서 장면 내의 물체에 초점이 맞춰진 이미지이다.
개시된 요지의 몇몇 실시예들에 따라, 대화형 리포커싱을 제공하기 위한 방법들이 제공되는데, 상기 방법은: 장면의 이미지가 사용자에게 디스플레이되게 하는 단계로서, 이미지는 상이한 시점들에 장면의 캡처된 복수의 이미지들을 포함하는 지속 기간 초점 부피 내에 표현된 장면을 표현하고, 복수의 이미지들은 복수의 상이한 피사계 심도에서 캡처되는, 상기 장면의 이미지를 디스플레이 되게 하는 단계; 사용자에 의한 이미지 내의 점의 선택을 수신하는 단계; 복수의 이미지들 중에서 선택된 이미지가 사용자에게 디스플레이되게 하는 단계로서, 선택된 이미지는 사용자에 의해 선택된 점에의 장면 내의 물체에 초점이 맞춰진 이미지인, 상기 선택된 이미지가 디스플레이되게 하는 단계를 포함한다.
개시된 요지의 몇몇의 실시예들에 따라, 처리기에 의해 수행될 때, 처리기가 대화형 리포커싱을 제공하기 위한 방법들을 수행하게 하는 컴퓨터 실행가능 명령들을 포함하는 비-일시적 컴퓨터 판독가능 매체가 제공되고, 상기 방법들은, 장면의 이미지가 사용자에게 디스플레이되게 하는 단계로서, 이미지는 상이한 시점들에 장면의 캡처된 복수의 이미지들을 포함하는 지속 기간 초점 부피 내에 표현된 장면을 표현하고, 복수의 이미지들은 복수의 상이한 피사계 심도에서 캡처되고, 상기 장면의 이미지가 사용자에게 디스플레이되게 하는 단계; 사용자에 의한 이미지 내의 점의 선택을 수신하는 단계; 복수의 이미지들 중에서 선택된 이미지가 사용자에게 디스플레이되게 하는 단계로서, 선택된 이미지는 사용자에 의해 선택된 점에의 장면 내의 물체에 초점이 맞춰진 이미지인, 상기 선택된 이미지가 사용자에 디스플레이되게 하는 단계를 포함한다.
개시된 요지의 몇몇의 실시예들에 따라, 대화형 리포커싱 이미지를 제공하기 위한 방법들이 제공되고, 이 방법들은: 하드웨어 처리기를 사용하여, 상이한 시점들에 캡처된 장면의 복수의 이미지들을 수신하는 단계로서, 복수의 이미지들의 각각은 장면의 상이한 피사계 심도를 표현하는, 상기 수신 단계; 이미지들이 캡처되었던 순서로 지속 기간 초점 부피를 생성하기 위해 복수의 이미지들을 연결시키는 단계; 지속 기간 초점 부피에 기초하여 복수의 이미지들의 각각으로부터 인-포커스 부분들을 표현하는 시간-공간 인-포커스 이미지를 계산하는 단계; 및 지속 기간 초점 부피 및 시간-공간 인-포커스 이미지에 기초하여 복수의 이미지들 중에서 장면의 각각의 위치에 대한 인-포커스 이미지를 식별하는 시간-공간 색인 맵을 계산하는 단계를 포함한다.
개시된 요지의 몇몇의 실시예들에 따라, 대화형 리포커싱 이미지를 제공하기 위한 방법들이 제공되고, 방법은: 하드웨어 처리기를 사용하여, 상이한 시점들에 캡처된 장면의 복수의 이미지들을 수신하는 단계로서, 복수의 이미지들의 각각은 장면의 상이한 피사계 심도를 표현하는, 상기 수신 단계; 이미지들이 캡처되었던 순서로 지속 기간 초점 부피를 생성하기 위해 복수의 이미지들을 연결시키는 단계; 지속 기간 초점 부피 내의 각각의 점 (x, y, P0)에 대하여: (a) 지속 기간 초점 부피 내의 점 P를 P0와 같게 설정하는 단계; (b) P에 중심이 맞춰진 원뿔을 선택하는 단계; (c) 초점의 측정치가 가장 높은 원뿔 내의 점 Q를 찾는 단계; (d) Q가 P와 같은지 여부를 결정하는 단계; (e) Q가 P와 같다고 결정될 때까지 (b) 내지 (d)를 반복하는 단계; 및 (f) 점 (x, y, P0)에 대한 깊이를 Q와 같게 설정하는 단계를 포함한다.
개시된 요지의 몇몇의 실시예들에 따라, 대화형 리포커싱 이미지를 제공하기 위한 방법들이 제공되고, 상기 방법들은: 하드웨어 처리기를 사용하여, 상이한 시점들에 캡처된 한 장면의 복수의 이미지들을 수신하는 단계로서, 복수의 이미지들의 각각은 장면의 상이한 피사계 심도를 표현하는, 상기 수신 단계; 이미지들이 캡처되었던 순서로 지속 기간 초점 부피를 생성하기 위해 복수의 이미지들을 연결시키는 단계; 각각의 쌍의 연속하는 이미지들 사이의 광학 흐름을 결정하는 단계; 장면 내의 각각의 화소 위치에 대한 지속 기간 초점 부피에 걸친 화소 궤도를 결정하는 단계; 화소 궤도를 따라 화소에 대한 초점의 측정치가 가장 높은 한 점을 결정함으로써 각각의 화소에 대한 인-포커스 점을 결정하는 단계; 각각의 화소에 대한 인-포커스 점에 기초하여 복수의 이미지들 중에서 장면의 각각의 화소에 대한 인-포커스 이미지를 식별하는 시간-공간 색인 맵을 계산하는 단계를 포함한다.
본 발명은 이미지들 내에서의 대화형 리포커싱을 제공하기 위한 시스템들, 방법들, 및 매체들을 제공한다.
도 1은 개시된 요지의 몇몇의 실시예들에 따른, 이미지들 내에서의 대화형 리포커싱을 제공하기 위한 처리의 일례를 도시하는 도면.
도 2는 개시된 요지의 몇몇의 실시예들에 따른, 캡처된 이미지들의 지속 기간 초점 부피의 일례를 도시하는 도면.
도 3은 개시된 요지의 몇몇의 실시예들에 따른, 지속 기간 초점 부피의 수평 슬라이스(slice)의 일례를 도시하는 도면.
도 4는 개시된 요지의 몇몇의 실시예들에 따른, 시간-공간 인-포커스 이미지의 일부의 일례를 도시하는 지속 기간 초점 부피의 수평 슬라이스의 일례를 도시하는 도면.
도 5는 개시된 요지의 몇몇의 실시예들에 따른, 캡처된 이미지들의 또 다른 지속 기간 초점 부피의 일례를 도시하는 도면.
도 6은 개시된 요지의 몇몇의 실시예들에 따른, 시간-공간 인-포커스 이미지의 일례를 도시하는 도면.
도 7은 개시된 요지의 몇몇의 실시예들에 따른, 시간-공간 색인 맵의 일례를 도시하는 도면.
도 8은 개시된 요지의 몇몇의 실시예들에 따른, 시간-공간 색인 맵 및 대응하는 시간-공간 인-포커스 이미지의 일례를 도시하는 도면.
도 9는 개시된 요지의 몇몇의 실시예들에 따른, 3차원 시간-공간 색인 맵 및 대응하는 지속 기간 초점 부피의 일례를 도시하는 도면.
도 10은 개시된 요지의 몇몇의 실시예들에 따른, 지속 기간 초점 부피를 캡처하기 위해 사용될 수 있는 카메라의 일례를 도시하는 도면.
도 11은 개시된 요지의 몇몇의 실시예들에 따른, 카메라의 피사계 심도의 일례를 도시하는 도면.
도 12는 개시된 요지의 몇몇의 실시예들에 따른, 카메라의 다양한 피사계 심도를 도시하는 일례를 도시하는 도면.
도 13은 개시된 요지의 몇몇의 실시예들에 따른, 시간-공간 색인 맵을 계산하기 위한 처리의 일례를 도시하는 도면.
도 14는 개시된 요지의 몇몇의 실시예들에 따른, 지속 기간 초점 부피의 이미지 안정화를 위한 처리의 일례를 도시하는 도면.
도 15는 개시된 요지의 몇몇의 실시예들에 따른, 지속 기간 초점 부피의 시간-공간 인-포커스 이미지를 계산하기 위한 처리의 일례를 도시하는 도면.
도 16은 개시된 요지의 몇몇의 실시예들에 따른, 지속 기간 초점 부피에 대한 시간-공간 색인 맵을 계산하기 위한 처리의 일례를 도시하는 도면.
도 17은 개시된 요지의 몇몇의 실시예들에 따른, 상이한 스케일들에서 지속 기간 초점 부피에 대응하는 깊이 맵들을 병합하기 위한 처리의 일례를 도시하는 도면.
도 18은 개시된 요지의 몇몇의 실시예들에 따른, 지속 기간 초점 부피에 대응하는 깊이 맵을 자연스럽게 하기(smoothing) 위한 처리의 일례를 도시하는 도면.
도 19는 개시된 요지의 몇몇의 실시예들에 따른, 시간-공간 색인 맵을 계산하기 위한 처리들에 사용되는 스케일링된 시간-공간 인-포커스 이미지들, 스케일링된 지속 기간 초점 부피, 및 스케일링된 깊이 맵들의 일례를 도시하는 도면.
도 20은 개시된 요지의 몇몇의 실시예들에 따른, 그리디 서치(greedy search)를 사용하여 지속 기간 초점 부피에 대한 시간-공간 색인 맵을 계산하기 위한 처리의 일례를 도시하는 도면.
도 21은 개시된 요지의 몇몇의 실시예들에 따른, 기계 학습(machine learning)을 사용하여 지속 기간 초점 부피에 대한 시간-공간 색인 맵을 계산하기 위한 처리의 일례를 도시하는 도면.
도 22는 개시된 요지의 몇몇의 실시예들에 따른, 광학 흐름을 사용하여 지속 기간 초점 부피에 대한 시간-공간 색인 맵을 계산하기 위한 처리의 일례를 도시하는 도면.
본 발명의 상기 및 다른 목적들 및 이점들은, 같은 도면 참조 부호들이 같은 부분들을 의미하는 첨부된 도면들과 함께, 다음의 상세한 설명을 고려하여 명확해질 것이다.
다양한 실시예들에 따라, 이미지들 내에서의 대화형 리포커싱을 제공하기 위한 메커니즘들이 제공된다. 몇몇의 실시예들에 따라, 장면의 이미지들은 미리 결정된 양의 시간에 걸쳐 다양한 피사계 심도에서 캡처될 수 있다. 그 후, 이들 이미지들은 장면의 이미지 내에서 선택된 임의의 점 상에 리포커싱하는 것을 용이하게 하도록 시간적으로 연관되고 분석된다. 예를 들어, 피사계 심도를 바꾸기 위해, 카메라의 이미지 센서는 카메라의 렌즈에 대하여 움직일 수 있다. 감지기가 움직이면서, 장면의 이미지들은 상이한 피사계 심도로 캡처될 수 있다. 다양한 이미지들이, 상이한 시간들에 상이한 피사계 심도들에 걸친 장면을 표현하는 지속 기간 초점 부피를 형성하도록 시간적으로 연관될 수 있다. 일반적으로, 지속 기간 초점 부피는, 지속 기간 초점 부피 내의 상이한 깊이들이 상이한 시점들에 및 상이한 피사계 심도들에 장면 내의 점을 표현하도록 장면을 표현할 수 있다. 이 방식으로, 지속 기간 초점 부피는 장면의 3차원 표현으로 고려될 수 있다. 특정 일례에서, 지속 기간 초점 부피는 2개의 공간 차원 및 1개의 시간 차원을 갖는 부피를 집합적으로 구성하는, 장면의 2차원 이미지들의 스택으로 표현될 수 있다.
몇몇의 실시예들에서, 장면 내의 점들은 주어진 점이 가장 선명히 초점에 있는 맞춰진 스택 내의 이미지를 결정하도록 지속 기간 초점 부피에 걸쳐 평가될 수 있다. 이것은, 카메라에 가까운 장면의 부분들이 하나의 이미지 내에서 인-포커스 상태로 캡처되고, 카메라로부터 보다 멀리 떨어진 장면의 부분들이 또 다른 이미지 내에서 인-포커스 상태로 캡처되도록 허용할 수 있다. 상이한 이미지들 내에서 캡처된 이러한 인-포커스 부분들은, 다른 것들 중에서, 캡처된 이미지들 내에서의 대화형 리포커싱을 제공하기 위해 여기서 설명된 메커니즘들에서 사용될 수 있다. 추가적으로, 장면 내의 물체들이 미리 결정된 양의 시간 동안 움직일 수 있기 때문에, 물체들이 스택 내의 상이한 이미지들 내의 상이한 위치들에 나타날 수 있으므로, 이미지 시퀀스(image sequence)는 또한 임의의 움직이는 물체들의 모션(motion)을 캡처할 수 있다.
장면 내의 각각의 물체에 대응하는 피사계 심도를 포함하는 3차원 시간-공간 부피를 캡처하기 위해 (예를 들어, 감지기, 렌즈 등을 움직임으로써) 카메라 초점 스윕(sweep)을 제어하기 위한 처리기가 제공될 수 있다. 예를 들어, 이것은 이미지 내에 표현된 장면 내의 각각의 물체가 이미지들 중 적어도 하나 내에서 인-포커스 상태이도록 이미지들이 캡처되는 것을 허용할 수 있다.
대화형 리포커싱을 위해 사용될 수 있는, 인-포커스 이미지들 및 인-포커스 색인 맵들을 복구하기 위한 기술들이 또한 제공될 수 있다. 장면 내의 물체들이 2차원 이미지로부터 2차원 이미지로 위치들을 변경시킬 수 있기 때문에, 계층-종속적인 3차원 색인 맵이 또한 제공될 수 있다. 특히, 3차원 색인 맵의 임의의 특정 계층(예를 들어, 2차원 이미지)에서의 색인은 그 계층 및 색인 맵 내의 2차원 위치에 종속할 수 있다.
몇몇의 실시예들에서, 이미지들 내에서의 대화형 리포커싱을 용이하게 하고, 여기서 설명된 메커니즘들을 사용하여 캡처된 지속 기간 초점 부피로부터의 정보(예를 들어, 장면 내의 하나 이상의 물체들에 대한 초점 정보)를 나타내기 위한 뷰어(viewer)가 사용될 수 있다. 예를 들어, 사용자가 뷰어를 사용하여 디스플레이된 이미지 내의 점을 선택할 때(예를 들어, 사용자가 이미지 내의 점을 "클릭"할 때), 여기서 설명된 메커니즘들을 사용하여 계산된 사전-계산된 인-포커스 색인 맵을 사용함으로써, 장면 내의 물체가 뷰어 내에서 리포커싱될 수 있다. 몇몇의 실시예들에서, 이 뷰어는 리포커싱을 갖는 물체 움직임의 효과들을 포함할 수 있다. 예를 들어, 사용자가 이미지 내의 점을 선택한 것에 응답하여, 뷰어는 선택된 물체(들)에 초점을 맞추고, 동시에, 그것/그들의 움직임(들)을 보여줄 수 있다. 이 통합은 고유하고 매력적인 사용자 경험을 산출할 수 있다.
대안적으로, 사전-계산된 인-포커스 색인 맵을 사용하기보다는, 사용자가 사전-계산 없이 뷰어를 사용하여 나타낸 이미지 내에서 점을 선택할 때 인-포커스 색인을 계산하기 위한 유사한 기술들이 사용될 수 있다(예를 들어, 사전-계산된 인-포커스 색인 맵을 사용하기보다는, 인-포커스 색인의 컴퓨테이션이 사용자가 점을 선택할 때 수행될 수 있음).
도 1로 넘어가서, 개시된 요지의 몇몇의 실시예들에 따른, 이미지들 내에서의 대화형 리포커싱을 제공하기 위한 처리의 일례(100)가 도시된다. 다음에 또한 설명된 바와 같이, 처리(100)를 통해, 일련의 이미지들이 상이한 피사계 심도로 캡처될 수 있다. 각각의 이미지는 이미지 센서에 의해 캡처된 프레임일 수 있다. 이들 다양한 프레임들(또는 이미지들)은 지속 기간 초점 부피를 생성하기 위해 시간적으로 연관될 수 있다. 색인 i가 지속 기간 초점 부피 내에서의 각각의 프레임의 위치를 나타내기 위해 사용될 수 있고/있거나 각각의 프레임 내에서 캡처된 피사계 심도를 식별하기 위해 사용될 수 있다.
102에서, 색인 i를 1과 같게 설정함으로써 처리(100)가 시작될 수 있고, i는 프레임 번호 및/또는 다음 프레임 내에서 캡처될 피사계 심도를 나타낼 수 있다. 103에서, 프레임 i를 캡처하기 위한 피사계 심도(DOF)가 피사계 심도i(DOFi)로 설정될 수 있다.
104에서, 색인 i에 대응하는 프레임이 피사계 심도i(DOFi)에 대하여 캡처될 수 있다. 몇몇의 실시예들에서, 이 프레임은 메모리에 저장될 수 있고, 다른 피사계 심도에 대응하는 다른 프레임들이 캡처된다.
106에서, 색인(i)은 i+1으로 설정될 수 있고, 108에서, 색인 i가 캡처될 프레임들의 총 수(n)를 초과하는지 여부가 결정될 수 있다. 몇몇의 실시예들에서, 캡처될 프레임들의 수(n)는 장면 내의 대부분의 깊이들에서 물체들이 임계치 이상의 선명함을 갖고 사용자에 의해 리포커싱되도록 허용되는 것이 기대되는 프레임들의 수로 설정될 수 있다. 몇몇의 실시예들에서는 임의의 적절한 수의 프레임들이 캡처될 수 있다. 예를 들어, 프레임들이 카메라의 렌즈로부터의 거리들의 범위를 포함하는 30개의 피사계 심도에서 캡처되도록, n이 30으로 설정될 수 있다. 또 다른 예로서, 실내에서 캡처된 장면과 같이, 장면 내에 깊이가 제한된 경우들에서, n은 더 적은 프레임들을 캡처하도록 설정될 수 있다(예를 들어, 10개의 프레임들, 15개의 프레임들 등). 또 다른 예로서, n은 더 많은 프레임들을 캡처하도록 설정될 수 있고(예를 들어, 45개의 프레임들, 60개의 프레임들, 100개의 프레임들 등), 예를 들어, 화소 크기가 더 작거나, 초점 길이가 더 길거나 하는 등의 이유로 각각의 프레임 내의 캡처된 피사계 심도가 감소된다.
몇몇의 실시예들에서 임의의 적절한 범위의 피사계 심도들이 캡처될 수 있다. 예를 들어, 캡처되는 장면이 카메라로부터의 거리(R1)에 장면 내의 가장 가까운 물체 및 카메라로부터의 거리(R2)에 가장 먼 물체를 포함하는 경우, 캡처된 피사계 심도들은 Rl 내지 R2의 피사계 심도들을 포함할 수 있고, 제로(0)에서 R1까지 및 R2에서 무한까지의 피사계 심도들은 생략될 수 있다. 몇몇의 실시예들에서, 예를 들어, 도 11 및 12에 관련하여 아래에 설명된 바와 같이, 장면 내의 임의의 물체가 적어도 하나의 DOF에 포함되도록 캡처된 DOF들의 수는 충분한 DOF들을 포함할 수 있다.
몇몇의 실시예들에서, 피사계 심도는 캡처된 프레임들 사이에 변경될 수 있고, 예를 들어, 도 11 및 12에 관련하여 아래에 설명된 바와 같이, 각각의 프레임 내의 캡처된 피사계 심도가 실질적으로 임의의 다른 프레임 내의 캡처된 피사계 심도와 중첩되지 않는다.
색인(i)이 n보다 작으면(108에서 "아니오"이면), 처리(100)는 103으로 되돌아갈 수 있고, 피사계 심도는 DOFi로 설정될 수 있다(여기서, i는 증분됨). 이와 달리, 색인(i)가 n보다 크면(108에서 "예"이면), 처리(100)는 112로 진행될 수 있다.
몇몇의 실시예들에서, 상기에 기술된 바와 같이 및 도 11 및 12에 관련하여 아래에 보다 상세하게 설명된 바와 같이, DOF는 DOFm의 바깥쪽 거리(예를 들어, Zmax)가 DOFm +1의 안쪽 거리(예를 들어, Zmin)와 같도록 설정될 수 있다. 예를 들어, 제 1 피사계 심도(DOF1)에 대한 최대 거리(Zmax)는 제 2 피사계 심도(DOF2)에 대한 최소 거리(Zmin)와 같도록 설정될 수 있다. 앞서 설명된 바와 같이, 캡처된 프레임들 사이에 DOF를 변경시키기 위한 임의의 적절한 기술 또는 기술들의 조합이 사용될 수 있다.
몇몇의 실시예들에서, 이미지들은 이미저(imager)의 프레임 속도 또는 프레임 속도의 몇몇의 일부에서 캡처될 수 있다. 예를 들어, 이미지들을 캡처하기 위해 사용되는 카메라가 초당 120 프레임들의 프레임 속도를 갖고, 그것이 DOFi로부터 DOFi +1로 변경시키는데 10분의 1초를 취하는 경우, 프레임들은 초당 10개의 프레임들에서 캡처될 수 있다. 이러한 예에서, 피사계 심도가 변경되는 동안 임의의 프레임들이 캡처되는 경우(피사계 심도가 변경되는 동안 120개의 프레임들 중 110개가 캡처되는 예에서), 이러한 프레임들은 메모리에 일시적으로 저장되거나, 폐기되거나, 임의의 적절한 목적을 위해 저장 등이 될 수 있다.
112에서, 처리(100)는 지속 기간 초점 부피를 구성하기 위해 상이한 시간들에 캡처된 각각의 DOF에 대한 프레임들을 연관시킬 수 있다. 몇몇의 실시예들에서, 상이한 DOF들에서 캡처된 프레임들(예를 들어, 이미지들)은, 첫번째로 캡처된 프레임은 첫번째에 위치되고, 마지막으로 캡처된 프레임은 마지막에 위치되고, 그들 사이의 프레임들은 프레임의 색인에 따라 순서화되도록 프레임들이 캡처된 시간 순서로 연관될 수 있다.
도 2는 움직이는 공들을 포함하는 장면의 (2개의 공간 차원들(X 및 Y) 및 1개의 시간 차원(T)을 갖는) 3차원 지속 기간 초점 부피의 일례를 도시한다. 초점 범위 내의 각각의 비-폐색된 장면 점은 적어도 한번 인 포커스로 캡처될 수 있다. 도 3은 도 2의 지속 기간 초점 부피로부터 취해진 세로방향 슬라이스(200)의 일례를 도시한다. 슬라이스(200)는 지속 기간 초점 부피의 X-차원-T-차원(X -dimension-by-Y-dimension) 슬라이스이고, 지속 기간 초점 부피에 의해 캡처된 장면 내의 각각의 공은 원뿔로 보일 수 있다는 것을 보여준다. 원뿔들의 모양들은 렌즈 프로파일 및 초점 스윕 속도에 의해 결정될 수 있다. 예를 들어, 물체가 덜 초점이 맞춰지면, 원뿔의 반지름은 보다 커질 수 있다. 추가적으로, 원뿔이 다시-확대되기 전에 좁아지는 점들은 물체가 가장 선명히 초점이 맞춰진 점들을 나타낼 수 있다. 몇몇의 경우들에서, 지속 기간 초점 부피를 구성하는 이미지들이 캡처되는 동안, 장면 내의 물체들이 움직이기 때문에, 원뿔들은 깍일 수 있다(예를 들어, T 방향으로 직선의 각에 있는 축(예를 들어, 축(300))을 가짐). 움직이는 물체는 물체들의 속도 및 움직임 방향에 따라 1개보다 많은 이미지에 인 포커스될 수 있다는 것이 가능한 것을 주의해야 한다. 이러한 물체가 도 3의 예에 존재하는 경우, 슬라이스(200) 내에 도시되는 그것의 모양은 도 3에 도시된 원뿔들과 다르다.
도 5는 전경에는 물체들이 있고, 배경에는 다른 물체들이 있고, 그 사이에는 한 세트의 계단들이 있는, 초점 스윕을 사용하여 캡처된 장면에 대한 지속 기간 초점 부피의 다른 예를 도시한다. 도 5에 도시된 예에서, (예를 들어, 예에서 시간 축(T)이 X 축 및 Y 축과 교차하는) 제로 시간 근처에서 캡처된 프레임들 내에서는, 전경의 물체들이 더욱 인-포커스될 수 있고 배경 내의 물체들이 덜 인-포커스될 수 있으며; 제로 시간으로부터 가장 멀리서 캡처된 프레임들에서는, 배경 내의 물체들이 더욱 인-포커스될 수 있고 전경 내의 물체들이 덜 인-포커스될 수 있다.
도 1로 되돌아가서, 114에서, 시간-공간 인-포커스 이미지를 계산하도록 지속 기간 초점 부피가 사용될 수 있다. 몇몇의 실시예들에서, 시간-공간 인-포커스 이미지는 지속 기간 초점 부피로부터 계산된 시간-공간 모두가-인-포커스된 이미지일 수 있다. 예를 들어, 몇몇의 경우들에서, 시간-공간 인-포커스 이미지는 확장된 피사계 심도 이미지일 수 있다. 몇몇의 실시예에서, 장면의 각각의 점에 대한 가장 선명한 이미지 부분들을 포함하는 이미지를 계산하기 위해 각각의 계층으로부터의 선명도 정보가 사용될 수 있다. 이것은, 장면의 각각의 점에서, 그 점에 대한 정보가 그 특정 점에 대한 가장 선명한 프레임으로부터 도출되는 이미지를 제공할 수 있다. 몇몇의 실시예들에서, 도 15에 관련하여 아래에 설명된 바와 같이, 시간 축에 걸쳐 평균화된 각각의 점에 대한 가중된 합이 시간-공간 인-포커스 이미지를 계산하기 위해 사용될 수 있다.
도 4는 도 2의 예에서 도시된 지속 기간 초점 부피의 X-T 평면에서 슬라이스(200)의 인-포커스 라인(400)의 일례를 도시한다. 도 4에서 알 수 있는 바와 같이, 물체들이 그들의 가장 선명한 초점에 있는 시간 축 내의 계층들이 시간-공간 인-포커스 이미지를 구성하기 위해 사용될 수 있다. 3차원으로 확장되면, 시간-공간 인-포커스 이미지는 지속 기간 초점 부피 내의 표면일 수 있고, 여기서, 표면 상의 점들은 지속 기간 초점 부피에 걸친 장면 내의 각각의 점에의 가장 선명한 계층을 표현한다. 보다 구체적으로, X-T 평면에서 각각의 슬라이스에 대하여 인-포커스 라인(400)과 유사한 인-포커스 라인이 있을 수 있다. 시간-공간 인-포커스 이미지는 이들 시간-공간 인-포커스 라인들의 조합일 수 있고, X-T 평면 내의 각각의 슬라이스(예를 들어, 슬라이스(200))로부터의 라인(예를 들어, 라인(400))은 시간-공간 인-포커스 이미지 내의 행(예를 들어, 슬라이스(200)와 같은 Y 값에서 행)을 표현한다.
도 6은 도 5의 예에서 도시된 지속 기간 초점 부피에 대한 시간-공간 인-포커스 이미지의 일례를 도시된다. 도 6의 시간-공간 인-포커스 이미지는 도 15와 관련하여 아래에 설명된 바와 같이 계산될 수 있다.
도 1로 되돌아가서, 처리(100)는 시간-공간 색인 맵이 지속 기간 초점 부피 및 시간-공간 인-포커스 이미지에 기초하여 계산될 수 있는 116으로 진행할 수 있다. 시간-공간 인-포커스 색인 맵은 장면 내의 각각의 점이 가장 선명한 계층을 표현할 수 있다. 몇몇의 실시예들에서, 시간-공간 인-포커스 색인 맵은 장면 내의 점의 선택에 응답하여 어떤 프레임을 디스플레이할지를 결정하기 위해 사용될 수 있다. 도 7은 도 5의 예에서 도시된 지속 기간 초점 부피에 대한 시간-공간 색인 맵의 일례를 도시한다. 몇몇의 실시예들에서, 시간-공간 색인 맵은, 각각의 화소에서의 값이 초점의 측정치(초점의 임의의 적절한 측정치가 사용될 수 있음이 주의됨)이 최대화된 지속 기간 초점 부피의 색인(i)에 기초하는 그레이스케일 이미지일 수 있다. 도 7의 예에서, 보다 높은 값(예를 들어, 보다 어두운 화소들)은 피사계 심도가 카메라에 보다 가까운 계층들에 대응한다.
몇몇의 실시예들에서, 여기서 설명된 메커니즘들을 사용하여 이미징된 장면이 정적이면(예를 들어, 장면 내의 물체들이 제 1 프레임에서 마지막 프레임까지 임계량보다 많이 움직이지 않음), 전체 지속 기간 초점 부피에 대하여 단일의 시간-공간 색인 맵이 계산될 수 있다. 도 8은 시간-공간 인-포커스 이미지(802) 및 대응하는 시간-공간 색인 맵(804)의 일례를 도시한다. 도 8의 예에서, 시간-공간 인-포커스 이미지(802) 내의 각각의 점(x, y)(806)은 시간-공간 색인 맵(804)에서 점(x, y)(800)에서의 깊이 값에 대응한다.
몇몇의 실시예들에서, 여기서 설명된 메커니즘들을 사용하여 이미징된 장면이 동적이면(예를 들어, 장면 내의 하나 이상의 물체들이 제 1 프레임에서 마지막 프레임까지 임계량보다 많이 움직임), 3차원 시간-공간 색인 맵 스택을 생성하도록 3차원 시간-공간 색인 맵이 계산될 수 있다. 3차원 시간-공간 색인 맵 스택은 지속 기간 초점 부피 내의 각각의 이미지에 대응하는 2차원 색인 맵을 포함할 수 있다. 도 9는 3차원 색인 맵(902) 및 동적인 장면(예를 들어, 상당한 움직임이 있는 장면)을 위해 3차원 색인 맵(902)을 구성하는 2차원 색인 맵들(904)의 세트를 도시한다. 각각의 2차원 색인 맵(904)은, 2차원 시간-공간 색인 맵(904) 내의 각각의 점(x, y)에서의 값이 점(x, y)에서의 물체가 지속 기간 초점 부피(906) 내에서 초점이 맞춰진 계층(d)을 나타내는 그레이스케일 이미지일 수 있다. 움직이는 물체에 대하여, 물체가 위치한 점(x, y)은 하나의 2차원 시간-공간 색인 맵에서 다른 것으로 변경할 수 있다. 따라서, 하나의 2차원 시간-공간 색인 맵 상의 점(x, y)에서의 값은 다른 2차원 시간-공간 색인 맵 내의 점(x, y)에서의 값과 같지 않을 수 있다.
몇몇의 실시예들에서, 시간-공간 인-포커스 이미지 내의 각각의 점에 대한 값은 지속 기간 초점 부피를 구성하는 프레임들의 각각 내의 동일한 점의 값과 비교될 수 있다. 값들이 가장 근사하게 매칭하는 계층은 장면 내의 점이 가장 선명한 깊이로 설정될 수 있다. 추가적으로 또는 대안적으로, 시간-공간 인-포커스 이미지의 패치들(patches)은 지속 기간 초점 부피의 패치들과 비교될 수 있다. 예를 들어, 시간-공간 인-포커스 이미지의 패치와 지속 기간 초점 부피 내의 각각의 프레임의 패치들 사이에 정규화된 교차 상관이 발견될 수 있고, 정규화된 교차 상관이 최대 값이 되는 매칭이 발견될 수 있다. 또 다른 예로서, 시간-공간 인-포커스 이미지 내의 위치(x, y)를 포함하는 (예를 들어, 주어진 패턴, 컬러(들), 또는 밝기(들), 이들의 조합들 등을 갖는) 주어진 물체 또는 물체의 일부라고 고려되는 패치들이 발견되고 지속 기간 초점 부피 내의 다른 이미지들 내의 동일한 위치 주변의 패치들과 비교될 수 있다. 이러한 예에서, 패치들이 실질적으로 같은 이미지 데이터를 포함하는 매칭이 발견될 수 있다. 시간-공간 인-포커스 이미지 및 지속 기간 초점 부피의 비교에 기초하여 시간-공간 색인 맵을 찾기 위한 처리의 일례는 도 16 내지 19와 관련하여 아래에 설명된다.
몇몇의 실시예들에서, 장면 내의 점 P0가 가장 선명할 가능성이 높은 지속 기간 초점 부피 내의 프레임을 찾기 위해 그리디 서치 기술이 사용될 수 있다. P0가 가장 선명할 가능성이 있는 프레임에 대응하는 계층의 깊이(d)가 시간-공간 색인 맵에서 사용될 수 있다. 그리디 서치에 기초하여 시간-공간 색인 맵을 계산하기 위한 처리의 일례가 도 20과 관련하여 아래에 설명된다.
몇몇의 실시예들에서, 장면 내의 점 P0가 선명할 가장 높은 가능성이 있는 지속 기간 초점 부피 내의 프레임을 찾음으로써 시간-공간 색인 맵을 계산하기 위해 기계 학습 처리가 사용될 수 있다. 기계 학습 처리에서, 장면의 각각의 점이 가장 선명한 알려진 깊이들을 갖는 지속 기간 초점 부피들의 세트가 분류 모델을 훈련시키기 위해 사용될 수 있다. 분류 모델은 인-포커스 점들로 알려진 점들 및 아웃-오브-포커스(out-of-focus) 점들로 알려진 점들을 사용하여 훈련될 수 있다. 훈련된 분류 모델은 인-포커스 점들의 깊이가 알려지지 않은 지속 기간 초점 부피에 대한 시간-공간 색인 맵을 찾기 위해 사용될 수 있다. 시간-공간 색인 맵을 계산하기 위한 기계 학습 처리의 일례는 도 21과 관련하여 아래에 설명된다.
몇몇의 실시예들에서, 지속 기간 초점 부피에 걸친 각각의 점에 대한 궤적을 찾고 궤적을 따라 가장 선명한 점을 찾음으로써 시간-공간 색인 맵을 계산하기 위해 광학 흐름 분석이 사용될 수 있다. 광학 흐름 분석을 사용하여 시간-공간 색인 맵을 계산하기 위한 처리의 일례는 도 22와 관련하여 아래에 설명된다.
도 1로 되돌아가서, 118에서, n개의 캡처된 프레임들 중에서 현재의 프레임으로 설정된 초기 프레임이 사용자에게 디스플레이될 수 있다. 몇몇의 실시예들에서, 첫번째로 또는 마지막으로 캡처된 프레임이 초기 프레임으로서 사용자에게 디스플레이될 수 있다. 대안적으로, 시간-공간 인-포커스 이미지가 초기 프레임으로서 사용자에게 디스플레이될 수 있다. 다른 대안으로서, 지속 기간 초점 부피를 구성하는 프레임들 중에서 임의의 프레임이 초기 프레임으로서 사용자에게 디스플레이될 수 있다.
120에서, 현재의 프레임의 점(x, y)에서 선택이 존재하는지가 결정될 수 있다. 몇몇의 실시예들에서, 사용자는 초점을 맞추기 위해 현재의 프레임의 점(x, y)을 선택할 수 있다. 예를 들어, 사용자는 커서를 사용하여, 커서가 사용자가 선택하길 원하는 점(x, y) 위에 있을 때 클릭함으로써 점(x, y)을 선택할 수 있다. 추가적으로 또는 대안적으로, 사용자는 현재의 이미지를 디스플레이하는 터치스크린 장치 상에서 사용자가 선택하길 원하는 점(x, y)을 터치할 수 있다. 추가적으로 또는 대안적으로, 리포커스하기 위한 점(x, y)을 선택하기 위한 임의의 적절한 기술이 여기서 설명된 메커니즘들에 연관하여 사용될 수 있다.
점이 선택되지 않으면(120에서 "아니오"이면), 처리(100)는 118로 되돌아가고 현재의 이미지를 계속 디스플레이할 수 있다.
이와 달리, 현재의 이미지 내의 점(x, y)이 선택되면(120에서 "예"이면), 122에서, 현재의 프레임은 120에서 선택되었던 선택된 점(x, y)에 대응하는 점에서 초점이 가장 선명한 프레임으로 변경될 수 있다. 몇몇의 실시예들에서, 초점이 가장 선명한 프레임은 시간-공간 색인 맵을 사용하여 결정될 수 있다. 점(x, y)이 지속 기간 초점 부피 내에서 움직이는 물체에 대응하면, 가장 선명한 프레임은 X 및 Y 방향들의 좌표들뿐만 아니라 점(x, y)이 선택되었던 현재의 프레임에 기초하여 결정될 수 있다. 가장 선명한 초점을 가진 프레임이 결정될 때, 그것은 현재의 프레임으로 설정되고 처리(100)는 118로 되돌아가서 새롭게 설정된 현재의 프레임을 디스플레이한다.
몇몇의 실시예들에서, 점(x, y)이 선택되었던 이전에 디스플레이된 프레임과 새롭게 설정된 현재의 프레임 사이의 지속 기간 초점 부피 내의 프레임들의 서브세트가 이전에 디스플레이된 프레임과 새로운 현재의 프레임의 디스플레이 사이에 연속적으로 디스플레이될 수 있다. 이것은, 사용자가 뷰파인더(viewfinder)를 통해 캡처될 장면을 뷰잉하는 것처럼, 수동 초점 조작을 시뮬레이팅할 수 있는 이전의 이미지와 현재의 이미지 사이의 자연스러운 이동을 위해 허용될 수 있다.
도 10으로 넘어가서, 몇몇의 실시예들에 따라 여기서 설명된 바와 같은 이미지들 내에서의 리포커싱을 제공하기 위한 메커니즘들과 함께 사용하기 위한 지속 기간 초점 부피를 캡처하기 위한 카메라의 일례(1000)가 도시된다. 도시된 바와 같이, 카메라(1000)는 이미지 센서(1004) 상에 이미지를 포커싱하기 위한 렌즈(1002); 카메라(1000)의 조리개를 제어하기 위한 (예를 들어, 장면으로부터 얼마나 많은 광이 이미지 센서(1004) 상에 영향을 주도록 허용되는지) 구경 조리개(1006)(예를 들어, 다이어프램(diaphram)); 컴퓨터와 같은 임의의 적절한 범용 장치 또는 클라이언트, 서버 등과 같은 특수 목적 장치일 수 있고, 이 범용 또는 특별 목적 장치는 하드웨어 처리기(마이크로프로세서, 디지털 신호 처리기, 마이크로제어기 등일 수 있는)로 구현될 수 있는, 카메라(1000)의 동작들을 제어하기 위한 제어기(1008); 카메라(1000)의 광학 축(1020)에 평행한 방향을 따라 이미지 센서(1004)의 위치(1014) 및/또는 렌즈(1002)의 위치(1012)를 제어하기 위한 구동기/액추에이터(1010)(예를 들어, 모터, 선형 액추에이터, 미세전자기계(microelectromechanical, MEMS) 장치 등); 사용자 및/또는 환경으로부터 입력을 수락하기 위한 (셔터 버튼, 메뉴 버튼, 마이크로폰, 터치스크린, 움직임 감지기, 등 또는 그것의 임의의 적절한 조합과 같은) 입력 장치(1016); 디스플레이(1018); 및 통신 링크를 통해 제어기(1008)와, 스마트폰, 테블릿 컴퓨터, 랩톱 컴퓨터, 개인용 컴퓨터, 서버 등과 같은 다른 장치들 간의 통신을 허용하기 위한 I/O 포트(1022)를 포함할 수 있다. 카메라(1000)는 이미지들, 지속 기간 초점 부피들, 시간-공간 인-포커스 이미지들, 시간-공간 색인 맵들 등을 저장하기 위한 메모리(1020)를 추가로 포함할 수 있다. 몇몇의 실시예들에서, 메모리(1020)는 제어기(1008)를 제어하기 위한 컴퓨터 프로그램을 저장하기 위한 저장 장치(예를 들어, 하드 디스크, 블루-레이 디스크(Blu-ray disc), 디지털 비디오 디스크, RAM, ROM, EEPROM 등)를 포함할 수 있다.
몇몇의 실시예들에서, 카메라(1000)는 통신 링크 및 I/O 포트(1022)를 사용하여 네트워크를 통해 원격 장치와 통신할 수 있다. 추가적으로 또는 대안적으로, 카메라(1000)는 스마트폰, 테블릿 컴퓨터, 랩톱 컴퓨터 등과 같은 다른 장치의 부분으로서 포함될 수 있다. 카메라(1000)의 부분들은 카메라(1000)가 통합된 장치와 공유될 수 있다. 예를 들어, 카메라(1000)가 스마트폰에 통합되는 경우, 제어기(1008)는 스마트폰의 처리기일 수 있고 카메라(1000)의 동작을 제어하기 위해 사용될 수 있다.
카메라(1000)는 임의의 다른 적절한 장치에 통합되고/되거나 임의의 다른 적절한 장치와 통신할 수 있고, 상기 다른 장치는 컴퓨터와 같은 범용 장치 또는 클라이언트, 서버 등과 같은 특수 목적 장치 중 하나일 수 있다. 이들 범용 또는 특수 목적 장치들 중 임의의 것은 (마이크로프로세서, 디지털 신호 처리기, 제어기 등일 수 있는) 하드웨어 처리기, 메모리, 통신 인터페이스들, 디스플레이 제어기들, 입력 장치들 등과 같은 임의의 적절한 구성요소들을 포함할 수 있다. 예를 들어, 상기 다른 장치는 디지털 카메라, 스마트폰, 테블릿 컴퓨터, 휴대 정보 단말(PDA), 개인용 컴퓨터, 랩톱 컴퓨터, 멀티미디어 단말, 특수 목적 장치, 게임 콘솔(console) 등으로 구현될 수 있다.
통신 링크를 통한 I/O 포트(1022)에 걸친 통신들은 인터넷, 인트라넷, 광역 통신망(WAN), 근거리 통신망(LAN), 무선 네트워크, 디지털 가입자 회선(DSL) 네트워크, 프레임 중계 네트워크, 비동기 전송 모드(ATM) 네트워크, 가상 사설망(VPN)을 포함하는, 임의의 적절한 컴퓨터 네트워크 또는 임의의 적절한 네트워크들을 사용하여 수행될 수 있다. 통신 링크는 네트워크 링크, 디이얼-업 링크(dial-up link), 무선 링크, 고정-배선 링크, 임의의 다른 적절한 통신 링크, 또는 이러한 링크들의 임의의 적절한 조합과 같은, 카메라(1000)와 다른 장치 사이에 데이터를 통신하기에 적절한 임의의 통신 링크들을 포함할 수 있다. 카메라(1000) 및/또는 다른 장치(예를 들어, 서버, 개인용 컴퓨터, 스마트폰 등)는 여기서 설명된 메커니즘들의 특징들이 사용되도록 허용하는 컴퓨터 프로그램을 사용자가 실행하게 할 수 있다.
또한, 통신 링크 또는 임의의 다른 통신 링크(들)를 통해 수신된 데이터는 임의의 적절한 소스(source)로부터 수신될 수 있다는 것이 또한 주의되야 한다. 몇몇의 실시예들에서, 제어기(1008)는, 예를 들어, 전송기, 수신기, 전송기/수신기, 트랜시버(transceiver), 또는 임의의 다른 적절한 통신 장치를 사용하여 통신 링크 또는 임의의 다른 통신 링크(들)를 통해 데이터를 송신 및 수신할 수 있다.
도 11은 몇몇의 실시예들에 따른 피사계 심도(DOF; 1102)를 나타내는 도시적 도면이다. DOF(1102)는 다음의 수학식을 사용하여 카메라(1000)의 속성들로부터 계산될 수 있다:
Figure pct00001
(1)
여기서, c는, 예를 들어, 이미지 센서 내의 화소들의 화소들의 크기(예를 들어, 화소의 효율적인 광 수신 영역)일 수 있는 이미징 장치의 컨퓨전의 원이고, v는 렌즈(1002)와 감지기(1004) 사이의 거리이고, f는 렌즈(1002)의 초점 거리이고, N은 구경 조리개(1006)에 의해 설정된 조리개(A)와 렌즈의 조합의 f-수이다. 도 11에 나타낸 바와 같이, DOF(1102)는 렌즈(1002)로부터의 거리(Z) 주변의 Zmin 내지 Zmax의 범위와 같고, 물체들로부터의 광의 블러는 컨퓨전의 원보다 작다. DOF(1102) 내의 물체들(예를 들어, 카메라(1000)로부터 Zmin 내지 Zmax 사이의 거리를 갖는 물체들)은 카메라(1000)의 초점 평면에 정확히 위치하지는 않지만 초점이 맞게 보인다.
몇몇의 실시예들에서, (예를 들어, 이미지 센서를 움직임으로써) 상이한 초점 설정들로 캡처된 다양한 피사계 심도들(DOFi 내지 DOFn)이 다음의 2개의 기준들을 만족하도록 요구될 수 있다:
A) 완벽성: 장면 내의 모든 물체들이 적어도 하나의 DOF에 의해 포함될 때. 예를 들어, 통합 DOF들이 다음의 수학식에 나타낸 바와 같이 전체 관심있는 깊이 범위를 포함할 수 있다:
Figure pct00002
(2)
B) 효율성: 2개의 DOF들 간에 중첩되지 않도록 각각의 물체가 단지 하나의 DOF에 의해 포함될 때(예를 들어, 단지 하나의 캡처된 이미지 내에서 초점이 맞춰짐). 중첩되지 않으면, 제한된 수의 프레임들을 사용하여 큰 DOF가 캡처되게 할 수 있다. 예를 들어, DOF들의 교차점은 다음의 수학식에 나타난 바와 같이 빈 세트일 수 있다:
Figure pct00003
(3).
완벽성 및 효율성에 대한 기준을 만족하면, 장면 내의 관심있는 모든 물체들이 다수의 DOF들에 걸쳐 다수의 이미지들을 사용하여 캡처되게 할 수 있다.
완벽성 및 효율성 기준들을 만족하도록 이미지들을 캡처하는 감지기 위치들을 결정하는 것은 얇은 렌즈 공식(thin lens formula)으로 시작하여 도출될 수 있는데:
Figure pct00004
(4)
여기서 z는 장면 내의 물체까지의 거리이고, 앞서 설명된 바와 같이 f는 초점 거리이고, v는 렌즈에서 이미지 센서까지의 거리이다. 수학식(4)은 다음과 같이 역의 차원(reciprocal domain)으로 표현될 수 있다:
Figure pct00005
(5)
수학식(5)을 사용하여, 수학식(1)으로부터의 피사계 심도가 다음의 한 쌍의 수학식들을 사용하여 역의 차원으로 도출될 수 있는데:
Figure pct00006
(6)
여기서, 앞서 설명한 바와 같이, c는 컨퓨전의 원이고, A는 카메라의 조리개이다.
앞서 설명된 바와 같은 완벽성 및 효율성 기준들 모두를 만족하는 샘플링을 위해, 캡처된 다수의 DOF들은 연속적이고 중첩되지 않을 수 있다. 따라서, 하나의 샘플링으로부터 또 다른 샘플링으로의 v에서의 변화들은 다음의 수학식을 만족할 수 있다:
Figure pct00007
(7)
수학식(7)은 다음과 같이 역의 차원으로부터 다시 쓰일 수 있는데:
Figure pct00008
(8)
여기서, k=c/A이다. 거리들(v1 및 v2)이 초점 길이(f)에 가까울 때, 수학식(8)은 다음과 같이 다시 쓰일 수 있다:
Figure pct00009
(9)
이것은, 후에, 다음과 같이 다시 쓰일 수도 있다:
Figure pct00010
(10).
수학식(10)에서 알 수 있는 바로서, 거리들(v1 및 v2)이 f에 가까울 때, DOF1로부터 DOF2로의 피사계 심도를 변경시키기 위한 v1에서 v2로의 감지기의 변위는 화소 크기(c) 및 렌즈의 f-수(N)에 관련된다. 프레임들이 고정된 간격들(Δt)에서 (예를 들어, 고정된 프레임 속도에서) 캡처되는 몇몇의 실시예들에서, 이미지 센서의 스윕은 다음과 같은 일정한 속도 Δv에서 수행될 수 있다:
Figure pct00011
(11)
여기서, P는 프레임 속도(예를 들어, 단위 시간당 프레임들의 수)이다. 수학식(11)은, 일정한 프레임 속도 P가 주어지면, 컨퓨전의 원(c)(또는 화소 크기(c)), 카메라 f-수(N), 및 프레임 속도(P)에 종속하는 일정한 속도(Δv/Δt)에서 이미지 센서를 움직임으로써 완벽성 및 효율성 기준들을 만족하도록 전체 피사계 심도가 캡처될 수 있다는 것을 보여준다는 것이 주의되야 한다. 따라서, 한 세트의 이미징 장치 파라미터들(예를 들어, 렌즈 f-수, 조리개, 화소 크기 등)가 주어지면, 완벽하고 효율적인 피사계 심도 샘플링을 위해 일정한 프레임 속도(P)에서 프레임들을 캡처하면서, 감지가가 고정된 속도로 움직일 수 있다.
도 12는 몇몇의 실시예들에 따라, 이미지 센서(1004)를 일정한 속도로 움직이면서, (앞서 정의된 바와 같이) 완벽하고 효율적으로 샘플링된 다양한 피사계 심도(DOF1 내지 DOF4)의 일례를 도시한다. 도 12에 도시된 바와 같이, 각각의 DOF는 인접한 DOF와 중첩하지 않으면서 인접한 DOF와 연속된다.
몇몇의 실시예들에서, 이미지들을 캡처하기 위해 사용되는 하드웨어의 제한들로 인해, 다양한 피사계 심도를 완벽하게 및 효율적으로 샘플링하는 것이 불가능할 수 있다. 이러한 경우들에서, 캡처된 다양한 DOF들이 완벽하게 그리고 실질적으로 효율적으로 샘플링되도록 중첩하는 DOF들이 존재할 수 있다(예를 들어, 중첩되지만, 중첩은 각각의 DOF의 크기에 비해 작을 수 있음). 반대로, 캡처된 다양한 DOF들이 효율적으로 그리고 실질적으로 완벽하게 샘플링되도록 인접한 DOF들 간에 간극(gap)들이 있을 수 있다(예를 들어, 중첩되지 않고 DOF들 간에 간극들이 각각의 DOF의 크기에 비해 작을 수 있음).
이미지들이 일정한 프레임 속도에서 캡처되지 않는 몇몇의 실시예들에서, 이미지 센서를 움직이는 속도를 계산하기 보다는, 원하는 피사계 심도를 캡처하기 위해 이미지들을 캡처하는 위치들이 계산될 수 있다. 예로서, 이미지 센서가 주어진 선형 속도(예를 들어, 평균 속도)에서 이동될 수 있는 경우, 주어진 그 선형 속도로 이미지들을 캡처하는 프레임 속도에 대하여 수학식(11)을 풀 수 있다. 다른 예로서, 이미지들이 각각의 원하는 피사계 심도에 대하여 캡처될 때까지, 이미지 센서는 특정 위치들로 드라이빙되다가 이미지가 캡처되는 동안 정지되고, 그 후 다음 이미지를 캡처하기 위해 다음 위치로 움직여질 수 있다.
(이미지 센서를 움직이기 보다는) 프레임이 캡처되는 피사계 심도를 바꾸기 위한 다양한 기술들이 사용될 수 있다. 예를 들어, 몇몇의 실시예들에서, 카메라의 렌즈가 이미지 센서 및 렌즈의 광학 축을 따라 카메라의 이미지 센서에 대하여 이동될 수 있으며, 이미지들이 다양한 렌즈 위치들에서 캡쳐될 수 있고, 이에 따라 다양한 이미지들 중에서 피사계 심도가 변경된다.
추가적으로 또는 대안적으로, 추가의 광학 요소의 위치가 카메라의 이미지 센서 및/또는 렌즈에 대하여 변경될 수 있으며, 이미지들이 추가의 광학 요소의 다양한 위치들에서 캡처될 수 있다. 일례에서, 추가의 광학 요소는 메인 이미지 캡처링 렌즈(또는 렌즈 그룹) 이외의 하나 이상의 추가의 렌즈들일 수 있고, 이미지들은 추가의 렌즈(들)의 다양한 위치들에서 캡처될 수 있다.
또 다른 예에서, 추가의 광학 요소는 광이 장면으로부터 이미지 센서로 가로지르는 경로의 길이를 변경할 수 있는 광학 요소일 수 있다. 보다 구체적으로, 추가의 광학 요소는 렌즈와 이미지 센서 사이에 가로지르는 광의 경로 내에 위치된 하나 이상의 프리즘들(및/또는 거울들)을 포함할 수 있고, 하나 이상의 프리즘들(및/또는 거울들)은 광이 렌즈로부터 이미지 센서로 가로지르는 경로 길이를 증가시키도록 이동될 수 있으므로, 그에 의해 렌즈와 이미지 센서 사이의 거리(예를 들어, 상기 수학식(4)에서 사용된 것과 같은 v)를 효율적으로 변경시킨다.
역시 또 다른 예에서, 추가의 광학 요소는 렌즈와 이미지 센서 사이를 가로지르는 광의 경로 내에 위치될 수 있고, 장면으로부터 이미지 센서로 가로지를 때 광의 광학 경로 길이를 변경할 수 있는 하나 이상의 굴절율들을 갖는 하나 이상의 광학 요소들을 포함할 수 있어서, 그에 의해 렌즈와 이미지 센서 사이의 거리(예를 들어, 상기 수학식(4)에서 사용된 것과 같은 v)를 효율적으로 변경한다. 앞서의 2개의 예들에서, 추가의 광학 요소가 장면과 렌즈 사이를 가로지르는 광의 경로 내에 위치되는 경우, 이것은 장면과 이미지 센서 사이의 거리(예를 들어, 상기 수학식(4)에서 사용된 것과 같은 z)를 효율적으로 변경할 수 있다는 것이 주의되야 한다.
추가적으로 또는 대안적으로, 카메라의 렌즈의 초점 거리는 피사계 심도를 변경시키기 위해 변경될 수 있으며, 이미지들은 렌즈의 다양한 초점 거리들에서 캡처될 수 있다. 예를 들어, 몇몇의 실시예들에서, 카메라의 초점 거리는 렌즈에 상이한 양의 전압을 공급함으로써 가변될 수 있는 초점 거리를 갖는 액상 렌즈를 사용하여 변경될 수 있다. 다른 예에서, 몇몇의 실시예들에서, 카메라의 초점 거리는 복합 렌즈를 사용하여 변경될 수 있고, 다양한 렌즈 구성요소들 사이의 거리는 복합 렌즈의 초점 거리(f)를 변경하도록 조정될 수 있다.
추가적으로 또는 대안적으로, 카메라의 조리개는 피사계 심도를 변경하도록 변경될 수 있고, 이미지들은 다양한 조리개에서 캡처될 수 있어서, 그에 의해 다양한 이미지들 중에서 피사계 심도가 변경된다. 예를 들어, 카메라의 구경 조리개(예를 들어, 다이어프램)는 카메라 렌즈의 실질적인 지름을 변경시키도록 사용될 수 있다. 여기서 설명된 바와 같이, 조리개의 지름 내의 변경들은 카메라의 피사계 심도 내의 변경을 유발할 수 있다.
추가적으로 또는 대안적으로, 카메라와 장면 사이의 거리는 피사계 심도를 변경하도록 변경될 수 있고, 이미지들은 장면으로부터 다양한 거리들에서 캡처될 수 있어서, 그에 의해 다양한 이미지들 중에서 피사계 심도가 변경된다. 예를 들어, 장면 내의 어떤 물체들이 카메라의 피사계 심도 내에 있을지를 변경하기 위해 카메라가 장면 쪽으로 또는 장면으로부터 멀리 움직여질 수 있다. 이러한 예에서, 카메라(예를 들어, 이미지 센서 및 렌즈)는 장면에 대하여 (예를 들어, 액추에이터, 기어들, 나사 등을 사용함으로써) 움직여질 수 있는 스테이지(stage) 상에 장착될 수 있다. 다른 예에서, 장면은 카메라에 대하여 움직여질 수 있는 스테이지 상에 장착될 수 있다. 특정 일례에서, 여기서 설명된 메커니즘들은 현미경으로 보이는 장면에 대하여 다양한 피사계 심도들을 캡처하기 위해 현미경과 함께 사용될 수 있다.
몇몇의 실시예들에서, 몇몇의 다른 카메라 속성들을 변경되지 않게 유지하면서, 피사계 심도를 변경시키는 단일 기술이 사용될 수 있다. 예를 들어, 연속적인 이미지들을 캡처할 때, (예를 들어, 이미지 센서, 렌즈, 또는 둘 모두를 움직임으로써) 카메라의 이미지 센서와 렌즈 사이의 거리가 변경될 수 있고, 그에 의해 피사계 심도가 변경된다. 이러한 예에서, 렌즈의 초점 거리, 카메라와 장면 사이의 거리, 및 조리개는 피사계 심도에 대한 원하지 않는 변경들을 막기 위해 실질적으로 동일한 값에서 유지될 수 있다.
대안적으로, 앞서 설명된 바와 같은 피사계 심도를 변경하기 위한 다수의 기술들이 피사계 심도를 변경하기 위해 조합될 수 있다. 예를 들어, 이미지 센서와 렌즈 사이의 거리는 렌즈의 조리개 및/또는 초점 거리를 변경하는 동시에 변경될 수 있다. 이것은, 단지 렌즈 및/또는 이미지 센서만을 움직이는 경우, 피사계 심도에서 동일한 변경을 위해 요구되는 것보다 렌즈와 이미지 센서 사이의 거리에서 보다 작은 변경들을 사용하여 피사계 심도에 대한 변경을 허용할 수 있다.
도 13으로 넘어가서, 지속 기간 초점 부피로부터 시간-공간 색인 맵을 계산하기 위한 처리의 일례(1300)가 몇몇의 실시예들에 따라 나타나있다. 처리(1300)는 1302에서 각각의 프레임이 상이한 피사계 심도로 캡처된 프레임들의 스택을 포함하는 지속 기간 초점 부피를 수신함으로써 시작할 수 있다. 몇몇의 실시예들에서, 지속 기간 초점 부피의 프레임들이 캡처된 피사계 심도는 앞서 설명된 효율성 및 완벽성에 대한 기준들을 만족할 수 있다.
1306 및 1308에서 시간-공간 인-포커스 이미지 및 시간-공간 색인 맵을 계산하기 전에, 1304에서, 지속 기간 초점 부피 상에서 이미지 안정화가 수행될 수 있다. 몇몇의 실시예들에서, 이미지 안정화를 위한 임의의 적절한 기술이 사용될 수 있다.
도 14는 몇몇의 실시예들에 따라 이미지 안정화를 수행하기 위한 처리의 일례(1400)를 도시한다. 1402에서, 지속 기간 초점 부피를 구성하는 프레임들의 스택이 수신될 수 있고, 1404에서, 연속하는 프레임들의 각각의 쌍 사이의 추정된 광학 흐름이 계산될 수 있다. 1406에서, 각각의 프레임 쌍 사이의 글로벌 아핀 변환(global affine transform)이 연속하는 프레임들의 각각의 쌍 사이의 추정된 광학 흐름에 기초하여 계산될 수 있다. 1408에서, 수신된 프레임들의 스택의 모든 프레임들은 글로벌 추정된 아핀 변환을 사용하여 프레임들의 스택 내의 한 프레임(예를 들어, 제 1 프레임, 중간 프레임, 마지막 프레임, 또는 임의의 다른 적절한 프레임)에 정렬될 수 있다. 몇몇의 실시예들에서, 이것은 글로벌 카메라 움직임(예를 들어, 손 떨림 등)이 있을 때 한 기간 동안 캡처된 이미지들을 안정화하기 위해 사용될 수 있다.
도 13으로 되돌아가서, 1306에서, 시간-공간 인-포커스 이미지가 계산될 수 있다. 앞서 설명된 바와 같이, 시간-공간 인-포커스 이미지는 지속 기간 초점 부피로부터 계산된 확장된 피사계 심도(EDOF) 이미지일 수 있다. 몇몇의 실시예들에서, 지속 기간 초점 부피로부터 시간-공간 인-포커스 이미지를 계산하기 위한 임의의 적절한 기술이 사용될 수 있다.
도 15는 1302에서 수신된 지속 기간 초점 부피로부터 시간-공간 인-포커스 이미지를 계산하기 위한 처리의 일례(1500)를 도시한다. 몇몇의 실시예들에서, 시간-공간 인-포커스 이미지는 1304에서 이미지 안정화 처리가 수행된 지속 기간 초점 부피를 구성하는 프레임들의 스택으로부터 계산될 수 있다. 1502에서, 장면 내의 각각의 위치(x, y)에서, 국부적 분산 σ2(x, y, d)가 각각의 계층(d)(즉, d=1에서 d=n까지에 대하여) 내의 점(x, y)에서 계산될 수 있다. 그 후 이 국부적 분산 σ2(x, y, d)는 시간-공간 인-포커스 이미지를 계산할 때 (x, y)에의 값을 가중하기 위해 사용될 수 있다. 몇몇의 실시예들에서, 국부적 분산은 이웃하는 화소들에 기초할 수 있고, 여기서 점(x, y)에 가까운 화소들은 보다 큰 가중을 갖는다. 예를 들어, 국부적 분산은 반지름 7의 가우시안 커널(Gaussian Kernel) 및 대략 총 21개의 이웃하는 화소들을 사용하여 계산될 수 있다. 국부적 분산을 계산하기 위해 임의의 적절한 기술(들)이 사용될 수 있고, 사용될 특정 기술은 카메라의 파라미터들(예를 들어, 화소 크기, 조리개 등)에 기초할 수 있다는 것이 주의되야 한다.
1504에서, 시간-공간 인-포커스 이미지 내의 각각의 점(x, y)에서 명암도(G)가 다음에 따라 계산될 수 있다:
Figure pct00012
(11)
여기서, f(x,y,d)는 프레임(d) 내의 점(x, y)에서의 명암도 값이고, σ2(x, y, d)는 지속 기간 초점 부피 내의 점 (x, y, d)에서의 국부적 분산이다. 각각의 점(x, y)에서의 시간-공간 인-포커스 이미지에 대해 계산된 값들은 시간-공간 인-포커스 이미지(G)를 생성하기 위해 사용될 수 있다.
도 13으로 되돌아가서, 시간-공간 색인 맵이 1306에서 계산된 시간-공간 인-포커스 이미지에 부분적으로 기초하여 1308에서 계산될 수 있다. 시간-공간 색인 맵(또는 3차원 시간-공간 색인 맵)을 계산하기 위해 임의의 적절한 기술이 사용될 수 있다. 예를 들어, 신뢰할 수 있지만 드문 깊이 맵이 지속 기간 초점 부피(V) 및 시간-공간 인-포커스 색인 맵(G)에 기초하여 계산될 수 있다. 신뢰할 수 있지만 드문 깊이 맵은 그 후 자연스러워지고 채워질 수 있으며, 최종 깊이 맵이 시간-공간 색인 맵으로서 출력될 수 있다. 신뢰할 수 있지만 드문 깊이 맵으로부터 깊이 맵을 생성하는 보다 상세한 예가 도 16 내지 19에 관련하여 아래에 설명되어 있다.
또 다른 예로서, 지속 기간 초점 부피(V)의 각각의 계층 내의 각각의 점에 대한 깊이 및 인-포커스 점을 결정하기 위해 그리디 서치가 수행될 수 있다. 신뢰할 수 있지만 드문 깊이 맵으로부터 깊이 맵을 생성하는 보다 상세한 예가 도 20에 관련하여 아래에 설명되어 있다.
여전히 또 다른 예로서, 앞서 설명된 바와 같이, 지속 기간 초점 부피(V) 내의 각각의 점에 대한 인-포커스 깊이를 식별하기 위해 기계 학습 처리가 사용될 수 있다. 보다 구체적으로, 예를 들어, 지속 기간 초점 부피(V) 내의 각각의 화소에 대응하는 인-포커스 화소인 이웃하는 화소를 식별하기 위한 분류 모델을 훈련하기 위해 알려진 깊이 맵들이 사용될 수 있다. 시간-공간 맵 색인을 계산하기 위한 분류 모델을 훈련 및 사용하는 것에 대한 보다 상세한 예가 도 21에 관련하여 아래에 설명된다.
여전히 또 다른 예로서, 지속 기간 초점 부피(V) 내의 각각의 점에 대한 인-포커스 깊이를 식별하기 위해 광학 흐름 추정 처리가 사용될 수 있다. 보다 구체적으로, 예를 들어, 프레임들 사이의 광학 흐름이 계산될 수 있고, 궤적이 지속 기간 초점 부피(V) 내의 각각의 점에 대하여 계산될 수 있다. 궤적에 따른 가장 선명한 점이 계산되어 시간-공간 색인 맵에서 사용될 수 있다. 시간-공간 색인 맵을 계산하기 위한 광학 흐름 추정 처리를 사용하는 것에 대한 보다 상세한 예가 도 22에 관련하여 아래에 설명된다.
도 16으로 넘어가서, 시간-공간 색인 맵을 계산하기 위한 처리의 일례(1600)가 몇몇의 실시예들에 따라 나타나있다. 1602에서, 지속 기간 초점 부피(V) 및 시간-공간 인-포커스 이미지의 영역을 다운-스케일링하기 위해 사용될 수 있는 스케일 레벨(j)이 1로 설정될 수 있다. 몇몇의 실시예들에서, 미리 결정된 수의 지속 기간 초점 부피(V) 및 시간-공간 인-포커스 이미지의 스케일링된 버전들이 생성될 수 있다. 동일한 스케일(j)의 버전들은 스케일(j)의 깊이 맵을 생성하기 위해 비교될 수 있다. 예를 들어, 4개의 버전들의 지속 기간 초점 부피(V) 및 4개의 버전들의 시간-공간 인-포커스 이미지가 생성되어 4개의 스케일링된 깊이 맵들을 생성하기 위해 사용될 수 있다. 도 19는 4개의 상이한 스케일들에서의 4개의 버전의 지속 기간 초점 부피들(1902-1908) 및 시간-공간 인-포커스 이미지들(1912-1918)의 예들을 도시한다. 도 19의 예에서, 동일한 스케일의 스케일링된 지속 기간 초점 부피 및 시간-공간 인-포커스 이미지는 각각의 스케일에서 깊이 맵(1922-1928)을 생성하도록 사용된다. 이러한 예에서, 깊이 맵(1922-1928)은 여기서 설명된 기술과 같은 임의의 적절한 기술들을 사용하여 시간-공간 색인 맵(1930)을 생성하도록 사용될 수 있다.
도 16으로 되돌아가서, 1604에서, 지속 기간 초점 부피(V)가 검색되고/되거나, 1606에서, 시간-공간 인-포커스 이미지(G)가 검색될 수 있다. 몇몇의 실시예들에서, 지속 기간 초점 부피(V)(또한 여기서 부피(V)로 언급됨) 및 시간-공간 인-포커스 이미지(G)(또한 여기서 이미지(G)로 언급됨)가 카메라의 메모리, 컴퓨터의 메모리, 및/또는 서버의 메모리에 저장될 수 있다. 1608에서, 부피(V)와 이미지(G) 중 하나 또는 둘 모두는 다운-스케일링된 이미지들을 제공하기 위해 스케일 레벨(j)에 의해 다운-스케일링될 수 있다. 다운-스케일링은 임의의 적절한 기술을 사용하여 수행될 수 있다. 일예로서, 부피(V) 및 이미지(G)를 구성하는 프레임들(또는 이미지들)은 각각의 스케일링된 이미지의 영역이 스케일 레벨(j)에 의해 감소되도록 비닝 기술들(binning techniques)을 사용하여 다운-스케일링될 수 있다. 또 다른 예로서, 부피(V) 및 이미지(G)를 구성하는 프레임들은 각각의 스케일링된 이미지의 영역이 스케일 레벨(j)에 의해 감소되도록 정방형 보간(bicubic interpolation)을 사용하여 다운-스케일링될 수 있다.
1610에서, 스케일 레벨(j)에서 스케일링된 이미지(G) 내의 위치들은 스케일 레벨(j)에서 스케일링된 부피(V)의 각각의 프레임 내의 위치들과 비교될 수 있고, 동일한 위치에서 매칭하는 영역을 갖는 프레임이 발견될 수 있다. 이 비교는 임의의 적절한 방식으로 수행될 수 있는데, 예를 들어, 몇몇의 실시예들에서, 이미지(G) 내의 각각의 화소 위치(x, y)에 대하여, 계층(d)에서 프레임은 이미지(G) 내의 동일한 패치와 매칭하는 주변 패치를 갖는 부피(V) 내에서 발견될 수 있다. 이러한 실시예들에서, 패치 크기는 상이한 스케일들의 각각에서의 이미지들에 대한 특정 크기로 고정될 수 있다. 예를 들어, 패치는 위치(x, y)에의 화소를 포함하는 5x5 화소들의 그룹을 포함할 수 있다. 다른 예로서, 패치는 위치(x, y)에서의 화소 및 화소 위치(x, y)에서의 화소에 이웃하는 8개의 화소들을 포함할 수 있다. 몇몇의 실시예들에서, 부피(V)의 계층(d)으로부터의 패치의 이미지 데이터와 이미지(G)로부터의 패치의 이미지 데이터 사이에 유사성 점수가 계산될 수 있다. 유사성 점수가 임계치보다 높은 경우, 패치들은 매칭한다고 생각될 수 있다. 임의의 적절한 유사성 점수가 (예를 들어, 패치들 사이의 교차-상관 값, 패치들 사이의 정규화된 교차-상관 값, 패치들 사이의 다수의 차이들, 패치들 사이의 (마할라노비스 거리(Mahalanobis distance)와 같은) 거리 메트릭 등과 같은) 몇몇의 실시예들에서 사용될 수 있다.
1612에서, 1610에서의 비교 결과에 기초하여 스케일 레벨(j)에 대하여 깊이 맵이 저장될 수 있다. 몇몇의 실시예들에서, 깊이 맵은, 스케일(j)에서 이미지(G)와 부피(V) 사이에 매칭이 발견된 각각의 위치(x, y)에서 깊이 색인 값(d)을 포함할 수 있다. 스케일(j)에 대한 깊이 맵이 완성될 때, 처리(1600)는 1614로 진행할 수 있다.
1614에서, 스케일 레벨(j)은 j가 2*j가 되도록 두배가 될 수 있다. 1616에서, j가 m보다 큰지 여부가 결정될 수 있고, m은 계산될 최대 스케일링 인자이다. j가 m보다 큰 경우(1616에서 "예"이면), 처리(1600)는 1618로 진행할 수 있다. 이와 달리, j가 m보다 작거나 같으면(1616에서 "아니오"이면), 처리(1600)는 1604 및/또는 1606으로 되돌아갈 수 있다. 대안적으로, 언제 충분한 수의 스케일링된 이미지들이 생성되는지를 결정하기 위해 임의의 다른 적절한 기술이 사용될 수 있다.
1618에서, 미리 결정된 수의 스케일들에 대한 미리 결정된 수의 깊이 맵들이 계산될 때, 각각의 스케일에 대한 깊이 맵들은 지속 기간 초점 부피(V)에 대한 시간-공간 색인 맵을 생성하기 위해 병합될 수 있다. 이 병합은 임의의 적절한 방식으로 수행될 수 있다.
예를 들어, 도 17은 몇몇의 실시예들에 따라 처리(1600)를 사용하여 생성된 깊이 맵들을 병합하기 위한 처리의 일례(1700)를 도시된다. 처리(1700)는 처리(1600)에 의해 생성된 각각의 스케일에 대한 깊이 맵들을 검색함으로써 1702에서 시작할 수 있다. 1704에서, 1702에서 검색된 깊이 맵들로부터 드문 깊이 맵이 생성될 수 있다. 이러한 드문 깊이 맵은 임의의 적절한 기술들을 사용하여 생성될 수 있다. 예를 들어, 몇몇의 실시예들에서, 장면 내의 각각의 위치에 대하여, 색인 값(d)이 다양한 스케일들 중에서 비교될 수 있고, 비교에 기초하여 그 위치에 대한 깊이가 설정될 수 있다. 보다 구체적으로, 예를 들어, 장면 내의 특정 위치에 대하여, 각각의 깊이 맵으로부터의 색인(d)은 다른 깊이 맵들의 각각에 대한 상기 위치에의 색인(d)과 비교될 수 있다. 깊이 맵들 간의 색인의 차이가 계산될 수 있고 미리 결정된 최대 차이와 비교될 수 있다. 최대 차이는 임의의 적절한 값일 수 있고 지속 기간 초점 부피 내의 프레임들의 수에 종속할 수 있다. 예를 들어, 최대 차이는 2개의 프레임들일 수 있다. 이러한 예에서, 장면 내의 위치에서의 추정된 깊이의 최대 차이가 2개의 프레임들보다 큰 경우, 상기 위치에서의 깊이는 신뢰할 수 없다고 생각될 수 있다. 다른 한편으로, 장면 내의 위치에서의 추정된 깊이 사이의 최대 차이가 2개의 프레임들과 같거나 작은 경우, 그 위치에서의 깊이는 신뢰할 수 있다고 생각될 수 있다.
깊이가 신뢰할 수 있다고 생각되는 위치들에서, 위치에 대한 최종 깊이는 각각의 스케일 레벨에 대한 깊이 맵들로부터의 상기 위치에서의 추정된 깊이들을 평균화함으로써 결정될 수 있다. 몇몇의 실시예들에서, 평균된 색인은 가장 근접한 프레임의 깊이로 라운딩(round)될 수 있다. 예를 들어, 평균이 프레임들 사이에 있는 깊이이고, 상기 위치에서의 깊이는 가장 근접한 프레임으로 라운딩될 수 있다. 이들 색인 값들은 드문 깊이 맵을 생성하기 위해 사용될 수 있다. 몇몇의 실시예들에서, 다양한 깊이 맵들을 사용하는 색인들 간의 차이가 최대 차이보다 큰 위치들에서, 드문 깊이 맵 내의 깊이 정보는 할당되지 않은 채로 남아있을 수 있다.
1706에서, 1704에서 생성된 드문 깊이 맵은 자연스러워질 수 있고 신뢰할 수 없는 부분들(예를 들어, 차이가 최대 차이보다 큰 부분들)은 시간-공간 인-포커스 이미지(G)에 기초하여 채워질 수 있다. 이 자연스럽게 하는 것 및 채우는 것은 임의의 적절한 방식으로 수행될 수 있다.
예를 들어, 도 18은 몇몇의 실시예들에 따라 드문 깊이 맵을 자연스럽게 하고 구멍을 채우기 위한 처리의 일례(1800)를 나타낸다. 1802에서, 시간-공간 인-포커스 이미지(G)가 검색되고, 1804에서 이미지(G)가 색 및 질감에 기초하여 세분될 수 있다. 이미지(G)를 세분하기 위한 임의의 적절한 기술이 사용될 수 있다. 예를 들어, 시간-공간 인-포커스 이미지(G)를 색 및 질감에 기초하여 동일한 물체에 대응할 가능성이 있는 세그먼트들로 세분하기 위해 그래프-컷(Graph-Cut) 알고리즘이 사용될 수 있다. 보다 구체적으로, 예를 들어, 세그먼트들은 시간-공간 인-포커스 이미지(G) 내의 물체들의 색 및 질감에 기초하여 발견될 수 있다. 1806에서, 1704에서 생성된 드문 깊이 맵은 자연스럽게 하기 및 구멍-채우기를 수행할 때 사용되도록 검색될 수 있다.
1808에서, 1804에서 식별된 각각의 세그먼트에서, 드문 깊이 맵 및 시간-공간 인-포커스 이미지(G)에 기초하여, 평면이 세그먼트에 맞춰질 수 있다(fit). 이 평면 맞춤은 임의의 적절한 방식으로 수행될 수 있다. 예를 들어, 몇몇의 실시예들에서, 각각의 세그먼트는 신뢰할 수 있는 화소들(예를 들어, 특정 깊이 할당된 화소들) 및 신뢰할 수 없는 화소들(예를 들어, 특정 깊이 할당되지 않은 화소들)을 포함할 수 있다. 평면은 세그먼트 내의 임의의 신뢰할 수 있는 화소들을 사용하여 맞춰질 수 있다. 이러한 실시예에서, 경계 화소들(예를 들어, 세그먼트의 모서리에의 화소들)은 평면 맞춤을 수행할 때 배제될 수 있다.
1810에서, 신뢰할 수 있는 화소들에 맞춰진 평면이 꼭 맞춤(close fit)인지가 결정될 수 있다. 평면이 꼭 맞춤인지 여부를 결정하기 위한 임의의 적절한 기술이 사용될 수 있다. 예를 들어, 몇몇의 실시예들에서, 1808에서 세그먼트에 대해 계산된 평면과 상기 세그먼트 내의 신뢰할 수 있는 깊이들의 각각 사이의 오류가 결정될 수 있다. 오류들 중 임의의 것이 임계를 넘는 경우, 전체 세그먼트가 신뢰할 수 없는 것으로 분류될 수 있다. 예를 들어, 평면으로부터 결정된 깊이와 신뢰할 수 있는 화소의 깊이 사이의 차이가 2보다 큰 경우, 전체 세그먼트는 신뢰할 수 없다고 분류될 수 있다. 또 다른 예로서, 특정 세그먼트 내의 신뢰할 수 있는 화소들의 수가 임계치(예를 들어, 5개의 화소들) 미만이면, 전체 세그먼트는 신뢰할 수 없다고 분류될 수 있다. 평면의 맞춤이 신뢰할 수 없다고 결정되면(1810에서 "아니오"이면), 처리(1800)는 세그먼트의 신뢰할 수 없는 부분들이 블랭크(blank)로 남겨질 수 있는 1812로 진행할 수 있다. 이와 달리, 평면의 맞춤이 신뢰할 수 있다고 결정되면(1810에서 "아니오"이면), 처리(1800)는 1814로 진행할 수 있다.
1814에서, 신뢰할 수 없다고 이전에 결정되었던 위치들에의 세그먼트의 깊이들은 1808에서 계산된 평면에 기초하여 채워질 수 있다. 이 채움은 임의의 적절한 방식으로 수행될 수 있다. 예를 들어, 몇몇의 실시예들에서, 각각의 세그먼트들에 대한 깊이 값들을 보다 균일하게 하기 위해, 신뢰할 수 있다고 이전에 고려되었던 화소들은 1808에서 계산된 평면에 기초하여 1814에서 다시 할당된 값들일 수 있다.
1816에서, 임의의 남아있는 블랭크 영역들(예를 들어, 신뢰할 수 없는 세그먼트들 및 세그먼트 경계들 내의 신뢰할 수 없는 화소들)은 이웃하는 신뢰할 수 있는 화소들 및/또는 1814에서 결정된 채워진 화소들의 깊이 값들로부터의 보간에 기초하여 채워질 수 있다. 예를 들어, 깊이 값들을 갖는 최다의 이웃들을 갖는 신뢰할 수 없는 화소들에 대한 깊이 값들이 처음으로 보간될 수 있다. 이러한 예에서, 구멍들은 신뢰할 수 있는 또는 보간된 깊이 값을 갖는 가장 근접한 이웃들을 사용하여, 구멍의 모서리들로부터 중심 쪽으로 값들을 보간함으로써 채워질 수 있다. 다른 예에서, 구멍들은 신뢰할 수 있는 깊이 값을 갖는 각각의 방향 내의 가장 근접한 이웃으로부터 보간에 의해 채워질 수 있다.
도 17로 되돌아가서, 1708에서, 시간-공간 색인 맵이 1706에서 수행된 자연스럽게 하기 및 구멍-채우기에 의해 생성된 깊이 맵에 기초하여 출력될 수 있다.
몇몇의 실시예들에서, 부피 및 이미지를 크기 조정하고 크기 조정된 버전들을 일정한 패치 크기를 사용하여 비교하기보다는, 부피 및 이미지가 일정한 크기를 유지하고 상이한 패치 크기들을 사용하여 비교될 수 있다는 점만을 제외한 유사한 처리가 사용될 수 있다. 몇몇의 실시예들에서, 상이한 패치 크기들의 사용 및 크기 조정의 조합이 시간-공간 색인 맵을 생성하기 위해 활용될 수 있다.
도 20으로 돌아가서, 몇몇의 실시예들에 따른, 지속 기간 초점 부피 내의 지정된 점에 대응하는 지속 기간 초점 부피 내의 인-포커스 점을 결정하기 위한 처리의 일례(2000)가 도시된다. 2002에서, 점 P0가 선택될 수 있는데, P0는 지속 기간 초점 부피(V) 내의 좌표들(x, y, d)을 갖는다. 보다 구체적으로, 예를 들어, 점 P0은 P0가 캡처되었던 피사계 심도에 대응하는 프레임 위치(d) 및 화소 위치(x, y)에 의해 설명될 수 있다.
2004에서, 점(P)은 P0로 설정될 수 있고, 2006에서, 점 P에서부터 시간 방향으로 확장하고 (그리고 점 P를 포함하고), 높이(h) 및 반지름(r)을 갖는, 지속 기간 초점 부피(V) 내의 3차원 원뿔(C)이 정의될 수 있다. 이러한 3차원 원뿔은 지속 기간 초점 부피의 시간 축과 평행하도록 정의될 수 있다. 몇몇의 실시예들에서, 2개의 원뿔들(C1, C2)이 정의될 수 있으며, C1 및 C2는 두 원뿔들 중 하나가 P로부터 반대 방향으로 확장한다는 점을 제외하고 원뿔(C)과 유사하다. 몇몇의 실시예들에서, 원뿔(C)(또는 원뿔들(C1, C2))은 지속 기간 초점 부피 내에서 점 P에서 제 1 (또는 마지막) 프레임으로 확장할 수 있다.
2008에서, 원뿔(C)(또는 원뿔들(C1, C2)) 내에서 점 Q가 발견될 수 있는데, 여기서, 선명함이 최대화된다. 2010에서, 점 P와 점 Q가 지속 기간 초점 부피(V) 내에서 동일한 점인지 여부가 결정될 수 있다. 예를 들어, 점 P와 점 Q가 지속 기간 초점 부피(V) 내에서 동일한 좌표들(x, y, d)을 갖는지가 결정될 수 있다.
점 P가 점 Q와 같지 않으면(2010에서 "아니오"이면), 처리(2000)는 점 P가 점 Q와 같게 설정될 수 있는 2012로 진행하고, 처리(2000)는 2006으로 되돌아가서 새롭게 설정된 점 P 상에 중심이 맞춰진 새로운 원뿔(C)이 그려질 수 있다. 이와 달리, 점 P가 점 Q와 같으면(2010에서 "예"이면), 처리(2000)는 2014로 진행할 수 있다.
2014에서, 점 P가 점 Q와 같다고 결정될 때, 점 P0에 대한 색인은 점 Q가 위치했던 깊이로 설정될 수 있다.
처리(2000)는 지속 기간 초점 부피(V) 내의 각각의 점에 대하여 반복될 수 있고, 그 결과들은 3차원 시간-공간 색인 맵을 구성하기 위해 사용될 수 있다.
여기서 사용된 용어 "원뿔"은 원뿔을 근사한 모양을 의미할 수 있지만 섹션들(예를 들어, 원뿔의 근사) 간의 이산적인 단차들을 포함할 수 있다는 것이 주의되어야 한다.
도 21은 몇몇의 실시예들에 따라 지속 기간 초점 부피 내의 점들을 인-포커스 점들 또는 아웃-오브-포커스 점들로 분류하기 위한 기계 학습 기술들을 사용하기 위한 처리의 일례(2100)를 도시한다. 처리(2100)는 2102-2108에서 분류 모델을 훈련시킴으로써 시작할 수 있으며, 그 후 2110-2118에서 지속 기간 초점 부피 내의 하나 이상의 인-포커스 점들을 찾기 위해 훈련된 분류 모델을 사용할 수 있다.
2102에서, 미리 결정된 수의 3차원 지속 기간 초점 부피들이 검색될 수 있고, 여기서, 각각의 물체에 대한 인-포커스 계층 및 초점 부피 내의 물체들의 위치(예를 들어, 각각의 깊이에서의 (x, y) 좌표)는 알려진다. 몇몇의 실시예들에서, 검색된 지속 기간 초점 부피는 합성된 지속 기간 초점 부피들일 수 있다. 대안적으로, 검색된 지속 기간 초점 부피에 대한 인-포커스 깊이들 및 물체 위치들은 여기서 설명된 기술들과 같은 임의의 적절한 기술에 기초하여 알려질 수 있고/있거나 사용자에 의해 식별될 수 있다.
2104에서, 상이한 스케일들에서의 지속 기간 초점 부피 내의 각각의 인-포커스 점 주변에서 원뿔들이 추출될 수 있다(예를 들어, 지속 기간 초점 부피는 도 16에 관련하여 앞서 설명된 것과 유사한 방식으로 크기 조정될 수 있음). 장면 내의 특정 인-포커스 점의 원뿔들에 대한 꼭짓점은 장면 내의 물체의 인-포커스 점에 있을 수 있고, 원뿔들은 지속 기간 초점 부피의 계층들을 거쳐 물체가 덜 초점이 맞춰진 점들 쪽으로 확장할 수 있다. 예를 들어, 원뿔들은 물체가 초점이 맞춰진 점으로부터 지속 기간 초점 부피를 거쳐 물체가 덜 초점이 맞춰지게 되는 방향 쪽으로 확장할 수 있다(장면 내의 정지 물체에 대하여, 원뿔들의 축은 시간 차원으로 확장하고, 장면 내의 움직이는 물체 대하여, 원뿔들의 축은 시간 및 공간 차원들로 확장할 수 있다는 것을 주의하자). 인-포커스 점들 주변의 이들 원뿔들의 특징들은 처리(2100)의 분류 모델을 훈련시킬 때 긍정적인 샘플들로서 사용될 수 있다.
2106에서, 상이한 스케일들에서의 지속 기간 초점 부피 내의 각각의 아웃-오브-포커스 점 주변에서 원뿔들이 추출될 수 있다(예를 들어, 지속 기간 초점 부피는 도 16과 관련하여 앞서 설명된 것과 유사한 방식으로 크기 조정될 수 있음). 장면 내의 특정 아웃-오브-포커스 점의 원뿔들에 대한 꼭짓점은 장면 내의 특정 물체의 아웃-오브-포커스 점에 있을 수 있고, 원뿔들은 지속 기간 초점 부피의 계층들을 거쳐 물체가 심지어 덜 인-포커스되는 점들 쪽으로 또는 물체가 더욱 인 포커스되는 점들 쪽으로 확장할 수 있다. 예를 들어, 원뿔들은 물체가 아웃-오브-포커스되는 점으로부터 지속 기간 초점 부피를 거쳐 물체의 초점 정도가 변경되는 방향 쪽으로 확장할 수 있다(장면 내의 정지 물체에 대하여, 원뿔들의 축은 시간 차원으로 확장하고, 장면 내의 움직이는 물체 대하여, 원뿔들의 축은 시간 및 공간 차원들로 확장할 수 있다는 것을 주의하자). 아웃-오브-포커스 점들 주변의 이들 원뿔들의 특징들은 처리(2100)의 분류 모델을 훈련시킬 때 부정적인 샘플들로서 사용될 수 있다.
2108에서, 분류 모델은 2102에서 검색된 지속 기간 초점 부피들로부터 2104 및 2106에서 도출된 긍정적인 및 부정적인 샘플들을 사용하여 훈련될 수 있다. 분류 모델을 훈련시키기 위한 임의의 적절한 기술이 사용될 수 있다. 예를 들어, 몇몇의 실시예들에서, 알려진 깊이 맵들을 갖는 지속 기간 초점 부피들의 테스트 세트가 분류 모델을 테스트하고, 분류 모델이 테스트 지속 기간 초점 부피들의 알려진 깊이 맵을 성공적으로 복제할 수 있는지를 결정함으로써 분류 모델이 충분히 훈련되었는지 여부를 결정하기 위해 사용될 수 있다. 분류 모델이 테스트 지속 기간 초점 부피들의 세트에 대해 깊이 맵들을 성공적으로 재생성하지 못하면, 분류 모델은 추가적인 지속 기간 초점 부피들을 사용하여 훈련될 수 있다.
2102-2108에서 분류 모델이 훈련된 후, 2110-2118에서 훈련된 분류 모델은 지속 기간 초점 부피(V) 내의 점 P0에 대응하는 인-포커스 점을 식별하기 위해 사용될 수 있다. 2110에서, 지속 기간 초점 부피(V) 내에서 점 P0가 선택될 수 있다. 2112에서, 훈련된 분류 모델은 지정된 근방(neighborhood) 크기에 기초하여 시간 방향으로 P0의 근방 내의 이웃하는 화소들을 식별하는데 사용될 수 있다. 몇몇의 실시예들에서, 근방의 크기는 미리 결정된 크기로 초기화될 수 있다. 예를 들어, 근방의 크기는 점 P0으로부터 시간 차원으로 순방향 및 역방향으로 확장하고 원뿔이 지나가는 각각의 계층에 대한 하나의 화소의 속도로 확대되는 원뿔일 수 있다. 초기 근방 크기로서 임의의 적절한 크기들이 사용될 수 있다.
2114에서, 분류 모델이 2112에서 서치된 근방 내에서 긍정적인 이웃을 찾았는지 여부가 결정될 수 있다. 긍정적인 이웃들은 임의의 유사한 방식으로 결정될 수 있다. 예를 들어, 몇몇의 실시예들에서, 긍정적인 이웃은 인-포커스 화소들 주변에 있는 원뿔들의 모양과 유사하다고 분류 모델에 의해 결정된 주변 원뿔들을 갖는 화소이다. 긍정적인 이웃이 발견되지 않으면(2114에서 "아니오"이면), 처리(2100)는 근방의 크기가 증가될 수 있는 2116으로 진행할 수 있고, 처리(2100)는 2112으로 되돌아갈 수 있다. 예를 들어, 원뿔이 지속 기간 초점 부피(V)의 계층들을 거쳐 움직이면서 확대되는 속도가 높아질 수 있다. 이와 달리, 긍정적인 이웃이 발견되면(2114에서 "예"이면), 처리(2100)는 2118에서 긍정적인 이웃의 깊이를 점 P0에 대한 색인 깊이로 설정할 수 있다.
몇몇의 실시예들에서, 3차원 시간-공간 색인 맵을 생성하기 위해 분류 단계가 지속 기간 초점 부피 내의 각각의 점들에 대해 수행될 수 있다. 이러한 3차원 시간-공간 색인 맵은 지속 기간 초점 부피 내의 각각의 점에 대한 인-포커스 계층을 나타내기 위해, 앞서 설명된 바와 같이, 사용될 수 있다.
도 22는 몇몇의 실시예들에 따라 지속 기간 초점 부피 내의 점 P0에의 물체에 대한 인-포커스 점에 대응하는 계층을 식별하기 위해 지속 기간 초점 부피 내에서 추정된 광학 흐름을 사용하기 위한 처리의 일례(2200)를 도시한다. 처리(2200)는 하나의 이미지에서 다음 이미지로의 변경들을 매핑할 수 있는 지속 기간 초점 부피 내의 연속하는 프레임들의 각각의 쌍 사이의 광학 흐름을 계산함으로써 2202에서 시작될 수 있다. 연속하는 프레임들 사이의 광학 흐름을 계산하기 위한 임의의 적절한 기술이 사용될 수 있다. 예를 들어, 광학 흐름 알고리즘이 연속적인 프레임들 사이의 광학 흐름을 결정하기 위해 사용될 수 있다. 다른 예로서, 광학 흐름을 계산하기 위해 블럭 매칭 기술들이 연속적인 프레임들 사이에 사용될 수 있다. 다른 예로서, 지속 기간 초점 부피 내에 n개의 프레임들이 존재하면, n-1개의 광학 흐름 맵들이 생성될 수 있는데, 여기서, 각각의 맵은 하나의 프레임 내의 화소들이 어떻게 다음 프레임에 대하여 움직이는지를 설명할 수 있다.
2204에서, 지속 기간 초점 부피를 거쳐 가는 각각의 화소에 대한 궤적이 발견될 수 있다. 몇몇의 실시예들에서, 지속 기간 초점 부피 내의 각각의 점 P0에 대한 궤적 T={p1, p2, p3, ..., pm}이 결정될 수 있고, pk는 점 P0에 대한 궤적에 포함된 계층 K 내의 점(x, y)을 식별한다. 추가적으로 또는 대안적으로, 점(P0)이 또 다른 점에 대한 궤적 내에 포함되면, P0에 대한 궤적은 P0에 대한 새로운 궤적을 결정하지 않고서 다른 점의 궤적으로부터 복사될 수 있다.
2206에서, 점(P0)을 지나가는 궤적(T)을 뒤따르면서 그 계층에서 궤적 내의 점이 궤적(T)을 따라 가장 선명한 계층을 찾음으로써, 점 P0에 대한 인-포커스 색인 계층이 발견될 수 있다. 몇몇의 실시예들에서, 처리(1600) 및/또는 처리(2100)에서 사용된 선명도 측정 기술들이 궤적(T) 내의 어떤 점이 가장 선명한 점인지 결정하기 위해 사용될 수 있다.
처리(2200)는 지속 기간 초점 부피 내의 각각의 점에 대하여 반복될 수 있으며, 각각의 점에 대한 결과들은 3차원 시간-공간 색인 맵을 생성하기 위해 사용될 수 있다. 이러한 3차원 시간-공간 색인 맵은 지속 기간 초점 부피 내의 각각의 점에 대한 인-포커스 계층을 나타내기 위해, 앞서 설명된 바와 같이, 사용될 수 있다.
여기서 설명된 기술들은 주로 시간-공간 색인 맵(또는 3차원 시간-공간 색인 맵)을 구성하는 것에 관련하여 설명되었지만, 이 기술들은 시간-공간 색인 맵이 이전에 계산되지 않은 지속 기간 초점 부피로부터의 이미지를 리포커싱하기 위해 요구되는 바와 같이 사용될 수 있다.
여기서 설명된 메커니즘들은 다양한 응용들에 사용될 수 있다. 예를 들어, 장면의 지속 기간 초점 부피가 캡처될 수 있고, 지속 기간 초점 부피로부터의 이미지는 사용자에게 디스플레이될 수 있다. 사용자는 이미지 내의 점을 선택하여 초점을 맞출 수 있고, 사용자에 의해 선택된 점은, 점이 지속 기간 초점 부피를 구성하는 이미지들 중에서 가장 선명하게 초점이 맞춰진 이미지를 디스플레이함으로써 가장 선명히 초점이 맞춰질 수 있다. 몇몇의 경우들에서, 점이 선택된 지속 기간 초점 부피의 현재의 이미지와 점이 가장 선명하게 초점이 맞춰진 이미지 사이의 중간 이미지들이 사용자에게 리포커싱 시각 효과를 제공하기 위해 사용자에게 디스플레이될 수 있다.
또 다른 예에서, 시간-공간 모두가-인-포커스된 이미지가 사용자에게 디스플레이될 수 있다. 몇몇의 경우들에서, 시간-공간 모두-인-포커스 이미지는 확장된 피사계 심도(EDOF) 이미지로서 표현될 수 있다. 이러한 예에서, 지속 기간 초점 부피에 걸친 장면 내의 각각의 점에 대한 가중된 합이 시간 차원에 걸쳐 평균화될 수 있다. 이 기술을 사용하여, 도 15에 관련하여 앞서 설명된 바와 같이, 장면 내의 각각의 점에서의 가장 선명한 위치는 각각의 점이 전체 장면에 걸처 인-포커스 상태에 있는 시간-공간 인-포커스 이미지를 형성하도록 조합될 수 있다. 이것은 시뮬레이션된 이미지가 장면 내의 각각의 점이 초점이 맞아 보이는 단일 이미지로서 생성되도록 허용할 수 있다.
또 다른 예에서, 여기서 설명된 메커니즘들이 이미지의 선택된 영역(또는 영역들)은 인 포커스로 나타나지만 이미지의 나머지는 아웃 오브 포커스인 선택적인 포커스 이미지를 생성하기 위해 사용될 수 있다. 이미지의 일부는 인-포커스이고 이미지의 나머지는 아웃-오브-포커스인 이미지들은 종종 합성 피사계 심도 이미지 또는 틸트-시프트(tilt- shift) 이미지로 언급된다. 이러한 예에서, 장면의 지속 기간 초점 부피가 캡처될 수 있고 지속 기간 초점 부피로부터의 이미지가 사용자에게 디스플레이될 수 있다. 사용자는 인-포커스 상태에서 디스플레이할 장면의 부분을 선택할 수 있다. 지속 기간 초점 부피는 사용자에 의해 선택된 부분이 가장 선명하게 초점이 맞춰진 이미지(또는 이미지들)를 지속 기간 초점 부피로부터 결정하기 위해 분석될 수 있다. 지속 기간 초점 부피는 또한 장면의 나머지(예를 들어, 사용자에 의해 선택되지 않은 장면의 부분)가 아웃-오브-포커스(또는 가장 선명하지 않은) 상태인 이미지(또는 이미지들)를 결정하기 위해 분석될 수 있다. 장면의 선택된 부분은 인-포커스 상태로 사용자에게 디스플레이될 수 있고, 선택되지 않은 부분은 아웃-오브-포커스 상태로 사용자에게 디스플레이될 수 있다.
또 다른 예에서, 비디오가 여기서 설명된 메커니즘들을 사용하여 캡처될 수 있고, 비디오의 프레임들은 지속 기간 초점 부피들로 조합될 수 있다. 이것은 사용자가 초점을 맞출 비디오 내의 임의의 점을 선택할 수 있게 허용할 수 있다.
이에 따라, 이미지들 내에서의 대화형 리포커싱을 제공하기 위한 시스템들, 방법들, 및 매체들이 제공된다.
몇몇의 실시예들에서, 임의의 적절한 컴퓨터 판독가능 매체들이 여기서 설명된 기능들 및/또는 처리들을 수행하기 위한 명령들을 저장하기 위해 사용될 수 있다. 예를 들어, 몇몇의 실시예들에서, 컴퓨터 판독가능 매체들은 일시적이거나 또는 비-일시적일 수 있다. 예를 들어, 비-일시적 컴퓨터 판독가능 매체들은 (하드 디스크들, 플로피 디스크들 등과 같은) 자기 매체들, (콤팩트 디스크, 디지털 비디오 디스크, 블루-레이 디스크 등과 같은) 광학 매체들, (플래시 메모리, 전기적으로 프로그래밍가능한 판독 전용 메모리(EPROM), 전기적으로 삭제가능하고 프로그래밍가능한 판독 전용 메모리(EEPROM) 등과 같은) 반도체 매체들, 전송 동안 임의의 영구적인 모양이 순간적이지 않거나 또는 결여되지 않은 임의의 적절한 매체들, 및/또는 임의의 적절한 유형 매체들과 같은 매체들을 포함할 수 있다. 다른 예로서, 일시적 컴퓨터 판독가능 매체들은 네트워크들 상에서, 유선들로, 도체들(condurtors), 광섬유들, 회로들, 전송 동안 임의의 영구적인 모양이 순간적이거나 또는 결여되는 임의의 적절한 매체들, 및/또는 임의의 적적한 비실체적 매체들 상에서의 신호들을 포함할 수 있다.
여기서 사용된 바와 같이, 메커니즘이라는 용어는 하드웨어, 소프트웨어, 펌웨어, 또는 그들의 임의의 적절한 조합을 포함할 수 있다.
도 1, 도 13 내지 도 18, 및 도 20 내지 도 22의 처리들에 대한 앞서 설명된 단계들은 도면들에 나타내고 설명된 순서 및 연속에 제한되지 않은 임의의 순서 또는 연속으로 실행 또는 수행될 수 있다는 것이 이해되야 한다. 또한, 도 1, 도 13 내지 도 18, 및 도 20 내지 도 22의 처리들의 앞의 단계들 중 몇몇은 지연 및 처리 시간들을 줄이기 위해 적절하거나 동시에 실질적으로 동시에 실행 또는 수행될 수 있다.
본 발명이 앞서 나타낸 실시예들에서 설명 및 나타내졌지만, 본 개시는 단지 예일뿐 본 발명의 구현물의 세부사항들에 수많은 변경들이 다음의 청구항에 의해서만 제한되는 본 발명의 취지 및 영역으로부터 벗어나지 않으면서 행해질 수 있다는 것이 이해된다. 개시된 실시예들의 특징들은 다양한 방식으로 조합 및 재정렬될 수 있다.
200: 슬라이스 300: 축
802: 시간-공간 인-포커스 이미지 804: 시간-공간 색인 맵
902: 색인 맵

Claims (51)

  1. 대화형 리포커싱(interactive refocusing)을 제공하기 위한 시스템에 있어서,
    렌즈;
    이미지 센서; 및
    하드웨어 처리기를 포함하고,
    상기 하드웨어 처리기는:
    상기 이미지 센서가 미리 결정된 시간 기간 동안 복수의 이미지들을 캡처하게 하고, 상기 복수의 이미지들의 각각은 상이한 시점에서의 한 장면을 표현하고;
    상기 복수의 이미지들 중 적어도 한 쌍 사이에 피사계 심도를 변경시키고;
    상기 이미지들이 캡처되었던 순서로 지속 기간 초점 부피(duration focal volume)를 생성하기 위해 상기 복수의 이미지들을 연결시키고;
    상기 지속 기간 초점 부피에 기초하여 상기 복수의 이미지들의 각각으로부터의 인-포커스 부분들을 표현하는 시간-공간 인-포커스 이미지를 계산하고;
    상기 지속 기간 초점 부피 및 상기 시간-공간 인-포커스 이미지에 기초하여 상기 복수의 이미지들 중에서 상기 장면의 각각의 위치에 대한 인-포커스 이미지를 식별하는 시간-공간 색인 맵을 계산하도록 구성된, 대화형 리포커싱을 제공하기 위한 시스템.
  2. 제 1 항에 있어서,
    상기 피사계 심도를 변경시키는 것은 상기 렌즈와 상기 이미지 센서 사이의 거리를 변경시키는 것을 포함하는, 대화형 리포커싱을 제공하기 위한 시스템.
  3. 제 2 항에 있어서,
    상기 렌즈와 상기 이미지 센서 사이의 상기 거리를 변경시키는 것은 상기 이미지 센서가 상기 렌즈에 대하여 움직이게 하는 액추에이터(actuator)를 구동시키는 것을 포함하는, 대화형 리포커싱을 제공하기 위한 시스템.
  4. 제 2 항에 있어서,
    상기 렌즈와 상기 이미지 센서 사이의 상기 거리를 변경시키는 것은 상기 렌즈가 상기 이미지 센서에 대하여 움직이게 하는 액추에이터를 구동시키는 것을 포함하는, 대화형 리포커싱을 제공하기 위한 시스템.
  5. 제 1 항에 있어서,
    상기 피사계 심도를 변경시키는 것은 상기 렌즈의 초점 거리를 변경시키는 것을 포함하는, 대화형 리포커싱을 제공하기 위한 시스템.
  6. 제 1 항에 있어서,
    상기 피사계 심도를 변경시키는 것은 광학 축 방향으로 제 2 렌즈를 움직이는 것을 포함하고, 상기 제 2 렌즈는 상기 광학 축 방향으로 상기 렌즈와 상기 이미지 센서 사이에 배치되는, 대화형 리포커싱을 제공하기 위한 시스템.
  7. 제 1 항에 있어서,
    상기 지속 기간 초점 부피 내의 상기 복수의 이미지들의 각각에 대해서, 상기 이미지의 피사계 심도는 하나 이상의 인접한 이미지들에 대한 피사계 심도와 실질적으로 연속하는, 대화형 리포커싱을 제공하기 위한 시스템.
  8. 제 7 항에 있어서,
    상기 복수의 이미지들에 대한 상기 피사계 심도들의 교차점은 빈 세트인, 대화형 리포커싱을 제공하기 위한 시스템.
  9. 제 1 항에 있어서,
    상기 복수의 이미지들은 미리 결정된 프레임 속도로 캡처되는, 대화형 리포커싱을 제공하기 위한 시스템.
  10. 제 9 항에 있어서,
    상기 하드웨어 처리기는 또한, 다음의 파라미터들: 상기 미리 결정된 프레임 속도; 상기 이미지 센서의 화소 크기; 및 렌즈의 f-수, 중 적어도 하나에 기초하여 일정한 속도로 상기 렌즈와 상기 이미지 센서 사이의 거리를 변경시키도록 구성된, 대화형 리포커싱을 제공하기 위한 시스템.
  11. 대화형 리포커싱을 제공하기 위한 방법에 있어서,
    하드웨어 처리기를 사용하여, 복수의 이미지들이 미리 결정된 시간 기간 동안 캡처되게 하는 단계로서, 상기 복수의 이미지들의 각각은 상이한 시점에서의 장면을 표현하는, 상기 캡처 단계;
    상기 복수의 이미지들이 캡처되는 피사계 심도가 상기 복수의 이미지들의 적어도 한 쌍 사이에서 변경되게 하는 단계;
    상기 이미지들이 캡처되었던 순서로 상기 복수의 이미지들을 연결시킴으로써 지속 기간 초점 부피를 생성하는 단계;
    상기 지속 기간 초점 부피에 기초하여 상기 복수의 이미지들의 각각으로부터의 인-포커스 부분들을 표현하는 시간-공간 인-포커스 이미지를 계산하는 단계; 및
    상기 지속 기간 초점 부피 및 상기 시간-공간 인-포커스 이미지에 기초하여 상기 복수의 이미지들 중에서 상기 장면의 각각의 위치에 대한 인-포커스 이미지를 식별하는 시간-공간 색인 맵을 계산하는 단계를 포함하는, 대화형 리포커싱을 제공하기 위한 방법.
  12. 제 11 항에 있어서,
    상기 피사계 심도가 변경되게 하는 단계는 상기 이미지들을 캡처하기 위해 사용되는 렌즈와 상기 이미지들을 캡처하기 위해 사용되는 이미지 센서 사이의 거리가 변경되게 하는 단계를 포함하는, 대화형 리포커싱을 제공하기 위한 방법.
  13. 제 12 항에 있어서,
    상기 거리가 변경되게 하는 단계는 상기 이미지 센서가 상기 렌즈에 대하여 움직이게 하는 액추에이터를 구동시키는 단계를 포함하는, 대화형 리포커싱을 제공하기 위한 방법.
  14. 제 12 항에 있어서,
    상기 거리가 변경되게 하는 단계는 상기 렌즈가 상기 이미지 센서에 대하여 움직이게 하는 액추에이터를 구동시키는 단계를 포함하는, 대화형 리포커싱을 제공하기 위한 방법.
  15. 제 11 항에 있어서,
    상기 피사계 심도가 변경되게 하는 단계는 상기 이미지들을 캡처하기 위해 사용되는 렌즈의 초점 거리가 변경되게 하는 단계를 포함하는, 대화형 리포커싱을 제공하기 위한 방법.
  16. 제 11 항에 있어서,
    상기 피사계 심도가 변경되게 하는 단계는 제 1 렌즈가 광학 축 방향으로 움직이게 하는 단계를 포함하고, 상기 제 1 렌즈는 상기 광학 축 방향에서 상기 이미지들을 캡처하기 위해 사용되는 제 2 렌즈와 상기 이미지들을 캡처하기 위해 사용되는 이미지 센서 사이에 배치되는, 대화형 리포커싱을 제공하기 위한 방법.
  17. 제 11 항에 있어서,
    상기 지속 기간 초점 부피 내의 상기 복수의 이미지들의 각각에 대하여, 상기 이미지의 피사계 심도는 하나 이상의 인접한 이미지들에 대한 피사계 심도와 실질적으로 연속한, 대화형 리포커싱을 제공하기 위한 방법.
  18. 제 17 항에 있어서,
    상기 복수의 이미지들에 대한 상기 피사계 심도의 교차점은 빈 세트인, 대화형 리포커싱을 제공하기 위한 방법.
  19. 제 11 항에 있어서,
    상기 이미지들이 캡처되게 하는 단계는 상기 복수의 이미지들이 미리 결정된 프레임 속도로 캡처되게 하는 단계를 포함하는, 대화형 리포커싱을 제공하기 위한 방법.
  20. 제 19 항에 있어서,
    상기 이미지들을 캡처하기 위해 사용된 렌즈와 상기 이미지들을 캡처하기 위해 사용된 이미지 센서 사이의 거리가 다음의 파라미터들: 상기 미리 결정된 프레임 속도; 상기 이미지 센서의 화소 크기; 및 렌즈의 f-수, 중 적어도 하나에 기초하여 일정한 속도로 변경되게 하는 단계를 추가로 포함하는, 대화형 리포커싱을 제공하기 위한 방법.
  21. 처리기에 의해 실행될 때, 상기 처리기가 대화형 리포커싱을 제공하기 위한 방법을 수행하게 하는 컴퓨터 실행가능 명령들을 포함하는 비-일시적 컴퓨터 판독가능 매체에 있어서,
    상기 방법은,
    복수의 이미지들이 미리 결정된 시간 기간 동안 캡처되게 하는 단계로서, 상기 복수의 이미지들의 각각은 상이한 시점에서의 장면을 표현하는, 상기 캡처 단계;
    상기 복수의 이미지들이 캡처되는 피사계 심도가 상기 복수의 이미지들의 적어도 한 쌍 사이에서 변경되게 하는 단계;
    상기 이미지들이 캡처되었던 순서로 상기 복수의 이미지들을 연결시킴으로써 지속 기간 초점 부피를 생성하는 단계;
    상기 지속 기간 초점 부피에 기초하여 상기 복수의 이미지들의 각각으로부터의 인-포커스 부분들을 표현하는 시간-공간 인-포커스 이미지를 계산하는 단계; 및
    상기 지속 기간 초점 부피 및 상기 시간-공간 인-포커스 이미지에 기초하여 상기 복수의 이미지들 중에서 상기 장면의 각각의 위치에 대한 인-포커스 이미지를 식별하는 시간-공간 색인 맵을 계산하는 단계를 포함하는, 비-일시적 컴퓨터 판독가능 매체.
  22. 제 21 항에 있어서,
    상기 피사계 심도가 변경되게 하는 단계는 상기 이미지들을 캡처하기 위해 사용된 렌즈와 상기 이미지들을 캡처하기 위해 사용된 이미지 센서 사이의 거리가 변경되게 하는 단계를 포함하는, 비-일시적 컴퓨터 판독가능 매체.
  23. 제 22 항에 있어서,
    상기 거리가 변경되게 하는 단계는 상기 이미지 센서가 상기 렌즈에 대하여 움직이게 하는 액추에이터를 구동시키는 단계를 포함하는, 비-일시적 컴퓨터 판독가능 매체.
  24. 제 22 항에 있어서,
    상기 거리가 변경되게 하는 단계는 상기 렌즈가 상기 이미지 센서에 대하여 움직이게 하는 액추에이터를 구동시키는 단계를 포함하는, 비-일시적 컴퓨터 판독가능 매체.
  25. 제 21 항에 있어서,
    상기 피사계 심도가 변경되게 하는 단계는 상기 이미지들을 캡처하기 위해 사용된 렌즈의 초점 거리가 변경되게 하는 단계를 포함하는, 비-일시적 컴퓨터 판독가능 매체.
  26. 제 21 항에 있어서,
    상기 피사계 심도가 변경되게 하는 단계는 제 1 렌즈가 광학 축 방향으로 움직이게 하는 단계를 포함하고, 상기 제 1 렌즈는 상기 광학 축 방향에서 상기 이미지들을 캡처하기 위해 사용된 제 2 렌즈와 상기 이미지들을 캡처하기 위해 사용된 이미지 센서 사이에 배치되는, 비-일시적 컴퓨터 판독가능 매체.
  27. 제 21 항에 있어서,
    상기 지속 기간 초점 부피 내의 상기 복수의 이미지들의 각각에 대하여, 상기 이미지의 피사계 심도는 하나 이상의 인접한 이미지들에 대한 피사계 심도와 실질적으로 연속한, 비-일시적 컴퓨터 판독가능 매체.
  28. 제 27 항에 있어서,
    상기 복수의 이미지들에 대한 상기 피사계 심도들의 교차점은 빈 세트인, 비-일시적 컴퓨터 판독가능 매체.
  29. 제 21 항에 있어서,
    상기 이미지들이 캡처되게 하는 단계는 상기 복수의 이미지들이 미리 결정된 프레임 속도로 캡처되게 하는 단계를 포함하는, 비-일시적 컴퓨터 판독가능 매체.
  30. 제 29 항에 있어서,
    상기 방법은, 상기 이미지들을 캡처하기 위해 사용된 렌즈와 상기 이미지들을 캡처하기 위해 사용된 이미지 센서 사이의 거리가 다음의 파라미터들: 상기 미리 결정된 프레임 속도; 상기 이미지 센서의 화소 크기; 및 렌즈의 f-수, 중 적어도 하나에 기초하여 일정한 속도에서 변경되게 하는 단계를 추가로 포함하는, 비-일시적 컴퓨터 판독가능 매체.
  31. 대화형 리포커싱을 제공하기 위한 시스템에 있어서,
    렌즈;
    이미지 센서;
    상기 이미지 센서가 미리 결정된 시간 기간 동안 복수의 이미지들을 캡처하게 하기 위한 수단으로서, 상기 복수의 이미지들의 각각은 상이한 시점에서의 한 장면을 표현하는, 상기 캡처 수단;
    상기 복수의 이미지들 중 적어도 한 쌍 사이에 피사계 심도를 변경시키기 위한 수단;
    상기 이미지들이 캡처되었던 순서로 지속 기간 초점 부피를 생성하도록 상기 복수의 이미지들을 연결시키기 위한 수단;
    상기 지속 기간 초점 부피에 기초하여 상기 복수의 이미지들의 각각으로부터의 인-포커스 부분들을 표현하는 시간-공간 인-포커스 이미지를 계산하기 위한 수단; 및
    상기 지속 기간 초점 부피 및 상기 시간-공간 인-포커스 이미지에 기초하여 상기 복수의 이미지들 중에서 상기 장면의 각각의 위치에 대한 인-포커스 이미지를 식별하는 시간-공간 색인 맵을 계산하기 위한 수단을 포함하는, 대화형 리포커싱을 제공하기 위한 시스템.
  32. 제 31 항에 있어서,
    상기 피사계 심도를 변경시키기 위한 수단은 상기 렌즈와 상기 이미지 센서 사이의 거리를 변경시키기 위한 수단을 포함하는, 대화형 리포커싱을 제공하기 위한 시스템.
  33. 제 32 항에 있어서,
    상기 렌즈와 상기 이미지 센서 사이의 상기 거리를 변경시키기 위한 수단은 상기 이미지 센서가 상기 렌즈에 대하여 움직이게 하는 액추에이터를 구동시키기 위한 수단을 포함하는, 대화형 리포커싱을 제공하기 위한 시스템.
  34. 제 32 항에 있어서,
    상기 렌즈와 상기 이미지 센서 사이의 상기 거리를 변경시키기 위한 수단은 상기 렌즈가 상기 이미지 센서에 대하여 움직이게 하는 액추에이터를 구동시키기 위한 수단을 포함하는, 대화형 리포커싱을 제공하기 위한 시스템.
  35. 제 31 항에 있어서,
    상기 피사계 심도를 변경시키기 위한 수단은 상기 렌즈의 초점 거리를 변경시키기 위한 수단을 포함하는, 대화형 리포커싱을 제공하기 위한 시스템.
  36. 제 31 항에 있어서,
    상기 피사계 심도를 변경시키기 위한 수단은 제 2 렌즈를 광학 축 방향으로 움직이기 위한 수단을 포함하고, 상기 제 2 렌즈는 상기 광학 축 방향에서 상기 렌즈와 상기 이미지 센서 사이에 배치되는, 대화형 리포커싱을 제공하기 위한 시스템.
  37. 제 31 항에 있어서,
    상기 지속 기간 초점 부피 내의 상기 복수의 이미지들의 각각에 대해서, 상기 이미지의 피사계 심도는 하나 이상의 인접한 이미지들에 대한 피사계 심도와 실질적으로 연속하는, 대화형 리포커싱을 제공하기 위한 시스템.
  38. 제 37 항에 있어서,
    상기 복수의 이미지들에 대한 상기 피사계 심도들의 교차점은 빈 세트인, 대화형 리포커싱을 제공하기 위한 시스템.
  39. 제 31 항에 있어서,
    상기 복수의 이미지들이 미리 결정된 프레임 속도로 캡처되게 하기 위한 수단을 추가로 포함하는, 대화형 리포커싱을 제공하기 위한 시스템.
  40. 제 39 항에 있어서,
    다음의 파라미터들, 상기 미리 결정된 프레임 속도; 상기 이미지 센서의 화소 크기; 및 렌즈의 f-수, 중 적어도 하나에 기초하여 일정한 속도로 상기 렌즈와 상기 이미지 센서 사이의 거리를 변경시키기 위한 수단을 추가로 포함하는, 대화형 리포커싱을 제공하기 위한 시스템.
  41. 대화형 리포커싱을 제공하기 위한 시스템에 있어서,
    하드웨어 처리기를 포함하고,
    상기 하드웨어 처리기는:
    장면의 이미지가 사용자에게 디스플레이되게 하고, 상기 이미지는 상이한 시점들에 상기 장면의 캡처된 복수의 이미지들을 포함하는 지속 기간 초점 부피 내에 표현된 상기 장면을 표현하고, 상기 복수의 이미지들은 복수의 상이한 피사계 심도들에서 캡처되고;
    상기 사용자에 의한 상기 이미지 내의 한 점의 선택을 수신하고;
    상기 복수의 이미지들 중에서 선택된 이미지가 상기 사용자에게 디스플레이되게 하고, 상기 선택된 이미지는 상기 사용자에 의해 선택된 상기 점에서 상기 장면 내의 물체에 초점이 맞춰진 이미지가 되도록 구성되는, 대화형 리포커싱을 제공하기 위한 시스템.
  42. 제 41 항에 있어서,
    상기 하드웨어 처리기는 또한 상기 장면의 상기 이미지의 캡처와 상기 선택된 이미지의 캡처 사이에 캡처된 하나 이상의 중간 이미지들이, 상기 선택된 이미지를 디스플레이하기 전에 상기 사용자에게 디스플레이되게 하도록 구성되는, 대화형 리포커싱을 제공하기 위한 시스템.
  43. 대화형 리포커싱을 제공하기 위한 방법에 있어서,
    장면의 이미지가 사용자에게 디스플레이되게 하는 단계로서, 상기 이미지는 상이한 시점들에 상기 장면의 캡처된 복수의 이미지들을 포함하는 지속 기간 초점 부피 내에 표현된 상기 장면을 표현하고, 상기 복수의 이미지들은 복수의 상이한 피사계 심도들에서 캡처되는, 상기 장면의 이미지가 디스플레이되게 하는 단계;
    상기 사용자에 의한 상기 이미지 내의 점의 선택을 수신하는 단계; 및
    상기 복수의 이미지들 중에서 선택된 이미지가 상기 사용자에게 디스플레이되게 하는 단계로서, 상기 선택된 이미지는 상기 사용자에 의해 선택된 상기 점에서 상기 장면 내의 물체에 초점이 맞춰진 이미지인, 상기 선택된 이미지가 상기 사용자에게 디스플레이되게 하는 단계를 포함하는, 대화형 리포커싱을 제공하기 위한 방법.
  44. 제 43 항에 있어서,
    상기 장면의 상기 이미지의 캡처와 상기 선택된 이미지의 캡처 사이에 캡처된 하나 이상의 중간 이미지들이, 상기 선택된 이미지를 디스플레이하기 전에 상기 사용자에게 디스플레이되게 하는 단계를 추가로 포함하는, 대화형 리포커싱을 제공하기 위한 방법.
  45. 처리기에 의해 실행될 때, 상기 처리기가 대화형 리포커싱을 제공하기 위한 방법을 수행하게 하는 컴퓨터 실행가능 명령들을 포함하는 비-일시적 컴퓨터 판독가능 매체에 있어서,
    상기 방법은:
    장면의 이미지가 사용자에게 디스플레이되게 하는 단계로서, 상기 이미지는 상이한 시점들에 장면의 캡처된 복수의 이미지들을 포함하는 지속 기간 초점 부피 내에 표현된 상기 장면을 표현하고, 상기 복수의 이미지들은 복수의 상이한 피사계 심도들에서 캡처되는, 상기 장면의 이미지가 상기 사용자에게 디스플레이되게 하는 단계;
    상기 사용자에 의한 상기 이미지 내의 점의 선택을 수신하는 단계; 및
    상기 복수의 이미지들 중에서 선택된 이미지가 상기 사용자에게 디스플레이되게 하는 단계로서, 상기 선택된 이미지는 상기 사용자에 의해 선택된 상기 점에서 상기 장면 내의 물체에 초점이 맞춰진 이미지인, 상기 디스플레이 단계를 포함하는, 비-일시적 컴퓨터 판독가능 매체.
  46. 제 45 항에 있어서,
    상기 장면의 상기 이미지의 캡처와 상기 선택된 이미지의 캡처 사이에 캡처된 하나 이상의 중간 이미지들이, 상기 선택된 이미지를 디스플레이하기 전에 상기 사용자에게 디스플레이되게 하는 단계를 추가로 포함하는, 비-일시적 컴퓨터 판독가능 매체.
  47. 대화형 리포커싱 이미지를 제공하기 위한 방법에 있어서,
    하드웨어 처리기를 사용하여, 상이한 시점들에 캡처된 장면의 복수의 이미지들을 수신하는 단계로서, 상기 복수의 이미지들의 각각은 상기 장면의 상이한 피사계 심도를 표현하는, 상기 수신 단계;
    상기 이미지들이 캡처되었던 순서로 지속 기간 초점 부피를 생성하기 위해 상기 복수의 이미지들을 연결시키는 단계;
    상기 지속 기간 초점 부피에 기초하여 상기 복수의 이미지들의 각각으로부터의 인-포커스 부분들을 표현하는 시간-공간 인-포커스 이미지를 계산하는 단계; 및
    상기 지속 기간 초점 부피 및 상기 시간-공간 인-포커스 이미지에 기초하여 상기 복수의 이미지들 중에서 상기 장면의 각각의 위치에 대한 인-포커스 이미지를 식별하는 시간-공간 색인 맵을 계산하는 단계를 포함하는, 대화형 리포커싱 이미지를 제공하기 위한 방법.
  48. 제 47 항에 있어서,
    상기 시간-공간 색인 맵을 계산하는 단계는,
    상기 지속 기간 초점 부피와 상기 시간-공간 인-포커스 이미지를 다양한 스케일들로 비교하는 단계;
    각각의 스케일 레벨에 대응하는 깊이 맵을 저장하는 단계로서, 각각의 깊이 맵은 대응하는 스케일 레벨에서 상기 비교 단계에 기초하여 생성되는, 상기 저장 단계; 및
    상기 시간-공간 인-포커스 이미지에 기초하여 상기 깊이 맵들을 병합하는 단계를 포함하는, 대화형 리포커싱 이미지를 제공하기 위한 방법.
  49. 제 48 항에 있어서,
    상기 깊이 맵들을 병합하는 단계는:
    각각의 스케일 레벨에 대응하는 상기 깊이 맵에 기초하여 신뢰할 수 있는 깊이 맵을 계산하는 단계;
    상기 인-포커스 이미지 내의 세그먼트들을 결정하는 단계;
    상기 세그먼트 내의 화소들에 대하여 상기 신뢰할 수 있는 깊이 맵으로부터의 깊이들에 기초하여 각각의 세그먼트에 대한 평면을 생성하는 단계;
    상기 평면과 상기 신뢰할 수 있는 깊이 맵으로부터의 깊이들 사이의 오류에 기초하여 상기 평면이 신뢰할 수 있는지 여부를 결정하는 단계; 및
    상기 평면이 신뢰할 수 있다고 결정되면, 상기 평면에 기초하여 상기 깊이 맵을 채우는 단계를 포함하는, 방법.
  50. 대화형 리포커싱 이미지를 제공하기 위한 방법에 있어서,
    하드웨어 처리기를 사용하여, 상이한 시점들에 캡처된 장면의 복수의 이미지들을 수신하는 단계로서, 상기 복수의 이미지들의 각각은 상기 장면의 상이한 피사계 심도를 표현하는, 상기 수신 단계;
    상기 이미지들이 캡처되었던 순서로 지속 기간 초점 부피를 생성하기 위해 상기 복수의 이미지들을 연결시키는 단계; 및
    지속 기간 초점 부피 내의 각각의 점(x, y, P0)에 대하여,
    (a) 상기 지속 기간 초점 부피 내의 점 P를 P0와 같게 설정하는 단계;
    (b) P에 중심이 맞춰진 원뿔을 선택하는 단계;
    (c) 초점의 측정치가 가장 높은 상기 원뿔 내의 점 Q를 발견하는 단계;
    (d) Q가 P와 같은지 여부를 결정하는 단계;
    (e) Q가 P와 같다고 결정될 때까지 (b) 단계 내지 (d) 단계를 반복하는 단계; 및
    (f) 점 (x, y, P0)에 대한 깊이를 Q와 같게 설정하는 단계를 포함하는, 대화형 리포커싱 이미지를 제공하기 위한 방법.
  51. 대화형 리포커싱 이미지를 제공하기 위한 방법에 있어서,
    하드웨어 처리기를 사용하여, 상이한 시점들에 캡처된 장면의 복수의 이미지들을 수신하는 단계로서, 상기 복수의 이미지들의 각각은 상기 장면의 상이한 피사계 심도를 나타내는, 상기 수신 단계;
    상기 이미지들이 캡처되었던 순서로 지속 기간 초점 부피를 생성하기 위해 상기 복수의 이미지들을 연결시키는 단계;
    연속하는 이미지들의 각각의 쌍 사이의 광학 흐름을 결정하는 단계;
    상기 장면 내의 각각의 화소 위치에 대한 상기 지속 기간 초점 부피에 걸친 화소 궤적을 결정하는 단계;
    화소에 대한 초점의 측정치가 가장 높은 상기 화소 궤적을 따른 점을 결정함으로써 각각의 화소에 대한 인-포커스 점을 결정하는 단계; 및
    각각의 화소에 대한 상기 인-포커스 점에 기초하여 상기 복수의 이미지들 중에서 상기 장면의 각각의 화소에 대한 인-포커스 이미지를 식별하는 시간-공간 색인 맵을 계산하는 단계를 포함하는, 대화형 리포커싱 이미지를 제공하기 위한 방법.
KR20147032888A 2012-04-26 2013-03-14 이미지들 내에서의 대화형 리포커싱을 제공하기 위한 시스템들, 방법들, 및 매체들 KR20150004397A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261638974P 2012-04-26 2012-04-26
US61/638,974 2012-04-26
PCT/US2013/031773 WO2013162747A1 (en) 2012-04-26 2013-03-14 Systems, methods, and media for providing interactive refocusing in images

Publications (1)

Publication Number Publication Date
KR20150004397A true KR20150004397A (ko) 2015-01-12

Family

ID=49483732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20147032888A KR20150004397A (ko) 2012-04-26 2013-03-14 이미지들 내에서의 대화형 리포커싱을 제공하기 위한 시스템들, 방법들, 및 매체들

Country Status (6)

Country Link
US (2) US20150109513A1 (ko)
EP (1) EP2842077A4 (ko)
JP (1) JP2015522959A (ko)
KR (1) KR20150004397A (ko)
CN (1) CN104603796A (ko)
WO (1) WO2013162747A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180026410A (ko) * 2015-07-02 2018-03-12 퀄컴 인코포레이티드 오토포커스 트리거를 위한 시스템들 및 방법들

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150004397A (ko) 2012-04-26 2015-01-12 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 이미지들 내에서의 대화형 리포커싱을 제공하기 위한 시스템들, 방법들, 및 매체들
KR20140007529A (ko) * 2012-07-09 2014-01-20 삼성전자주식회사 카메라의 이미지 촬영장치 및 방법
US9667846B2 (en) * 2012-11-27 2017-05-30 Nokia Technologies Oy Plenoptic camera apparatus, a method and a computer program
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
CN108107571B (zh) 2013-10-30 2021-06-01 株式会社摩如富 图像处理装置及方法及非暂时性计算机可读记录介质
CN103813104A (zh) * 2014-03-12 2014-05-21 爱佩仪光电技术（深圳）有限公司 通过触屏操作实现移轴摄影及3维多区自动对焦的方法
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
JP2016015567A (ja) * 2014-07-01 2016-01-28 株式会社東芝 電子機器、処理方法およびプログラム
US9292926B1 (en) 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation
CN104867125B (zh) * 2015-06-04 2018-03-02 北京京东尚科信息技术有限公司 获取图像的方法以及装置
EP3106912A1 (en) * 2015-06-17 2016-12-21 Thomson Licensing An apparatus and a method for obtaining a registration error map representing a level of fuzziness of an image
WO2017054785A2 (es) * 2015-09-30 2017-04-06 Universidad De Los Andes Procedimiento de obtención de los atributos cromáticos de entornos naturales para la configuración de patrones de color
WO2017175441A1 (ja) * 2016-04-06 2017-10-12 ソニー株式会社 画像処理装置と画像処理方法
US10097777B2 (en) 2016-06-03 2018-10-09 Recognition Robotics, Inc. Depth map from multi-focal plane images
US10554877B2 (en) * 2016-07-29 2020-02-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image synthesis method and apparatus for mobile terminal, and mobile terminal
CN106101556B (zh) * 2016-07-29 2017-10-20 广东欧珀移动通信有限公司 移动终端的图像合成方法、装置及移动终端
JP6301416B2 (ja) 2016-09-05 2018-03-28 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、画像処理装置、および撮像装置
CN109923585B (zh) * 2016-10-26 2021-06-08 华为技术有限公司 使用立体图像进行深度检测的方法和装置
WO2018090205A1 (en) * 2016-11-15 2018-05-24 SZ DJI Technology Co., Ltd. Method and system for image-based object detection and corresponding movement adjustment maneuvers
CN106686308B (zh) * 2016-12-28 2018-02-16 平安科技（深圳）有限公司 图像焦距检测方法和装置
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
US20180205891A1 (en) * 2017-01-18 2018-07-19 Jerry L. Conway, Sr. Multi-camera dynamic imaging systems and methods of capturing dynamic images
JP6863787B2 (ja) * 2017-03-17 2021-04-21 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡システム
CN107238395A (zh) * 2017-08-01 2017-10-10 珠海市微半导体有限公司 移动机器人的光流里程传感系统及其景深调整方法
WO2019104670A1 (zh) * 2017-11-30 2019-06-06 深圳市大疆创新科技有限公司 深度值确定方法和装置
US10708486B2 (en) * 2018-02-15 2020-07-07 Qualcomm Incorporated Generation of a depth-artificial image by determining an interpolated supplementary depth through interpolation based on the original depths and a detected edge
EP3706076B1 (en) * 2019-03-07 2021-02-24 Siemens Healthcare GmbH Method and device to determine the dimensions and distance of a number of objects in an environment
EP3952279A4 (en) 2019-03-25 2022-05-04 NEC Corporation IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US11172112B2 (en) 2019-09-09 2021-11-09 Embedtek, LLC Imaging system including a non-linear reflector
CN113141447B (zh) * 2020-03-04 2022-06-03 电子科技大学 全景深图像采集方法、合成方法、装置、设备及存储介质
US11798273B2 (en) * 2021-03-12 2023-10-24 Lawrence Livermore National Security, Llc Model-based image change quantification
CN115166934B (zh) * 2022-06-09 2023-11-24 杭州海康威视数字技术股份有限公司 一种摄像机设备及图像处理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3961729B2 (ja) * 1999-03-03 2007-08-22 株式会社デンソー 全焦点撮像装置
WO2002085000A1 (en) * 2001-04-13 2002-10-24 The Trustees Of Columbia University In The City Of New York Method and apparatus for recording a sequence of images using a moving optical element
JP2003143461A (ja) * 2001-11-01 2003-05-16 Seiko Epson Corp デジタルスチルカメラ
US7120293B2 (en) * 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
US7653298B2 (en) * 2005-03-03 2010-01-26 Fujifilm Corporation Image capturing apparatus, image capturing method, image capturing program, image recording output system and image recording output method
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US8384803B2 (en) * 2007-12-13 2013-02-26 Keigo Iizuka Camera system and method for amalgamating images to create an omni-focused image
WO2009120718A1 (en) * 2008-03-24 2009-10-01 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for controlling depth of field in images
JP5163446B2 (ja) * 2008-11-25 2013-03-13 ソニー株式会社 撮像装置、撮像方法及びプログラム
US20120249550A1 (en) * 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
US20100283868A1 (en) * 2010-03-27 2010-11-11 Lloyd Douglas Clark Apparatus and Method for Application of Selective Digital Photomontage to Motion Pictures
TWI495335B (zh) * 2010-04-21 2015-08-01 Hon Hai Prec Ind Co Ltd 取像模組及其運作方法
US8493432B2 (en) 2010-06-29 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Digital refocusing for wide-angle images using axial-cone cameras
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8494301B2 (en) 2010-09-16 2013-07-23 Eastman Kodak Company Refocusing images using scene captured images
US8780251B2 (en) * 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
US9501834B2 (en) 2011-08-18 2016-11-22 Qualcomm Technologies, Inc. Image capture for later refocusing or focus-manipulation
US8593564B2 (en) 2011-09-22 2013-11-26 Apple Inc. Digital camera including refocusable imaging mode adaptor
KR101838033B1 (ko) * 2011-11-25 2018-03-15 삼성전자 주식회사 사용자 디바이스의 영상 촬영 방법 및 장치
KR20150004397A (ko) 2012-04-26 2015-01-12 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 이미지들 내에서의 대화형 리포커싱을 제공하기 위한 시스템들, 방법들, 및 매체들

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180026410A (ko) * 2015-07-02 2018-03-12 퀄컴 인코포레이티드 오토포커스 트리거를 위한 시스템들 및 방법들

Also Published As

Publication number Publication date
JP2015522959A (ja) 2015-08-06
US20190141232A1 (en) 2019-05-09
WO2013162747A1 (en) 2013-10-31
US10582120B2 (en) 2020-03-03
EP2842077A1 (en) 2015-03-04
CN104603796A (zh) 2015-05-06
EP2842077A4 (en) 2016-04-20
US20150109513A1 (en) 2015-04-23

Similar Documents

Publication Publication Date Title
US10582120B2 (en) Systems, methods, and media for providing interactive refocusing in images
CN112435325B (zh) 基于vi-slam和深度估计网络的无人机场景稠密重建方法
US10540576B1 (en) Panoramic camera systems
KR102480245B1 (ko) 패닝 샷들의 자동 생성
CN108076286B (zh) 图像虚化方法、装置、移动终端和存储介质
JP5762356B2 (ja) 焦点に基づく動的シーンの深度再構成のための装置および方法
CN105631851B (zh) 深度图生成
KR101643607B1 (ko) 영상 데이터 생성 방법 및 장치
TW202036461A (zh) 用於差異估測的系統及用於系統的差異估測的方法
CN114245905A (zh) 深度感知照片编辑
US20150235408A1 (en) Parallax Depth Rendering
US20130127988A1 (en) Modifying the viewpoint of a digital image
US8611642B2 (en) Forming a steroscopic image using range map
CN109906600B (zh) 模拟景深
US20190079158A1 (en) 4d camera tracking and optical stabilization
Busam et al. Sterefo: Efficient image refocusing with stereo vision
KR102374404B1 (ko) 콘텐트를 제공하기 위한 디바이스 및 방법
US20220358619A1 (en) Automatic dolly zoom image processing device
Angot et al. A 2D to 3D video and image conversion technique based on a bilateral filter
CN110717593A (zh) 神经网络训练、移动信息测量、关键帧检测的方法及装置
CN114782507A (zh) 一种基于无监督学习的非对称双目立体匹配方法及系统
Cho et al. Depth map up-sampling using cost-volume filtering
EP4366323A1 (en) Method and apparatus with hyperlapse video generation
Ramnath et al. Discontinuity-adaptive shape from focus using a non-convex prior
JP2016103807A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid