KR102126300B1 - 올-인-포커스 이미지를 생성하기 위한 방법 및 장치 - Google Patents

올-인-포커스 이미지를 생성하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102126300B1
KR102126300B1 KR1020167007817A KR20167007817A KR102126300B1 KR 102126300 B1 KR102126300 B1 KR 102126300B1 KR 1020167007817 A KR1020167007817 A KR 1020167007817A KR 20167007817 A KR20167007817 A KR 20167007817A KR 102126300 B1 KR102126300 B1 KR 102126300B1
Authority
KR
South Korea
Prior art keywords
images
depth
depth map
image
image processing
Prior art date
Application number
KR1020167007817A
Other languages
English (en)
Other versions
KR20160048140A (ko
Inventor
니테쉬 시로프
라민 레자이파르
피유쉬 샤르마
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160048140A publication Critical patent/KR20160048140A/ko
Application granted granted Critical
Publication of KR102126300B1 publication Critical patent/KR102126300B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H04N5/23229—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • G06T5/003—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H04N5/23212—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

리포커스하는 능력을 이용하여 올-인-포커스 이미지를 생성하기 위한 기술들이 설명된다. 일 예는, 장면의 복수의 캡쳐된 이미지들과 연관된 제1 깊이 맵을 획득하는 단계를 포함한다. 복수의 캡쳐된 이미지들은 상이한 초점 길이들을 갖는 이미지들을 포함할 수 있다. 방법은, 복수의 캡쳐된 이미지들과 연관된 제2 깊이 맵을 획득하는 단계, (복수의 캡쳐된 이미지들 및 제1 깊이 맵에 기초하여) 장면의 상이한 일부분들을 초점이 맞게 나타내는 복합 이미지를 생성하는 단계, 및 (복합 이미지 및 제2 깊이 맵에 기초하여) 장면의 선택된 일부분을 초점이 맞게 나타내는 리포커스된 이미지를 생성하는 단계를 더 포함한다.

Description

올-인-포커스 이미지를 생성하기 위한 방법 및 장치{METHOD AND APPARATUS FOR GENERATING AN ALL-IN-FOCUS IMAGE}
[0001] 본 개시물은 일반적으로 디지털 이미지들을 캡쳐 및 프로세싱하는 것에 관한 것이고, 특히, 리포커스(refocus)하는 능력을 이용하여 올-인-포커스(all-in-focus) 이미지를 생성하는 것에 관한 것이다.
[0002] 사진술에서는, 카메라로부터 장면의 상이한 오브젝트들의 거리에 따라, 오브젝트들 중 일부가 초점이 맞게(in focus) 나타날 수 있는 반면에, 다른 오브젝트들은 초점이 맞지 않게(out of focus) 또는 블러(blur)하게 나타난다. 이는, 대부분의 비전 시스템들에서, 각각의 이미지가 특정 "초점 길이"로 캡쳐된다는 사실에 기인한다. "초점 길이"는, 카메라로부터 이미지의 장면으로 방사상으로 연장되는 거리를 지칭한다. 초점 길이에 정확하게 위치되는 이미지의 임의의 오브젝트가 완벽하게 초점이 맞게 나타난다. 다른 한편으로, 초점 길이에 위치되지 않은 임의의 오브젝트(예컨대, 카메라에 더 가깝거나 또는 카메라로부터 더 멀리 떨어짐)는 흐리고 초점이 맞지 않게 나타난다. 임의의 제공되는 장면의 상이한 오브젝트들은 카메라로부터 상이한 거리에 위치될 수 있고, 이에 따라, 오브젝트들의 일부만이 완벽하게 초점에 위치될 가능성이 있다. 결과적으로, 시각 시스템에 의해 캡쳐되는 통상적인 이미지의 경우, 일부 오브젝트들이 이미지에서 초점이 맞게 나타나는 반면에, 다른 오브젝트들은 초점이 맞지 않게 나타난다.
[0003] 휴먼 비전 시스템들이 유사한 특성들을 갖는 이미지들을 생성하더라도, 예컨대, 임의의 제공되는 이미지에서, 초점 길이에 위치된 오브젝트들만이 초점이 맞고 반면에 다른 오브젝트들은 흐리더라도, 사람들은 장면을 신속하게 스캐닝하고, 상이한 오브젝트들에 초점을 맞추고, 그리고 물리적 환경의 유용한 "복합적인" 시각적 구상을 획득하도록 적응된다. 그것은 우리가 세상을 어떻게 "보는"지이다. 그러나, 우리가 캡쳐된 이미지들, 예컨대, 디스플레이 디바이스 상의 이미지를 쳐다볼 때, 동일한 자연스러운 스캐닝 및 리포커싱은 일반적으로 이용 가능하지 않다. 대신에, 우리는 종종, 임의의 제공되는 시간에 정적 이미지를 쳐다보고 있는데, 특정한 오브젝트들은 이미지에서 초점이 맞고, 특정한 다른 오브젝트들은 이미지에서 흐리거나 또는 초점이 맞지 않다. 이들 단점들을 다루기 위해, 본 개시물은 이미지들을 보는 것에 대한 두 개의 상이한 접근법들을 구현하기 위한 실시예들을 제시한다. 하나의 접근법은, 모든 오브젝트들이 초점이 맞는 "올-인-포커스" 이미지를 생성하는 것을 수반한다. 다른 접근법은, 사용자가 이미지의 일부분을 선택하고 그것의 초점을 맞출 수 있게 하는 "리포커스" 능력을 제공하는 것을 수반한다.
[0004] 일 예에서, 이미지 프로세싱을 위한 방법이 개시된다. 방법은 일반적으로, 상이한 초점 길이들에서 장면의 복수의 이미지들을 획득하는 단계를 포함한다. 각각의 이미지는 장면의 상이한 일부분들을 초점이 맞게 나타낼 수 있다. 방법은, 부분적으로, 복수의 이미지들과 연관된 제1 깊이 맵을 획득하는 단계, 및 복수의 이미지들과 연관된 제2 깊이 맵을 획득하는 단계를 더 포함한다. 제1 깊이 맵은 제1 이웃 크기에 대응하고, 제2 깊이 맵은 제2 이웃 크기에 대응한다. 일 양상에서, 제1 이웃 크기는 제2 이웃 크기보다 더 작다.
[0005] 방법은, 복수의 이미지들 및 제1 깊이 맵에 기초하여, 장면의 둘 또는 그 초과의 일부분들을 초점이 맞게 나타내는 복합 이미지를 생성하는 단계를 더 포함한다. 부가하여, 방법은, 복합 이미지 및 제2 깊이 맵에 기초하여, 장면의 선택된 일부분을 초점이 맞게 나타내는 리포커스된 이미지를 생성하는 단계를 포함한다.
[0006] 일 양상에서, 방법은, 복수의 캡쳐된 이미지들 각각을 선예도(sharpness) 측정 필터로 필터링하여, 복수의 필터링된 이미지들을 생성하는 단계를 더 포함한다. 일 양상에서, 선예도 측정 필터는 Laplacian 필터이다.
[0007] 일 양상에서, 제1 깊이 맵을 획득하는 단계는, 복수의 제1 깊이 이미지들을 생성하기 위해, 제1 이웃 크기에 기초하는 제1 이차원 픽셀 함수를 복수의 필터링된 이미지들의 각각의 이미지에 적용하는 단계를 포함할 수 있다. 유사하게, 제2 깊이 맵을 획득하는 단계는, 복수의 제2 깊이 이미지들을 생성하기 위해, 제2 이웃 크기에 기초하는 제2 이차원 픽셀 함수를 복수의 필터링된 이미지들의 각각의 이미지에 적용하는 단계를 포함할 수 있다.
[0008] 일 양상에서, 제1 이차원 픽셀 함수는 제1 이웃의 복수의 픽셀들에 대응하는 깊이 값들 간의 가중 평균을 계산하는 것을 수반한다. 다른 양상에서, 제1 이차원 픽셀 함수는 제1 이웃의 픽셀들에 대응하는 깊이 값들에 대해 가중 투표 방식을 수행하는 것을 수반한다.
[0009] 일 양상에서, 제1 깊이 맵을 획득하는 단계는, 부분적으로, 각각의 픽셀 포지션에 대해 복수의 제1 깊이 이미지들에 대응하는 복수의 제1 깊이 값들 중에서 최대 깊이 값을 획득하는 단계를 포함한다. 유사하게, 제2 깊이 맵을 획득하는 단계는, 부분적으로, 각각의 픽셀 포지션에 대해 복수의 제2 깊이 이미지들에 대응하는 복수의 제2 깊이 값들 중에서 최대 깊이 값을 획득하는 단계를 포함한다.
[0010] 일 양상에서, 복수의 이미지들의 상이한 초점 길이들은 최소 초점 길이 값과 최대 초점 길이 값 사이에 균일하게 분포된다.
[0011] 일 양상에서, 제2 깊이 맵은 제1 깊이 맵에 기초하여 즉시(on the fly) 생성된다. 예컨대, 제2 깊이 맵은, 제2 이웃의 다수의 픽셀들에 대응하는 제1 깊이 맵의 깊이 값들에 가중 평균, 가중 투표 방식 또는 임의의 다른 선택 방식을 적용함으로써 생성될 수 있다.
[0012] 또한, 특정 양상들은 이미지 프로세싱을 위한 장치를 제공한다. 장치는 일반적으로, 상이한 초점 길이들에서 장면의 복수의 이미지들을 획득하기 위한 수단을 포함한다. 각각의 이미지는 장면의 상이한 일부분들을 초점이 맞게 나타낸다. 장치는, 복수의 이미지들과 연관된 제1 깊이 맵을 획득하기 위한 수단, 복수의 이미지들과 연관된 제2 깊이 맵을 획득하기 위한 수단, 복수의 이미지들 및 제1 깊이 맵에 기초하여, 장면의 둘 또는 그 초과의 일부분들을 초점이 맞게 나타내는 복합 이미지를 생성하기 위한 수단, 및 복합 이미지 및 제2 깊이 맵에 기초하여, 장면의 선택된 일부분을 초점이 맞게 나타내는 리포커스된 이미지를 생성하기 위한 수단을 더 포함한다. 일 양상에서, 제1 깊이 맵은 제1 이웃 크기에 대응하고, 제2 깊이 맵은 제2 이웃 크기에 대응한다.
[0013] 특정 양상들은 이미지 프로세싱을 위한 비-일시적 프로세서-판독가능 매체를 제공한다. 프로세서-판독가능 매체는, 부분적으로, 프로세서로 하여금, 상이한 초점 길이들에서 장면의 복수의 이미지들을 획득하게 하도록 구성된 프로세서-판독가능 명령들을 포함한다. 각각의 이미지는 장면의 상이한 일부분들을 초점이 맞게 나타낸다. 명령들은 추가로, 프로세서로 하여금, 복수의 이미지들과 연관된 제1 깊이 맵을 획득하게 하고, 복수의 이미지들과 연관된 제2 깊이 맵을 획득하게 하고, 복수의 이미지들 및 제1 깊이 맵에 기초하여, 장면의 둘 또는 그 초과의 일부분들을 초점이 맞게 나타내는 복합 이미지를 생성하게 하고, 그리고 복합 이미지 및 제2 깊이 맵에 기초하여, 장면의 선택된 일부분을 초점이 맞게 나타내는 리포커스된 이미지를 생성하게 하게 하도록 구성된다. 일 양상에서, 제1 깊이 맵은 제1 이웃 크기에 대응하고, 상기 제2 깊이 맵은 제2 이웃 크기에 대응한다.
[0014] 특정 양상들은 이미지 프로세싱을 위한 장치를 제공한다. 장치는, 부분적으로, 적어도 하나의 프로세서, 및 적어도 하나의 프로세서에 커플링된 메모리를 포함한다. 적어도 하나의 프로세서는, 상이한 초점 길이들에서 장면의 복수의 이미지들을 획득하도록 구성된다. 각각의 이미지는 장면의 상이한 일부분들을 초점이 맞게 나타낸다. 적어도 하나의 프로세서는 추가로, 복수의 이미지들과 연관된 제1 깊이 맵을 획득하고, 복수의 이미지들과 연관된 제2 깊이 맵을 획득하고, 복수의 이미지들 및 제1 깊이 맵에 기초하여, 장면의 둘 또는 그 초과의 일부분들을 초점이 맞게 나타내는 복합 이미지를 생성하고, 그리고 복합 이미지 및 제2 깊이 맵에 기초하여, 장면의 선택된 일부분을 초점이 맞게 나타내는 리포커스된 이미지를 생성하도록 구성된다. 제1 깊이 맵은 제1 이웃 크기에 대응하고, 제2 깊이 맵은 제2 이웃 크기에 대응한다.
[0015] 다양한 실시예들의 특성 및 장점들의 이해가 하기의 도면들에 대한 참조에 의해 구현될 수 있다. 첨부된 도면들에서, 유사한 컴포넌트들 또는 특징들은 동일한 참조 라벨을 가질 수 있다. 추가로, 동일한 타입의 다양한 컴포넌트들은 참조 라벨 및 뒤를 잇는 대시기호, 그리고 유사한 컴포넌트들 사이를 구별하는 제2 라벨에 의해 구별될 수 있다. 명세서에서 제1 참조 라벨만이 사용된다면, 제2 참조 라벨에 관계없이, 설명은 동일한 제1 참조 라벨을 갖는 유사한 컴포넌트들 중 임의의 컴포넌트에 적용 가능하다.
[0016] 도 1은 본 개시물의 특정 실시예들에 따라, 이미지들을 캡쳐 및/또는 프로세싱할 수 있는 디바이스의 예시적인 하이 레벨 블록도를 예시한다.
[0017] 도 2는 본 개시물의 특정 실시예들에 따라, 예시적인 이미지 결합 방법을 예시한다.
[0018] 도 3은 본 개시물의 특정 실시예들에 따라, 이미지 결합 방법의 예시적 블록도를 예시한다.
[0019] 도 4는 본 개시물의 특정 실시예들에 따라, 복수의 이미지들을 결합시키기 위해 디바이스에 의해 수행될 수 있는 예시적 동작들을 예시한다.
[0020] 도 5a-도 5c는 본 개시물의 특정 실시예들에 따라, 이미지 결합 방법을 사용하여 결합되는 예시적 이미지들을 예시한다.
[0021] 도 6은 본 개시물의 특정 실시예들에 따라, 이미지를 생성하는데 사용될 수 있는 디바이스의 하나의 잠재적 구현을 설명한다.
[0022] 특정 실시예들은, 추후에 이미지의 원하는 부분에 리포커스하는 능력과 함께, 연장된 피사계 심도(depth-of-field)를 이용하여 이미지를 생성하기 위한 방법을 제시한다. 피사계 심도는 보통, 이미지에서 수용 가능하게 선명하게 나타나는 장면의 가장 가까운 오브젝트와 가장 먼 오브젝트 사이의 거리를 지칭한다. 비록 렌즈가 한 번에 단 하나의 거리(예컨대, 초점 길이)에만 정확하게 초점을 맞출 수 있지만, 선예도의 감소가 초점 거리의 각 사이드에서 점진적일 수 있어, 피사계 심도 내에서, 보통의 보는 조건들 하에서는 불-선예도는 감지할 수 없다. 일반적으로, 초점 길이는, 오브젝트가 이미지에서 초점이 맞게 나타나는, 오브젝트와 카메라 사이의 거리를 지칭한다.
[0023] 일 실시예는 상이한 초점 길이들을 갖는 둘 또는 그 초과의 이미지들(이후에, 초점 스택 이미지들로 불림)을 사용하고, 그리고 복합 이미지를 생성하기 위해 이들 초점 스택 이미지들을 프로세싱한다. 복합 이미지의 오브젝트들의 대부분 또는 전부는 초점이 맞게 나타날 수 있다(예컨대, 올-인-포커스 이미지).
[0024] 본원에 설명되는 바와 같이, 상이한 초점 길이들을 갖는 둘 또는 그 초과의 이미지들을 결합시킴으로써, 복합 이미지의 피사계 심도는 개별 이미지들 각각의 피사계 심도보다 더 크게 연장될 수 있다. 이에 따라, 비교적 서로 멀리 있는 오브젝트들이 복합 이미지에서 초점이 맞게 나타날 수 있다.
[0025] 사용자는 보통, 카메라의 초점 길이를 변화시킴으로써 장면에서 상이한 오브젝트들에 초점을 맞춘다. 예컨대, 카메라로부터 상이한 거리들을 갖는 두 개의 오브젝트들(예컨대, 카메라에 가까이 있는 사람, 그리고 배경에서 멀리 떨어진 빌딩)을 갖는 장면에서. 제1 이미지는, 사람이 초점에 맞게 나타나는 반면에 빌딩은 초점에 맞지 않게 나타나는 제1 초점 길이로 찍힐 수 있다. 부가하여, 제2 이미지는, 동일한 장면으로부터, 빌딩이 초점에 맞게 나타나는 반면에 사람은 초점에 맞지 않게 나타나는 제2 초점 길이로 찍힐 수 있다. 특정 실시예들은, 오브젝트들의 거의 전부가 초점에 맞게 나타나는 복합 이미지를 생성하기 위해 (상이한 초점 길이들로 찍히는) 이들 이미지들을 결합시키는 방법을 제안한다. 위의 예에서, 사람 및 빌딩 둘 다가 복합 이미지에서 초점에 맞게 나타날 수 있다. 부가하여, 일 실시예에서, 복합 이미지는, 추후에 이미지의 원하는 일부분에 리포커스하는데 사용될 수 있는 임베딩된 정보를 가질 수 있다.
[0026] 이미지들을 합치기 위해 기술분야에서 사용되는 현재 기술들은 통상적으로, 리포커스하는 것 그리고 올-인-포커스 이미지를 컴퓨팅하는 것 둘 다를 위해 단일의 깊이 맵을 사용한다. 이들 기술들 중 일부는 리포커싱 능력을 가능하게 하기 위해 명시야(light-field)를 캡쳐하는 하드웨어-기반 솔루션들을 사용한다. 본 개시물의 특정 실시예들은 두 개의 상이한 깊이 맵들(예컨대, 마스크들)을 생성하는데, 제1 깊이 맵은 올-인-포커스 이미지를 생성하는데 사용될 수 있고 그리고 제2 깊이 맵은 리포커싱을 위해 사용될 수 있다.
[0027] 도 1은 본 개시물의 특정 실시예들에 따라, 이미지 캡쳐 및/또는 프로세싱 디바이스(100)의 예시적인 하이 레벨 블록도를 예시한다. 일 실시예에서, 디바이스는 하나 또는 그 초과의 이미지들을 캡쳐하기 위해 임베딩된 카메라를 사용할 수 있다. 다른 실시예에서, 디바이스는 다른 이미지 캡쳐 디바이스로부터 이미지들을 수신할 수 있다. 또 다른 실시예에서, 디바이스는 자신의 임베딩된 카메라를 사용하여 이미지들 중 일부를 캡쳐할 수 있고, 그리고 다른 이미지 캡쳐 디바이스들로부터 하나 또는 그 초과의 이미지들을 수신할 수 있다. 일반적으로, 디바이스는 모바일폰, 태블릿, 랩톱, HMD(head mount display), 카메라, 또는 이미지들을 캡쳐 및/또는 프로세싱할 수 있는 임의의 다른 타입의 고정된 또는 이동성 디바이스들일 수 있다.
[0028] 예시된 바와 같이, 블록(102)에서, 디바이스는 적어도 두 개의 상이한 초점 길이들을 갖는 둘 또는 그 초과의 이미지들을 캡쳐 및/또는 획득할 수 있다. 이후, 디바이스는, 이미지들을 저장할 수 있고, 그리고 제1 깊이 맵 및 제2 깊이 맵을 획득하기 위해 이미지들을 프로세싱할 수 있다(블록(104)). 디바이스는, 제1 깊이 맵에 기초하여 올-인-포커스 이미지를 생성할 수 있다(블록(106)). 또한, 디바이스는 제2 깊이 맵을 사용하여 이미지의 일부분에 리포커스할 수 있다(블록(108)).
[0029] 도 2는 본 개시물의 특정 실시예들에 따라, 예시적인 이미지 결합 방법을 예시한다. 예시된 바와 같이, 이미지들 Z1(202), Z2(204),..., ZN(206)의 스택이 디바이스에 의해 획득될 수 있다. 예로서, 디바이스는 카메라를 가질 수 있어서 이미지들 자체를 캡쳐할 수 있거나, 또는 디바이스는 다른 소스로부터 이미지들을 수신할 수 있다. 이미지들 Z1 내지 ZN 각각은 상이한 초점 길이를 가질 수 있다. 이에 따라, 각각의 이미지에서, 일부 섹션들이 초점이 맞게 나타나는 반면에, 다른 섹션들은 초점이 맞지 않는다. 예컨대, 이미지 Z1(202)에서는, 섹션 A1(210)이 초점이 맞는 반면에, 다른 부분들은 초점이 맞지 않는다. 유사하게, 이미지 Z2(204)에서는, 섹션 A2(212)가 초점이 맞게 나타나고, 그리고 이미지 Z3(206)에서는, 섹션 AN(214)이 초점이 맞게 나타나는 반면에, 다른 부분들은 초점이 맞지 않게 나타난다.
[0030] 이미지 결합기(216)는, 대부분의 섹션들 또는 섹션들 전부가 초점에 맞게 나타나는 올-인-포커스 이미지(208)를 생성하기 위해, 본원의 교시들에 따라 이미지들 Z1, Z2,..., ZN의 스택을 결합시킨다. 리포커스된 이미지(230)가 또한 올-인-포커스 이미지로부터 생성될 수 있는데, 여기서 이미지는 섹션(220)에 리포커스된다. 다른 섹션들은 리포커스된 이미지(230)에서 초점에 맞지 않게 나타날 수 있거나 또는 초점에 맞지 않게 나타나지 않을 수 있다.
[0031] 일 실시예에서, 초점 스택 이미지들(예컨대, Z1 내지 ZN)은 둘 또는 그 초과의 상이한 초점 길이들을 가질 수 있다. 일 실시예에서, 초점 길이들은 미리결정된 최소 초점 길이 값과 미리결정된 최대 초점 길이 값 사이에서 균일하게 분포될 수 있다. 일반적으로, 본 개시물의 교시들로부터 벗어남 없이, 상이한 이미지들의 초점 길이들은 랜덤하게, 미리정의된 분포에 기초하여, 또는 장면에서 상이한 오브젝트들의 특성들에 기초하여 선택될 수 있다.
[0032] 도 3은 일 실시예에 따라, 이미지 생성 방법의 예시적 블록도(300)를 예시한다. 302에서, 디바이스는 상이한 초점 셋팅들을 이용하여 둘 또는 그 초과의 이미지들을 캡쳐할 수 있다. 일 실시예에서, 디바이스는 다른 디바이스로부터 둘 또는 그 초과의 이미지들을 수신할 수 있다. 304에서, 디바이스는 이미지들 전부를 기준 이미지에 정합시킬 수 있다. 일반성의 손실 없이, 이미지들 각각이 기준 이미지와의 적어도 일부 오버랩을 가짐이 가정된다. 예컨대, 기준 이미지는 많은 것들 중에 사람, 빌딩 및 나무를 나타낼 수 있다. 둘 또는 그 초과의 이미지들 중 하나의 이미지가 사람 및 나무를 나타낼 수 있는데, 이 이미지에서는, 사람이 초점이 맞게 나타난다. 다른 이미지는 빌딩 및 나무를 나타낼 수 있는데, 이 다른 이미지에서는, 빌딩이 초점이 맞게 나타난다. 또 다른 이미지는 사람, 나무 및 빌딩을 나타낼 수 있는데, 이러한 또 다른 이미지에서는, 나무가 초점이 맞게 나타난다. 둘 또는 그 초과의 이미지들을 기준 이미지에 정합시킴으로써, 이미지들 사이의 오버랩이 결정될 수 있다. 일반적으로, 본 개시물의 교시들로부터 벗어남 없이, 이미지들 중 임의의 하나의 이미지가 기준 이미지로 간주될 수 있다. 부가하여, 논의의 단순성을 위해, 이미지들 전부가 동일한 장면으로부터 찍히고 완전히 오버랩되는 것이 가정될 수 있다.
[0033] 306에서, 디바이스는 이미지들을 선예도 측정 필터(306)(예컨대, Laplacian 필터)를 통과시킬 수 있다. Laplacian 필터는, 이미지의 제2 공간 도함수(spatial derivative)의 이차원 등방성 측정수단(measure)이다. Laplacian 필터는 이미지에서 급격한 강도 변화의 구역들을 강조하고, 그리고 종종, 에지 검출을 위해 사용된다. 일반적으로, 본 개시물의 교시들로부터 벗어남 없이, Laplacian 필터 또는 임의의 다른 선예도 측정 필터들이 사용될 수 있다.
[0034] 314에서, 이미지들은 작은 커널(예컨대, 각각의 이미지에서 일 픽셀 주위의 작은 이웃에 대응함)을 사용하여 블러링될 수 있다. 블러링은 이미지의 선예도를 감소시키는 프로세스를 지칭한다. 일반적으로, 블러링은 이미지에서 이미지 잡음 및/또는 고주파수 컴포넌트들을 감소시키는데 사용될 수 있다. 이미지를 블러링하기 위한 여러 방법들이 기술분야에서 존재한다(예컨대, Gaussian 블러, 선택적 블러 등). 예로서, Gaussian 블러에서는, 이미지를 블러링하기 위해 Gaussian 함수가 이미지에 대해 컨볼빙된다(convolved). 이차원(2-D) 이미지의 경우, 2-D Gaussian 함수(예컨대, 각각의 차원에서 하나씩인 두 개의 1-D Gaussian 함수들의 곱(product))가 이미지에서 상이한 픽셀들의 값들에 대해 컨볼빙될 수 있다.
[0035] 316에서, 미세한(fine) 깊이 맵(DAIF, 318)을 생성하기 위해, 블러링된 이미지들의 각각의 이미지에서 각각의 픽셀에 대응하는 깊이 값들이 비교된다. 미세한 깊이 맵 DAIF은 블러링된 이미지들의 대부분 또는 전부에서 각각의 픽셀에 대한 최대 깊이 값에 대응할 수 있다. 예컨대, 이미지에서 각각의 픽셀(i,j)에 대한 최대 깊이 값은, 블러링된 이미지들에서 대응하는 픽셀들의 깊이 값들을 비교함으로써 결정될 수 있다. 일 실시예에서, 최대 깊이 값은 각각의 픽셀에 대해 결정될 수 있다. 다른 실시예에서, 최대 깊이 값은 일 픽셀 주위의 미리정의된 이웃(예컨대, 일 픽셀 주위의 3×3 매트릭스) 내에서 결정될 수 있다. 320에서, 올-인-포커스 이미지를 생성하기 위해, 이미지들은 미세한 깊이 맵 DAIF을 사용하여 결합될 수 있다.
[0036] 부가하여, 326에서, 블러링된 이미지들의 제2 세트를 생성하기 위해, 더 큰 이웃 크기(예컨대, 더 큰 커널)를 이용한 다른 블러링 동작이 선예도 측정 필터(312)의 결과물에 대해 수행될 수 있다. 328에서, 평활한(smooth) 깊이 맵 DRF(330)을 생성하기 위해, 픽셀-단위 최대치 동작이 블러링된 이미지들의 제2 세트에 대해 수행될 수 있다. 332에서, 평활한 깊이 맵 DRF에 기초하여 리포커싱 동작이 이미지(예컨대, 올-인-포커스 이미지)에 대해 수행되어, 리포커스된 이미지가 생성될 수 있다.
[0037] 일 실시예에서, 올-인-포커스 이미지는 하기의 절차를 사용하여 생성될 수 있다. 초점 스택 이미지들은 Z1, Z2, ..., ZN으로 표현될 수 있는데, 여기서 Zi는 일 이미지를 표현한다. 이미지들은 적-녹-청(RGB:red-green-blue), 그레이-스케일(gray-scale), 또는 임의의 다른 포맷을 가질 수 있다. 출력 이미지들 Yi을 생성하기 위해, 각각의 이미지(Zi)는 하기와 같이 선예도-측정 필터(예컨대, Laplacian 필터)로 컨볼빙될 수 있다:
Yi = Laplacian(Zi).
[0038] 일 실시예에서, 깊이 맵을 생성하는 동안, 관심대상 픽셀 부근의 복수의 픽셀들에 대응하는 정보가 고려될 수 있다. 이웃의 다른 픽셀들로부터의 정보를 사용하는 것은 잡음의 영향을 감소시키고, 그리고 국부적 일관성을 보장한다. 예로서, 미리정의된 이웃 내에 있는 다른 픽셀들에 대응하는 정보가 평균되어 계산들에서 고려될 수 있다. 다른 실시예에서, 이웃의 픽셀들에 대한 가중 투표 방식이 고려될 수 있다. 일반성의 손실 없이, 이웃이 일 픽셀 주위의 크기 S의 반경을 갖는 원이라고 가정될 수 있지만, 본 개시물의 교시들로부터 벗어남 없이, 이웃은 임의의 다른 형상(예컨대, 직사각형, 육각형 등)을 가질 수 있다.
[0039] 특정 실시예들의 경우, 두 개의 깊이 맵들을 생성하기 위해 두 개의 상이한 이웃 크기들(예컨대, S1 및 S2)이 고려될 수 있다. 작은 제1 이웃 크기(예컨대, S1)는 미세한 깊이 맵을 생성하는데 사용될 수 있다. 부가하여, 제2 이웃 크기 S2(예컨대, S2>S1)는 평활한 깊이 맵을 생성하는데 사용될 수 있다. 미세한 깊이 맵을 생성하기 위해 작은 이웃 크기를 선택하는 것은, 국부적 일관성을 보장하면서, 올-인-포커스 이미지의 선예도를 보장할 수 있다. 다른 한편으로, 큰 이웃 크기는 리포커싱(예컨대, 평활한 깊이 맵)에 더 적절할 수 있는데, 그 이유는 사용자들이 통상적으로 픽셀이 아니라 이미지의 구역(예컨대, 오브젝트)에 리포커스하기를 원하기 때문이다. 부가하여, 더 큰 이웃은, 동일한 오브젝트 상의 두 개의 인근의 픽셀들에서 어떠한 급격한 리포커싱 변화들도 없음을 보장한다. 일 실시예에서, 평활한 깊이 맵을 생성하는데 사용되는 이웃의 크기(예컨대, S2)는 미세한 깊이 맵을 생성하는데 사용되는 이웃의 크기(예컨대, S1)보다 세 배 더 클 수 있다.
[0040] 일 실시예에서, 깊이 맵들을 생성하기 위해, 이미지들의 초점 스택의 각각의 이미지에서 이웃에 걸쳐 최대 깊이 값이 계산될 수 있다. 예컨대, 올-인-포커스 이미지를 생성하기 위한 미세한 깊이 맵(예컨대, DAIF)은, 이미지들의 초점 스택에서 크기 S1의 이웃에 걸쳐 최대 깊이 값을 계산함으로써 결정될 수 있다. 유사하게, 리포커스된 이미지를 생성하기 위한 평활한 깊이 맵(예컨대, DRF)은, 이미지들의 초점 스택에서 크기 S2의 이웃에 걸쳐 최대 깊이 값을 계산함으로써 결정될 수 있다.
[0041] 일 실시예에서, 이미지(또는 이미지의 일부분)에 대응하는 평활한 깊이 맵 DRF는 미세한 깊이 맵 DAIF에 기초하여 즉시(on-the-fly) 계산될 수 있다. 예컨대, 사용자가 (예컨대, 스크린 또는 임의의 다른 수단 상의 픽셀을 터치함으로써) 리포커스될 픽셀을 선택할 때, 선택된 픽셀 주위의 큰 이웃의 DAIF의 값들이 고려될 수 있다. 이후, 투표 방식(또는 가중 투표 방식, 또는 임의의 다른 선택 방식)이, 선택된 픽셀 주위의 큰 이웃의 다수의 픽셀들에 대응하는 미세한 깊이 값들에 적용될 수 있다. 최대 득표를 갖는 인덱스에 대응하는 값이 선택된 픽셀에 대응하는 평활한 깊이 값으로서 선택될 수 있다. 평활한 깊이 맵 DRF를 생성하기 위해, 이미지에서 픽셀들의 대부분 또는 전부에 대해, 동일한 프로세스가 반복될 수 있다. 이후, 이미지의 선택된 일부분에 리포커스하는데 평활한 깊이 맵이 사용될 수 있다.
[0042] 예로서, 픽셀(i,j)에 대응하는 평활한 깊이 값을 생성하기 위해, 픽셀 주위의 크기 n×m의 이웃이 고려될 수 있다. 픽셀(i,j)에 대응하는 평활한 깊이 값은 선택된 이웃의 픽셀들 각각에 대응하는 미세한 깊이 값들에 기초하여 계산될 수 있다. 일 예에서, 미세한 깊이 값들은 픽셀(i,j)에 대응하는 평활한 깊이 값을 생성하기 위해 투표 방식에 기초하여 결합될 수 있다. 예컨대, 크기 n×m 픽셀들의 이웃에서는, K=n×m개의 미세한 깊이 값들 중에서, K1 값들은 α와 동일할 수 있고, K2 값들은 β와 동일할 수 있으며, 그리고 K3 값들은 γ와 동일할 수 있다. 일반성의 손실 없이, K1>K2>K3이 가정될 수 있다. 일 예에서, 값 α는 픽셀(i,j)에 대응하는 평활한 깊이 값(예컨대, 가장 높은 수의 반복 또는 득표들을 갖는 값)으로서 간주될 수 있다. 다른 예에서, 평활한 깊이 맵은 값들 α, β, 및 γ의 가중 평균에 기초하여 계산될 수 있다. 본 개시물의 교시들로부터 벗어남 없이, 평활한 깊이 값 및/또는 평활한 깊이 맵을 획득하는데 임의의 다른 방식이 사용될 수 있음이 주목되어야 한다.
[0043] 도 4는 본 개시물의 특정 실시예들에 따라, 이미지를 생성하기 위해 디바이스에 의해 수행될 수 있는 예시적 동작들을 예시한다. 402에서, 디바이스는 상이한 초점 길이들에서 이미지들을 획득(예컨대, 이미지 캡쳐 디바이스로부터 수신 또는 캡쳐)할 수 있다. 404에서, 디바이스는 선예도 측정 필터(예컨대, Laplacian 필터)를 이용하여 이미지들을 필터링할 수 있다. 406에서, 깊이 이미지들의 제1 스택을 생성하기 위해, 디바이스는 이미지들 각각에 이차원 함수를 적용할 수 있다. 일 실시예에서, 2-D 함수는 더 작은 제1 이웃을 사용할 수 있다. 예로서, 깊이 이미지들의 제1 스택은, 이미지들 각각에 대해 작은 이웃에 대응하는 2-D Gaussian 블러링 함수를 컨볼빙함으로써 생성될 수 있다. 다른 실시예에서, 깊이 이미지들 각각은, 이미지에서 각각의 픽셀 주위의 작은 이웃에 위치된 다수의 픽셀들에 대응하는 깊이 값들 간의 가중 평균을 수행함으로써 생성될 수 있다.
[0044] 408에서, 디바이스는, 복합적인 "올-인-포커스" 이미지를 구성하는데 사용되는 제1 깊이 맵을 생성하기 위해, 깊이 이미지들의 제1 스택에 걸쳐 각각의 픽셀 위치에서 최대 깊이 값을 발견할 수 있다. 일 실시예에서, 디바이스는 제1 깊이 맵을 생성하기 위해 가중 투표 방식을 사용할 수 있다. 또 다른 실시예에서, 디바이스는 제1 깊이 맵을 생성하기 위해 깊이 값들의 가중 평균을 계산할 수 있다. 본 개시물의 교시들로부터 벗어남 없이, 제1 깊이 맵을 생성하는데 임의의 다른 방식이 사용될 수 있다.
[0045] 예로서, 깊이 이미지들의 스택은 세 개의 이미지들 Z1, Z2, 및 Z3를 포함할 수 있고, 이미지들 각각은 상이한 초점 길이로 캡쳐된다. 이미지 Z1의 픽셀(i,j)은 깊이 값 α에 대응할 수 있고, 이미지 Z2의 픽셀(i,j)은 깊이 값 β에 대응할 수 있으며, 그리고 이미지 Z3의 픽셀(i,j)은 깊이 값 γ에 대응할 수 있다. 이 픽셀에 대응하는 DAIF가 max(α, β, γ)로서 계산될 수 있다.
[0046] 또한, 410에서, 디바이스는, 깊이 이미지들의 제2 스택을 생성하기 위해, 더 큰 제2 이웃을 사용하여, 캡쳐된 이미지들 각각에 이차원 함수를 적용할 수 있다. 예로서, 깊이 이미지들의 제2 스택은, 이미지들 각각에 대해 큰 이웃에 대응하는 2-D Gaussian 블러링 함수를 컨볼빙함으로써 생성될 수 있다.
[0047] 412에서, 디바이스는, "리포커스된" 이미지를 구성하는데 사용되는 제2 깊이 맵을 생성하기 위해, 깊이 이미지들의 제2 스택에 걸쳐 각각의 픽셀 위치에서 최대치를 발견할 수 있다. 일 실시예에서, 이차원 픽셀 함수는 이웃 픽셀들에 대응하는 깊이 값들의 평균을 획득하는 것 및/또는 이웃 픽셀들에 대응하는 깊이 값들 중에서 가중 투표 방식을 수행하는 것을 수반할 수 있다.
[0048] 도 5a 내지 도 5c는 본 개시물의 특정 실시예들에 따라, 제안된 방식을 사용하여 생성되는 예시적 이미지들을 예시한다. 도 5a 및 도 5b는 두 개의 입력 이미지들을 예시하고, 입력 이미지들 각각은 상이한 초점 길이를 갖는다. 도 5c는 제안된 방식을 사용하여 생성되는 올-인-포커스 이미지를 예시한다. 이미지들로부터 볼 수 있는 바와 같이, 도 5a 및 도 5b 각각에서, 이미지의 부분들이 초점이 맞게 나타나는 반면에, 다른 부분들은 초점이 맞지 않게 나타난다. 도 5c의 복합 이미지에서, 이미지 전부가 선명하고 초점이 맞게 나타난다. 복합 이미지는, 미세한 깊이 맵 DAIF를 사용하여 생성된다. 사용자가 도 5c에 나타난 복합 이미지의 일부분에 리포커스하기를 원한다면, 사용자는 평활한 깊이 맵 DRF를 사용할 수 있다.
[0049] 도 6은 특정 실시예들에 따라, 이미지들을 결합시키는데 사용될 수 있는 디바이스의 하나의 잠재적 구현을 설명한다. 일 실시예에서, 디바이스(600)는 프로세스(400)의 구체적으로 설명된 세부사항들을 이용하여 구현될 수 있다. 일 실시예에서, 전문화된 모듈들, 예컨대, 카메라(621) 및 이미지 프로세싱 모듈(622)은, 방법에 따라 이미지들을 캡쳐 및 프로세싱하는데 필요한 기능을 포함할 수 있다. 카메라(621) 및 이미지 프로세싱 모듈들(622)은, 디바이스(600)의 다양한 다른 모듈들과 상호작용하도록 구현될 수 있다. 예컨대, 결합된 이미지는 디스플레이 출력(603) 상에 출력될 수 있다. 부가하여, 이미지 프로세싱 모듈은 사용자 입력 모듈(606)로부터의 사용자 입력들을 통해 제어될 수 있다. 사용자 입력 모듈(606)은 결합된 이미지에 관하여 사용자 선호들을 정의하기 위한 입력들을 수용할 수 있다. 메모리(620)는 이미지들을 저장하도록 구성될 수 있고, 그리고 또한 카메라 및 디바이스가 어떻게 동작하는지를 결정하는 명령들 및 셋팅들을 저장할 수 있다.
[0050] 도 6에 도시된 실시예에서, 디바이스는 모바일 디바이스일 수 있고, 다수의 컴포넌트들에서 동작들을 수행하기 위한 명령들을 실행하도록 구성된 프로세서(610)를 포함할 수 있으며, 그리고 예컨대, 범용 프로세서, 또는 휴대용 전자 디바이스 내에서의 구현에 적절한 마이크로프로세서일 수 있다. 따라서, 프로세서(610)는 본원에 설명된 카메라 및 이미지 프로세싱 모듈을 동작시키기 위한 특정 단계들 중 임의의 단계 또는 단계들 전부를 구현할 수 있다. 프로세서(610)는 모바일 디바이스(600) 내의 복수의 컴포넌트들과 통신 가능하게 커플링된다. 이 통신 커플링을 구현하기 위해, 프로세서(610)는 버스(660)를 거쳐 다른 예시된 컴포넌트들과 통신할 수 있다. 버스(660)는 모바일 디바이스(600) 내에서 데이터를 전달하도록 적응된 임의의 서브시스템일 수 있다. 버스(660)는 복수의 컴퓨터 버스들일 수 있고, 그리고 데이터를 전달하기 위한 부가의 회로를 포함할 수 있다.
[0051] 메모리(620)는 프로세서(610)에 커플링될 수 있다. 일부 실시예들에서, 메모리(620)는 단기 및 장기 스토리지 둘 다를 제공하며, 그리고 실제, 여러 유닛들로 분할될 수 있다. 단기 메모리는 분석 이후에 폐기될 수 있는 이미지들을 저장할 수 있다. 대안적으로, 사용자 선택들에 따라, 모든 이미지들이 장기 스토리지에 저장될 수 있다. 메모리(620)는 휘발성, 예컨대, SRAM(static random access memory) 및/또는 DRAM(dynamic random access memory), 및/또는 비-휘발성, 예컨대, ROM(read-only memory), 플래시 메모리 등일 수 있다. 또한, 메모리(620)는 탈착 가능한 저장 디바이스들, 예컨대, SD(secure digital) 카드들을 포함할 수 있다. 따라서, 메모리(620)는 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 및 모바일 디바이스(600)에 대한 다른 데이터의 저장을 제공한다. 일부 실시예들에서, 메모리(620)는 상이한 하드웨어 모듈들로 분산될 수 있다.
[0052] 일부 실시예들에서, 메모리(620)는 복수의 애플리케이션들(626)을 저장한다. 애플리케이션들(626)은 프로세서(610)에 의해 실행될 특정한 명령들을 포함한다. 대안적 실시예들에서, 다른 하드웨어 모듈들은 부가하여, 특정 애플리케이션들 또는 애플리케이션들의 부분들을 실행할 수 있다. 메모리(620)는, 특정 실시예들에 따라 스캐닝을 구현하는 모듈들에 대한 컴퓨터 판독가능 명령들을 저장하는데 사용될 수 있고, 그리고 또한 데이터베이스의 일부로서 콤팩트 오브젝트 표현들을 저장할 수 있다.
[0053] 일부 실시예들에서, 메모리(620)는 운영체제(623)를 포함한다. 운영체제(623)는, 애플리케이션 모듈들에 의해 제공되는 명령들의 실행을 개시하고, 그리고/또는 다른 하드웨어 모듈들, 뿐만 아니라 무선 트랜시버(612) 및 링크(616)를 사용할 수 있는 통신 모듈들과의 인터페이스들을 관리하도록 동작 가능할 수 있다. 운영체제(623)는, 스레딩, 자원 관리, 데이터 저장 제어 및 다른 유사한 기능을 비롯해, 모바일 디바이스(600)의 컴포넌트들에 걸쳐 다른 동작들을 수행하도록 적응될 수 있다.
[0054] 일부 실시예들에서, 모바일 디바이스(600)는 복수의 다른 하드웨어 모듈들(601)을 포함한다. 다른 하드웨어 모듈들(601) 각각은 모바일 디바이스(600) 내의 물리적 모듈이다. 그러나, 하드웨어 모듈들(601) 각각이 구조물로서 영구적으로 구성되지만, 하드웨어 모듈들의 개개의 하드웨어 모듈은 특정 기능들을 수행하도록 일시적으로 구성되거나 또는 일시적으로 활성화될 수 있다.
[0055] 다른 실시예들은 디바이스(600)에 통합되는 센서들을 포함할 수 있다. 센서(662)의 예는 예컨대, 가속도계, Wi-Fi 트랜시버, 위성 내비게이션 시스템 수신기(예컨대, GPS 모듈), 압력 모듈, 온도 모듈, 오디오 출력 및/또는 입력 모듈(예컨대, 마이크로폰), 카메라 모듈, 근접성 센서, ALS(alternate line service) 모듈, 용량성 터치 센서, NFC(near field communication) 모듈, 블루투스 트랜시버, 셀룰러 트랜시버, 자력계, 자이로스코프, 관성 센서(예컨대, 가속도계와 자이로스코프를 결합시키는 모듈), 주변광 센서, 상대 습도 센서, 또는 감각 출력을 제공하고 그리고/또는 감각 입력을 수신하도록 동작 가능한 임의의 다른 유사한 모듈일 수 있다. 일부 실시예들에서, 센서들(662)의 하나 또는 그 초과의 기능들은 하드웨어, 소프트웨어, 또는 펌웨어로서 구현될 수 있다. 추가로, 본원에 설명된 바와 같이, 특정 하드웨어 모듈들, 예컨대, 가속도계, GPS 모듈, 자이로스코프, 관성 센서, 또는 다른 이러한 모듈들은, 부가의 정보를 제공하기 위해 카메라 및 이미지 프로세싱 모듈과 함께 사용될 수 있다. 특정 실시예들에서, 사용자는 이미지들을 어떻게 분석할지를 선택하기 위해 사용자 입력 모듈(606)을 사용할 수 있다.
[0056] 모바일 디바이스(600)는, 안테나(618) 및 무선 트랜시버(612)를 무선 통신들에 필요한 임의의 다른 하드웨어, 펌웨어, 또는 소프트웨어와 통합시킬 수 있는 무선 통신 모듈과 같은 컴포넌트를 포함할 수 있다. 이러한 무선 통신 모듈은, 다양한 디바이스들, 예컨대, 데이터 소스들로부터 네트워크들 및 액세스 포인트들, 예컨대, 네트워크 액세스 포인트를 통해 신호들을 수신하도록 구성될 수 있다. 특정 실시예들에서, 원격 데이터베이스에 저장되고, 그리고 디바이스들이 오브젝트 인식 기능을 실행할 때 다수의 다른 디바이스들에 의해 사용되도록, 콤팩트 오브젝트 표현들은 서버 컴퓨터들, 다른 모바일 디바이스들, 또는 다른 네트워킹된 컴퓨팅 디바이스들에 통신될 수 있다.
[0057] 메모리(620)의 다른 하드웨어 모듈들 및 애플리케이션들에 부가하여, 모바일 디바이스(600)는 디스플레이 출력(603) 및 사용자 입력 모듈(606)을 가질 수 있다. 디스플레이 출력(603)은 모바일 디바이스(600)로부터 사용자로 정보를 그래픽적으로 제시한다. 이 정보는 하나 또는 그 초과의 애플리케이션 모듈들, 하나 또는 그 초과의 하드웨어 모듈들, 이들의 결합, 또는 사용자에 대한 그래픽 콘텐트를 리졸빙(resolving)하기 위한 임의의 다른 적절한 수단(예컨대, 운영체제(623)에 의함)으로부터 도출될 수 있다. 디스플레이 출력(603)은 LCD(liquid crystal display) 기술, LPD(light emitting polymer display) 기술, 또는 어떤 다른 디스플레이 기술일 수 있다. 일부 실시예들에서, 디스플레이 모듈(603)은 용량성 또는 저항성 터치 스크린이고, 그리고 햅틱 및/또는 사용자와의 촉각 접촉을 감지할 수 있다. 이러한 실시예들에서, 디스플레이 출력(603)은 멀티-터치-감지 디스플레이를 포함할 수 있다. 이후, 디스플레이 출력(603)은 카메라(621) 또는 이미지 프로세싱 모듈(622)과 연관된 임의의 수의 출력들, 예컨대, 경보들, 셋팅들, 임계치들, 사용자 인터페이스들, 또는 다른 이러한 제어들을 디스플레이하는데 사용될 수 있다.
[0058] 위에서 논의된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 실시예들이 적절할 때 다양한 프로시저들 또는 컴포넌트들을 생략, 치환, 또는 부가할 수 있다. 예컨대, 대안적 구성들에서는, 설명된 방법들이 설명된 것과는 상이한 순서로 수행될 수 있고, 그리고/또는 다양한 단계들이 부가, 생략, 및/또는 결합될 수 있다. 또한, 특정 실시예들에 대하여 설명된 특징들은 다양한 다른 실시예들로 결합될 수 있다. 실시예들의 상이한 양상들 및 엘리먼트들이 유사한 방식으로 결합될 수 있다.
[0059] 설명에서는, 실시예들의 완전한 이해를 제공하기 위해 구체적인 세부사항들이 제공된다. 그러나, 실시예들은 특정한 구체적인 세부사항들 없이 실시될 수 있다. 예컨대, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들, 및 기술들은, 실시예들을 모호하게 하는 것을 회피하기 위하여, 불필요한 세부사항 없이 언급되었다. 이러한 설명은 예시적 실시예들만을 제공하고, 그리고 다양한 실시예들의 범위, 적용가능성, 또는 구성을 제한하는 것으로 의도되지 않는다. 그보다는, 실시예들의 이전 설명은 실시예들을 구현하기 위한 인에이블링 설명을 당업자들에게 제공할 것이다. 다양한 실시예들의 사상 및 범위로부터 벗어남 없이, 엘리먼트들의 기능 및 어레인지먼트에서 다양한 변경들이 이루어질 수 있다.
[0060] 또한, 일부 실시예들은 프로세스 화살표들을 갖는 흐름으로 묘사될 수 있는 프로세스들로서 설명되었다. 각각이 동작들을 순차적 프로세스로서 설명할 수 있지만, 동작들 중 많은 동작들이 병렬로 또는 동시에 수행될 수 있다. 부가하여, 동작들의 순서는 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 부가의 단계들을 가질 수 있다. 또한, 방법들의 실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술어들, 또는 이들의 임의의 결합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현될 때, 연관된 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 컴퓨터-판독가능 매체에 저장될 수 있다. 프로세서들은 연관된 작업들을 수행할 수 있다. 부가하여, 위의 엘리먼트들은 단지 더 큰 시스템의 컴포넌트일 수 있고, 여기서 다른 규칙들이 다양한 실시예들의 애플리케이션보다 우선권을 가질 수 있거나 또는 그렇지 않으면 다양한 실시예들의 애플리케이션을 수정할 수 있으며, 임의의 수의 단계들이 임의의 실시예의 엘리먼트들이 구현되기 이전에, 그 동안에, 또는 그 이후에 착수될 수 있다.
[0061] 본원에 설명된 방법이 소프트웨어로 구현될 수 있음이 주목되어야 한다. 소프트웨어는 일반적으로, 비-일시적 저장 디바이스(예컨대, 메모리)에 저장될 수 있고, 그리고 프로세서(예컨대, 범용 프로세서, 디지털 신호 프로세서 등)에 의해 수행될 수 있다.
[0062] 그러므로, 여러 실시예들을 설명했지만, 본 개시물의 사상으로부터 벗어남 없이, 다양한 수정들, 대안적 구성들, 및 균등물들이 사용될 수 있음이 당업자에게 명백할 것이다.

Claims (30)

  1. 이미지 프로세싱을 위한 방법으로서,
    상이한 초점 길이들에서 장면(scene)의 복수의 이미지들을 획득하는 단계 ― 각각의 이미지는 상기 장면의 상이한 일부분들을 초점이 맞게(in focus) 나타냄 ―;
    상기 복수의 이미지들과 연관된 제1 깊이 맵을 획득하는 단계;
    상기 복수의 이미지들과 연관된 제2 깊이 맵을 획득하는 단계 ― 상기 제1 깊이 맵은 제1 이웃 크기에 대응하고, 그리고 상기 제2 깊이 맵은 상기 제1 이웃 크기와 상이한 제2 이웃 크기에 대응함 ―;
    상기 복수의 이미지들 및 상기 제1 깊이 맵에 기초하여, 상기 장면의 둘 이상의 일부분들을 초점이 맞게 나타내는 복합 이미지를 생성하는 단계; 및
    상기 복합 이미지 및 상기 제2 깊이 맵에 기초하여, 상기 장면의 선택된 일부분을 초점이 맞게 나타내는 리포커스된 이미지를 생성하는 단계
    를 포함하는,
    이미지 프로세싱을 위한 방법.
  2. 제 1 항에 있어서,
    상기 제1 이웃 크기는 상기 제2 이웃 크기보다 더 작은,
    이미지 프로세싱을 위한 방법.
  3. 제 1 항에 있어서,
    복수의 캡쳐된 이미지들 각각을 선예도(sharpness) 측정 필터로 필터링하여, 복수의 필터링된 이미지들을 생성하는 단계
    를 더 포함하고,
    상기 제1 깊이 맵을 획득하는 단계는:
    제1 복수의 깊이 이미지들을 생성하기 위해, 상기 제1 이웃 크기에 기초하는 제1 이차원 픽셀 함수를 상기 복수의 필터링된 이미지들의 각각의 이미지에 적용하는 단계
    를 포함하고,
    상기 제2 깊이 맵을 획득하는 단계는:
    제2 복수의 깊이 이미지들을 생성하기 위해, 상기 제2 이웃 크기에 기초하는 제2 이차원 픽셀 함수를 상기 복수의 필터링된 이미지들의 각각의 이미지에 적용하는 단계
    를 포함하는,
    이미지 프로세싱을 위한 방법.
  4. 제 3 항에 있어서,
    상기 제1 이차원 픽셀 함수는 제1 이웃의 복수의 픽셀들에 대응하는 깊이 값들 간의 가중 평균을 계산하는 것을 수반하는,
    이미지 프로세싱을 위한 방법.
  5. 제 3 항에 있어서,
    상기 제1 이차원 픽셀 함수는 제1 이웃의 픽셀들에 대응하는 깊이 값들에 대해 가중 투표 방식을 수행하는 것을 수반하는,
    이미지 프로세싱을 위한 방법.
  6. 제 3 항에 있어서,
    상기 선예도 측정 필터는 Laplacian 필터인,
    이미지 프로세싱을 위한 방법.
  7. 제 3 항에 있어서,
    상기 제1 깊이 맵을 획득하는 단계는:
    각각의 픽셀 포지션에 대해 상기 제1 복수의 깊이 이미지들에 대응하는 제1 복수의 깊이 값들 중에서 최대 깊이 값을 획득하는 단계
    를 포함하고, 그리고
    상기 제2 깊이 맵을 획득하는 단계는:
    각각의 픽셀 포지션에 대해 상기 제2 복수의 깊이 이미지들에 대응하는 제2 복수의 깊이 값들 중에서 최대 깊이 값을 획득하는 단계
    를 포함하는,
    이미지 프로세싱을 위한 방법.
  8. 제 1 항에 있어서,
    상기 복수의 이미지들의 상이한 초점 길이들은 최소 초점 길이 값과 최대 초점 길이 값 사이에 균일하게 분포되는,
    이미지 프로세싱을 위한 방법.
  9. 제 1 항에 있어서,
    상기 제2 깊이 맵은 상기 제1 깊이 맵에 기초하여 즉시(on the fly) 생성되는,
    이미지 프로세싱을 위한 방법.
  10. 이미지 프로세싱을 위한 장치로서,
    상이한 초점 길이들에서 장면의 복수의 이미지들을 획득하기 위한 수단 ― 각각의 이미지는 상기 장면의 상이한 일부분들을 초점이 맞게 나타냄 ―;
    상기 복수의 이미지들과 연관된 제1 깊이 맵을 획득하기 위한 수단;
    상기 복수의 이미지들과 연관된 제2 깊이 맵을 획득하기 위한 수단 ― 상기 제1 깊이 맵은 제1 이웃 크기에 대응하고, 그리고 상기 제2 깊이 맵은 상기 제1 이웃 크기와 상이한 제2 이웃 크기에 대응함 ―;
    상기 복수의 이미지들 및 상기 제1 깊이 맵에 기초하여, 상기 장면의 둘 이상의 일부분들을 초점이 맞게 나타내는 복합 이미지를 생성하기 위한 수단; 및
    상기 복합 이미지 및 상기 제2 깊이 맵에 기초하여, 상기 장면의 선택된 일부분을 초점이 맞게 나타내는 리포커스된 이미지를 생성하기 위한 수단
    을 포함하는,
    이미지 프로세싱을 위한 장치.
  11. 제 10 항에 있어서,
    상기 제1 이웃 크기는 상기 제2 이웃 크기보다 더 작은,
    이미지 프로세싱을 위한 장치.
  12. 제 10 항에 있어서,
    복수의 캡쳐된 이미지들 각각을 선예도 측정 필터로 필터링하여, 복수의 필터링된 이미지들을 생성하기 위한 수단
    을 더 포함하고,
    상기 제1 깊이 맵을 획득하기 위한 수단은:
    제1 복수의 깊이 이미지들을 생성하기 위해, 상기 제1 이웃 크기에 기초하는 제1 이차원 픽셀 함수를 상기 복수의 필터링된 이미지들의 각각의 이미지에 적용하기 위한 수단
    을 포함하고,
    상기 제2 깊이 맵을 획득하기 위한 수단은:
    제2 복수의 깊이 이미지들을 생성하기 위해, 상기 제2 이웃 크기에 기초하는 제2 이차원 픽셀 함수를 상기 복수의 필터링된 이미지들의 각각의 이미지에 적용하기 위한 수단
    을 포함하는,
    이미지 프로세싱을 위한 장치.
  13. 제 12 항에 있어서,
    상기 제1 이차원 픽셀 함수는 제1 이웃의 복수의 픽셀들에 대응하는 깊이 값들 간의 가중 평균을 계산하는 것을 수반하는,
    이미지 프로세싱을 위한 장치.
  14. 제 12 항에 있어서,
    상기 제1 이차원 픽셀 함수는 제1 이웃의 픽셀들에 대응하는 깊이 값들에 대해 가중 투표 방식을 수행하는 것을 수반하는,
    이미지 프로세싱을 위한 장치.
  15. 제 12 항에 있어서,
    상기 제1 깊이 맵을 획득하기 위한 수단은:
    각각의 픽셀 포지션에 대해 상기 제1 복수의 깊이 이미지들에 대응하는 제1 복수의 깊이 값들 중에서 최대 깊이 값을 획득하기 위한 수단
    을 포함하고, 그리고
    상기 제2 깊이 맵을 획득하기 위한 수단은:
    각각의 픽셀 포지션에 대해 상기 제2 복수의 깊이 이미지들에 대응하는 제2 복수의 깊이 값들 중에서 최대 깊이 값을 획득하기 위한 수단
    을 포함하는,
    이미지 프로세싱을 위한 장치.
  16. 제 10 항에 있어서,
    상기 제2 깊이 맵은 상기 제1 깊이 맵에 기초하여 즉시 생성되는,
    이미지 프로세싱을 위한 장치.
  17. 이미지 프로세싱을 위한 비-일시적 프로세서-판독가능 저장 매체로서,
    프로세서-판독가능 명령들을 포함하고,
    상기 프로세서-판독가능 명령들은 프로세서로 하여금:
    상이한 초점 길이들에서 장면의 복수의 이미지들을 획득하게 하고 ― 각각의 이미지는 상기 장면의 상이한 일부분들을 초점이 맞게 나타냄 ―;
    상기 복수의 이미지들과 연관된 제1 깊이 맵을 획득하게 하고;
    상기 복수의 이미지들과 연관된 제2 깊이 맵을 획득하게 하고 ― 상기 제1 깊이 맵은 제1 이웃 크기에 대응하고, 그리고 상기 제2 깊이 맵은 상기 제1 이웃 크기와 상이한 제2 이웃 크기에 대응함 ―;
    상기 복수의 이미지들 및 상기 제1 깊이 맵에 기초하여, 상기 장면의 둘 이상의 일부분들을 초점이 맞게 나타내는 복합 이미지를 생성하게 하고; 그리고
    상기 복합 이미지 및 상기 제2 깊이 맵에 기초하여, 상기 장면의 선택된 일부분을 초점이 맞게 나타내는 리포커스된 이미지를 생성하게 하도록
    구성되는,
    이미지 프로세싱을 위한 비-일시적 프로세서-판독가능 저장 매체.
  18. 제 17 항에 있어서,
    상기 제1 이웃 크기는 상기 제2 이웃 크기보다 더 작은,
    이미지 프로세싱을 위한 비-일시적 프로세서-판독가능 저장 매체.
  19. 제 17 항에 있어서,
    상기 프로세서로 하여금:
    복수의 캡쳐된 이미지들 각각을 선예도 측정 필터로 필터링하여, 복수의 필터링된 이미지들을 생성하게 하고;
    제1 복수의 깊이 이미지들을 생성하기 위해, 상기 제1 이웃 크기에 기초하는 제1 이차원 픽셀 함수를 상기 복수의 필터링된 이미지들의 각각의 이미지에 적용하게 하고; 그리고
    제2 복수의 깊이 이미지들을 생성하기 위해, 상기 제2 이웃 크기에 기초하는 제2 이차원 픽셀 함수를 상기 복수의 필터링된 이미지들의 각각의 이미지에 적용하게 하도록
    구성된 명령들을 더 포함하는,
    이미지 프로세싱을 위한 비-일시적 프로세서-판독가능 저장 매체.
  20. 제 19 항에 있어서,
    상기 제1 이차원 픽셀 함수는 제1 이웃의 복수의 픽셀들에 대응하는 깊이 값들 간의 가중 평균을 계산하는 것을 수반하는,
    이미지 프로세싱을 위한 비-일시적 프로세서-판독가능 저장 매체.
  21. 제 19 항에 있어서,
    상기 제1 이차원 픽셀 함수는 제1 이웃의 픽셀들에 대응하는 깊이 값들에 대해 가중 투표 방식을 수행하는 것을 수반하는,
    이미지 프로세싱을 위한 비-일시적 프로세서-판독가능 저장 매체.
  22. 제 19 항에 있어서,
    상기 선예도 측정 필터는 Laplacian 필터인,
    이미지 프로세싱을 위한 비-일시적 프로세서-판독가능 저장 매체.
  23. 제 19 항에 있어서,
    프로세서로 하여금:
    상기 제1 깊이 맵을 획득하기 위해, 각각의 픽셀 포지션에 대해 상기 제1 복수의 깊이 이미지들에 대응하는 제1 복수의 깊이 값들 중에서 최대 깊이 값을 획득하게 하고; 그리고
    상기 제2 깊이 맵을 획득하기 위해, 각각의 픽셀 포지션에 대해 상기 제2 복수의 깊이 이미지들에 대응하는 제2 복수의 깊이 값들 중에서 최대 깊이 값을 획득하게 하기 위한
    명령들을 더 포함하는,
    이미지 프로세싱을 위한 비-일시적 프로세서-판독가능 저장 매체.
  24. 제 17 항에 있어서,
    상기 프로세서로 하여금:
    상기 제1 깊이 맵에 기초하여 즉시 상기 제2 깊이 맵을 생성하게 하기 위한
    명령들을 더 포함하는,
    이미지 프로세싱을 위한 비-일시적 프로세서-판독가능 저장 매체.
  25. 이미지 프로세싱을 위한 장치로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 커플링된 메모리
    를 포함하고,
    상기 적어도 하나의 프로세서는:
    상이한 초점 길이들에서 장면의 복수의 이미지들을 획득하고 ― 각각의 이미지는 상기 장면의 상이한 일부분들을 초점이 맞게 나타냄 ―;
    상기 복수의 이미지들과 연관된 제1 깊이 맵을 획득하고;
    상기 복수의 이미지들과 연관된 제2 깊이 맵을 획득하고 ― 상기 제1 깊이 맵은 제1 이웃 크기에 대응하고, 그리고 상기 제2 깊이 맵은 상기 제1 이웃 크기와 상이한 제2 이웃 크기에 대응함 ―;
    상기 복수의 이미지들 및 상기 제1 깊이 맵에 기초하여, 상기 장면의 둘 이상의 일부분들을 초점이 맞게 나타내는 복합 이미지를 생성하고; 그리고
    상기 복합 이미지 및 상기 제2 깊이 맵에 기초하여, 상기 장면의 선택된 일부분을 초점이 맞게 나타내는 리포커스된 이미지를 생성하도록
    구성되는,
    이미지 프로세싱을 위한 장치.
  26. 제 25 항에 있어서,
    상기 제1 이웃 크기는 상기 제2 이웃 크기보다 더 작은,
    이미지 프로세싱을 위한 장치.
  27. 제 25 항에 있어서,
    상기 적어도 하나의 프로세서는 추가로:
    복수의 캡쳐된 이미지들 각각을 선예도 측정 필터로 필터링하여, 복수의 필터링된 이미지들을 생성하고;
    제1 복수의 깊이 이미지들을 생성하기 위해, 상기 제1 이웃 크기에 기초하는 제1 이차원 픽셀 함수를 상기 복수의 필터링된 이미지들의 각각의 이미지에 적용하고;
    제2 복수의 깊이 이미지들을 생성하기 위해, 상기 제2 이웃 크기에 기초하는 제2 이차원 픽셀 함수를 상기 복수의 필터링된 이미지들의 각각의 이미지에 적용하도록
    구성되는,
    이미지 프로세싱을 위한 장치.
  28. 제 27 항에 있어서,
    상기 제1 이차원 픽셀 함수는 제1 이웃의 복수의 픽셀들에 대응하는 깊이 값들 간의 가중 평균을 계산하는 것을 수반하는,
    이미지 프로세싱을 위한 장치.
  29. 제 27 항에 있어서,
    상기 적어도 하나의 프로세서는 추가로:
    각각의 픽셀 포지션에 대해 상기 제1 복수의 깊이 이미지들에 대응하는 제1 복수의 깊이 값들 중에서 최대 깊이 값을 획득하고; 그리고
    각각의 픽셀 포지션에 대해 상기 제2 복수의 깊이 이미지들에 대응하는 제2 복수의 깊이 값들 중에서 최대 깊이 값을 획득하도록
    구성되는,
    이미지 프로세싱을 위한 장치.
  30. 제 25 항에 있어서,
    상기 적어도 하나의 프로세서는 추가로, 상기 제1 깊이 맵에 기초하여 즉시 상기 제2 깊이 맵을 생성하도록 구성되는,
    이미지 프로세싱을 위한 장치.
KR1020167007817A 2013-08-30 2014-08-29 올-인-포커스 이미지를 생성하기 위한 방법 및 장치 KR102126300B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361872504P 2013-08-30 2013-08-30
US61/872,504 2013-08-30
US14/471,416 US9344619B2 (en) 2013-08-30 2014-08-28 Method and apparatus for generating an all-in-focus image
US14/471,416 2014-08-28
PCT/US2014/053583 WO2015031856A1 (en) 2013-08-30 2014-08-29 Method and apparatus for generating an all-in-focus image

Publications (2)

Publication Number Publication Date
KR20160048140A KR20160048140A (ko) 2016-05-03
KR102126300B1 true KR102126300B1 (ko) 2020-06-24

Family

ID=52582697

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167007817A KR102126300B1 (ko) 2013-08-30 2014-08-29 올-인-포커스 이미지를 생성하기 위한 방법 및 장치

Country Status (8)

Country Link
US (1) US9344619B2 (ko)
EP (1) EP3039857A1 (ko)
JP (1) JP6411505B2 (ko)
KR (1) KR102126300B1 (ko)
CN (1) CN105474622B (ko)
BR (1) BR112016004206B1 (ko)
CA (1) CA2919253C (ko)
WO (1) WO2015031856A1 (ko)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247567B (zh) * 2013-05-30 2019-06-21 诺基亚技术有限公司 一种图像重新聚焦装置、方法、系统以及非瞬态程序存储设备
US9401027B2 (en) * 2013-10-21 2016-07-26 Nokia Technologies Oy Method and apparatus for scene segmentation from focal stack images
JP6581333B2 (ja) * 2014-03-14 2019-09-25 キヤノン株式会社 画像処理装置、撮像装置およびプログラム
JP6317635B2 (ja) * 2014-06-30 2018-04-25 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
TWI558167B (zh) * 2014-12-30 2016-11-11 友達光電股份有限公司 立體影像顯示系統與顯示方法
US9565356B2 (en) * 2015-06-07 2017-02-07 Apple Inc. Optimizing capture of focus stacks
US9774270B2 (en) 2015-06-15 2017-09-26 Apple Inc. Systems and methods of operation for power converters having series-parallel mode active clamps
US20180205311A1 (en) 2017-01-17 2018-07-19 Apple Inc. Control of Series-Parallel Mode (SPM) Clamped Flyback Converter
US9569830B2 (en) * 2015-07-03 2017-02-14 Mediatek Inc. Image processing method and electronic apparatus with image processing mechanism
US10237473B2 (en) * 2015-09-04 2019-03-19 Apple Inc. Depth map calculation in a stereo camera system
EP3139614A1 (en) * 2015-09-07 2017-03-08 Thomson Licensing Method and device for encoding and decoding a light field based image, and corresponding computer program product
JP6818471B2 (ja) * 2016-08-31 2021-01-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN106412426B (zh) * 2016-09-24 2019-08-20 上海大学 全聚焦摄影装置及方法
CN106600529A (zh) * 2016-11-28 2017-04-26 北京暴风魔镜科技有限公司 一种全焦全景图像的获取方法和装置
WO2018098607A1 (en) * 2016-11-29 2018-06-07 SZ DJI Technology Co., Ltd. Method and system of adjusting image focus
US10719927B2 (en) * 2017-01-04 2020-07-21 Samsung Electronics Co., Ltd. Multiframe image processing using semantic saliency
US10389936B2 (en) 2017-03-03 2019-08-20 Danylo Kozub Focus stacking of captured images
US10775501B2 (en) * 2017-06-01 2020-09-15 Intel Corporation Range reconstruction using shape prior
CN110476185B (zh) * 2017-06-02 2023-04-04 上海科技大学 景深信息估算方法和装置
CN108055452B (zh) 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
KR101997991B1 (ko) * 2017-11-29 2019-07-08 재단법인 다차원 스마트 아이티 융합시스템 연구단 시점 변환을 이용하는 영상 결합 방법 및 시스템
KR101997358B1 (ko) * 2017-11-30 2019-07-08 오스템임플란트 주식회사 초점 조절방식 광학 스캐너의 초점면들을 이용한 복합 초점 이미지 생성 장치 및 그 방법
CN107948520A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置
US10740913B2 (en) * 2017-12-12 2020-08-11 Samsung Electronics Co., Ltd. Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system
US11262192B2 (en) * 2017-12-12 2022-03-01 Samsung Electronics Co., Ltd. High contrast structured light patterns for QIS sensors
KR101994473B1 (ko) * 2017-12-20 2019-07-31 (주)이더블유비엠 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램
CN111869205B (zh) 2018-01-19 2022-06-10 Pcms控股公司 具有变化位置的多焦平面
CN108200344A (zh) * 2018-01-23 2018-06-22 江苏冠达通电子科技有限公司 摄像机的调整变焦方法
EP3554082A1 (en) * 2018-04-11 2019-10-16 InterDigital VC Holdings, Inc. A method and device for coding the geometry of a point cloud
JP7214368B2 (ja) * 2018-05-31 2023-01-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
EP4270944A3 (en) * 2018-07-06 2024-01-03 InterDigital VC Holdings, Inc. Method and system for forming extended focal planes for large viewpoint changes
CA3106823A1 (en) 2018-07-19 2020-01-23 Activ Surgical, Inc. Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
JP6936990B2 (ja) * 2018-07-26 2021-09-22 日本電信電話株式会社 符号化装置及びプログラム
KR102574649B1 (ko) * 2018-11-29 2023-09-06 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
CN109600552B (zh) * 2019-01-14 2024-06-18 广东省航空航天装备技术研究所 图像重新聚焦的控制方法及系统
US11405547B2 (en) * 2019-02-01 2022-08-02 Electronics And Telecommunications Research Institute Method and apparatus for generating all-in-focus image using multi-focus image
WO2020187425A1 (en) * 2019-03-21 2020-09-24 Huawei Technologies Co., Ltd. Depth of field image refocusing
EP4024846A4 (en) * 2019-09-18 2022-11-02 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR OBTAINING AN IMAGE WITH EXTENDED FIELD OF FIELD AND ELECTRONIC DEVICE
US10984513B1 (en) * 2019-09-30 2021-04-20 Google Llc Automatic generation of all-in-focus images with a mobile camera
US11423510B2 (en) * 2019-10-28 2022-08-23 Samsung Electronics Co., Ltd System and method for providing dolly zoom view synthesis
WO2021120188A1 (en) * 2019-12-20 2021-06-24 Qualcomm Incorporated Image fusion
WO2022126430A1 (zh) * 2020-12-16 2022-06-23 深圳市大疆创新科技有限公司 辅助对焦方法、装置及系统
US11756221B2 (en) 2021-01-28 2023-09-12 Qualcomm Incorporated Image fusion for scenes with objects at multiple depths
KR102529593B1 (ko) * 2022-10-25 2023-05-08 성형원 대상체에 대한 3d 정보를 획득하는 디바이스 및 방법
US11830127B1 (en) * 2023-05-02 2023-11-28 Illuscio, Inc. Systems and methods for generating consistently sharp, detailed, and in-focus three-dimensional models from pixels of two-dimensional images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019883A1 (en) * 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US20100165152A1 (en) * 2008-12-30 2010-07-01 Massachusetts Institute Of Technology Processing Images Having Different Focus
US20120070097A1 (en) * 2010-09-16 2012-03-22 Adams Jr James E Refocusing images using scene captured images

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929801B2 (en) 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
US7711259B2 (en) * 2006-07-14 2010-05-04 Aptina Imaging Corporation Method and apparatus for increasing depth of field for an imager
US8320615B2 (en) * 2008-02-27 2012-11-27 Honeywell International Inc. Systems and methods for recognizing a target from a moving platform
JP4524717B2 (ja) * 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US8582910B2 (en) * 2009-10-02 2013-11-12 The Chinese University Of Hong Kong Methods and apparatus for editing images
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
WO2011158515A1 (ja) * 2010-06-17 2011-12-22 パナソニック株式会社 距離推定装置、距離推定方法、集積回路、コンピュータプログラム
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
CN102314683B (zh) * 2011-07-15 2013-01-16 清华大学 一种非平面图像传感器的计算成像方法和成像装置
US9501834B2 (en) 2011-08-18 2016-11-22 Qualcomm Technologies, Inc. Image capture for later refocusing or focus-manipulation
JP5822613B2 (ja) * 2011-09-12 2015-11-24 キヤノン株式会社 画像処理装置および画像処理方法
BR112014008270A2 (pt) * 2011-10-10 2017-04-18 Koninklijke Philips Nv método e dispositivo de vídeo para o processamento de um sinal de vídeo tridimensional, programa de computador, e, meio legível por computador
CN104603796A (zh) * 2012-04-26 2015-05-06 纽约市哥伦比亚大学理事会 在图像中交互式调焦的系统、方法和媒体
TWI482468B (zh) * 2012-11-23 2015-04-21 Inst Information Industry 物體偵測裝置、方法及其電腦可讀取紀錄媒體
CN103177432B (zh) * 2013-03-28 2015-11-18 北京理工大学 一种用编码孔径相机获取全景图方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019883A1 (en) * 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US20100165152A1 (en) * 2008-12-30 2010-07-01 Massachusetts Institute Of Technology Processing Images Having Different Focus
US20120070097A1 (en) * 2010-09-16 2012-03-22 Adams Jr James E Refocusing images using scene captured images

Also Published As

Publication number Publication date
JP2016533686A (ja) 2016-10-27
CA2919253C (en) 2021-06-22
KR20160048140A (ko) 2016-05-03
CN105474622A (zh) 2016-04-06
JP6411505B2 (ja) 2018-10-24
US9344619B2 (en) 2016-05-17
US20150062370A1 (en) 2015-03-05
BR112016004206A2 (ko) 2017-08-01
CN105474622B (zh) 2018-12-21
CA2919253A1 (en) 2015-03-05
BR112016004206B1 (pt) 2023-04-11
WO2015031856A1 (en) 2015-03-05
EP3039857A1 (en) 2016-07-06

Similar Documents

Publication Publication Date Title
KR102126300B1 (ko) 올-인-포커스 이미지를 생성하기 위한 방법 및 장치
US11532180B2 (en) Image processing method and device and storage medium
CN107798669B (zh) 图像去雾方法、装置及计算机可读存储介质
CN107105130B (zh) 电子设备及其操作方法
TWI706379B (zh) 圖像處理方法及裝置、電子設備和儲存介質
KR102566998B1 (ko) 이미지 선명도를 결정하기 위한 장치 및 방법
US11132772B2 (en) Asymmetric normalized correlation layer for deep neural network feature matching
KR20220011207A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체
EP3822757A1 (en) Method and apparatus for setting background of ui control
KR20200101741A (ko) 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
US20150063718A1 (en) Techniques for enhancing low-light images
CN111968052B (zh) 图像处理方法、图像处理装置及存储介质
CN114445315A (zh) 图像质量增强方法和电子设备
CN111866378A (zh) 图像处理方法、装置、设备及介质
CN109981989B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
JP6283329B2 (ja) 拡張現実対象認識装置
WO2018219274A1 (zh) 降噪处理方法、装置、存储介质及终端
CN111567034A (zh) 曝光补偿的方法、装置及计算机可读存储介质
US11810336B2 (en) Object display method and apparatus, electronic device, and computer readable storage medium
US10877641B2 (en) Image adjustment method, apparatus, device and computer readable storage medium
CN112489006A (zh) 图像处理方法、装置、存储介质及终端
CN111325148A (zh) 遥感影像的处理方法、装置、设备和存储介质
CN113709436A (zh) 基于连续变焦的紫边校正方法、装置和电子设备
CN116757940A (zh) 镜面反射区域的消除方法、装置、设备及介质
CN112950455A (zh) 图像显示方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant