KR20130055664A - 휴대용 카메라로 획득된 복수의 이미지로부터 모든 초점이 맞는 이미징을 수행하기 위한 시스템 및 방법 - Google Patents

휴대용 카메라로 획득된 복수의 이미지로부터 모든 초점이 맞는 이미징을 수행하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20130055664A
KR20130055664A KR1020137007231A KR20137007231A KR20130055664A KR 20130055664 A KR20130055664 A KR 20130055664A KR 1020137007231 A KR1020137007231 A KR 1020137007231A KR 20137007231 A KR20137007231 A KR 20137007231A KR 20130055664 A KR20130055664 A KR 20130055664A
Authority
KR
South Korea
Prior art keywords
image
laplacian pyramid
pixel
images
row
Prior art date
Application number
KR1020137007231A
Other languages
English (en)
Inventor
오스카 네스타레스
지안핑 조우
요람 가트
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20130055664A publication Critical patent/KR20130055664A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

서로 다른 초점 심도에서의 물체가 전부 초점이 맞추어진 것으로 나타나는 이미지를 생성하기 위한 방법 및 시스템. 일 실시예에서, 장면 내의 모든 물체는 초점이 맞추어진 것으로 나타날 수 있다. 비고정 카메라가 수용되어, 그 결과 미세한 흔들림이나 다른 움직임으로부터 기인한 장면의 변화가 허용될 수 있다. 이미지 정렬 프로세스가 이용될 수 있으며, 정렬된 이미지는 상대적으로 성능 능력을 제한한 로직을 이용하여 구현될 수 있는 프로세스를 이용하여 블렌딩될 수 있다. 블렌딩 프로세스는 정렬된 입력 이미지의 세트를 취할 수 있으며, 각 이미지를 라플라시안 피라미드(LP)로 변환할 수 있다. LP는 이미지의 여러 처리된 버전을 포함하는 데이터 구조이며, 각 버전은 크기가 서로 다르다. 그래서, 정렬된 이미지의 세트는 LP의 세트로 변환될 수 있다. LP는 복합 LP로 조합되며, 복합 LP는 라플라시안 피라미드 재구성(LPR)을 거친다. LPR 프로세스의 출력은 최종 블렌딩된 이미지이다.

Description

휴대용 카메라로 획득된 복수의 이미지로부터 모든 초점이 맞는 이미징을 수행하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR ALL-IN-FOCUS IMAGING FROM MULTIPLE IMAGES ACQUIRED WITH HAND-HELD CAMERA}
카메라로 이미지를 캡처할 때, 초점은 전형적으로 단일 심도(single depth)에서 달성된다. 예를 들어, 배경 앞에 단일 물체를 포함하는 장면이 주어진다면, 카메라는 전경 내의 물체에 초점을 맞추거나(배경을 흐리게 함) 배경에 초점을 맞출 수 있다(전경 물체를 흐리게 함).
그러나, 어떤 상황에서, 하나를 초과하는 물체가 초점이 맞추어지는 것으로 보이는 이미지를 갖는 것이 바람직할 수 있다. 동일한 이미지에서 모든 것이 초점이 맞추어져 보이는 것이 훨씬 바람직할 수 있다. 과거에는, 이는 각 이미지가 다른 초점 심도를 가진 동일한 장면의 복수의 이미지를 촬영하는 것을 필요로 했었다. 또한, 이는 고정 카메라의 사용을 필요로 했었다. 이는 장면의 다른 물체가 각 이미지에서 동일한 위치에 있을 수 있는 복수의 이미지로 귀결된다. 그 후, 복수의 이미지는 블렌딩(blending)되어, 그 결과 장면의 모든 초점이 맞는(in-focus) 요소가 단일 이미지로 조합될 수 있다.
이러한 접근 방식은 여러 가지 이유로 문제가 있는 것으로 판명되었다. 첫째, 고정 카메라의 사용이 항상 가능한 것은 아니다. 예를 들어 삼각대의 사용이 바람직할 수 있지만, 실제상 이러한 배치는 항상 이용할 수 있는 것은 아니다. 종종, 카메라는 손으로 유지되어, 그 결과 카메라가 매순간 이동하거나 미세하게 흔들릴 수 있다. 둘째, 블렌딩 프로세스는 전통적으로 상당한 처리 능력을 필요로 하는 복잡한 알고리즘을 포함한다.
도 1은 실시예의 전체 처리를 예시한 흐름도이다.
도 2는 실시예에 따라 정렬 프로세스를 예시한 흐름도이다.
도 3은 실시예에 따라 오일러 각(Euler angle)의 추정을 예시한 흐름도이다.
도 4는 실시예에 따라 블렌딩 프로세스를 예시한 흐름도이다.
도 5는 실시예에 따라 라플라시안 피라미드(Laplacian pyramid)의 구성을 예시한 데이터 흐름도이다.
도 6은 실시예에 따라 축소 프로세스를 예시한 흐름도이다.
도 7은 실시예에 따라 확장 프로세스를 예시한 흐름도이다.
도 8은 실시예에 따라 라플라시안 피라미드 재구성 프로세스를 예시한 데이터 흐름도이다.
도 9는 실시예의 소프트웨어 또는 펌웨어 구현을 예시한 블록도이다.
도면에서, 참조 번호의 가장 왼쪽 숫자는 참조 번호가 처음 나타내는 도면을 식별한다.
이제, 동일한 참조 번호가 동일하거나 기능적으로 유사한 요소를 표시하는 도면을 참조하여 실시예가 설명된다. 또한 도면에서, 각 참조 번호의 가장 왼쪽 숫자는 참조 번호가 처음 사용되는 도면에 대응한다. 특정 구성 및 배치가 논의되지만, 이는 설명을 위해서만 행해진다는 점이 이해될 것이다. 당업자는 다른 구성 및 배치가 설명의 사상 및 범위를 벗어나지 않고 이용될 수 있다는 점을 인식할 것이다. 이는 또한 여기에 설명되는 것과 다른 다양한 다른 시스템 및 애플리케이션에 채택될 수 있다는 점이 당업자에게 자명할 것이다.
서로 다른 초점 심도에서 물체가 전부 초점이 맞추진 것으로 나타날 수 있는 이미지를 생성하기 위한 방법 및 시스템이 여기에 개시된다. 일 실시예에서, 장면 내의 모든 물체는 초점이 맞추어진 것으로 나타날 수 있다. 비고정 카메라가 수용될 수 있으며, 그 결과 미세한 흔들림 또는 다른 움직임(motion)으로부터 기인한 장면의 변화가 허용될 수 있다. 이미지 정렬 프로세스가 이용될 수 있으며, 정렬된 이미지는 상대적으로 성능 능력을 제한한 로직을 이용하여 구현될 수 있는 프로세스를 이용하여 블렌딩될 수 있다. 블렌딩 프로세스는 정렬된 입력 이미지의 세트를 취할 수 있으며, 각 이미지를 라플라시안 피라미드(LP)로 변환할 수 있다. 이미지에 대한 LP는 이미지의 여러 처리된 버전을 포함하는 데이터 구조이며, 각 버전은 크기가 서로 다르다. 그래서, 정렬된 이미지의 세트는 LP의 세트로 변환될 수 있다. LP는 복합 LP로 조합되어 라플라시안 피라미드 재구성(LPR)을 하게 된다. LPR 프로세스의 출력은 최종 블렌딩된 이미지이다.
전체 처리는 일 실시예에 따라 도 1에 예시된다. (110)에서, 2 이상의 이미지가 정렬될 수 있다. (120)에서는 정렬된 이미지가 블렌딩될 수 있다. (110) 및 (120) 양자의 실시예는 아래에 더욱 상세히 설명된다.
카메라 회전 및 생성된 이미지 정렬의 추정을 위한 프로세스는 일 실시예에 따라 도 2에 예시된다. 어파인 모델(affine model)과 같은 다른 정렬 모델이 가능하다는 점이 주목된다. (210)에서, 입력 이미지의 회색 레벨 표현의 가우스 다중 해상도 표현(multi-resolution representation(MRR))이 계산될 수 있다. 개념적으로, 이러한 표현은 피라미드 구조로 볼 수 있는데, 여기서 제 1 표현 또는 피라미드층은 이미지의 비교적 거친 표현일 수 있으며, 각각의 다음의 표현은 이전의 표현에 대해 이미지의 미세한 표현일 수 있다. 이러한 이미지의 다중 해상도 표현은 거친-미세한 추정 전략을 고려할 수 있다. 일 실시예에서, 입력 이미지의 이러한 다중 해상도 표현은 계산 효율을 위해 이항(binomial) B 2 필터(1/4, 1/2, 1/4)를 이용하여 계산될 수 있다.
도 2의 실시예에서, 시퀀스(220 내지 240)는 가장 거친 레벨에서 시작하는 피라미드의 각 레벨에 대해 수행될 수 있다. 일반적으로, 프로세스는 정렬(또는 등록)되는 두 이미지 사이의 강도가 이의 강도 값이 유지되는 동안 픽셀별로 변위된다고 가정하는 기울기 제약 조건(gradient constraint)에 기초할 수 있다. 기울기 제약 조건은 다음과 같이 나타낼 수 있다.
Figure pct00001
(1)
여기서, I는 이미지 강도를 나타내고, D는 변위를 나타내며, ΔI(p) = I2(p) -I1(p), I2(p) 및 I1(p)는 픽셀 p에서의 이미지 강도이다.
이미지의 각 픽셀은 하나의 제약 조건을 제공하며, 일반적으로는 2개의 알려지지 않은 제약 조건을 제공할 수 있다. 그러나, 두 이미지 사이의 변위가 다음과 같이 표현될 수 있도록 카메라 회전 미세 흔들림은 카메라 변환에 걸쳐 이미지 움직임을 지배할 수 있다고 가정될 수 있다.
Figure pct00002
여기서, x 1은 동차이 이미지 좌표(homogeneous image coordinates)의 픽셀 p의 위치이고, x2 = Px1, 볼드페이스(boldface) P는 3D 카메라 회전 및 이미지의 두 초점 길이를 나타내는 3개의 매개 변수에 의존하는 특정 투영 변환이다(간단한 대각선 카메라 보정 행렬을 가정한다).
Figure pct00003
(2)
여기서,
Figure pct00004
및
Figure pct00005
는 각각의 초점 길이이며, R은 카메라 회전에 상응하는 3D 회전 행렬이다. 회전 행렬은 (x,y,z) 규약(convention)에 상응하는 오일러 각
Figure pct00006
을 이용하여 매개 변수화될 수 있다. 작은 각도 근사치가 이용될 수 있다.
Figure pct00007
(3)
(1), (2) 및 (3)을 조합하면, 다음과 같은 제약 조건이 각 픽셀에서 획득될 수 있다.
Figure pct00008
(4)
양자의 이미지의 초점 길이가 카메라에 의해 제공된다고 가정하면, 이러한 제약 조건은 오일러 각 벡터 ω에서 선형적이다.
(220)에서, 각 반복은 제 1 입력 이미지에서의 픽셀의 샘플링으로부터 제약 조건을 수집함으로써 시작할 수 있다. 제약 조건이 형성되는 위치는 실시예에 따라 제 1 입력 이미지의 참조의 프레임에서 직사각형 샘플링 격자를 이용하여 선택될 수 있다. 이러한 픽셀 및 이의 제약 조건이 주어지면, 벡터 ω는 각 픽셀에 대해 추정될 수 있다. 실시예에 따라 이러한 각을 추정하는 프로세스는 아래에서 더욱 상세히 논의될 것이다.
오일러 각의 생성된 추정치가 주어지면, (230)에서 회전 행렬 R은 상기 방정식 (3)에 따라 결정될 수 있다. 이러한 행렬이 결정된 후, (240)에서 투영 변환 P는 상기 방정식 (2)에 따라 계산될 수 있다. 각 반복으로, 변환 P는 이전의 반복에서 생성되거나 이전의 해상도 레벨에서 생성되는 변환 P와 조합될 수 있다.
(250)에서, 변위 d(p)는 추정된 프레임간 카메라 회전으로 계산될 수 있다. (260)에서, 입력 프레임 및 이의 다음의 프레임은 추정된 카메라 회전에 따라 정렬될 수 있다. 실시예에서, 이중 선형 보간법(bilinear Interpolation)은 식별된 픽셀 위치에서 다음의 이미지의 변위된 강도 값을 획득하는데 이용될 수 있다.
일 실시예에서, 노출 시에 급격한 변화로 인한 문제를 방지하는 것이 바람직할 수 있다. 그러한 문제는 때때로 카메라의 자동 노출 특징에 의해 도입된다. 그러한 문제를 방지하기 위해, 이미지는 정렬하기 전에 이의 평균 및 표준 편차를 균등하게 하도록 사전 처리될 수 있다.
도 3은 오일러 각의 추정(상기 220)을 더욱 상세히 예시한다. (310)에서, 방정식 (4)의 형태의 제약 조건은 주어진 해상도 레벨에서 각 샘플링된 픽셀에 대해 생성될 수 있다. 이것은 각 샘플링된 픽셀에 대한 방정식을 생성시킨다. 방정식의 생성된 세트는 ω의 각 선형인 과잉 결정 연립 방정식(over-determined system of equations)을 나타낸다. (320)에서, 이러한 연립 방정식은 풀이될 수 있다. 예시된 실시예에서, 연립 방정식은 터키 함수(Tukey funciton)을 구비한 M 추정기를 이용하여 풀이될 수 있다.
블렌딩 프로세스(도 1의 (120))는 일 실시예에 따라 도 4에 더욱 상세히 도시된다. (410)에서, 라플라시안 피라미드는 각 정렬된 이미지 및 각 컬러 채널에 대해 구성될 수 있거나, 대안적으로 강도 및 적절한 컬러 구성 요소 표현의 두 컬러 채널에 대해서도 구성될 수 있다. 이러한 구성은 아래에 더 상세히 설명될 것이다. 일반적으로, 입력 이미지의 라플라시안 피라미드는 입력 이미지로부터 유도된 이미지의 세트이다. 이러한 이미지의 유도는 입력 이미지의 선형 필터링 다음에 필터링된 입력 이미지의 반복 축소 및 확장을 포함한다. 이미지의 결과적인 세트는 다양한 크기의 이미지를 포함하여, 그 결과 개념적으로 그들은 일괄하여 피라미드로 모델링될 수 있다.
(420) 및 (430)에서, 입력 이미지의 라플라시안 피라미드는 복합 라플라시안 피라미드를 구성하는데 이용될 수 있다. (420)에서, LP의 각 픽셀에 대해, 픽셀의 계수는 다른 LP의 상응하는 픽셀의 계수와 비교될 수 있다. 상응하는 픽셀의 이러한 세트 중에서, 이의 계수의 가장 큰 절대값을 갖는 픽셀이 복합 피라미드의 상응하는 위치에 저장되며 이용될 수 있다. 따라서, (430)에서, 복합 피라미드는 이러한 저장된 픽셀에서 구성될 수 있다. 복합 피라미드의 각 픽셀은 LP의 세트의 각각의 비교 위치에서 모든 상응하는 픽셀의 가장 큰 계수(절대값)를 갖는 픽셀을 나타낸다.
(440)에서, 복합 피라미드는 최종 블렌딩된 이미지를 생성하기 위해 라플라시안 피라미드 재구성을 하게 된다. 이것은 도 8과 관련하여 아래에 더 상세히 논의된다.
도 5는 라플라시안 피라미드의 구성(도 4의 (410))을 예시한다. 입력 이미지(510)는 축소 프로세스(520)에 의해 반복적으로 축소될 수 있다. 예시된 예에서, 입력 이미지(510)는 이미지(511)를 형성하기 위해 축소될 수 있으며, 이러한 이미지(511)는 그 후 이미지(512)를 형성하기 위해 축소될 수 있다. 그리고 나서, 이미지(512)는 이미지(513)를 형성하기 위해 축소될 수 있다. 아래에 더 상세히 설명되는 바와 같이, 축소 프로세스는 필터링 프로세스 및 어떤 픽셀의 제거를 포함한다. 더욱이, 도 5의 예는 3개의 감소 프로세스를 도시하며, 대안적 실시예에서, 축소의 수는 다를 수 있다. 선택된 축소의 수는 적어도 부분적으로 최종 축소된 이미지의 원하는 크기(이러한 예에서는 이미지(513))에 의해 결정될 수 있다.
그 후, 최종 축소된 이미지(513)는 확장 프로세스(530)를 겪는다. 확장 프로세스는 아래에 더 상세히 설명되며, 픽셀의 전부 0인 표현(all-zero representations)을 확장한 이미지로 끼워넣는(interleaving) 것과 그 다음의 필터링 프로세스를 포함한다. 일 실시예에서, 픽셀의 전부 0인 표현은 데이터가 전부 0인 이진 픽셀일 수 있다. 그 후, 이미지(513)의 확장의 출력은 확장한 이미지의 이전의 이미지에서 차감될 수 있다. 이 점에서, 이미지(513)의 확장의 출력은 이미지(513)의 이전의 이미지인 이미지(512)에서 차감될 수 있다. 이러한 차감의 결과는 최종 라플라시안 피라미드의 부분을 나타내는 차이 이미지(542)로 저장될 수 있다.
또한, 이전의 이미지(512)는 확장(530)을 겪는다. 그 후, 이러한 확장의 출력은 이미지(512)의 이전의 이미지, 즉 이미지(511)에서 차감될 수 있다. 이러한 차감의 결과는 차이 이미지(541)로 저장될 수 있다. 마찬가지로, 이미지(511)는 또한 확장(530)을 밟으며, 그 결과는 또한 저장될 수 있는 차이 이미지(540)를 생성하기 위해 이미지(510)에서 차감될 수 있다. 저장된 차이 이미지(540, 541 및 542)는 일괄하여 라플라시안 피라미드를 나타낸다.
확장의 수는 반드시 축소의 수와 동일하다는 점이 주목된다. 예시된 예는 3개의 확장을 보여주며, 다른 실시예는 서로 다른 번호를 사용할 수 있다.
축소 프로세스(도 5의 (520))는 일 실시예에 따라 도 6에 예시된다. (610)에서는 선형 필터가 적용될 수 있다. 일 실시예에서, 필터는 마스크를 이용할 수 있다.
Figure pct00009
이러한 마스크는 가우스의 대략적인 근사치(coarse approximation)이기 때문에 종종 라플라시안 피라미드를 구성하기 위해 자주 이용되지는 않지만, 그 마스크는 이러한 특정 애플리케이션에서 고 품질의 결과를 다른 가장 흔히 사용되는 필터보다 낮은 비용으로 생성할 수 있다. 이러한 이유로, 라플라시안 피라미드의 특정 버전은 단순화된 라플라시안 피라미드로 간주될 수 있다.
(620) 및 (630)에서, 픽셀은 필터링된 이미지에서 제거될 수 있다. (620)에서, 격행(every other row)은 폐기될 수 있다. (630)에서, 하나 걸러 마다의 픽셀(every other pixel)은 잔여 행의 각각으로부터 제거될 수 있다. 그 결과는 축소된 이미지이다.
확장 프로세스(도 5의 (530))는 일 실시예에 따라 도 7에 예시된다. (710)에서, 픽셀의 행은 이미지의 기존 행 사이에 끼워넣어 질 수 있다. 이러한 삽입된 픽셀은 전부 0인 픽셀 표현일 수 있다. (720)에서, 원래의 행에서, 전부 0인 픽셀 표현이 원래의 픽셀과 번갈아 끼워넣어 질 수 있다. 이러한 행에서, 그 결과는 하나 걸러 마다의 픽셀이 전부 0인 픽셀 표현이 되는 것이다. 따라서, (710 및 720)의 완료 후에, 하나 걸러 마다의 행은 전부 0인 픽셀 표현으로 만들어질 것이다. 다른 행에서, 하나 걸러 마다의 픽셀은 전부 0인 픽셀 표현이 될 것이다.
(730)에서는, 선형 필터가 적용될 수 있다. 일 실시예에서, 필터는 여기에 논의된 같은 이유로 축소 프로세스에 설명된 동일한 마스크를 이용할 수 있다.
Figure pct00010
라플라시안 피라미드 재구성(LPR, 도 4의 참조 번호(440))은 실시예에 따라 도 8에 예시된다. 입력은 복합 라플라시안 피라미드의 구성 성분인 이미지(811-814)로 도시된다. 가장 작은 이미지(814)는 확장 프로세스(830)로 입력될 수 있다. 확장 프로세스(830)는 상기 확장 프로세스(520)와 동일한 프로세스일 수 있다. 그 후, 이러한 확장의 출력은 다음 큰 입력 이미지(813)에 추가될 수 있다. 그 후, 합은 확장되어 다음 큰 이미지(812)에 추가될 수 있다. 생성된 합은 확장되어 다음 큰 이미지(811)에 추가될 수 있다. 결과는 최종 블렌딩된 이미지(840)이다.
3개의 확장 및 4개의 입력 이미지가 나타나 있지만, 대안적 실시예는 입력 라플라시안 피라미드의 이미지의 수에 따라 서로 다른 복수의 확장을 가질 수 있다.
피라미드의 각 이미지의 각 픽셀에 대한 계수를 비교하기 전에(도 4의 (420)) 추가적인 동작이 적용될 수 있다. 이것은 선형 필터를 절대값의 피라미드 이미지의 각각에 적용하는 것으로 이루어진다. 어떤 경우에, 이것은 선형 필터를 적용하는 추가적인 계산 비용으로 블렌딩된 이미지의 품질을 증가시킬 수 있다. 일 실시예에서, 이러한 필터는 5x5 박스 필터이다.
여기에 개시된 하나 이상의 특징은 이산 및 집적 회로 로직, 주문형 반도체(ASIC) 로직 및 마이크로 제어기를 포함하는 하드웨어, 소프트웨어, 펌웨어, 및 이들의 조합으로 구현될 수 있으며, 도메인 특정 집적 회로 패키지의 부분 또는 집적 회로 패키지의 조합으로 구현될 수 있다. 여기에 이용된 바와 같이, 용어 소프트웨어는 컴퓨터 시스템이 하나 이상의 특징 및/또는 여기에 개시된 특징의 조합을 수행시키도록 하기 위해 내부에 컴퓨터 프로그램 로직을 저장한 비일시적 컴퓨터 판독 가능한 매체를 포함하는 컴퓨터 프로그램 제품을 나타낸다.
도 9는 여기에 설명된 처리의 소프트웨어 또는 펌웨어 실시예를 예시한다. 이 도면에서, 시스템(900)은 프로세서(920)를 포함할 수 있으며, 추가로 메모리(910)의 모임을 포함할 수 있다. 메모리(910)는 컴퓨터 프로그램 로직(940)을 저장할 수 있는 하나 이상의 컴퓨터 판독 가능한 매체를 포함할 수 있다. 메모리(910)는 하드 디스크 및 드라이브, 예를 들어 콤팩트 디스크, 판독 전용 메모리(ROM) 또는 랜덤 액세스 메모리(RAM) 장치와 같은 이동식 매체, 또는 이들의 어떤 조합으로 구현될 수 있다. 프로세서(920) 및 메모리(910)는 버스와 같이 당업자에 알려진 여러 가지 기술 중 어느 하나를 이용하여 통신할 수 있다. 메모리(910)에 포함된 컴퓨터 프로그램 로직(940)은 프로세서(920)에 의해 판독되며 실행될 수 있다. 일괄하여 I/O(930)으로 도시된 하나 이상의 I/O 포트 및/또는 I/O 장치는 또한 프로세서(920) 및 메모리(910)에 연결될 수 있다.
컴퓨터 프로그램 로직(940)은 정렬 로직(950)을 포함할 수 있다. 로직(950)은 다음 블렌딩을 위한 장면의 이미지를 정렬할 책임이 있을 수 있다. 로직(950)은 도 2 및 3과 관련하여 상술한 처리를 구현할 수 있다.
컴퓨터 프로그램 로직(940)은 또한 LP 구성 로직(960)을 포함할 수 있다. 이러한 모듈은 도 5-7과 관련하여 상술한 바와 같이 입력 이미지에 기초하여 라플라시안 피라미드의 구성을 위한 로직을 포함할 수 있다.
컴퓨터 프로그램 로직(940)은 또한 도 4의 참조 번호(430)와 관련하여 상술한 바와 같이 복합 라플라시안 피라미드의 구성을 위한 로직(970)을 포함할 수 있다.
컴퓨터 프로그램 로직(940)은 또한 라플라시안 피라미드 재구성 로직(980)을 포함할 수 있다. 이러한 모듈은 도 4의 참조 번호(440) 및 도 8과 관련하여 상술한 바와 같이 블렌딩된 이미지의 생성을 위한 로직을 포함할 수 있다.
방법 및 시스템은 기능, 특징 및 이의 관계를 예시하는 기능적 구성 블록(functional building block)의 도움으로 여기에 개시된다. 이러한 기능적 구성 블록의 경계 중 적어도 일부는 설명의 편의를 위해 여기에 임의로 정의되었다. 특정된 기능 및 이의 관계가 적절하게 수행되는 한 대안적 경계가 정의될 수 있다.
다양한 실시예가 여기에 개시되었지만, 이러한 실시예는 제한이 아닌 예로서 제시되었다는 점이 이해될 것이다. 형태 및 상세 사항의 다양한 변경이 여기에 개시된 방법 및 시스템의 사상 및 범위를 벗어나지 않으면서 여기에서 행해질 수 있다는 점이 당업자에게 자명할 것이다. 따라서, 청구범위의 폭 및 범위는 여기에 개시된 어떤 예시적인 실시예에 의해 제한되지 않아야 한다.

Claims (20)

  1. 동일한 장면의 복수의 이미지를 정렬하는 단계 - 상이한 이미지들은 초점이 맞는 상이한 물체들을 가짐 - 와,
    상기 정렬된 이미지를 블렌딩하는(blending) 단계를 포함하되,
    상기 블렌딩하는 단계는,
    각 이미지에 대해, 적절한 컬러 구성 요소 표현으로 상기 이미지의 컬러 구성 요소의 각각에 대한 이미지를 나타내는 라플라시안 피라미드(a Laplacian pyramid)를 구성하는 단계와,
    상기 복수의 이미지 각각에 상응하는 복수의 라플라시안 피라미드에 기초하여 복합 라플라시안 피라미드(a composite Laplacian pyramid)를 구성하는 단계와,
    각각의 이미지에서 초점이 맞춰진 상기 상이한 물체들이 초점이 맞춰진 것으로 보이는 블렌딩된 이미지를 생성하도록, 상기 복합 라플라시안 피라미드 상에 라플라시안 피라미드 재구성(Laplacian pyramid reconstruction)을 수행하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 이미지를 나타내는 라플라시안 피라미드를 구성하는 단계는
    반복적으로 상기 이미지를 축소하고, 각 축소로부터 기인하는 축소된 이미지를 저장하여, 일련의 축소된 이미지(a series of reduced image)를 생성하는 단계와,
    각 축소된 이미지를 확장하여, 일련의 확장된 이미지(a series of expanded image)를 생성하는 단계와,
    상기 확장된 이미지를 생성하는데 이용된 상기 축소된 이미지를 생성한 상기 축소에 입력으로서 제공된 이미지로부터 각 확장된 이미지를 차감하여, 차이 이미지의 세트를 생성하는 단계와,
    상기 이미지를 나타내는 라플라시안 피라미드를 생성하도록 상기 차이 이미지를 이용하는 단계를 포함하는
    방법.
  3. 제 2 항에 있어서,
    상기 이미지를 축소하는 것은,
    상기 이미지에 선형 필터를 적용하는 것과,
    필터링된 이미지로부터 격행의 픽셀(every other row of pixels)을 폐기하는(discarding) 것과,
    상기 필터링된 이미지의 잔여 행에 대해 하나 걸러 마다의 픽셀(every other pixel)을 폐기하는 단계를 포함하는
    방법.
  4. 제 3 항에 있어서,
    상기 이미지를 확장하는 것은,
    각 행에서, 상기 행의 픽셀들이 전부 0인 픽셀 표현들과 교번하도록 상기 행의 픽셀 사이에 전부 0인 픽셀 표현들을 끼워넣는 것과,
    상기 이미지의 격행이 전부 0인 픽셀 표현들의 행이되도록 상기 이미지의 행들 사이에 전부 0인 픽셀 표현들의 행을 추가하는 것과,
    그 결과에 상기 선형 필터를 적용하는 것을 포함하는
    방법.
  5. 제 4 항에 있어서,
    상기 선형 필터는 식
    Figure pct00011

    에 의해 정의된 마스크를 이용하는
    방법.
  6. 제 2 항에 있어서,
    상기 라플라시안 피라미드 재구성을 수행하는 단계는,
    가장 작은 차이 이미지를 확장하는 단계와,
    상기 가장 작은 차이 이미지의 확장의 결과를 다음의 가장 큰 차이 이미지에 추가하여, 합을 생성하는 단계와,
    반복적으로 상기 합을 확장하고, 상기 확장된 합을 다음의 가장 큰 차이 이미지에 추가하여 다음 합을 생성하여, 궁극적으로 최종 합을 생성하는 단계와,
    상기 최종 합을 블렌딩된 이미지로서 이용하는 단계를 포함하는
    방법.
  7. 제 1 항에 있어서,
    상기 복합 라플라시안 피라미드를 구성하는 단계는,
    상기 복합 라플라시안 피라미드에 정의되는 각 픽셀에 대해,
    이미지를 나타내는 각 라플라시안 피라미드에서 상응하는 픽셀을 조사하는 단계와,
    상응하는 픽셀의 세트로부터 최대 절대값을 갖는 픽셀을 선택하는 단계와,
    상기 복합 라플라시안 피라미드 내에 정의될 픽셀로서 상기 선택된 픽셀을 이용하는 단계를 포함하는
    방법.
  8. 프로세서와,
    상기 프로세서와 통신하는 메모리를 포함하되,
    상기 메모리는, 상기 프로세서에게
    동일한 장면의 복수의 이미지를 정렬하며 - 상이한 이미지들은 초점이 맞는 상이한 물체들을 가짐 - ,
    상기 정렬된 이미지를 블렌딩할 것을 지시하도록 구성된 복수의 처리 명령어를 저장하며,
    상기 블렌딩하는 것은,
    각 이미지에 대해 적절한 컬러 구성 요소 표현으로 상기 이미지의 컬러 구성 요소 각각에 대한 이미지를 나타내는 라플라시안 피라미드를 구성하는 것과,
    상기 복수의 이미지의 각각에 상응하는 복수의 라플라시안 피라미드에 기초하여 복합 라플라시안 피라미드를 구성하는 것과,
    각각의 이미지에서 초점이 맞춰진 상기 상이한 물체들이 초점이 맞춰진 것으로 보이는 블렌딩된 이미지를 생성하도록, 상기 복합 라플라시안 피라미드 상에 라플라시안 피라미드 재구성을 수행하는 것을 포함하는
    시스템.
  9. 제 8 항에 있어서,
    상기 이미지를 나타내는 라플라시안 피라미드를 구성하는 것은,
    반복적으로 상기 이미지를 축소하고, 각 축소로부터 축소된 이미지를 저장하여, 일련의 축소된 이미지를 생성하는 것과,
    각 축소된 이미지를 확장하여, 일련의 확장된 이미지를 생성하는 것과,
    상기 확장된 이미지를 생성하기 위해 이용된 상기 축소된 이미지를 생성한 상기 축소에 입력으로서 제공된 이미지로부터 각 확장된 이미지를 차감하여 차이 이미지의 세트를 생성하는 것과,
    상기 이미지를 나타내는 라플라시안 피라미드를 생성하도록 상기 차이 이미지를 이용하는 것을 포함하는
    시스템.
  10. 제 9 항에 있어서,
    상기 이미지를 축소하는 것은,
    선형 필터를 상기 이미지에 적용하는 것과,
    필터링된 이미지로부터 격행의 픽셀을 폐기하는 것과,
    상기 필터링된 이미지의 잔여 행에 대해 하나 걸러 마다의 픽셀을 폐기하는 것을 포함하며,
    상기 이미지를 확장하는 것은,
    각 행에서, 상기 행의 픽셀들이 전부 0인 픽셀 표현들과 교번하도록 상기 행의 픽셀들 사이에 전부 0인 픽셀 표현들을 끼워넣는 것과,
    상기 이미지의 격행이 전부 0인 픽셀 표현들의 행이 되도록 상기 이미지의 행들 사이에 전부 0인 픽셀 표현들의 행을 추가하는 것과,
    그 결과에 상기 선형 필터를 적용하는 것을 포함하는
    시스템.
  11. 제 10 항에 있어서,
    상기 선형 필터는 식
    Figure pct00012

    에 의해 정의된 마스크를 이용하는
    시스템.
  12. 제 9 항에 있어서,
    상기 라플라시안 피라미드 재구성을 수행하는 것은,
    가장 작은 차이 이미지를 확장하는 것과,
    상기 가장 작은 차이 이미지의 확장의 결과를 다음의 가장 큰 차이 이미지에 추가하여 합을 생성하는 것과,
    반복적으로 상기 합을 확장하고, 상기 확장된 합을 다음의 가장 큰 차이 이미지에 추가하여 다음 합을 생성하여, 궁극적으로 최종 합을 생성하는 것과,
    상기 최종 합을 상기 블렌딩된 이미지로서 이용하는 것을 포함하는
    시스템.
  13. 제 8 항에 있어서,
    상기 복합 라플라시안 피라미드를 구성하는 것은,
    상기 복합 라플라시안 피라미드에 정의되는 각 픽셀에 대해,
    이미지를 나타내는 각 라플라시안 피라미드에서 상응하는 픽셀을 조사하는 것과,
    상기 상응하는 픽셀의 세트로부터 최대 절대값을 갖는 픽셀을 선택하는 것과,
    상기 복합 라플라시안 피라미드 내에 정의될 픽셀로서 상기 선택된 픽셀을 이용하는 것을 포함하는
    시스템.
  14. 내부에 컴퓨터 프로그램 로직을 저장한 비일시적 컴퓨터 판독 가능한 매체를 포함하는 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 로직은,
    동일한 장면의 복수의 이미지를 프로세서가 정렬하도록 하는 로직 - 상이한 이미지들은 초점이 맞는 상이한 물체들을 가짐 - 과,
    프로세서가 정렬된 상기 이미지를 블렌딩하도록 하는 로직을 포함하되,
    상기 블렌딩하는 것은,
    각 이미지에 대해 적절한 컬러 구성 요소 표현으로 상기 이미지의 컬러 구성 요소의 각각에 대한 이미지를 나타내는 라플라시안 피라미드를 구성하는 것과,
    상기 복수의 이미지 각각에 상응하는 상기 복수의 라플라시안 피라미드에 기초하여 복합 라플라시안 피라미드를 구성하는 것과,
    각각의 이미지에서 초점이 맞춰진 상기 상이한 물체들이 초점이 맞춰진 것으로 보이는 블렌딩된 이미지를 생성하도록, 상기 복합 라플라시안 피라미드 상에 라플라시안 피라미드 재구성을 수행하는 것을 포함하는
    컴퓨터 프로그램 제품.
  15. 제 14 항에 있어서,
    상기 이미지를 나타내는 라플라시안 피라미드를 구성하는 것은,
    반복적으로 상기 이미지를 축소하고, 각 축소로부터 축소된 이미지를 저장하여, 일련의 축소된 이미지를 생성하는 것과,
    각각의 축소된 이미지를 확장하여, 일련의 확장된 이미지를 생성하는 것과,
    상기 확장된 이미지를 생성하기 위해 이용되는 상기 축소된 이미지를 생성한 상기 축소에 입력으로서 제공된 이미지로부터 각 확장된 이미지를 차감하여 차이 이미지의 세트를 생성하는 것과,
    상기 이미지를 나타내는 라플라시안 피라미드를 생성하도록 상기 차이 이미지를 이용하는 것을 포함하는
    컴퓨터 프로그램 제품.
  16. 제 15 항에 있어서,
    상기 이미지를 축소하는 것은,
    선형 필터를 상기 이미지에 적용하는 것과,
    필터링된 이미지로부터 격행의 픽셀을 폐기하는 것과,
    상기 필터링된 이미지의 잔여 행에 대해 하나 걸러 마다의 픽셀을 폐기하는 것을 포함하는
    컴퓨터 프로그램 제품.
  17. 제 16 항에 있어서,
    상기 이미지를 확장하는 것은,
    각 행에서, 상기 행의 픽셀들이 전부 0인 픽셀 표현들과 교번하도록 상기 행의 픽셀들 사이에 전부 0인 픽셀 표현들을 끼워넣는 것과,
    상기 이미지의 격행이 전부 0인 픽셀 표현들의 행이 되도록 상기 이미지의 행들 사이에 전부 0인 픽셀 표현들의 행을 추가하는 것과,
    그 결과에 상기 선형 필터를 적용하는 것을 포함하는
    컴퓨터 프로그램 제품.
  18. 제 17 항에 있어서,
    상기 선형 필터는 식

    에 의해 정의된 마스크를 이용하는
    컴퓨터 프로그램 제품.
  19. 제 15 항에 있어서,
    상기 라플라시안 피라미드 재구성을 수행하는 것은
    가장 작은 차이 이미지를 확장하는 것과,
    상기 가장 작은 차이 이미지의 확장의 결과를 다음의 가장 큰 차이 이미지에 추가하여 합을 생성하는 것과,
    반복적으로 상기 합을 확장하고, 확장된 합을 다음의 가장 큰 차이 이미지에 추가하여 다음 합을 생성하여, 궁극적으로 최종 합을 생성하는 것과,
    상기 최종 합을 상기 블렌딩된 이미지로서 이용하는 것을 포함하는
    컴퓨터 프로그램 제품.
  20. 제 14 항에 있어서,
    상기 복합 라플라시안 피라미드를 구성하는 것은,
    상기 복합 라플라시안 피라미드에 정의되는 각 픽셀에 대해,
    이미지를 나타내는 각 라플라시안 피라미드에서 상응하는 픽셀을 조사하는 것과,
    상기 상응하는 픽셀의 세트에서 최대 절대값을 갖는 픽셀을 선택하는 것과,
    상기 복합 라플라시안 피라미드 내에 정의될 픽셀로서 상기 선택된 픽셀을 이용하는 것을 포함하는
    컴퓨터 프로그램 제품.
KR1020137007231A 2010-09-23 2011-09-23 휴대용 카메라로 획득된 복수의 이미지로부터 모든 초점이 맞는 이미징을 수행하기 위한 시스템 및 방법 KR20130055664A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/888,684 US20120076403A1 (en) 2010-09-23 2010-09-23 System and method for all-in-focus imaging from multiple images acquired with hand-held camera
US12/888,684 2010-09-23
PCT/US2011/053018 WO2012040594A2 (en) 2010-09-23 2011-09-23 System and method for all-in-focus imaging from multiple images acquired with hand-held camera

Publications (1)

Publication Number Publication Date
KR20130055664A true KR20130055664A (ko) 2013-05-28

Family

ID=45870721

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137007231A KR20130055664A (ko) 2010-09-23 2011-09-23 휴대용 카메라로 획득된 복수의 이미지로부터 모든 초점이 맞는 이미징을 수행하기 위한 시스템 및 방법

Country Status (7)

Country Link
US (1) US20120076403A1 (ko)
EP (1) EP2619726A2 (ko)
JP (1) JP2013542495A (ko)
KR (1) KR20130055664A (ko)
CN (1) CN103109304A (ko)
TW (1) TW201227599A (ko)
WO (1) WO2012040594A2 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10674135B2 (en) 2012-10-17 2020-06-02 DotProduct LLC Handheld portable optical scanner and method of using
US9332243B2 (en) 2012-10-17 2016-05-03 DotProduct LLC Handheld portable optical scanner and method of using
CN105453559B (zh) * 2013-04-16 2017-12-29 点积公司 手持式便携光学扫描器及其使用方法
US9712720B2 (en) * 2014-06-02 2017-07-18 Intel Corporation Image refocusing for camera arrays
US10839487B2 (en) * 2015-09-17 2020-11-17 Michael Edwin Stewart Methods and apparatus for enhancing optical images and parametric databases
US10078888B2 (en) 2016-01-15 2018-09-18 Fluke Corporation Through-focus image combination

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325449A (en) * 1992-05-15 1994-06-28 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor
DE69434657T2 (de) * 1993-06-04 2007-02-15 Sarnoff Corp. System und Verfahren zur elektronischen Bildstabilisierung
US6173087B1 (en) * 1996-11-13 2001-01-09 Sarnoff Corporation Multi-view image registration with application to mosaicing and lens distortion correction
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
US6271847B1 (en) * 1998-09-25 2001-08-07 Microsoft Corporation Inverse texture mapping using weighted pyramid blending and view-dependent weight maps
US6469710B1 (en) * 1998-09-25 2002-10-22 Microsoft Corporation Inverse texture mapping using weighted pyramid blending
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
JP4955616B2 (ja) * 2008-06-27 2012-06-20 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US8509565B2 (en) * 2008-12-15 2013-08-13 National Tsing Hua University Optimal multi-resolution blending of confocal microscope images
US20100194851A1 (en) * 2009-02-03 2010-08-05 Aricent Inc. Panorama image stitching

Also Published As

Publication number Publication date
US20120076403A1 (en) 2012-03-29
CN103109304A (zh) 2013-05-15
JP2013542495A (ja) 2013-11-21
WO2012040594A3 (en) 2012-05-10
EP2619726A2 (en) 2013-07-31
WO2012040594A2 (en) 2012-03-29
TW201227599A (en) 2012-07-01

Similar Documents

Publication Publication Date Title
Zhang et al. Designing a practical degradation model for deep blind image super-resolution
Faramarzi et al. Unified blind method for multi-image super-resolution and single/multi-image blur deconvolution
Kiku et al. Beyond color difference: Residual interpolation for color image demosaicking
JP5294343B2 (ja) 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
KR20130055664A (ko) 휴대용 카메라로 획득된 복수의 이미지로부터 모든 초점이 맞는 이미징을 수행하기 위한 시스템 및 방법
EP3028220A1 (en) Multiple phase method for image deconvolution
Sroubek et al. Decomposition of space-variant blur in image deconvolution
Gunturk et al. High-resolution image reconstruction from multiple differently exposed images
CN102473294B (zh) 摄像装置、图像处理装置和图像处理方法
Dudhane et al. Burstormer: Burst image restoration and enhancement transformer
US20180089809A1 (en) Image deblurring with a multiple section, regularization term
CN108122218A (zh) 基于颜色空间的图像融合方法与装置
Tseng et al. Depth image super-resolution via multi-frame registration and deep learning
Vandewalle et al. Joint demosaicing and super-resolution imaging from a set of unregistered aliased images
CN110852947B (zh) 一种基于边缘锐化的红外图像超分辨方法
Faramarzi et al. Super resolution results in PANOPTES, an adaptive multi-aperture folded architecture
TW201426634A (zh) 利用一種基於來自其他影像之資訊的函數之泛函之目標影像產生
Azgin et al. A high performance alternating projections image demosaicing hardware
McCrackin et al. Strategic image denoising using a support vector machine with seam energy and saliency features
ul Haq et al. Geometric super-resolution using negative rect mask
Michael et al. Example based demosaicing
Ahn et al. Occlusion-aware video deblurring with a new layered blur model
Briand Low memory image reconstruction algorithm from RAW images
Mosleh et al. Towards Low-Cost Learning-based Camera ISP via Unrolled Optimization
Remez et al. FPGA system for real-time computational extended depth of field imaging using phase aperture coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application