KR20080072647A - 복수 개의 이미지 프레임들을 기초로 하여 결합 이미지를형성하기 위한 방법 - Google Patents

복수 개의 이미지 프레임들을 기초로 하여 결합 이미지를형성하기 위한 방법 Download PDF

Info

Publication number
KR20080072647A
KR20080072647A KR1020087011110A KR20087011110A KR20080072647A KR 20080072647 A KR20080072647 A KR 20080072647A KR 1020087011110 A KR1020087011110 A KR 1020087011110A KR 20087011110 A KR20087011110 A KR 20087011110A KR 20080072647 A KR20080072647 A KR 20080072647A
Authority
KR
South Korea
Prior art keywords
intensity values
arrays
sequence
intensity
array
Prior art date
Application number
KR1020087011110A
Other languages
English (en)
Other versions
KR101348262B1 (ko
Inventor
앤드류 어거스틴 바이스
Original Assignee
액티브 옵틱스 피티와이 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 액티브 옵틱스 피티와이 리미티드 filed Critical 액티브 옵틱스 피티와이 리미티드
Publication of KR20080072647A publication Critical patent/KR20080072647A/ko
Application granted granted Critical
Publication of KR101348262B1 publication Critical patent/KR101348262B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

복수 개의 이미지 프레임들을 기초로 하여 결합 이미지를 형성하는 방법은, 실질적으로 동일한 화면을 묘사하는 이미지 프레임들의 시퀀스의 각 이미지 프레임들을 표현하기 위한 강도 값들의 어레이들의 시퀀스(22,33)를 얻는 단계를 포함한다. 상기 결합 이미지는 강도 값들의 최종 어레이(27;28)에 의해 표현된다. 상기 최종 어레이(27;28)에서의 강도 값들의 적어도 일부는, 상기 얻어진 시퀀스(22;33)에서의 어레이들의 각 어레이들에 기초하는 강도 값들의 어레이들의 시퀀스의 각각으로부터의 강도 값을 합산함으로써, 각각이 얻어진다. 상기 최종 어레이(27;28)에서의 적어도 하나의 영역의 어느 영역에 대해서, 각 셋트가 상기 영역을 표현하며 강도 값들의 선택된 복수 개의 상기 얻어진 어레이들 중 하나의 일부를 형성하는, 적어도 하나의 강도 값의 셋트들의 시퀀스의 어느 셋트가, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정의 측정값 이상으로 벗어난 강도 값들을 포함하는 경우, 상기 최종 어레이(27;28)에서의 그 영역을 표현하는 강도 값들은, (A) 벗어난 강도 값들을 가지는 셋트를 포함하는 선택된 복수 개의 어레이들의 어레이들만의 각 어레이들에 기초하는 하나 또는 그 이상의 어레이의 각각으로부터의 각 강도 값으로부터, 또는 (B) 강도 값들의 다른 셋트들의 하나를 포함하는 선택된 복수 개의 어레이들의 어레이들만의 각 어레이들에 기초하는 적어도 하나는 어레이의 각각으로부터의 각 강도 값으로부터, 각각 도출된다.
이미지 형성, 이미징 장치, 강도 값, 어레이, 시퀀스,

Description

복수 개의 이미지 프레임들을 기초로 하여 결합 이미지를 형성하기 위한 방법{METHOD OF FORMING A COMBINED IMAGE BASED ON A PLURALITY OF IMAGE FRAMES}
본 발명은, 복수 개의 이미지 프레임들을 기초로 하여 결합 이미지를 형성하기 위한 방법으로서, 실질적으로 동일한 화면을 묘사하는 이미지 프레임들의 시퀀스의 각 프레임들을 표현하기 위한 강도 값들의 어레이들의 시퀀스를 얻는 단계를 포함하는, 결합 이미지를 형성하기 위한 방법에 관한 것으로,
여기서 상기 결합 이미지는 강도 값들의 최종 어레이에 의해 표현되며,
상기 최종 어레이에서의 강도 값들의 적어도 일부는, 얻어진 시퀀스에서의 어레이들의 각 어레이들에 기초로 하는 강도 값들의 어레이들의 시퀀스의 각각으로부터의 강도 값을 합산함으로써, 각각 얻어진다.
본 발명은 또한, 강도 값들의 어레이들의 시퀀스를 처리하기 위한 시스템에 관한 것으로, 여기서 각 어레이는 실질적으로 동일한 화면을 묘사하는 이미지 프레임들의 시퀀스의 하나를 표현하기에 적합하며, 상기 시스템은 결합 이미지를 표현하는 강도 값들의 최종 어레이를 형성하도록 구성되며, 상기 시스템은, 얻어진 시퀀스에서의 어레이들의 각 어레이들에 기초로 하는 강도 값들의 어레이들의 시퀀스의 각각으로부터의 강도 값을 합산함으로써, 최종 어레이에서의 강도 값들의 적어도 일부를 얻도록 구성된다.
본 발명은 또한 이미징 장치, 예를 들어, 디지털 카메라에 관한 것이다.
본 발명은 또한 컴퓨터 프로그램에 관한 것이다.
그러한 방법, 시스템, 및 컴퓨터 프로그램의 각 예들은, US 2005/0030315에서 알려져 있다. 이미지 스택(image stack)은 알려진 시스템으로 입력된다. 이미지 스택은, 어떠한 정지형 스틸 또는 비디오 카메라로부터 생길 수 있는 동일하게 치수화된 레지스터된 이미지들(예를 들어, 각 이미지의 동일한 픽셀은 다소 동일한 것을 표현한다)의 일 셋트이다. 3D 픽셀 셋트에서, 법선 X 및 Y 차원들(normal X and Y dimensions)은 단일 이미지의 좌표를 정의한다. Z(또는 시간) 차원은 스택에서의 어느 이미지(또는 비디오에서의 시간상 어느 포인트)인지를 정의한다. 사용자는, 중간 이미지들이라 불리어지는 하나 또는 그 이상의 새로운 이미지들을 생성하기 위해, 이미지 스택들에 하나 또는 그 이상의 필터들을 적용한다. 이 후, 사용자는, 소스 이미지, 즉, 그것으로부터 픽셀들이 새로운 결과 이미지로 합성되거나 묘사될 수 있는, 소스 이미지로서 작용하기 위한 원래 이미지들 중 하나 또는 중간 이미지를 선택할 있다. 템포럴 스무스 필터(Temporal Smooth filter)는, 현재의 슬라이스 이전 및 이후의 현재 슬라이스 및 슬라이스들의 가중치를 부여받은 혼합(blend)을 전달한다. 미디언 필터(Median filter)는, 단지 하나 또는 다수의 이미지들에서 발견된 대상들을 제거하고, 비디오에서 이미지를 가로질러 움직이는 무언가와 같은 일시적인 이벤트들을 제거하고, 그리고, 일시적인 잡음을 제거하는데, 유용하다. 맥시멈 히스토그램 필터(Maximum Histogram filter)는, 스팬(span)에서 의 다른 픽셀들과 가장 유사한 대응하는 스팬에서의 픽셀을 전달한다. 이 필터는 단지 하나 또는 다수 이미지들에서 발견된 대상들을 제거하는데 또한 유용하다.
맥시멈 히스토그램 필터와 미디언 필터의 문제점은, 그들이 스팬에서부터 단지 단일 픽셀값을 전달한다는 것으로, 이것은, 다소간의 잡음이 여전히 유지된다는 것을 의미한다. 미디언 또는 맥시멈 히스토그램 필터들의 결과에 탬포럴 스무스 필터를 적용하는 것은, 그들이 단지 단일 이미지만을 초래하므로, 불가능하다.
본 발명의 목적은, 화면에서의 움직이는 대상에 대한 수정된 외형(appearance)과 함께 상대적으로 양호한 신호-대-잡음 비(Signal to Noise Ratio:SNR)로 결합 이미지의 형성을 허용하는, 위에서 언급된 유형의 방법, 시스템, 이미징 장치 및 컴퓨터 프로그램을 제공하는 것이다.
이 목적은, 본 발명에 따른 방법에 의해 달성되는데, 상기 방법은, 상기 최종 어레이에서의 적어도 하나의 영역의 어느 영역에 대해서, 각 셋트가 상기 영역을 표현하며 강도 값들의 선택된 복수 개의 상기 얻어진 어레이들 중 하나의 일부를 형성하는, 적어도 하나의 강도 값의 셋트들의 시퀀스의 어느 셋트가, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정의 측정값 이상으로 벗어난 강도 값들을 포함하는 경우, 상기 최종 어레이에서의 그 영역을 표현하는 강도 값들이,
(A) 벗어난 강도 값들을 가지는 셋트를 포함하는 선택된 복수 개의 어레이들의 어레이들만의 각 어레이들에 기초하는 적어도 하나의 어레이의 각각으로부터의 각 강도 값으로부터, 또는
(B) 강도 값들의 다른 셋트들의 하나를 포함하는 선택된 복수 개의 어레이들의 어레이들만의 각 어레이들에 기초하는 적어도 하나는 어레이의 각각으로부터의 각 강도 값으로부터, 각각 도출되는 것을 특징으로 한다.
상기 영역은 단일 강도 값에 의해 표현되는, 단지 하나의 픽셀을 포함할 수 있다.
상기 최종 어레이에서의 강도 값들의 적어도 일부는, 시퀀스에서의 어레이들의 각 어레이들에 기초하는 강도 값들의 어레이들의 시퀀스의 각각으로부터의 강도 값을 합산함으로써, 각각이 얻어지므로, 신호-대-잡음비는, 적어도 이 강도 값들에 의해 표현된 최종 이미지의 그 일부들에 대해서는, 증가된다. 소정의 측정값 이상으로 강도 값들의 편차가, 강도 값들의 셋트들을 2개의 그룹들로 분리하기 위한 기준으로서 사용되고, 상기 최종 어레이에서의 그 영역의 대응하는 표현이 두 그룹들 중 하나로부터의 강도 값들에만 기초로 하므로, 잡음으로 인한 벗어난 값들은 화면의 움직이는 부분들에 대하여 혼동되지 않는 것을 보증하는 것이 가능하다. 최종 어레이에서의 고려중인 영역을 표현하는 강도 값들이, 벗어난 강도 값들을 가지는 셋트를 포함하는 얻어진 어레이에만 기초하는 적어도 하나의 어레이의 각각으로부터의 각 강도 값으로부터만 도출되는 변형 예(A)에서, 상기 영역의 외형의 수정은, 움직이는 부분이 더 명료하게 가시적이라는 의미에서 달성된다. 배경과 대응하는 강도 값들은 버려진다. 최종 어레이에서의 고려중인 영역을 표현하는 강도 값들이, 강도 값들의 다른 셋트들의 하나를 포함하는 얻어진 어레이에만 기초로 하는 적어도 하나의 어레이의 각각으로부터의 각 강도 값으로부터, 각각 도출되는 변형 예(B)에서, 움직이는 대상은 결합이미지로부터 필터링된다.
선행기술과 비교한 추가적인 이점은, 상기 방법이, 부족하게 노출되거나 잡음이 있는 이미지 프레임들에 기초하여 수행될 수 있다는 것이다. 이것은, 최종 어레이에서의 강도 값들의 적어도 일부가, 이미지 프레임들을 표현하는 각 어레이들에 기초한 강도 값들의 어레이들의 시퀀스의 각각으로부터의 강도 값을 합산함으로써, 각각이 얻어지기 때문이다.
일 실시예에서, 강도 값들의 어레이들의 시퀀스를 얻는 상기 단계는,
이미지 캡쳐링 장치의 광감성 표면을 노출의 시작점에서부터 연관된 노출시기에 걸쳐서 노출함으로써 각각이 얻어질 수 있는, 강도 값들의 어레이들의 시퀀스를 얻는 단계로서, 그로 인해 시간의 정의된 간격은, 강도 값들의 어레이를 얻기 위한 노출의 시작점과, 시퀀스에서의 그 어레이를 바로 앞서는 강도 값들의 어레이와 연관된 노출시기의 끝점과, 의 사이에 수립되는, 시퀀스 얻는 단계를 포함한다.
상기 최종 어레이에서의 적어도 하나의 영역의 어느 영역에 대하여, 각 얻어진 이미지 프레임들에서의 영역을 표현하는 적어도 하나의 강도 값의 셋트들의 시퀀스의 어느 셋트가, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정의 측정값 이상으로 벗어난 강도 값을 포함하는 경우, 최종 어레이에서의 그 영역을 표현하는 강도 값들은, (A) 벗어난 강도 값들을 가지는 셋트를 포함하는 그 얻어진 어레이들만의 각 어레이들에 기초하는 하나 또는 그 이상의 어레이들의 각각으로부터의 각 강도 값으로부터, 각각이 도출되는 경우이다. 그 결과, 스크로보스코픽(stroboscopic) 결합 이미지를 생성하는 것이다. 움직이는 대상의 선명한 이미지들의 시퀀스가, 단일 결합 이미지로 캡쳐된다. 강도 값들의 다른 셋트들을 포함하는 어레이들이, 움직이는 대상을 보여주는 영역들에서의 강도 값들을 도출하는데 이용되지 않는다는 사실로 인해, 움직이는 대상은 더 명료하게 표현된다.
상기 최종 어레이에서의 적어도 하나의 영역의 어느 영역에 대하여, 각 얻어진 이미지 프레임들에서의 영역을 표현하는 적어도 하나의 강도 값의 셋트들의 시퀀스의 어느 셋트가, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정의 측정값 이상으로 벗어난 강도 값을 포함하는 경우, 최종 어레이에서의 그 영역을 표현하는 강도 값들은, (B) 강도 값들의 다른 셋트들 중 하나를 포함하는 선택된 복수 개의 어레이들의 어레이들만에 기초하는 하나 또는 그 이상의 어레이들의 각각으로부터의 각 강도 값으로부터, 각각이 도출되는 경우, 움직이는 대상들은 제거된다. 시간의 정의된 간격이, 강도 값들의 어레이를 얻기 위한 노출의 시작점과 시퀀스에서의 그 어레이를 바로 앞서는 강도 값들의 어레이와 연관된 노출 시기의 끝점과의 사이에 수립된다는 것을 보증하는 것은, 긴 전체 시간 간격에 걸쳐서 캡쳐된 강도 값들의 어레이들의 시퀀스가, 결합 이미지를 위한 기초로서 역할을 수행한다는 효과를 가진다. 이것은, 이미지 프레임들의 일부에서 움직이는 대상에 의해 가려진 배경을 표현하는 충분한 수의 이미지 프레임들이 있다는 것을 보증한다.
일 실시예에서, 강도 값들의 어레이들의 시퀀스를 얻는 상기 단계는,
강도 값들의 어레이들의 제 1 시퀀스를 얻는 단계로서, 각 어레이는 이미지 캡쳐링 장치의 광감성 표면을 노출의 시작점에서부터 연관된 노출시기에 걸쳐서 노출함으로써 얻어질 수 있는, 제 1 시퀀스를 얻는 단계, 스트로보(strobe) 레벨의 표시를 얻는 단계, 및,
상기 표시된 스트로보 레벨에 따라서, 어레이들의 제 1 시퀀스의 어레이들의 수를 감소시킴으로서, 강도 값들의 어레이들의 제 2 시퀀스를 형성하는 단계, 를 포함한다.
효과는, 스트로보스코픽 효과가, 강도 값들의 캡쳐된 어레이들의 시퀀스 또는 강도 값들의 캡쳐된 어레이들의 시퀀스의 각 어레이들로부터 도출된 강도 값들의 어레이들의 시퀀스의 후처리 동안 제공될 수 있다는 것이다. 게다가, 스트로보스코픽 효과는, 스트로보 레벨의 표시에 의해 조정가능하다.
일 실시예에서, 상기 최종 어레이에서의 적어도 하나의 영역의 어느 영역에 대하여, 각 셋트가 상기 영역을 표현하고 강도 값들의 상기 얻어진 어레이들 중 하나의 일부를 형성하는, 적어도 하나의 강도 값의 셋트들의 시퀀스의 어느 셋트가, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정의 측정값 이상으로 벗어난 강도 값들을 포함하는 경우, 상기 최종 어레이에서의 그 영역을 표현하는 강도 값들은, 어레이들의 선택된 복수 개의 상기 얻어진 어레이들에 기초한 강도 값들의 합에, 상기 시퀀스에서의 셋트들의 수의 상기 최종 어레이에서의 그 영역을 표현하는 강도 값들이 도출되는 셋트들의 수에 대한 비율에 비례적인 팩터로, 가중치를 부여하는 것에 의해, 각각이 도출된다.
따라서, 최종 어레이에서의 그 영역들에 대하여, 각 얻어진 이미지 프레임들에서의 영역을 표현하는 적어도 하나의 강도값의 셋트들의 시퀀스의 어떠한 것도 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정의 측정값 이상으로 벗어난 강도 값들을 포함하지 않는 경우, 최종 어레이에서의 그 영역을 표현하는 강도 값들은, 얻어진 어레이들의 수에 대응하는 수 만큼의 강도 값들을 합산하는 것에 의해 도출될 수 있다는 것이 보증된다. 각 얻어진 이미지 프레임들에서의 영역을 표현하는 적어도 하나의 강도 값의 셋트들의 시퀀스의 어느 한 셋트가 나머지 값으로부터 벗어나는 강도 값들을 포함하는, 결합 이미지의 영역들은, 더 작은 수의 강도 값들에 기초하여 얻어진다. 가중치를 부여하는 것은, 그들이 결합 이미지의 나머지보다 실질적으로 약하지 않다는 것을 보증한다.
일 실시예에서, 강도 값들의 어레이들의 시퀀스를 얻는 상기 단계는,
실질적으로 동일한 화면을 묘사하는 각 이미지 프레임들을 표현하기 위한 강도 값들의 어레이들의 제 1 시퀀스를 얻는 단계,
상기 묘사된 화면의 적어도 일부를 선택하는 단계,
상기 화면을 묘사하는 이미지 프레임들에서의 상기 일부의 상대적인 움직임을 나타내는 움직임 벡터를 계산하는 단계, 및
적어도 상기 선택된 일부가 상기 계산된 움직임 벡터에 따라서 정렬되는 각 이미지 프레임들을 표현하기 위한 강도 값들의 어레이들의 제 2 시퀀스를 형성하는 단계,를 포함한다.
이 실시예는, 화면에서의 선택된 부분을 가로질러 움직이는 대상들을 더 정확하게 식별하는 역할을 수행한다. 연속적인 이미지 프레임들 사이에 관찰자에 상대적인 화면의 선택된 부분의 움직임의 효과는, 적어도 선택된 부분을 정렬함으로써, 제거된다. 벗어난 강도 값들의 후속 검출은 이후 더 정확해진다.
일 실시예에서, 상기 최종 어레이에서의 적어도 하나의 영역의 어느 영역에 대하여, 각 셋트가 상기 영역을 표현하고 강도 값들의 선택된 복수 개의 상기 얻어진 어레이들 중 하나의 일부를 형성하는, 적어도 하나의 강도 값의 셋트들의 시퀀스의 어떠한 셋트도, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정 측정값 이상으로 벗어난 강도 값들을 포함하지 않는 경우, 상기 최종 어레이에서의 그 영역을 표현하는 강도 값들은, 상기 얻어진 시퀀스에서의 어레이들의 각 어레이들에 기초하는 강도 값들의 어레이들의 시퀀스의 각각으로부터의 강도 값을 합산함으로써, 각각이 얻어진다.
강도 값들의 합산은, 특히, 강도 값들의 어레이들이 이미지 캡쳐링 장치에 의해 생성된 신호값들을 독출함으로써 얻어진 값들에 기초하는 경우에, 신호-대-잡음비를 증가시키는 효과를 가진다. 상기 최종 어레이에서의 적어도 하나의 영역의 어느 영역에 대하여, 각 얻어진 이미지 프레임들에서의 영역을 표현하는 적어도 하나의 강도 값의 셋트의 시퀀스의 어떠한 셋트도, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정 측정값 이상으로 벗어난 강도 값들을 포함하지 않는 경우, 얻어진 시퀀스에서의 어레이들의 각 어레이들에 기초하는 강도 값들의 어레이들의 시퀀스의 각각으로부터의 강도 값을 합산하는 것은, 가능한 한 최종 어레이에서의 많은 강도 값들이, 합산에 의해 형성되는 효과를 가진다. 따라서, 결합 이미지의 전체 신호-대-잡음비는, 가능한 가장 큰 정도로 향상된다.
일 실시예에서, 상기 최종 어레이에서의 적어도 하나의 영역의 어느 영역에 대하여, 각 셋트가 상기 영역을 표현하고 강도 값들의 선택된 복수 개의 상기 얻어진 어레이들 중 하나의 일부를 형성하는, 적어도 하나의 강도 값의 셋트들의 시퀀스의 어느 셋트가, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정 측정값 이상으로 벗어난 강도 값들을 포함하고, 그리고, 다른 셋트들이 복수의 셋트들을 포함하는 경우, 상기 최종 어레이에서의 그 영역을 표현하는 강도 값들은, 다른 셋트들 중 하나를 포함하는 얻어진 어레이에 각각 기초하는 강도 값들의 복수 개의 어레이들의 각각으로부터의 강도 값을 합산함으로써, 각각이 얻어지는데, 여기서 바람직하게는, 강도 값들의 복수 개의 어레이들의 수는, 다른 셋트들의 수에 대응한다.
이 실시예는, 이미지의 일부들이 움직이는 경우에도, 신호-대-잡음비를 증가시키는 결과를 가진다. 움직이는 부분들은 제거되고, 배경은 상대적으로 높은 신호-대-잡음비로 결합 이미지에 포함된다.
일 실시예에서, 강도 값들의 어레이들의 시퀀스를 얻는 상기 단계는, 어레이에서의 강도 값들의 수에 대응하는 제 1 해상도로 화면을 묘사하는 이미지 프레임을 표현하기 위한 강도 값들의 적어도 하나의 어레이를 얻는 단계와, 어레이에서의 강도 값들의 수에 대응하며 상기 제 1 해상도보다 낮은 해상도들로 실질적으로 동일한 화면을 묘사하는 각 이미지 프레임들을 표현하기 위한 강도 값들의 어레이들의 추가적인 그룹을 얻는 단계, 를 포함하며, 여기서, 상기 선택된 복수 개의 상기 얻어진 어레이들은 상기 추가적인 그룹으로부터 선택된다.
효과는, 움직이는 대상들의 외형의 검출 및 수정이, 적은 강도 값들을 포함하는 어레이들을 이용하여 수행된다는 것이다. 이것은, 결합 이미지를 형성하는데 필요한 처리의 양을 감소시킨다. 고해상도 이미지 정보가, 상기 최종 어레이에서의 강도 값들의 적어도 일부는, 얻어진 시퀀스에서의 어레이들의 각 어레이들에 기초하는 강도 값들의 어레이들의 시퀀스의 각각으로부터의 강도 값을 합산함으로써, 각각 얻어진다는 사실로 인해, 결합 이미지를 표현하는 최종 어레이로 통합되며, 상기 얻어진 시퀀스는, 제 1의, 상대적으로 높은 해상도로 이미지 프레임을 표현하는 적어도 하나의 어레이를 포함한다.
이 실시예의 변형 예에서, 상기 추가적인 그룹에서의 강도 값들의 어레이들 중 적어도 하나는, 강도 신호들의 수에 대응하는 해상도로 이미지 프레임을 표현하기 위한 다수의 강도 신호들을 얻고, 어레이에서의 강도 값들이 얻어진 강도 신호들의 각 합들에 기초하는 방식으로 강도 값들의 어레이를 형성함으로써, 얻어진다.
효과는, 움직이는 대상이 표현되거나, 그것이 제거되는 결합 이미지의 그 부분들의 신호-대-잡음비를 증가시키는 것이다. 이것은, 합산, 또는, 일 수행에서 "저장하기(binning)"로 알려진 것이, 저해상도 이미지 프레임들의 표현들의 신호-대-잡음비를 증가시키기 때문에, 그 경우에 해당된다.
실시예의 다른 변형 예에서, 상기 최종 어레이에서의 적어도 하나의 영역의 어느 영역에 대하여, 각 셋트가 그 영역을 표현하고, 강도 값들의 어레이들의 선택된 복수 개의 상기 추가적인 그룹의 하나의 일부를 형성하는, 적어도 하나의 강도 값의 셋트들의 시퀀스의 어느 셋트도, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정 측정값 이상 벗어난 강도 값들을 포함하지 않는 경우, 상기 최종 어레이에서의 그 영역을 표현하는 강도 값들의 적어도 일부를 얻는 단계는, 상기 제 1 해상도로 이미지 프레임을 표현하기 위한 강도 값들의 얻어진 어레이들의 각 어레이에 기초하는 강도 값들의 적어도 하나의 어레이의 각각으로부터의 강도 값과, 강도 값들의 얻어진 어레이들의 각 어레이에 기초한 강도 값들의 적어도 하나의 어레이로부터의 강도값, 을 합산하는 단계를 포함한다.
따라서, 움직이는 대상들의 검출이, 저해상도 이미지 프레임들을 표현하는 어레이들에서 수행된다 하더라도, 결합 이미지의 적어도 배경은, 또한 고해상도 이미지 프레임들을 표현하는 어레이들에 기초하여 형성된다.
다른 측면에 따르면, 본 발명에 따른 강도 값들의 어레이들의 시퀀스를 처리하기 위한 시스템은, 상기 최종 어레이에서의 적어도 하나의 영역의 어느 영역에 대해서, 각 셋트가 상기 영역을 표현하며 강도 값들의 선택된 복수 개의 상기 얻어진 어레이들 중 하나의 일부를 형성하는, 적어도 하나의 강도 값의 셋트들의 시퀀스의 어느 셋트가, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정의 측정값 이상으로 벗어난 강도 값들을 포함하는지를 결정하고, 그리고 그렇게 결정되면, 상기 최종 어레이에서의 그 영역을 표현하는 강도 값들의 각각을,
(A) 벗어난 값들을 가지는 것으로 결정된 셋트를 포함하는 선택된 복수 개의 어레이들의 어레이들만의 각 어레이들에 기초하는 적어도 하나의 어레이의 각각으로부터의 각 강도 값으로부터, 또는
(B) 강도 값들의 다른 셋트들 중 하나를 포함하는 선택된 복수 개의 어레이들의 어레이들만의 각 어레이들에 기초하는 적어도 하나의 어레이의 각각으로부터의 각 강도 값으로부터, 도출하도록 구성된다.
따라서, 상기 시스템은, 동일한 화면을 묘사하는 복수 개의 이미지 프레임들에 기초하여 결합 이미지를 제공하도록 구성되며, 화면을 가로질러 움직이는 대상이 묘사되는 경우, 그것은, 배경을 제거함으로써 향상되거나(A), 또는, 제거되어 배경을 더 명료하게 가시화한다(B). 전체 결합 이미지는, 상대적으로 적은 블러링(blurring)을 가지고 대상이 가로지르는 화면의 묘사 부분들뿐 아니라, 상대적으로 양호한 신호-대-잡음비를 가진다.
바람직하게는, 상기 시스템은 본 발명에 따른 방법을 수행하도록 구성된다.
시스템의 일 실시예는,
각 어레이가 이미지 캡쳐링 장치의 광감성 표면을 연관된 노출시기에 걸쳐서 노출함으로써 얻어질 수 있는, 강도 값들의 어레이들의 제 1 시퀀스를 얻고,
사용자로부터 스트로보 레벨의 표시를 얻고, 그리고,
상기 표시된 스트로보 레벨에 따라서, 어레이들의 제 1 시퀀스의 어레이들의 수를 감소시킴으로서, 강도 값들의 어레이들의 제 2 시퀀스를 형성함으로써, 강도 값들의 어레이들의 시퀀스를 얻도록 구성되며, 여기서 상기 시스템은, 스트로보 레벨의 표시를 얻기 위한 장치를 포함하는데, 상기 장치는, 스케일로 마크된 부분과 스케일 상의 포인트를 나타내기 위한 조정가능한 부재를 포함한다.
이 실시예는, 특히, 디지털 카메라와 같은 소비자 전자 장치에서의 실행에 적합하다. 이것은 결합 이미지를 형성하는데 이용된 노출들 간의 지연을 나타내기 위한 편리한 방법을 제공한다. 장치는, 그래픽 유저 인터페이스에서의 그래픽 부재로서 실행될 수 있다.
본 발명의 다른 측면에 따르면, 이미징 장치로서, 본 발명에 따른 시스템을 포함하는, 디지털 카메라인, 이미징 장치가 제공된다.
본 발명의 다른 측면에 따르면, 컴퓨터 프로그램으로서, 기계-판독가능한 매체에 통합되었을 때, 정보처리 능력들을 가지는 시스템이 본 발명에 따른 방법을 수행할 수 있도록 할 수 있는 지시들의 셋트를 포함하는, 컴퓨터 프로그램이 제공된다.
도 1은, 복수 개의 이미지 프레임들을 기초로 하여 결합 이미지를 제공하기 위한 시스템의 일 예로서 디지털 카메라를 개략적으로 도시한 도,
도 2는, 결합 이미지를 형성하기 위한 복수 개의 이미지 프레임들을 얻기 위한 제 1 방법을 도시한 도,
도 3은, 결합 이미지를 형성하기 위한 제 1 방법을 도시한 흐름도,
도 4 및 도 5는, 결합 이미지를 형성하기 위한 방법들에서 이용되는 기준의 적용을 도시한 도, 및
도 6은, 결합 이미지를 형성하기 위한 제 2 방법을 도시한 흐름도.
본 발명은 첨부된 도면들을 참조하여 지금부터 더 상세하게 설명될 것이다.
도 1은, 아래에서 설명된 방법들을 실행하기 위한 시스템을 포함하는 장치의 일예로서 디지털 카메라(1)의 구성요소들의 일부를 도시한다. 적절한 장치의 다른 예들은, 그러한 장치를 이용하여 얻어진 이미지 파일들을 처리하도록 프로그램화된 일반적인 목적의 컴퓨터뿐 아니라, 스캐너들 및 복사장치들을 포함한다. 설명은, 디지털 카메라(1)에서 결합 이미지를 형성하는 방법들의 적용에 대하여 중점적으로 이루어질 것이다.
상기 디지털 카메라(1)는, 결합 이미지에 의해 표현될 화면(scene)의 하나 또는 그 이상의 대상들에 포커스를 맞추기 위한 렌즈 시스템(2)을 포함한다. 셔터(3)가 개방되었을 때, 상기 화면은 조리개(diaphragm: 4)의 어퍼쳐(aperture)를 통해 이미지 캡쳐링 장치(5)의 감광영역(photosensitive area)에 투사된다. 상기 셔텨(3) 대신에, 상기 이미지 캡쳐링 장치(5)의 적절한 제어에 의해 실행되는 전자셔터가 사용될 수 있다. 셔터 시간은, 어퍼쳐의 직경처럼, 제어가능하다. 상기 이미지 캡쳐링 장치(5)는, 예를 들어, CMOS(Complementary Metal-Oxide Semiconductor), 또는 CCD(Charge Coupled Device) 센서 기술에서 실행되는 장치일 수 있다.
상기 이미지 캡쳐링 장치(5)의 감광영역은 픽셀 셀들에 의해 점유된 영역들로 분할된다. 각 픽셀 셀은, 픽셀 셀이 점유하는 영역이 노출되는 광의 강도를 나타내는 신호를 생성하기 위한 장치를 포함한다. 장치에 의해 생성된 신호의 적분(integral)은, 노출 동안, 예를 들어, 캐패시터 내의 광전류(photocurrent)의 축적에 의해 형성된다. 노출 시간 간격의 기간 동안의 노출에 이어서, 생성된 신호들의 적분들의 값들은 행 대 행으로(row by row) 독출된다.
독출된 (아날로그)값들은 아날로그-디지털 컨버터(A/D 컨버터: 6)로 제공된다. 상기 A/D 컨버터는, 상기 이미지 캡쳐링 장치(5)로부터 수신된 신호들을 샘플링하고 양자화한다(quantise). 이것은, 상기 A/D 컨버터(6)에 의한 출력으로서 제 공된 디지털 단어들의 해상도의 비트들의 수에 의해 결정되는 수만큼의, 이산적인 레벨들을 가지는 스케일로 강도 값들을 기록하는 것을 수반한다. 따라서, 상기 A/D 컨버터(6)는 제 1 범위를 점유하는 스케일로 기록된 강도 값들의 어레이를 출력으로서 제공한다. 각 강도 값은 이미지 프레임에서의 특정 픽셀 위치와 연관되어, 감광 셀 또는 복수 개의 인접한 감광 셀들에 대응한다. 후자의 경우에, 상기 이미지 캡쳐링 장치(5)로부터 독출된 값들은, 바람직하게는, 복수 개의 인접한 감광 셀들에 대응하는 값들을 "저장(binning)"함으로써, 얻어진다. "저장된" 값들과 대응하는 영역들은 중첩될 수 있다.
따라서, 상기 이미지 캡쳐링 장치(5)의 각 노출은, 이미지 프레임을 표현하는 강도 값들의 어레이를 가져온다. 아래에서 더 상세하게 설명되듯이, 하나 또는 그 이상의 어레이들의 강도 값들은 디지털 신호 처리기(digital signal processor(DSP): 7)에 의해 제 2 범위를 점유하는 상이한 스케일로 맵핑될 수 있다. 어떤 실시예들에서는, 상기 DSP(7)는, 픽셀 값들 간의 보간과, 선택적으로는, 이미지의 압축과 같은 동작들을 수행함에도 적절하다. 그것은 또한, 강도 값들을 이산 코사인 변환(Discrete Cosine Transform: DCT)과 같은 공간 주파수 도메인으로의 변환을 수행할 수 있다.
강도 값들의 어레이들은 저장장치(8)에 저장된다. 상기 저장장치는, 통상적인 어느 유형의 저장장치, 예를 들어, 내장 플래쉬 메모리, 교체가능한 플래쉬 메모리 모듈들, 광 디스크 드라이브 또는 자기 디스크 드라이브일 수 있다.
이미지들을 캡쳐링하고 처리하는 것은, 버스(10)로 명령들을 발행하는 마이 크로프로세서(9)의 제어하에, 수행된다. 상기 마이크로프로세서(9)는, 도시된 실시예에서 코-프로세서(11)에 의해 도움을 받는다. 상기 코-프로세서(11)는, 바람직하게는, 예를 들어, JPEG 표준에 따라, 이미지 압축을 수행하기 위한 디지털 신호 처리기이다. 상기 마이크로프로세서(9)는 휘발성 메모리를 포함하며, ROM(Read-Only Memory) 모듈(12)에 저장된 지시들에 대한 접근성을 가진다. 상기 지시들은, 복수 개의 캡쳐된 이미지 프레임들을 더함으로써 결합 이미지를 형성하는, 상기 마이크로프로세서(9)의 제어 하에 수행되는 방법을 수행할 수 있는 능력을 상기 디지털 카메라(1)에 제공한다.
상기 버스(10)에 연결된 다른 구성요소들은, 사용자 명령들을 수신하기 위한 입력 인터페이스 모듈(13)과, 상태정보로 대답하기 위한 출력 인터페이스 모듈(14), 을 포함한다. 도시된 실시예에서, 움직임 센서(15)가, 상기 디지털 카메라(1)의 움직임을 감지하고 측정하기 위해 존재한다. 다른 실시예들에서, 빠르게 연속하여 캡쳐된 일련의 이미지 프레임들은, 상기 디지털 카메라(1)의 움직임의 양 및/또는 방향을 결정하기 위해, 분석된다. 또한, 상기 디지털 카메라(1)는, 노출 미터링 장치(16)와 플래쉬(미도시)의 동작을 지시하기 위한 플래쉬 드라이버(17)를 포함한다.
사용 중에, 사용자는, 상기 입력 인터페이스 모듈(13)과 상기 버스(10)를 통해 상기 마이크로프로세서(9)로 통과되는, 화면의 단일 이미지를 형성하기 위한 명령을 발행한다. 응답으로, 상기 마이크로프로세서(9)는, 높은 ISO 셋팅을 가지는 복수 개의 비노출된 이미지 프레임들 또는 이미지 프레임들이 캡쳐되도록, 상기 디 지털 카메라(1)를 제어한다. 높은 ISO 셋팅은, 국제표준 ISO 5800:1987에 따라 선형적인 필름 속도 스케일을 따라 칼리브레이트된, 이미지 캡쳐링 장치(5)의 감도(sensitivity)가 높은 레벨로 설정된다는 것을 의미한다. 캡쳐된 이미지들은 적어도 부분적으로 중첩되는 각 화면들을 표현한다. 각 이미지 프레임, 특히, 이미지 프레임의 각 칼라 구성요소는, 픽셀 값들의 어레이에 의해 표현된다. 각 픽셀 값은 픽셀과 연관된 영역에 걸친 연관된 칼라 구성요소의 광 강도에 대응한다. 픽셀과 연관된 각 영역이, 일정한, 이미지 캡쳐링 장치(5)의 영역의 일부와 대응한다고 가정하면, 어레이에 포함된 강도 값들의 수는 이미지 프레임의 공간 해상도와 대응한다. 이것은 또한, 어레이에 더 많은 값들을 포함하는 것은 더 높은 순위의 계수들의 존재에 대응하므로, 강도 값들이 공간 주파수 도메인에서의 계수들인 경우이다.
개별적으로 노출이 부족한 이미지 프레임들의 시퀀스를 얻기 위해, 상기 마이크로프로세서(9)는, 이미지 프레임들을 기초로 형성될 최종 이미지를 위한 바람직한 노출을 결정한다. 이 노출은 이미지 프레임들에 걸쳐서 분할된다. 바람직한 노출은, 사용자 입력으로부터 결정될 있으며, 또는, 상기 노출 미터링 장치(16)로부터 얻어진 하나 또는 그 이상의 값들에 기초하여 자동적으로 결정될 수 있다. 이미지 프레임들의 각각에 대한 노출 레벨들은, 조리개(4), 셔텨 속도, 및 플래쉬 강도의 셋팅들을 가져온다. 또한, 상기 마이크로프로세서(9)는, 상기 이미지 캡쳐링 장치로부터 독출된 신호들에 대한 증폭 레벨들을 결정한다. 이들은, 이미지 프레임들을 표현하는 어레이들에서의 강도 값들이 속하는 값들의 범위를 결정한다. 강도 값들을 표현하는 비트들의 수는, 강도 값들의 역동적인 범위를 결정한다. 예에서, 강도 값들은 8비트로 표현되며, 따라서 255개의 가능한 비-제로 값들을 있다는 것이 가정될 것이다. 이미지 프레임들을 부족하게 노출하는 것 대신에, 이미지 캡쳐링 장치(5)의 선형적-스케일 ISO 셋팅(ASA 수로서 알려져 있음)이, 노출 부족 팩터와 동일한 팩터에 의해 증가될 수 있다. 이것은, 아래에 제시된 조합처리들을 통해 감소되는, 개별적인 프레임들에서의 증가된 잡음 레벨들을 초래한다.
도 2는, 본 발명에 따라, 하나의 픽셀 셀에 입사되는 누적된 광을 나타내는 이미지 캡쳐링 장치에서의 신호가 어떻게 보이는지를 도시한다. 복수 개의 이웃하는 셀들로부터의 값들이 평균화되는 경우에, 도 2에 묘사된 신호는, 이웃하는 픽셀 셀들의 그룹에 의해 정의된 픽셀에 대한 픽셀 값을 나타낸다.
픽셀을 정의하는 광감성(light-sensitive) 표면은 우선 시점(t1)에서 시점(t2)으로 제 1 노출시기(τ1)에 걸쳐서 노출된다. 제 1 노출시기(τ1)의 끝점에서 독출된 값은, 이미지 프레임을 표현하는 강도 값들의 제 1 어레이에서의 그 픽셀에 대한 강도 값이다. 덧붙여 말하자면, 이 설명은 인접한 픽셀 셀들에 대하여 칼라 필터가 사용됨으로써, 픽셀의 여러 칼라 구성요소들이 동시에 캡쳐되는 것을 가정한다. 다른 실시예들에서, 칼라 구성요소들은 순서대로 캡쳐됨으로써, 실제로 τ1 은 제 1 노출시기의 기간의 1/3과 대략 같다.
강도 값들의 제 2 어레이에 포함될 강도 값을 형성하기 위하여, 상기 이미지 캡쳐링 장치(5)는 시점(t3)에서 시점(t4)로 제 2 노출시기(τ2)에 걸쳐서 노출된다. 시간 간격(△t1)이, 제 2 노출시기(τ2)의 시작점(t3)과 제 1 노출시기(τ1)의 끝점(t2) 사이에 수립된다. 유사하게, 시간 간격(△t2)이, 제 3 노출시기(τ3)의 시작점을 표시하는 시점(t5)과 제 2 노출시기(τ2)의 끝점 사이에 수립된다. 시간 간격들(△t1, △t2)은, 그들이 ROM 모듈(12)에 미리 프로그램화되어 있거나, 입력 인터페이스 모듈(13)을 통해 입력되거나, 또는 입력 인터페이스 모듈(13)을 통해 수신된 입력 데이터를 기초로 상기 마이크로프로세서(9)에 의해 계산된다는 의미로 정의된다. 시간 간격들(△t1, △t2)은 동일할 필요는 없다.
제 1 내지 제 3 노출시기들(τ1-τ3)은 도시된 실시예에서 같은 기간을 가지지 않는다. 이 방식으로, 증가하는 최대 강도의 강도 값들의 어레이들의 시퀀스가 캡쳐된다. 따라서, 각각이 대응하는 이미지 프레임을 표현하는, 강도 값들의 어레이들의 시퀀스가 캡쳐되는데, 여기서 각 어레이의 픽셀값들은, 증가하는 절대 최대값을 가지는 이산 값들의 스케일들의 시퀀스의 하나에 속하며, 스케일들은, 연속적인 이미지 프레임들의 시퀀스에서의 적어도 하나의 이미지 프레임의 각 연속적인 셋트들에 적용가능하다. 이 예에서, 각 스케일이 적용가능한 셋트는, 단지 하나의 이미지 프레임만을 포함한다. 대안적인 변형 예에서, 각 스케일들의 절대 최대값은 감소한다. 이 예에서, 노출시간은 각 연속적인 노출과 함께 실질적으로 균일하게 증가한다. 이것은, 상대적으로 양호한 칼라와 색조 깊이를 가지는 결합 이미지를 가져올 것이다. 또한 노출시기들(τ1-τ3)의 길이들을 무작위로 변화시키는 것이 가 능하다.
노출 레벨을 캡쳐된 이미지 프레임들의 시퀀스에서 하나의 이미지 프레임에서 다음 이미지 프레임으로 계단형으로 진행하는 여러 방법들은, WO 로 공개되었고, 여기 참조로서 통합된 국제특허출원 PCT/EP04/51080에 설명된다. 노출 레벨은, 노출시간, 어퍼쳐, (플래쉬)조명강도, A/D 변환 이전의 증폭 게인, 및 A/D 컨버터(6)의 A/D 변환 문턱값, 에 의해 결정된다. 노출 레벨을 계단형으로 진행하는 것은, 연속적인 노출들 사이에 이 설정들(settings) 중 어느 하나를 변화시킴으로써 달성될 수 있다.
하나의 특정한 변형 예에서, 조명 조건들뿐 아니라 조리개(4)의 어퍼쳐의 크기가 노출들 사이에 실질적으로 일정하게 유지된다. 도 2는 그러한 변형 예를 예시한다. 수행된 노출의 횟수는 안정된 이미지가 캡쳐되는데 필요한 시간에 의존한다. 횟수는 개별적인 이미지 프레임들과 연관된 개별 노출시기들(τ1-τ3)이 소정의 문턱값 미만으로 유지되도록 선택된다. 바람직하게는, 이 문턱값은, 이것이 평균의 사진사에 있어서 안정된 이미지를 캡쳐하기 위한 가장 낮은 셔터 스피드로 고려되므로, 1/60초에서 미리 결정된다.
노출시기들(τ1-τ3)의 길이들을 계산하기 위한 하나의 알고리즘은, 최대 노출시기를 문턱값, 즉, 1/60초 미만으로 선택하는 것이다. 노출시기의 평균 길이는, 이미지 프레임들의 수로 나누어진 최대 노출시간과 같게 설정된다. 노출시기들의 바람직한 전체 합에 의존하여, 노출시기 길이는 최대 노출시기로 동일한 증분만큼 계단형으로 진행된다.
제 2 특정 변형 예에서는, 이미지 캡쳐링 시스템의 상이한 파라미터인, 조리개(4)의 어퍼쳐가, 각 노출시기(τ1-τ3)의 시작점 이전에, 각 픽셀에 대한 강도 값들이 기록되는 스케일의 최대값이 적어도 연속적인 노출과 함께 실질적으로 균일하게 변경되는 방식으로, 조정된다. 제 2 특정 변형 예에서는, 노출시간은 각 연속적인 이미지 프레임에 대하여 동일하다. 어퍼쳐는, 바람직하게는, 동일한 증분만큼, 균일하게 계단형으로 하향 조정된다.
제 3 특정 변형 예에서는, 연속적인 이미지 프레임들에서 묘사된 화면을 비추기 위해 이용된 인공적인 조명의 강도는, 노출 사이에 균일하게 계단형으로 진행된다.
도 2에 도시된 실시예로 다시 돌아가면, 강도 값들의 다중 어레이들이, 이 이미지 프레임들을 캡쳐링 하는 사이에 어떠한 지연(delay)도 없이, 노출시기들(τ1-τ3)중 하나의 시기 동안에 독출되는 변형 예가 가능하다는 것이 관찰된다. 이 후,지연들(△t1-△t2)은, 이미지 캡쳐링 장치의 재설정들(re-sets) 사이에, 즉, 캡쳐되는 강도 값들의 어레이들의 시퀀스에서 선택된 어레이들 사이에만 수립된다. 지연들(△t1-△t2)은, 그들이 이미지 캡쳐링 장치의 본래적인 속성들의 결과이기보다는 설정 값에 대응하는 의미로, 잘 정의된다는 것이 주지된다. 실제로, 설정 값은, 이미지 캡쳐링 장치(5)의 재설정으로 인한 본래적인 지연보다 길 것이다.
도 3은, 이미지 캡쳐링 장치(5)의 광감성 표면을 노출의 시작점에서부터 연 관된 시기에 걸쳐서 노출함으로써 얻을 수 있는 강도 값들의 어레이들의 시퀀스를 얻음으로써, 시간의 정의된 간격이, 강도 값들의 어레이를 얻기 위한 노출의 시작점과 시퀀스에서 그 어레이를 바로 앞서는 강도 값들의 어레이와 연관된 노출시기의 끝점 사이에 수립되는, 대안적인 처리를 이용하는 방법을 도시한다.
제 1 단계(18)에서, 이미지 캡쳐링 장치(5)의 광감성 표면을 노출의 각 시작점들에서부터 각 연관된 노출시기에 걸쳐서 노출함으로써, 얻을 수 있는, 그러한 강도 값들의 어레이들의 초기 시퀀스(19)가 얻어진다. 상기 방법이 디지털 카메라(1)에서 수행되는 경우, 상기 초기 시퀀스(19)에서의 어레이들은 이미지 캡쳐링 장치로부터 직접적으로 얻어진다. 어레이들은 도 2에 도시된 방법에 의해 얻어질 수 있지만, 바람직하게는, 이미지 캡쳐링 장치(5)의 각 재설정과 함께 본질적으로 발생하는 것들 이외에는, 노출시기들 사이에 어떠한 지연도 없이 캡쳐된다.
후속 단계(20)에서는, 바람직한 스트로보(strobe) 레벨의 표시가, 상기 마이크로프로세서(9)에의해, 바람직하게는, 입력 인터페이스 모듈(13)과 버스(10)를 통해 제공된 신호의 형태로, 수신된다. 바람직하게는, 상기 디지털 카메라(1)는, 사용자로부터 스트로보 레벨의 표시를 얻기 위한 장치를 포함한다. 일 실시예에서, 사용자는 디지털 카메라(1) 상에 다이얼(미도시)을 설정함으로써, 스트로보 레벨의 표시를 제공한다. 다른 실시예에서는, 슬라이드(미도시)가 이용된다. 스케일에 대응하는 표시(marking)와 스케일 상의 포인트를 나타내기 위한 조정가능한 부재를 포함하는 다른 유형들의 입력장치가 또한 생각될 수 있다. 이것은 그래픽 유저 인터페이스(graphical user interface)의 일부로서 제공된 장치들을 포함한다. 디지 털 카메라(1)의 도시된 예에서, 적어도 스케일 상의 포인트를 나타내기 위한 부재가 기계적으로 조정가능한 구성요소로서 실행된다면 이것은 인체공학적으로 유리하다. 스트로보 레벨은 결합 이미지의 움직이는 대상의 표현들 간의 바람직한 분리를 나타낸다. 예를 들어, 움직이는 대상이 결합이미지에 나타날 볼(ball)인 경우, 스트로보 레벨은, 볼의 자신의 궤도(trajectory)를 따르는 다양한 표현들이 함께 얼마 근접한지를 나타낸다.
다음 단계(21)에서는, 이미지 프레임들의 시퀀스의 각 이미지 프레임들을 표현하기 위한 강도 값들의 어레이들의 제 2 시퀀스(22)가, 어레이들의 초기 시퀀스(19)에 상대적으로 감소된 수의 어레이들의 시퀀스를 포함하도록, 어레이들의 초기 시퀀스(19)에 기초하여, 형성된다. 특히, 어레이들의 초기 시퀀스(19)의 제 1의 것과 어레이들의 시퀀스(19)의 제 2의 것 사이에서의 강도 값들의 어레이들은 낙오된다(dropped). 결과는 제 2 시퀀스(22)에서의 어레이들에 의해 표현된 이미지 프레임들 사이에 지연을 수립하는 것이다. 따라서, 강도 값들의 어레이들의 제 2 시퀀스(22)는, 이미지 캡쳐링 장치(5)의 광감성 표면을 노출의 시작점에서부터 관련 노출시기에 걸쳐서 노출함으로써 얻을 수 있는 어레이들의 시퀀스에 대응함으로써, 시간의 정의된 간격(초기 시퀀스(19)로부터 "낙오된" 어레이들의 노출시기에 대응하는)이, 강도 값들의 어레이를 얻기 위한 노출의 시작점과 제 2 시퀀스(22)에서의 그 어레이에 바로 앞서는 강도 값들의 어레이와 관련된 노출시기의 끝점 사이에 수립된다. 입력장치로서 다이얼을 이용하는 실시예에서, 예를 들어, 다이얼 옆에 표시된 스케일은, 어레이들의 초기 시퀀스(19)로부터 낙오될 중간 어레이들의 수에 대응할 수 있다. 예를 들어, "1"은 낙오하는 매 다른 어레이에 대응할 수 있는 반면, "9"는 낙오하는 9개의 어레이에 대응함으로써, 제 2 시퀀스(22)는 초기 시퀀스(19)로부터 모든 10번째 어레이만을 포함한다.
다음으로, 최종 어레이에서의 적어도 하나의 영역 중 어느 영역에 대하여, 제 2 시퀀스(22)에서의 어레이들에 의해 표현된 각 이미지 프레임들에서의 그 영역을 표현하는 적어도 하나의 강도 값의 셋트들의 시퀀스의 어느 셋트가, 시퀀스의 다른 셋트들에서의 그것들로부터 소정의 측정값보다 많이 벗어난 강도 값들을 포함하는지를 결정한다(단계 23),
본 예에서, 셋트들은, 정확하게 하나의 픽셀값, 즉, 정확하게 하나의 픽셀 위치에 대응하는 강도 값을 포함하며, 단계 23은 I×J 어레이의 각 픽셀 위치(i,j)에 대하여 수행된다. 제 2 시퀀스(22)가 N개의 어레이들을 포함함으로써, 각 픽셀 위치(i,j)에 대하여, N개의 강도 값들의 시퀀스(Pn(i,j))가 검사된다고 가정된다.
이 검사 동안, 시퀀스(Pn(i,j))에 대한 평균 강도값(
Figure 112008032976559-PCT00001
)이 결정된다(단계 24). 두 단계들(25, 26) 중 어느 것이 다음에 이어지는지는, 강도 값들(Pn(i,j)) 중 어느 값이라도 그 시퀀스에서의 다른 값들로부터 소정의 측정값 이상으로 벗어났는지에 의존한다. 샘플 예에서, 상기 측정값은 시퀀스에서의 강도 값들(Pn(i,j))의 표준편차의 배수이다.
도 4에는, 제 1 픽셀 위치(i1, j1)에 대하여, N=5, 그리고 P2(i1,j1)이 평균값(
Figure 112008032976559-PCT00002
)으로부터 소정의 측정값 이상으로 벗어나 있는 상황이 묘사된다. 도 3의 실시예에서, 결합 이미지를 표현하는 강도 값들의 최종 어레이(27)에서의 대응하는 강도 값(Pfinal(i1,j1))은 벗어난 값(P2(i1,j1))에만 기초한다. 현재의 경우에, 시퀀스에서의 제 3 강도 값(P2(i1,j1))만이 시퀀스에서의 다른 강도 값들(Pn(i1,j1)로부터 소정 측정값 이상으로 벗어남으로써, 최종 어레이(27)에서의 대응하는 강도 값(Pfinal(i1,j1))은 배타적으로 제 3 강도 값(P2(i1,j1))에 기초한다. 2개 또는 그 이상의 연속적인 강도 값들이 소정의 측정값 이상으로 벗어나는 경우, 최종 어레이(27)에서의 대응하는 강도 값은, 여러 벗어난 강도 값들 모두에 기초할 수 있다. 도 4에 묘사된 상황에서, 2개의 대안적인 단계들(25, 26) 중 제 1 단계(25)가 수행될 것이다. 이미지 프레임들의 초기 시퀀스(19)에서의, 따라서 또한 이미지 프레임들의 제 2 시퀀스(22)에서의 이미지 프레임들의 각각이 부족하게 노출되므로(underexposed), 최종 어레이(27)에서의 대응하는 강도 값(Pfinal(i1,j1))이 기초로하는 단일 강도값(P2(i1,j1)은, 바람직하게는, 향상된다. 이러한 이유로, 이것은, 제 2 시퀀스(22)에서의 이미지 프레임들의 수의 그것이 기초로 하는 이미지 프레임들의 수에 대한 비율로 승산된다(multiplied). 도시된 경우에, 최종 어레이(27)에서의 각 강도 값(Pfinal(i,j))은, 고작 하나의 벗어난 강도 값(Pn(i,j)), 따 라서 제 2 시퀀스(22)에서의 어레이들의 수인 N에 의해 승산된, 강도 값에 항상 기초한다.
강도 값들(Pn(i,j))의 시퀀스의 평균 강도 값(
Figure 112008032976559-PCT00003
)을 결정하는 단계(24)를 잇는 흐름도의 분기점에서, 시퀀스 픽셀값들(Pn(i,j))의 어떠한 값도 시퀀스에서의 다른 값들로부터 소정의 측정값 이상으로 벗어나지 않았다고 결정된 경우, 대응하는 강도 값(Pfinal(i,j))은, 제 2 시퀀스(22)에서의 어레이들 중 하나에 각각 기초하고 제 2 시퀀스(22)에서의 어레이들과 수에 있어서 대응하는 강도 값들의 복수 개의 어레이들의 각각으로부터의 강도 값을 합산함으로써, 얻어진다. 실제로, 도시된 실시예에서, 그들은 제 2 시퀀스(22)에서의 어레이들에 단지 기초로 하는 것이 아니라, 그들과 동일하다. 영역을 표현하는 하나 이상의 강도 값의 셋트들이 분석되는 다른 실시예들에서, 변환 또는 어떤 다른 동작이 우선 수행될 수 있다는 것이 주지된다. 그 경우, 합산은 변환을 적용함으로써 얻어진 값들에 대해서 수행된다.
2개의 대안적인 단계들(25, 26) 중 제 2 단계(26)가 적용된 상황이 도 5에 도시되었다. 도 5는, 픽셀 위치(i2, j2)에서의 강도 값들(Pn(i,j))을 도시한다. 강도 값들(Pn(i2, j2), n=0...4)중 어떠한 값도, 그 픽셀 위치에 대한 평균 강도 값(
Figure 112008032976559-PCT00004
)으로부터 소정 측정값 이상으로 벗어나지 않는다. 그 경우에, 강도 값(Pfinal(i2, j2))이 강도 값들(Pn(i2, j2), n=0...4)의 각각을 합산함으로써 얻어진 다.
단계들(23, 24)과 단계들(25, 26) 중 하나는, 최종 어레이(27)이 완성될 때까지, 각 픽셀 위치(i,j)에 대하여 반복된다. 다른 실시예들에서, 단계들은 강도 값들의 (I×J) 블럭들 중 각 하나에 대하여 적용될 수 있다. 각 블럭은 여러 강도 값들의 셋트를 포함하며, 이미지 프레임들의 시퀀스의 하나에서의 영역을 표현한다. 하나의 블럭에서의 강도 값들이, 시퀀스에서의 강도 값들의 다른 어레이들에서의 대응하는 블럭들에서의 강도 값들로부터 소정의 측정값 이상으로 벗어난다면, 단계(25)와 유사한 단계가 수행된다. 결합 이미지를 표현하는 최종 어레이에서의 대응하는 블럭은, 배타적으로, 벗어난 강도 값들을 포함하는 블럭에 기초한다. 블럭에서의 강도 값들의 평균은, 예를 들어, 움직이는 대상의 존재를 나타내는 편차를 검출하기 위해 비교될 수 있다.
도 3에서 설명된 방법은, 자신의 궤도를 따라 여러 위치들에서 움직이는 대상을 보여주는, 스트로보스코픽(stroboscopic) 결합 이미지를 생성하는데, 유용하다. 그 위치들 중 하나에서의 움직이는 대상의 각 표현은, 배경이, 결합 이미지가 형성될 때 기초로 하는 이미지 프레임들로부터 효과적으로 필터링되었으므로, 상대적으로 명료하다. 움직이는 대상과 배경 간의 대조(contrast)는, 단계(26)에서 수행된 가중치 부여(weighting)로 인해, 더 강렬하다.
제 1 단계(18)에서, 이미지 캡쳐링 장치(5)의 광감성 표면을 노출의 각 시작점들에서부터 각 연관된 노출시기들에 걸쳐서 노출하는 것에 의해 얻을 수 있는 것과 같은, 강도 값들의 어레이들의 초기 시퀀스(19)가 얻어진다는 것이 언급되었다. 일 실시예에서, 강도 값들의 어레이들은, 이미지 캡쳐링 장치(5)의 광감성 표면을 노출의 각 출발점들에서부터 각 연관된 시기들에 걸쳐서 노출함으로써 얻어진다. 이어서, 강도 값들의 어레이들에 의해 표현된 이미지 프레임들은, 서로에 대하여 정렬됨으로써, 어레이들의 시퀀스(19)가, 실제로, 정렬단계(미도시)에 이어서, 이미지 프레임들을 표현하는 강도 값의 어레이들에 의해 형성된다. 대안적인 실시예들에서, 각 이미지 프레임의 선택된 일부가 다른 이미지 프레임들에서의 대응하는 일부와 정렬된다.
정렬을 위해, RANSAC(RANdom SAmple Consensus)와 같은 일반적으로 알려진 방법이 이용될 수 있다. M.A. Fischler, R.C. Bolles. "Random Sample Consensus: A Paradigm for Model Fitting with Application to Image Analysis and Automated Cartography", Comm. of the ACM, Vol 24, pp 381-395, 1981이, 이 알고리즘의 제 1 공개이다. 그러한 정렬 동안, 실질적으로 동일한 화면을 묘사하는 각 이미지 프레임들을 표현하기 위한 강도 값들의 어레이들의 제 1 시퀀스는, 예를 들어, 이미지 캡쳐링 장치(5)로부터 직접적으로 얻어진다. 묘사된 화면의 적어도 일부가, 사용자 또는 자동적으로 중 어느 한 방법에 의해 선택되며, 화면을 묘사하는 이미지 프레임들에서의 그 일부의 상대적인 움직임을 나타내는 움직임 벡터가 계산된다. 움직임 벡터는, 이미지의 병진 및/또는 회전의 성분을 표현하기 위한, 각각이 시변함수(time-varing function) 또는 시계열(time series)인, 다수의 성분들을 포함한다. 적어도 선택된 일부가 계산된 움직임 벡터에 따라 정렬된 각 이미지 프레임들을 표현하기 위한, 어레이들의 제 2 시퀀스가 형성된다.
위에서 언급된 RANSAC 방법에 대한 대안적인 방법이, WO 로서 공개된 국제특허출원 PCT/EP04/51080에 설명된다. 그 방법에 따르면, 움직임 벡터를 계산하는 단계는, 움직임 벡터의 적어도 하나의 요소를 표현하는 급수 전개에서의 적어도 제 1 항을 결정하는 단계를 포함하는데, 이 단계는, 복수 개의 이미지 프레임들의 각각에서의 선택된 일부가 적어도 계산된 움직임 벡터에 따라서 재위치되며, 적어도 재위치된 일부들에서의 대응하는 픽셀들의 값들이, 결합 이미지를 형성하기 위해, 합산되는 추정처리(estimation process)를 포함한다. 상기 추정처리는, 결합이미지의 공간 주파수 스펙트럼의 상위 범위에 포함되어 있는 에너지의 측정의 계산을 포함하며, 적어도 제 1 항을 결정하는 단계는, 에너지를 최대화하기 위해 추정 처리의 적어도 하나 이상의 반복을 포함한다. 일 수행에서, 상기 급수 전개는, 각 이미지 프레임이 시점과 연관되는, 적어도 하나의 시변 움직임 벡터를 나타내는 푸리에 합(Fourier sum)이다. 움직임 벡터를 계산하는 단계는, 선택적으로, 에너지를 최대화하기 위해 추가항의 조정된 값을 가지는 움직임 벡터를 이용하여 반복적으로 수행되는 추정처리와 함께, 급수 전개에 추가 항을 결정하는 단계를 포함한다.
정렬은 또한, 어레이들의 제 2 시퀀스(22)를 형성하는 단계(21)에 이어지는 단계(미도시)에서 수행될 수 있다. 이것은 계산적인 노력을 덜 요구한다. 같은 목적으로, 초기 시퀀스(19)에서의 어레이들은, 바람직하게는, 제 1 칼라 공간에서 칼라 이미지 프레임들을 표현하기 위한 강도 값들의 복수 개의 어레이들을 얻고, 제 2 칼라 공간에서 값들의 복수 개의 어레이들에 변환을 적용함으로써, 얻어지는데, 여기서, 제 1 칼라 공간에서는, 이미지 프레임은, 각 파라미터가 복수 개의 칼라 구성요소들 중 하나의 강도를 나타내는, 파라미터 값 조합들에 의해 표현되는 반면, 제 2 칼라 공간에서는, 이미지 프레임은, 조합의 하나의 파라미터가 색조(hue)를 나타내며 다른 파라미터들 중 적어도 하나는 광 강도를 나타내는, 파라미터 값 조합들에 의해 표현된다.
이 실시예는, 강도 값들에 연루된 계산들 및 분석들이 강도 값들의 적은 수의 어레이들에 대하여 실행될 필요가 있다는 이점을 가진다. 각 칼라 구성요소에 대한 강도 값들의 개별적인 어레이들 또는 강도 값 조합들의 어레이들 대신에, 제 2 칼라 공간에서의 광 강도를 나타내는 파라미터 값들의 어레이 또는 어레이들만이, 또는 그들에 기초하여 도출된 어레이들만이 처리될 필요가 있다. 칼라 정보는, 결합 이미지의 포화를 방지하기 위해 스케일될 필요가 없는, 색조들을 나타내는 파라미터 값들의 어레이에 포함되어 있다.
특정 실시예에서, RGB(Red, Green, Blue) 칼라 공간에서 이미지 프레임들을 표현하는 강도 값들의 어레이들은, HLS(Hue, Lightness, Saturation) 칼라 공간에서 이미지 프레임들을 표현하는 파라미터 값들의 각 어레이들로 변환된다. RGB 칼라 공간은, 부가적인 칼라 공간으로서, 3개의 칼라 구성요소들의 각각의 강도는 개별적으로 인코딩된다. 도 3에 묘사된 전체 방법이 RGB 칼라 공간에서 수행된다면, 상기 방법은, 본질적으로, 3중으로 수행되어야 할 것이다. HLS 칼라 공간에서, 3개의 칼라 구성요소들의 상대적인 강도들을 나타내는 색조(Hue), 회색 레벨에서 완전한 칼라로의 스케일을 제공하는 채도(Saturation), 및 칼라 구성요소들의 평균강도 에 실질적으로 대응하는 휘도(Lightness)(또는 luminance라고도 함)인, 파라미터 조합에 의해, 이미지는 표현된다. 휘도 값들의 어레이들만이 도 3의 방법에 따라 처리된다. HSV(Hue, Saturation, Value) 칼라 공간은, HSL 칼라 공간에 대한 대안으로서 사용가능하며, CMYK 및 YUV 칼라 공간들은 RGB 칼라 공간에 대한 대안들이라는 것이 주지된다.
도 3에 도시된 실시예의 향상된 변형 예(미도시)에서, 강도 값들의 어레이들의 시퀀스를 얻는 단계(18)는, 어레이에서의 강도 값들의 수에 대응하는 제 1 해상도로 화면을 묘사하는 이미지 프레임을 표현하기 위한 강도 값들의 적어도 하나의 어레이를 얻는 단계와, 제 1 해상도보다 낮으며 어레이에서의 강도 값들의 수에 대응하는 해상도들에서 동일한 화면을 실질적으로 묘사하는 각 이미지 프레임들을 표현하기 위한 강도 값들의 어레이들의 추가 그룹을 얻는 단계를, 포함한다. 스트로보 레벨의 표시를 수신하고 이미지 프레임들을 낙오시키는 단계들(20, 21)에 대응하는 단계들이, 저해상도로 이미지 프레임들을 표현하기 위한 어레이들에 의해 형성된 서브-시퀀스에 대해서만, 수행된다. 또한, 저해상도로 이미지 프레임들을 표현하기 위한 어레이들만을 포함하는 결과 시퀀스는, 화면의 움직이는 부분들을 표현하는 강도 값들을 형성하기 위한 단계들(23-26)에 대응하는 단계들에 종속된다. 이어서, 도 3의 방법과 유사한 방법을 이용하여 형성된 합산 프레임은, 제 1 해상도에서의 이미지 프레임들과 결합된다. 따라서, 각 강도 값이, 합산 어레이에 기초한 어레이에서의 강도값과, 제 1 해상도로 이미지 프레임을 표현하는 어레이로부터의 적어도 하나의 강도값과의 합산인, 추가적인 어레이가 형성된다. 변형 예에서, 이것은, 각 셋트가 영역을 표현하고 강도 값들의 어레이들의 선택된 복수 개의 제 2 시퀀스(22)의 하나의 일부를 형성하는, 적어도 하나의 강도 값의 셋트들의 시퀀스 중 어느 것도, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정 측정값 이상으로 벗어나는 강도 값들을 포함하지 않는다고 결정되는, 영역을 나타내는 그 강도 값들에 대한 경우에만 해당된다. 그 변형 예에서, 움직이는 부분은 저해상도 이미지 프레임들에 배타적으로 기초하여 결합 이미지에서 표현되는 반면, 배경 부분들은 고해상도를 가지는 이미지 프레임들과 저해상도를 가지는 이미지 프레임들 양자에 기초하여 형성된다.
저해상도 이미지 프레임들의 합이 제 1 해상도보다 낮은 해상도에서 있다는 사실을 고려하기 위해, 합산 어레이에 기초한 어레이가 형성되어, 제 1 해상도로 이미지 프레임을 표현하는 어레이에 기초한 어레이의 그것에 대응하는 해상도로 결합 이미지 프레임을 표현하는데 적합하다. 하나의 변형 예에서, 보간이, 결합 이미지가 표현되는 해상도를 증가시키기 위해 이용된다. 다른 변형 예에서, 제 1 해상도로 이미지 프레임들을 표현하는 어레이들처럼, 합산 어레이는 공간 주파수 도메인으로의 변환을 경험한다. 대응하는 공간 주파수 성분들이 더해진다. 합산 어레이의 더 높은 공간 주파수 성분들이 , 제 1 해상도로 이미지 프레임들을 표현하는 변환된 어레이들로부터만 얻어진다. 이후, 합산 어레이는 공간 도메인으로 다시 변환된다. 그러한 방법은, 2005년 5월 10일에 출원되고 WO /로 공개된 국제특허출원 PCT/EP05/52121에 더 상세하게 설명된다.
도 3에 도시된 방법이 상대적으로 저해상도에서 각 이미지 프레임들을 표현 하는 강도 값들의 어레이들의 시퀀스에 대해서만 수행되고, 여기서 결합 이미지의 적어도 (배경)영역들이, 제 1의, 높은 해상도에서 이미지 프레임들을 표현하기 위한 적어도 하나의 어레이로부터의 강도 값들을 합산함으로써 형성되는, 실시예는 어떤 이점들을 가진다. 도 3에 도시된 방법을 실행하기 위해 이용된 처리 능력의 양은 감소된다. 결합 이미지를 고해상도의 이미지 프레임들과 결합함으로써 형성된 이미지의 적어도 일부들에 기초하여, 배경의 세부사항들이 캡쳐된다.
저해상도 이미지 프레임들을 기초로 하는 움직이는 부분들이 상대적으로 높은 신호-대-잡음비를 가진다는 것을 보증하기 위해, 구어적으로 "저장하기(binning)"라고 하는 방법이 바람직하게 사용된다. 이 방법에 따르면, 저해상도 이미지 프레임들을 표현하는 강도 값들의 어레이들은, 강도 값들의 제 1 어레이를 제 1 어레이에서의 강도 값들의 수에 대응하는 해상도로 얻어서, 강도 값들의 제 1 어레이를 저해상도로 이미지 프레임을 표현하기 위한 강도 값들의 제 2 어레이로 변환함으로써, 얻어짐으로써, 제 2 어레이에서의 강도 값들은, 제 1 어레이로부터의 강도 값들의 각 합들에 기초한다. 이 "저장하기"를 수행하기 위한 하나의 방법은, 감광 영역과 픽셀 셀들의 어레이가 제공된 이미지 캡쳐링 장치의 사용을 수반한다. 각 픽셀 셀은, 감광 영역의 연관된 부분에 입사하는 광의 강도를 나타내는 신호를 생성하기 위한 장치를 포함한다. 상기 이미지 캡쳐링 장치는, 이미지 프레임을 설정 공간 해상도로 캡쳐하기 위한 픽셀 값들의 어레이를 생성하기 위한 독출 회로가 더 제공된다. 각 픽셀 값은, 노출시간 간격에 걸쳐서 다수의 구역들 중 연관된 구역에서의 픽셀 셀들 중 적어도 하나에서 생성된 신호 또는 신호들의 적분을 표현한다. 다수의 구역들은 함께 이미지에서의 영역에 대응하는 감광 영역의 영역을 커버한다. 이미지 캡쳐링 장치는, 각 픽셀값이 픽셀 셀들에서의 적어도 2개의 장치들에 의해 생성된 신호들의 합의 적분를 나타내는 방식으로, 픽셀 값들의 어레이를 생성하도록 지시된다.
도 6은, 강도 값들의 최종 어레이(28)에 의해 표현된 결합 이미지에서의 상이한 효과를 달성하기 위해, 도 3의 방법의 기초가 되는 원리의 적용을 도시한다. 결합 이미지는, 제 1 단계(30)에서 얻어진 강도 값들의 어레이들의 초기 시퀀스(29)에 의해 표현된 이미지 프레임들의 시퀀스에 기초한다. 제 1 단계는 도 3에 도시된 방법의 제 1 단계(18)에 대응한다. 따라서, 강도 값들의 어레이들의 초기 시퀀스는, 그 단계(18)에 관해 위에서 설명된 방법들 중 어느 하나에 의해 얻어질 수 있다. 이것은 특히 정렬을 포함한다.
제 2 단계(31)에서는, 스트로보 레벨의 표시가, 사용자, 또는 디폴트 또는 사용자 설정에 기초한 계산의 결과로서, 중 어느 하나에 의해 수신된다. 이어서(단계 32), 실질적으로 동일한 화면을 묘사하는 이미지 프레임들의 시퀀스의 각 이미지 프레임들을 표현하기 위한 강도 값들의 어레이들의 제 2 시퀀스(33)가 얻어진다. 이것은, 스트로보 레벨에 따라 초기 시퀀스(29)의 어레이들의 수를 줄임으로써 얻어진다. 도 6에 도시된 단계들(30-32) 대신에, 도 2를 참조하여 위에서 설명된 방법이 다른 실시예에서 사용된다. 아무튼, 강도 값들의 어레이들의 제 2 시퀀스(33)는, 이미지 캡쳐링 장치의 광감성 표면을 노출의 시작점에서부터 연관 노출시기에 걸쳐서 노출함으로써, 얻는 것이 가능하며, 그에 따라, 시간의 정의된 간격 이, 강도 값들의 어레이를 얻기 위한 노출의 시작점과, 시퀀스에서의 그 어레이에 바로 앞서는 강도 값들의 어레이와 연관된 노출시기의 끝점 사이에, 수립된다. 개별 이미지 프레임들은 부족하게 노출되지만, 어레이들의 시퀀스에 의해 커버된 전체 시간 스팬은, 수립된 지연들로 인해, 여전히 크다. 도 6의 방법의 목적은 결합 이미지로부터 움직이는 대상들을 제거하기 위한 것으로, 이것은 그들이 대항하여 움직이는 배경이 제 2 시퀀스(33)에서의 어레이들의 적어도 일부에 의해 표현된다는 것을 보증한다. 따라서, 스트로보 레벨은, 화면에 대한 그들의 크기뿐 아니라, 화면을 가로질러 대상들이 움직일 때의 속도에 따라서 설정되어야 한다. 더 작고, 빠르게 움직이는 대상들에 대해서는, 도시된 단계(32)에서 약간의 어레이들이 낙오될 필요가 있다.
도 3의 단계들(23, 24)과 유사한 단계들(34, 35)이 각 픽셀 위치(i,j)에 대하여 반복되며, 각각의 반복을 가지는 2개의 단계들(36, 37) 중 하나가 이어진다. 어떠한 픽셀 위치(i,j)에 대하여, 픽셀 값들의 시퀀스(Pn(i,j)) 중 어느 픽셀값이 다른 픽셀값들(Pn(i,j))로부터 소정 측정값 이상으로 벗어난 것으로 결정되는 경우, 대응하는 최종 강도 값(Pfinal(i,j))은, 벗어나지 않은 다른 픽셀값들 중 적어도 하나의 각각으로부터의 강도 값으로부터만 도출된다. 예를 들어, 강도 값(Pn(i,j))의 시퀀스의 표준 편차의 특정배수 이상으로 평균(
Figure 112008032976559-PCT00005
)으로부터의 벗어나는 것이, 2개의 대안적인 단계들(36,37) 중 제 1 단계(36)를 수행하기 위한 단서(cue)가 될 수 있다. 이 제 1 단계(36)에서는, 최종 강도 값(Pfinal(i,j))은, 벗어난 픽셀 값을 포함하지 않는 제 2 시퀀스(33)에서의 어레이들 중 하나에 각각이 기초로 하는 강도 값들의 복수 개의 어레이들의 각각으로부터의 강도 값을 합산함으로써, 얻어지는데, 여기서, 바람직하게는, 가수들(summands)의 수는, 벗어나지 않은 픽셀값들의 수에 대응한다. 합은, 제 2 시퀀스에서의 어레이들의 수의 최종 강도값(Pfinal(i,j))을 형성하기 위해 더해진 강도 값들의 수에 대한 비율에 비례하는 팩터로 가중된다.
어떠한 픽셀 위치(i,j)에 대하여, 그 위치에 연관된 강도 값들(Pn(i,j))의 시퀀스 중 어떠한 강도 값도, 평균(
Figure 112008032976559-PCT00006
)으로부터 소정 측정값 이상으로 벗어나지 않은 경우, 다른 단계(37)가 수행된다. 대응하는 최종 강도값(Pfinal(i,j))이, 이후, 제 2 시퀀스(33)에서의 모든 어레이들의 각 어레이들에 기초한 어레이들의 시퀀스 각각으로부터의 강도 값을 합산함으로써, 얻어진다. 다시, 이 경우에, 그들은, 제 2 시퀀스(33)의 어레이들에 기초하는 것만이 아니라, 그들과 동일하다.
단계들(34, 35)과 단계들(36, 37) 중 하나는, 전체 최종 어레이(28)가 형성될 때까지, 각 픽셀 위치(i,j)에 대하여 반복된다. 도 3에서 설명된 방법에서처럼, 단계들(34-37)은, 개별적인 강도 값들보다는 강도 값들의 블럭들에 대해서 수행될 수 있다.
본 발명은, 첨부된 청구항들의 범주 내에서 변형될 수 있는, 위에서 설명된 실시예들로 한정하지 않는다. 예를 들어, 강도 값들의 합산은 주파수 도메인에서 수행될 수 있다. 그 경우, 최종 어레이에서의 어떠한 픽셀 위치에 대해서, 강도 값들의 각 얻어진 어레이들에서의 그 픽셀을 표현하는 공간 도메인에서의 강도 값들의 시퀀스의 어느 강도 값이, 시퀀스에서의 다른 강도 값들로부터 소정 측정값 이상으로 벗어나 있는 경우, 다른 어레이들에서의 벗어나지 않은 강도 값들이, 벗어난 값, 여러 개의 벗어난 값들의 평균, 또는 여러 벗어난 값들의 선택된 값으로 대체되거나, 또는 벗어난 강도 값들이, 벗어나지 않은 값들 중 하나 또는 벗어나지 않은 값들의 평균에 의해 대체된다. 모든 픽셀 위치들이 한번 분석되며, 조정된 이미지 프레임들의 공간 주파수 도메인으로의 변환이 수행된다. 이 후, 합산 그리고 후속하는 공간 도메인으로의 다시 변환되는 것이 수행된다.

Claims (15)

  1. 복수 개의 이미지 프레임들에 기초하여 결합 이미지를 형성하기 위한 방법으로서, 상기 방법은, 실질적으로 동일한 화면을 묘사하는 이미지 프레임들의 시퀀스의 각 이미지 프레임들을 표현하기 위한 강도 값들의 어레이들의 시퀀스(22;33)를 얻는 단계를 포함하며,
    여기서, 상기 결합 이미지는 강도 값들의 최종 어레이(27;28)에 의해 표현되며,
    상기 최종 어레이(27;28)에서의 강도 값들의 적어도 일부는, 상기 얻어진 시퀀스(22;33)에서의 어레이들의 각 어레이들에 기초하는 강도 값들의 어레이들의 시퀀스의 각각으로부터의 강도 값을 합산함으로써, 각각이 얻어지는, 상기 결합 이미지를 형성하기 위한 방법은,
    상기 최종 어레이(27;28)에서의 적어도 하나의 영역의 어느 영역에 대해서, 각 셋트가 상기 영역을 표현하며 강도 값들의 선택된 복수 개의 상기 얻어진 어레이들 중 하나의 일부를 형성하는, 적어도 하나의 강도 값의 셋트들의 시퀀스의 어느 셋트가, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정의 측정값 이상으로 벗어난 강도 값들을 포함하는 경우, 상기 최종 어레이(27;28)에서의 그 영역을 표현하는 강도 값들이,
    (A) 벗어난 강도 값들을 가지는 셋트를 포함하는 선택된 복수 개의 어레이들의 어레이들만의 각 어레이들에 기초하는 적어도 하나의 어레이의 각각으로부터의 각 강도 값으로부터, 또는
    (B) 강도 값들의 다른 셋트들의 하나를 포함하는 선택된 복수 개의 어레이들의 어레이들만의 각 어레이들에 기초하는 적어도 하나의 어레이의 각각으로부터의 각 강도 값으로부터, 각각 도출되는 것을 특징으로 하는 결합 이미지 형성방법.
  2. 제 1 항에 있어서,
    강도 값들의 어레이들의 시퀀스(22;33)를 얻는 상기 단계는,
    이미지 캡쳐링 장치(5)의 광감성 표면을 노출의 시작점(t1, t3, t5)에서부터 연관된 노출시기(τ1-τ3)에 걸쳐서 노출함으로써 각각이 얻어질 수 있는, 강도 값들의 어레이들의 시퀀스를 얻는 단계로서, 그로 인해 시간의 정의된 간격(△t1, △t2)은, 강도 값들의 어레이를 얻기 위한 노출의 시작점(t3, t5)과, 시퀀스(22;33)에서의 그 어레이를 바로 앞서는 강도 값들의 어레이와 연관된 노출시기의 끝점(t2, t4)과, 의 사이에 수립되는, 시퀀스 얻는 단계를 포함하는, 결합 이미지 형성방법.
  3. 제 2 항에 있어서,
    강도 값들의 어레이들의 시퀀스(22;33)를 얻는 상기 단계는:
    강도 값들의 어레이들의 제 1 시퀀스(19;29)를 얻는 단계로서, 각 어레이는 이미지 캡쳐링 장치(5)의 광감성 표면을 노출의 시작점에서부터 연관된 노출시기에 걸쳐서 노출함으로써 얻어질 수 있는, 제 1 시퀀스를 얻는 단계;
    스트로보 레벨의 표시를 얻는 단계; 및,
    상기 표시된 스트로보 레벨에 따라서, 어레이들의 제 1 시퀀스(19;29)의 어레이들의 수를 감소시킴으로서, 강도 값들의 어레이들의 제 2 시퀀스(22;33)를 형성하는 단계; 를 포함하는, 결합 이미지 형성방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 최종 어레이(27;28)에서의 적어도 하나의 영역의 어느 영역에 대하여, 각 셋트가 상기 영역을 표현하고 강도 값들의 선택된 복수 개의 상기 얻어진 어레이들 중 하나의 일부를 형성하는, 적어도 하나의 강도 값의 셋트들의 시퀀스의 어느 셋트가, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정의 측정값 이상으로 벗어난 강도 값들을 포함하는 경우, 상기 최종 어레이(27;28)에서의 그 영역을 표현하는 강도 값들은, 상기 선택된 복수 개의 얻어진 어레이들에 기초한 강도 값들의 합에, 상기 시퀀스(22;33)에서의 셋트들의 수의 상기 최종 어레이에서의 그 영역을 표현하는 강도 값들이 도출되는 셋트들의 수에 대한 비율에 비례적인 팩터로, 가중치를 부여하는 것에 의해, 각각이 도출되는, 결합 이미지 형성방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    강도 값들의 어레이들의 시퀀스(22;33)를 얻는 상기 단계는:
    실질적으로 동일한 화면을 묘사하는 각 이미지 프레임들을 표현하기 위한 강 도 값들의 어레이들의 제 1 시퀀스를 얻는 단계;
    상기 묘사된 화면의 적어도 일부를 선택하는 단계;
    상기 화면을 묘사하는 이미지 프레임들에서의 상기 일부의 상대적인 움직임을 나타내는 움직임 벡터를 계산하는 단계; 및
    적어도 상기 선택된 일부가 상기 계산된 움직임 벡터에 따라서 정렬되는 각 이미지 프레임들을 표현하기 위한 강도 값들의 어레이들의 제 2 시퀀스를 형성하는 단계;를 포함하는, 결합 이미지 형성방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 최종 어레이(27;28)에서의 적어도 하나의 영역의 어느 영역에 대하여, 각 셋트가 상기 영역을 표현하고 강도 값들의 선택된 복수 개의 상기 얻어진 어레이들 중 하나의 일부를 형성하는, 적어도 하나의 강도 값의 셋트들의 시퀀스의 어떠한 셋트도, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정 측정값 이상으로 벗어난 강도 값들을 포함하지 않는 경우, 상기 최종 어레이(27;28)에서의 그 영역을 표현하는 강도 값들은, 상기 얻어진 시퀀스(22;33)에서의 어레이들의 각 어레이들에 기초하는 강도 값들의 어레이들의 시퀀스의 각각으로부터의 강도 값을 합산함으로써, 각각이 얻어지는, 결합 이미지 형성방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 최종 어레이(27;28)에서의 적어도 하나의 영역의 어느 영역에 대하여, 각 셋트가 상기 영역을 표현하고 강도 값들의 선택된 복수 개의 상기 얻어진 어레이들 중 하나의 일부를 형성하는, 적어도 하나의 강도 값의 셋트들의 시퀀스의 어느 셋트가, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정 측정값 이상으로 벗어난 강도 값들을 포함하고, 그리고, 다른 셋트들이 복수의 셋트들을 포함하는 경우, 상기 최종 어레이(27;28)에서의 그 영역을 표현하는 강도 값들은, 다른 셋트들 중 하나를 포함하는 얻어진 어레이에 각각 기초하는 강도 값들의 복수 개의 어레이들의 각각으로부터의 강도 값을 합산함으로써, 각각이 얻어지는데, 여기서 바람직하게는, 강도 값들의 복수 개의 어레이들의 수는, 다른 셋트들의 수에 대응하는, 결합 이미지 형성방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    강도 값들의 어레이들의 시퀀스를 얻는 상기 단계는, 어레이에서의 강도 값들의 수에 대응하는 제 1 해상도로 화면을 묘사하는 이미지 프레임을 표현하기 위한 강도 값들의 적어도 하나의 어레이를 얻는 단계와, 어레이에서의 강도 값들의 수에 대응하며 상기 제 1 해상도보다 낮은 해상도들로 실질적으로 동일한 화면을 묘사하는 각 이미지 프레임들을 표현하기 위한 강도 값들의 어레이들의 추가적인 그룹을 얻는 단계, 를 포함하며, 여기서, 상기 선택된 복수 개의 상기 얻어진 어레이들은 상기 추가적인 그룹으로부터 선택되는, 결합 이미지 형성방법.
  9. 제 8 항에 있어서,
    상기 추가적인 그룹에서의 강도 값들의 어레이들 중 적어도 하나는, 강도 신호들의 수에 대응하는 해상도로 이미지 프레임을 표현하기 위한 다수의 강도 신호들을 얻고, 어레이에서의 강도 값들이 얻어진 강도 신호들의 각 합들에 기초하는 방식으로 강도 값들의 어레이를 형성함으로써, 얻어지는, 결합 이미지 형성방법.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 최종 어레이에서의 적어도 하나의 영역의 어느 영역에 대하여, 각 셋트가 그 영역을 표현하고, 강도 값들의 어레이들의 선택된 복수 개의 상기 추가적인 그룹의 하나의 일부를 형성하는, 적어도 하나의 강도 값의 셋트들의 시퀀스의 어느 셋트도, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정 측정값 이상 벗어난 강도 값들을 포함하지 않는 경우, 상기 최종 어레이에서의 그 영역을 표현하는 강도 값들의 적어도 일부를 얻는 단계는, 상기 제 1 해상도로 이미지 프레임을 표현하기 위한 강도 값들의 얻어진 어레이들의 각 어레이에 기초하는 강도 값들의 적어도 하나의 어레이의 각각으로부터의 강도 값과, 강도 값들의 얻어진 어레이들의 각 어레이에 기초한 강도 값들의 적어도 하나의 어레이로부터의 강도값, 을 합산하는 단계를 포함하는, 결합 이미지 형성방법.
  11. 강도 값들의 어레이들의 시퀀스(22;33)를 처리하기 위한 시스템으로서, 각 어레이는 실질적으로 동일한 화면을 묘사하는 이미지 프레임들의 시퀀스의 하나를 표현하는데 적합하며, 상기 시스템은, 결합 이미지를 표현하는 강도 값들의 최종 어레이(27;28)를 형성하도록 구성되며, 여기서, 상기 최종 어레이(27;28)에서의 강도 값들의 적어도 일부를, 상기 얻어진 시퀀스(22;33)에서의 어레이들의 각 어레이들에 기초하는 강도 값들의 어레이들의 시퀀스의 각각으로부터의 강도 값을 합산함으로써, 얻도록 구성된 상기 시스템은, 상기 최종 어레이(27;28)에서의 적어도 하나의 영역의 어느 영역에 대해서, 각 셋트가 상기 영역을 표현하며 강도 값들의 선택된 복수 개의 상기 얻어진 어레이들 중 하나의 일부를 형성하는, 적어도 하나의 강도 값의 셋트들의 시퀀스의 어느 셋트가, 시퀀스의 다른 셋트들에서의 강도 값들로부터 소정의 측정값 이상으로 벗어난 강도 값들을 포함하는지를 결정하고, 그리고 그렇게 결정되면, 상기 최종 어레이에서의 그 영역을 표현하는 강도 값들의 각각을,
    (A) 벗어난 값들을 가지는 것으로 결정된 셋트를 포함하는 선택된 복수 개의 어레이들의 어레이들만의 각 어레이들에 기초하는 적어도 하나의 어레이의 각각으로부터의 각 강도 값으로부터, 또는
    (B) 강도 값들의 다른 셋트들 중 하나를 포함하는 선택된 복수 개의 어레이들의 어레이들만의 각 어레이들에 기초하는 적어도 하나의 어레이의 각각으로부터의 각 강도 값으로부터, 도출하도록 구성되는 것을 특징으로 하는 시스템.
  12. 제 11 항에 있어서,
    제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 수행하도록 구성된 시스템.
  13. 제 11 항 또는 제 12 항에 있어서,
    상기 시스템은,
    각 어레이가 이미지 캡쳐링 장치(5)의 광감성 표면을 연관된 노출시기에 걸쳐서 노출함으로써 얻어질 수 있는, 강도 값들의 어레이들의 제 1 시퀀스(19;29)를 얻고;
    사용자로부터 스트로보 레벨의 표시를 얻고; 그리고,
    상기 표시된 스트로보 레벨에 따라서, 어레이들의 제 1 시퀀스(19;29)의 어레이들의 수를 감소시킴으로서, 강도 값들의 어레이들의 제 2 시퀀스(22;33)를 형성함으로써; 강도 값들의 어레이들의 시퀀스를 얻도록 구성되며, 여기서 상기 시스템은, 스트로보 레벨의 표시를 얻기 위한 장치를 포함하는데, 상기 장치는, 스케일로 마크된 부분과 스케일 상의 포인트를 나타내기 위한 조정가능한 부재를 포함하는, 시스템.
  14. 이미징 장치로서, 제 11 항 내지 제 13 항 중 어느 한 항에 따른 시스템을 포함하는, 예를 들어, 디지털 카메라(1)인, 이미징 장치.
  15. 컴퓨터 프로그램으로서, 기계-판독가능한 매체에 통합되었을 때, 정보처리 능력들을 가지는 시스템이 제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 수행할 수 있도록 할 수 있는 지시들의 셋트를 포함하는, 컴퓨터 프로그램.
KR1020087011110A 2005-10-12 2005-10-12 복수 개의 이미지 프레임들을 기초로 하여 결합 이미지를형성하기 위한 방법 KR101348262B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2005/055188 WO2007042075A1 (en) 2005-10-12 2005-10-12 Method of forming a combined image based on a plurality of image frames

Publications (2)

Publication Number Publication Date
KR20080072647A true KR20080072647A (ko) 2008-08-06
KR101348262B1 KR101348262B1 (ko) 2014-01-08

Family

ID=36589272

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087011110A KR101348262B1 (ko) 2005-10-12 2005-10-12 복수 개의 이미지 프레임들을 기초로 하여 결합 이미지를형성하기 위한 방법

Country Status (6)

Country Link
US (1) US8150209B2 (ko)
EP (1) EP1934938A1 (ko)
JP (1) JP2009512038A (ko)
KR (1) KR101348262B1 (ko)
CN (1) CN101305398B (ko)
WO (1) WO2007042075A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007042074A1 (en) * 2005-10-12 2007-04-19 Active Optics Pty Limited Method of forming an image based on a plurality of image frames, image processing system and digital camera
US7872593B1 (en) * 2006-04-28 2011-01-18 At&T Intellectual Property Ii, L.P. System and method for collecting image data
JP5181948B2 (ja) * 2008-09-09 2013-04-10 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US9014490B2 (en) * 2011-02-15 2015-04-21 Sony Corporation Method to measure local image similarity and its application in image processing
CN103620642B (zh) * 2011-06-28 2015-03-11 乐天株式会社 商品图像处理装置、商品图像处理方法、信息记录介质、以及程序
US9767571B2 (en) * 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
CN103888689B (zh) * 2014-03-13 2017-10-31 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN104361572B (zh) * 2014-11-27 2017-12-29 百度在线网络技术（北京）有限公司 图片处理方法和装置
TW201624421A (zh) * 2014-12-17 2016-07-01 由田新技股份有限公司 影像資料產生方法及裝置
US9786077B2 (en) * 2015-09-30 2017-10-10 Gopro, Inc. Unified image processing for combined images based on spatially co-located zones
KR20190063803A (ko) 2017-11-30 2019-06-10 (주)이앤비소프트 오브젝트 이미지 합성 방법 및 장치
CN108717701B (zh) 2018-05-24 2021-03-02 北京乐蜜科技有限责任公司 一种制作影片残影特效的方法、装置、电子设备及介质
CN110933288B (zh) * 2018-09-19 2021-05-18 聚晶半导体股份有限公司 图像产生方法与电子装置
CN110971833B (zh) 2018-09-30 2021-05-14 北京微播视界科技有限公司 一种图像处理方法、装置、电子设备及存储介质
KR102252110B1 (ko) 2019-08-07 2021-05-17 한국과학기술연구원 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법
RU2718211C1 (ru) * 2019-12-13 2020-03-31 федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) Устройство объединения инфракрасных изображений

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5091972A (en) * 1990-09-17 1992-02-25 Eastman Kodak Company System and method for reducing digital image noise
JP3346481B2 (ja) * 1992-04-06 2002-11-18 日本電信電話株式会社 動画入力装置
JPH06121192A (ja) * 1992-10-08 1994-04-28 Sony Corp ノイズ除去回路
JPH10334212A (ja) * 1997-04-01 1998-12-18 Fuji Photo Film Co Ltd 付加情報付き画像ファイルからの画像プリントシステム
US5960108A (en) * 1997-06-12 1999-09-28 Apple Computer, Inc. Method and system for creating an image-based virtual reality environment utilizing a fisheye lens
US5987164A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
JP4511750B2 (ja) * 2001-02-27 2010-07-28 三菱重工業株式会社 車両監視システム
JP2002262059A (ja) * 2001-03-02 2002-09-13 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003189174A (ja) * 2001-12-20 2003-07-04 Acutelogic Corp 撮影装置及び撮影方法
JP4068485B2 (ja) 2002-09-30 2008-03-26 株式会社東芝 画像合成方法、画像合成装置、画像合成プログラム
JP2004194106A (ja) * 2002-12-12 2004-07-08 Canon Inc 撮像装置
JP2004272751A (ja) * 2003-03-11 2004-09-30 Seiko Epson Corp 複数のフレーム画像からの静止画像の生成
US7388603B2 (en) * 2003-06-10 2008-06-17 Raytheon Company Method and imaging system with intelligent frame integration
JP4360177B2 (ja) * 2003-10-30 2009-11-11 セイコーエプソン株式会社 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体
JP3926316B2 (ja) * 2003-10-31 2007-06-06 松下電器産業株式会社 撮像装置

Also Published As

Publication number Publication date
US8150209B2 (en) 2012-04-03
KR101348262B1 (ko) 2014-01-08
CN101305398B (zh) 2013-03-27
CN101305398A (zh) 2008-11-12
JP2009512038A (ja) 2009-03-19
EP1934938A1 (en) 2008-06-25
US20090220172A1 (en) 2009-09-03
WO2007042075A1 (en) 2007-04-19

Similar Documents

Publication Publication Date Title
KR101348262B1 (ko) 복수 개의 이미지 프레임들을 기초로 하여 결합 이미지를형성하기 위한 방법
KR101205842B1 (ko) 복수 개의 이미지 프레임들에 기초하여 이미지를 형성하기위한 방법, 이미지 처리 시스템, 및 디지털 카메라
JP4593449B2 (ja) 検知装置及びエネルギー場の検知方法
EP1883902B1 (en) Method of controlling an image capturing system, image capturing system and digital camera
US7548689B2 (en) Image processing method
US8896712B2 (en) Determining and correcting for imaging device motion during an exposure
EP1924966B1 (en) Adaptive exposure control
US8462221B2 (en) Method for producing high dynamic range images
US8466976B2 (en) Digital camera providing high dynamic range images
US8737755B2 (en) Method for creating high dynamic range image
US8582814B2 (en) Image processing method and system
US20130063622A1 (en) Image sensor and method of capturing an image
JP5144739B2 (ja) 画像取り込みシステムを制御する方法、画像取り込みシステム、および、デジタルカメラ
WO2005122084A1 (en) Method of motion correction in sequence of images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee