KR20130079114A - 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 장면 내의 모션의 레벨에 근거하여 최적화하기 위한 방법 및 카메라 - Google Patents

장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 장면 내의 모션의 레벨에 근거하여 최적화하기 위한 방법 및 카메라 Download PDF

Info

Publication number
KR20130079114A
KR20130079114A KR1020120082760A KR20120082760A KR20130079114A KR 20130079114 A KR20130079114 A KR 20130079114A KR 1020120082760 A KR1020120082760 A KR 1020120082760A KR 20120082760 A KR20120082760 A KR 20120082760A KR 20130079114 A KR20130079114 A KR 20130079114A
Authority
KR
South Korea
Prior art keywords
image
scene
image frame
motion
region
Prior art date
Application number
KR1020120082760A
Other languages
English (en)
Other versions
KR101781154B1 (ko
Inventor
퍼 캔너마크
안드레아스 닐슨
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20130079114A publication Critical patent/KR20130079114A/ko
Application granted granted Critical
Publication of KR101781154B1 publication Critical patent/KR101781154B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 상기 장면의 모션 레벨에 근거하여 최적화하기 위한 방법 및 카메라에 관한 것이다. 이는, 복수의 상기 영상 센서 프레임들로부터의 영상 데이터에 근거하여, 서로 다른 모션 레벨을 포함하는 장면의 영역들을 결정하는 단계와; 상기 영상 프레임을 위한 영상 프레임 영역들을 결정하는 단계와, 여기서 영상 프레임 영역은 상기 장면의 영역들 중 적어도 하나에 대응하고; 다수의 상기 영상 센서 프레임들로부터의 영상 데이터를 사용하여 각각의 영상 프레임 영역을 생성하여 각각의 영상 프레임 영역을 위한 영역 특정 노출 시간을 에뮬레이션함으로써 영상 프레임의 노출을 최적화하는 단계를 포함하고, 여기서 특정 영상 프레임 영역을 생성하기 위해 사용되는 상기 영상 센서 프레임들의 개수는 장면의 적어도 하나의 대응 영역 내의 모션 레벨에 근거한다.

Description

장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 장면 내의 모션의 레벨에 근거하여 최적화하기 위한 방법 및 카메라{CAMERA AND METHOD FOR OPTIMIZING THE EXPOSURE OF AN IMAGE FRAME IN A SEQUENCE OF IMAGE FRAMES CAPTURING A SCENE BASED ON LEVEL OF MOTION IN THE SCENE}
본 발명은 장면(scene)을 캡쳐하는 영상 프레임들의 시퀀스(sequence of image frames) 내의 영상 프레임의 노출(exposure)을 상기 장면(scene) 내의 모션 레벨에 근거하여 최적화하기 위한 방법에 관한 것이다. 본 발명은 또한 처리 능력(procesing capability)을 가진 디바이스 상에서 실행될 때 위의 방법을 실시하기 위한 프로그램이 수록된 컴퓨터-판독가능 기록 매체에 관한 것이다. 또한, 본 발명은 위의 컴퓨터-판독가능 기록 매체를 실행하는 처리 능력을 갖는 디바이스에 관한 것이다. 또한, 본 발명은 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 상기 장면 내의 모션 레벨에 근거하여 최적화하도록 된 카메라에 관한 것이다.
카메라는 빌딩, 도로, 상점 등을 모니터링하기 위하여 흔히 사용된다. 특히, 카메라는 모션의 존재(presence of motion)의 형태로 이벤트들을 검출 및/또는 추적하기 위하여 장면들을 모니터링하는데 사용된다.
카메라에 의해 모니터링되는 이벤트들의 모션 레벨에 따라, 카메라에 의해 모니터링되는 장면을 캡쳐하는 비디오 영상 스트림 내의 영상 프레임들의 시퀀스 내의 영상 프레임들의 노출 시간이 조정될 수 있다. 예를 들어, 미국 출원 US2008/0043112에 따르면, 캡쳐된 장면에 모션이 없거나 낮은 레벨의 모션이 존재하면 긴 노출 시간이 사용된다. 반대로, 모니터링되는 장면이 높은(high) 레벨의 모션을 갖는 이벤트들을 포함할 때, 더 짧은 노출 시간으로의 노출의 전환(switch)이 발생한다. 그러나, 이 방법의 문제는 더 짧은 노출 시간으로 전환될 때 노출 시간이 낮은 레벨의 모션을 갖는 이벤트들을 모니터링하기에는 너무 짧게 된다는 것이다. 특히, 약광(dim light) 조건 동안, 노출 시간이 너무 짧을 때, 낮은 레벨의 모션을 갖는 이벤트들의 디테일을 구분하기가 어려울 것이다. 게다가, 만약 높은 레벨의 모션을 갖는 이벤트의 검출이 실패한다면, 따라서, 긴 노출 시간이 사용된다면, 캡쳐된 영상에서 이벤트가 블러링(blurring)될 것이다.
위에 대한 해결책은 두 개 이상의 카메라, 즉 서로 다른 노출 시간을 갖는 서로 다른 카메라들을 사용하는 것이다. 그러나, 그러한 알려진 해결책은 비용이 많이 들고 사용하기에 문제가 있다.
본 발명의 목적은 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 상기 장면 내의 모션 레벨에 근거하여 최적화하는 방법을 개선될 수 있도록 하는 것이다.
본 발명의 추가의 목적은 높은 모션의 이벤트들을 블러링하지 않고 낮은 모션 또는 모션이 없는 이벤트들에 대해 향상된 신호 대 노이즈 비(signal to noise ratio)를 가능하게 하는 것이다.
이 목적들을 달성하기 위하여, 그리고 또한 하기의 설명으로부터 명백해질 추가적인 목적들을 달성하기 위하여, 본 발명은, 청구항 제1 항에 따르면, 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 상기 장면 내의 모션 레벨에 근거하여 최적화하는 방법; 청구항 제9 항에 따르면, 처리 능력을 갖는 디바이스 상에서 실행될 때 제1 항에 따른 방법을 구현하기 위한 프로그램이 수록된 컴퓨터-판독가능 기록 매체; 청구항 제10 항에 따르면, 제9 항에 따른 컴퓨터-판독가능 기록 매체를 실행하는 처리 성능을 갖는 디바이스; 그리고 청구항 제11 항에 따르면, 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 상기 장면 내의 모션 레벨에 근거하여 최적화하도록 된 카메라를 제공한다. 본 발명의 추가의 실시예들은 종속 청구항들에 개시된다.
특히, 본 발명의 제1 양상에 따르면, 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 상기 장면 내의 모션 레벨에 근거하여 최적화하기 위한 방법이 제공된다. 본 방법은, 복수의 이미지 센서 프레임들로부터의 이미지 데이터에 근거하여, 상이한 모션 레벨을 포함하는 장면의 영역들을 결정하는 단계와; 상기 영상 프레임을 위한 영상 프레임 영역들을 결정하는 단계와, 여기서 영상 프레임 영역은 장면의 적어도 하나의 영역에 대응하고; 그리고 다수의 영상 센서 프레임들로부터의 영상 데이터를 사용하여 각각의 영상 프레임 영역을 생성하여 각각의 영상 프레임 영역에 대해 영역 특정 노출 시간을 에뮬레이션(emulation)함으로써 영상 프레임의 노출을 최적화하는 단계를 포함하고, 여기서 특정 영상 프레임 영역을 생성하기 위해 사용되는 영상 센서 프레임들의 수는 상기 장면의 적어도 하나의 대응 영역 내의 모션 레벨에 근거한다.
이에 따라, 장면의 대응 영역 내의 모션 레벨에 근거하여, 서로 다른 영상 프레임 영역들에 대해 서로 다른 노출 시간들이 에뮬레이션되고 그럼으로써 영상 프레임의 노출이 최적화된다. 이로 인하여, 낮은 레벨의 모션을 갖는 장면의 영역들이 긴 에뮬레이션된 노출 시간을 사용하여 캡쳐될 수 있고 그리고 높은 레벨의 모션을 갖는 장면의 영역들이 짧은 노출 시간을 사용하여 캡쳐될 수 있다. 그러므로, 정지된 또는 느리게 움직이는 오브젝트의 디테일들이 향상됨과 동시에 빨리 움직이는 오브젝트들이 블러링없이 캡쳐될 수 있다. 장면의 정적 영역들(static regions)을 표시하는 영상 프레임의 영역들 또는 단지 작은 레벨의 모션(small level of motion)을 갖는 장면의 영역들이 향상된 신호 대 노이즈 비를 가질 것이다. 이는 영상 프레임의 이 영역들이 복수의 영상 센서 프레임들로부터의 영상 데이터를 사용하여 생성되기 때문이다.
각각의 영상 프레임 영역을 생성하기 위해 사용되는 영상 데이터는 장면의 대응하는 적어도 하나의 영역으로부터 발생된 영상 데이터 일 수 있다.
두개 이상의 영상 센서 프레임들로부터의 영상 데이터를 결합함으로써 적어도 하나의 영상 프레임 영역이 생성될 수 있다. 영상 프레임 영역들(이 영상 프레임 영역을 생성하기 위하여 두개 이상의 영상 센서 프레임들로부터의 영상 데이터가 사용됨)은 향상된 신호 대 노이즈 비를 보여줄 것이다. 두개 이상의 영상 센서 프레임들로부터의 영상 데이터를 결합하는 것은 두개 이상의 영상 센서 프레임들로부터의 영상 데이터를 더하고 그리고/또는 평균하는 것을 통해 수행될 수 있다.
장면의 영역 내의 모션 레벨은 장면의 영역 내의 모션의 이벤트들의 속도 및/또는 장면의 영역 내의 모션의 이벤트들의 개수에 대응할 수 있다. 속도는 장면의 영역 내의 모션의 이벤트의 실제 속도 또는 장면의 영역 내의 모션의 이벤트들의 평균 속도일 수 있다. 즉, (실제 또는 평균) 속도가 모션의 존재를 정의하기 위하여 사용될 수 있고, 움직이는 오브젝트들의 개수가 모션의 레벨을 정의하기 위하여 사용될 수 있다. 대안적으로, 움직이는 오브젝트들의 개수가 모션의 존재를 정의할 수 있고 (평균 또는 실제) 속도가 모션의 레벨을 정의할 수 있다. 본 기술분야의 당업자는, 모션의 레벨을 정의하기 위하여 많은 다른 대안들이 또한 예상될 수 있으나, 그것들 모두는 얼마나 많은 모션이 있는지를 나타내는 일종의 측정을 제공한다는 것을 인지할 것이다.
각각의 영상 센서 프레임은 단위 노출 시간을 사용하여 캡쳐될 수 있다.
각각의 영상 프레임 영역을 위한 영역 특정 노출 시간은 각각의 영상 센서 프레임을 위한 단위 노출 시간과 동일하거나 그보다 길 수 있다.
상기 복수의 영상 센서 프레임들은 장면의 상이한 영역들을 위한 모션 레벨의 통계 맵을 구성하기 위하여 사용될 수 있고, 여기서 상기 상이한 모션 레벨을 포함하는 장면의 영역들을 결정하는 단계는 상기 통계 맵을 분석함으로써 이루어질 수 있다. 통계 맵을 사용하여, 단일 이벤트를 놓칠 가능성이 감소될 것이다.
본 발명의 제2 양상에 따라, 처리 성능을 갖는 디바이스 상에서 실행될 때 상기한 방법을 구현하기 위한 프로그램이 수록된 컴퓨터-판독가능 기록 매체가 제공된다.
본 발명의 제3 양상에 따라, 위의 컴퓨터-판독가능 기록 매체를 실행하는 처리 성능을 갖는 디바이스가 제공된다.
본 발명의 제4 양상에 따라, 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 상기 장면 내의 모션 레벨에 근거하여 최적화하도록 된 카메라가 제공된다. 카메라는, 영상 센서 프레임들로서 영상 데이터를 캡쳐 및 출력하도록 된 영상 센서; 복수의 영상 센서 프레임들로부터의 영상 데이터에 근거하여, 상이한 모션 레벨을 포함하는 장면의 영역들을 결정하도록 된 모션 검출 모듈; 상기 영상 프레임을 생성하도록 된 영상 프레임 생성 모듈을 포함하며, 여기서 상기 영상 프레임 생성 모듈은 상기 영상 프레임을 영상 프레임 영역들로 분할하도록 되어 있고, 여기서 영상 프레임 영역은 장면의 적어도 하나의 영역에 대응하고, 여기서 상기 영상 프레임 생성 모듈은 다수의 영상 센서 프레임들로부터의 영상 데이터를 사용하여 각각의 영상 프레임 영역을 생성하도록 되어있고, 특정 영상 프레임 영역을 생성하기 위하여 사용되는 영상 센서 프레임들의 개수는 장면의 대응 영역 내의 모션의 레벨에 근거하고, 그럼으로써 상기 영상 프레임 생성 모듈은, 상기 장면의 대응 영역 내의 모션 레벨에 근거하여, 상이한 영상 프레임 영역들에 대해 상이한 노출 시간을 에뮬레이션하고 그럼으로써 영상 프레임의 노출이 최적화된다.
상기 영상 프레임 생성 모듈은 장면의 대응하는 적어도 하나의 영역으로부터 발생하는 영상 데이터를 사용하여 각각의 영상 프레임 영역을 생성하도록 될 수 있다.
상기 영상 프레임 생성 모듈은 두개 이상의 영상 센서 프레임들로부터의 영상 데이터를 결합하여 적어도 하나의 영상 프레임 영역을 생성하도록 될 수 있고, 여기서 상기 영상 프레임 생성 모듈은 두개 이상의 영상 센서 프레임들로부터의 영상 데이터를 더하고 그리고/또는 평균함으로써 두개 이상의 영상 센서 프레임들로부터의 영상 데이터를 결합하도록 될 수 있다.
상기 모션 검출 모듈은 상기 복수의 영상 센서 프레임들을 사용하여 장면의 상이한 영역들에 대한 모션 레벨의 통계 맵을 구성하도록 될 수 있고, 여기서 상기 모션 검출 모듈은 상기 통계 맵을 분석함으로써 상이한 모션 레벨을 포함하는 장면의 영역들을 결정하도록 될 수 있다.
본 발명의 이러한 그리고 다른 양상들이 이제 본 발명의 실시예들을 보여주는 첨부된 도면들을 참조로 더 자세히 설명될 것이다. 도면들이 본 발명을 특정한 실시예로 제한하는 것으로 고려되어서는 안된다. 대신에, 도면들은 본 발명을 설명하고 이해하기 위하여 사용된다.
도 1은 본 발명의 실시예에 따른 디지털 네트워크 카메라의 개략도이다.
도 2는 본 발명의 실시예에 따른 방법을 보여주는 개략적인 흐름도이다.
도 1은 본 발명의 실시예에 따른 카메라(1)의 개략도를 보여준다. 카메라(1)은 예를 들어, 디지털 네트워크 비디오 카메라일 수 있다. 카메라는, 예를 들어, 모니터링 목적으로 사용될 수 있다. 또한, 카메라(1)은 고정형 카메라이거나 팬/틸트 기능을 가진 카메라일 수 있다. 본 발명의 이해를 돕기 위하여, 본 발명에 관련없는 카메라의 표준 피쳐들은 설명되지 않는다. 카메라(1)은 하우징(2), 렌즈(3), 영상 센서(4), 모션 검출 모듈(6), 영상 프레임 생성 모듈(8), 메모리(10) 및 프로세서(12)를 포함한다.
영상 센서(4)는 카메라(1)에 의해 보여지는 장면을 나타내는 영상 데이터를 캡쳐하고 상기 영상 데이터를 영상 센서 프레임들로서 출력하도록 되어있다. 영상 센서(4)는, 입사 광을 인식(register)하기 위한, 예를 들어, CCD(Charge Coupled Device), CMOS-센서 또는 이와 유사한것일 수 있다. 대안적으로, 영상 센서(4)는 볼로미터 또는 IR-검출기와 같은 비가시 광(non visible light)을 인식하는 센서일 수 있다.
보통, 각각의 영상 센서 프레임은 단위 노출 시간(unit exposure time)을 갖는다. 단위 노출 시간은 장면 내의 광의 레벨 및/또는 장면 내의 전체 모션 레벨에 따라 달라질 수 있다.
모션 검출 모듈(6)은 영상 센서(4)로부터 출력되는 영상 센서 프레임들의 영상 데이터를 분석하도록 되어 있다. 보통, 비디오 시퀀스를 구성하는 복수의 영상 센서 프레임들에 대응하는 영상 데이터가 모션의 존재를 결정하기 위하여 분석된다. 모션 검출 방법의 예는 비디오 시퀀스의 영상 볼륨 내의 공간적-시간적 변화(spatial-temporal changes)를 분석하는 것을 포함한다. 이러한 방법은 당업계에 잘 알려져 있다. 이러한 방법의 제한적이지 않은 예가 미국 특허 출원 US2010/0080477에 기재되어 있다.
모션 검출 방법들으로부터, 모션 이벤트들뿐만 아니라 장면 내의 어디에서 이 이벤트들이 발생했는지, 이 이벤트들이 얼마나 많은지 및/또는 이 모션 이벤트들의 속도가 찾아질 수 있다. 용어 "모션 이벤트"는, 본 명세서의 내용에서, 모션의 존재(presence of motion)로서 이해되어야 한다. 따라서, 카메라에 의해 보여지고 있는 서로 다른 장면 영역들 내의 모션의 레벨이 결정될 수 있다. 장면의 영역 내의 "모션의 레벨"이라는 용어는, 본 명세서의 내용에서, 장면의 영역 내의 모션 이벤트들(즉, 움직이는 오브젝트들)의 속도 및/또는 장면의 영역 내의 모션 이벤트들의 개수로서 이해되어야 한다. 속도는 장면의 영역 내의 모션 이벤트의 실제 속도 또는 장면의 영역 내의 모션 이벤트들의 평균 속도일 수 있다. 즉, (실제 또는 평균) 속도가 모션의 존재를 정의하기 위하여 사용될 수 있고 움직이는 오브젝트들의 개수가 모션의 레벨을 정의하기 위하여 사용될 수 있다. 대안적으로, 움직이는 오브젝트들의 개수가 모션의 존재를 정의할 수 있고 (실제 또는 평균) 속도가 모션의 레벨을 정의할 수 있다. 본 기술분야의 통상의 기술자는, 모션의 레벨을 정의하기 위한 많은 다른 대안들이 또한 예상될 수 있으나 이들 모두가 얼마나 많은 모션이 있는지를 나타내는 일종의 척도(measure)을 제공한다는 것을 인지할 것이다. 용어 "장면의 영역"은, 본 출원의 내용에서, 복수의 영상들을 캡쳐하도록된 카메라의 장면의 영역으로서 이해되어야 한다. 영역은 카메라의 영상 뷰 내의 좌표(coordinate)로서, 예컨대 픽셀 좌표 시스템을 사용하여 표현될 수 있으나, 다른 표현들 또한 사용될 수 있다. 장면의 각각의 영역의 사이즈 및 장면 내의 모션 이벤트의 규모(extent)에 따라, 모션 이벤트가 장면의 하나 이상의 영역을 커버할 수 있고; 따라서 일 실시예에서, 결정된 모션 이벤트의 존재는 결과적으로 장면의 하나 이상의 영역 내에 모션이 존재하게 할 것이다. 또 다른 실시예에서, 카메라에 의해 보여지는 장면 내의 각각의 영역은, 카메라의 팬/틸트 설정과 함께, 위치, 예를 들어, 카메라의 현재 영상 뷰 내의 하나 이상의 픽셀들에 의해 표현된다(즉, 상기 복수의 영상 센서 프레임들 중 일 프레임 내의 픽셀 좌표에 의해 표현된다). 이는 팬/틸트 기능을 갖는 카메라에 대해 적용가능하다. 따라서, 팬/틸트 카메라에 의해 보여지는 장면 내에서 영역이 결정될 수 있다.
모션 검출 모듈(6)은, 복수의 영상 센서 프레임들로부터의 영상 데이터에 근거하여, 카메라에 의해 보여지는, 서로 다른 모션 레벨을 포함하는 장면의 영역들을 결정하도록 되어있다. 가장 간단한 형태에서, 상기 복수의 영상 센서 프레임들은 두 개이다. 이 두 영상 센서 프레임들 내에 표시된 장면의 서로 다른 영역들에 대해, 위에서 열거된 방법들 중 임의의 한 방법, 또는 두 개의 영상 센서 프레임들 사이의 영상 데이터를 비교함으로써 장면의 서로 다른 영역들 내의 모션들의 레벨을 결정하기 위한 임의의 다른 적절한 방법에 따라 모션의 레벨이 결정된다. 위의 방법들 중 일부 그리고 또한 장면의 서로 다른 영역들 내의 모션의 레벨을 결정하기 위해 사용되는 다른 방법들은 서로 다른 영역들에 대해 상기 모션 레벨을 결정할 때 2개 이상의 영상 센서 프레임들을 사용할 수 있다. 따라서, 모션 검출 모듈(6)은, 복수의 영상 센서 프레임들로부터의 영상 데이터에 근거하여, 서로 다른 모션 레벨을 포함하는 장면 영역들을 결정하도록 되어 있다. 그러므로, 카메라(1)에 의해 보여지는 장면은 모션 레벨에 따라 복수의 영역들로 분할된다.
일 실시예에 따르면, 모션 검출 모듈(6)은 복수의 영상 센서 프레임들을 사용하여 서로 다른 장면 영역들에 대한 모션 레벨의 통계 맵을 구성하도록 되어 있다. 맵은 시간에 걸쳐 형성되거나 이력 데이터(historical data)로부터 구성될 수 있다. 모션 검출 모듈(6)은 또한 상기 통계 맵을 분석함으로써 상이한 모션 레벨을 포함하는 장면의 영역들을 결정하도록 구성된다. 이 실시예에서, 상기 복수의 영상 센서 프레임들은 많은 수의 영상 센서 프레임들(예를 들어, 몇 분, 몇 시간, 또는 며칠 동안 수집되는 영상 센서 프레임들)이다. 사용하기 위한 보통의 프레임 레이트는 초당 60 프레임이다. 그러나, 당업자에게 잘 알려진 바와 같이, 응용에 따라 다른 프레임 레이트들이 또한 사용될 수 있다. 이 많은 수의 영상 센서 프레임들은 카메라에 의해 보여지는 장면의 서로 다른 영역들 내의 모션 레벨의 맵을 구성하기 위하여 사용된다.
모션 이벤트들을 위한 복수의 영상 센서 프레임들을 분석함으로써 모션 레벨의 통계 맵이 형성된다. 일반적으로, 모션의 이벤트를 나타내는데 사용되는 데이터는 모션 검출 모듈(6) 내의 모션 검출 알고리즘으로부터의 출력 데이터이다. 모션 검출 알고리즘으로부터의 출력 데이터는, 이벤트의 속도 및 장면의 어느 영역에서 이벤트가 발생했는지를 포함할 수 있다. 복수의 영상 센서 프레임들을 분석할 때 발견된 각각의 모션 이벤트가 통계 맵에 등록된다. 따라서, 통계 맵은 장면의 상이한 영역들에 대한 모션 레벨을 나타내는 정보를 포함하도록 형성된다. 그러한 통계 맵은 3D 히스토그램 또는 주파수 맵으로 표현될 수 있다. 따라서, 3D 히스토그램 또는 주파수 맵 내의 장면의 영역에 대응하는 각각의 bin이, 그 특정 위치에서 모션 이벤트가 얼마나 많이 발생했는지 그리고 또는 이 모션 이벤트들의 속도가 무엇인지를 표시하는 값인 모션 레벨을 포함한다. 속도는 장면의 영역 내의 모션 이벤트의 실제 속도이거나 장면의 영역 내의 모션 이벤트들의 평균 속도일 수 있다. 대안적으로, 통계 맵이 수학 식으로 표현될 수 있는바, 예를 들어, 평면이 다항식(polynominal)이고 여기서 장면의 각 영역 내의 모션 레벨이 특정 위치에서의 이 다항식의 값이다. 따라서, 장면의 상기 결정된 장면 영역들 각각 내의 모션 레벨은, 모션 이벤트들이 일반적으로 나타나는 영역들 및 또한 모션 이벤트들이 일반적으로 나타나지 않는 영역들을 표시한다. 이는 하기의 예에 의해 더 설명될 것이다. 상점 앞의 도로 및 인도의 일부 부분을 여전히 보면서 길가의 상점의 입구를 모니터링하고 있는 카메라를 상상하기로 한다. 이 장면에서, 일반적으로 도로 위에는 많은 자동차의 움직임(movement)이 있을 것이고, 인도 위에는 어느 정도 덜한 사람들의 움직임이, 그리고 빌딩의 벽(들)을 커버하는 영상 부분들에는 심지어 더 적은 움직임이 있을 것이다. 따라서, 서로 다른 장면 영역들에 대해 위에서 언급한 모션 레벨의 통계 맵을 사용하여, 도로에 대응하는 영역에서 모션의 레벨이 높고, 인도에 대응하는 영역에서 모션의 레벨이 더 낮고 빌딩의 벽(들)에 대응하는 영역에서 모션의 레벨이 심지어 더 낮다는 것이 통계적으로 발견될 수 있다.
통계 맵은 동적으로 갱신될 수 있다. 즉, 더 많은 영상 데이터가 캡쳐됨에 따라 새로 캡쳐된 영상 센서 프레임들로부터의 새로 발견된 모션 이벤트들에 관련된 데이터가 시간에 걸쳐 통계 맵을 갱신하는데 사용될 수 있다. 갱신은 다양한 방식들로 트리거링될 수 있다. 일 실시예에 따르면, 갱신은 특정 양의 영상 데이터가 캡쳐된 때 트리거링된다. 또 다른 실시예에 따르면, 갱신은 최종 갱신 이후 특정 시간 기간이 경과됨에 의해 트리거링된다. 갱신은, 예를 들어, 새로 캡쳐되고 분석된 영상 센서 프레임들로부터 비롯된 모션 이벤트들에 관련된 데이터가 단순히 통계 맵을 갱신하는데 사용되는 것일 수 있다. 또 다른 실시예에 따르면, 갱신은 오래된 모션 이벤트들을 삭제함으로써 이루어질 수 있다. 추가의 실시예에 따르면, 새로 캡쳐되고 분석된 영상 센서 프레임들로부터 발생하는 이벤트들에 관련된 데이터가 통계 맵을 갱신하는데 사용되고 오래된 모션 이벤트들에 대응하는 데이터가 맵으로부터 제거된다.
영상 프레임 생성 모듈(8)은 카메라(1)에 의해 보여지는 장면을 캡쳐하는 비디오 영상 스트림 내의 영상 프레임들의 시퀀스를 생성하도록 되어 있다. 영상 프레임 생성 모듈(8)에 의해 생성되는 각각의 영상 프레임은 영역들로 나누어지고, 여기서 영상 프레임 영역이 장면의 영역에 대응한다. 영상 프레임 생성 모듈(8)은 하나 이상의 영상 센서 프레임들로부터의 영상 데이터를 사용하여 장면을 캡쳐하는 비디오 영상 스트림 내의 상기 영상 프레임들의 시퀀스 내의 영상 프레임의 영역을 생성하도록 되어 있다. 상기 영상 프레임의 특정 영역을 생성하기 위해 사용되는 영상 센서 프레임들의 개수는 대응하는 장면 영역 내의 모션 레벨에 근거한다. 따라서, 대응하는 장면 영역 내의 모션 레벨에 근거하여, 영상 프레임의 서로 다른 영역들에 대해 서로 다른 노출 시간들이 에뮬레이션된다. 이에 의해 상기 영상 프레임의 노출이 최적화된다. 높은 레벨 모션을 갖는 상기 영상 프레임 영역들은 단지 하나 또는 몇 개의 제1 개수의 영상 센서 프레임들로부터의 영상 데이터를 사용하여 생성된다. 따라서, 이 영역들에 대해 짧은 노출 시간이 에뮬레이션 된다. 반면, 저 모션 레벨을 갖는 상기 영상 프레임의 영역들은 제2 개수의 영상 센서 프레임들로부터의 영상 데이터를 사용하여 생성된다. 따라서, 이 영역들에 대해 긴 노출 시간이 에뮬레이션된다. 상기 영상 센서 프레임들의 제2 개수는 상기 영상 센서 프레임들의 제1 개수보다 크다. 즉, 특정 영상 프레임 영역을 생성하는데 사용되는 영상 센서 프레임들의 개수는 대응하는 장면 영역 내의 모션 레벨에 의존한다. 따라서, 저 모션 레벨을 갖는 상기 영상 프레임의 제1 영역을 위한 노출 시간이 높은 모션 레벨을 갖는 영상 프레임의 제2 영역을 위한 제2 노출 시간보다 길다.
영상 프레임의 임의의 영역에서의 노출 시간을 에뮬레이션하기 위해 사용되는 영상 센서 프레임들의 개수는 서로 다른 모션 레벨을 포함하는 장면의 영역들을 결정하기 위해 사용되는 영상 센서로부터의 복수의 영상 센서 프레임들보다 높을 수 있다. 이 반대의 경우, 즉, 영상 프레임의 임의의 영역에서의 노출 시간을 에뮬레이션하기 위해 사용되는 영상 센서로부터의 영상 센서 프레임들의 개수가 서로 다른 모션 레벨을 포함하는 장면의 영역들을 결정하기 위해 사용되는 영상 센서로부터의 복수의 영상 센서 프레임들보다 낮은 것(또는 동일한 양인 것)이 또한 가능하다.
영상 프레임의 영역을 생성하기 위하여 사용되는 영상 센서 프레임들의 개수가 2개 이상인 경우, 영상 프레임 생성 모듈(8)은 상기 개수의 영상 센서 프레임들로부터의 영상 데이터를 더함으로써 상기 개수의 영상 센서 프레임들로부터의 영상 데이터를 결합하여 상기 영상 프레임의 영역을 생성하도록 되어 있다. 대안적으로, 영상 프레임 생성 모듈(8)은 상기 개수의 영상 센서 프레임들로부터의 영상 데이터를 평균함으로써 상기 개수의 영상 센서 프레임들로부터의 영상 데이터를 결합하여 상기 영상 프레임의 영역을 생성하도록 되어 있다. 다수의 영상 센서 프레임들로부터의 영상 데이터를 더하거나 평균하여 더 긴 노출 시간을 에뮬레이션함으로써-소위 영상 스태킹(오늘날 천체사진술(astrophotography) 분야에서 널리 사용됨-, 신호 대 노이즈 비가 증가한다.
모션 검출 모듈(6) 및/또는 영상 프레임 생성 모듈(8)이 하드웨어 또는 소프트웨어를 사용하여 구현될 수 있다는 것이 알려져 있다. 만약 소프트웨어로 구현된다면, 소프트웨어는, 카메라(1)의 프로세서(10)에 의해 실행되기 위하여, 컴퓨터-판독가능 기록 매체, 예를 들어, 카메라(1)의 메모리(10)에 기록될 수 있다.
도 2는 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 상기 장면의 모션 레벨에 근거하여 최적화기 위한 방법의 실시예에 따른 개략적인 흐름도를 도시한다. 방법은 다음의 단계들을 포함한다. 복수의 영상 센서 프레임들로부터의 영상 데이터에 근거하여, 서로 다른 모션 레벨을 포함하는 장면의 영역들을 결정하는 단계(100)와; 상기 영상 프레임을 위한 영상 프레임 영역들을 결정하는 단계(102)와, 여기서, 영상 프레임 영역은 장면의 적어도 일 영역에 대응하며; 다수의 영상 센서 프레임들로부터의 영상 데이터를 사용하여 각각의 영상 프레임 영역을 생성함으로써 각각의 영상 프레임 영역을 위한 영역 특정 노출 시간을 에뮬레이션하여 영상 프레임의 노출을 최적화하는 단계(104)와, 여기서 특정 영상 프레임 영역을 생성하는데 사용되는 영상 센서 프레임들의 개수는 장면의 적어도 하나의 대응하는 영역 내의 모션 레벨에 근거한다.
단계(100) 동안, 복수의 영상 센서 프레임들이 분석되고 모션 이벤트들이 검출된다. 모션 이벤트들은 전형적으로 모션 검출 알고리즘을 통해 식별된다. 장면의 각각의 특정 영역에 대한 모션 레벨을 찾기 위하여 장면의 각각의 영역에 대한 모션 이벤트들의 개수 및/또는 장면의 각각의 영역에 대한 모션 이벤트들의 속도가 결정된다.
각각의 영상 프레임 영역을 생성하는데 사용되는 영상 데이터는 장면의 대응하는 적어도 하나의 영역으로부터 비롯된 영상 데이터이다. 두 개 이상의 영상 센서 프레임들로부터의 영상 데이터가 사용될 때, 영상 데이터는 영상 데이터를 더하고 그리고/또는 평균하는 것을 통해 결합된다.
일 실시예에 따르면, 장면 내의 모션 레벨에 근거하여, 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 최적화하는 방법은, 복수의 영상 센서 프레임들로부터의 영상 데이터에 근거하여, 제1 모션 레벨을 포함하는 장면의 제1 영역 및 제2 모션 레벨을 포함하는 장면의 제2 영역을 결정하는 단계 및 상기 영상 프레임의 제1 영역을 위한 제1 노출 시간 및 상기 영상 프레임의 제2 영역을 위한 제2 노출 시간을 에뮬레이션함으로써 영상 프레임의 노출을 최적화하는 단계를 포함하고, 상기 영상 프레임의 제1 영역은 장면의 제1 영역에 대응하고 그리고 상기 영상 프레임의 제2 영역은 장면의 제2 영역에 대응한다. 노출 시간의 에뮬레이션은 제1 개수의 영상 센서 프레임들로부터의 영상 데이터를 사용하여 상기 영상 프레임의 제1 영역을 생성하는 단계와, 여기서 상기 영상 프레임의 제1 영역을 생성하는데 사용되는 영상 센서 프레임들의 제1 개수는 장면의 제1 영역 내의 모션 레벨에 근거하고, 그리고 제2 개수의 영상 센서 프레임들로부터의 영상 데이터를 사용하여 상기 영상 프레임의 제2 영역을 생성하는 단계에 의해 이루어지고, 여기서 상기 영상 프레임의 제2 영역을 생성하는데 사용되는 영상 센서 프레임들의 제2 개수는 장면의 제2 영역 내의 모션 레벨에 근거한다. 영상 프레임의 제1 영역을 생성하는데 사용되는 영상 데이터는 장면의 제1 영역으로부터 비롯된 영상 데이터이고 영상 프레임의 제2 영역을 산출하는데 사용되는 영상 데이터는 장면의 제2 영역으로부터 비롯된 영상 데이터이다. 모션의 제1 레벨은 모션의 제2 레벨보다 낮고 상기 제1 노출 시간은 상기 제2 노출 시간보다 길다. 상기 영상 프레임의 제1 영역을 생성하기 위해 사용되는 영상 센서 프레임들의 제1 개수는 2 이상이고 상기 영상 프레임의 제2 영역을 산출하기 위해 사용되는 영상 센서 프레임들의 제2 개수는 1 이상이다. 제2의 에뮬레이션된 노출 시간은 상기 복수의 영상 센서 프레임들 내의 각각의 개별 영상 센서 프레임들에 대한 노출 시간과 동일하거나 더 길다. 모든 영상 센서 프레임들은 단위 노출 시간(unit exposure time)을 가진다. 상기 제1 영역 내의 모션 레벨 및 상기 제2 영역 내의 모션 레벨은 대응하는 영역 내의 모션 이벤트들의 실제 또는 평균 속도 및/또는 대응하는 영역 내의 모션 이벤트들의 개수에 대응할 수 있다. 상기 영상 프레임의 영역을 생성하기 위해 사용되는 영상 센서 프레임들의 수가 2 이상일 때, 상기 영상 프레임 영역의 생성은, 상기 개수의 영상 센서 프레임들로부터의 영상 데이터를 더하고/더하거나 상기 개수의 영상 센서 프레임들로부터의 영상 데이터를 평균하여 상기 개수의 영상 센서 프레임들로부터의 영상 데이터를 결합함으로써 이루어진다.
요약하면, 카메라에 의해 보여지거나 모니터링되는 장면의 서로 다른 영역들 내의 모션 레벨을 결정하기 위하여 적어도 두 개의 영상 센서 프레임들이 비교된다. 장면을 캡쳐하는 비디오 영상 스트림 내의 영상 프레임들의 시퀀스 내의 영상 프레임들의 노출은 장면의 대응하는 서로 다른 영역들 내의 모션 레벨에 근거하여 국부적으로(locally)(영상 프레임들의 영역 내에서) 최적화된다. 영상 프레임들의 상이한 영역들에 대해 상이한 노출 시간들을 국부적으로 에뮬레이션함으로써 영상 프레임들의 노출의 최적화가 이루어진다. 비디오 영상 스트림 내의 상기 영상 프레임들의 시퀀스의 영상 프레임의 노출은, 상이한 개수의 영상 센서 프레임들로부터의 영상 데이터를 사용하여 상기 영상 프레임의 상이한 영역들을 생성함으로써 상기 영상 프레임의 상이한 영역들에 대해 상이한 노출 시간을 국부적으로 에뮬레이션함으로써 최적화된다. 특정 영역을 위해 사용될 영상 센서 프레임들의 개수는 대응하는 장면 영역의 모션 레벨에 근거한다. 영상 프레임의 특정 영역을 생성하기 위하여 두 개 이상의 영상 센서 프레임들로부터의 영상 데이터가 사용되는 경우, 합산 및/또는 평균에 의해 상기 두 개 이상의 영상 센서 프레임들로부터의 영상 데이터가 결합된다. 따라서, 대응하는 장면 영역 내의 모션 레벨에 근거하여 상이한 영상 프레임 영역들을 위한 상이한 노출 시간이 에뮬레이션될 수 있고 그럼으로써 영상 프레임의 노출이 최적화된다.
본 기술분야의 통상의 기술자는 본 발명이 위에 기술된 실시예들로 제한되지 않는다는 것을 인지한다.
예를 들어, 본 발명은 디지털 및 아날로그 카메라 둘 모두에 적용가능하다. 오늘날의 지능형 아날로그 카메라에서, 디지털 영상 프로세싱이 카메라 내에서 수행되고 그후 디지털 신호가 카메라를 떠나기 전 아날로그 신호로 변환된다. 또한, 아날로그 카메라에 연결된 영상 A/D 컨버터를 사용하여, 더 간단한 아날로그 카메라가 사용될 수 있다.
또한, 카메라(1)는 네트워크에 연결될 수 있고, 독립형 카메라이거나 다른 방식으로 시스템 내에 연결될 수 있다.
또한, 복수의 영상들은 정지된(still) 영상들 또는 움직이는(moving) 영상들이거나 그 조합일 수 있다.
그리고 또한, 본 발명은 카메라 내에 구현되어야만 하는 것은 아니며, 대신에, 카메라 및 처리 유닛을 포함하는 카메라 시스템 내에 구현될 수 있다. 따라서, 카메라가, 예를 들어, 네트워크를 통해 처리 유닛에 연결된다. 이 실시예에 따르면, 카메라가 캡쳐하여 상기 영상 센서 프레임들을 생성하도록 되어 있고, 처리 유닛이 영상 데이터를 처리하도록 되어 있다. 따라서, 처리 유닛은 상기 모션 검출 모듈(6), 상기 영상 프레임 생성 모듈(8), 상기 메모리(10) 및 상기 프로세서(12)를 포함한다. 복수의 카메라들이 처리 유닛에 연결될 수 있고, 여기서 처리 유닛은 복수의 카메라들 중 각 하나에 의해 캡쳐되는 영상들을 처리하도록 되어 있다.
따라서, 첨부된 청구항들의 범주 내에서 많은 수정 및 변형이 가능하다.

Claims (15)

  1. 장면(scene)을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임을 상기 장면 내의 모션 레벨에 근거하여 생성하는 방법으로서, 상기 영상 프레임들의 시퀀스 내의 영상 프레임은 최적화된 노출(exposure)을 가지며,
    상기 장면을 나타내는 영상 센서 프레임들에 액세스하는 단계와;
    복수의 상기 영상 센서 프레임들로부터의 영상 데이터에 근거하여, 서로 다른 모션 레벨을 포함하는 상기 장면의 영역들을 결정하는 단계(100)와;
    상기 영상 프레임을 위한 영상 프레임 영역들을 결정하는 단계(102)와, 영상 프레임 영역은 상기 장면의 영역들 중 적어도 하나에 대응하며;
    다수의 상기 영상 센서 프레임들로부터의 영상 데이터를 사용하여 각각의 영상 프레임 영역을 생성하여 각각의 영상 프레임 영역을 위한 영역 특정 노출 시간을 에뮬레이션함으로써 영상 프레임의 노출을 최적화하는 단계(104)를 포함하고, 여기서 특정 영상 프레임 영역을 생성하기 위해 사용되는 상기 영상 센서 프레임들의 개수는 장면의 적어도 하나의 대응 영역 내의 모션 레벨에 근거한 것을 특징으로 하는 영상 프레임을 생성하는 방법.
  2. 제1 항에 있어서, 각각의 영상 프레임 영역을 생성하는데 사용되는 영상 데이터는 장면의 대응하는 적어도 하나의 영역으로부터 비롯된(originating) 영상 데이터인 것을 특징으로 하는 영상 프레임을 생성하는 방법.
  3. 제1 항 또는 2 항에 있어서, 두 개 이상의 영상 센서 프레임들로부터의 영상 데이터를 결합(combine)함으로써 적어도 하나의 영상 프레임 영역이 생성되는 것을 특징으로 하는 영상 프레임을 생성하는 방법.
  4. 제3 항에 있어서, 두 개 이상의 영상 센서 프레임들로부터의 영상 데이터를 결합하는 것은 두 개 이상의 영상 센서 프레임들로부터의 영상 데이터를 더하고/더하거나 평균하는 것을 통해 수행되는 것을 특징으로 하는 영상 프레임을 생성하는 방법.
  5. 제1 항 내지 4 항 중 임의의 한 항에 있어서,
    상기 장면의 영역 내의 모션 레벨은 상기 장면의 영역 내의 모션 이벤트들의 속도 및/또는 상기 장면의 영역 내의 모션 이벤트들의 개수에 대응하는 것을 특징으로 하는 영상 프레임을 생성하는 방법.
  6. 제1 항 내지 5 항 중 임의의 한 항에 있어서, 각각의 영상 센서 프레임은 단위 노출 시간(unit exposure time)을 사용하여 캡쳐되는 것을 특징으로 하는 영상 프레임을 생성하는 방법.
  7. 제6 항에 있어서, 각각의 영상 프레임 영역을 위한 영역 특정 노출 시간은 각각의 영상 센서 프레임을 위한 단위 노출 시간과 동일하거나 더 긴 것을 특징으로 하는 영상 프레임을 생성하는 방법.
  8. 제1 항 내지 7 항 중 임의의 한 항에 있어서, 상기 복수의 영상 센서 프레임들은 장면의 서로 다른 영역들에 대한 모션 레벨의 통계 맵(statistical map)을 구성하는데 사용되고, 상기 서로 다른 모션 레벨을 포함하는 상기 장면의 영역들을 결정하는 단계는 상기 통계 맵을 분석함으로써 이루어지는 것을 특징으로 하는 영상 프레임 시퀀스 내의 영상 프레임을 생성하는 방법.
  9. 처리 성능을 갖는 디바이스(1) 상에서 실행될 때 제1 항 내지 9 항 중 임의의 한 항에 따른 방법을 구현하기 위한 프로그램이 수록된 컴퓨터-판독가능 기록 매체(10).
  10. 제9 항에 따른 컴퓨터-판독가능 기록 매체(10)를 실행하는 처리 성능을 갖는 디바이스(10).
  11. 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임을 상기 장면 내의 모션 레벨에 근거하여 생성하도록 된 카메라(1)로서, 상기 영상 프레임들의 시퀀스 내의 영상 프레임은 최적화된 노출을 가지고, 카메라(1)는,
    영상 센서 프레임들로서 영상 데이터를 캡쳐 및 출력하도록 된 영상 센서(3)와;
    상기 영상 프레임을 생성하도록 된 영상 프레임 생성 모듈(8)과, 상기 영상 프레임 생성 모듈(8)은 상기 영상 프레임을 영상 프레임 영역들로 분할하도록 되어 있고, 그리고 상기 영상 프레임 생성 모듈(8)은 다수의 상기 영상 센서 프레임들로부터의 영상 데이터를 사용하여 각각의 영상 프레임 영역을 생성하도록 되어 있고;
    복수의 상기 영상 센서 프레임들로부터의 영상 데이터에 근거하여, 상이한 모션 레벨을 포함하는 상기 장면의 영역들을 결정하도록 된 모션 검출 모듈(6)을 포함하고, 영상 프레임 영역은 상기 장면의 영역들 중 적어도 하나에 대응하고, 그리고
    특정 영상 프레임 영역을 생성하기 위하여 사용되는 영상 센서 프레임들의 개수는 적어도 하나의 대응하는 상기 장면의 영역 내의 모션 레벨에 근거하고,
    상기 영상 프레임 생성 모듈(8)은 상기 장면의 적어도 하나의 대응하는 영역 내의 모션 레벨에 근거하여 서로 다른 영상 프레임 영역들을 위한 서로 다른 노출 시간들을 에뮬레이션하도록 되어 있고, 이에 의해 영상 프레임의 노출이 최적화되는 것을 특징으로 하는 카메라.
  12. 제11 항에 있어서, 상기 영상 프레임 생성 모듈(8)은 상기 장면의 대응하는 적어도 하나의 영역으로부터 비롯된 영상 데이터를 사용하여 각각의 영상 프레임 영역을 생성하도록 된 것을 특징으로 하는 카메라.
  13. 제11 항 또는 제12 항에 있어서, 상기 영상 프레임 생성 모듈(8)은 두 개 이상의 영상 센서 프레임들로부터의 영상 데이터를 결합함으로써 적어도 하나의 영상 프레임 영역을 생성하도록 되어 있고, 여기서 상기 영상 프레임 생성 모듈(8)은 두 개 이상의 영상 센서 프레임들로부터의 영상 데이터를 더하고/더하거나 평균하여 두 개 이상의 영상 센서 프레임들로부터의 영상 데이터를 결합하도록 된 것을 특징으로 하는 카메라.
  14. 제11 항 내지 제13 항 중 임의의 한 항에 있어서, 상기 장면의 영역 내의 모션 레벨은 상기 장면의 영역 내의 모션 이벤트들의 속도 및/또는 상기 장면의 영역 내의 모션 이벤트들의 개수에 대응하는 것을 특징으로 하는 카메라.
  15. 제11 항 내지 제14 항 중 임의의 한 항에 있어서, 상기 모션 검출 모듈(6)은 상기 복수의 영상 센서 프레임들을 사용하여 상기 장면의 서로 다른 영역들에 대한 모션 레벨의 통계 맵을 구성하도록 되어 있고, 상기 모션 검출 모듈(6)은 상기 통계 맵을 분석함으로써 서로 다른 모션 레벨을 포함하는 상기 장면의 영역들을 결정하도록 된 것을 특징으로 하는 카메라.
KR1020120082760A 2011-12-22 2012-07-27 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 장면 내의 모션의 레벨에 근거하여 최적화하기 위한 방법 및 카메라 KR101781154B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11195213.1A EP2608529B1 (en) 2011-12-22 2011-12-22 Camera and method for optimizing the exposure of an image frame in a sequence of image frames capturing a scene based on level of motion in the scene
EP11195213.1 2011-12-22

Publications (2)

Publication Number Publication Date
KR20130079114A true KR20130079114A (ko) 2013-07-10
KR101781154B1 KR101781154B1 (ko) 2017-09-22

Family

ID=45440285

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120082760A KR101781154B1 (ko) 2011-12-22 2012-07-27 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 장면 내의 모션의 레벨에 근거하여 최적화하기 위한 방법 및 카메라

Country Status (6)

Country Link
US (1) US9235880B2 (ko)
EP (1) EP2608529B1 (ko)
JP (1) JP5427935B2 (ko)
KR (1) KR101781154B1 (ko)
CN (1) CN103179350B (ko)
TW (1) TWI538510B (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9986179B2 (en) * 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
KR101592790B1 (ko) * 2014-11-26 2016-02-18 현대자동차주식회사 카메라 노출 제어 시스템 및 그 방법
CN107395997A (zh) * 2017-08-18 2017-11-24 维沃移动通信有限公司 一种拍摄方法及移动终端
US10552707B2 (en) * 2017-12-07 2020-02-04 Qualcomm Incorporated Methods and devices for image change detection
EP3503028B1 (en) * 2017-12-21 2020-02-12 Axis AB Setting of a motion trigger level
CN108525304B (zh) * 2018-04-16 2021-06-22 网易（杭州）网络有限公司 一种图像分析方法、装置、存储介质及电子装置
CN112514373B (zh) * 2018-08-14 2023-09-15 华为技术有限公司 用于特征提取的图像处理装置和方法
JP7281897B2 (ja) * 2018-12-12 2023-05-26 キヤノン株式会社 撮像装置及びその制御方法並びにプログラム
US11107205B2 (en) * 2019-02-18 2021-08-31 Samsung Electronics Co., Ltd. Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
US11200653B2 (en) * 2019-08-06 2021-12-14 Samsung Electronics Co., Ltd. Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion
CN116647685A (zh) * 2020-10-26 2023-08-25 杭州海康威视数字技术股份有限公司 视频编码方法、装置、电子设备及可读存储介质
US20220138964A1 (en) * 2020-10-30 2022-05-05 Qualcomm Incorporated Frame processing and/or capture instruction systems and techniques
JP2022093914A (ja) * 2020-12-14 2022-06-24 キヤノン株式会社 撮像装置、その制御方法およびプログラム
US11800233B2 (en) * 2021-05-21 2023-10-24 Lumileds Llc System with adaptive light source and neuromorphic vision sensor
WO2024035223A1 (en) * 2022-08-11 2024-02-15 Samsung Electronics Co., Ltd. System and method for enhancing the quality of a video

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475425B1 (en) * 1994-01-25 2000-07-25 Przyborski Production Apparatus and method for creating video ouputs that emulate the look of motion picture film
US6864915B1 (en) * 2000-10-27 2005-03-08 Eastman Kodak Company Method and apparatus for production of an image captured by an electronic motion camera/sensor that emulates the attributes/exposure content produced by a motion camera film system
JP3686333B2 (ja) 2000-12-22 2005-08-24 三菱重工業株式会社 動画像処理カメラ及びこれを用いた画像処理システム
WO2006070046A1 (en) 2004-12-29 2006-07-06 Nokia Corporation Exposure of digital imaging
US7557832B2 (en) * 2005-08-12 2009-07-07 Volker Lindenstruth Method and apparatus for electronically stabilizing digital images
US7546026B2 (en) * 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
JP4509917B2 (ja) * 2005-11-21 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム
CN100566381C (zh) * 2006-01-23 2009-12-02 精工爱普生株式会社 摄像元件及其装置、摄像方法、摄像系统及图像处理装置
JPWO2008099685A1 (ja) 2007-02-01 2010-05-27 ソニー株式会社 画像再生装置と画像再生方法および撮像装置とその制御方法
US7548689B2 (en) 2007-04-13 2009-06-16 Hewlett-Packard Development Company, L.P. Image processing method
TW200922290A (en) * 2007-11-02 2009-05-16 Altek Corp Image capturing apparatus and method for providing image blur information
US20090244301A1 (en) 2008-04-01 2009-10-01 Border John N Controlling multiple-image capture
JP2009284394A (ja) * 2008-05-26 2009-12-03 Olympus Imaging Corp 撮像装置および撮像方法
CN102077572B (zh) * 2008-06-19 2014-06-11 松下电器产业株式会社 用于在成像系统中防止运动模糊和重影的方法及装置
US8121424B2 (en) 2008-09-26 2012-02-21 Axis Ab System, computer program product and associated methodology for video motion detection using spatio-temporal slice processing
JP5206466B2 (ja) 2009-02-13 2013-06-12 富士通株式会社 画像補正装置、画像補正プログラムおよび画像撮影装置
US8228400B2 (en) * 2009-04-17 2012-07-24 Sony Corporation Generation of simulated long exposure images in response to multiple short exposures
JP2011049642A (ja) * 2009-08-25 2011-03-10 Canon Inc 撮像装置、及びその制御方法
US20110149111A1 (en) * 2009-12-22 2011-06-23 Prentice Wayne E Creating an image using still and preview
KR101710624B1 (ko) * 2010-07-27 2017-02-27 삼성전자주식회사 객체의 모션 벡터를 이용하여 자동 촬영 기능을 수행하는 디지털 영상 촬영 방법, 디지털 영상 촬영 장치 및 상기 방법을 기록한 기록 매체
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method

Also Published As

Publication number Publication date
CN103179350A (zh) 2013-06-26
EP2608529A1 (en) 2013-06-26
TW201328347A (zh) 2013-07-01
KR101781154B1 (ko) 2017-09-22
US9235880B2 (en) 2016-01-12
JP5427935B2 (ja) 2014-02-26
TWI538510B (zh) 2016-06-11
EP2608529B1 (en) 2015-06-03
JP2013135468A (ja) 2013-07-08
CN103179350B (zh) 2017-08-01
US20130162855A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
KR101781154B1 (ko) 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 장면 내의 모션의 레벨에 근거하여 최적화하기 위한 방법 및 카메라
US10070053B2 (en) Method and camera for determining an image adjustment parameter
KR102070562B1 (ko) 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법
JP6109185B2 (ja) 地図に基づいた制御
KR100725192B1 (ko) 신호 처리 장치 및 방법, 및 기록 매체
US10762655B1 (en) Disparity estimation using sparsely-distributed phase detection pixels
US8224088B2 (en) Method for background generation and its system for video surveillance
KR101664123B1 (ko) 필터링에 기반하여 고스트가 없는 ｈｄｒｉ를 생성하는 장치 및 방법
JP6935247B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN110692083A (zh) 用于动态视觉传感器的块匹配光流和立体视觉
JP2001250119A (ja) 信号処理装置および方法、並びに記録媒体
US8798369B2 (en) Apparatus and method for estimating the number of objects included in an image
JP2002230556A (ja) 画像処理装置および方法、並びに記録媒体
CN109905660B (zh) 搜寻视讯事件的方法、装置、以及计算机可读取存储介质
JP2002281381A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4982472B2 (ja) 映像監視システム、映像監視方法および映像監視プログラム
JP4898895B2 (ja) 画像処理装置および混雑検知処理プログラム
CN113486747A (zh) 人流量公示方法、装置、设备、可读存储介质及程序产品
JP2012137829A (ja) 画像処理装置及びその制御方法、並びにプログラム
JPH04348500A (ja) 移動体検出装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant