KR101579000B1 - 프레임 그룹화를 이용한 이벤트 검출 방법 및 장치 - Google Patents

프레임 그룹화를 이용한 이벤트 검출 방법 및 장치 Download PDF

Info

Publication number
KR101579000B1
KR101579000B1 KR1020140045811A KR20140045811A KR101579000B1 KR 101579000 B1 KR101579000 B1 KR 101579000B1 KR 1020140045811 A KR1020140045811 A KR 1020140045811A KR 20140045811 A KR20140045811 A KR 20140045811A KR 101579000 B1 KR101579000 B1 KR 101579000B1
Authority
KR
South Korea
Prior art keywords
frame
frames
illuminance
images
event
Prior art date
Application number
KR1020140045811A
Other languages
English (en)
Other versions
KR20150120547A (ko
Inventor
이강
경종민
이철희
박종호
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
한동대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단, 한동대학교 산학협력단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020140045811A priority Critical patent/KR101579000B1/ko
Priority to US14/688,464 priority patent/US20150302557A1/en
Publication of KR20150120547A publication Critical patent/KR20150120547A/ko
Application granted granted Critical
Publication of KR101579000B1 publication Critical patent/KR101579000B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/4448—Receiver circuitry for the reception of television signals according to analogue transmission standards for frame-grabbing

Abstract

시간별 프레임 그룹화를 이용한 이벤트 검출 방법 및 장치가 제시된다. 시간별 프레임 그룹화를 이용한 이벤트 검출 방법은 서로 다른 조도를 갖는 복수의 프레임들을 복수의 그룹들로 그룹화하는 단계, 상기 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 단계, 상기 생성된 복수의 영상들 중 동일한 그룹에 속하는 영상들을 추출하는 단계, 상기 동일한 그룹에 속하는 영상들을 이용하여 미리 정의된 이벤트가 발생하였는지 여부를 판단하는 단계, 상기 동일한 그룹에 속하는 영상들 중 이벤트가 발생한 영상이 있을 경우, 해당 프레임의 정보를 저장하는 단계, 상기 해당 프레임에서 이벤트가 발생하였음을 알리는 단계를 포함 할 수 있다.

Description

프레임 그룹화를 이용한 이벤트 검출 방법 및 장치{Method and Apparatus for Event Detection using Frame Grouping}
본 발명은 영상에서 이벤트를 검출하기 위한 방법 및 장치에 관한 것으로, 더욱 상세하게는 조도를 이용하여 노출 부족 및 포화영역의 이벤트를 검출하기 위한 방법 및 장치에 관한 것이다.
종래 기술에 따르면, 카메라 센서 시스템은 외부에서 입사되는 빛이 각 화소에서 전기적 신호로 변환되어 전기적 신호의 크기로 광량을 측정하는 방식으로 작동한다. 좀 더 자세히는, 첫 단계에서 광자가 전하로 변환되어 일정 노출 시간동안 각 화소에 축적되고, 화소의 전하량을 읽어내는 별도의 단계에서 축적된 전하의 양을 측정하여 영상을 구성하게 된다. 이 때, 노출 시간이 너무 짧으면 화소간 값의 차이가 작고 잡영(noise) 때문에 영상을 알아보기 어렵고, 노출 시간이 너무 길면 화소 내에 축적할 수 있는 최대전하량이 포화되어 영상을 알아볼 수 없다. 이러한 문제를 해결하기 위해 자동 노출 방법은 노출 측정부를 가지게 된다. 일반적인 카메라 센서 시스템은 빛을 받아들이는 화소와 이 화소들로부터 영상의 전기적 신호를 생성하는 영상센서부 (Image Sensor)와 이 신호들을 잡영제거, 색상보정 등의 처리를 거쳐 개선하는 영상신호 처리부 (Image Signal Processing)로 구성된다. 일반적으로 노출 측정부는 영상 신호처리부의 일부로서 구성된다.
노출 측정부는 특정 시간에서 영상센서부의 출력 또는 그 출력이 일부 신호처리 된 결과를 받아 화면의 전체 혹은 일부 영역의 최대 화소 값을 측정한다. 이 화소 값과 현재의 노출 시간을 기반으로 이후의 특정 시간의 노출 시간을 결정하여 영상센서부로 피드백하고, 영상 센서부는 지정된 노출 시간만큼 화소에 전하를 축적함으로써 저노출과 포화를 회피한다. 하지만, 종래의 자동노출 기법으로 노출을 조절한다 하더라도 영상 자체에 어두운 부분과 밝은 부분이 섞여 있는 경우에는 포화를 회피할 경우 어두운 부분의 노출 부족(under exposure)이, 노출 부족(under exposure)을 회피할 경우 밝은 부분의 포화(saturation)가 일어나는 것을 피할 수 없는 경우가 생긴다. 일반적인 사진이나 비디오 촬영에서는 주 피사체가 존재하는 일부 영역에 노출을 맞추어 다른 피사체의 노출 부족(under exposure)이나 포화(saturation)를 감수하는 것이 가능하다. 그러나, 감시 카메라 등과 같이 주요 피사체를 특정할 수 없거나, 어두운 부분과 밝은 부분에서 일어나는 이벤트를 동시에 감지해야 하는 경우에는 이러한 자동 노출 방법이 한계를 가지게 된다.
본 발명이 이루고자 하는 기술적 과제는 감시 카메라 등에서 노출 부족(under exposure) 또는 포화(saturation)로 인해 대상 인식이 불가능한 영역에서의 이벤트를 검출하기 위한 방법 및 장치를 제공하는데 있다.
일 측면에 있어서, 본 발명에서 제안하는 시간별 프레임 그룹화를 이용한 이벤트 검출 방법은 서로 다른 조도를 갖는 복수의 프레임들을 복수의 그룹들로 그룹화하는 단계, 상기 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 단계, 상기 생성된 복수의 영상들 중 동일한 그룹에 속하는 영상들을 추출하는 단계, 상기 동일한 그룹에 속하는 영상들을 이용하여 미리 정의된 이벤트가 발생하였는지 여부를 판단하는 단계, 상기 동일한 그룹에 속하는 영상들 중 이벤트가 발생한 영상이 있을 경우, 해당 프레임의 정보를 저장하는 단계, 상기 해당 프레임에서 이벤트가 발생하였음을 알리는 단계를 포함 할 수 있다.
상기 서로 다른 조도를 갖는 복수의 프레임들을 복수의 그룹들로 그룹화하는 단계는 상기 복수의 프레임들의 프레임 레이트를 조절할 수 있다.
상기 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 단계는 상기 복수의 영상들의 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인하는 단계를 포함할 수 있다.
최고조도를 갖는 프레임에서 상기 노출 부족(under exposure)이 발생할 경우, 상기 최고조도보다 더 높은 조도를 갖는 프레임을 추가할 수 있다.
최저조도를 갖는 프레임에서 상기 포화(saturation)가 발생할 경우, 상기 최저조도보다 더 낮은 조도를 갖는 프레임을 추가할 수 있다.
최저조도보다 높은 조도를 갖는 프레임에서 상기 노출 부족(under exposure)이 발생할 경우, 상기 프레임보다 더 낮은 조도를 갖는 프레임은 삭제되고, 최고조도보다 낮은 조도를 갖는 프레임에서 상기 포화(saturation)가 발생할 경우, 상기 프레임보다 더 높은 조도를 갖는 프레임은 삭제될 수 있다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 시간별 프레임 그룹화를 이용한 이벤트 검출 방법은 서로 다른 조도를 갖는 복수의 프레임들을 복수의 그룹들로 그룹화하는 단계, 상기 복수의 프레임 각각을 미리 설정된 단위의 영역으로 나누는 단계, 상기 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 단계, 상기 생성된 복수의 영상들 중 동일한 그룹에 속하는 영상들을 추출하는 단계, 상기 동일한 그룹에 속하는 영상들을 이용하여 미리 정의된 이벤트가 발생하였는지 여부를 판단하는 단계, 상기 동일한 그룹에 속하는 영상들을 상기 영역별로 비교하여 이벤트가 발생한 영상이 있을 경우, 해당 프레임의 정보를 저장하는 단계, 해당 프레임에서 이벤트가 발생하였음을 알리는 단계를 포함할 수 있다.
상기 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 단계는 상기 영상들의 영역별로 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인하는 단계, 상기 영상의 영역 중 상기 노출 부족(under exposure) 또는 상기 포화(saturation)가 발생한 경우, 해당 프레임의 영역 정보를 저장하는 단계, 상기 해당 프레임의 다음 번째 영상을 생성할 때, 해당 영역의 상기 조도를 조절하는 단계를 포함할 수 있다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 시간별 프레임 그룹화를 이용한 이벤트 검출 장치는 서로 다른 조도를 갖는 복수의 프레임들을 복수의 그룹들로 그룹화하는 제어부, 상기 상기 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 촬영부, 상기 생성된 복수의 영상 중 동일한 그룹에 속하는 영상들을 비교하는 비교부, 상기 영상들의 프레임 정보를 저장하는 버퍼를 포함할 수 있다.
상기 버퍼는 상기 동일한 그룹에 속하는 영상들 중 이벤트가 발생한 영상이 있을 경우, 해당 프레임의 정보를 저장할 수 있다.
상기 제어부는 상기 생성된 복수의 영상들 중 동일한 그룹에 속하는 영상들을 추출할 수 있다.
상기 제어부는 상기 영상들의 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인할 수 있다.
상기 제어부는 최고조도를 갖는 프레임에서 상기 노출 부족(under exposure)이 발생할 경우, 상기 최고조도보다 더 높은 조도를 갖는 프레임을 추가할 수 있다.
상기 제어부는 최저조도를 갖는 프레임에서 상기 포화(saturation)가 발생할 경우, 상기 최저조도보다 더 낮은 조도를 갖는 프레임을 추가할 수 있다.
상기 제어부는 상기 복수의 프레임들 각각을 미리 설정된 단위의 영역으로 나눌 수 있다.
상기 버퍼는 상기 영상의 영역 중 노출 부족(under exposure) 또는 포화(saturation)가 발생한 경우, 해당 프레임의 영역 정보를 저장할 수 있다.
상기 제어부는 상기 해당 프레임의 다음 번째 영상을 생성할 때, 해당 영역의 상기 조도를 조절할 수 있다.
상기 버퍼는 상기 같은 동일한 그룹에 속하는 영상들을 상기 영역별로 비교하여 이벤트가 발생한 영역이 있을 경우, 해당 프레임의 정보를 저장할 수 있다.
본 발명의 실시예들에 따르면 서로 다른 조도를 갖는 복수의 프레임을 시간별로 그룹화하여 이벤트를 검출함으로써, 노출 부족(under exposure) 또는 포화(saturation)영역에서의 이벤트 검출이 가능할 수 있다. 또 다른 실시예에 따르면, 그룹화된 서로 다른 조도를 갖는 복수의 프레임을 영역별로 나누어 이용함으로써, 필요한 프레임의 수를 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 시간별 프레임 그룹화를 이용한 이벤트 검출 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영한 영상을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 프레임의 노출 부족 및 포화 여부를 확인하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 프레임을 추가하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 추가된 프레임으로 촬영한 영상을 나타내는 도면이다.
도 7은 본 발명의 또 다른 일 실시예에 따른 시간별 프레임 그룹화를 이용한 이벤트 검출 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 영상의 영역별 노출 부족 및 포화 여부를 확인하는 과정을 설명하기 위한 도면이다.
도 9은 본 발명의 일 실시예에 따른 영상의 영역별 조도를 조절하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 시간별 프레임 그룹화를 이용한 이벤트 검출 장치의 구성을 나타내는 블록도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 시간별 프레임 그룹화를 이용한 이벤트 검출 방법을 설명하기 위한 흐름도이다.
도 1을 참고하면, 시간별 프레임 그룹화를 이용한 이벤트 검출 방법은 서로 다른 조도를 갖는 복수의 프레임들을 복수의 그룹들로 그룹화하는 단계(110), 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 단계(120), 생성된 복수의 영상들 중 동일한 그룹에 속하는 영상들을 추출하는 단계(130), 동일한 그룹에 속하는 영상들을 이용하여 미리 정의된 이벤트가 발생하였는지 여부를 판단하는 단계(140), 동일한 그룹에 속하는 영상들 중 이벤트가 발생한 영상이 있을 경우, 해당 프레임의 정보를 저장하는 단계(150), 해당 프레임에서 이벤트가 발생하였음을 알리는 단계(160)를 포함할 수 있다.
단계(110)에서, 서로 다른 조도를 갖는 복수의 프레임들을 복수의 그룹들로 그룹화할 수 있다. 동일한 그룹에 속하는 복수의 프레임은 일정한 주기로 반복될 수 있다. 예를 들어, 5개의 서로 다른 조도를 갖는 복수의 프레임은 30fps의 일정한 주기를 가지고 촬영될 수 있다. 5개의 서로 다른 조도를 갖는 복수의 프레임들은 유사한 조도를 갖는 프레임들끼리 그룹화할 수 있고, 각각의 프레임은 서로 다른 조도를 가질 수 있다. 예를 들어, 5개의 서로 다른 조도는 각각 최고조도, 고조도, 중조도, 저조도, 최저조도일 수 있다. 서로 다른 조도를 갖는 복수의 프레임은 30fps의 일정한 주기를 가지고 촬영되므로, 동일한 그룹에 속하는 영상들은 6개일 수 있다. 또한, 이벤트 검출을 새롭게 시작할 때 레이트(frame rate)를 조절할 수 있다. 프레임 레이트(frame rate)가 증가할 수록 이벤트 검출의 정확도가 더욱 높아질 수 있다.
단계(120)에서, 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성할 수 있다. 예를 들어, 복수의 프레임은 최고조도, 고조도, 중조도, 저조도, 최저조도의 서로 다른 조도를 갖는 프레임의 순서대로 촬영될 수 있고, 또는 그 반대로 촬영될 수 있다. 이 때, 일 실시예에 따르면 복수의 프레임의 노출 부족(under exposure) 및 포화(saturation)의 발생 여부를 확인할 수 있다. 복수의 프레임의 노출 부족(under exposure) 및 포화(saturation)의 발생 여부를 확인하여 이에 따른 프레임의 추가 또는 삭제가 이루어질 수 있다. 도 4를 참조하여 상세히 설명한다.
단계(130)에서, 생성된 복수의 영상들 중 동일한 그룹에 속하는 영상들을 추출할 수 있다. 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영한 후, 동일한 그룹에 속하는 영상들을 추출할 수 있다. 예를 들어, 5개의 서로 다른 조도를 갖는 복수의 프레임들로 이루어지고, 프레임은 30fps로 일정한 간격을 가지고 촬영될 수 있다. 5개의 서로 다른 조도를 갖는 복수의 프레임들은 유사한 조도를 갖는 프레임들끼리 그룹화될 수 있다. 서로 다른 조도를 갖는 복수의 프레임은 30fps의 일정한 주기를 가지고 촬영되므로, 동일한 그룹에 속하는 영상들은 6개일 수 있다. 따라서 동일한 그룹에 속하는 프레임은 1초 동안 6번 촬영될 수 있다.
단계(140)에서, 동일한 그룹에 속하는 영상들을 이용하여 미리 정의된 이벤트가 발생하였는지 여부를 판단할 수 있다. 예를 들어, 5개의 서로 다른 조도를 갖는 복수의 프레임들은 유사한 조도를 갖는 프레임들끼리 그룹화될 수 있다. 서로 다른 조도를 갖는 복수의 프레임은 30fps의 일정한 주기를 가지고 촬영될 경우, 동일한 그룹에 속하는 영상들은 6개일 수 있다. 따라서, 30개의 프레임 중 동일한 그룹에 속하는 6개의 영상들을 비교하여 이벤트의 발생 여부를 확인할 수 있다.
단계(150)에서, 동일한 그룹에 속하는 영상들 중 이벤트가 발생한 프레임이 있을 경우, 해당 프레임의 정보를 저장할 수 있다. 예를 들어, 동일한 그룹에 속하는 6개의 영상들 중에서 이전에 촬영된 영상에서는 없던 새로운 오브젝트가 촬영되었을 경우, 이를 감지할 수 있다. 이러한 방법으로 이벤트가 감지되면, 감지된 프레임의 정보를 저장할 수 있다. 예를 들어, 3번째 영상에서 이벤트가 발생하였을 경우, 3번째 영상에서 이벤트가 감지되었다는 정보와 이때 해당 프레임의 조도 등의 프레임에 관한 정보를 버퍼에 저장할 수 있다.
단계(160)에서, 해당 프레임에서 이벤트가 발생하였음을 알릴 수 있다. 새로운 이벤트가 감지되었을 경우, 새로운 이벤트가 감지되었음을 표시하거나 알릴 수 있다. 시간별 프레임 그룹화를 이용한 이벤트 검출 방법에대해 도 2 및 도 3을 참조하여 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 과정을 설명하기 위한 도면이다.
예를 들어, 서로 다른 조도를 갖는 복수의 프레임은 a(210), b(220), c(230), d(240), e(250)의 5개의 프레임을 포함할 수 잇다. 이러한 복수의 프레임은 30fps의 일정한 주기를 가지고 촬영될 수 있다. 5개의 프레임은 각각 최고조도, 고조도, 중조도, 저조도, 최저조도를 가질 수 있다. 서로 다른 조도를 갖는 5개의 프레임은 순차적으로 촬영될 수 있고, 반복하여 촬영될 수 있다. n=0일 때, a(210), b(220), c(230), d(240), e(250)의 5개의 프레임이 순차적으로 촬영되고, n=1일 때, a(210), b(220), c(230), d(240), e(250)의 5개의 프레임이 순차적으로 촬영될 수 있다. 예를 들어, 30fps의 일정한 주기를 가지고 촬영될 경우, 1초당 30프레임을 촬영할 수 있으므로 5개의 서로 다른 조도를 갖는 복수의 프레임은 1초 동안 6번 반복될 수 있다. 따라서 n=0, 1, 2, 3, 4, 5 이고, 같은 조도를 같은 프레임은 1초 동안 6번 촬영될 수 있다. 이렇게 5개의 서로 다른 조도를 갖는 복수의 프레임들은 유사한 조도를 갖는 프레임들끼리 그룹화할 수 있고, 하나의 그룹은 6개의 프레임으로 이루어질 수 있다. 예를 들어, 최저조도를 갖는 프레임을 a(210)그룹으로 그룹화할 수 있다. 5개의 서로 다른 조도를 갖는 프레임들을 순차적으로 반복하여 촬영한 영상들을 다음과 같이 나타낼 수 있다: a: frame 5n, b: frame 5n+1, c: frame 5n+2, d: frame 5n+3, e: frame 5n+4. 이렇게 촬영된 0~29까지의 영상들 중 동일한 그룹에 속하는 프레임으로 촬영된 영상끼리 비교할 수 있다. 예를 들어, a 프레임으로 촬영한 6개의 영상은 frame 0, frame 5, frame 10, frame 15, frame 20, frame 29이고, 이 6개의 영상을 비교하여 이벤트를 검출할 수 있다. 동일한 그룹에 속하는 프레임으로 촬영된 영상들 중 이벤트가 발생한 영상이 있을 경우, 해당 프레임의 정보를 저장하고, 이를 알릴 수 있다.
도 3은 본 발명의 일 실시예에 따른 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영한 영상을 나타내는 도면이다.
예를 들어, 서로 다른 조도를 갖는 5개의 복수의 프레임은 각각 최고조도, 고조도, 중조도, 저조도, 최저조도를 가질 수 있다. 서로 다른 조도를 갖는 5개의 프레임은 순차적으로 촬영될 수 있고, 반복하여 촬영될 수 있다. 도 3을 참조하면, 최저조도로 촬영된 영상 frame 5n(310), 저조도로 촬영된 영상 frame 5n+1(320), 중조도로 촬영된 영상 frame 5n+2(330), 고조도로 촬영된 영상 frame 5n+3(340), 최고조도로 촬영된 영상 frame 5n+4(350)를 나타내었다. 최저조도로 촬영된 영상 frame 5n(310)에서는 오른쪽 아래 부분 및 왼쪽 위 부분에 노출 부족(under exposure) 영역이 발생하고, 저조도로 촬영된 영상 frame 5n+1(320)에서는 오른쪽 아래 부분에 노출 부족(under exposure) 영역이 발생한다. 반면에 중조도로 촬영된 영상 frame 5n+2(330)에서는 중간 위 부분에서 포화(saturation) 영역이 발생하고, 고조도로 촬영된 영상 frame 5n+3(340) 및 최고조도로 촬영된 영상 frame 5n+4(350)에서도 중간 부분에서 포화(saturation) 영역이 발생한다.
본 발명에서 제안하는 시간별 프레임 그룹화를 이용한 이벤트 검출 방법에서는 이러한 노출 부족(under exposure) 및 포화(saturation) 영역에서도 이벤트를 검출하기 위해 시간별 프레임에 각각 다른 조도를 주고 반복 촬영하여, 동일한 그룹에 속하는 프레임으로 촬영한 영상끼리 비교함으로써, 영상의 전 영역에서의 이벤트 검출을 가능하게 할 수 있다.
도 4는 본 발명의 일 실시예에 따른 프레임의 노출 부족 및 포화 여부를 확인하는 과정을 설명하기 위한 도면이다.
복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 단계는 복수의 영상들의 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인하는 단계(410), 최고조도보다 더 높은 조도를 갖는 프레임을 추가하는 단계(420), 최저조도보다 더 낮은 조도를 갖는 프레임을 추가하는 단계(430)를 포함할 수 있다.
복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성할 때, 단계(410)에서, 복수의 영상들의 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인할 수 있다. 서로 다른 조도를 갖는 복수의 프레임을 이용하여 일정한 주기로 반복하여 영상을 촬영할 수 있다. 예를 들어, 서로 다른 조도를 갖는 5개의 프레임은 최고조도, 고조도, 중조도, 저조도, 최저조도를 갖는 프레임의 순서대로 촬영될 수 있고, 또는 그 반대로 촬영될 수 있다. 이 때, 일 실시예에 따르면 복수의 프레임의 노출 부족(under exposure) 및 포화(saturation)의 발생 여부를 확인할 수 있다. 복수의 프레임의 노출 부족(under exposure) 및 포화(saturation)의 발생 여부를 확인하여 이에 따른 프레임의 추가 또는 삭제가 이루어질 수 있다.
복수의 프레임의 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인하여, 최고조도를 갖는 프레임에서 노출 부족(under exposure)이 발생할 경우, 단계(420)에서, 최고조도보다 더 높은 조도를 갖는 프레임을 추가할 수 있다. 최고조도보다 더 높은 조도를 갖는 프레임을 추가하여 노출 부족(under exposure)이 발생하지 않는 프레임을 만들 수 이다.
반면에, 최저조도를 갖는 프레임에서 포화(saturation)가 발생할 경우, 단계(430)에서, 최저조도보다 더 낮은 조도를 갖는 프레임을 추가할 수 있다. 최저조도보다 더 낮은 조도를 갖는 프레임을 추가하여 포화(Saturation)가 발생하지 않는 프레임을 만들 수 있다. 예를 들어, 하나의 프레임이 추가되어 6개의 서로 다른 조도를 갖는 프레임으로 이루어지고, 프레임은 30fps로 일정한 간격을 가지고 촬영될 수 있다. 그리고, 유사한 조도를 갖는 프레임들끼리 그룹화할 수 있다. 이때, 1초당 30프레임을 촬영할 수 있으므로 동일한 그룹에 속하는 프레임의 개수는 5개이고, 따라서 동일한 그룹에 속하는 프레임은 1초 동안 5번 반복될 수 있다.
또한, 복수의 프레임의 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인하여, 최저조도보다 높은 조도를 갖는 프레임에서 노출 부족(under exposure)이 발생할 수 있다. 이러한 경우, 최저조도보다 높은 조도를 갖는 프레임보다 더 낮은 조도를 갖는 프레임은 삭제될 수 있다. 예를 들어, 최고조도, 고조도, 중조도, 저조도, 최저조도를 갖는 5개의 프레임 중 저조도 프레임에서 노출 부족(under exposure)이 발생하였을 경우, 최저조도 프레임을 삭제할 수 있다.
반면에, 최고조도보다 낮은 조도를 갖는 프레임에서 포화(saturation)이 발생할 수 있다. 이러한 경우, 최고조도보다 낮은 조도를 갖는 프레임보다 더 높은 조도를 갖는 프레임은 삭제될 수 있다. 예를 들어, 최고조도, 고조도, 중조도, 저조도, 최저조도를 갖는 5개의 프레임 중 고조도 프레임에서 포화(saturation)이 발생하였을 경우, 최고조도 프레임을 삭제할 수 있다. 도 5 및 도 6을 참조하여 상세히 설명한다.
도 5는 본 발명의 일 실시예에 따른 프레임을 추가하는 과정을 설명하기 위한 도면이다.
도 5을 참조하면, 예를 들어, 서로 다른 조도를 갖는 복수의 프레임은 a(510), b(520), c(530), d(540), e(550)의 5개의 프레임을 포함할 수 잇다. 그리고, 프레임은 30fps의 일정한 주기를 가지고 촬영될 수 있다. 서로 다른 조도를 갖는 5개의 프레임은 각각 최고조도, 고조도, 중조도, 저조도, 최저조도를 가질 수 있다. 서로 다른 조도를 갖는 5개의 프레임은 순차적으로 촬영될 수 있고, 반복하여 촬영될 수 있다. 최고조도로 촬영된 영상은 frame 5n, 고조도로 촬영된 영상은 frame 5n+1, 중조도로 촬영된 영상은 frame 5n+2, 저조도로 촬영된 영상은 frame 5n+3, 최저조도로 촬영된 영상은 frame 5n+4으로 나타낼 수 있다. 이렇게 촬영된 0~29까지의 영상들 중 동일한 그룹에 속하는 프레임으로 촬영된 영상끼리 비교할 수 있다.
복수의 프레임을 이용하여 순차적으로 영상을 촬영할 때, 복수의 프레임의 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인할 수 있다. 복수의 프레임의 노출 부족(under exposure) 및 포화(saturation)의 발생 여부를 확인하여 이에 따른 프레임의 추가 또는 삭제가 이루어질 수 있다. 복수의 프레임의 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인하여, 최고조도를 갖는 프레임 e(550)에서 노출 부족(under exposure)이 발생할 경우, 최고조도보다 더 높은 조도를 갖는 프레임 f(560)를 추가할 수 있다. 최고조도보다 더 높은 조도를 갖는 프레임을 추가하여 노출 부족(under exposure)이 발생하지 않는 프레임을 만들 수 있다. 예를 들어, 하나의 프레임이 추가되어 서로 다른 조도를 갖는 6개의 프레임으로 이루어지고, 프레임은 30fps의 일정한 주기를 가지고 촬영될 수 있다. 이때, 1초당 30프레임을 촬영할 수 있으므로 6개의 프레임은 1초 동안 5번 반복될 수 있다. 따라서 동일한 그룹에 속하는 프레임은 1초 동안 5번 촬영될 수 있다.
반면에, 최저조도를 갖는 프레임a 에서 포화(saturation)가 발생할 경우, 최저조도보다 더 낮은 조도를 갖는 프레임을 추가할 수 있다. 최저조도보다 더 낮은 조도를 갖는 프레임을 추가하여 포화(saturation)가 발생하지 않는 프레임을 만들 수 있다.
또한, 복수의 프레임의 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인하여, 최저조도보다 높은 조도를 갖는 프레임에서 노출 부족(under exposure)이 발생할 수 있다. 이러한 경우, 최저조도보다 높은 조도를 갖는 프레임보다 더 낮은 조도를 갖는 프레임은 삭제될 수 있다. 예를 들어, 최고조도, 고조도, 중조도, 저조도, 최저조도를 갖는 5개의 프레임 중 저조도 프레임 b(520)에서 노출 부족(under exposure)이 발생하였을 경우, 최저조도 프레임 a(510)를 삭제할 수 있다.
반변에, 최고조도보다 낮은 조도를 갖는 프레임에서 포화(saturation)이 발생할 수 있다. 이러한 경우, 최고조도보다 낮은 조도를 갖는 프레임보다 더 높은 조도를 갖는 프레임은 삭제될 수 있다. 예를 들어, 최고조도, 고조도, 중조도, 저조도, 최저조도를 갖는 5개의 프레임 중 고조도 프레임 d(540)에서 포화(saturation)이 발생하였을 경우, 최고조도 프레임 e(550)를 삭제할 수 있다.
도 6은 본 발명의 일 실시예에 따른 추가된 프레임으로 촬영한 영상을 나타내는 도면이다.
도 6을 참조하면, 최고조도를 갖는 프레임으로 촬영된 영상 frame 5n+4(610)과 최고조도 보다 더 높은 조도를 갖는 프레임 frame 5n+5를 추가하여 촬영된 영상(620)을 나타내었다. 복수의 프레임의 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인하여, 최고조도를 갖는 프레임에서 포화(saturation)가 발생할 경우, 최고조도보다 더 높은 조도를 갖는 프레임을 추가할 수 있다. 예를 들어, 최고조도를 갖는 프레임으로 촬영된 영상 frame 5n+4(610) 오른쪽 아래 부분에서 노출 부족(under exposure)이 발생하는 것을 확인할 수 있다. 노출 부족(under exposure) 영역이 발생하지 않도록 하기 위해 최고조도 보다 더 높은 조도를 갖는 프레임 frame 5n+5를 추가하여 촬영할 수 있다. 최고조도 보다 더 높은 조도를 갖는 프레임 frame 5n+5를 추가하여 촬영된 영상(620)에서 오른쪽 아래 부분을 확인해보면, 최고조도를 갖는 프레임으로 촬영된 영상 frame 5n+4(610)보다 더 선명히 촬영된 것을 확인할 수 있다. 이러한 방법을 이용하여 영상의 전체 영역에서 노출 부족(under exposure) 및 포화(saturation)가 발생하지 않는 영상을 촬영할 수 있다.
도 7은 본 발명의 또 다른 일 실시예에 따른 시간별 프레임 그룹화를 이용한 이벤트 검출 방법을 설명하기 위한 흐름도이다.
도 7을 참고하면, 또 다른 일 실시예에 따른 시간별 프레임 그룹화를 이용한 이벤트 검출 방법은 서로 다른 조도를 갖는 복수의 프레임들을 복수의 그룹들로 그룹화하는 단계(710), 복수의 프레임 각각을 미리 설정된 단위의 영역으로 나누는 단계(720), 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 단계(730), 생성된 복수의 영상들 중 동일한 그룹에 속하는 영상들을 추출하는 단계(740), 동일한 그룹에 속하는 영상들을 이용하여 미리 정의된 이벤트가 발생하였는지 여부를 판단하는 단계(750), 동일한 그룹에 속하는 영상들을 상기 영역별로 비교하여 이벤트가 발생한 영상이 있을 경우, 해당 프레임의 정보를 저장하는 단계(760)를 포함할 수 있다.
단계(710)에서, 서로 다른 조도를 갖는 복수의 프레임들을 복수의 그룹들로 그룹화할 수 있다. 동일한 그룹에 속하는 복수의 프레임은 일정한 주기로 반복될 수 있다. 예를 들어, 5개의 서로 다른 조도를 갖는 복수의 프레임은 30fps의 일정한 주기를 가지고 촬영될 수 있다. 5개의 서로 다른 조도를 갖는 복수의 프레임들은 유사한 조도를 갖는 프레임들끼리 그룹화할 수 있고, 각각의 프레임은 서로 다른 조도를 가질 수 있다. 예를 들어, 5개의 서로 다른 조도는 각각 최고조도, 고조도, 중조도, 저조도, 최저조도일 수 있다. 서로 다른 조도를 갖는 복수의 프레임은 30fps의 일정한 주기를 가지고 촬영되므로, 동일한 그룹에 속하는 영상들은 6개일 수 있다. 또한, 이벤트 검출을 새롭게 시작할 때 레이트(frame rate)를 조절할 수 있다. 프레임 레이트(frame rate)가 증가할 수록 이벤트 검출의 정확도가 더욱 높아질 수 있다.
단계(720)에서, 복수의 프레임 각각을 미리 설정된 단위의 영역으로 나눌 수 있다. 예를 들어, 서로 다른 조도를 갖는 3개의 프레임으로 이루어져 있는 경우, 각각의 프레임을 미리 설정된 단위의 영역으로 나눌 수 있다. 예를 들어, 최고조도, 중조도, 최저조도를 갖는 3개의 프레임 중 최고조도를 갖는 프레임을 동일한 4개의 사각형으로 나눌 수 있다. 여기에서, 사각형의 단위 영역은 일 실시예일뿐 이로 한정되지는 않는다. 나머지 중조도, 최저조도를 갖는 2개의 프레임도 모두 미리 설정된 단위의 영역으로 나눌 수 있다. 이렇게 단위 영역으로 프레임을 나누어 구성할 경우, 단위 영역으로 나누지 않고 프레임을 이용하는 방법보다 더 적은 수의 프레임을 이용하여 이벤트를 검출할 수 있다.
단계(730)에서, 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성할 수 있다. 서로 다른 조도를 갖고 미리 설정된 단위의 영역으로 나눠진 복수의 프레임을 이용하여 미리 설정된 시간간격으로 순차적으로 영상을 촬영할 수 있다. 예를 들어, 3개의 프레임은 최고조도, 중조도, 최저조도를 갖는 프레임의 순서대로 촬영될 수 있고, 또는 그 반대로 촬영될 수 있다. 이 때, 일 실시예에 따르면 프레임의 영역별로 노출 부족(under exposure) 및 포화(saturation)의 발생 여부를 확인할 수 있다. 프레임의 영역별로 노출 부족(under exposure) 및 포화(saturation)의 발생 여부를 확인하여 이에 따른 프레임의 영역별 조도를 조절할 수 있다. 도 8을 참조하여 상세히 설명한다.
단계(740)에서, 생성된 복수의 영상들 중 동일한 그룹에 속하는 영상들을 추출할 수 있다. 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영한 후, 동일한 그룹에 속하는 영상들을 추출할 수 있다. 예를 들어, 3개의 서로 다른 조도를 갖는 복수의 프레임들로 이루어지고, 프레임은 30fps로 일정한 간격을 가지고 촬영될 수 있다. 3개의 서로 다른 조도를 갖는 복수의 프레임들은 유사한 조도를 갖는 프레임들끼리 그룹화될 수 있다. 서로 다른 조도를 갖는 복수의 프레임은 30fps의 일정한 주기를 가지고 촬영되므로, 동일한 그룹에 속하는 영상들은 10개일 수 있다. 따라서 동일한 그룹에 속하는 프레임은 1초 동안 6번 촬영될 수 있다.
단계(750)에서, 동일한 그룹에 속하는 영상들을 이용하여 미리 정의된 이벤트가 발생하였는지 여부를 판단할 수 있다. 예를 들어, 3개의 서로 다른 조도를 갖는 복수의 프레임들은 유사한 조도를 갖는 프레임들끼리 그룹화될 수 있다. 서로 다른 조도를 갖는 복수의 프레임은 30fps의 일정한 주기를 가지고 촬영될 경우, 동일한 그룹에 속하는 영상들은 10개일 수 있다. 따라서, 30개의 프레임 중 동일한 그룹에 속하는 10개의 영상들을 비교하여 이벤트의 발생 여부를 확인할 수 있다.
단계(760)에서, 동일한 그룹에 속하는 영상들을 상기 영역별로 비교하여 이벤트가 발생한 영상이 있을 경우, 해당 프레임의 정보를 저장할 수 있다. 예를 들어, 동일한 그룹에 속하는 10개의 프레임을 영역별로 비교하여 이전에 촬영된 프레임에서는 없던 새로운 오브젝트가 촬영되었을 경우, 이를 감지할 수 있다. 이러한 방법으로 이벤트가 감지되면, 감지된 프레임의 정보를 저장할 수 있다. 예를 들어, 3번째 프레임의 제1 영역에서 이벤트가 발생하였을 경우, 3번째 프레임의 제1 영역에서 이벤트가 감지되었다는 정보와 이때 프레임의 조도 등의 프레임에 관한 정보를 버퍼에 저장할 수 있다. 또한, 해당 프레임에서 이벤트가 발생하였음을 알릴 수 있다. 새로운 이벤트가 감지되었을 경우, 새로운 이벤트가 감지되었음을 표시하거나 알릴 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상의 영역별 노출 부족 및 포화 여부를 확인하는 과정을 설명하기 위한 도면이다.
복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 단계는 영상들의 영역별로 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인하는 단계(810), 영상의 영역 중 상기 노출 부족(under exposure) 또는 상기 포화(saturation)가 발생한 경우, 해당 프레임의 영역 정보를 저장하는 단계(820), 해당 프레임의 다음 번째 영상을 생성할 때, 해당 영역의 상기 조도를 조절하는 단계(830)를 포함할 수 있다.
단계(810)에서, 영상들의 영역별로 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인할 수 있다. 서로 다른 조도를 갖고 미리 설정된 단위의 영역으로 나눠진 복수의 프레임을 이용하여 일정한 주기로 순차적으로 영상을 촬영할 수 있다. 예를 들어, 3개의 프레임은 최고조도, 중조도, 최저조도를 갖는 프레임의 순서대로 촬영될 수 있고, 또는 그 반대로 촬영될 수 있다. 이 때, 일 실시예에 따르면 프레임의 영역별로 노출 부족(under exposure) 및 포화(saturation)의 발생 여부를 확인할 수 있다. 프레임의 영역별로 노출 부족(under exposure) 및 포화(saturation)의 발생 여부를 확인하여 이에 따른 프레임의 영역별 조도를 조절할 수 있다. 예를 들어, 최고조도, 중조도, 최저조도를 갖는 3개의 프레임 중 최고조도를 갖는 프레임을 동일한 4개의 사각형으로 영역을 나눌 수 있다. 그리고 프레임의 각 영역에서 노출 부족(under exposure) 및 포화(saturation)의 발생 여부를 확인할 수 있다. 나머지 중조도, 최저조도를 갖는 2개의 프레임도 모두 미리 설정된 단위의 영역으로 나누고, 노출 부족(under exposure) 및 포화(saturation)의 발생 여부를 확인할 수 있다.
단계(820)에서, 영상의 영역 중 상기 노출 부족(under exposure) 또는 상기 포화(saturation)가 발생한 경우, 해당 프레임의 영역 정보를 저장할 수 있다. 예를 들어, 최고조도를 갖는 프레임의 제1 영역 내지 제3 영역에서는 노출 부족(under exposure) 및 포화(saturation)가 발생하지 않고, 제4 영역에서 노출 부족(under exposure)이 발생할 경우, 최고조도 프레임의 제4 영역에서 노출 부족(under exposure)이 발생하였음을 버퍼에 저장할 수 있다. 또한 다음 번 주기에서 초고조도 프레임이 촬영될 때, 영역1 내지 영역3만 이벤트 검출을 할 수 있다.
단계(830)에서, 해당 프레임의 다음 번째 영상을 생성할 때, 해당 영역의 상기 조도를 조절할 수 있다. 예를 들어, 최고조도 프레임의 제4 영역에서 노출 부족(under exposure)이 발생하였을 경우, 다음 번 차례의 최고조도 프레임이 촬영될 때, 제4 영역의 조도를 조절하여 노출 부족(under exposure)이 발생하지 않도록 할 수 있다. 이때, 최고조도를 갖는 프레임의 제1 영역 내지 제3 영역의 조도는 그대로 유지될 수 있다. 이러한 경우, 각 프레임은 해당 프레임의 정보를 저장하기 위한 버퍼 외에 노출 레벨을 저장하기 위한 버퍼가 더 필요할 수 있다. 도 9를 참조하여 상세히 설명한다.
도 9은 본 발명의 일 실시예에 따른 영상의 영역별 조도를 조절하는 과정을 설명하기 위한 도면이다.
예를 들어, 도 9는 복수의 프레임 중 최저조도를 갖는 프레임으로 촬영된 영상일 수 있고, 이 영상을 제1 영역(910), 제2 영역(920), 제3 영역(930), 제4 영역(940)으로 나누었다. 이때, 프레임의 각 영역별로 노출 부족(under exposure) 및 포화(saturation)의 발생 여부를 확인할 수 있다. 최저조도를 갖는 프레임의 제1 영역 내지 제3 영역에서 노출 부족(under exposure) 및 포화(saturation)가 발생하지 않고, 제4 영역에서 노출 부족(ender exposure) 영역이 발생하는 것을 확인할 수 있다. 이러한 경우, 노출 부족(ender exposure) 영역이 발생한 제4 영역의 프레임의 영역 정보를 저장할 수 있다. 예를 들어, 최저조도 프레임의 제4 영역에서 노출 부족(under exposure)이 발생하였음을 버퍼에 저장할 수 있다. 이후, 최저조도 프레임의 다음 번 주기의 촬영에서 제4 영역의 조도를 조절하고, 영역1 내지 영역3만 이벤트 검출을 할 수 있다. 다음 번 주기의 최저조도 프레임이 촬영될 때, 제4 영역의 조도를 조절함으로써 노출 부족(under exposure)이 발생하지 않도록 할 수 있다. 이때, 최저조도를 갖는 프레임의 제1 영역 내지 제3 영역의 조도는 그대로 유지될 수 있다. 이러한 경우, 각 프레임은 해당 프레임의 정보를 저장하기 위한 버퍼 외에 노출 레벨을 저장하기 위한 버퍼가 더 필요할 수 있다.
도 10은 본 발명의 일 실시예에 따른 시간별 프레임 그룹화를 이용한 이벤트 검출 장치의 구성을 나타내는 블록도이다.
시간별 프레임 그룹화를 이용한 이벤트 검출 장치(1000)는 제어부(1010), 촬영부(1020), 비교부(1030), 버퍼(1040)를 포함할 수 있다.
제어부(1010)는 서로 다른 조도를 갖는 복수의 프레임들을 복수의 그룹들로 그룹화할 수 있다. 또한, 제어부(1010)는 복수의 프레임을 이용하여 순차적으로 영상을 촬영하도록 제어하고, 생성된 복수의 영상들 중 동일한 그룹에 속하는 영상들을 추출하도록 제어할 수 있다. 또한, 제어부(1010)는 프레임 레이트를 조절할 수 있다. 예를 들어, 서로 다른 조도를 갖는 프레임의 개수는 5개이고, 프레임은 30fps로 일정한 간격을 가지고 촬영될 수 있다. 동일한 그룹에 속하는 복수의 프레임은 일정한 주기로 반복될 수 있다. 또한, 이벤트 검출을 새롭게 시작할 때 미리 설정된 시간간격을 조절할 수 있다. 예를 들어, 5개의 서로 다른 조도를 갖는 복수의 프레임은 30fps의 일정한 주기를 가지고 촬영될 수 있다. 5개의 서로 다른 조도를 갖는 복수의 프레임들은 유사한 조도를 갖는 프레임들끼리 그룹화할 수 있고, 각각의 프레임은 서로 다른 조도를 가질 수 있다. 예를 들어, 5개의 서로 다른 조도는 각각 최고조도, 고조도, 중조도, 저조도, 최저조도일 수 있다.
또한, 제어부(1010)는 복수의 프레임의 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인할 수 있다. 최고조도를 갖는 프레임에서 상기 노출 부족(under exposure)이 발생할 경우, 상기 최고조도보다 더 높은 조도를 갖는 프레임을 추가하도록 제어할 수 있다. 반면에 최저조도를 갖는 프레임에서 상기 포화(saturation)가 발생할 경우, 상기 최저조도보다 더 낮은 조도를 갖는 프레임을 추가하도록 제어할 수 있다. 또한, 복수의 프레임의 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인하여, 최저조도보다 높은 조도를 갖는 프레임에서 노출 부족(under exposure)이 발생할 수 있다. 이러한 경우, 최저조도보다 높은 조도를 갖는 프레임보다 더 낮은 조도를 갖는 프레임을 삭제할 수 있다. 예를 들어, 최고조도, 고조도, 중조도, 저조도, 최저조도를 갖는 5개의 프레임 중 저조도 프레임에서 노출 부족(under exposure)이 발생하였을 경우, 최저조도 프레임을 삭제할 수 있다. 반면에, 최고조도보다 낮은 조도를 갖는 프레임에서 포화(saturation)이 발생할 수 있다. 이러한 경우, 최고조도보다 낮은 조도를 갖는 프레임보다 더 높은 조도를 갖는 프레임을 삭제할 수 있다. 예를 들어, 최고조도, 고조도, 중조도, 저조도, 최저조도를 갖는 5개의 프레임 중 고조도 프레임에서 포화(saturation)이 발생하였을 경우, 최고조도 프레임을 삭제할 수 있다.
또한, 제어부(1010)는 복수의 프레임 각각을 미리 설정된 단위의 영역으로 나누도록 제어할 수 있다. 예를 들어, 최고조도를 갖는 프레임을 동일한 4개의 사각형으로 나눌 수 있다. 여기에서, 사각형의 단위 영역은 일 실시예일뿐 이로 한정되지는 않는다. 프레임의 영역 중 노출 부족(under exposure) 또는 포화(saturation)가 발생한 경우, 제어부(1010)는 프레임의 다음 번째 촬영에서 해당 영역의 상기 조도를 조절하도록 제어할 수 있다.
촬영부(1020)는 상기 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성할 수 있다. 촬영부(1020)는 복수의 프레임을 이용하여 순차적으로 영상을 촬영할 수 있다. 예를 들어, 5개의 서로 다른 조도를 갖는 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하고, 프레임은 30fps로 일정한 간격을 가지고 촬영될 수 있다. 5개의 서로 다른 조도를 갖는 복수의 프레임들은 유사한 조도를 갖는 프레임들끼리 그룹화될 수 있다. 서로 다른 조도를 갖는 복수의 프레임은 30fps의 일정한 주기를 가지고 촬영되므로, 동일한 그룹에 속하는 영상들은 6개일 수 있다. 따라서 동일한 그룹에 속하는 1초 동안 6번 촬영될 수 있다.
비교부(1030)는 생성된 복수의 영상 중 동일한 그룹에 속하는 영상들을 비교할 수 있다. 예를 들어, 서로 다른 조도를 갖는 5개의 프레임으로 이루어지고, 프레임은 30fps의 일정한 주기를 가지고 촬영될 수 있다. 서로 다른 조도를 갖는 복수의 프레임들은 유사한 조도를 갖는 프레임들끼리 그룹화될 수 있다. 이때, 1초당 30프레임을 촬영할 수 있으므로 서로 다른 조도를 갖는 5개의 프레임은 1초 동안 6번 반복될 수 있다. 따라서 동일한 그룹에 속한 프레임은 1초 동안 6번 촬영될 수 있다. 그러면 30개의 프레임으로 촬영된 영상들 중 동일한 그룹에 속한 영상들을 비교하여 이벤트의 발생 여부를 확인할 수 있다. 동일한 그룹에 속한 영상들 중 이벤트가 발생한 프레임이 있을 경우, 해당 프레임의 정보를 버퍼(1040)에 저장할 수 있다. 예를 들어, 동일한 그룹에 속하는 6개의 영상들 중에서 이전에 촬영된 영상에서는 없던 새로운 물체가 촬영되었을 경우, 이를 감지할 수 있다. 이러한 방법으로 이벤트가 감지되면, 감지된 영상의 프레임 정보를 저장할 수 있다. 예를 들어, 3번째 영상에서 이벤트가 발생하였을 경우, 3번째 영상에서 이벤트가 감지되었다는 정보와 이때 해당 프레임의 조도 등의 프레임에 관한 정보를 버퍼(1040)에 저장할 수 있다. 또한, 프레임을 영역별로 나누어 이용하는 경우, 촬영된 복수의 영상 중 동일한 그룹에 속하는 영상들을 영역별로 비교할 수 있다.
버퍼(1040)는 프레임의 정보를 저장할 수 있다. 버퍼(1040)는 동일한 그룹에속하는 영상들 중 이벤트가 발생한 영상이 있을 경우, 해당 프레임의 정보를 저장할 수 있다. 또한, 프레임을 영역별로 나누어 이용하는 경우, 해당 프레임의 영역 정보를 저장할 수 있다. 영상의 영역 중 노출 부족(under exposure) 또는 포화(saturation)가 발생한 경우, 해당 프레임의 영역 정보를 저장할 수 있다. 예를 들어, 최고조도를 갖는 프레임의 제1 영역 내지 제3 영역에서는 노출 부족(under exposure) 및 포화(saturation)가 발생하지 않고, 제4 영역에서 노출 부족(under exposure)이 발생할 경우, 최고조도 프레임의 제4 영역에서 노출 부족(under exposure)이 발생하였음을 버퍼에 저장할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (21)

  1. 서로 다른 조도를 갖는 복수의 프레임들을 하나 이상의 그룹들로 그룹화하는 단계;
    상기 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 단계;
    상기 생성된 복수의 영상들 중 동일한 그룹에 속하는 영상들을 추출하는 단계; 및
    상기 동일한 그룹에 속하는 영상들을 이용하여 미리 정의된 이벤트가 발생하였는지 여부를 판단하는 단계
    를 포함하는 이벤트 검출 방법.
  2. 제1항에 있어서,
    상기 동일한 그룹에 속하는 영상들 중 이벤트가 발생한 영상이 있을 경우, 해당 프레임의 정보를 저장하는 단계
    를 더 포함하는 이벤트 검출 방법.
  3. 제2항에 있어서,
    상기 해당 프레임에서 이벤트가 발생하였음을 알리는 단계
    를 더 포함하는 이벤트 검출 방법.
  4. 제1항에 있어서,
    상기 서로 다른 조도를 갖는 복수의 프레임들을 복수의 그룹들로 그룹화하는 단계는,
    상기 복수의 프레임들의 프레임 레이트를 조절할 수 있는
    이벤트 검출 방법.
  5. 제1항에 있어서,
    상기 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 단계는,
    상기 복수의 영상들의 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인하는 단계
    를 포함하는 이벤트 검출 방법.
  6. 제5항에 있어서,
    최고조도를 갖는 프레임에서 상기 노출 부족(under exposure)이 발생할 경우, 상기 최고조도보다 더 높은 조도를 갖는 프레임을 추가하는
    이벤트 검출 방법.
  7. 제5항에 있어서,
    최저조도를 갖는 프레임에서 상기 포화(saturation)가 발생할 경우, 상기 최저조도보다 더 낮은 조도를 갖는 프레임을 추가하는
    이벤트 검출 방법.
  8. 제5항에 있어서,
    최저조도보다 높은 조도를 갖는 프레임에서 상기 노출 부족(under exposure)이 발생할 경우, 상기 프레임보다 더 낮은 조도를 갖는 프레임은 삭제되고,
    최고조도보다 낮은 조도를 갖는 프레임에서 상기 포화(saturation)가 발생할 경우, 상기 프레임보다 더 높은 조도를 갖는 프레임은 삭제되는
    이벤트 검출 방법.
  9. 서로 다른 조도를 갖는 복수의 프레임들을 하나 이상의 그룹들로 그룹화하는 단계;
    상기 복수의 프레임 각각을 미리 설정된 단위의 영역으로 나누는 단계;
    상기 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 단계;
    상기 생성된 복수의 영상들 중 동일한 그룹에 속하는 영상들을 추출하는 단계; 및
    상기 동일한 그룹에 속하는 영상들을 이용하여 미리 정의된 이벤트가 발생하였는지 여부를 판단하는 단계
    를 포함하는 이벤트 검출 방법.
  10. 제9항에 있어서,
    상기 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 단계는,
    상기 영상들의 영역별로 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인하는 단계;
    상기 영상의 영역 중 상기 노출 부족(under exposure) 또는 상기 포화(saturation)가 발생한 경우, 해당 프레임의 영역 정보를 저장하는 단계; 및
    상기 해당 프레임의 다음 번째 영상을 생성할 때, 해당 영역의 상기 조도를 조절하는 단계
    를 포함하는 이벤트 검출 방법.
  11. 제9항에 있어서,
    상기 동일한 그룹에 속하는 영상들을 상기 영역별로 비교하여 이벤트가 발생한 영상이 있을 경우, 해당 프레임의 정보를 저장하는 단계
    를 더 포함하는 이벤트 검출 방법.
  12. 제11항에 있어서,
    상기 해당 프레임에서 이벤트가 발생하였음을 알리는 단계
    를 더 포함하는 이벤트 검출 방법.
  13. 서로 다른 조도를 갖는 복수의 프레임들을 복수의 그룹들로 그룹화하는 제어부;
    상기 복수의 프레임들을 이용하여 순차적으로 오브젝트를 촬영하여 복수의 영상들을 생성하는 촬영부;
    상기 생성된 복수의 영상 중 동일한 그룹에 속하는 영상들을 비교하는 비교부; 및
    상기 영상들의 프레임 정보를 저장하는 버퍼
    를 포함하는 이벤트 검출 장치.
  14. 제13항에 있어서,
    상기 버퍼는,
    상기 동일한 그룹에 속하는 영상들 중 선택된 적어도 하나의 영상을 저장하는
    이벤트 검출 장치.
  15. 제13항에 있어서,
    상기 제어부는,
    상기 생성된 복수의 영상들 중 동일한 그룹에 속하는 영상들을 추출하는
    이벤트 검출 장치.
  16. 제13항에 있어서,
    상기 제어부는,
    상기 영상들의 노출 부족(under exposure) 및 포화(saturation)의 발생여부를 확인하는
    이벤트 검출 장치.
  17. 제16항에 있어서,
    상기 제어부는,
    최고조도를 갖는 프레임에서 상기 노출 부족(under exposure)이 발생할 경우, 상기 최고조도보다 더 높은 조도를 갖는 프레임을 추가하는
    이벤트 검출 장치.
  18. 제16항에 있어서,
    최저조도를 갖는 프레임에서 상기 포화(saturation)가 발생할 경우, 상기 최저조도보다 더 낮은 조도를 갖는 프레임을 추가하는
    이벤트 검출 장치.
  19. 제13항에 있어서,
    상기 제어부는,
    상기 복수의 프레임들 각각을 미리 설정된 단위의 영역으로 나누는
    이벤트 검출 장치.
  20. 제13항에 있어서,
    상기 버퍼는,
    상기 영상의 영역 중 노출 부족(under exposure) 또는 포화(saturation)가 발생한 경우, 해당 프레임의 영역 정보를 저장하고,
    상기 제어부는,
    상기 해당 프레임의 다음 번째 영상을 생성할 때, 해당 영역의 상기 조도를 조절하는
    를 더 포함하는 이벤트 검출 장치.
  21. 제13항에 있어서,
    상기 버퍼는,
    상기 같은 동일한 그룹에 속하는 영상들을 상기 영역별로 비교하여 이벤트가 발생한 영역이 있을 경우, 해당 프레임의 정보를 저장하는
    이벤트 검출 장치.
KR1020140045811A 2014-04-17 2014-04-17 프레임 그룹화를 이용한 이벤트 검출 방법 및 장치 KR101579000B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140045811A KR101579000B1 (ko) 2014-04-17 2014-04-17 프레임 그룹화를 이용한 이벤트 검출 방법 및 장치
US14/688,464 US20150302557A1 (en) 2014-04-17 2015-04-16 Method and apparatus for event detection using frame grouping

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140045811A KR101579000B1 (ko) 2014-04-17 2014-04-17 프레임 그룹화를 이용한 이벤트 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150120547A KR20150120547A (ko) 2015-10-28
KR101579000B1 true KR101579000B1 (ko) 2015-12-22

Family

ID=54322429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140045811A KR101579000B1 (ko) 2014-04-17 2014-04-17 프레임 그룹화를 이용한 이벤트 검출 방법 및 장치

Country Status (2)

Country Link
US (1) US20150302557A1 (ko)
KR (1) KR101579000B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333420A (ja) 2000-05-22 2001-11-30 Hitachi Ltd 画像監視方法および装置
JP2007067841A (ja) 2005-08-31 2007-03-15 Victor Co Of Japan Ltd 映像監視装置及び映像監視用プログラム
KR100853734B1 (ko) 2007-04-23 2008-08-25 포스데이타 주식회사 영상신호 가공방법, 이벤트 생성방법 및 상기 방법을구현하는 휘도 차이를 감지하는 ｄｖｒ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100452097B1 (ko) * 2002-05-02 2004-10-12 주식회사 윈포넷 영상데이터의 변화값 추출을 이용한 영상데이터 저장방법
US7359572B2 (en) * 2003-03-26 2008-04-15 Microsoft Corporation Automatic analysis and adjustment of digital images with exposure problems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333420A (ja) 2000-05-22 2001-11-30 Hitachi Ltd 画像監視方法および装置
JP2007067841A (ja) 2005-08-31 2007-03-15 Victor Co Of Japan Ltd 映像監視装置及び映像監視用プログラム
KR100853734B1 (ko) 2007-04-23 2008-08-25 포스데이타 주식회사 영상신호 가공방법, 이벤트 생성방법 및 상기 방법을구현하는 휘도 차이를 감지하는 ｄｖｒ

Also Published As

Publication number Publication date
KR20150120547A (ko) 2015-10-28
US20150302557A1 (en) 2015-10-22

Similar Documents

Publication Publication Date Title
US7868922B2 (en) Foreground/background segmentation in digital images
US10115178B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
CN107258077B (zh) 用于连续自动聚焦(caf)的系统和方法
US9204034B2 (en) Image processing apparatus and image processing method
US20140146182A1 (en) Device and method for detecting moving objects
US9569688B2 (en) Apparatus and method of detecting motion mask
US20150163391A1 (en) Image capturing apparatus, control method of image capturing apparatus, and non-transitory computer readable storage medium
CN105208293B (zh) 数字摄像机的自动曝光控制方法及装置
US9402035B2 (en) Method and apparatus for determining exposure setting
KR20110034961A (ko) 장면 모드 표시에 따른 영상 처리 장치 및 방법
US10212330B2 (en) Autofocusing a macro object by an imaging device
US10469812B2 (en) Projection display system, information processing apparatus, information processing method, and storage medium therefor
US10121067B2 (en) Image processing apparatus that determines processing target area of an image based on degree of saliency, image processing method, and storage medium
US10063779B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
EP3506621B1 (en) Image processing apparatus, image processing method, and computer program
KR101582153B1 (ko) 이미지 자동 보정을 위한 구도 기반 노출 측정 방법 및 장치
US20170069104A1 (en) Image processing apparatus and image processing method
KR101579000B1 (ko) 프레임 그룹화를 이용한 이벤트 검출 방법 및 장치
US9871982B2 (en) Image pickup apparatus that detects flash band and control method therefor
US9854150B2 (en) Auto-focus control in a camera to prevent oscillation
JP2015233202A (ja) 画像処理装置および画像処理方法、並びにプログラム
KR20110067700A (ko) 이미지 획득 방법 및 디지털 카메라 시스템
KR101946946B1 (ko) 이미지 처리 장치 및 이의 이미지 처리 방법
KR101637637B1 (ko) 비디오 센서 시스템의 영역 별 자동 노출 방법 및 그 장치
US11631183B2 (en) Method and system for motion segmentation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right