KR102156998B1 - 비디오 시퀀스에서 모션을 감지하기 위한 방법 - Google Patents

비디오 시퀀스에서 모션을 감지하기 위한 방법 Download PDF

Info

Publication number
KR102156998B1
KR102156998B1 KR1020190029950A KR20190029950A KR102156998B1 KR 102156998 B1 KR102156998 B1 KR 102156998B1 KR 1020190029950 A KR1020190029950 A KR 1020190029950A KR 20190029950 A KR20190029950 A KR 20190029950A KR 102156998 B1 KR102156998 B1 KR 102156998B1
Authority
KR
South Korea
Prior art keywords
motion detection
detection sensitivity
spatial resolution
sensitivity map
motion
Prior art date
Application number
KR1020190029950A
Other languages
English (en)
Other versions
KR20190127543A (ko
Inventor
케스키칸가스 악셀
위안 송
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20190127543A publication Critical patent/KR20190127543A/ko
Application granted granted Critical
Publication of KR102156998B1 publication Critical patent/KR102156998B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/20—Calibration, including self-calibrating arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/2254—
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

왜곡된 이미지 프레임들을 포함하는 비디오 시퀀스에서 모션을 감지하기 위한 방법이 제공된다. 상기 방법은 상기 왜곡된 이미지 프레임들에 대한 공간 해상도 분포를 결정하는 단계(101); 상기 왜곡된 이미지 프레임들에 대한 모션 감지 민감도 맵을 결정하는 단계(102)-상기 모션 감지 민감도 맵은 상이한 모션 감지 민감도 레벨을 갖는 영역을 포함하고, 상기 모션 감지 민감도 맵은 상기 공간 해상도 분포에 기초하여 결정됨-; 및 상기 모션 감지 민감도 맵에 기초하여 상기 비디오 시퀀스에서 모션을 감지하는 단계(103)를 포함한다. 또한 모션 감지 컴포넌트 및 이러한 컴포넌트를 포함하는 카메라가 제공된다.

Description

비디오 시퀀스에서 모션을 감지하기 위한 방법{A METHOD FOR DETECTING MOTION IN A VIDEO SEQUENCE}
본 발명은 비디오 시퀀스에서 모션을 감지하는 분야에 관한 것이다.
카메라 적용을 위한 큰 분야는 감시이다. 모션 감지(motion detection)는 카메라 감시 시스템에서 중요한 기능이고, 따라서 효율적인 모션 감지 알고리즘을 사용하는 것이 유리하다. 일반적으로 모션 감지 알고리즘의 단점은 직선 렌즈(rectilinear lens), 즉 실제로 직선이 이의 캡쳐된 이미지에서 일직선으로 유지되는 렌즈를 염두에 두고 설계된다는 것이다. 따라서, 모션 감지 알고리즘은 왜곡된 이미지 프레임을 포함하는 비디오 시퀀스에서 수행하기에 최적이 아니다. 왜곡된 이미지 프레임의 종래 모션 분석에 대한 결과가 좋지 않거나 분석은 비디오 시퀀스의 더 많은 처리를 필요로 할 수 있다. 예를 들어, 광각 렌즈에 의해 캡쳐된 비디오 시퀀스는 렌즈 본질에 의해 왜곡된 이미지 프레임을 포함한다. 이러한 비디오 시퀀스는 일반적으로 양호한 결과로 모션 감지를 수행하기 전에 디워핑(dewarping) 과정을 실행하는 것을 필요로 한다.
어안 렌즈(fish-eye lens), 광학 돔과 같은 광각 렌즈 및 파노라마 이미지를 제공하기 위한 스티칭(stiching) 기술과 같이 왜곡된 이미지 프레임을 야기할 수 있는 다양한 왜곡 소스(source)가 존재한다. 스티칭에서, 하나 이상의 이미지 센서를 사용하여 캡쳐된 복수의 주요 이미지(primary image)가 결합되어 단일 이미지를 형성한다. 선택할 수 있는 복수의 공지된 스티칭 알고리즘이 있다.
왜곡은 또한 직선 렌즈를 제조하는 동안 불완전성으로 인해 발생할 수 있다.
왜곡 소스에 따라 다양한 유형의 왜곡 모양이 있다. 하나의 예는 렌즈의 대칭으로부터 발생되는 배럴 왜곡(barrel distortion), 핀쿠션 왜곡(pincushion distortion) 및 머스타시 왜곡(mustache distortion)을 포함하는 방사형 왜곡이다. 왜곡은 대안적으로 불규칙한 모양을 가질 수 있다.
왜곡 소스(들)와 왜곡 모양에 관계없이, 왜곡은 이미지를 분석할 때 문제가 된다. 예를 들어, 대부분의 알고리즘이 왜곡되지 않은 이미지에 적용되도록 설계되기 때문에 많은 모션 감지 알고리즘이 왜곡된 이미지에 적용될 때 많은 어려움을 겪는다. 따라서, 프로세서가 왜곡된 이미지에 대해 모션 감지 알고리즘 또는 다른 유사한 알고리즘을 적용하는 것이 계산적으로 많게 된다.
앞서 언급한 바와 같이, 이러한 문제에 대한 해결책은 모션 감지를 적용하기 전에 왜곡된 이미지에 대해 디워핑을 수행하는 것이다. 디워핑은 왜곡된 이미지를 선형으로 투영된 이미지로 반전시키는 과정으로, 모션 감지 알고리즘이 더 잘 작용한다. 그러나, 디워핑은 그 자체로 프로세서를 부담하는 매우 계산적으로 무거운 연산이며, 또한 예를 들어 프로세서 및 스케일러 유닛(scaler unit)에서 귀중한 자원(시간, 전력, 대역폭)을 차지한다. 또한, 디워핑은 제한된 자원인 카메라 시스템에 스케일러 유닛을 부담시키고 따라서 스케일러에 대한 액세스를 필요로 하는 다른 프로세스들도 어려움을 겪을 수 있다.
따라서, 전술한 문제점을 해결하기 위한 개선된 방법이 필요하다.
본 발명의 일반적인 목적은 왜곡된 이미지에 적용하기 위해 개선된 모션 감지 방법을 제공하는 것이다. 본 발명의 구체적인 목적은 광각 렌즈 또는 광학 돔과 같은 물리적 소스의 왜곡, 또는 스티칭 과정과 같은 디지털 소스의 왜곡을 갖는 카메라 시스템에 의해 생성된 이미지에 종래의 모션 감지 알고리즘을 적용하는 문제점을 해결하는 것이다.
제1 양태에 따르면, 이들 및 다른 목적은 적어도 하나의 이미지 센서에 의해 생성된 왜곡된 이미지 프레임들을 포함하는 비디오 시퀀스에서 모션을 감지하는 방법에 의해 전체적으로 또는 적어도 부분적으로 달성된다. 상기 방법은:
상기 왜곡된 이미지 프레임들에 대해 공간 해상도 분포를 결정하는 단계;
상기 왜곡된 이미지 프레임들에 대해 모션 감지 감도 맵을 결정하는 단계 - 상기 모션 감지 감도 맵은 상이한 모션 감지 감도 레벨을 갖는 영역을 포함하고, 상기 모션 감지 감도 맵은 상기 공간 해상도 분포에 기초하여 결정됨 -; 및
상기 모션 감지 감도 맵에 기초하여 상기 비디오 시퀀스에서 모션을 감지하는 단계를 포함한다.
상기 적어도 하나의 이미지 센서는 카메라에 포함될 수 있다.
본 발명에서 사용된 바와 같이 "왜곡된 이미지" 또는 "왜곡된 이미지 프레임"은 왜곡된 원근감(perspective)을 갖는 이미지를 의미한다. 왜곡된 이미지에서, 장면에서의 직선은 일반적으로 어느 정도 굴곡된다. 반대로, 완벽한 직선 이미지는 장면에서 일직선에 해당하는 완벽하게 직선을 갖는다. 이러한 적용의 맥락 내에서, 두가지 유형의 왜곡 소스, 즉 물리적 왜곡 소스 및 디지털 왜곡 소스가 논의된다. 물리적 왜곡 소스의 비-제한적인 예는 어안 렌즈(예를 들어, f-세타 렌즈), 광학 돔 및 불완전한 직선 렌즈를 포함하는 광각 렌즈이다. 렌즈에서의 불완전성은 부정확을 제조함으로써 야기될 수 있다. 디지털 왜곡 소스의 비-제한적인 예는 이미지 스티칭 알고리즘이다. 왜곡 패턴은 불규칙하거나 규칙적일 수 있다(예를 들어 방사 왜곡). 캡쳐된 이미지의 왜곡 패턴은 왜곡 소스의 하나 또는 조합의 결과일 수 있다.
본 발명에서 사용된 바와 같이 "공간 해상도 분포(spatial resolution distribution)"는 이미지 프레임에 대한 공간 해상도의 맵(map)을 의미한다. 예를 들어 광각 렌즈를 통해 획득되거나 복수의 이미지 프레임에서 스티칭된 왜곡된 이미지에서, 이미지의 다른 영역들은 상이한 공간 해상도를 갖는다. 즉, 이미지 프레임의 동일한 크기의 영역들은 카메라의 시야(FOV)의 상이한 크기의 각도를 커버한다(cover). 공간 해상도는 이미지 프레임에 대한 픽셀 레벨에서 특정될 수 있거나, 픽셀 서브-그룹 레벨, 예를 들어 매크로블록 레벨(macroblock level)에서 결정될 수 있다. 공간 해상도는 FOV 각도당 픽셀의 수 또는 픽셀 당 FOV 각도의 양으로 표현될 수 있다. 당업자는 적용에 따라 이들 표현 간을 상호 교환하는 방법을 잘 알고 있다. 예를 들어, 본 발명에 따른 방법의 구현에서, 이들 표현 중 하나를 사용하는 것이 바람직할 수 있다. 공간 해상도 분포는 예를 들어, 픽셀 또는 픽셀 서브-그룹, 예를 들어 매트로블록에 대한 공간 해상도 분포를 나타내는 테이블에 의해 제공될 수 있다.
본 발명에서 사용된 바와 같이 "모션 감지 감도 레벨(motion detection sensitivity level)"은 비디오 시퀀스에 적용된 모션 감지 알고리즘에서 사용될 감도의 양을 나타내는 레벨을 의미한다. 다른 눈금(scale)이 적용될 수 있다. 예를 들어, 1 - 100의 눈금이 적용될 수 있고, 여기서 1은 가장 낮은 감도(모션이 감지되기 위해 연속 이미지 프레임 간에 큰 차이가 요구됨을 의미함)를 나타내며 100은 가장 높은 감도(연속 이미지 프레임 간에 작은 차이로도 감지된 모션으로 나타남을 의미함)를 나타낸다.
본 발명에서 사용된 바와 같이 "모션 감지 감도 맵(motion detection sensitivity map)"은 이미지 프레임에서 모션 감지 감도 레벨의 분포를 나타낸다. 모션 감지 감도 맵은 복수의 이미지 프레임, 예를 들어 이미지 프레임의 시퀀스에 대해 결정되고 사용될 수 있다. 모션 감지 감도 맵은 예를 들어 모션 감지 감도 레벨을 이미지 프레임에서의 각각의 픽셀 또는 픽셀 그룹(예를 들어 각각의 매크로블록에 대해)으로 맵핑하는 테이블 또는 함수로서 표현될 수 있다. 함수는 예를 들어 입력으로서 이미지 프레임에서의 미리 결정된 위치 또는 미리 결정된 영역까지의 거리 및 출력으로서 모션 감지 감도 레벨을 가질 수 있다.
본 발명에서 사용된 바와 같이 "렌즈 폴리노미얼(lens polynomial)"은 렌즈 또는 광학 돔에 대한 렌즈 굴절을 나타내는 렌즈-특정 폴리노미얼을 의미한다. 렌즈 폴리노미얼은 예를 들어 비-축 변조 전달 함수(off-axis modular transfer function) 측정 방법을 이용하여 렌즈 또는 광학 돔 상에서 측정을 수행함으로써 획득될 수 있다. 렌즈 또는 광학 돔 제조업체는 전형적으로 이들 구분(assortment)에 다양한 유형의 렌즈 또는 광학 돔에 대해 렌즈 폴리노미얼 또는 왜곡을 나타내는 테이블을 제공할 수 있다.
본 발명에서 사용된 바와 같이, "투영 알고리즘(projection algorithm)"은 스티칭된 이미지 프레임을 형성하기 위해 다수의 주요 이미지 프레임이 스티칭/결합되는 방법을 기술하는 알고리즘을 의미한다. 투영 알고리즘은 상이한 목적, 예를 들어, 주요 이미지 프레임 간의 매끄러운 변환을 제공하기 위해 또는 최종 이미지 프레임에서의 왜곡을 최소화하기 위해 설계될 수 있다. 투영 알고리즘은 상이한 스티칭 알고리즘 간에 변할 수 있다. 일반적으로 캡쳐된 비디오 시퀀스에는 동일한 투영 알고리즘이 사용된다.
본 발명은 이미지 프레임 영역에 대한 모션 감지 감도 레벨을 그 이미지 프레임 영역의 공간 해상도에 해당하도록 설정하는 것이 유리하다는 발명자의 통찰에 의존한다. 공간 해상도는 이미지 프레임 영역에 의해 커버되는 FOV의 양을 나타낸다. FOV의 더 큰 각이 커버되면, 커버된 FOV 각에서의 움직임이 이미지 프레임 영역에서 상대적으로 작은 움직임으로 전환되기 때문에 모션 감도 레벨은 보다 높게 설정되어야 한다. 따라서, FOV의 작은 각도가 동일한 크기의 이미지 프레임 영역에 의해 커버되는 경우, 커버된 FOV 각에서의 움직임이 이미지 프레임 영역에서 상대적으로 더 높은 움직임으로 전환되기 때문에 모션 감도 레벨은 더 낮게 설정되어야 한다. 이러한 통찰은 왜곡된 이미지 프레임에 특히 유용하다. 이러한 적용은 왜곡이 물리적 왜곡 소스 및/또는 디지털 왜곡 소스에 의해 야기되는 왜곡된 이미지 프레임에 대해 설명한다.
본 발명자들의 통찰에 기초하여, 모션 감지 감도 맵은 공간 해상도 분포에 기초하여 결정된다. 상기에서 정의된 바와 같이, 모션 감지 감도 맵은 비디오 시퀀스에서의 이미지 프레임의 상이한 영역들 또는 심지어 픽셀에 대한 모션 감지 동안 어떤 모션 감지 감도를 사용할지에 대한 정보를 제공한다. 사용되는 영상 시스템(imaging system)에 따라, 모션 감지 감도 맵은 상이하게 결정되지만, 영상 시스템의 파라미터들에 제공된 감도 맵을 결정하는 방법은 당업자의 지식 내에 있다.
모션 감지 감도 맵은 왜곡된 이미지 프레임을 포함하는 비디오 시퀀스에서 모션을 감지하기 위해 예를 들어 프로세서에 의해 수행되는 모션 감지 알고리즘에 사용된다. 이러한 모션 감지 감도 맵을 사용하면, 모션 감지는 왜곡된 이미지 프레임을 포함하는 비디오 시퀀스에 대해 보다 효율적일 수 있다.
결정이 일반적으로 기초로 하는 파라미터는 비디오 시퀀스의 캡쳐 동안 동일하게 유지되기 때문에, 비디오 시퀀스에 대해 모션 감지 감도 맵을 한번 결정하는 것으로 충분할 수 있다.
일 실시 형태에서, 왜곡된 이미지 프레임은 카메라에 포함된 광각 렌즈를 통해 하나의 이미지 센서에 의해 캡쳐함으로써 생성될 수 있다. 이러한 실시 형태에서 공간 해상도 분포는 광각 렌즈의 렌즈 폴리노미얼에 기초하여 결정될 수 있다. 렌즈 폴리노미얼은 렌즈 제조업체에 의해 측정되거나 획득될 수 있다.
광각 렌즈는 초광각 렌즈의 한 종류인 어안 렌즈일 수 있다.
일 실시 형태에서, 왜곡된 이미지 프레임은 카메라에 포함된 광학 돔을 통해 하나의 이미지 센서에 의해 캡쳐함으로써 생성된다. 이러한 실시 형태에서 공간 해상도 분포는 광학 돔의 렌즈 폴리노미얼에 기초하여 결정될 수 있다. 광학 돔의 렌즈 폴리노미얼은 광학 돔의 제조업체에 의해 측정되거나 획득될 수 있다.
이러한 실시 형태에서 모션 감지 감도 맵의 영역들은 모션 감지 감도 맵의 기준 위치로부터 반경 방향으로 연장되는 타원형 패턴을 형성할 수 있다. 타원형 패턴은 원형 패턴을 형성할 수 있다. 이런 경우, 각각의 영역은 모션 감지 감도 맵의 기준 위치로부터 방사상 거리에 위치할 수 있다.
각각의 영역의 모션 감지 감도 레벨은 개별 영역에서 기준 위치까지의 거리가 증가하도록 설정될 수 있다. 기준 위치는 예를 들어 맵의 중심 위치일 수 있다.
다른 실시 형태에서, 각각의 왜곡된 이미지 프레임은 하나 이상의 이미지 센서에 의해 캡쳐된 복수의 주요 이미지의 투영 알고리즘에 기초하여 스티칭에 의해 생성된다. 복수의 주요 이미지는 동일하거나 상이한 카메라 상에 위치할 수 있는 복수의 이미지 센서에 의해 캡쳐될 수 있다.
공간 해상도 분포는 이러한 실시 형태에서 투영 알고리즘에 기초하여 결정될 수 있다. 투영 알고리즘은 스티칭 알고리즘에서 정의된다.
모션 감지는 카메라 시스템의 다른 알고리즘에 사용될 수 있다. 예를 들어, 모션 감지는 물체 감지, 물체 추적, 지평면 감지 또는 경보 이벤트(alarm events)를 결정하는 입력으로 사용될 수 있다. 본 발명의 일 실시 형태는 물체 감지, 물체 추적, 지평면 감지와 같은 영상 처리 알고리즘을 수행하거나 결정된 모션 감지에 기초하여 경보 이벤트를 결정하는 단계를 포함한다.
제2 양태에 따르면, 상기 개시된 목적 및 다른 목적은 처리 능력을 갖는 장치에 의해 실행될 때 제1 양태에 따른 실시 형태 중 임의의 하나에 따른 방법을 수행하도록 적용되는 저장된 컴퓨터 코드 명령어를 갖는 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품에 의해 전체적으로 또는 적어도 부분적으로 달성된다.
제3 양태에 따르면, 상기 개시된 목적 및 다른 목적은 카메라에서 적어도 하나의 이미지 센서에 의해 생성된 왜곡된 이미지 프레임들을 포함하는 비디오 시퀀스에서 모션을 감지하기 위한 모션 감지 컴포넌트에 의해 전체적으로 또는 적어도 부분적으로 달성된다. 상기 모션 감지 컴포넌트는:
상기 왜곡된 이미지 프레임들에 대한 공간 해상도 분포를 결정하도록 적용된 공간 해상도 분포 컴포넌트; 및
상기 왜곡된 이미지 프레임들에 대해 모션 감지 감도 맵을 결정하도록 적용된 모션 감지 감도 맵 컴포넌트 - 상기 모션 감지 감도 맵은 상이한 모션 감지 감도 레벨을 갖는 영역들을 포함하고, 상기 모션 감지 감도 맵은 상기 공간 해상도 분포에 기초하여 결정됨 -;를 포함하고,
상기 모션 감지 컴포넌트는 상기 모션 감지 감도 맵에 기초하여 상기 비디오 시퀀스에서의 모션을 감지하도록 적용된다.
제3 양태의 모션 감지 컴포넌트는 일반적으로 동반되는 이점을 갖는 제1 양태의 방법과 동일한 방식으로 구현될 수 있다.
제4 양태에 따르면, 상기 개시 및 다른 목적은 제3 양태, 또는 임의의 이의 실시 형태에 따른 모션 감지 컴포넌트를 포함하는 카메라에 의해 전체적으로 또는 적어도 부분적으로 달성된다.
일 실시 형태에서, 카메라는 이미지가 카메라의 하나의 이미지 센서에 의해 캡쳐되는 광각 렌즈를 포함할 수 있다.
다른 실시 형태에서, 카메라는 복수의 이미지 센서를 포함할 수 있고, 복수의 이미지 센서에 의해 캡쳐된 복수의 주요 이미지로부터 이미지 프레임들을 스티칭하도록 적용된 스티칭 컴포넌트를 더 포함할 수 있다.
본 발명의 또 다른 적용 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나, 본 발명의 바람직한 실시 형태를 나타내는 상세한 설명 및 특정 예는 본 발명의 범위 내에서 다양한 변경 및 수정이 상세한 설명으로부터 당업자에게 자명할 것이므로 단지 예시로서 제공된 것임을 이해할 것이다.
따라서, 본 발명은 기술된 장치의 특정 컴포넌트 부분들 또는 이러한 장치 및 방법이 변할 수 있는 것으로 설명된 방법들의 단계들로 제한되지 않음을 이해할 것이다. 본 발명에서 사용된 용어는 특정 실시 형태를 설명하기 위한 것이며, 제한하려는 것은 아님을 이해할 것이다. 상세한 설명 및 첨부된 청구항에서 사용된 바와 같이, "하나", "하나의", "그" 및 "상기"라는 문구는 문맥이 달리 지칭하지 않는 한, 하나 이상의 요소가 존재하는 것을 나타내는 것으로 의도된다. 따라서, 예를 들어, "물체" 또는 "상기 물체"에 대한 언급은 여러 물체 등을 포함할 수 있다. 또한, "포함하는"이라는 단어는 다른 요소 또는 단계를 배제하지 않는다.
본 발명은 예로서 보다 상세하게 설명되고 첨부된 개략적인 도면을 참조하여 설명될 것이다.
도 1은 일 실시 형태에 따른 모션 감지를 위한 방법을 도시한다.
도 2는 이미지 센서에 의해 이미지 프레임에 캡쳐된 장면을 도시한다.
도 3은 일 실시 형태에 따른 모션 감지 감도 맵을 도시한다.
도 4는 공통의 왜곡된 이미지 프레임에 스티칭되는 주요 이미지의 세트를 도시한다.
도 5는 일 실시 형태에 따른 모션 감지 감도 맵을 도시한다.
도 1에서, 본 발명의 일 실시 형태에 따른 비디오 시퀀스에서 모션을 감지하기 위한 방법(100)이 기술된다. 방법(100)은 왜곡된 이미지 프레임들을 포함하는 비디오 시퀀스에 대해 수행된다. 방법(100)은 예를 들어 카메라 시스템의 프로세서에서 또는 카메라 시스템과는 별도의 장치의 프로세서에서 수행될 수 있다. 상기 방법의 상이한 부분은 상이한 처리 장치에서 수행될 수 있다. 상기 방법의 일부는 카메라 시스템에 의해 수행될 수 있고, 다른 부분은 다른 하나 이상의 처리 장치에 의해 수행될 수 있다.
비디오 시퀀스는 모션을 감지하기 위한 본 방법(100)을 거치기 전에 변경되거나 처리될 수 있다. 비디오 시퀀스를 캡쳐하기 위해 사용되는 카메라 시스템은 실외 및/또는 실내 감시에 적합한 모니터링 카메라 시스템일 수 있다.
방법(100)은 비디오 시퀀스에서 하나 이상의 이미지 프레임들에 대한 공간 해상도 분포를 결정하는 첫번째 단계(101)를 포함한다. 상기에서 정의된 바와 같이, 공간 해상도 분포는 하나 이상의 이미지 프레임에 대한 공간 해상도의 표현이다. 공간 해상도는 카메라 시스템에 대해 한번(예를 들어, 비디오 시퀀스의 캡쳐 전에) 결정될 수 있고, 결정을 위한 기준이 변경되지 않는 한, 이러한 카메라 시스템에 의해 캡쳐된 비디오 시퀀스에 적용될 수 있다. 이러한 적용에서, 공간 해상도 분포를 결정하는 방법의 두가지 변형이 논의될 것이고: 첫번째는 렌즈 폴리노미얼에 기초하여 공간 해상도 분포가 결정되고, 두번째는 공간 해상도 분포가 투영 알고리즘에 기초하여 결정되는 것이다. 그러나 이러한 적용의 범위는 이들 변형에 제한되지 않는다. 공간 해상도 분포를 결정하기 위한 다른 변형은 당업자가 도달하는 범위 내에 있을 수 있다.
두번째 단계(102)에서, 모션 감지 감도 맵은 비디오 시퀀스의 왜곡된 이미지 프레임들에 대해 결정된다. 모션 감지 감도 맵은 이미지 프레임에 대한 모션 감지 감도 레벨의 분포를 나타낸다. 모션 감지 감도 맵의 목적은 이미지 프레임에서 어느 영역에 어떤 모션 감지 감도를 사용할지에 대한 모션 감지 알고리즘에 대한 입력으로서 기능한다는 것이다. 모션 감지 감도 맵은 예를 들어 추후에 상세히 예시될 바와 같이 테이블 또는 함수로 표현될 수 있다. 모션 감지 감도 맵은 공간 해상도 분포에 기초하여 결정된다.
세번째 단계(103)에서, 모션은 결정된 모션 감지 감도 맵에 기초하여 왜곡된 이미지 프레임들을 포함하는 비디오 시퀀스에서 감지된다.
본 발명의 중요한 측면은 모션 감지의 기초가 되는 모션 감지 감도 맵이 공간 해상도 분포에 기초하여 결정된다는 것이다. 이러한 특징에 의해, 모션 감지는 이미지 프레임들의 왜곡된 특성에 보다 잘 적용될 수 있다. 이하의 실시 형태의 보다 상세한 예로부터 명백한 바와 같이, 이는 광각 렌즈, 광학 돔 또는 스티칭된 이미지를 생성하는 다중 센서 카메라 시스템을 갖는 카메라 시스템으로 캡쳐된 비디오 시퀀스의 분석에 매우 유리하다. 본 발명자들은 카메라 시스템에 의해 정의된 공간 해상도 분포와 캡쳐된 이미지 프레임들의 모션 감지 감도 레벨 사이를 연결함으로써, 전술한 이점이 달성될 수 있음을 인지하였다. 즉, 왜곡된 특성에 의한 영향이 없는 모션 감지가 부분적으로 또는 전체적으로 달성될 수 있다. 또한, 이러한 방법은 사용자-입력을 필요로 하지 않으며, 이는 모션 감지 감도 레벨을 설정하기 위한 일부 공지된 방법을 갖는 경우이다.
보다 상세히 설명하자면, 두개의 다른 실시 형태가 각각 도 2-3 및 도 4-5를 참조하여 설명될 것이다.
제1 실시 형태에서 시작하여, 이미지 센서(204) 및 광각 렌즈(207)를 포함하는 카메라 시스템이 도 2에 도시된다. 광각 렌즈(207)는 어안 렌즈일 수 있다. 카메라 시스템은 집(201) 및 나무(202)인 물체를 포함하는 장면의 이미지 프레임들을 캡쳐한다. 카메라 시스템에 의해 관찰된 장면의 영역은 시야(FOV)(205)로서 정의된다. FOV는 206a, 206b, 206c로 표시되는 등각 관찰 영역들로 분할된다. 이러한 분할은 본 실시 형태의 개시를 돕기 위해 예시되며, 반드시 방법 또는 카메라 시스템의 구현의 일부는 아니다. 즉, 개시된 카메라 시스템의 실현에서 FOV를 상이한 관찰 영역들로 물리적으로 분할하는 것을 의도하지 않는다.
비디오 시퀀스는 카메라 시스템의 이미지 센서(204)에 의해 캡쳐된다. 비디오 시퀀스의 대표적인 이미지 프레임(210)이 도 2에 도시된다. 이미지 프레임(210)은 집(201)에 해당하는 제1 이미지화된 물체(221) 및 나무(202)에 해당하는 제2 이미지화된 물체(212)를 포함한다. 이미지 프레임(210)은 광각 렌즈(207)의 사용에 의해 캡쳐되기 때문에 왜곡된다. 왜곡은 장면의 볼록한 외관(appearance)을 제공하는 것으로 설명될 수 있다. 광각 렌즈는 다른 외관의 왜곡을 제공하는 다른 맵핑 함수를 가질 수 있다. 맵핑 함수 유형의 비-제한적 예는 입체 그래픽, 등거리, 등입체각 및 정사영이다. 궁극적으로, 왜곡을 정의하는 것은 사용된 렌즈(207)에 대한 렌즈 폴리노미얼이다.
렌즈(207)를 사용하는 카메라 시스템에 있어서, 공간 해상도 분포는 렌즈(207)에 대한 렌즈 폴리노미얼에 기초하여 결정된다. 렌즈 폴리노미얼의 비-제한적인 예는 하기이고:
각도 = T_1 + T_2 * x + T_3 * x^2 + T_4 * x^3 + T_5 * x^4
상기 각도는 센서 대 렌즈 축(sensor-to-lens-axis)과 내부 대면 렌즈 표면 사이의 각도이며, x는 렌즈의 중심에 대한 밀리미터 단위의 거리로서 정의되고, T 파라미터는 다음의 값으로 제공되며:
T_1 = 0
T_2 = -35
T_3 = -0.03
T_4 = -0.408
T_5 = 0.010.
렌즈 폴리노미얼에 기초하여, FOV 각도(206a, 206b, 206c) 당 픽셀 수로서 표현된 공간 해상도 분포가 결정된다. 즉, 공간 해상도 분포는 이미지 프레임(210)에서 상이한 픽셀 영역에 대해 등각 관찰 영역들(206a, 206b, 206c) 중 하나에 의해 커버되는 픽셀 수를 알려준다. 알 수 있는 바와 같이, 이미지 프레임(210)의 중앙 영역의 경우, 이미지 프레임(210)의 주변 영역과 비교할 때 더 많은 수의 픽셀이 등각 관찰 영역을 커버한다.
공간 해상도는 픽셀 또는 매크로블록과 같은 픽셀 그룹에 대한 공간 해상도를 제공하는 테이블로 표현될 수 있다. 공간 해상도는 픽셀 그룹에 대해 결정될 수 있으며, 픽셀 그룹은 이미지 프레임의 어느 영역에 위치하는지에 따라 크기가 다르다. 어안과 같은 광각 렌즈의 경우, 공간 해상도는 16x16 크기의 보다 큰 매크로블록에 대한 중앙 영역에서 정의될 수 있고, 4x4 크기의 보다 작은 매크로블록에 대해 중앙 영역보다 큰 왜곡을 갖는 주변 영역으로 정의될 수 있다. 따라서, 공간 해상도 분포를 나타내는 보다 효율적인 방법이 달성된다. 다른 렌즈의 경우에도, 동일한 원리가 적용될 수 있다. 즉, 공간 해상도는 낮은 왜곡을 갖는 이미지 영역들에 대한 큰 픽셀 그룹에 대해 정의될 수 있고, 높은 왜곡을 갖는 이미지 영역들에 대한 작은 픽셀 그룹에 대해 정의될 수 있다. 렌즈 폴리노미얼을 통해, 이미지의 상이한 부분에서 왜곡의 레벨이 결정될 수 있다.
결정된 공간 해상도 분포에 기초하여, 모션 감지 감도 맵(300)은 결정될 수 있고, 이는 도 3에 도시된다. 모션 감지 감도 맵(300)은 이미지 프레임(210)(및 비디오 시퀀스의 다른 이미지 프레임들)과 동일한 치수를 가진다. 모션 감지 감도 맵(300)은 상이한 모션 감지 감도 레벨을 나타내는 영역(302, 303, 304)을 포함한다. 모션 감지 감도 맵(300)은 상이한 공간 해상도 또는 공간 해상도 간격에 대해 상이한 영역을 형성함으로써 생성될 수 있다. 모션 감지 감도 맵(300)에서의 영역들(302, 303, 304)은 이들이 나타내는 공간 해상도 또는 공간 해상도 간격에 따라 상이한 모션 감지 감도 레벨과 관련된다.
이러한 실시 형태에서, 모션 감지 감도 맵(300)의 영역들(302, 303, 304)은 기준 위치(301)로부터 반경 방향으로 연장되는 타원형 패턴을 형성한다. 타원형 패턴은 이미지 프레임(210)의 중앙 위치까지 거리에 따라 변하는 공간 해상도 분포로부터 기인한다. FOV 각도 당 픽셀로 표현되며, 공간 해상도 분포는 이미지 프레임(210)의 중앙 위치까지 거리에 따라 감소한다. 즉, 이미지 프레임(210)의 주변 영역에서, 이미지 프레임(210)의 중앙 영역들과 비교될 때 더 적은 수의 픽셀이 동일한 FOV 각을 커버한다. 모션 감지 감도 맵(300)은 영역들(302, 303, 304)의 모션 감지 감도 레벨이 각각의 영역에서 기준 위치(301)까지의 반경 거리에 따라 증가한다는 이러한 관계를 반영한다. 모션 감지 감도 레벨은 눈금 상의 수치, 예를 들어 1 - 100으로서 표현될 수 있다.
모션 감지 감도 맵(300)에 기초하여, 모션 감지 알고리즘이 이미지 프레임(210)을 포함하는 비디오 시퀀스에 적용된다. 모션 감지 알고리즘은 종래의 모션 감지 알고리즘 중에서 선택될 수 있다. 모션 감지 감도 레벨은 모션 감지 감도 맵(300)에 따라 이미지 프레임(210)의 다른 영역들에 대해 설정된다. 다시 말하면, 주변 영역(304)에서 감지된 모션에 비해 중앙 영역(302)에서 낮은 감도로 모션이 감지된다. 일단 모션 감지 감도 맵이 결정되면, 상이한 영역들에 대해 상이한 모션 감도 레벨을 갖는 모션 감지를 구현하는 방법이 인지되고 본 발명에서 임의의 추가 설명없이, 당업자가 도달하는 범위 내에 있다. 모션 감지 감도 맵에 대한 모션 감지를 기초로 함으로써, 모션 감지는 비디오 시퀀스의 이미지 프레임들에서 왜곡에 관계없이 적용될 수 있고, 직선형 원근감을 갖는 이미지 프레임들에 적용되는 모션 감지와 동일한 만족스러운 결과를 갖는다.
모션 감지 감도 맵(300)은 예를 들어 테이블 또는 함수로 표현될 수 있다.
테이블은 예를 들어 픽셀 또는 크기가 다른 매크로블록과 같은 픽셀 서브-그룹을 모션 감지 감도 레벨과 연관시킬 수 있다:
픽셀 모션 감지
감도 레벨
(0,0) 10
(0,1) 11
(0,2) 11
... ...
함수는 예를 들어 기준 위치(301)까지의 거리의 함수로서 모션 감지 감도 레벨을 출력으로서 제공할 수 있고:
MDSL = f(dref)
여기서, MDSL은 모션 감지 감도 레벨이고, dref는 기준 위치(301)까지의 거리이다.
제1 실시 형태는 강조된 본 발명의 원리의 이해를 돕기 위해 2차원 방식으로 도시된다. 그러나, 당업자는 이러한 방식을 3차원 접근법을 필요로 하는 실제 구현으로 전환하는 것이 가능하다.
광각 렌즈를 포함하는 카메라 시스템에 적용되는 본 발명의 방법은 다른 유형의 물리적 왜곡 소스를 포함하는 카메라 시스템에도 적용될 수 있다. 이러한 카메라 시스템의 일례는 카메라가 장면을 묘사하는 광학 돔을 포함하는 광학 돔 카메라이다. 즉, 이미지를 캡쳐하기 위한 빛 또는 다른 방사선은 렌즈를 포함하는 광학 장치를 통과하기 전에 투명하거나 반투명한 광학 돔을 통해 전송되고, 이미지 센서에 의해 감지된다. 광학 돔은 광각 렌즈 카메라 시스템에 대해 전술한 바와 동일한 방식으로 캡쳐된 이미지 프레임들에 대한 공간 해상도 분포를 결정하는데 사용될 수 있는 렌즈 폴리노미얼로 기술될 수 있는 돔 형상을 갖는다.
제2 실시 형태를 설명하면, 주요 이미지(401, 402)의 세트가 도 4에 도시된다. 각각의 주요 이미지(401, 402)는 카메라 시스템에서 카메라의 이미지 센서에 의해 캡쳐된다. 주요 이미지(401, 402)는 직선 렌즈를 통해 캡쳐될 수 있다. 주요 이미지(401, 402)는 다중 센서 카메라 시스템에서 상이한 이미지 센서에 의해, 또는 장면을 패닝(pan)하기 위해 채택된 단일 이미지 센서에 의해 캡쳐될 수 있다. 주요 이미지(401)는 집(404), 첫번째 나무(405) 및 두번째 나무(406)와 같은 물체를 묘사한다.
왜곡된 파노라마 이미지 프레임(403)은 투영 알고리즘에 기초하여 주요 이미지(401, 402)를 스티칭(stitching)함으로써 생성된다. 종래 투영 알고리즘, 예를 들어 이미지 프레임(403)에 대한 원통형 투영 알고리즘이 사용될 수 있다.
공간 해상도 분포는 투영 알고리즘에 기초하여 결정된다. 공간 해상도 분포를 결정하는 방법에 대한 원리는 제1 실시 형태와 동일하다. 투영 알고리즘에 기초하여, 상이한 픽셀 또는 픽셀 서브-그룹에서의 공간 해상도가 계산될 수 있다.
도 5에 도시된 모션 감지 감도 맵(500)은 공간 해상도 분포에 기초하여 결정된다. 모션 감지 감도 맵(500)은 공간 해상도 분포를 상이한 모션 감지 감도 레벨을 갖는 상이한 영역들로 전환하는 것과 같이 설명될 수 있다. 이러한 예시적인 실시 형태에서, 모션 감지 감도 맵(500)은 직선 수평선으로부터 멀어져서 만곡된 수평 연장 영역들(501, 502, 503)을 포함한다. 수평선은 장면의 수평선의 위치에 해당하므로, 카메라가 위치되는 방식에 따라 다르게 배치될 수 있다. 각각의 영역(501, 502, 503)은 모션 감지 감도 레벨을 나타낸다.
모션 감지 감도 맵(500)에 기초하여, 모션 감지 알고리즘이 이미지 프레임(403)을 포함하는 비디오 시퀀스에 적용된다. 모션 감지 알고리즘은 종래 모션 감지 알고리즘 중에서 선택될 수 있다. 모션 감지 감도 레벨은 모션 감지 감도 맵(500)에 따라 이미지 프레임(403)의 다른 영역들에 대해 설정된다. 모션 감지 감도 맵(500)은 예를 들어 테이블 또는 함수로 표현될 수 있다.
동일한 원리가 제1 실시 형태와 마찬가지로 이러한 제2 실시 형태에 적용되므로, 다시 상세하게 설명하지 않는다. 제1 실시 형태의 개시가 참조된다.
비록 상기 예들이 오직 하나의 왜곡 소스를 포함하는 카메라 시스템에 적용되는 방법을 개시하고 있지만, 당업자는 상기 방법이 둘 이상의 왜곡 소스를 포함하는 카메라 시스템에 적용될 수 있음을 이해할 것이다. 왜곡 소스의 조합의 비-제한적 예는 광학 돔과 결합된 광각 렌즈, 스티칭 알고리즘과 결합된 광각 렌즈 또는 스티칭 알고리즘과 결합된 광학 돔이다. 또한, 본 발명의 설명에 기초하여, 당업자는 결합된 왜곡 소스를 갖는 카메라 시스템 상에서 상기 방법을 적용할 수 있다. 특히, 이러한 경우의 공간 해상도 분포는 종래의 방법을 통해 수행될 수 있는 여러 왜곡 소스에 기초하여 결정될 수 있다. 비-제한적인 예는 광각 렌즈의 렌즈 폴리노미얼 및 광학 돔의 렌즈 폴리노미얼에 기초하여 공간 해상도 분포가 결정된다는 것이다.
전술한 각각의 실시 형태들에 의해 명백한 바와 같이, 모션 감지 감도 맵은 공간 해상도 분포에 의존한다. 즉, 상이한 공간 해상도 분포는 상이한 모션 감지 감도 맵을 제공한다. 이는 이들이 예를 들어 렌즈 폴리노미얼 또는 투영 알고리즘에 기초하는지를 결정하는 방법에 관계없이 공간 해상도 분포에 적용된다.
당업자는 본 발명이 결코 전술한 바람직한 실시 형태에 제한되지 않는다는 것을 인지한다. 반대로, 첨부된 청구항의 범위 내에서 많은 수정 및 변형이 가능하다. 예를 들어, 다른 유형의 렌즈 폴리노미얼 또는 투영 알고리즘이 사용될 수 있다. 또한, 본 방법은 왜곡된 이미지 프레임들을 포함하는 비디오 시퀀스에도 적용 가능하며, 왜곡은 본 발명에 개시된 것 이외의 다른 과정으로부터 기인한다.

Claims (13)

  1. 적어도 하나의 이미지 센서를 통해 생성된 왜곡된 이미지 프레임들을 포함하는 비디오 시퀀스에서 모션을 감지하는 방법으로서,
    상기 왜곡된 이미지 프레임들에 대해 공간 해상도 분포를 결정하는 단계;
    상기 왜곡된 이미지 프레임들에 대해 모션 감지 감도 맵을 결정하는 단계 - 상기 모션 감지 감도 맵은 상이한 모션 감지 감도 레벨을 갖는 영역들을 포함하고, 상기 모션 감지 감도 맵은 상기 공간 해상도 분포에 기초하여 결정됨 -; 및
    상기 모션 감지 감도 맵에 기초하여 상기 비디오 시퀀스에서 모션을 감지하는 단계를 포함하는 방법.
  2. 제1항에 있어서, 상기 왜곡된 이미지 프레임들은 광각 렌즈를 통해 하나의 이미지 센서로 캡쳐함으로써 생성되고, 상기 공간 해상도 분포는 상기 광각 렌즈의 렌즈 폴리노미얼에 기초하여 결정되는 것을 특징으로 하는 방법.
  3. 제2항에 있어서, 상기 광각 렌즈는 어안 렌즈인 것을 특징으로 하는 방법.
  4. 제2항에 있어서, 상기 왜곡된 이미지 프레임들은 광학 돔을 통해 하나의 이미지 센서에 의해 캡쳐함으로써 생성되고, 상기 공간 해상도 분포는 상기 광학 돔의 렌즈 폴리노미얼에 기초하여 결정되는 것을 특징으로 하는 방법.
  5. 제2항에 있어서,
    상기 모션 감지 감도 맵의 영역들은 상기 모션 감지 감도 맵의 기준 위치로부터 반경 방향으로 연장되는 타원형 패턴을 형성하고,
    각각의 영역의 모션 감지 감도 레벨은 상기 영역으로부터 상기 기준 위치까지의 반경 방향 거리에 따라 증가하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서, 각각의 왜곡된 이미지 프레임은 하나 이상의 이미지 센서에 의해 캡쳐된 복수의 주요 이미지의 투영 알고리즘에 기초하여 스티칭에 의해 생성되는 것을 특징으로 하는 방법.
  7. 제6항에 있어서, 상기 공간 해상도 분포는 상기 투영 알고리즘에 기초하여 결정되는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    물체 감지, 물체 추적, 지평면 감지를 수행하거나 상기 감지된 모션에 기초한 경보 이벤트를 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 처리 능력을 갖는 장치에 의해 실행될 때 제1항에 따른 방법을 수행하도록 적용되는 저장된 컴퓨터 코드 명령어를 갖는 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품.
  10. 적어도 하나의 이미지 센서를 통해 생성된 왜곡된 이미지 프레임들을 포함하는 비디오 시퀀스에서 모션을 감지하기 위한 모션 감지 컴포넌트로서,
    상기 왜곡된 이미지 프레임들에 대한 공간 해상도 분포를 결정하도록 적용된 공간 해상도 분포 컴포넌트; 및
    상기 왜곡된 이미지 프레임들에 대해 모션 감지 감도 맵을 결정하도록 적용된 모션 감지 감도 맵 컴포넌트 - 상기 모션 감지 감도 맵은 상이한 모션 감지 감도 레벨을 갖는 영역들을 포함하고, 상기 모션 감지 감도 맵은 상기 공간 해상도 분포에 기초하여 결정됨 -;를 포함하고,
    상기 모션 감지 컴포넌트는 상기 모션 감지 감도 맵에 기초하여 상기 비디오 시퀀스에서 모션을 감지하도록 적용되는 것을 특징으로 하는 모션 감지 컴포넌트.
  11. 제10항에 따른 모션 감지 컴포넌트를 포함하는 카메라.
  12. 제11항에 있어서, 상기 카메라의 하나의 이미지 센서에 의해 이미지가 캡쳐되는 광각 렌즈를 더 포함하는 것을 특징으로 하는 카메라.
  13. 제12항에 있어서, 복수의 이미지 센서를 더 포함하고, 상기 복수의 이미지 센서에 의해 캡쳐된 복수의 주요 이미지로부터 이미지 프레임들을 스티칭하도록 적용된 스티칭 컴포넌트를 더 포함하는 것을 특징으로 하는 카메라.
KR1020190029950A 2018-05-04 2019-03-15 비디오 시퀀스에서 모션을 감지하기 위한 방법 KR102156998B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18170829.8A EP3564917B1 (en) 2018-05-04 2018-05-04 A method for detecting motion in a video sequence
EP18170829.8 2018-05-04

Publications (2)

Publication Number Publication Date
KR20190127543A KR20190127543A (ko) 2019-11-13
KR102156998B1 true KR102156998B1 (ko) 2020-09-16

Family

ID=62134078

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190029950A KR102156998B1 (ko) 2018-05-04 2019-03-15 비디오 시퀀스에서 모션을 감지하기 위한 방법

Country Status (6)

Country Link
US (1) US10783646B2 (ko)
EP (1) EP3564917B1 (ko)
JP (1) JP6866419B2 (ko)
KR (1) KR102156998B1 (ko)
CN (1) CN110443750B (ko)
TW (1) TWI746947B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
KR20230106385A (ko) * 2022-01-06 2023-07-13 삼성전자주식회사 카메라를 포함하는 전자 장치 및 움직이는 물체를 촬영하는 동영상 생성 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070252693A1 (en) 2006-05-01 2007-11-01 Jocelyn Janson System and method for surveilling a scene
US20120019614A1 (en) 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003088648A1 (fr) * 2002-04-17 2003-10-23 Matsushita Electric Industrial Co., Ltd. Detecteur de mouvement, systeme de traitement d'image, procede de detection de mouvement, programme, support d'enregistrement
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
JP4340915B2 (ja) * 2006-02-01 2009-10-07 ソニー株式会社 撮像画像信号の歪み補正方法、撮像画像信号の歪み補正装置、撮像方法および撮像装置
JP4525945B2 (ja) * 2007-08-07 2010-08-18 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体
CN101179725A (zh) * 2007-12-12 2008-05-14 北京中星微电子有限公司 一种运动检测方法与装置
EP2199806A1 (en) 2008-12-18 2010-06-23 Universität Zürich Passive translational velocity measurement from optical information
JP5487722B2 (ja) * 2009-05-25 2014-05-07 ソニー株式会社 撮像装置と振れ補正方法
CN102577347B (zh) * 2009-06-29 2015-09-23 博世安防系统有限公司 全方位智能自动巡视和态势感知的球形监视摄像机系统和方法
JP2011023885A (ja) * 2009-07-14 2011-02-03 Canon Inc 映像符号化装置及び映像符号化方法
JP5577939B2 (ja) * 2010-08-20 2014-08-27 ソニー株式会社 撮像装置、収差補正方法、および、プログラム
US8982180B2 (en) * 2011-03-31 2015-03-17 Fotonation Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
JP4980486B1 (ja) * 2011-06-14 2012-07-18 株式会社ナナオ 動き画像領域判定装置またはその方法
US8681223B2 (en) * 2011-06-24 2014-03-25 Honeywell International Inc. Video motion detection, analysis and threat detection device and method
JP5736512B2 (ja) * 2012-06-22 2015-06-17 富士フイルム株式会社 撮像装置およびその動作制御方法
KR20140109537A (ko) * 2013-02-28 2014-09-16 엘지전자 주식회사 디지털 비디오 레코더 및 이를 이용한 객체 추적 방법
JP6209002B2 (ja) * 2013-07-16 2017-10-04 キヤノン株式会社 撮像装置およびその制御方法
JP6170395B2 (ja) * 2013-09-26 2017-07-26 キヤノン株式会社 撮像装置およびその制御方法
JP6141437B2 (ja) * 2013-09-26 2017-06-07 三菱電機株式会社 監視カメラ、監視システム及び動き判定方法
JP6090193B2 (ja) * 2014-02-07 2017-03-08 三菱電機株式会社 動き検出処理装置、画像処理装置、撮像装置及び動き検出処理方法
JP6027560B2 (ja) * 2014-02-18 2016-11-16 富士フイルム株式会社 自動追尾撮像装置
JP6374228B2 (ja) * 2014-06-11 2018-08-15 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、およびプログラム
US20170307360A1 (en) * 2014-09-25 2017-10-26 Nec Corporation Status determination device and status determination method
US9614908B2 (en) 2014-10-13 2017-04-04 Qualcomm Incorporated Selecting a leader to perform a floor arbitration function for a P2P session
JPWO2016152076A1 (ja) * 2015-03-20 2018-01-11 日本電気株式会社 構造物の状態判定装置と状態判定システムおよび状態判定方法
WO2016160794A1 (en) * 2015-03-31 2016-10-06 Thermal Imaging Radar, LLC Setting different background model sensitivities by user defined regions and background filters
CN104954738A (zh) * 2015-04-30 2015-09-30 广州视声光电有限公司 一种移动侦测方法及装置
WO2016191142A2 (en) * 2015-05-27 2016-12-01 Verily Life Sciences Llc Nanophotonic hyperspectral/lightfield superpixel imager
WO2017014071A1 (ja) * 2015-07-22 2017-01-26 ソニー株式会社 カメラモジュール、固体撮像素子、電子機器、および撮像方法
US9819865B2 (en) 2015-10-30 2017-11-14 Essential Products, Inc. Imaging device and method for generating an undistorted wide view image
JP6987508B2 (ja) * 2017-02-20 2022-01-05 オムロン株式会社 形状推定装置及び方法
JP7297412B2 (ja) * 2018-06-13 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびレンズ装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070252693A1 (en) 2006-05-01 2007-11-01 Jocelyn Janson System and method for surveilling a scene
US20120019614A1 (en) 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device

Also Published As

Publication number Publication date
JP2020004389A (ja) 2020-01-09
US10783646B2 (en) 2020-09-22
EP3564917A1 (en) 2019-11-06
TW202001792A (zh) 2020-01-01
EP3564917B1 (en) 2020-07-01
US20190340771A1 (en) 2019-11-07
CN110443750A (zh) 2019-11-12
KR20190127543A (ko) 2019-11-13
TWI746947B (zh) 2021-11-21
CN110443750B (zh) 2021-07-27
JP6866419B2 (ja) 2021-04-28

Similar Documents

Publication Publication Date Title
US10127682B2 (en) System and methods for calibration of an array camera
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US8786718B2 (en) Image processing apparatus, image capturing apparatus, image processing method and storage medium
KR20190021342A (ko) 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스
US20170214866A1 (en) Image Generating Method and Dual-Lens Device
US20160117820A1 (en) Image registration method
JP2003244521A (ja) 情報処理方法、装置および記録媒体
JP6556013B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
KR102156998B1 (ko) 비디오 시퀀스에서 모션을 감지하기 위한 방법
JPWO2019026287A1 (ja) 撮像装置および情報処理方法
JP4193342B2 (ja) ３次元データ生成装置
US11812137B2 (en) Measurement apparatus, image capturing apparatus, control method, and recording medium
JP2015188251A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2010217984A (ja) 像検出装置及び像検出方法
JP2006184065A (ja) 物体検出装置
JP2019021189A (ja) 物体検出装置
JP6482589B2 (ja) カメラ校正装置
US9699394B2 (en) Filter arrangement for image sensor
JP7373297B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2014086899A (ja) 画像処理装置、画像処理方法およびプログラム。
CN109565544B (zh) 位置指定装置及位置指定方法
KR20180103657A (ko) 스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체
Feng Theory and Development of a Camera-Based Noncontact Vibration Measurement System

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant