KR20090031023A - 이동 물체 검출 방법 및 시스템 - Google Patents

이동 물체 검출 방법 및 시스템 Download PDF

Info

Publication number
KR20090031023A
KR20090031023A KR1020070096815A KR20070096815A KR20090031023A KR 20090031023 A KR20090031023 A KR 20090031023A KR 1020070096815 A KR1020070096815 A KR 1020070096815A KR 20070096815 A KR20070096815 A KR 20070096815A KR 20090031023 A KR20090031023 A KR 20090031023A
Authority
KR
South Korea
Prior art keywords
nodes
minus
plus
motion
difference image
Prior art date
Application number
KR1020070096815A
Other languages
English (en)
Inventor
유용석
박태서
박규태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070096815A priority Critical patent/KR20090031023A/ko
Publication of KR20090031023A publication Critical patent/KR20090031023A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이동 물체 검출 방법 및 시스템에 관한 것으로서, 이전 영상 및 현재 영상을 이용하여 차영상을 생성하고, 상기 차영상 내 플러스 노드 각각에 대응하는 각각의 마이너스 노드를 검색하고, 상기 대응하는 각각의 플러스 노드 및 마이너스 노드 간의 토탈 코스트를 산출하며, 상기 산출된 토탈 코스트에 기초하여 물체의 움직임을 검출함으로써, 오경보 발생율이 낮고 검출율이 높은 이동 물체 검출 방법 및 시스템을 제공할 수 있다.
물체 검출, 차영상, 검출율, 오경보

Description

이동 물체 검출 방법 및 시스템{MOVING OBJECT DETECTING METHOD AND SYSTEM FOR CONTROLLING THE SAME}
본 발명은 이동 물체 검출 방법 및 시스템에 관한 것으로서, 보다 상세하게는 오경보 발생율이 낮고 검출율이 높은 이동 물체 검출 방법 및 시스템에 관한 것이다.
최근 보안에 대한 관심이 증가하면서, 보안을 위한 감시 카메라의 수요가 급증하고 있다. 감시할 영역이 넓어지고 사용되는 카메라의 수가 증가함에 따라 사람이 일일이 영상을 감시하고 모니터링하는 것이 불가능해 졌다. 또한, 영상 취득 장치의 화질과 해상도가 높아지면서 영상의 크기가 커져서 영상을 전송하거나 저장하는 데에도 문제가 발생한다.
이런 문제를 해결하기 위해서는 기존의 영상 감시 장치가 단순히 대상 영역을 촬영하고 전송 및 저장하는 것을 넘어서서 영상의 의미를 해석하고 상황에 따라 다르게 대응해야 한다.
이와 같은 관심 영역의 상황으로 가장 중요한 단서가 되는 것은 움직임이다. 대상 영역에 움직이는 물체가 있는지 여부를 검출하고, 감시하는 영역에 움직임이 있을 때 경고(alarm)를 발생하여 감시자에게 정보를 제공하거나, 영역에 움직임이 있을 때에만 영상을 전송하거나 저장하여 전송 및 저장의 효율을 높여야 한다.
이와 같은 영상에서 움직임을 검출하는 성능은 검출률(detection ratio)와 오 경고 발생률(false alarm ratio)으로 측정된다.
검출률(detection ratio)는 실제 물체의 움직임을 놓치지 않고 검출하는 비율로 정의되며, 이 값이 높을수록 좋다. 또한, 오 경고 발생률(false alarm ratio)은 실제 물체의 움직임이 아닌 경우에 물체의 움직임으로 잘못 검출되는 비율로 정의되며, 이 값은 낮을수록 좋다.
그러나, 종래 기술은 검출률을 높이면 오 경고 발생률도 함께 높아지는 경향이 있어서, 나뭇가지의 움직임, 물결의 움직임, 조명의 변화, 날씨의 변화, CCD 노이즈, 및 의미 없는 움직임 등에도 오 경고가 발생하거나, 불필요하게 감시 카메라가 동작하는 문제점이 있었다.
본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 영상으로부터 부호화 차영상을 추출하고, 부호화 차영상으로부터 중요한 움직임의 정도를 측정하여, 주어진 방향에 대하여 물체의 중요한 움직임을 고속으로 계산하는 것을 목적으로 한다.
또한 본 발명은 영상을 블록(block) 단위로 나누어 각 블록 마다 움직임 검출 기법을 적용하고 검출된 블록의 조합으로 이동 물체의 위치를 정확히 검출하는 것을 목적으로 한다.
또한 본 발명은 감시하고자 하는 주요 관심 물체의 크기를 미리 설정하여 이와 유사한 크기의 물체만을 검출함으로써, 간섭 움직임에 의한 오경보를 보다 낮출 수 있으므로, 영상 감시 시스템에서 사용되어 오경보 발생율이 낮고 검출율이 높은 감시장치를 구성할 수 있도록 하는 것을 목적으로 한다.
또한 본 발명은 기존의 옵티컬 플로우(optical flow) 기반의 기법이 검출 성능과 효율이 낮은데 반하여, 차영상에서 움직임의 방향 정보까지 간접적으로 추정할 수 있도록 하여, 빠르고 정확한 물체의 움직임 검출이 가능하도록 하는 것을 목적으로 한다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여 본 발명의 일측에 따른 이동 물체 검출 방법은, 이전 영상 및 현재 영상을 이용하여, 복수개의 플 러스 노드 및 복수개의 마이너스 노드를 포함하는 차영상을 생성하는 단계, 상기 생성된 차영상 내 플러스 노드 각각에 대응하는 각각의 마이너스 노드를 검색하는 단계, 상기 대응하는 각각의 플러스 노드 및 마이너스 노드 간의 토탈 코스트를 산출하는 단계, 및 상기 산출된 토탈 코스트에 기초하여 물체의 움직임을 검출하는 단계를 포함한다.
본 발명의 또 다른 일측에 따르면, 상기 각각의 마이너스 노드를 검색하는 단계는, 상기 생성된 차영상 내 플러스 노드 각각에 대응하여, 검색 범위 내에서 가장 가까운 마이너스 노드를 검색한다.
본 발명의 또 다른 일측에 따르면, 상기 각각의 마이너스 노드를 검색하는 단계는 상기 복수개의 플러스 노드 및 복수개의 마이너스 노드의 개수가 특정 개수보다 적은 경우, 상기 물체의 움직임이 없는 것으로 판단한다.
본 발명의 또 다른 일측에 따르면, 상기 산출된 토탈 코스트에 기초하여 움직임 중요도(motion saliency)를 검출하는 것을 특징으로 하는 단계를 더 포함한다.
본 발명의 또 다른 일측에 따르면, 이전 영상 및 현재 영상을 이용하여, 복수개의 플러스 노드 및 복수개의 마이너스 노드를 포함하는 차영상을 생성하는 단계, 상기 생성된 차영상을 블록 단위로 하여 복수개의 블록으로 분할하는 단계, 상기 각각의 블록 내의 각 플러스 노드에 대응하는 각각의 마이너스 노드를 검색하는 단계, 상기 대응하는 각각의 플러스 노드 및 마이너스 노드 간의 토탈 코스트를 산출하는 단계, 및 상기 산출된 토탈 코스트에 기초하여 물체의 움직임을 검출하는 단계를 포함한다.
본 발명의 또 다른 일측에 따르면, 상기 물체의 움직임을 검출하는 단계는 상기 복수개의 블록 중에서 상기 물체의 움직임이 가장 큰 블록을 기준 블록으로 선정하는 단계 및 상기 기준 블록의 주변에 위치한 블록을, 각 블록의 물체의 움직임 크기 및 방향에 기초하여 상기 선정된 기준 블록에 연결하는 단계를 포함한다.
본 발명의 또 다른 일측에 따르면, 상기 각각의 마이너스 노드를 검색하는 단계는 상기 생성된 차영상 내 플러스 노드 각각에 대응하여, 검색 범위 내에서 가장 가까운 마이너스 노드를 검색한다.
본 발명의 또 다른 일측에 따르면, 상기 각각의 마이너스 노드를 검색하는 단계는 상기 복수개의 플러스 노드 및 복수개의 마이너스 노드의 개수가 특정 개수보다 적은 경우, 상기 중요 움직임이 없는 것으로 판단한다.
본 발명의 또 다른 일측에 따르면, 상기 산출된 토탈 코스트에 기초하여 움직임 중요도(motion saliency)를 검출하는 것을 특징으로 하는 단계를 더 포함한다.
본 발명에 따르면, 영상으로부터 부호화 차영상을 추출하고, 부호화 차영상으로부터 중요한 움직임의 정도를 측정하여, 주어진 방향에 대하여 물체의 중요한 움직임을 고속으로 계산할 수 있다.
또한, 본 발명에 따르면 영상을 블록(block) 단위로 나누어 각 블록 마다 움직임 검출 기법을 적용하고 검출된 블록의 조합으로 이동 물체의 위치를 정확히 검 출할 수 있다.
또한, 본 발명에 따르면 감시하고자 하는 주요 관심 물체의 크기를 미리 설정하여 이와 유사한 크기의 물체만을 검출함으로써, 간섭 움직임에 의한 오경보를 보다 낮출 수 있으므로, 영상 감시 시스템에서 사용되어 오경보 발생율이 낮고 검출율이 높은 감시장치를 구성할 수 있다.
또한, 본 발명에 따르면, 기존의 옵티컬 플로우(optical flow) 기반의 기법이 검출 성능과 효율이 낮은데 반하여, 차영상에서 움직임의 방향 정보까지 간접적으로 추정할 수 있으므로, 빠르고 정확한 물체의 움직임 검출이 가능하다.
이하 첨부된 도면들 및 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일례에 따른 이동 물체 검출 시스템의 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 이동 물체 검출 시스템은 차영상 생성부(200), 중요 움직임 계산부(300), 모션 블록 감지부(400), 및 모션 블록 연결부(500)를 포함하여 구성된다.
차영상 생성부(200)는 이전 영상 및 현재 영상을 이용하여, 복수개의 플러스 노드 및 복수개의 마이너스 노드를 포함하는 차영상을 생성한다. 이때, 차영상(difference image)이라 함은 상기 이전 영상 및 현재 영상의 차이를 나타내는 영상을 말한다.
중요 움직임 계산부(300)는 상기 생성된 차영상 내 플러스 노드 각각에 대응하는 각각의 마이너스 노드를 검색하고, 상기 대응하는 각각의 플러스 노드 및 마이너스 노드 간의 토탈 코스트를 산출한다. 또한 상기 산출된 토탈 코스트에 기초하여 물체의 움직임을 검출한다.
즉, 상기 중요 움직임 계산부(300)는 상기 산출된 토탈 코스트에 기초하여 움직임 중요도(motion saliency)를 검출하는데, 입력되는 영상에서 물체의 의미 있는 움직임만 검출한다. 예를 들어, 나뭇가지의 움직임이나, 물결의 움직임과 같은 반복적이고 무의미한 움직임이 아닌, 사람 또는 자동차 등의 움직임과 같은 방향성을 가진 의미 있는 물체의 움직임만을 검출한다.
특히, 상기 중요 움직임 계산부(300)는, 상기 생성된 차영상 내 플러스 노드 각각에 대응하여, 검색 범위 내에서 가장 가까운 마이너스 노드를 검색한다. 또한, 중요 움직임 계산부(300)는 상기 복수개의 플러스 노드 및 복수개의 마이너스 노드의 개수가 특정 개수보다 적은 경우, 상기 물체의 움직임이 없는 것으로 판단한다.
한편, 차영상을 블록 단위로 분할하여 물체의 움직임(중요 움직임)을 검출하는 구성으로 이루어지는 경우에는, 상기 중요 움직임 계산부(300)는 생성된 차영상을 블록 단위로 하여 복수개의 블록으로 분할하고, 상기 각각의 블록 내의 각 플러스 노드에 대응하는 각각의 마이너스 노드를 검색하여, 상기 대응하는 각각의 플러스 노드 및 마이너스 노드 간의 토탈 코스트를 산출한다. 또한, 상기 산출된 토탈 코스트에 기초하여 물체의 움직임을 검출한다.
모션 블록 감지부(400)는 상기 산출된 토탈 코스트에 기초하여, 상기 복수개의 블록 중에서 중요 움직임이 가장 큰 블록을 기준 블록으로 선정한다.
모션 블록 연결부(500)는 상기 기준 블록의 주변에 위치한 블록을, 각 블록의 중요 움직임의 크기 및 방향에 기초하여 상기 선정된 기준 블록에 연결하는데, 두 블록이 X축의 방향으로 놓여 있을 때에는, 그 반대방향 성분인 유사도(Similarity) Y를 기준으로 이 값이 특정 임계치(threshold)보다 크면 두 블록을 연결한다. 이와 반대로 두 블록이 Y축의 방향으로 놓여 있을 때에는, 그 반대 방향 성분인 유사도 (Similarity) X를 기준으로 이 값이 특정 임계치 보다 크면 두 블록을 연결한다.
도 2는 본 발명의 일례에 따른 차영상 생성부를 도시한 도면이다.
도 2에 도시된 바와 같이, 본 발명에 따른 차영상 생성부(200)는 지연부(201) 및 감산부(202)를 포함하여 구성된다.
지연부(201)는 이전 영상 프레임의 저장하고, 감산부(202)는 현재 입력 영상 프레임에서 지연부(201)로부터 출력된 이전 영상 프레임의 값을 빼고 그 결과를 출력한다.
　본 발명에 따른 차 영상 생성부(200)는 차 영상 계산시에 부호를 고려한다. 종래의 차 영상 계산은 전 후 프레임의 밝기 차이를 계산 한 뒤, 그 차이 값의 절대값을 취하여, 차 영상을 계산하고, 이 차 영상의 크기가 클 때에 물체의 움직임이 있다고 판단한다. 이런 기법에서는 물체가 배경을 가려서 생기는 영역(covered region)과 물체가 이동하고 배경이 새로 보이는 영역(uncovered region)을 구분하지 않고 동일하게 처리한다. 하지만, 본 발명의 바람직한 실시 예에 따른 차 영상 계산부(210)는 전후 프레임 간에 차이를 계산할 때 계산된 값을 부호까지 고려하여 그대로 출력함으로써, 전술한 물체의 움직임에 따라 생기는 커버 영역과 언 커버 영역의 정보를 활용할 수 있다.
상기에서와 같이, 부호를 고려함으로써 물체의 가리어짐과 전후 관계까지 고려할 수 있다. 커버 영역과 언 커버 영역은 차 영상에서 일반적으로 다른 부호로 나타나기 때문에, 차 영상에서 음수인 부분과 양수인 부분을 구분하여 사용함으로써 차 영상 계산시 절대값을 취하는 과정에서 물체의 전후 관계에 대한 정보가 소실되는 것을 피할 수 있다. 또한, 본 발명에 따르면 차 영상 계산 시 절대값을 계산하는 과정을 생략함으로써 계산이 간단하고 더 쉽게 구현할 수 있다.
도 3, 도 4는, 및 도 5는 본 발명의 일례에 따른 입력 영상 및 그에 따른 차영상을 도시한 도면이고, 도 6은 본 발명의 일례에 따른 방향을 고려한 노드간의 연결을 도시한 도면이다.
보다 상세하게 설명하면, 도 3과 4는 밝은 배경에서 어둡게 표시된 원 모양의 물체가 오른 쪽으로 이동했을 경우를 나타내고 있으며, 도 6은 작고 반복적인 물체의 움직임이 있는 경우에 방향을 고려하여 생성된 그래프를 나타내고 있다.
도 3 및 도 4에 도시된 원 모양의 물체 영상에 대해, 부호를 고려한 차영상을 계산하면, 도 5에 도시된 바와 같이 물체의 왼쪽 가장자리 부근에서는 어두운 물체가 사라지고 밝은 배경이 나타나므로 차영상의 값은 양수로 나타나게 되어, 이 영역에 해당하는 플러스 노드(plus node) 들이 생성된다. 반대로, 물체의 오른쪽 가장자리 부근에서는 밝은 배경이 사라지고 어두운 물체가 나타나므로 차영상의 값은 음수로 나타나게 되어, 이 영역에 해당하는 마이너스 노드(minus node) 들이 생성된다.
X의 양의 방향(X+)로의 중요 움직임(motion saliency)을 계산할 때는, 그림에 표시된 플러스 노드(plus node) Xi와 마이너스 노드(minus node) Yj는 방향이 일치하므로, 노드 간에 연결이 형성되어 플로우(flow)가 형성된다. 반대로 X의 양의 방향(X+)로의 중요 움직임을 계산할 때는, 도 5에 표시된 표시된 플러스 노드Xi와 마이너스 노드 Yi는 방향이 일치하지 않으므로, 노드 간에 연결이 되지 않으므로 플로우(flow)가 형성될 수 없다.
도 6에 도시된 바와 같이, 부호화 차영상에서의 각 영역의 부호와 방향을 고려하여 그래프 G={X,Y}를 생성한다. 상기 그래프는 플러스 노드(plus node: 610) Xi와 마이너스 노드(minus node: 620) Yj로 이루어지며, 차영상의 값이 양수인 영역에 대해서는 플러스 노드를 생성하고 차영상의 값이 음수인 영역에 대해서는 마이너스 노드를 생성한다.
각 노드의 값(capacity)은 해당 영역의 차영상의 값으로 설정한다. 특히 본 발명에서는 플러스 노드(plus node)와 마이너스 노드(minus node)의 위치 관계가 주어진 방향과 일치할 때에만 두 노드에 대하여 연결을 설정하여 플로우(flow)가 흐를 수 있도록 한다.
이때, 상기 각 노드 사이의 코스트(cost)는 다음의 수학식1에 의해 정의된 다.
Figure 112007068964251-PAT00001
상기와 같이 생성된 노드에 대해, 토탈 코스트(total cost)의 최소값을 구하여 최종 중요 움직임(motion saliency) 값으로 삼는다. 이와 같이 차영상으로부터 그래프를 생성하고 토탈 코스트(total cost)를 계산함으로써 차영상의 강도 외에도 차영상의 공간적 분포까지 고려하여 중요 움직임(motion saliency)을 계산할 수 있다.
Figure 112007068964251-PAT00002
(여기서, xi 는 공급자 노드 i의 용량이고, yj 는 수요자 노드 j의 용량이고, cij 는 노드 i와 j 사이의 비용이고, fij 는 실제로 이동된 양임.)
상기 수학식 2에 의한 선형 프로그래밍(linear programming)을 이용하면, 생성된 그래프에 대한 주어진 방향으로의 중요 움직임(motion saliency)값을 계산할 수 있으며, 이 값은 주어진 방향으로의 중요한 모션의 정도를 측정한 값이 된다.
도 7 및 도 8은 본 발명의 일례에 따른 부호와 방향성을 고려한 중요 움직임을 도시한 차영상을 도시한 도면이다.
도 7은 주어진 방향으로 중요 움직임(motion saliency)을 계산할 때, 상기 선형 프로그래밍(linear programming) 기법을 사용하지 않고, 근사해를 구하는 기법을 설명하고 있다.
플러스 노드(Plus node)에 대응하는 마이너스 노드(minus node)를 찾을 때, 그 검색 범위를 도 7에 도시된 바와 같이 주어진 방향으로의 좁은 영역으로 제한한다. 그러면, 각 플러스 노드(plus node)에 대해서 검색 범위 안에서 가장 가까운 마이너스 노드(minus node)를 대응시키며 토탈 코스트(total cost)를 산출하게 되어, 방향성 중요 움직임(directional motion saliency)의 근사해를 구할 수 있다.
도 8에 도시된 두 인덱스(index) 'i' 및 'j'는 검색 범위의 한쪽 끝에서 주어진 방향으로 이동하며, 'i'는 플러스 노드(plus node)를 가리키고, 'j'는 마이너스 노드(minus node)를 가리킨다. 노드(node) i와 노드(node) j의 공간상의 위치 관계가 주어진 방향과 일치할 경우, 노드 Xi에서 노드 Yi 측으로 다음의 수학식 3과 같은 플로우(flow)를 보낼 수 있다.
Figure 112007068964251-PAT00003
Figure 112007068964251-PAT00004
상기 수학식 4에서와 같이, 플로우가 토탈 코스트(total cost)를만큼 증가시킨다.
Figure 112007068964251-PAT00005
또한, 수학식 5에서와 같이, 이동된 플로우의 양만큼 각 노드의 값을 갱신한다.
상기와 같은 과정을 'i' 혹은 'j'가 검색 범위의 끝에 도달할 때까지 반복하면, 최종적으로 계산된 토탈 코스트(total cost)의 값이, 그 방향으로의 중요 동 작(motion saliency) 값의 근사값이 된다.
이 근사해 계산 방법은, 선형 프로그래밍(linear programming)에서와 같이 반복에 의하여 해를 구하지 않으며, 한번에 값이 계산되므로 계산 복잡도가 획기적으로 낮은 장점이 있다.
도 9는 본 발명의 또 다른 일례에 따른 입력 영상을 도시한 도면이고, 도 10은 본 발명의 또 다른 일례에 따른 차영상을 도시한 도면이고, 도 11은 본 발명의 또 다른 일례에 따른 부호와 방향성을 고려한 중요 움직임을 도시한 도면이며, 도 12는 본 발명의 또 다른 일례에 따른 이동 물체의 검출 결과를 도시한 도면이다.
도 9내지 12에 도시된 바와 같이, 영상을 블록(block)으로 나누어 움직임을 검출하는 기법은, 각 블록에 대하여 상기 움직임 검출 기법을 적용하면 이동 물체의 위치를 알아낼 수 있다.
예를 들어, 도 9에 도시된 입력 영상에 대하여 차영상을 계산하여, 도 10에 도시된 바와 같이, 각 블록(block)에 대하여 X+, X- 및 Y+, Y- 방향으로 방향성 중요 움직임(directional motion saliency)을 계산하고, 도 11에서와 같이 물체의 움직임(110, 120)이 있는 방향으로의 화살표로 표시한 결과를 이용하여, 도 12에서와 같이 물체의 움직임이 있는 곳(130, 140)에서 물체의 향성 중요 움직임(directional motion saliency) 값을 확인할 수 있다.
즉, 각 블록의 방향성 중요 움직임(directional motion saliency)값의 크기와 방향을 보고 물체의 이동을 검출할 수 있다.
상기와 같이 영상을 블록으로 나누어 움직임을 검출하는 기법은, 간섭 움직 임에 강인하여 물체 이동 감지의 오동작을 감소시키고, 계산 복잡도가 낮으므로 보다 효율적이며, 원하는 크기의 물체만을 검출할 수 있다.
블록의 크기와 유사한 물체가 움직일 경우, 계산하는 블록내에 차영상의 2가지 부호가 모두 존재하므로, 중요 움직임(motion saliency) 값이 크게 나온다. 그러나, 카메라에 근접하여 방해물이 지나가는 등의 이유로 화면상에 큰 크기의 물체 움직임이 발행하였을 때에는, 차영상의 각 블록에 반대 부호를 가지는 노드가 존재하지 않으므로 중요 움직임(motion saliency) 값이 작게 계산할 수 있다.
도 13 및 도 14는 본 발명의 또 다른 일례에 따른 블록 단위의 이동 물체의 중요 움직임을 도시한 도면으로서, 보다 상세하게 설명하면 도 13 및 도 14는 각 블록에 대하여 계산된 방향성 중요 움직임(directional motion saliency) 값으로부터 이동 물체를 검출하는 방법을 도시하고 있다.
상기와 같은 방법은, 먼저 각 블록의 방향성 중요 움직임(directional motion saliency) 값이 큰 영역을 찾아서 검출을 위한 기준 블록으로 삼는다. 상기 검출된 기준 블록으로부터 주변 블록의 방향성 중요 움직임(directional motion saliency)의 크기와 방향을 기준으로, 상기 기준 블록과 주변 블록을 연결한다.
상기 기준 블록으로 선택할 움직임 블록(motion block)의 검출을 위해서는 통계적 분석 기법을 사용한다.
먼저 각 블록의 평균 중요 움직임(motion saliency)을 계산하고, 그 값이 전체 블록의 상위 20%에 해당되면서 주어진 최소값 임계치를 넘는 블록을 기준 블록인 움직임 블록(motion block)으로 선택한다. 각 블록의 평균 중요 움직임(motion saliency)은 해당 블록의 방향성 중요 움직임(directional motion saliency) X+, X- 및 Y+, Y- 로부터 다음의 수학식 6을 사용하여 계산한다.
Figure 112007068964251-PAT00006
실제 이동하는 물체는 도 14에서와 같이, 방향성 중요 움직임(directional motion saliency) 값이 큰 방향의 수직 방향으로 연결되어 있을 확률이 크기 때문에, 계산된 움직임 블록(motion block)을 연결(140)하여 이동 물체의 영역을 찾을 때에 각 블록(block)의 방향성 중요 움직임(directional motion saliency)값의 방향이 중요한 기준이 된다.
두 블록 B1, B2에 대해 방향성 중요 움직임 값이
Figure 112007068964251-PAT00007
라고 할 때, X축 방향과 Y축 방향으로의 유사도는 다음 수학식 7에서와 같이 정의한다.
Figure 112007068964251-PAT00008
두 블록이 X축의 방향으로 놓여 있을 때에는, 그 반대방향 성분의 유사도인 SimilarityY를 기준으로 이 값이 일정 threshold보다 크면 두 block을 연결한다. 그 반대방향 성분인 유사도(Similarity) Y를 기준으로 이 값이 특정 임계치(threshold)보다 크면 두 블록을 연결한다. 이와 반대로 두 블록이 Y축의 방향으로 놓여 있을 때에는, 그 반대 방향 성분인 유사도(Similarity) X를 기준으로 이 값이 특정 임계치 보다 크면 두 블록을 연결한다.
도 15는 본 발명의 또 다른 일례에 따른 입력 영상을 도시한 도면이고, 도 16은 본 발명의 또 다른 일례에 따른 차영상을 도시한 도면이고, 도 17은 본 발명의 또 다른 일례에 따른 부호와 방향성을 고려한 중요 움직임을 도시한 도면이며, 도 18은 본 발명의 또 다른 일례에 따른 이동 물체의 검출 결과를 도시한 도면이다.
도 15에 도시된 바와 같은 입력 영상으로부터, 평균 방향 중요 움직임(directional motion saliency) 값을 계산하고, 도 16에 도시된 바와 같이 그 값이 큰 블록(block)을 모션 블록(motion block)으로 검출한다. 그리고, 도 17에 도시된 바와 같이 검출된 모션 블록(motion block)을 기준 블록으로 하여 방향성 중요 움직임(directional motion saliency)의 방향에 따라 모션 블록(motion block)을 연결하여 도 18에 도시된 바와 같이 이동 물체의 영역을 찾는다.
도 19는 본 발명의 일례에 따른 이동 물체 검출 방법을 도시한 도면이다.
본 발명에 따른 이동 물체 검출 방법은, 이전 영상 및 현재 영상을 이용하 여, 복수개의 플러스 노드 및 복수개의 마이너스 노드를 포함하는 차영상을 생성한다(S190). 이때, 차영상(difference image)이라 함은 상기 이전 영상 및 현재 영상의 차이를 나타내는 영상을 말한다.
이후, 상기 생성된 차영상 내 플러스 노드 각각에 대응하는 각각의 마이너스 노드를 검색하는데(S191), 이때 검색 범위 내에서 가장 가까운 마이너스 노드를 검색한다.
특히, 상기 복수개의 플러스 노드 및 복수개의 마이너스 노드의 개수가 특정 개수보다 적은 경우, 상기 물체의 움직임이 없는 것으로 판단한다.
이후, 상기 대응하는 각각의 플러스 노드 및 마이너스 노드 간의 토탈 코스트를 산출한다(S192).
상기 산출된 토탈 코스트에 기초하여 물체의 움직임을 검출하는데, 이때 상기 산출된 토탈 코스트에 기초하여 이동 물체를 검출 할 수 있다(S193).
즉, 상기 산출된 토탈 코스트에 기초하여 움직임 중요도(motion saliency) 를 계산하고 이것을 기준으로 하여 의미 있는 이동 물체만을 검출하게 된다. 예를 들어, 나뭇가지의 움직임이나, 물결의 움직임과 같은 반복적이고 무의미한 움직임이 아닌, 사람 또는 자동차 등의 움직임과 같은 방향성을 가진 의미 있는 물체의 움직임만을 검출한다.
도 20은 본 발명의 또 다른 일례에 따른 이동 물체 검출 방법을 도시한 도면이다.
본 발명의 또 다른 일례에 따른 이동 물체 검출 방법에 의하면, 이전 영상 및 현재 영상을 이용하여, 복수개의 플러스 노드 및 복수개의 마이너스 노드를 포함하는 차영상을 생성한다(S210). 이때 상기 생성된 차영상 내 플러스 노드 각각에 대응하여, 검색 범위 내에서 가장 가까운 마이너스 노드를 검색한다.
특히, 상기 복수개의 플러스 노드 및 복수개의 마이너스 노드의 개수가 특정 개수보다 적은 경우, 상기 물체의 움직임이 없는 것으로 판단한다.
이후, 상기 생성된 차영상을 블록 단위로 하여 복수개의 블록으로 분할한다(S211).
상기 각각의 블록 내의 각 플러스 노드에 대응하는 각각의 마이너스 노드를 검색하는데(S212), 이때 검색 범위 내에서 가장 가까운 마이너스 노드를 검색한다.
특히, 상기 복수개의 플러스 노드 및 복수개의 마이너스 노드의 개수가 특정 개수보다 적은 경우, 상기 물체의 움직임이 없는 것으로 판단한다.
이후, 상기 대응하는 각각의 플러스 노드 및 마이너스 노드 간의 토탈 코스트를 산출하고(S213), 상기 산출된 토탈 코스트에 기초하여 물체의 움직임을 검출한다(S214).
이때, 상기 물체의 움직임을 검출하기 위하여, 상기 산출된 토탈 코스트에 기초하여, 상기 복수개의 블록 중에서 상기 물체의 움직임이 가장 큰 블록을 기준 블록으로 선정하고, 상기 기준 블록의 주변에 위치한 블록을, 각 블록의 물체의 움직임 크기 및 방향에 기초하여 상기 선정된 기준 블록에 연결한다.
보다 상세하게 살펴 보면, 두 블록이 X축의 방향으로 놓여 있을 때에는, 그 반대방향 성분인 유사도(Similarity) Y를 기준으로 이 값이 특정 임계 치(threshold)보다 크면 두 블록을 연결한다. 이와 반대로 두 블록이 Y축의 방향으로 놓여 있을 때에는, 그 반대 방향 성분인 유사도 (Similarity) X를 기준으로 이 값이 특정 임계치 보다 크면 두 블록을 연결한다.
따라서, 상기 산출된 토탈 코스트에 기초하여 물체의 움직임을 검출할 수 있다.
또한 본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함 한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들 이거나 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 본 발명에서 설명된 이동 단말 또는 기지국의 동작의 전부 또는 일부가 컴퓨터 프로그램으로 구현된 경우, 상기 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체도 본 발명에 포함된다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일례에 따른 이동 물체 검출 시스템의 구성도이다.
도 2는 본 발명의 일례에 따른 차영상 생성부를 도시한 도면이다.
도 3, 도 4는, 및 도 5는 본 발명의 일례에 따른 입력 영상 및 그에 따른 차영상을 도시한 도면이다.
도 6은 본 발명의 일례에 따른 방향을 고려한 노드간의 연결을 도시한 도면이다.
도 7 및 도 8은 본 발명의 일례에 따른 부호와 방향성을 고려한 중요 움직임을 도시한 차영상을 도시한 도면이다.
도 9는 본 발명의 또 다른 일례에 따른 입력 영상을 도시한 도면이다.
도 10은 본 발명의 또 다른 일례에 따른 차영상을 도시한 도면이다.
도 11은 본 발명의 또 다른 일례에 따른 부호와 방향성을 고려한 중요 움직임을 도시한 도면이다.
도 12는 본 발명의 또 다른 일례에 따른 이동 물체의 검출 결과를 도시한 도면이다.
도 13 및 도 14는 본 발명의 또 다른 일례에 따른 블록 단위의 이동 물체의 중요 움직임을 도시한 도면이다.
도 15는 본 발명의 또 다른 일례에 따른 입력 영상을 도시한 도면이다.
도 16은 본 발명의 또 다른 일례에 따른 차영상을 도시한 도면이다.
도 17은 본 발명의 또 다른 일례에 따른 부호와 방향성을 고려한 중요 움직 임을 도시한 도면이다.
도 18은 본 발명의 또 다른 일례에 따른 이동 물체의 검출 결과를 도시한 도면이다.
도 19는 본 발명의 일례에 따른 이동 물체 검출 방법을 도시한 도면이다.
도 20은 본 발명의 또 다른 일례에 따른 이동 물체 검출 방법을 도시한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 이동 물체 검출 시스템 200: 차영상 생성부
202: 감산부 201: 딜레이부
300: 중요 움직임 계산부 400: 모션 블록 감지부
500: 모션 블록 연결부 610: 플러스 노드부
620: 마이너스 노드부

Claims (19)

  1. 이전 영상 및 현재 영상을 이용하여, 복수개의 플러스 노드 및 복수개의 마이너스 노드를 포함하는 차영상을 생성하는 단계;
    상기 생성된 차영상 내 플러스 노드 각각에 대응하는 각각의 마이너스 노드를 검색하는 단계;
    상기 대응하는 각각의 플러스 노드 및 마이너스 노드 간의 토탈 코스트를 산출하는 단계; 및
    상기 산출된 토탈 코스트에 기초하여 물체의 움직임을 검출하는 단계
    를 포함하는 것을 특징으로 하는 이동 물체 검출 방법.
  2. 제1항에 있어서,
    상기 각각의 마이너스 노드를 검색하는 단계는,
    상기 생성된 차영상 내 플러스 노드 각각에 대응하여, 검색 범위 내에서 가장 가까운 마이너스 노드를 검색하는 것을 특징으로 하는 이동 물체 검출 방법.
  3. 제1항에 있어서,
    상기 각각의 마이너스 노드를 검색하는 단계는,
    상기 복수개의 플러스 노드 및 복수개의 마이너스 노드의 개수가 특정 개수보다 적은 경우, 상기 물체의 움직임이 없는 것으로 판단하는 것을 특징으로 하는 이동 물체 검출 방법.
  4. 제1항에 있어서,
    상기 산출된 토탈 코스트에 기초하여 움직임 중요도(motion saliency)를 검출하는 것을 특징으로 하는 단계
    더 포함하는 것을 특징으로 하는 이동 물체 검출 방법.
  5. 이전 영상 및 현재 영상을 이용하여, 복수개의 플러스 노드 및 복수개의 마이너스 노드를 포함하는 차영상을 생성하는 단계;
    상기 생성된 차영상을 블록 단위로 하여 복수개의 블록으로 분할하는 단계;
    상기 각각의 블록 내의 각 플러스 노드에 대응하는 각각의 마이너스 노드를 검색하는 단계;
    상기 대응하는 각각의 플러스 노드 및 마이너스 노드 간의 토탈 코스트를 산출하는 단계; 및
    상기 산출된 토탈 코스트에 기초하여 물체의 움직임을 검출하는 단계
    를 포함하는 것을 특징으로 하는 이동 물체 검출 방법.
  6. 제5항에 있어서,
    상기 물체의 움직임을 검출하는 단계는,
    상기 복수개의 블록 중에서 상기 물체의 움직임이 가장 큰 블록을 기준 블록 으로 선정하는 단계; 및
    상기 기준 블록의 주변에 위치한 블록을, 각 블록의 물체의 움직임 크기 및 방향에 기초하여 상기 선정된 기준 블록에 연결하는 단계;
    를 포함하는 것을 특징으로 하는 이동 물체 검출 방법.
  7. 제5항에 있어서,
    상기 각각의 마이너스 노드를 검색하는 단계는,
    상기 생성된 차영상 내 플러스 노드 각각에 대응하여, 검색 범위 내에서 가장 가까운 마이너스 노드를 검색하는 것을 특징으로 하는 이동 물체 검출 방법.
  8. 제5항에 있어서,
    상기 각각의 마이너스 노드를 검색하는 단계는,
    상기 복수개의 플러스 노드 및 복수개의 마이너스 노드의 개수가 특정 개수보다 적은 경우, 상기 중요 움직임이 없는 것으로 판단하는 것을 특징으로 하는 이동 물체 검출 방법.
  9. 제5항에 있어서,
    상기 산출된 토탈 코스트에 기초하여 움직임 중요도(motion saliency)를 검출하는 것을 특징으로 하는 단계
    더 포함하는 것을 특징으로 하는 이동 물체 검출 방법.
  10. 제1항 내지 제9항의 방법을 실행하는 프로그램을 기록한 컴퓨터 판독가능 기록 매체.
  11. 이전 영상 및 현재 영상을 이용하여, 복수개의 플러스 노드 및 복수개의 마이너스 노드를 포함하는 차영상을 생성하는 차영상 생성부; 및
    상기 생성된 차영상 내 플러스 노드 각각에 대응하는 각각의 마이너스 노드를 검색하고, 상기 대응하는 각각의 플러스 노드 및 마이너스 노드 간의 토탈 코스트를 산출하여, 상기 산출된 토탈 코스트에 기초하여 물체의 움직임을 검출하는 중요 움직임 계산부
    를 포함하는 것을 특징으로 하는 이동 물체 검출 시스템.
  12. 제11항에 있어서,
    상기 중요 움직임 계산부는,
    상기 생성된 차영상 내 플러스 노드 각각에 대응하여, 검색 범위 내에서 가장 가까운 마이너스 노드를 검색하는 것을 특징으로 하는 이동 물체 검출 시스템.
  13. 제11항에 있어서,
    상기 중요 움직임 계산부는,
    상기 복수개의 플러스 노드 및 복수개의 마이너스 노드의 개수가 특정 개수 보다 적은 경우, 상기 물체의 움직임이 없는 것으로 판단하는 것을 특징으로 하는 이동 물체 검출 시스템.
  14. 제11항에 있어서,
    상기 중요 움직임 계산부는,
    상기 산출된 토탈 코스트에 기초하여 움직임 중요도(motion saliency)를 검출하는 것을 특징으로 하는 이동 물체 검출 시스템.
  15. 이전 영상 및 현재 영상을 이용하여, 복수개의 플러스 노드 및 복수개의 마이너스 노드를 포함하는 차영상을 생성하는 차영상 생성부; 및
    상기 생성된 차영상을 블록 단위로 하여 복수개의 블록으로 분할하고, 상기 각각의 블록 내의 각 플러스 노드에 대응하는 각각의 마이너스 노드를 검색하여, 상기 대응하는 각각의 플러스 노드 및 마이너스 노드 간의 토탈 코스트를 산출하고, 상기 산출된 토탈 코스트에 기초하여 물체의 움직임을 검출하는 중요 움직임 계산부
    를 포함하는 것을 특징으로 하는 이동 물체 검출 시스템.
  16. 제15항에 있어서,
    상기 산출된 토탈 코스트에 기초하여, 상기 복수개의 블록 중에서 중요 움직임이 가장 큰 블록을 기준 블록으로 선정하는 모션 블록 감지부; 및
    상기 기준 블록의 주변에 위치한 블록을, 각 블록의 중요 움직임의 크기 및 방향에 기초하여 상기 선정된 기준 블록에 연결하는 모션 블록 연결부
    를 포함하는 것을 특징으로 하는 이동 물체 검출 시스템.
  17. 제15항에 있어서,
    상기 중요 움직임 계산부는,
    상기 생성된 차영상 내 플러스 노드 각각에 대응하여, 검색 범위 내에서 가장 가까운 마이너스 노드를 검색하는 것을 특징으로 하는 이동 물체 검출 시스템.
  18. 제15항에 있어서,
    상기 중요 움직임 계산부는,
    상기 복수개의 플러스 노드 및 복수개의 마이너스 노드의 개수가 특정 개수보다 적은 경우, 상기 물체의 움직임이 없는 것으로 판단하는 것을 특징으로 하는 이동 물체 검출 시스템.
  19. 제15항에 있어서,
    상기 중요 움직임 계산부는,
    상기 산출된 토탈 코스트에 기초하여 움직임 중요도(motion saliency)를 검출하는 것을 특징으로 하는 이동 물체 검출 시스템.
KR1020070096815A 2007-09-21 2007-09-21 이동 물체 검출 방법 및 시스템 KR20090031023A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070096815A KR20090031023A (ko) 2007-09-21 2007-09-21 이동 물체 검출 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070096815A KR20090031023A (ko) 2007-09-21 2007-09-21 이동 물체 검출 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20090031023A true KR20090031023A (ko) 2009-03-25

Family

ID=40697227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070096815A KR20090031023A (ko) 2007-09-21 2007-09-21 이동 물체 검출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20090031023A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101460904B1 (ko) * 2013-07-30 2014-11-12 홍익대학교세종캠퍼스산학협력단 분할 차영상을 이용한 전시 자동 스크린세이버 시스템 및 구동 방법
KR101471519B1 (ko) * 2014-04-21 2014-12-24 엘아이지넥스원 주식회사 누적 차영상 레이블링을 이용한 이동체 검출 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101460904B1 (ko) * 2013-07-30 2014-11-12 홍익대학교세종캠퍼스산학협력단 분할 차영상을 이용한 전시 자동 스크린세이버 시스템 및 구동 방법
KR101471519B1 (ko) * 2014-04-21 2014-12-24 엘아이지넥스원 주식회사 누적 차영상 레이블링을 이용한 이동체 검출 장치 및 방법

Similar Documents

Publication Publication Date Title
US7418134B2 (en) Method and apparatus for foreground segmentation of video sequences
JP4216668B2 (ja) 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
US8045783B2 (en) Method for moving cell detection from temporal image sequence model estimation
EP1995691B1 (en) Method and apparatus for segmenting a motion area
KR102153607B1 (ko) 영상에서의 전경 검출 장치 및 방법
CN111008600B (zh) 一种车道线检测方法
JP2008192131A (ja) 特徴レベル・セグメンテーションを実行するシステムおよび方法
KR20080020595A (ko) 보안 어플리케이션을 위한 사람을 감지하고 추적하는시스템
Ma et al. Detecting Motion Object By Spatio-Temporal Entropy.
JP3970877B2 (ja) 追跡装置および追跡方法
CN115760912A (zh) 运动目标跟踪方法、装置、设备及计算机可读存储介质
Angelo A novel approach on object detection and tracking using adaptive background subtraction method
KR101492059B1 (ko) 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
JP7078295B2 (ja) 変状検出装置、変状検出方法、及びプログラム
Agrawal et al. Segmentation of moving objects using numerous background subtraction methods for surveillance applications
KR20090031023A (ko) 이동 물체 검출 방법 및 시스템
CN116740607A (zh) 视频处理方法及装置、电子设备和存储介质
CN116797814A (zh) 智慧工地安全管理系统
CN114445787A (zh) 非机动车重识别方法及相关设备
CN113963438A (zh) 行为识别方法及装置、设备和存储介质
Landge Object Detection and Object Tracking Using Background Subtraction for Surveillance Application
JP2010141668A (ja) 移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid