KR101990789B1 - 관심객체의 선택에 의한 영상 탐색장치 및 방법 - Google Patents

관심객체의 선택에 의한 영상 탐색장치 및 방법 Download PDF

Info

Publication number
KR101990789B1
KR101990789B1 KR1020120120390A KR20120120390A KR101990789B1 KR 101990789 B1 KR101990789 B1 KR 101990789B1 KR 1020120120390 A KR1020120120390 A KR 1020120120390A KR 20120120390 A KR20120120390 A KR 20120120390A KR 101990789 B1 KR101990789 B1 KR 101990789B1
Authority
KR
South Korea
Prior art keywords
interest
image
path
point
frame
Prior art date
Application number
KR1020120120390A
Other languages
English (en)
Other versions
KR20140054650A (ko
Inventor
신상훈
이광국
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020120120390A priority Critical patent/KR101990789B1/ko
Publication of KR20140054650A publication Critical patent/KR20140054650A/ko
Application granted granted Critical
Publication of KR101990789B1 publication Critical patent/KR101990789B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

영상 내 관심객체의 선택에 의한 영상 탐색 방법에 있어서,
상기 영상을 출력하는 과정; 사용자 인터페이스로부터 상기 영상 내의 관심객체의 위치에 대한 선택정보를 수신하는 과정; 상기 선택정보를 이용하여 상기 영상으로부터 상기 관심객체를 추출하여 상기 관심객체의 이동경로를 추적하는 관심객체 추적 과정; 및 상기 영상과 상기 관심객체의 이동경로를 중첩하여 출력하는 경로 출력 과정을 포함하는 것을 특징으로 하는 영상 탐색 방법 및 장치를 제공한다.

Description

관심객체의 선택에 의한 영상 탐색장치 및 방법{Method and Apparatus for Searching Object of Interest by Selection of Object}
본 발명의 실시예는 영상 내의 관심객체의 이동경로를 탐색하는 장치 및 방법에 관한 것이다. 더욱 상세하게는, 영상 내의 선택된 관심객체에 대해 이동경로를 추적하고, 추적된 관심객체를 드래그 한 경우 관심객체의 선택경로에 대응되는 영상을 출력하는 영상 내에 발생한 관심객체의 이동경로를 탐색하는 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 사회적 범죄의 증가나 보안에 대한 사회적 인식 확산과 더불어 공공장소나 건물, 사무실, 주거 단지 내에 폐쇄회로 TV(Closed-Circuit TV, 이하CCTV라 칭함)의 설치가 증가되고 있는 추세이다.
이러한 추세와 같은 맥락으로 촬영한 영상을 모니터링(Monitoring)하는 영상감시 분야에서 촬영영상 중 사용자가 원하는 부분의 영상을 직접 빠르고 정확하게 검색하여 재생할 수 있는 장치나 프로그램에 대한 요구 사항이 있어 왔지만 영상감시장치의 한계성으로 인해, 사용자가 필요한 부분의 영상을 다시 보기 위해서는 영상장치에서 원하는 시점부터 시간 순으로 순차적으로 재생이 되면서 확인이 가능한 현실적인 한계점을 가지고 있었다.
이러한 필요성을 충족하기 위한 종래의 일반적인 방법은 CCTV의 촬영영상을 모니터링할 때 사용자가 필요한 부분의 영상을 검색하기 위해서는, 영상의 되감기, 빨리감기 등의 방법을 통하여 빠른 재생 또는 프레임을 건너뛰어 재생하도록 하거나, 시퀀스 탐색기에서 마우스를 이용하여 앞뒤로 움직이는 방법을 이용하는데 이는 프레임 단위로 정밀하게 이동시키기가 어려운 단점을 지니고 있어 저장영상 검색에 많은 시간이 소요됨은 물론 사용자가 원하는 조건의 정확한 검색이 불가능 하는 등의 단순한 검색 차원에 머무르고 있다.
전술한 문제점을 해결하기 위해 본 발명의 실시예는, 영상 내의 선택된 관심객체에 대해 이동경로를 추적하고, 추적된 관심객체를 드래그 한 경우 관심객체의 선택경로에 대응되는 영상을 출력하는 영상 내에 발생한 관심객체의 이동경로를 탐색하는 장치 및 방법을 제공하는 데에 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 실시예는, 상기 영상을 출력하는 영상 실행부; 사용자 인터페이스로부터 상기 영상 내의 관심객체의 위치에 대한 선택정보를 수신하는 관심객체 선택부; 상기 선택정보를 이용하여 상기 영상으로부터 상기 관심객체를 추출하여 상기 관심객체의 이동경로를 추적하는 관심객체 추적부; 및 상기 영상과 상기 관심객체의 이동경로를 중첩하여 출력하는 경로 출력부를 포함하는 영상 탐색장치를 제공한다.
또한, 상기 이동경로는, 상기 관심객체가 선택된 시점 이전에 상기 관심객체가 상기 영상에 출현한 시점부터 상기 선택된 시점 이후에 상기 관심객체가 상기 영상에서 사라진 시점까지의 경로인 것을 특징으로 하는 영상 탐색장치를 제공한다.
이와 함께, 상기 관심객체 추적부는, 상기 관심객체가 없는 배경프레임과 상기 영상을 비교하여 상기 관심객체를 추출하고 상기 관심객체의 이동경로를 추적하는 것을 특징으로 하는 영상 탐색장치를 제공한다.
또한, 상기 관심객체 추적부는, 상기 관심객체가 없는 배경 프레임과 비교하고자 하는 상기 영상의 프레임을 이용하여 상기 영상의 배경과 전경을 분리하는 영상 분리부와 상기 배경 프레임과 상기 영상의 프레임에 대한 화소, 컬러, 윤곽 중에서 적어도 하나 이상의 차이를 비교한 결과를 근거로 객체를 추적하여 상기 관심객체를 추출하는 객체 추적부를 포함하여 구성하는 것이 더 바람직하다.
더불어, 상기 경로 출력부는, 상기 관심객체 추적부에서 추적된 관심객체의 이동경로를 사용자 화면을 통해 시각적인 형태로 출력하는 것을 포함하여 구성할 수 있다.
이와 함께, 상기 영상 탐색장치는, 상기 관심객체가 상기 사용자 인터페이스에 의해 선택된 상태에서 상기 이동경로상에 드래그 된 경우, 상기 관심객체가 상기 드래그된 지점에 위치하는 영상의 프레임을 출력하는 드래그 출력 생성부를 더 포함하여 구성하는 것이 바람직하다.
또한, 상기 드래그 출력 생성부는, 상기 관심객체를 상기 이동경로를 따라서 드래그하는 동안, 상기 관심객체가 드래그되는 지점에 위치하는 영상 프레임을 연속하여 출력하는 것을 포함하여 구성할 수 있다.
더불어, 영상 내 관심객체의 드래그에 의한 영상 탐색 방법에 있어서, 상기 영상을 출력하는 영상 실행 과정; 사용자 인터페이스로부터 상기 영상 내의 관심객체의 위치에 대한 선택정보를 수신하는 과정; 상기 선택정보를 이용하여 상기 영상으로부터 상기 관심객체를 추출하여 상기 관심객체의 이동경로를 추적하는 관심객체 추적 과정; 및 상기 영상과 상기 관심객체의 이동경로를 중첩하여 출력하는 경로 출력 과정을 포함하여 구성할 수 있다.
또한, 상기 관심객체 추적 과정은, 상기 관심객체가 없는 배경 프레임과 비교하고자 하는 상기 영상의 프레임을 이용하여 상기 영상의 배경과 전경을 분리하는 영상 분리 과정과 상기 배경 프레임과 상기 영상의 프레임에 대한 화소, 컬러, 윤곽 중에서 적어도 하나 이상의 차이를 비교한 결과를 근거로 객체를 추적하여 상기 관심객체를 추출하는 과정을 더 포함할 수 있다.
이와 함께, 상기 경로 출력 과정은, 상기 관심객체 추적 과정에서 추적한 관심객체의 이동경로에 대응되는 프레임이 재생되면서, 상기 영상과 중첩하여 화면에 시각적인 형태로 상기 관심객체의 이동경로를 출력하는 것을 특징으로 하는 영상 탐색 과정을 더 포함하는 것이 바람직하다.
더불어, 상기 영상 탐색 방법은, 상기 관심객체가 상기 사용자 인터페이스에 의해 선택된 상태에서 상기 이동경로를 따라 드래그하는 동안, 상기 관심객체가 드래그되는 지점에 위치하는 영상 프레임을 연속하여 출력하는 드래그 출력 생성과정을 더 포함하여 구성하는 것이 바람직하다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 촬영영상이나 저장영상을 재생하여 검색하는 영상감시 분야에서 영상의 방대한 양의 저장 데이터 중에서 사용자가 지정한 조건인 관심객체의 이동경로를 시각적인 표시로 화면을 통해 출력하여 사용자의 검색 조건 결과의 빠른 확인을 통해 검색과 재생확인 시간이 단축되는 등 효과적인 영상 검색 방법을 제공한다.
본 발명의 실시예에 의하면, 영상 내의 선택된 관심객체에 대해 이동경로를 추적하여 출력하고, 관심객체를 드래그 한 경우, 관심객체의 선택경로에 대응되는 영상을 출력함으로써 사용자가 원하는 장면을 빠르게 검색하고 볼 수 있어 영상 검색의 효율성을 향상시키는 효과가 있다.
더불어, 관심객체 이동경로 추적을 활용하여 사용자가 필요로 하는 부분의 영상을 최소한의 데이터 작업만으로 검색과 재생을 하고, 사용자 편의성과 접근성을 기반으로 원하는 조건 검색 결과물을 얻는 형태의 과정을 구현함으로써, 검색한 영상을 빠르게 재생할 수 있는 객체 영상 탐색장치는 향후에 촬영영상 및 영상감시 분야 등에서 널리 활용될 수 있는 장점을 지니고 있다.
이와 같이 사용자의 접근성과 편의성을 높이고, 효율적인 영상 검색이 가능한 효과를 제공하여 영상감시 분야의 새로운 서비스 모델의 구축을 위한 인프라를 제공할 수 있어 새로운 컨텐츠의 창출 및 새로운 수요의 창출을 통한 경제적 효과를 이룰 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체 영상 탐색장치를 포함하는 전체적인 구성을 도시한 구성도,
도 2는 본 발명의 일 실시예에 따른 객체 영상 탐색장치의 구성을 도시한 블록도,
도 3은 본 발명의 일 실시예에 따른 객체 영상 탐색장치에 포함된 영상 실행부 및 관심객체 추적부의 구성을 도시한 블록도,
도 4는 본 발명의 일 실시예에 따른 객체 영상 탐색장치에서 관심객체의 선택과 선택된 관심객체의 이동경로를 출력하는 수행 과정을 도시한 흐름도,
도 5는 본 발명의 일 실시예에 따른 객체 영상 탐색장치에서 드래그를 통해 관심객체의 선택경로를 출력하는 과정을 도시한 흐름도,
도 6은 본 발명의 일 실시예에 따른 객체 영상 탐색장치에서 경로 출력 결과의 예를 보여준 영상, 및
도 7은 본 발명의 일 실시예에 따른 객체 영상 탐색장치에서 드래그 출력 생성 과정에서 드롭한 시점의 예를 보여준 영상이다.
<도면의 주요 참조부호에 대한 설명>
100 : 영상 탐색장치
200 : 영상 전송장치
300 : 유무선 인터넷 기반의 네트워크망
400 : 사용자 단말
110 : 영상 저장부
120 : 영상 실행부
130 : 사용자 입력 수신부
140 : 관심객체 선택부
150 : 관심객체 추적부
160 : 경로 출력부
170 : 드래그 출력 생성부
180 : 입출력 인터페이스
123 : 시퀀스 출력부
125 : 영상 출력부
151 : 영상 분리부
153 : 객체 추적부
이하, 본 발명에서의 일 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
우선적으로 본 발명의 일 실시예에 따른 영상 탐색장치(100)를 포함한 전체적인 구성을 도시한 도 1을 참조하여 본 발명의 구현을 위한 구성관계를 간략히 설명하면 다음과 같다.
본 발명의 일 실시예에 의한 영상 탐색장치(100)는 사용자 단말(400) 및 촬영영상 또는 저장영상을 전송하는 영상 전송장치(200)와 유선 또는 무선 등의 네트워크망(300)을 통하여 상호 연결된다.
본 발명의 일 실시예에 의한 영상 탐색장치(100)는 서버 형태 등으로 구현될 수 있으며, 이하 설명되는 영상 탐색장치(100)의 각 구성요소는 서버의 논리적 기능을 구별하기 위한 개념상의 구분일 뿐 물리적 구분이 아님은 자명하며, 영상 탐색장치(100)는 클라이언트인 사용자 단말(400)과 관심객체 설정을 위한 다양한 설정입력 조건을 상호 입출력하게 된다.
본 발명의 일 실시예에 의한 영상 탐색장치(100)는 영상 내에서 관심객체가 있을 경우 관심객체를 선택하고, 관심객체 이동경로 추적을 통하여 이동경로를 출력하는 기능을 수행하는 장치를 의미하므로 상기와 같은 기능을 수행한다면 지칭되는 명칭에 국한되지 않고 영상 탐색장치(100)에 해당될 수 있음은 자명하다.
이하에서는 본 발명의 일 실시예에 따른 영상 탐색장치(100)의 구성을 도시한 블록도인 도 2, 영상 탐색장치(100)에 포함된 영상 실행부(120) 및 관심객체 추적부(150)의 구성을 도시한 블록도인 도 3을 통하여 본 발명에 의한 영상 탐색장치(100)의 구체적인 구성을 설명하도록 한다.
상기 첨부된 도면을 참조할 때, 본 발명의 일 실시예에 따른 영상 탐색장치(100)는 영상 저장부(110), 영상 실행부(120), 사용자 입력 수신부(130), 관심객체 선택부(140), 관심객체 추적부(150), 경로 출력부(160), 드래그 출력 생성부(170) 및 입출력 인터페이스(180)를 포함하여 구성될 수 있다.
이와 함께, 영상 실행부(120)는 시퀀스 출력부(123) 및 영상 출력부(125)를 포함하여 구성될 수 있으며, 관심객체 추적부(150)는 영상 분리부(151)와 객체 추적부(153)를 포함하여 구성할 수 있다.
이하, 본 발명에 의한 영상 탐색장치(100)의 구체적인 동작을 도 2 및 도 3을 통해 설명하도록 한다.
본 발명의 일 실시예에 따른 영상 탐색장치(100)와 상호 연결이 된 영상 전송장치(200)는 객체의 이동, 침입, 이탈 등의 감시를 위한 영상을 촬영할 수 있는 CCTV용 카메라, 감시 카메라 등을 포함한 영상 촬영장치에서 촬영이 된 촬영영상이나 동영상과 같은 저장영상을 영상 탐색장치(100)의 영상 저장부(110)에 전송하는 역할을 수행한다. 여기서, 영상 전송장치(200)는 네트워크망(300)을 경유하여 객체 영상 탐색장치(100)와 영상 및 데이터를 송수신하는 것으로 나타내고 있으나 반드시 이에 한정되는 것은 아니며, 근거리 통신망 또는 소정의 기업에서 설치한 통신기지국에 따른 통신망과 같이 영상 및 데이터를 송수신할 수 있다면 명칭에 국한되지 않고 그 어떤 망으로도 구현될 수 있다.
본 발명의 일 실시예에 따른 영상 탐색장치(100)의 영상 저장부(110)는 영상 전송장치(200)와 연결되어 전송된 촬영영상이나 동영상과 같은 저장영상 전체를 프레임 단위로 저장하는 역할을 수행한다. 여기서, 촬영영상은 영상 촬영장치에 포함된 하나 이상의 카메라를 통해 촬영된 영상으로서 각각의 카메라에 대한 촬영영상을 의미하며, 촬영영상은 복수 개의 프레임을 포함하여 구성할 수 있다.
영상 실행부(120)는 시퀀스 출력부(123) 및 영상 출력부(125)를 포함하여 구성할 수 있다. 즉, 시퀀스 출력부(123)에서 상기 영상의 프레임의 시작점으로부터 끝점까지의 위치정보를 소정의 바(Bar) 등의 형태(이하 '시퀀스 탐색기'로 지칭)로 출력하는데, 영상 출력부(125)에서 영상과 시퀀스 탐색기를 한 화면에 동시 출력한다. 여기서, 시퀀스 탐색기는 사용자가 원하는 시점을 선택할 때 이용될 수 있다.
영상 실행부(120)를 통해 실행된 영상의 시퀀스 탐색기를 통하여 사용자가 하나의 시점을 선택하였을 경우 선택한 시점의 프레임이 재생된다.
사용자 입력 수신부(130)는 재생된 영상 내에 사용자가 원하는 관심객체가 있을 경우, 관심객체를 설정하기 위해 사용자의 선택명령을 입출력 인터페이스를 통해 수신하는 역할을 수행한다. 여기서, 사용자의 선택명령은 사용자의 입력명령으로써, 예를 들어, 마우스를 이용한 클릭(Click)이나 화면을 통한 터치스크린 등을 통해 생성된 명령일 수 있다.
관심객체 선택부(140)는 사용자의 선택입력을 통해 지정한 위치의 객체를 관심객체로 선택하여 관심객체의 위치정보를 저장하는 역할을 수행한다. 즉, 관심객체 선택은 사용자가 원하는 검색결과를 도출하기 위해 설정된 것으로서, 사용자가 마우스의 클릭이나 터치스크린의 터치를 통하여 관심객체를 선택하였을 경우 해당 영상 프레임에서 관심객체의 위치정보를 저장하는 것이다.
관심객체 추적부(150)는 관심객체가 없는 배경영상과 촬영영상을 비교하여 차이가 있는 부분을 관심객체로 추출한다. 여기서, 배경영상은 촬영하고자 하는 영역을 촬영한 초기화면이나, 촬영영상 내에서 움직이는 관심객체 없이 일정 시간동안 정지된 배경을 나타내는 영상 등을 의미한다. 관심객체 추적부(120)에서 추적된 관심객체의 이동경로상에 위치하는 시점의 영상 프레임은 경로 출력부(160)에서 경로가 출력되는 데에 이용된다.
관심객체 추적부(150)는 영상 분리부(151)와 객체 추적부(153)를 포함하여 구성될 수 있다. 영상 분리부(151)에서는 배경과 전경을 분리하는데, 이는 화소의 가우시언 모델을 이용한다. 각 화소는 소정의 개수의 가우시언 노드(node)를 가진다. 각각의 가우시언 노드는 평균(mean), 분산(variance), 가중치(weight)를 가진다. 프로그램 시작 후 초기 일정 시간 까지는 화소의 가우시언 모델이 학습되는데, 이 때 평균, 분산, 가중치가 정해지고, 가중치가 높은 노드가 배경 노드로 지정된다.
전술한 바와 같은 학습이 끝나고 영상 프레임이 들어오면, 각 화소는 학습된 가우시언 노드 중 하나에 속하는지 판별되고, 해당 가우시언 노드의 평균, 분산이 업데이트되고, 모든 가우시언 노드의 가중치가 업데이트된다.
또한, 화소가 배경 노드가 아닌 가우시언 노드에 속하게 되면 그 화소는 전경 화소가 된다. 예를 들어, 사람이 지나가면 사람에 해당하는 화소는 배경 노드에 속하지 않을 것이므로 전경 화소가 된다. 이들 전경 화소들의 집합이 사람에 해당될 것이고, 이러한 과정을 통해 배경으로부터 전경을 분리할 수 있다.
영상 분리부(151)에서 배경과 전경이 분리되면, 객체 추적부(153)에서 객체를 추적하는 단계를 거친다. 객체의 추적에는 전경 영상(예를 들어, 배경:0, 전경:1)을 이용한다. 이전 프레임의 전경 영상에서의 전경에 해당하는 움직이는 객체와 현재 프레임의 전경 영상에서의 전경에 해당하는 움직이는 객체의 컬러 정보, 히스토그램, 객체의 모양(shape) 등을 비교해서, 이전 프레임과 현재 프레임의 동일한 객체를 판별하여 객체를 추적한다. 컬러 정보의 비교에는 히스토그램, 객체의 모양(shape) 등의 정보가 이용될 수 있다. 여기서, 이동경로를 추적하는 객체는 사용자가 설정명령을 통해 입력한 관심객체에 대한 정보와 비교하여 관심객체의 이동경로에 대해 추적한다. 이와 같이 추적되는 이동경로는 관심객체가 선택된 시점 이후의 영상프레임 뿐 만 아니라, 관심객체가 설정되기 이전 시점의 영상 프레임에 대해서도 추적될 수 있다.
경로 출력부(160)는 관심객체 추적부(150)를 통해 추적한 관심객체의 이동경로를 화면을 통해 시각적인 표시(예를 들어, 화살표와 같은 형태) 또는 시각적인 색상으로 표시하여 출력하는 역할을 수행한다. 여기서 이동경로는, 관심객체가 선택된 시점 이전에 관심객체가 영상에 출현한 시점부터, 선택된 시점 이후에 관심객체가 영상에서 사라진 시점까지의 경로에 대해 출력한다.
드래그 출력 생성부(170)는 경로 출력부(160)를 통하여 출력이 된 하나 이상의 관심객체 이동경로 중에서 영상으로 확인하고자 하는 경로가 있다면, 해당 관심객체를 선택한 후 드래그하면서 원하는 방향과 거리 만큼 움직인 후 드롭(Drop)하거나, 관심객체를 선택한 후 이동경로를 따라 드래그하지 않고, 이동경로가 아닌 곳으로 드래그하다가 드롭하는 지점만 이동경로상에 위치하도록 할 수도 있다.
여기서, 관심객체를 해당 이동경로를 따라서 드래그하는 동안, 해당 관심객체가 드래그되는 지점에 위치하는 영상 프레임이 연속하여 출력이 됨으로써 사용자는 한 프레임씩 관심객체의 움직임을 확인할 수 있어 효율적인 영상 탐색을 할 수 있는 효과를 얻게 된다. 여기서, 관심객체의 드래그 방법은 마우스나 터치스크린를 통하여 관심객체를 선택하여 드래그할 수 있다. 또한, 관심객체의 드래그는 관심객체의 현위치를 기준으로 관심객체 이동경로 전후방향으로의 드래그가 가능하다. 즉, 관심객체 현위치를 기준으로 이전과 이후의 이동경로의 드래그가 가능함으로써 드래그되는 지점에 위치하는 영상 프레임의 재생을 통하여 조금 더 정밀하고 빠르게 원하는 장면을 찾을 수 있는 장점이 있다.
만약, 사용자 입력 수신부(130)에서 사용자 선택입력을 통하여 관심객체 선택을 하지 않았을 경우, 드래그 출력 생성부에서 관심객체 선택경로는 출력되지 않는다.
도 4는 본 발명의 일 실시예에 따른 객체 영상 탐색장치에서 관심객체의 선택과 선택된 관심객체의 이동경로를 출력하는 수행 과정을 도시한 흐름도이고, 도 5는 본 발명의 일 실시예에 따른 객체 영상 탐색장치에서 드래그를 통해 관심객체의 선택경로를 출력하는 과정을 도시한 흐름도이다.
이하에서는 본 발명의 일 실시예에 따른 객체 영상 탐색방법을 예시한 흐름도인 도 4 및 도 5와 이동경로 상의 위치에 따른 관심객체의 위치 및 이동경로를 나타내는 영상인 도 6 및 도 7을 통하여 본 발명에 의한 객체 영상 탐색방법의 구체적인 과정을 설명하도록 한다.
본 발명의 일 실시예에 따른, 객체의 드래그 방법에 의한 영상 탐색 방법은, 영상 전송장치(200)로부터 카메라를 통한 촬영영상 또는 동영상과 같은 저장영상을 전송(S401)받는다.
상기 전송 받은 영상의 시작 시각 대비 끝 시각까지의 전체 시간 데이터를 시퀀스로 생성하고, 화면을 통해 영상과 생성한 시퀀스를 시퀀스 탐색기로 동시 출력(S403)한다.
시퀀스 탐색기에서 사용자가 원하는 시점을 선택(S405)하였을 경우, 원하는 관심객체의 위치를 사용자의 마우스 클릭이나 터치스크린 상의 터치입력 등의 방법으로 수신(S407)하면, 사용자의 선택입력을 통해 관심객체로 선택(S409)된다.
배경과 전경의 영상 분리와 객체의 컬러 정보, 히스토그램, 객체의 모양(shape) 등을 비교한 객체 경로 추적과 상기 관심객체 선택정보와의 대비를 통하여 영상을 구성하는 다수의 프레임 상에서 관심객체 이동경로가 추적(S411)되면, 도 6과 같이 화면을 통해 시각적인 표시(예를 들어, 화살표와 같은 형태)나 시각적인 색상으로 관심객체의 이동경로를 영상 프레임과 함께 중첩하여 출력(S413)한다.
즉, 경로 출력 과정의 예로써, 본 발명의 일 실시예에 따라, 하나의 영상 프레임인 도 6을 통해 설명하자면, 영상 프레임 안의 빨간 원안의 객체를 클릭하면 이 관심객체에 대한 이동경로가 화살표와 시각적인 색상을 통해 출력되는 것이다.
이하에서는 본 발명의 일 실시예에 따른 객체 영상 탐색방법을 예시한 흐름도인 도 5 및 도 7를 통하여 본 발명에 의한 관심객체의 선택경로 출력과정을 설명하도록 한다.
관심객체의 이동경로 중 확인하고 싶은 이동경로가 있다면, 해당 경로에 해당하는 선택정보를 입력한다. 추적을 원하는 관심객체를 사용자의 마우스 클릭이나 영상을 디스플레이하는 터치스크린 상의 터치와 같은 선택입력으로 수신(S501)한다,
드래그 출력 생성부(170)는 사용자가 사용자 입력 수신부(130)를 통해 관심객체를 선택하였는지 여부를 판단한다. 사용자 입력 수신부(130)에서 관심객체 선택을 위한 사용자의 선택명령(예를 들어, 마우스를 이용한 클릭이나 터치스크린을 통한 관심객체의 터치 및 드래그명령(원하는 이동거리만큼 드래그하고 드롭(Drop)하는 것))을 수신하였을 경우(S503), 드래그 출력 생성부(170)는 사용자가 관심객체의 이동경로를 따라서 드래그하는 동안, 해당 관심객체가 드래그되는 지점에 위치하는 영상 프레임이 연속하여 출력(S505)이 됨으로써 사용자는 한 프레임씩 관심객체의 움직임을 확인할 수 있어 효율적인 영상 탐색을 할 수 있는 효과를 얻게 된다.
드래그를 통한 이동경로 출력의 예로써, 영상 프레임을 나타내는 도 6 및 도 7을 통해 설명하자면, 도 6의 영상 프레임 안의 빨간 원안의 관심객체를 클릭하고 도 7의 이동경로상의 객체 위치까지 드래그를 하였을 경우, 드래그하는 동안의 이 관심객체에 대한 이동경로가 화살표와 시각적인 색상을 통해 출력됨은 물론, 드래그되는 이동경로에 대응되는 영상 프레임도 출력되는 것이다.
본 발명을 설명함에 있어, 본 발명의 일 실시예에 따른 객체 영상 탐색장치(100)의 각 구성요소는 앞서 간략히 언급된 바와 같이 물리적으로 구분되는 구성요소라기보다는 논리적으로 구분되는 구성요소로 되어야 한다.
즉, 각각의 구성은 본 발명의 기술사상을 실현하기 위하여 논리적인 구성요소에 해당하므로 각각의 구성요소가 통합 또는 분리되어 수행되더라도 본 발명의 논리 구성이 수행하는 기능이 실현될 수 있다면 본 발명의 범위 내에 있다고 해석되어야 하며, 동일 또는 유사한 기능을 수행하는 구성요소라면 그 명칭 상의 일치성 여부와는 무관히 본 발명의 범위 내에 있다고 해석되어야 함은 물론이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 일 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 일 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 관심객체의 이동경로 추적을 이용하여 사용자가 필요로 하는 부분의 영상을 최소한의 데이터 작업만으로 검색과 재생을 하고, 사용자 편의성과 접근성을 기반으로 원하는 결과물을 얻는 형태의 과정을 구현함으로써, 타 영상장치나 시스템에 비하여 효과적인 영상 검색 환경을 구축할 수 있을 것으로 예상이 되고, 향후 촬영영상 및 영상감시 분야에서 널리 활용될 부분이 기대되어 유용한 발명이다.

Claims (11)

  1. 영상 내 관심객체의 선택에 의한 영상 탐색장치에 있어서,
    상기 영상을 출력하는 영상 실행부;
    사용자 인터페이스로부터 상기 영상 내의 관심객체의 위치에 대한 선택정보를 수신하는 관심객체 선택부;
    상기 선택정보를 이용하여 상기 영상으로부터 상기 관심객체를 추출하여 상기 관심객체의 이동경로를 추적하는 관심객체 추적부;
    상기 영상과 상기 관심객체의 이동경로를 중첩하여 출력하는 경로 출력부; 및
    상기 관심객체를 드래그(Drag)하는 방향과 거리만큼 움직이면서 상기 드래그하는 동안 상기 관심객체의 위치에 대응하는 시점의 프레임이 재생되도록 하는 드래그 출력 생성부
    를 포함하는 것을 특징으로 하는 영상 탐색장치.
  2. 제 1 항에 있어서,
    상기 이동경로는,
    상기 관심객체가 선택된 시점 이전에 상기 관심객체가 상기 영상에 출현한 시점부터 상기 선택된 시점 이후에 상기 관심객체가 상기 영상에서 사라진 시점까지의 경로인 것을 특징으로 하는 영상 탐색장치.
  3. 제 1 항에 있어서,
    상기 관심객체 추적부는,
    상기 관심객체가 없는 배경프레임과 상기 영상을 비교하여 상기 관심객체를 추출하고 상기 관심객체의 이동경로를 추적하는 것을 특징으로 하는 영상 탐색장치.
  4. 제 1 항에 있어서,
    상기 관심객체 추적부는,
    상기 관심객체가 없는 배경 프레임과 비교하고자 하는 상기 영상의 프레임을 이용하여 상기 영상의 배경과 전경을 분리하는 영상 분리부; 및
    상기 배경 프레임과 상기 영상의 프레임에 대한 화소, 컬러, 윤곽 중에서 적어도 하나 이상의 차이를 비교한 결과를 근거로 객체를 추적하여 상기 관심객체를 추출하는 객체 추적부;
    를 포함하는 것을 특징으로 하는 영상 탐색장치.
  5. 제 1 항에 있어서,
    상기 경로 출력부는,
    상기 관심객체 추적부에서 추적된 관심객체의 이동경로를 사용자 화면을 통해 시각적인 형태로 출력하는 것을 특징으로 하는 영상 탐색장치.
  6. 제 1 항에 있어서,
    상기 드래그 출력 생성부는,
    상기 관심객체가 상기 사용자 인터페이스에 의해 선택된 상태에서 상기 이동경로상에 드래그된 경우, 상기 관심객체가 상기 드래그된 지점에 위치하는 영상의 프레임을 출력하는 것을 특징으로 하는 영상 탐색장치.
  7. 제 6 항에 있어서,
    상기 드래그 출력 생성부는,
    상기 관심객체를 상기 이동경로를 따라서 드래그하는 동안, 상기 관심객체가 드래그되는 지점에 위치하는 영상 프레임을 연속하여 출력하는 것을 특징으로 하는 영상 탐색장치.
  8. 영상 내 관심객체의 선택에 의한 영상 탐색 방법에 있어서,
    상기 영상을 출력하는 과정;
    사용자 인터페이스로부터 상기 영상 내의 관심객체의 위치에 대한 선택정보를 수신하는 과정;
    상기 선택정보를 이용하여 상기 영상으로부터 상기 관심객체를 추출하여 상기 관심객체의 이동경로를 추적하는 관심객체 추적 과정;
    상기 영상과 상기 관심객체의 이동경로를 중첩하여 출력하는 경로 출력 과정; 및
    상기 관심객체를 드래그(Drag)하는 방향과 거리만큼 움직이면서 상기 드래그하는 동안 상기 관심객체의 위치에 대응하는 시점의 프레임이 재생되도록 하는 드래그 출력 과정
    을 포함하는 것을 특징으로 하는 영상 탐색 방법.
  9. 제 8 항에 있어서,
    상기 관심객체 추적 과정은,
    상기 관심객체가 없는 배경 프레임과 비교하고자 하는 상기 영상의 프레임을 이용하여 상기 영상의 배경과 전경을 분리하는 영상 분리 과정; 및
    상기 배경 프레임과 상기 영상의 프레임에 대한 화소, 컬러, 윤곽 중에서 적어도 하나 이상의 차이를 비교한 결과를 근거로 객체를 추적하여 상기 관심객체를 추출하는 과정
    을 더 포함하는 것을 특징으로 하는 영상 탐색방법.
  10. 제 8 항에 있어서,
    상기 경로 출력 과정은,
    상기 관심객체 추적 과정에서 추적한 관심객체의 이동경로에 대응되는 프레임이 재생되면서, 상기 영상과 중첩하여 화면에 시각적인 형태로 상기 관심객체의 이동경로를 출력하는 것을 특징으로 하는 영상 탐색방법.
  11. 제 8 항에 있어서,
    상기 드래그 출력 과정은,
    상기 관심객체가 상기 사용자 인터페이스에 의해 선택된 상태에서 상기 이동경로를 따라 드래그하는 동안, 상기 관심객체가 드래그되는 지점에 위치하는 영상 프레임을 연속하여 출력하는 것을 특징으로 하는 영상 탐색 방법.
KR1020120120390A 2012-10-29 2012-10-29 관심객체의 선택에 의한 영상 탐색장치 및 방법 KR101990789B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120120390A KR101990789B1 (ko) 2012-10-29 2012-10-29 관심객체의 선택에 의한 영상 탐색장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120120390A KR101990789B1 (ko) 2012-10-29 2012-10-29 관심객체의 선택에 의한 영상 탐색장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190052709A Division KR20190051924A (ko) 2019-05-07 2019-05-07 관심객체의 선택에 의한 영상 탐색장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140054650A KR20140054650A (ko) 2014-05-09
KR101990789B1 true KR101990789B1 (ko) 2019-06-19

Family

ID=50886468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120120390A KR101990789B1 (ko) 2012-10-29 2012-10-29 관심객체의 선택에 의한 영상 탐색장치 및 방법

Country Status (1)

Country Link
KR (1) KR101990789B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102375864B1 (ko) * 2015-02-10 2022-03-18 한화테크윈 주식회사 요약 영상 브라우징 시스템 및 방법
KR20160143108A (ko) * 2015-06-04 2016-12-14 에스케이텔레콤 주식회사 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록매체
US10347047B2 (en) * 2015-11-25 2019-07-09 Google Llc Trigger regions
KR101880505B1 (ko) * 2016-10-12 2018-08-17 케이에스아이 주식회사 이동경로 추출이 가능한 지능형 영상 감시시스템
KR102058723B1 (ko) 2018-07-11 2019-12-24 양정만 영상에서 추출된 객체를 암호화하고 데이터베이스를 구축하는 시스템의 제어방법
KR102656084B1 (ko) * 2020-02-25 2024-04-11 한국전자통신연구원 이동경로 기반 객체 매핑 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009104474A (ja) * 2007-10-24 2009-05-14 Sony Corp 画像処理装置および画像処理方法、プログラム、並びに、記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100420620B1 (ko) * 2001-02-16 2004-03-02 주식회사 이스턴정보통신 객체기반 영상 감시시스템
KR100489449B1 (ko) * 2002-03-13 2005-05-11 (주)아이디스 멀티미디어 데이터 파일 생성 방법 및 재생 방법
KR100964726B1 (ko) * 2008-07-14 2010-06-21 한국산업기술대학교산학협력단 영상 카메라 시스템에서 이동 물체 특성을 이용한 이동물체 추적 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009104474A (ja) * 2007-10-24 2009-05-14 Sony Corp 画像処理装置および画像処理方法、プログラム、並びに、記録媒体

Also Published As

Publication number Publication date
KR20140054650A (ko) 2014-05-09

Similar Documents

Publication Publication Date Title
Fan et al. Heterogeneous information fusion and visualization for a large-scale intelligent video surveillance system
KR101990789B1 (ko) 관심객체의 선택에 의한 영상 탐색장치 및 방법
US10645344B2 (en) Video system with intelligent visual display
US8289390B2 (en) Method and apparatus for total situational awareness and monitoring
US20190037178A1 (en) Autonomous video management system
JP6399356B2 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP2019192227A (ja) 映像監視システム、映像処理方法および映像処理プログラム
KR101933153B1 (ko) 관심객체 이동방향에 따른 관제 영상 재배치 방법 및 장치
KR101937272B1 (ko) 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법
CN105324793B (zh) 用于检测和跟踪视频中的一个或多个感兴趣对象的方法和设备
CN101375599A (zh) 用于执行视频监视的方法和系统
KR102183473B1 (ko) 영상 모니터링 방법 및 장치
US20230093631A1 (en) Video search device and network surveillance camera system including same
Gupta et al. CrowdVAS-Net: A deep-CNN based framework to detect abnormal crowd-motion behavior in videos for predicting crowd disaster
JP2023016874A (ja) 表示制御装置、表示制御方法、およびプログラム
KR101840300B1 (ko) Cctv 영상의 검색 장치 및 방법
JPWO2016167016A1 (ja) 画像処理装置、画像処理方法、および画像処理システム
Fawzi et al. Embedded real-time video surveillance system based on multi-sensor and visual tracking
CN110740290A (zh) 监控录像预览方法及装置
KR100964726B1 (ko) 영상 카메라 시스템에서 이동 물체 특성을 이용한 이동물체 추적 방법
KR102128319B1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
KR20190051924A (ko) 관심객체의 선택에 의한 영상 탐색장치 및 방법
CN108200390A (zh) 视频结构化分析方法及装置
KR102527771B1 (ko) Tof 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법
KR20210108691A (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant