KR102079581B1 - 보안시스템에서의 사용자 관심영상 검출방법 및 이를 위한 관심영상 검출 시스템 - Google Patents

보안시스템에서의 사용자 관심영상 검출방법 및 이를 위한 관심영상 검출 시스템 Download PDF

Info

Publication number
KR102079581B1
KR102079581B1 KR1020180027678A KR20180027678A KR102079581B1 KR 102079581 B1 KR102079581 B1 KR 102079581B1 KR 1020180027678 A KR1020180027678 A KR 1020180027678A KR 20180027678 A KR20180027678 A KR 20180027678A KR 102079581 B1 KR102079581 B1 KR 102079581B1
Authority
KR
South Korea
Prior art keywords
image
interest
information
feature
camera
Prior art date
Application number
KR1020180027678A
Other languages
English (en)
Other versions
KR20190109662A (ko
Inventor
한기훈
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020180027678A priority Critical patent/KR102079581B1/ko
Publication of KR20190109662A publication Critical patent/KR20190109662A/ko
Application granted granted Critical
Publication of KR102079581B1 publication Critical patent/KR102079581B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06K9/00771—
    • G06K9/00369—
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명 보안시스템에서의 사용자 관심영상 검출시스템은 다수의 카메라로부터 실시간으로 전송되는 영상 스트림을 수신하여 스트림 비교부와 영상 검출부로 전송하는 영상 수신부와, 사용자로부터 관심 영상을 입력받아서 스트림 비교부와 특징 비교부로 전송하여 등록하도록 하는 관심 이미지 등록부와, 영상 수신부로부터 전송받은 카메라 영상과 관심 이미지 등록부로부터 전송받은 사용자 관심 이미지의 스트림 정보를 비교하며 비교 결과를 기초로 카메라 영상을 선정하여 특징 비교부로 전송하는 스트림 비교부와, 스트림 비교부로 수신한 카메라 영상 정보와 관심 이미지 등록부로부터 수신한 관심 이미지의 특징을 비교하며 특징 정보 일치 여부와 카메라 영상 정보를 영상 검출부로 전송하는 특징 비교부와, 특징 비교부로부터 특징 정보의 일치 여부 정보와 카메라 영상 정보를 수신하고 특징 정보가 일치하는 경우 수신된 카메라 영상 정보를 참조하여 영상 수신부에 해당 영상 정보 전송을 요청하고 수신된 해당 영상 정보를 사용자 관심 영상으로 검출하는 영상 검출부로 구성된 것을 특징으로 하는 것이다.

Description

보안시스템에서의 사용자 관심영상 검출방법 및 이를 위한 관심영상 검출 시스템{User Concern Image Detecting Method at Security System and System thereof}
본 발명은 카메라 수가 많은 대형 보안 시스템에서의 관심 영상 검출 방법에 대한 것이다. 일반적으로 보안 시스템은 대형화되어 카메라가 대폭 늘어나고 있으며 이에 따라 영상의 모니터링과 녹화를 위하여는 매우 많은 하드웨어 지원이 필요하여 시스템 구축 비용이 증대되는 것이고 이에 따라서 이벤트 영상을 검출하여 녹화하는 것에 제시되어 있으나 이는 영상의 불일치와 알고리즘 설정이 불일치할 경우에 빈번한 오 경보와 무감지 문제가 발생하는 것이다.
본 발명과 관련된 종래의 기술은 대한민국 등록특허 제10-1062225호(2016. 9. 6. 공고)에 개시되어 있는 것이다. 상기 종래의 감시 카메라를 이용한 지능형 영상 검색 시스템 구성도이다. 상기도 1에서 종래의 감시 카메라를 이용한 지능형 영상 검색 시스템은 감시 카메라(102), 영상 처리 서버(104), 영상 데이터 저장부(106) 및 사용자 인터페이스 부(108)를 포함하여 구성되고 상기 영상 처리 서버(104)는 영상 처리 장치(미도시) 내에 구현될 수 있고, 상기 영상 처리 장치는 상기 감시 카메라(102)를 포함할 수 있음은 당업자에게 자명하다. 이하, 상기 종래 기술과 관련 없는 상기 시스템(100)의 다른 구성 요소들에 대해서는 생략하도록 한다.크게 세 가지의 주요 모듈인 영상 및 쿼리 입력기(202), 보행자 추적 및 특성 추출기(204), 특성 매칭 및 결과 출력기(206)를 포함한다. 상기 영상 및 쿼리 입력기(202)는 감시 카메라 영상 입력기(208), 정지 영상/메타데이터 입력기(210), 쿼리 입력기(212)로 구성될 수 있다. 또한, 상기 감시 카메라 영상 입력기(208)는 감시 카메라(102)로부터 데이터 스트림 형태의 영상 신호를 수신한 후 상기 보행자 추적 및 특성 추출기(204)로 전달하는 기능을 수행한다. 상기 감시 카메라 영상 입력기는 최대 2대의 감시 카메라의 영상을 동시에 확인할 수 있고, IP 주소 지정에 따라 임의의 권한이 주어진 감시 카메라로의 접근이 가능하다. 또한, 상기 정지 영상/메타데이터 입력기(210)는 영상 데이터 저장부(106)로부터 정지 원영상, 배경차감 영상, 각 프레임 영상별 보행자 영역 정보를 읽어 상기 보행자 추적 및 특성 추출기(204)로 제공한다. 또한, 상기 쿼리 입력기(212)는 사용자 인터페이스 부(108)로부터 검색하고자 하는 보행자의 특성 정보가 입력되면, 상기 보행자 특성 정보를 상기 특성 매칭 및 결과 출력기(206)로 제공한다. 상기 보행자의 특성 정보는 보행자의 키, 모자 색, 착용하는 의상의 색상 등의 정보가 될 수 있다. 또한, 상기 보행자 추적 및 특성 추출기(204)는 옵티컬 플로우 분석기(214), 적응적 배경 차감기(216), 보행자 추적기(218), 대표 프레임 추출기(220), 보행자 특성 추출기(222)로 구성될 수 있다. 또한, 상기 보행자 추적 및 특성 추출기(204)는 상기 옵티컬 플로우 분석기(214)를 통하여 객체의 움직임 정보를 추출하고, 이를 적응적 배경 차감기(216)와 결합하여 보행자의 영역을 안정적으로 추출하는 기능을 수행한다. 또한, 조명 조건이 수시로 변화하는 실외 환경에서 배경의 변화를 빠르게 수용한다. 상기 보행자 추적 및 특성 추출기(204)는 배경으로 인식되는 보행자를 빠르게 제거하면서, 일시적으로 움직임이 없는 보행자의 경우에도 안정적으로 영역을 추출하는 기능을 제공한다. 먼저, 상기 옵티컬 플로우 분석기(214)는 상기 감시 카메라 영상 입력기(208)로부터 제공된 영상을 이용하여 객체의 움직임 정보(즉, 각 픽셀 별 모션 벡터)를 추출하고, 이를 적응적 메디안 배경 차감기(216)의 입력 정보로 제공한다. 여기서, 옵티컬 플로우(optical flow)란 시간적으로 연속된 여러 영상에서 현재 영상과 이전 영상을 비교하여 밝기로 나타난 화소(pixel)의 이동 방향을 나타내는 벡터를 일컫는다. 객체의 동적 움직임을 나타내는 옵티컬 플로우를 통해 시간에 따라 변화하는 영상에서 객체의 움직임 정보가 결정되고, 나아가 배경(background)과 전경(foreground)의 안정적인 구분이 가능하게 된다. 상기 옵티컬 플로우를 계산하는 대표적인 방법으로, Gradient 기반의 Lucas-Kanade 방법과 Horn-Schunck 방법이 있다. 상기 두 가지 방법 모두 렌즈 구경 문제(aperture problem)를 해결하기 위한 방안을 제시하고 있는 것이다.
또한, 본 발명과 관련된 종래의 기술은 다수의 채널 중 중요 영상만을 디스플레이 및 녹화하는 방법으로 지능형 이벤트 감지에 의한 영상 채널 선택 방법에 제안되어 있는 것이다.
상기와 같은 다수의 채널 중 중요 영상만을 디스플레이 및 녹화하는 종래 기술은 모니터링 영상의 특성과 알고리즘 설정이 불일치할 경우 매우 빈번한 오 경보 및 무감지의 문제가 있는 것이다. 또한, 다른 종래 기술은 현재 영상과 이전 영상을 비교하여 밝기로 나타난 화소(pixel)의 이동 방향을 나타내는 벡터를 구하고 객체의 동적 움직임을 나타내는 벡터를 얻을 수 있는 옵티컬 플로우를 통해 시간에 따라 변화하는 영상에서 객체의 움직임 정보가 결정되고, 나아가 배경(background)과 전경(foreground)의 안정적인 구분이 가능하게 되며 상기 옵티컬 플로우를 계산하는 대표적인 방법으로, Gradient 기반의 Lucas-Kanade방법과 Horn-Schunck 방법을 제시하고 있으나 계산에 따른 많은 연산을 요구하는 것이다. 따라서 본 발명의 목적은 연산을 줄이고 하드웨어의 지원을 감소시킬 수 있도록 하기 위하여 관심 영역을 검출하는 방법을 제안하고자 하는 것이다. 즉 다수 카메라의 영상 중에서 사용자가 관심을 가지는 영상이 검출되는 채널(카메라)의 영상을 선택하여 디스플레이하고 녹화하도록 하기 위한 것이다.
상기와 같은 목적을 가진 본 발명 보안시스템에서의 사용자 관심영상 검출시스템은 다수의 카메라로부터 실시간으로 전송되는 영상 스트림을 수신하여 스트림 비교부와 영상 검출부로 전송하는 영상 수신부와, 사용자로부터 관심 이미지를 입력받아서 스트림 비교부와 특징 비교부로 전송하여 등록하도록 하는 관심 이미지 등록부와, 영상 수신부로부터 전송받은 카메라 영상과 관심 이미지 등록부로부터 전송받은 사용자 관심 영상의 스트림 정보를 비교하며 비교 결과를 기초로 특정 카메라 영상을 선정하여 특징 비교부로 전송하는 스트림 비교부와, 스트림 비교부로 수신한 특정 카메라 영상 정보와 관심 이미지 등록부로부터 수신한 관심 이미지의 특징을 비교하며 특징 정보 일치 여부와 카메라 영상 정보를 영상 검출부로 전송하는 특징 비교부와, 특징 비교부로부터 특징 정보의 일치 여부 정보와 카메라 영상 정보를 수신하고 특징 정보가 일치하는 경우 수신된 카메라 영상 정보를 참조하여 영상 수신부에 해당 영상 정보 전송을 요청하고 수신된 해당 영상 정보를 사용자 관심 영상으로 검출하는 영상 검출부로 구성된 것을 특징으로 하는 것이다.
상기와 같이 구성된 본 발명은 스트림 정보를 먼저 비교해보고 사용자 관심 영역과 스트림 정보가 일치하는 프레임에 한하여 특정 정보를 비교하므로 일부 프레임에 한해서만 디코딩 특정 정보 추출을 수행하여 연산량을 획기적으로 줄이는 효과가 있는 것이다. 또한, 본 발명의 다른 효과는 적은 연산량으로 다수 카메라 영상에서 실시간으로 사용자 관심 영역을 검출할 수 있어서 대규모 보안시스템에서 사용자의 관심 영상(중요 영상)을 선별하고 이를 디스플레이하고 녹화할 수 있는 효과가 있는 것이다.
도 1은 종래의 감시 카메라를 이용한 지능형 영상 검색 시스템 구성도,
도 2는 본 발명 보안시스템에서의 사용자 관심영상 검출 시스템 전체 구성도,
도 3은 본 발명에 적용되는 스트림 비교부의 상세 구성도,
도 4는 본 발명에 적용되는 특징 비교부의 상세 구성도,
도 5는 본 발명 보안시스템에서의 사용자 관심영상 검출 방법에 대한 제어 흐름도 이다.
상기와 같은 목적을 가진 본 발명 보안시스템에서의 사용자 관심 영상 검출시스템 및 이를 위한 관심영상 검출 방법을 도 2 내지 도 5를 기초로 하여 설명하면 다음과 같다.
도 2는 본 발명 보안시스템에서의 사용자 관심영상 검출 시스템 전체 구성도이다. 상기도 2에서 본 발명 보안시스템에서의 사용자 관심영상 검출 시스템은 다수의 카메라로부터 실시간으로 전송되는 영상 스트림을 수신하여 스트림 비교부와 영상 검출부로 전송하는 영상 수신부(10)와, 사용자로부터 관심 이미지를 입력받아서 스트림 비교부와 특징 비교부로 전송하여 등록하도록 하는 관심 이미지 등록부(20)와, 영상 수신부로부터 전송받은 카메라 영상과 관심 이미지 등록부로부터 전송받은 사용자 관심 이미지의 스트림 정보를 비교하며 비교 결과를 기초로 카메라 영상을 선정하여 특징 비교부로 전송하는 스트림 비교부(30)와, 스트림 비교부로 수신한 카메라 영상 정보와 관심 이미지 등록부로부터 수신한 관심 이미지의 특징을 비교하며 특징 정보 일치 여부와 카메라 영상 정보를 영상 검출부로 전송하는 특징 비교부(40)와, 특징 비교부로부터 특징 정보의 일치 여부 정보와 카메라 영상 정보를 수신하고 특징 정보가 일치하는 경우 수신된 카메라 영상 정보를 참조하여 영상 수신부에 해당 영상 정보 전송을 요청하고 수신된 해당 영상 정보에서 사용자 관심 영상을 검출하는 영상 검출부(50)로 구성된 것을 특징으로 하는 것이다. 상기에서 카메라부로부터 전송되는 스트림은 H.264 또는 H.265와 같은 압축스트림이며 보안 시스템에 연결된 모든 카메라로부터 실시간으로 동시에 영상 스트림을 수신하는 것이다. 또한 상기 관심 이미지 등록부는 사용자로부터 관심 이미지를 입력받는 것으로 사용자가 관심을 보이는 대상(사물)을 명확히 하기 위하여 정지 영상 형태인 이미지를 입력받으며 jpg, yuv, bmp 등 이미지 포멧으로 입력받을 수 있는 것이다.
도 3은 본 발명에 적용되는 스트림 비교부의 상세 구성도이다. 상기도 3에서 도 3은 본 발명에 적용되는 스트림 비교부(30)는 수신된 카메라 영상 정보를 확인하는 영상 정보 확인부(32)와 영상 정보 확인부를 통하여 카메라 영상의 압축코덱(H.264 등)과 양자화 값을 확인하고 관심 이미지를 카메라 영상과 동일한 압축 코덱과 양자화 값을 이용하여 인코딩하는 이미지 인코딩부(34)와, 카메라 영상의 스트림 비트량과 관심 이미지의 인코딩 비트량을 비교하는 스트림 정보 비교부(36)로 구성된 것을 특징으로 하는 것이다. 또한, 표 1은 H.264 압축 코덱 양자화 값에 따른 이미지 부호화 비트량 변화 예시를 나타내는 표이다.
[ 표 1]
Figure 112018023689191-pat00001
상기 표1에서 확인할 수 있듯이 관심 이미지 인코딩 시 양자화 값(Quantization parameter)에 따라 부호화 비트량이 달라지므로 관심 영상을 인코딩 할 때 영상 정보를 확인 과정에서 확인하였던 카메라 영상의 양자화 값과 동일한 양자화 값으로 인코딩하여야 하는 것이다. 또한, H.264 압축 코덱의 양자화 값은 0 ~ 51 사이에 52단계의 정수 값을 가지므로 관심 영상 인코딩은 각 양자화 값이 최초 확인되었을 때 1회씩 실행하여 최대 52회만 실행하고, 이전 확인한 양자화 값이 발생한 경우에는 이전 관심 영상 인코딩 스트림 정보를 참조하는 것이다. 또한, 관심 영상 인코딩 후 스트림 정보 비교부를 통하여 카메라 영상의 스트림 비트양과 관심 영상 인코딩 비트량을 비교하여 아래 식 (1)을 만족하는지 여부를 확인하고 식 (1)을 만족하는 카메라 영상을 특징 비교부로 전송하는 것이다.
Figure 112018023689191-pat00002
식 (1)
상기 식 (1)에서 CamBits 카메라 영상의 비트량을 나타내고, ImageBits 는 관심 영상의 인코딩 비트량을 나타내고, th는 비트량 차분의 허용치를 나타내는 것으로 0.1을 적용하였으나 사용자 관심 영상 검출 빈도 조절을 위하여 조정하는한 값이다.
도 4는 본 발명에 적용되는 특징 비교부의 상세 구성도이다. 상기도 4에서 본 발명에 적용되는 특징 비교부(40)는 스트림 비교부로부터 전달받은 카메라 영상과 관심 이미지 등록부로부터 전송받은 사용자 관심 이미지의 특징 정보를 비교하고 특징 정보 일치 여부와 카메라 영상 정보를 영상 검출부로 전송하는 것으로 스트림 비교부로부터 전송된 카메라 영상 정보를 영상 디코딩하여 이미지로 변환하는 영상 디코딩부(42)와, 영상 디코딩부로부터 수신된 변환된 이미지와 관심 이미지 등록부에서 전송한 관심 이미지로부터 특징 정보를 추출하는 특정 정보 추출부(44)와, 추출된 변환 이미지와 관심 이미지의 특징 정보를 비교하는 특징 정보 비교부(46)로 구성되는 것을 특징으로 하는 것이다. 또한, 상기와 같은 특징 비교를 위하여는 SURF(Speed Up Robust Features) 특징 검출 알고리즘을 사용할 수 있는 것이고 SURF 특징 검출은 이미지를 기반으로 상기 과정과 같이 실행되는 것이고, 이때 관심 이미지는 최초 1회만 특징 정보를 추출하고, 2회째부터는 기존 추출한 정보를 참조하는 방식으로 계산량을 줄여 줄 수 있는 것이다. 카메라 영상의 변환 이미지 특징 정보가 관심 이미지의 특징 정보와 동일한 경우 카메라 영상을 사용자 관심 영상으로 판단하고 해당 카메라 영상 정보와 특징 정보 일치 정보를 영상 검출부로 전송하는 것이다. 본 발명에서는 아래 식(2)와 같이 관심 이미지의 전체 특징점 중 카메라 영상 변환 이미지의 특징점과 매칭되는 특징점 비율과 카메라 영상 변환 이미지의 특징점 중 관심이미지의 특징점과 매칭되는 특징점 비율 중 작은 값이 임계치 0.3을 넘는 경우, 카메라 영상의 변환 이미지와 관심 이미지의 특징 정보가 동일한 것으로 판단할 수 있는 것이다. 참고로 동일한 이미지라 하더라도 이미지를 주변의 조명, 촬영 각도, 카메라와의 거리 등에 따라 SURF 특징점 개수는 달라질 수 있으며 본 발명에서는 특징점 중 30% 이상이 매칭되면 두 이미지가 동일한 것으로 판단할 수 있는 것이다.
Figure 112018023689191-pat00003
식 (2)
여기서 Camfeatures : 카메라 영상의 특징점수, Imagefeatures : 관심 이미지 특징점수, Cammatches : 카메라 영상 변환이미지의 특징점 중 관심 이미지의 특징점과 매칭되는 특징점 비율, Imagematches : 관심 이미지 전체 특징점 중 카메라 영상 변환 이미지와 매칭되는 특징점 비율임
또한, 영상 검출부는 특징 비교부로부터 특징 정보 일치 여부와 카메라 영상 정보를 전송받고 특징 정보가 일치하는 경우 함께 전송받은 카메라 영상 정보를 참조하여 영상 수신부에 해당 영상 데이터 전송을 요청하고 전송받은 영상 데이터 정보를 사용자 관심 영상으로 검출하는 것이다.
도 5는 본 발명 보안시스템에서의 사용자 관심영상 검출 방법에 대한 제어 흐름도 이다. 상기도 5에서 본 발명 보안시스템에서의 사용자 관심영상 검출 방법은 영상 수신부에서 보안 시스템에 연결된 다수의 카메라로부터 영상 스트림을 수신하고 수신된 영상 스트림을 스트림 비교부와 영상 검출부로 전송하는 단계(S11)와, 관심 이미지 등록부가 사용자로 하여금 관심 이미지를 입력받아서 스트림 비교부와 특징 비교부로 전송하는 단계(S12)와, 스트림 비교부가 영상 수신부로부터 전송받은 카메라 영상과 사용자 관심 이미지의 스트림 정보를 비교하며 비교 결과를 기초로 카메라 영상을 선정하여 특징 비교부로 전송하는 단계(S13)와, 특징 비교부가 스트림 비교부로부터 수신한 카메라 영상 정보와 관심 이미지 등록부로부터 수신한 관심 이미지의 특징을 추출하고 비교하여 특징 정보 일치 여부와 카메라 영상 정보를 영상 검출부로 전송하는 단계(S14)와, 영상 검출부가 특징 비교부로부터 특징 정보의 일치 여부 정보와 카메라 영상 정보를 수신하고 특징 정보가 일치하는 경우 수신된 카메라 영상 정보를 참조하여 영상 수신부에 해당 영상 정보 전송을 요청하고 수신된 해당 영상 데이터를 사용자 관심 영상으로 검출하는 단계(S15)를 포함하여 이루어지는 것을 특징으로 하는 것이다. 또한, 상기 S13 단계에서 스트림 비교부가 영상 수신부로부터 전송받은 카메라 영상과 전송받은 사용자 관심 이미지의 스트림 정보를 비교하는 것은 카메라 영상의 압축 코덱과 양자화 값을 확인하고 관심 이미지를 카메라 영상과 동일한 압축 코덱과 양자화 값을 이용하여 인코딩하고 카메라 영상의 스트림 비트량과 관심 이미지의 스트림 비트량을 비교하는 것을 나타내는 것이다. 또한, 상기 S13 단계에서 비교 결과를 기초로 카메라 영상을 선정하는 것은 관심 이미지 인코딩 후 카메라 영상의 스트림 비트 량와 관심 이미지의 인코딩 비트량을 비교하여 상기 아래 식(1)을 만족하는 카메라 영상을 선정하는 것이다. 또한, 상기 S14 단계에서 특징 비교부가 스트림 비교부로부터 수신한 카메라 영상 정보와 관심 이미지 등록부로부터 수신한 관심 이미지의 특징을 추출하고 비교하는 것은 스트림 비교부로부터 전송된 카메라 영상 정보를 디코딩하여 이미지로 변환하고 변환된 이미지와 관심 이미지 등록부에서 전송한 관심 이미지의 특징 정보를 추출하며 추출된 변환 이미지 특징 정보와 관심 이미지 특정 정보를 비교하는 것을 나타내고 있는 것이다. 또한, 상기 S14 단계에서 특징 정보의 추출은 SURF 특징 검출 알고리즘을 사용할 수 있으며 이는 이미지를 기반으로 하여 특징 정보를 추출하며 특징 정보가 동일한 경우 사용자 관심 영상으로 판단하는 것이다. 또한, 상기 SURF 특징 검출 알고리즘에 의한 특징점의 개수는 주변의 조명, 활영 각도, 카메라와의 거리에 따라 달라질 수 있는 것이고, 관심 이미지의 전체 특징점 중 카메라 영상 변환 이미지의 특징점과 매칭되는 특징점 비율과 카메라 영상 변환 이미지의 특징점 중 관심이미지의 특징점과 매칭되는 특징점 비율 중 작은 값이 임계치 0.3을 넘는 경우, 카메라 영상의 변환 이미지와 관심 이미지의 특징 정보가 동일한 것으로 판단할 수 있는 것이다.
10 : 영상 수신부, 20 : 관심 이미지 등록부,
30 : 스트림 비교부, 40 : 특징 비교부,
영상 검출부

Claims (15)

  1. 다수의 카메라가 연결된 보안시스템에서의 사용자 관심영상 검출 시스템에 있어서
    상기 보안시스템에서의 사용자 관심영상 검출 시스템은,
    다수의 카메라로부터 실시간으로 전송되는 영상 스트림을 수신하여 스트림 비교부와 영상 검출부로 전송하는 영상 수신부(10)와;
    사용자로부터 관심 이미지를 입력받아서 스트림 비교부와 특징 비교부로 전송하여 등록하도록 하는 관심 이미지 등록부(20)와;
    영상 수신부로부터 전송받은 카메라 영상과 관심 이미지 등록부로부터 전송받은 사용자 관심 이미지의 스트림 정보를 비교하며 비교 결과를 기초로 카메라 영상을 선정하여 특징 비교부로 전송하는 것으로 수신된 카메라 영상 정보를 확인하는 영상 정보 확인부(32)와 영상 정보 확인부를 통하여 카메라 영상의 압축코덱(H.264 등)과 양자화 값을 확인하고 관심 이미지를 카메라 영상과 동일한 압축 코덱과 양자화 값을 이용하여 인코딩하는 이미지 인코딩부(34) 및 카메라 영상의 스트림 비트량과 관심 이미지의 인코딩 비트량을 비교하는 스트림 정보 비교부(36)로 구성된 스트림 비교부(30)와;
    스트림 비교부로 수신한 카메라 영상 정보와 관심 이미지 등록부로부터 수신한 관심 이미지의 특징을 비교하며 특징 정보 일치 여부와 카메라 영상 정보를 영상 검출부로 전송하는 특징 비교부(40);
    및 특징 비교부로부터 특징 정보의 일치 여부 정보와 카메라 영상 정보를 수신하고 특징 정보가 일치하는 경우 수신된 카메라 영상 정보를 참조하여 영상 수신부에 해당 영상 정보 전송을 요청하고 수신된 해당 영상 정보에서 사용자 관심 영상을 검출하는 영상 검출부(50)로 구성되고,
    상기 카메라 영상의 스트림 비트량과 관심 이미지의 인코딩 비트량을 비교하는 것은,
    Figure 112019100566440-pat00011
    식 (1)
    을 만족하는 카메라 영상을 특징 비교부로 전송하는 것을 특징으로 하는 보안시스템에서의 사용자 관심영상 검출 시스템.
    여기서 CamBits 카메라 영상의 비트량, ImageBits 는 관심 영상의 인코딩 비트량, th는 비트량 차분의 허용치를 나타냄.
  2. 제1항에 있어서,
    상기 카메라에서 영상 수신부로 전송되는 스트림은,
    H.264 또는 H.265인 것을 특징으로 하는 보안시스템에서의 사용자 관심영상 검출 시스템.
  3. 제1항에 있어서,
    사용자 관심 이미지 입력은,
    jpg, yuv, bmp 이미지 포멧으로 입력받을 수 있는 것을 특징으로 하는 보안시스템에서의 사용자 관심영상 검출 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 특징 비교부(40)는,
    스트림 비교부로부터 전달받은 카메라 영상과 관심 이미지 등록부로부터 전송받은 사용자 관심 이미지의 특징 정보를 비교하고 특징 정보 일치 여부와 카메라 영상 정보를 영상 검출부로 전송하는 것으로 스트림 비교부로부터 전송된 카메라 영상 정보를 영상 디코딩하여 이미지로 변환하는 영상 디코딩부(42)와;
    영상 디코딩부로부터 수신된 변환된 이미지와 관심 이미지 등록부에서 전송한 관심 이미지로부터 특징 정보를 추출하는 특정 정보 추출부(44);
    및 추출된 변환 이미지와 관심 이미지의 특징 정보를 비교하는 특징 정보 비교부(46)로 구성되는 것을 특징으로 하는 보안시스템에서의 사용자 관심영상 검출 시스템.
  6. 삭제
  7. 제1항에 있어서,
    상기 th는,
    0.1인 것을 특징으로 하는 보안시스템에서의 사용자 관심영상 검출 시스템.
  8. 제5항에 있어서,
    상기 보안시스템에서의 사용자 관심영상 검출 시스템은
    특징 정보를 비교를 위해 SURF(Speed Up Robust Features) 특징 검출 알고리즘을 사용할 수 있는 것을 특징으로 하는 보안시스템에서의 사용자 관심영상 검출 시스템.
  9. 다수의 카메라가 연결된 보안시스템에서의 사용자 관심영상 검출 방법에 있어서
    상기 보안시스템에서의 사용자 관심영상 검출 방법은,
    영상 수신부에서 보안 시스템에 연결된 다수의 카메라로부터 영상 스트림을 수신하고 수신된 영상 스트림을 스트림 비교부와 영상 검출부로 전송하는 단계(S11)와;
    관심 이미지 등록부가 사용자로 하여금 관심 이미지를 입력받아서 스트림 비교부와 특징 비교부로 전송하는 단계(S12)와;
    스트림 비교부가 영상 수신부로부터 전송받은 카메라 영상과 사용자 관심 이미지의 스트림 정보를 비교하며 비교 결과를 기초로 카메라 영상을 선정하여 특징 비교부로 전송하는 단계(S13)와;
    특징 비교부가 스트림 비교부로부터 수신한 카메라 영상 정보와 관심 이미지 등록부로부터 수신한 관심 이미지의 특징을 추출하고 비교하여 특징 정보 일치 여부와 카메라 영상 정보를 영상 검출부로 전송하는 단계(S14);
    및 영상 검출부가 특징 비교부로부터 특징 정보의 일치 여부 정보와 카메라 영상 정보를 수신하고 특징 정보가 일치하는 경우 수신된 카메라 영상 정보를 참조하여 영상 수신부에 해당 영상 정보 전송을 요청하고 수신된 해당 영상 데이터를 사용자 관심 영상으로 검출하는 단계(S15)를 포함하여 이루어지고,
    상기 S13 단계에서 비교 결과를 기초로 카메라 영상을 선정하는 것은,
    관심 이미지 인코딩 후 카메라 영상의 스트림 비트 량와 관심 이미지의 인코딩 비트량을 비교하여 아래 식(1)
    Figure 112019100566440-pat00012
    식 (1)
    을 만족하는 카메라 영상을 특징 비교부로 전송하는 것을 특징으로 하는 보안시스템에서의 사용자 관심영상 검출 방법.
    여기서 CamBits 카메라 영상의 비트량, ImageBits 는 관심 영상의 인코딩 비트량, th는 비트량 차분의 허용치를 나타냄.
  10. 제9항에 있어서,
    상기 S13 단계에서 스트림 비교부가 영상 수신부로부터 전송받은 카메라 영상과 전송받은 사용자 관심 이미지의 스트림 정보를 비교하는 것은,
    카메라 영상의 압축 코덱과 양자화 값을 확인하고 관심 이미지를 카메라 영상과 동일한 압축 코덱과 양자화 값을 이용하여 인코딩하고 카메라 영상의 스트림 비트량과 관심 이미지의 스트림 비트량을 비교하는 것을 특징으로 하는 보안시스템에서의 사용자 관심영상 검출 방법.
  11. 삭제
  12. 제9항에 있어서,
    상기 S14 단계에서 특징 비교부가 스트림 비교부로부터 수신한 카메라 영상 정보와 관심 이미지 등록부로부터 수신한 관심 이미지의 특징을 추출하고 비교하는 것은,
    스트림 비교부로부터 전송된 카메라 영상 정보를 디코딩하여 이미지로 변환하고 변환된 이미지와 관심 이미지 등록부에서 전송한 관심 이미지의 특징 정보를 추출하며 추출된 변환 이미지 특징 정보와 관심 이미지 특정 정보를 비교하는 것을 특징으로 하는 보안시스템에서의 사용자 관심영상 검출 방법.
  13. 제9항에 있어서,
    상기 S14 단계에서 특징 정보의 추출은,
    SURF 특징 검출 알고리즘을 사용할 수 있으며 이는 이미지를 기반으로 하여 특징 정보를 추출하며 특징 정보가 동일한 경우 사용자 관심 영상으로 판단하는 것을 특징으로 하는 보안시스템에서의 사용자 관심영상 검출 방법.
  14. 제13항에 있어서,
    상기 SURF 특징 검출 알고리즘에 의한 특징점의 개수는,
    주변의 조명, 촬영 각도, 카메라와의 거리에 따라 달라질 수 있는 것을 특징으로 하는 보안시스템에서의 사용자 관심영상 검출 방법.
  15. 제14항에 있어서,
    상기 SURF 특징 검출 알고리즘은,
    관심 이미지의 전체 특징점 중 카메라 영상 변환 이미지의 특징점과 매칭되는 특징점 비율과 카메라 영상 변환 이미지의 특징점 중 관심이미지의 특징점과 매칭되는 특징점 비율 중 작은 값이 임계치 0.3을 넘는 경우, 카메라 영상의 변환 이미지와 관심 이미지의 특징 정보가 동일한 것으로 판단할 수 있는 것을 특징으로 하는 보안시스템에서의 사용자 관심영상 검출 방법.







KR1020180027678A 2018-03-08 2018-03-08 보안시스템에서의 사용자 관심영상 검출방법 및 이를 위한 관심영상 검출 시스템 KR102079581B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180027678A KR102079581B1 (ko) 2018-03-08 2018-03-08 보안시스템에서의 사용자 관심영상 검출방법 및 이를 위한 관심영상 검출 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180027678A KR102079581B1 (ko) 2018-03-08 2018-03-08 보안시스템에서의 사용자 관심영상 검출방법 및 이를 위한 관심영상 검출 시스템

Publications (2)

Publication Number Publication Date
KR20190109662A KR20190109662A (ko) 2019-09-26
KR102079581B1 true KR102079581B1 (ko) 2020-02-20

Family

ID=68068000

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180027678A KR102079581B1 (ko) 2018-03-08 2018-03-08 보안시스템에서의 사용자 관심영상 검출방법 및 이를 위한 관심영상 검출 시스템

Country Status (1)

Country Link
KR (1) KR102079581B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131766B (zh) * 2019-11-15 2021-01-29 重庆中科云从科技有限公司 一种基于智能网关的数据处理方法、系统、设备及介质
CN114708698B (zh) * 2022-03-24 2023-08-08 重庆巡感科技有限公司 隧道内异物智能感知与预警系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004013614A (ja) * 2002-06-07 2004-01-15 Matsushita Electric Ind Co Ltd 物体追跡装置、物体追跡装置制御方法、および画像認識システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150086385A (ko) * 2011-04-11 2015-07-27 인텔 코포레이션 관심 객체 기반 이미지 처리
KR20160093253A (ko) * 2015-01-29 2016-08-08 쿠도커뮤니케이션 주식회사 영상 기반 이상 흐름 감지 방법 및 그 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004013614A (ja) * 2002-06-07 2004-01-15 Matsushita Electric Ind Co Ltd 物体追跡装置、物体追跡装置制御方法、および画像認識システム

Also Published As

Publication number Publication date
KR20190109662A (ko) 2019-09-26

Similar Documents

Publication Publication Date Title
Sitara et al. Digital video tampering detection: An overview of passive techniques
US8891826B2 (en) Image processing system, image processing method, and computer program
US10986338B2 (en) Thermal-image based video compression systems and methods
TWI405150B (zh) 視訊移動偵測方法及使用該方法之非暫時性電腦可讀取媒體和攝影機
US8675065B2 (en) Video monitoring system
US9582722B2 (en) Video-based vehicle speed estimation from motion vectors in video streams
US8494234B1 (en) Video hashing system and method
US7082210B2 (en) Moving object detector and image monitoring system
EP2798613A1 (en) Method and system for video coding with noise filtering of foreground object segmentation
US20110311135A1 (en) Method for two-step temporal video registration
KR20090019712A (ko) 정보 처리 장치 및 정보 처리 방법
JP2007266652A (ja) 移動物体検出装置、移動物体検出方法、移動物体検出プログラム、映像復号化装置、映像符号化装置、撮像装置及び映像管理システム
US20080025387A1 (en) Intelligent moving robot based network communication capable of outputting/transmitting images selectively according to moving of photographed object
KR100944903B1 (ko) 비디오 신호의 특징 추출 장치 및 그 추출 방법, 비디오인식 시스템 및 그 인식 방법
KR102079581B1 (ko) 보안시스템에서의 사용자 관심영상 검출방법 및 이를 위한 관심영상 검출 시스템
KR101149522B1 (ko) 장면 전환 검출 시스템 및 방법
CA3057924A1 (en) System and method to optimize the size of a video recording or video transmission by identifying and recording a region of interest in a higher definition than the rest of the image that is saved or transmitted in a lower definition format
US6310920B1 (en) Moving picture encoding apparatus
US20110051810A1 (en) Video descriptor generation device
CN114157870A (zh) 编码方法、介质及电子设备
US20230188679A1 (en) Apparatus and method for transmitting images and apparatus and method for receiving images
CN111542858B (zh) 动态图像解析装置、系统、方法、以及存储介质
Su et al. A source video identification algorithm based on motion vectors
KR20100118811A (ko) 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 장면 전환 검출 신뢰도 산출 방법 및 소프트웨어
EP4195166A1 (en) Apparatus and method for transmitting images and apparatus and method for receiving images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right