WO2021091053A1 - 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법 - Google Patents

영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법 Download PDF

Info

Publication number
WO2021091053A1
WO2021091053A1 PCT/KR2020/010588 KR2020010588W WO2021091053A1 WO 2021091053 A1 WO2021091053 A1 WO 2021091053A1 KR 2020010588 W KR2020010588 W KR 2020010588W WO 2021091053 A1 WO2021091053 A1 WO 2021091053A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frame
moving means
video
grouped
Prior art date
Application number
PCT/KR2020/010588
Other languages
English (en)
French (fr)
Inventor
박명준
Original Assignee
주식회사 휴머놀러지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 휴머놀러지 filed Critical 주식회사 휴머놀러지
Publication of WO2021091053A1 publication Critical patent/WO2021091053A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present invention relates to a system for comparing screens of digital image files and measuring a location through similarity analysis and a method thereof.
  • it is not an image captured while the camera is fixed, but an image captured by a photographing system equipped with a movable camera that changes according to a photographing position and viewpoint, etc. to determine the location of the photographing system by comparing the photographed image with the previous photographed image.
  • the location of the moving means is determined, and the driving direction and speed of the moving means are controlled based on the identified location.
  • GPS is used to determine the location of such a means of transportation, but the GPS cannot be used inside a building, under a bridge, or in a tunnel.
  • the present invention by comparing the feature points of the image captured by the photographing means (black box of the vehicle, the camera of the drone) and the feature points of the previously captured image, the current position, the moving direction, and the speed of the moving means are determined. It is to grasp and control the moving means according to the grasped position as described above.
  • the present invention is to determine the position, direction, and speed of the moving means by means of a photographing device provided in the moving means in order to operate a moving means such as a vehicle or a drone.
  • the frame image of the captured image is divided into a plurality of blocks, the average value of the image brightness data of each pixel for each divided block unit is calculated to obtain the brightness data of each block, and the brightness change in the same block of the previous frame and the corresponding frame
  • a finger print (feature point) using is obtained and is used as a feature point, and a feature point of a captured image and a feature point of a pre-stored image are compared using the finger print, which is the feature point.
  • the present invention includes a storage system 160 in which finger prints and location information grouped for each frame of pre-recorded moving pictures 200 and 210 including a plurality of frames are indexed and stored; A moving means 400 for photographing a moving picture including a plurality of frames; A feature point extracting unit 110 for generating a fingerprint grouped for each frame of the moving picture taken by the moving means; And an image analysis unit 120 that compares the fingerprint of the moving picture with the finger print of the storage system, wherein the feature point extracting unit decodes the video stream of the moving picture into an RGB format or a black and white image format.
  • the present invention relates to a position measurement system using image similarity analysis, characterized in that a finger print grouped for each frame is generated.
  • the image analysis unit 120 is a finger print grouped by frames (301, 302, 303, 304, 305, 306, 307, 308) of the image 300 captured by the moving means (P 301 , P 302 , P 303 , P 304 , P 305 , P 306 , P 307 , P 308 ) and frame-by-frame (211, 212, 213, 214, 215) of pre-recorded images (200, 210) of the storage system 160 , 216, 217, 218) Grouped finger prints (P 211 , P 212 , P 213 , P 214 , P 215 , P 216 , P 217 , P 218 ) are compared to find a frame with a similarity greater than or equal to the threshold, and pre-recorded images
  • the frame position information of may be determined as the position information of the moving means.
  • grouped finger prints and location information for each frame of pre-recorded moving pictures 200 and 210 including a plurality of frames are indexed and stored in the storage system 160;
  • the moving means 400 photographing a moving picture including a plurality of frames; Transmitting the video captured by the moving means 400 to the feature point extracting unit 110 to generate a fingerprint grouped for each frame of the captured video; And comparing the finger print generated by the feature point extraction unit 110 with the finger print stored in the storage system by the image analysis unit 120.
  • the present invention extracts feature points for each frame of an image captured by a photographing device provided in the transport means in order to operate a transport means such as a car or a drone, and compares the feature points of the photographed image frames stored in the storage system with the feature points of the photographing device.
  • the position, speed, and direction can be identified, and thus, the position of the photographing device can be quickly identified.
  • the storage system can minimize the storage capacity of the storage system by allowing only feature points and location information of the captured image to be stored, not the captured image.
  • FIG. 1 is a block diagram of the present invention.
  • FIG. 2 is an example of dividing the frame 100 of an image in order to extract a finger print in the present invention.
  • 3 is an embodiment for tracking location information.
  • 4A and 4B are examples of images stored in the storage system 160.
  • FIG. 5 is an example of a frame-by-frame fingerprint of a video 300 captured by a moving means.
  • FIG. 6 is an example for showing that the position measurement system according to the present invention can recognize not only simple position information but also a moving path.
  • FIG. 1 is a block diagram showing a location tracking system using similarity analysis of a mobile photographed image according to the present invention, which includes an image capture unit 100, a feature point extraction unit 110, an image analysis unit 120, and a storage system 160. Includes.
  • the image capturing unit 100 may be a camera or the like capable of capturing various videos mounted on a moving means, and transmits the captured video to the feature point extracting unit 110.
  • the feature point extracting unit 110 extracts a video fingerprint, which is a video feature point, by analyzing video data included in the moving picture file.
  • the video fingerprint refers to a kind of video unique ID element capable of uniquely identifying video data
  • the feature point extracting unit 110 selectively separates only video data from an image file prior to extracting the video fingerprint. You can precede the process of doing it.
  • the feature point extracting unit 110 selectively separates a video stream from a video file to extract a video fingerprint, and decodes the separated video stream into an RGB format. Subsequently, sub-video feature points are extracted for each frame image constituting the decoded video data.
  • a process in which the feature point extracting unit 110 extracts sub-video feature points for each frame image is as follows. This refers to the paper by Job Oostveen, Ton Kalker, and Jaap Haitsma, "Feature Extraction and a Database Strategy for Video Fingerprinting” (Lecture Notes in Computer Science 2314 Springer 2002).
  • the feature point extraction unit 110 divides a frame image into blocks.
  • the frame image is divided into n ⁇ m blocks by dividing the vertical axis by n and the horizontal axis by dividing by m.
  • the feature point extracting unit 110 calculates the average of each image brightness data value for each divided block unit, and then calculates a predetermined bit based on the difference in the average image brightness value between adjacent blocks (between the same block of the previous frame and the next frame). Sub-video fingerprints for each number of blocks are generated.
  • B(r, c, p) is a function that allocates bits to blocks located at the rth and cth positions, respectively, based on the horizontal and vertical axes of the p-th frame image.
  • F(r, c, p) denotes the average of the image brightness values of the r-th and c-th blocks, respectively, based on the horizontal and vertical axes of the p-th frame image.
  • r has an integer value from 1 to n
  • c has an integer value from 1 to m-1.
  • a is a number less than 1 and is an appropriately selectable constant.
  • the feature point extracting unit 110 may generate a sub-video fingerprint by using color difference data of each pixel in addition to the brightness data value of the image.
  • the feature point extracting unit 110 extracts the sub-video fingerprint for each frame image constituting the moving picture, the extracted sub-video fingerprint is grouped to complete the generation of the video fingerprint for the moving picture file.
  • any algorithm capable of extracting a video fingerprint other than the method described in the above paper by Narrow Ustbin can be applied.
  • a video finger print for a video file is generated and stored in the storage system 160, and when the video file is stored, location information for each frame of the video file is also stored.
  • the image of the photographed image is transmitted to the feature point extracting unit 110 to generate a finger print, and the generated finger print is the image analysis unit 120 And compare it with the fingerprint of the video file in the storage system.
  • the fingerprint created in the captured image of the newly captured image is compared with the fingerprint stored in the storage system, and as a result of determining whether the similarity between the finger prints is greater than or equal to the threshold value, the location of the newly captured image is saved. It is determined that the system 160 matches a photographed location of an image corresponding to a fingerprint having a similarity greater than or equal to a threshold value stored in the system 160.
  • the storage system 160 only needs to store indexed finger prints and location information of the captured image, and there is no need to store the image.
  • the location information of the image photographed by the photographing means of the moving means is compared only with the finger print and the location information of the previous image of the storage system, and the location of the image photographing means can be grasped in real time to determine the location of the moving means. Accordingly, it is possible to control a vehicle or a drone as a means of transportation.
  • FIG. 2 is an example of segmenting a block during a process of extracting a feature point of an intelligent movement monitoring system using similarity analysis of a mobile photographed image according to the present invention.
  • Fig. 2 it is divided into nine blocks.
  • the brightness value of block a of frame 301 divided into nine blocks is 24, and the brightness value of block a'of frame 302 that follows is changed to 30.
  • the fingerprint a'can be set to 1 because it is brighter than the previous brightness value according to the change in the brightness value. (If the brightness value decreases, you can set it to 0.)
  • the fingerprint of a' may be set to 6, which is the difference between the brightness values.
  • a fingerprint (feature point) grouped for each frame may be generated.
  • the feature point extracting unit 110 may use a color histogram graph to extract a feature point based on a color. This can be done using the contents of Wei-Lun Chao's thesis "The Core of Video Fingerprinting Example of Feature Extraction”.
  • the feature point extraction unit 110 may use an object recognition-based feature point extraction algorithm to extract a feature point based on object movement. It is desirable to use Huitao Luo's Algorithms for Video Object Detection and Segmentation with Application to Content-Based Multimedia Systems.
  • the feature point extraction unit 110 transmits the unique values of each frame from which the sub-video feature point is extracted to the image analysis unit 120.
  • the image analysis unit 120 may search from a specific point in time according to a transmitted parameter or a transmission factor.
  • the storage system 160 indexes an elapsed photographing time point, frame, and GPS coordinate.
  • the image analysis unit 120 performs a function of searching the storage system 160 by limiting to a preset period. It is possible to increase a search speed by limiting to a search section preset by an administrator without searching for all data previously stored in the storage system 160.
  • an image photographed on September 10 through a moving means 400 such as a drone and an image with a fingerprint of a pre-stored image greater than or equal to a threshold value are searched, and the location information of the pre-stored image is used. You can find out the location of the means of transportation taken on September 10th.
  • the target image (September 10 image) currently being photographed in real time is compared to each other through bit calculation, not the image itself, but the feature point extraction unit 110 extracted feature points (finger prints) for each frame of the image.
  • the calculation speed is fast. Therefore, real-time comparison is also possible, and the image analysis unit 120 performs this comparison.
  • the similarity is greater than or equal to a threshold value, and the location of the photographing means taken on September 10 can be identified through the location information of the previously stored image.
  • images 200 and 210 including a plurality of frames 201, 202, ..; 211, 212. ....) are stored in the storage system, and have been previously stored.
  • Finger prints (P 211 , P 212 , P 213 , P 214 , P 215 , P 216 , P 217 , P 218 ) grouped by frame of image (211, 212, 213, 214, 215, 216, 217, 218) ) has been created.
  • the moving means captures an image 300 in real time, and the captured image 300 is frame-by-frame (301, 302, 303, 304, 305, 306, 307, 308) Finger prints grouped into (P 301 , P 302 , P 303 , P 304 , P 305 , P 306 , P 307 , P 308 ) are created, and the image analysis unit 160 generates a finger of the captured image 300. Matching frames are searched among pre-stored images using print.
  • the grouped finger prints (P 213, P 214 , P 215 , P 216 , P 217 ) of the frames (213, 214, 215, 216, 217) of the pre-stored image 210 are If the grouped finger prints (P 302 , P 303 , P 304 , P 305 , P 306, P 307 ) of the frames 302, 303, 304, 305, 306 match more than the threshold, the image 300 is captured. It is determined that the location of the moving means is the same as the location of the frames 213, 214, 215, 216, 217 of the image 210.
  • the image analysis unit re-searches an image having a similarity with a fingerprint for each frame of the image 300 photographed by the moving means equal to or greater than a threshold value.
  • feature points are extracted by frame-by-frame finger prints, and after storing the feature points in the storage system including frame-by-frame location information, the feature points of the images taken by the moving means are compared to match the video of the storage system.
  • the position, speed, and direction of the current means of movement can be identified through the frame location information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 복수의 프레임을 포함하는 동영상의 각 프레임별 그룹화 색인화된 핑거 프린트와 위치 정보가 색인화되어 저장되는 저장 시스템(160); 복수의 프레임을 포함하는 동영상을 촬영하는 이동 수단(400); 상기 이동 수단이 촬영한 동영상의 각 프레임별 그룹화된 핑거프린트를 생성하는 특징점 추출부(110); 및 상기 핑거 프린트가 생성된 이동 수단의 동영상의 핑거 프린트를 상기 저장 시스템에 저장된 동영상의 핑거 프린트와 비교하는 영상 분석부(120);를 포함하고, 상기 영상 분석부는 이동 수단의 동영상의 핑거 프린트와 저장 시스템의 동영상의 핑거 프린트를 비교하여 유사도가 임계치 이상인지를 확인하여 이동 수단의 동영상과 대응되는 저장 시스템의 동영상을 찾아내고, 상기 찾아낸 저장 시스템의 동영상의 위치 정보를 이동 수단의 위치 정보로 인식하는 것을 특징으로 하는 영상의 유사도 분석을 이용한 위치 측정 시스템에 관한 것이다.

Description

영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
본 발명은 디지털 영상 파일의 화면을 비교하고 유사도 분석을 통하여 위치를 측정하고자 하는 시스템 및 그 방법에 관한 것이다. 특히 카메라가 고정된 채 촬영한 영상이 아니라 촬영 위치, 시점 등에 따라 변화하는 이동식 카메라를 구비한 촬영 시스템이 촬영한 영상과 이전 촬영 영상을 비교하여 촬영하는 시스템의 위치를 파악하고자 하는 것이다.
자동차 또는 드론과 같은 이동 수단의 운행을 하기 위해서는 상기 이동 수단의 위치를 파악하고 파악된 위치를 기반으로 이동 수단의 운행 방향 및 속도등을 제어하게 된다.
이러한 이동 수단의 위치를 파악하기 위하여 GPS를 이용하게 되나, 건물 내부, 다리 밑, 터널 같은 곳에서는 GPS를 사용할 수 없게 된다.
본 발명에서는 이동 수단에 부착된 촬영 수단 (차량의 블랙 박스, 드론의 카메라)에 의하여 촬영된 영상의 특징점과, 기존에 촬영한 영상의 특징점을 비교하여 이동 수단의 현재 위치와 이동 방향, 속도를 파악하고, 이와 같이 파악된 위치에 의하여 상기 이동 수단을 제어하고자 하는 것이다.
본 발명은 자동차 또는 드론과 같은 이동 수단의 운행을 하기 위하여 이동 수단에 구비된 촬영 장치에 의해 상기 이동 수단의 위치, 방향 및 속도를 파악하고자 하는 것이다.
상기 위치. 방향 및 속도를 파악하기 위해서 촬영한 영상 이미지의 특징점 (= 핑거 프린트)을 추출하여 저장 시스템에 저장하고 촬영 장치에 의해 촬영된 영상 이미지의 특징점을 추출하여, 특징점들을 비교하고 이로 인하여 촬영 장치의 위치를 파악하고자 한다.
촬영 영상의 프레임 이미지를 복수개의 블록 단위로 분할하고 분할된 블록 단위별 각 픽셀의 영상 밝기 데이터의 평균값을 산출하여 각 블록의 밝기 데이터를 구하고, 이전 프레임과 해당 프레임의 동일 위치 블록에서의 밝기 변화를 이용한 핑거 프린트(특징점)를 구하여 이를 특징점으로 하고, 상기 특징점인 핑거 프린트를 이용하여 촬영 영상의 특징점과 기저장된 영상의 특징점을 비교하고자 한다.
본 발명은 복수의 프레임을 포함하는 미리 촬영된 동영상(200, 210)의 각 프레임별 그룹화된 핑거 프린트와 위치 정보가 색인화되어 저장되는 저장 시스템(160); 복수의 프레임을 포함하는 동영상을 촬영하는 이동 수단(400); 상기 이동 수단이 촬영한 동영상의 각 프레임별 그룹화된 핑거프린트를 생성하는 특징점 추출부(110); 및 상기 이동 수단의 동영상의 핑거 프린트를 상기 저장 시스템의 핑거 프린트와 비교하는 영상 분석부(120);를 포함하고, 상기 특징점 추출부는, 동영상의 비디오 스트림을 RGB 포맷 또는 흑백 영상 포맷으로 디코딩한 후 디코딩된 각 프레임 이미지를 복수 개의 블록 단위로 분할하고, 상기 분할된 블록 단위별 영상 밝기 데이터를 추출하여 이전 프레임과 해당 프레임의 동일 위치 블록에서의 밝기 변화를 이용한 핑거 프린트(=특징점)를 구한후 프레임별로 그룹화된 핑거 프린트를 생성하는 것을 특징으로 하는 영상의 유사도 분석을 이용한 위치 측정 시스템에 관한 것이다.
또한, 본 발명에서 상기 영상 분석부(120)는 이동 수단이 촬영한 영상(300)의 프레임별 (301, 302, 303, 304, 305, 306, 307, 308) 그룹화된 핑거 프린트(P301, P302, P303, P304, P305, P306, P307, P308)와 저장 시스템(160)의 미리 촬영된 영상(200, 210)의 프레임별(211, 212, 213, 214, 215, 216, 217, 218) 그룹화된 핑거 프린트(P211, P212, P213, P214, P215, P216, P217, P218)를 비교하여 유사도가 임계치 이상인 프레임을 찾아 미리 촬영된 영상의 프레임 위치 정보를 이동 수단의 위치 정보로 판단할 수 있다.
또한, 본 발명에서 복수의 프레임을 포함하는 미리 촬영된 동영상(200, 210)의 각 프레임별 그룹화된 핑거 프린트와 위치 정보가 색인화되어 저장 시스템(160)에 저장되는 단계; 이동 수단(400)이 복수의 프레임을 포함하는 동영상을 촬영하는 단계; 상기 이동 수단(400)이 촬영한 동영상을 특징점 추출부(110)에 전송하여 상기 촬영한 동영상의 각 프레임별 그룹화된 핑거프린트를 생성하는 단계; 및 상기 특징점 추출부((110)에서 생성한 핑거 프린트를 영상 분석부(120)에서 상기 저장 시스템에 저장된 핑거 프린트와 비교하는 단계;를 포함하는 영상의 유사도 분석을 이용한 위치 측정 방법에 관한 것이다.
본 발명은 자동차 또는 드론과 같은 이동 수단의 운행을 하기 위하여 이동 수단에 구비된 촬영 장치에 의해 촬영한 영상의 프레임별 특징점을 추출하고, 저장 시스템에 저장된 촬영 영상 프레임의 특징점과 비교하여 촬영 장치의 위치, 속도 및 방향을 파악할 수 있도록 하였으며 이로 인하여 촬영 장치의 위치를 빠르게 파악할 수 있도록 하고자 한다.
상기 저장 시스템에는 촬영 영상이 아닌 촬영 영상의 특징점과 위치 정보만 저장할 수 있도록 하여 저장 시스템의 저장 용량을 최소화할 수 있다.
또한 본 발명에 의하면, 현 시점의 촬영 영상과 평상시의 영상을 실시간으로 비교하여 특이사항 파악할 수 있는 유리한 효과가 있다.
도 1은 본 발명 블록 구성도이다.
도 2 본 발명에서 핑거 프린트를 추출하기 위해서 영상의 프레임(100)을 분할한 예이다.
도 3는 위치 정보를 추적하기 위한 실시예이다.
도 4a 및 도 4b는 저장 시스템(160)에 저장된 영상에 대한 예시이다.
도 5는 이동 수단이 촬영한 동영상(300)의 프레임별 핑거프린트화된 예시이다.
도 6은 본 발명에서의 위치 측정 시스템이 단순 위치 정보만이 아니라 이동 경로를 파악할 수 있는 것을 보여주기 위한 예시이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명 이동형 촬영 영상의 유사도 분석을 이용한 위치 추적 시스템을 나타낸 블록 구성도로서, 영상 촬영부(100), 특징점 추출부(110), 영상 분석부(120), 저장 시스템(160)을 포함한다.
상기 영상 촬영부(100)는 이동 수단에 장착된 각종 동영상을 촬영할 수 있는 카메라 등이 될 수 있으며, 촬영 동영상을 상기 특징점 추출부(110)로 전송한다.
특징점 추출부(110)는 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 특징점인 비디오 핑거프린트를 추출한다.
여기서, 비디오 핑거 프린트란 비디오 데이터를 고유하게 식별할 수 있는 일종의 비디오 고유 아이디의 요소를 지칭하고, 상기 특징점 추출부(110)는 비디오 핑거 프린트를 추출하기에 앞서 영상 파일로부터 비디오 데이터만을 선택적으로 분리하는 과정을 선행할 수 있다.
상기 특징점 추출부(110)는 비디오 핑거 프린트를 추출하기 위해 동영상 파일에서 비디오 스트림을 선택적으로 분리하고, 분리된 비디오 스트림을 RGB 포맷으로 디코딩한다. 이어서 디코딩된 영상 데이터를 구성하는 각 프레임 이미지별로 서브 비디오 특징점을 추출한다.
상기 특징점 추출부(110)가 각 프레임 이미지별로 서브 비디오 특징점을 추출하는 과정은 다음과 같다. 이는 상기 좁 우스트빈 외 1명의 논문을 참조한다(Job Oostveen, Ton Kalker, Jaap Haitsma의 논문 "Feature Extraction and a Database Strategy for Video Fingerprinting"(Lecture Notes in Computer Science 2314 Springer 2002).
먼저, 특징점 추출부(110)는 프레임 이미지를 블록 단위로 분할한다.
예를 들어, 이미지의 세로축을 n 등분하고 가로축을 m 등분하여 프레임 이미지를 n×m 개의 블록으로 분할한다.
그리고 특징점 추출부(110)는 분할된 블록 단위별로 각 영상 밝기 데이터값의 평균을 산출한 후 인접한 블록 간 (앞선 프레임과 뒤에 오는 프레임의 동일한 블록간)의 영상 밝기 평균값의 차이를 기준으로 소정 비트수의 각 블록별 서브 비디오 핑거프린트를 생성한다.
아래의 수학식은 하나의 프레임 이미지에 대한 서브 비디오 핑거프린트를 생성하는데 사용될 수 있는 비트 할당 함수 'B(r, c, p)'를 예시한 것이다.
Figure PCTKR2020010588-appb-I000001
여기서 B(r, c, p)는 p번째 프레임 이미지의 가로축 및 세로축을 기준으로 각각 r번째 및 c번째에 위치한 블록에 대해 비트를 할당하는 함수이다. 그리고, F(r, c, p)는 p번째 프레임 이미지의 가로축 및 세로축을 기준으로 각각 r번째 및 c번째에 위치한 블록의 영상 밝기값 평균을 나타낸다.
상기 수학식의 F(r, c, p)에서, r은 1부터 n까지의 정수값을 갖고, c는 1부터 m-1까지의 정수값을 갖는다. 여기서 a는 1보다 작은 수로서 적절하게 선택할 수 있는 상수이다.
한편 상기 특징점 추출부(110)는 영상의 밝기 데이터값 이외에도 각 픽셀의 색차 데이터를 활용하여 서브 비디오 핑거프린트를 생성할 수 있다.
상기 특징점 추출부(110)는 동영상을 구성하는 각 프레임 이미지에 대한 서브 비디오 핑거프린트를 추출한 후에는 추출된 각 서브 비디오 핑거프린트를 그룹핑함으로써 동영상 파일에 대한 비디오 핑거프린트의 생성을 완료한다.
본 발명에서는 상기 좁 우스트빈 외 1명의 논문에 기술된 방식 외의 비디오 핑거프린트를 추출할 수 있는 알고리즘이면 어떠한 것이라도 적용가능하다.
이와 같은 방식으로, 동영상 파일에 대한 비디오 핑거 프리트를 생성하여 저장 시스템(160)에 저장하고 저장시 동영상 파일의 프레임별 위치 정보도 함께 저장을 한다.
차량 및 드론과 같은 이동 수단에 장착된 촬영 수단이 새로 영상을 촬영하면, 촬영된 영상의 이미지를 특징점 추출부(110)에 전송하여 핑거 프린트를 생성하고 생성된 핑거 프린트를 영상 분석부(120)에 전송하여, 저장 시스템의 동영상 파일의 핑거 프린트와 비교를 한다.
새로 촬영한 이미지의 촬영한 영상에 생성된 핑거 프린트와 저장 시스템에 저장된 핑거 프린트를 비교하여, 핑거 프린트간의 유사도가 임계 수치 이상인지 여부를 판단한 결과 임계수치 이상인 경우, 새로 촬영한 영상의 위치가 저장 시스템(160)에 저정된 임계치 이상의 유사도를 가지는 핑거 프린트에 대응되는 영상의 촬영한 장소와 일치한다고 판단한다.
상기 저장 시스템(160)에는 촬영 영상의 색인화된 핑거 프린트와 위치정보만 저장이 되면 되고 영상까지 저장되어 있을 필요는 없다.
이와 같이, 이동 수단의 촬영 수단이 촬영한 영상의 위치 정보는 저장 시스템의 종전 영상의 핑거 프린트 및 위치 정보만을 비교하여, 상기 영상 촬영 수단의 위치를 실시간으로 파악하여 이동 수단의 위치를 파악할 수 있고 이로 인하여, 이동 수단인 차량 또는 드론을 제어할 수 있다.
도 2는 본 발명의 이동형 촬영 영상의 유사도 분석을 이용한 지능형 이동 감시 시스템의 특징점 추출의 과정 중 블록을 분할하는 일실시례이다. 도 2에서는, 9개의 블록으로 분할하였다.
도 2를 보면 9개의 블록으로 분할된 301 프레임의 a 블록의 밝기 값은 24이고 뒤에 오는 302 프레임의 a'블록의 밝기 값은 30으로 밝기값이 변화된다.
이와 같은 경우 a'의 핑거 프린트는 밝기 값의 변화에 따라 종전의 밝기값보다 밝아졌으니 1로 설정할 수 있다. (만약 밝기 값이 작아지면 0으로 설정해도 된다.)
또는 a'의 핑거 프린트를 밝기 값의 차이인 6으로 설정할 수도 있다.
이와 같이 각각의 대응되는 블록의 밝기값에 의해 핑거프린트를 설정한 후 프레임별로 그룹화된 핑거 프린트 (특징점)를 생성할 수 있다.
특징점 추출부(110)는 색상에 기반한 특징점을 추출하기 위해서는 색상 히스토그램 그래프를 이용할 수도 있다. 이는 웨이-룬 차오(Wei-Lun Chao)의 논문 "The Core of Video Fingerprinting Example of Feature Extraction"의 내용을 이용할 수 있다.
또한 특징점 추출부(110)는 객체 이동에 기반한 특징점을 추출하기 위해서는 객체 인식 기반 특징점 추출 알고리즘을 이용할 수 있다. 이는 후이타오 루오(Huitao Luo)의 논문(Algorithms for Video Ob ject Detection and Segmentation with Application to Content-Based Multimedia Systems)을 이용하는 것이 바람직하다.
한편 특징점 추출부(110)는 상기 서브 비디오 특징점을 추출한 각 프레임 고유값들을 영상 분석부(120)로 전송한다. 영상 분석부(120)는 전달된 파라미터 또는 전달 인자에 따라 특정 시점부터 검색할 수 있다.
저장 시스템(160)는 촬영 경과 시점 및 프레임, GPS 좌표별로 색인화하는 것이 좋다.
상기 영상 분석부(120)는 기설정된 기간으로 제한하여 저장 시스템(160)를 검색하는 기능을 수행하는 것이 바람직하다. 상기 저장 시스템(160)에 기저장된 전체 데이터를 검색하지 않고 관리자가 기설정한 검색 구간으로 제한하여 검색 속도를 높일 수 있는 것이다.
도 3에 도시된 것과 같이, 드론과 같은 이동 수단(400) 등을 통해 9월 10일에 촬영하는 영상과 기저장된 영상의 핑거프린트가 임계치 이상인 영상을 찾으며, 상기 기저장된 영상의 위치 정보를 통해 9월10일 촬영하는 이동 수단의 위치를 파악할 수 있다.
현재 실시간으로 촬영되고 있는 대상 영상 (9월10일 영상)을 기저장된 영상 자체의 이미지가 아니라 특징점 추출부(110)가 영상의 프레임별 추출한 특징점(핑거 프린트)을 비트연산을 통해 상호 비교하기 때문에 연산속도가 빠르다. 따라서 실시간 비교도 가능하고 이러한 비교는 영상 분석부(120)가 수행한다.
도 3에서 영상의 A point부터 D point까지는 특징점의 상호 비교 결과 유사도가 임계수치 이상인 경우로서 9월10일 찍은 촬영 수단의 위치를 기저장된 영상의 위치 정보를 통해 파악할 수 있다.
도 4a 및 도 4b에 도시된 것과 같이, 저장 시스템에는 다수의 프레임(201, 202,..; 211, 212. ....)을 포함하는 영상(200, 210)이 저장되어 있으며, 기저장된 영상의 프레임별(211, 212, 213, 214, 215, 216, 217, 218)로 그룹화된 핑거 프린트(P211, P212, P213, P214, P215, P216, P217, P218)가 생성되어 있다.
도 5에서 처럼 이동 수단은 실시간으로 영상(300)을 촬영하며, 촬영한 영상(300)은 특징점 추출부(110)에서 프레임별 (301, 302, 303, 304, 305, 306, 307, 308)로 그룹화된 핑거 프린트(P301, P302, P303, P304, P305, P306, P307, P308)를 생성하고, 영상 분석부(160)에서는 상기 촬영한 영상(300)의 핑거 프린트를 이용하여 기저장된 영상중 일치하는 프레임을 검색한다.
예를 들어, 기저장된 영상(210)의 프레임 (213, 214, 215, 216, 217)의 그룹화된 핑거 프린트(P213, P214, P215, P216, P217)가 영상(300)의 프레임(302, 303, 304, 305, 306)의 그룹화된 핑거 프린트(P302, P303, P304, P305, P306, P307)와 임계치 이상으로 일치하는 경우, 영상(300)을 촬영하는 이동 수단의 위치는 영상(210)의 프레임 (213, 214, 215, 216, 217)의 위치와 동일한 것으로 판단한다.
또한, 영상(300)의 프레임(307)과 영상(210)의 프레임(218)의 그룹화된 핑거 프린트 값(P307, P218)의 유사도가 임계치 이하 (예를 들면 90%이하)가 되는 경우 영상 분석부는 이동 수단이 촬영하는 영상(300)의 프레임별 핑거프린트와 유사도가 임계치 이상인 영상을 다시 찾게 된다.
또한 도 6에 도시된 것과 같이 이동 수단이 A지점의 위치를 지나더라도 정지영상의 경우는 현재 위치만을 파악할 수 있지만 동영상의 유사도를 이용하여 위치정보를 파악하는 경우 a에서 b로 이동하는 동영상과 c에서 d로 이동하는 동영상의 영상의 차이가 존재하므로 촬영 수단을 구비한 이동 수단의 진행 방향을 파악할 수 있다
이와 같이, 본원 발명에서는 영상을 프레임별 핑거 프린트에 의해 특징점을 추출하고 프레임별 위치 정보를 포함하여 저장 시스템에 저장한 후, 이동 수단이 찍은 영상의 특징점을 비교하여, 저장 시스템의 동영상의 일치하는 프레임의 위치 정보를 통해 현재 이동 수단의 위치, 속도, 방향을 파악할 수 있도록 한 것이다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 부가 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

Claims (4)

  1. 복수의 프레임을 포함하는 미리 촬영된 동영상(200, 210)의 각 프레임별 그룹화된 핑거 프린트와 위치 정보가 색인화되어 저장되는 저장 시스템(160);
    복수의 프레임을 포함하는 동영상을 촬영하는 이동 수단(400);
    상기 이동 수단이 촬영한 동영상의 각 프레임별 그룹화된 핑거프린트를 생성하는 특징점 추출부(110); 및
    상기 이동 수단의 동영상의 핑거 프린트를 상기 저장 시스템의 핑거 프린트와 비교하는 영상 분석부(120);를 포함하고,
    상기 특징점 추출부는, 동영상의 비디오 스트림을 RGB 포맷 또는 흑백 영상 포맷으로 디코딩한 후 디코딩된 각 프레임 이미지를 복수 개의 블록 단위로 분할하고, 상기 분할된 블록 단위별 영상 밝기 데이터를 추출하여 이전 프레임과 해당 프레임의 동일 위치 블록에서의 밝기 변화를 이용한 핑거 프린트(특징점)를 구한후 프레임별로 그룹화된 핑거 프린트를 생성하는 것을 특징으로 하는 영상의 유사도 분석을 이용한 위치 측정 시스템.
  2. 제1항에 있어서,
    상기 영상 분석부(120)는 이동 수단이 촬영한 영상(300)의 프레임별 (301, 302, 303, 304, 305, 306, 307, 308) 그룹화된 핑거 프린트(P301, P302, P303, P304, P305, P306, P307, P308)와 저장 시스템(160)의 미리 촬영된 영상(200, 210)의 프레임별(211, 212, 213, 214, 215, 216, 217, 218) 그룹화된 핑거 프린트(P211, P212, P213, P214, P215, P216, P217, P218)를 비교하여 유사도가 임계치 이상인 프레임을 찾아 미리 촬영된 영상의 프레임 위치 정보를 이동 수단의 위치 정보로 판단하는 것을 특징으로 하는 영상의 유사도 분석을 이용한 위치 측정 시스템.
  3. 복수의 프레임을 포함하는 미리 촬영된 동영상(200, 210)의 각 프레임별 그룹화된 핑거 프린트와 위치 정보가 색인화되어 저장 시스템(160)에 저장되는 단계;
    이동 수단(400)이 복수의 프레임을 포함하는 동영상을 촬영하는 단계;
    상기 이동 수단(400)이 촬영한 동영상을 특징점 추출부(110)에 전송하여 상기 촬영한 동영상의 각 프레임별 그룹화된 핑거프린트를 생성하는 단계; 및
    상기 특징점 추출부((110)에서 생성한 핑거 프린트를 영상 분석부(120)에서 상기 저장 시스템에 저장된 핑거 프린트와 비교하는 단계;를 포함하고,
    상기 특징점 추출부는, 동영상의 비디오 스트림을 RGB 포맷 또는 흑백 영상 포맷으로 디코딩한 후 디코딩된 각 프레임 이미지를 복수 개의 블록 단위로 분할하고, 상기 분할된 블록 단위별 영상 밝기 데이터를 추출하여 이전 프레임과 해당 프레임의 동일 위치 블록에서의 밝기 변화를 이용한 핑거 프린트(특징점)를 구하는 것을 특징으로 하는 영상의 유사도 분석을 이용한 위치 측정 방법.
  4. 제3항에 있어서,
    상기 영상 분석부(120)는 이동 수단이 촬영한 영상(300)의 프레임별 (301, 302, 303, 304, 305, 306, 307, 308)로 그룹화된 핑거 프린트(P301, P302, P303, P304, P305, P306, P307, P308)와 저장 시스템(160)에 기저장된 영상(200, 210)의 프레임별(211, 212, 213, 214, 215, 216, 217, 218)로 그룹화된 핑거 프린트(P211, P212, P213, P214, P215, P216, P217, P218)를 비교하여 소정 구간의 복수의 프레임에 대응하는 특징점의 유사도가 임계치 이상인 프레임을 찾아 기저장된 영상의 프레임 위치 정보를 이동 수단의 위치 정보로 판단하는 것을 특징으로 하는 영상의 유사도 분석을 이용한 위치 측정 방법.
PCT/KR2020/010588 2019-11-07 2020-08-11 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법 WO2021091053A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190141486A KR102096784B1 (ko) 2019-11-07 2019-11-07 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
KR10-2019-0141486 2019-11-07

Publications (1)

Publication Number Publication Date
WO2021091053A1 true WO2021091053A1 (ko) 2021-05-14

Family

ID=70282422

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/010588 WO2021091053A1 (ko) 2019-11-07 2020-08-11 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법

Country Status (2)

Country Link
KR (2) KR102096784B1 (ko)
WO (1) WO2021091053A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102096784B1 (ko) * 2019-11-07 2020-04-03 주식회사 휴머놀러지 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
KR102509981B1 (ko) 2021-08-02 2023-03-14 주식회사 휴머놀러지 가상 세계를 이용한 비디오 핑거프린팅 학습 방법 및 이를 이용한 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012046671A1 (ja) * 2010-10-06 2012-04-12 日本電気株式会社 測位システム
KR20150033043A (ko) * 2013-09-23 2015-04-01 (주)한국스마트시티 무선 인식 및 카메라 영상 기반 위치추적 시스템 및 방법
KR101734029B1 (ko) * 2016-01-19 2017-05-10 박명준 이동형 촬영영상의 유사도 분석을 이용한 지능형 이동 감시시스템 및 그 감시방법
KR101778530B1 (ko) * 2011-06-14 2017-09-15 삼성전자 주식회사 영상 처리 방법 및 장치
KR20190109325A (ko) * 2019-08-07 2019-09-25 엘지전자 주식회사 로봇 및 로봇의 위치를 인식하기 위한 방법
KR102096784B1 (ko) * 2019-11-07 2020-04-03 주식회사 휴머놀러지 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101240924B1 (ko) 2011-12-27 2013-03-12 주식회사 유티솔 카메라를 이용한 동체 감지 센서 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012046671A1 (ja) * 2010-10-06 2012-04-12 日本電気株式会社 測位システム
KR101778530B1 (ko) * 2011-06-14 2017-09-15 삼성전자 주식회사 영상 처리 방법 및 장치
KR20150033043A (ko) * 2013-09-23 2015-04-01 (주)한국스마트시티 무선 인식 및 카메라 영상 기반 위치추적 시스템 및 방법
KR101734029B1 (ko) * 2016-01-19 2017-05-10 박명준 이동형 촬영영상의 유사도 분석을 이용한 지능형 이동 감시시스템 및 그 감시방법
KR20190109325A (ko) * 2019-08-07 2019-09-25 엘지전자 주식회사 로봇 및 로봇의 위치를 인식하기 위한 방법
KR102096784B1 (ko) * 2019-11-07 2020-04-03 주식회사 휴머놀러지 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20210055567A (ko) 2021-05-17
KR102096784B1 (ko) 2020-04-03

Similar Documents

Publication Publication Date Title
Fregin et al. The driveu traffic light dataset: Introduction and comparison with existing datasets
WO2017030259A1 (ko) 자동추적 기능을 갖는 무인항공기 및 그 제어방법
US8498487B2 (en) Content-based matching of videos using local spatio-temporal fingerprints
WO2013048162A2 (ko) 한정된 메모리 환경 하에서 얼굴 인식 성능 향상을 위한 참조 얼굴 데이터베이스 관리 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2021091053A1 (ko) 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
WO2017034220A1 (en) Method of automatically focusing on region of interest by an electronic device
US20120281874A1 (en) Method, material, and apparatus to improve acquisition of human frontal face images using image template
CN105279480A (zh) 视频分析的方法
WO2015115802A1 (ko) 깊이 정보 추출 장치 및 방법
US20170228585A1 (en) Face recognition system and face recognition method
CN108141568B (zh) Osd信息生成摄像机、合成终端设备及共享系统
WO2020027607A1 (ko) 객체 탐지 장치 및 제어 방법
WO2019225964A1 (en) System and method for fast object detection
JP2010103980A (ja) 画像処理方法、画像処理装置及びシステム
US20100322510A1 (en) Sky detection system used in image extraction device and method using sky detection system
WO2017046838A1 (ja) 特定人物検知システムおよび特定人物検知方法
WO2019156543A2 (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
CN108540707A (zh) 人脸识别执法仪
WO2016072627A1 (ko) 전방위 카메라를 이용한 1대 다면 주차장 관리 시스템 및 관리방법
KR102090739B1 (ko) 영상의 유사도 분석을 위해 영상 영역 격자 다분할을 이용하는 지능형 이동 감시 시스템 및 그 감시방법
WO2020027512A1 (ko) 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
JP2002027449A (ja) 移動物体識別方法および移動物体識別装置
WO2019124634A1 (ko) 압축영상에 대한 신택스 기반의 객체 추적 방법
WO2022019601A1 (ko) 영상의 객체 특징점 추출과 이를 이용한 영상검색 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20883897

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20883897

Country of ref document: EP

Kind code of ref document: A1