KR102423968B1 - Method of re-recognizing objects for detecting video - Google Patents

Method of re-recognizing objects for detecting video Download PDF

Info

Publication number
KR102423968B1
KR102423968B1 KR1020200128648A KR20200128648A KR102423968B1 KR 102423968 B1 KR102423968 B1 KR 102423968B1 KR 1020200128648 A KR1020200128648 A KR 1020200128648A KR 20200128648 A KR20200128648 A KR 20200128648A KR 102423968 B1 KR102423968 B1 KR 102423968B1
Authority
KR
South Korea
Prior art keywords
image
pattern
tracking
designated
crawling
Prior art date
Application number
KR1020200128648A
Other languages
Korean (ko)
Other versions
KR20220045706A (en
Inventor
이종표
이승헌
이한결
Original Assignee
동명대학교산학협력단
주식회사 슈퍼셀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동명대학교산학협력단, 주식회사 슈퍼셀 filed Critical 동명대학교산학협력단
Priority to KR1020200128648A priority Critical patent/KR102423968B1/en
Publication of KR20220045706A publication Critical patent/KR20220045706A/en
Application granted granted Critical
Publication of KR102423968B1 publication Critical patent/KR102423968B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상의 객체 재인식 방법에 관한 것으로, 임의의 객체를 지정하는 단계; 연속적인 복수 개의 프레임으로부터 상기 객체의 데이터를 수집하는 단계; 상기 객체를 재추적하여 데이터를 추가로 수집하는 단계; 및 수집된 상기 객체의 데이터를 이용하여 상기 객체를 크롤링하는 단계;를 포함하는 것을 기술적 요지로 한다. 이에 의해 영상의 다수 개 프레임 중 일부 프레임 내에서 객체가 사라질 경우 이를 재인식 및 재추적 가능한 효과가 있다.The present invention relates to a method for recognizing an object in an image, the method comprising: designating an arbitrary object; collecting data of the object from a plurality of consecutive frames; further collecting data by retraceing the object; and crawling the object using the collected data of the object. Accordingly, when an object disappears within some frames among a plurality of frames of an image, there is an effect of re-recognizing and re-tracking the object.

Description

영상의 객체 재인식 방법 {Method of re-recognizing objects for detecting video}{Method of re-recognizing objects for detecting video}

본 발명은 영상의 객체 재인식 방법에 관한 것으로, 더욱 상세하게는 다수 개의 프레임 중 일부 프레임 내에서 객체가 사라질 경우 이를 재인식 및 재추적 가능한 영상의 객체 재인식 방법에 관한 것이다.The present invention relates to a method of re-recognizing an object in an image, and more particularly, to a method of re-recognizing an object in an image capable of re-recognizing and re-tracking when an object disappears within some frames among a plurality of frames.

정보화 사회가 도래됨에 따라 방송 프로그램, 영화, 동영상 웹툰 등과 같은 영상 콘텐츠는 전세계 어느 지역에 있든지 간에 누구나 쉽게 공유할 수 있게 되었다. 한편, 영상 콘텐츠의 빠른 확산에 비해 영상 콘텐츠의 저작물 보호에 대한 사용자들의 인식은 턱없이 부족한 실정이며, 이러한 영상 콘텐츠의 불법복제로 인해 기업 또는 국가적으로 큰 손실이 발생하고 있다. 특히 방송과 통신의 융합이 가속화될수록 그 저작권 침해의 규모는 더욱 증가할 것으로 우려되고 있다. With the advent of the information society, video content such as broadcast programs, movies, and video webtoons can be easily shared by anyone anywhere in the world. On the other hand, compared to the rapid spread of video content, users' awareness of copyright protection of video content is insufficient, and the illegal copying of video content causes great losses to the company or the country. In particular, as the convergence of broadcasting and telecommunication accelerates, there is concern that the scale of copyright infringement will further increase.

이에 따라 최근 정부와 저작권보호단체는 저작권법을 전면 개정하고 불법복제 영상의 단속과 처벌을 강화하는 등 불법복제 근절을 위한 다양한 노력을 하고 있다. 또한 저작권을 가진 다수의 기업들은 모니터링 시스템을 구축하고 불법 복제나 유포자를 추적 관리하고자 하기도 하지만 이는 역부족이며, 불법복제 영상은 시간이 지날수록 증가하고 있다.Accordingly, the government and copyright protection organizations are making various efforts to eradicate illegal copying, such as completely amending the Copyright Act and strengthening the crackdown and punishment of illegally copied videos. In addition, many companies with copyrights try to establish a monitoring system and track and manage illegal copies or distributors, but this is not enough, and the number of pirated videos is increasing as time goes by.

사진 또는 웹툰과 같은 이미지의 경우 기존에 이미지를 인식하고 이를 추적하는 기술이 많이 알려져 있지만, 영상 콘텐츠를 인식하고 추적하는 기술에 대해서는 개발이 미흡한 상황이다. 특히 영상에 존재하는 객체를 인식하기 위해서는 다수 개의 프레임으로부터 객체 정보를 획득하여야 하는데, 영상의 프레임이 바뀌는 과정에서 객체가 사라질 경우 객체 정보를 더이상 얻을 수 없게 된다. 이로 인해 객체의 정보가 부족하여 객체 인식률이 감소한다는 단점이 있다.In the case of images such as photos or webtoons, technologies for recognizing and tracking images are known in the past, but technologies for recognizing and tracking video content are insufficiently developed. In particular, in order to recognize an object existing in an image, object information must be obtained from a plurality of frames. If the object disappears in the process of changing the frame of the image, the object information cannot be obtained anymore. Due to this, there is a disadvantage in that the object recognition rate decreases due to insufficient object information.

대한민국특허청 등록특허 제10-1800373호Korean Intellectual Property Office Registered Patent No. 10-1800373

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 다수 개의 프레임 중 일부 프레임 내에서 객체가 사라질 경우 이를 재인식 및 재추적 가능한 영상의 객체 재인식 방법을 제시하는 데 그 목적이 있다.The present invention has been devised to solve the above problems, and it is an object of the present invention to provide a method for re-recognizing an object of an image that can be re-recognized and re-traceable when an object disappears within some frames among a plurality of frames.

상기한 목적은, 임의의 객체를 지정하는 단계; 연속적인 복수 개의 프레임으로부터 상기 객체의 데이터를 수집하는 단계; 상기 객체를 재추적하여 데이터를 추가로 수집하는 단계; 및 수집된 상기 객체의 데이터를 이용하여 상기 객체를 크롤링하는 단계;를 포함하는 것을 특징으로 하는 영상의 객체 재인식 방법에 의해서 달성된다.The above object comprises the steps of designating an arbitrary object; collecting data of the object from a plurality of consecutive frames; further collecting data by retraceing the object; and crawling the object using the collected data of the object.

여기서, 상기 객체를 재추적하여 데이터를 추가로 수집하는 단계는, 연속적인 복수 개의 프레임 중 일부 프레임에서 객체가 사라졌다가 다시 객체가 프레임에 나타나는 경우 이를 재추적하는 것이 바람직하다.Here, in the step of re-tracking the object to additionally collect data, it is preferable to re-track the object when the object disappears in some frames among a plurality of consecutive frames and then the object reappears in the frame.

또한, 상기 객체를 재추적하여 데이터를 추가로 수집하는 단계는, 상기 임의의 객체를 지정하는 단계를 통해 얻은 상기 객체의 모양, 색상 및 중심부의 정보를 통해 프레임 내에서 유사 객체를 확인하고, 상기 객체와의 유사도가 70% 이상일 경우 동일한 객체로 판단하고 재추적하는 것이 바람직하다.In addition, the step of re-tracing the object to further collect data includes identifying a similar object in the frame through the shape, color, and center information of the object obtained through the step of designating the arbitrary object, and If the similarity with the object is 70% or more, it is desirable to judge the object as the same object and re-track.

상술한 바와 같이 본 발명에 따르면, 불법복제 영상 검출시 영상의 다수 개 프레임 중 일부 프레임 내에서 객체가 사라질 경우 이를 재인식 및 재추적 가능한 효과가 있다.As described above, according to the present invention, when an object disappears in some of a plurality of frames of an image when an illegally copied image is detected, there is an effect of re-recognizing and re-tracking the object.

도 1은 본 발명의 실시예에 따른 불법복제 영상 검출을 위한 영상의 객체 재인식 방법의 순서도이고,
도 2는 객체를 지정하는 방법의 설명도이고,
도 3은 객체를 재추적하는 단계의 순서도이다.1 is a flowchart of a method for re-recognizing an object of an image for detecting an illegally copied image according to an embodiment of the present invention;
2 is an explanatory diagram of a method for designating an object;
3 is a flowchart of the steps of re-tracking an object.

이하, 본 발명의 기술적 사상을 첨부된 도면을 사용하여 더욱 구체적으로 설명한다. 첨부된 도면은 본 발명의 기술적 사상을 더욱 구체적으로 설명하기 위하여 도시한 일예에 불과하므로 본 발명의 기술적 사상이 첨부된 도면의 형태에 한정되는 것은 아니다.Hereinafter, the technical idea of the present invention will be described in more detail with reference to the accompanying drawings. Since the accompanying drawings are merely examples shown to explain the technical idea of the present invention in more detail, the technical idea of the present invention is not limited to the form of the accompanying drawings.

도 1은 본 발명의 실시예에 따른 불법복제 영상 검출을 위한 영상의 객체 재인식 방법의 순서도이고, 도 2는 객체를 지정하는 방법의 설명도이고, 도 3은 객체를 재추적하는 단계의 순서도이다.1 is a flowchart of a method for re-recognizing an object of an image for detecting illegally reproduced images according to an embodiment of the present invention, FIG. 2 is an explanatory diagram of a method for designating an object, and FIG. 3 is a flowchart of a step of re-tracking an object .

도 1에 도시된 바와 같이 본 발명의 실시예에 따른 객체 재인식 방법은, 임의의 객체를 지정하는 단계(S100), 연속적인 복수 개의 프레임으로부터 객체의 1차데이터를 크롤링서버에 수집하는 단계(S200), 객체를 재추적하여 2차데이터를 추가로 수집하는 단계(S300) 및 수집된 객체의 1차데이터 및 2차데이터를 이용하여 객체를 크롤링하는 단계(S400)를 포함한다.As shown in FIG. 1, the object re-recognition method according to an embodiment of the present invention includes the steps of designating an arbitrary object (S100), collecting primary data of the object from a plurality of consecutive frames to a crawling server (S200) ), further collecting secondary data by re-tracking the object (S300) and crawling the object using the primary data and secondary data of the collected object (S400).

먼저, 임의의 객체를 지정하는 단계(S100)는, 영상 내에서 추적을 필요로 하는 객체를 지정하는 단계이다.First, the step of designating an arbitrary object ( S100 ) is a step of designating an object requiring tracking in an image.

임의의 객체는 영상 내에서 움직임을 가지는 사람이나 차량 등과 같은 물체에 해당하며, 영상 내에서 추적을 필요로 하는 사람이나 차량을 사용자가 직접 임의의 객체로 지정한다. The arbitrary object corresponds to an object such as a person or a vehicle that moves in the image, and the user directly designates a person or vehicle that needs to be tracked in the image as an arbitrary object.

이미지가 아닌 움직이는 영상으로부터 객체인식 및 추적을 하기 위해서는 영상으로부터 복수 개의 프레임을 추출하며, 복수 개의 프레임은 연속적인 프레임으로 추출하는 것이 바람직하다. 이와 같이 영상으로부터 추출된 프레임에 존재하는 임의의 객체를 지정한다. 객체 지정은 사용자가 Grab cut 등을 이용하여 사각 형상으로 객체를 포함하는 영역을 지정하거나 또는 객체의 외곽을 따라 윤곽선을 지정한다. 예를 들어 사용자가 지정한 객체는 도 2에 도시된 바와 같이 초록색으로 표시될 수 있다.In order to perform object recognition and tracking from a moving image rather than an image, it is preferable to extract a plurality of frames from the image, and extract the plurality of frames as continuous frames. In this way, an arbitrary object existing in the frame extracted from the image is designated. For object designation, the user designates the area including the object in a rectangular shape using grab cut or the like, or designates the outline along the outline of the object. For example, an object designated by the user may be displayed in green as shown in FIG. 2 .

지정되는 객체는 모양(shape), 색상(color) 및 중심부를 인식하여 지정되는데, 필요에 따라 명암(intensity) 및 방향(edge)을 추가적으로 인식할 수도 있다. 이때 중심부는 객체 대상에 대해 가상의 중심점 또는 중심선을 설정하고, 이를 인식하여 객체가 지정된다. 객체가 3차원으로 표현될 경우 x축, y축 및 z축의 중심선을 각각 설정할 수도 있다.The designated object is designated by recognizing a shape, color, and center, and if necessary, intensity and direction may be additionally recognized. In this case, the center sets a virtual center point or center line for the object object, and recognizes this to designate the object. When the object is expressed in three dimensions, the centerlines of the x-axis, y-axis, and z-axis may be set respectively.

또한 색상의 경우 지정된 객체 중 가장 많은 비율을 차지하는 구조의 색상, 예를 들면 사람을 객체로 지정한 경우 사람의 의복 색상을 중심적으로 객체를 지정하게 되며, 그 이외의 색상도 함께 지정된다.In addition, in the case of color, the color of the structure that occupies the largest proportion of the designated objects, for example, when a person is designated as an object, the object is designated based on the color of the person's clothes, and other colors are designated as well.

객체의 1차데이터를 크롤링서버에 수집하는 단계(S200)는, 연속적인 복수 개의 프레임으로부터 객체의 1차데이터를 크롤링서버에 수집하는 단계이다.Collecting the primary data of the object to the crawling server (S200) is a step of collecting the primary data of the object from a plurality of consecutive frames to the crawling server.

객체의 1차데이터 수집은 먼저, 복수 개의 프레임 중 하나의 프레임에 지정된 객체를 그리드(grid) 형상으로 다수 개의 영역으로 분할한다. 그 다음, CNN(Convolutonal Neural Network)을 통해 객체의 패턴을 인식한 후, 상기 패턴을 합친 1차데이터를 수집한다. 패턴을 합칠 때에는 도 2와 같이 지정된 객체가 포함되지 않는 패턴 영역은 제외하고 객체가 존재하는 패턴 만을 합치게 된다. 이러한 과정을 통해 필요하지 않은 패턴은 제외하고, 객체가 포함된 패턴만 수집하게 되어 객체의 인식률이 증가하게 된다.In the primary data collection of an object, an object designated in one frame among a plurality of frames is divided into a plurality of regions in a grid shape. Then, after recognizing the pattern of the object through a CNN (Convolutonal Neural Network), primary data obtained by combining the pattern is collected. When combining patterns, only patterns in which objects exist are combined except for a pattern area that does not include a designated object as shown in FIG. 2 . Through this process, only patterns including objects are collected, excluding unnecessary patterns, and thus the recognition rate of objects is increased.

이때 객체는 영상으로부터 추출한 복수 개의 연속적인 프레임으로부터 1차데이터가 수집된다. 하나의 프레임으로부터만 객체 1차데이터를 수집하게 되면, 움직이는 불법복제 영상으로부터 객체를 검출하는 데 있어 정확도가 떨어질 수 있다. 따라서 복수 개의 연속적인 프레임, 구체적으로는 10개 이상의 연속적인 프레임으로부터 객체의 다양한 형상에 대한 1차데이터를 수집하게 된다. 이와 같이 연속적인 프레임을 통해 객체 1차데이터를 수집하게 되면 다양한 각도나 위치에서의 객체를 확인할 수 있다. 이를 통해 수 많은 불법복제 영상으로부터 객체를 검출하기 용이해진다. 바람직하게는 30개 이상의 연속적인 프레임을 적용할 수도 있다.In this case, primary data is collected from a plurality of consecutive frames extracted from an image. If the primary object data is collected from only one frame, the accuracy in detecting the object from the moving illegally reproduced image may be reduced. Accordingly, primary data for various shapes of objects are collected from a plurality of consecutive frames, specifically, from 10 or more consecutive frames. When the object primary data is collected through successive frames as described above, objects can be identified at various angles or positions. This makes it easier to detect objects from numerous illegally copied images. Preferably, 30 or more consecutive frames may be applied.

객체를 재추적하여 2차데이터를 추가로 수집하는 단계(S300)는, 연속적인 복수 개의 프레임 중 일부 프레임에 객체가 사라졌다가 다시 객체가 다른 프레임에 나타나는 경우 이를 재추적하는 단계이다.The step of re-tracking the object to additionally collect secondary data (S300) is a step of re-tracking when the object disappears in some frames among a plurality of consecutive frames and then the object reappears in another frame.

연속적인 프레임으로부터 객체의 데이터를 수집할 때, 해당 프레임 중 일부에 객체가 존재하지 않는 경우도 있다. 연속적인 프레임의 경우 영상으로부터 추출하기 때문에 장면이 바뀌더라도 객체가 프레임 내에 계속 존재할 수도 있지만, 경우에 따라서 장면이 바뀌는 과정에서 객체가 프레임에서 사라지는 경우가 발생하게 된다. When collecting object data from successive frames, there are cases where the object does not exist in some of the frames. In the case of a continuous frame, since it is extracted from an image, even if the scene changes, the object may continue to exist in the frame, but in some cases, the object disappears from the frame during the scene change process.

특히 객체 추적의 정확도를 높이기 위하여 1,000개 이상의 프레임으로부터 객체의 데이터를 얻는 경우, 1,000개 이상의 프레임 중 일부 프레임에서 객체가 사라지는 경우가 적어도 한 번은 발생하게 된다. 이 경우 임의의 객체를 지정하는 단계(S100)를 통해 사용자가 지정한 객체의 영역이 사라지게 된다.In particular, when obtaining object data from more than 1,000 frames in order to increase the accuracy of object tracking, the object disappears in some frames among more than 1,000 frames at least once. In this case, the area of the object designated by the user disappears through the step of designating an arbitrary object ( S100 ).

사용자가 지정한 객체의 영역이 사라지게 되면, 다른 프레임에서 객체가 다시 나타날 때 객체를 재추적하기 전에 먼저 객체를 다시 지정해야 한다. 따라서 객체를 다시 지정하기 위해 이전에 임의의 객체를 지정하는 단계(S100)를 통해 얻은 객체의 모양, 색상 및 중심부의 정보를 통해 프레임 내에서 유사 객체를 확인한다. 그 다음 유사 객체가 임의의 객체를 지정하는 단계(S100)를 통해 얻은 객체와의 유사도가 70% 이상일 경우 동일한 객체로 판단하고, 해당 객체를 다시 지정하여 재추적하고 2차데이터를 수집하게 된다.If the user-specified area of the object disappears, when the object reappears in another frame, it must be re-designated before the object is traced again. Therefore, in order to designate an object again, a similar object is identified in the frame through the information of the shape, color, and center of the object obtained through the step (S100) of previously designating an arbitrary object. Then, if the similarity object has a similarity of 70% or more with the object obtained through the step of designating an arbitrary object (S100), it is determined as the same object, and the object is designated again to be traced again and secondary data is collected.

동일한 객체를 판단하는 상세한 방법을 일 실시예로 설명하면, 도 3에 도시된 바와 같이 객체를 지정한 프레임인 <프레임 1034>로부터의 객체 CNN 패턴과, 객체가 사라진 후 객체가 다시 나타났다고 여겨지는 신규 프레임인 <프레임 2131>로부터의 CNN 패턴을 비교하여 유사도를 측정 및 판단한다. 해당 기술을 통해 객체 재인식률 즉, 지정한 객체와 유사 객체와의 유사도가 70% 이상일 경우, 이전 프레임에서 사용자가 지정한 객체와 동일한 객체라고 판단하고 해당 객체를 재추적하게 된다. 이와 같은 방법은 객체 재추적을 통해 두 번 이상 객체가 프레임 내에서 사라지더라도 객체를 다시 찾아낼 수 있다.A detailed method of judging the same object is described as an embodiment. As shown in FIG. 3, the object CNN pattern from <Frame 1034>, which is a frame designating an object, and a new frame in which it is considered that the object reappears after the object disappears. The similarity is measured and judged by comparing the CNN patterns from <Frame 2131>. Through this technology, if the object re-recognition rate, that is, the similarity between the designated object and the similar object is 70% or more, it is determined that the object is the same as the object designated by the user in the previous frame and the object is re-traced. In this way, even if the object disappears from the frame more than once through object retrace, the object can be found again.

만약 이전 프레임과 신규 프레임의 CNN 패턴을 비교하여 확인한 결과, 유사도가 70% 미만일 경우 <프레임 2131>에는 객체가 존재하지 않는다고 판단하고 그 다음 프레임으로 계속 넘어가면서 다른 프레임으로부터 객체를 재추적하게 된다. 이후 <프레임 2252>에서 유사한 객체를 발견할 경우, 이를 다시 객체 CNN 패턴을 비교하여 객체를 확인한다. 이와 같이 객체를 재추적하는 단계(S300)를 거치게 될 경우, 더 많은 객체 데이터를 수집할 수 있기 때문에 객체 데이터의 정확도가 증가하게 된다. If the CNN pattern of the previous frame and the new frame is compared and checked, if the similarity is less than 70%, it is determined that the object does not exist in <Frame 2131> and the object is retraced from another frame while continuing to the next frame. After that, if a similar object is found in <Frame 2252>, the object is checked by comparing the object CNN pattern again. When the object re-tracking step ( S300 ) is performed as described above, since more object data can be collected, the accuracy of the object data is increased.

객체를 크롤링하는 단계는(S400), 수집된 객체의 1차데이터 및 2차데이터를 이용하여 객체를 크롤링하는 단계이다.The step of crawling the object ( S400 ) is a step of crawling the object using primary data and secondary data of the collected object.

임의의 객체를 지정하는 단계(S100), 연속적인 복수 개의 프레임으로부터 객체의 1차데이터를 수집하는 단계(S200), 객체를 재추적하여 2차데이터를 추가로 수집하는 단계(S300)를 통해 각도나 상황에 따른 다양한 형상의 객체가 수집된 1차데이터 및 2차데이터를 이용하여 객체를 크롤링(crawling)한다. 웹정보가 저장된 복수의 웹사이트에 객체를 검색하고, 검색한 정보를 웹사이트와 연동된 크롤링서버로 전달하여 객체를 크롤링한다. 이때 객체의 해상도가 변하거나 객체의 일부분이 크롭(crop)된 상태로 존재하더라도, 상기의 단계(S100, S200, S300)들을 통해 객체의 데이터가 세밀하게 수집되어 있기 때문에 원활한 객체 크롤링이 가능하다. The angle through the step of designating an arbitrary object (S100), the step of collecting the primary data of the object from a plurality of consecutive frames (S200), the step of re-tracking the object to additionally collect the secondary data (S300) B. Objects are crawled using primary data and secondary data in which objects of various shapes are collected depending on the situation. Objects are searched for in a plurality of websites in which web information is stored, and the retrieved information is transmitted to a crawling server linked with the website to crawl the object. At this time, even if the resolution of the object is changed or a part of the object exists in a cropped state, smooth object crawling is possible because the data of the object is precisely collected through the above steps ( S100 , S200 , S300 ).

이와 같이 객체를 이용하여 크롤링을 하게 되면, 단순히 크롤링을 하여 객체를 추적하는 것으로 끝내는 것이 아니라 크롤링된 정보 또한 수집되어 이후의 추가적인 크롤링 과정에서 객체의 정보를 더욱 상세하고 정확하게 추적할 수 있다.When crawling using an object in this way, it does not end with simply crawling and tracking the object, but the crawled information is also collected, so that the object information can be tracked in more detail and accurately in the subsequent additional crawling process.

추적된 크롤링은 사용자가 객체를 지정한 초록색과는 다른, 예를 들면 빨간색으로 객체가 지정될 수 있다. 이를 사용자가 직접 확인하여 처음에 지정한 객체와 일치할 경우 해당 객체를 포함하는 불법복제 영상 정보를 획득할 수 있으며, 만약 객체가 일치하지 않을 경우 추가로 객체 데이터를 수집하는 단계(S200)와 객체를 크롤링하는 단계(S400)를 수행하여 객체 인식률을 높일 수도 있다.Tracked crawls may have objects designated as red, for example, different from green for which the user has designated objects. If the user directly checks this and matches the initially designated object, pirated image information including the object can be obtained. If the object does not match, additional object data is collected (S200) and the object The crawling step ( S400 ) may be performed to increase the object recognition rate.

이러한 본 발명의 단계(S100, S200, S300, S400)들을 통해 불법복제 영상 검출을 할 경우, 객체가 조금씩 변형이 되는 영상에서도 객체인식이 원활하게 가능하여 불법복제 영상의 추적이 용이하다. 특히 다수 개의 프레임 중 일부 프레임 내에서 객체가 사라지더라도 이를 재인식하기 때문에 지속적으로 객체의 정보가 업데이트되고, 추적 횟수가 증가할수록 객체인식의 정확도가 높아지게 된다.When an illegally copied image is detected through the steps (S100, S200, S300, S400) of the present invention, object recognition is smoothly possible even in an image in which an object is slightly deformed, so that it is easy to track the illegally copied image. In particular, even if the object disappears in some of the frames, since it is re-recognized, the object information is continuously updated, and the accuracy of object recognition increases as the number of tracking increases.

본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.The present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present invention as claimed in the claims.

S100: 임의의 객체를 지정하는 단계
S200: 연속적인 복수 개의 프레임으로부터 객체의 데이터를 수집하는 단계
S300: 객체를 재추적하여 데이터를 추가로 수집하는 단계
S400: 수집된 객체의 데이터를 이용하여 객체를 크롤링하는 단계S100: Step of designating an arbitrary object
S200: Collecting object data from a plurality of consecutive frames
S300: Retracing the object to further collect data
S400: Crawling the object using the collected object data

Claims (3)

영상 내에서 추적을 필요로하는 임의의 객체를 지정하기 위하여, 영상으로부터 추출된 프레임에 존재하는 상기 객체를 포함하도록 사각 형상으로 영역을 지정하는 임의의 상기 객체를 지정하는 단계;
연속적인 복수 개의 프레임으로부터 지정된 상기 객체의 1차데이터를 크롤링서버에 수집하는 단계;
지정된 상기 객체를 재추적하여 2차데이터를 추가로 상기 크롤링서버에 수집하는 단계; 및
상기 크롤링서버에 수집된 상기 객체의 1차데이터 및 2차데이터를 이용하여 웹정보가 저장된 복수의 웹사이트에서 상기 객체를 검색하고, 검색한 정보를 상기 웹사이트와 연동된 상기 크롤링서버로 전달하여 상기 객체를 크롤링하는 단계;를 포함하며,
상기 객체의 1차데이터를 크롤링서버에 수집하는 단계는,
사각 형상으로 영역이 지정된 상기 객체를 그리드 형상으로 다수 개의 영역으로 분할하고, CNN(Convolutional Neural Network)을 통해 상기 객체의 패턴을 인식한 후, 상기 패턴을 합친 1차데이터를 수집하며, 지정된 상기 객체가 포함되지 않는 패턴 영역은 제외하고 상기 객체가 존재하는 패턴 만을 합치며,
상기 2차데이터를 추가로 수집하는 단계는,
사각 형상으로 영역이 지정된 상기 객체를 그리드 형상으로 다수 개의 영역으로 분할하고, CNN(Convolutional Neural Network)을 통해 상기 객체의 패턴을 인식한 후, 상기 패턴을 합친 2차데이터를 수집하며, 지정된 상기 객체가 포함되지 않는 패턴 영역은 제외하고 상기 객체가 존재하는 패턴 만을 합치는 것을 특징으로 하는 영상의 객체 재인식 방법.designating an arbitrary object designating an area in a rectangular shape to include the object existing in a frame extracted from an image, in order to designate an arbitrary object requiring tracking within an image;
collecting primary data of the designated object from a plurality of consecutive frames to a crawling server;
collecting secondary data additionally to the crawling server by re-tracking the designated object; and
By using the primary data and secondary data of the object collected in the crawling server, the object is retrieved from a plurality of websites where web information is stored, and the retrieved information is transmitted to the crawling server linked with the website. Including; crawling the object;
The step of collecting the primary data of the object to the crawling server,
The object whose area is specified in a rectangular shape is divided into a plurality of areas in a grid shape, the pattern of the object is recognized through a CNN (Convolutional Neural Network), and the primary data combined with the pattern is collected, and the designated object Only the pattern in which the object exists is combined, excluding the pattern area that does not include
The step of additionally collecting the secondary data,
After dividing the object whose area is specified in a rectangular shape into a plurality of areas in a grid shape, and after recognizing the pattern of the object through CNN (Convolutional Neural Network), secondary data combining the pattern is collected, and the designated object An object re-recognition method of an image, characterized in that only the pattern in which the object is present is combined except for the pattern area in which is not included. 제 1항에 있어서,
상기 객체를 재추적하여 상기 2차데이터를 추가로 수집하는 단계는,
연속적인 복수 개의 프레임 중 일부 프레임에서 객체가 사라졌다가 다시 객체가 프레임에 나타나는 경우 이를 재추적하는 것을 특징으로 하는 영상의 객체 재인식 방법.The method of claim 1,
The step of re-tracking the object to further collect the secondary data comprises:
An object re-recognition method of an image, characterized in that when an object disappears in some frames among a plurality of consecutive frames and an object reappears in the frame, it is re-traced. 제 1항에 있어서,
상기 객체를 재추적하여 상기 2차데이터를 추가로 수집하는 단계는,
상기 임의의 객체를 지정하는 단계를 통해 얻은 상기 객체의 모양, 색상 및 중심부의 정보를 통해 프레임 내에서 유사 객체를 확인하고, 상기 객체와의 유사도가 70% 이상일 경우 동일한 객체로 판단하고 재추적하는 것을 특징으로 하는 영상의 객체 재인식 방법.The method of claim 1,
The step of re-tracking the object to further collect the secondary data comprises:
Through the information on the shape, color, and center of the object obtained through the step of designating the arbitrary object, a similar object is identified within the frame, and when the similarity with the object is 70% or more, it is determined as the same object and traced again. An object re-recognition method of an image, characterized in that.
KR1020200128648A 2020-10-06 2020-10-06 Method of re-recognizing objects for detecting video KR102423968B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200128648A KR102423968B1 (en) 2020-10-06 2020-10-06 Method of re-recognizing objects for detecting video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200128648A KR102423968B1 (en) 2020-10-06 2020-10-06 Method of re-recognizing objects for detecting video

Publications (2)

Publication Number Publication Date
KR20220045706A KR20220045706A (en) 2022-04-13
KR102423968B1 true KR102423968B1 (en) 2022-07-22

Family

ID=81212907

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200128648A KR102423968B1 (en) 2020-10-06 2020-10-06 Method of re-recognizing objects for detecting video

Country Status (1)

Country Link
KR (1) KR102423968B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102587427B1 (en) 2022-12-19 2023-10-12 (주)웨이버스 Moving object location generation and movement trajectory generation system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102015588B1 (en) * 2015-07-16 2019-08-28 한화테크윈 주식회사 Advanced wander alarm system and method thereof
KR101800373B1 (en) 2016-12-30 2017-11-22 (주)엠더블유스토리 System for searching illegal contents and method of thereof
KR102102164B1 (en) * 2018-01-17 2020-04-20 오드컨셉 주식회사 Method, apparatus and computer program for pre-processing video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102587427B1 (en) 2022-12-19 2023-10-12 (주)웨이버스 Moving object location generation and movement trajectory generation system

Also Published As

Publication number Publication date
KR20220045706A (en) 2022-04-13

Similar Documents

Publication Publication Date Title
US10438360B2 (en) Video processing apparatus, video processing method, and storage medium
US9934453B2 (en) Multi-source multi-modal activity recognition in aerial video surveillance
JP4970195B2 (en) Person tracking system, person tracking apparatus, and person tracking program
Adcock et al. Talkminer: a lecture webcast search engine
KR100645300B1 (en) Method and apparatus for summarizing and indexing the contents of an audio-visual presentation
JP4822766B2 (en) Road marking recognition device and system
KR101972918B1 (en) Apparatus and method for masking a video
US10127454B2 (en) Method and an apparatus for the extraction of descriptors from video content, preferably for search and retrieval purpose
CN110222594B (en) Pirated video identification method and system
Babaguchi et al. Linking live and replay scenes in broadcasted sports video
US5177794A (en) Moving object detection apparatus and method
Do et al. Deluding image recognition in SIFT-based CBIR systems
KR102423968B1 (en) Method of re-recognizing objects for detecting video
Lian et al. Content-based video copy detection–a survey
KR102226845B1 (en) System and method for object recognition using local binarization
CN111242077A (en) Figure tracking method, system and server
Jin et al. Towards general object-based video forgery detection via dual-stream networks and depth information embedding
Flenner et al. Resampling forgery detection using deep learning and a-contrario analysis
KR20220045705A (en) Method for detecting illegally copied video
CN112954455A (en) Subtitle tracking method and device and electronic equipment
KR102154925B1 (en) System for inspection of noxious image
CN110197144B (en) Illegal recording video identification method and system
JP2962799B2 (en) Roadside detection device for mobile vehicles
CN115640424A (en) Video library comparison method and system based on deep learning feature map analysis
Leon et al. Caption text extraction for indexing purposes using a hierarchical region-based image model

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant