WO2021182671A1 - 박스 레벨의 객체 위치 정보를 사용한 픽셀 레벨의 동영상 객체 추적 장치 - Google Patents

박스 레벨의 객체 위치 정보를 사용한 픽셀 레벨의 동영상 객체 추적 장치 Download PDF

Info

Publication number
WO2021182671A1
WO2021182671A1 PCT/KR2020/005383 KR2020005383W WO2021182671A1 WO 2021182671 A1 WO2021182671 A1 WO 2021182671A1 KR 2020005383 W KR2020005383 W KR 2020005383W WO 2021182671 A1 WO2021182671 A1 WO 2021182671A1
Authority
WO
WIPO (PCT)
Prior art keywords
level
pixel
model
position information
video
Prior art date
Application number
PCT/KR2020/005383
Other languages
English (en)
French (fr)
Inventor
김은태
성홍제
이영조
현준혁
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of WO2021182671A1 publication Critical patent/WO2021182671A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Definitions

  • the technical field to which the present invention pertains relates to a moving image object tracking device.
  • This study is related to the deep learning-based semantic context understanding source technology research of next-generation information computing technology development (R&D) conducted with the support of the Ministry of Science and ICT (No. NRF-2017M3C4A706937022).
  • the pixel level object information is input in the first frame, but it requires a lot of labor to manually indicate the position of the pixel level object.
  • Patent Document 1 Korean Patent Publication No. 10-2019-0039384 (2019.04.11)
  • Patent Document 2 Korean Patent Publication No. 10-2019-0080904 (2019.07.08)
  • Patent Document 3 Korean Patent Publication No. 10-2019-0041923 (2019.04.23)
  • Embodiments of the present invention are a video object tracking model combining a core object detection (SOD) model and a video object segmentation (VOS) model, and set the pixel area of a candidate object through the core object detection (SOD) model and use a bounding box
  • SOD core object detection
  • VOS video object segmentation
  • the processor detects a core object from a reference frame (Salient Object Detection) , SOD) extracts pixel-level position information for the entire area of the candidate object through the model, and the processor is based on the boundary-level position information for the target object among the pixel-level position information for the entire region of the candidate object converts it into pixel-level position information for the entire area of the target object, and the processor uses a Video Object Segmentation (VOS) model for a plurality of frames at the pixel level for the entire area of the target object. It provides a video object tracking device, characterized in that for tracking location information.
  • VOS Video Object Segmentation
  • the boundary level may be set as a bounding box, and the position information of the boundary level may include two points located diagonally in the bounding box.
  • the core object detection model may output a core object map.
  • the processor may filter candidate objects existing outside the boundary level with respect to the core object map.
  • the processor may select one object based on the size and location of the candidate object.
  • the processor moves the plurality of frames in a forward or reverse direction in time order to select a frame in which one object exists inside the boundary level, and selects the frame of the reference frame. can be set to
  • the present invention is a video object tracking model that combines a core object detection (SOD) model and a video object segmentation (VOS) model, and a pixel of a candidate object through a core object detection (SOD) model
  • SOD video object detection
  • the initial information of the model tracking the object of the video is set in units of pixel level, and the pixel level of the object area existing inside the bounding box is set. It has the effect of accurately tracking the object area in units.
  • FIG. 1 is a block diagram illustrating an apparatus for tracking a video object according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating the operation of a video object tracking apparatus according to an embodiment of the present invention.
  • 3 to 7 are diagrams illustrating a video object tracking model of the video object tracking apparatus according to an embodiment of the present invention.
  • the moving image object tracking apparatus provides the pixel level for the reference frame to the tracking model when the information of the object to be tracked in the moving image is given at the box level in the reference frame to track the position of the object at the pixel level in the remaining frames. do.
  • the video object tracking device is a video object tracking model that combines a core object detection (SOD) model and a video object segmentation (VOS) model, and sets the pixel area of a candidate object through the core object detection (SOD) model, By setting the initial information of a model that tracks an object of a moving picture in units of pixel level by filtering the pixel region of a candidate object using a bounding box, the object region in a pixel level unit for an object region existing inside the bounding box accurately track
  • SOD core object detection
  • VOS video object segmentation
  • FIG. 1 is a block diagram illustrating an apparatus for tracking a video object according to an embodiment of the present invention.
  • the video object tracking device 110 includes at least one processor 120 , a computer readable storage medium 130 , and a communication bus 170 .
  • the processor 120 may control to operate as the video object tracking device 110 .
  • the processor 120 may execute one or more programs stored in the computer-readable storage medium 130 .
  • the one or more programs may include one or more computer-executable instructions, which, when executed by the processor 120 , configure the video object tracking device 110 to perform operations according to the exemplary embodiment. can be
  • Computer-readable storage medium 130 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information.
  • the program 140 stored in the computer-readable storage medium 130 includes a set of instructions executable by the processor 120 .
  • the computer-readable storage medium 130 includes memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, It may be flash memory devices, other types of storage media that can be accessed by the moving image object tracking apparatus 110 and store desired information, or a suitable combination thereof.
  • the communication bus 170 interconnects various other components of the moving image object tracking device 110 including the processor 120 and the computer readable storage medium 140 .
  • the video object tracking device 110 may also include one or more input/output interfaces 150 and one or more communication interfaces 160 that provide interfaces for one or more input/output devices.
  • the input/output interface 150 and the communication interface 160 are connected to the communication bus 170 .
  • the input/output device may be connected to other components of the video object tracking device 110 through the input/output interface 150 .
  • the moving image object tracking apparatus 110 first converts the position information of the object to be tracked on the box-level object information given in the reference frame into the pixel-level object position information through a salient object detection (SOD) model. Next, pixel-level object movement tracking is performed through a video object segmentation (VOS) model.
  • SOD salient object detection
  • VOS video object segmentation
  • FIG. 2 is a flowchart illustrating the operation of a video object tracking apparatus according to an embodiment of the present invention.
  • the video object tracking method may be performed by a video object tracking apparatus or computing device.
  • step S210 the processor extracts pixel-level position information for the entire area of the candidate object through a salient object detection (SOD) model from the reference frame.
  • SOD salient object detection
  • step S220 the processor converts pixel-level position information for the entire region of the target object into pixel-level position information for the entire region of the target object based on boundary-level position information for the target object among pixel-level position information for the entire region of the candidate object.
  • the boundary level is set by the bounding box, and the position information of the boundary level includes two points located diagonally in the bounding box.
  • the processor may filter the candidate objects existing outside the boundary level. If a plurality of candidate objects exist inside the boundary level, the processor may select one object based on the size and location of the candidate object. If there are a plurality of candidate objects existing inside the boundary level, the processor may move the plurality of frames in a forward or reverse direction in time order to select a frame in which one object exists inside the boundary level and set it as a reference frame.
  • step S230 the processor tracks pixel-level position information for the entire area of the target object through a video object segmentation (VOS) model for a plurality of frames.
  • VOS video object segmentation
  • 3 to 7 are diagrams illustrating a video object tracking model of the video object tracking apparatus according to an embodiment of the present invention.
  • the video object tracking apparatus may include a salient object detection (SOD) model and a video object segmentation (VOS) model.
  • SOD salient object detection
  • VOS video object segmentation
  • the core object detection (SOD) model receives an RGB image and outputs the position of the core object at a pixel level.
  • SOD Key object detection
  • the core object detection (SOD) model detects a core object from the background and is different from general object detection and object segmentation. Object detection is to find the position of all objects in the image in the form of a bound box and classify the type of each object. Separation of tangible objects.
  • a core object detection (SOD) model can extract a region feature vector from an image.
  • a core object detection (SOD) model includes a layer that extracts feature vectors by applying filters.
  • the layer may include a convolution layer for extracting features and a pooling layer for performing subsampling by selecting representative features.
  • a core object detection (SOD) model may share a convolutional filter, a layer may include a parameter, and a parameter of a layer may include a set of learnable filters.
  • the parameter may include a weight ( ⁇ ) and/or a bias (b) between nodes.
  • a core object detection (SOD) model is a network in which a plurality of layers including a convolution filter are connected, and may include an activation function that passes before a value is transferred from a previous layer to a next layer.
  • the core object detection (SOD) model repeatedly performs convolution operation and subsampling, while the last layer is a fully-connected layer that can classify a given input.
  • a core object detection (SOD) model may include a plurality of convolutional layers, a plurality of sub-sampling layers, and a fully connected layer.
  • the convolutional layer extracts features from the image using various types of learnable filters, and the subsampling layer is a process of sampling so that the partial movement transformation of the features detected in the convolutional layer is not affected. do.
  • SOD core object detection
  • only the pixel level position of the ROI portion may be obtained by filtering based on the input boundary level position information.
  • the object tracking data is a moving picture, and several objects 10 and 20 may appear at the boundary level 30 according to a frame.
  • a process is required to find only the position of one object at the pixel level. Select one object based on the size and position of the candidate object, or move a plurality of frames in the forward or reverse direction in time order to select a frame in which one object exists inside the boundary level and set it as the reference frame
  • box-level object position information By converting box-level object position information into pixel-level object position information, it is possible to track pixel-level object movement using a video object segmentation (VOS) model.
  • VOS video object segmentation
  • the video object segmentation (VOS) model separates the object to be found in the video from the background.
  • a video object segmentation (VOS) model may be implemented with a learned network structure.
  • VOS 7 is an example of a video object segmentation (VOS) model
  • the input of the blue 2D CNN is a frame to find the location of the object.
  • the image and pixel-level object position information entering the orange 2D CNN input are previous frames containing the information of the object to be found.
  • the search module features extracted from the orange 2D CNN and features extracted from the blue 2D CNN are matched to find where the object to be found is extracted.
  • the feature is finally interpreted through deconv, and the position information of the object to be found in the target image is output at the pixel level.
  • FIG. 8 is a tracked object related to breakdance
  • FIG. 9 is a tracked object related to a black scooter.
  • the leftmost image is the image of the first frame, and box-level information is input at the location of the object to be found.
  • box-level information is input at the location of the object to be found.
  • this shows a high error rate as the size of the box at the location of the object increases over time.
  • 'SOD+Box' shows accurate tracking results.
  • 11 is a quantitative evaluation result of testing the data set.
  • J is an index indicating how many areas the tracking result overlaps with the actual correct answer, and is calculated as in Equation 1.
  • M is the tracking result predicted by the model
  • G is the position of the object corresponding to the actual correct answer.
  • F is an index indicating how much boundary information on the tracking result matches boundary information corresponding to an actual correct answer, and is calculated as in Equation (2).
  • c be the closed contours of pixel-level position information
  • P c is the precision of c(M) and c(G)
  • R c is the recall of c(M) and c(G) ( Recall).
  • J&F is the average of the resulting values for J and F. Even though only box-level information is provided, it shows accurate results.
  • the moving image object tracking apparatus may be implemented in a logic circuit by hardware, firmware, software, or a combination thereof, and may be implemented using a general-purpose or special-purpose computer.
  • the device may be implemented using a hardwired device, a field programmable gate array (FPGA), an application specific integrated circuit (ASIC), or the like.
  • the device may be implemented as a system on chip (SoC) including one or more processors and controllers.
  • SoC system on chip
  • the moving image object tracking apparatus may be mounted in the form of software, hardware, or a combination thereof on a computing device or server provided with hardware elements.
  • a computing device or server is all or part of a communication device such as a communication modem for performing communication with various devices or a wired/wireless communication network, a memory for storing data for executing a program, and a microprocessor for executing operations and commands by executing the program It can mean a variety of devices, including
  • Computer-readable medium represents any medium that participates in providing instructions to a processor for execution.
  • Computer-readable media may include program instructions, data files, data structures, or a combination thereof. For example, there may be a magnetic medium, an optical recording medium, a memory, and the like.
  • a computer program may be distributed over a networked computer system so that computer readable code is stored and executed in a distributed manner. Functional programs, codes, and code segments for implementing the present embodiment may be easily inferred by programmers in the technical field to which the present embodiment pertains.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 실시예들은 핵심 객체 검출(SOD) 모델과 동영상 객체 분할(VOS) 모델을 결합한 동영상 객체 추적 모델로, 핵심 객체 검출(SOD) 모델을 통해 후보 객체의 픽셀 영역을 설정하고 경계 박스를 이용하여 후보 객체의 픽셀 영역을 필터링하는 방식으로 픽셀 레벨 단위로 동영상의 객체를 추적하는 모델의 초기 정보를 설정하여, 경계 박스의 내부에 존재하는 객체 영역에 대한 픽셀 레벨 단위로 객체 영역을 정확하게 추적하는 동영상 객체 추적 장치를 제공한다.

Description

박스 레벨의 객체 위치 정보를 사용한 픽셀 레벨의 동영상 객체 추적 장치
본 발명이 속하는 기술 분야는 동영상 객체 추적 장치에 관한 것이다. 본 연구는 과학기술정보통신부의 지원을 받아 수행된 차세대정보 컴퓨팅기술개발(R＆D)의 딥러닝 기반 의미론적 상황 이해 원천기술 연구와 관련된다(No. NRF-2017M3C4A706937022).
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
기존의 동영상 객체 추적 방식은 크게 두 가지가 있다. 첫번째 프레임에서 박스 레벨 수준으로 주어진 객체의 위치 정보를 사용하여 객체의 이동을 추적하는 방법으로 박스 레벨의 수준으로만 추적하는 방식이 있고, 픽셀 레벨의 수준으로 객체 영역을 입력받고 픽셀 레벨의 수준으로 객체를 추적하는 방식이 있다.
픽셀 레벨의 수준으로 객체의 이동을 추적하기 위해선 첫번째 프레임에서 픽셀 레벨의 객체 정보를 입력하는데, 픽셀 레벨의 객체의 위치를 수동으로 나타내기 위해선 엄청난 노동력을 필요로 한다.
(특허문헌1) 한국공개특허공보 제10-2019-0039384호 (2019.04.11)
(특허문헌2) 한국공개특허공보 제10-2019-0080904호 (2019.07.08)
(특허문헌3) 한국공개특허공보 제10-2019-0041923호 (2019.04.23)
본 발명의 실시예들은 핵심 객체 검출(SOD) 모델과 동영상 객체 분할(VOS) 모델을 결합한 동영상 객체 추적 모델로, 핵심 객체 검출(SOD) 모델을 통해 후보 객체의 픽셀 영역을 설정하고 경계 박스를 이용하여 후보 객체의 픽셀 영역을 필터링하는 방식으로 픽셀 레벨 단위로 동영상의 객체를 추적하는 모델의 초기 정보를 설정하여, 경계 박스의 내부에 존재하는 객체 영역에 대한 픽셀 레벨 단위로 객체 영역을 정확하게 추적하는 데 주된 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
본 실시예의 일 측면에 의하면, 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 동영상 객체 추적 장치에 있어서, 상기 프로세서는 기준 프레임로부터 핵심 객체 검출(Salient Object Detection, SOD) 모델을 통해 후보 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보를 추출하고, 상기 프로세서는 상기 후보 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보 중에서 대상 객체에 대한 경계 레벨의 위치 정보를 기준으로 상기 대상 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보로 변환하고, 상기 프로세서는 복수의 프레임에 대해서 동영상 객체 분할(Video Object Segmentation, VOS) 모델을 통해 상기 대상 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보를 추적하는 것을 특징으로 하는 동영상 객체 추적 장치를 제공한다.
상기 경계 레벨은 바운딩 박스로 설정되며, 상기 경계 레벨의 위치 정보는 상기 바운딩 박스에서 대각에 위치하는 2 개의 지점을 포함할 수 있다.
상기 핵심 객체 검출 모델은 핵심 객체 맵을 출력할 수 있다.
상기 프로세서는 상기 핵심 객체 맵에 대해서 상기 경계 레벨의 외부에 존재하는 후보 객체를 필터링할 수 있다.
상기 프로세서는 상기 경계 레벨의 내부에 존재하는 후보 객체가 복수이면, 상기 후보 객체의 크기 및 위치를 기준으로 하나의 객체를 선택할 수 있다.
상기 프로세서는 상기 경계 레벨의 내부에 존재하는 후보 객체가 복수이면, 상기 복수의 프레임을 시간 순서의 정방향 또는 역방향으로 이동하여 상기 경계 레벨의 내부에 하나의 객체가 존재하는 프레임을 선별하고 상기 기준 프레임으로 설정할 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 핵심 객체 검출(SOD) 모델과 동영상 객체 분할(VOS) 모델을 결합한 동영상 객체 추적 모델로, 핵심 객체 검출(SOD) 모델을 통해 후보 객체의 픽셀 영역을 설정하고 경계 박스를 이용하여 후보 객체의 픽셀 영역을 필터링하는 방식으로 픽셀 레벨 단위로 동영상의 객체를 추적하는 모델의 초기 정보를 설정하여, 경계 박스의 내부에 존재하는 객체 영역에 대한 픽셀 레벨 단위로 객체 영역을 정확하게 추적할 수 있는 효과가 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 동영상 객체 추적 장치를 예시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 동영상 객체 추적 장치의 동작을 예시한 흐름도이다.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 동영상 객체 추적 장치의 동영상 객체 추적 모델을 예시한 도면이다.
도 8 내지 도 10은 본 발명의 실시예들에 따라 수행된 모의실험 결과를 도시한 것이다.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
기존의 동영상 객체 추적 방식은 첫번째 프레임에서 박스 레벨로 객체의 위치가 주어지면 박스 레벨로만 추적이 가능하고, 첫번째 프레임에서 픽셀 레벨로 객체의 위치가 주어지면 픽셀 레벨로만 추적이 가능하다.
픽셀 레벨로 객체의 위치를 표현하기 위해선 많은 노동력이 필요하지만 박스 레벨로 객체의 위치를 표현하는 것은 상대적으로 용이하다.
본 실시예에 따른 동영상 객체 추적 장치는 동영상에서 추적하려는 객체의 정보를 기준 프레임에서 박스 레벨로 주어지면, 기준 프레임에 대한 픽셀 레벨을 추적 모델에 제공하여 나머지 프레임에서 픽셀 레벨로 객체의 위치를 추적한다.
본 실시예에 따른 동영상 객체 추적 장치는 핵심 객체 검출(SOD) 모델과 동영상 객체 분할(VOS) 모델을 결합한 동영상 객체 추적 모델로, 핵심 객체 검출(SOD) 모델을 통해 후보 객체의 픽셀 영역을 설정하고 경계 박스를 이용하여 후보 객체의 픽셀 영역을 필터링하는 방식으로 픽셀 레벨 단위로 동영상의 객체를 추적하는 모델의 초기 정보를 설정하여, 경계 박스의 내부에 존재하는 객체 영역에 대한 픽셀 레벨 단위로 객체 영역을 정확하게 추적한다.
도 1은 본 발명의 일 실시예에 따른 동영상 객체 추적 장치를 예시한 블록도이다.
동영상 객체 추적 장치(110)는 적어도 하나의 프로세서(120), 컴퓨터 판독 가능한 저장매체(130) 및 통신 버스(170)를 포함한다.
프로세서(120)는 동영상 객체 추적 장치(110)로 동작하도록 제어할 수 있다. 예컨대, 프로세서(120)는 컴퓨터 판독 가능한 저장 매체(130)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(120)에 의해 실행되는 경우 동영상 객체 추적 장치(110)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능한 저장 매체(130)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(130)에 저장된 프로그램(140)은 프로세서(120)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체(130)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 동영상 객체 추적 장치(110)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(170)는 프로세서(120), 컴퓨터 판독 가능한 저장 매체(140)를 포함하여 동영상 객체 추적 장치(110)의 다른 다양한 컴포넌트들을 상호 연결한다.
동영상 객체 추적 장치(110)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(150) 및 하나 이상의 통신 인터페이스(160)를 포함할 수 있다. 입출력 인터페이스(150) 및 통신 인터페이스(160)는 통신 버스(170)에 연결된다. 입출력 장치는 입출력 인터페이스(150)를 통해 동영상 객체 추적 장치(110)의 다른 컴포넌트들에 연결될 수 있다.
동영상 객체 추적 장치(110)는 먼저 기준 프레임에서 주어진 박스 레벨의 객체 정보를 추적하고자 하는 객체의 위치 정보를 핵심 객체 검출 (Salient Object Detection, SOD) 모델을 통해 픽셀 레벨의 객체 위치 정보로 변환한다. 다음으로, 동영상 객체 분할(Video Object Segmentation, VOS) 모델을 통해 픽셀 레벨의 객체 이동 추적을 진행한다.
도 2는 본 발명의 일 실시예에 따른 동영상 객체 추적 장치의 동작을 예시한 흐름도이다. 동영상 객체 추적 방법은 동영상 객체 추적 장치 또는 컴퓨팅 디바이스 등에 의해 수행될 수 있다.
단계 S210에서 프로세서는 기준 프레임로부터 핵심 객체 검출(Salient Object Detection, SOD) 모델을 통해 후보 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보를 추출한다.
단계 S220에서 프로세서는 후보 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보 중에서 대상 객체에 대한 경계 레벨의 위치 정보를 기준으로 대상 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보로 변환한다. 경계 레벨은 바운딩 박스로 설정되며, 경계 레벨의 위치 정보는 바운딩 박스에서 대각에 위치하는 2 개의 지점을 포함한다.
픽셀 레벨의 위치 정보로 변환하는 단계(S220)에서 프로세서는 경계 레벨의 외부에 존재하는 후보 객체를 필터링할 수 있다. 프로세서는 경계 레벨의 내부에 존재하는 후보 객체가 복수이면, 후보 객체의 크기 및 위치를 기준으로 하나의 객체를 선택할 수 있다. 프로세서는 경계 레벨의 내부에 존재하는 후보 객체가 복수이면, 복수의 프레임을 시간 순서의 정방향 또는 역방향으로 이동하여 경계 레벨의 내부에 하나의 객체가 존재하는 프레임을 선별하고 기준 프레임으로 설정할 수 있다.
단계 S230에서 프로세서는 복수의 프레임에 대해서 동영상 객체 분할(Video Object Segmentation, VOS) 모델을 통해 대상 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보를 추적한다.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 동영상 객체 추적 장치의 동영상 객체 추적 모델을 예시한 도면이다.
도 3을 참조하면, 동영상 객체 추적 장치는 핵심 객체 검출(Salient Object Detection, SOD) 모델 및 동영상 객체 분할(Video Object Segmentation, VOS) 모델을 포함할 수 있다.
도 4를 참조하면, 핵심 객체 검출(SOD) 모델은 RGB 이미지를 입력받고, 핵심 객체의 위치를 픽셀 레벨로 출력한다.
핵심 객체 검출(SOD)은 이미지 속에서 가장 핵심적이고 주의를 끄는 객체를 찾아내어 해당 객체의 전체 범위를 분리한다. 이미지 속에서 픽셀들이 핵심 객체에 속할 확률을 인텐시티 값으로 표현한 핵심 객체 맵을 출력한다.
핵심 객체 검출(SOD) 모델은 배경으로부터 핵심 객체를 검출해내는 것이며 일반적인 객체 검출(Object Detection) 및 객체 분리(Object Segmentation)와 상이하다. 객체 검출(Object Detection)은 이미지 속에 존재하는 모든 물체들의 위치를 바운드 박스 형태로 찾아내고 각각의 객체가 어떤 유형인지 클래스를 분류하는 것이고, 객체 분리(Object Segmentation)는 이미지 속에서 의미있는 단위로 동일한 유형의 물체끼리 분할한다.
핵심 객체 검출(SOD) 모델은 영상으로부터 영역 특징 벡터를 추출할 수 있다. 핵심 객체 검출(SOD) 모델은 필터를 적용하여 특징 벡터를 추출하는 레이어를 포함한다. 레이어는 특징을 추출하는 컨볼루션 레이어(Convolution Layer)와 대표 특징을 선택하여 서브 샘플링을 수행하는 풀링 레이어(Pooling Layer)를 포함할 수 있다.
핵심 객체 검출(SOD) 모델은 컨볼루션 필터를 공유할 수 있고, 레이어는 파라미터를 포함할 수 있고, 레이어의 파라미터는 학습가능한 필터 집합을 포함한다. 파라미터는 노드 간의 가중치(ω) 및/또는 바이어스(b)를 포함할 수 있다.
핵심 객체 검출(SOD) 모델은 컨볼루션 필터를 포함하는 복수의 레이어가 연결된 네트워크이며, 이전 레이어에서 다음 레이어로 값이 전달되기 전에 통과하는 활성화 함수를 포함할 수 있다.
핵심 객체 검출(SOD) 모델은 컨볼루션(Convolution) 연산과 서브 샘플링(Subsampling)을 반복적으로 수행하면서 마지막 층은 완전 연결(Fully-connected)층으로 주어진 입력을 분류할 수 있다. 핵심 객체 검출(SOD) 모델은 복수의 컨볼루션 레이어와 복수의 서브 샘플링 레이어, 및 완전 연결 레이어로 구성될 수 있다. 컨볼루션 레이어는 학습 가능한 여러 종류의 필터들을 이용하여 영상에서 특징을 추출하고, 서브 샘플링 레이어는 컨볼루션 레이어에서 검출된 특징의 부분적인 이동 변환에 영향이 없도록 샘플링하는 과정으로서 해상도를 줄여주는 역할도 한다.
핵심 객체 검출(SOD) 모델은 이미지 전체에서 등장하는 객체에 대한 픽셀 레벨 위치를 표현하므로 관심 영역 내의 객체만 찾도록 한정할 필요가 있다.
도 5를 참조하면, 입력된 경계 레벨의 위치 정보를 기준으로 필터링하여 관심 영역 부분의 픽셀 레벨 위치만을 획득할 수 있다.
도 6을 참조하면, 객체 추적의 대상이 되는 데이터는 동영상으로 프레임에 따라 경계 레벨(30)에서 여러 객체(10, 20)가 등장할 수 있다. 하나의 객체에 대한 위치만 픽셀 레벨로 찾도록 하는 과정이 필요하다. 후보 객체의 크기 및 위치를 기준으로 하나의 객체를 선택하거나, 복수의 프레임을 시간 순서의 정방향 또는 역방향으로 이동하여 경계 레벨의 내부에 하나의 객체가 존재하는 프레임을 선별하고 기준 프레임으로 설정할 수 있다
박스 레벨 객체 위치 정보를 픽셀 레벨 객체 위치 정보로 변환하므로 동영상 객체 분할(VOS) 모델을 사용하여 픽셀 레벨 객체 이동 추적이 가능하다.
동영상 객체 분할(VOS) 모델은 동영상에서 찾고자 하는 물체를 배경으로부터 분리한다. 동영상 객체 분할(VOS) 모델은 학습된 네트워크 구조로 구현될 수 있다.
도 7은 동영상 객체 분할(VOS) 모델의 예시이며, 파란색 2D CNN의 입력으로 들어가는 것이 객체의 위치를 찾고자 하는 프레임이다. 주황색 2D CNN의 입력으로 들어가는 이미지와 픽셀 레벨 객체 위치 정보는 찾으려는 객체의 정보가 담긴 이전 프레임들이다. 탐색 모듈을 통해 주황색 2D CNN에서 추출된 특징와 파란색 2D CNN에서 추출된 특징 간의 매칭을 통해 찾으려는 객체가 어디에 있는지 찾는 특징이 추출된다. 특징이 최종적으로 Deconv를 통해 해석되어 대상 이미지에 존재하는 찾으려는 객체의 위치 정보가 픽셀 레벨로 출력된다.
도 8 내지 도 10은 본 발명의 실시예들에 따라 수행된 모의실험 결과를 도시한 것이다.
도 8은 브레이크댄스에 관한 객체를 추적한 것이고 도 9는 검은 스쿠터에 관한 객체를 추적한 것이다.
각 도면에서 맨 왼쪽의 이미지는 첫번째 프레임의 이미지이고, 찾으려는 객체의 위치에 박스 레벨의 정보를 입력한다. 'Box'에 대한 실험 결과에서 볼 수 있듯이 이는 시간이 지날수록 객체 위치의 박스 크기가 커져 높은 에러율을 보인다. 'SOD'에 대한 결과를 보면 다른 객체들도 함께 찾아내어 추적하려는 객체 외에 다른 객체도 추적하게 된다. 'SOD+Box'는 정확한 추적 결과를 보인다.
도 11은 데이터 세트를 테스트한 정량적 평가 결과이다.
J는 추적 결과가 실제 정답과 겹치는 영역이 얼마나 되는지를 나타내는 지표이며, 수학식 1과 같이 계산된다.
Figure PCTKR2020005383-appb-M000001
M은 모델이 예측한 추적 결과이며, G는 실제 정답에 해당하는 객체 위치이다.
F는 추적 결과에 대한 경계 정보가 실제 정답에 해당하는 경계 정보와 얼마나 일치하는지를 나타내는 지표이며, 수학식 2와 같이 계산된다.
Figure PCTKR2020005383-appb-M000002
c는 픽셀 레벨 위치 정보의 닫힌 경계(Closed Contours)라고 할 때, Pc는 c(M)과 c(G)의 정밀도(Precision), Rc는 c(M)과 c(G)의 재현율(Recall) 이다.
J&F는 J와 F에 대한 결과 값의 평균이다. 박스 레벨의 정보만 제공하였음에도 정확한 결과 수치를 나타낸다.
동영상 객체 추적 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.
동영상 객체 추적 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.
도 2에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (5)

  1. 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 동영상 객체 추적 장치에 있어서,
    상기 프로세서는 기준 프레임로부터 핵심 객체 검출(Salient Object Detection, SOD) 모델을 통해 후보 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보를 추출하고,
    상기 프로세서는 상기 후보 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보 중에서 대상 객체에 대한 경계 레벨의 위치 정보를 기준으로 상기 대상 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보로 변환하고,
    상기 프로세서는 복수의 프레임에 대해서 동영상 객체 분할(Video Object Segmentation, VOS) 모델을 통해 상기 대상 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보를 추적하는 것을 특징으로 하는 동영상 객체 추적 장치.
  2. 제1항에 있어서,
    상기 경계 레벨은 바운딩 박스로 설정되며, 상기 경계 레벨의 위치 정보는 상기 바운딩 박스에서 대각에 위치하는 2 개의 지점을 포함하는 것을 특징으로 하는 동영상 객체 추적 장치.
  3. 제1항에 있어서,
    상기 핵심 객체 검출 모델은 핵심 객체 맵을 출력하고,
    상기 프로세서는 상기 핵심 객체 맵에 대해서 상기 경계 레벨의 외부에 존재하는 후보 객체를 필터링하는 것을 특징으로 하는 동영상 객체 추적 장치.
  4. 제1항에 있어서,
    상기 프로세서는 상기 경계 레벨의 내부에 존재하는 후보 객체가 복수이면, 상기 후보 객체의 크기 및 위치를 기준으로 하나의 객체를 선택하는 것을 특징으로 하는 동영상 객체 추적 장치.
  5. 제1항에 있어서,
    상기 프로세서는 상기 경계 레벨의 내부에 존재하는 후보 객체가 복수이면, 상기 복수의 프레임을 시간 순서의 정방향 또는 역방향으로 이동하여 상기 경계 레벨의 내부에 하나의 객체가 존재하는 프레임을 선별하고 상기 기준 프레임으로 설정하는 것을 특징으로 하는 동영상 객체 추적 장치.
PCT/KR2020/005383 2020-03-11 2020-04-23 박스 레벨의 객체 위치 정보를 사용한 픽셀 레벨의 동영상 객체 추적 장치 WO2021182671A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0030214 2020-03-11
KR1020200030214A KR20210114728A (ko) 2020-03-11 2020-03-11 박스 레벨의 객체 위치 정보를 사용한 픽셀 레벨의 동영상 객체 추적 장치

Publications (1)

Publication Number Publication Date
WO2021182671A1 true WO2021182671A1 (ko) 2021-09-16

Family

ID=77671890

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/005383 WO2021182671A1 (ko) 2020-03-11 2020-04-23 박스 레벨의 객체 위치 정보를 사용한 픽셀 레벨의 동영상 객체 추적 장치

Country Status (2)

Country Link
KR (1) KR20210114728A (ko)
WO (1) WO2021182671A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160379061A1 (en) * 2012-09-12 2016-12-29 Avigilon Fortress Corporation Methods, devices and systems for detecting objects in a video
US9946960B1 (en) * 2017-10-13 2018-04-17 StradVision, Inc. Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
KR20180093402A (ko) * 2017-02-13 2018-08-22 한국전자통신연구원 다수 객체 추적 시스템 및 이의 객체 추적 방법
KR20190080904A (ko) * 2016-11-01 2019-07-08 스냅 인코포레이티드 이미지 내의 객체 검출을 위한 신경망
KR20190110259A (ko) * 2018-03-20 2019-09-30 한국전자통신연구원 객체 추적을 이용한 객체 탐지 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10037610B1 (en) 2017-10-03 2018-07-31 StradVision, Inc. Method for tracking and segmenting a target object in an image using Markov Chain, and device using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160379061A1 (en) * 2012-09-12 2016-12-29 Avigilon Fortress Corporation Methods, devices and systems for detecting objects in a video
KR20190080904A (ko) * 2016-11-01 2019-07-08 스냅 인코포레이티드 이미지 내의 객체 검출을 위한 신경망
KR20180093402A (ko) * 2017-02-13 2018-08-22 한국전자통신연구원 다수 객체 추적 시스템 및 이의 객체 추적 방법
US9946960B1 (en) * 2017-10-13 2018-04-17 StradVision, Inc. Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
KR20190110259A (ko) * 2018-03-20 2019-09-30 한국전자통신연구원 객체 추적을 이용한 객체 탐지 장치 및 방법

Also Published As

Publication number Publication date
KR20210114728A (ko) 2021-09-24

Similar Documents

Publication Publication Date Title
WO2021085848A1 (ko) 강화학습 기반 신호 제어 장치 및 신호 제어 방법
WO2019132589A1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
JP5775225B2 (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN112949507A (zh) 人脸检测方法、装置、计算机设备及存储介质
KR101963404B1 (ko) 2-단계 최적화 딥 러닝 방법, 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 및 딥 러닝 시스템
Wan et al. A novel neural network model for traffic sign detection and recognition under extreme conditions
WO2021071288A1 (ko) 골절 진단모델의 학습 방법 및 장치
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
CN113808098A (zh) 道路病害识别方法、装置、电子设备及可读存储介质
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
WO2021153861A1 (ko) 다중 객체 검출 방법 및 그 장치
JP7119197B2 (ja) 車線属性検出
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN111832515A (zh) 一种密集行人检测方法、介质、终端和装置
CN111428740A (zh) 网络翻拍照片的检测方法、装置、计算机设备及存储介质
CN112633114B (zh) 面向建筑物变化事件的无人机巡查智能预警方法和装置
WO2021182671A1 (ko) 박스 레벨의 객체 위치 정보를 사용한 픽셀 레벨의 동영상 객체 추적 장치
Wu et al. Real-time vehicle color recognition based on yolo9000
CN113205507A (zh) 一种视觉问答方法、系统及服务器
Moseva et al. Development of a System for Fixing Road Markings in Real Time
CN109034171B (zh) 视频流中的无牌车辆检测方法和装置
CN116580324A (zh) 一种基于YOLOv5的无人机对地目标检测方法
CN111292331A (zh) 图像处理的方法与装置
CN114550016B (zh) 一种基于上下文信息感知的无人机定位方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20924507

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20924507

Country of ref document: EP

Kind code of ref document: A1