KR102608115B1 - 궤적 단위의 어노테이션 설정 시스템 - Google Patents

궤적 단위의 어노테이션 설정 시스템 Download PDF

Info

Publication number
KR102608115B1
KR102608115B1 KR1020220028830A KR20220028830A KR102608115B1 KR 102608115 B1 KR102608115 B1 KR 102608115B1 KR 1020220028830 A KR1020220028830 A KR 1020220028830A KR 20220028830 A KR20220028830 A KR 20220028830A KR 102608115 B1 KR102608115 B1 KR 102608115B1
Authority
KR
South Korea
Prior art keywords
trajectory
attribute information
annotation
bounding box
annotation setting
Prior art date
Application number
KR1020220028830A
Other languages
English (en)
Other versions
KR20230088209A (ko
Inventor
김승훈
서용혁
이승원
이호영
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of KR20230088209A publication Critical patent/KR20230088209A/ko
Application granted granted Critical
Publication of KR102608115B1 publication Critical patent/KR102608115B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 대상객체의 위치에 바운딩박스가 생성된 영상에 대해 어노테이션을 신속하고 효율적으로 설정하는 시스템에 관한 것으로서, 본 발명은 정보를 표시하는 표시부; 상기 영상을 구성하는 복수의 프레임 중 적어도 하나의 연속된 프레임에서 상기 바운딩박스의 특정 위치를 연결하는 궤적을 생성하여 궤적객체로 등록하는 궤적생성부; 상기 궤적객체의 속성정보를 입력받고, 상기 입력된 속성정보를 기반으로 모든 프레임 내 상기 궤적객체와 연관된 바운딩박스의 속성정보를 일괄적으로 설정하는 어노테이션 설정부를 포함한다.

Description

궤적 단위의 어노테이션 설정 시스템{A SYSTEM FOR SETTING ANNOTATIONS IN UNITS OF TRAJECTORIES}
본 발명은 영상에 대한 어노테이션을 설정하는 시스템에 관한 것으로서, 보다 상세하게는 영상에 대한 어노테이션을 효율적이고 신속하게 설정하기 위한 시스템에 관한 것이다.
감시 체계 시스템에서는 특정 카메라에서 관측된 특정 인물을 다른 시점 혹은 다른 카메라에서 관측된 해당 인물과 매칭하는 사람 재식별(Person Re-Identification)기술이 요구된다. 이러한 사람 재식별 모델 학습을 위해 비디오 데이터에 대한 주석을 생성할 수 있는 비디오 주석 도구가 필요하다.
일반적으로 비디오 데이터는 초당 수십 프레임의 이미지로 구성되어 있다. 이미지 각각에 대해 주석 작업을 수행하는 데에는 많은 시간과 노력이 필요하다.
이를 해결하기 위해, 인공지능을 기반으로 어노테이션을 자동으로 생성하는 기술이 등장하였다. 하지만 자동으로 어노테이션을 생성하는 기술은 프레임 한장마다 어노테이션 생성 작업을 수행하기 때문에, 수 만장 이상을 포함하는 동영상에 대해 어노테이션 생성 작업은 비교적 오랜 시간이 걸리는 문제가 존재한다
또한 인공지능 기반 모델이 충분히 학습되기 전까지는 해당 모델에 의해 부정확한 어노테이션이 생성될 수 있으므로, 사람의 개입에 의한 수정이 필요할 수 있다. 어노테이션 수정작업의 경우, 작업자가 프레임 각각에 대해 생성된 어노테이션을 수정해야 하므로, 많은 시간과 노력이 필요하다.
상기와 같은 문제를 해결하기 위해, 본 발명은 영상에 대해 신속하고 효율적으로 어노테이션을 설정할 수 있는 시스템을 제공하는 데 그 목적이 있다.
본 발명의 실시예에 따른 대상객체의 위치에 바운딩박스가 생성된 영상에 대한 어노테이션을 설정하는 시스템은, 정보를 표시하는 표시부; 상기 영상을 구성하는 복수의 프레임 중 적어도 하나의 연속된 프레임에서 상기 바운딩박스의 특정 위치를 연결하는 궤적을 생성하여 궤적객체로 등록하는 궤적생성부; 상기 궤적객체의 속성정보를 입력받고, 상기 입력된 속성정보를 기반으로 모든 프레임 내 상기 궤적객체와 연관된 바운딩박스의 속성정보를 일괄적으로 설정하는 어노테이션 설정부를 포함한다.
또한 실시예에 있어서, 상기 어노테이션 설정부는, 상기 궤적객체와 상기 바운딩박스를 포함하는 객체화면창을 상기 표시부에 출력하고, 상기 객체화면창에 상기 궤적객체 상에 상기 궤적객체와 연관된 적어도 하나의 바운딩박스를 중첩하여 표시한다.
또한 실시예에 있어서, 상기 어노테이션 설정부는, 상기 궤적객체를 표시하는 객체화면창을 상기 표시부에 출력하고, 상기 객체화면창에 표시된 특정 궤적객체가 사용자에 의해 선택되는 경우, 상기 선택된 궤적객체에 대한 속성정보를 입력받거나 입력된 속성정보를 표시하는 속성정보창을 더 출력한다.
또한 실시예에 있어서, 상기 어노테이션 설정부는, 상기 궤적객체를 표시하는 객체화면창과, 상기 영상에 대한 타임라인을 표시부에 출력하고, 상기 객체화면창에 표시된 특정 궤적객체가 사용자에 의해 선택되는 경우, 상기 어노테이션 설정부는 상기 타임라인에서 상기 궤적객체가 존재하는 시간구간에 해당되는 부분을 상기 궤적객체의 색과 동일한 색으로 표시한다.
또한 실시예에 있어서, 상기 영상이 복수인 경우, 상기 영상의 수에 대응되는 복수의 타임라인을 시간축에 일치시켜 출력한다.
또한 실시예에 있어서, 상기 어노테이션 설정부는, 상기 궤적객체와 상기 바운딩박스를 포함하는 객체화면창을 상기 표시부에 출력하고, 선택된 궤적객체가 다른 궤적객체와 교차된 교차지점을 포함하는 경우, 상기 선택된 궤적객체를 상기 교차지점을 기준으로 복수의 부분궤적객체로 구분하고, 복수의 부분궤적객체 각각에 대해 부분궤적객체 단위로 속성정보를 편집한다.
본 발명에 따르면, 프레임 단위가 아닌 궤적 단위로 어노테이션 편집작업을 수행함으로써, 어노테이션 편집작업을 더욱 신속하고 효율적으로 수행할 수 있다.
도 1은 본 발명의 실시예에 따른 영상에 대한 어노테이션 설정시스템을 설명하기 위한 도면이다.
도 2는 도 1에 도시된 궤적생성부에 의해 영상 내 궤적객체가 형성된 상태를 설명하기 위한 도면이다
도 3은 도 1에 도시된 객체화면창에서 궤적객체의 선택과정을 설명하는 방법을 설명하기 위한 도면이다.
도 4는 궤적객체의 속성정보편집과 관련된 속성정보입력창을 설명하기 위한 도면이다.
도 5는 궤적객체에 대한 속성정보 편집과정이 완료된 상태에서의 객체화면창을 설명하기 위한 도면이다.
도 6은 궤적객체수정화면을 설명하기 위한 도면이다.
도 7은 궤적객체의 경로 편집과정을 설명하기 위한 도면이다.
도 8은 노드의 속성정보 편집과정을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 영상에 대한 궤적 단위의 어노테이션 설정방법을 설명하기 위한 도면이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 따른 영상에 대한 어노테이션 설정시스템을 설명한다.
도 1은 본 발명의 실시예에 따른 영상에 대한 궤적단위의 어노테이션 설정시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 어노테이션 설정 시스템(100)은, 표시부(110), 입력부(120), 영상로드부(130), 바운딩박스 생성부(140), 궤적생성부(150), 어노테이션 설정부(160)를 포함한다.
표시부(110)는 어노테이션 작업과 관련된 정보를 표시하고, 사용자인터페이스를 제공한다.
입력부(120)는 외부단말 또는 사용자로부터 영상을 비롯한 데이터를 수신 및 저장하고, 데이터를 영상로드부(130)로 전송한다.
여기서 데이터는 프로젝트 정보, 카메라 관련 정보, 영상, 영상 관련 정보를 포함할 수 있다. 또한 카메라 관련 정보는 카메라 위치 정보, 카메라 식별 정보, 카메라 화각 정보, 카메라에 의해 촬영되는 공간의 위치좌표, 카메라와 중복되는 공간을 촬영하는 다른 중복카메라의 식별 정보, 중복카메라와 중복되는 공간의 중복위치좌표 중 적어도 하나를 포함할 수 있다. 그리고 동영상 관련 정보는 동영상 파일명, 동영상 생성날짜 및 시간 정보, 동영상 해상도 정보, 동영상 생성자 정보 중 적어도 하나를 포함할 수 있다.
영상로드부(130)는 입력부(120)로부터 입력받은 영상을 프레임 단위로 분할하여 로딩한다. 이때 영상은 복수 프레임으로 구성되며, 여기서 프레임은 정지화면에서 보이는 이미지 한 장을 의미한다.
바운딩박스 생성부(140)는 영상로드부(130)에 의해 로드된 모든 프레임에 대해 인공지능 모델을 이용하여 객체탐지 및 트랙킹을 수행하여, 대상객체를 인식하고 대상객체에 대해 바운딩박스를 생성한다.
객체는 자동차, 자전거 또는 사람처럼 움직이는 물체가 될 수 있으며, 본 실시예에서는 사람을 의미할 수 있다. 또한, 객체인식은 옷의 색깔, 형태, 크기 등의 특징점을 추출 및 비교에 의해 수행되거나, CNN, YOLO와 같은 딥러닝 기술에 의해 수행될 수 있다.
바운딩박스는 일반적으로 사각형의 형태로 형성될 수 있으나, 오각형, 육각형 등의 다각형 또는 타원형, 원형 등으로도 형성될 수도 있다.
도 2는 도 1에 도시된 궤적생성부(150)에 의해 영상 내 궤적객체가 형성된 상태를 설명하기 위한 도면이다.
도 2를 참조하면, 궤적생성부(150)는 영상을 구성하는 복수의 프레임 중 적어도 하나의 연속된 프레임에서 서로 동일하다고 판단되는 바운딩박스의 노드를 연결하여 궤적을 형성하고, 궤적을 객체로 등록하여 궤적객체를 형성한다.
궤적객체는 대상객체의 수에 대응되는 수로 구비될 수 있으며, 궤적객체는 다른 궤적객체와 서로 교차할 수도 있다.
본 발명의 경우, 입력부(120)가 바운딩박스가 형성되지 않은 영상을 수신하고, 바운딩박스 생성부(140)가 대상객체를 인식하여 대상객체에 대해 바운딩박스를 형성하고, 궤적생성부(150)가 바운딩박스에 기반하여 궤적을 생성하는 구성을 포함하나, 이에 제한되는 것은 아니다.
상기와 달리 본 발명의 바운딩박스 생성부(140)는 바운딩박스를 사용자로부터 입력받을 수도 있다. 또한 발명은 입력부(120)가 바운딩박스가 미리 형성된 영상을 수신하고, 궤적생성부(150)가 궤적객체를 형성할 수도 있다.
궤적생성부(150)는 기준프레임과, 기준프레임의 이전프레임에서의 바운딩박스 영역의 중첩정도를 기반으로 연속된 프레임에서 바운딩박스의 동일성 여부를 판단하고 연속된 프레임 상에서 해당 바운딩박스의 이동경로인 궤적객체를 생성할 수 있다. 또는 상기와 달리 궤적생성부(150)는 연속된 프레임에서 바운딩박스 내의 대상객체의 동일성을 직접적으로 판단함으로써 바운딩박스의 궤적객체를 생성할 수도 있다.
여기서 바운딩박스의 노드는, 바운딩박스의 중심점을 의미한다. 즉, 궤적객체는 연속된 프레임에서 동일한 바운딩박스의 중심점의 시간에 따른 이동경로인 궤적을 하나의 객체로 나타낸 것이다.
어노테이션 설정부(160)는 궤적객체에 대한 속성정보를 입력받고, 상기 궤적객체의 속성정보를 해당 모든 프레임에서 상기 궤적객체와 연관된 모든 바운딩박스의 속성정보에 일괄적으로 적용한다. 이때 하나의 궤적객체에 포함된 모든 바운딩박스의 객체아이디는 동일하게 설정될 수 있다.
또한 어노테이션 설정부(160)는 표시부(110)를 통해 사용자 인터페이스를 제공한다. 사용자 인터페이스는 궤적객체 자체의 분할 및 생성/수정/삭제 기능, 궤적객체에 대한 라벨 및 속성정보 생성/수정/삭제기능, 특정 프레임에서의 바운딩박스의 노드에 대한 라벨 및 속성정보 생성/수정/삭제 기능을 제공한다.
도 3은 도 1에 도시된 객체화면창에서 궤적객체의 선택과정을 설명하는 방법을 설명하기 위한 도면이고, 도 4는 궤적객체의 속성정보편집과 관련된 속성정보입력창을 설명하기 위한 도면이다. 그리고 도 5는 궤적객체에 대한 속성정보 편집과정이 완료된 상태에서의 객체화면창을 설명하기 위한 도면이고, 도 6은 궤적객체수정화면을 설명하기 위한 도면이고, 도 7은 궤적객체의 경로 편집과정을 설명하기 위한 도면이다.
도 5를 참조하면, 어노테이션 설정부(160)는 복수의 프레임 내 바운딩박스 및 궤적객체를 표시가능한 객체화면창(W1)과, 이외의 다양한 편집화면을 표시부(110)를 통해 출력한다.
어노테이션 설정부(160)는 객체화면창(W1)에 궤적객체를 표시하되, 궤적객체의 시작 지점 및 마지막 지점 각각에 해당되는 프레임 내 궤적객체와 연관된 바운딩박스를 궤적객체 상에 표시할 수 있다.
어노테이션 설정부(160)는 사용자에 의한 궤적객체의 선택 또는 궤적객체 상의 노드의 선택이 용이하도록 궤적객체 선택모드, 노드 선택모드를 제공할 수 있다. 궤적객체 선택모드에서는 객체화면창(W1) 상에서 궤적객체만이 선택될 수 있고, 노드 선택모드에서는 객체화면창(W1) 상에서 노드만 또는 노드도 선택 가능하게 된다.
이하 어노테이션 설정부(160)의 어노테이션 생성/편집/삭제 기능을 설명한다.
궤적객체 선택모드가 선택되고, 객체화면창(W1) 내에서 사용자가 특정 궤적객체를 선택한 경우의 어노테이션 설정부(160)의 동작을 살펴본다.
도 3과 같이, 객체화면창(W1)에서 특정 궤적객체가 선택되면, 어노테이션 설정부(160)는 객체화면창(W1)에서 선택된 궤적객체 주변에 “edit label”과 같은 속성정보 편집버튼과, “edit path”와 같은 궤적객체 경로편집버튼 등의 궤적과 관련된 기능을 선택할 수 있는 버튼들을 팝업시킬 수 있다.
이때 “edit label”과 같은 속성정보 편집버튼이 선택되면, 어노테이션 설정부(160)는, 선택된 특정 궤적객체에 대한 도 4와 같은 속성정보창(W2)을 표시부(110)를 통해 출력할 수 있다.
속성정보창(W2)은 사용자에 의해 선택된 궤적객체에 대한 속성정보를 표시하며, 속성정보는 사용자에 의해 입력/수정/삭제될 수 있다. 이때 특정 궤적객체에 대한 속성정보창(W2)에 속성정보가 입력되거나 수정되거나 삭제되는 경우, 해당 궤적객체와 연관된 모든 프레임 내 바운딩박스의 속성정보가 일괄적으로 입력되거나 수정되거나 삭제된다.
예를 들어, 도 4와 같이 특정 궤적객체에 대한 속성정보로서 “ID:1, hairstyle: aaron_kwok, haircolor: lime, top: raincoat, color of top: yellow, bottom:jeans, color of bottom: blue”를 입력하면, 도 5와 같이 속성정보가 입력된 궤적객체와 연관된 모든 프레임 내 바운딩박스의 속성정보도 “ID:1, hairstyle: aaron_kwok, haircolor: lime, top: raincoat, color of top: yellow, bottom:jeans, color of bottom: blue”로 설정된다.
본 발명에 따르면, 궤적객체에 대한 속성정보를 입력/수정/삭제함으로써, 모든 프레임에서 해당 궤적객체와 연관된 바운딩박스의 속성정보가 일괄적으로 입력/수정/삭제되므로, 프레임마다 바운딩박스 각각에 대한 속성정보를 개별적으로 입력/수정/삭제할 필요가 없어져서 신속하고 효율적인 어노테이션 작업이 가능하게 된다.
도 6은 궤적객체수정화면을 설명하기 위한 도면이다.
도 6을 참조하면, 사용자가 객체화면창(W1) 내에서 특정 궤적객체를 선택하여 궤적객체의 속성정보를 편집하고자 하는 경우, 어노테이션 설정부(160)는 객체화면창창(W1) 및 속성정보창(W2) 외에 궤적객체수정화면(W3)을 추가로 표시부(110)에 출력할 수 있다.
이때 어노테이션 설정부(160)는 궤적객체수정화면(W3)을 통해 바 형태의 영상에 대한 타임라인을 출력하되, 해당 궤적객체가 존재하는 타임라인의 부분을 색을 달리하여 표시할 수 있다. 어노테이션 설정부(160)는 궤적객체수정화면(W3) 내 타임라인의 특정위치가 사용자에 의해 선택 가능하도록 제공하며, 타임라인 상에서 단절된 부분을 연결하거나 연결된 부분을 단절시키는 기능을 제공할 수 있다.
촬영지역의 일부가 중첩되는 서로 다른 카메라에 의해 촬영된 2 이상의 영상에 해당 궤적객체가 존재하는 경우, 표시부(110)는 궤적객체수정화면(W3)을 통해 시간축이 일치된 2 이상의 영상의 타임라인(TL1, TL2)을 출력하고, 해당 궤적객체가 존재하는 각 타임라인(TL1, TL2)의 부분을 색을 해당 궤적객체 또는 바운딩박스의 색과 동일한 색으로 표시될 수 있다. 이에 따라 사용자는 복수의 타임라인을 통해 다중 카메라 환경에서 다중 카메라 화각 내에서 동일한 바운딩박스의 존재 여부를 쉽게 확인할 수 있게 된다.
궤적객체수정화면(W3)에서 타임라인의 강조된 부분 중 특정 시간구간이 선택되는 경우, 어노테이션 설정부(160)는 선택된 특정 시간구간에 대응되는 복수의 프레임 내 바운딩박스 내의 대상객체를 객체화면창창(W1)을 통해 출력할 수 있다. 이에 따라 사용자가 특정 시간구간 내의 바운딩박스의 대상객체를 확인하면서 궤적객체의 속성정보를 수정할 수 있게 된다.
도 7은 궤적객체의 경로편집과정을 설명하기 위한 도면이다.
도 7의 (a)와 같이 객체화면창(W1)에 대상객체가 복수로 존재하는 경우, 2 이상의 궤적객체가 서로 교차할 수 있다. 특히 궤적객체가 서로 교차하는 교차지점에서는 특정 대상객체가 다른 대상객체에 가려지기 때문에, 교차지점 이후의 궤적객체가 서로 바뀌는 교차오류가 발생할 수 있다.
이러한 교차오류를 수정하기 위해, 어노테이션 설정부(160)은 객체화면창(W1) 내에서 사용자가 특정 궤적객체를 선택하여 궤적객체 자체를 편집하는 기능을 포함한다.
궤적객체가 선택되고, “edit path”와 같은 궤적객체 경로편집버튼이 선택되면, 어노테이션 설정부(160)는 교차지점을 기준으로 하나의 궤적객체를 2이상의 부분궤적객체로 분할하고, 부분궤적객체 단위로 궤적객체의 속성정보를 삭제, 복사, 붙여넣기 등의 편집을 수행할 수 있게 한다.
예를 들어, 사용자에 의해 궤적객체의 교차지점이 선택되는 경우, 어노테이션 설정부(160)는 제1 궤적객체를 교차 프레임 이전의 프레임에 의해 형성되는 제1-1 부분궤적객체(1-1)와, 교차 프레임 이후의 프레임에 의해 형성되는 제1-2 부분궤적객체(1-2)로 분할한다. 그리고 어노테이션 설정부(160)는 제2 궤적객체를 대해 교차 프레임 이전의 프레임에 의해 형성되는 제2-1 부분궤적객체(2-1)와, 교차 프레임 이후의 프레임에 의해 형성되는 제2-2 부분궤적객체(2-2)로 분할한다.
그리고 어노테이션 설정부(160)는 도 7의 (a) 및 (b)와 같이 사용자에 의해 선택되는 교차지점 이후의 궤적객체의 속성정보를 초기화하고, 도 7의 (c)와 같이 교차지점 이전의 제1-1 부분궤적객체의 정보를 복사하여 도 7의 (d)와 같이 해당 교차지점 이후의 제1-2 부분궤적객체의 정보로 설정할 수 있다. 또한 어노테이션 설정부(160)는 도 7의 (e)와 같이 교차지점 이전의 제2-1 부분궤적객체의 정보를 복사하여 도 7의 (f)와 같이 해당 교차지점 이후의 제2-2 부분궤적객체의 정보로 설정할 수 있다.
상기 과정에서 어노테이션 설정부(160)는 부분궤적객체가 선택될 때, copy label, paste label등과 같은 궤적객체 편집을 위한 동작버튼을 팝업시킬 수 있다.
도 8은 노드의 속성정보 편집과정을 설명하기 위한 도면이다.
도 8을 참조하면, 노드 선택모드가 선택되고, 객체화면창(W1) 내에서 사용자가 특정 궤적객체 상에서 특정위치를 선택한 경우의 어노테이션 설정부의 동작을 살펴본다.
예를 들어, 특정인 A에 대응되는 객체궤적 A에 대한 속성정보 입력으로, 객체궤적 A상에 위치한 모든 바운딩박스들에 대해 일괄적으로 속성정보가 입력될 수 있다. 그러나 모자를 쓰고 있던 특정인 A가 도중에 모자를 벗은 경우, 특정이 A가 모자를 벗은 시점부터 특정인 A를 지시하는 바운딩박스들의 속성변경이 필요하다.
이 경우 노드 선택모드에서, 객체화면창(W1) 상에 출력된 객체궤적의 특정위치를 선택하게 되면, 어노테이션 설정부(160)는 특정위치에서의 바운딩박스의 노드를 생성하고, “edit label”등과 같은 속성정보편집버튼을 객체화면창(W1)에 팝업시킬 수 있다.
속성정보편집버튼이 선택되는 경우, 어노테이션 설정부(160)는 도 4와 같은 속성정보창(W2)을 팝업시킨다. 속성정보창(W2)을 통해 속성정보를 입력받으면, 해당 속성정보를 해당 바운딩박스에 대한 속성정보로 저장한다.
이 경우, 궤적객체에 대한 속성정보 편집이 아니므로, 상기 속성정보가 저장된 바운딩박스와 동일 궤적경로상에 위치한 바운딩박스의 속성정보에는 영향을 미치지 않는다.
또는 상기와 달리, 속성정보가 변경된 특정 바운딩박스와 동일 궤적경로상에 위치한 바운딩박스들 중, 속성정보가 변경된 바운딩박스 이후의 시점에서의 바운딩박스들의 속성정보도 일괄적으로 변경될 수 있게 할 수도 있다. 예를 들어, “이후시점 속성 일괄적용” 편집버튼이나, “이전시점 속성 일괄적용” 편집버튼이 추가로 제공될 수 있다.
본 발명에 따르면, 프레임 단위가 아닌 궤적 단위로 어노테이션 편집작업을 수행함으로써, 어노테이션 편집작업을 더욱 신속하고 효율적으로 수행할 수 있다.
도 9는 본 발명의 실시예에 따른 영상에 대한 궤적 단위의 어노테이션 설정방법을 설명하기 위한 도면이다.
도 9를 참조하면, 궤적단위의 어노테이션 설정방법은, 입력단계(S100), 영상 로드단계(S200), 객체검출 및 트랙킹단계(S300), 궤적객체 생성단계(S400), 노드/궤적객체 수정여부 판단단계(S500), 노드/궤적객체 수정단계(S600)를 포함한다.
입력단계(S100)에서는, 입력부(120)는 외부단말 또는 사용자로부터 영상을 비롯한 데이터를 수신 및 저장하고, 데이터를 영상로드부(130)로 전송한다.
여기서 데이터는 프로젝트 정보, 카메라 관련 정보, 영상, 영상 관련 정보를 포함할 수 있다. 또한 카메라 관련 정보는 카메라 위치 정보, 카메라 식별 정보, 카메라 화각 정보, 카메라에 의해 촬영되는 공간의 위치좌표, 카메라와 중복되는 공간을 촬영하는 다른 중복카메라의 식별 정보, 중복카메라와 중복되는 공간의 중복위치좌표 중 적어도 하나를 포함할 수 있다. 그리고 동영상 관련 정보는 동영상 파일명, 동영상 생성날짜 및 시간 정보, 동영상 해상도 정보, 동영상 생성자 정보 중 적어도 하나를 포함할 수 있다.
영상로드단계(S200)에서는, 영상로드부(130)는 입력부(120)로부터 입력받은 영상을 프레임 단위로 분할하여 로딩한다. 이때 영상은 복수 프레임으로 구성되며, 여기서 프레임은 정지화면에서 보이는 이미지 한 장을 의미한다.
객체검출 및 트랙킹단계(S300)에서는, 바운딩박스 생성부(140)가 영상로드부(130)에 의해 로드된 모든 프레임에 대해 인공지능 모델을 이용하여 객체탐지 및 트랙킹을 수행하여, 대상객체를 인식하고 대상객체에 대해 바운딩박스를 생성한다.
궤적객체 형성단계(S400)에서는, 궤적생성부(150)가 연속된 프레임에서 바운딩박스 영역의 중첩정도를 기반으로 연속된 프레임에서 바운딩박스의 동일성 여부를 판단하고 연속된 프레임 상에서 해당 바운딩박스의 이동경로인 궤적객체를 생성할 수 있다. 또는 상기와 달리 궤적생성부(150)는 연속된 프레임에서 바운딩박스 내의 대상객체의 동일성을 직접적으로 판단함으로써 바운딩박스의 궤적객체를 생성할 수도 있다.
노드/궤적객체 편집단계(S600)에서는, 어노테이션 설정부(160)가 궤적객체에 대한 속성정보를 입력받고, 상기 궤적객체의 속성정보를 해당 모든 프레임에서 상기 궤적객체와 연관된 바운딩박스의 속성정보에 일괄적으로 적용한다. 또한 어노테이션 설정부(160)는 표시부(110)를 통해 사용자 인터페이스를 이용하여 궤적객체 자체, 궤적객체의 속성정보, 노드의 속성정보 등을 생성, 수정, 삭제할 수 있다.
100: 어노테이션 설정 시스템
110: 표시부
120: 입력부
130: 영상로드부
140: 바운딩박스 생성부
150: 궤적생성부
160: 어노테이션 설정부

Claims (6)

  1. 대상객체의 위치에 바운딩박스가 생성된 영상에 대해 어노테이션을 설정하는 시스템에 있어서,
    정보를 표시하는 표시부
    상기 영상을 구성하는 복수의 프레임 중 적어도 하나의 연속된 프레임에서 상기 바운딩박스의 특정 위치를 연결하는 궤적을 생성하여 궤적객체로 등록하는 궤적생성부;
    상기 궤적객체의 속성정보를 입력받고, 상기 입력된 속성정보를 기반으로 모든 프레임 내 상기 궤적객체와 연관된 바운딩박스의 속성정보를 일괄적으로 설정하는 어노테이션 설정부를 포함하며,
    상기 어노테이션 설정부는,
    상기 궤적객체와 상기 바운딩박스를 포함하는 객체화면창을 상기 표시부에 출력하고,
    선택된 궤적객체가 다른 궤적객체와 교차된 교차지점을 포함하는 경우, 상기 선택된 궤적객체를 상기 교차지점을 기준으로 복수의 부분궤적객체로 구분하고, 복수의 부분궤적객체 각각에 대해 부분궤적객체 단위로 속성정보를 편집하는 것을 특징으로 하는 궤적단위의 어노테이션 설정 시스템.
  2. 제1항에 있어서,
    상기 어노테이션 설정부는,
    상기 궤적객체를 표시하는는 객체화면창을 상기 표시부에 출력하고,
    상기 객체화면창에 상기 궤적객체와 연관된 적어도 하나의 바운딩박스를 중첩하여 표시하는 것을 특징으로 하는 궤적단위의 어노테이션 설정 시스템.
  3. 제1항에 있어서,
    상기 어노테이션 설정부는,
    상기 궤적객체를 표시하는 객체화면창을 상기 표시부에 출력하고,
    상기 객체화면창에 표시된 특정 궤적객체가 사용자에 의해 선택되는 경우, 상기 선택된 궤적객체에 대한 속성정보를 입력받거나 입력된 속성정보를 표시하는 속성정보창을 더 출력하는 것을 특징으로 하는 궤적단위의 어노테이션 설정 시스템.
  4. 제1항에 있어서,
    상기 어노테이션 설정부는,
    상기 궤적객체를 표시하는 객체화면창과, 상기 영상에 대한 타임라인을 표시부에 출력하고,
    상기 객체화면창에 표시된 특정 궤적객체가 사용자에 의해 선택되는 경우, 상기 어노테이션 설정부는 상기 타임라인에서 상기 궤적객체가 존재하는 시간구간에 해당되는 부분을 상기 궤적객체가 존재하는 시간구간에 해당되는 부분을 상기 궤적객체의 색과 동일한 색으로 표시하는 것을 특징으로 궤적단위의 어노테이션 설정 시스템.
  5. 제4항에 있어서,
    상기 영상이 복수인 경우, 상기 영상의 수에 대응되는 복수의 타임라인을 시간축에 일치시켜 출력하는 것을 특징으로 하는 궤적단위의 어노테이션 설정 시스템.
  6. 삭제
KR1020220028830A 2021-12-09 2022-03-07 궤적 단위의 어노테이션 설정 시스템 KR102608115B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210175578 2021-12-09
KR1020210175578 2021-12-09

Publications (2)

Publication Number Publication Date
KR20230088209A KR20230088209A (ko) 2023-06-19
KR102608115B1 true KR102608115B1 (ko) 2023-12-01

Family

ID=86988519

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220028830A KR102608115B1 (ko) 2021-12-09 2022-03-07 궤적 단위의 어노테이션 설정 시스템

Country Status (1)

Country Link
KR (1) KR102608115B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101630290B1 (ko) * 2009-12-24 2016-06-16 한화테크윈 주식회사 추적 경로 이미지 생성을 위한 촬영 방법 및 이를 이용한 촬영 장치
KR102282465B1 (ko) * 2014-10-27 2021-07-27 한화테크윈 주식회사 로이터링 시각화 장치 및 방법

Also Published As

Publication number Publication date
KR20230088209A (ko) 2023-06-19

Similar Documents

Publication Publication Date Title
US10878634B2 (en) Methods for augmented reality applications
US10652455B2 (en) Guided video capture for item listings
CN100555185C (zh) 功能命令系统、功能命令装置、功能命令分析系统、演示系统及功能命令分析方法
US20060227385A1 (en) Image processing apparatus and image processing program
US20060227384A1 (en) Image processing apparatus and image processing program
US8004571B2 (en) Projection-based system, apparatus and program of storing annotated object image
CN108605115B (zh) 跟踪辅助装置、跟踪辅助系统以及跟踪辅助方法
JP2019009754A (ja) リアルタイム増強合成技術を用いた映像生成サーバ、映像生成システム及び方法
CN110545378B (zh) 一种多人场景的智能识别拍摄的系统和方法
US9860475B2 (en) Video processing apparatus, video processing method, and storage medium
KR20200138074A (ko) 머신-러닝과 크라우드-소싱된 데이터 주석을 통합하기 위한 시스템 및 방법
WO2023284312A1 (zh) 工作流程的构建方法及装置、设备、计算机存储介质及计算机程序产品
JP2007052575A (ja) メタデータ付与装置およびメタデータ付与方法
KR102608115B1 (ko) 궤적 단위의 어노테이션 설정 시스템
US10489652B2 (en) Image capturing system
JP2008017386A (ja) キー画像生成装置
JPH10222668A (ja) モーションキャプチャ方法およびシステム
CN117194697A (zh) 标签生成方法、装置及电子设备
US11720233B2 (en) Method for associating production elements with a production approach
KR102446832B1 (ko) 영상내 객체 검출 시스템 및 그 방법
CN114173059B (zh) 一种视频编辑系统、方法及装置
US11978018B2 (en) Project management system with capture review transmission function and method thereof
JP2720807B2 (ja) シナリオ編集装置
EP4016450A1 (en) State determination device and state determination method
WO2016203469A1 (en) A digital media reviewing system and methods thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant