KR102558959B1 - 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램 - Google Patents

영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102558959B1
KR102558959B1 KR1020190126993A KR20190126993A KR102558959B1 KR 102558959 B1 KR102558959 B1 KR 102558959B1 KR 1020190126993 A KR1020190126993 A KR 1020190126993A KR 20190126993 A KR20190126993 A KR 20190126993A KR 102558959 B1 KR102558959 B1 KR 102558959B1
Authority
KR
South Korea
Prior art keywords
area
image
frame
crop area
crop
Prior art date
Application number
KR1020190126993A
Other languages
English (en)
Other versions
KR20210043979A (ko
Inventor
정영환
최재원
이강태
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020190126993A priority Critical patent/KR102558959B1/ko
Priority to US17/070,184 priority patent/US11128815B2/en
Publication of KR20210043979A publication Critical patent/KR20210043979A/ko
Application granted granted Critical
Publication of KR102558959B1 publication Critical patent/KR102558959B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

영상으로부터 객체를 추출하는 객체 추출 장치는 영상에 포함된 적어도 하나의 객체를 트래킹하는 트래킹부, 트래킹된 객체에 대한 좌표 정보에 기초하여 영상을 구성하는 어느 하나의 프레임에서 크롭 영역을 설정하는 크롭 영역 설정부, 트래킹된 객체가 크롭 영역을 초과하는지 여부에 기초하여 크롭 영역의 이동 여부를 결정하는 크롭 영역 이동 결정부, 영상으로부터 이동 여부가 결정된 크롭 영역에 해당하는 부분 영상을 추출하는 추출부를 포함할 수 있다.

Description

영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램{DEVICE, METHOD AND COMPUTER PROGRAM FOR EXTRACTING OBJECT FROM VIDEO}
본 발명은 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.
일반적으로 피사체의 개별 영상 서비스를 하기 위해서는 피사체 별로 카메라를 각각 설치하고 촬영해야 한다.
이러한, 개별 영상 서비스의 경우, 고가의 설비 투자가 필요한데, 이를 기술적으로 극복하기 위해 최근에는 하나의 고화질 영상에서 트래킹 기술을 이용하여 자동으로 피사체 각각의 개별적 영상을 추출하는 방식을 제공하고 있다.
이러한, 객체 추출 방식은 다음과 같이 두 가지의 문제점을 가지고 있다.
하나는 영상을 크롭핑(Cropping)하는 과정에서 트래킹된 피사체의 위치 좌표에 의해 크롭 영역이 잘라지기 때문에 피사체가 항상 각 프레임의 정중앙에 항상 배치되게 된다. 이렇게 되면, 화각이 매 프레임별 움직이게 되어 영상을 시청하는 사용자들에게 어지러움과 불편함을 유발시킬 수 있다.
또, 다른 하나는 피사체를 트래킹하는 트래커가 에러를 발생시키면, 영상 화면이 알 수 없는 지점으로 튀게(점프)된다. 이렇게 에러에 의해 영상 화면이 엉뚱한 곳으로 튀게 되면, 정상적인 영상을 획득하기 어렵다.
한국등록특허공보 제10-1116789호 (2012.02.08. 공개)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 영상에서 트래킹된 객체에 대한 좌표 정보에 기초하여 영상의 프레임에 크롭 영역을 설정하고, 트래킹된 객체가 설정된 크롭 영역을 초과하는지 여부에 따라 크롭의 이동 여부를 결정하여 크롭 영역에 해당하는 부분 영상을 추출하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 영상으로부터 객체를 추출하는 객체 추출 장치는 상기 영상에 포함된 적어도 하나의 객체를 트래킹하는 트래킹부; 상기 트래킹된 객체에 대한 좌표 정보에 기초하여 상기 영상을 구성하는 어느 하나의 프레임에서 크롭 영역을 설정하는 크롭 영역 설정부; 상기 트래킹된 객체가 상기 크롭 영역을 초과하는지 여부에 기초하여 상기 크롭 영역의 이동 여부를 결정하는 크롭 영역 이동 결정부; 상기 영상으로부터 상기 이동 여부가 결정된 크롭 영역에 해당하는 부분 영상을 추출하는 추출부를 포함할 수 있다.
본 발명의 제 2 측면에 따른 영상으로부터 객체를 추출하는 방법은 상기 영상에 포함된 적어도 하나의 객체를 트래킹하는 단계; 상기 트래킹된 객체에 대한 좌표 정보에 기초하여 상기 영상을 구성하는 어느 하나의 프레임에서 크롭 영역을 설정하는 단계; 상기 트래킹된 객체가 상기 크롭 영역을 초과하는지 여부에 기초하여 상기 크롭 영역의 이동 여부를 결정하는 단계; 및 상기 영상으로부터 상기 이동 여부가 결정된 크롭 영역에 해당하는 부분 영상을 추출하는 단계를 포함할 수 있다.
본 발명의 제 3 측면에 따른 영상으로부터 객체를 추출하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 상기 영상에 포함된 적어도 하나의 객체를 트래킹하고, 상기 트래킹된 객체에 대한 좌표 정보에 기초하여 상기 영상을 구성하는 어느 하나의 프레임에서 크롭 영역을 설정하고, 상기 트래킹된 객체가 상기 크롭 영역을 초과하는지 여부에 기초하여 상기 크롭 영역의 이동 여부를 결정하고, 상기 영상으로부터 상기 이동 여부가 결정된 크롭 영역에 해당하는 부분 영상을 추출하도록 하는 명령어들의 시퀀스를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명은 영상에서 트래킹된 객체에 대한 좌표 정보에 기초하여 영상의 프레임에 크롭 영역을 설정하고, 트래킹된 객체가 설정된 크롭 영역을 초과하는지 여부에 따라 크롭의 이동 여부를 결정하여 크롭 영역에 해당하는 부분 영상을 추출할 수 있다.
이를 통해, 기계가 잘라내는 부자연스러운 카메라의 움직임과 같은 종래의 개별 영상 추출 방식과는 달리, 본 발명은 사용자가 자연스럽게 카메라를 통해 촬영하는 것과 같은 효과를 내는 영상 추출이 가능하다.
도 1은 본 발명의 일 실시예에 따른, 객체 추출 장치의 블록도이다.
도 2a 내지 2d는 본 발명의 일 실시예에 따른, 제 1 임계 영역에 기초하여 영상을 추출하는 방법을 설명하기 위한 도면이다.
도 3a 내지 3c는 본 발명의 일 실시예에 따른, 객체의 트래킹 프로세스의 에러에 따른 크롭 영역의 처리 방법을 설명하기 위한 도면이다.
도 4a 내지 4b는 본 발명의 일 실시예에 따른, 제 2 임계 영역에 기초하여 객체의 흔들림을 보정하는 방법을 설명하기 위한 도면이다.
도 5a 내지 5c는 본 발명의 일 실시예에 따른, 객체 추출 방법이 적용된 실시예를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른, 영상으로부터 객체를 추출하는 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 객체 추출 장치(10)의 블록도이다.
도 1을 참조하면, 객체 추출 장치(10)는 트래킹부(100), 크롭 영역 설정부(110), 크롭 영역 이동 결정부(120), 추출부(130), 흔들림 보정부(140) 및 저장부(150)를 포함할 수 있다. 다만, 도 1에 도시된 객체 추출 장치(10)는 본 발명의 하나의 구현 예에 불과하며, 도 1에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
이하에서는 도 2a 내지 5c를 함께 참조하여 도 1을 설명하기로 한다.
트래킹부(100)는 영상에 포함된 적어도 하나의 객체를 트래킹할 수 있다.
도 2a를 참조하면, 영상을 구성하는 제 1 프레임(201)에서 객체(20)를 트래킹하여 얻은 객체(20)의 좌표 정보를 이용하여 객체(20)가 포함된 제 2 프레임(201-2)이 포함된 영상을 추출하는 경우, 추출된 영상에서의 객체(20)는 항상 정중앙에 배치되게 된다. 이렇게 되면, 영상이 자연스럽지 못할 뿐만 아니라, 영상을 시청하는 사용자에게 어지러움과 불편함을 유발시킬 수 있다.
이러한 문제를 해결하기 위해, 영상의 어느 하나의 프레임에서 크롭 영역을 설정하고, 크롭 영역에 대응하는 제 1 임계 영역을 설정할 수 있다.
구체적으로, 크롭 영역 설정부(110)는 트래킹된 객체에 대한 좌표 정보에 기초하여 영상을 구성하는 어느 하나의 프레임에서 크롭 영역을 설정할 수 있다. 예를 들어, 크롭 영역 설정부(110)는 트래킹된 객체에 대한 좌표 정보에 기초하여 영상의 첫 프레임의 중앙에 크롭 영역을 설정할 수 있다.
크롭 영역 이동 결정부(120)는 트래킹된 객체가 크롭 영역을 초과하는지 여부에 기초하여 크롭 영역의 이동 여부를 결정할 수 있다.
크롭 영역 이동 결정부(120)는 트래킹된 객체에 대한 좌표 정보가 영상의 제 1 프레임에서 설정된 크롭 영역에 대응하는 제 1 임계 영역 안에 포함되는 경우, 제 1 프레임에서 설정된 크롭 영역을 제 1 프레임의 다음 프레임에 해당하는 제 2 프레임에서 고정시킬 수 있다. 도 2b를 참조하면, 크롭 영역 이동 결정부(120)는 제 1 프레임(201)의 다음 프레임에 해당하는 제 2 프레임(201-2)에서 트래킹된 객체(20)에 대한 좌표 정보가 영상의 제 1 프레임(201)에서 설정된 크롭 영역(205)에 대응하는 제 1 임계 영역 안에 포함되는 경우, 제 1 프레임(201)에서 설정된 크롭 영역(205)을 제 2 프레임(201-2)에서 고정시킬 수 있다. 즉, 제 2 프레임(201-2)에서 트래킹된 객체(20)가 크롭 영역(205)에 대응하는 제 1 임계 영역 안에서 이동하는 경우에는 화각(즉, 크롭 영역(205))을 고정함으로써 사용자가 객체(20)를 감상하는데 불편함이 없게 할 수 있다.
크롭 영역 이동 결정부(120)는 트래킹된 객체에 대한 좌표 정보가 제 1 임계 영역을 초과하는 경우, 제 1 프레임에서 설정된 크롭 영역을 제 1 프레임의 다음 프레임에 해당하는 제 2 프레임에서 기설정된 이동값만큼 이동시킬 수 있다. 도 2b를 참조하면, 크롭 영역 이동 결정부(120)는 제 3 프레임(201-4)에서 트래킹된 객체(20)에 대한 좌표 정보가 크롭 영역(205)에 대응하는 제 1 임계 영역을 초과하는 경우, 제 1 프레임(201)에서 설정된 크롭 영역(205)을 제 3 프레임(201-4)의 다음 프레임에 해당하는 제 4 프레임(201-6)에서 기설정된 이동값만큼 이동시킬 수 있다. 즉, 제 3 프레임(201-4)에서 트래킹된 객체(20)가 크롭 영역(205)에 대응하는 제 1 임계 영역을 벗어나 이동하는 경우, 트래킹된 객체(20)에 대한 좌표 정보가 이동하는 방향으로 제 3 프레임(201-4)의 다음 프레임에 해당하는 제 4 프레임(201-6)에서 크롭 영역(205)을 기설정된 픽셀(pixel)만큼 이동시켜 화각이 영상의 중앙에 오도록 함으로써 마치 사용자가 직접 영상을 찍는 듯한 자연스러운 영상을 추출할 수 있도록 한다.
도 2c 내지 2d를 참조하면, 영상에서 트래킹 프로세스(TrackingProcess)에 의해 트래킹된 객체(20)에 대한 좌표 정보(207)가 (center_x, center_y)이고, 프레임에 설정된 크롭 영역(205)에 대한 좌표 정보가 (rectangle_x, rectangle_y)이고, 빗금친 부분(209)은 크롭 영역에 대응하는 제 1 임계 영역에 의해 영상 화면의 이동이 일어나는 영역이라고 하면, 객체가 움직일 수 있는 범위를 임계값으로 설정해 놓으면, 하얀 부분(213)과 같이 카메라 화면이 움직이지 않는 구간이 설정된다.
객체가 이동하게 되어 |rectangle_x - center_x| > 제 1 임계값(211-1)이 되면, 크롭 영역(205)을 X축 방향으로 1 프레임에 설정한 기설정된 이동값만큼 움직이게 하고, |rectangle_y - center_y| > 제 2 임계값(211-2)이 되면, 크롭 영역(205)을 Y축 방향으로 1 프레임에 설정한 기설정된 이동값만큼 움직이게 함으로써 자연스러운 화면 이동을 하게 된다. 즉, 객체(20)가 상하 좌우로 움직이면 카메라도 자연스럽게 객체(20)를 따라 움직이며 촬영을 하는 것처럼 구현할 수 있다.
추출부(130)는 트래킹된 객체가 크롭 영역을 초과하는지 여부에 기초하여 이동 여부가 결정된 크롭 영역에 해당하는 부분 영상을 영상으로부터 추출할 수 있다.
한편, 영상에서 객체를 트래킹하는 중에 일시적인 에러가 발생하게 되면, 갑자기 화면이 점프되어 이상한 영역에 해당되는 부분 영상을 추출하게 된다(도 3a 참조). 이러한 문제점을 해결하기 위해 크롭 영역 이동 결정부(120)는 영상을 구성하는 복수의 프레임 중 연속하는 프레임 간의 비교시 트래킹된 객체(20)가 크롭 영역(205)을 벗어난 경우, 객체(20)에 대한 트래킹 프로세스를 에러로 인식하여 크롭 영역(205)을 유지할 수 있다(도 3b 참조). 이후, 크롭 영역 이동 결정부(120)는 트래킹 프로세스가 객체(20)를 다시 인식할 때까지 기다릴 수 있다.
도 3c를 참조하면, 인접하는 프레임들에서 트래킹된 객체(20)에 대한 좌표 정보((center_x, center_y)) 및 크롭 영역(205)에 대한 좌표 정보((rectangle_x, rectangle_y))를 비교하여 어느 하나의 프레임에서 트래킹된 객체(20)의 좌표 정보가 크롭 영역(205)의 가로 길이(w)나 세로 길이(h)를 벗어난 경우, 트래킹 프로세스에 대한 에러로 인식하고, 크롭 영역(205)을 조정하지 않는다. 이와 같은 방법을 사용하게 되면, 보정 작업으로 추출된 부분 영상이 갑자기 다른 영역을 비추는 에러를 사전에 방지할 수 있다.
한편, 성능 좋은 트래킹 프로세스라도 영상에서 객체에 포함된 영역을 정확하게 측정하지 못하는 경우가 있다. 예를 들어, 사람의 전신을 지정한 경우에도 각 프레임에 따라 사람 신체의 일부분만을 트래킹하거나, 사람 주변의 일부 영역을 트래킹하기도 한다.
도 4a 내지 4b를 참조하면, 인접한 복수의 프레임(201, 201-2, 201-4, 201-6)을 살펴보면, 객체(20)가 움직이지 않거나 아주 작은 움직임이 있는 경우, 트래킹 프로세서의 사각형 영역(403)이 조금씩 달라지게 되어 객체(20)의 중심점 좌표가 매 프레임마다 변경되는 것을 확인할 수 있다. 이에 따라 기존의 크롭 방식으로 영상을 추출하면, 화면이 떨리거나 튀는 현상이 나타나게 된다. 이러한 문제점은 트래킹된 객체(20)의 중심점(40)에 대한 제 2 임계 영역(401)으로 보정하면 흔들림 현상을 막을 수 있다.
구체적으로, 흔들림 보정부(140)는 트래킹된 객체(20)의 중심점(40)에 대한 제 2 임계 영역(401)을 설정하고, 설정된 제 2 임계 영역(401)에 기초하여 객체의 흔들림을 보정할 수 있다.
흔들림 보정부(140)는 트래킹된 객체(20)의 중심점(40)이 제 2 임계 영역(401) 내에 위치하는지 여부에 기초하여 객체(20)의 중심점(40)을 보정할 수 있다. 다시 말해, 흔들림 보정부(140)는 복수의 프레임(201, 201-2, 201-4, 201-6) 내에서 트래킹된 객체(20)의 중심점(40)이 제 2 임계 영역(401) 내에 위치하는지 경우, 트래킹된 객체(20)의 중심점(40)에 대해 움직임이 없도록 보정하여 크롭 영역을 유지시킬 수 있다.
본 발명을 스포츠 영상에 적용하면, 도 5a와 같이, 제 1 운동 선수(50)가 움직임이 없는 경우(예컨대, 타석에 있는 경우), 흔들림 보정부(140)는 제 1 운동 선수(50)의 중심점(52)에 대한 제 2 임계 영역(503)에 기초하여 제 1 운동 선수(50)의 흔들림을 보정할 수 있다. 도 5b와 같이, 스포츠 영상에서 제 2 운동 선수(54)가 움직임이 있는 경우(예컨대, 출루하는 경우), 추출부(130)는 제 2 운동 선수(54)에 크롭 영역(505)에 대응하는 제 1 임계 영역을 적용하여 자연스러운 부분 영상을 추출하여 생성할 수 있다.
본 발명은 CCTV에도 적용 가능하다. CCTV는 영상을 촬영하고 저장해야하기 때문에 관심 영역을 크롭하여 원하는 부분만을 저장하는 방법이 많이 사용된다. 이와 같은 경우에도 CCTV 영상에서 객체가 움직이는 경우와 움직이지 않은 경우를 나누어 저장하게 되면 추후 영상을 분석하는데 용이할 수 있다. 도 5c를 참조하면, 저장부(150)는 CCTV 영상(513)에서 움직이는 제 1 객체(507)에 대하여 크롭 영역(511)에 대응하는 제 1 임계 영역을 적용하여 제 1 객체(507)를 추출하여 제 1 데이터베이스에 저장하고, CCTV 영상(513)에서 움직이지 않는 제 2 객체(509)에 대하여 제 2 객체(509)의 중심점(56)에 대한 제 2 임계 영역(515 )에 따라 제 2 객체(509)의 흔들림을 보정하여 제 2 데이터베이스에 저장할 수 있다.
한편, 당업자라면, 트래킹부(100), 크롭 영역 설정부(110), 크롭 영역 이동 결정부(120), 추출부(130), 흔들림 보정부(140) 및 저장부(150) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 6은 본 발명의 일 실시예에 따른, 영상으로부터 객체를 추출하는 방법을 나타낸 흐름도이다.
도 6을 참조하면, 단계 S601에서 객체 추출 장치(10)는 영상에 포함된 적어도 하나의 객체를 트래킹할 수 있다.
단계 S603에서 객체 추출 장치(10)는 트래킹된 객체에 대한 좌표 정보에 기초하여 영상을 구성하는 어느 하나의 프레임에서 크롭 영역을 설정할 수 있다.
단계 S605에서 객체 추출 장치(10)는 트래킹된 객체가 크롭 영역을 초과하는지 여부에 기초하여 크롭 영역의 이동 여부를 결정할 수 있다.
단계 S607에서 객체 추출 장치(10)는 영상으로부터 이동 여부가 결정된 크롭 영역에 해당하는 부분 영상을 추출할 수 있다.
도 6에는 도시되지 않았으나, 단계 S605에서 객체 추출 장치(10)는 트래킹된 객체에 대한 좌표 정보가 영상의 제 1 프레임에서 설정된 크롭 영역에 대응하는 제 1 임계 영역 안에 포함되는 경우, 제 1 프레임에서 설정된 크롭 영역을 제 1 프레임의 다음 프레임에 해당하는 제 2 프레임에서 고정시킬 수 있다.
도 6에는 도시되지 않았으나, 단계 S605에서 객체 추출 장치(10)는 트래킹된 객체에 대한 좌표 정보가 크롭 영역에 대응하는 제 1 임계 영역을 초과하는 경우, 제 1 프레임에서 설정된 크롭 영역을 제 2 프레임에서 기설정된 이동값만큼 이동시킬 수 있다.
도 6에는 도시되지 않았으나, 단계 S605에서 객체 추출 장치(10)는 영상을 구성하는 복수의 프레임 중 인접하는 프레임 간의 비교시 트래킹된 객체가 크롭 영역을 벗어난 경우, 객체에 대한 트래킹 프로세스를 에러로 인식하여 크롭 영역을 유지할 수 있다.
도 6에는 도시되지 않았으나, 단계 S605 이후에 객체 추출 장치(10)는 트래킹된 객체의 중심점에 대한 제 2 임계 영역을 설정하고, 설정된 제 2 임계 영역에 기초하여 객체의 흔들림을 보정할 수 있다. 구체적으로, 객체 추출 장치(10)는 트래킹된 객체의 중심점이 제 2 임계 영역 내에 위치하는지 여부에 기초하여 객체의 중심점을 보정할 수 있다.
상술한 설명에서, 단계 S601 내지 S607은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 객체 추출 장치
100: 트래킹부
110: 크롭 영역 설정부
120: 크롭 영역 이동 결정부
130: 추출부
140: 흔들림 보정부
150: 저장부

Claims (13)

  1. 영상으로부터 객체를 추출하는 객체 추출 장치에 있어서,
    상기 영상에 포함된 적어도 하나의 객체를 트래킹하는 트래킹부;
    상기 트래킹된 객체에 대한 좌표 정보에 기초하여 상기 영상을 구성하는 어느 하나의 프레임에서 크롭 영역을 설정하는 크롭 영역 설정부;
    상기 트래킹된 객체가 상기 크롭 영역을 초과하는지 여부에 기초하여 상기 크롭 영역의 이동 여부를 결정하는 크롭 영역 이동 결정부;
    상기 영상으로부터 상기 이동 여부가 결정된 크롭 영역에 해당하는 부분 영상을 추출하는 추출부를 포함하고,
    상기 크롭 영역 이동 결정부는 상기 트래킹된 객체에 대한 좌표 정보가 상기 영상의 제 1 프레임에서 설정된 크롭 영역에 대응하는 제 1 임계 영역 안에 포함되는 경우, 상기 제 1 프레임에서 설정된 크롭 영역을 상기 제 1 프레임의 다음 프레임에 해당하는 제 2 프레임에서 고정시키는 것인, 객체 추출 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 크롭 영역 이동 결정부는 상기 트래킹된 객체에 대한 좌표 정보가 상기 제 1 임계 영역을 초과하는 경우, 상기 제 1 프레임에서 설정된 크롭 영역을 상기 제 2 프레임에서 기설정된 이동값만큼 이동시키는 것인, 객체 추출 장치.
  4. 제 1 항에 있어서,
    상기 크롭 영역 이동 결정부는 상기 영상을 구성하는 복수의 프레임 중 연속하는 프레임 간의 비교시 상기 트래킹된 객체가 상기 크롭 영역을 벗어난 경우, 상기 객체에 대한 트래킹 프로세스를 에러로 인식하여 상기 크롭 영역을 유지하는 것인, 객체 추출 장치.
  5. 제 3 항에 있어서,
    상기 트래킹된 객체의 중심점에 대한 제 2 임계 영역을 설정하고, 상기 설정된 제 2 임계 영역에 기초하여 상기 객체의 흔들림을 보정하는 흔들림 보정부를 더 포함하는 것인, 객체 추출 장치.
  6. 제 5 항에 있어서,
    상기 흔들림 보정부는, 상기 트래킹된 객체의 중심점이 상기 제 2 임계 영역 내에 위치하는지 여부에 기초하여 상기 객체의 중심점을 보정하는 것인, 객체 추출 장치.
  7. 영상으로부터 객체를 추출하는 방법에 있어서,
    상기 영상에 포함된 적어도 하나의 객체를 트래킹하는 단계;
    상기 트래킹된 객체에 대한 좌표 정보에 기초하여 상기 영상을 구성하는 어느 하나의 프레임에서 크롭 영역을 설정하는 단계;
    상기 트래킹된 객체가 상기 크롭 영역을 초과하는지 여부에 기초하여 상기 크롭 영역의 이동 여부를 결정하는 단계; 및
    상기 영상으로부터 상기 이동 여부가 결정된 크롭 영역에 해당하는 부분 영상을 추출하는 단계
    를 포함하고,
    상기 크롭 영역의 이동 여부를 결정하는 단계는,
    상기 트래킹된 객체에 대한 좌표 정보가 상기 영상의 제 1 프레임에서 설정된 크롭 영역에 대응하는 제 1 임계 영역 안에 포함되는 경우, 상기 제 1 프레임에서 설정된 크롭 영역을 상기 제 1 프레임의 다음 프레임에 해당하는 제 2 프레임에서 고정시키는 것인, 객체 추출 방법.
  8. 삭제
  9. 제 7 항에 있어서,
    상기 크롭 영역의 이동 여부를 결정하는 단계는,
    상기 트래킹된 객체에 대한 좌표 정보가 상기 제 1 임계 영역을 초과하는 경우, 상기 제 1 프레임에서 설정된 크롭 영역을 상기 제 2 프레임에서 기설정된 이동값만큼 이동시키는 것인, 객체 추출 방법.
  10. 제 7 항에 있어서,
    상기 크롭 영역의 이동 여부를 결정하는 단계는,
    상기 영상을 구성하는 복수의 프레임 중 연속하는 프레임 간의 비교시 상기 트래킹된 객체가 상기 크롭 영역을 벗어난 경우, 상기 객체에 대한 트래킹 프로세스를 에러로 인식하여 상기 크롭 영역을 유지하는 것인, 객체 추출 방법.
  11. 제 10 항에 있어서,
    상기 트래킹된 객체의 중심점에 대한 제 2 임계 영역을 설정하고, 상기 설정된 제 2 임계 영역에 기초하여 상기 객체의 흔들림을 보정하는 단계
    를 더 포함하는 것인, 객체 추출 방법.
  12. 제 11 항에 있어서,
    상기 객체의 흔들림을 보정하는 단계는,
    상기 트래킹된 객체의 중심점이 상기 제 2 임계 영역 내에 위치하는지 여부에 기초하여 상기 객체의 중심점을 보정하는 것인, 객체 추출 방법.
  13. 영상으로부터 객체를 추출하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
    상기 영상에 포함된 적어도 하나의 객체를 트래킹하고,
    상기 트래킹된 객체에 대한 좌표 정보에 기초하여 상기 영상을 구성하는 어느 하나의 프레임에서 크롭 영역을 설정하고,
    상기 트래킹된 객체가 상기 크롭 영역을 초과하는지 여부에 기초하여 상기 크롭 영역의 이동 여부를 결정하고,
    상기 영상으로부터 상기 이동 여부가 결정된 크롭 영역에 해당하는 부분 영상을 추출하고,
    상기 크롭 영역의 이동 여부를 결정하는 것은, 상기 트래킹된 객체에 대한 좌표 정보가 상기 영상의 제 1 프레임에서 설정된 크롭 영역에 대응하는 제 1 임계 영역 안에 포함되는 경우, 상기 제 1 프레임에서 설정된 크롭 영역을 상기 제 1 프레임의 다음 프레임에 해당하는 제 2 프레임에서 고정시키도록 하는 명령어들의 시퀀스를 포함하는, 매체에 저장된 컴퓨터 프로그램.
KR1020190126993A 2019-10-14 2019-10-14 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램 KR102558959B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190126993A KR102558959B1 (ko) 2019-10-14 2019-10-14 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램
US17/070,184 US11128815B2 (en) 2019-10-14 2020-10-14 Device, method and computer program for extracting object from video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190126993A KR102558959B1 (ko) 2019-10-14 2019-10-14 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20210043979A KR20210043979A (ko) 2021-04-22
KR102558959B1 true KR102558959B1 (ko) 2023-07-24

Family

ID=75383382

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190126993A KR102558959B1 (ko) 2019-10-14 2019-10-14 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램

Country Status (2)

Country Link
US (1) US11128815B2 (ko)
KR (1) KR102558959B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362369A (zh) * 2021-06-07 2021-09-07 中国科学技术大学 一种移动物体的状态检测方法及检测装置
KR102708711B1 (ko) * 2021-12-01 2024-09-24 주식회사 엠제이비전테크 Npu 기반 교통정보 분석 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101885777B1 (ko) 2014-09-22 2018-08-06 삼성전자주식회사 3 차원 비디오의 재구성
KR101901104B1 (ko) 2015-09-28 2018-09-20 퀄컴 인코포레이티드 오토매틱 줌을 수행하기 위한 시스템들 및 방법들

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101116789B1 (ko) 2009-12-23 2012-03-13 클레어픽셀 주식회사 감시 카메라 장치 및 영상 데이터 처리 방법
US8331760B2 (en) * 2010-06-02 2012-12-11 Microsoft Corporation Adaptive video zoom
US8743222B2 (en) * 2012-02-14 2014-06-03 Nokia Corporation Method and apparatus for cropping and stabilization of video images
KR20140103046A (ko) * 2013-02-15 2014-08-25 삼성전자주식회사 객체 추적 방법 및 이를 지원하는 전자 장치
US20160057494A1 (en) * 2013-06-19 2016-02-25 Lg Electronics Inc. Signal transmitting and receiving device and method of controlling said device
US9836852B2 (en) * 2013-12-21 2017-12-05 Qualcomm Incorporated System and method to stabilize display of an object tracking box
EP3096512B1 (en) 2015-05-18 2017-03-22 Axis AB Method and camera for producing an image stabilized video
US10586102B2 (en) * 2015-08-18 2020-03-10 Qualcomm Incorporated Systems and methods for object tracking
EP3593536A1 (en) * 2017-03-07 2020-01-15 PCMS Holdings, Inc. Tailored video streaming for multi-device presentations
US20190088005A1 (en) * 2018-11-15 2019-03-21 Intel Corporation Lightweight View Dependent Rendering System for Mobile Devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101885777B1 (ko) 2014-09-22 2018-08-06 삼성전자주식회사 3 차원 비디오의 재구성
KR101901104B1 (ko) 2015-09-28 2018-09-20 퀄컴 인코포레이티드 오토매틱 줌을 수행하기 위한 시스템들 및 방법들

Also Published As

Publication number Publication date
US20210112208A1 (en) 2021-04-15
US11128815B2 (en) 2021-09-21
KR20210043979A (ko) 2021-04-22

Similar Documents

Publication Publication Date Title
US10404917B2 (en) One-pass video stabilization
KR102141290B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
US20120307000A1 (en) Image Registration Using Sliding Registration Windows
US20130070125A1 (en) Registration of Distorted Images
US10911677B1 (en) Multi-camera video stabilization techniques
US20130070126A1 (en) Registration of Differently Scaled Images
JP5625995B2 (ja) 被写体追跡装置、被写体追跡方法及びプログラム
US20200314344A1 (en) Image processing method for photography device, photography device and movable platform
US8965105B2 (en) Image processing device and method
US20160269639A1 (en) Video stabilization
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
US20160295111A1 (en) Image processing apparatus that combines images
CN106713740B (zh) 定位跟踪摄像方法与系统
US20170111585A1 (en) Method and system for stabilizing video frames
KR102558959B1 (ko) 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램
US20060215036A1 (en) Method and apparatus for video stabilization
WO2017128750A1 (zh) 一种图像采集方法和图像采集装置
KR20190044814A (ko) 딥러닝 학습을 위한 데이터 생성 및 자료 구축 방법
JP2014050022A (ja) 画像処理装置、撮像装置、およびプログラム
US8466981B2 (en) Electronic camera for searching a specific object image
KR102037997B1 (ko) 전자 장치 및 콘텐츠 생성 방법
US10715725B2 (en) Method and system for handling 360 degree image content
RU2761187C1 (ru) Устройство обработки изображения и устройство захвата изображения
TWI690207B (zh) 物件追蹤方法
US10681327B2 (en) Systems and methods for reducing horizontal misalignment in 360-degree video

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant