KR100327103B1 - 사용자의조력및물체추적에의한영상객체분할방법 - Google Patents

사용자의조력및물체추적에의한영상객체분할방법 Download PDF

Info

Publication number
KR100327103B1
KR100327103B1 KR1019980020687A KR19980020687A KR100327103B1 KR 100327103 B1 KR100327103 B1 KR 100327103B1 KR 1019980020687 A KR1019980020687 A KR 1019980020687A KR 19980020687 A KR19980020687 A KR 19980020687A KR 100327103 B1 KR100327103 B1 KR 100327103B1
Authority
KR
South Korea
Prior art keywords
image
user
image object
segmentation
video
Prior art date
Application number
KR1019980020687A
Other languages
English (en)
Other versions
KR20000000823A (ko
Inventor
최재각
이명호
곽진석
김문철
안치득
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1019980020687A priority Critical patent/KR100327103B1/ko
Priority to JP2000552843A priority patent/JP4302891B2/ja
Priority to EP98951788A priority patent/EP1092317A1/en
Priority to PCT/KR1998/000335 priority patent/WO1999063750A1/en
Priority to US09/701,822 priority patent/US6707851B1/en
Publication of KR20000000823A publication Critical patent/KR20000000823A/ko
Application granted granted Critical
Publication of KR100327103B1 publication Critical patent/KR100327103B1/ko
Priority to US10/734,542 priority patent/US20040140994A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 사용자의 조력 및 물체추적에 의한 영상 객체 분할 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 영상시스템 등에서 영상내의 객체를 추출하기 위하여 영상 시퀀스(Image Sequence)상에 처음 나타나는 영상 객체를 사용자의 도움으로 수동 또는 반수동으로 분할하고, 이후의 영상 프레임부터는 분할된 영상 객체의 움직임에 의한 물체추적 등에 의해 자동 분할하여 정확하게 영상 객체를 분할하기 위한 영상 객체 분할 방법을 제공하고자 함.
3. 발명의 해결방법의 요지
본 발명은, 영상시스템에 적용되는 영상 객체 분할 방법에 있어서, 영상 시퀀스상의 첫 번째 프레임상에 존재하는 영상 객체 혹은 그 뒤 연속된 프레임에서 새롭게 나타나는 영상 객체를 사용자의 조력 및 공간 정보를 이용하여 수동 혹은 반수동으로 일차 분할하는 제 1 단계; 이전 분할 객체의 움직임 추적에 의하여, 이전 프레임에서 일차 분할된 영상 객체를 자동으로 영역 분할하는 제 2 단계; 상기 제 2 단계를 연속된 프레임에 대하여 반복 수행할 때, 연속 프레임간에 장면전환이 있거나 자동 영역 분할된 영상 객체이외에 새로운 영상 객체가 있는 경우에, 해당 영상 객체에 대해 상기 제 1 단계 및 제 2 단계를 반복 수행하는 제 3 단계; 및 상기 제 2 단계를 연속된 프레임에 대하여 반복 수행할 때, 프레임간 장면전환이 없고 자동 영역 분할된 영상 객체이외에 새로운 영상 객체가 없는 경우에, 영상 객체의 영역 분할 결과를 검사하여, 사용자의 만족시에 상기 제 2 단계를 수행하고, 불만족시에 상기 제 1 단계에서 사용자에 의해 보정된 영역 분할 결과를 상기 제 2 단계의 자동 분할 과정에 반영하는 제 4 단계를 포함함.
4. 발명의 중요한 용도
본 발명은 영상시스템 등에서 영상 객체 분할에 이용됨.

Description

사용자의 조력 및 물체추적에 의한 영상 객체 분할 방법{METHOD FOR OBJECTS SEHMENTATION IN VIDEO SEQUENCES BY OBJECT TRACKING AND ASSISTANCE}
본 발명은 영상 편집, 저작 및 합성기, 객체기반 영상 부호화기 등에서 비디오 객체 단위의 조작(Manipulation), 편집(Editing), 대화형 기능(Object-basedUser Interaction), 및 객체기반 영상 부호화(Object-based Image Coding) 등을 할 때, 사용자의 조력과, 물체추적(Object Tracking) 등에 의해 영상을 비디오 객체로 정확하게 분할하기 위한 영상 객체 분할 방법에 관한 것이다.
종래의 영상 객체 분할 방식은 연속된 영상에서의 밝기값 변화 유무를 판정하여 영상내의 객체를 자동적으로 분할하거나, 사용자가 영상 편집도구(Editing Tool)를 이용하여 매 영상 프레임을 한 장씩 직접 손으로 분할하였다.
따라서, 이러한 종래의 영상 객체 분할 방식은 자동 분할의 경우에 연속된 영상의 밝기값 변화량을 검출하는 문턱값에 따라 분할 성능이 크게 달라졌으며, 수동 분할의 경우에 매 프레임을 손으로 직접 분할하였기 때문에 시간이 많이 걸렸고, 사용자에게 경제적인 부담을 주는 문제점이 있었다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 영상시스템 등에서 영상내의 객체를 추출하기 위하여 영상 시퀀스(Image Sequence)상에 처음 나타나는 영상 객체를 사용자의 도움으로 수동 또는 반수동으로 분할하고, 이후의 영상 프레임부터는 분할된 영상 객체의 움직임에 의한 물체추적 등에 의해 자동 분할하여 보다 정확하게 영상 객체를 분할하기 위한 영상 객체 분할 방법을 제공하는데 그 목적이 있다.
도 1a 및 1b 는 본 발명이 적용되는 영상시스템의 일예시도.
도 2 는 본 발명에 따른 영상 객체 분할 방법에 대한 일실시예 흐름도.
* 도면의 주요 부분에 대한 부호의 설명
101 : 비디오 객체 분할부 102 : 비디오 객체 부호화부
103 : 다중화부 104 : 역다중화부
105 : 비디오 객체 복호화부 106 : 장면합성부
107 : 화면 출력부
상기 목적을 달성하기 위한 본 발명은, 영상시스템에 적용되는 영상 객체 분할 방법에 있어서, 영상 시퀀스상의 첫 번째 프레임상에 존재하는 영상 객체 혹은 그 뒤 연속된 프레임에서 새롭게 나타나는 영상 객체를 사용자의 조력 및 공간 정보를 이용하여 수동 혹은 반수동으로 일차 분할하는 제 1 단계; 이전 분할 객체의 움직임 추적에 의하여, 이전 프레임에서 일차 분할된 영상 객체를 자동으로 영역 분할하는 제 2 단계; 상기 제 2 단계를 연속된 프레임에 대하여 반복 수행할 때, 연속 프레임간에 장면전환이 있거나 자동 영역 분할된 영상 객체이외에 새로운 영상 객체가 있는 경우에, 해당 영상 객체에 대해 상기 제 1 단계 및 제 2 단계를 반복 수행하는 제 3 단계; 및 상기 제 2 단계를 연속된 프레임에 대하여 반복 수행할 때, 프레임간 장면전환이 없고 자동 영역 분할된 영상 객체이외에 새로운 영상 객체가 없는 경우에, 영상 객체의 영역 분할 결과를 검사하여, 사용자의 만족시에 상기 제 2 단계를 수행하고, 불만족시에 상기 제 1 단계에서 사용자에 의해 보정된 영역 분할 결과를 상기 제 2 단계의 자동 분할 과정에 반영하는 제 4 단계를 포함하여 이루어진 것을 특징으로 한다.
본 발명은 영상시스템 등에서 영상내의 객체를 추출하기 위하여 영상 시퀀스(Image Sequence)상에 처음 나타나는 영상 객체를 사용자의 도움으로 수동 또는 반수동으로 분할하고, 이후의 영상 프레임부터는 분할된 영상 객체의 움직임에 의한 물체추적 등에 의해 자동 분할하고, 자동 분할된 결과 영상이 만족스럽지 않다면 사용자가 개입하여 자동 분할된 결과를 보정한 후, 보정된 결과를 다시 자동 분할의 입력으로 사용하여 더욱 정확한 객체 분할 결과를 얻을 수 있도록 함으로써, 영상 객체 분할에 걸리는 시간을 크게 줄일 수 있으면서도 정확한 영상 객체 결과를 얻을 수 있다.
본 발명은 영상 객체 분할 방법에 있어서, 수동 또는 반수동 객체 분할 과정과 자동 객체 분할 과정을 통해, 연속되는 영상 프레임내의 움직임 객체를 연속적으로/효율적으로 분할할 때, 사용자의 개입을 통하여 영상 객체의 영역을 수동 또는 반수동인 방법으로 정확하게 분할하고, 이를 연속되는 영상 프레임에 대해 자동으로 영상 객체를 분할하는 과정에 이용하는 것이다. 이때, 사용자가 객체 분할 과정과 결과 영상을 직접 볼 수 있도록 하여, 분할된 결과가 만족스럽지 않을 경우에는 사용자의 재 개입을 통하여 영상 객체 분할을 보정하고, 이를 자동 분할 과정에 입력으로 이용한다.
즉, 본 발명은 연속되는 영상 프레임내의 영상 객체 분할에 있어서, 분할 정확성을 높이고자 사용자의 개입에 의한 수동 또는 반수동 영상 분할 과정을 도입하고, 사용자의 개입을 최소화하기 위해 자동 분할 과정을 이용하여 연속적으로 영상 객체를 분할하여 분할된 영상을 객체 단위로 저장한다. 또한, 분할을 원하는 객체는 사용자가 설정한 것이므로, 사용자가 영상의 영역 분할 과정과 결과 영상을 직접 볼 수 있도록 함으로써, 사용자가 원하는 수준에서의 영역 분할이 이루어지지 못한 경우에는 사용자가 영역 분할 결과를 보정한 후에 이를 자동 분할 과정에 입력으로 사용하도록 하여 만족스러운 영상 객체 분할을 얻을 수 있도록 한다.
그러므로, 본 발명은 분할 또는 정의하기 어려운 비디오 객체를 수동 또는 반수동적 비디오 객체 분할법을 사용하여 분할하고, 일단 분할된 비디오 객체는 물체 추적에 의하여 자동으로 분할함으로써 수동 및 자동 분할법을 효과적으로 결합하여 사용할 수 있다. 따라서, 수동 분할의 장점인 정확한 비디오 객체 분할이 가능하고, 다른 한편 자동 분할의 장점인 시간 및 노력을 절감할 수 있다. 또한, 동영상 편집 및 저작기, 크로마 키(Chroma Key)에 의한 영상 합성, 객체 기반 영상 부호화기 등에 효과적으로 적용할 수 있다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1a 및 1b 는 본 발명이 적용되는 영상시스템의 일예시도이다.
도 1a를 참조하면, 본 발명이 적용되는 영상 부호화 시스템은 외부로부터 입력된 영상 프레임을 비디오 객체 단위로 분할하기 위한 비디오 객체(VO : Vedio Object) 분할부(101)와, 비디오 객체 분할부(101)로부터 분할된 비디오 객체를 입력받아 비디오 객체별로 엠펙-4(MPEG-4 : Moving Picture Expert Group-4) 비디오 부호화기를 적용하여 부호화함으로써 비디오 객체 데이터를 감축하기 위한 다수의 비디오 객체 부호화부(102)와, 다수의 비디오 객체 부호화부(102)로부터 감축된 비디오 객체 데이터를 입력받아 MPEG-4 다중화 규격에 따라 다중화한 후에 비트스트림을 전송하거나 저장하기 위한 다중화부(103)를 구비한다.
도 1b를 참조하면, 본 발명이 적용되는 영상 복호화 시스템은 전송 또는 저장된 비트스트림 데이터를 비디오 객체별로 역다중화하기 위한 역다중화부(104)와, 역다중화부(104)로부터 역다중화된 비디오 객체를 입력받아 복호화하기 위한 다수의 비디오 객체 복호화부(105)와, 다수의 비디오 객체 복호화부(105)로부터 복호화된 비디오 객체들을 입력받아 장면을 구성하기 위한 장면합성부(106)와, 장면합성부(106)에서 합성시킨 장면을 화면에 출력하기 위한 화면 출력부(107)를 포함한다.
도 2 는 본 발명에 따른 영상 객체 분할 방법에 대한 일실시예 흐름도이다.
먼저, 분할하고자 하는 영상이 입력되면, 영상 시퀀스(Image Sequence)상의 첫 번째 프레임에 존재하는 비디오 객체 또는 이후의 연속된 프레임에서 새로이 나타나는 비디오 객체 또는 장면이 변하는 프레임에 나타나는 비디오 객체를 사용자가 수동으로 분할하거나, 사용자의 도움 및 공간정보(즉, 밝기 및 컬러 등)를 이용하여 반수동으로 분할한다(201).
예를 들면, 영상 시퀀스상의 비디오 객체는 이를 기술할 수 있는 수학적 모델링 또는 이를 분할할 수 있는 척도(Measure)를 정의하기가 불가능하므로 사용자가 마우스 등의 간편한 사용자 인터페이스 도구를 이용하여 첫 번째 프레임상의 비디오 객체 또는 이후의 연속된 프레임상에 처음 나타나는 비디오 객체를 수동으로 분할하거나, 보다 간단한 사용자의 도움과 공간정보에 의하여 반수동으로 비디오 객체를 정확하게 분할한다.
따라서, 영상 시퀀스상의 첫 번째 프레임, 장면전환에 의하여 새로운 영상 내용이 나타난 화면 프레임, 및 연속된 프레임상에서 장면전환이 일어난 경우가 아니라 장면은 유지되면서 특정한 비디오 객체가 새로이 나타나는 프레임에 대해 사용자의 도움에 의해 비디오 객체를 정의 및 분할한다.
이후, 이전 프레임에서 정의 및 분할된 비디오 객체를 움직임에 의하여 물체추적(Object Tracking)함으로써 비디오 객체를 자동으로 분할한다(202).
예를 들면, 이전 프레임에서 분할된 비디오 객체가 현재 프레임의 어디로 움직이는지를 추정하여 그 움직임만큼 과거 분할 마스크상의 비디오 객체를 현재 프레임의 분할 마스크로 투사(Projection)하며, 투사함으로써 발생된 분할 마스크상의 오류 및 잡음을 처리 및 정정한 후에 분할 마스크에 대해 투사로 인해 분할 라벨링이 불확실한 화소를 불확실한 영역으로 할당하고 불확실한 영역에 대해서는 현재 프레임에 대한 밝기 및 컬러 정보와 같은 공간정보를 이용하여 불확실한 영역의 화소를 주위의 가장 가까운 비디오 객체로 할당한다. 여기서, 최종 분할된 분할 마스크에 대하여 메디안 필터를 사용한다. 이는 비디오 객체의 윤곽선을 매끄럽게 하여 시각적으로 좋은 결과를 주기 위함이다.
다음으로, 다음 프레임에 대하여 장면전환 또는 새로이 나타난 비디오 객체가 있는지를 분석한다(203). 즉, 비디오 객체를 분할하기 전에 연속 프레임간 장면전환을 검출하거나 물체추적에 의하여 분할된 비디오 객체이외에 새로이 나타난 비디오 객체가 있는지를 검출한다.
분석결과, 장면전환이 있거나 자동 분할된 영상내 객체이외의 새로운 객체가 있으면 이러한 영상 객체를 사용자의 도움으로 수동 또는 반수동으로 분할한다(201).
분석결과, 장면전환이 없고 자동 분할된 영상내 객체이외의 새로운 객체가 없으면 이전 프레임에 대한 물체추적에 의한 자동 객체 분할 결과가 만족스러운지를 검사한다(204). 이는 물체 추적에 의한 분할이 이전 프레임에서 분할된 비디오객체를 이용하여 분할하기 때문에 이전 결과가 잘못 분할되는 경우에 그 이후의 물체추적에 의한 분할 결과가 계속 부정확한 결과로 누적될 수 있기 때문이다. 여기서, 물체 추적에 의한 분할 결과에 대한 만족도 검사는 사용자의 판단에 의한 수동 또는 자동으로 할 수 있다.
검사결과, 물체추적에 의한 분할 결과가 만족스럽지 못하면 사용자의 조력에 의한 분할 과정을 수행하고(201), 분할 결과가 만족스러우면 다음 프레임에 대하여 물체추적에 의한 분할 과정을 수행한다(202).
상기의 과정을 보다 상세하게 살펴보면, 본 발명은 반자동 영상 객체 분할 방법으로서, 최초 프레임에서 사용자가 원하는 객체를 지정하면, 지정한 정보를 이용하여 물체를 추적함으로써 이어지는 프레임에서의 원하는 객체를 자동으로 분할한다. 따라서, 분할해야 할 객체는 사용자가 원하는 객체이기 때문에 이의 구체적인 판단 기준은 수학적으로 모델링이 가능한 판단 기준이 아니라, 사용자의 주관에 의한 판단 기준이 된다.
즉, 본 발명은 사용자가 직접 관심있는 객체의 영역을 선택해 주고(201), 이를 기반으로 공간 정보를 이용한 객체 분할 알고리즘을 적용하여 객체를 분할해 낼 뿐만 아니라 객체의 정확한 윤곽선 정보를 얻어낸다. 그리고, 이것은 윤곽선 추적 방법을 이용하여 연속되는 프레임상에 존재하는 객체를 자동으로 분할하는 과정(202)에 있어서 중요한 초기 정보로 이용된다. 객체 분할 과정은 사용자의 만족도에 따라서 사용자가 결과에 만족할 경우, 자동 분할 과정(202)에서 끝날 수 있다. 하지만, 분할 결과에 대한 사용자의 요구가 크다면, 연속되는 프레임에 대해자동 분할만으로 사용자가 만족하지 못하는 경우도 있을 수 있다. 이러한 경우, 사용자의 필요에 따라 장면 전환 또는 새로운 물체를 감지하거나(203), 물체추적에 의한 자동 객체 분할 결과가 만족스러운지를 판단하여(204), 좀더 정확한 객체 분할을 수행하기 위한 기초 정보를 제공할 수 있다. 즉, 연속 프레임간에 장면 전환이나 자동 분할된 영상 객체 이외의 새로운 영상 객체 출현 등에 의한 동영상에서의 사용자의 관심 객체에 변동이 있거나(203), 객체 분할 결과가 사용자의 만족도에 못 미칠 경우(204), 사용자가 필요에 따라 사용자의 조력 및 공간정보에 의한 수동 또는 반수동 객체 분할 과정(201) 및 물체추적에 의한 자동 객체 분할 과정(204)을 수행한다. 이때, 해당 프레임에 대해 관심있는 객체의 윤곽선 정보를 얻어내고, 이것을 자동 분할 과정(202)에 반영해 줌으로써 보다 정확하고 효율적인 분할 결과를 얻을 수 있다.
이처럼, 본 발명은 수동 또는 반수동 객체 분할 과정과 자동 객체 분할 과정을 통해, 연속되는 영상 프레임내의 움직임 객체를 연속적으로/효율적으로 분할할 때, 사용자의 개입을 통하여 영상 객체의 영역을 수동 또는 반수동인 방법으로 정확하게 분할하고, 이를 연속되는 영상 프레임에 대해 자동으로 영상 객체를 분할하는 과정에 이용하는 것이다. 이때, 분할 결과를 평가하여 만족스럽지 않을 경우에는 사용자의 재 개입을 통하여 영상 객체를 재분할하고, 이를 자동 분할 과정에 입력으로 이용한다. 즉, 연속되는 영상 프레임내의 영상 객체 분할에 있어서, 분할 정확성을 높이고자 사용자의 개입에 의한 수동 또는 반수동 영상 분할 과정을 도입하고, 사용자의 개입을 최소화하기 위해 자동 분할 과정을 이용하여 연속적으로 영상 객체를 분할하여 분할된 영상을 객체 단위로 저장한다. 또한, 분할 결과의 정확성을 판정하는 과정을 두어 자동 분할 결과가 만족스럽지 않게 될 때까지 자동으로 영상 객체를 분할하도록 한다.
따라서, 본 발명의 바람직한 실시예에 따른 영상 객체 분할 방법은 사용자의 조력, 공간정보, 및 물체추적에 의한 시간정보 등 다양한 정보를 이용하여 영상 프레임으로부터 비디오 객체를 분할함으로써, 수동 분할에 따른 분할 소요시간 및 사용자의 노력을 감소시키고, 자동 분할에 따른 비디오 객체 분할의 부정확도를 향상시킬 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.
상기한 바와 같은 본 발명은, 사용자의 조력, 공간정보, 및 물체추적의 시간정보 등을 이용하여 영상에서 원하는 객체를 효과적으로 분할할 수 있고, 정의 또는 분할하기 어려운 비디오 객체를 사용자의 조력에 의해 수동 또는 반수동으로 분할하며, 일단 분할된 비디오 객체를 물체추적에 의해 자동으로 분할하여 수동 및 자동 분할법을 효과적으로 결합함으로써 정확한 비디오 객체 분할이 가능하고 사용자의 시간 및 노력을 줄일 수 있어 영상 편집, 저작 및 합성기, 객체기반 영상 부호화기 등에 적용할 수 있는 효과가 있다.

Claims (6)

  1. 영상시스템에 적용되는 영상 객체 분할 방법에 있어서,
    영상 시퀀스상의 첫 번째 프레임상에 존재하는 영상 객체 혹은 그 뒤 연속된 프레임에서 새롭게 나타나는 영상 객체를 사용자의 조력 및 공간 정보를 이용하여 수동 혹은 반수동으로 일차 분할하는 제 1 단계;
    이전 분할 객체의 움직임 추적에 의하여, 이전 프레임에서 일차 분할된 영상 객체를 자동으로 영역 분할하는 제 2 단계;
    상기 제 2 단계를 연속된 프레임에 대하여 반복 수행할 때, 연속 프레임간에 장면전환이 있거나 자동 영역 분할된 영상 객체이외에 새로운 영상 객체가 있는 경우에, 해당 영상 객체에 대해 상기 제 1 단계 및 제 2 단계를 반복 수행하는 제 3 단계; 및
    상기 제 2 단계를 연속된 프레임에 대하여 반복 수행할 때, 프레임간 장면전환이 없고 자동 영역 분할된 영상 객체이외에 새로운 영상 객체가 없는 경우에, 영상 객체의 영역 분할 결과를 검사하여, 사용자의 만족시에 상기 제 2 단계를 수행하고, 불만족시에 상기 제 1 단계에서 사용자에 의해 보정된 영역 분할 결과를 상기 제 2 단계의 자동 분할 과정에 반영하는 제 4 단계
    를 포함하는 사용자의 조력 및 물체추적에 의한 영상 객체 분할 방법.
  2. 제 1 항에 있어서,
    상기 제 3 단계는,
    영상 객체를 영역 분할하기 전에 연속 프레임간 장면 전환을 검출하여, 장면 전환이 존재할 경우에 사용자의 조력에 위한 일차 영역 분할 과정으로 유도하고, 장면 전환이 없는 경우에 물체 추적에 의한 자동 영역 분할 과정을 수행토록 하는 것을 특징으로 하는 사용자의 조력 및 물체추적에 의한 영상 객체 분할 방법.
  3. 제 1 항에 있어서,
    상기 제 3 단계는,
    물체 추적에 의한 영역 분할을 반복할 때, 물체 추적에 의하여 영역 분할된 영상 객체 이외에 새롭게 나타난 영상 객체가 있는지를 판단하여, 새로운 영상 객체가 나타난 경우에 새로운 영상 객체를 수동 혹은 반수동으로 영역 분할하는 사용자 조력에 의한 일차 영역 분할 과정으로 유도하고, 새롭게 나타난 영상 객체가 없는 경우에 물체 추적에 의한 자동 영역 분할 과정을 수행토록 하는 것을 특징으로 하는 사용자의 조력 및 물체추적에 의한 영상 객체 분할 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 일차 영역 분할 과정은,
    사용자가 마우스 혹은 다른 사용자 인터페이스 도구를 이용하여 완전 수동으로 영상내의 객체를 영역 분할하거나, 사용자가 상기 사용자 인터페이스 도구를 이용하여 간단히 영상 객체의 경계선을 지정하면 저장된 정보 및 영상분할정보를 이용하여 프로그램이 영상내의 객체를 반수동으로 영역 분할하는 것을 특징으로 하는 사용자의 조력 및 물체추적에 의한 영상 객체 분할 방법.
  5. 제 4 항에 있어서,
    상기 자동 영역 분할 과정은,
    이전 프레임에서 상기 일차 영역 분할된 영상 객체가 현재 프레임의 어디로 움직이는지를 추적하여 연속된 프레임에서 영상 객체를 자동으로 영역 분할하는 것을 특징으로 하는 사용자의 조력 및 물체추적에 의한 영상 객체 분할 방법.
  6. 제 4 항에 있어서,
    상기 영상분할정보는,
    바람직하게는, 밝기 및 컬러 정보를 포함하는 공간정보인 것을 특징으로 하는 사용자의 조력 및 물체추적에 의한 영상 객체 분할 방법.
KR1019980020687A 1998-06-03 1998-06-03 사용자의조력및물체추적에의한영상객체분할방법 KR100327103B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1019980020687A KR100327103B1 (ko) 1998-06-03 1998-06-03 사용자의조력및물체추적에의한영상객체분할방법
JP2000552843A JP4302891B2 (ja) 1998-06-03 1998-10-26 オブジェクト・トラッキングとユーザー補助によりビデオ・シーケンスにおいてオブジェクトを分割する方法
EP98951788A EP1092317A1 (en) 1998-06-03 1998-10-26 Method for objects segmentation in video sequences by object tracking and user assistance
PCT/KR1998/000335 WO1999063750A1 (en) 1998-06-03 1998-10-26 Method for objects segmentation in video sequences by object tracking and user assistance
US09/701,822 US6707851B1 (en) 1998-06-03 1998-10-26 Method for objects segmentation in video sequences by object tracking and user assistance
US10/734,542 US20040140994A1 (en) 1998-06-03 2003-12-12 Method for objects segmentation in video sequences by object tracking and user assistance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980020687A KR100327103B1 (ko) 1998-06-03 1998-06-03 사용자의조력및물체추적에의한영상객체분할방법

Publications (2)

Publication Number Publication Date
KR20000000823A KR20000000823A (ko) 2000-01-15
KR100327103B1 true KR100327103B1 (ko) 2002-09-17

Family

ID=19538347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980020687A KR100327103B1 (ko) 1998-06-03 1998-06-03 사용자의조력및물체추적에의한영상객체분할방법

Country Status (5)

Country Link
US (2) US6707851B1 (ko)
EP (1) EP1092317A1 (ko)
JP (1) JP4302891B2 (ko)
KR (1) KR100327103B1 (ko)
WO (1) WO1999063750A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012176953A1 (ko) * 2011-06-23 2012-12-27 (주)유디피 설정 인터페이스를 구비한 피플 카운터 및 그 설정 방법

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100327103B1 (ko) * 1998-06-03 2002-09-17 한국전자통신연구원 사용자의조력및물체추적에의한영상객체분할방법
US6553069B1 (en) * 1999-06-17 2003-04-22 Samsung Electronics Co., Ltd. Digital image segmenting method and device
US20020174434A1 (en) * 2001-05-18 2002-11-21 Tsu-Chang Lee Virtual broadband communication through bundling of a group of circuit switching and packet switching channels
US20030026338A1 (en) * 2001-08-03 2003-02-06 Koninklijke Philips Electronics N.V. Automated mask selection in object-based video encoding
JP2006518960A (ja) * 2003-02-21 2006-08-17 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ショット切れ目検出
KR100601933B1 (ko) * 2003-11-18 2006-07-14 삼성전자주식회사 사람검출방법 및 장치와 이를 이용한 사생활 보호방법 및 시스템
JP4241709B2 (ja) * 2005-10-11 2009-03-18 ソニー株式会社 画像処理装置
US8098885B2 (en) * 2005-11-02 2012-01-17 Microsoft Corporation Robust online face tracking
US20070124766A1 (en) * 2005-11-30 2007-05-31 Broadcom Corporation Video synthesizer
GB2456593B (en) * 2005-12-28 2011-07-13 Intel Corp A novel user sensitive information adaptive video transcoding framework
US8027513B2 (en) 2007-03-23 2011-09-27 Technion Research And Development Foundation Ltd. Bitmap tracker for visual tracking under very general conditions
US8233676B2 (en) * 2008-03-07 2012-07-31 The Chinese University Of Hong Kong Real-time body segmentation system
US8442328B2 (en) * 2008-10-03 2013-05-14 3M Innovative Properties Company Systems and methods for evaluating robustness of saliency predictions of regions in a scene
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
KR20130102895A (ko) 2012-03-08 2013-09-23 한국전자통신연구원 동영상에서의 전경 레이어 추출 장치 및 방법
US8873892B2 (en) 2012-08-21 2014-10-28 Cognex Corporation Trainable handheld optical character recognition systems and methods
US10068153B2 (en) * 2012-08-21 2018-09-04 Cognex Corporation Trainable handheld optical character recognition systems and methods
GB2523330A (en) 2014-02-20 2015-08-26 Nokia Technologies Oy Method, apparatus and computer program product for segmentation of objects in media content
CN105989367B (zh) 2015-02-04 2019-06-28 阿里巴巴集团控股有限公司 目标获取方法及设备
US10007971B2 (en) 2016-03-14 2018-06-26 Sensors Unlimited, Inc. Systems and methods for user machine interaction for image-based metrology
US9928592B2 (en) 2016-03-14 2018-03-27 Sensors Unlimited, Inc. Image-based signal detection for object metrology
EP3264371B1 (en) 2016-06-28 2021-12-29 Nokia Technologies Oy Apparatus for sharing objects of interest and associated methods
US10757346B1 (en) 2017-04-28 2020-08-25 Flixbay Technologies, Inc. Systems and methods for video extraction and insertion
KR102498597B1 (ko) 2017-08-22 2023-02-14 삼성전자 주식회사 전자 장치 및 이를 이용하여 관심 영역을 설정하여 오브젝트를 식별하는 방법
EP3682642A4 (en) 2017-09-15 2021-03-17 Imagine Communications Corp. SYSTEMS AND METHODS FOR PRODUCING FRAGMENTED VIDEO CONTENT
KR20230100205A (ko) 2021-12-28 2023-07-05 삼성전자주식회사 영상 처리 방법 및 장치
US12159412B2 (en) 2022-02-14 2024-12-03 Snap Inc. Interactively defining an object segmentation

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5101364A (en) * 1990-02-09 1992-03-31 Massachusetts Institute Of Technology Method and facility for dynamic video composition and viewing
US5329379A (en) * 1992-10-22 1994-07-12 International Business Machines Corporation System and method of measuring fidelity of decompressed video signals and images
JP2590705B2 (ja) * 1993-09-28 1997-03-12 日本電気株式会社 動き補償予測装置
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
US5764283A (en) * 1995-12-29 1998-06-09 Lucent Technologies Inc. Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths
US5969755A (en) * 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US5852673A (en) * 1996-03-27 1998-12-22 Chroma Graphics, Inc. Method for general image manipulation and composition
US6173066B1 (en) * 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US8107015B1 (en) * 1996-06-07 2012-01-31 Virage, Incorporated Key frame selection
US6075875A (en) * 1996-09-30 2000-06-13 Microsoft Corporation Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results
US6456328B1 (en) * 1996-12-18 2002-09-24 Lucent Technologies Inc. Object-oriented adaptive prefilter for low bit-rate video systems
TR199700058A3 (tr) * 1997-01-29 1998-08-21 Onural Levent Kurallara dayali hareketli nesne bölütlemesi.
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
JP3481430B2 (ja) * 1997-09-11 2003-12-22 富士通株式会社 移動体追跡装置
US6400831B2 (en) * 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking
KR100327103B1 (ko) * 1998-06-03 2002-09-17 한국전자통신연구원 사용자의조력및물체추적에의한영상객체분할방법
US6230162B1 (en) * 1998-06-20 2001-05-08 International Business Machines Corporation Progressive interleaved delivery of interactive descriptions and renderers for electronic publishing of merchandise
KR100301113B1 (ko) * 1998-08-05 2001-09-06 오길록 윤곽선 추적에 의한 동영상 객체 분할 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012176953A1 (ko) * 2011-06-23 2012-12-27 (주)유디피 설정 인터페이스를 구비한 피플 카운터 및 그 설정 방법
KR101222482B1 (ko) * 2011-06-23 2013-01-15 브이씨에이 테크놀러지 엘티디 설정 인터페이스를 구비한 피플 카운터 및 그 설정 방법
US8897492B2 (en) 2011-06-23 2014-11-25 UDP Technology Ltd. People counter including setting interface and method for setting the same

Also Published As

Publication number Publication date
WO1999063750A1 (en) 1999-12-09
KR20000000823A (ko) 2000-01-15
US6707851B1 (en) 2004-03-16
US20040140994A1 (en) 2004-07-22
JP2002517846A (ja) 2002-06-18
EP1092317A1 (en) 2001-04-18
JP4302891B2 (ja) 2009-07-29

Similar Documents

Publication Publication Date Title
KR100327103B1 (ko) 사용자의조력및물체추적에의한영상객체분할방법
KR100301113B1 (ko) 윤곽선 추적에 의한 동영상 객체 분할 방법
US6205260B1 (en) Sprite-based video coding system with automatic segmentation integrated into coding and sprite building processes
KR100609249B1 (ko) 영상 오브젝트 트랙킹 방법과 대응 시스
JP4843753B2 (ja) 三次元画像生成方法及び装置
US5572258A (en) Motion compensation estimating device and method achieving improved motion compensation
JP3640257B2 (ja) 動画像の画素を分類して画素の動きベクトルの予測フィールドを決定する方法
US20060109908A1 (en) Method of retrieving video picture and apparatus therefor
US5805221A (en) Video signal coding system employing segmentation technique
JP2000503509A (ja) 画像のセグメンテーション
JP2020506484A (ja) 画像特性マップを処理するための方法及び装置
JPH1155664A (ja) 二値形状信号符号化装置
KR20010084662A (ko) 화면비 변환 장치
EP1817912A1 (en) Motion vector field projection dealing with covering and uncovering
US5623310A (en) Apparatus for encoding a video signal employing a hierarchical image segmentation technique
JP4940024B2 (ja) 情報処理装置、動きベクトル生成プログラムおよび補間画像生成プログラム
KR20070026515A (ko) 동영상 부호화 방법 및 동영상 복호 방법
EP0871332B1 (en) Method and apparatus for coding a contour of an object employing temporal correlation thereof
KR100446414B1 (ko) 계층적 변이 추정부 및 그 방법과 이를 이용한 스테레오혼합 현실 영상 합성 장치 및 그 방법
KR20100087963A (ko) 광류 정보를 이용한 중간 영상 생성 방법
JPH07236153A (ja) 動画像のカット点検出およびカット画面グループ検出装置
KR20070026360A (ko) 비디오 정보를 압축／압축해제하기 위한 방법
KR20010102216A (ko) 비디오 영상들의 움직임들의 추정
KR100310295B1 (ko) 동영상의특성에따른선택적영상객체분할방법및그기록매체
KR100198950B1 (ko) 시공간 기울기 정보를 이용한 동영상의 자동 영역 분할방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19980603

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 19980603

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20001027

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20011004

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20001027

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20011103

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20011004

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20020131

Appeal identifier: 2001101003643

Request date: 20011103

AMND Amendment
PB0901 Examination by re-examination before a trial

Comment text: Amendment to Specification, etc.

Patent event date: 20011203

Patent event code: PB09011R02I

Comment text: Request for Trial against Decision on Refusal

Patent event date: 20011103

Patent event code: PB09011R01I

Comment text: Amendment to Specification, etc.

Patent event date: 20010327

Patent event code: PB09011R02I

B701 Decision to grant
PB0701 Decision of registration after re-examination before a trial

Patent event date: 20020131

Comment text: Decision to Grant Registration

Patent event code: PB07012S01D

Patent event date: 20011228

Comment text: Transfer of Trial File for Re-examination before a Trial

Patent event code: PB07011S01I

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20020221

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20020222

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20050131

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20060201

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20070131

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20080214

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20090202

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20100201

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20110125

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20120220

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20130122

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20130122

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20140127

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20140127

Start annual number: 13

End annual number: 13

FPAY Annual fee payment

Payment date: 20150126

Year of fee payment: 14

PR1001 Payment of annual fee

Payment date: 20150126

Start annual number: 14

End annual number: 14

FPAY Annual fee payment

Payment date: 20160127

Year of fee payment: 15

PR1001 Payment of annual fee

Payment date: 20160127

Start annual number: 15

End annual number: 15

FPAY Annual fee payment

Payment date: 20170124

Year of fee payment: 16

PR1001 Payment of annual fee

Payment date: 20170124

Start annual number: 16

End annual number: 16

EXPY Expiration of term
PC1801 Expiration of term

Termination date: 20181203

Termination category: Expiration of duration