KR100355382B1 - 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법 - Google Patents

영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법 Download PDF

Info

Publication number
KR100355382B1
KR100355382B1 KR1020010003423A KR20010003423A KR100355382B1 KR 100355382 B1 KR100355382 B1 KR 100355382B1 KR 1020010003423 A KR1020010003423 A KR 1020010003423A KR 20010003423 A KR20010003423 A KR 20010003423A KR 100355382 B1 KR100355382 B1 KR 100355382B1
Authority
KR
South Korea
Prior art keywords
query
frame
shot
image
frames
Prior art date
Application number
KR1020010003423A
Other languages
English (en)
Other versions
KR20020062429A (ko
Inventor
이성덕
김창용
김지연
김상균
문영수
박두식
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020010003423A priority Critical patent/KR100355382B1/ko
Priority to DE2001616717 priority patent/DE60116717T2/de
Priority to EP20010307388 priority patent/EP1225518B1/en
Priority to JP2001263656A priority patent/JP4370387B2/ja
Priority to CNB011252383A priority patent/CN1222897C/zh
Priority to US09/944,600 priority patent/US7024020B2/en
Publication of KR20020062429A publication Critical patent/KR20020062429A/ko
Application granted granted Critical
Publication of KR100355382B1 publication Critical patent/KR100355382B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99948—Application of database or data structure, e.g. distributed, multimedia, or image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법을 개시한다. 각각의 질의 객체를 포함하는 질의 영상들 및 그 각각의 질의 객체를 추출하고자 하는 영상 시퀀스를 입력하고, 영상 시퀀스에서 객체 레이블 영상을 생성하는 장치는, 영상 시퀀스를 유사 장면들의 집합인 일이상의 샷으로 구분하고, 각각의 샷에서 일이상의 대표 프레임을 선택하는 샷 및 대표 프레임 설정부, 질의 객체들에 근거하여 대표 프레임들에서 초기 객체 영역들을 추출하는 초기 객체 영역 추출부, 초기 객체 영역들을 이용하여 샷을 구성하는 모든 프레임들에 대해 객체 영역들을 추적하는 객체 영역 추적부, 및 프레임 단위로 추적된 객체 영역들을 통합하여, 하나의 프레임에서 포함된 일이상의 질의 객체들을 레이블링하는 레이블 영상 생성부를 포함한다.

Description

영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법{Apparatus and method for generating object label images in video sequence}
본 발명은 영상으로부터의 객체 추출에 관한 것으로, 특히 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법에 관한 것이다.
종래에 동영상에서 객체 레이블 영상을 생성하기 위해 각 프레임 마다 질의 객체를 사람에 의해 수동으로 추출하였다. 사람의 조력없이 객체를 추출하기 위한 방법들이 최근 발표되고 있다.
영상으로부터 객체를 추출하는 방법은 크게 물체의 움직임을 이용하는 방법(Motion based extraction)과 객체 영역의 특징치를 이용하는 방법(Feature based extraction)으로 분류될 수 있다.
물체의 움직임을 이용하는 방법은 다시 연속 영상의 차를 계산하여 움직임 영역을 추출하는 방법, 배경 영역 제거에 의한 추출방법, 운동 해석에 의한 추출방법 등으로 나누어진다. 연속 영상의 차를 이용하는 방법(frame difference, 예컨대, US5500904, US5109435)은 인접한 연속 영상에서 각 프레임의 밝기 차를 계산하여 움직임을 추출하는 기본적인 운동 영역 추출방식이다. 배경 영역 제거에 의한 방법(background subtraction, 예컨대, US5748775)은 영상 특징 변수의 시간적 변화를 사용하여 배경 영상을 복원하고, 원 영상과의 차를 이용하여 물체 영역을 추출한다. 운동 해석에 의한 방법(motion analysis, 예컨대, US5862508)은 움직이는 물체의 운동 방향과 속도를 계산하여 운동 영역을 추출한다. 복잡한 배경 하에서조명 변화나 구조의 변화가 생기는 경우에도 동작할 수 있는 가장 일반적인 운동 영역 추출방식이다.
그러나, 이러한 객체 영역 추출방법들은 연속 영상에서 적절한 물체의 움직임이 존재하는 경우에 사용가능하고, 정지영상이나 움직임이 적은 객체 혹은 운동 속도가 매우 큰 객체에서는 적용하기 어려운 단점이 있다.
다음에, 객체 영역의 특징치를 이용하는 방법은 템플릿 정합(template matching, 예컨대, US5943442), 다중 문턱치 분할(multi-value thresholds, 예컨대, US5138671), 특징치 정합에 의한 방법 등이 있다. 이들 방법들을 동영상 데이터에서의 질의 객체 추출에 사용하려면, 각 질의 객체 별로 모든 프레임에 대해 방법들을 적용해야 한다. 따라서, 많은 시간이 걸린다는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는, 동영상에서 프레임 단위로 질의 객체 영역들을 사람의 조력없이 그리고 객체의 움직임과 무관하게 자동적으로 추출하여 프레임 단위로 질의 객체 영역의 정보가 담긴 레이블 영상을 생성하기 위해서, 동영상을 여러개의 유사한 장면 특성을 갖는 샷들로 구분하고, 각각의 샷을 표현하는 대표영상들에서 질의 객체들이 존재하는지 여부를 파악하여 초기 객체 영역을 만들고, 이들 초기 객체영역을 대상으로 프레임 단위로 객체 영역을 추적 및 객체 영역 표시를 하여 레이블 영상을 생성함으로써, 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법을 제공하는데 있다.
이로서, 본 발명은 종래의 객체 추출 및 레이블 영상 생성 방법에 비해 질의객체 추출에 걸리는 시간을 단축시키고, 질의 객체의 움직임과는 무관하게 적용될 수 있으며, 또한 사람의 조력없이 자동화시킴으로써, 객체 기반 대화형 서비스에 용이하게 적용시킬 수 있다.
도 1은 본 발명이 적용되는 객체 기반 대화형 서비스 시스템의 개략적인 블럭도이다.
도 2는 본 발명에 의한 객체 레이블 영상 생성장치의 블럭도이다.
도 3a 및 도 3b는 본 발명에 의한 객체 레이블 영상 생성방법을 설명하기 위한 플로우챠트이다.
도 4는 샷 및 대표 프레임을 설정하는 일 예를 나타낸다.
도 5는 도 4에서 설정된 샷과 대표 프레임간의 관계의 일 예를 나타낸다.
도 6은 프레임 영상과 대응하는 레이블 영상의 일예를 나타낸다.
도 7은 객체들과 해당 레이블 영상에서의 값들간의 사상관계의 일 예를 나타낸다.
도 8은 레이블 영상에서의 객체를 무게 중심과 최소 사각형으로 표시한 일예를 나타낸다.
도 9는 도 8에서의 무게 중심과 최소 사각형의 좌표값을 이용한 객체 레이블링의 일예를 나타낸다.
도 10은 본 발명을 이용한 객체 기반 대화형 서비스의 실시예를 나타낸다.
상기 과제를 이루기 위하여, 각각의 질의 객체를 포함하는 질의 영상들 및 그 각각의 질의 객체를 추출하고자 하는 영상 시퀀스를 입력하고, 영상 시퀀스에서 객체 레이블 영상을 생성하는 본 발명에 의한 장치는,
영상 시퀀스를 유사 장면들의 집합인 일이상의 샷으로 구분하고, 각각의 샷에서 일이상의 대표 프레임을 선택하는 샷 및 대표 프레임 설정부, 질의 객체들에 근거하여 대표 프레임들에서 초기 객체 영역들을 추출하는 초기 객체 영역 추출부, 초기 객체 영역들을 이용하여 샷을 구성하는 모든 프레임들에 대해 객체 영역들을 추적하는 객체 영역 추적부, 및 프레임 단위로 추적된 객체 영역들을 통합하여, 하나의 프레임에서 포함된 일이상의 질의 객체들을 레이블링하는 레이블 영상 생성부를 포함한다.
이하, 본 발명을 첨부한 도면을 참조하여 다음과 같이 설명한다.
도 1은 본 발명이 적용되는 객체 기반 대화형 서비스 시스템의 개략적인 블럭도로서, 사용자 단말기들(100), 서버(120), 영상 시퀀스 데이터베이스(DB)(130) 및 관심 객체 DB(140)를 구비한다.
본 발명은 하나의 적용 예로서, 도 1에 도시된 객체 기반 대화형 서비스 시스템에서의 서비스를 위해 동영상 데이터에서 다수의 질의 객체에 해당하는 객체영역을 레이블 영상으로 생성한다.
도 1을 참조하면, 사용자 단말기(100)는 객체 기반 대화형 영상 플레이어 또는 엠펙4(MPEG 4) 플레이어를 구비하며, 네트워크(110)를 통해 원격으로 서버(120)에 접속한다. 서버(120)에 접속하면, 사용자는 객체 기반 대화형 영상 플레이어의 실행으로 사용자 단말기(100)의 화면을 통해 서버(120)에서 지원하는 동영상을 시청할 수 있다. 사용자는 대화형 플레이어를 통해 동영상을 시청하면서, 한편으로 영상 시퀀스에서 임의의 한 프레임중 임의의 한 객체(관심 객체)를 선택할 수 있다. 서버(120)는 영상 시퀀스 DB(130)에 저장된 영상 시퀀스를 사용자 단말기(100)의 화면상에 제공하고, 사용자에 의해 선택된 객체에 대한 상세 정보를 관심 객체 DB(140)를 참조하여 다시 제공한다. 이때, 사용자는 선택된 객체가 갖는 정보를 RGB(또는 YUV) 프레임들과 더불어 제공되는 객체 영역이 표시된 추가 프레임(엠펙 4의 경우에 α프레임)을 이용하여 볼 수 있다.
도 1에서 서버(120)는 각종 영상 시퀀스 데이터를 저장한 DB(130)를 관리하며, 또한 해당 영상의 관심 객체들(예컨대, 상품, 인물 등)에 대한 정보를 저장한 DB(140)를 관리한다. DB들은 서버(120)내에 포함될 수 있다. 도 1은 웹 기반 환경에서 구현될 수 있다. 이때 서버(120)는 웹 서버가 되며, 사용자 단말기(100)는 웹 브라우저를 구비하고, 인터넷(110)을 통해 웹 서버에 접속한다.
본 발명은 관심 객체 DB(140)에 저장된 프레임 단위의 객체에 대한 정보를 제공하기 위해, 이하에서 설명될 객체 레이블 영상 생성장치 및 방법을 이용하여 프레임 단위의 레이블 영상을 생성한다.
도 2는 본 발명에 의한 객체 레이블 영상 생성장치의 블럭도로서, 영상 시퀀스 입력부(200), 질의 영상 입력부(210), 샷 및 대표 프레임 설정부(220), 초기 객체 영역 추출부(230), 객체 영역 추적부(240) 및 레이블 영상 생성부(250)를 구비한다.
도 2를 참조하면, 영상 시퀀스 입력부(200)는 일련의 RGB(또는 YUV)와 같은 삼원색 프레임 데이터를 입력하고, 일련의 프레임 데이터를 샷 및 대표 프레임 설정부(220)로 출력한다. 여기서, 영상 시퀀스는 프레임들의 집합으로, 그 각각은 추출하고자 하는 질의 객체를 포함하는 영상이거나, 질의 객체를 포함하지 않은 영상일 수 있다.
샷 및 대표 프레임 설정부(220)는 입력된 영상 시퀀스를 유사 장면들의 집합인 일이상의 샷(shot)으로 구분하고, 구분된 샷 정보, 즉 샷을 구성하는 프레임 정보를 객체 영역 추적부(240)로 출력한다. 또한, 샷 및 대표 프레임 설정부(220)는 구분된 샷에 대해, 각각의 샷에서 샷을 대표하는 대표 프레임(키 프레임 또는 R-프레임)을 선택한다. 여기서, 대표 프레임은 일이상일 수 있다.
초기 객체 영역 추출부(230)는 질의 영상 입력부(210)로부터 각각의 질의 객체를 포함한 질의 영상들을 순차 입력하고, 샷 및 대표 프레임 설정부(220)로부터 각각의 샷에서의 일이상의 대표 프레임을 입력한다. 초기 객체 영역 추출부(230)는 질의 객체들에 근거하여 대프 프레임들에서 해당 객체가 있는지를 판단하고, 해당 객체가 점유하고 있는 영역 즉, 초기 객체 영역을 추출하여 이치화 또는 그레이 스케일 영상으로 표시한다. 본 발명에서는 샷 마스크 영상으로 표기한다. 모든질의 객체에 대해, 모든 대표 프레임의 샷 마스크 영상을 만든 후, 이들 샷 마스크 영상들을 객체 영역 추적부(240)로 출력한다.
객체 영역 추적부(240)는 샷으로 구분된 원래의 영상 시퀀스, 각각의 질의 객체들을 포함한 질의 영상들 및 질의 객체별 각각의 샷에서의 샷 마스크 영상을 입력한다. 객체 영역 추적부(240)는 초기 객체 영역들을 이용하여 샷을 구성하는 모든 프레임들에 대해 객체 영역들을 추적한다. 즉, 질의 객체들을 기준으로 샷 마스크 영상들을 이용하여 해당 샷내의 모든 프레임들에서 객체 영역을 추적하여 객체 영역의 존재 여부와 위치, 점유 영역을 이치화 또는 그레이 스케일 영상으로 만들어 저장한다. 본 발명에서는 프레임 마스크 영상으로 표기한다. 이러한 과정은 모든 샷을 대상으로 하며, 또한 모든 질의 객체들에 대해 프레임 마스크 영상들이 모두 만들어질때까지 반복된다.
끝으로, 레이블 영상 생성부(240)는 프레임 단위로 추적된 객체 영역들을 통합하여, 하나의 프레임에서 포함된 일이상의 질의 객체들을 레이블링한다. 즉, 질의 객체별 프레임 마스크 영상들을 하나의 객체 레이블 영상 프레임으로 만든다. 임의의 한 프레임에 예컨대, 3가지 질의 객체가 존재한다면, 이들은 각기 고유의 코드(0~255 사이)로 해당 객체 영역이 표시되며, 객체가 없는 화소들은 0(OFF)으로 표시된다.
레이블 영상 생성부(240)에서 생성된 프레임 단위의 레이블 영상과 해당 레이블이 표시하는 실제 객체에 대한 정보는 객체 DB에 저장됨으로써 도 1에 도시된 관심 객체 DB에서 이용될 수 있다.
도 3a 및 도 3b는 본 발명에 의한 객체 레이블 영상 생성방법을 설명하기 위한 플로우챠트이다. 이들 도면을 참조하여, 객체 레이블 영상 생성장치의 동작을 상세히 살펴본다.
먼저, 질의 객체를 추출하고자 하는 영상 시퀀스를 유사 장면들의 집합인 일이상의 샷으로 구분하고, 각각의 샷에서 일이상의 대표 프레임을 선택한다(제300~304단계). 일반적으로, 영상 시퀀스는 카메라 앵글, 등장 인물 또는 피사체 등의 변화, 장소의 변화, 조명의 변화 등으로 인해 다수의 샷으로 구분된다. 그리고, 샷들 간의 변화는 샷을 구성하는 프레임들간의 적은 변화(컬러 값)와 달리 그 값이 크며, 이를 알아내기 위해서는 두 프레임 예컨대, 대표 프레임들 간의 컬러차 정도 등으로 알 수 있다.
샷을 구성하는 프레임들중 하나를 대표 프레임으로 사용하는데, 일반적으로 첫번째 또는 중간 프레임을 사용한다. 본 발명에서는 질의 객체의 존재 여부를 대표 프레임만을 대상으로 검색하였다. 예컨대, 만약 샷이 p개라면 대표 프레임 역시 p개이다.
구체적으로, 도 3a에서 영상 시퀀스 및 질의 영상들(1~n)을 입력하고(제300단계), 영상 시퀀스를 일이상의 샷(1~p)으로 구분하고, 각각의 샷에서의 대표 프레임을 선택한다(제302단계). 다음에, p개의 대표 프레임들을 버퍼링한다(제304단계). 도 4는 샷 및 대표 프레임을 설정하는 일 예를 나타내고, 도 5는 도 4에서 설정된 샷과 대표 프레임간의 관계의 일 예를 나타낸다. 도 4에서, 각각의 샷에서 첫번째 프레임들이 대표 프레임들(KF-1, KF-2, KF-3,..., KF-p)로 선택되었다. 도5는 텔레비젼 드라마에서 일부 발췌한 영상 시퀀스를 샷 구분 및 대표 프레임 선택시 결과를 보여주는 표로서, 총 619 프레임으로 구성된 영상 시퀀스에서 9개의 샷 및 각각의 샷에서 선택된 대표 프레임의 번호가 나타나 있다.
다음에, 질의 객체들에 근거하여 대표 프레임들에서 초기 객체 영역을 추출한다(제306~312단계). 대표 프레임들에서 질의 객체와 유사한 객체가 있는지의 여부를 판단하는 방법으로 바람직하게, 칼라 히스토그램 분포, 텍스쳐, 객체를 구성하는 다색 영역들간의 구조적 특성 등을 이용할 수 있다.
구체적으로, n개의 질의 객체를 하나씩 가져온다. 제1 질의 객체를 로딩한다(제306단계). 주어진 질의 객체에 대해, p개의 모든 대표 프레임들을 대상으로 유사 객체가 존재하는지의 여부를 확인하여 초기 객체 영역을 추출한다(제308단계). 유사 객체가 존재하는 경우에, 그 초기 객체 영역의 화소들을 온(1)시키고, 나머지 부분의 화소들을 오프(0)시켜서 샷 마스크 영상을 만들어 낸다(제310). 질의 객체가 n번째를 초과하였는가를 판단하고(제312단계), 그렇지 않으면 다음 질의 객체를 로딩하여(제314단계), n개의 질의 객체에 대해 전술한 동작을 반복한다. 결과적으로, n개의 질의 객체에 대해 p개의 대표 프레임들에 의해 만들어진 n ×p의 샷 마스크 영상들이 생긴다(이때, 객체 영역이 없는 샷 마스크 영상은 그 화소들은 모두 오프(0)이다).
다음에, 초기 객체 영역들을 이용하여 샷을 구성하는 모든 프레임들에 대해 객체 영역들을 추적한다(제316~330단계). 이전 과정에서 만들어진 질의 객체별, 각각의 샷별 하나의 초기 객체 영역을 각각의 샷에서의 나머지 모든 프레임들로 확장시키는 역할이다. 이를 위해 이전 과정에서 만들어진 샷 마스크 영상을 초기 마스크로 하고, 질의 객체를 포함한 질의 영상의 컬러 정보를 기준으로 나머지 모든 프레임들에서 객체 영역의 위치와 점유 영역 등을 추적한다. 점유 영역의 위치 및 형상 변화를 고려하여 운동 모델과 컬러 정보를 함께 사용하며, 추적 영역들간의 유사도를 판별하여 보다 정확한 객체 영역을 얻는다.
구체적으로, 먼저 제1 질의 객체를 로딩한(제316단계) 상태에서, 제1 샷 마스크 영상을 로딩한다(제318단계). 로딩된 샷 마스크 영상이 모두 오프(0)이면, 즉, 해당 객체 영역이 없는 영상인 것으로 판단되면(제320단계), 다음 샷 마스크 영상을 로딩한다(제328단계). 한편, 샷 마스크 영상에 객체 영역이 존재하면, 해당 객체를 샷을 구성하는 모든 프레임들을 대상으로 추적하여(제322단계), 프레임 마스크 영상을 만들어 낸다(제324단계). 샷 번호가 p번째를 초과하였는가를 판단하고(제326단계), 그렇지 않으면 다음 샷 마스크 영상을 로딩한다(제328단계). 모든 샷을 대상으로 전술한 동작을 반복하며, 다시 모든 질의 객체를 대상으로 반복한다(제330,332단계).
끝으로, 프레임 단위로 추척된 객체 영역들을 통합하여, 하나의 프레임에서 포함된 일이상의 질의 객체들을 레이블링한다(제334단계). 입력 영상 시퀀스가 m개의 프레임으로 구성되었다고 할때, 이전 과정에서 n ×m개의 프레임 마스크 영상이 생성되었다. 각 프레임에 대해 n개의 질의 객체(모든 프레임마다 모든 질의 객체가 존재하지는 않으므로 실제로 이보다 적음)가 포함될 경우에, 이를 하나의 프레임으로 통합할 수 있다. 이때 질의 객체는 0부터 255 사이에서 고유한 코드를갖고 있으며, 통합된 프레임에서 해당 코드의 화소값을 갖도록 한다.
도 6은 프레임 영상과 대응하는 레이블 영상의 일예를 나타낸다. 도 6에서, 왼쪽에 도시된 임의의 한 프레임 영상은 예컨대, 복수개의 질의 객체를 갖는다. 이에 대해, 오른쪽에 도시된 제334단계를 거친 레이블 영상은 탁상 다이어리(552), 목걸이(553), 컵(554), 옷(555) 및 그 이외의 영역은 배경(551)로 표시되었다.
도 7은 객체들과 해당 레이블 영상에서의 값들간의 사상관계의 일 예를 나타낸다. 도 7을 참조하면, 복수개의 질의 객체들은 고유한 레이블링 번호를 갖는다. 이러한 고유한 레이블링 번호를 가짐으로써, 질의 객체별로 생성된 프레임 마스크 영상들을 프레임 단위로 통합할 때, 도 6에서 오른쪽에 도시된 바와 같이 고유한 레이블링 번호가 표시된다. 표시된 고유한 레이블링 번호는 또한 각각에 해당하는 고유한 화소값을 갖는다.
도 8은 레이블 영상에서의 객체를 무게 중심과 최소 사각형으로 표시한 일예를 나타낸다. 객체 영역을 표시하는 또다른 방법으로서, 고유한 레이블 번호 대신에, "X"로 표시된 해당 프레임에서의 영역의 무게 중심과 영역에 외접 또는 내접하는 최소 사각형을 이용할 수 있다. 여기서, P1과 P2는 각각 사각형의 시작점과 끝점을 가르킨다. 도 9는 도 8에서의 무게 중심과 최소 사각형의 좌표값을 이용한 객체 레이블링의 일예를 나타낸다.
도 10은 본 발명을 이용한 객체 기반 대화형 서비스의 실시예를 나타낸다. 제334단계를 거쳐 각 프레임에서 레이블 영상을 만들고, 이를 도 1을 참조하여 언급한 객체 DB에 저장한다(제336단계). 사용자가 객체 기반 대화형 플레이어를 이용하여 임의의 한 프레임에서 예컨대, 도 10의 왼쪽 프레임에서 여자가 입은 상의중 임의의 부분을 마우스로 클릭하였을 때, 클릭에 응답은 객체 DB에 저장된 레이블 영상에서의 해당 객체에 대한 정보로 연결된다. 도 10의 오른쪽은 객체에 대한 정보를 예시한다.
이상에서 설명한 바와 같이, 본 발명에 의한 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법은, 질의 객체별로 생성된 프레임 마스크 영상들을 프레임 단위로 통합시킴으로써, 종래의 객체 추출방법에 비해 한 프레임에서 복수개의 질의 객체를 추출하는데 걸리는 시간을 단축시킨다. 또한, 동영상 데이터를 객체 단위로 조작, 편집, 대화형 기능, 부호화 등을 할때 용이하게 적용될 수 있으며, 향후 대화형 인터넷 방송, 광고 홍보물, 컨텐츠 제작, 대화형 저작도구 등에 폭넓게 사용될 수 있다.

Claims (12)

  1. 각각의 질의 객체를 포함하는 질의 영상들 및 그 각각의 질의 객체를 추출하고자 하는 영상 시퀀스를 입력하고, 영상 시퀀스에서 객체 레이블 영상을 생성하는 방법에 있어서,
    (a) 상기 영상 시퀀스를 유사 장면들의 집합인 일이상의 샷으로 구분하고, 각각의 샷에서 일이상의 대표 프레임을 선택하는 단계;
    (b) 질의 객체들에 근거하여 상기 대표 프레임들에서 초기 객체 영역들을 추출하는 단계;
    (c) 상기 초기 객체 영역들을 이용하여 샷을 구성하는 모든 프레임들에 대해 객체 영역들을 추적하는 단계; 및
    (d) 프레임 단위로 추적된 객체 영역들을 통합하여, 하나의 프레임에서 포함된 일이상의 질의 객체들을 레이블링하는 단계를 포함하는 것을 특징으로 하는 객체 레이블 영상 생성방법.
  2. 제1항에 있어서, 상기 (b) 단계는,
    (b1) 각각의 질의 객체에 대해, 상기 대표 프레임들의 각각에서 유사한 객체가 있는지를 판단하고, 유사한 객체가 있으면 초기 객체 영역으로 추출하는 단계; 및
    (b2) 추출된 초기 객체 영역의 화소들을 제1값으로 설정하고, 나머지 화소들을 제2값으로 설정하여 질의 객체별로 샷 마스크 영상들을 생성하는 단계를 포함하는 것을 특징으로 하는 객체 레이블 영상 생성방법.
  3. 제2항에 있어서, 상기 (c) 단계는,
    (c1) 각각의 질의 객체에 대해, 각각의 샷에 대한 샷 마스크 영상 및 해당 질의 객체의 적어도 색 정보를 포함하는 영상 특징치들을 이용하여 각각의 샷을 구성하는 모든 프레임들에서 객체 영역들을 추적하는 단계; 및
    (c2) 추적된 객체 영역의 화소들을 제1값으로 설정하고, 나머지 화소들을제2값으로 설정하여 질의 객체별로 프레임 마스크 영상들을 생성하는 단계를 포함하는 것을 특징으로 하는 객체 레이블 영상 생성방법.
  4. 제3항에 있어서, 상기 (d) 단계는,
    질의 객체별로 생성된 프레임 마스크 영상들을 프레임 단위로 통합하여, 하나의 프레임에서 포함된 일이상의 질의 객체들을 레이블링하는 것을 특징으로 하는 객체 레이블 영상 생성방법.
  5. 제1항 또는 제4항에 있어서, 상기 (d) 단계에서 생성된 레이블 영상은,
    상기 질의 객체들이 고유 번호 또는 화소값을 가질 때, 프레임 단위로 포함된 일이상의 질의 객체들이 해당 고유 번호 또는 화소값을 갖는 영상인 것을 특징으로 하는 객체 레이블 영상 생성방법.
  6. 제1항 또는 제4항에 있어서, 상기 (d) 단계에서 생성된 레이블 영상은,
    프레임 단위로 포함된 일이상의 질의 객체들이 각각의 위치 좌표 정보를 갖는 영상인 것을 특징으로 하는 객체 레이블 영상 생성방법.
  7. 각각의 질의 객체를 포함하는 질의 영상들 및 그 각각의 질의 객체를 추출하고자 하는 영상 시퀀스를 입력하고, 영상 시퀀스에서 객체 레이블 영상을 생성하는 장치에 있어서,
    상기 영상 시퀀스를 유사 장면들의 집합인 일이상의 샷으로 구분하고, 각각의 샷에서 일이상의 대표 프레임을 선택하는 샷 및 대표 프레임 설정부;
    질의 객체들에 근거하여 상기 대표 프레임들에서 초기 객체 영역들을 추출하는 초기 객체 영역 추출부;
    상기 초기 객체 영역들을 이용하여 샷을 구성하는 모든 프레임들에 대해 객체 영역들을 추적하는 객체 영역 추적부; 및
    프레임 단위로 추적된 객체 영역들을 통합하여, 하나의 프레임에서 포함된 일이상의 질의 객체들을 레이블링하는 레이블 영상 생성부를 포함하는 것을 특징으로 하는 객체 레이블 영상 생성장치.
  8. 제7항에 있어서, 상기 초기 객체 영역 추출부는,
    각각의 질의 객체에 대해, 상기 대표 프레임들의 각각에서 유사한 객체가 있는지를 판단하고, 유사한 객체가 있으면 초기 객체 영역으로 추출하고,
    추출된 초기 객체 영역의 화소들을 제1값으로 설정하고, 나머지 화소들을 제2값으로 설정하여 질의 객체별로 샷 마스크 영상들을 생성하는 것을 특징으로 하는 객체 레이블 영상 생성장치.
  9. 제8항에 있어서, 상기 객체 영역 추적부는,
    각각의 질의 객체에 대해, 각각의 샷에 대한 샷 마스크 영상 및 해당 질의 객체의 적어도 색 정보를 포함하는 영상 특징치들을 이용하여 각각의 샷을 구성하는 모든 프레임들에서 객체 영역들을 추적하고,
    추적된 객체 영역의 화소들을 제1값으로 설정하고, 나머지 화소들을 제2값으로 설정하여 질의 객체별로 프레임 마스크 영상들을 생성하는 것을 특징으로 하는 객체 레이블 영상 생성장치.
  10. 제9항에 있어서, 상기 레이블 영상 생성부는,
    질의 객체별로 생성된 프레임 마스크 영상들을 프레임 단위로 통합하여, 하나의 프레임에서 포함된 일이상의 질의 객체들을 레이블링하는 것을 특징으로 하는 객체 레이블 영상 생성장치.
  11. 제7항 또는 제10항에 있어서, 상기 레이블 영상 생성부를 통해 생성된 레이블 영상은, 상기 질의 객체들이 고유 번호 또는 화소값을 가질 때, 프레임 단위로 포함된 일이상의 질의 객체들이 해당 고유 번호 또는 화소값을 갖는 영상인 것을 특징으로 하는 객체 레이블 영상 생성장치.
  12. 제7항 또는 제10항에 있어서, 상기 레이블 영상 생성부를 통해 생성된 레이블 영상은, 프레임 단위로 포함된 일이상의 질의 객체들이 각각의 위치 좌표 정보를 갖는 영상인 것을 특징으로 하는 객체 레이블 영상 생성장치.
KR1020010003423A 2001-01-20 2001-01-20 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법 KR100355382B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020010003423A KR100355382B1 (ko) 2001-01-20 2001-01-20 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법
DE2001616717 DE60116717T2 (de) 2001-01-20 2001-08-30 Vorrichtung und Verfahren zur Erzeugungung von objekt-markierten Bildern in einer Videosequenz
EP20010307388 EP1225518B1 (en) 2001-01-20 2001-08-30 Apparatus and method for generating object-labelled images in a video sequence
JP2001263656A JP4370387B2 (ja) 2001-01-20 2001-08-31 ビデオシーケンスのラベルオブジェクト映像生成装置及びその方法
CNB011252383A CN1222897C (zh) 2001-01-20 2001-08-31 视频序列中产生标记对象图像的设备和方法
US09/944,600 US7024020B2 (en) 2001-01-20 2001-09-04 Apparatus and method for generating object-labeled image in video sequence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020010003423A KR100355382B1 (ko) 2001-01-20 2001-01-20 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20020062429A KR20020062429A (ko) 2002-07-26
KR100355382B1 true KR100355382B1 (ko) 2002-10-12

Family

ID=19704920

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010003423A KR100355382B1 (ko) 2001-01-20 2001-01-20 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법

Country Status (6)

Country Link
US (1) US7024020B2 (ko)
EP (1) EP1225518B1 (ko)
JP (1) JP4370387B2 (ko)
KR (1) KR100355382B1 (ko)
CN (1) CN1222897C (ko)
DE (1) DE60116717T2 (ko)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6774908B2 (en) * 2000-10-03 2004-08-10 Creative Frontier Inc. System and method for tracking an object in a video and linking information thereto
US20030098869A1 (en) * 2001-11-09 2003-05-29 Arnold Glenn Christopher Real time interactive video system
KR100486709B1 (ko) * 2002-04-17 2005-05-03 삼성전자주식회사 객체기반 대화형 동영상 서비스 시스템 및 그 방법
JP4300767B2 (ja) * 2002-08-05 2009-07-22 ソニー株式会社 ガイドシステム、コンテンツサーバ、携帯装置、情報処理方法、情報処理プログラム、及び記憶媒体
US7647301B2 (en) * 2003-08-08 2010-01-12 Open-Circuit, Ltd. Information provision apparatus, format separation apparatus, information provision method and program
US7299126B2 (en) * 2003-11-03 2007-11-20 International Business Machines Corporation System and method for evaluating moving queries over moving objects
US7664292B2 (en) * 2003-12-03 2010-02-16 Safehouse International, Inc. Monitoring an output from a camera
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US20050229227A1 (en) * 2004-04-13 2005-10-13 Evenhere, Inc. Aggregation of retailers for televised media programming product placement
GB2414615A (en) 2004-05-28 2005-11-30 Sony Uk Ltd Object detection, scanning and labelling
WO2006122164A2 (en) * 2005-05-09 2006-11-16 Riya, Inc. System and method for enabling the use of captured images through recognition
US7542610B2 (en) * 2005-05-09 2009-06-02 Like.Com System and method for use of images with recognition analysis
US7519200B2 (en) 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US20080177640A1 (en) 2005-05-09 2008-07-24 Salih Burak Gokturk System and method for using image analysis and search in e-commerce
US7809192B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for recognizing objects from images and identifying relevancy amongst images and information
US7657100B2 (en) 2005-05-09 2010-02-02 Like.Com System and method for enabling image recognition and searching of images
US7660468B2 (en) * 2005-05-09 2010-02-09 Like.Com System and method for enabling image searching using manual enrichment, classification, and/or segmentation
US7809722B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
US7760917B2 (en) * 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
US7945099B2 (en) 2005-05-09 2011-05-17 Like.Com System and method for use of images with recognition analysis
US7783135B2 (en) 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
US7657126B2 (en) 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
US8732025B2 (en) * 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
US8494951B2 (en) * 2005-08-05 2013-07-23 Bgc Partners, Inc. Matching of trading orders based on priority
US8600832B2 (en) 2006-03-03 2013-12-03 The Invention Science Fund I, Llc Considering selling exemplar-based goods, items, or services
US20070208629A1 (en) * 2006-03-02 2007-09-06 Jung Edward K Y Shopping using exemplars
US9690979B2 (en) 2006-03-12 2017-06-27 Google Inc. Techniques for enabling or establishing the use of face recognition algorithms
US8571272B2 (en) * 2006-03-12 2013-10-29 Google Inc. Techniques for enabling or establishing the use of face recognition algorithms
US8233702B2 (en) * 2006-08-18 2012-07-31 Google Inc. Computer implemented technique for analyzing images
US8341152B1 (en) 2006-09-12 2012-12-25 Creatier Interactive Llc System and method for enabling objects within video to be searched on the internet or intranet
CN100413327C (zh) * 2006-09-14 2008-08-20 浙江大学 一种基于轮廓时空特征的视频对象标注方法
KR100853267B1 (ko) * 2007-02-02 2008-08-20 전남대학교산학협력단 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그시스템
CN100568958C (zh) * 2007-02-14 2009-12-09 成都索贝数码科技股份有限公司 一种基于网络的节目远程编辑方法
AU2008260048B2 (en) * 2007-05-30 2012-09-13 Creatier Interactive, Llc Method and system for enabling advertising and transaction within user generated video content
US7929764B2 (en) * 2007-06-15 2011-04-19 Microsoft Corporation Identifying character information in media content
US8416981B2 (en) 2007-07-29 2013-04-09 Google Inc. System and method for displaying contextual supplemental content based on image content
CN101420595B (zh) 2007-10-23 2012-11-21 华为技术有限公司 一种描述和捕获视频对象的方法及设备
US9189794B2 (en) * 2008-02-11 2015-11-17 Goldspot Media, Inc. Method and apparatus for maximizing brand exposure in a minimal mobile display
US20110110649A1 (en) * 2008-06-19 2011-05-12 Thomson Licensing Adaptive video key frame selection
CA2730286A1 (en) * 2008-07-14 2010-01-21 Google Inc. System and method for using supplemental content items for search criteria for identifying other content items of interest
US8239359B2 (en) * 2008-09-23 2012-08-07 Disney Enterprises, Inc. System and method for visual search in a video media player
US9715701B2 (en) * 2008-11-24 2017-07-25 Ebay Inc. Image-based listing using image of multiple items
CN102075689A (zh) * 2009-11-24 2011-05-25 新奥特（北京）视频技术有限公司 一种快速制作动画的字幕机
JP4784709B1 (ja) * 2011-03-10 2011-10-05 オムロン株式会社 対象物追跡装置、対象物追跡方法、および制御プログラム
MX2013014731A (es) * 2011-06-17 2014-02-11 Thomson Licensing Navegacion de video a traves de ubicacion de objetos.
US8798362B2 (en) * 2011-08-15 2014-08-05 Hewlett-Packard Development Company, L.P. Clothing search in images
CN102930887A (zh) * 2012-10-31 2013-02-13 深圳市宜搜科技发展有限公司 一种音频文件处理方法及系统
US9626567B2 (en) 2013-03-13 2017-04-18 Visible Measures Corp. Automated video campaign building
US9378556B2 (en) * 2014-04-25 2016-06-28 Xerox Corporation Method for reducing false object detection in stop-and-go scenarios
CN103970906B (zh) * 2014-05-27 2017-07-04 百度在线网络技术（北京）有限公司 视频标签的建立方法和装置、视频内容的显示方法和装置
WO2017164640A1 (en) * 2016-03-22 2017-09-28 Jam2Go, Inc. System and method for editing video contents automatically technical field
KR101717014B1 (ko) * 2016-04-21 2017-03-15 (주)노바빈 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법
CN107798272B (zh) * 2016-08-30 2021-11-02 佳能株式会社 快速多目标检测与跟踪系统
KR101751863B1 (ko) * 2017-03-08 2017-06-28 (주)잼투고 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법
CN108629224B (zh) * 2017-03-15 2019-11-05 北京京东尚科信息技术有限公司 信息呈现方法和装置
KR101827985B1 (ko) * 2017-05-19 2018-03-22 (주)잼투고 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법
CN108605081B (zh) 2017-07-18 2020-09-01 杭州他若信息科技有限公司 智能目标追踪
CN110119650A (zh) * 2018-02-06 2019-08-13 优酷网络技术（北京）有限公司 信息展示方法及装置
TWI666595B (zh) * 2018-02-26 2019-07-21 財團法人工業技術研究院 物件標示系統及方法
CN109284404A (zh) * 2018-09-07 2019-01-29 成都川江信息技术有限公司 一种将实时视频中的场景坐标与地理信息相匹配的方法
JP7121277B2 (ja) * 2018-09-28 2022-08-18 日本電信電話株式会社 情報同期装置、情報同期方法及び情報同期プログラム
KR102604937B1 (ko) 2018-12-05 2023-11-23 삼성전자주식회사 캐릭터를 포함하는 동영상을 생성하기 위한 전자 장치 및 그에 관한 방법
KR102028319B1 (ko) * 2018-12-17 2019-11-04 엘아이지넥스원 주식회사 연관 영상 제공장치 및 방법
KR101997799B1 (ko) * 2018-12-17 2019-07-08 엘아이지넥스원 주식회사 관심영역 연관 영상 제공시스템
US11823476B2 (en) 2021-05-25 2023-11-21 Bank Of America Corporation Contextual analysis for digital image processing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193748A (ja) * 1993-12-27 1995-07-28 Nippon Telegr & Teleph Corp <Ntt> 動画像処理方法および装置
JPH09282456A (ja) * 1996-04-18 1997-10-31 Matsushita Electric Ind Co Ltd 画像ラベリング装置および画像検索装置
JPH1139488A (ja) * 1997-07-18 1999-02-12 Nippon Hoso Kyokai <Nhk> 画像の領域分割処理用ラベルマーカ生成装置および画像の領域分割処理装置
KR19990066096A (ko) * 1998-01-21 1999-08-16 윤종용 2차원 영상 시퀀스를 이용한 스테레오 영상 생성장치 및 방법
KR20000054329A (ko) * 2000-06-01 2000-09-05 이성환 동영상 데이터상의 객체 추적 방법
KR20010011348A (ko) * 1999-07-27 2001-02-15 안병엽 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5109435A (en) 1988-08-08 1992-04-28 Hughes Aircraft Company Segmentation method for use against moving objects
JPH07104921B2 (ja) 1989-11-17 1995-11-13 松下電器産業株式会社 画像閾値決定方法
JPH0766448B2 (ja) * 1991-06-25 1995-07-19 富士ゼロックス株式会社 画像信号分析装置
US5500904A (en) 1992-04-22 1996-03-19 Texas Instruments Incorporated System and method for indicating a change between images
JP3123587B2 (ja) 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
JP3569992B2 (ja) 1995-02-17 2004-09-29 株式会社日立製作所 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム
US5943442A (en) 1996-06-12 1999-08-24 Nippon Telegraph And Telephone Corporation Method of image processing using parametric template matching
WO1998050869A1 (en) * 1997-05-05 1998-11-12 The Trustees Of Columbia University In The City Of New York Algorithms and system for object-oriented content-based video search

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193748A (ja) * 1993-12-27 1995-07-28 Nippon Telegr & Teleph Corp <Ntt> 動画像処理方法および装置
JPH09282456A (ja) * 1996-04-18 1997-10-31 Matsushita Electric Ind Co Ltd 画像ラベリング装置および画像検索装置
JPH1139488A (ja) * 1997-07-18 1999-02-12 Nippon Hoso Kyokai <Nhk> 画像の領域分割処理用ラベルマーカ生成装置および画像の領域分割処理装置
KR19990066096A (ko) * 1998-01-21 1999-08-16 윤종용 2차원 영상 시퀀스를 이용한 스테레오 영상 생성장치 및 방법
KR20010011348A (ko) * 1999-07-27 2001-02-15 안병엽 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체
KR20000054329A (ko) * 2000-06-01 2000-09-05 이성환 동영상 데이터상의 객체 추적 방법

Also Published As

Publication number Publication date
KR20020062429A (ko) 2002-07-26
EP1225518A2 (en) 2002-07-24
EP1225518B1 (en) 2006-01-18
DE60116717D1 (de) 2006-04-06
CN1367616A (zh) 2002-09-04
DE60116717T2 (de) 2006-11-02
JP4370387B2 (ja) 2009-11-25
US7024020B2 (en) 2006-04-04
JP2002232839A (ja) 2002-08-16
EP1225518A3 (en) 2003-01-02
US20020097893A1 (en) 2002-07-25
CN1222897C (zh) 2005-10-12

Similar Documents

Publication Publication Date Title
KR100355382B1 (ko) 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법
Anwar et al. Image colorization: A survey and dataset
Wang et al. Salient object detection based on multi-scale contrast
Senior et al. Appearance models for occlusion handling
Goferman et al. Context-aware saliency detection
US11270476B2 (en) Method and system for providing photorealistic changes for digital image
EP2965506A1 (en) Method of replacing objects in a video stream and computer program
CN101563698A (zh) 个性化视频
CN112272295B (zh) 具有三维效果的视频的生成方法、播放方法、装置及设备
CN109241956A (zh) 合成图像的方法、装置、终端及存储介质
Pokrajac et al. Spatiotemporal blocks-based moving objects identification and tracking
JP3411469B2 (ja) フレーム多重画像作成方法
CN114004772A (zh) 图像处理方法、图像合成模型的确定方法、系统及设备
Urribarri et al. Overview+ detail visual comparison of karate motion captures
Lobo et al. Animation plans for before-and-after satellite images
KR20010025404A (ko) 카메라 동작 분석을 이용한 가상 광고 삽입 장치 및 방법
Moon et al. Lee
Cavallaro et al. Object-based video: extraction tools, evaluation metrics and applications
CN113766297B (zh) 视频处理方法、播放终端及计算机可读存储介质
Lefèvre et al. Multiresolution color image segmentation applied to background extraction in outdoor images
Nikolenko Synthetic data for basic computer vision problems
CN114627404A (zh) 智能化视频人物替换方法、系统
Park et al. Extraction of visual information in basketball broadcasting video for event segmentation system
CN110765919A (zh) 一种基于人脸检测的参访图像展示系统和方法
Martín et al. Automatic players detection and tracking in multi-camera tennis videos

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120830

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20150828

Year of fee payment: 14

LAPS Lapse due to unpaid annual fee