KR100902738B1 - 비트스트림상에서의 객체 추적 장치 및 이의 방법 - Google Patents

비트스트림상에서의 객체 추적 장치 및 이의 방법 Download PDF

Info

Publication number
KR100902738B1
KR100902738B1 KR1020070074758A KR20070074758A KR100902738B1 KR 100902738 B1 KR100902738 B1 KR 100902738B1 KR 1020070074758 A KR1020070074758 A KR 1020070074758A KR 20070074758 A KR20070074758 A KR 20070074758A KR 100902738 B1 KR100902738 B1 KR 100902738B1
Authority
KR
South Korea
Prior art keywords
feature point
information
motion vector
similarity
unit
Prior art date
Application number
KR1020070074758A
Other languages
English (en)
Other versions
KR20080096342A (ko
Inventor
김문철
유원상
Original Assignee
한국정보통신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국정보통신대학교 산학협력단 filed Critical 한국정보통신대학교 산학협력단
Publication of KR20080096342A publication Critical patent/KR20080096342A/ko
Application granted granted Critical
Publication of KR100902738B1 publication Critical patent/KR100902738B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비트스트림상에서의 객체 추적 장치에 관한 것으로, 동영상 콘텐츠를 입력받아 객체의 초기 위치에 해당하는 적어도 하나 이상의 특징점 초기위치정보를 저장하는 특징점 정의부와, 동영상 콘텐츠를 입력받아 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출하는 비트스트림 분석부와, 움직임 벡터 정보 및 잔차 신호로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보 및 일정 블록에 대한 부분복원된 픽셀 정보를 이용하여, 각 프레임에서의 객체의 최적 위치 정보를 생성하는 객체 추적부와, 생성된 객체의 최적 위치 정보 및 객체관련 부가정보를 메타데이터로 생성하는 메타데이터 생성부를 포함하는 비트스트림상에서의 객체 추적 장치에 관한 것이다.
본 발명에 의하면, 동영상 콘텐츠로부터 객체의 고속 추적을 수행할 수 있으며, 형태의 변형이나 움직임이 심한 객체라도 정확한 최적의 객체 추적이 가능하고, 객체의 위치정보와 부가정보를 MPEG-7 메타데이터로 변환하여 대화형 DMB 방송 서비스에 직접적으로 사용할 수 있다.
비트스트림(bitstream), 객체 추적, 움직임 벡터(motion vector), 잔차(residual)

Description

비트스트림상에서의 객체 추적 장치 및 이의 방법{Apparatus and Method of Tracking Object in Bitstream}
본 발명은 비트스트림상에서의 객체 추적 장치 및 이의 방법에 관한 것으로, 보다 상세하게는 H.264/AVC 또는 MPEG-4 SVC로 부호화된 동영상에서 객체를 정의하여 정의된 객체의 위치정보를 부호화 정보에 기반하여 생성함으로써 최적의 객체 위치 추적을 고속으로 수행하고, 객체의 부가정보를 메타데이터 형태로 저장하는 비트스트림상에서의 객체 추적 장치 및 이의 방법에 관한 것이다.
종래에는, 주로 픽셀 영역에서 객체 추적을 수행하는 방식이 주류를 이루었다. 메타데이터 저자 도구에서 객체의 위치 정보를 생성하고자 하는 사용자는 긴 동영상에서 객체의 위치 정보를 이른 시간 내에 추출하여야 한다. 하지만, H.264/AVC 동영상에 대하여 픽셀 영역에서 객체 추적을 수행하는 경우에, 비트스트림 정보를 전체 복원한 후에 픽셀 정보에 기반하여 추적을 수행하여야 하기 때문에 객체 추적에 요구되는 시간이 매우 길어지는 단점이 있다.
또한, 비트스트림 정보를 이용하여 처리 시간을 단축하였다 하더라도, 비트스트림 정보만을 사용한 객체 추적은 정확하지 않기 때문에 형태가 변하거나 움직 임이 심한 객체의 경우 추적 오류가 발생하는 문제점이 있다.
따라서, 본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 H.264/AVC 동영상의 비트스트림 정보 및 부분복원된 픽셀 정보를 이용하여 최적의 객체 추적 시간을 양호하게 줄일 수 있는 비트스트림상에서의 객체 추적 장치 및 이의 방법을 제공한다.
본 발명의 다른 목적은 객체의 텍스쳐, 형태 및 움직임의 유사성을 고려하여 유사성 최소화 알고리즘에 의해 형태의 변화나 움직임이 심한 객체의 경우에도 객체 추적의 정확성을 향상시키는 비트스트림상에서의 객체 추적 장치 및 이의 방법을 제공한다.
전술한 목적을 달성하기 위하여 본 발명의 일측면은 동영상 콘텐츠를 입력받아 객체의 초기 위치에 해당하는 적어도 하나 이상의 특징점 초기위치정보를 저장하는 특징점 정의부와, 상기 동영상 콘텐츠를 입력받아 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출하는 비트스트림 분석부와, 상기 움직임 벡터 정보 및 잔차 신호로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보 및 일정 블록에 대한 부분복원된 픽셀 정보를 이용하여, 상기 각 프레임에서의 객체의 최적 위치 정보를 생성하는 객체 추적부와, 상기 객체관련 부가정보를 정의하는 객체 설명부와, 상기 생성된 객체의 최적 위치 정보 및 상기 정의된 객체관련 부가정보를 메타데이터로 생성하는 메타데이터 생성부를 포함하는 비트스트림상에서의 객체 추적 장치를 제공한다.
바람직하게, 상기 객체의 초기 위치에 해당하는 특징점을 입력하는 사용자 입력부를 더 포함할 수 있다. 상기 객체의 초기 위치에 해당하는 특징점을 추출하는 특징점 추출부를 더 포함할 수도 있다. 상기 객체 추적부는, 상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하는 순방향 매핑부와, 상기 추출된 잔차 신호로부터 일정 블록에 대한 픽셀 정보를 복원하는 부분복원부와, 상기 특징점 초기위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성하는 최적위치 산출부를 포함할 수도 있다. 상기 최적위치 산출부는, 이전 프레임의 특징점 초기위치정보 및 순방향 움직임 벡터정보로부터 다음 프레임에서 각 특징점이 이동한 위치좌표를 예측하는 위치 예측부와, 상기 예측된 특징점의 위치좌표로부터 적어도 하나 이상의 후보위치좌표를 추출하는 후보위치 추출부와, 상기 각 특징점 후보위치좌표의 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지를 각각 측정하는 유사성 측정부와, 상기 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지로부터 최대 유사성 에너지를 갖는 후보위치 집합으로부터 상기 객체의 최적위치를 산출하는 최대유사성위치 산출부를 포함할 수도 있다. 상기 후보위치 추출부는 상기 예측된 특징점의 위치좌표를 중심으로 일정 범위 내에서 상기 후보위치좌표를 선택할 수도 있다. 상기 유사성 측정부는 상기 특징점 후보위치좌표를 중심으로 한 일정 범위내의 픽셀값의 차분 절대값의 평균으로 텍스쳐 유사성 에너지를 측정하는 텍스쳐 유사성 측정부를 포함할 수도 있다. 상 기 유사성 측정부는 상기 특징점 후보위치좌표로부터 실질적으로 가장 근접한 특징점까지의 거리를 이용하여 형태 유사성 에너지를 측정하는 형태 유사성 에너지 측정부를 포함할 수도 있다. 상기 유사성 측정부는 상기 특징점 후보위치좌표를 역방향 움직임 벡터에 따라 이전 프레임으로 매핑할 때 생성되는 위치좌표와 상기 이전 프레임에서의 상기 특징점 후보위치좌표에 해당하는 특징점의 초기위치좌표 사이의 차분, 및 상기 순방향 움직임 벡터의 신뢰도를 이용하여 움직임 유사성 에너지를 측정하는 움직임 유사성 측정부를 포함할 수도 있다. 상기 움직임 유사성 측정부는 상기 이전 프레임에서 특징점 초기위치좌표에 대응하는 순방향 움직임 벡터, 및 상기 예측된 특징점의 위치좌표에 대응하는 역방향 움직임 벡터를 이용하여 상기 순방향 움직임 벡터의 신뢰도를 산출할 수도 있다. 상기 최대유사성위치 산출부는 상기 각 특징점 후보위치좌표의 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지의 총합을 최대화하는, 상기 각 특징점의 단일 후보위치를 상기 후보위치 집합으로 설정할 수도 있다. 상기 최대유사성위치 산출부는 상기 후보위치 집합의 각 후보위치좌표의 평균값을 상기 객체의 최적위치로 산출할 수도 있다. 상기 메타데이터 생성부에 의해 생성된 메타데이터를 저장하는 메타데이터 베이스를 더 포함할 수도 있다. 상기 동영상 콘텐츠는 H.264/AVC 또는 MPEG-4 SVC 베이스 라인으로 인코딩될 수도 있다. 상기 메타데이터 생성부는 상기 생성된 객체의 최적 위치 정보 및 상기 객체관련 부가정보를 MPEG-7 메타데이터 또는 XML 형태로 표현된 메타데이터로 생성할 수도 있다.
본 발명의 다른 측면은 a) 동영상 콘텐츠를 입력받아 객체의 초기위치에 해 당하는 적어도 하나 이상의 특징점 초기위치정보를 저장하는 단계와, b) 상기 동영상 콘텐츠를 입력받아 각 프레임의 움직임 벡터정보 및 잔차 신호정보를 추출하는 단계와, c) 상기 움직임 벡터 정보 및 잔차신호 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보 및 일정 블록에 대한 부분복원된 픽셀 정보를 이용하여 상기 각 프레임에서의 객체의 최적위치정보를 생성하는 단계와, d) 상기 객체의 객체관련 부가정보를 정의하는 단계와, e) 상기 생성된 객체의 최적위치정보 및 상기 정의된 객체관련 부가정보를 메타데이터로 생성하는 단계를 포함하는 비트스트림에서의 객체 추적 방법을 제공한다.
바람직하게, 상기 c) 단계는, c1) 이전 프레임의 특징점 초기위치정보 및 순방향 움직임 벡터정보로부터 다음 프레임에서 각 특징점이 이동한 위치좌표를 예측하는 단계와, c2) 상기 예측된 특징점의 위치좌표로부터 적어도 하나 이상의 후보위치좌표를 추출하는 단계와, c3) 상기 각 특징점 후보위치좌표의 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지를 각각 측정하는 단계와, c4) 상기 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지로부터 최대 유사성 에너지를 갖는 후보위치 집합으로부터 상기 객체의 최적위치를 산출하는 단계를 더 포함할 수도 있다. 상기 c3) 단계는, c31) 상기 특징점 후보위치좌표를 중심으로 한 일정범위내의 픽셀값의 차분 절대값의 평균으로 상기 텍스쳐 유사성 에너지를 측정하는 단계와, c32) 상기 특징점 후보위치좌표로부터 실질적으로 가장 근접한 특징점까지의 거리를 이용하여 형태 유사성 에너지를 측정하는 단계와, c33) 상기 특징점 후보위치좌표를 역방향 움직임 벡터에 따라 이전 프레임으 로 매핑할 때 생성되는 위치좌표와 상기 이전 프레임에서의 상기 특징점 후보위치좌표에 해당하는 특징점의 초기위치좌표 사이의 차분, 및 상기 순방향 움직임 벡터의 신뢰도를 이용하여 움직임 유사성 에너지를 측정하는 단계를 더 포함할 수도 있다. 상기 c33) 단계는, 상기 이전 프레임에서 특징점 초기위치좌표에 대응하는 순방향 움직임 벡터, 및 상기 예측된 특징점의 위치좌표에 대응하는 역방향 움직임 벡터를 이용하여 상기 순방향 움직임 벡터의 신뢰도를 산출할 수도 있다. 상기 생성된 메타데이터를 저장하는 단계를 더 포함할 수도 있다.
이상에서 설명한 바와 같은 본 발명에 의하면, H.264/AVC 또는 MPEG-4 SVC 동영상 콘텐츠로부터 비트스트림 정보와 부분 복원된 픽셀 정보를 이용하여 고속으로 최적의 객체 추적을 수행할 수 있는 효과가 있다.
또한, 객체의 텍스쳐, 형태 및 움직임 유사성을 고려한 유사성 최대화 알고리즘에 의하여 형태의 변형이나 움직임이 심한 객체라도 정확한 최적의 객체 추적이 가능한 효과가 있다.
더 나아가, 객체의 위치정보와 부가정보를 MPEG-7 메타데이터로 변환하여 대화형 DMB 방송 서비스에 직접적으로 사용할 수 있도록 하는 효과가 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명 의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.
도 1은 본 발명의 일실시예에 의한 비트스트림상에서의 객체 추적 장치의 구성도를 개략적으로 나타낸 것이다.
본 실시예에 의한 객체 추적 장치(100)는 특징점 정의부(110), 비트스트림 분석부(120), 객체 추적부(130), 객체 설명부(140), 메타데이터 생성부(150), 사용자 입력부(160), 특징점 추출부(170) 및 메타데이터 데이터베이스(180)를 포함한다.
특징점 정의부(110)는 H.264/AVC 또는 MPEG-4 SVC 베이스 라인으로 인코딩된 동영상 콘텐츠를 입력받아 객체의 초기위치에 해당하는 적어도 하나 이상의 특징점 초기위치정보를 저장한다. 여기서, 객체의 초기위치에 해당하는 특징점 또는 특징점의 초기위치정보는 사용자 입력부(160)에 의해 입력되거나, 특징점 추출부(170)에 의해 추출되어 특징점 정의부(110)로 입력될 수 있다.
비트스트림 분석부(120)는 동영상 콘텐츠를 입력받아 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출한다.
객체 추적부(130)는 움직임 벡터 정보 및 잔차 신호로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보 및 일정 블록에 대한 부분복원된 픽셀 정보를 이용하여, 각 프레임에서의 객체의 최적 위치 정보를 생성한다.
구체적으로, 객체 추적부(130)는 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하는 순방향 매핑부(131)와, 추출된 잔 차 신호로부터 일정 블록, 즉 객체 추적을 수행하는데 필요한 최소한 블록에 대한 픽셀 정보를 복원하는 부분복원부(132)와, 특징점 정의부(110)로부터 입력된 특징점 초기위치정보, 순방향 매핑부(131)로부터 입력된 순방향 움직임 벡터 정보 및 부분복원부(132)에 의해 부분복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성하는 최적위치 산출부(133)를 포함한다. 여기서, 최적위치 산출부(133)에 대해서는 도 2를 참조하여 보다 구체적으로 상술하고자 한다.
객체 설명부(140)는 객체관련 부가정보를 정의한다.
메타데이터 생성부(150)는 최적위치 산출부(133)에 의해 산출된 최적위치 정보 및 객체 설명부(140)에 의해 정의된 객체관련 부가정보를 MPEG-7 메타데이터 또는 XML 형태로 표현된 메타데이터로 생성한다.
메타데이터 데이터베이스(180)는 메타데이터 생성부(150)에 의해 생성된 메타데이터를 저장한다. 한편, 메타데이터 데이터베이스(180)는 본 실시예에 의한 객체 추적 장치(100)에 포함된 구성요소일 수도 있고, 객체 추적 장치(100) 외부에 존재하는 구성요소일 수도 있다.
도 2는 도 1의 비트스트림상에서의 객체 추적 장치의 객체 추적부의 구성도를 개략적으로 나타낸 것이다.
최적위치 산출부(200)는 위치 예측부(210), 후보위치 추출부(220), 유사성 측정부(230) 및 최대유사성위치 산출부(240)를 포함한다.
위치 예측부(210)는 이전 프레임의 특징점 초기위치정보 및 순방향 움직임 벡터정보로부터 다음 프레임에서 각 특징점이 이동한 위치좌표를 예측한다.
후보위치 추출부(220)는 보다 정확한 특징점의 위치좌표를 찾기 위해 예측된 특징점의 위치좌표로부터 적어도 하나 이상의 후보위치좌표를 추출한다. 즉, 후보위치 추출부(220)는 예측된 특징점의 위치좌표를 중심으로 일정 범위 내에서 후보위치좌표를 선택하여 추출한다.
유사성 측정부(230)는 각 특징점 후보위치좌표의 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지를 각각 측정한다.
구체적으로, 유사성 측정부(230)는 텍스쳐 유사성 측정부(231), 형태 유사성 측정부(232) 및 움직임 유사성 측정부(233)를 포함한다.
여기서, 텍스쳐 유사성 측정부(231)는 특징점 후보위치좌표를 중심으로 한 일정 범위 내의 픽셀 값의 차분 절대값의 평균으로 텍스쳐 유사성 에너지를 측정한다.
형태 유사성 측정부(232)는 특징점 후보위치좌표로부터 실질적으로 가장 근접한 특징점까지의 거리를 이용하여 형태 유사성 에너지를 측정한다.
움직임 유사성 측정부(233)는 특징점 후보위치좌표를 역방향 움직임 벡터에 따라 이전 프레임으로 매핑할 때 생성되는 위치좌표와 이전 프레임에서의 특징점 후보위치좌표에 해당하는 특징점의 초기위치좌표 사이의 차분, 및 순방향 움직임 벡터의 신뢰도를 이용하여 움직임 유사성 에너지를 측정한다. 한편, 움직임 유사성 측정부(233)는 이전 프레임에서 특징점 초기위치좌표에 대응하는 순방향 움직임 벡터, 및 예측된 특징점의 위치좌표에 대응하는 역방향 움직임 벡터를 이용한 다음의 수학식1에 의해 순방향 움직임 벡터의 신뢰도를 산출한다.
Figure 112007054140713-pat00001
여기서,
Figure 112007054140713-pat00002
는 이전 프레임에서 특징점 초기위치좌표에 대응하는 순방향 움직임 벡터이고,
Figure 112007054140713-pat00003
는 다음 프레임에서 예측된 특징점의 위치좌표에 대응하는 역방향 움직임 벡터이고, R 은 순방향 움직임 벡터의 신뢰도이고, σ는 두 벡터의 차분에 대한 신뢰도를 조정하는 임의의 변수이다. 또한, 역방향 움직임 벡터는 비트스트림 분석부에 의해 동영상 콘텐츠로부터 직접적으로 추출된 벡터이고, 순방향 움직임 벡터는 순방향 매핑부에 의해 역방향 움직임 벡터로부터 산출된다.
최대유사성위치 산출부(240)는 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지로부터 최대유사성 에너지를 갖는 후보위치 집합, 즉 특징점 군으로부터 객체의 최적위치를 산출한다. 즉, 최대유사성위치 산출부(240)는 각 특징점 후보위치좌표의 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지의 총합을 최대화하는, 각 특징점의 단일 후보위치를 후보위치 집합또는 특징점 군으로 설정하게 되고, 최종적으로 후보위치 집합의 각 후보위치좌표의 평균값을 객체의 최적위치로 산출한다.
도 3은 본 발명의 다른 실시예에 의한 비트스트림상에서의 객체 추적 방법의 흐름도를 개략적으로 나타낸 것이다. 전술한 실시예의 비트스트림상에서의 객체 추적 장치와 중복되는 설명은 생략하고자 한다.
우선, H.264/AVC 또는 MPEG-4 SVC 동영상 콘텐츠를 입력받아 객체의 초기위치에 해당하는 적어도 하나 이상의 특징점 초기위치정보를 저장한다(310).
이후, 동영상 콘텐츠를 입력받아 각 프레임의 움직임 벡터정보 및 잔차 신호정보를 추출한다(320).
이후, 움직임 벡터 정보 및 잔차신호 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보 및 일정 블록에 대한 부분복원된 픽셀 정보를 이용하여 각 프레임에서의 객체의 최적위치정보를 생성한다(330).
구체적으로 설명하면, 객체의 최적위치정보를 생성하는 단계(330)는, 이전 프레임의 특징점 초기위치정보 및 순방향 움직임 벡터정보로부터 다음 프레임에서 각 특징점이 이동한 위치좌표를 예측하는 단계와, 예측된 특징점의 위치좌표로부터 적어도 하나 이상의 후보위치좌표를 추출하는 단계와, 각 특징점 후보위치좌표의 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지를 각각 측정하는 단계와, 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지로부터 최대 유사성 에너지를 갖는 후보위치 집합으로부터 객체의 최적위치를 산출하는 단계로 구성될 수 있다.
한편, 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지를 각각 측정하는 단계에서는, 특징점 후보위치좌표를 중심으로 한 일정범위 내의 픽셀값의 차분 절대값의 평균으로 텍스쳐 유사성 에너지를 측정하며, 특징점 후보위치좌표로부터 실질적으로 가장 근접한 특징점까지의 거리를 이용하여 형태 유사 성 에너지를 측정하고, 특징점 후보위치좌표를 역방향 움직임 벡터에 따라 이전 프레임으로 매핑할 때 생성되는 위치좌표와 이전 프레임에서의 특징점 후보위치좌표에 해당하는 특징점의 초기위치좌표 사이의 차분, 및 순방향 움직임 벡터의 신뢰도를 이용하여 움직임 유사성 에너지를 측정할 수 있다. 여기서, 순방향 움직임 벡터의 신뢰도는 이전 프레임에서 특징점 초기위치좌표에 대응하는 순방향 움직임 벡터, 및 예측된 특징점의 위치좌표에 대응하는 역방향 움직임 벡터를 이용하여 산출할 수 있다.
이후, 객체의 객체관련 부가정보를 정의한다(340).
이후, 생성된 객체의 최적위치정보 및 정의된 객체관련 부가정보를 MPEG-7 메타데이터 또는 XML 형태로 표현된 메타데이터로 생성한다(350).
이후, 생성된 메타데이터를 메타데이터 데이터베이스에 저장한다(360).
전술한 본 발명에 따른 비트스트림상에서의 객체 추적 장치 및 이의 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
도 1은 본 발명의 일실시예에 의한 비트스트림상에서의 객체 추적 장치의 구성도를 개략적으로 나타낸 것이다.
도 2는 도 1의 비트스트림상에서의 객체 추적 장치의 객체 추적부의 구성도를 개략적으로 나타낸 것이다.
도 3은 본 발명의 다른 실시예에 의한 비트스트림상에서의 객체 추적 방법의 흐름도를 개략적으로 나타낸 것이다.

Claims (20)

  1. 동영상 콘텐츠를 입력받아 객체의 초기 위치에 해당하는 적어도 하나 이상의 특징점 초기위치정보를 저장하는 특징점 정의부와,
    상기 동영상 콘텐츠를 입력받아 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출하는 비트스트림 분석부와,
    상기 움직임 벡터 정보 및 잔차 신호로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보 및 일정 블록에 대한 부분복원된 픽셀 정보를 이용하여, 상기 각 프레임에서의 객체의 최적 위치 정보를 생성하는 객체 추적부와,
    상기 객체관련 부가정보를 정의하는 객체 설명부와,
    상기 생성된 객체의 최적 위치 정보 및 상기 정의된 객체관련 부가정보를 메타데이터로 생성하는 메타데이터 생성부를 포함하는 비트스트림상에서의 객체 추적 장치.
  2. 제 1 항에 있어서,
    상기 객체의 초기 위치에 해당하는 특징점을 입력하는 사용자 입력부를 더 포함하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 장치.
  3. 제 1 항에 있어서,
    상기 객체의 초기 위치에 해당하는 특징점을 추출하는 특징점 추출부를 더 포함하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 장치.
  4. 제 1 항에 있어서,
    상기 객체 추적부는,
    상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하는 순방향 매핑부와,
    상기 추출된 잔차 신호로부터 일정 블록에 대한 픽셀 정보를 복원하는 부분복원부와,
    상기 특징점 초기위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성하는 최적위치 산출부를 포함하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 장치.
  5. 제 4 항에 있어서,
    상기 최적위치 산출부는,
    이전 프레임의 특징점 초기위치정보 및 순방향 움직임 벡터정보로부터 다음 프레임에서 각 특징점이 이동한 위치좌표를 예측하는 위치 예측부와,
    상기 예측된 특징점의 위치좌표로부터 적어도 하나 이상의 후보위치좌표를 추출하는 후보위치 추출부와,
    상기 각 특징점 후보위치좌표의 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지를 각각 측정하는 유사성 측정부와,
    상기 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지로부터 최대 유사성 에너지를 갖는 후보위치 집합으로부터 상기 객체의 최적위치를 산출하는 최대유사성위치 산출부를 포함하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 장치.
  6. 제 5 항에 있어서,
    상기 후보위치 추출부는 상기 예측된 특징점의 위치좌표를 중심으로 일정 범위 내에서 상기 후보위치좌표를 선택하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 장치.
  7. 제 5 항에 있어서,
    상기 유사성 측정부는 상기 특징점 후보위치좌표를 중심으로 한 일정 범위내의 픽셀값의 차분 절대값의 평균으로 텍스쳐 유사성 에너지를 측정하는 텍스쳐 유사성 측정부를 포함하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 장치.
  8. 제 5 항에 있어서,
    상기 유사성 측정부는 상기 특징점 후보위치좌표로부터 실질적으로 가장 근접한 특징점까지의 거리를 이용하여 형태 유사성 에너지를 측정하는 형태 유사성 에너지 측정부를 포함하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 장치.
  9. 제 5 항에 있어서,
    상기 유사성 측정부는 상기 특징점 후보위치좌표를 역방향 움직임 벡터에 따라 이전 프레임으로 매핑할 때 생성되는 위치좌표와 상기 이전 프레임에서의 상기 특징점 후보위치좌표에 해당하는 특징점의 초기위치좌표 사이의 차분, 및 상기 순방향 움직임 벡터의 신뢰도를 이용하여 움직임 유사성 에너지를 측정하는 움직임 유사성 측정부를 포함하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 장치.
  10. 제 9 항에 있어서,
    상기 움직임 유사성 측정부는 상기 이전 프레임에서 특징점 초기위치좌표에 대응하는 순방향 움직임 벡터, 및 상기 예측된 특징점의 위치좌표에 대응하는 역방향 움직임 벡터를 이용하여 상기 순방향 움직임 벡터의 신뢰도를 산출하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 장치.
  11. 제 5 항에 있어서,
    상기 최대유사성위치 산출부는 상기 각 특징점 후보위치좌표의 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지의 총합을 최대화하는, 상기 각 특징점의 단일 후보위치를 상기 후보위치 집합으로 설정하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 장치.
  12. 제 11 항에 있어서,
    상기 최대유사성위치 산출부는 상기 후보위치 집합의 각 후보위치좌표의 평균값을 상기 객체의 최적위치로 산출하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 장치.
  13. 제 1 항에 있어서,
    상기 메타데이터 생성부에 의해 생성된 메타데이터를 저장하는 메타데이터 베이스를 더 포함하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 장치.
  14. 제 1 항에 있어서,
    상기 동영상 콘텐츠는 H.264/AVC 또는 MPEG-4 SVC 베이스 라인으로 인코딩된 것을 특징으로 하는 비트스트림 상에서의 객체 추적 장치.
  15. 제 1 항에 있어서,
    상기 메타데이터 생성부는 상기 생성된 객체의 최적 위치 정보 및 상기 객체관련 부가정보를 MPEG-7 메타데이터 또는 XML 형태로 표현된 메타데이터로 생성하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 장치.
  16. a) 동영상 콘텐츠를 입력받아 객체의 초기위치에 해당하는 적어도 하나 이상 의 특징점 초기위치정보를 저장하는 단계와,
    b) 상기 동영상 콘텐츠를 입력받아 각 프레임의 움직임 벡터정보 및 잔차 신호정보를 추출하는 단계와,
    c) 상기 움직임 벡터 정보 및 잔차신호 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보 및 일정 블록에 대한 부분복원된 픽셀 정보를 이용하여 상기 각 프레임에서의 객체의 최적위치정보를 생성하는 단계와,
    d) 상기 객체의 객체관련 부가정보를 정의하는 단계와,
    e) 상기 생성된 객체의 최적위치정보 및 상기 정의된 객체관련 부가정보를 메타데이터로 생성하는 단계를 포함하는 비트스트림에서의 객체 추적 방법.
  17. 제 16 항에 있어서,
    상기 c) 단계는,
    c1) 이전 프레임의 특징점 초기위치정보 및 순방향 움직임 벡터정보로부터 다음 프레임에서 각 특징점이 이동한 위치좌표를 예측하는 단계와,
    c2) 상기 예측된 특징점의 위치좌표로부터 적어도 하나 이상의 후보위치좌표를 추출하는 단계와,
    c3) 상기 각 특징점 후보위치좌표의 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지를 각각 측정하는 단계와,
    c4) 상기 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지로부터 최대 유사성 에너지를 갖는 후보위치 집합으로부터 상기 객체의 최적위치 를 산출하는 단계를 더 포함하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 방법.
  18. 제 17 항에 있어서,
    상기 c3) 단계는,
    c31) 상기 특징점 후보위치좌표를 중심으로 한 일정범위내의 픽셀값의 차분 절대값의 평균으로 상기 텍스쳐 유사성 에너지를 측정하는 단계와,
    c32) 상기 특징점 후보위치좌표로부터 실질적으로 가장 근접한 특징점까지의 거리를 이용하여 형태 유사성 에너지를 측정하는 단계와,
    c33) 상기 특징점 후보위치좌표를 역방향 움직임 벡터에 따라 이전 프레임으로 매핑할 때 생성되는 위치좌표와 상기 이전 프레임에서의 상기 특징점 후보위치좌표에 해당하는 특징점의 초기위치좌표 사이의 차분, 및 상기 순방향 움직임 벡터의 신뢰도를 이용하여 움직임 유사성 에너지를 측정하는 단계를 더 포함하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 방법.
  19. 제 18 항에 있어서,
    상기 c33) 단계는,
    상기 이전 프레임에서 특징점 초기위치좌표에 대응하는 순방향 움직임 벡터, 및 상기 예측된 특징점의 위치좌표에 대응하는 역방향 움직임 벡터를 이용하여 상기 순방향 움직임 벡터의 신뢰도를 산출하는 것을 특징으로 하는 비트스트림상에서 의 객체 추적 방법.
  20. 제 16 항에 있어서,
    상기 생성된 메타데이터를 저장하는 단계를 더 포함하는 것을 특징으로 하는 비트스트림상에서의 객체 추적 방법.
KR1020070074758A 2007-04-27 2007-07-25 비트스트림상에서의 객체 추적 장치 및 이의 방법 KR100902738B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020070041463 2007-04-27
KR20070041463 2007-04-27

Publications (2)

Publication Number Publication Date
KR20080096342A KR20080096342A (ko) 2008-10-30
KR100902738B1 true KR100902738B1 (ko) 2009-06-15

Family

ID=40155734

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070074758A KR100902738B1 (ko) 2007-04-27 2007-07-25 비트스트림상에서의 객체 추적 장치 및 이의 방법

Country Status (1)

Country Link
KR (1) KR100902738B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469307B (zh) * 2010-11-12 2014-04-16 珠海全志科技股份有限公司 解码器及码流解析装置
EP2781085A4 (en) * 2011-11-14 2015-07-29 Intel Corp ANALYTICAL VIDEO CODING
KR102362318B1 (ko) * 2018-11-26 2022-02-15 한국전자기술연구원 움직임 객체 gt 생성 방법 및 시스템
CN111368593B (zh) * 2018-12-25 2023-11-28 北京右划网络科技有限公司 一种马赛克处理方法、装置、电子设备及存储介质
CN111161316B (zh) * 2019-12-18 2023-08-01 深圳云天励飞技术有限公司 目标物体跟踪方法、装置及终端设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010035100A (ko) * 2000-12-22 2001-05-07 유명현 하이퍼링크 비디오를 위한 임의 객체의 효과적인 추적장치 및 방법
JP2006318345A (ja) 2005-05-16 2006-11-24 Sony Corp 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010035100A (ko) * 2000-12-22 2001-05-07 유명현 하이퍼링크 비디오를 위한 임의 객체의 효과적인 추적장치 및 방법
JP2006318345A (ja) 2005-05-16 2006-11-24 Sony Corp 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置

Also Published As

Publication number Publication date
KR20080096342A (ko) 2008-10-30

Similar Documents

Publication Publication Date Title
CN104123529B (zh) 人手检测方法及系统
KR100902738B1 (ko) 비트스트림상에서의 객체 추적 장치 및 이의 방법
WO2019023921A1 (zh) 一种手势识别方法、装置及设备
US20240089896A1 (en) Fingerprint data pre-process method for improving localization model
CN111862145B (zh) 一种基于多尺度行人检测的目标跟踪方法
US20160048978A1 (en) Method and apparatus for automatic keyframe extraction
US8660302B2 (en) Apparatus and method for tracking target
US20130182958A1 (en) Apparatus and method for analyzing body part association
KR101959436B1 (ko) 배경인식을 이용한 물체 추적시스템
JP2018201161A (ja) 移動体追跡装置、移動体追跡方法およびプログラム
CN112164093A (zh) 一种基于边缘特征和相关滤波的人物自动跟踪方法
KR101700276B1 (ko) 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법
KR102289668B1 (ko) 매칭 신뢰도 기반 시멘틱 매칭 장치 및 방법
CN110688918B (zh) 基于长时增强特征增强及稀疏动态采样的快速行为检测方法
Carvalho et al. Filling the gap in quality assessment of video object tracking
KR20130075802A (ko) 기울기 히스토그램을 이용한 사람 검출 추적 시스템 및 방법
KR101777776B1 (ko) 표본 프로파일 정보 기반 움직임 추정장치 및 방법
CN106416244A (zh) 运动场估计
CN114694257A (zh) 多人实时三维动作识别评估方法、装置、设备及介质
KR101572330B1 (ko) 동영상의 근복사 검출 방법 및 시스템
CN114973410A (zh) 视频帧的动作特征提取方法及装置
CN112948604A (zh) 具备多语义层级注意能力的遥感影像文本描述生成方法
JPWO2021240623A5 (ko)
KR101787004B1 (ko) 표본 픽셀 기반 움직임 추정장치 및 방법
KR20100041170A (ko) 영상 추적 장치의 이동표적 움직임 추적 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120531

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee