KR101489523B1 - 데이터 스트림으로 비디오 데이터 및 관련 메타데이터를 전송하기 위한 방법 - Google Patents

데이터 스트림으로 비디오 데이터 및 관련 메타데이터를 전송하기 위한 방법 Download PDF

Info

Publication number
KR101489523B1
KR101489523B1 KR1020097021707A KR20097021707A KR101489523B1 KR 101489523 B1 KR101489523 B1 KR 101489523B1 KR 1020097021707 A KR1020097021707 A KR 1020097021707A KR 20097021707 A KR20097021707 A KR 20097021707A KR 101489523 B1 KR101489523 B1 KR 101489523B1
Authority
KR
South Korea
Prior art keywords
video data
video
information
chunks
metadata
Prior art date
Application number
KR1020097021707A
Other languages
English (en)
Other versions
KR20100015666A (ko
Inventor
루이 슈발리에
리오넬 우아젤
프랑수아 르 끌레르
프레데릭 르페브르
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38255883&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101489523(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20100015666A publication Critical patent/KR20100015666A/ko
Application granted granted Critical
Publication of KR101489523B1 publication Critical patent/KR101489523B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 출원은 비디오 데이터 및 그와 관련된 메타데이터를 데이터 스트림으로 전송하는 방법에 관한 것으로, 상기 메타데이터는 관계된 비디오 데이터 구조를 나타낸다. 상기 방법은 비디오 데이터의 구조를 결정하는 단계, 상기 구조를 증분하는(incremental) 방식으로 청크들(chunks)로 나누는 단계, 및 상기 청크들을 연관된 비디오 데이터 앞에서 시간 간격을 두고 데이터 스트림으로 전송하는 단계를 포함한다. 본 출원은 또한 비디오 데이터와 관계된 핑거프린트 정보를 비디오 데이터 스트림으로 전송하는 방법에 관한 것이다. 상기 방법은 상기 비디오 데이터의 적어도 하나의 프레임과 관계된 핑거프린트를 결정하는 단계, 및 상기 핑거프린트 정보를 포함하는 적어도 한 메시지를 비디오 스트림에 삽입하는 단계를 포함한다.
데이터 스트림, 메타데이터, 청크, 비디오, 노드, 리프

Description

데이터 스트림으로 비디오 데이터 및 관련 메타데이터를 전송하기 위한 방법{METHOD TO TRANSMIT VIDEO DATA IN A DATA STREAM AND ASSOCIATED METADATA}
본 발명은 데이터 스트림으로 비디오 데이터 및 그와 관련된 메타데이터를 전송하기 위한 방법에 관한 것으로, 상기 메타데이터는 관련된 비디오 데이터 구조를 나타낸다.
본 발명은 또한 데이터 스트림으로 비디오 데이터 및 그와 관련된 메타데이터를 전송하기 위한 방법에 관한 것으로, 상기 메타데이터는 상기 비디오 데이터 구조와 관련된 핑거프린트(fingerprint) 정보를 나타낸다.
비디오 비트 스트림들에 내장된(embedded) 비디오 주석(annotation) 정보는 다음과 같은 상당히 많은 애플리케이션에 잠재적으로 이점을 준다:
인터넷 비디오 검색,
편집 자료 검색,
저장 매체 인덱싱 및 탐색(retreieval),
VOD에서의 비디오 브라우징, 채널 선택, PVR...,
비디오 복제 검출,
검색 결과들 클러스터링(clustering).
이들 애플리케이션들은 세 개의 카테고리로 결정될 수 있다:
비디오 다큐먼트들로의 텍스트 주석 요구
시각적 유사성 검색을 위한 시각적 특성의 요구
비디오 탐색을 위한 비디오 구조 정보의 요구.
압축 비디오 스트림들에 있어 더 많은 기능을 지원하기 위한 더 많은 요구가 있음에 따라, ITU-T H.264 표준으로도 지칭되는 H.264/AVC는 주로 디코딩과 관련되는 프로세스들에서 지원할 수 있는 SEI(Supplemental Enhancement Information) 메시지들을 채택했다. 요즘 상기 표준은 대략 20개 유형의 SEI 신택스(syntax)를 정의하여 서로 다른 애플리케이션들을 지원한다.
본 발명은 비디오 구조 및 핑거프린트의 기능적 지원을 구비하는 비디오 코딩의 프레임워크를 제안한다.
제1 양상에 따라, 본 발명은 비디오 데이터와 연관된 핑거프린트 정보를 비디오 데이터 스트림으로 전송하기 위한 방법에 관한 것이다. 이러한 본 발명의 양상에 따라, 상기 비디오 데이터의 적어도 하나의 프레임과 연관된 핑거프린트를 결정하는 단계, 및 상기 핑거프린트 정보를 포함하는 적어도 한 메시지를 비디오 스트림에 삽입하는 단계를 포함한다.
바람직한 실시예에 따라, 상기 비디오 데이터는 ITU-T H.264 표준에 부합하고, 상기 핑거프린트 정보는 SEI 메시지가 되도록 인캡슐레이팅된다(encapsulated).
바람직한 실시예에 따라, 데이터 구조는 복수의 노드를 포함하고, 각각의 노드는 복수의 리프(leaf)를 포함하고, 각각의 청크는 복수의 노드 및 리프를 포함한다.
바람직한 실시예에 따라, 상기 비디오 데이터가 인코딩되고 상기 청크들은 코딩된 비디오 데이터에 있는 메시지들 내로 인캡슐레이팅되고, 상기 청크는 그 청크에 포함된 노드들의 기술 또는 상기 기술이 다음 청크에 포함되어 있다는 것을 표시하는 정보 중 어느 하나를 포함한다.
바람직한 실시예에 따라, 상기 비디오 데이터는 ITU-T H.264 표준에 부합하는 메타데이터로 코딩되고, 상기 메타데이터는 적어도 SEI 메시지로 전송된다.
바람직한 실시예에 따라, 상기 기술에 포함된 정보는,
노드 식별자,
상기 노드가 상기 정보에 기술되어 있는지를 표시하는 표시자, 및
상기 노드가 현재 정보에 기술되어 있다면,
상기 노드가 연관되어 있는 비디오 정보를 나타내는 이름,
상기 노드가 연관되어 있는 비디오 정보의 지속시간(duration)을 부여하는 타임코드,
다수의 요약 세그먼트,
그리고, 각각의 요약 세그먼트에 대해,
상기 요약 세그먼트를 나타내는 이름,
상기 요약 세그먼트와 연관된 시맨틱(semantic) 정보를 나타내는 카테고리,
키프레임, 클립 또는 텍스트 기술 중 선택된 세그먼트의 유형을 기술하는 키 기술
중에서 선택되거나, 또는 이들 정보의 임의의 조합 중에서 선택된다.
본 발명의 제2 양상에 따라, 본 발명은 데이터 스트림으로 비디오 데이터 및 그와 연관된 메타데이터를 전송하는 방법을 제안하고, 상기 메타데이터는 연관된 비디오 데이터 구조를 나타낸다. 본 발명의 이 양상에 따라, 상기 방법은:
비디오 데이터의 구조를 결정하는 단계,
증분하는(incremental) 방식으로 상기 구조를 청크들(chunks)로 나누는(splitting) 단계, 및
상기 청크들을, 자신과 연관된 비디오 데이터 앞에서 시간 간격을 두고 데이터 스트림으로 전송하는 단계를 포함한다.
제3 양상에 따라, 본 발명은 또한,
비디오 데이터의 구조를 결정하는 수단,
증분 방식으로 상기 구조를 청크들로 나누는 수단,
상기 청크들을, 자신과 연관된 비디오 데이터 앞에 시간 간격을 두고 상기 데이터 스트림에 삽입하는 수단
을 포함하는 비디오 인코딩 디바이스에 관한 것이다.
제4 양상에 따라, 본 발명은 또한,
비디오 데이터의 적어도 하나의 프레임과 연관된 핑거프린트를 결정하는 수단,
상기 핑거프린트 정보를 포함하는 적어도 한 메시지를 비디오 스트림에 삽입하는 수단을 포함하는 비디오 인코딩 디바이스에 관한 것이다.
바람직한 실시예에 따라, 본 발명은 또한 제4 양상에 따른 것으로 ITU-T H.264 표준에 부합하고 구조 정보가 SEI 메시지가 되도록 인캡슐레이팅되는 비디오 인코딩 디바이스에 관한 것이다.
바람직한 실시예에 따라, 비디오 인코딩 디바이스는 ITU-T H.264 표준에 부합하고 또한 핑거프린트 정보가 SEI 메시지가 되도록 인캡슐레이팅된다.
제5 양상에 따라, 본 발명은 또한,
인코딩된 비디오 정보를 디코딩하는 수단,
증분 방식으로 상기 인코딩된 비디오 데이터에 삽입된 관련 비디오 데이터 구조를 디코딩하는 수단, 및
온 더 플라이(on the fly)로 수신되는 증분식의 비디오 데이터 구조에 의해 상기 비디오 데이터 구조를 재구축하기 위한 수단
을 포함하는 것을 특징으로 하는 퍼스널 비디오 레코더에 관한 것이다.
제6 양상에 따라, 본 발명은 또한,
인코딩된 비디오 정보를 디코딩하는 수단,
상기 인코딩된 비디오 데이터에 포함된 핑거프린트 정보를 디코딩하는 수단,
수신되고 인코딩된 비디오 데이터를 저장하는 수단, 및
자신들의 핑거프린트 정보에 기초하여 복수의 기록된 비디오 데이터를 비교하기 위한 수단
을 포함하는 것을 특징으로 하는 퍼스널 비디오 레코더에 관한 것이다.
본 발명의 다른 특징 및 이점들은 제한적이 아닌 본 발명의 실시예의 설명을 통해 드러날 것이고 첨부된 도면의 도움을 얻어 설명될 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 비디오의 구조 정보를 도시한다.
도 2는 본 발명의 바람직한 실시예에 따른 비디오의 증분 분해를 도시한다.
비디오 구조 기술은 임의의 오디오비주얼 다큐먼트(document)의 시맨틱 조직의 기술로 구성된다. 이 기술은 다큐먼트들의 톱 다운 분해(top down decomposition)를 제공하는 계층식 구조이다.
이 정보는 다큐먼트들의 짧은 요약을 표시하거나 다큐먼트들을 빠르게 탐색하기 위해 사용될 수 있다.
비디오 구조는 계층 구성을 기술한다. 다큐먼트의 유형에 따라, 다큐먼트의 구조를 얻는데 사용되는 방법이 상이할 수 있다. 비디오가 테니스 게임을 나타낸다면, 그 구조는 풋볼 게임과는 상이하고, 비디오가 영화를 나타낸다면 또한 구조가 상이하다. 비디오의 구조를 얻기 위한 몇몇의 알려진 방법들이 존재한다. 도 1은 비디오의 얻어진 구조를 나타낸다. 이 구조는 노드들 및 리프(leaf)들을 포함하는 트리에 의해 표현되는 비디오의 계층식 분해(a hierarchical decomposition)로서 표현된다. 노드들과 리프들의 수는 비디오 콘텐츠 및 그 길이에 의존한다. 트리의 깊이(Depth)는 전형적으로 콘텐츠에 의존한다. 트리의 최하위 레벨은 구조 분해의 최상의 그래뉼래리티(granularity)에 대응한다. 예를 들면, 테니스 경기에서, 최하위 레벨은 포인트에 대응할 수 있다.
도 1에 도시된 바와 같이, 트리의 최하위 레벨은 클립들(짧은 비디오)에 대응하거나, 또는 키프레임들에 직접 대응할 수 있다. 그래뉼래리티가 낮아질수록, 최하위 레벨은 테니스가 관련되어 있는 한, 게임들에 대응할 수 있다는 것을 가정할 수 있다.
방송 도메인에서, 디코더들은 스트림들의 임의의 포인트에서 스트림을 수신하는 것을 시작할 수 있다. 디코더들이 이 구조 정보를 이용하기 위해서는, 모든 트리 기술이 스트림을 따라 반복되어야 한다. 이러한 솔루션이 갖는 문제는 이것이 어느 정도의 리던던시(redundancy)를 나타낼 수 있고 너무 많은 대역을 소비할 수 있다는 점이다.
따라서, 본 발명은 도 2에 도시된 바와 같이 구조 정보를 청크들로 분산하는 것을 제안한다.
제안된 신택스는 스트림들이 흘러감에 따라 증분 방식으로 그래프를 전송하는 것을 가능하게 한다.
아이디어는 시간을 따라 계속되는 연속적인 포인트들에서 전송되는 복수의 청크를 사용하여 트리 기술을 나누는 것이다.
모든 청크는 비디오 콘텐츠의 대응 부분 앞에 전송되는 것으로 가정한다.
도 2에서, 트리는 3개의 청크로 나누어진다. 노드 id는 디코더 메모리에서 전체 트리를 재구성하는 것을 가능하게 한다.
인스턴트 t1에서, 다음 들어오는 비디오의 구조를 표시하는 메시지가 스트림에 삽입된다. 이 구조는 청크 1에 표현되어 있다.
인스턴트 t2에서, 다음 들어오는 비디오의 구조를 표시하는 메시지가 스트림에 삽입된다. 이 구조는 청크 2에 표현되어 있다.
인스턴트 t3에서, 다음 들어오는 비디오의 구조를 표시하는 메시지가 스트림에 삽입된다. 이 구조는 청크 3에 표현되어 있다.
데이터가 ITU-T H.264에 따라 코딩될 때, 구조 정보는 SEI 메시지가 되도록 인캡슐레이팅된다.
SEI 메시지의 구조는 다음의 표에 주어진다.
Figure 112009063628312-pct00001
필드 "레퍼런스(reference)"는 주어진 노드가 현재 메시지에 기술되는지 또는 미래의 메시지에 기술되는 지를 표시한다.
본 발명의 또 다른 실시예에 따라, 또한 모든 청크들은 방송되는 비디오의 시작부에서 전송될 수 있다. 이것은 디코더에서 방송되는 비디오의 시작부에서 전체 구조를 이용하는 것을 가능하게 한다.
바람직한 실시예에서, 각각의 청크는 상기 SEI 메시지가 적용되는 비디오를 포함하는 NALs 앞의 SEI 메시지에서 한번 전송된다.
각각의 SEI 메시지는 시작 정보 및 종료 정보로서 지칭되는 비디오 정보의 절대값을 표시하는 타임코드를 포함한다. 다큐먼트 내를 탐색할 때 사용자에게 의미있게 하기 위해, 각각의 세그먼트는 이름에 의해 표현되고 또한 각각의 세그먼트는 SHOT, SCENE, EVENT, NEWS_STORY 같은 특정 식별자에 의해 식별될 수 있고, 이것은 세그먼트에 그래뉼래리티를 부여한다. 각각의 세그먼트는 또한 비디오의 콘텐츠를 대표하는 시맨틱 정보와 예를 들면, GOAL, MATCH, GAME, SET를 사용하여 식별될 수 있다. 이 마지막 메타데이터는 비디오 인덱싱 애플리케이션을 위한 정보를 준다.
키 기술 필드가 키프레임, 비디오 클립, 또는 예를 들면 여러 세대에 걸쳐 알려진 중요한 사람으로부터의 매우 중요한 선언을 포함하는 세그먼트의 텍스트 기술이라면, 키 기술 필드는 또한 세그먼트의 그래뉼래리티를 표시한다.
SEI 메시지의 신택스는 트리 구조가 순환됨에 따라 순환된다.
청크 내의 내장된(embedded) 컴포넌트들의 수 N 또한 주어진다.
따라서, 데이터 스트림에 내장된 청크들을 잇달아 수신할 때, 각각의 청크가 다른 것들과 독립적인 것이 아니라 표 1에서 기술된 신택스 및 노드 식별자들에 의해 완전하게 링크되기 때문에 비디오 데이터의 완전한 구조를 재구성하는 것이 가능하다.
이제, 비디오와 함께 핑거프린트 정보를 전송하기 위한 방법을 제안하는 본 발명의 제2 양상을 설명할 것이다.
비디오 핑거프린팅(Video Fingerprinting)은 2개의 비디오 다큐먼트가 동일한 콘텐츠 또는 동일한 콘텐츠의 프래그먼트(fragment)를 포함할 지를 검출하는 것을 가능하게 하는 기술이다. (의도한 것이든 아니든) 변경된 콘텐츠에 대처하는 것이 가능하다. 이런 변경은:
ㆍ 크로핑(Cropping),
ㆍ 압축,
ㆍ 회전,
ㆍ 몇몇 이미지 변경(흐릿함(blur)..)을 포함한다.
비디오 핑거프린팅의 잘 알려진 애플리케이션은 다큐먼트의 해적판(pirate copy)들의 검출이다. 그러나, 비디오 핑거프린팅은 2개의 유사한 다큐먼트를 식별하는데 신뢰성있는 방법을 제공하기 때문에, 비디오 수집물(collection)에서 이중으로 있는 것을 검출하거나 완전한 편집 다큐먼트 내에서 클립을 탐색(retrieve)하는 것을 포함하는 많은 다른 애플리케이션을 갖는다.
이들 애플리케이션은 전형적으로 "콘텐츠에 의한 질의(query by content)"를 지원하는 순수 비주얼 유사성 기반 애플리케이션과는 상이하다: 이들은 거의 똑같게 일치하는 2개의 카피를 검색하는 것을 목적으로 한다.
핑거프린팅 기술은 특정 검색 애플리케이션들에 의해 실효적으로 취급될 수 있는 콘텐츠로부터의 기술 정보(descriptive information)의 추출에 의존한다. 이 기술 정보는 비디오 콘텐츠를 압축해제 없이 검색하고 분석하는데 즉시 이용가능하도록 메타데이터 내에 저장될 수 있다.
바람직한 실시예에 따라, 비디오 데이터는 ITU-T H.264 표준에 따라 인코딩된다. 핑거프린트 정보는 다음 표에 정의되는 바와 같은 SEI 메시지들이 되도록 인캡슐레이팅된다.
Figure 112009063628312-pct00002
핑거프린트 SEI 메시지는 스트림 내의 어떠한 위치에도 나타날 수 있다. 그러한 메시지들의 수는 임의일 수 있는데 최대로는 프레임당 하나일 수 있다. 전형적으로 샷(shot)당 하나의 핑거프린트 메시지가 있을 것이다.
핑거프린트 메시지는 자신과 연관되고 (그로부터 자신이 추출된) 표 2에서의 레퍼런스 프레임으로 지칭된 정확한 프레임을 특정한다. 이것은 시간적 제한들을 고려할 필요가 있는 핑거프린트 체크 메커니즘에 의해 요구된다.
타임코드는 다음의 방식으로 기술된다: 시간, 분, 초, 내장 다큐먼트에 대한 프레임 번호. 3바이트 및 1 니블(nibble)로 표현된다: b(8), b(8), b(8), n(4).
다큐먼트가 편집되면, 이 메타데이터는 재생성되어야 할 것이다.
"Fingerprint algorithm Index"는 이 프레임을 기술하는데 사용되는 비디오 핑거프린트 알고리즘의 인덱스이다. 프레임, 샷을 기술하기 위해 몇몇 상이한 비디오 핑거프린트 알고리즘들이 사용될 수 있다.
두 개의 비디오 핑거프린팅이 두 개의 상이한 알고리즘에 의해 추출된 경우, 직접적인 핑거프린트 비교는 불가능하다.
신택스 정의 내부에서, u(n)은 n개의 비트를 사용한 언사인드(unsigned) 정수를 나타내고 b(8)은 임의의 비트 스트링 패턴(8 비트)을 갖는 바이트를 나타내고, payloadSize는 모든 video_annotation_SEI payload의 바이트들에서의 크기이다.
여기에서 고속 비트 스트림 파싱의 가속화를 위해 가변장(variable length) 코딩은 사용되지 않는다.
핑거프린트 및 비디오 구조의 정보 모두 다른 비디오 주석 정보도 포함하는 고레벨 SEI 메시지 내에 결합될 수 있다.
예를 들면, 다음의 표는 비디오 주석과 관계된 몇개의 메타데이터 유형을 포함하는 SEI 메시지 구조를 제안할 수 있다.
video_annotation_SEI (payloadSize) { C 기술자
metadataType 5 u(8)
if (metadataType & 0x01 == 0x01)
text_metadata (payloadSize) 5
if (metadataType & 0x02 == 0x02)
motion_metadata () 5
if (metadataType & 0x04 == 0x04)
colour_metadata () 5
if (metadataType & 0x08 == 0x08)
texture_metadata () 5
if(metadataType & 0x10 == 0x10)
fingerprint_metadata () 5
if(metadataType & 0x10 == 0x12)
structure_metadata () 5
}
본 발명의 범위를 벗어나지 않으면서, 본 발명은 또한,
비디오 데이터의 구조를 결정하는 수단,
상기 구조를 증분 방식으로 청크들로 나누는 수단,
상기 청크들을 자신과 연관된 비디오 데이터 앞에서 시간 간격을 두고 데이터 스트림 내에 삽입하는 수단을 포함하는 비디오 인코딩 디바이스에 관한 것이다.
바람직하게는, 상기 인코딩 디바이스는 ITU-T H.264 표준에 부합하고 또한 상기 구조 정보가 SEI 메시지가 되도록 인캡슐레이팅된다.
본 발명은 또한,
비디오 데이터의 적어도 하나의 프레임과 연관된 핑거프린트를 결정하는 수단,
상기 핑거프린트 정보를 포함하는 적어도 한 메시지를 비디오 스트림 내로 삽입하는 수단을 포함하는 비디오 인코딩 디바이스에 관한 것이다.
바람직하게는, 상기 비디오 인코딩 디바이스는 ITU-T H.264 표준에 부합하고 또한 상기 핑거프린트 정보가 SEI 메시지가 되도록 인캡슐레이팅된다.
본 발명은 또한,
인코딩된 비디오 정보를 디코딩하는 수단,
증분 방식으로 인코딩된 비디오 데이터 내에 삽입된 연관된 비디오 데이터 구조를 디코딩하는 수단,
온 더 플라이(on the fly)로 수신되는 증분 비디오 데이터 구조에 의해 비디오 데이터 구조를 재구축하기 위한 수단을 포함하는 퍼스널 비디오 레코더에 관한 것이다.
본 발명은 또한,
인코딩된 비디오 정보를 디코딩하는 수단,
인코딩된 비디오 데이터 내에 포함된 핑거프린트 정보를 디코딩하는 수단,
자신들의 핑거프린트 정보에 기초하여 복수의 기록된 비디오들 데이터를 비교하기 위한 수단을 포함하는 퍼스널 비디오 레코더에 관한 것이다.

Claims (13)

  1. 데이터 스트림의 비디오 데이터 및 그와 연관된 메타데이터 - 이 메타데이터는 그와 연관된 비디오 데이터 구조를 나타냄 - 를 전송하는 방법으로서,
    상기 비디오 데이터의 구조를 결정하는 단계,
    상기 구조를 증분하는(incremental) 방식으로 청크들(chunks)로 나누는 단계, 및
    연관된 비디오 데이터 이전의 시간 간격에서 데이터 스트림으로 상기 청크들을 전송하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 데이터 구조는 복수의 노드를 포함하고, 각각의 노드는 복수의 리프(leaf)를 포함하고, 각각의 청크는 복수의 노드 및 리프를 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 비디오 데이터가 인코딩되고 상기 청크들은 코딩된 비디오 데이터에서의 메시지들에 인캡슐레이팅되고, 상기 청크는 그 청크에 포함된 노드들의 기술(description) 또는 다음 청크에 상기 기술이 포함되는 것을 표시하는 정보 중 어느 하나를 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 비디오 데이터는 ITU-T H.264 표준에 부합하는 코딩된 메타데이터이고, 상기 메타데이터는 적어도 SEI(Supplemental Enhancement Information) 메시지로 전송되는 것을 특징으로 하는 방법.
  5. 제3항에 있어서,
    상기 기술에 포함된 정보는,
    노드 식별자,
    상기 노드가 상기 정보에 기술되는지를 표시하는 표시자, 및
    상기 노드가 현재 정보에 기술되어 있다면,
    상기 노드가 연관되어 있는 비디오 정보를 나타내는 이름,
    상기 노드가 연관되어 있는 비디오 정보의 지속시간(duration)을 부여하는 타임코드,
    다수의 요약 세그먼트,
    그리고, 각각의 요약 세그먼트에 대해,
    상기 요약 세그먼트를 나타내는 이름,
    상기 요약 세그먼트와 연관된 시맨틱(semantic) 정보를 나타내는 카테고리,
    키프레임, 클립 또는 텍스트 기술 중 선택된 세그먼트의 유형을 기술하는 키 기술
    중에서 선택되거나, 또는 이들 정보의 임의의 조합 중에서 선택되는 것을 특징으로 하는 방법.
  6. 비디오 데이터의 구조를 결정하는 수단,
    증분 방식으로 상기 구조를 청크들로 나누는 수단,
    연관된 비디오 데이터 이전의 시간 간격에서 데이터 스트림에 상기 청크들을 삽입하는 수단
    을 포함하는 비디오 인코딩 디바이스.
  7. 제6항에 있어서,
    상기 디바이스는 ITU-T H.264 표준에 부합하고 또한 상기 구조 정보는 SEI 메시지내로 인캡슐레이팅되는 것을 특징으로 하는 비디오 인코딩 디바이스.
  8. 인코딩된 비디오 정보를 디코딩하는 수단,
    증분 방식으로 상기 인코딩된 비디오 데이터 내에 삽입된 연관 비디오 데이터 구조를 디코딩하는 수단, 및
    온 더 플라이(on the fly)로 수신되는 증분식의 비디오 데이터 구조에 의해 상기 비디오 데이터 구조를 재구축하는 수단
    을 포함하는 것을 특징으로 하는 퍼스널 비디오 레코더.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
KR1020097021707A 2007-04-17 2008-04-10 데이터 스트림으로 비디오 데이터 및 관련 메타데이터를 전송하기 위한 방법 KR101489523B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07290475.8 2007-04-17
EP07290475A EP1983755A1 (en) 2007-04-17 2007-04-17 Method to transmit video data in a data stream and associated metadata
PCT/EP2008/054384 WO2008125601A1 (en) 2007-04-17 2008-04-10 Method to transmit video data in a data stream and associated metadata

Publications (2)

Publication Number Publication Date
KR20100015666A KR20100015666A (ko) 2010-02-12
KR101489523B1 true KR101489523B1 (ko) 2015-02-03

Family

ID=38255883

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097021707A KR101489523B1 (ko) 2007-04-17 2008-04-10 데이터 스트림으로 비디오 데이터 및 관련 메타데이터를 전송하기 위한 방법

Country Status (6)

Country Link
US (1) US9838757B2 (ko)
EP (3) EP1983755A1 (ko)
JP (2) JP2010525642A (ko)
KR (1) KR101489523B1 (ko)
CN (1) CN101658034B (ko)
WO (1) WO2008125601A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1983755A1 (en) 2007-04-17 2008-10-22 Thomson Licensing Method to transmit video data in a data stream and associated metadata
EP2257067A1 (en) * 2009-05-29 2010-12-01 Thomson Licensing Method for inserting watermark assistance data in a bitstream, method of watermarking said bitstream, device implementing the method of watermarking and bitstream comprising the watermark assistance data
JP2012231291A (ja) * 2011-04-26 2012-11-22 Toshiba Corp 動画編集装置、動画編集方法およびプログラム
CN102750339B (zh) * 2012-06-05 2014-04-16 北京交通大学 一种基于视频重构的重复片段定位方法
US8719884B2 (en) 2012-06-05 2014-05-06 Microsoft Corporation Video identification and search
CN103929653B (zh) * 2014-04-30 2018-01-09 成都理想境界科技有限公司 增强现实视频生成器、播放器及其生成方法、播放方法
US9516377B1 (en) * 2015-06-12 2016-12-06 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching
CN107995155A (zh) * 2017-10-11 2018-05-04 上海聚力传媒技术有限公司 视频数据编码、解码、展示方法、视频系统及存储介质
EP4192018A1 (en) * 2021-12-03 2023-06-07 Axis AB Method and device for signing an encoded video sequence

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040005824A (ko) * 2000-09-25 2004-01-16 크로스빔 시스템즈, 인크. 네트워크 애플리케이션 장치를 위한 플로우 스케줄링 및구조
KR20050058912A (ko) * 2003-12-13 2005-06-17 삼성전자주식회사 마크업 랭귀지 기반의 데이터 관리 방법과 그 장치 및기록매체
US20070030996A1 (en) 2005-08-02 2007-02-08 Lsi Logic Corporation Method and/or apparatus for video watermarking and steganography using simulated film grain
US20070098007A1 (en) 2004-10-29 2007-05-03 Broadcom Corporation Hierarchical flow-level multi-channel communication

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961954B1 (en) * 1997-10-27 2005-11-01 The Mitre Corporation Automated segmentation, information extraction, summarization, and presentation of broadcast news
US7177520B2 (en) * 2000-09-15 2007-02-13 Ibm Corporation System and method of timecode repair and synchronization in MPEG streams
US20070192863A1 (en) * 2005-07-01 2007-08-16 Harsh Kapoor Systems and methods for processing data flows
US20030056010A1 (en) * 2001-09-20 2003-03-20 Koninklijke Philips Electronics N.V. Downstream metadata altering
AU2003221185A1 (en) * 2002-04-12 2003-10-27 Mitsubishi Denki Kabushiki Kaisha Meta data edition device, meta data reproduction device, meta data distribution device, meta data search device, meta data reproduction condition setting device, and meta data distribution method
US20040006575A1 (en) * 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
KR20040106414A (ko) 2002-04-29 2004-12-17 소니 일렉트로닉스 인코포레이티드 미디어 파일에서 진보된 코딩 포맷의 지원
JP2004180258A (ja) 2002-10-04 2004-06-24 Victor Co Of Japan Ltd 構造化データの送信装置
US20050216472A1 (en) * 2004-03-29 2005-09-29 David Leon Efficient multicast/broadcast distribution of formatted data
JP2008530938A (ja) * 2005-02-18 2008-08-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ デジタル信号をライブで送出する方法
WO2006105480A1 (en) * 2005-03-30 2006-10-05 United Video Properties, Inc. Systems and methods for video-rich navigation
EP1983755A1 (en) 2007-04-17 2008-10-22 Thomson Licensing Method to transmit video data in a data stream and associated metadata

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040005824A (ko) * 2000-09-25 2004-01-16 크로스빔 시스템즈, 인크. 네트워크 애플리케이션 장치를 위한 플로우 스케줄링 및구조
KR20050058912A (ko) * 2003-12-13 2005-06-17 삼성전자주식회사 마크업 랭귀지 기반의 데이터 관리 방법과 그 장치 및기록매체
US20070098007A1 (en) 2004-10-29 2007-05-03 Broadcom Corporation Hierarchical flow-level multi-channel communication
US20070030996A1 (en) 2005-08-02 2007-02-08 Lsi Logic Corporation Method and/or apparatus for video watermarking and steganography using simulated film grain

Also Published As

Publication number Publication date
JP5847683B2 (ja) 2016-01-27
US20100118191A1 (en) 2010-05-13
WO2008125601A1 (en) 2008-10-23
JP2013051707A (ja) 2013-03-14
KR20100015666A (ko) 2010-02-12
US9838757B2 (en) 2017-12-05
EP2137971A1 (en) 2009-12-30
CN101658034A (zh) 2010-02-24
EP1983755A1 (en) 2008-10-22
EP2741498A1 (en) 2014-06-11
CN101658034B (zh) 2014-01-29
JP2010525642A (ja) 2010-07-22

Similar Documents

Publication Publication Date Title
KR101489523B1 (ko) 데이터 스트림으로 비디오 데이터 및 관련 메타데이터를 전송하기 위한 방법
JP4392442B2 (ja) ＦｌｅｘＭｕｘストリームをストリーム形成、受信及び処理する装置及び方法
US7965858B2 (en) Data processing apparatus and method
US7139470B2 (en) Navigation for MPEG streams
CN102129474B (zh) 一种视频数据检索方法及其装置和系统
JP2004526372A (ja) ストリーミング映像ブックマーク
JP2009502055A (ja) 変更ファイルフォーマット、ファイルサーバ、データ処理システム及びデータ抽出方法
CN110740391B (zh) 一种修复mp4损坏文件的方法
JP2006081146A (ja) シーンチェンジ情報をビデオビットストリーム中に埋め込むシステムおよびその方法
US20050238057A1 (en) Multiplexing device and demultiplexing device
KR20090007177A (ko) 얼굴 인식 기반의 실시간 선별 녹화 장치 및 방법
GB2593897A (en) Method, device, and computer program for improving random picture access in video streaming
EP0983586A4 (en) IMPROVED OBJECT-ORIENTED AUDIOVISUAL INFORMATION PROCESSING SYSTEM AND METHOD
KR20120090101A (ko) 디지털 비디오 고속 정합 시스템
KR101163774B1 (ko) 비디오 압축용 장치 및 프로세스
JP6145748B2 (ja) 映像再生装置および映像記録装置
WO2019018030A1 (en) COMPRESSION AND RECOVERY OF STRUCTURED RECORDINGS
Alghafli et al. Identification and recovery of video fragments for forensics file carving
Luck et al. An integrated approach to recovering deleted files from NAND flash data
KR101568680B1 (ko) 데이터 파편 분류를 이용한 데이터 복원 방법
van der Meer et al. JPEG File Fragmentation Point Detection using Huffman Code and Quantization Array Validation
Altinisik et al. Automatic generation of H. 264 parameter sets to recover video file fragments
JP4053251B2 (ja) 画像検索システムおよび画像蓄積方法
De Bruyne et al. Enhanced shot-based video adaptation using MPEG-21 generic bitstream syntax schema
JP4114868B2 (ja) 多重化装置および多重化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
FPAY Annual fee payment

Payment date: 20180103

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee