KR20010042221A - 멀티미디어 콘텐츠 기재 시스템 및 방법 - Google Patents

멀티미디어 콘텐츠 기재 시스템 및 방법 Download PDF

Info

Publication number
KR20010042221A
KR20010042221A KR1020007010741A KR20007010741A KR20010042221A KR 20010042221 A KR20010042221 A KR 20010042221A KR 1020007010741 A KR1020007010741 A KR 1020007010741A KR 20007010741 A KR20007010741 A KR 20007010741A KR 20010042221 A KR20010042221 A KR 20010042221A
Authority
KR
South Korea
Prior art keywords
descriptor
attribute
data structure
values
data file
Prior art date
Application number
KR1020007010741A
Other languages
English (en)
Inventor
크라신스키래이몬드제이
아이사파디야서
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20010042221A publication Critical patent/KR20010042221A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99943—Generating database or data structure, e.g. via user interface
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S715/00—Data processing: presentation processing of document, operator interface processing, and screen saver display processing
    • Y10S715/961—Operator interface with visual structure or function dictated by intended use
    • Y10S715/965—Operator interface with visual structure or function dictated by intended use for process control and configuration
    • Y10S715/966—Computer process, e.g. operation of computer
    • Y10S715/968—Computer process, e.g. operation of computer interface for database querying and retrieval

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명에 따라 비디오 클립 등의 시각 애니메이트된 데이터 프레임의 시퀀스에서 선택된 피처를 나타내는 기술어 데이터 구조가 개시된다. 기술어 데이터 구조는 선택된 피처와 연관된 선정된 속성 필드의 블록 및 선택된 피처와 연관된 사용자 정의된 속성 필드의 블록을 함유하는 표준 기술어 템플릿을 포함한다. 선택된 피처는 시각 애니메이트된 데이터 프레임에서 나타내는 오브젝트, 애니메이트된 데이터 프레임의 시퀀스에서 선택된 프레임, 또는 애니메이트된 데이터 프레임의 시퀀스에서 프레임들의 블록일 수 있다. 기술어 템플릿의 구조화된 정의된 특징은 기술어 데이터 구조를 용이하게 식별할 수 있게 하고 용이하게 탐색할 수 있게 함으로써, 기술어 데이터 구조와 연관된 선택된 피처를 용이하게 식별할 수 있게 하고 용이하게 탐색할 수 있게 한다.

Description

멀티미디어 콘텐츠 기재 시스템 및 방법{System and method for describing multimedia content}
디지털 텔레비전(DTV)의 출현, 인터넷의 증가하는 인기 및 컴팩트 디스크(CD) 및 디지털 비디오 디스크(DVD) 플레이어 등의 소비자 멀티미디어 일렉트로닉스의 도입은 소비자들에게 유용한 거대한 양의 멀티미디어 정보를 가능하게 하고 있다. 비디오 및 애니메이트된 그래픽 콘텐츠가 용이하게 입수할 수 있게 되고 그것을 액세스하는 제품들이 소비자 시장에 도달함에 따라, 대용량의 멀티미디어 데이터를 탐색, 인덱싱 및 식별하는 것이 훨씬 더 많이 시도되고 중요해지고 있다.
본 명세서에서 "시각 애니메이트된 데이터(visual animated data)"라는 용어는 일반적인 비디오뿐만 아니라 합성 2D 또는 3D 월드(예, VRML) 또는 두 비디오 및 그래픽스의 혼합물(예, MPEG-4)을 의미한다. 비디오 클립 등의 시각 애니메이트된 데이터의 콘텐츠를 탐색하고 인덱스하기 위해 상이한 기준이 사용된다. 특정 형상 또는 컬러의 오브젝트(object)를 검출하고, 식별하고 라벨링하기 위해 또는 서브타이틀, 광고 텍스트 등의 프레임의 텍스트 또는 스트리트 사인 또는 "호텔" 사인 등의 배경 이미지 텍스트를 검출하기 위해 시각 애니메이트된 데이터의 프레임을 탐색하기 위한 비디오 처리 시스템이 개발되어 왔다.
상이한 양상의 시각 애니메이트된 데이터를 기술하기 위해 사용될 수 있는 표준 세트의 "기술어"를 확립하도록 의도된 새로운 MPEG 표준, MPEG-7이 현재 개발 중에 있다. 기술어, 또는 기술어와 기술어 스킴의 조합은 비디오 클립 등의 시각 애니메이트된 데이터의 콘텐츠를 직접적으로 기술하고, 그에 따라 비디오 파일 및 애니메이트된 그래픽스 파일의 저장소를 통해 탐색하기 위한 신속하고 효율적인 경로를 제공한다. MPEG-7은 시각 애니메이트된 데이터의 콘텐츠를 기술하기 위해 포괄적인 기술 정의 언어(DDL)로 일부 기술어 및 기술 스킴을 표준화하도록 의도된다.
기술어는 그의 가장 기본적인 것으로 시각 애니메이트된 데이터로 피처(feature)(또는 오브젝트)의 속성을 나타내는 것이다. 피처는 영화의 특이적 프레임에서 픽셀(pixel)의 컬러 등과 같이 매우 기본적인 어떤 것이거나, 또는 영화의 명칭 또는 영화의 스토리 내에서 그려진 캐릭터의 연령 등과 같이 보다 개념적이고 광범위한 어떤 것일 수 있다. 관련된 기술어의 수집은 기술 스킴이라 칭한다. 이들 기술어 및 기술 스킴을 생성하기 위한 이러한 언어는 "기술 정의 언어" 또는 DDL이라 칭한다.
MPEG-7의 한 가지 목표는 콘텐츠 제작자 및 콘텐츠 편집자가 시각 애니메이트된 데이터 콘텐츠의 임의의 피처를 다른 사람들이 사용할 수 있고 최종 소비자들이 그 시각 애니메이트된 데이터 콘텐츠를 탐색하고 검색하기 위해 사용할 수 있는 방식으로 기술하게 하는 것이다. 기술어들은 이들이 효율적으로 전송되고 저장될 수 있도록 코드화된다. 그러나, MPEG-7 표준은 완전하지 못하고, 그의 많은 의도된 목적들은 실현될 수 없다. 또한, 많은 MPEG-7 표준 제안들은 기술어를 생성하기 위한 완전 언어를 포함한다. 제안된 언어는 기술어 제작자가 특이적 언어의 신택스 및 어의(syntax and semantics)를 사용하는 자유로운 방식으로 기술어를 명시하게 한다. 이것은 각각의 기술자가 특이한 피처를 기재할 필요가 있을 때마다 사용될 수 있는 스크립트인 "스크립트 기초" 접근이다. 이러한 접근 하에, 하나의 기술어는 DDL에서 임의의 다른 서술어 같지 않을 수 있다. 따라서, 생성될 수 있는 기술어 및 기술어 스킴은 기술어 제작자의 선택에 따라 공통성이 거의 없이 고도로 개별화될 수 있다.
따라서, 비디오 클립을 포함하여 시각 애니메이트된(visual animated) 데이터의 콘텐츠를 탐색하고 인덱스하기 위한 개선된 시스템 및 방법이 당업계에 필요하다. 보다 상세하게는, 시각 애니메이트된 데이터와 연관된 기술어 정보를 검출하고 분석하는 파서 프로그램(parser program) 및 기타 애플리케이션에 의해 용이하게 인식 가능하고 탐색 가능한 고도로 구조화된 기술어 및 기술어 스킴을 구현하는 기술 정의 언어(DDL)가 필요하다.
본 발명은 일반적으로 비디오 처리 시스템에 관한 것이며, 보다 상세하게는 시각 애니메이트된 데이터의 콘텐츠를 식별하고 기재하는 시스템에 관한 것이다.
도 1은 본 발명의 한 실시예에 따른 전형적인 기술 정의 언어(DDL) 시스템을 예시한 도면.
도 2는 본 발명의 한 실시예에 따른 전형적인 시각 애니메이트된 데이터 파일을 예시한 도면.
도 3은 본 발명의 한 실시예에 따른 전형적인 시각 애니메이트된 데이터 파일을 예시한 도면.
도 4는 본 발명의 한 실시예에 따른 전형적인 시각 애니메이트된 데이터 파일을 예시한 도면.
도 5는 본 발명의 한 실시예에 따른 비디오 처리 시스템에서 기술어를 발생시키는 방법을 서술하는 전형적인 흐름도를 예시한 도면.
선행 기술의 상기 고찰한 결점을 다루기 위해, 본 발명의 주된 목적은 임의의 피처를 기술하기 위해 사용될 수 있는 속성들의 표준 세트를 함유하는 템플릿(template)을 제공하는 것이다. 각각의 템플릿은 기술어를 포함한다. 사용자는 표준 템플릿을 사용하여 피처를 기술하고 기술어를 생성하기 위해 값들을 기입할 수 있다. 기술어를 생성하기 위해 기술 정의 언어를 사용함으로써, 콘텐츠 제작자는 생성되는 멀티미디어 콘텐츠의 하위 레벨 개별 피처를 기술할 수 있다. 콘텐츠 제작자는 이들 하위 레벨 피처들 간의 관계를 기술할 수 있고 기술 스킴을 사용하여 지엽적으로 그룹화 되는 기술어를 수집할 수 있다.
본 발명의 원리에 따라 생성되는 모든 기술어 및 기술 스킴은 약간의 편차를 갖는 표준 템플릿에 기초한다. 스크립트 기초 기술어보다는 오히려 미리 정해진 템플릿 또는 템플릿 세트를 사용함으로써, 용이하게 인식 가능하고 탐색 가능한 시각 애니메이트된 데이터 파일의 기술어 및 기술 스킴을 가능케 한다.
본 발명의 한 실시예에 따라, 시각 애니메이트된 데이터 파일로 선택된 피처를 나타내는 기술어 데이터 구조를 발생시킬 수 있는 비디오 처리 장치가 제공된다. 이 비디오 처리 장치는 1) 선택된 피처를 선택할 수 있고 선택된 피처와 연관된 복수개의 속성 값을 발생시킬 수 있는 사용자 입력 수단 및 2) 시각 애니메이트된 데이터 파일에서 선택된 피처를 식별할 수 있고 사용자 입력 수단으로부터 복수개의 속성 값을 수신할 수 있고, 복수개의 속성 값의 수신에 응답하여, 복수개의 속성 값 중에서 선택된 값들을 표준 기술어 템플릿에 복수개의 선정된 속성 필드의 대응하는 필드에 삽입함으로써 기술어 데이터 구조를 발생시킬 수 있는 영상 처리기를 포함한다.
본 발명의 한 실시예에 따라, 영상 처리기(image processor)는 추가로 기술어 데이터 구조를 시각 애니메이트된 데이터 파일과 연관시킴으로써 변조된 시각 애니메이트된 데이터 파일을 생성할 수 있고, 선택된 피처는 기술어 데이터 구조를 조사함으로써 변조된 시각 애니메이트된 데이터 파일에서 식별될 수 있다.
본 발명의 다른 실시예에 따라, 선택된 피처는 시각 애니메이트된 데이터 파일에서 나타나는 오브젝트이고, 상기 기술어 데이터 구조는 오브젝트를 나타내는 속성 값들을 포함한다.
본 발명의 또 다른 실시예에 따라, 선택된 피처는 시각 애니메이트된 데이터 파일에서 영상 프레임이고, 기술어 데이터 구조는 영상 프레임을 나타내는 속성 값들을 포함한다.
본 발명의 또 다른 실시예에 따라, 선택된 피처는 시각 애니메이트된 데이터 파일에서 영상 프레임들의 시퀀스이고, 기술어 데이터 구조는 영상 프레임들의 시퀀스를 나타내는 속성 값들을 포함한다.
본 발명의 또 다른 실시예에 따라, 기술어 템플릿은 복수개의 사용자 정의된 속성 필드를 추가로 포함하고, 영상 처리기는 사용자 입력 수단으로부터 복수개의 사용자 정의된 속성 값들을 수신할 수 있고 복수개의 사용자 정의된 속성 값 중에서 선택된 값들을 사용자 정의된 속성 필드의 대응하는 필드에 삽입할 수 있다.
본 발명의 또 다른 실시예에 따라, 표준 기술어 템플릿의 복수개의 선정된 속성 필드는 유일한 식별(ID) 속성 필드를 포함하고, 복수개의 선정된 속성 필드는 동일한 ID 속성 필드를 갖는 기술어 데이터 구조에 대해 동일하다.
상기한 것들은 당업계의 숙련자들이 이후의 본 발명의 상세한 설명을 보다 잘 이해할 수 있도록 본 발명의 특징 및 기술적 장점을 오히려 광의적으로 개략한 것이다. 본 발명의 추가의 특징 및 장점은 본 발명의 특허 청구의 범위의 요지를 형성하는 것으로 이후 기재할 것이다. 당업계의 숙련자들은 이들이 본 발명의 동일한 목적을 수행하기 위한 다른 구조물을 변조시키거나 또는 설계하기 위한 기준으로서 개시된 개념 및 특정 실시예를 용이하게 사용할 수 있음을 인식해야 한다. 당업계의 숙련자들은 그러한 등가의 구조물이 광의의 형태로 본 발명의 정신 및 범위에서 벗어나지 않음을 역시 인식해야 한다.
상세한 설명에 착수하기 전에, 본 특허 명세서에 전반적으로 사용된 특정 단어 및 어구의 정의를 기재하는 것이 유리할 수 있다. 즉, "내포(include)" 및 "포함(comprise)"이라는 용어뿐만 아니라 그의 파생어들은 제한 없이 포함하는 것을 의미하고, "또는"이라는 용어는 및/또는의 의미를 포함하고, "와 연관된" 및 "그와 연관된"이라는 용어뿐만 아니라 그의 파생어는 그에 포함되는, 그와 서로 관련된, 포함하는, 그에 포함된, 그에 또는 그와 연결된, 그에 또는 그와 결합된, 그와 소통될 수 있는, 그와 협력하는, 삽입된, 병치된, 그에 근사한, 그에 또는 그와 결합된, 갖는, 특성을 갖는 등을 포함하는 것을 의미할 수 있고, "처리기" 또는 "조절기"라는 용어는 적어도 하나의 오퍼레이션을 조절하는 임의의 장치, 시스템 또는 그의 부품을 의미하고, 그러한 장치는 하드웨어, 펌웨어 또는 소프트웨어 또는 이들 중의 적어도 둘의 일부 조합으로 구현될 수 있다. 임의의 특정 조절기와 연관된 기능성은 근거리에서 또는 원격으로 집중되거나 또는 분배될 수 있음이 인식되어야 한다. 특정 단어 및 어구에 대한 정의는 본 특허 명세서 전반에 제공되고, 당업계의 통상의 기술을 가진 자라면 대부분의 경우는 아니더라도 많은 경우에 그러한 정의가 그와 같이 정의된 단어 및 어구의 이전의 사용뿐만 아니라 미래의 사용에 적용되는 것을 이해해야 한다.
본 발명 및 그의 장점의 보다 완전한 이해를 돕기 위해, 이하 수반된 도면과 연관시켜 하기 설명에 대해 참조하며, 여기서 동일한 번호는 동일한 오브젝트를 지정한다.
도 1 내지 5가 아래 고찰되고, 본 명세서에서 본 발명의 원리를 기재하기 위해 사용된 여러가지 실시예들은 단지 예시하기 위한 것으로 어떠한 방식으로든지 본 발명의 범위를 제한하도록 해석되지 않아야 한다. 당업계의 숙련자라면 본 발명의 원리가 임의의 적절히 배열된 비디오 처리 시스템으로 구현될 수 있음을 이해할 것이다.
도 1은 본 발명의 한 실시예에 따른 전형적인 기술 정의 언어(DDL) 시스템(100)을 예시한다. DDL 시스템(100)은 비디오 처리 장치(110), 시각 애니메이트된 데이터 소스(180), 모니터(185) 및 사용자 장치(190)를 포함한다.
비디오 처리 장치(110)는 특정 용도와 연관된 피처를 기재하는 속성의 표준 세트를 혼입한 본 발명의 템플릿을 사용하여 비디오 클립(또는 비디오 애니메이트된 데이터 파일)을 위한 기술어들을 수동으로 도입하기 위한 콘텐츠 제작자 또는 편집기를 위한 수단을 제공한다.
시각 애니메이트된 데이터 소스(180)는 비디오 처리 장치(110)에 및 그로부터 비디오 영상의 전송을 위해 제공된다. 시각 애니메이트된 데이터 소스(180)는 케이블, 비디오 테이프 레코더(VTR), 안테나, 네트워크 저장소, 컴팩트 디스크(CD) 플레이어/레코더, 디지털 비디오 디스크(DVD) 플레이어/레코더, 소거 가능한 디스크 기억 장치 또는 오디오의 존재 또는 부재 하에 디지털화된 애니메이트된 비디오 영상을 제공하고 저장할 수 있고, 비디오 데이터의 부재 하에 디지털화된 오디오 데이터를 제공하고 저장할 수 있는 유사한 장치중의 하나 이상일 수 있다. 시각 애니메이트된 데이터 소스(180)는 보다 긴 길이의 디지털화된 애니메이트된 비디오 영상을 포함하여, 짧은 길이의 몇몇 비디오 클립 또는 다중 클립을 제공할 수 있다. 시각 애니메이트된 데이터 소스(180)는 D-1 등의 임의의 공지된 포맷으로 애니메이트된 비디오 데이터를 제공할 수 있다.
모니터(185)는 애니메이트된 비디오 영상의 디스플레이뿐만 아니라, 연관된 DDL 시스템 템플릿, 사용자 선택된 속성 및 특정 용도에 필요한 기타 디스플레이 수단을 제공한다. 모니터(185)는 필요할 경우 오디오를 장착할 수 있다.
사용자 장치(들)(190)는 시스템에 대한 사용자 입력을 제공하기 위해 DDL 시스템(100)의 사용자가 조작할 수 있는 1개 이상의 주변 장치들을 나타낸다. 전형적인 주변 사용자 입력 장치들은 컴퓨터 마우스, 키보드, 라이트펜(lightpen), 조이스틱, 터치-테이블 및 연관된 철필(stylus), 및/또는 디스플레이된 영상(들)의 전부 또는 일부를 포함하여 데이터를 엔터링하고, 선택하고, 및/또는 조작하기 위해 선택적으로 사용될 수 있는 임의의 기타 장치를 포함한다. 최소한도로, 사용자 장치(190)는 DDL 템플릿을 선택하고 특정 용도에 필요한 목적하는 시스템 속성을 엔터링하기 위한 수단을 제공할 수 있어야 한다. 사용자 장치(190)는 선택된 DDL 템플릿, 완성된 DDL 속성 테이블(들), 및/또는 특정 이미지, 프레임 또는 프레임의 범위의 하드 카피를 제공하기 위해 이용될 수 있는 컬러 프린터 등의 출력 장치를 포함할 수도 있다.
비디오 처리 장치(110)는 영상 처리기(120), RAM(130), 디스크 기억 장치(140), 사용자 I/O 카드(150), 비디오 카드(160), I/O 버퍼(170) 및 처리기 버스(175)를 포함한다. 처리기 버스(175)는 비디오 처리 시스템(110)의 여러 가지 소자들 간의 데이터 전송을 위한 수단을 제공한다. RAM(130)은 기술 정의 언어(DDL) 작업 공간(132) 및 기술 정의 언어(DDL) 조절기(134)를 추가로 포함한다.
영상 처리기(120)는 DDL 기술어 및 기술 스킴 속성을 위한 템플릿 및 이들 템플릿으로 애플리케이션 데이터를 도입하는 수단을 제공하는 것을 포함하여, 비디오 처리 장치(110)에 대한 전체적인 조절을 제공하고 DDL 시스템(100)에 필요한 처리를 수행한다. 이 장치는 편집 처리, 모니터(180)로의 전송 또는 디스크 기억 장치(140)에 기억시키기 위해 디지털화된 애니메이트된 비디오 영상의 처리 및 DDL 시스템(100)의 여러 가지 소자들 간의 데이터 전송의 제어의 구현을 포함한다. 영상 처리기(120)에 대한 요건 및 가능 출력은 당업계에 잘 공지되어 있으며, 본 발명에 대해 필요한 것 이외의 것을 여러 가지 기재할 필요가 없다.
RAM(130)은 비디오 처리 장치(110)에 의해 생성된 데이터의 일시적인 기억을 위한 랜덤 액세스 메모리(RAM)를 제공하는 것으로, 그렇지 않으면 시스템 내의 부품들에 의해 제공되지 않는다. RAM(130)은 DDL 작업 공간(132) 및 DDL 조절기(134)를 위한 메모리뿐만 아니라 영상 처리기(120) 및 연관된 장치에 의해 필요한 기타 메모리를 포함한다. DDL 작업 공간(132)은 비디오 영상, DDL 템플릿 및 특정 비디오 클립(들)과 연관된 기술어 및 기술 스킴을 위해 완성된 테이블이 선택된 DDL 시스템 속성을 엔터링(entering) 및/또는 개정(revising)하는 공정 동안 일시적으로 기억되는 RAM(130)의 일부를 나타낸다. DDL 작업 공간(132)은 원시 데이터가 필요한 경우 회복될 수 있도록 원시 데이터에 충격을 가하지 않고 선택된 비디오 클립 내에서 프레임들을 분석 및 변조(modifying)시키고 기술어 및 기술 스킴을 생성하는 수단을 제공한다.
본 발명의 한 실시예에서, DDL 조절기(134)는 본 발명의 DDL 템플릿 뿐만 아니라 특정 용도와 연관된 기술어 및 기술 스킴 속성 및 속성 값들을 엔터링하고, 변조시키고 기억하는 수단을 제공하기 위해 영상 처리기(120)에 의해 실행된 애플리케이션 프로그램의 기억 장치로 전용되는 RAM(130)의 일부를 나타낸다. DDL 조절기(134)는 잘 공지된 편집 처리와 인터페이스될 뿐만 아니라, DDL 템플릿을 선택하고 선택된 템플릿(들)과 연관된 데이터를 엔터링/변조하는 능력을 제공한다.
RAM(130)외에, DDL 조절기(134)는 CD-ROM, 컴퓨터 디스켓 또는 시각 애니메이트된 데이터 소스(180)에서와 같이 디스크 기억 장치(140)의 소거 가능한 디스크 포트로 로드될 수 있는 기타 소거 가능한 기록 매체 등에 프로그램으로서 내장될 수 있다.
디스크 기억 장치(140)는 DDL 조절기(134)의 프로그램 명령을 포함하여 기술어, 기술 스킴 및/또는 기술 정의 언어를 포함하는 프로그램 및 기타 데이터의 영구적인 기억을 위한 소거 가능한 디스크를 포함하는 1개 이상의 디스크 시스템을 포함한다. 디스크 기억 장치(140)는 애니메이트된 비디오 및 오디오 데이터를 포함하는 기타 데이터를 기억하는 능력을 가질 수도 있다. 시스템 요건에 따라, 디스크 기억 장치(140)는 시각 애니메이트된 데이터 소스(들)(180) 뿐만 아니라 시스템의 나머지로 및 그로부터 비디오(및 오디오) 데이터의 전송을 위해 1개 이상의 양방향 버스와 인터페이스되도록 구성된다. 디스크 기억 장치(140)는 필요할 경우 비디오 속도로 데이터를 전송할 수 있다. 최소한도로, 디스크 기억 장치(140)는 DDL 조절기(134)의 프로그램 명령 및 요구되는 기술어 및 기술 스킴과 연관된 데이터를 위해 적절한 기억 장치를 제공하는 크기이다. 특정 애플리케이션 및 영상 처리기(120)의 능력에 따라, 디스크 기억 장치(140)는 시청 및 가능한 변형을 위한 복수개의 비디오 클립을 저장하는 능력을 제공하도록 구성될 수 있다.
사용자 I/O 카드(150)는 DDL 시스템(100)의 나머지에 사용자 장치(들)(190)를 인터페이스시키는 수단을 제공한다. 사용자 I/O 카드(150)는 영상 처리기(120)에 의한 후속 액세스를 위해 RAM(130)으로 또는 영상 처리기(120)로 전송하기 위해 사용자 장치(190)로 수신된 데이터를 인터페이스 버스(175)의 포맷으로 전환시킨다. 사용자 I/O 카드(150)는 프린터 등의 사용자 출력 장치로 데이터를 전송하기도 한다. 비디오 카드(160)는 데이터 버스(175)를 통해 비디오 처리 장치(110)의 나머지와 모니터(185) 간에 인터페이스를 제공한다. 특히, 시스템의 나머지와의 인터페이스는 영상 처리기(120)에 의해 조절되는 바와 같이 RAM(130)을 통해 발생한다.
I/O 버퍼(170)는 버스(175)를 통해 DDL 시스템(100)의 나머지와 시각 애니메이트된 데이터 소스(180) 간의 인터페이스를 제공한다. 이미 고찰한 바와 같이, 시각 애니메이트된 데이터 소스(180)는 I/O 버퍼(170)와의 인터페이스를 위해 적어도 하나의 양방향 버스를 갖는다. I/O 버퍼(170)는 본 발명의 모니터 기술어 및 기술 스킴 및 기타 정보의 전송을 위한 신호들을 포함하는 데이터를 최소한도로 필요한 비디오 영상 전송 속도로 시각 애니메이트된 데이터 소스(180)로/그로부터 전송할 수 있다. I/O 버퍼(170)는 시각 애니메이트된 데이터 소스(180)로부터 수신된 데이터를 디스크 기억 장치(140)로, 영상 처리기(120)로, 및 필요할 경우 RAM(130)으로 전송한다.
도 2는 본 발명의 한 실시예에 따른 전형적인 시각 애니메이트된 데이터 파일(200)을 예시한다. 시각 애니메이트된 데이터 파일(200)은 MPEG7 포맷인, 비디오 클립 파일(210)(부분적으로 도시함) 및 연관된 기술어 파일(250)(부분적으로 도시함)을 포함한다. 시각 애니메이트된 데이터 파일(200)은 RAM(130), 디스크 기억 장치(140) 또는 시각 애니메이트된 데이터 소스(180) 중의 어느 것에 위치할 수 있다.
비디오 클립 파일(210)의 도시된 부분은 무엇보다도 오브젝트(220)를 나타내는 프레임(211-214)의 시퀀스를 포함한다. 기술어 파일(250)의 도시된 부분은 아래 보다 상세히 설명하는 바와 같이 테이블 형태인 전형적인 기술어(251-253)를 포함한다. 기술어(251)는 비디오 클립 파일(210)에서 프레임(211)과 연관되고 그에 관한 정보를 포함한다. 기술어(252)는 비디오 클립 파일(210)의 모두와 연관되고 그에 관한 정보를 포함한다. 기술어(253)는 비디오 클립 파일(210)에서 프레임(213)의 오브젝트(220)와 연관되고 그에 관한 정보를 포함한다.
도 3은 본 발명의 한 실시예에 따른 전형적인 시각 애니메이트된 데이터 파일(300)을 예시한다. 시각 애니메이트된 데이터 파일(300)은 비디오 클립 파일(310)(부분적으로 도시함) 및 연관된 기술어 파일(350)(부분적으로 도시함)을 포함한다. 도 3에서, 비디오 클립 파일(310) 및 기술어 파일(350)은 RAM(130), 디스크 기억 장치(140) 또는 시각 애니메이트된 데이터 소스(180)에 위치할 수 있거나 또는 비디오 처리 장치(110)로 전송되는 데이터 스트림일 수 있는 시각 애니메이트된 데이터 파일(300) 내에서 세분된다.
비디오 클립 파일(310)의 도시된 부분은 비디오 블록(311 및 313-316), 및 무엇보다도 오브젝트(320)를 나타내는 프레임(312)의 시퀀스를 포함한다. 기술어 파일(350)의 도시된 부분은 아래 보다 상세히 설명하는 바와 같이 테이블 형태인 전형적인 기술어(351-54)를 포함한다. 기술어(351)는 비디오 블록(311)과 연관되고 그에 관한 정보를 포함한다. 기술어(352)는 프레임(312)의 오브젝트(320)와 연관되고 그에 관한 정보를 포함한다. 기술어(353)는 비디오 블록(313 및 314)과 연관되고 그에 관한 정보를 포함한다. 기술어(354)는 비디오 클립 파일(310)의 모두와 연관되고 그에 관한 정보를 포함한다.
도 4는 본 발명의 한 실시예에 따른 전형적인 시각 애니메이트된 데이터 파일(400)을 예시한다. 시각 애니메이트된 데이터 파일(400)은 RAM(130), 디스크 기억 장치(140) 또는 시각 애니메이트된 데이터 소스(180)에 위치할 수 있거나 또는 비디오 처리 장치(110)로 전송되는 데이터 스트림일 수 있는 비디오 클립 파일(410)(부분적으로 도시함)을 포함한다. 시각 애니메이트된 데이터 파일(400)은 비디오 클립 파일(410) 내의 비디오 블록, 프레임 및 오브젝트와 연관된 기술어가 별개의 기술어 파일의 일부라기보다는 오히려 비디오 클립 파일(410)의 통합 부분인 점에서 시각 애니메이트된 데이터 파일(300)과는 상이하다.
기술어(412)는 비디오 블록(411)과 연관되고 그에 관한 정보를 포함한다. 기술어(415)는 프레임(413)의 오브젝트(414)와 연관되고 그에 관한 정보를 포함한다. 비디오 블록(416 및 417)은 이들의 콘텐츠를 정의하는 전용 기술어를 갖지 않는다. 기술어(418)는 특정 오브젝트, 프레임 또는 데이터 블록과 연관되지 않고, 따라서, 비디오 클립 파일(410)의 모두와 연관되고 그에 관한 정보를 포함한다. 본 발명은 기술어 및 기술 스킴이 MPEG7 등의 표준에 의해 정의되게 하는 융통적인 방법을 제공하는 한편, 사용자 정의된 기술어 및 기술 스킴을 허용하기도 한다. 본 발명의 "표준" 및 사용자 정의된 템플릿은 템플릿 타입 또는 생성된 기술어 및 기술 스킴 모두와 작업할 때 어떠한 문제도 없는 DDL 조절기(134)와 같이 동일하게 구성된 파서 프로그램이다. 그러나, 표준 기술어 및 기술 테마 만을 이해하는 용도는 사용자 정의된 포맷을 사용할 수 없다.
본 발명의 원리에 따른 비디오 애니메이트된 데이터 기술어 및 기술 스킴은 기술어 또는 기술어 스킴에 대한 테마 만을 및 속성 값들의 세트를 포함하는 리스트, 파일 또는 테이블을 나타낸다. 비디오 애니메이트된 데이터를 위한 기술어 및 기술 스킴의 전개를 단순화시키기 위해, 본 발명의 일반적인 기술어 및 일반적인 기술 스킴 템플릿은 비디오 용도에 특이적인 속성으로 구성된다. 각각의 일반적인 템플릿은 기본적인 값으로서 공지된 고정 값의 부분 군을 응용 가능한 일반적인 템플릿의 카피로 혼입함으로써 특정 템플릿으로 전환된다. 이어서, 특정 기술어 또는 기술 스킴은 특정 비디오 장면에 관련된 사용자 정의된 값을 응용 가능한 일반적인 템플릿의 카피에 삽입함으로써 유도된다.
표 1은 전형적인 일반 비디오 기술어 템플릿(D1)을 예시한다. 일반 비디오 기술어 템플릿(D1)은 비디오 기술어를 생성할 때 사용될 수 있는 소정의 속성의 비소모적 세트를 갖는다.
기술어 템플릿(D1)에 열거된 속성들은 MPEG7 기술어 또는 시각 애니메이트된 데이터와 연관된 임의의 다른 유형의 기술어에 대한 기본적인 속성의 소모적인 나열을 의미하지 않는다. 실제 세계 환경에서, 속성의 전체 세트는 기술어 템플릿(D1)에 개략된 전형적인 세트보다 상당히 큰 것일 수 있다.
D1에서 구조와 제작자 속성 간의 이중선은 일반적인 기술어 템플릿을 기본적인 사용자 정의된 값의 카테고리로 분리시킨다. 기본적인 값들은 이중선 위에 나타내고 사용자 정의된 값들은 이중선 아래 나타낸다.
D1은 일반적인 기술어 템플릿을 나타내기 때문에, 속성에 어떠한 값도 할당되지 않는다. 구현될 때, 선택된 값들은 기재된 속성에 따라 기본(간단한) 데이터 타입 또는 복잡한 데이터 타입으로 나타낼 수 있다. 간단한 값들은 단일 조각의 데이터(즉, 문자, 정수, 부동 소수점 또는 스트링)를 내포하지만, 복잡한 값들은 여러 조각의 데이터(즉, 어레이, 히스토그램 또는 리스트)를 내포한다.
영상 처리기(110)가 일반적인 템플릿(D1)을 특정 기술어 템플릿으로 전환시킬 때, 생성된 특정 기술어 템플릿의 사용이 유사하게 생성된 기술어에 대응하는 필요 정보의 포맷 및 코어를 갖는 기술어를 생성함을 보장하는 기본 값들이 삽입된다.
D1에 대한 속성은 비디오 애니메이트된 데이터에 대해 적절한 기술어 속성 중에서 대표적이다. 명칭 속성은 1개 또는 2개의 기술 키워드를 사용하여 특정 기술어를 식별하는 유일한 라벨이다. ID 속성은 기술어에 대해 포괄적인 유일한 식별자이다. 예를 들면, 본 발명의 한 실시예에서, 모든 MPEG7 기술어는 ID 속성의 시점으로서 "ID 속성 = AMPEG7"을 갖는다. MPEG7 버전 속성은 일반적인 기술어 템플릿(D1)이 지원하는 MPEG7 표준의 최종 버전을 나타낸다. 클래스 속성은 인덱싱 및 탐색을 위해 사용될 수 있는 독특한 클래스로 기술어의 수집 또는 그룹화를 위해 제공된다. 타입 속성은 사용자 정의된 값들의 데이터 타입을 나타낸다. 구조 속성은 타입 속성이 간단한지 또는 복잡한지를 나타낸다.
나머지 속성은 특정 기술어를 생성할 때 사용자가 제공해야 하는 값들을 식별한다. 제작자 속성은 특정 기술어를 정의한 사용자를 기재한다. 날짜 및 시각은 특정 기술어가 생성된 날짜 및 시각을 나타낸다. 로컬 ID는 특정 기술어에 대한 유일한 ID 이다. 로컬 ID는 특정 기술어를 위한 참고 식별자로서 사용될 수 있다. 언어 속성은 소스 물질의 언어를 나타낸다. 우선권 속성은 신임 정도 또는 신뢰 정도를 나타낼 수 있다. 질의를 서두르는 것은 피처의 우선권을 지원하기 이해 사용될 수 있다. 마지막으로, 값 속성은 기술어의 실제 값을 포함한다. 이러한 값은 타입 속성에서 참고된 타입이어야 한다.
표 2는 배우의 명칭(배우-성명)을 식별하는 전형적인 특정 MPEG7 기술어 템플릿(D2)을 예시한다.
고찰한 바와 같이, 영상 처리기(110)는 MPEG7 기본 값들을 일반적인 기술어 템플릿(D1)의 카피에 삽입함으로써 특정 템플릿을 생성한다.
이러한 경우에, D2는 프레임, 장면 또는 기타 애플리케이션이 특정 배우와 연관될 필요가 있을 때마다 이용될 수 있는 MPEG7-배우 기술어 템플릿이다.
표 3은 배우의 연령을 기재한, 전형적인 사용자 정의된 일반적인 기술어 템플릿(D3)을 예시한다.
ID 기본 값으로 나타낸 바와 같이, D3은 MPEG7 입증되지 않지만, 상기 고찰한 MPEG7 일반 템플릿의 형태를 따르기 때문에 MPEG7 파일 또는 데이터 스트림에 의해 사용될 수 있고 전송될 수 있다. D3은 그의 구조 및 의미를 인식하는 다른 애플리케이션에 의해 사용될 수도 있다.
표4는 특정 MPEG7 기술어 템플릿에 기초한 기술어를 나타내는 기술어 D4를 예시한다.
이러한 경우에, 영상 처리 장치(110)는 MPEG7 배우-성명 템플릿(D2)의 카피로 특정 장면에 대한 사용자 정의된 값들을 삽입한다. 생성된 배우-성명 기술어(D4)는 장면의 특정 프레임에 나타난 배우의 성명을 제공한다. 도시된 바와 같이, 기술어(D4)는 D2의 모든 사용자 정의된 성분들에 대한 값을 갖는다. 기술어 D4는 필요할 경우 이러한 특정 기술어를 참고하기 위해 사용될 수 있는 로컬 ID를 갖는 소스 데이터의 특정 프레임에 연결된다.
비디오 처리 장치(110)는 특정 표준(즉, MPEG7)에 기초하거나 또는 사용자 정의될 수도 있는 기술 스킴에 대한 비디오 애니메이트된 데이터 탬플릿의 생성 및 사용을 위한 유사한 처리를 포함한다. 기술 스킴은 관련된 기술어의 수집을 위해 "포괄적인 기술어"로서 고려될 수 있다. 특히, 이들 관련된 기술어들 또는 "칠드런" 간의 관계를 문서화한다.
표 5는 최종적인 기술 스킴을 위한 잠재적인 속성의 비소모적 세트를 포함하는, 전형적인 일반 기술 스킴 템플릿(DS5)을 예시한다.
기술어 템플릿의 경우와 같이, 표에서 이중선은 사용자 정의된 값들로부터 기본 값들을 분리한다. 게다가, DS5는 일반적인 기술 스킴 템플릿이 대표적이기 때문에 어떠한 값도 DS5에 제공되지 않는다. 기술어 템플릿으로부터 기술 스킴 템플릿을 주로 서술하는 속성/값은 "칠드런"이라 라벨링된 최종 엔트리에 반영된다. 게다가, 칠드런 속성/값을 제외하고, 유사하게 명칭된 기술어 및 기술어 템플릿 속성에 대해 선행된 고찰은 기술 스킴 및 기술 스킴 템플릿 속성에 적용된다.
칠드런 속성에 대한 값은 완전히 속성화된 기술 스킴에 의해 기술된 1개 이상의 기술어 또는 기술 스킴(칠드런으로서 공지됨)의 임의의 조합을 포함한다. 칠드런 값은 기술어 및 기술 스킴에 따라 내포된 관련 그룹핑을 가질 수 있다. 예를 들면, 특정 기술 스킴의 칠드런인 여러가지 기술어가 고유의 순서를 가질 수 있다. 기술 스킴에서 순서 관계를 문서화함으로써, 영상 처리기(110)는 이들 기술어를 함께 연결하기 위한 수단을 제공한다. 순서화된 기술어의 이러한 세트를 판독하는 임의의 애플리케이션은 필요한 순서를 정확히 확립하기 위한 수단을 가져야 한다.
비디오 처리 장치(110)는 기술 스킴의 칠드런 간의 관계의 여러가지 상이한 유형에 대해 제공된다. 관계 유형의 세트는 순서, 등가성, 동배, 및 물리적인 것을 포함한다. 순서 관계는 칠드런의 순차적인 값 순서가 의미하는 것을 나타낸다. 즉, 자녀 값들은 이들이 발생하는 순서로 제공된다. 등가성 관계는 모든 칠드런이 동일한 것의 상이한 관계임을 나타낸다. 예를 들면, 텍스트의 동일한 패러그래프는 3가지 상이한 언어로 나타난다. 패러그래프의 콘텐츠는 동일하고, 유일하게 언어는 상이하다. 동배 관계는 칠드런이 서로 동일하게 관련되는 것을 나타낸다. 예를 들면, 비디오 장면에 대한 사운드트랙을 나타내는 오디오 트랙 세트는 동배이다. 물리적인 관계는 칠드런이 통상의 물리적 연결되는 것을 나타낸다. 예를 들면, 비디오 프레임에서 물리적으로 터치되는 북 오브젝트 및 테이블 오브젝트는 물리적 관계를 갖는다.
비디오 처리 장치(110)는 기술어 템플릿에 기재된 것과 같은 방식으로, 보다 특정한 기술 스킴 템플릿(들) 및 최종 기술 스킴을 전개시키는 데 사용하기 위해 생성된 일반적인 기술 스킴 템플릿(DS5)을 세이브시킨다.
MPEG7-정의된 기술 스킴 템플릿은 MPEG7 표준에 의해 정의된 값으로 기본적인 값들을 설정함으로써 일반적인 기술 스킴 템플릿으로부터 유도된다. 생성된 MPEG7-기술 스킴 템플릿은 모든 MPEG7 기술 스킴을 정의하기 위한 기초로서 작용할 것이다.
표 6은 비디오 장면을 기술할 때 사용되는, 전형적인 특정 기술 스킴 템플릿(DS6)을 예시한다.
요구되는 바와 같이, 비디오 처리 장치(110)는 선택된 소스 데이터와 관련하여 MPEG7-장면 기술 스킴을 생성하기 위해 특정 MPEG7-장면에 관련된 기본 값들을 결정하고, 예시적인 DS6 일반 기술 스킴 템플릿의 카피로 삽입한다. 생성된 MPEG7-장면 기술 스킴 템플릿은 특정 장면-기초 기술 스킴의 생성을 위해 복수개의 시점에 이용될 수 있다.
기술어 템플릿의 경우와 같이, MPEG7 속성은 MPEG7 표준에 의해 유일하게 정의되고, MPEG7 포맷과 호환되는 시스템 및 기술 스킴에 대해서만 적용될 것이다.
표 7은 카메라 동작을 위한 사용자 정의된 기술 스킴을 제공하는 전형적인 기술 스킴 템플릿(DS7)을 예시한다.
이와 같이 사용자 정의된 일반 기술 스킴 템플릿은 MPEG7 입증된 ID를 갖지 않지만, MPEG7 파일 또는 스트림에 의해 사용 및 전송될 수 있고, 이러한 특정 사용자 정의된 기술 스킴을 인식하는 애플리케이션에 의해 사용될 수 있다.
도 8은 MPEG-호환성 비디오 스트림에 특정 장면을 기재하는 전형적인 기술 스킴(DS8)을 예시한다.
D8은 MPEG-장면 기술 장면 템플릿(DS6)에 기초한다. 링크 속성에 대한 널 값으로 나타낸 바와 같이, 이러한 기술 스킴은 소스 데이터에서 임의의 특정 프레임에 연결되지 않는다. 소스 데이터로의 그의 접속은 칠드런 값으로 나타낸 기술어 및 기술 스킴을 통한 것이다. 로컬 ID는 이러한 특정 기술 스킴에 대한 기준을 제공한다. 기술어의 경우와 같이, 특정 기술 스킴의 여러가지 외관은 식별된 장면이 비디오에서 여러번 나타날 때 필요하다. 즉, DS8은 명칭된 비디오 장면을 언급하기 위해 MPEG7 파일 또는 VAD 스트림에서 1회 이상 사용될 수 있다.
이러한 특정 기술 스킴은 4개의 칠드런, 기술어 1(D1), 기술 스킴 1(DS1), 기술어 2(D2) 및 기술어 4(D4)를 갖는다. 3개는 기술어이고, 하나는 칠드런을 가질 수도 있는 기술 스킴이다. 이들 4개의 칠드런은 기술 스킴 경우를 포함한다. 이들 칠드런 및 임의의 이들 칠드런은 기술 스킴 경우의 일부이기도 하다. 이들 기술 스킴의 칠드런중 둘(D2 및 D4)은 선행된 문자 O 및 괄호로 나타낸 것과 관련된다. 문자 O는 순서 관계를 나타내고, 의미(D2 및 D4)는 이들이 나타나는 순서로 발생한다. 순서는 이러한 기술 스킴에서 이들 2개의 기술어를 해설할 때 중요하다.
비디오 처리 장치(110)는 기술 스킴에 대한 계층 관계를 식별할 수도 있다. 이는 기술 스킴 칠드런과 1개 이상의 기술-스킴-칠드런을 다양하게 갖는 1개 이상의 기술어 스킴 칠드런을 갖는 칠드런 값에 의해 수행된다. 이러한 계층 능력은 유용한 정보를 제공하고 기술 스킴의 중요한 부분이다.
도 5는 본 발명의 한 실시예에 따라 DDL 조절기(134)를 사용하여 비디오 처리 장치(110)에서 기술어 발생 방법을 서술하는 전형적인 흐름도(일반적으로 500으로 지정됨)를 예시한다.
비디오 처리 장치(110)는 VAD 소스(180)로부터 시각 애니메이트된 데이터(VAD) 스트림을 검색하고 디스크 기억 장치(140) 및 DDL 작업 공간(132)에 VAD를 저장한다(처리 단계 505). 비디오 처리 장치(110)는 비디오 기술어를 요하는 VAD를 식별하는 사용자 입력을 수신하기도 한다. 사용자는 기술어 처리를 위해 저장된 VAD 스트림, 스트림 내의 특정 숏(shot), 특정 숏의 특정 프레임, 프레임의 특정 오브젝트 등 모두를 선택할 수 있다(처리 단계 510).
DDL 조절기(134)를 사용함으로써, 비디오 처리 장치(110)는 시스템 정의 되거나 또는 사용자 정의된 기술어 템플릿이 필요한지를 결정하기 위해 DDL 작업 공간(132)을 조사한다(처리 단계 515). 정의된 속성 및 기본 값을 갖는 필요한 템플릿의 카피는 변형을 위해 DDL 작업 공간(132)에서 검색되고 위치한다. 비디오 처리 장치(110)는 필요한 사용자 정의된 속성 값들을 검색하고 이들을 기술어 템플릿의 저장된 카피의 적용 가능한 데이터 필드에 저장한다. 영상 처리기(120)는 생성된 기술어를 DDL 작업 공간(132)에 저장한다(처리 단계 520). 비디오 처리 장치(110)는 마무리된 기술어를 포함하도록 저장된 VAD를 순차로 변조시키고, 필요할 경우 증진된 VAD 데이터 스트림으로서 생성된 VAD를 전송한다(처리 단계 525).
본 발명을 상세히 기재하였지만, 당업계의 숙련자들은 광의의 형태로 본 발명의 정신 및 범위에서 벗어나지 않는 여러가지 변화, 치환 및 변형이 이루어질 수 있음을 이해해야 한다.

Claims (14)

  1. 시각 애니메이트된 데이터 파일(210)에서 선택된 피처를 나타내는 기술어 데이터 구조(251)를 발생시킬 수 있는 비디오 처리 장치(110)에 있어서,
    상기 비디오 처리 장치(110)는,
    상기 선택된 피처를 선택할 수 있고, 상기 선택된 피처와 연관된 복수개의 속성 값을 발생시킬 수 있는 사용자 입력 수단(190); 및
    시각 애니메이트된 데이터 파일(210)에서 상기 선택된 피처를 식별할 수 있고, 상기 사용자 입력 수단(190)으로부터 상기 복수개의 속성 값을 수신할 수 있고, 상기 복수개의 속성 값의 수신에 응답하여, 상기 복수개의 속성 값 중에서 선택된 값들을 표준 기술어 템플릿에 복수개의 미리 정의된 속성 필드의 대응하는 필드에 삽입함으로써 기술어 데이터 구조(251)를 발생시킬 수 있는 영상 처리기(120)를 포함하는 비디오 처리 장치(110).
  2. 제1항에 있어서, 상기 영상 처리기(120)는 추가로 상기 기술어 데이터 구조(251)를 상기 시각 애니메이트된 데이터 파일(210)과 연관시킴으로써 변조된 시각 애니메이트된 데이터 파일(210)을 생성할 수 있고, 상기 선택된 피처는 상기 기술어 데이터 구조(251)를 조사함으로써 상기 변조된 시각 애니메이트된 데이터 파일(210)에서 식별될 수 있는 것인 비디오 처리 장치(110).
  3. 제1항에 있어서, 상기 선택된 피처는 상기 시각 애니메이트된 데이터 파일(210)에서 나타나는 오브젝트(220)이고, 상기 기술어 데이터 구조(251)는 상기 오브젝트(220)를 나타내는 속성 값들을 포함하는 것인 비디오 처리 장치(110).
  4. 제1항에 있어서, 상기 선택된 피처는 상기 시각 애니메이트된 데이터 파일(210)에서 영상 프레임(212)이고, 상기 기술어 데이터 구조(251)는 상기 영상 프레임(212)을 나타내는 속성 값들을 포함하는 것인 비디오 처리 장치(110).
  5. 제1항에 있어서, 상기 선택된 피처는 상기 시각 애니메이트된 데이터 파일(210)에서 영상 프레임들의 시퀀스이고, 상기 기술어 데이터 구조(251)는 영상 프레임들의 상기 시퀀스를 나타내는 속성 값들을 포함하는 것인 비디오 처리 장치(110).
  6. 제1항에 있어서, 상기 기술어 템플릿은 복수개의 사용자 정의된 속성 필드를 추가로 포함하고, 상기 영상 처리기(120)는 상기 사용자 입력 수단(190)으로부터 복수개의 사용자 정의된 속성 값들을 수신할 수 있고 상기 복수개의 사용자 정의된 속성 값 중에서 선택된 값들을 상기 사용자 정의된 속성 필드의 대응하는 필드에 삽입할 수 있는 것인 비디오 처리 장치(110).
  7. 제1항에 있어서, 표준 기술어 템플릿의 상기 복수개의 미리 정의된 속성 필드는 유일한 식별(ID) 속성 필드를 포함하고, 상기 복수개의 선정된 속성 필드는 동일한 ID 속성 필드를 갖는 기술어 데이터 구조에 대해 동일한 것인 비디오 처리 장치(110).
  8. 비디오 처리 장치(110)에 사용하기 위해, 시각 애니메이트된 데이터 파일(210)에서 선택된 피처를 나타내는 기술어 데이터 구조(251)를 발생시키는 방법에 있어서,
    상기 방법은,
    사용자 입력 수단(190)을 사용하여 선택된 피처를 선택하는 단계;
    사용자 입력 수단(190)으로부터 선택된 피처와 연관된 복수개의 속성 값들을 수신하는 단계; 및
    시각 애니메이트된 데이터 파일(210)에서 선택된 피처를 식별하고, 복수개의 속성 값의 수신에 응답하여, 복수개의 속성 값 중에서 선택된 값들을 표준 기술어 템플릿에 복수개의 미리 정의된 속성 필드의 대응하는 필드에 삽입함으로써 기술어 데이터 구조(251)를 발생시키는 단계를 포함하는 방법.
  9. 제8항에 있어서, 기술어 데이터 구조(251)를 시각 애니메이트된 데이터 파일(210)과 연관시킴으로써 변조된 시각 애니메이트된 데이터 파일(210)을 생성하는 단계를 추가로 포함하고, 선택된 피처는 기술어 데이터 구조(251)를 조사함으로써 변조된 시각 애니메이트된 데이터 파일(210)에서 식별될 수 있는 것인 방법.
  10. 제8항에 있어서, 기술어 템플릿은 복수개의 사용자 정의된 속성 필드를 추가로 포함하고, 사용자 입력 수단(190)으로부터 복수개의 사용자 정의된 속성 값을 수신하는 단계 및 복수개의 사용자 정의된 속성 값 중의 선택된 값들을 사용자 정의된 속성 필드의 대응하는 필드에 삽입하는 단계를 추가로 포함하는 방법.
  11. 제8항에 있어서, 상기 표준 기술어 템플릿의 복수개의 선정된 속성 필드는 유일한 식별(ID) 속성 필드를 포함하고, 상기 복수개의 선정된 속성 필드는 동일한 ID 속성 필드를 갖는 기술어 데이터 구조에 대해 동일한 것인 방법.
  12. 컴퓨터 판독 가능한 기억 매체(140) 상에 기억된 컴퓨터 처리 가능한 시각 애니메이트된 데이터 파일(210)에 있어서,
    시각 애니메이트된 데이터 프레임의 시퀀스; 및
    선택된 피처와 연관된 제1의 복수개의 선정된 속성 필드 및 상기 선택된 피처와 연관된 제2의 복수개의 사용자 정의된 속성 필드를 함유하는 표준 기술어 템플릿을 포함하는 시각 애니메이트된 데이터 프레임의 상기 시퀀스의 선택된 피처를 나타내는 기술어 데이터 구조(251)를 포함하는 상기 컴퓨터 처리 가능한 시각 애니메이트된 데이터 파일(210).
  13. 제12항에 있어서, 상기 기술어 데이터 구조(251)는 상기 선택된 피처가 상기 기술어 데이터 구조(251)를 조사함으로써 시각 애니메이트된 데이터 프레임의 상기 시퀀스에서 식별될 수 있도록 시각 애니메이트된 데이터 프레임의 상기 시퀀스와 연관된 것인 컴퓨터 판독 가능한 기억 매체(140) 프레임들의 기억된 컴퓨터 처리 가능한 시각 애니메이트된 데이터 파일(210).
  14. 제12항에 있어서, 표준 기술어 템플릿의 상기 제1의 복수개의 선정된 속성 필드는 유일한 식별(ID) 속성 필드를 포함하고, 상기 제1의 복수개의 선정된 속성 필드는 동일한 ID 속성 필드를 갖는 기술어 데이터 구조(251)에 대해 동일한 것인 컴퓨터 판독 가능한 기억 매체(140) 프레임들의 기억된 컴퓨터 처리 가능한 시각 애니메이트된 데이터 파일(210).
KR1020007010741A 1999-01-28 2000-01-10 멀티미디어 콘텐츠 기재 시스템 및 방법 KR20010042221A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US11765799P 1999-01-28 1999-01-28
US09/371,375 US6490370B1 (en) 1999-01-28 1999-08-10 System and method for describing multimedia content
US9/371,375 1999-08-10
US60/117,657 1999-08-10
PCT/EP2000/000222 WO2000045292A1 (en) 1999-01-28 2000-01-10 System and method for describing multimedia content

Publications (1)

Publication Number Publication Date
KR20010042221A true KR20010042221A (ko) 2001-05-25

Family

ID=26815499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007010741A KR20010042221A (ko) 1999-01-28 2000-01-10 멀티미디어 콘텐츠 기재 시스템 및 방법

Country Status (5)

Country Link
US (1) US6490370B1 (ko)
EP (1) EP1066569A1 (ko)
JP (1) JP2002536721A (ko)
KR (1) KR20010042221A (ko)
WO (1) WO2000045292A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100941971B1 (ko) * 2007-08-03 2010-02-11 한국전자통신연구원 멀티미디어 검색을 위한 질의 표현 장치 및 방법
KR101212692B1 (ko) * 2006-03-30 2012-12-14 엘지전자 주식회사 미디어 재생 방법 및 장치와 이를 위한 미디어 파일 포맷

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5782762A (en) 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US8682045B2 (en) 1997-02-25 2014-03-25 Wake Forest University Health Sciences Virtual endoscopy with improved image segmentation and lesion detection
CA2352671A1 (en) 1998-11-25 2000-06-08 Wake Forest University Virtual endoscopy with improved image segmentation and lesion detection
US6819797B1 (en) * 1999-01-29 2004-11-16 International Business Machines Corporation Method and apparatus for classifying and querying temporal and spatial information in video
US6593936B1 (en) * 1999-02-01 2003-07-15 At&T Corp. Synthetic audiovisual description scheme, method and system for MPEG-7
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
AU777440B2 (en) * 1999-08-09 2004-10-14 Wake Forest University A method and computer-implemented procedure for creating electronic, multimedia reports
US6785410B2 (en) * 1999-08-09 2004-08-31 Wake Forest University Health Sciences Image reporting method and system
EP1395948A2 (en) * 1999-11-29 2004-03-10 Koninklijke Philips Electronics N.V. Method for coding and decoding multimedia data
US7450734B2 (en) * 2000-01-13 2008-11-11 Digimarc Corporation Digital asset management, targeted searching and desktop searching using digital watermarks
CN1372660A (zh) * 2000-03-09 2002-10-02 皇家菲利浦电子有限公司 与消费电子系统进行交互的方法
US7020196B2 (en) * 2000-03-13 2006-03-28 Sony Corporation Content supplying apparatus and method, and recording medium
US8539002B2 (en) * 2000-03-14 2013-09-17 Koninklijke Philips N.V. Subjective information record for linking subjective information about a multimedia content with the content
US20020024539A1 (en) * 2000-05-08 2002-02-28 Columbia University System and method for content-specific graphical user interfaces
JP2001333389A (ja) * 2000-05-17 2001-11-30 Mitsubishi Electric Research Laboratories Inc ビデオ再生システムおよびビデオ信号処理方法
DE60132821T2 (de) 2000-05-29 2009-03-05 Saora K.K. System und verfahren zum speichern von navigierten daten
US6813313B2 (en) * 2000-07-06 2004-11-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for high-level structure analysis and event detection in domain specific videos
US20020120780A1 (en) * 2000-07-11 2002-08-29 Sony Corporation Two-staged mapping for application specific markup and binary encoding
US6862556B2 (en) * 2000-07-13 2005-03-01 Belo Company System and method for associating historical information with sensory data and distribution thereof
AUPR063400A0 (en) * 2000-10-06 2000-11-02 Canon Kabushiki Kaisha Xml encoding scheme
US7398275B2 (en) * 2000-10-20 2008-07-08 Sony Corporation Efficient binary coding scheme for multimedia content descriptions
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US6748119B1 (en) * 2000-11-02 2004-06-08 Xerox Corporation Systems and methods for interactively using and training an automatic image processing technique
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
CA2430019A1 (en) * 2000-11-27 2002-05-30 Intellocity Usa, Inc. System and method for providing an omnimedia package
WO2002052565A1 (en) * 2000-12-22 2002-07-04 Muvee Technologies Pte Ltd System and method for media production
EP1223759A1 (en) * 2001-01-08 2002-07-17 Robert Bosch Gmbh Method for providing an extension code for a binary description for multimedia data
US7240285B2 (en) * 2001-03-01 2007-07-03 Sony Corporation Encoding and distribution of schema for multimedia content descriptions
US7689901B2 (en) * 2001-03-01 2010-03-30 Sony Corporation Multiple updates to content descriptions using a single command
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
WO2007126525A2 (en) 2006-04-17 2007-11-08 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US7734997B2 (en) * 2001-05-29 2010-06-08 Sony Corporation Transport hint table for synchronizing delivery time between multimedia content and multimedia content descriptions
FR2826539B1 (fr) * 2001-06-22 2003-09-26 Thomson Multimedia Sa Procede d'identification de fichier et dispositif pour la mise en oeuvre du procede
US7216288B2 (en) * 2001-06-27 2007-05-08 International Business Machines Corporation Dynamic scene description emulation for playback of audio/visual streams on a scene description based playback system
US20030110297A1 (en) * 2001-12-12 2003-06-12 Tabatabai Ali J. Transforming multimedia data for delivery to multiple heterogeneous devices
KR100493674B1 (ko) * 2001-12-29 2005-06-03 엘지전자 주식회사 멀티미디어 데이터 검색 및 브라우징 시스템
US7739601B1 (en) 2002-01-23 2010-06-15 Microsoft Corporation Media authoring and presentation
US7120641B2 (en) * 2002-04-05 2006-10-10 Saora Kabushiki Kaisha Apparatus and method for extracting data
US20030195896A1 (en) * 2002-04-15 2003-10-16 Suda Aruna Rohra Method and apparatus for managing imported or exported data
US7120351B2 (en) * 2002-05-09 2006-10-10 Thomson Licensing Control field event detection in a digital video recorder
JP4065142B2 (ja) * 2002-05-31 2008-03-19 松下電器産業株式会社 オーサリング装置およびオーサリング方法
KR100478934B1 (ko) * 2002-10-22 2005-03-28 한국전자통신연구원 객체기반 엠팩-4 컨텐츠 편집/저작과 검색 장치 및 방법
US7103591B2 (en) * 2002-12-02 2006-09-05 International Business Machines Corporation Method of describing business and technology information for utilization
US20050149968A1 (en) * 2003-03-07 2005-07-07 Richard Konig Ending advertisement insertion
US7694318B2 (en) * 2003-03-07 2010-04-06 Technology, Patents & Licensing, Inc. Video detection and insertion
US20050177847A1 (en) * 2003-03-07 2005-08-11 Richard Konig Determining channel associated with video stream
US7738704B2 (en) * 2003-03-07 2010-06-15 Technology, Patents And Licensing, Inc. Detecting known video entities utilizing fingerprints
US7809154B2 (en) 2003-03-07 2010-10-05 Technology, Patents & Licensing, Inc. Video entity recognition in compressed digital video streams
KR20050041797A (ko) * 2003-10-31 2005-05-04 삼성전자주식회사 확장 검색 기능을 제공하는 메타 정보 및 서브 타이틀정보가 기록된 저장 매체 및 그 재생 장치
CN100435546C (zh) * 2003-11-27 2008-11-19 富士胶片株式会社 图像编辑装置及其方法
US7624123B2 (en) 2004-02-26 2009-11-24 Ati Technologies, Inc. Image processing system and method
US7813552B2 (en) * 2004-09-23 2010-10-12 Mitsubishi Denki Kabushiki Kaisha Methods of representing and analysing images
US20060195859A1 (en) * 2005-02-25 2006-08-31 Richard Konig Detecting known video entities taking into account regions of disinterest
US8570586B2 (en) * 2005-05-02 2013-10-29 Digimarc Corporation Active images through digital watermarking
US7690011B2 (en) 2005-05-02 2010-03-30 Technology, Patents & Licensing, Inc. Video stream modification to defeat detection
US7596763B2 (en) 2005-10-24 2009-09-29 International Business Machines Corporation Automatic 3D object generation and deformation for representation of data files based on taxonomy classification
CN100466731C (zh) * 2006-09-21 2009-03-04 青岛有线宽带数字电视发展有限公司 描述符的通用插入播出方法
US8804829B2 (en) * 2006-12-20 2014-08-12 Microsoft Corporation Offline motion description for video generation
US9142253B2 (en) * 2006-12-22 2015-09-22 Apple Inc. Associating keywords to media
US8276098B2 (en) * 2006-12-22 2012-09-25 Apple Inc. Interactive image thumbnails
US7996787B2 (en) * 2007-02-06 2011-08-09 Cptn Holdings Llc Plug-in architecture for window management and desktop compositing effects
CA2677788A1 (en) * 2007-02-08 2008-08-14 Utc Fire & Security Corporation System and method for video-processing algorithm improvement
US20080229248A1 (en) * 2007-03-13 2008-09-18 Apple Inc. Associating geographic location information to digital objects for editing
KR100961444B1 (ko) * 2007-04-23 2010-06-09 한국전자통신연구원 멀티미디어 콘텐츠를 검색하는 방법 및 장치
JP5332369B2 (ja) * 2008-07-18 2013-11-06 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
US7769049B2 (en) * 2008-10-17 2010-08-03 Ixia Traffic generator using parallel coherent transmit engines
GB0906004D0 (en) * 2009-04-07 2009-05-20 Omnifone Ltd MusicStation desktop
US20110196888A1 (en) * 2010-02-10 2011-08-11 Apple Inc. Correlating Digital Media with Complementary Content
US8611678B2 (en) * 2010-03-25 2013-12-17 Apple Inc. Grouping digital media items based on shared features
US8988456B2 (en) 2010-03-25 2015-03-24 Apple Inc. Generating digital media presentation layouts dynamically based on image features
US8584015B2 (en) 2010-10-19 2013-11-12 Apple Inc. Presenting media content items using geographical data
US9336240B2 (en) 2011-07-15 2016-05-10 Apple Inc. Geo-tagging digital images
EP2720172A1 (en) * 2012-10-12 2014-04-16 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Video access system and method based on action type detection
US9361714B2 (en) * 2013-08-05 2016-06-07 Globalfoundries Inc. Enhanced video description
CN106156799B (zh) * 2016-07-25 2021-05-07 北京光年无限科技有限公司 智能机器人的物体识别方法及装置
CN106874167B (zh) * 2016-12-30 2020-03-13 晶赞广告（上海）有限公司 展示信息的检测方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996017313A1 (en) 1994-11-18 1996-06-06 Oracle Corporation Method and apparatus for indexing multimedia information streams
US5684715A (en) * 1995-06-07 1997-11-04 Canon Information Systems, Inc. Interactive video system with dynamic video object descriptors
US5898429A (en) * 1996-04-19 1999-04-27 Engineering Animation Inc. System and method for labeling elements in animated movies using matte data
US6070167A (en) * 1997-09-29 2000-05-30 Sharp Laboratories Of America, Inc. Hierarchical method and system for object-based audiovisual descriptive tagging of images for information retrieval, editing, and manipulation
US6243713B1 (en) * 1998-08-24 2001-06-05 Excalibur Technologies Corp. Multimedia document retrieval by application of multimedia queries to a unified index of multimedia data for a plurality of multimedia data types

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101212692B1 (ko) * 2006-03-30 2012-12-14 엘지전자 주식회사 미디어 재생 방법 및 장치와 이를 위한 미디어 파일 포맷
KR100941971B1 (ko) * 2007-08-03 2010-02-11 한국전자통신연구원 멀티미디어 검색을 위한 질의 표현 장치 및 방법
US8805868B2 (en) 2007-08-03 2014-08-12 Electronics And Telecommunications Research Institute Apparatus and method for a query express

Also Published As

Publication number Publication date
US6490370B1 (en) 2002-12-03
WO2000045292A1 (en) 2000-08-03
JP2002536721A (ja) 2002-10-29
EP1066569A1 (en) 2001-01-10

Similar Documents

Publication Publication Date Title
KR20010042221A (ko) 멀티미디어 콘텐츠 기재 시스템 및 방법
US9507779B2 (en) Multimedia integration description scheme, method and system for MPEG-7
JP4382288B2 (ja) 画像記述システムおよび方法
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
US6912726B1 (en) Method and apparatus for integrating hyperlinks in video
US8321397B2 (en) Storage medium including metadata and reproduction apparatus and method therefor
US7203692B2 (en) Transcoding between content data and description data
US7793212B2 (en) System and method for annotating multi-modal characteristics in multimedia documents
RU2395856C2 (ru) Носитель для хранения информации, сохраняющий основанные на тексте субтитры, и устройство для обработки основанных на тексте субтитров
US20070245400A1 (en) Video description system and method
CN100485721C (zh) 生成视频概要描述数据的方法、系统及浏览该数据的设备
Karmouch et al. A playback schedule model for multimedia documents
WO2022080670A1 (ko) 컨텐츠 제공 방법 및 장치와, 컨텐츠 재생 방법
Kumar et al. Intelligent multimedia data: data+ indices+ inference
JP2007519068A (ja) 変換技術を用いて意味記述を生成するコンピュータによる計算方法及びコンピュータシステム
ROISIN et al. A proposal for a video modeling for composing multimedia document
Swash et al. Dynamic hyperlinker: innovative solution for 3D video content search and retrieval
CECILE ROISIN et al. A PROPOSAL FOR A VIDEO MODELING FOR COMPOSING MULTIMEDIA DOCUMENT
Hammouri Video++: An object-oriented approach to video algebra.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application