KR20020060964A - System to index/summarize audio/video content - Google Patents

System to index/summarize audio/video content Download PDF

Info

Publication number
KR20020060964A
KR20020060964A KR20027006025A KR20027006025A KR20020060964A KR 20020060964 A KR20020060964 A KR 20020060964A KR 20027006025 A KR20027006025 A KR 20027006025A KR 20027006025 A KR20027006025 A KR 20027006025A KR 20020060964 A KR20020060964 A KR 20020060964A
Authority
KR
Grant status
Application
Patent type
Prior art keywords
system
index
summarize
audio
video
Prior art date
Application number
KR20027006025A
Other languages
Korean (ko)
Inventor
코헨-소랄에릭
스트루베휴고
리미-수엔
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/30Information retrieval; Database structures therefor ; File system structures therefor
    • G06F17/3074Audio data retrieval
    • G06F17/30775Browsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/30Information retrieval; Database structures therefor ; File system structures therefor
    • G06F17/30244Information retrieval; Database structures therefor ; File system structures therefor in image databases
    • G06F17/30247Information retrieval; Database structures therefor ; File system structures therefor in image databases based on features automatically derived from the image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/30Information retrieval; Database structures therefor ; File system structures therefor
    • G06F17/3074Audio data retrieval
    • G06F17/30743Audio data retrieval using features automatically derived from the audio content, e.g. descriptors, fingerprints, signatures, MEP-cepstral coefficients, musical score, tempo
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/30Information retrieval; Database structures therefor ; File system structures therefor
    • G06F17/30781Information retrieval; Database structures therefor ; File system structures therefor of video data
    • G06F17/30817Information retrieval; Database structures therefor ; File system structures therefor of video data using information manually generated or using information not derived from the video content, e.g. time and location information, usage information, user ratings

Abstract

내용 자료의 제작 동안 사용가능한 "배경 정보(background information)"는 오디오/비디오 내용 자료의 소스에 선택적인 억세스를 용이하게 하기 위해 내용 자료와 서로 관련된다. While the information materials produced using "Background information (background information)" they are related to each other as possible and information materials to facilitate access to alternative sources of audio / video content data. 이러한 제작 정보는 예를 들어, 내용 자료의 수집 동안 사용되는 카메라 설정들을 포함한다. The production information includes, for example, the camera settings used during the collection of information materials. 다른 제작 정보는 사운드 제어들, 화면 식별기들, 소스 식별기들, 내용 자료를 제작하는 스태프와 통신하는 명령들 등을 포함한다. Other manufacturing information includes a sound control of, the screen identifier, a source identifier, commands, etc. to communicate with the staff to create content data. 인덱싱을 용이하게 하기 위해서, 그 제작 정보는 기호 표현들의 수집을 제작하기 위해서 처리되고 필터링되며, 각각의 기호는 결정된 이벤트 또는 특성에 대응한다. To facilitate the indexing, the production information is processed and filtered to produce a collection of symbolic representations, each symbol corresponds to a predetermined event, or characteristic. 이러한 기호 제작 정보는 능률적이고 효과적인 선택 검색을 용이하게 하는 내용 자료에 한 세트의 주석들을 제공하기 위해서, 바람직하게 정보를 인덱싱 및 요약하는 다른 정보들과 결합된다. These symbols produced information is combined with other information and preferably indexing and summarizing information in order to provide a set of comments on the contents of data to facilitate the efficient and effective selection search.

Description

오디오/비디오 내용을 인덱스/요약하기 위한 시스템 {System to index/summarize audio/video content} System {System to index / summarize audio / video content} for the index / summary of the audio / video content

2. 종래 기술의 설명 2. Description of the prior art

MITRE Corporation의 BNE(Broadcast News Editor) 및 BNN(Broadcast News Navigator)(Bedford MA의 MITRE Corporation의 Andrew Merlino, Daryl Morey, 및 Mark Maybury의 1997년 ACM 멀티미디어 회의 진행에 broadcast News Navigation using story segmentation의 381 내지 389페이지)에 의해 증명된 것으로서, 자동화 스토리의 세그먼트 및 식별 분야에서 개선들이 계속적으로 이루어지고 있다. MITRE Corporation of BNE (Broadcast News Editor) and BNN (Broadcast News Navigator) (a MITRE Corporation of Bedford MA Andrew Merlino, Daryl Morey, and Mark Maybury's 1997 progress ACM Multimedia conference broadcast News Navigation 381 to 389 of using story segmentation as evidenced by the page), it is made to continuously improve the segment and identifies the field of automated story. BNE를 사용하여, 뉴스 방송들이 자동적으로 개별 스토리 세그먼트들로 분리되고, 그 세그먼트과 관련된 클로즈드 캡션 텍스트(closed caption text)의 제 1 라인은 각각의 스토리의 요약으로서 사용된다. Using the BNE, newscasts are being automatically divided into individual story segments, and associated segeumeonteugwa first line of closed caption text (closed caption text) is used as a summary of each story. 크로즈드 캡션 텍스트 또는 오디오로부터의 키워드들은 각각의 스토리의 요약으로서 사용된다. Sucrose caption text or keyword from the audio are used as a summary of each story. BNN은 고객이 검색 용어(searchwords)들을 입력하도록 허용하고, BNN은 그 검색 용어들에 부합하는 각각의 스토리 세그먼트에서의 키워드들의 수로 스토리 세그먼트들을 분류한다. BNN the customer is allowed to enter the search term (searchwords) and, BNN classifies the keywords, the number of storage segments in each story segment that match to those search terms. 키워드들에 부합하는 발생(occurrence )들의 주파수에 기초하여, 그 유저는 관심의 스토리들을 선택한다. Based on the frequency of occurrence (occurrence) consistent with the keywords, the user selects stories of interest. 유사한 탐색 및 검색 기술들은 본 기술 분야에서 평범하다. Similar navigation and search techniques are commonplace in the art. 예를 들어, 종래의 텍스트 검색 기술들은 텔레비전 가이드에 기초하여 컴퓨터에 적용될 수 있어서, 사람들이 특정 제목, 특정 연기자, 특정 형태의 쇼들 등을 검색할 수 있었다. For example, conventional text searching techniques could be based on the television guide can be applied in the computer, people search for a particular title, a particular performer, the specific form of syodeul like.

이들 인덱싱 및 검색 기술들은 또한 오디오 및 비디오 CD들 및 DVD들과 같은 레코딩된 엔터테인먼트 자료를 위해 개발되고 있다. The indexing and search techniques are also being developed for the recording of video and audio entertainment materials, such as CD and DVD. 유저들은 예를 들어, "독백(monologue), 존 스미스(John Smith)"와 같은 연기자의 이름 및 장면의 특성을 지정함으로써 특정 장면에 대해 검색할 수 있을 것이다. Users are, for example, will be able to search for a specific scene by specifying the name and characteristics of the scene as a performer and "monologue (monologue), John Smith (John Smith)". 응답하여, 그 검색 디바이스는 독백을 연기하는 존 스미스를 포함하는 하나 이상의 장면을 나타낼 것이다. In response, the search device will indicate one or more scenes including the John Smith to delay monologue.

검색을 위한 자료를 분류하고 인덱싱할 때 우연히 만나게 되는 난점들 중 하나가 효율적인 검색을 용이하게 하기 위한 관련 정보로 자료에 "주석첨가할 (annotate)" 필요성이다. When classifying and indexing data for search is one of the difficulties is encountered "(annotate) to add a comment" it needs the data to the relevant information to facilitate efficient retrieval. 수동 처리가 각각 레코딩될 인덱싱 정보를 추가하고 내용 자료의 방송 설정을 위해서 사용될 수 있지만, 그러한 처리는 희생이 많은 노력이고, 따라서 BNE와 같은 앞서 언급된 자동화 인덱싱 시스템들에 대한 필요성이 있을 것이다. While adding the indexing information to be recorded manually process each and can be used to set the broadcast content data, such treatment will be a need for automated indexing system with sacrifice and effort, therefore, as previously mentioned BNE. 예를 들어, 종래에는, 바로 이전 프레임과는 실질적으로 다른 프레임들에 대해서 검색함으로써 자동화 인덱싱 시스템이 먼저 장면의 각각의 변화를 인식하거나 커팅(cut)한다. For example, in the prior art, and the immediately preceding frame and substantially, by the search for other frames the automated indexing system first recognizes each change of scene, or cut (cut). 그 후, 그 프레임이 클로우즈-업(close-up)한 얼굴 샷을 포함하고, 그 프로그램의 문맥(context)이 "뉴스 방송(news broadcast)"이라면, 그 다음의 프레임들의 시퀀스는 "뉴스캐스터(newscaster)" 클립으로서 식별될 수 있는 반면에, 그 프레임이 전체 그림 형상(full-figure shape)을 포함한다면, 그 다음의 프레임들의 화상은 "야외 촬영(on-location)" 클립으로서 식별될 수 있다. Then, the frame is closed - a sequence of up (close-up) if one includes the face shot, and the "news broadcasts (news broadcast)" Context (context) of the program, the next frame of the "newscaster ( newscaster) may be identified as "on the other hand, which may be identified as a time, the frame is the whole picture-like (full-figure shape), that of the next frame of the image, if including" outdoor-up (on-location) "clips . 앞서 명시된 바와 같이, 임의의 클로즈드 캡션 텍스트는 또한 장면들을 식별하고 분류하는데 사용된다. As previously stated, any of the closed caption text may also be used to identify and classify the scene. 비록, 이러한 기술들이 다소 효율적인 것으로 판명될지라도, 그들은 그 자료를 특징으로 하는 적절한 설정의 인덱싱 파라미터들을 결정하기 위해 각 장면에서의 화상들 및 음성들과 같은 자료의 내용에 매우 의존한다. Although, even if this turns out to be less efficient techniques, they are highly dependent on the contents of data such as image and voice of each scene to determine the index parameters for the proper setting, characterized in that data.

MPEG-7 표준은 효과적인 인덱싱 및 검색 능력들에 대한 필요성을 어드레스하고, 한 세트의 기술 구성(description scheme)들 및 기술자(descriptor)들, 기술 정의 언어, 및 그 기술을 코딩하기 위한 구성을 표준화하도록 의도된 "멀티미디어 내용 기술 인터페이스(Multimedia Content Description Interface)"를 요청한다. MPEG-7 standard addresses the need for effective indexing and search capabilities, and to standardize the configuration for coding with the described configuration of the set (description scheme) and descriptors (descriptor), technical definition language, and its technology It requests the intended "multimedia content description interface (multimedia content description interface)". 특히, MPEG-7 표준은 이전 및 이후 제작 스크립트(pre- and post-production script)들, 슈팅 동안 캡쳐되거나 주석첨가된 정보, 이후 제작 편집 목록들을 포함하는, 다양한 비디오 제작 단계들에 비디오 스트림들 내의 기술 정보를 연관시키는 능력을 요청한다. In particular, MPEG-7 standard within the video stream to the various stages of video production, including the production before and after the script (pre- and post-production script) s, shooting captured or annotated information, since the production for editing the list ask the ability to relate technical information. 그 비디오 자료의 제작 동안 이러한 정보를 추가시킴으로써 비디오 아카이브(video archive) 내의 자료의 이후-제작 주석과 비교하여 그 주석들의 질 및 효율성을 실질적으로 개선하리라 예상된다. By adding this information during the production of the video data after the data in the video archive (video archive) - as compared with the tin production will substantially improve the quality and efficiency of their comments are expected.

1. 발명의 분야 1. Field of the Invention

본 발명은 고객 전자들의 분야에 관한 것이며, 특히, 선택 내용의 효율적인 검색 및 탐색을 위한 오디오/비디오 내용의 인덱싱 및 요약을 용이하게 하는 시스템에 관한 것이다. The present invention relates to the field of consumer electronics, in particular, the present invention relates to a system that facilitates indexing and summary of the audio / video content for efficient searching and browsing the selection.

도 1은 오디오/비디오 정보를 모으기 위한 예시적인 제작 장면을 도시하는 도면. 1 is a view illustrating an exemplary production scene to collect the audio / video information.

도 2는 본 발명에 따른 제작 레코딩 시스템의 예시적인 블록 다이어그램을 도시하는 도면. Figure 2 is a diagram illustrating an exemplary block diagram of a recording system produced in accordance with the present invention.

도 3은 본 발명에 따른 인덱싱/요약 시스템의 예시적인 블록 다이어그램을 도시하는 도면. Figure 3 is a diagram illustrating an exemplary block diagram of an indexing / summary system according to the present invention.

도 4는 본 발명에 따른 제작 레코더의 예시적인 블록 다이어그램을 도시하는 도면. Figure 4 is a diagram illustrating an exemplary block diagram of a recorder according to the invention produced.

발명의 간단한 요약 BRIEF SUMMARY OF THE INVENTION

본 발명의 목적은 오디오/비디오 내용 자료에 대한 시스템들을 인덱싱 및 요약하는 내용의 효율성을 개선하는 것이다. The purpose of the present invention to improve the efficiency of content indexing and summarizing the system for the audio / video content data. 본 발명의 또 다른 목적은 내용 자료의 인덱싱 및 요약을 용이하게 하기 위해 부가적인 보조 정보를 제공하는 것이다. It is another object of the present invention is to provide an additional supplementary information to facilitate indexing and summary of the information available.

이러한 목적들 및 다른 목적들은 내용 자료의 제작동안 사용가능한 "배경 정보(backgroud information)"를 그 내용 자료와 서로 관련시킴으로써 달성된다. These objectives and other objectives are achieved by a possible "Background Information (backgroud information)" used for the production of information materials related to each other and the content data. 이러한 제작 정보는 예를 들어, 내용 자료의 수집 동안 사용되는 카메라 설정들을 포함한다. The production information includes, for example, the camera settings used during the collection of information materials. 다른 제작 정보는 사운드 제어들, 장면 식별기들, 소스 식별기들, 내용 자료를 제작하는 스태프와 통신하는 명령들 등을 포함한다. Other manufacturing information includes a sound control of, the scene identifier, a source identifier, commands, etc. to communicate with the staff to create content data. 감독으로부터 각각의 카메라 조작자(camera operator)로의 명령들은 예를 들어, 카메라들로부터의 다음 영상들의 내용에 인사이트(insight)를 제공할 수 있다. Command to each of the camera operator (camera operator) from the directors, for example, may provide insight (insight) the content of the next image from the camera. 같은 방법으로, 자동화 카메라 시스템들로부터 자동적으로 발생된 명령들 또한 인사이트를 제공할 수 있다. In the same way, in an automatically generated from the automatic camera system command it may also provide insights. 다른 제작 정보는 사운드 제어들, 장면 식별기들, 소스 식별기들 등을 포함한다. Other manufacturing information, and the like of the sound control, scene identifier, the source identifier. 인덱싱을 용이하게 하기 위해서, 제작 정보는 제작 정보의 기호 표현들의 수집을 제작하기 위해 처리되고 필터링되며, 각각의 기호는 결정된 이벤트 또는 특성에 대응한다. To facilitate indexing, production information is processed and filtered to produce a collection of symbolic representation of the manufacturing information, each symbol corresponds to a predetermined event, or characteristic. 이러한 기호 제작 정보는 바람직하게 능률적이고 효율적인 선택 검색을 용이하게 하는 내용 자료에 주석들의 설정을 제공하기 위해서, 인덱싱 및 요약 정보의 다른 소스들과 결합된다. These symbols produced information is combined with other sources of information, indexed and summarized in order to provide a set of annotations to the content material that is preferably selected to facilitate efficient and effective search. 본 명세서에 제시된 기술들은 또한 특히 화상회의 녹화(videoconference recording)의 키 세그먼트들의 식별을 용이하게 하기 위해 화상 회의들의 내용 자료에 주석첨가하기 위해 아주 적절하다. The techniques presented herein are also very particularly suitable for adding annotations to the content data of video conferencing in order to facilitate identification of the key segment of the video conference recording (recording videoconference).

본 발명은 첨부 도면들을 참조하여 보다 상세하게 예의 방식으로 설명된다. The invention is illustrated by way of example in more detail with reference to the accompanying drawings.

전체 도면들에서, 동일한 참조부호들은 유사하거나 대응하는 특징들 또는 기능들을 지시한다. In all drawings, like reference numerals indicate features or functions similar or corresponding.

참조 및 이해의 용이함을 위해, 용어들 "인덱싱(indexing)" 및 "요약(summarizing)"은 본 발명의 특정 응용들을 참조하기 위해 본 명세서에 사용된다. For ease of reference and understanding, the terms "index (indexing)" and "Summary (summarizing)" is used herein to refer to a specific application of the present invention. 이러한 발명들은 내용 자료와 연관된 정보를 제공하기 위한 방법 및 디바이스를 어드레스하고, 그 정보가 사용되는 방법에 의해 제한되지는 않는다. This invention are not address a method and device for providing information associated with the contents data, and limited by the way in which the information is used. 비록, 이러한 제공된 정보가 자료에 대한 검색을 용이하게 하기 위해 인덱스로서 사용하거나 또는 그 자료의 빠른 리뷰(review) 및 프리뷰(preview)를 용이하게 하기 위한 개요(synopsis)로서 사용하기에 특히 매우 적절할 수 있으며, 본 기술 분야의 숙련자는 이러한 특정 응용들에 제한되지 않음을 인식할 것이다. Although used as an index or its data quick review (review) and preview (preview) in particular is very suitable for use as an overview (synopsis) to facilitate for such information is provided to facilitate the search for materials and, those skilled in the art will recognize, not limited to these specific applications.

도 1은 오디오/비디오 정보를 모으기 위한 예시적인 제작 장면을 도시하는 도면이다. 1 is a view illustrating an exemplary production scene to collect the audio / video information. 그 장면은 연기자(performer)들(130, 131) 및 대상(object)들(140)뿐만 아니라, 카메라 조작자들(120, 121)의 동작(action)을 지시하는 감독(110)을 포함한다. The scene and actors of (performer) (130, 131) and the target (object) (140), but also includes a camera operator of the director 110, which directs the operation (action) of the (120, 121). 예시적인 장면은 지시된 장면을 나타낸다. An exemplary scene represents a scene indicated. 본 기술 분야의 숙련자에게 명백하듯이, 본 발명은 또한 뉴스 또는 스포츠 중계(event)의 레코딩과 같은 지시되지 않은 장면에 적용가능하다. As is apparent to those skilled in the art, the invention is also applicable to non-directed recording of the scene, such as a news or sports broadcasts (event). 생방송 스포츠 중계에서, 예를 들어, 제작 감독은 카메라가 현재 액션에 의존하는 "온라인(on-line)" 카메라임을 연속적으로 결정하고, "온라인" 카메라로서의 잠재적인 선택에 대한 특정 장면들을 캡쳐하기 위해서 "오프라인(off-line)" 카메라들을 명령하거나, 또는 "인스턴트 리플레이(instant replay)"에 대한 잠재적인 사용을 명령한다. In live sports broadcasts, for example, the production director and the camera is subsequently determined that "line (on-line)" cameras that depend on the current action in order to capture a specific scene for the "online" potential selection as the camera the command of the potential use of "off-line (off-line)" commands the camera, or "instant replay (instant replay)". 뉴스 방송에서, 제작 감독은 또한 전송을 위한 소스 자료의 유사한 선택을 수행한다. In broadcasting, production director will also perform a similar selection of source material for transfer. 화상 회의에서, 양측의 참가자들은 통상적으로 화상 회의 활동들에 조화되어 있는 카메라 설정을 조정할 수 있다. In the video conference, the participants of the two sides can adjust the camera settings that are in harmony with typically videoconferencing activities.

상상될 수 있는 바와 같이, 도 1의 감독(110)은 "카메라 1은 Joe(130)가 군중 속으로 달려들어갈 때 따라가라. 카메라 2는 Jim(131)을 따라가라. 당신 둘 모두는 그들이 서류가방들을 교환하는 시야 내에 서류 가방들이 있는 지를 확인하라."와 같은 지시들을 내릴 수 있다. As can be imagined, Director (110) of Figure 1 is "Camera 1 Follow When Joe (130) go up into the crowd. The camera 2 Follow the Jim (131). All you two they Documents Check whether you have a briefcase in the field to exchange the bag can make them instructions such as " 이러한 발명은 그 장면들에 대응하는 제작 정보의 부분을 형성하는 그러한 "배후 장면(behind-the-scene)" 명령들이 장면들의 화상들을 해석하기 위한 정보의 실질적인 양을 전달한다. The invention delivers a substantial amount of information to such a "behind the scenes (behind-the-scene)" command to form part of production information to interpret the image of the scene corresponding to the scene. 예를 들어, 상기의 3개의 지령 문장들은 오로지 화상 내용에 기초하여 추론하기 어려운 도 1의 장면에 의미를 부여한다. For example, three of the reference sentence must give meaning to the scene of Fig difficult to deduce on the basis of only the image information. 그리고, 도 1의 장면과 연관된 어떠한 대화도 없는 경우,클로즈드-캡션 텍스트의 사용은 이러한 의미를 식별할 시 최소한의 조력을 제공할 것이다. And, even if there is no dialogue associated with the scene of the first, closed-caption text it will be used to provide at least the assistance of the city to identify these means. MPEG-7에 대해 상기 인용된 발표된 스크립트들, 개요들, 및 장면 편집 목록들은 적절하게 설명한 정보를 포함할 수 있지만, 그 발표된 정보는 그들이 실제로 제작 사이트에서 발생한 때와 같이 그 이벤트들을 반영하지 않을 수 있다. For MPEG-7 the published script cited above, overview of, and scene editing list will be included appropriately described information, but the announcement information is not reflected in those events, such as when they are actually incurred in the production site can not. 다른 한편, 상기의 3개의 예시적인 문장들은 Joe와 Jim이 그 장면 안에 있고, 이것이 서류 가방들이 교환되는 장면이라는 등의 정보를 전달한다. On the other hand, three of the exemplary sentences are the Joe and Jim have in that scene, which conveys information such as that scene where they exchanged briefcases. 이러한 제작 정보는 또한 정보의 다른 소스들의 해석을 용이하게 하기 위해 간접적인 방법으로 사용될 수 있는 정보를 전달한다. The production information may also carry information that may be used in an indirect way in order to facilitate the interpretation of the different sources of information. 예를 들어, 화상 처리 시스템이 아마도 "그룹" 장면으로서 이러한 장면을 식별할 것이며, 그 예시적인 문장들이 군중은 단순히 "배경"임을 강조하는데 반하여, 그 그룹 내의 Joe 또는 Jim을 식별할 수도 있고, 식별하지 못할 수도 있다. For example, contrary to emphasize that the image processing system is probably the "group" will identify these scenes as scene, the illustrative sentence crowd simply "background", and also identify a Joe or Jim in the group, identify You may not be able to. 같은 방법으로, 그 장면 내의 자동차들(140)의 존재는 또한 제작 지령들 내에 그들에 대한 참조가 없는 것에 기초하여, 중요하지 않은 배경 정보로서 해석될 수 있다. In the same way, the presence of the vehicle 140 in the scene can also be interpreted as, non-essential background information on the basis that there are no references to them in the production command. 즉, 제작 정보는 다음 화상들의 내용에 관한 직접적인 정보를 전달할 뿐만 아니라, 인덱싱 또는 요약 정보의 다른 소스들에 의한 효율적인 처리를 용이하게 하는 신호들을 제공한다. That is, the production information, as well as to pass direct information about the contents of the next image, and provides the signal, which facilitates the efficient processing by indexing or other source of the summary information.

도 2는 본 발명에 따른 제작 레코딩 시스템(200)의 예시적인 블록 다이어그램을 도시한다. Figure 2 illustrates an exemplary block diagram of a production recording system 200 in accordance with the present invention. 제작 레코더(210)는 다양한 소스들(220, 230, 240)로부터 정보를 수신하고, 다음 처리를 위해 효율적인 형식으로 제작 정보를 캡쳐하는 제작 정보의 데이터베이스(215)를 제작한다. Making the recorder 210 to produce a database 215 of the production information for receiving and capturing the produced information in an efficient format for subsequent processing information from a variety of sources (220, 230, 240). 제작 정보의 1차 소스는 발성 입력(vocal input)(220)이다. The primary source of information is produced speech input (vocal input) (220). 다양한 발성 소스들(220)이 통상적으로 제작 정보를 제공한다.예를 들어, 뉴스 방송에서, 그 제작 부스(production booth)는 발성 정보의 소스를 제공하고; , Which provides the information produced by the various speech source 220 is typically, for example, in broadcasting, the production booth (production booth) provides the source of the speech information; 현장 리포트(on-site report)는 현장 카메라 조작자에게 지령을 제공할 수 있고; Field Report (on-site report) can provide a reference to a scene camera operator; 방송 전달 이전에, 뉴스 진행자는 스튜디오 뉴스캐스터들 또는 현장 리포터 등에게 조언을 해줄 수 있다. Delivered before the broadcast, newscaster can give it a newscaster in the studio or on-site reporter like advice.

제작 레코더(210)은 이러한 정보의 소스들 각각을 처리하고, 적절한 정보를 추출하고, 검색 처리에서 다음 사용을 위한 적절한 정보를 레코딩하도록 구성된다. Production Recorder 210 may process the source of each of these information, and extracts the relevant information, and is configured to record the appropriate information and then used by the search process. 분석의 복잡성에 따라서, 이러한 처리는 레코딩되고 있는 영상들, 또는 이후 처리 태스크로서 실시간으로 수행될 수 있다. Depending on the complexity of the analysis, this processing may be performed in real time as the image, or after being burned processing tasks. 바람직한 실시예에서, 제작 레코더(210)는 또한 처리 및 본석의 다음의 선택가능한 정도를 용이하게 하기 위해, 소스들(220 내지 240)로부터의 정보를 직접적으로 레코딩한다. In the preferred embodiment, making the recorder 210 also process and the seat to facilitate the following of a selectable degree, directly recording the information from the sources (220 to 240). 예를 들어, 제작 정보의 실시간 분석은 감독과 연관된 마이크로폰으로부터의 발성 정보와 같은 제작 정보의 '1차' 소스를 사용하고, 제작 정보의 다른 소스들은 보다 상세한 분석 및 평가를 위해 차후 시간에 요구되는 바와 같이 처리된다. For example, real-time analysis of the manufacturing information, use a "primary" source in the production information such as speech information from the microphone associated with the director and the other source of production coatings are required for a future time, for more detailed analysis and evaluation and processed as described.

발성 명령들에 부가하여, 바람직한 실시예의 제작 레코딩 시스템(200)은 별도의 카메라들과 연관된 파라미터들에 대응하는 입력(230)을 포함한다. In addition to the speech command, a preferred embodiment of making the recording system 200 comprises an input 230 corresponding to the parameter associated with a separate camera. 예를 들어, 카메라의 줌(zoom) 설정은 장면의 특성을 제공하는데 사용할 수 있다. For example, a zoom (zoom) of the camera settings can be used to provide the characteristics of the scene. 좁은 각도, 높은 줌 설정은 통상적으로 개인 또는 이벤트로 지시된 초점, 또는 개인 또는 이벤트에 강조의 변화를 지시하는 줌 설정의 변화를 강조한다. Narrow angle, high zoom setting is typically emphasize the focus, zoom or change of indicating a change in the emphasis on individual events or setting instruction by a person or event. 넓은 각도 또는 낮은 줌 설정은 통상적으로 "배경" 또는 "감정 설정" 장면과 연관된다. Wide angle zoom setting or lower is usually associated with the "Background" or "Set emotions" scene. 낮은 줌 설정으로 캡쳐되는 한 시리즈의 화상들의 식별은 예를 들어, 보다 높은 줌 설정 화상들에 "앞으로 건너뛰기(skip-ahead)" 위한 화상 기초 분류 시스템으로 사용될 수 있다. Identification of a series of image captured at a low zoom setting can be used, for example, at a higher zoom settings to the image "skip forward (skip-ahead)" based on the image classification system. 또는, 학습 시스템(learning system)에서, 각각의 새로운 장면이 줌 설정에 관계없이 평가될 수 있으며, 화상 처리기가 특정 줌 설정으로 거의 또는 전혀 알아볼 수 없는 정보를 찾는다면, '앞으로 건너뛰기' 기능을 활성화할 수 있다. Alternatively, if the learning systems (learning system), each new scene can be evaluated regardless of the zoom settings, the image processor is looking for information that can not be little or recognize at all in a particular zoom setting, "Skip forward" the function It can be activated. 비디오 캡쳐 기술들, 특히 동일한 제작에서의 일관성을 가정하면, '앞으로 건너 뛰기'에 대한 결정은 점점더 빠르게 이루어 질 수 있으므로, 화상 기초 분류 시스템의 효율성을 향상시킨다. Assuming consistency in video capture technology, especially in the same production, "skip forward", so I decided to gradually be made more quickly, and improve the efficiency of the image based classification system. 동일한 방법으로, 방위 또는 방위의 변화율은 또한 장면을 특징으로 하는데 사용될 수 있다. In the same way, the rate of change of orientation or orientation can also be used to characterized the scene. 예를 들어, 스포츠에서, 엔드-라인-러쉬(end-line-rush) 또는 스트라이크 아웃(strike-out)이 아마 카메라 방위의 변화를 포함하지 않을 것인데 반해, 킥-오프(kick-off), 포워드 패스(forward-pass) 또는 홈런(home-run)의 캡쳐는 카메라 방위의 상대적으로 신속한 변화를 포함할 것이다. For example, in sports, the end-line - Rush (end-line-rush), or strike out (strike-out), while geotinde probably not include changes in camera orientation, kick-off (kick-off), forward capture of a path (forward-pass) or a home run (home-run) will contain a relatively rapid changes in camera orientation.

레코딩 동안, 사운드 붐(boom)들의 위치와 같은 제작 정보의 다른 소스들(240) 및 그 장면의 '포커스'를 확인하는 다른 수단이 또한 레코딩된 내용 자료의 인덱싱 또는 요약을 용이하게 하는데 사용된다. During recording, other means for identifying the different sources 240 and a "focus" of the scenes of the production information such as the location of the sound boom (boom) is also used to facilitate the indexing or a summary of the recorded contents data. 같은 방법으로, 내용 자료의 '소스'는 그 장면에 관한 정보를 전달할 수 있다. In the same way, the 'source' of information, data can convey information about the scene. 예를 들어, 뉴스 방송에서, "파일 푸티지(file footage)"로부터 오는 장면의 식별은 그 장면의 처리를 최소화하거나, 이전 처리 및 이러한 푸티지의 특징에 링크를 제공하는 것 중 하나에 사용될 수 있다. For example, in a news broadcast, "file footage (file footage)" Identification of the scene coming from can be used in one to minimize the handling of the scene, or provide a link to the characteristics before processing, and this footage . 제작 태스크들이 컴퓨터 자원들을 통해 점점더 자동화가 되거나 적어도 관리될 때, 그 제작 정보의 소스는 상당하게 됨을 주목하라. Note that when the production tasks are more and more automated, or at least managed through the computer's resources, the source of the information produced considerably. 예를 들어, 뉴스 방송 동안 소스들의 시퀀싱 및 선택이 컴퓨터를 통해 제어될 것이 기대될 수 있다. For example, sequencing and selection of sources for news broadcasts can be expected to be controlled by the computer. 각각의 제작에 대한 이러한 정보의 캡쳐는 실질적으로 다른 내용 인덱싱 및 요약 도구들의 능률성 및 효율성을 증가시킨다. Capturing this information for each of the production is thus substantially increase the efficiency and efficiency of different content indexing and summarizing tool.

제작 정보의 소스들(220 내지 240)의 선택이 임의적이고, 전통적인 제작 기술들에 맞출 필요는 없음을 주목하라. Select any of the sources and the production information (220 to 240), note that it is not necessary to align the traditional manufacturing techniques. 예를 들어, Mi-Suen Lee가 2000년 3월 21일에 출원한 시리얼 넘버 제09/532,820호, 대리인 문서번호 US000063의 미국 특허 출원 "HANDS-FREE HOME VIDEO PRODUCTION CAMCORDER"은 흥미로울 것 같은 장면들을 캡쳐하기 위해 카메라 필드의 시야를 자동적으로 조정하는 기술 및 디바이스를 기재하고 있으며, 본 명세서에서 참조된다. For example, the capture Mi-Suen Lee 3 first one serial number filed on May 21, 09 / 532,820 calls in 2000, Attorney Docket No. US000063 of US Patent Application "HANDS-FREE HOME VIDEO PRODUCTION CAMCORDER" the same scene will be interesting which describes a technique and device for automatically adjusting the field of view of the camera to a field, it is incorporated herein by reference. 그 조정은 예를 들어, 기술들, 사운드 위치 및 포커싱 등을 트래킹할 목적에 기초하고, 노련한 카메라 조작자의 동작들에 필적하는 지식-기초 시스템 기술(knowledge-based system technique)들을 통합한다. The adjustment, for example, the technique, based on the object to track, such as the sound location and focusing, and the knowledge comparable to those skilled in the camera operator action - incorporates the basic system described (knowledge-based system technique). 본 발명에 사용되는 것으로서, 그 결과 자동적으로 발생된 카메라 설정들은 제작 정보의 임의의 다른 소스들을 가지거나 가지지 않고, 앞서 기재된 재생 레코더(210)에 카메라 입력(230)을 제공한다. As used in the present invention, as a result, the camera automatically sets are generated without having any of the other sources of information of production, or provide a camera input unit 230 to play recorder 210 described above. 같은 방법으로, 공동 계류 중인 Eric Cohen-Solal 및 Mi-Suen Lee가 2000년 1월 20일에 출원한 시리얼 넘버 제09/488,028호, 대리인 문서번호 US000015의 미국 특허 출원 "MULTIMODAL VIDEO TARGET ACQUISITION AND RE-DIRECTION SYSTEM AND METHOD"는 제스츄어(gesture)들 및 키워드(key word)들에 기초하여 카메라 필드의 시야를 조정하는 기술 및 디바이스를 개시하고 있으며, 본 명세서에서 참조된다. In the same way, co-pending Eric Cohen-Solal and Mi-Suen Lee will call a serial number 09 / 488,028 filed on January 20, 2000, Attorney Docket No. US000015 of US Patent Application "MULTIMODAL VIDEO TARGET ACQUISITION AND RE- DIRECTION SYSTEM aND METHOD ", and is the basis of the gesture (gesture) and a keyword (key word) discloses a technique and a device for adjusting the field of view of the camera field, is incorporated herein by reference. 유사하게, 공동 계류 중인 Hugo Strubbe 및 Mi-Suen Lee가 2000년 4월 13일에 출원한 시리얼 넘버 제09/548,734호, 대리인 문서번호 US000103의 미국 특허 출원 "METHOD AND APPARATUS FOR TRACKINGMOVING OBJECTS USING COMBINED VIDEO AND AUDIO INFORMATION IN VIDEO CONFERENCING AND OTHER APPLICATION"는 레코딩되고 있는 비디오 및 오디오 내용의 분석에 기초하여, 카메라 필드의 시야를 조정하는 기술 및 디바이스를 기재하고 있다. Similarly, co-pending Hugo Strubbe and Mi-Suen Lee is in No. 4, the one serial number filed on May 13, 09/548 734 2000, Attorney Docket No. US000103 US patent application "METHOD AND APPARATUS FOR the TRACKINGMOVING OBJECTS USING COMBINED VIDEO AND aUDIO iNFORMATION iN vIDEO CONFERENCING aND OTHER APPLICATION "on the basis of the analysis of which is recorded video and audio information, discloses a technique and a device for adjusting the field of view of the camera field. 본 발명에 사용되는 바와 같이, 결과적인 카메라 설정들 및 이러한 설정들을 야기하는데 사용되는 제스츄어들, 음성 및 움직임들, 또는 제스츄어들, 음성 또는 움직임들의 분석은 제작 정보 데이터베이스(215) 제작시에 사용하기 위한 제작 레코더(210)에 제공될 수 있다. As it used in the present invention, resulting in the camera settings, and the gesture that is used to cause these settings, the voice and the movement, or gestures, analysis of voice or motion is to use when making manufacturing information database 215 It may be provided for the production recorder 210.

화상 회의 동안의 카메라 설정들은 유사하게 화상 회의 세션의 특징을 용이하게 하는데 사용될 수 있다. Camera settings for the video conference can be used to similarly facilitate the feature of the video conferencing session. 개선된 화상 회의 시스템들은 앞서 기재된 자동화 및 반자동화 카메라 제어 특징들을 포함할 것으로 예상되며, 심지어는 비교적 간단한 시스템들은 화상 회의의 참가자들이 그들의 위치에서 또는 먼 위치에서 카메라 필드의 시야를 조정하도록 한다. Advanced videoconferencing system should be set forth above are expected to include automated and semi-automated camera control feature, even relatively simple systems are the participants of the video conference by adjusting the camera's field of view in the field or away from their position. 또는, 카메라 조작자가 화상 회의의 중앙 위치, 또는 키 스피커(key speaker)r의 위치 등에 제공될 수 있다. Alternatively, a camera operator can be provided or the like of the video conference center position, or the key speaker (speaker key) r position. 연장된 지속 시간 동안 아마도 줌(zoom) 시에 약간의 변동들을 갖는 고정 카메라 위치가 특히, 각각의 화상 회의 위치로부터의 오디오 내용와 상호 연관될 때 키노트 어드레스(keynote address)를 지시할 수 있다. For an extended duration probably zoom (zoom) naeyongwa audio from each of the video conference where a particular, fixed camera position having a slight variation at the time when the correlation may indicate a keynote address (keynote address). 같은 방법으로, 계속적인 카메라의 앞뒤 회전이 키 회의 기간(key discussion period)을 지시할 수 있다. In the same way, you can rotate the front and back of the camera, indicating the continued key meeting period (key discussion period). 앞서 명시된 바와 같이, 내용 자료를 갖는 이러한 제작 정보의 조합은 내용 자료로부터 쉽게 명백해 질 수 없는 인사이트를 제공하고, 그리하여, 각각의 화상 회의에 대한 요약들을 제공하는 질 및 효율을 향상시킬 수 있다. As previously stated, any combination of production information with the information data can be provide insights that can not be readily apparent from the content data and, therefore, improving the quality and efficiency of providing a summary of each of the video conference. 예를 들어, 일단 복수의 스피커들 각각에 대응하는카메라 설정이 결정되기만 하면(또는 명백하게 제공되기만 하면), 화상들에 대응하는 카메라 설정이 문자 식별 처리에 제공되는 문자들의 선택들을 이전 필터링하는데 사용될 경우, 화상들에서의 문자 식별이 상당히 간단해진다. For example, once a plurality of, as long as the camera settings are determined corresponding to the speaker, respectively (if or as long as provided apparently), when the camera setting corresponding to an image used to previously filter the selection of text is provided to the identified character processing , identification of characters in the image is thereby significantly simplified. 유사하게, 스피커 식별 처리는 각각의 오디오 트랙에 대응하는 카메라 설정들을 제공함으로써 유사하게 개선될 수 있다. Similarly, the speaker identification processing can be similarly improved by providing the camera settings corresponding to each of the audio tracks. 같은 방법으로, 오디오 트랙이 현재의 카메라에 대응하는 필드의 시야에서 식별된 참가자를 부합시키지 않는다는 신속한 결정이 현재의 스피커를 검색하기 위해 현재의 카메라 설정들을 변경하는데 사용될 수 있다. In the same way, the audio tracks can be used for rapid determination does not meet the participant identified in the field of view of the field corresponding to the current camera's to change the current camera settings to retrieve the current speaker. 이러한 그리고 다른 공동성 효과(synergetic effect)들은 본 발명의 사용이 일반화(commonplace)될 때 본 기술 분야의 숙련자들에게 명백해 질 것이다. These and other synergistic effect (synergetic effect) will become apparent to those skilled in the art when the use of the present invention to be generalized (commonplace).

내용 자료를 갖는 제작 정보의 동기를 용이하게 하기 위해, 시간 참조번호(201)가 레코딩된 제작 정보(215)와 연관된다. To make the synchronization of the information produced with the contents data easily, it is associated with a time reference numbers production information 215, the section 201 is recorded. 본 기술 분야의 숙련자들에게 명백해 질 것처럼, 카메라 설정들(240)과 같은 몇몇 제작 정보가 내용 자료의 장면들과 제시간에 일치할 것이다. As will be apparent to those skilled in the art will be some production information such as camera settings in 240 matches for the scene and the time of the contents data. 발성 지령들(220)과 같은 다른 정보가 통상적으로 그들이 적용한 장면들에 앞선다. Other information, such as a speech command 220 typically precedes the scene they apply. 지식에 기초하고 발견적인 기술들은 특정 지령들(220)과 내용 자료 간의 상관 관계를 결정하는데 사용된다. Based on the knowledge and finding techniques are used to determine the correlation between the specific command 220 and the data information. 예를 들어, 카메라 설정들(230)의 중요한 조정에 앞서는 지령(220) 또는 장면들 내의 '컷(cut)'의 발생이 다음의 클립에 대한 정보를 포함하기 위한 것이다. For example, the generation of the set of camera 230 'cut (cut) "in the command 220 or the scene preceding the relevant adjustment of this is to include information on the clip of the. 그렇지 않으면, 예를 들어, 제작 레코더(210) 또는 내용 자료에 대한 다른 입력들에 어떠한 중요한 변화도 없는 경우, 그 지령들은 아마도 현재의 클립에 적절할 것이다. Otherwise, for example, if there is any significant change to the other inputs to the production recorder 210 or more materials, the Directive will probably be appropriate to the current clip. 원인과 결과 관계들을 결정하기 위한 다른 기술들이 본 기술 분야에서 일반적이다. Cause and effect relationships are different techniques for determining common in the art. 다른 장면 식별 및동기 입력(202)이 또한 특히, 지시된 장면들에 제공될 수 있으며, 그 장면(예를 들어, "Rocky Ⅸ, Scene 32, Take 3")의 명백한 식별이 사용가능하다. Other scene identification and synchronization input 202 is also be provided on the indicated scene, in particular, the scene (e.g., "Rocky Ⅸ, Scene 32, Take 3") is a clear identification of the like may be used.

도 3은 본 발명에 따른 인덱싱/요약 시스템(300)의 예시적인 블록 다이어그램을 도시한다. Figure 3 illustrates an exemplary block diagram of an indexing / summary system 300 in accordance with the present invention. 도시된 바와 같이, 인덱서/요약기(indexer/summarizer)(310)이 바람직하게 내용 정보의 특성, 또는 인덱싱, 또는 요약을 용이하게 하는 다양한 정보(215, 320 내지 323)에 억세스한다. And access to, the indexer / summary group (indexer / summarizer) (310), a variety of information (215, 320 to 323), which preferably facilitate the characteristic information of the content, or indexed, or summary, as shown. 클로즈드 캡션 정보(320)는 일반적으로 앞서 기재된 바와 같이, BNE 및 BNN 시스템들에서와 같이 내용 자료를 특징으로 하는데 사용된다. The closed caption information 320 as generally described above and used to characterized the content data as in the BNE and BNN system. 본 발명에 따라서, 제작 정보는 이러한 분류 처리의 효율성 및 능률성을 개성시키는데 사용될 수 있다. According to the present invention, production information can be used to individualize the effectiveness and efficiency of the classification of these processes. 예를 들어, 도 1의 장면은 클로즈드 캡션 자료에 포함되는 대화를 포함할 수 있으나, 이러한 대화는 단지 서류 가방들의 교환으로부터의 전환으로서 제공될 수 있거나, 단지 그 교환이 일어나는 동안의 주입기 자료(filler material)로서 제공될 수 있다. For example, the scene of FIG. 1, but may include the conversation included in the closed caption data, these conversations are just may be provided as a transition from the exchange of a briefcase, only the injector data for that exchange takes place (filler material) may be provided as a. 바람직한 실시예에서의 인덱서/요약기(310)는 예를 들어, 화상 정보(321)과 연관된 대응하는 중요성-가중-인자(significance-weighting-factor)를 증가시키는 동안, 클로즈드-캡션 정보 (320)와 연관된 중요성-가중-인자를 감소시키기 위해, 도 1의 장면과 연관된 제작 정보(215)를 사용한다. Indexer / summary 310 of the preferred embodiment are, for example, the importance of the corresponding associated with the image information (321) for increasing the factor (significance-weighting-factor), a closed-weighted caption information 320 weighted-importance factor associated with in order to reduce, the use of production information 215 associated with a scene of Figure 1;

내용 자료에서의 화상 정보(321)는 각 화상의 시각적 특성들에 기초하는 내용 자료를 분류하는데 사용된다. Image information 321 of the content data is used to categorize the content data that is based on a visual characteristic of each image. 예를 들어, 도 1의 장면은 간단한 패턴 및 문맥 인식 기술들에 기초하여 "집 밖(outdoor), 그룹, 자동차들, 보행자들(pedestrian)"로서 특징될 수 있다. For example, be characterized in the scene of Figure 1 is a simple pattern, and context-sensitive technologies to as "home outside (outdoor), the groups, the automobile, a pedestrian (pedestrian)," based on. 그 시스템의 능력들에 따라서, 인덱서/요약기(310)는 또한그 장면 내에 하나 이상의 배우들 및 여배우들의 인식을 포함할 수 있다. Therefore, the capacity of the system, the indexer / summary 310 may also include a recognition of one or more actors and actresses in that scene. 공동 계류 중인 Nevenka Dimitrova 및 Lalitha Agnihotri가 1999년 12월 1일에 출원한 시리얼 넘버 제9/452,581호, 대리인 문서번호 PHA 23,846의 미국 특허 출원 "PROGRAM CLASSIFICATION USING OBJECT TRACKING"는 한 프레임 내의 얼굴 화상들 및 텍스트 화상들의 존재를 검출하고, 비디오 세그먼트의 복수의 프레임들을 통해 각 화상의 경로 또는 궤도(trajectory)를 결정하는 내용 기초의 분류 시스템을 개시하고 있다. The Nevenka Dimitrova, and Lalitha Agnihotri co-pending Issue December 1999 The one serial number filed in the 1st 9 / 452,581, US Patent Application Attorney Docket No. PHA 23,846 "PROGRAM CLASSIFICATION USING OBJECT TRACKING" is the facial image in a frame and detecting the presence of a text image, and discloses a classification system based on the information to determine the path or trajectory (trajectory) of the respective image over a plurality of frames of the video segment. 얼굴 궤도와 텍스트 궤도 정보의 조합은 비디오 시퀀스의 각각의 세그먼트를 분류하는데 사용된다. The combination of facial and text orbital trajectory information is used to classify each segment of the video sequence. 도 1의 예에서, 제작 정보(215)는 예를 들어, 지령 문장들에서 "Joe"와 "Jim"의 참조들에 기초하여 이러한 대상 트래킹을 용이하게 한다. In the example of Figure 1, manufacturing information 215 it is, for example, based on the reference of "Joe" and "Jim" from the command sentence and to facilitate this target tracking. 같은 방법으로, 그 대상 트래킹은 "Joe"와 "Jim"이 각각의 장면 내에 있는 지의 여부에 의존하여, 현재 또는 다음 장면에 대한 지령 문장들을 연관시킴으로써 내용 자료에 대한 지령들의 동기를 용이하게 한다. In the same way, the target tracking by the "Joe" and "Jim" depends on whether or not in each scene, and the current or facilitate the synchronization of reference for the content data by associating the command sentence for the next scene. 장면들 또는 클립들의 특성을 용이하게 하기 위해 제작 정보를 화상 정보와 조합시키는 이들 및 다른 기술들이 이러한 기재를 고려하여 본 기술 분야의 숙련자들에게 명백해질 것이다. Scene, or these and other techniques for making the image information in combination with information to facilitate the characteristics of the clips will be apparent to those skilled in the art in consideration of this disclosure. 앞서 언급한 MPEG-7 표준의 결과는 이러한 정보의 크로스-플랫폼 (cross-platform) 이용을 용이하게 하기 위해 요구되는 문장론(syntax)뿐만 아니라, 오디오/비디오 내용 자료의 능률적이고 효율적인 인덱싱 및 요약에 대한 유용한 의미론적 기술자(semantic desciptor)들도 제공할 것으로 예상된다. The aforementioned MPEG-7 results in Standard cross of this information - on the platform (cross-platform) as well as munjangron (syntax) required to facilitate the use of audio / video content data efficient and effective indexing and summary useful semantic descriptors (semantic desciptor) is expected to be available.

문맥 정보(322)는 또한 인덱서/요약기(310)에 의해 제공되는 내용 자료의 특성을 용이하게 한다. Context information 322 also facilitates the characteristics of the content data provided by the indexer / summary 310. 예를 들어, 장면의 문맥이 스포츠 중계일 경우, 제작정보(215) 또는 클로즈드-캡션 정보(320)에 포함된 용어론(terminology)적인 해석은 변경될 수 있고; For example, if the context of the scene sporting events days, production information 215 or closed - the term & Ron (terminology) included in the caption information 320, interpretation can be changed; 그 화상들 내에 묘사된 개인들에게는 필수적인 것이 아닌,클로즈드-캡션 정보가 그 방송캐스터(broadcaster)에 대응할 가능성(likelihood)에 기초하여, 그 클로즈드-캡션 정보(320)와 화상 정보(321) 간의 상관 관계가 변경될 수 있는 등이다. The caption information based on the likelihood (likelihood) correspond to the broadcaster (broadcaster), the closed-and not necessarily for those individuals depicted within the image, a closed correlation between the caption 320 and the image information 321 a relationship, etc., which can be changed.

인덱서/요약기(310)가 유저의 홈에 있는 경우, 또는 특정 유저에 대해 커스터마이징된(customized) 경우, 유저 정보(323)는 또한 내용 자료의 특성을 용이하게 하는데 사용될 수 있다. Indexer / summary 310 is in a home of the user, or when a (customized) customized for a particular user, the user information 323 may also be used to facilitate the properties of the contents data. 공동 계류 중인 Jan H. Elenbaas, Tomas McGee, Nevenka Dimitrova, 및 Mark Simpson이 1998년 12월 23일에 출원한 시리얼 넘버 제09/220,277호, 대리인 문서번호 PHA 23,590의 미국 특허 출원 "PERSONALIZED NEWS RETRIEVAL SYSTEM"는 유저의 선호도들 또는 시청 습관들에 기초한 정보의 분류 및 검색 을 커스터마이징하기 위한 기술들을 제시하고 있으며, 본 명세서에서 참조된다. Co-pending Jan H. Elenbaas, Tomas McGee, Nevenka Dimitrova, and Mark Simpson is No. A serial number filed on December 23, 1998 and 09 / 220,277, US Patent Application Attorney Docket No. PHA 23,590 "PERSONALIZED NEWS RETRIEVAL SYSTEM" is suggested techniques for customizing the classification and retrieval of information based on the preference or the viewing habits of the user, and is incorporated herein by reference. 본 출원의 문맥에서, 유저의 선호도 및/또는 습관들을 인식하는 것은 인덱서/요약기(310)의 특정 관점들에 대한 우선 순위를 제공함으로써 제작 정보(215) 및 다른 정보(320 내지 322)의 처리를 용이하게 한다. In the context of this application, is to recognize the preferences and / or habits of the user process of the indexer / summary group production information 215 and other information 320 to 322 by giving priority to the particular point of view of 310 to facilitate. 예를 들어, 유저는 연기자(performer)의 이름에 기초한 정보를 좀처럼 검색하지 않는다면, 그 인덱서/요약기(310)은 각 장면 또는 클립에 나타난 연기자들의 포괄적인 인덱스를 제공하기 위해 복수의 정보 소스들(215, 320 내지 322)을 사용하여 각 연기자를 트래킹하기 위해 부가적인 시간과 자원들을 소비한다. For example, the user does not readily retrieve information based on the name of the performer (performer), the indexer / summary 310 includes a plurality of information sources in order to provide a comprehensive index of the actors appears in each scene or clip in using (215, 320 to 322) and consumption of additional time and resources to track each actor. 인덱서/요약기(310)의 능률성 및 효율성을 최적화하기 위한 이들 및 다른 기술들이 본 명세서를 고려하여 본 기술 분야의 숙련자들에게 명백해 질 것이다. These and other techniques to optimize the efficiency and efficiency of the indexer / summary 310 that will be apparent to those skilled in the art in consideration of the present specification.

인덱서/요약기(310)는 통상적으로 내용 자료(350)의 주석첨가된 버전으로서 내용 자료에 첨부된 정보를 제공한다. Indexer / summary 310 is typically a tin-added version of the contents data 350, and provides the information attached to the contents data. 예를 들어, DVD 제공자는 DVD 상에 내용 자료의 각 장면과 연관된 인덱싱 또는 요약 정보를 포함하는 DVD를 제공하기 위해 시스템(300)을 사용할 것이다. For example, DVD providers will use the system 300 to provide a DVD containing the index or summary information associated with each scene of the content data on a DVD. 대응하는 DVD 플레이어는 포함된 인덱싱 또는 요약 정보에 기초하여 내용 자료의 특정 장면들에 대한 검색이 용이하도록 구성된다. Compatible DVD player that is configured to facilitate a search for a particular scene of the content data based on the index included or summarized information. 대안으로, 인덱싱/요약 시스템(300)은 내용 자료의 제공자에 독립적일 수 있고, 내용 자료에 관계없는 부속물(adjunct)로서 인덱싱 또는 요약 정보를 제공할 수 있다. Alternatively, the indexing / summary system 300 may be an independent provider of information resources, can provide indexed or summarized information as an attachment (adjunct) are not related to the content data. 예를 들어, 벤더(vendor)가 인터넷 사이트 상의 인덱싱 및 요약 정보를 제공할 수 있고, 유저가 웹-TV 디바이스, 또는 퍼스널 컴퓨터(PC)와 같은 인터넷 억세스 디바이스를 통해 앞서 말한 검색을 달성하도록 하는 응용 프로그램을 제공할 수 있다. For example, the vendor (vendor) to provide the indexing and summary information on the Internet site, application to the user to achieve the aforementioned search through the Internet access devices such as Web -TV device, or personal computer (PC) it is possible to provide the program.

도 4는 본 발명에 따른 제작 레코더(210)의 예시적인 블록 다이어그램을 도시한다. Figure 4 illustrates an exemplary block diagram of making the recorder 210 according to the present invention. 바람직한 실시예에서, 제작 레코더(210)는 다양한 소스들로부터의 제작 관련 입력들(201 내지 240)을 처리하기 위한 음성 인식기(420), 시야 처리기(field of view processor)(430), 및 장면 동기기(410)를 포함한다. In the preferred embodiment, making the recorder 210 is the production-related inputs from a variety of sources (201 to 240), the speech recognizer 420, a field processor (field of view processor) to process 430, and scene synchronous machine and a 410 음성 인식기(420)는 말해진 사운드들로부터 인식된 용어들로의 번역을 제공하며, 발성 입력들(220)을 처리하는데 사용된다. Speech recognizer 420 provides a translation of the recognition, the term from the spoken sound, and is used to process the speech input 220. 시야 처리기(430)는 각 카메라(230)의 현재의 시야를 특징으로 하기 위해 카메라 설정들의 해석을 제공한다. Field processor 430 provides the interpretation of the camera settings, in order to characterized the current field of view of each camera 230. 장면 동기기(410)는 제작 정보 및 내용 자료 간의 동기를 용이하게 하기 위해 동기 입력들(201, 202)을 처리한다. Scene synchronous machine 410 handles the sync input (201, 202) in order to facilitate synchronization between the manufacturing information and contents data. 다른 처리기들(440)은 요구되는 바와 같이 제작 정보의 다른 소스들(240)로부터의 입력을 처리하기 위해 제공된다. Other processor 440 is provided for processing an input from other sources 240 of the manufacturing information, as required.

바람직한 실시예에서, 기호 인코더(450)는 인덱서/요약(310)(도 3)에 의한 다음 처리를 용이하게 하기 위해 상징적 형태로 제작 정보(215)를 인코딩한다. In a preferred embodiment, the symbol encoder 450 encodes the production information 215 in a symbolic form in order to facilitate the next process by the indexer / summation 310 (FIG. 3). 제작 레코더(210)는 이러한 기호 인코딩을 용이하게 하는 기호 라이브러리(symbol library)(460)를 포함한다. Production and the recorder (210) comprises a symbol library (symbol library) (460) for facilitating such symbol encoding. 예를 들어, 바람직한 실시예에서, 기호 라이브러리(460)는 기호 인코더(450)가 음성 인식기(420)에 의해 제공된 용어들을 인코딩하기 위해 사용하는 키워드들에 대한 기호들을 포함한다. For example, in a preferred embodiment, the symbol library (460) comprises a symbol for the keyword used to encode the term symbol encoder 450 provided by speech recognizer 420. 같은 방법으로, 그 기호 라이브러리는 시야 처리기(420)에 의해 제공된 카메라 특성들의 인코딩을 용이하게 하기 위해, 특정 카메라 설정들 또는 설정들의 조합들에 대응하는 심볼들을 포함한다. In the same way, and the symbol library comprises a symbol corresponding to a particular camera settings or combinations of settings to facilitate the encoding of the camera visual field characteristics provided by the processor 420. 다양한 기술들이 효율적인 기호 라이브러리(460)을 유지하기 위해 사용될 수 있다. Various techniques can be used to maintain an effective symbol library (460). 공동 계류 중인 Keith Mathias, J. David Schaffer 및 Murali Mani가 1999년 6월 29일에 출원한 시리얼 넘버 제09/343,649호, 대리인 문서번호 PHA 23,696의 미국 특허 출원 "IMAGE CLASSIFICATION USING EVOLVED PARAMETERS"는 유전, 진화, 화상들을 분류하는데 사용되는 파라미터들을 최적화하기 위한 알고리즘들의 사용을 개시하고 있다. Co-pending Keith Mathias, J. David Schaffer and Murali Mani a call in June 1999 by the serial number filed on May 29, 09 / 343,649, representatives of the United States Patent Document No. PHA 23,696 "IMAGE CLASSIFICATION USING EVOLVED PARAMETERS" is genetic, evolution, discloses the use of algorithms for optimizing the parameters used to classify the image.

앞서 말한 것은 단지 본 발명의 원리들을 설명한 것이다. The foregoing sets forth only the principles of the present invention. 그러므로, 비록 본 명세서에 명백하게 기재되거나 도시되지 않았을지라도 본 기술 분야의 숙련자들이 본 발명의 원리들을 구체화하고, 그러므로 본 발명의 정신 및 범위 내에 있는 다양한 장치들을 고안할 수 있을 것임이 이해될 것이다. Therefore, although not explicitly described or shown herein not have to embody the principles of the invention to those skilled in the art, therefore, it will be able to devise various devices within the spirit and scope of the invention to be understood. 예를 들어, 비록, 내용 정보의 다른 형태들의 분류 및 인덱싱이 또한 제작 정보의 포함에 의해 용이하게 될 지라도, 비디오 내용 정보가 본 발명의 응용을 나타내기 위한 모범(paradigm)으로서 사용되었다. For example, although, even if the classification and indexing of other types of information, the information also be facilitated by the inclusion of production coatings, it was used as a model (paradigm) for indicating the video content information, application of the present invention. 사운드 스튜디오에서의 지령들 및 설비 설정들은 예를 들어, 오디오 내용 자료를 인덱싱하고 요약하는데 사용될 수 있다. Instruction and equipment set up in the sound studio can be used, for example, indexing the audio content and data summaries. 유사하게, 인덱싱 및 검색을 위한 사용에 부가하여, 주석첨가된 오디오/비디오 내용(350), 특히 감독의 발성 명령들에 포함된 제작 정보(215)는 유저에게는 직접적인 흥미가 될 수 있고, 이러한 정보를 포함하는 매체에 대한 마케팅 이점을 제공할 수 있다. Similarly, in addition to use for indexing and searching, may be a direct interest the audio / video information, adding annotations 350, the production information 215 included in particular to speech commands in the director for the user, this information It can provide a marketing advantage for media including. 이들 및 다른 시스템 구성들 및 최적화 특징들은 본 명세서를 고려하여 본 기술 분야의 숙련자들에게 명백할 것이며, 다음 청구항들의 범위 내에 포함된다. These and other system configuration and optimization features will be readily apparent to those skilled in the art in consideration of the present specification, it is included within the scope of the following claims.

Claims (21)

  1. 내용 자료에 관련된 보조(ancillary) 정보를 제공하는 방법에 있어서, A method of providing a secondary (ancillary) information relating to the content data,
    상기 내용 자료의 제작에 관련된 소스 정보(220 내지 240)를 수집하는 단계, 및 Collecting the information source (220 to 240) associated with the production of the content material, and
    상기 보조 정보를 제공하기 위해 상기 소스 정보(220 내지 240)를 처리하는 단계를 포함하고, For providing the auxiliary information comprises the step of processing the information source (220 to 240),
    상기 소스 정보(220 내지 240)는 상기 내용 자료의 제작 동안 내려진 하나 이상의 지령들(directives)(220)과, The source information (220 to 240) may include one or more commands issued during the production of the content material (directives) (220) and,
    상기 내용 자료의 제작 동안 사용된 하나 이상의 설비 아이템들과 연관되는 하나 이상의 파라미터들(230, 240) 중 적어도 하나를 포함하는, 보조 정보 제공 방법. The details of one or more parameters to be data associated with the one or more equipment items used during the production of the 230 and 240 ways of providing auxiliary information, including at least one.
  2. 제 1 항에 있어서, According to claim 1,
    상기 소스 정보(220 내지 240)를 처리하는 단계는, Processing the information source (220 to 240),
    상기 하나 이상의 지령들(220)에 대응하는 발성 입력(vocal input)과 연관된 용어들을 인식하는 단계, 및 Recognizing the terms associated with the speech input (vocal input) corresponding to the one or more commands 220, and
    상기 하나 이상의 설비 아이템들에 대응하는 적어도 하나의 카메라(230)와 연관된 시야 설정(field of view setting)을 인식하는 단계 중 적어도 하나를 포함하는, 보조 정보 제공 방법. At least one camera 230 field of view associated with the set (field of view setting) method providing auxiliary information, which includes at least one of recognizing a corresponding to the one or more equipment items.
  3. 제 1 항에 있어서, According to claim 1,
    상기 소스 정보(220 내지 240)를 처리하는 단계는, Processing the information source (220 to 240),
    상기 보조 정보를 제공하기 위해 다른 정보(320 내지 323)를 처리하는 단계를 또한 포함하고, And further comprising the step of processing the different information (320 to 323) for providing the auxiliary information,
    상기 다른 정보(320 내지 323)는, The other information (320 to 323), the
    상기 내용 자료와 연관된 클로즈드-캡션 정보(closed-caption information)(320)와, And caption information (closed-caption information) (320), - closed associated with the content data
    상기 내용 자료와 연관된 화상 정보(321)와, And image information (321) associated with the content material,
    상기 내용 자료와 연관된 오디오 정보와, And audio information associated with the contents data,
    상기 내용 자료와 연관된 문맥 정보(context information)(322), 및 Context information (context information) (322) associated with the contents data, and
    상기 내용 자료의 유저와 연관된 유저 정보(323) 중 적어도 하나를 포함하는, 보조 정보 제공 방법. The method provides the auxiliary information includes at least one of the user information 323 associated with the user of the information data.
  4. 제 3 항에 있어서, 4. The method of claim 3,
    상기 소스 정보(220 내지 240)의 처리는 상기 내용 자료를 요약하는 것을 용이하게 하는, 보조 정보 제공 방법. Processing of the source information (220 to 240) is a method of providing auxiliary information, to facilitate summarizing the contents data.
  5. 제 1 항에 있어서, According to claim 1,
    상기 내용 자료는 화상 회의의 장면들에 대응하는, 보조 정보 제공 방법. The content data, the method provides supplemental information corresponding to the scene of the video conference.
  6. 제 1 항에 있어서, According to claim 1,
    상기 내용 자료(350)의 특정 세그먼트들에 대한 검색을 용이하게 하기 위해, 상기 보조 정보에 기초하여, 상기 내용 자료와 상기 보조 정보를 동기시키는 단계를 더 포함하는, 보조 정보 제공 방법. To facilitate the search for a particular segment of the content material 350, on the basis of the auxiliary information, the auxiliary information providing method further comprising the step of synchronizing the information data and the side information.
  7. 제 1 항에 있어서, According to claim 1,
    상기 소스 자료의 처리를 용이하게 하기 위해, 기호 형태로 상기 소스 정보(220 내지 240)와 연관된 제작 정보(215)를 분류하는 단계를 더 포함하는, 보조 정보 제공 방법. To facilitate the processing of the source material, a method in symbol form provides side information, further comprising the step of classifying the produced information 215 associated with the source information (220 to 240).
  8. 제 1 항에 있어서, According to claim 1,
    상기 보조 정보는 MPEG-7 명세와 일치하여 제공되는, 보조 정보 제공 방법. The assistance information is assistance information providing method, provided in accordance with the MPEG-7 specification.
  9. 내용 자료에 관련된 보조 정보를 제공하는 방법에 있어서, A method of providing supplementary information related to the content data,
    상기 내용 자료의 제작 동안 사용된 하나 이상의 카메라 설정들과 연관되는 카메라 파라미터들(230)을 수집하는 단계, 및 Collecting the parameter of the camera 230 is associated with one or more camera settings used during the production of the content material, and
    상기 카메라 파라미터들(230)에 기초하여, 상기 보조 정보를 제작하는 단계를 포함하는, 보조 정보 제공 방법. And, a method providing the auxiliary information comprises the step of making the auxiliary information based on the camera parameters (230).
  10. 제 1 항에 있어서, According to claim 1,
    상기 보조 정보를 제공하는 단계는, Providing the auxiliary information,
    상기 보조 정보를 제공하기 위해 다른 정보(320 내지 323)를 처리하는 단계를 더 구비하며, Further comprising the step of processing the different information (320 to 323) for providing the auxiliary information,
    상기 다른 정보(320 내지 323)는, The other information (320 to 323), the
    상기 내용 자료와 연관된 클로즈드-캡션 정보(320)와, And caption information (320) - Closed associated with the content data
    상기 내용 자료와 연관된 화상 정보(321)와, And image information (321) associated with the content material,
    상기 내용 자료와 연관된 오디오 정보와, And audio information associated with the contents data,
    상기 내용 자료와 연관된 문맥 정보(322), 및 The context information (322) associated with the information, resources, and
    상기 내용 자료의 유저와 연관된 유저 정보(323) 중 적어도 하나를 포함하는, 보조 정보 제공 방법. The method provides the auxiliary information includes at least one of the user information 323 associated with the user of the information data.
  11. 레코딩 시스템(210)에 있어서, In the recording system 210,
    내용 자료의 제작과 연관된 소스 정보(220 내지 240)와, And manufacturing information associated with the source (220 to 240) of the content material,
    상기 내용 자료와 연관된 동기 데이터(201, 202)를 입력으로서 받아들이고, 그로부터 Accept as input the synchronization data (201, 202) associated with the content data, from which
    상기 내용 자료로의 선택적인 억세스를 용이하게 하는 제작 정보(215)를 제작하는, 인코더(450)을 포함하는, 레코딩 시스템(210). To produce the production information 215 that facilitates selective access to said content data, including an encoder 450, a recording system (210).
  12. 제 11 항에 있어서, 12. The method of claim 11,
    상기 소스 정보(220 내지 240)는 The source information (220 to 240)
    상기 내용 자료의 제작과 연관된 지령들(220), 및 The production of the information associated with the reference data 220, and
    상기 내용 자료의 제작에 사용되는 설비와 연관된 설정들(230 내지 240) 중 적어도 하나를 포함하는, 레코딩 시스템(210). The contents of the data set produced and the associated equipment used in the, recording system 210 includes at least one of (230 to 240).
  13. 제 11 항에 있어서, 12. The method of claim 11,
    상기 인코더(450)는 The encoder 450
    상기 내용 자료의 제작과 연관된 발성 소스 정보(220)을 처리하는 음성 인식 시스템(420), 및 Speech recognition system 420 for processing a voice source information 220 is associated with production of the content material, and
    상기 내용 자료의 상기 제작과 관련된 적어도 하나의 카메라와 연관된 파라미터들(230)을 처리하는 시야 처리기(430) 중 적어도 하나를 포함하는, 레코딩 시스템(210). Comprising at least one of the at least one field of view to handle the parameter associated with the camera 230, processor 430 associated with the production of the content data, the recording system 210.
  14. 정보 처리 시스템(300)에 있어서, In the information processing system 300,
    내용 자료의 제작에 관련되는 제작 정보(215)의 소스와, And the source of production information (215) related to the production of information materials,
    제작 정보(215)의 소스에 사용가능하게 결합되어, 상기 내용 자료에 관련된 보조 정보를 제공하도록 구성되는, 처리기(310)를 포함하고, Are combined to enable the source of the production information 215, and comprise a processor 310 configured to provide a side information associated with the content material,
    상기 제작 정보(215)는 The production information 215
    상기 내용 자료의 제작 동안 내려진 하나 이상의 지령들(220) 및 The production of one or more commands issued for the contents data 220, and
    상기 내용 자료의 제작 동안 사용된 하나 이상의 설비 아이템들과 관련된 하나 이상의 파라미터들(230, 240) 중 적어도 하나를 포함하는, 정보 처리 시스템(300). The contents of the data making the one or more parameters relating to one or more equipment items used during the at least one information processing system 300 that includes one (230, 240).
  15. 제 14 항에 있어서, 15. The method of claim 14,
    상기 재생 정보(215)의 소스는 The source of the reproduction information 215
    상기 하나 이상의 지령들(220)에 대응하는 발성 입력과 연관된 용어들을 인식하도록 구성되는 음성 인식 시스템(420)과, The speech recognition system 420 is configured to recognize the speech input associated with terms corresponding to the one or more commands 220,
    상기 하나 이상의 설비 아이템들에 대응하는 적어도 하나의 카메라와 연관된 파라미터들(230)을 처리하는 시야 처리기(430) 중 적어도 하나를 포함하는, 정보 처리 시스템(300). It said at least one equipment item of the at least one camera and comprises at least one of a field processor 430 to process the associated parameters 230, the information processing system 300, which corresponds to.
  16. 제 14 항에 있어서, 15. The method of claim 14,
    다른 정보(320 내지 323) 중 적어도 하나의 소스를 더 포함하고, And at least one other source of information (320 to 323), and further,
    상기 다른 정보(320 내지 323)은 The other information (320 to 323) are
    상기 내용 자료와 연관된 클로즈드-캡션 정보(320)와, And caption information (320) - Closed associated with the content data
    상기 내용 자료와 연관된 화상 정보(321)와, And image information (321) associated with the content material,
    상기 내용 자료와 연관된 문맥 정보(322) 및 Contextual information associated with the content material (322) and
    상기 내용 자료의 유저와 연관된 유저 정보(323) 중 적어도 하나를 포함하고, And it includes at least one of a user and the user information 323 associated with the content material,
    상기 처리기(310)는 다른 정보(320 내지 323) 중 적어도 하나의 소스에 사용가능하게 결합되고, 상기 다른 정보(320 내지 323)에 또한 기초하여 상기 보조 정보를 제공하도록 더 구성되어 있는, 정보 처리 시스템(300). The processor 310 is coupled to enable the at least one source of the other information (320 to 323), wherein the further information (320 to 323), the information processor in by more base is further configured to provide the assistance information system (300).
  17. 제 14 항에 있어서, 15. The method of claim 14,
    상기 보조 정보와 내용 자료 간의 상관 관계(correlation)을 제공하도록 구성되는 동기기(synchronizer)(410)를 더 포함하는, 정보 처리 시스템(300). Further comprising a synchronous machine (synchronizer) (410) configured to provide a relationship (correlation) between the side information and information data, the information processing system 300.
  18. 제 14 항에 있어서, 15. The method of claim 14,
    상기 보조 정보는 상기 내용 자료와 연관된 문자들의 식별을 용이하게 하는, 정보 처리 시스템(300). The auxiliary information which facilitates the identification of the characters associated with the content data, the information processing system 300.
  19. 제 14 항에 있어서, 15. The method of claim 14,
    상기 보조 정보는 MPEG-7 명세에 따라서 제공되는, 정보 처리 시스템(300). The auxiliary information is an information processing system, provided in accordance with the MPEG-7 specification (300).
  20. 정보 처리 시스템(300)에 있어서, In the information processing system 300,
    내용 자료의 제작에 관련된 제작 정보(215)를 수신하기 위한 입력과, And an input for receiving a production information 215 relating to the production of information material,
    상기 입력에 사용가능하게 결합되어, 상기 내용 자료에 관련된 보조 정보를 제공하도록 구성되는, 처리기(310)를 포함하고, Is coupled to the enable input, and including, a processor (310) configured to provide a side information associated with the content material,
    상기 제작 정보(215)는 상기 내용 자료의 제작 동안 사용되는 하나 이상의 카메라들과 연관되는 하나 이상의 파라미터들(230)을 포함하는, 정보 처리시스템(300). The production information 215, the information processing system 300 that includes one or more parameters (230) associated with the one or more cameras are used during production of the contents data.
  21. 제 20 항에 있어서, 21. The method of claim 20,
    다른 정보의 적어도 하나의 소스(320 내지 323)를 포함하고, Includes at least one source (320 to 323) of the other information,
    상기 다른 정보(320 내지 323)는 The other information (320 to 323) are
    상기 내용 자료와 연관된 클로즈드-캡션 정보(320)와, And caption information (320) - Closed associated with the content data
    상기 내용 자료와 연관된 화상 정보(321)와, And image information (321) associated with the content material,
    상기 내용 자료와 연관된 문맥 정보(322), 및 The context information (322) associated with the information, resources, and
    상기 내용 자료의 유저와 연관된 유저 정보(323) 중 적어도 하나를 포함하고, And it includes at least one of a user and the user information 323 associated with the content material,
    상기 처리기(310)는 다른 정보(320 내지 323) 중 적어도 하나의 소스에 사용가능하게 결합되고, 상기 다른 정보(320 내지 323)에 또한 기초하여 상기 보조 정보를 제공하도록 더 구성되어 있는, 정보 처리 시스템(300). The processor 310 is coupled to enable the at least one source of the other information (320 to 323), wherein the further information (320 to 323), the information processor in by more base is further configured to provide the assistance information system (300).
KR20027006025A 2000-09-11 2001-08-27 System to index/summarize audio/video content KR20020060964A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US65918200 true 2000-09-11 2000-09-11
US09/659,182 2000-09-11
PCT/EP2001/009974 WO2002021843A3 (en) 2000-09-11 2001-08-27 System to index/summarize audio/video content

Publications (1)

Publication Number Publication Date
KR20020060964A true true KR20020060964A (en) 2002-07-19

Family

ID=24644380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20027006025A KR20020060964A (en) 2000-09-11 2001-08-27 System to index/summarize audio/video content

Country Status (4)

Country Link
EP (1) EP1393568A2 (en)
JP (1) JP2004508776A (en)
KR (1) KR20020060964A (en)
WO (1) WO2002021843A3 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483624B2 (en) 2002-08-30 2009-01-27 Hewlett-Packard Development Company, L.P. System and method for indexing a video sequence
KR100634533B1 (en) * 2005-01-20 2006-10-13 삼성전자주식회사 Method and apparatus for managing digital photograph, and computer readable media for storing computer program
US9583141B2 (en) 2005-07-01 2017-02-28 Invention Science Fund I, Llc Implementing audio substitution options in media works
US20080052104A1 (en) * 2005-07-01 2008-02-28 Searete Llc Group content substitution in media works
US20080086380A1 (en) * 2005-07-01 2008-04-10 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Alteration of promotional content in media works
CN101309390B (en) * 2007-05-17 2012-05-23 华为技术有限公司 Visual communication system, apparatus and subtitle displaying method
CN102289490B (en) * 2011-08-11 2013-03-06 浙江宇视科技有限公司 Video summary generating method and equipment
CN105096668A (en) * 2014-05-16 2015-11-25 北京天宇各路宝智能科技有限公司 Teaching voice and video manufacturing system and manufacturing method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5136655A (en) * 1990-03-26 1992-08-04 Hewlett-Pacard Company Method and apparatus for indexing and retrieving audio-video data
US6353461B1 (en) * 1997-06-13 2002-03-05 Panavision, Inc. Multiple camera video assist control system
US6363380B1 (en) * 1998-01-13 2002-03-26 U.S. Philips Corporation Multimedia computer system with story segmentation capability and operating program therefor including finite automation video parser

Also Published As

Publication number Publication date Type
WO2002021843A3 (en) 2003-12-18 application
WO2002021843A2 (en) 2002-03-14 application
EP1393568A2 (en) 2004-03-03 application
JP2004508776A (en) 2004-03-18 application

Similar Documents

Publication Publication Date Title
Ferman et al. Robust color histogram descriptors for video segment retrieval and identification
US7298930B1 (en) Multimodal access of meeting recordings
Snoek et al. Multimedia event-based video indexing using time intervals
Assfalg et al. Semantic annotation of sports videos
Qi et al. Integrating visual, audio and text analysis for news video
US6363380B1 (en) Multimedia computer system with story segmentation capability and operating program therefor including finite automation video parser
US7206303B2 (en) Time ordered indexing of an information stream
US6845485B1 (en) Method and apparatus for indicating story-line changes by mining closed-caption-text
Mukhopadhyay et al. Passive capture and structuring of lectures
US20040128308A1 (en) Scalably presenting a collection of media objects
Naphide et al. A probabilistic framework for semantic video indexing, filtering, and retrieval
US20090080853A1 (en) System and method for video summarization
Hanjalic et al. An integrated scheme for automated video abstraction based on unsupervised cluster-validity analysis
US20030107592A1 (en) System and method for retrieving information related to persons in video programs
You et al. A multiple visual models based perceptive analysis framework for multilevel video summarization
Nack et al. Everything you wanted to know about MPEG-7. 1
US20100088726A1 (en) Automatic one-click bookmarks and bookmark headings for user-generated videos
Aigrain et al. Medium knowledge-based macro-segmentation of video into sequences
US6993535B2 (en) Business method and apparatus for employing induced multimedia classifiers based on unified representation of features reflecting disparate modalities
US6892193B2 (en) Method and apparatus for inducing classifiers for multimedia based on unified representation of features reflecting disparate modalities
US20070091203A1 (en) Method and system for segmenting videos using face detection
US6697564B1 (en) Method and system for video browsing and editing by employing audio
US20020036694A1 (en) Method and system for the storage and retrieval of web-based educational materials
Xu et al. Affective content analysis in comedy and horror videos by audio emotional event detection
Li et al. Techniques for movie content analysis and skimming: tutorial and overview on video abstraction techniques

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination