KR100555426B1 - 비디오 콘텐트의 동적 탐색 방법 및 장치 - Google Patents

비디오 콘텐트의 동적 탐색 방법 및 장치 Download PDF

Info

Publication number
KR100555426B1
KR100555426B1 KR1020020084780A KR20020084780A KR100555426B1 KR 100555426 B1 KR100555426 B1 KR 100555426B1 KR 1020020084780 A KR1020020084780 A KR 1020020084780A KR 20020084780 A KR20020084780 A KR 20020084780A KR 100555426 B1 KR100555426 B1 KR 100555426B1
Authority
KR
South Korea
Prior art keywords
playback
shot
fast
normal
normal playback
Prior art date
Application number
KR1020020084780A
Other languages
English (en)
Other versions
KR20040058511A (ko
Inventor
전성배
김태형
윤경로
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020020084780A priority Critical patent/KR100555426B1/ko
Priority to US10/540,426 priority patent/US20060041908A1/en
Priority to CNB2003801077119A priority patent/CN100518281C/zh
Priority to PCT/KR2003/002845 priority patent/WO2004059971A1/en
Priority to AU2003289532A priority patent/AU2003289532A1/en
Priority to EP03779019A priority patent/EP1579687A4/en
Publication of KR20040058511A publication Critical patent/KR20040058511A/ko
Application granted granted Critical
Publication of KR100555426B1 publication Critical patent/KR100555426B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/745Browsing; Visualisation therefor the internal structure of a single video sequence
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/107Programmed access in sequence to addressed parts of tracks of operating record carriers of operating tapes
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/60Solid state media
    • G11B2220/65Solid state media wherein solid state memory is used for storing indexing information or metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

본 발명은 비디오 콘텐트의 동적 탐색 시스템에 관한 것이다.
본 발명은 비디오 콘텐트 재생에 있어서, 현재의 재생위치와 샷 인덱스를 고려하여 다음에 정상 재생이 시작될 위치와 정상 재생될 길이를 정하고, 현재 위치로부터 정상 재생이 시작될 위치로 빠른 재생을 수행하고, 정상 재생될 위치와 비디오의 재생위치가 일치하는 경우에 비디오의 재생 모드를 정상모드로 전환하여 오디오와 비디오가 동시 재생되는 속도로 상기 정해진 길이 분량을 재생한다. 본 발명은 정상 재생될 구간과 빠른 재생을 할 구간을 결정하고, 현재의 재생 위치와 샷 인덱스를 기반으로 하여 정상재생과 빠른 재생을 번갈아 수행한다.
비디오, 콘텐트, 스키밍, 탐색

Description

비디오 콘텐트의 동적 탐색 방법 및 장치{DYNAMIC VIDEO SEARCHING SYSTEM}
도1은 샷 인엑스 정보의 예를 나타낸 도면
도2는 본 발명의 동적 탐색 방법의 개념을 설명하기 위한 도면
도3은 본 발명에서 동적 탐색과 재생 모드 간의 전환을 설명하기 위한 도면
도4는 본 발명의 비디오 콘텐트 동적 탐색 기법을 적용한 PVR 시스템의 구성을 나타낸 블록도
본 발명은 비디오 콘텐트의 동적 탐색 시스템에 관한 것이다. 특히 본 발명은 샷 세그멘테이션 정보를 이용해서 비디오의 어떤 부분은 고배속으로 재생하고 또 어떤 부분은 정상 속도로 재생하는 동작을 번갈아 가며 자동적으로 수행할 수 있도록 한 비디오 콘텐트의 동적 탐색 방법과 그 장치에 관한 것이다.
대중매체의 발달과 멀티미디어 콘텐트의 제작이 쉬워짐에 따라 일반인이 매일 접하게 되는 미디어의 양이 매우 방대해 졌다. 멀티미디어 콘텐트가 방대해짐에 따라 사용자가 원하는 데이터를 선별하여 주는 자동화 시스템에 대한 요구가 발생하였으며, 이를 해결하기 위한 방안들에 대한 연구가 활발히 진행되고 있다. 특히, 디지털 기술이 발달함에 따라 비디오 콘텐트는 디지털 형태로 저장되어 유통되는 추세로 진행하고 있으며 디지털 방송이 대중화되면 이러한 미디어의 디지털화는 더욱 가속화 될 것이다.
이와 같은 디지털 비디오 콘텐트에 대하여 어떤 사용자는 뉴스에서 스포츠 관련 뉴스만을 시청하기를 원할 수 있으며, 또 다른 시청자는 뉴스에서 증권 관련 뉴스만을 원하는 경우가 있을 수 있다. 또한 어떤 사용자는 쇼 프로그램에서 특정 인물이 출연하는 장면만을 시청하기 위한 요구가 있을 수도 있다. 이러한 다양한 사용자의 요구를 수용하기 위하여 여러 가지 연구가 활발히 진행되고 있다.
또한 사용자는 제한된 시간 내에 비디오 콘텐트의 전체 내용을 파악하고자 하는 요구가 있다. 이러한 요구를 수용하는 것이 "하이라이트"이다. 일반적으로 하이라이트는 비디오 콘텐트에서 중요한 장면을 모아 새로 구성한 콘텐트로 이해될 수 있으며, 이는 "스포츠 하이라이트", "영화 예고편", "헤드라인 뉴스" 등을 통하여 접할 수 있다. 그러나, 비디오 콘텐트에서 하이라이트를 추출하는 것은 현재의 기술로 자동화되기 매우 어려운 영역이다. 따라서 대부분 사람의 수동 작업에 의존하는 것이 보통이다. 앞서 언급된 바와 같이 미디어의 양이 폭발적으로 증가함에 따라 모든 비디오 콘텐트에 대하여 하이라이트를 수동으로 제공하는 것은 많은 인력이 필요하게 되므로 거의 불가능하다. 따라서 사용자로 하여금 빠른 시간 내에 대강의 내용을 이해시킬 수 있는 자동화 시스템이 필요하다.
디지털 기술이 발달함에 따라 비디오 콘텐트에서 사용자가 원하는 위치로 이동하고자 할 때 사용하기 위한 용도로 키프레임(key frame)이 이용된다. 키프레임 을 이용한 비디오 요약을 이용하면 사용자는 원하는 곳으로 빨리 이동할 수 있는 장점이 있다. 그러나 키 프레임을 이용하여 사용자가 원하는 곳을 쉽게 찾기 위해서는 많은 수의 키 프레임이 필요하며, 제한된 디스플레이 공간에 많은 수의 키프레임을 디스플레이 하기 어려우므로 사용자에게 많은 선택 작업을 요구하게 되어 매우 불편하다. 또한 키프레임을 이용한 방법을 통해서는 일반적으로 전체 비디오의 내용을 이해하기 어려운 단점이 있다.
근래에는 디지털 비디오에서 원하는 장면을 찾기 위한 용도로 여러가지 비디오 인덱싱 기술이 연구되고 있다. 특정한 사람이 나온 장면만을 원하는 사용자를 위하여 비디오에서 사람이 나온 장면을 찾아내고 그 사람이 누구인지를 인식하는 과정을 통하여 비디오에서 인물의 등장에 대한 정보를 인덱싱 하거나, 영화나 스포츠 등에서 주요 장면을 추출하고 이를 인덱싱하는 등의 연구가 진행되고 있다. 그러나 비디오는 그 장르가 매우 다양하고 장르별로 인덱싱 되어야 할 데이터들이 매우 다르며, 현재의 기술로서는 사용자에게 의미 있는 정보를 높은 수준의 정확도를 가지고 추출할 수 있는 자동화 시스템의 구현은 매우 어려운 것으로 알려져 있다.
한편, 아날로그 비디오에서와는 달리 디지털 비디오에서는 빨리감기/빨리되감기 기능을 수행함에 있어서 화질의 저하를 막을 수 있다.
디지털 비디오에서 일반적으로 사용되는 고속 재생의 방법은 단위시간당 디코딩하는 프레임의 수를 늘려서 그 중의 일부분만을 디스플레이 하거나 일정 부분을 건너뛰며 프레임을 디코딩하여 디스플레이 하는 방법이 사용된다.
그러나 단위시간당 디코딩하는 프레임의 수를 늘리는 방법은 단말 장치의 성 능에 따라 최대 속도가 영향 받는 단점이 있으므로, 일반적으로 디지털 비디오의 빨리감기/빨리되감기에서는 일정 부분을 건너뛰며 프레임을 디코딩하여 디스플레이하는 방법을 이용한다. 디지털 비디오에서의 빨리감기/빨리 되감기 기술은 기존의 기술 중에서 제한된 시간 내에 전체의 내용을 파악하고자 하거나 원하는 위치로 이동하고자 하는 사용자의 요구에 대응하기 위한 가장 합리적인 대안이지만, 일정부분을 스킵함에 있어서 대부분 시간적으로 일정한 간격을 이용하므로 사용자는 자신이 원하는 부분의 장면을 놓친다거나, 중요하지 않은 부분이 상대적으로 많이 재생되는 단점이 있다.
한편, 종래에 비디오 탐색을 위한 동영상의 변속 재생 기법에서는 그 변속 속도가 변속진행중의 전구간에 걸쳐서 일정한 같은 속도로 고정되어 있다. 그러나 이러한 가변속 기술로는 빠르게(Fast) 또는 느리게(Slow) 재생을 수행할 경우에 시청자의 시각적 특성을 만족하지 못한다. 예를 들어 등속의 빠르게 재생의 경우 시간에 따른 화면의 변화가 심한 장면에서는 사용자가 그 장면을 인식하기 어려울 정도로 화면이 전환되어 진행되고, 화면의 변화가 느린 장면에서는 오히려 지루하게 진행되어 빠르게 디스플레이 되는 느낌을 갖지 못하게 된다.
또한, 느리게 재생의 경우에는 시간에 따른 화면의 변화가 심한 장면에서는 사용자가 그 장면을 느리게 인식하기를 원하였음에도 불구하고 빠르게 지나가는 경우가 많고, 반대로 화면의 변화가 느린 장면에서는 더욱 느리게 화면이 전환되므로지루한 느낌을 갖게된다.
그런데, 통상 빠르게 보기가 고속탐색을 목적으로 수행된다면 느리게 보기는 특정 장면을 보다 세밀하게 살펴보기 위한 목적으로 수행되므로, 실제로 사용자의 시각적인 관점에서 고려해볼 때, 장면의 변화가 심한 곳에서는 다소 느리게 장면이 전환되기를 기대할 것이고, 장면의 변화가 느린 곳에서는 다소 빠르게 장면이 전환되기를 기대할 것이다.
그러나, 고정 불변적인 변속재생(Fast/Slow)에서는 이러한 사용자의 요구에 부응할 수 없다. 따라서, 가변속 구간 내에서의 영상 변화율에 따라 가변속 정도를 적응적으로 달리하는 동영상의 적응적 속도 자동조절이 이루어진다면 위와같은 문제를 해결할 수 있다.
이러한 기술로서는, 컷(cut)을 검출하고 컷과 컷 사이의 프레임수와 인접 프레임간의 영상차를 이용해서 영상의 움직임 변화율에 따라서 재생속도를 그 빠르게 혹은 느리게 실행구간 내에서 달리함으로써, 영상의 동적 특성에 따라서 변속재생구간 내에서의 속도가 인간의 시각적인 특성에 적합하게 적응적으로 변하도록 한 동영상의 적응적 속도 자동조절 기술이 제안되고 있다.
예를 들면 화면의 복잡도에 따라 재생속도를 자동적으로 제어하는 시스템에 관한 개념이 제시되어 있다. 이 기법은 장면의 변화율 등에 의해 자동적으로 재생속도를 조절하는 디스플레이 시스템으로서 소개된 바 있다. 그러나 이 기술에서는 장면변화를 차영상으로 정의하였으며, 인접 프레임간의 영상차를 기반으로 하는 '화면 복잡도'를 근거로 한다.
따라서, 차영상으로 모션을 정의할 경우 모든 픽셀을 비교해야 하므로 처리 시간이 길어지는 제약이 있다. 또한, 차영상으로 화면 복잡도를 정의하는 경우 오 브젝트의 모션(움직임)이 동일하더라도 배경과 색차가 큰 오브젝트의 경우는 비록 그 움직임 적은 것임에도 불구하고 오히려 큰 것으로 계산되어 이 부분을 천천히 재생하게 될 것이므로 실제로 희망하는 재생속도에 이르지 못한다. 즉, 비디오의 이야기 전개에 있어서 실제적으로 비디오를 이해하기 위하여 의미있는 내용전개 중심의 재생속도 조절이라기 보다는 단지 화면 그 자체의 복잡도를 내용 복잡도를 반영한 것으로 보고 화면 복잡도를 차분 영상으로 구하고 있기 때문이다.
더구나, 비디오의 실질적인 내용 전개에서는 단지 전후 영상의 차이가 그 내용 전개의 의미를 충실하게 반영한다고 보기 어렵고, 단순한 영상차 이외에도 이야기 전개에 따라 실제로 그 내용 자체의 복잡도가 다르게 느껴질 수 있다는 점을 간과하고 있다. 즉, 예를 들어 드라마의 경우 등장인물들이 대화하는 장면은 지루하게 계속될 수 있지만 그 때에 카메라의 위치가 빈번하게 바뀐다면 전후 영상차가 커지기 때문에 이 부분은 화면이 복잡한 것으로 판단될 수 있고, 따라서 느리게 재생될 소지가 있다. 그러나, 실제로 등장인물들이 대화하는 장면이 상당시간 지루하게 계속된다고 해도 이 부분은 오히려 빠르게 재생되는 것이 더 좋을 수도 있다.
이러한 문제는 차영상만 가지고는 동영상의 장르와 용도, 내용에 따라 실제로 그 내용을 의미적으로 반영하는 '내용 복잡도'를 자동적으로 계산하여 판단하기가 어렵기 때문이다. 비디오의 실제 내용전개의 관점에서 볼 때 비디오의 '내용 복잡도'는 차영상 뿐만 아니라 모션정보나 샷정보, 등장인물의 얼굴정보(내용전개의 중심이 되는 특정 오브젝트 검출정보), 텍스트 정보, 오디오 정보 등이 종합적으로 고려될 때, 실제 사람이 느끼는 '내용 복잡도'를 반영한다고 볼 수 있기 때문이다.
지금까지 설명한 바와 같이, 멀티미디어 콘텐트가 방대해 짐에 따라 사용자가 원하는 데이터를 선별하여 주는 자동화 시스템에 대한 요구가 발생하였으며, 근래에는 PVR(Personal Video Recorder)이라는 새로운 개인용 비디오 기록 장치(녹화와 재생이 동시에 가능한 장치)의 개발로 인하여 이러한 요구가 매우 빈번하게 발생하였고, 기존에는 원하는 위치로 빠르게 이동하기 위하여 빨리보기 (Fast Forward)기능이 사용되었고, 자동 요약 시스템 구성을 위한 비디오 스키밍(Video Skimming) 기법이 도입되었다. 그러나 기존의 빨리보기 기능은 사용자가 원하는 지점으로 쉽게 이동할 수 없거나 사용 중에 너무 빠른 장면 전개(진행)로 인하여 사용자가 어지러움을 느끼는 경우가 발생하였으며, 비디오 스키밍 기능은 사용자가 원하는 위치로 이동하는 수단으로 사용되기보다는 자동 비디오 요약기능으로 사용되는 것이 더욱더 바람직하였다. 특히, 복잡한 비디오 분석 기능에 기반을 둔 트리구조 또는 1차원, 2차원의 키프레임을 이용한 비디오 네비게이션 기능은 복잡한 사용자 인터페이스를 요구하므로 전문적인 사용자가 아닌 일반 사용자가 TV환경에서 사용하기에는 어려움이 있으며, 인터페이스의 설계도 매우 복잡하다.
앞서 기술한 바와 같이 비디오 콘텐트 탐색의 요구는 단순한 브라우징 뿐만 아니라 자신이 보유한 콘텐트에 대한 편집 시에도 매우 빈번하게 사용된다. 즉, 사용자는 비디오 콘텐트에서 광고나 관심이 없는 부분을 배제하고 시청하기를 원하며, 자신이 원하는 부분들만 따로 편집하여 저장하고 싶어한다. 근래에는 PVR이라는 장치가 방송중인 스트림을 디지털 미디어에 녹화하고, 해당 콘텐트에 대해서 언제든지 다시보기를 요청할 수 있고 원하는 위치로의 랜덤 억세스나 아날로그 비디 오에서는 불가능했던 고배속 빨리보기 기능을 제공하고 있다.
따라서 기존의 비디오 탐색 기법이 갖는 제약과 문제점들을 효과적으로 극복하고, PVR과 같은 디지털 비디오 기록/재생장치에 포함될 수 있는 비디오 탐색 시스템이 요구되고 있다.
본 발명의 목적은 샷 세그멘테이션 정보를 이용하여 비디오 스트림을 빠른 시간 내에 탐색하여 사용자가 원하는 정확한 위치로 빠르게 이동할 수 있는 수단을 제공하기 위한 동적 탐색(Dynamic Search) 기능을 제공하는 비디오 콘텐트의 동적 탐색 방법 및 그 장치를 제공하는데 있다.
본 발명의 또 다른 목적은 비디오 콘텐트의 탐색 방법과 장치를 구현하기 위해서 샷/씬구조 모두가 필요하지 않도록 함으로써 인덱스 생성기의 구조 및 구현이 간단하며, 기존의 스키밍 시스템에 비하여 원하는 위치로의 이동이 간편하고 전체 스트림의 모든 구간을 재생함으로써 사용자가 원하는 위치를 놓치지 않는 장점이 있으며, 기존의 빨리보기(Fast Forward) 기능의 사용 시 재생 화면의 어지러움 현상과 원하는 위치로 정확히 이동할 수 없다는 단점을 해결할 수 있도록 한 비디오 콘텐트의 동적 탐색 방법과 그 장치를 제공하는데 있다.
본 발명의 또 다른 목적은 비디오 콘텐트에 대한 샷 정보라는 아주 간단한 인덱스를 기반으로 하여, 사용자가 콘텐트의 모든 부분을 시청하면서도 빠른 시간 안에 원하는 위치로 쉽게 이동할 수 있는 비디오 콘텐트의 동적 탐색 방법과 그 장치를 제공하는데 있다.
본 발명의 또 다른 목적은 비디오 콘텐트에 대한 샷 정보를 기반으로 하여 비디오의 정상재상과 빠른 재생을 자동으로 번갈아가며 수행할 수 있도록 한 디지털 비디오 기록/재생장치, 특히 개인용 비디오 기록장치(PVR)에 통합될 수 있는 디지털 비디오 기록/재생장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 비디오 콘텐트의 동적 탐색 방법은, 비디오 콘텐트의 샷 인덱스를 고려하여 정상 재생할 구간과 빠른 재생을 할 구간을 선정하는 단계, 상기 선정된 결과를 바탕으로 하여 현재 재생 위치로부터 해당 비디오 콘텐트를 상기 선정된 구간별로 정상 재생과 빠른 재생을 번갈아 가면서 연속하는 단계; 를 포함하여 이루어지는 것을 특징으로 한다.
또한 상기 본 발명의 비디오 콘텐트의 동적 탐색 방법은, 현재의 재생 위치와 샷 인덱스를 고려하여 다음에 정상 재생이 시작될 위치와 정상 재생될 길이를 선정하고, 이 선정된 위치까지 빠른 재생을 실행한 후 상기 선정된 정상 재생 위치가 되면 상기 선정된 정상 재생 길이(분량)만큼 정상 재생을 수행하고 다시 다음에 정상 재생이 시작될 위치와 정상 재생될 길이를 선정하는 상기 동작을 반복함으로써 정상 재생과 빠른 재생을 번갈아 연속 실행하는 것을 특징으로 한다.
또한 상기 본 발명의 비디오 콘텐트의 동적 탐색 방법은, 상기 정상 재생 구간에서는 오디오를 함께 정상 재생하는 것을 특징으로 한다.
또한 상기 본 발명의 비디오 콘텐트의 동적 탐색 방법에서 상기 샷 인덱스 정보는 비디오 콘텐트의 물리적 편집단위인 개별 샷에 대한 스트림 내에서의 구간 정보가 기술된 것임을 특징으로 한다.
또한 상기 본 발명의 비디오 콘텐트의 동적 탐색 방법에서, 상기 정상 재생에서 빠른 재생으로 변경하는 경우는 동적 탐색모드로 정상 재생 중에 사용자가 명시적으로 빠른 재생을 요구한 경우이거나, 사용자가 정상 재생 도중에 동적 탐색기능을 요구한 경우이거나, 동적 탐색 도중 일정 분량을 정상 재생한 후임을 특징으로 하는 한다.
또한 상기 본 발명의 비디오 콘텐트의 동적 탐색 방법에서, 상기 정상 재생에서 빠른 재생으로의 전환은 동적 탐색 도중에 일정 분량을 정상 재생한 후에 자동으로 이루어지고, 이 때 상기 정상 재생할 분량은 선택된 샷 전체임을 특징으로 한다.
또한 상기 본 발명의 비디오 콘텐트의 동적 탐색 방법에서, 상기 정상 재생에서 빠른 재생으로의 전환은 동적 탐색 도중 일정 분량을 정상 재생한 후에 자동으로 이루어지고, 이 때 상기 정상 재생할 분량은 샷의 길이와 관계없이 선택된 샷의 전반부에서 지정된 분량임을 특징으로 한다.
또한 상기 본 발명의 비디오 콘텐트의 동적 탐색 방법에서, 상기 빠른 재생에서 정상 재생으로 변경하는 경우는 동적 탐색의 빠른 재생 중에 사용자가 명시적으로 정상 재생을 요구한 경우이거나, 동적 탐색의 빠른 재생 중에 비디오 콘텐트의 재생위치가 소정의 기준을 근거로 하여 그 길이가 긴 샷의 시작 시점에 도달한 경우임을 특징으로 한다.
또한 상기 본 발명의 비디오 콘텐트의 동적 탐색 방법에서, 상기 빠른 재생 에서 정상 재생으로의 전환은 동적 탐색의 빠른 재생 도중에 자동으로 이루어지고, 이 때 상기 정상 재생이 시작되는 위치는 비디오 콘텐트의 재생 위치가 상기 선정된 정상 재생할 샷의 시작 위치이며, 정상 재생이 시작될 샷은 샷 인덱스에서 샷의 구간정보(시작위치, 종료위치)를 토대로 계산된 샷의 길이가 특정 임계치 이상인 샷으로 선정됨을 특징으로 한다.
또한 상기 본 발명의 비디오 콘텐트의 동적 탐색 방법에서, 상기 빠른 재생에서 정상 재생으로의 전환은 동적 탐색의 빠른 재생 도중에 자동으로 이루어지고, 이 때 정상 재생이 시작되는 위치는 비디오 콘텐트의 재생 위치가 상기 결정된 정상 재생할 샷의 시작 위치이며, 정상 재생이 시작될 샷은 샷 인덱스에서 샷의 구간정보(시작위치, 종료위치)를 토대로 계산된 샷의 길이를 주위의 샷의 길이의 평균값으로 나눈 값이 특정 임계치 이상인 샷으로 선정되는 것을 특징으로 한다.
또한 상기 본 발명의 비디오 콘텐트의 동적 탐색 방법에서, 상기 동적 탐색에서 정의된 일정 기간 이상 빠른 재생모드에서 재생되는 경우에는 자동으로 빠른 재생에서 정상 재생으로 비디오의 재생 모드를 변경하여 재생하는 것을 특징으로 한다.
또한 상기의 목적을 달성하기 위한 본 발명의 디지털 비디오 기록/재생장치는, 디지털 A/V 신호가 저장되는 미디어 저장부와, 상기 디지털 A/V 신호에 대한 샷 인덱스 정보가 저장되는 인덱스 저장부와, 상기 디지털 A/V 신호의 샷 인덱스를 생성하는 인덱스 생성기와, 상기 샷 인덱스 정보를 이용해서 정상재생과 빠른 재생할 구간을 선정하고 그 선정된 정보에 따라 상기 디지털 A/V신호의 정상재생과 빠 른 재생을 번갈아 가며 연속시키는 제어부와, 상기 재생된 비디오 콘텐트가 출력되는 출력장치를 포함하여 이루어지는 것을 특징으로 한다.
또한 상기 본 발명의 디지털 비디오 기록/재생장치에서, 상기 제어부는 녹화와 인덱스 생성, 재생과 동적 탐색 기능을 동시에 제공하기 위하여;
재생제어, 녹화제어, 비선형적 브라우징(NLVB) 제어, 인덱싱 제어 등에 관한 명령을 각각의 제어 모듈에 전달하기 위한 명령해석기와, 입력되는 A/V 소스를 미디어 저장부에 저장하는 녹화 제어부와, 인덱스 관리기를 통하여 인덱스 저장부와 통신하고, 재생 제어기의 제어에 의해 어떤 부분을 어떤 속도로 재생할 것인지를 결정하는 NLVB 제어기와, 빨리보기, 빨리되감기 등의 재생기능을 제공하기 위해 스트림의 저장정보를 재생 제어기에 전달하고, 저장된 샷 인덱스 정보를 NLVB 제어기에 제공하는 역할을 담당하는 인덱스 관리기와, 미디어 스트림을 출력장치로 보내고, 전체 미디어 재생의 제어를 담당하며, NLVB 모듈 또는 인덱스 관리기와의 통신을 이용하여 동적 탐색을 포함한 비선형적 비디오 브라우징 기능과, 빨리보기나 빨리되감기 등의 재생기능을 제공하는 재생제어기를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 상기한 바와 같이 이루어진 본 발명의 비디오 콘텐트의 동적 탐색 시스템을 실시예로 설명한다.
멀티미디어 콘텐트에 대한 분석 기법 중에서 비디오 인덱싱 기술은 오랜기간 연구되었고 그 중에서 샷 세그멘테이션(Shot Segmentation) 기술은 매우 높은 정확도를 가지고 비디오 콘텐트를 분석하는 기술로 알려져 있다. 샷 세그멘테이션 기술은 비디오 콘텐트를 물리적인 편집단위인 샷으로 분할하는 기법이며, 일반적으로 대부분의 샷 세그멘테이션 기술은 95% 이상의 높은 정확도를 보고하고 있다. 또한 이러한 샷 세그멘테이션 기술은 PVR에 통합될 수 있는데, 그 예로 녹화와 동시에 비디오 콘텐트에 대한 분석을 통해 샷 세그멘테이션 기술을 이용하여 샷 인덱스를 생성할 수 있다. 따라서, 본 발명에서는 사용자가 탐색이나 편집을 위해 이동하고자 하는 위치는 대부분 어떤 장면의 시작 부분이라는 가정하에 비디오 장르에 관계없이 적용될 수 있는 샷 세그멘테이션 정보를 이용하여, 어떤 부분은 고배속으로 재생하고, 어떤 부분은 정상 속도로 재생하여 오디오 정보도 함께 제공하는 시스템을 제공하는 것이다.
샷 세그멘테이션을 이용한 동적 탐색 기능 각각의 구간에 대한 속도 설정은 여러가지 변형이 있을 수 있으나, 기본적으로는 긴 샷의 시작부분은 정상 재생되고, 짧은 샷 구간들은 빠른 속도로 재생된다. 또한 동적 탐색 기능은 이러한 빠른 재생과 정상 재생이 반복적으로 수행됨을 특징으로 한다. 이러한 재생 방식을 이용하여, 기존의 빨리 보기 기능에서 원하는 정확한 위치로 이동하기 어려웠던 단점을 보완하고, 사용자가 원하는 장면이 빠른 재생구간에 있는 경우 스키밍에서는 그러한 장면이 지나갔음을 인지 할 수 없었던 단점을 보완하여, 사용자가 원하는 정확한 위치로 빠르게 이동할 수 있는 수단을 제공한다. 또한 본 발명의 동적 탐색기능은 클라이언트-서버 환경에서 동작이 가능하며, 독립적인 시스템에서 작동이 가능하며 특히 PVR에서 동작이 가능하다.
도1은 샷 인덱스 구조의 예를 보여주고 있다. 샷 인덱스는 샷 정보의 리스트로 구성되며 개별 샷 정보는 최소 샷의 구간 정보를 포함한다. 샷의 구간 정보는 해당 콘텐트에서 해당 샷의 시작위치와 종료 위치로 구성된다. 개별 샷 정보는 최소 구간정보(시작위치, 종료위치)를 포함한다. 개별 샷 정보에는 다른 부가정보(대표 프레임 정보, 평균 모션(motion)량 정보 등)가 포함될 수 있으며 지속시간이나 길이정보는 종료위치-시작위치로 계산되어질 수 있다.
도2는 본 발명의 동적 탐색 기능의 한가지 예를 도식화 한 것이다. 동적 탐색 기능은 사용자가 해당 기능을 요구하면 자동으로 빠른 재생과 정상 재생을 반복적으로 수행한다. 사용자가 비디오 브라우징 도중에 동적 탐색을 요구하면 일단 비디오 재생 모드를 빠른 재생 모드로 전환하여 비디오를 빠르게 재생한다. 그러다가 어떤 시점이 되면 재생 모드를 정상 재생 모드로 자동으로 전환하여 일정 시간동안 비디오를 정상 재생하고 다시 자동으로 빠른 재생으로 전환하는 것을 특징으로 한다. 물론 이 때 정상 재생에서 오디오는 비디오와 함께 재생된다. 여기에서 비디오를 빠른 재생에서 정상 재생으로, 정상 재생에서 빠른 재생으로 자동으로 변경하는 데에는 다음과 같은 규칙을 토대로 한다.
먼저, 정상재생에서 빠른 재생으로 변경하는 경우는 첫번째 동적 탐색의 정상 재생 중에 사용자가 명시적으로 빠른 재생을 요구한 경우, 두번째 사용자가 정상 재생 도중 동적 탐색기능을 요구한 경우, 세번째 동적 탐색 도중 일정 분량을 정상 재생한 후로 정한다.
그리고 빠른 재생에서 정상 재생으로 변경하는 경우는 첫번째 동적 탐색의 빠른 재생중에 사용자가 명시적으로 정상 재생을 요구한 경우, 두번째 동적 탐색의 빠른 재생중에 미디어의 재생위치가 일정 기준에 의해 길이가 긴 샷의 시작 시점에 도달한 경우, 세번째 동적 탐색에서 정의된 일정 기간 이상 빠른 재생모드에서 재생되는 경우(선택 사항)로 정한다.
상기 정상 재생에서 빠른 재생으로 변경하는 경우의 <동적 탐색의 정상 재생 중에 사용자가 명시적으로 빠른 재생을 요구한 경우>와 빠른 재생에서 정상 재생으로 변경하는 경우의 <동적 탐색의 빠른 재생 중에 사용자가 명시적으로 정상 재생을 요구한 경우>는 사용자가 명시적으로 비디오의 재생 방법을 변경하는 요구에 대한 반응이므로 당연한 재생 모드 전환이다.
앞서 설명한 바와 마찬가지로 일단 동적 탐색 기능이 요구되면 비디오 재생은 빠른 재생을 먼저 시작하게 되므로 <사용자가 정상 재생 도중 동적 탐색기능을 요구한 경우>에는 비디오 재생 모드를 빠른 재생으로 전환하게 된다. 또한 동적 탐색은 빠른 재생과 정상 재생을 자동으로 변경하며 비디오를 재생하므로 동적 탐색 모드에서 <일정 분량을 정상 재생한 후>에는 빠른 재생 모드로 재생 모드를 변경한다.
일반적으로 사용자는 광고를 스킵하고 콘텐트의 시작 부분부터 정상 재생을 요구하거나 해당 위치로부터 편집을 시작하기를 원하고, 뉴스 비디오에서는 기자가 취재해온 짧은 장면들을 스킵하고 많은 정보를 전달하는 앵커 장면이나, 도표 설명 장면, 인터뷰 장면의 처음 위치부터 재생을 재개하거나 편집의 첫 위치로 원한다.
그러므로 이러한 가정 하에 본 발명의 동적 탐색 기능은 대부분의 콘텐트의 시작위치의 샷이나, 뉴스에서의 앵커 장면, 도표 설명 장면, 인터뷰 장면 등이 광고 장면이나, 리포터 취재 장면 등에 비해 그 길이가 길다는 특성을 이용하여 빠른 재생도중 비디오의 현재 재생위치와 샷 인덱스 정보를 동시에 이용하여 비디오의 재생위치가 상대적으로 긴 샷의 첫 부분에 도달하면 동적탐색 도중 빠른 재생모드에서 정상 재생 모드로 자동 전환하고, 사용자가 해당 위치에서 일시정지를 요구하거나 해당 위치부터 정상 재생을 요구하여 사용자가 원하는 시점부터의 재생이나 원하는 시점에서의 일시 정지를 가능하게 하여 원하는 위치로의 정확한 이동과 비디오의 재생뿐만 아니라 편집에도 유용하게 사용될 수 있도록 한다.
여기서 샷의 길이는 샷 인덱스의 구간정보로부터 얻어지며, 긴 샷인지 짧은 샷인지 판단하는 기준은 특정 임계치보다 샷의 길이가 긴지 또는 짧은지로 판단할 수 있으며, 주위의 샷의 평균값보다 얼마나 큰지 그렇지 않은지를 기준으로 설정될 수도 있다.
빠른 재생에서 정상 재생으로 변경하는 경우의 세번째인 <정의된 일정 기간 이상 빠른 재생모드에서 재생되는 경우>는 동적 탐색에서 이용될 수도 있고 이용되지 않을 수도 있다. 이러한 전환은 짧은 세그먼트가 비정상적으로 오랜 기간 지속되는 경우 샷 인덱스가 잘못 생성되었을 수 있다는 가정하에 적용되는 것으로 여기에서 사용되는 일정기간은 5분이나 10분으로 설정될 수 있는데 이렇게 하면 빠른 재생 구간이 5분이나 10분을 넘을 수 없다는 것을 보장하게 된다. 또한, 이 일정기간에 해당하는 값을 무한대로 하면 위의 조건을 생략하는 것이 된다.
정상재생에서 빠른 재생으로 변경하는 경우의 세번째에 명시된 <일정 분량을 정상 재생한 후>에서 일정 분량은 2가지로 해석될 수 있다. 첫번째는 해당 샷의 전체를 정상 재생하고 나서 빠른 재생으로 자동 전환하는 방법을 이용하는 것이며, 두번째는 해당 샷의 길이와 상관없이 고정된 분량(예 : 4초)만을 정상 재생한 후 빠른 재생으로 전환하는 방법이다.
즉, 정상 재생될 샷의 길이가 20초 분량인 경우 첫번째 방법은 20초를 정상 재생하게되고, 두번째 방법은 4초를 정상 재생한 후 해당 샷의 나머지 16초는 빠른 재생 모드로 재생하게 된다. 첫번째 방법은 사용자가 정상 재생되는 샷의 내용을 충분히 이해할 수 있도록 하는 방법이며, 두번째 방법은 해당 정상 재생되는 샷이 실제 사용자가 원하는 샷이 아닐 수도 있으므로 일정 시간 정상 재생 시간도중에 원하는 장면인지 아닌지를 판단하여 원하는 장면일 경우 다른 요구를 시스템에 하고 아무런 요구도 하지 않으면 다음의 탐색을 위해 자동으로 빠른 재생 모드로 전환되는 방법이다.
이와 같이 동적 탐색기능은 크게 세가지 단계로 구현되며, 그 단계별로 요약하면 다음과 같다.
동적 탐색 기능은 사용자의 비디오 동적 탐색 요구를 입력으로 하여,
제1단계: 현재의 재생위치와 샷 인덱스를 고려하여, 다음에 정상 재생이 시작될 위치와 정상 재생될 길이를 선정하고,
제2단계: 현재 위치로부터 정상 재생이 시작될 위치까지 지정된 빠른 속도로 비디오를 재생한 후,
제3단계: 정상 재생될 위치와 비디오의 재생위치가 일치하는 경우에 비디오의 재생 모드를 정상 모드로 전환하여 오디오와 비디오가 동시에 재생되는 정상속도로 제1단계에서 지정된 일정 분량을 재생한 후, 제1단계로 분기하는 것이다.
이렇게 함으로써 비디오의 현재 재생 위치와 샷 인덱스를 고려하여 정상 재생될 구간과 빠른 재생을 이용하여 재생될 구간을 결정하고 사용자의 별다른 입력 없이 정상 재생과 빠른 재생을 번갈아 수행한다.
상기 샷 인덱스 정보는 비디오 콘텐트의 물리적 편집단위인 개별 샷에 대한 스트림 내에서의 구간 정보가 기술된 것이며, 정상재생에서 빠른 재생으로 변경하는 경우는 동적 탐색모드로 정상 재생 중에 사용자가 명시적으로 빠른 재생을 요구한 경우이거나, 사용자가 정상 재생 도중 동적 탐색기능을 요구한 경우이거나, 동적 탐색 도중 일정 분량을 정상 재생한 후이다. 또한 상기 동적 탐색 도중 일정 분량을 정상 재생한 후 빠른 재생으로 자동 전환함에 있어서 정상 재생할 분량은 선택된 샷 전체일 수도 있으며, 샷의 길이와 관계없이 선택된 샷의 전반부에서 지정된 분량만큼일 수 있다.
또한, 빠른 재생에서 정상 재생으로 변경하는 경우는 동적 탐색의 빠른 재생중에 사용자가 명시적으로 정상 재생을 요구한 경우이거나, 동적 탐색의 빠른 재생중에 미디어의 재생위치가 일정 기준에 의해 길이가 긴 샷의 시작 시점에 도달한 경우이다.
동적 탐색의 빠른 재생도중 정상 재생으로 자동 전환함에 있어서 정상 재생이 시작되는 위치는 미디어의 재생 위치가 [제1단계]에서 결정된 정상 재생할 샷의 시작 위치이며, 정상 재생이 시작될 샷은 샷 인덱스에서 샷의 구간정보(시작위치, 종료위치)를 토대로 계산된 샷의 길이가 특정 임계치 이상인 샷으로 선정된다. 또한 적응적인(Adaptive) 동적 탐색을 위하여 샷의 길이를 주위의 샷의 길이의 평균 값으로 나눈 값이 특정 임계치 이상인 샷도 빠른 재생도중 정상 재생으로 자동 전환하는 샷으로 선정될 수 있다.
또한 지나치게 오랜시간 동안 빠른 재생이 수행되어 사용자의 어지러움 현상을 초래하는 것을 막기 위하여 동적 탐색에서 정의된 일정 기간 이상 빠른 재생모드에서 재생되는 경우에는 자동으로 빠른 재생에서 정상 재생으로 비디오의 재생 모드를 변경하는 방법도 추가될 수 있다.
도3은 지금까지 설명한 본 발명의 재생 모드간 전환을 요약한 것이다. 장치에서 제공하는 기능이 여러 가지 존재 가능하므로, 본 발명에서는 본 발명과 관련된 최소한의 재생 모드간 전환만을 설명한다. S30은 사용자 입력 스테이지이고, S31은 정상 재생 스테이지이고, S32는 빠른 재생 스테이지이며, S33은 일시 재생 스테이지이다. S31에서 S32로의 전환은 동적 탐색 모드에서 일정 분량을 정상 재생한 후가 될 것이고, S32에서 S31로의 전환은 동작 탐색의 빠른 재생중에 미디어의 재생 위치가 일정한 기준에 의해 길이가 긴 샷의 시작 시점에 도달한 경우이거나, 동적 탐색에서 정의된 일정 기간 이상 빠른 재생 모드에서 재생되는 경우가 될 것이다.
도3에 나타낸 바와 같이 사용자가 동적 탐색을 요구하면 비디오 재생은 빠른 재생모드로 전환된다. 시스템은 샷 인덱스 정보와 미디어 재생의 현재위치를 고려하여 자동으로 정상 재생으로 재생 모드를 전환하고 정상 재생중에 샷 인덱스 정보와, 미디어의 현재 위치, 그리고 정상 재생 구간의 길이 등을 종합적으로 고려하여 다시 빠른 재생 모드로 전환하며, 이러한 동작을 별다른 사용자의 입력 요구가 있 을 때까지 계속하여 반복한다.
도4는 본 발명의 비디오 콘텐트 동적 탐색 기능을 제공하는 시스템 구성을 나타낸 도면으로서 PVR 시스템에 통합된 실시예이다.
도4에 나타낸 바와 같이 본 발명에 따른 PVR 시스템은 디지털 A/V 신호가 입력되는 소스인 신호입력부(1)와, 사용자의 명령을 시스템에 전달하기 위한 입력장치(2)와, 디지털 A/V 신호를 출력하기 위한 출력장치(3)와, 신호 입력부를 통하여 입력된 A/V 스트림, 녹화되는 스트림을 저장하기 위한 미디어 저장부(4)와, 미디어 스트림을 출력장치로 보내고, 전체 미디어 재생의 제어를 담당하며, 경우에 따라서는 NLVB 모듈 또는 인덱스 관리기와의 통신을 이용하여 동적 탐색을 포함한 비선형적 비디오 브라우징 기능과, 빨리보기나 빨리되감기 등의 재생기능을 제공하는 재생제어기(5)와, 빨리보기, 빨리되감기 등의 재생기능을 제공하기 위해 스트림의 저장정보를 재생 제어기에 전달하고, 저장된 샷 인덱스 정보를 NLVB 제어기에 제공하는 역할을 담당하는 인덱스 관리기(6)와, 인덱스 관리기를 통하여 인덱스 저장부와 통신하고, 재생 제어기의 제어에 의해 어떤 부분을 어떤 속도로 재생할 것인지를 결정하는 NLVB(Non Linear Video Browsing) 제어기(7)와, 재생제어/녹화제어/비선형적 브라우징 제어/인덱싱 제어 등에 관한 명령을 각각의 제어 모듈에 전달하기 위한 명령해석기(8)와, 신호 입력부에 의해 입력되는 A/V 소스를 미디어 저장부에 저장하는 녹화 제어부(9)와, 녹화 제어부에 의해 미디어 저장부에 저장되는 스트림의 정보에 대한 샷 인덱스를 추출하는 인덱스 생성기(10)와, 생성된 샷 인덱스 정보가 저장되는 인덱스 저장부(11)를 포함하고 있다.
도4의 PVR 시스테은 본 발명의 빠른 스키밍 기능을 제공하기 위한 녹화/인덱싱/시청/비선형적 브라우징이 동시에 가능한 시스템이다.
비선형적 비디오 브라우징(NLVB)에는 동적 탐색 기능이 포함되며, 경우에 따라 스키밍 기능이 포함될 수 있다. 기본적인 PVR기능인 녹화/시청이 가능하게 하기 위하여, 신호입력부, 재생제어기, 녹화제어기, 인덱스 저장기, 인덱스 관리기, 미디어 저장부, 인덱스 저장부, 명령해석기, 입력장치, 출력장치가 기본적으로 필요하며, 본 발명의 동적 탐색기능을 제공하기 위하여 인덱스 생성기, 인덱스 관리기, 인덱스 저장부는 기존의 PVR과 다른 부가적인 정보를 다룰 수 있는 모듈로 변경되며, NLVB(비선형적 비디오 브라우징)제어기가 구현되었다.
도4에서 신호입력부(1)는 디지털 A/V 신호가 입력되는 소스이며, 출력장치(3)는 디지털 A/V 신호를 출력하기 위한 모니터/스피커 등의 장치를 의미한다.
미디어 저장부(4)는 신호 입력부를 통하여 입력된 A/V 스트림을 저장하기 위한 장치이며, 입력장치(2)는 사용자의 명령을 시스템에 전달하기 위한 키보드/리모컨 등의 장치를 의미한다. 명령 해석기(8)는 재생제어/녹화제어/비선형적 브라우징 제어/인덱싱 제어 등에 관한 명령을 각각의 제어 모듈에 전달하기 위한 장치이다.
인덱스 생성기(10)는 녹화 제어부(9)에 의해 미디어 저장부(4)에 저장되는 스트림의 정보를 인덱스 저장부(11)에 저장하고, 신호 입력부(1)를 통하여 입력된 A/V 스트림으로부터 자동 비디오 인덱싱 알고리즘을 이용하여 인덱스 정보를 생성하고 이를 인덱스 저장부(11)에 저장하거나 경우에 따라 신호 입력부(1)를 통하여 입력된 샷 인덱스 정보가 있는 경우 이를 인덱스 저장부(11)에 저장하는 역할을 담당한다.
따라서 인덱스 저장부(11)에는 스트림의 저장 정보와, 샷 인덱스 정보가 저장된다. 인덱스 관리기(6)는 빨리보기, 빨리되감기 등의 트릭 플레이(Trick Paly)를 제공하기 위해 스트림의 저장정보를 재생 제어기(5)에 전달하고, 저장된 샷 인덱스 정보를 NLVB 제어기(7)에 제공하는 역할을 담당한다.
녹화 제어부(9)는 녹화되는 스트림의 정보를 인덱스 생성기(10)에 제공하고, 입력된 A/V 스트림을 미디어 저장부(4)에 저장하는 역할을 담당하며, 재생제어기(5)는 미디어 스트림을 출력장치(3)로 보내고, 전체 미디어 재생의 제어를 담당하며, 경우에 따라서는 NLVB 모듈 또는 인덱스 관리기와의 통신을 이용하여 비선형적 비디오 브라우징 기능과, 트릭 플레이(Trick Paly)를 제공한다.
NLVB 제어기(7)는 인덱스 관리기(6)를 통하여 인덱스 저장부(11)와 통신하고, 재생 제어기(5)의 제어에 의해 어떤 부분을 어떤 속도로 재생할 것인지를 결정하는 모듈이다.
동적 탐색 기능과 관련된 시스템의 작동을 설명하면 다음과 같다.
입력장치(2)를 통하여 사용자로부터 동적탐색 요구가 입력되면, 명령 해석기(8)는 동적 탐색 기능 요구인지를 판단하여 이 정보를 재생 제어기(5)에 알린다. 재생 제어기(5)는 동적탐색 요구에 따라 재생할 세그먼트 정보와 재생 모드에 관한 정보를 얻기 위해 NLVB 제어기(7)와 통신하고, NLVB 제어기(7)는 인덱스 관리기(6)를 통하여 입력된 샷 인덱스 정보와, 재생 제어기(5)가 전달한 스트림의 현재 재생위치를 기반으로 하여, 어떤 구간을 어떤 속도로 재생할 것인지를 결정하고 이 결과를 재생 제어기(5)에 전달하면 재생 제어기(5)는 미디어 저장부(4)에서 해당 스트림의 해당 부분을 지정된 방식에 따라 재생하도록 한다. NLVB 제어기(7)는 미디어의 현재위치를 지속적으로 탐색하여 빠른 재생과 정상 재생을 번갈아 수행한다.
본 발명의 동적 탐색 기능을 이용하면, 기존의 빠른 재생(Fast Forward)에 비해 사용자의 어지러움 호소를 최소화 할 수 있으며, 비슷한 시간 내에 원하는 정확한 위치로의 탐색이 가능하다.
또한 기존의 스키밍 방식은 요약 정보를 제공하고 불필요하다고 판단되는 부분을 스킵하는 방식에 비해 본 발명의 동적 탐색기능은 모든 구간을 재생하기 때문에 잘못된 샷 인덱스에 의한 잘못된 스킵이나, 잘못된 판단에 의한 스키밍 시스템에 의한 주요 세그먼트 스킵을 방지할 수 있으므로 탐색에 매우 유리하다.
일반적인 빠른 재생과, 스키밍은 각각 고유의 유용성이 존재하므로, 하나의 시스템에서 위의 기본기능과 함께 본 발명의 동적 탐색 기능을 동시에 제공하면, 매우 유용한 시스템을 구축할 수 있다. 또한 본 발명의 동적 탐색 기능은 샷 세그멘테이션 정보만을 부가적인 입력으로 취급하므로 기존의 PVR시스템에 인덱싱 모듈과 동적 탐색 제어 모듈의 추가만으로 쉽게 구현될 수 있으며, 기존에 스키밍을 위한 샷 인덱스 발생기가 시스템에 내장된 경우에는 동적 탐색 제어 모듈만 추가함으로써 기능을 제공할 수 있다.

Claims (13)

  1. 비디오 콘텐트의 현재의 재생 위치와 샷 인덱스를 고려하여 다음에 정상 재생이 시작될 위치와 정상 재생될 길이를 선정하여 정상 재생구간과 빠른 재생구간을 선정하는 단계; 상기 선정된 결과를 바탕으로 하여 현재 재생 위치로부터 상기의 선정된 정상 재생 위치까지 빠른 재생을 실행하는 단계; 상기 선정된 정상 재생 위치가 되면 상기 선정된 정상 재생 길이 만큼 정상 재생을 수행하고 다시 다음에 정상 재생이 시작될 위치와 정상 재생될 길이를 선정하는 단계;를 반복함으로써 정상 재생과 빠른 재생을 번갈아 연속 실행하는 것을 특징으로 하는 비디오 콘텐트의 동적 탐색 방법.
  2. <삭제>
  3. 제 1 항에 있어서, 상기 정상 재생 구간에서는 오디오를 함께 정상 재생하는 것을 특징으로 하는 비디오 콘텐트의 동적 탐색 방법.
  4. 제 1 항에 있어서, 상기 샷 인덱스 정보는 비디오 콘텐트의 물리적 편집단위인 개별 샷에 대한 스트림 내에서의 구간 정보가 기술된 것임을 특징으로 하는 비 디오 콘텐트의 동적 탐색 방법.
  5. 제 1 항에 있어서, 상기 정상 재생에서 빠른 재생으로 변경하는 경우는 동적 탐색모드로 정상 재생 중에 사용자가 명시적으로 빠른 재생을 요구한 경우이거나, 사용자가 정상 재생 도중에 동적 탐색기능을 요구한 경우이거나, 동적 탐색 도중 일정 분량을 정상 재생한 후임을 특징으로 하는 비디오 콘텐트의 동적 탐색 방법.
  6. 제 1 항에 있어서, 상기 정상 재생에서 빠른 재생으로의 전환은 동적 탐색 도중에 일정 분량을 정상 재생한 후에 자동으로 이루어지고, 이 때 상기 정상 재생할 분량은 선택된 샷 전체임을 특징으로 하는 비디오 콘텐트의 동적 탐색 방법.
  7. 제 1 항에 있어서, 상기 정상 재생에서 빠른 재생으로의 전환은 동적 탐색 도중 일정 분량을 정상 재생한 후에 자동으로 이루어지고, 이 때 상기 정상 재생할 분량은 샷의 길이와 관계없이 선택된 샷의 전반부에서 지정된 분량임을 특징으로 하는 비디오 콘텐트의 동적 탐색 방법.
  8. 제 1 항에 있어서, 상기 빠른 재생에서 정상 재생으로 변경하는 경우는 동적 탐색의 빠른 재생 중에 사용자가 명시적으로 정상 재생을 요구한 경우이거나, 동적 탐색의 빠른 재생 중에 비디오 콘텐트의 재생위치가 소정의 기준을 근거로 하여 그 길이가 긴 샷의 시작 시점에 도달한 경우임을 특징으로 하는 비디오 콘텐트의 동적 탐색 방법.
  9. 제 1 항에 있어서, 상기 빠른 재생에서 정상 재생으로의 전환은 동적 탐색의 빠른 재생 도중에 자동으로 이루어지고, 이 때 상기 정상 재생이 시작되는 위치는 비디오 콘텐트의 재생 위치가 상기 선정된 정상 재생할 샷의 시작 위치이며, 정상 재생이 시작될 샷은 샷 인덱스에서 샷의 구간정보(시작위치, 종료위치)를 토대로 계산된 샷의 길이가 특정 임계치 이상인 샷으로 선정됨을 특징으로 하는 비디오 콘텐트의 동적 탐색 방법.
  10. 제 1 항에 있어서, 상기 빠른 재생에서 정상 재생으로의 전환은 동적 탐색의 빠른 재생 도중에 자동으로 이루어지고, 이 때 정상 재생이 시작되는 위치는 비디오 콘텐트의 재생 위치가 상기 결정된 정상 재생할 샷의 시작 위치이며, 정상 재생이 시작될 샷은 샷 인덱스에서 샷의 구간정보(시작위치, 종료위치)를 토대로 계산된 샷의 길이를 주위의 샷의 길이의 평균값으로 나눈 값이 특정 임계치 이상인 샷으로 선정되는 것을 특징으로 하는 비디오 콘텐트의 동적 탐색 방법.
  11. 제 1 항에 있어서, 상기 동적 탐색에서 정의된 일정 기간 이상 빠른 재생모드에서 재생되는 경우에는 자동으로 빠른 재생에서 정상 재생으로 비디오의 재생 모드를 변경하여 재생하는 것을 특징으로 하는 비디오 콘텐트의 동적 탐색 방법.
  12. 디지털 A/V 신호가 저장되는 미디어 저장부와, 상기 디지털 A/V 신호에 대한 샷 인덱스 정보가 저장되는 인덱스 저장부와, 상기 디지털 A/V 신호의 샷 인덱스를 생성하는 인덱스 생성기와, 상기 샷 인덱스 정보를 이용해서 정상재생과 빠른 재생할 구간을 선정하고 그 선정된 정보에 따라 상기 디지털 A/V신호의 정상재생과 빠른 재생을 번갈아 가며 연속시키는 제어부와, 상기 재생된 비디오 콘텐트가 출력되는 출력장치를 포함하여 이루어지는 것을 특징으로 하는 디지털 비디오 기록/재생장치.
  13. 제 12 항에 있어서, 상기 제어부는 녹화와 인덱스 생성, 재생과 동적 탐색 기능을 동시에 제공하기 위하여; 재생제어, 녹화제어, 비선형적 브라우징(NLVB) 제어, 인덱싱 제어 등에 관한 명령을 각각의 제어 모듈에 전달하기 위한 명령해석기와, 입력되는 A/V 소스를 미디어 저장부에 저장하는 녹화 제어부와, 인덱스 관리기를 통하여 인덱스 저장부와 통신하고, 재생 제어기의 제어에 의해 어떤 부분을 어떤 속도로 재생할 것인지를 결정하는 NLVB 제어기와, 빨리보기, 빨리되감기 등의 재생기능을 제공하기 위해 스트림의 저장정보를 재생 제어기에 전달하고, 저장된 샷 인덱스 정보를 NLVB 제어기에 제공하는 역할을 담당하는 인덱스 관리기와, 미디어 스트림을 출력장치로 보내고, 전체 미디어 재생의 제어를 담당하며, NLVB 모듈 또는 인덱스 관리기와의 통신을 이용하여 동적 탐색을 포함한 비선형적 비디오 브라우징 기능과, 빨리보기나 빨리되감기 등의 재생기능을 제공하는 재생제어기를 포함하는 것을 특징으로 하는 디지털 비디오 기록/재생 장치.
KR1020020084780A 2002-12-27 2002-12-27 비디오 콘텐트의 동적 탐색 방법 및 장치 KR100555426B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020020084780A KR100555426B1 (ko) 2002-12-27 2002-12-27 비디오 콘텐트의 동적 탐색 방법 및 장치
US10/540,426 US20060041908A1 (en) 2002-12-27 2003-12-26 Method and apparatus for dynamic search of video contents
CNB2003801077119A CN100518281C (zh) 2002-12-27 2003-12-26 视频内容动态搜索的方法和装置
PCT/KR2003/002845 WO2004059971A1 (en) 2002-12-27 2003-12-26 Method and apparatus for dynamic search of video contents
AU2003289532A AU2003289532A1 (en) 2002-12-27 2003-12-26 Method and apparatus for dynamic search of video contents
EP03779019A EP1579687A4 (en) 2002-12-27 2003-12-26 METHOD AND DEVICE FOR DYNAMIC RESEARCH OF VIDEO CONTENT

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020020084780A KR100555426B1 (ko) 2002-12-27 2002-12-27 비디오 콘텐트의 동적 탐색 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20040058511A KR20040058511A (ko) 2004-07-05
KR100555426B1 true KR100555426B1 (ko) 2006-02-24

Family

ID=32677793

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020084780A KR100555426B1 (ko) 2002-12-27 2002-12-27 비디오 콘텐트의 동적 탐색 방법 및 장치

Country Status (6)

Country Link
US (1) US20060041908A1 (ko)
EP (1) EP1579687A4 (ko)
KR (1) KR100555426B1 (ko)
CN (1) CN100518281C (ko)
AU (1) AU2003289532A1 (ko)
WO (1) WO2004059971A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060029161A (ko) 2003-06-30 2006-04-04 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 트릭 모드 분야에서 사용하는 방법, 플레이어, 리코더,신호 및 리코드 캐리어
US7904815B2 (en) * 2003-06-30 2011-03-08 Microsoft Corporation Content-based dynamic photo-to-video methods and apparatuses
US20070101264A1 (en) * 2005-11-01 2007-05-03 Microsoft Corporation Position-and length-sensitive video timeline behavior
EP1806919A1 (en) * 2006-01-05 2007-07-11 Alcatel Lucent Media delivery system with content-based trick play mode
CN101686343B (zh) * 2008-09-28 2012-10-10 康佳集团股份有限公司 假台自动清除方法
WO2010122617A1 (ja) * 2009-04-24 2010-10-28 パナソニック株式会社 番組間重複部分検出方法とそれを搭載する映像音声記録装置
MY160803A (en) 2010-03-31 2017-03-31 Thomson Licensing Trick playback of video data
KR101681176B1 (ko) 2010-09-17 2016-11-30 톰슨 라이센싱 비디오 시스템에서 의미 기반 트릭 모드 플레이를 위한 방법
JP2012185899A (ja) * 2011-02-15 2012-09-27 Jvc Kenwood Corp 再生装置、再生方法、及び、プログラム
KR101901232B1 (ko) * 2011-12-01 2018-09-27 삼성전자 주식회사 컨텐츠를 분할하여 표시하는 방법 및 장치
KR101869905B1 (ko) * 2012-03-12 2018-06-21 한화에어로스페이스 주식회사 영상 재생 방법 및 장치
CN104519294B (zh) * 2013-09-27 2018-02-09 杭州海康威视数字技术股份有限公司 基于移动信息的视频录像智能回放方法及其装置
CN104702897B (zh) * 2013-12-10 2018-05-15 明泰科技股份有限公司 网络视频录影的快速历史回放及事件锁定的方法
CN104065982B (zh) * 2014-06-19 2015-12-30 腾讯科技(深圳)有限公司 流媒体直播的方法和装置
CN104506947B (zh) * 2014-12-24 2017-09-05 福州大学 一种基于语义内容的视频快进/快退速度自适应调整方法
US10686984B1 (en) 2015-02-13 2020-06-16 Waylens, Inc. Connected camera system
CN111246303B (zh) * 2020-01-17 2022-03-01 北京达佳互联信息技术有限公司 视频播放方法、装置、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5333091B2 (en) * 1993-01-08 1996-12-17 Arthur D Little Enterprises Method and apparatus for controlling a videotape player to automatically scan past recorded commercial messages
US5999689A (en) * 1996-11-01 1999-12-07 Iggulden; Jerry Method and apparatus for controlling a videotape recorder in real-time to automatically identify and selectively skip segments of a television broadcast signal during recording of the television signal
US7269330B1 (en) * 1996-11-01 2007-09-11 Televentions, Llc Method and apparatus for controlling a video recorder/player to selectively alter a video signal
US6588015B1 (en) * 1998-01-14 2003-07-01 General Instrument Corporation Broadcast interactive digital radio
KR100584280B1 (ko) * 2000-03-13 2006-05-26 엘지전자 주식회사 멀티미디어 컨텐트의 재생 제어 방법 및 시스템
KR100370249B1 (ko) * 2000-08-19 2003-01-29 엘지전자 주식회사 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템
KR20020023063A (ko) * 2000-09-22 2002-03-28 구자홍 비디오 콘텐트의 구조적 정보를 이용한 비디오 스키밍방법과 장치
KR100403238B1 (ko) * 2000-09-30 2003-10-30 엘지전자 주식회사 비디오의 지능형 빨리 보기 시스템
KR100422699B1 (ko) * 2001-05-22 2004-03-12 엘지전자 주식회사 비디오 콘텐트의 재생 제어방법과 장치

Also Published As

Publication number Publication date
US20060041908A1 (en) 2006-02-23
WO2004059971A1 (en) 2004-07-15
EP1579687A1 (en) 2005-09-28
EP1579687A4 (en) 2010-10-27
KR20040058511A (ko) 2004-07-05
CN100518281C (zh) 2009-07-22
AU2003289532A1 (en) 2004-07-22
CN1732685A (zh) 2006-02-08

Similar Documents

Publication Publication Date Title
KR100555426B1 (ko) 비디오 콘텐트의 동적 탐색 방법 및 장치
KR100403238B1 (ko) 비디오의 지능형 빨리 보기 시스템
KR100584280B1 (ko) 멀티미디어 컨텐트의 재생 제어 방법 및 시스템
JP3667262B2 (ja) ビデオスキミング方法及び装置
KR100411437B1 (ko) 지능형 뉴스 비디오 브라우징 시스템
KR100422699B1 (ko) 비디오 콘텐트의 재생 제어방법과 장치
US20040268398A1 (en) Controlled multi-media program review
JP2002125199A (ja) フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体
JP2007336283A (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR100624848B1 (ko) 비디오 콘텐트 자동 리뷰 시스템
US7929844B2 (en) Video signal playback apparatus and method
KR100555427B1 (ko) 비디오 재생 장치 및 지능형 스킵 방법
KR100609154B1 (ko) 비디오 콘텐츠 재생 방법 및 장치
JP2007066409A (ja) 記録再生装置および記録再生方法
KR100370249B1 (ko) 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템
KR20020023063A (ko) 비디오 콘텐트의 구조적 정보를 이용한 비디오 스키밍방법과 장치
US20030215216A1 (en) Recording medium, image recording apparatus, image reproduction apparatus, and image recording/reproduction apparatus
JP4462749B2 (ja) 記録再生装置
JP2000125243A (ja) 映像記録再生装置及び記録媒体
JP2007066408A (ja) 記録再生装置、記録再生方法、再生装置、再生方法、受信再生装置、受信再生方法、情報提供装置および情報提供方法
KR20160104231A (ko) 라이브 재생에 사용되는 동영상 장면 처리 방법
JP2005328329A (ja) 映像再生装置と映像録画再生装置と映像再生方法
JPH10327386A (ja) 映像情報蓄積装置
KR100438302B1 (ko) 비디오 스키밍 방법 및 장치
KR20070082701A (ko) 방송 수신기의 방송 프로그램 하이라이트 구간 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20091230

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee