KR20130137632A

KR20130137632A - 비디오 시스템에서 의미 기반 트릭 모드 플레이를 위한 방법

Info

Publication number: KR20130137632A
Application number: KR1020137009706A
Authority: KR
Inventors: 준 리; 시아오준 마; 준 수
Original assignee: 톰슨 라이센싱
Priority date: 2010-09-17
Filing date: 2010-09-17
Publication date: 2013-12-17
Also published as: KR101681176B1; US9438876B2; EP2617191A1; JP5745063B2; JP2013541901A; US20130188933A1; CN103222261A; WO2012036658A1; CN103222261B

Abstract

비디오 컨텐츠 재생을 제어하는 트릭 모드 플레이가 시청자가 선택된 의미에 따라 제공되는 비디오 컨텐츠를 시청하기를 원할 때 시청자에 보다 균일한 재생 경험을 달성하기 위하여 의미 기반 기준을 사용하여 실현될 수 있다. 본 방법의 일 실시예에서, 비디오 컨텐츠에서 더 짧은 시간 간격과 연관된 의미는 더 긴 시간 간격과 연관된 의미보다 비례하여 더 느리게 트릭 모드 플레이에서 리플레이되고, 여기서 비례적으로는 적어도 부분적으로 각 의미와 연관된 시간 간격으로 결정된다. 여러 실시예에서, 의미는 장면, 오디오, 메타데이터, 태그 등을 포함할 수 있다. 의미 기반 트릭 모드 플레이 접근법은 시간 지속기간에 기초하여 하나의 의미로부터 그 다음 의미로 보다 균일한 시청 경험을 제공한다.

Description

비디오 시스템에서 의미 기반 트릭 모드 플레이를 위한 방법{METHOD FOR SEMANTICS BASED TRICK MODE PLAY IN VIDEO SYSTEM}

관련 출원에 대한 상호 참조

본 출원은 그 전체 내용이 본 명세서에 참조 문헌으로 병합된 2010년 3월 31일에 PCT 출원된 PCT 특허 출원 일련 번호 PCT/CN2010/000413호(대리인 관리 번호 PA100013)에 관한 것이다.

기술분야

본 발명은 일반적으로 비디오 디스플레이 기술 분야에 관한 것으로, 보다 상세하게는 하나 이상의 트릭 모드를 사용하여 비디오를 재생하는 것에 관한 것이다.

트릭 모드 동작은 전통적으로 다른 동작 중에서 비디오에 대해 순방향 및 역방향 재생 모드(forward and reverse playback mode)를 포함하는 것으로 고려된다. 일반적으로, 비디오 재생 제어를 위한 고속 순방향 및 고속 역방향 동작뿐만 아니라 저속 움직임 동작은 시간에 기초하여 구현된다. 즉, 순방향 또는 역방향인지에 상관없이 고속 재생은 정상 플레이 속도의 일정 정수배로 수행되고 여기서 예시적인 정수인 승수(multiplier)의 크기는 1보다 크다. 저속 움직임 리플레이(replay)는 1 미만 및 0 초과의 크기를 가지는 승수를 사용하여 수행되는 것으로 이해된다. 완전함을 위하여 승수의 부호는 동작 방향을 결정하는데 사용되고, 여기서 양(positive)의 부호는 보통 순방향 동작을 나타내고 음(negative)의 부호는 보통 역방향 동작을 나타낸다.

고속 순방향 또는 고속 역방향 동작은 더 긴 시간 간격의 비디오 컨텐츠가 리플레이 동작 동안 속도 승수에 비례적으로 관련된 훨씬 더 짧은 시간 간격으로 압축되어 리플레이될 수 있게 한다. 예를 들어, 고속 순방향(FF: Fast Forward) 2X는 2초 분량의 비디오 컨텐츠가 매 1초 간격에 플레이되도록 비디오 컨텐츠가 정상 플레이 속도의 2배로 순방향으로 플레이될 수 있게 한다. 4X, 8X, 및 16X와 같은 더 높은 속도는 비례적으로 더 많은 양의 비디오 컨텐츠가 매 1초 간격에 플레이될 수 있게 한다.

이러한 트릭 모드 동작은 시간과 관계 없는 임의의 다른 기초 또는 기준을 명백히 배제하며 시간에만 기초한다. 이것은 비디오 컨텐츠의 타임라인 또는 타임 시퀀스가 고속 순방향/역방향 리플레이 및 저속 순방향/역방향 리플레이와 같은 표준 트릭 모드 플레이 동작 동안 각각 균일하게 압축되거나 균일하게 팽창된다는 것을 의미한다. 표준 트릭 모드 플레이는 많은 시청자들에게 적합할 수 있으나, 이 시간에 기초한 접근법은 실제 다른 시청자들에게 매력적일 수 있는 비디오 컨텐츠의 특정 측면에서 불균일한 트릭 모드 재생률(playback rate)을 야기할 수 있는 것으로 인식된다. 예를 들어, 특정 장면의 시간 지속기간 또는 길이에 모두 직접 비례하여, 더 긴 장면은 더 짧은 장면에 비해 비례적으로 더 긴 양의 재생 시간을 차지하므로, 비디오 장면(scene)은, 표준 시간에 기반한 트릭 모드 재생을 사용하여 시간적으로 불균일하게 재생될 수 있다. 짧은 장면에서 비디오 컨텐츠 정보는 특히 속도가 예를 들어 4× 및 8×와 같은 정상 속도보다 상당히 더 높은 배수일 때 상당히 더 긴 지속기간 장면에 비해 고속 역방향 또는 고속 순방향 동작 동안 분간하는 것이 거의 불가능할 수 있다. 따라서, 시간에만 기초한 트릭 모드 플레이 동작은 비디오 컨텐츠의 시청자에 대한 모든 요구를 충족하기에는 부족하다.

본 발명의 실시예는 비디오 시스템에서 의미 기반 트릭 모드 재생을 위한 방법을 제공하는 것에 의해 종래 기술의 단점을 적어도 부분적으로 해소하는 것에 관한 것이다.

본 발명의 일 실시예에서, 비디오 컨텐츠 재생을 제어하기 위한 트릭 모드 플레이는 시청자가 선택된 의미에 따라 제공되는 비디오 컨텐츠를 시청하기를 원할 때 시청자에 보다 균일한 재생 경험을 달성하기 위하여 의미 기반 기준을 사용하여 실현된다. 예시적인 고속 순방향/역방향 트릭 모드 플레이를 사용하는 이 실시예에서, 비디오 컨텐츠에서 더 짧은 시간 간격과 연관된 의미는 더 긴 시간 간격과 연관된 의미보다 비례적으로 더 느린 트릭 모드 플레이에서 리플레이되며, 여기서 비례적으로는 각 의미와 연관된 시간 간격에 적어도 부분적으로 결정된다. 이 접근법은 하나의 의미로부터 그 다음 의미로 시간 지속기간에 기초하여 보다 균일한 시청 경험을 허용한다.

본 발명의 여러 실시예에서, 의미는 전술된 바와 같이 비디오 장면을 포함한다. 이들은 또한 비디오 컨텐츠에 대한 하나 이상의 선택된 메타데이터 요소, 비디오 컨텐츠와 연관된 태그, 비디오 컨텐츠에 있는 자막, 대화와 특성 잡음을 포함하는 비디오 컨텐츠에 있는 오디오 특징과 같은 다른 특성과 데이터, 및 색상 특징, 장면 상세, 순간 코딩율 등과 같은 비디오 컨텐츠의 임의의 다른 한정가능한 식별가능한 측면을 더 포함할 수 있다. 본 발명의 여러 실시예에서, 순간 코딩율에 대한 의미는 더 많거나 더 적은 장면 변화의 존재를 나타내는데 사용될 수 있다. 예를 들어, 더 높은 순간 코딩율은 장면 변화와 같은 보다 많은 의미 발생의 출현을 추론할 수 있다.

본 발명의 여러 실시예에 따르면, 비디오 컨텐츠는 특정 의미 기반을 사용하여 트릭 모드 플레이를 통해 리플레이될 수 있으며, 여기서 예를 들어 장면과 같은 선택된 의미의 발생에 대응하는 비디오 컨텐츠의 각 간격이 특정 의미 발생의 시간 간격에 반비례하는 시간의 양 동안 리플레이된다. 따라서, 의미 발생이 현재 의미 기반 트릭 모드 플레이 동작을 사용하여 시청자에 제공되는 율은 비디오 컨텐츠의 타임라인을 따라 선택된 의미의 밀도에 반비례한다. 비디오 컨텐츠에서 단위 시간당 의미 밀도가 더 높다는 것은 각 의미 발생이 상대적으로 더 짧은 시간 간격으로 나타나는 것을 말하며, 여기서 시간 간격은 선택된 의미의 첫 발생으로부터 선택된 의미가 그 다음으로 발생된 때까지로 측정된다. 장면 기반 고속 순방향 트릭 모드 플레이의 예를 사용하면 본 발명의 실시예는 특정 시간 간격에서 더 적은 장면이 발생할 때(즉, 더 낮은 장면 밀도) 제공되는 더 높은 트릭 모드 플레이 율보다, 동일한 지속기간 시간 간격에서 더 많은 장면이 발생할 때(즉, 더 높은 장면 밀도)에는 더 낮은 트릭 모드 플레이 율로 비디오 컨텐츠가 시청자에게 제공될 수 있게 한다. 이런 방식으로, 시청자는 원하는 트릭 모드에서 거의 동일한 양의 시간 동안 각 선택된 의미의 발생을 볼 수 있다.

본 발명의 개시 내용은 첨부 도면과 연계하여 이하 상세한 설명을 고려하는 것에 의해 용이하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 의미 기반 트릭 모드 재생을 위한 방법을 수행할 수 있는 시스템의 하이 레벨 블록도;
도 2는 본 발명의 일 실시예에 따른 의미 기반 트릭 모드 재생 동작의 적어도 일부를 구현하는 방법의 흐름도.

도면은 본 발명을 예시하는 목적을 위한 것이며 본 발명을 예시하는 유일한 가능한 구성을 나타내는 것이 아닌 것으로 이해된다. 이해를 돕기 위해 도면에 공통인 동일한 요소를 나타내는데 가능한 경우 동일한 참조 부호들이 사용된다.

본 발명은 비디오 시스템에서 의미 기반 트릭 모드 재생을 위한 방법을 유리하게 제공한다. 본 발명은 기본적으로 여러 MPEG 포맷과 고속 움직임 트릭 모드 재생과 같은 디지털 움직임 비디오 정보의 문맥 내에서 설명되지만, 본 발명의 특정 실시예는 본 발명의 범위를 제한하는 것으로 취급되어서는 안 된다. 이 기술 분야에 통상의 지식을 가진 자라면 본 발명의 개시 내용에 의해 본 발명의 개념이 저속 움직임 트릭 모드 재생과 같은 다른 트릭 모드 재생에서 실질적으로 임의의 컨텐츠에 유리하게 적용될 수 있다는 것을 이해할 수 있을 것이다.

본 명세서에 설명된 트릭 모드 방법의 실시예는 의미 정보를 사용하여 비디오 컨텐츠의 리플레이를 제어한다. 비디오 컨텐츠는 메타데이터, 비디오 태그, 자막, 색인 파일 등을 포함하나 이로 제한되지 않는 비디오 컨텐츠에 대한 추가적인 데이터에 의해 증가될 수 있다. 비디오 컨텐츠를 동반할 수 있는 추가적인 데이터와 디지털 움직임 비디오 컨텐츠의 여러 유형과 포맷은 이 기술 분야에 잘 알려져 있어서, 예를 들어 각 표준 기구의 아카이브 내에서 제공될 수 있는 것으로 생각된다. 따라서, 본 명세서에서 이에 대해 추가적인 설명은 제시되지 않는다.

본 상세한 설명의 과정 동안, "트릭 플레이", "트릭 모드", "트릭 플레이 모드", 및 "트릭 모드 플레이"라는 용어는 모두 의미와 범위의 의도된 제한이나 변화 없이 교환가능하게 사용될 수 있다. 물론, 본 상세한 설명에서 상기 제시된 용어와 같은 용어의 사용에 일관성을 유지하려는 시도가 이루어질 수 있다.

본 명세서에 언급된 모든 예시와 조건적 언어들은 이 기술을 개선하려고 발명자가 기여한 본 발명의 원리와 개념을 독자들이 이해하는 것을 돕기 위한 설명을 위한 목적으로 의도된 것이므로, 그러한 구체적으로 언급된 예시와 조건으로 제한하는 것으로 해석되어서는 안 된다.

나아가, 본 발명의 원리, 측면 및 실시예뿐만 아니라 특정 예시를 언급하는 모든 진술은 구조적 및 기능적으로 균등한 것을 포함하는 것으로 의도된 것이다. 추가적으로, 그러한 균등물은 현재 알려진 균등물뿐만 아니라 미래에 개발된 균등물, 즉 구조에 상관없이 동일한 기능을 수행하는 개발된 임의의 요소를 포함하는 것으로 의도된다.

따라서, 예를 들어, 이 기술 분야에 통상의 지식을 가진 자라면 본 명세서에 제시된 블록도가 본 발명의 원리를 구현하는 예시적인 시스템 성분 및/또는 회로의 개념도를 제시하는 것임을 이해할 수 있을 것이다. 이와 유사하게, 임의의 흐름도, 흐름 다이아그램, 상태 전이도, 의사코드 등은 컴퓨터나 프로세서가 명시적으로 도시되지 않았을 지라도, 컴퓨터로 판독가능한 매체에 실질적으로 제공되고 컴퓨터나 프로세서에 의해 실행될 수 있는 여러 공정을 나타낸다는 것을 이해할 수 있을 것이다.

도면에 도시된 여러 요소의 기능은 적절한 소프트웨어와 연관하여 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 그 기능은 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 나아가, "프로세서" 또는 "제어기"라는 용어의 명시적인 사용이 소프트웨어를 실행할 수 있는 하드웨어만을 배타적으로 말하는 것으로 해석되어서는 아니되며, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하는 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM") 및 비휘발성 저장장치를 암시적으로 포함할 수 있으나 이로 제한되는 것은 아니다.

본 명세서에 설명된 방법의 실시예는 프로세서에 의해 수행되는 명령에 의해 구현될 수 있고, 이 명령은 예를 들어, 집적 회로, 소프트웨어 캐리어와 같은 프로세서 판독가능한 매체 또는 예를 들어 하드 디스크, 콤팩트 디스크, 랜덤 액세스 메모리("RAM"), 또는 판독 전용 메모리("ROM")와 같은 다른 저장 디바이스에 저장될 수 있다. 이 명령은 프로세서 판독가능한 매체에 유형적으로 구현된 애플리케이션 프로그램을 형성할 수 있다. 명백한 바와 같이, 프로세서는 예를 들어 프로세스를 수행하는 명령을 구비하는 프로세서 판독가능한 매체를 포함할 수 있다. 이러한 애플리케이션 프로그램은 임의의 적절한 아키텍처를 구비하는 기계에 업로딩되고 이 기계에 의해 실행될 수 있다. 바람직하게는 이 기계는 하나 이상의 중앙 처리 장치("CPU"), 랜덤 액세스 메모리("RAM") 및 입력/출력("I/O") 인터페이스와 같은 하드웨어를 구비하는 컴퓨터 플랫폼에 구현된다. 컴퓨터 플랫폼은 운영 시스템 및 마이크로명령 코드를 더 포함할 수 있다. 본 명세서에 기술된 여러 공정과 기능은 CPU에 의해 실행될 수 있는 마이크로명령 코드의 부분이나 애플리케이션 프로그램의 부분 또는 이들의 임의의 조합일 수 있다. 나아가, 여러 다른 주변 장치들이 추가적인 데이터 저장 장치와 프린팅 장치와 같은 컴퓨터 플랫폼에 연결될 수 있다.

도면에 도시된 요소는 하드웨어, 소프트웨어 또는 이들의 조합의 여러 형태로 구현될 수 있는 것으로 이해된다. 바람직하게는 이들 요소는 프로세서, 메모리 및 입력/출력 인터페이스를 구비할 수 있는 하나 이상의 적절히 프로그래밍된 일반 목적 디바이스에 하드웨어 및 소프트웨어의 조합으로 구현된다. 나아가, 본 명세서에 설명된 구현은 예를 들어, 방법 또는 공정, 장치 또는 소프트웨어 프로그램으로 구현될 수 있다. 단일 구현 형태(예를 들어, 단지 방법으로만 설명된) 문맥에서만 설명되어 있더라도, 설명된 특징의 구현은 또한 다른 형태(예를 들어, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 전술된 바와 같이 구현될 수 있다. 본 방법은 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능한 논리 디바이스를 구비하는 일반적으로 처리 디바이스를 말하는, 예를 들어 프로세서와 같은, 예를 들어 장치로 구현될 수 있다. 처리 디바이스는 또한 셀룰러 폰, 휴대용/개인용 정보 단말기("PDA")와 같은 통신 디바이스, 최종 유자들 간에 정보 전달을 가능하게 하는 다른 디바이스, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋탑 박스, PVR과 같은 개인용 기록 디바이스, 및 기록 소프트웨어, 캠코더, 인터넷이나 다른 통신 링크를 통한 데이터 스트리밍 및 주문형 비디오(video-on-demand)를 실행하는 컴퓨터를 더 포함한다.

예를 들어, 도 1은 본 발명의 일 실시예에 따른 의미 기반 트릭 모드 재생을 위한 방법을 수행할 수 있는 시스템의 하이 레벨 블록도를 도시한다. 본 시스템(100)은 저장 매체(112)로부터 데이터를 판독하고 이에 데이터를 기록하기 위한 제어기(110)를 포함할 수 있다. 본 시스템(100)은 검색 엔진(114), 마이크로프로세서(116), 전송 버퍼(117), 및 디스플레이 디바이스(118)를 더 구비할 수 있다. 검색 엔진(114)은 저장 매체(112)로부터 판독되는 비디오 신호에서 하나 이상의 특정 유형의 화상을 찾기 위한 적절한 소프트웨어 및 회로를 포함할 수 있다. 제어 및 데이터 인터페이스가 마이크로프로세서(116)로 하여금 제어기(110)와 검색 엔진(114)의 동작을 제어하기 위해 더 제공될 수 있다. 적절한 소프트웨어 또는 펌웨어는 마이크로프로세서(116)에 의해 수행되는 종래의 동작을 위해 메모리에 제공될 수 있다. 나아가, 프로그램 루틴이 본 발명의 여러 실시예의 본 발명의 개념에 따라 마이크로프로세서(116)에 제공될 수 있다.

검색 엔진(114)과 마이크로프로세서(116)의 전부 또는 일부는 본 발명의 실시예의 구상 내에서 비디오 프로세서(120)일 수 있는 것으로 이해된다. 나아가, 제어기(110), 검색 엔진(114), 마이크로프로세서(116), 및 전송 버퍼(117)의 전부 또는 일부는 본 발명의 여러 실시예의 구상 내에서 비트스트림 소스(122)일 수 있다. 일 배열에서, 디스플레이 디바이스(118)는 저장 매체(112)로부터 판독되고 비트스트림 소스(122)에 의해 처리된 임의의 비디오 신호의 전부 또는 일부를 디코딩하기 위해 자기 자신의 디코더(미도시)를 포함할 수 있다. 이 특정 배열에서, 비트스트림 소스(122) 내에 있는 디코더(미도시)는 일반적으로 저장 매체(112)로부터 판독된 비디오 신호를 디코딩하는 것이 아니다. 이 특정 실시예는 원격 디코더 배열이라고 언급될 수 있다. 그러나, 본 발명은 다른 적절한 시스템으로 실시될 수 있으므로 본 발명은 이 배열로 제한되지 않는 것으로 이해된다.

본 발명의 여러 실시예에서, 본 발명에 따른 의미 기반 트릭 모드 재생은 비디오 컨텐츠가 트릭 모드의 방향에서 비디오의 타임라인을 따라 선택된 의미의 밀도에 따라 정상 시간에 제공하는 것에 비해 불균일하게 제공되도록 비디오 컨텐츠의 리플레이를 제어할 수 있다. 고속 순방향 또는 고속 역방향 트릭 모드에서 유저는 일부 의미의 발생에 더 오래 노출될 수 있어서 비디오 컨텐츠에서 더 많은 의미 변화를 가지는 시간 간격 동안 이 의미 발생과 관련된 프레임을 더 많이 제공받을 수 있다. 본 방법은 유저가 트릭 모드 플레이 동안 각 의미의 발생으로부터 다소 동일한 양의 정보를 시청할 수 있으므로 더 많은 정보 및 아마도 유저 친화적인 트릭 모드 경험을 유저에게 제공한다.

이하 상세한 설명에서, 예시적인 의미가 선택된다. 이 의미는 비디오 컨텐츠에서 장면 또는 장면 변화이다. 이 의미는 쉽게 이해되기 때문에 사용된다. 이러한 예시적인 의미를 사용하는 것은 임의의 방식으로 본 발명의 범위를 제한하기 위해 의도된 것이 아닌 것으로 이해된다. 이 의미는 비디오 컨텐츠를 위한 하나 이상의 선택된 메타데이터 요소, 비디오 컨텐츠와 연관된 태그, 비디오 컨텐츠에서 자막, 대화 및 특성 잡음을 포함하는 비디오 컨텐츠에서 오디오 특징, 및 색상 특징, 장면 상세, 순간 코딩율, 움직임 벡터 변동 등과 같은 비디오 컨텐츠의 다른 특성과 데이터 및 보조 파일, 및 비디오 컨텐츠의 임의의 다른 한정가능한 식별가능한 측면을 사용하여 컨텐츠 생성 또는 자동 메타데이터 참조 동안 수동 메타데이터 삽입을 통해 실현될 수도 있는 것으로 이해된다.

순방향이든 역방향이든 간에 고속 트릭 모드에서 비디오 컨텐츠는 비디오 컨텐츠에서 단위 시간당 상대적으로 더 많은 장면 변화가 있을 때 비례적으로 더 천천히 리플레이되고, 비디오 컨텐츠는 비디오 컨텐츠에서 단위 시간당 상대적으로 더 적은 장면 변화가 있을 때 비례적으로 더 빠르게 리플레이된다. 의미 시간 간격에 기초한 비례를 사용하는 것을 통해 이 기술은 시청자에게 정상 플레이 모드에서 장면이 얼마나 길게 보이거나 짧게 보이는지에 상관없이 트릭 플레이에서는 실질적으로 유사한 지속기간 동안 각 장면을 경험할 수 있게 해준다.

도 1은 본 발명의 일 실시예에 따른 의미 기반 트릭 모드 플레이 동작의 적어도 일부를 구현하는 방법의 흐름도를 도시한다. 도 1에서, 단계(1)에서, 비디오 컨텐츠는 3600초(즉, 1시간)의 총 시간 지속기간과 초당 30개의 프레임의 정상 프레임률(frame rate)(M)(즉, 정상 플레이 동안 프레임률)을 가지는 것으로 가정된다. 본 발명의 일 실시예에서, 시간 지속기간(T)과 프레임률(M)은 비디오 컨텐츠 패키지 그 자체 내에 메타데이터로서 포함될 수 있다. 본 발명의 대안적인 실시예에서, 이 정보는 또한 트릭 모드 동작을 유발하기 전에 컨텐츠의 분석을 통해 결정되거나 또는 외부에서 공급될 수 있다.

도 1에서, 단계(1)에서, 장면 변화의 형태로 N개의 의미 순간 또는 발생이 존재하고 여기서 N은 360개의 장면이라고 가정된다. 각 장면 변화는 발생 시간(t_i)과 연관되며, 여기서 i는 0에서 N까지이고, 비디오 컨텐츠 시작 시 t_i= 0이고, 비디오 컨텐츠 종료 시 t_N= T이다. 연속적인 장면 변화 사이의 의미 시간 간격, T_i= t_i+1 - t_i는 하나의 장면으로부터 그 다음 장면으로 랜덤한 지속기간을 가진다. 순수 통계적 관점으로부터, 비디오 컨텐츠가 정상 속도로 플레이될 때에, 장면 간격에 대한 평균 지속기간은 T/N초 또는 이 예에서 10초이다. 비디오 컨텐츠가 예를 들어 정상 플레이 속도의 L배로 고속으로 플레이될 때, 장면 간격 동안 평균 지속기간은 T/(L×N)초이다. L이 원하는 트릭 모드 플레이 동안 정상 프레임률(M)의 2배의 프레임률 승수(multiplier)라면, 트릭 모드 플레이에서 평균 장면 지속기간은 L = 2일 때 5초이다.

프레임률 승수(L)는 텔레비전과 결합된 셋톱 박스와 같은 비디오 디스플레이 또는 프리젠테이션 디바이스에 의해 수신된 트릭 모드 명령으로부터 단계 2 및 단계 3에서 결정된다. 트릭 모드 명령은 일반적으로 고속 순방향 또는 역방향 명령으로 원격 제어 디바이스로부터 수신된다. 트릭 모드 명령은 트릭 모드에서 프레임률 승수(L)와 리플레이 방향 지시자(즉, 순방향 또는 역방향)를 포함한다. 트릭 모드는 정상 프레임률(M) 미만 또는 초과하는 프레임률로 동작하므로, 프레임률 승수(L)는 1이 아닌 것으로 가정된다. 일례에서, 방향 지시자는 부호로 표현되고, 여기서 L의 양의 값은 정상 프레임률의 L배로 순방향 트릭 모드를 나타내고, L의 음의 값은 정상 프레임률의 L배로 역방향 트릭 모드를 나타낸다.

전술된 바와 같이, 본 발명의 여러 실시예에서, 핵심 의미 순간 또는 발생 사이에 각 간격 동안 순방향 또는 역방향이든 간에 트릭 모드 리플레이는 각 의미의 간격이 상이한 지속기간을 가지는 경우에도 T/(L×N)초로 수행된다. 하나의 의미 간격으로부터 그 다음 의미 간격으로 지속기간 차이를 감안하면 이 특징은 트릭 모드에서 초당 Vi = [Ti/T]×(N×L×M) 프레임의 계산된 트릭 모드 프레임률로 관련된 의미 간격에서 장면을 리플레이하는 것으로 달성되며, 여기서 T_i= t_i ₊₁ - t_i 이고 여기서 현재 위치는 단계 4 및 단계 5에 도시된 바와 같이 시간 순간(t_i, t_i+1)에 있거나 이 사이에 있다. 2X 트릭 모드 동안 상기 파라미터를 사용하는 예에서, 계산된 트릭 모드 프레임률 V_i= 6T_i이고, 여기서 T_i= t_i+1 - t_i이다. 이것은 트릭 모드 프레임률이 연속적인 의미 발생 또는 순간 사이에 의미 시간 간격에 직접 비례하는 것을 의미한다. 짧은 의미 간격 또는 더 높은 밀도의 의미 발생은 더 긴 의미 간격 또는 더 낮은 밀도의 의미 발생보다 더 느린 프레임률로 제공된다.

의미 간격(예를 들어, 장면 간격)은 상이하므로, 의미 간격(T_i)이 프레임률(V_i)에서 트릭 모드 플레이의 전체 T/(L×N)초를 다 채우지 않도록 의미 간격이 트릭 모드 프레임률에서 연속적으로 디스플레이하기에는 불충분한 수의 프레임을 점유하도록 하나 이상의 의미 간격은 충분히 짧을 수 있는 것이 가능하다. 본 발명의 일 실시예에서, 이 문제는 T/(L×N)초의 전체 리플레이 기간에 비해 의미 간격으로부터 비디오 컨텐츠를 효과적으로 신장하기에 충분한 수의 더미 프레임을 의미 간격 동안 프레임 시퀀스를 채우는 것에 의해 극복될 수 있다.

대안적으로, 트릭 모드에서 리플레이되는 각 의미 간격(T_i)이 T/(L×N)초의 전체 리플레이 기간에 걸치기에 충분한 수의 프레임을 가지는지 여부를 결정하는 것에 의해 전술된 문제를 완전히 회피하는 것이 또한 가능하다. 이것은 의미 기간(T_i) 동안 계산된 트릭 모드 프레임률(V_i)의 크기를 임계율과 비교하는 것에 의해 달성될 수 있다. 하나의 만족스러운 임계 프레임률은 정상 프레임률(M)이다. V_i의 크기가 M보다 작으면, 계산된 트릭 모드 프레임률이 새로운 값으로 대체되고 정상 프레임률(M)로 설정된다. 계산된 프레임률의 크기는 순방향 및 역방향 프레임률이 양 및 음의 부호를 각각 가지는 것을 보상하는데 사용된다. 프레임률을 이렇게 재설정하면 의미 간격 동안 충분한 수의 프레임이 있는 것을 보장하여, 새로운 율 V_i= M에서 리플레이될 때 프레임이 전체 리플레이 간격을 채울 수 있게 된다. 그러나, 이것은 트릭 플레이 동안 이 의미 간격(T_i)의 지속기간이 T/(L×N)초의 전체 리플레이 기간이 아니라는 것을 의미한다. 그럼에도 불구하고, 이것은 의미 간격(T_i)이 원래 계산된 트릭 플레이 프레임률에서 가질 수 있는 것보다 더 긴 시간 지속기간 동안 보이게 할 수 있다. 따라서, 이 대안적인 실시예에서, 고속 리플레이 동안 트릭 모드 프레임률은 정상 속도(M) 이상이다.

전술된 본 발명의 대안적인 실시예는 2X 고속 순방향 트릭 모드 리플레이 동안 제공된 파라미터 값을 사용하는 것에 의해 최상으로 이해될 수 있다. i번째 의미 간격이 T_i= 10초의 지식기간을 가지고 있다면, 계산된 트릭 모드 프레임률은 초당 V_i = 60프레임이다. 한편, i번째 의미 간격이 T_i= 4초의 지속기간을 가지고 있다면, 계산된 트릭 모드 프레임률은 정상 프레임률(M)보다 더 작은 초당 V_i= 24프레임이다. 이 후자의 경우에, 초당 24프레임의 계산된 트릭 모드 프레임률은 초당 30개의 프레임의 정상 프레임률(M)로 대체되거나 재설정된다.

트릭 모드 리플레이 속도가 이 예에서 4X로 증가되어 L= 4라면, 계산된 트릭 모드 프레임률에서 상이한 결과를 볼 수 있다. T_i= 10초의 지속기간을 가지는 i번째 의미 간격에서, 계산된 트릭 모드 프레임률은 정상 프레임률을 크게 초과하는 초당 V_i= 120프레임이다. i번째 의미 간격이 T_i = 4초의 지속기간을 가질 때, 계산된 트릭 모드 프레임률은 정상 프레임률(M)보다도 큰 초당 V_i= 48프레임이다. 이 후자의 두 경우의 그 어느 것도 두 계산된 율이 정상 프레임률을 초과하므로 계산된 트릭 모드 프레임률이 초당 30프레임의 정상 프레임률(M)로 재설정되거나 대체되지 않는다.

트릭 모드 프레임률이 일단 계산되고 설정되거나 재설정되면, 의미 간격(T_i)에서 비디오 컨텐츠가 수신된 트릭 모드 명령에 의해 한정된 트릭 모드에서 프레임률(V_i)로 디스플레이하도록 제공될 수 있다.

본 발명의 여러 실시예에서, 트릭 모드 동작 동안, 비디오 컨텐츠의 일부 부분이 트릭 모드에서 정상 속도로 플레이될 수 있다 하더라도, 일관성과 유쾌한 시청 경험을 유지하기 위해 의미 간격에서는 디스플레이된 비디오 컨텐츠와 연관된 오디오를 뮤트(mute)시키는 것이 바람직할 수 있다.

여러 연속적인 의미 간격과 연관된 비디오 컨텐츠가 트릭 모드 플레이 동안 제공될 때, 트릭 모드 플레이의 속도(V_i)가 상당히 상이할 수 있는 것이 가능하다. 그런 경우, 시청 경험이 불안정하게 된다. 본 발명에서는 2개의 트릭 모드 속도 사이의 차이가 상당할 때 연속적인 의미 간격 동안 하나의 트릭 모드 속도에서 다른 트릭 모드 속도로 원활히 전이하는 것이 요구되는 것이 구상된다. 이 속도 사이의 차이는 또한 이 차이의 크기일 수 있다. 나아가, 이 차이는 속도의 비로 대체될 수 있다. 실제 실험으로부터 일례에서 T_i = T_i-1/10으로 가정된다. 의미 간격(T_i-1) 직후에 10의 인수만큼 트릭 모드 속도를 증가시키는 것을 피하기 위해 그리고 더 높은 속도로 다소 더 원활한 전이를 달성하기 위해 트릭 모드 프레임률은 T_i 동안 현재 트릭 모드 프레임률에서부터 T_i-1 동안 더 높은 트릭 모드 프레임률로 변화될 수 있는 것이 구상된다. 본 발명의 여러 실시예에 따르면, 원활한 전이를 달성하기 위한 변동은 선형 방식, 비선형 방식 또는 단계적 방식(stepwise)으로 발생할 수 있다. 나아가, 본 발명의 대안적인 실시예에서, 로그 곡선, 지수 곡선 및 2차 곡선 또는 고차 곡선이 비선형 변동에 적절하다. 단계적 접근법은 단계 사이즈에 선형 및 비선형 변동을 수반할 수 있다. 명백히, 균일한 증분의 단계 사이즈도 또한 가능하다. 나아가, 본 발명의 대안적인 실시예에서, 하나의 트릭 모드 프레임률에서 다른 트릭 모드 프레임률로의 변동은 이 비디오 컨텐츠의 일부 초기 부분 또는 의미 간격과 연관된 모든 비디오 컨텐츠에 걸쳐 발생할 수 있다. 이 변동은 동일한 시간 증분으로, 시간에 따라 연속적으로, 또는 불균일한 시간 증분으로 발생할 수 있다. 대부분의 경우에, 동일한 단계 사이즈와 동일한 시간 증분을 사용하는 것은 트릭 모드 동작 동안 디스플레이되는 비디오 컨텐츠에서 덜 더듬거림으로 더 유쾌한 시청 경험을 생성할 수 있다.

본 발명의 원활화 기술에서, 시간 간격(T_i-1)에서 의미의 발생과 관련된 현재 트릭 모드 프레임률(V_i-1)과 계산된 트릭 모드 프레임률 사이의 차이가 검출된다. 이 프레임률의 차이의 크기가 결정된 임계값을 초과하는 경우, i번째 의미의 발생 동안 트릭 모드 프레임률이 i번째 의미의 발생의 디스플레이 동안 상기 현재 트릭 모드 프레임률(V_i-1)로부터 계산된 트릭 모드 프레임률(V_i)로 i번째 의미의 발생의 디스플레이 동안 변화된다. 본 발명의 일 실시예에서, 가능한 임계값이 현재 트릭 모드 프레임률로부터 프레임률의 2배를 초과하거나 1/2배 미만과 관련될 수 있다. 본 발명의 실시예에서, 현재 및 후속 트릭 모드 프레임률의 간단한 비는 이 임계값과 비교를 단순화한다.

본 발명의 전술된 실시예의 장면 기반 접근법은 임의의 의미 기반 트릭 모드로 확장될 수 있다. 이 의미는 비디오에서 객체, 자막, 오디오, 메타데이터, 태그 등일 수 있다. 트릭 모드 동작이 기초로 하는 의미는 디스플레이 시스템에 의해 수신되는 것으로 고려된다. 이 의미는 원격 제어 디바이스 상에 온스크린 메뉴 또는 키패드 엔트리로부터 선택될 수 있으며 또는 이는 하나 이상의 데이터 패킷을 통해 일부 다른 형태로 디스플레이 시스템으로 전송될 수 있다.

본 발명의 여러 실시예에서, 비디오 컨텐츠에서 의미의 발생 횟수(N)는 전체 비디오 컨텐츠의 지속기간(T)에 대한 선택된 의미의 실제 발생 횟수이다. 그러나, 이 실제 횟수가 반드시 N에 사용될 필요는 없다. 대신, 본 발명의 대안적인 실시예에서, 의미 발생의 평균 횟수와 같은 N에 대한 통계값이 사용될 수 있고 여기서 평균 횟수는 적어도 비디오 컨텐츠 지속기간 및 아마도 액션, 가족, 로맨틱, 다큐멘타리 등과 같은 장르와 같은 비디오 컨텐츠의 다른 특성에 기초한다.

장면 또는 다른 의미 정보가 비디오 컨텐츠에 이용가능하지 않거나 심지어 이에 색인되지 않는 경우에 본 발명의 실시예에 따른 여러 상이한 접근법이 이용가능하다. 보다 구체적으로, 장면 및 다른 유형의 의미 추출 및 색인 기술이 이 기술 분야에 충분히 잘 알려져 있다. 이들 기술은 이 기술 분야에 통상의 지식을 가진 자에게는 명백한 것이다. 예를 들어, 이 영역에서 2개의 예시적인 저널 논문은, B. Truong 등의 "Scene Extraction fin Motion Pictures" {IEEE Transactions on Circuits and Systems for Video Technology, Vol. 13, No. 1., pp. 5-15 (January 2003)}; 및 M. Cooper 등의 "Scene Boundary Detection via Video Self-Similarity Analysis" {Publication of FX Palo Alto Laboratory, No. FXPAL-PR-01-020, 및 Proceeding of the 2001 International Conference on Image Processing, Vol. 3, pp. 378-381 (October 2001)에 또한 공개됨}이다. 따라서, 본 발명의 여러 실시예에 따르면, 하나 이상의 이들 기술을 사용하는 것을 통해, 비디오 컨텐츠를 분석하여 비디오 컨텐츠에서 의미의 발생 횟수(N)를 결정할 수 있다. 나아가, 필요한 경우, 분석은 각 의미 발생의 발생 시간을 나타내는 값을 생성하기 위해 각 의미 발생을 색인하는 동작을 포함할 수 있다. 이 색인의 일례는 국제 공개 번호 WO2006/092765(발명의 명칭: "Method of Video Indexing"; 발명자: Barbieri)에서 찾아볼 수 있다. 전술된 바와 같이 본 발명의 실시예에서 분석을 통해 의미 발생과 연관된 시간 값과 함께 비디오 컨텐츠에 대한 의미 발생을 생성할 때, 각 의미 발생에 대한 발생 시간을 나타내는 각 값은 의미 발생 및/또는 관련 색인과 함께 저장된다.

본 발명의 실시예는 고속 플레이 트릭 모드에 대해 일반적으로 설명되었다. 본 명세서에 설명된 기술은 저속 움직임 플레이를 포함하나 이로 제한되지 않는 트릭 모드 플레이의 다른 형태로도 확장될 수 있다.

의미 기반 트릭 모드 플레이 동작(예시를 위하여 의도된 것일 뿐 제한하려는 것이 아님)의 적어도 일부를 구현하는 방법에 대한 여러 실시예를 설명하였으나, 상기 개시 내용에 비춰 이 기술 분야에 통상의 지식을 가진 자라면 변형과 변경을 할 수 있을 것이라는 것이 주목된다. 그러므로, 본 발명의 사상과 범위 내에서 개시된 발명의 특정 실시예에 변화가 있을 수 있는 것으로 이해된다. 전술된 것은 본 발명의 여러 실시예에 관한 것이지만, 본 발명의 다른 및 추가적인 실시예는 본 발명의 기본 범위를 벗어남이 없이 고안될 수 있다.

Claims

트릭 동작 모드에서 비디오 컨텐츠에 대한 리플레이(replay)를 제어하는 방법으로서,
트릭 모드 명령을 수신하는 단계; 및
상기 비디오 컨텐츠 내 연속적인 의미(semantics)들 사이의 시간 간격, 상기 비디오 컨텐츠의 시간 지속기간, 상기 비디오 컨텐츠 내 상기 의미의 발생 횟수, 및 상기 비디오 컨텐츠의 정상 플레이 모드에서의 프레임률(frame rate)의 함수로서 트릭 모드 프레임률을 결정하는 단계를 포함하되,
상기 수신된 트릭 모드 명령에 의해 정의된 상기 트릭 모드에서 상기 시간 간격과 관련된 상기 비디오 컨텐츠는 상기 트릭 모드 프레임률로 디스플레이되는 것인 방법.
제1항에 있어서, 상기 트릭 모드 프레임률(V_i)은 V_i = [T_i/T]×(N×L×M)으로 결정되되, T_i는 상기 비디오 컨텐츠에서 i번째 및 (i+1)번째 연속적인 의미들 사이의 시간 간격이고, T는 상기 비디오 컨텐츠의 시간 지속기간이며, N은 상기 비디오 컨텐츠에서 상기 의미의 발생 횟수이고, M은 정상 플레이 모드에서의 프레임률인 것인 방법.
제1항에 있어서, 상기 트릭 모드 명령은 상기 비디오 컨텐츠의 리플레이의 방향의 지시와 프레임률 승수(multiplier)를 식별하며, 상기 프레임률은 1이 아닌 것인 방법.
제1항에 있어서, 상기 연속적인 의미는 상기 비디오 컨텐츠에서 장면 변화, 상기 비디오 컨텐츠와 연관된 선택된 메타데이터, 상기 비디오 컨텐츠와 연관된 선택된 태그, 상기 비디오 컨텐츠와 연관된 선택된 오디오, 및 상기 비디오 컨텐츠의 선택된 통계값 중 적어도 하나를 포함하는 군으로부터 선택된 것인 방법.
제2항에 있어서, 상기 방법은 상기 트릭 모드 프레임률(V_i)의 크기를 상기 프레임률(M)과 비교하는 단계를 더 포함하되, 상기 디스플레이는 상기 비교하는 단계에서 상기 트릭 플레이 모드 프레임률(V_i)의 크기가 상기 프레임률(M)보다 작은 것으로 결정될 때 상기 시간 간격(T_i) 동안 i번째 의미의 발생에 대응하는 상기 비디오 컨텐츠를 상기 프레임률(M)로 디스플레이하는 것을 더 포함하는 것인 방법.
제2항에 있어서, 상기 방법은,
시간 간격(T_i-1)에서 의미의 발생과 관련된 현재 트릭 모드 프레임률(V_i-1)과 계산된 상기 트릭 모드 프레임률 사이의 차이를 검출하는 단계; 및
상기 차이의 크기가 결정된 임계값을 초과할 때, 상기 i번째 의미의 발생의 디스플레이 동안 상기 현재 트릭 모드 프레임률(V_i-1)로부터 계산된 상기 트릭 모드 프레임률(V_i)로 상기 i번째 의미의 발생에 대하여 트릭 모드 프레임률을 가변시키는 단계를 더 포함하는 방법.
제6항에 있어서, 상기 가변시키는 단계는 단계적으로, 단계적으로 선형으로, 단계적으로 비선형으로, 및 균일하게 동일한 단계적 증분으로 이루어진 군으로부터 방식으로 수행되는 것인 방법.
제1항에 있어서, 상기 비디오 컨텐츠에서 상기 의미의 발생 횟수는 상기 비디오 컨텐츠에 대한 상기 의미의 통계적 평균 발생 횟수로 표현되고, 상기 통계적 평균은 상기 비디오 컨텐츠의 하나 이상의 연관된 특성에 기초하는 것인 방법.
제8항에 있어서, 상기 비디오 컨텐츠의 상기 하나 이상의 연관된 특성은 적어도 상기 비디오 컨텐츠의 지속기간과 상기 비디오 컨텐츠의 장르 특성으로 이루어진 군으로부터 선택된 것인 방법.
제1항에 있어서, 상기 비디오 컨텐츠에서 상기 의미의 발생 횟수를 결정하기 위해 상기 비디오 컨텐츠를 분석하는 단계를 더 포함하는 방법.
제10항에 있어서, 상기 분석하는 단계는 각 상기 의미의 발생의 상기 발생 시간을 나타내는 값을 생성하기 위해 각 의미의 발생을 색인하는 단계를 더 포함하는 것인 방법.
제11항에 있어서, 상기 방법은 각 상기 의미의 발생의 상기 발생 시간을 나타내는 상기 값과 함께 각 의미의 발생을 저장하는 단계를 더 포함하는 방법.
제1항에 있어서, 상기 비디오 컨텐츠에서 식별된 의미를 수신하는 단계를 더 포함하는 방법.
제1항에 있어서, 상기 시간 간격 동안 상기 의미의 발생에 대응하는 상기 비디오 컨텐츠의 트릭 모드 리플레이 동안 오디오를 뮤트(mute)시키는 단계를 더 포함하는 방법.
트릭 동작 모드에서 비디오 컨텐츠에 대한 리플레이를 제어하는 시스템으로서,
트릭 모드 명령을 수신하는 수단;
상기 비디오 컨텐츠 내 연속적인 의미들 사이의 시간 간격, 상기 비디오 컨텐츠의 시간 지속기간, 상기 비디오 컨텐츠 내 의미의 발생 횟수, 및 상기 비디오 컨텐츠의 정상 플레이 모드에서 프레임률의 함수로서 트릭 모드 프레임률을 결정하는 수단; 및
상기 수신된 트릭 모드 명령에 의해 정의된 상기 트릭 모드에서 상기 시간 간격과 관련된 상기 비디오 컨텐츠를 상기 트릭 모드 프레임률로 디스플레이하는 수단을 포함하는 것인 시스템.