KR101107366B1 - 소비자 디지털 비디오 레코딩 장치에서 가상 랜더링으로부터의 복귀에 대한 비디오 화면 매칭 - Google Patents

소비자 디지털 비디오 레코딩 장치에서 가상 랜더링으로부터의 복귀에 대한 비디오 화면 매칭 Download PDF

Info

Publication number
KR101107366B1
KR101107366B1 KR1020090100924A KR20090100924A KR101107366B1 KR 101107366 B1 KR101107366 B1 KR 101107366B1 KR 1020090100924 A KR1020090100924 A KR 1020090100924A KR 20090100924 A KR20090100924 A KR 20090100924A KR 101107366 B1 KR101107366 B1 KR 101107366B1
Authority
KR
South Korea
Prior art keywords
video stream
video
virtual screen
virtual
program instructions
Prior art date
Application number
KR1020090100924A
Other languages
English (en)
Other versions
KR20100047137A (ko
Inventor
브라이언 엠 오코넬
제프리 디 암스테르담
2세 릭 알렌 해밀톤
컬버 에스 보갈
그레고리 제이 보스
케이쓰 알 워커
Original Assignee
인터내셔널 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터내셔널 비지네스 머신즈 코포레이션 filed Critical 인터내셔널 비지네스 머신즈 코포레이션
Publication of KR20100047137A publication Critical patent/KR20100047137A/ko
Application granted granted Critical
Publication of KR101107366B1 publication Critical patent/KR101107366B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 방법, 시스템 및 컴퓨터 프로그램은 가상(컴퓨터 생성된) 화면으로부터 관련 비디오 스트림으로 복귀하는 천이를 부르럽게하는 메카니즘을 제공한다. 비디오 스트림의 콘텐츠와 관련된 가상 화면으로부터 비디오 스트림의 디스플레이로의 복귀를 트리거링하는 사용자 입력 또는 타임아웃과 같은 이벤트가 수신된다. 복수의 시점들 및/또는 카메라 앵들들이 사용자에게 제시되거나 또는 최상의 매칭에 대해 자동적으로 검색된다. 리스트가 자동적으로 검출된 매칭 기준에 따라 순서적으로 제시될 수 있다. 가상 화면은 컴퓨터 또는 디지털 비디오 레코더(DVR)내에서 국부적으로 구축된 화면일 수 있으며, 서버와 같은 콘텐츠 공급자로부터 제공된 앵글 및 시간 정보에 기초하여 국부적으로 수행된 매칭, 또는 가상 화면 생성 및 매칭은 콘텐츠 서버와 같은 원격 위치에서 수행될 수 있다.
컴퓨터, 가상, 화면, 비디오, 스트림.

Description

소비자 디지털 비디오 레코딩 장치에서 가상 랜더링으로부터의 복귀에 대한 비디오 화면 매칭{VIDEO SCENE MATCHING ON RETURN FROM VIRTUAL RENDERING IN A CONSUMER DIGITAL VIDEO RECORDING DEVICE}
본 발명은 소비자 디지털 비디오 레코딩 장치(DVR)에 관한 것이며, 보다 구체적으로는, 비디오 스트림을 가상 화면으로부터의 종료점과 매칭시키는 방법 및 DVR에 관한 것이다.
개인 비디오 레코더(PVR)와 같이 휴대형 장치, 셋탑 박스 또는 디지털 또는 아날로그 네트워크 소스로부터 제공된 비디오 인터페이스 및/또는 비디오 성능을 갖는 컴퓨터의 형태로 존재할 수 있는 디지털 비디오 레코더(DVR)는 가정 또는 다른 장소들에서 유비쿼터스화되어 가고 있다.
Uyttendaele 등의 미국 특허 제7,142,209호에서 개시된 것과 같은 기술들은 사용자가 비디오 프로그램을 바라볼 때에, 사용자 자신의 투시(perspective), 예컨대 "개인" 카메라 앵글의 사용자 제어를 가져다 주기 위해 가상 화면 기술과 비디오를 병합시키는 가능성을 제공해준다. Freeman 등의 미국 공개특허출원 제2002/0188943호에서 개시된 것과 같은 다른 기술들은 사용자 선택에 응답하여, "끈 김없는(seamless)" 즉, 서로 다른 실제 비디오 장면들 또는 그래픽 오버레이들간의 비디오 동기화된 전환뿐만이 아니라, 다른 프로그램 소스들을 제공한다.
하지만, 사용자가 진실로 통합된 끊김없는 경험을 갖고자 하는 경우, 비디오는 동기화되어야하는 것 뿐만이 아니라, 카메라 앵글, 프로그램 위치 및 디스플레이되는 비디오의 기타 특징들에서의 변경은 비디오 소스들 및/또는 가상 화면들 사이에서의 천이에서 최소화되어야 한다. 특히, 가상 화면으로부터 수 많은 비디오 스트림들 중 하나일 수 있는, 비디오 스트림으로 복귀하는 천이는, 비디오 스트림(또는 다중 스트림들로부터 선택된 비디오 스트림)은 임의적인 카메라 앵글 및 이벤트 시간을 가질 수 있는 반면에, 가상 화면의 콘텐츠는 일반적으로 사용자 제어하에 있다는 점에서 복잡한 문제거리이다.
그러므로, 프로그램 조망자들에게 보다 끊김없는 조망 경험을 제공하기 위해, 가상 화면으로부터 비디오 스트림으로의 천이 변경들을 최소화할 수 있는 방법 및 시스템을 제공하는 것이 바람직할 것이다.
본 발명은 방법, 디지털 비디오 레코딩 장치(DVR), 및 컴퓨터 프로그램 제품으로 구현된다. 디지털 비디오 레코딩 장치는 개인 비디오 레코더(PVR), 셋탑 박스, 개인 컴퓨터, 또는 비디오 스트림과 가상 화면간의 선택을 제공해주는 기타 다른 장치일 수 있다.
현재 디스플레이되는 가상 화면으로부터 이전에 디스플레이되었던 비디오 스트림으로 복귀하도록 변경하기 위한 요청을 표시하는 이벤트가 수신된다. 가상 화면에 대한 전환시간은 저장되고, 이러한 이벤트의 수신시에 검색되어, 가상 화면으로부터 선택된 비디오 스트림으로의 천이를 위한 진입점 및/또는 비디오 소스들의 가능한 선택들을 필터링하는데 이용된다. 선택된 비디오 스트림은 가상 화면의 종료점에서의 카메라 앵글에 따라 다수의 비디오 소스들로부터 선택될 수 있거나, 또는 만약 오직 단일한 비디오 스트림이 이용가능한 경우에, 카메라 앵글을 가상 화면 종료점에 가능한 한 가깝게 매칭시킴으로써 비디오 스트림으로의 진입 시간이 선택될 수 있다.
비디오 스트림(들)의 카메라 앵글들은 부수적 정보로서 비디오 스트림(들)과 함께 제공될 수 있거나, 또는 비디오 스트림과 함께 인코딩되거나 또는 다른 채널 또는 네트워크를 통해 제공될 수 있다. 이와 달리, 정지 화상들이 카메라 앵글들을 발견하기 위해 매칭된 비디오 스트림 및 패턴으로부터 추출될 수 있다. 비디오 스트림 및 진입 시간의 선택은 사용자 선택하에서, 예컨대 "최상의 매칭" 내림 정렬로 순서화될 수 있는 리스트를 제공함으로써 행해질 수 있거나, 또는 "최상의 매칭" 비디오 스트림 및 진입점에 대한 재생을 지시함으로써 천이가 자동적으로 행해질 수 있다.
본 발명의 전술한 목적들, 특징들, 및 장점들, 그리고 이와 다른 목적들, 특징들, 및 장점들은 이하의 내용, 보다 구체적으로는, 첨부된 도면들에서 도시된, 본 발명의 바람직한 실시예의 설명으로부터 분명해질 것이다.
본 방법, 시스템 및 컴퓨터 프로그램은 가상(컴퓨터 생성된) 화면으로부터 관련 비디오 스트림으로 복귀하는 천이를 부르럽게하는 메카니즘을 제공한다.
본 발명은 가상 화면들(예컨대, 컴퓨터 랜더링된 화면들)과 비디오 스트림들[예컨대, 비디오 카메라 풋티지(footage)] 사이를 교대하는 시스템 및 장치에 관한 것이다. 보다 끊김없는 조망 경험을 제공하기 위해, 비디오 스트림 콘텐츠와 관련된 가상 화면을 디스플레이하는 것으로부터 복귀시, 가상 화면의 종결점에서 카메라 앵글 및/또는 콘텐츠를 가깝게 매칭시키는 비디오 스트림 및/또는 시점(time point)이 발견된다. 실질적으로 끊김없는 비디오 스트림으로의 복귀 천이를 제공할 가상 화면으로부터의 종료(exit) 시점을 위치확인하기 위해, 추출된 정지 화상들을 매칭시키거나, 또는 다른 화면 매칭 기술들을 통해 단일 비디오 스트림이 검색될 수 있다. 시점은 비디오 스트림으로부터의 저장된 종료점의 시간 스탬프를 조사함으로써 비디오 스트림으로부터의 이전의 종료 이후의 시간으로 제약된다. 만약 다수의 비디오 스트림들, 예컨대 서로 다른 카메라 앵글들을 갖는 서로 다른 카메라들로부터의 비디오 스트림들이 이용가능하다면, 가상 화면의 종결점의 투시와 가장 가깝게 매칭하는 비디오 스트림이 제시될 것이다. 선택이 "최상의 매칭" 기준에 따라 자동적으로 행해질 수 있거나, 또는 다수의 비디오 소스들 및/또는 시점들로부터의 선택을 위해 리스트가 조망자에게 제시될 수 있다. 카메라 앵글 정보가 예컨대, 인터넷 공급처와 같은 별도의 채널로부터 비디오 스트림 정보와 함께 제공될 수 있거나, 또는 브로드캐스트, 위성 또는 폐쇄 회로 분배 소스에서의 비디오 스트림 정보와 함께 인코딩될 수 있다.
이제 도 1을 참조하면, 본 발명의 실시예에 따른, 디지털 비디오 레코더(DVR)(10)가 도시된다. DVR(10)은 외부 디지털 텔레비젼(DTV) 디스플레이(14)에 연결되지만, 이와 달리 DVR(10)은 일체형 디스플레이를 갖는 휴대형 장치일 수 있다. 본 발명의 방법에 따른 예시적인 실시예에서, 원격 제어기(12)는 사용자 입력을 제공하기 위해 DVR(10)의 동작을 제어하는데 이용된다. 하지만, DVR(10)에 일체화된 버튼 및 기타 제어기들과 같이, 다른 사용자 입력 방법론들이 활용될 수 있음을 이해한다. DVR(10)는 원격 제어기(12)로부터 명령을 수신하기 위한 적외선(IR) 인터페이스(13)와, 이하의 자세한 설명에서 기술된 방법론들에 따라 비디오 및 가 상 화면 정보를 프로세싱하고, 또한 DVR 동작들과 대체로 연관된 제어 및 기타 기능을 제공하는 프로그램 명령어들을 실행하는 프로세서(16)를 포함한다. 프로그램 및 비디오 메모리(17)는 본 발명의 컴퓨터 프로그램 제품 실시예에 따른 프로그램 명령어를 포함하여, 데이터 및 프로그램 명령어를 저장하기 위해 프로세서(16)에 결합된다. 무선 주파수(RF)/비디오 인터페이스(18)는 브로드캐스트, 폐쇄 회로 또는 기타 비디오 스트리밍 소스로부터 비디오 신호 또는 RF 신호를 수신하고, DTV 디스플레이(14)에 의한 최종적인 디스플레이를 위해 이것들을 프로세서(16)에 의한 선택용으로 제공한다. 네트워크 인터페이스(19)는 RF/비디오 인터페이스(18)에 의해 수신된 비디오 스트림과 연관된 부수적인 카메라 앵글 및 기타 정보와 같은 추가적인 정보를 수신하기 위해, 인터넷과 같은 공용 네트워크 또는 개인 네트워크에 대한 유선 접속 또는 무선 접속을 제공한다. 이와 달리, 네트워크 인터페이스(19)는 비디오 스트림(예컨대, MPEG 스트림) 및 택일적사항의 추가적인 부수적 정보 모두를 수신하기 위한 전반적인 인터페이스를 구성할 수 있다. 디지털 다기능 디스크(DVD) 드라이브(15) 및 하드 디스크 드라이브(HDD)(11)가 또한 비디오 프로그램 및 기타 정보를 레코딩하기 위해 모두 DVR(10)내에 포함된다. 본 발명의 다른 대안적인 실시예에서, DVD 드라이브(15)내로 삽입되거나 또는 하드 디스크 드라이브(HDD)(11)상으로 삽입되는 디스크상에 저장된 프로그램 정보는 가상 화면 디스플레이로의 전환을 위해 조망자에 의해 조작될 수 있고, 본 발명의 기술들이 비디오 스트림의 디스플레이로의 복귀를 위한 시점 및/또는 비디오 스트림(예컨대, DVD 매체상에서 제공된 복수의 서로 다른 카메라 앵글 비디오 스트림들로부터 선택된 비 디오 스트림)을 선택하는데 이용될 수 있다. 몇몇 실시예들에서, DVD 드라이브(15), HDD(11), 및 IR 인터페이스(13)와 같은 컴포넌트들은 존재하지 않을 수 있거나, 다른 장치들내에 위치할 수 있거나, 또는 고체 상태 드라이브(SSD), 블루레이 디스크(BD) 드라이브, 블루투스 인터페이스, RF 인터페이스, WiFi 인터페이스 등과 같은 다른 기술들로 교체될 수 있다.
이제 도 2를 참조하면, 본 발명의 다른 실시예에 따른 DVR(20)이 개인 컴퓨터 시스템의 형태로 도시된다. DVR(20)은 예컨대 제3자 DVD 프로그램을 실행함으로써 DVR을 구현하기 위한 프로그램 명령어를 포함하는 프로그램 명령어를 저장하는 메모리(27)에 결합된 프로세서(26)를 포함하는 개인 컴퓨터(20)에 의해 구현된다. 메모리(27)는 이러한 DVR 프로그램내에 통합될 수 있거나, 또는 DVR 프로그램 또는 오퍼레이팅 시스템의 기능성을 강화시키는 독립형 애플리케이션 또는 플러그인으로서 제공될 수 있는, 본 발명에 따른 기술들을 수행하기 위한 프로그램 명령어를 더 포함한다. 프로그램은 DVD 디스크(DVD)와 같은, 본 발명의 실시예에 따른 컴퓨터 프로그램 제품을 형성하는 매체로부터의 DVD 드라이브(24)로부터 메모리(27) 또는 HDD(23)내에 로딩될 수 있다. 폐쇄 회로 또는 브로드캐스트 소스로부터 비디오 정보를 수신하기 위해, 개인 컴퓨터(20)는 RF/비디오 인터페이스(28)를 포함한다. 하지만, 본 발명의 실시예에 따른 기술들은 네트워크 인터페이스(29)로부터 수신된 비디오에 대해 수행될 수 있으며, 이와 같은 실시예에서는 RF/비디오 인터페이스(28)가 필요하지 않다. 또한, 도 1의 DVR(10)과 관련하여 위에서 언급한 바와 같이, 개인 컴퓨터(20)는 네트워크 인터페이스(29), 또는 RF/비디오 인터페이스(28) 로부터 카메라 앵글 정보와 같은 부수적인 정보를 비디오 정보에 더하여, 그리고 비디오 정보와 함께 수신할 수 있다. 개인 컴퓨터(20)는 또한 키보드 및 포인팅 장치와 같은, 휴먼 인터페이스 장치(HID)의 접속을 위한 HID 인터페이스(22)를 포함한다. 개인 컴퓨터(20)는 외부 디스플레이(25)에 접속하는 것으로서도 도시된다. 하지만, 만약 개인 컴퓨터(20)가 랩탑, 타플렛 또는 기타 통합형 장치인 경우, 디스플레이(25)는 대체적으로 개인 컴퓨터(20)에 일체화될 것이다. 몇몇 실시예들에서, 도 2에서 도시된 몇몇의 컴포넌트들은 없을 수 있거나, 다른 장치내에 위치할 수 있거나, 또는 다른 기술들로 대체될 수 있다.
이제 도 3을 참조하면, 본 발명의 실시예에 따른 네트워킹된 시스템이 도시된다. 도 1에서 도시된 DVR(10)과 같은 DVR은 상술한 하나 이상의 채널들을 통해, 예컨대 RF 브로드캐스트, 위성 브로드캐스트 및/또는 폐쇄 회로 케이블을 통해 하나 이상의 브로드캐스트 공급자들(34)로부터 신호를 수신한다. DVR(10)은 또한 인터넷 서비스 공급자(ISP)(30) 또는 기타 네트워크 공급자와 같은, 총칭적인 네트워크 데이터 소스로부터 비디오 정보를 수신할 수 있어서, RF/비디오 접속에 대한 어떠한 필요성도 제거해주며, 위 네트워크 데이터 소스는 또한 브로드캐스트 공급자(34)로부터 비디오 데이터를 공급해주는 채널일 수 있다. 카메라 앵글 및 가상 화면으로부터의 복귀를 통지해주기 위한 기타 데이터를 통지하는 상술한 부수적 정보는 ISP(30)을 경유하여 브로드캐스트 공급자(34)로부터 공급될 수 있거나, 또는 브로드캐스트 공급자(34)로부터 직접 수신한 비디오/RF 정보와 함께 인코딩될 수 있다. 마지막으로, 가상 화면 지원 공급자(32)는 DVR(10)로부터 원격적으로 위치할 수 있으며, 이것은 ISP(30)를 통해 DVR(30)로부터 수신된 사용자 공급 제어 정보에 따라 원격적으로 가상 화면에 대응하는 비디오를 생성할 수 있거나 또는 DVR(10)내의 가상 화면을 구축하는데 필요로 하는 기타 정보를 공급해줄 수 있다. 예를 들어, 브로드캐스트 공급자(34)에 의해 공급된 브로드캐스트 비디오와 관련된 가상 화면의 삼차원 벡터 표현이 예컨대 화일 전송 요청, 데이터베이스 문의, RSS 공급 또는 기타 데이터 검색 기술에 의해 DVR(10)에 제공될 수 있으며, 그런 다음 DVR(10)은 사용자 제어의 의해 규정된 위치 및 카메라 앵글에 따라 가상 화면을 생성한다. 도시된 시스템은 단지 예시에 불과하며, 가상 화면 구축을 수행하기 위한 다양한 장소들, 및 비디오 및 가상 화면의 조망을 위해 비디오 및 가상 화면 정보를 DVR(10)에게 보내는 다양한 수단, 및 최종 사용자에 의한 가상 화면의 제어를 나타내려고 의도하였다. 하지만, 본 발명의 다른 실시예들에 따라 다른 기술들 및 시스템 구성들이 적용될 수 있으며, 특정 시스템 구성은 이하에서 보다 자세하게 설명되는 본 발명에 따른 기술들을 이행하는 잠재적인 시스템 구성, 데이터 소스 및 최종 사용자 장비를 제한시키는 것으로 해석되어서는 안된다는 것을 이해해야 한다.
이제 도 4를 참조하면, 본 발명의 실시예에 따른 사용자 인터페이스가 도시되며, 이 사용자 인터페이스는 가상 화면으로부터 관련 비디오로의 복귀 천이가 요청된 경우, 및 "최상의 매칭" 비디오 소스의 자동 선택이 자동 선택을 제공하는 시스템에서 인에이블되지 않은 경우, 또는 수행하지 않은 시스템에서 이행되지 않은 경우에, DVR(10) 또는 개인 컴퓨터(20), 또는 기타 적절한 장치의 사용자에게 제시 될 수 있는 스크린을 보여준다. 도시된 바와 같이, 사용자 인터페이스 스크린 디스플레이(40)는 사용자에게 다수의 카메라들과 연관된 다수의 비디오 소스들에 따른 옵션들을 제공해주며, 특정한 비디오 스트림으로의 복귀를 위한 각각의 비디오 스트림내에서의 위치(시점으로서 규정됨)를 규정한다. 비록 본 발명의 요건은 아니지만, 매칭 기준을 충족시키는 매칭들의 갯수, 또는 존재/위치하는 옵션들/매칭들의 갯수의 제한에 대한 선택 옵션은 "최상의 매칭" 내림 정렬순으로 제시된다. 정적 카메라의 경우, 비디오로의 복귀가 가상 화면으로부터의 종료 시간에서 수행될 수 있기 때문에 시점들은 생략될 수 있다. 또한, 단일 카메라일 수 있거나 또는 다수의 카메라들 사이에서 전환될 수 있는 단일 스트림 비디오 소스들의 경우, 선택할 다수의 스트림들이 존재하지 않기 때문에 선택 옵션은 오직 시점만을 규정할 수 있다. 어느 스트림 및/또는 시점을 선택할지에 대한 사용자 결정을 도와주기 위해, 선택가능한 카메라 앵글(들) 및 시간(들)에서 비디오로부터 추출된 하나 이상의 스크린샷(41)이 옵션을 통한 사용자 스크롤링에 대한 응답으로 아이콘 형태로 디스플레이되거나, 또는 단일 프레임으로서 제시될 수 있다.
이제 도 5a를 참조하면, (프레임일 수 있거나 또는 보다 긴 비디오 엘리먼트일 수 있는) 세그먼트들(42A 내지 42G)을 갖는 단일 비디오 소스를 보여주는 타임라인도가 도시되며, 여기서 상기 각각의 엘리먼트는 (틸트, 팬, 줌)에 따른 좌표 세트를 갖는다. 비디오 소스 타임라인 밑에는 출력 타임라인이 도시되며, 여기서 사용자/조망자는 비디오 소스 세그먼트들(42A 및 42B)을 조망하고, 그런 다음 세그먼트들(44A 내지 44C)를 갖는 가상 화면으로 전환한다. 도시된 바와 같이, 가상 화 면 세그먼트(44A)와 초기에 연관된 좌표들은 비디오 세그먼트(42B)와 매칭된다. 하지만, 세그먼트(44C)에서, 사용자는 예컨대 스크린의 가장자리를 향해 이동하는 공을 바라보기 위해, 투시관점을 변경하였다. 사용자/조망자가 종료 시간 T OUT 에서 비디오로의 복귀를 선택할 때, 비디오 세그먼트(42G)는 가상 화면의 종결점의 좌표(-15, -45, 1.0)와 근접하게 매칭하는 좌표(-20, -45, 1.5)를 갖는 비디오 세그먼트(42G)가 도 4에서 도시되고 상술된 리스트와 같은 리스트로부터 사용자에 의해 선택되거나, 또는 "최상의 매칭" 기준에 따라 자동적으로 선택된다. 가상 화면을 위한 도 5a에서 도시된 좌표들은 일반적으로 가상 화면 렌더러에 의해 "공지"되어 있지만, 비디오 세그먼트들(42A 내지 42G)에 대한 좌표들은 인터넷 공급처와 같은 다른 채널에 의해 송신되는 브로드캐스트 신호로 인코딩되거나, 또는 비디오 세그먼트들(42C 내지 42G)을 검사하는 매칭/피처 추출 알고리즘에 의해 결정된다. 비디오 세그먼트들(42A 내지 42B)은 가상 화면으로의 진입의 시간(T IN ) 이전에 발생하기 때문에, 이들은 검사될 필요가 없다. 이와 달리, 카메라 앵글은 전혀 고려될 필요가 없으며, 프레임 매칭 기술들이 최상의 매칭을 결정하는 것 대신에 이용될 수 있다. 예를 들어, 정지 화상들이 비디오 세그먼트들(42C 내지 42G) 중에서 샘플링될 수 있고, 가상 화면 세그먼트(44C)에 대해 이미 공지된 크기 및 앵글 정보에 대한 피처 크기 및 앵글 추출에 의해 비교되어진다. 또는 프레임 매칭이 비디오 세그먼트들(42C 내지 42G) 중에서 샘플링된 비디오 프레임들에 대해 수행되고 가상 화면 세그먼트(44C)의 종결점 프레임(들)과 직접 비교되어질 수 있다.
이제 도 5b를 참조하면, 단순함을 위해 정적 카메라 앵글들로서 도시된 다수의 비디오 소스들(46A 내지 46C)을 도시하는 타임라인도가 도시된다. 만약 다수의 비디오 소스들 중에서 카메라 앵글이 변경되면, 도 5a에서 도시된 것과 같은 세그먼트들이 또한 카메라 위치를 정량화하기 위해 채용될 것이며, 이것은 프레임 레벨에서 수행될 수 있거나 또는 보다 큰 세그먼트들에서 수행될 수 있다. 비디오 소스 타임라인들 밑에는 출력 타임라인이 도시되며, 여기서 사용자/조망자는 비디오 소스(46B)를 조망하고, 그런 다음 세그먼트들(44A 내지 44C)을 갖는 가상 화면으로 전환한다. 종료 시간(T OUT )에서, 비디오 소스(46C)의 카메라 앵글 및 줌이 가상 화면 종결점 세그먼트 투시와 가장 가깝게 매칭하기 때문에, 비디오 소스(46C)는 비디오로의 복귀를 위해 선택된다. 상술한 바와 같이, 선택은 자동적일 수 있거나, 또는 도 4에서 도시된 바와 같이 사용자에게 제시된 위치된 매칭들의 리스트를 갖고 사용자/조망자 제어 하에서 수행될 수 있다. 또한, 다수의 비디오 소스 중에서 단일 비디오 소스를 선택하는 것 보다는, 가상 화면으로부터의 복귀시의 비디오가 가상 화면 종료점의 투시와 가장 가깝게 매칭되는 투시를 갖는 두 개 이상의 다수의 비디오 소스들로부터 보간될 수 있다.
이제 도 6을 참조하면, 본 발명의 실시예에 따른 방법이 흐름도에서 도시된다. 제일 먼저, 비디오 스트림이 디스플레이되고(단계 50), 사용자가 가상 화면 뷰를 선택할 때(단계 51), 종료 시간이 저장되고(단계 52), 장면은 가상 화면으로 전환된다(단계 53). 사용자가 비디오로의 복귀를 선택할 때(단계 54), 가상 화면 종 결점에서 가상 화면 카메라 앵글/콘텐츠와 매칭하는 비디오 소스 및/또는 시점들을 위치확인하기 위한 검색이 수행된다(단계 55). 위치된 매칭하는 화면 시간이 저장된 종료 시간 이후이면(단계 56), 화면이 리스트에 추가되며(단계 57), 그렇지 않은 경우 화면(시점/비디오 소스)은 폐기된다(단계 59). 리스트가 가득찬 경우, 또는 다른 검색 종결 기준이 충족되면(단계 58), 리스트는 디스플레이되고(단계 60), 사용자 선택에 응답하여, 선택된 비디오 소스/시점으로의 전환이 행해진다(단계 61).
비록 본 발명은 바람직한 실시예들을 참조하여 구체적으로 도시되고 설명되었지만, 전술한 내용 및 다른 변경들이 본 발명의 사상과 범위를 일탈하는 것 없이 취해질 수 있음을 본 발명분야의 당업자는 이해할 것이다.
신규한 특징들이라고 여겨지는 본 발명의 특성이 첨부된 청구범위에서 서술된다. 하지만, 본 발명 자체뿐만이 아니라, 본 발명의 바람직한 사용 모드, 추가적인 목적들, 및 장점들은 상기의 본 발명의 상세한 설명을 첨부된 도면들과 함께 참조하면서 읽을 때에 가장 잘 이해될 것이며, 도면내에서 동일 참조 부호들은 동일 컴포넌트들을 가리킨다.
도 1은 본 발명의 실시예에 따른 디지털 비디오 레코더(DVR)를 나타내는 블럭도이다.
도 2는 본 발명의 다른 실시예에 따른 디지털 비디오 레코더(DVR)를 나타내는 블럭도이다.
도 3은 본 발명의 실시예에 따른 시스템을 나타내는 블럭도이다.
도 4는 본 발명의 실시예에 따른 사용자 인터페이스의 도식도이다.
도 5a 및 도 5b는 본 발명의 실시예들에 따른 기술들을 나타내는 비디오 타림라인도들이다.
도 6은 본 발명의 실시예에 따른 방법의 흐름도이다.

Claims (10)

  1. 가상 화면으로부터 적어도 하나의 비디오 스트림으로의 천이를 제어하는 방법에 있어서,
    상기 비디오 스트림을 디스플레이하는 단계;
    상기 가상 화면을 디스플레이하는 것으로 천이하는 단계로서, 상기 천이하는 단계는 상기 가상 화면을 디스플레이하는 것으로의 천이 시간을 저장하는 것인, 상기 천이 단계;
    상기 가상 화면으로부터 상기 비디오 스트림으로의 천이에 대한 요청을 표시하는 이벤트를 수신하는 단계;
    상기 천이의 저장된 시간을 검색하는 단계;
    상기 가상 화면의 종결점에 대한 카메라 앵글 및 콘텐츠 매칭을 갖는 적어도 하나의 비디오 스트림 중의 선택된 하나의 비디오 스트림의 적어도 하나의 시점을 위치확인하는 단계로서, 상기 적어도 하나의 비디오 스트림 중의 적어도 하나의 시점은 상기 천이의 저장된 시간 이후의 시점인 것인, 상기 시점 위치확인 단계; 및
    상기 선택된 비디오 스트림을 상기 적어도 하나의 시점 중 선택된 하나의 시점에서 시작하여 디스플레이하는 단계
    를 포함하는, 비디오 스트림으로의 천이 제어 방법.
  2. 제 1 항에 있어서, 상기 적어도 하나의 비디오 스트림은 다수의 비디오 스트림들을 포함하며, 상기 위치확인하는 단계는 상기 가상 화면의 종결점의 가상 카메라 앵글에 대한 가장 가까운 매칭을 갖는 상기 선택된 비디오 스트림의 카메라 앵글에 따라 상기 다수의 비디오 스트림들 중 선택된 하나의 비디오 스트림을 선택하는 것인, 비디오 스트림으로의 천이 제어 방법.
  3. 제 1 항에 있어서, 상기 적어도 하나의 비디오 스트림은 단일의 비디오 스트림들을 포함하며, 상기 선택된 비디오 스트림은 상기 단일 비디오 스트림이며, 상기 위치확인하는 단계는 상기 가상 화면의 종결점의 콘텐츠에 대한 가장 가까운 콘텐츠 매칭을 갖는 적어도 하나의 시점에서의 상기 선택된 하나의 비디오 스트림을 선택하는 것인, 비디오 스트림으로의 천이 제어 방법.
  4. 제 1 항에 있어서, 상기 수신하는 단계는 상기 가상 화면으로부터 상기 비디오 스트림으로의 천이에 대한 요청을 표시하는 이벤트를 사용자 입력으로서 수신하고, 상기 위치확인하는 단계는 상기 적어도 하나의 시점 및 상기 적어도 하나의 비디오 스트림의 다수의 조합체들을 위치확인하며, 상기 선택된 비디오 스트림 및 상기 적어도 하나의 시점 중 선택된 하나의 시점을 선택하도록 상기 다수의 조합체들 중 적어도 몇 개의 조합체들의 리스트를 사용자에게 디스플레이하는 단계를 더 포함하는, 비디오 스트림으로의 천이 제어 방법.
  5. 제 1 항에 있어서, 상기 위치확인하는 단계는 소비자 디지털 비디오 레코딩 장치내에서 수행되며, 상기 디지털 비디오 레코딩 장치는 원격 서비스 공급자로부터 카메라 앵글 정보를 수신하며, 상기 위치확인하는 단계는 상기 수신된 카메라 앵글 정보로부터 상기 선택된 비디오 스트림의 상기 적어도 하나의 시점을 결정하는 것인, 비디오 스트림으로의 천이 제어 방법.
  6. 제 1 항에 있어서, 상기 위치확인하는 단계는 사용자의 소비자 디지털 비디오 레코딩 장치내에서 수행되며, 상기 디지털 비디오 레코딩 장치는 상기 적어도 하나의 비디오 스트림으로부터 정지 화상 정보를 추출하며, 상기 위치확인하는 단계는 상기 정지 화상 정보를 상기 가상 화면의 종결점과 매칭시킴으로써 상기 선택된 비디오 스트림의 상기 적어도 하나의 시점을 결정하는 것인, 비디오 스트림으로의 천이 제어 방법.
  7. 제 1 항에 있어서, 상기 가상 화면은 소비자 디지털 비디오 레코딩 장치내에서 생성되는 것인, 비디오 스트림으로의 천이 제어 방법.
  8. 가상 화면과 적어도 하나의 비디오 스트림 사이의 선택을 위한 프로세서를 포함하는 소비자 디지털 비디오 레코딩 장치에 있어서, 상기 프로세서는 상기 디지털 비디오 레코딩 장치의 저장소내에 저장된 프로그램 명령어들을 실행하며, 상기 프로그램 명령어들은 제1항 내지 제7항 중 어느 한 항의 방법의 단계들을 위한 프로그램 명령어들을 포함하는 것인, 소비자 디지털 비디오 레코딩 장치.
  9. 제 8 항에 있어서, 상기 프로그램 명령어는 상기 가상 화면을 생성시키는 플그램 명령어를 더 포함하는 것인, 소비자 디지털 비디오 레코딩 장치.
  10. 프로그램 명령어들을 저장하는 저장소를 포함하는 소비자 디지털 비디오 레코딩 장치내의 프로세서에 의해 실행되는 프로그램 명령어들을 기록한 컴퓨터 판독가능 기록매체에 있어서, 상기 프로그램 명령어들은 가상 화면 및 적어도 하나의 비디오 스트림 사이에서의 선택을 위한 프로그램 명령어들을 포함하며, 상기 프로그램 명령어들은 제1항 내지 제7항 중 어느 한 항의 방법의 단계들을 위한 프로그램 명령어들을 포함하는 것인, 컴퓨터 판독가능 기록매체.
KR1020090100924A 2008-10-28 2009-10-22 소비자 디지털 비디오 레코딩 장치에서 가상 랜더링으로부터의 복귀에 대한 비디오 화면 매칭 KR101107366B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/259,856 2008-10-28
US12/259,856 US8233530B2 (en) 2008-10-28 2008-10-28 Video scene matching on return from virtual rendering in a consumer digital video recording device

Publications (2)

Publication Number Publication Date
KR20100047137A KR20100047137A (ko) 2010-05-07
KR101107366B1 true KR101107366B1 (ko) 2012-01-19

Family

ID=42117469

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090100924A KR101107366B1 (ko) 2008-10-28 2009-10-22 소비자 디지털 비디오 레코딩 장치에서 가상 랜더링으로부터의 복귀에 대한 비디오 화면 매칭

Country Status (3)

Country Link
US (1) US8233530B2 (ko)
KR (1) KR101107366B1 (ko)
TW (1) TW201031206A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374172B2 (en) * 2009-04-03 2013-02-12 At&T Intellectual Property I, L.P. Method and apparatus for managing communication sessions
US10129579B2 (en) 2015-10-15 2018-11-13 At&T Mobility Ii Llc Dynamic video image synthesis using multiple cameras and remote control
US10419794B2 (en) * 2017-03-17 2019-09-17 Rovi Guides, Inc. Systems and methods for synchronizing media asset playback from multiple sources
SE545897C2 (en) * 2022-02-04 2024-03-05 Livearena Tech Ab System and method for producing a shared video stream

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000070320A (ko) * 1997-11-20 2000-11-25 다니구찌 이찌로오, 기타오카 다카시 화면작성에디터
JP2002123369A (ja) * 2000-10-11 2002-04-26 Internatl Business Mach Corp <Ibm> データ処理装置、入出力装置、タッチパネルの制御方法、記憶媒体及びプログラム伝送装置
KR20060028250A (ko) * 2004-09-24 2006-03-29 엘지전자 주식회사 데이터 방송의 화면 처리장치 및 방법
JP2008097599A (ja) * 2006-10-11 2008-04-24 Internatl Business Mach Corp <Ibm> 模擬視差および視野変化を伴う仮想ウィンドウの方法、システム、およびコンピュータ・プログラムが記録された記録媒体（模擬視差および視野変化を伴う仮想ウィンドウ）

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7448063B2 (en) 1991-11-25 2008-11-04 Actv, Inc. Digital interactive system for providing full interactivity with live programming events
US5585866A (en) 1993-09-09 1996-12-17 Miller; Larry Electronic television program guide schedule system and method including virtual channels
US5729471A (en) 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5808662A (en) 1995-11-08 1998-09-15 Silicon Graphics, Inc. Synchronized, interactive playback of digital movies across a network
US6038368A (en) 1996-02-05 2000-03-14 Sony Corporation System for acquiring, reviewing, and editing sports video segments
US6177931B1 (en) 1996-12-19 2001-01-23 Index Systems, Inc. Systems and methods for displaying and recording control interface with television programs, video, advertising information and program scheduling information
FI20001570A (fi) 2000-06-30 2001-12-31 Nokia Corp Synkronoitu palveluntarjonta tietoliikenneverkossa
US6822693B2 (en) 2000-12-23 2004-11-23 International Business Machines Corporation Television tuner that changes the rendering of a digital television broadcast according to information displayed on a scoreboard during a sporting event
US20050005308A1 (en) 2002-01-29 2005-01-06 Gotuit Video, Inc. Methods and apparatus for recording and replaying sports broadcasts
US7114172B2 (en) 2001-06-28 2006-09-26 Koninklijke Philips Electronics N.V. Synchronized personal video recorders
US7363569B2 (en) 2001-06-29 2008-04-22 Intel Corporation Correcting for data losses with feedback and response
US7173672B2 (en) * 2001-08-10 2007-02-06 Sony Corporation System and method for transitioning between real images and virtual images
US8880709B2 (en) 2001-09-12 2014-11-04 Ericsson Television Inc. Method and system for scheduled streaming of best effort data
US7574474B2 (en) 2001-09-14 2009-08-11 Xerox Corporation System and method for sharing and controlling multiple audio and video streams
US20030086694A1 (en) 2001-11-07 2003-05-08 Nokia Corporation Recording program scheduling information in an electronic calendar
JP3776791B2 (ja) 2001-11-27 2006-05-17 株式会社東芝 番組録画方法、番組録画装置
US7269338B2 (en) 2001-12-11 2007-09-11 Koninklijke Philips Electronics N.V. Apparatus and method for synchronizing presentation from bit streams based on their content
US7149415B2 (en) 2002-05-23 2006-12-12 Microsoft Corporation Program recording completion
US7474832B2 (en) 2002-11-21 2009-01-06 International Business Machines Corporation Personal video recording with storage space distributed among remote personal video recorders
KR100546679B1 (ko) 2003-01-07 2006-01-26 엘지전자 주식회사 개인용 비디오 녹화 시스템 및 녹화 방법
US7113773B2 (en) 2003-05-16 2006-09-26 Qualcomm Incorporated Reliable reception of broadcast/multicast content
US7536725B2 (en) 2003-07-28 2009-05-19 Limelight Networks, Inc. Authentication of content download
US7558469B2 (en) 2003-09-05 2009-07-07 Echostar Technologies Corporation Method and apparatus to display graphically recording timer conflicts
US7324594B2 (en) * 2003-11-26 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Method for encoding and decoding free viewpoint videos
US8607270B2 (en) 2004-02-03 2013-12-10 Microsoft Corporation Virtual tuner
JP4352976B2 (ja) 2004-04-20 2009-10-28 株式会社日立製作所 受信装置及び受信方法
US7444664B2 (en) 2004-07-27 2008-10-28 Microsoft Corp. Multi-view video format
US9584868B2 (en) 2004-07-30 2017-02-28 Broadband Itv, Inc. Dynamic adjustment of electronic program guide displays based on viewer preferences for minimizing navigation in VOD program selection
US7142209B2 (en) 2004-08-03 2006-11-28 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid
US7499708B2 (en) 2004-09-09 2009-03-03 Telcom Ventures, L.L.C. Millimeter microwave point-to-multipoint broadcasting systems, components and methods that monitor and rebroadcast data packets
KR20070086037A (ko) * 2004-11-12 2007-08-27 목3, 인크. 장면 간 전환 방법
US7814517B2 (en) 2004-11-23 2010-10-12 Palo Alto Research Center Incorporated Method and apparatus for associating commentary audio with a position in an experiential data stream
US7868904B2 (en) * 2005-04-01 2011-01-11 Canon Kabushiki Kaisha Image processing method and image processing apparatus
US7669219B2 (en) 2005-04-15 2010-02-23 Microsoft Corporation Synchronized media experience
US8156176B2 (en) 2005-04-20 2012-04-10 Say Media, Inc. Browser based multi-clip video editing
US20060288361A1 (en) 2005-06-16 2006-12-21 White Eagle Brian L In a system for receiving and storing data representative of a plurality of broadcast television progams, an implementation for locating replacement portions for defective portions of stored programs from other broadcasts of corresponding television programs
US8296373B2 (en) 2007-02-02 2012-10-23 Facebook, Inc. Automatically managing objectionable behavior in a web-based social network
EP1997315B1 (en) 2006-03-17 2016-02-10 Sony Corporation System and method for organizing group content presentations and group communications during the same
US7809242B2 (en) 2006-06-23 2010-10-05 Microsoft Corporation Recording resource limitation resolution
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
US20080086743A1 (en) 2006-10-06 2008-04-10 Infovalue Computing, Inc. Enhanced personal video recorder
US8522299B2 (en) 2007-06-15 2013-08-27 Microsoft Corporation Virtual personal video recorder
US20090044216A1 (en) 2007-08-08 2009-02-12 Mcnicoll Marcel Internet-Based System for Interactive Synchronized Shared Viewing of Video Content
US20090052870A1 (en) 2007-08-22 2009-02-26 Time Warner Cable Inc. Apparatus And Method For Remote Control Of Digital Video Recorders And The Like
US8181117B2 (en) 2008-10-21 2012-05-15 Microsoft Corporation Display of predicted storage state of target computing device during media file synchronization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000070320A (ko) * 1997-11-20 2000-11-25 다니구찌 이찌로오, 기타오카 다카시 화면작성에디터
JP2002123369A (ja) * 2000-10-11 2002-04-26 Internatl Business Mach Corp <Ibm> データ処理装置、入出力装置、タッチパネルの制御方法、記憶媒体及びプログラム伝送装置
KR20060028250A (ko) * 2004-09-24 2006-03-29 엘지전자 주식회사 데이터 방송의 화면 처리장치 및 방법
JP2008097599A (ja) * 2006-10-11 2008-04-24 Internatl Business Mach Corp <Ibm> 模擬視差および視野変化を伴う仮想ウィンドウの方法、システム、およびコンピュータ・プログラムが記録された記録媒体（模擬視差および視野変化を伴う仮想ウィンドウ）

Also Published As

Publication number Publication date
US8233530B2 (en) 2012-07-31
KR20100047137A (ko) 2010-05-07
TW201031206A (en) 2010-08-16
US20100104005A1 (en) 2010-04-29

Similar Documents

Publication Publication Date Title
US7836475B2 (en) Video access
JP6857251B2 (ja) ビデオ・コンテンツ切り替えおよび同期システム、ならびに複数のビデオ・フォーマット間における切り替え方法
JP4955544B2 (ja) ズーム可能ユーザインターフェースのためのクライアント／サーバアーキテクチャおよび方法
JP5092469B2 (ja) 撮像装置、画像処理装置、および画像表示制御方法、並びにコンピュータ・プログラム
RU2607236C2 (ru) Задание последовательности контента
KR101919475B1 (ko) 사용자 인터페이스 제공 장치 및 방법
EP2574069A1 (en) Contents sharing method and display apparatus using the same
JP5567851B2 (ja) １次メディア・ストリーム内に２次メディア・ストリームを表示する方法、システム、及びコンピュータ・プログラム
JP5517598B2 (ja) 映像再生装置及びその制御方法
KR20140117387A (ko) 제2 스크린 상의 대체 뷰 비디오 재생
JP2008228134A (ja) 画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラム
JP2011509554A (ja) プログラムセグメント表示バー
JP2005198039A (ja) 情報表示装置および情報表示方法
US11082752B2 (en) Shot-based view files for trick play mode in a network-based video delivery system
KR101107366B1 (ko) 소비자 디지털 비디오 레코딩 장치에서 가상 랜더링으로부터의 복귀에 대한 비디오 화면 매칭
JP5500972B2 (ja) 放送受信装置及びその制御方法
JP6341924B2 (ja) ハンドヘルドディスプレイズーム機能
WO2020054456A1 (ja) 表示制御装置および表示制御方法、並びにプログラム
KR101481689B1 (ko) 숫자정보를 이용한 멀티미디어 컨텐츠 탐색방법 및 장치
AU2006293677B2 (en) A search tool
US7646968B1 (en) End-user configurable digital versatile disk menus and methods for generating the same
US9047914B1 (en) Content navigation
Veenhuizen et al. MosaicUI: Interactive media navigation using grid-based video
JP2002344878A (ja) ビデオ装置
JP2006164415A (ja) 未視聴部分をもとにした情報再生表示装置とその方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee