JP4719641B2 - 動画像データ提供方法、動画像データ提供方法のプログラム、動画像データ提供方法のプログラムを記録した記録媒体、動画像データ提供装置及び動画像データ提供システム。 - Google Patents

動画像データ提供方法、動画像データ提供方法のプログラム、動画像データ提供方法のプログラムを記録した記録媒体、動画像データ提供装置及び動画像データ提供システム。 Download PDF

Info

Publication number
JP4719641B2
JP4719641B2 JP2006204124A JP2006204124A JP4719641B2 JP 4719641 B2 JP4719641 B2 JP 4719641B2 JP 2006204124 A JP2006204124 A JP 2006204124A JP 2006204124 A JP2006204124 A JP 2006204124A JP 4719641 B2 JP4719641 B2 JP 4719641B2
Authority
JP
Japan
Prior art keywords
image data
moving image
partial area
frame rate
thinned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006204124A
Other languages
English (en)
Other versions
JP2008035006A (ja
Inventor
義彦 黒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006204124A priority Critical patent/JP4719641B2/ja
Priority to US11/782,473 priority patent/US7907153B2/en
Publication of JP2008035006A publication Critical patent/JP2008035006A/ja
Application granted granted Critical
Publication of JP4719641B2 publication Critical patent/JP4719641B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、動画像データ提供方法、動画像データ提供方法のプログラム、動画像データ提供方法のプログラムを記録した記録媒体、動画像データ提供装置及び動画像データ提供システムに関し、例えばスポーツ番組等の映像コンテンツをユーザーに提供する場合に適用することができる。本発明は、高解像度、ハイフレームレートの動画像データを部分的に切り出して一部領域の動画像データを作成すると共に、解像度、フレームを間引きして間引き動画像データを生成し、これら一部領域の動画像データ、間引き動画像データを伝送することにより、伝送するデータ量の増大を回避しつつ動画ボケ、ジャーキネスを防止して、引き気味の映像とズームアップした映像とを選択的にユーザーに提供することができるようにする。
従来、ＮＴＳＣ（National Television System Committee）、ＨＤＴＶ（High Definition Television）のビデオ信号による動画像データは、フィールド周波数が６０〔Ｈｚ〕又は５９．９４〔Ｈｚ〕に設定されており、ＰＡＬ（Phase Alternation by Line ）方式のビデオ信号による動画像データは、フィールド周波数が５０〔Ｈｚ〕に設定されている。また映画は、一般に、フレーム周波数が２４〔Ｈｚ〕に設定されている。
このようなフィールド周波数、フレーム周波数による動画像データの表示では、動画ボケ、ジャーキネス（jerkiness ）等の画質劣化が知られている。ここで動画ボケは、撮像系と表示系とで発生し、撮像系で発生する動画ボケは、移動する被写体を一定長の電荷蓄積時間で間欠的に撮影することで発生する。また表示系で発生する動画ボケは、いわゆるホールド型の表示ディバイスで発生する。なおここでホールド型の表示ディバイスは、例えば液晶表示パネルのように、各フレームの画像を１フレームの期間、表示し続けるディバイスである。表示系で発生する動画ボケは、フィルムの投影による映画、ＤＬＰ（Digital Light Processing）による映画でも発生する。表示系で発生する動画ボケは、表示された移動物体を追従視する場合に、網膜スリップ（Retinal slip、視覚情報処理ハンドブック、朝倉書店、p. 393）と呼ばれる網膜上での像のずれが生じることで知覚される。
従って撮像系で発生する動画ボケは、電荷蓄積時間を短くすることで防止することができ、また表示系で発生する動画ボケは、発光時間の短いインパルス応答側の表示ディバイスを使用することで防止することができる。
しかしながら従来のフィールド周波数、フレーム周波数で、単に、電荷蓄積時間を短くし、発光時間の短いインパルス応答側の表示ディバイスを使用したのでは、ジャーキネスが知覚される。ここでジャーキネスは、動く被写体を撮影した場合に、この被写体の動きが離散的に見て取られる現象である。従って動画ボケを防止し、さらにはジャーキネスを防止するためには、フレーム周波数を増大させることが必要になると考えられる。
このような動画像データの表示に関して、特開２００５−２１５３５１号公報には、一部を切り出してズームアップ表示する構成が開示されている。
ところでサッカー、アメリカンフットボール等のスポーツ中継では、複数台のテレビジョンカメラで撮影を分担し、これら複数台のテレビジョンカメラで得られる動画像データをキーイングして放送している。より具体的に、これらの中継では、例えば１台のテレビジョンカメラが、引き気味に、ピッチ、フィールドの全景、又はピッチ、フィールドの一部を撮影し、また他のテレビジョンカメラが、ズームアップしてボール、特定の選手等を追いかける。さらに試合開始直後、プレーが一時中断した直後、ズームアップした映像で被写体を追いかけることができなくなった場合等には、引き気味に撮影しているテレビジョンカメラの映像を放送する。
このような映像コンテンツに関して、このような引き気味の映像とズームアップした映像との双方をユーザーに提供すれば、ユーザー側でこれら２種類の映像を選択的に表示したり、またこれら２種類の映像の双方を同時に表示したりすることができ、映像コンテンツの楽しみ方を増大させることができると考えられる。
しかしながら単に、引き気味の映像とズームアップした映像との双方を伝送する場合、２系統の動画像データを伝送することになり、１系統の動画像データを伝送する場合に比して、２倍のデータ量を伝送しなければならなくなる問題がある。
この問題を解決する１つの方法として、例えば特開２００５−２１５３５１号公報の手法を適用して、引き気味の映像からズームアップした映像を切り出して提供する方法が考えられる。この方法によれば、伝送する動画像データは、１系統で済むことから、単に引き気味の映像とズームアップした映像との２系統の動画像データを伝送する場合に比して、伝送するデータ量を低減することができる。
しかしながらこのようにしても、上述した動画ボケ、ジャーキネスを防止する場合には、引き気味の映像を表示する１系統の動画像データを高フレームレートで伝送することが必要になり、伝送するデータ量が増大する問題がある。
特開２００５−２１５３５１号公報
本発明は以上の点を考慮してなされたもので、伝送するデータ量の増大を回避しつつ動画ボケ、ジャーキネスを防止して、引き気味の映像とズームアップした映像とを選択的にユーザーに提供することができる動画像データ提供方法、動画像データ提供方法のプログラム、動画像データ提供方法のプログラムを記録した記録媒体、動画像データ提供装置及び動画像データ提供システムを提案しようとするものである。
上記の課題を解決するため請求項１の発明は、動画像データ提供方法に適用して、第１のフレームレートの入力動画像データを用いてフレーム及び画素の間引き処理を行い、第２のフレームレートの間引き動画像データを出力する間引きステップと、前記入力動画像データのうち、選択された一部領域における全画素、且つ、全フレームであり、前記第１のフレームレートを有する一部領域動画像データを出力する一部領域動画像データ選択ステップと、受信側において選択的に表示可能な状態で前記間引き動画像データと前記一部領域動画像データとを出力するデータ出力ステップとを有する。
また請求項４の発明は、動画像データ提供方法のプログラムに適用して、第１のフレームレートの入力動画像データを用いてフレーム及び画素の間引き処理を行い、第２のフレームレートの間引き動画像データを出力する間引きステップと、前記入力動画像データのうち、選択された一部領域における全画素、且つ、全フレームであり、前記第１のフレームレートを有する一部領域動画像データを出力する一部領域動画像データ選択ステップと、受信側において選択的に表示可能な状態で前記間引き動画像データと前記一部領域動画像データとを出力するデータ出力ステップとを有する。
また請求項５の発明は、動画像データ提供方法のプログラムを記録した記録媒体に適用して、第１のフレームレートの入力動画像データを用いてフレーム及び画素の間引き処理を行い、第２のフレームレートの間引き動画像データを出力する間引きステップと、前記入力動画像データのうち、選択された一部領域における全画素、且つ、全フレームであり、前記第１のフレームレートを有する一部領域動画像データを出力する一部領域動画像データ選択ステップと、受信側において選択的に表示可能な状態で前記間引き動画像データと前記一部領域動画像データとを出力するデータ出力ステップとを有する。
動画像データ提供方法のプログラムを記録した記録媒体。
また請求項６の発明は、動画像データ提供装置に適用して、第１のフレームレートの入力動画像データを用いてフレーム及び画素の間引き処理を行い、第２のフレームレートの間引き動画像データを出力する間引き部と、前記入力動画像データのうち、選択された一部領域における全画素、且つ、全フレームであり、前記第１のフレームレートを有する一部領域動画像データを出力する一部領域動画像データ選択部と、受信側において選択的に表示可能な状態で前記間引き動画像データと前記一部領域動画像データとを出力するデータ出力部とを有する。
また請求項７の発明は、動画像データ提供方法に適用して、第１のフレームレートの入力動画像データを用いてフレーム及び画素の間引き処理を行い、第２のフレームレートの間引き動画像データを出力する間引きステップと、前記入力動画像データのうち、選択された一部領域における全画素、且つ、全フレームであり、前記第１のフレームレートを有する一部領域動画像データを出力する一部領域動画像データ選択ステップと、受信側において選択的に表示可能な状態で前記間引き動画像データと前記一部領域動画像データとを出力するデータ出力ステップとを送信側において行い、ユーザーの操作に応じて、前記一部領域動画像データの全画面表示と、前記間引き動画像データの全画面表示と、前記一部領域動画像データを全画面表示した状態での前記間引き動画像データの子画面による表示とを選択的に行う表示ステップを受信側において行う。
また請求項９の発明は、動画像データ提供システムに適用して、第１のフレームレートの入力動画像データを用いてフレーム及び画素の間引き処理を行い、第２のフレームレートの間引き動画像データを出力する間引き部と、前記入力動画像データのうち、選択された一部領域における全画素、且つ、全フレームであり、前記第１のフレームレートを有する一部領域動画像データを出力する一部領域動画像データ選択部と、受信側において選択的に表示可能な状態で前記間引き動画像データと前記一部領域動画像データとを出力するデータ出力部とを有する送信側装置と、ユーザーの操作に応じて、前記一部領域動画像データの全画面表示と、前記間引き動画像データの全画面表示と、前記一部領域動画像データを全画面表示した状態での前記間引き動画像データの子画面による表示とを選択的に行う表示部を有する受信側装置とを有する。
請求項１、請求項４、請求項５、請求項６、請求項７又は請求項９の構成により、一部領域の動画像データと、間引き動画像データとを出力すれば、これら一部領域の動画像データと間引き動画像データとを用いて、ズームアップした映像と引き気味の映像とをユーザーに提供することができる。また入力動画像データから選択した一部領域の動画像データが一部領域の動画像データであり、入力動画像データを間引きして間引き動画像データを生成することから、引き気味の映像とズームアップした映像との２系統の動画像データを単に伝送する場合に比して伝送に供するデータ量を低減することができる。また間引き動画像データをフレーム及び画素を間引きして作成することにより、動画ボケ、ジャーキネスを防止することができる。
本発明によれば、伝送するデータ量の増大を回避しつつ動画ボケ、ジャーキネスを防止して、引き気味の映像とズームアップした映像とを選択的にユーザーに提供することができる。
以下、適宜図面を参照しながら本発明の実施例を詳述する。
（１）実施例の構成
図１は、本発明の実施例１の映像コンテンツ提供システムを示すブロック図である。この映像コンテンツ提供システム１は、ホスト装置２とユーザー端末装置３とをホームネットワーク４で接続し、図２（Ａ）に示すように、引き気味の映像Ｖ１と、この引き気味の映像Ｖ１の一部領域を切り出したズームアップした映像Ｖ２とを選択的に表示可能に、ホスト装置２からユーザー端末３に映像コンテンツを提供し、さらにはユーザー端末装置３からユーザーに映像コンテンツを提供する。この映像コンテンツ提供システム１は、引き気味の映像Ｖ１からズームアップした映像Ｖ２を作成する一部領域の指定をユーザー端末装置３でユーザーから受け付ける。
ここでホスト装置２において、記録再生装置１１は、例えば大容量のハードディスク装置、光ディスクプレイヤー等であり、演算処理部１６の制御に従って映像コンテンツの動画像データＳＶＨを出力する。ここでこの動画像データＳＶＨは、高解像度、ハイフレームレートのビデオ信号によるものである。動画像データＳＶＨは、一部領域を切り出してズームアップした映像Ｖ２をユーザー端末装置３で全画面表示した場合でも、動画ボケ、ジャーキネスを防止可能なハイフレームレートの動画像データである。動画像データは、フレーム周波数を５０〔フレーム／ｓｅｃ〕以上とすれば、動画ボケ、ジャーキネスを低減することができ、フレーム周波数を１２０〔フレーム／ｓｅｃ〕以上とすれば、動画ボケ、ジャーキネスを知覚困難とすることができる。この実施例において、記録再生装置１１は、フレーム周波数１２０〔フレーム／ｓｅｃ〕で動画像データＳＶＨを出力する。
また動画像データＳＶＨは、一部領域を切り出してズームアップの映像Ｖ２をユーザー端末装置３で全画面表示した場合でも、このズームアップの映像Ｖ２を十分な解像度で全画面表示可能な高解像度の動画像データである。動画像データＳＶＨは、好ましくはＶＧＡ（Video Graphics Array）以上の解像度であることが望まれ、さらにより好ましくは、ＨＤＴＶ（High Definition Television）以上の解像度とすることが望まれる。
間引き部１２は、この動画像データＳＶＨの画素、フレームを間引きして動画像データＳＶ１を出力する。ここでこの映像コンテンツ提供システム１では、動画像データＳＶＨから一部領域を切り出してズームアップの映像Ｖ２を作成することから、この一部領域をユーザー端末装置３で全画面表示する場合に比して、動画像データＳＶＨをユーザー端末装置３で全画面表示する場合（Ｖ１）、当然に被写体の動きが小さくなり、動画ボケ、ジャーキネスに対する余裕が大きくなる。また解像度の劣化についても、一部領域をユーザー端末装置３で全画面表示する場合に比して、動画像データＳＶＨをユーザー端末装置３で全画面表示する場合の方が余裕が大きくなる。間引き部１２は、この動画ボケ、ジャーキネスに対する余裕が大きい分、動画像データＳＶＨのフレームを間引きする。また解像度の劣化についての余裕が大きい分、動画像データＳＶＨの画素を間引きする。なおこの画素、フレームの間引きは、実用上十分な特性を確保することができる場合には、種々の間引き率に設定することができる。
エンコーダ１３は、間引き部１２から出力される動画像データＳＶ１をデータ圧縮して符号化データＤＶ１を生成する。なおこのデータ圧縮には、例えばＭＰＥＧ（Moving Picture Experts Group）−４の手法等を適用することができる。ホスト装置２は、この符号化データＤＶ１を引き気味の映像Ｖ１としてユーザー端末装置３に提供する。
インターフェース（Ｉ／Ｆ）１４は、エンコーダ１３から出力される符号化データＤＶ１を、エンコーダ１５から出力される符号化データＤＶ２と共にホームネットワーク４に送出する。またホームネットワーク４からユーザー端末装置３の各種リクエストＲＱを受信し、受信したリクエストＲＱを演算処理部１６等に通知する。ここでこの実施例では、このユーザー端末装置３からのリクエストＲＱが、引き気味の映像Ｖ１からズームアップの映像Ｖ２を切り出す領域の指定等である。
選択部１７は、演算処理部１６からの指示に従って動画像データＳＶＨから一定領域の動画像データを選択し、ズームアップの映像Ｖ２を表示するズームアップの動画像データＳＶ２を出力する。
エンコーダ１５は、エンコーダ１３と同様に、このズームアップの動画像データＳＶ２をデータ圧縮処理し、その処理結果である符号化データＤＶ２を出力する。
演算処理部１６は、図示しない記録手段に記録されたプログラムを実行してホスト装置２の動作を制御する演算処理手段である。なおこの実施例において、このプログラムは、このユーザー端末装置３に事前にインストールされて提供されるものの、これに代えて光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。また間引き部１２、エンコーダ１３、１５、選択部１７を、この演算処理部１６の機能ブロックとして構成してもよい。
すなわち演算処理部１６は、ユーザー端末装置３から再生可能な映像コンテンツの通知がリクエストされると、記録再生装置１１に記録された映像コンテンツのタイトルをユーザー端末装置３に通知する。またこの通知によりユーザー端末装置３から映像コンテンツの再生が指示されると、ユーザー端末装置３で指示された映像コンテンツを再生するように記録再生装置１１の動作を制御する。またこの記録再生装置１１から出力される映像コンテンツの動画像データＳＶＨを間引き部１２、エンコーダ１３で順次処理してユーザー端末装置３に提供する。これにより演算処理部１６は、引き気味の映像Ｖ１をユーザー端末装置３に提供する。
このようにして引き気味の映像Ｖ１をユーザー端末装置３に提供した状態で、ユーザー端末装置３からズームアップ映像Ｖ２のリクエストが得られると、演算処理部１６は、図３に示す処理手順を開始する。すなわち演算処理部１６は、この処理手順を開始すると、ステップＳＰ１からステップＳＰ２に移る。ここで演算処理部１６は、記録再生装置１１における映像コンテンツの再生を一時停止し、現在出力中のフレームの動画像データを繰り返し出力するように間引き部１２の動作を設定する。これにより演算処理部１６は、現在提供中の映像コンテンツを静止画に切り換える。なおこの静止画による映像コンテンツの出力は、記録再生部１１の制御により実行してもよい。
この状態で、演算処理部１６は、ズームアップの映像Ｖ２を作成する一部領域の設定をユーザー端末装置３から受け付ける。なおここでこの設定の受け付けは、例えば現在ユーザー端末装置３に提供している静止画において、この一部領域の中央の座標の入力を受け付けて実行される。なおこの一部領域の受け付けは、結局、ズームアップの映像Ｖ２で表示する被写体を特定するものである。従って、この一部領域の中央の座標に代えて、直接、このズームアップの映像Ｖ２で表示する被写体の座標により、一部領域の設定を受け付けるようにしてもよい。また例えば対角方向の端点の指定により、この一部領域の設定を受け付けるようにしてもよい。演算処理部１６は、間引き部１２から出力される動画像データＳＶ１を解析し、この一部領域の中から追跡対象の被写体を検出する。
続いて演算処理部１６は、ステップＳＰ４に移り、記録再生装置１１に映像コンテンツの再生再開を指示し、動画による映像コンテンツの提供を再開する。また続くステップＳＰ５において、間引き部１２から出力される動画像データＳＶ１を解析し、ステップＳＰ３で検出した被写体の追跡を開始する。なおここでこれらの被写体の検出、追跡は、例えばテンプレートマッチングを利用した被写体の検出、追跡、特徴点を利用した被写体の検出、追跡等、各種の手法を適用することができる。またさらに演算処理部１６は、選択部１７、エンコーダ１５に動作の開始を指示し、ズームアップ映像Ｖ２の出力開始を指示する。
続いて演算処理部１６は、ステップＳＰ６に移り、ここで被写体の追跡を次フレームで成功したか否か判定し、ここで肯定結果が得られると、ステップＳＰ６からステップＳＰ７に移る。ここで動画像データＳＶ１で検出される現フレームから次フレームまでの、ユーザーが指示した追跡対象の被写体の移動量から、間引き前の動画像データＳＶＨにおけるこの被写体の連続するフレーム間の移動量を計算する。なおこの実施例では、動画像データＳＶ１と動画像データＳＶＨとのフレーム周波数の比で、動画像データＳＶ１で検出される現フレームから次フレームまでの被写体の移動量を割り算して、この動画像データＳＶＨにおける移動量を計算する。
続いて演算処理部１６は、ステップＳＰ８に移り、ステップＳＰ８で計算した移動量に基づいて、動画像データＳＶ１の現フレームから次フレームまでの間の期間で、動画像データＳＶＨのフレーム毎に、追跡対象の被写体の動きに追従してこの一部領域が移動するように、動画像データＳＶＨから切り出す一部領域の座標を計算し、この計算した各フレームの座標を選択部１７に順次通知する。これによりホスト装置２は、図２（Ｂ）において符号Ｖ２−１〜Ｖ２−３で示すように、被写体の移動を追跡するようにズームアップの映像を作成する一部領域を可変して、ズームアップの映像Ｖ２による動画像データＳＶ２を生成する。
なお演算処理部１６は、このステップＳＰ８の処理において、一定の範囲でズームアップの映像Ｖ２を作成する一部領域の可動範囲を制限し、この一部領域が動画像データＳＶＨの画枠を飛び出さないようにする。
演算処理部１６は、ステップＳＰ８の処理を完了すると、ステップＳＰ９に移り、ユーザー端末装置３からズームアップ映像Ｖ２の提供終了が指示されたか否か判断し、ここで否定結果が得られると、ステップＳＰ９からステップＳＰ６に移る。これに対してステップＳＰ９で肯定結果が得られると、ステップＳＰ９からステップＳＰ１０に移り、この処理手順を終了する。
これに対してステップＳＰ６で否定結果が得られると、演算処理部１６は、ステップＳＰ６からステップＳＰ１１に移り、現在のフレームで設定している一部領域の中心位置を可変することなく、この一部領域を順次拡大させ、これによりズームアップの映像Ｖ２をズームダウンさせ、ステップＳＰ９に移る。なおこの場合、選択部１２は、補間演算処理によりこの一部領域を拡大させても、動画像データＳＶ２の解像が変化しないようにする。
図４は、ユーザー端末装置３の構成を詳細に示すブロック図である。ユーザー端末装置３において、インターフェース（Ｉ／Ｆ）２１は、ホームネットワーク４を介して入力される符号化データＤＶ１、ＤＶ２をデコーダ２２、２３に出力し、またコントローラ２４から出力される各種のリクエストＲＱをホスト装置２に通知する。
デコーダ２２、２３は、それぞれ符号化データＤＶ１、ＤＶ２をデコードして動画像データＳＶ１、ＳＶ２を出力する。
表示部２６は、例えば液晶表示装置により形成され、画像処理部２５から出力される動画像データによる映像を表示する。
画像処理部２５は、コントローラ２４の制御により動作を切り換え、動画像データＳＶ１、ＳＶ２を選択的に出力し、図５（Ａ）又は（Ｂ）に示すように、表示部２６に引き気味の映像Ｖ１又はズームアップした映像Ｖ２を全画面表示する。また図５（Ｃ）に示すように、引き気味の映像Ｖ１を全画面表示している場合には、ズームアップした映像Ｖ２を切り出す領域に枠Ｗ１を表示する。またコントローラ２４からピクチャーインピクチャーによる表示が指示されると、図５（Ｄ）に示すように、ズームアップした映像Ｖ２を全画面表示した状態で、引き気味の映像Ｖ１を子画面により表示する。またこのピクチャーインピクチャーによる表示では、前置補間の手法により、動画像データＳＶ１による引き気味の映像Ｖ１のフレーム周波数を増大させ、動画像データＳＶ２によるズームアップした映像Ｖ２のフレーム周波数と一致するように設定してこれら映像Ｖ１及びＶ２を表示する。
リモートコマンダ（リモコン）２７は、このユーザー端末装置３の遠隔制御装置であり、赤外線又は無線電波等による遠隔制御信号を出力する。
コントローラ２４は、図示しないメモリに記録されたプログラムの実行により、リモートコマンダ２７の操作に応動してこのユーザー端末装置３の動作を制御する制御手段である。なおこの実施例において、このプログラムは、このユーザー端末装置３に事前にインストールされて提供されるものの、これに代えて光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。またデコーダ２２、２３、画像処理部２５を、このコントローラ２７を構成する演算処理手段の機能ブロックとして構成してもよい。
図６は、このコントローラ２４の処理手順を示すフローチャートである。コントローラ２４は、リモートコマンダ２７の操作によりユーザーが映像コンテンツの再生を指示すると、ステップＳＰ１１からステップＳＰ１２に移り、ホスト装置２に提供可能な映像コンテンツの一覧をリクエストする。またこのリクエストによりホスト装置２から提供される映像コンテンツの一覧を表示部２６で表示し、ユーザーによる映像コンテンツの選択を受け付ける。
続いてコントローラ２４は、ステップＳＰ１３に移り、ユーザーの選択した映像コンテンツの再生をホスト装置２にリクエストし、ホスト装置３から出力される符号化データＤＶ１による映像コンテンツを表示部２６で表示する。これによりコントローラ２４は、映像コンテンツの提供を開始する。
続いてコントローラ２４は、ステップＳＰ１４に移り、リモートコマンダ２７をユーザーが操作してズームアップの映像表示をユーザーが指示したか否か判断する。ここで否定結果が得られると、コントローラ２４は、ステップＳＰ１４からステップＳＰ２１に移り、リモートコマンダ２７をユーザーが操作して映像コンテンツの再生終了をユーザーが指示したか否か判断する。ここで否定結果が得られると、コントローラ２４は、ステップＳＰ２１からステップＳＰ１４に戻るのに対し、肯定結果が得られると、ホスト装置２に映像コンテンツの再生終了を指示し、ステップＳＰ２１からステップＳＰ２２に移り、この処理手順を終了する。
これに対してステップＳＰ１４で肯定結果が得られると、コントローラ２４は、ステップＳＰ１４からステップＳＰ１５に移る。ここでコントローラ２４は、ホスト装置２に静止画の出力をリクエストし、ホスト装置２における動作の切り換えにより静止画を表示する。またこの静止画の上にカーソルを表示する。
また続くステップＳＰ１６において、リモートコマンダ２７の操作に応動してこの静止画上に表示したカーソルの位置を移動させ、ズームアップ映像を再生する一部領域の設定を受け付ける。コントローラ２４は、この設定の受け付けにより入力された座標値をホスト装置２に通知し、ズームアップ映像を再生する一部領域の座標をホスト装置２に通知する。
続いてコントローラ２４は、ステップＳＰ１７に移り、デコーダ２３に動作の立ち上げを指示し、これによりホスト装置２から伝送される符号化データＤＶ１及びＤＶ２をそれぞれデコーダ２２、２３でデコードするように設定する。また画像処理部２５にピクチャーインピクチャーの表示を指示し、この場合、図５（Ｄ）に示すように、ズームアップの映像Ｖ２を全画面表示し、その左下隅に、引き気味の映像Ｖ１を子画面表示する。
続いてコントローラ２４は、ステップＳＰ１８に移り、ユーザーがリモートコマンダ２７を操作して表示切り換えを指示したか否か判断し、ここで肯定結果が得られると、ステップＳＰ１８からステップＳＰ１９に移り、画像処理部２５の設定を切り換えて表示部２６の表示を切り換えた後、ステップＳＰ２０に移る。なおここでこの表示部２６の表示の切り換えは、例えば、図５（Ｂ）に示すズームアップ映像の全画面表示、図５（Ｃ）に示す引き気味の映像の全画面表示、図５（Ｄ）に示すピクチャーインピクチャー表示で、ユーザーの操作に応動して順次循環的に表示を切り換える等の処理である。
これに対してステップＳＰ１８で否定結果が得られると、コントローラ２４は、ステップＳＰ１８から直接ステップＳＰ２０に移る。このステップＳＰ２０において、コントローラ２４は、ズームアップ映像の表示終了をユーザーが指示したか否か判断し、ここで肯定結果が得られると、ホスト装置２にズームアップ映像の出力中止を指示した後、ステップＳＰ１４に戻る。これに対してステップＳＰ２０で否定結果が得られると、ステップＳＰ２０からステップＳＰ１８に戻る。
これらによりこの映像コンテンツ提供システム１では、図７に示すように、ズームアップ映像を作成する一部領域を特定する情報をモニタ側であるユーザー端末装置３からホスト装置３に通知し、この一部領域については、動画像データＤＶＨの全画素、全フレームで動画像データＳＶ２を伝送し、他の部分については、画素間引き、フレーム間引きして動画像データＳＶ１を伝送する。なおこの実施例において、引き気味の映像を伝送する動画像データＳＶ１は、ズームアップ映像を作成する一部領域についても映像を伝送するように構成されているものの、例えばエンコーダ１３における制御コードの設定により、この一部領域については符号化データを伝送しないようにして、さらに一段と伝送するデータ量を低減するようにしてもよい。なおこの場合、画像処理部２５側で動画像データＳＶ２を用いてこの一部領域の画像データを補間することが必要になる。
これらにより動画像データＳＶＨによる映像の１／ｓの一部領域を切り出して動画像データＳＶ２により伝送する場合、それぞれ画素間引き率及びフレーム間引き率をｍ及びｎと置くと、動画像データＳＶＨを直接伝送する場合に比して、全体として伝送量を（１／Ｓ＋（（Ｓ−１）／Ｓ）×（１／ｎ）×（１／ｍ））に低減することができる。ここで具体的にｓ＝４、ｎ＝４、ｍ＝４の場合、この伝送量は１９／６４となり、伝送量を約１／３に低減することができる。
（２）実施例の動作
以上の構成において、この映像コンテンツ提供システム１では（図１及び図４）、ユーザー端末装置３からのリクエストにより、ホスト装置２の記録再生装置１１で映像コンテンツの動画像データＳＶＨ及びオーディオ信号が再生され、この動画像データＳＶＨ及びオーディオ信号がユーザー端末装置３に伝送され、これによりホスト装置２に蓄積した大量の映像コンテンツからユーザーの所望する映像コンテンツをユーザー端末装置３で視聴することが可能となる。
ここでこのようにしてユーザー端末装置３から提供する映像コンテンツは、例えばスポーツ中継番組を録画した映像コンテンツである場合もあり、この場合、ユーザーは、例えばお気に入りの選手を追いかけて、このお気に入りの選手をズームアップして見たい場合がある。またボールの動きを追いかけてズームアップして見たい場合もある。
そこでこの映像コンテンツ提供システム１では、ユーザー端末装置３において、ユーザーがリモートコマンダ２７を操作してズームアップ映像の表示を指示すると、動画による映像コンテンツが静止画で表示され、この静止画における領域の指定により、ズームアップする領域の設定が受け付けられる。またこのズームアップする領域がホスト装置２に通知され、ホスト装置２では、記録再生装置１１で再生される映像コンテンツの動画像データＳＶＨから、この指定された領域の動画像データＳＶ２が切り出され、この動画像データＳＶ２が、動画像データＳＶ１と共にユーザー端末装置３に伝送される。これによりこの映像コンテンツ提供システム１では、ユーザー端末装置３で表示に供する動画像データを切り換えて、所望する箇所のズームアップ映像を全画面で表示したり、全体の映像を全画面で表示したりすることができ、さらにはこれらをピクチャーインピクチャーで表示したりすることができ、従来に比して一段と使い勝手を向上することができる。
しかしながらこのようにして単に、記録再生装置１１で再生される映像コンテンツの動画像データＳＶＨから、指定された領域の動画像データＳＶ２を切り出して伝送したのでは、伝送するデータ量が膨大になる。特に、この切り出して生成する動画像データＳＶ２で動画ボケ、ジャーキネスが発生しないようにするためには、元の動画像データＳＶＨを極めて高解像度により生成し、さらにはハイフレームレートで生成することが必要になり、この元の動画像データＤＶＨまで伝送する場合には伝送するデータ量が膨大になる。
この問題を解決する１つの方法として、動画像データＳＶ２の切り出しをユーザー端末装置３側で実行することも考えられるが、この場合、この切り出した映像で動画ボケ、ジャーキネスが発生しないようにするためには、元の動画像データＳＶＨを極めて高解像度により生成し、さらにはハイフレームレートで生成することが必要になり、この場合も伝送するデータ量が膨大になる。
そこでこの実施例では、この切り出して生成する動画像データＳＶ２で動画ボケ、ジャーキネスが発生しないように、高解像度、ハイフレームレートの動画像データＳＶＨで映像コンテンツが記録される。またこのハイフレームレートの動画像データＳＶＨについては、画素間引き及びフレーム間引きして動画像データＳＶ１を生成し、この動画像データＳＶ１がユーザー端末装置３に伝送される。
これによりこの映像コンテンツ提供システム１では、伝送するデータ量の増大を回避しつつ動画ボケ、ジャーキネスを防止して、引き気味の映像とズームアップした映像とを選択的にユーザーに提供することができる
すなわちホスト装置３では、ユーザーが指定した一部領域に含まれる被写体が検出されて、ズームアップの映像の追跡対象が検出される。またこの追跡対象を追跡するように、ズームアップの映像を作成する一部領域を移動させ、これによりユーザーの所望する選手等のズームアップ映像をユーザー端末装置３で表示することができる。この実施例では、この追跡対象の検出、追跡が、解像度、フレームレートを低減したビデオ信号ＳＶ１を用いて実行され、これによりズームアップ映像、引き気味の映像をユーザーに提供する構成を有効に利用して、簡易な処理により所望する被写体を追跡してズームアップ映像を表示することができる。
また追跡することが困難となった場合には、ズームアップ映像を作成する一部領域の大きさが拡大され、この場合、所望する被写体を追跡するように、ズームアップ映像の画枠を移動させることは困難なものの、ズームアップ映像としては所望する被写体を概ね捕らえることができる。また所望する被写体を捕らえない場合でも、違和感の無い映像を表示することができる。すなわち例えば野球の打球をテレビジョンカメラで追跡する場合、アメリカンフットボールでボールをテレビジョンカメラで追跡する場合等にあっては、操作に慣れたカメラマンですら打球、ボールの動きを追跡できない場合がある。この場合、カメラマンは、打球、ボールを捕らえなくなると、一旦、ズームダウンして追跡対象を画枠に捕らえ直し、追跡対象にズームインする。従って追跡することが困難となった場合に、ズームアップ映像を作成する一部領域の大きさを拡大すれば、このようなカメラマンの操作を再現して違和感無くズームアップ映像を表示することができる。
（３）実施例の効果
以上の構成によれば、高解像度、ハイフレームレートの動画像データを部分的に切り出してズームアップの動画像データを作成すると共に、残りの部分の解像度、フレームを間引きして引き気味の動画像データを生成し、これらズームアップの動画像データ、引き気味の動画像データを伝送することにより、伝送するデータ量の増大を回避しつつ動画ボケ、ジャーキネスを防止して、引き気味の映像とズームアップした映像とを選択的にユーザーに提供することができる。
またズームアップの動画像データを作成する一部領域に含まれる被写体の動きを追跡し、この被写体の動きに追従させて、この一部領域を移動させることにより、所望する被写体を追跡するようにズームアップ映像を表示することができる。
また表示装置側であるユーザー端末装置３で引き気味の映像を表示し、この表示装置でズームアップ映像を作成する一部領域の設定を受け付けることにより、ユーザーの所望する被写体のズームアップ映像を表示することができる。
またより具体的に、ズームアップ映像の生成元である映像コンテンツの動画像データが、フレーム周波数１２０〔Ｈｚ〕以上のビデオ信号であることにより、確実に動画ボケ、ジャーキネスを防止することができる。
図８は、本発明の実施例２の映像コンテンツ提供システムを示すブロック図である。この映像コンテンツ提供システム３１は、テレビジョンカメラ３３で高解像度、ハイフレームレートの動画像データＤＶＨを撮影し、この動画像データＤＶＨによる映像コンテンツを通信網３５を介してユーザー端末装置３６に提供する。なおここで通信網３５は、例えば受信側とインタラクティブにデータ通信可能な放送網、インターネット等のネットワークが適用される。
ここでホスト装置３２は、実施例１のホスト装置２と同様に、ユーザー端末装置３６からのリクエストにより、テレビジョンカメラ３３で撮影した動画像データＳＶＨからズームアップの動画像データを生成し、引き気味の動画像データと共に、ユーザー端末装置３６に送出する。ここでこの実施例では、リアルタイムで得られるテレビジョンカメラ３３の動画像データＳＶＨがズームアップの動画像データの生成元であることから、ホスト装置３２は、常時、引き気味の動画像データを解析し、この引き気味の動画像データによる各被写体について、それぞれ動きを追跡する。またこの動き追跡結果に基づいて、各被写体の位置情報を引き気味の動画像データのタイムコードと共に記録して保持する。
またユーザー端末装置３６は、この引き気味の動画像データによる映像を表示して、ユーザーがズームアップの映像表示を指示すると、それまで表示している引き気味の映像を静止画で表示し、この静止画上で、ズームアップの映像で追跡する対象の選択を受け付ける。ユーザー端末装置３６は、この静止画表示した映像のタイムコードと、追跡対象の被写体の座標値とをホスト装置３２に通知する。
ホスト装置３２は、この通知されたタイムコード、座標値で、記録して保持した各被写体の位置情報を検索し、この検索結果から現フレームにおける追跡対象の座標を検出する。またこの検出した座標からズームアップ映像を生成する一部領域を順次計算し、この計算結果に基づいて動画像データＤＶＨを選択してズームアップの動画像データを出力する。この映像コンテンツ提供システムは、このズームアップ映像を切り出す一部領域の設定方法が異なる点を除いて、実施例１の映像コンテンツ提供システム１と同一に構成される。
この実施例によれば、映像コンテンツがリアルタイムの動画像データによるものの場合でも、実施例１と同様の効果を得ることができる。
なお上述の実施例においては、静止画を表示して、ズームアップ映像による追跡対象の設定を受け付ける場合について述べたが、本発明はこれに限らず、実用上十分に確実に追跡対象を入力することができる場合には、動画を表示した状態で、追跡対象の設定を受け付けるようにしてもよい。
また上述の実施例においては、ズームアップの映像を切り出す一部領域をも含めて、引き気味の動画像データを伝送するようにして、ズームアップの動画像データと引き気味の動画像データとをそれぞれ符号化処理して伝送する場合について述べたが、本発明はこれに限らず、ズームアップの映像を切り出す一部領域を除く領域のみについて引き気味の動画像データを伝送するようにして、これらズームアップの動画像データと引き気味の動画像データとをまとめて符号化処理するようにしてもよい。
また上述の実施例においては、一定の間引き率で画素、フレームを間引く場合について述べたが、本発明はこれに限らず、例えば伝送路の使用可能な帯域に応じて間引き率を動的に可変するようにしてもよい。またユーザー端末装置側で、ズームアップの映像、引き気味の映像の何れかを選択的に視聴している場合には、視聴していない側の映像については、動画像データの出力を中止するようにしてもよい。
本発明は、例えばスポーツ番組等の映像コンテンツをユーザーに提供する場合に適用することができる。
本発明の実施例１の映像コンテンツ提供システムを示すブロック図である。 図１の映像コンテンツ提供システムによるズームアップの映像の説明に供する平面図である。 図１の映像コンテンツ提供システムにおける演算処理部の処理手順を示すフローチャートである。 本発明の実施例１の映像コンテンツ提供システムにおけるユーザー端末装置を詳細に示すブロック図である。 図４のユーザー端末装置における表示画面を示す平面図である。 図４のユーザー端末装置におけるコントローラの処理手順を示すフローチャートである。 本発明の実施例１の映像コンテンツ提供システムにおける動画像データの処理手順を示すフローチャートである。 本発明の実施例２の映像コンテンツ提供システムを示すブロック図である。
符号の説明
１、３１……映像コンテンツ提供システム、２、３２……ホスト装置、３、３６……ユーザー端末装置、４……ホームネットワーク、１１……記録再生装置、１２……間引き部、１３、１５……エンコーダ、１６……演算処理部、１７……選択部、２２、２３……デコーダ、２４……コントローラ、２５……画像処理部、２６……表示部

Claims (9)

  1. 第１のフレームレートの入力動画像データを用いてフレーム及び画素の間引き処理を行い、第２のフレームレートの間引き動画像データを出力する間引きステップと、 前記入力動画像データのうち、選択された一部領域における全画素、且つ、全フレームであり、前記第１のフレームレートを有する一部領域動画像データを出力する一部領域動画像データ選択ステップと、 受信側において選択的に表示可能な状態で前記間引き動画像データと前記一部領域動画像データとを出力するデータ出力ステップと、 前記第２のフレームレートの間引き動画像データを用いて、前記一部領域に含まれる被写体の動きを追跡する動き追跡のステップと、 前記動き追跡のステップの追跡結果に基づいて、前記被写体の動きに追従させて、前記一部領域を移動させる一部領域の移動ステップとを有する 動画像データ提供方法。
  2. 前記間引きステップは、 前記入力動画像データの前記一部領域を含む全領域のフレーム及び画素を用いて前記間引き処理を行う 請求項１に記載の動画像データ提供方法。
  3. 前記一部領域の移動ステップは、 前記動き追跡のステップの追跡結果に基づいて、前記第２フレームレート間隔での前記被写体の動きに追従させて、前記第１フレームレート間隔で前記一部領域を移動させる 請求項１または２に記載の動画像データ提供方法。
  4. 第１のフレームレートの入力動画像データを用いてフレーム及び画素の間引き処理を行い、第２のフレームレートの間引き動画像データを出力する間引きステップと、 前記入力動画像データのうち、選択された一部領域における全画素、且つ、全フレームであり、前記第１のフレームレートを有する一部領域動画像データを出力する一部領域動画像データ選択ステップと、 受信側において選択的に表示可能な状態で前記間引き動画像データと前記一部領域動画像データとを出力するデータ出力ステップと、 前記第２のフレームレートの間引き動画像データを用いて、前記一部領域に含まれる被写体の動きを追跡する動き追跡のステップと、 前記動き追跡のステップの追跡結果に基づいて、前記被写体の動きに追従させて、前記一部領域を移動させる一部領域の移動ステップとを有する 動画像データ提供方法のプログラム。
  5. 第１のフレームレートの入力動画像データを用いてフレーム及び画素の間引き処理を行い、第２のフレームレートの間引き動画像データを出力する間引きステップと、 前記入力動画像データのうち、選択された一部領域における全画素、且つ、全フレームであり、前記第１のフレームレートを有する一部領域動画像データを出力する一部領域動画像データ選択ステップと、 受信側において選択的に表示可能な状態で前記間引き動画像データと前記一部領域動画像データとを出力するデータ出力ステップと、 前記第２のフレームレートの間引き動画像データを用いて、前記一部領域に含まれる被写体の動きを追跡する動き追跡のステップと、 前記動き追跡のステップの追跡結果に基づいて、前記被写体の動きに追従させて、前記一部領域を移動させる一部領域の移動ステップとを有する 動画像データ提供方法のプログラムを記録した記録媒体。
  6. 第１のフレームレートの入力動画像データを用いてフレーム及び画素の間引き処理を行い、第２のフレームレートの間引き動画像データを出力する間引き部と、 前記入力動画像データのうち、選択された一部領域における全画素、且つ、全フレームであり、前記第１のフレームレートを有する一部領域動画像データを出力する一部領域動画像データ選択部と、 受信側において選択的に表示可能な状態で前記間引き動画像データと前記一部領域動画像データとを出力するデータ出力部と、 前記第２のフレームレートの間引き動画像データを用いて、前記一部領域に含まれる被写体の動きを追跡する動き追跡部と、 前記動き追跡のステップの追跡結果に基づいて、前記被写体の動きに追従させて、前記一部領域を移動させる一部領域移動部とを有する 動画像データ提供装置。
  7. 第１のフレームレートの入力動画像データを用いてフレーム及び画素の間引き処理を行い、第２のフレームレートの間引き動画像データを出力する間引きステップと、 前記入力動画像データのうち、選択された一部領域における全画素、且つ、全フレームであり、前記第１のフレームレートを有する一部領域動画像データを出力する一部領域動画像データ選択ステップと、 受信側において選択的に表示可能な状態で前記間引き動画像データと前記一部領域動画像データとを出力するデータ出力ステップと を送信側において行い、 ユーザーの操作に応じて、前記一部領域動画像データの全画面表示と、前記間引き動画像データの全画面表示と、前記一部領域動画像データを全画面表示した状態での前記間引き動画像データの子画面による表示とを選択的に行う表示ステップを受信側において行う 動画像データ提供方法。
  8. 前記表示ステップにおいて、前記一部領域動画像データを全画面表示した状態での前記間引き動画像データの子画面による表示を行う場合には、前記間引き動画像データのフレーム周波数を増大させ、前記一部領域動画像データのフレーム周波数と一致させる 請求項７に記載の画像データ提供方法。
  9. 第１のフレームレートの入力動画像データを用いてフレーム及び画素の間引き処理を行い、第２のフレームレートの間引き動画像データを出力する間引き部と、 前記入力動画像データのうち、選択された一部領域における全画素、且つ、全フレームであり、前記第１のフレームレートを有する一部領域動画像データを出力する一部領域動画像データ選択部と、 受信側において選択的に表示可能な状態で前記間引き動画像データと前記一部領域動画像データとを出力するデータ出力部と を有する送信側装置と、 ユーザーの操作に応じて、前記一部領域動画像データの全画面表示と、前記間引き動画像データの全画面表示と、前記一部領域動画像データを全画面表示した状態での前記間引き動画像データの子画面による表示とを選択的に行う表示部を有する受信側装置とを有する 動画像データ提供システム。
JP2006204124A 2006-07-27 2006-07-27 動画像データ提供方法、動画像データ提供方法のプログラム、動画像データ提供方法のプログラムを記録した記録媒体、動画像データ提供装置及び動画像データ提供システム。 Expired - Fee Related JP4719641B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006204124A JP4719641B2 (ja) 2006-07-27 2006-07-27 動画像データ提供方法、動画像データ提供方法のプログラム、動画像データ提供方法のプログラムを記録した記録媒体、動画像データ提供装置及び動画像データ提供システム。
US11/782,473 US7907153B2 (en) 2006-07-27 2007-07-24 Content providing method, a program of content providing method, a recording medium on which a program of a content providing method is recorded, and a content providing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006204124A JP4719641B2 (ja) 2006-07-27 2006-07-27 動画像データ提供方法、動画像データ提供方法のプログラム、動画像データ提供方法のプログラムを記録した記録媒体、動画像データ提供装置及び動画像データ提供システム。

Publications (2)

Publication Number Publication Date
JP2008035006A JP2008035006A (ja) 2008-02-14
JP4719641B2 true JP4719641B2 (ja) 2011-07-06

Family

ID=39124012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006204124A Expired - Fee Related JP4719641B2 (ja) 2006-07-27 2006-07-27 動画像データ提供方法、動画像データ提供方法のプログラム、動画像データ提供方法のプログラムを記録した記録媒体、動画像データ提供装置及び動画像データ提供システム。

Country Status (2)

Country Link
US (1) US7907153B2 (ja)
JP (1) JP4719641B2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4805596B2 (ja) * 2005-03-31 2011-11-02 株式会社東芝 カメラ装置
JP4870820B2 (ja) * 2008-05-28 2012-02-08 京セラ株式会社 通信端末、検索サーバ及び通信システム
KR101009881B1 (ko) * 2008-07-30 2011-01-19 삼성전자주식회사 재생되는 영상의 타겟 영역을 확대 디스플레이하기 위한장치 및 방법
CN101656826B (zh) * 2008-08-21 2011-11-09 鸿富锦精密工业（深圳）有限公司 录影系统及其录影方法
US20110304772A1 (en) * 2010-06-14 2011-12-15 Charles Dasher Screen zoom feature for cable system subscribers
CN102792702A (zh) * 2010-09-02 2012-11-21 青岛海信电器股份有限公司 一种景深调整装置、方法及3d电视机
US9078031B2 (en) 2010-10-01 2015-07-07 Sony Corporation Reception apparatus, reception method, and program
US8842974B2 (en) * 2010-10-01 2014-09-23 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program, and content delivery system
US8872888B2 (en) 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
US11039109B2 (en) 2011-08-05 2021-06-15 Fox Sports Productions, Llc System and method for adjusting an image for a vehicle mounted camera
BR112014002827B1 (pt) * 2011-08-05 2021-09-28 Fox Sports Productions, Llc Método e sistema para a captura seletiva e apresentação de porções de imagem de difusão nativa em um sistema de múltiplas câmeras de difusão; e método e sistema para a captura seletiva e apresentação de porções de difusão de imagem nativa em um sistema de múltiplas câmeras de difusão
JP2013172446A (ja) * 2012-02-23 2013-09-02 Sony Corp 情報処理装置、端末装置、撮像装置、情報処理方法、及び撮像装置における情報提供方法
US20150226828A1 (en) * 2012-08-31 2015-08-13 Fox Sports Productions, Inc. Systems and methods for tracking and tagging objects within a broadcast
JP6157094B2 (ja) * 2012-11-21 2017-07-05 キヤノン株式会社 通信装置、設定装置、通信方法、設定方法、及び、プログラム
AU2014347366B2 (en) * 2013-11-08 2019-10-31 Performance Lab Technologies Limited Automated prescription of activity based on physical activity data
US9271048B2 (en) 2013-12-13 2016-02-23 The Directv Group, Inc. Systems and methods for immersive viewing experience
KR102146858B1 (ko) 2014-06-03 2020-08-21 삼성전자주식회사 촬영 장치 및 촬영 장치의 비디오 생성방법
WO2016046860A1 (ja) * 2014-09-22 2016-03-31 三菱電機株式会社 画像符号化伝送装置、画像復号装置、画像符号化伝送方法、及び画像復号方法
CA2972257A1 (en) * 2014-11-18 2016-05-26 Ehren J. BRAV Devices, methods and systems for visual imaging arrays
US11159854B2 (en) 2014-12-13 2021-10-26 Fox Sports Productions, Llc Systems and methods for tracking and tagging objects within a broadcast
US11758238B2 (en) 2014-12-13 2023-09-12 Fox Sports Productions, Llc Systems and methods for displaying wind characteristics and effects within a broadcast
KR101586321B1 (ko) * 2015-03-11 2016-01-19 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
DE102015208740A1 (de) * 2015-05-12 2016-11-17 Siemens Aktiengesellschaft System und Verfahren zum Übertragen von Videodaten von einem Server zu einem Client
KR102396036B1 (ko) 2015-05-18 2022-05-10 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
EP3311582A4 (en) * 2015-06-17 2018-10-31 LG Electronics Inc. Display device and operating method thereof
KR102384520B1 (ko) * 2015-06-29 2022-04-08 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR102627518B1 (ko) * 2016-09-02 2024-01-23 엘지전자 주식회사 싱크 디바이스 및 그 제어 방법
US10373290B2 (en) * 2017-06-05 2019-08-06 Sap Se Zoomable digital images
US10918945B2 (en) * 2019-03-15 2021-02-16 Sony Interactive Entertainment Inc. Methods and systems for spectating characters in follow-mode for virtual reality views

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288806A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JPH0998417A (ja) 1995-09-29 1997-04-08 Matsushita Electric Ind Co Ltd 画像通信装置及び画像通信方法
JP4158641B2 (ja) * 2003-07-14 2008-10-01 株式会社デンソー 車両用シート空調装置
JP2005142654A (ja) 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
JP4263111B2 (ja) 2004-01-29 2009-05-13 株式会社第一興商 背景映像ズームアップ機能付きカラオケ装置
JP2005341345A (ja) 2004-05-28 2005-12-08 Victor Co Of Japan Ltd 画像表示装置
JP3927571B2 (ja) * 2004-10-25 2007-06-13 株式会社日立国際電気 画像表示プログラム

Also Published As

Publication number Publication date
US7907153B2 (en) 2011-03-15
US20080079754A1 (en) 2008-04-03
JP2008035006A (ja) 2008-02-14

Similar Documents

Publication Publication Date Title
JP4719641B2 (ja) 動画像データ提供方法、動画像データ提供方法のプログラム、動画像データ提供方法のプログラムを記録した記録媒体、動画像データ提供装置及び動画像データ提供システム。
CN106792246B (zh) 一种融合式虚拟场景互动的方法及系统
CA2809312C (en) Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program, and content distribution system
US7694320B1 (en) Summary frames in video
JP4408845B2 (ja) 映像合成装置及びプログラム
JP4695669B2 (ja) 映像配信システム
US20070200953A1 (en) Method and Device for Displaying the Content of a Region of Interest within a Video Image
JP2020524450A (ja) 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
JP4148673B2 (ja) 映像配信システム
CN113014943A (zh) 一种视频播放方法、视频播放器及视频直播系统
US8493512B2 (en) Digital broadcast receiver apparatus and image display method
US8817187B2 (en) Digital broadcast receiver apparatus and image display method
JP4420616B2 (ja) 映像表示装置及び方法
JP6777141B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
JP2005204273A (ja) Ａｖシステム及びａｖ機器並びに映像信号出力方法
WO2001069911A2 (en) Interactive multimedia transmission system
WO2009093557A1 (ja) マルチ画面表示装置
KR20200001597A (ko) 다채널 영상 생성 방법, 다채널 영상 재생 방법 및 다채널 영상 재생 프로그램
KR102063495B1 (ko) 멀티미디어 콘텐츠 처리를 위한 장치 및 제어방법
US11930207B2 (en) Display device, signal processing device, and signal processing method
KR102124194B1 (ko) 영상분석을 위한 다채널 영상 전송 시스템 및 이의 제어 방법
JP2003153213A (ja) 映像生成装置および受信装置
JP4964319B2 (ja) 映像合成装置、プログラム及び記録媒体
JP4964320B2 (ja) 映像合成装置及び記録媒体
JP2003304525A (ja) データ配信再生システム、データ配信再生方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080805

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090127

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090219

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090313

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110404

R150 Certificate of patent or registration of utility model

Ref document number: 4719641

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees