JP6037435B2 - 映像コンテンツ配信装置 - Google Patents

Description

本発明は、コンテンツプレーヤから出力された映像コンテンツを符号化してネットワーク経由で視聴端末へ配信する映像コンテンツ配信装置に係り、特に、視聴端末からコンテンツプレーヤを遠隔操作できる映像コンテンツ配信システムに好適な映像コンテンツ配信装置に関する。

デジタルコンテンツは、そのデータ量を減じるために予め符号化圧縮（エンコード）され、視聴端末において再生時にデコードされる。動画エンコードは一般的に処理負荷が重く、特にネットワーク経由でのコンテンツ配信では、圧縮率を高めるために処理負荷の重い高度な符号化方式が採用されるので、動画エンコードの処理時間長に起因した伝送遅延が生じ得る。

さらに、コンテンツ配信に割り当てられているネットワークの帯域が狭かったり、あるいはネットワークに輻輳が生じていたりして符号化データの伝送レートが低下すると、視聴端末では符号化データのデコード、再生を受信直後から開始することができず、所定量の符号化データがバッファに蓄積されるのを待ってからデコードを開始しなければならない。

このように、ネットワーク経由のコンテンツ配信では様々な要因で伝送遅延Tdが生じ得る。したがって、図７に例示したように、時刻t1でコンテンツプレーヤから出力された映像コンテンツは遅延時間Tdを持って時刻t11から視聴端末において再生され、それ以降、コンテンツプレーヤから出力される映像コンテンツは、視聴端末においてTd秒前に出力された映像となる。なお、前記遅延時間Tdは、視聴端末の機能や性能に依存するものの、一般的に数秒ないし１０秒程度であり、図７は遅延時間Tdが１０秒の例を示している。

このような技術課題に関連して、特許文献１には、ライブ映像をリアルタイムでの動画配信に対応していない通信ネットワーク経由で配信するために、ライブ映像を静止画の時系列にエンコードし、擬似的な動画として配信する技術が開示されている。

特許文献２には、過去のユーザの視聴操作履歴を保持しておき、早送りや巻戻しなどの操作が行われた時点から数秒間については、現在再生に使用している再生データのトランスコード処理と平行して先読みデータを取得してトランスコード処理を行い、変換済みの先読みデータを作成して保存しておく技術が開示されている。

特許文献３には、映像コンテンツの配信開始時に映像が再生されるまでの待ち時間を短縮することを課題とし、映像コンテンツを最低限の画像品質しか保証されない基本レイヤと、基本レイヤのみをデコードした結果以上の画像品質を得ることができる拡張レイヤから構成し、映像コンテンツの配信開始時から基本レイヤの配信データ量が第１の目標量となるまでの間は、基本レイヤの配信ビットレートをそのエンコードビットレートよりも増大させ、その分、上位の拡張レイヤの配信ビットレートを減少させる技術が開示されている。

特開２００３−２９９０６０号公報 特開２００８−２０６０３９号公報 特開２０１０−２８５１６号公報

特許文献１では、動画の所望フレームが静止画として固定的に表示されるのみなので、動画の内容を把握することができない。

特許文献２では、先読みデータを記憶するための大きなメモリ容量が必要となるのみならず、例えば動画の再生中に番組録画の予約操作が行われて番組表が表示され、さらに録画時刻や録画チャンネルを選択するためにカーソルキーが操作された場合のように、先読みが不可能な操作には対応できない。

特許文献３では、映像コンテンツの配信開始時に映像が再生されるまでの待ち時間は短縮できるものの、映像コンテンツの配信中に早送りや巻き戻しの操作あるいは番組録画の予約操作が行われても、これらの操作に対する映像の応答遅延を改善することができない。

一方、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格としてHDMI（High-Definition Multimedia Interface）が普及している。このHDMI規格にはCEC（Consumer Electronics Control：家電制御）と呼ばれる相互機器制御機能が用意されており、HDMIで接続されたコンテンツプレーヤに対しては、CECコマンドを利用することで、視聴端末からネットワーク経由での遠隔操作が可能になる。

ここで、ネットワーク経由でのコンテンツ配信には伝送遅延が生じるものの、前記CECコマンドによる遠隔操作には伝送遅延が実質的に生じない。したがって、図７に例示したように、時刻t13において視聴端末がリモコン操作され、その操作内容に応答したリモコン信号が送出されると、コンテンツプレーヤの出力映像には前記リモコン操作が直ちに反映される。しかしながら、リモコン操作の反映された出力映像が視聴端末において再生されるまでには前記Td秒（ここでは、１０秒）の遅延があるので、視聴端末の映像上に前記リモコン操作が反映されるのは時刻t23以降となってしまう。

このような技術課題は、映像コンテンツの符号化方式として、映像コンテンツを動画の符号化データに変換する「動画エンコード」、および動画キャプチャにより静止画の時系列に変換する「動画キャプチャ」を用意すると共に、前記CECコマンドを解析し、「早送りボタン」、「巻き戻しボタン」あるいは「録画予約ボタン」等の押下が検知されると、符号化方式を動画エンコードから動画キャプチャに切り替えることで改善できる。

また、遠隔操作が終了して動画再生に戻したい場合、例えば各ボタンの押下が解除されたことや、「再生ボタン」が押下されたことをCECコマンドの解析により検知し、符号化方式を動画キャプチャから動画エンコードに切り替えることが考えられる。

しかしながら、遠隔操作が録画予約であると、カーソルを番組表の上で移動させる「矢印ボタン」や「決定ボタン」の押下が繰り返されるのみで、録画予約の完了を明示的に示す操作は一般的に存在しない。すなわち、「矢印ボタン」や「決定ボタン」は、録画予約時のみならず様々な用途で操作され、かつ操作の完了等を明示する操作とはならない場合もある。したがって、録画予約の完了をCECコマントに基づいて検出することができず、符号化方式を動画キャプチャから動画エンコードへ自動的に切り替えることができなかった。

本発明の目的は、上記した従来技術の課題を解決し、遠隔操作の完了を明示的に示すボタン操作が存在しない遠隔操作の完了を検出して、符号化方式を動画キャプチャから動画エンコードへ自動的に戻せる映像コンテンツ配信装置を提供することにある。

上記の目的を達成するために、本発明は、コンテンツプレーヤから出力される動画の映像コンテンツをネットワーク経由で視聴端末へ配信する映像コンテンツ配信装置において、映像コンテンツをエンコードして動画の符号化データに変換する動画エンコード手段と、映像コンテンツを周期的にキャプチャして静止画の符号化データ列に変換する動画キャプチャ手段と、前記動画エンコード手段および動画キャプチャ手段のいずれかによる変換を選択する変換方式選択手段とを設けた。

本発明はさらに、視聴端末から送信される遠隔操作の開始要求を検知する遠隔操作情報検知手段と、映像コンテンツの静的シーンから動的シーンへの変化を映像の動き強度に基づいて検知するシーン変化検知手段と、前記変換後の映像コンテンツをネットワーク経由で配信するインタフェースとを具備した。

そして、前記変換方式選択手段は、遠隔操作の開始要求に応答して動画キャプチャ手段を選択し、シーン変化に応答して動画エンコード手段を選択するようにした。

本発明によれば、コンテンツプレーヤから出力される映像コンテンツの内容が、遠隔操作モード中の録画予約画面のような静的シーンから、遠隔操作モード終了後に再生される動画のような動的シーンに戻ると、これが動き強度に基づいてシーン変化として認識され、映像コンテンツの変換方式が自動的に動画キャプチャから動画エンコードへ切り換わるので、映像コンテンツの変換方式を切り換えるための専用操作が不要になる。

本発明のコンテンツ配信装置を含むコンテンツ配信システムのブロック図である。 コンテンツプレーヤからの要求に基づいて映像コンテンツの配信が開始されるまでの手順を示したシーケンスフローである。 コンテンツ配信装置の主要部の構成を示した機能ブロック図である。 遠隔操作反映部の動作を示したタイムチャートである。 遠隔操作中の視聴端末の画面遷移図である。 録画予約画面の表示例を示した図である。 従来技術の課題を説明するためのタイムチャートである。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明のコンテンツ配信装置を含むコンテンツ配信システムの構成を示したブロック図である。

各ユーザの宅内には、映像や音声のデジタルコンテンツ（以下、映像コンテンツで総称する）を再生、出力する地上デジタルチューナ、DVDレコーダあるいはデジタルビデオカメラ等のコンテンツプレーヤ３と、これらの映像コンテンツを宅内で視聴するためのTVモニタ４と、前記コンテンツプレーヤ３とインターネットとの間で、映像コンテンツや後述するリモコン信号の送受を制御するコンテンツ配信装置１と、このコンテンツ配信装置１に無線LAN接続され、経路制御やNAT機能を提供するWi-Fiルータ５とが配備される。前記コンテンツプレーヤ３およびTVモニタ４とコンテンツ配信装置１とは、HDMIに準拠したインタフェースおよびケーブルにより接続されている。

インターネット上には、認証用のAdminサーバ６が配置され、映像コンテンツを視聴するユーザは、自身のスマートフォンやパーソナルコンピュータ等の視聴端末２から、3G，WiMAX（登録商標）あるいはWi-Fi（登録商標）等の公衆網を経由してAdminサーバ６へアクセスすることで前記コンテンツ配信装置１との間にUDPの通信セッションを確立し、前記コンテンツプレーヤ３から映像コンテンツを配信される。

ここでは、初期登録および初期設定が既に完了しているものとし、コンテンツ配信装置１に固有の機器IDおよび各視聴端末２に実装されている再生アプリに固有の再生アプリIDが予めAdminサーバ６に登録済みであり、コンテンツ配信装置１とWi-Fiルータ５との間には無線LAN接続が確立されているものとして説明を始める。

図２は、視聴端末２からの要求に基づいて映像コンテンツの配信が開始されるまでの手順を示したシーケンスフローである。

時刻t1において、視聴端末２に実装されている再生アプリが起動されると、この再生アプリからadminサーバ６のhttpsサーバ機能部へ機器一覧取得要求が前記再生アプリIDと共に送信される。時刻t2では、予め再生アプリIDと紐付けられているコンテンツ配信装置１の機器IDの一覧が返信される。

時刻t3において、視聴端末２のディスプレイ上に一覧表示された機器IDの一つ（ここでは、コンテンツ配信装置１）が選択されると、当該コンテンツ配信装置１のグローバルIPアドレスおよびポート番号に関する問い合わせ要求が、視聴端末２からadminサーバ６へ送信される。時刻t4では、adminサーバ６から視聴端末２へ、前記要求されたコンテンツ配信装置１のグローバルIPアドレスおよびポート番号が通知される。

時刻t5では、視聴端末２からadminサーバ６のhttpsサーバ機能部およびUDPサーバ機能部へ、前記コンテンツ配信装置１のグローバルIPアドレスおよびポート番号をパラメータとして送信要求が通知される。時刻t6では、adminサーバ６からコンテンツ配信装置１へ送信要求が通知される。時刻t7では、コンテンツ配信装置１からadminサーバ６のUDPサーバ機能部へ、視聴端末２のグローバルIPアドレスおよびポート番号の問い合わせ要求が通知される。時刻t8では、adminサーバ６からコンテンツ配信装置１へ、視聴端末２のグローバルIPアドレスおよびポート番号が通知される。

時刻t9では、コンテンツ配信装置１からadminサーバ６のUDPサーバ機能部へ送信要求応答が通知される。時刻t10では、adminサーバ６からコンテンツ配信装置１へ、送信要求応答が前記グローバルIPアドレス、ポート番号および秘密鍵と共に通知される。時刻t11では、adminサーバ６から視聴端末２の再生アプリへ、送信要求応答がコンテンツ配信装置１のグローバルIPアドレス、ポート番号および秘密鍵と共に通知される。時刻t12では、視聴端末２の再生アプリとコンテンツ配信装置１との間にホールパンチングによりUDPコネクションが確立される。

時刻t13では、視聴端末２の再生アプリからコンテンツ配信装置１へストリーミング開始要求が通知される。コンテンツ配信装置１では、前記ストリーミング開始要求に応答して、前記コンテンツプレーヤ３から出力された映像コンテンツの符号化データを前記秘密鍵で暗号化し、前記コンテンツ配信装置１のグローバルIPアドレスおよびポート番号を宛先として配信する。視聴端末２では、受信データを秘密鍵で解除し、更にデコードして再生する。なお、暗号化の不要な映像コンテンツについては、暗号化されずに配信される。

図３は、本発明に係る前記コンテンツ配信装置１の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。なお、ここでは映像コンテンツという表現を、「音声を含む映像」、「映像（画像）のみ」、「音声のみ」の総称として用いている。

HDMI切換部１０３は、前記コンテンツプレーヤ３からHDMIフォーマットで出力された映像コンテンツの出力先を、宅内視聴用のTVモニタ４または映像コンテンツ変換部１０２のいずれかに、後から接続した方を優先する、いわゆる"後勝ち"により切り換える。

映像コンテンツ変換部１０２は、動画の映像コンテンツをネットワーク経由で視聴端末２へ配信する際に、H.264 (H.264/MPEG-4 AVC) エンコードにより動画の符号化データに変換する動画エンコード部１０２ａ、および動画キャプチャにより周期的に間引き取得される静止画をJPEGエンコードによりJPEG画像の時系列に変換する動画キャプチャ部１０２ｂを含む。

暗号化部１０６は、前記H.264フォーマットの符号化データまたはJPEG画像の時系列を前記秘密鍵で暗号化する。無線LANインタフェース１０１は、前記Wi-Fiルータ５との間に無線LAN接続を確立し、前記暗号化された符号化データまたはJPEG画像の時系列をネットワーク経由で視聴端末２へ配信する。リモコン信号処理部１０５は、視聴端末２から受信したリモコン信号をCECコマンドに変換して前記コンテンツプレーヤ３へ転送する。

遠隔操作情報検知部１０４は、視聴端末２から送信される遠隔操作情報として、遠隔操作モードの開始要求および終了要求の各メッセージを検知する。そして、前記開始要求のメッセージ受信に応答して、前記動画エンコードから動画キャプチャへの変更要求を、また前記終了要求のメッセージ受信に応答して、前記動画キャプチャから動画エンコードへの変更要求を、前記映像コンテンツ変換部１０２に対して出力する。

シーン変化検知部１０７は、映像の符号化データに存在する予測符号化画像が持つ動きベクトルの値を用いて映像コンテンツの動き強度を検知する動き強度検知部１０７ａを含む。そして、映像コンテンツの単位領域ごとに求まる動き強度の画面内での平均値が基準値を超えると、映像コンテンツが録画予約画面等の静的シーンから動画再生のような動的シーンへ切り替わったと判断して、前記動画キャプチャから動画エンコードへの変更要求を映像コンテンツ変換部１０２に対して出力する。

前記映像コンテンツ変換部１０２は、前記遠隔操作情報検知部１０４およびシーン変化検知部１０７からの変更要求に応答して、映像コンテンツの変換方式を、前記動画エンコード部１０２ａによる動画エンコードおよび前記動画キャプチャ部１０２ｂによる動画キャプチャの一方から他方へ変更する。

次いで、図４のタイムチャートおよび図５に示した視聴端末２の画面遷移図を参照して、前記映像コンテンツ変換部１０２、変換方式選択部１０４ａおよびリモコン信号処理部１０５の機能について説明する。ここでは、前記遅延時間Tdが１０秒であり、コンテンツプレーヤ３から出力されている動画の映像コンテンツが視聴端末２で視聴中の状態から説明を始める。

図４の時刻t1において、コンテンツプレーヤ３から出力された映像コンテンツ（動画）は、コンテンツ配信装置１のHDMI切換部１０３により変換部１０２へ送られ、その動画エンコード部１０２ａにおいてH.264エンコードにより符号化データに変換された後、前記暗号化部１０６により暗号化される。暗号化された符号化データは、無線LANインタフェース１０１からWi-Fiルータ５およびインターネット経由で視聴端末２へ配信される。

視聴端末２では、受信された符号化データが復号されてバッファリングされ、時刻t11で所定量のバッファリングが完了するとデコードが開始される。その結果、視聴端末２では略１０秒遅れで映像コンテンツのストリーミング再生が開始されることになる。

その後、映像コンテンツのストリーミング再生中に、時刻t13において、図５(a)に示したように視聴ユーザにより視聴端末２の画面がタップされると遠隔操作モードが起動され、コンテンツ配信装置１へ遠隔操作モードの開始を要求するメッセージが送信される。ここでは、視聴端末２からコンテンツ配信装置１へストリーミング停止要求メッセージが送信され、さらに静止画モードを指定したストリーミング開始要求メッセージが送信される。

遠隔操作情報検知部１０４は、前記映像コンテンツ変換部１０２に対して、前記ストリーミング停止要求メッセージに応答して動画エンコードの停止を要求すると共に、前記静止画モードを指定したストリーミング開始要求メッセージに応答して動画キャプチャの開始を要求する。動画エンコード部１０２ａは、前記要求に応答して動画エンコードを停止する。動画キャプチャ部１０２ｂは、前記要求に応答して動画キャプチャを開始する。その結果、変換部１０２から出力される映像コンテンツが、前記H.264エンコードで符号化された動画から、JPEGエンコードされたJPEG画像の時系列に切り替わり、視聴端末２のディスプレイでは、キャプチャ画像が０．５秒ないし１秒周期的に更新表示されるようになる。

このとき、前記動画キャプチャ部１０２ｂの処理負荷は、前記動画エンコード部１０２ａの処理負荷に較べて十分に軽いので、コンテンツプレーヤ３から出力された映像コンテンツが視聴端末２で再生されるまでの伝送遅延が大幅に短縮され、例えば略３秒程度となる。したがって、視聴端末２では時刻t13以降、コンテンツプレーヤ３から出力される映像コンテンツを、動画としてではなく静止画の時系列としてではあるものの、リアルタイムに近い感覚で視聴できるようになる。

一方、視聴端末２のディスプレイでは、前記遠隔操作モードが起動されると、図５(b)に示したように、前記キャプチャ画像の画面上部にリモコンメニューが重畳表示される。ここで再生操作ボタンがタップされると、同図(c)に示したように、画面下部に「早戻し」、「一時停止」、「再生」、「停止」、「早送り」の各ボタンスイッチが重畳表示され、いずれかのボタンがタップされると、そのボタンに応じたリモコン信号がコンテンツ配信装置１を経由してコンテンツプレーヤ３へ送信される。前記コンテンツプレーヤ３では、受信されたリモコン信号が前記リモコン信号処理部１０５によりコンテンツプレーヤ３へ転送される。

同様に、前記リモコンメニューのカーソルボタン「↑」がタップされると、同図(d)に示したように、画面下部にカーソルの移動方向を示す複数の矢印ボタンが重畳表示され、いずれかのボタンがタップされると、そのボタンに応じたリモコン信号がコンテンツプレーヤ３へ送信される。

同様に、前記リモコンメニューのチャンネルボタン「ch」がタップされると、同図(e)に示したように、画面全面にチャネルボタンが重畳表示され、いずれかのチャネルボタンがタップされると、そのボタンに応じたリモコン信号がコンテンツプレーヤ３へ送信される。

同様に、前記リモコンメニューのファンクションボタン「btn」がタップされると、同図(f)に示したように、画面下部に各種のファンクションボタンが重畳表示され、いずれかのボタンがタップされると、そのボタンに応じたリモコン信号がコンテンツプレーヤ３へ送信される。

その後、時刻t22において動画の再生ボタンがタップされて遠隔操作モードの終了が要求されると、視聴端末２の動作モードが遠隔操作モードから動画再生モードに切り替わり、コンテンツ配信装置１へ遠隔操作モードの終了を要求するメッセージが送信される。ここでは、視聴端末２からコンテンツ配信装置１へストリーミング停止要求メッセージが送信され、さらに動画を指定したストリーミング開始要求メッセージが送信される。

遠隔操作情報検知部１０４は、前記ストリーミング停止要求メッセージに応答して、前記映像コンテンツ変換部１０２に対して、動画キャプチャを停止して動画エンコードの再開を要求するメッセージを出力する。映像コンテンツ変換部１０２では、前記メッセージに応答して、動画キャプチャ部１０２ｂが動画キャプチャを停止し、動画エンコード部１０２ａが動画エンコードを再開する。その結果、変換部１０２から出力される映像コンテンツが、JPEGエンコードされたJPEG画像の時系列から、H.264エンコードで符号化された動画に切り替わり、視聴端末２のディスプレイでは動画が表示されるようになる。

一方、図５(f)の画面においてファンクションボタンの「録画予約」がタップされると、図６に示したように、録画予約用の番組表が表示され、その下方に録画予約操作用のファンクションボタンが現れる。ここで、ユーザが各矢印ボタンをタップしてカーソル６０を所望の番組欄の位置まで移動させ、さらに「予約」ボタンをタップすると、当該番組が録画予約される。録画予約したい番組が複数ある場合には、上記の各操作を繰り返すことで予約が次々と行われる。その後、全ての予約が完了して「戻る」ボタンがタップされ、そのリモコン信号が前記リモコン信号処理部１０５を経由してコンテンツプレーヤ３へ送信されると、当該コンテンツプレーヤ３から出力される映像コンテンツが動画に戻る。

前記シーン変化検出部１０７では、映像コンテンツが静的な録画予約用の番組表から動的な動画へ戻ったことが、前記動き強度検知部１０７ａにより検知される動き強度の変化に基づいて認識されると、録画予約操作が終了して動画の再生が開始されたと判断する。そして、前記映像コンテンツ変換部１０２に対して、動画キャプチャを停止して動画エンコードの再開を要求するメッセージを出力する。映像コンテンツ変換部１０２では、前記メッセージに応答して、動画キャプチャ部１０２ｂが動画キャプチャを停止し、動画エンコード部１０２ａが動画エンコードを再開する。

本実施形態によれば、映像コンテンツの内容が、録画予約用の番組表のような静的シーンから、通常の動画再生のような動的シーンに戻ると、これが動き強度の変化（増加）として認識され、映像コンテンツの変換方式が自動的に動画キャプチャから動画エンコードへ戻るので、遠隔操作モードを終了させるためだけの専用操作が不要になる。

１…コンテンツ配信装置，２…視聴端末，３…コンテンツプレーヤ，４…TVモニタ，５…Wi-Fiルータ，６…Adminサーバ，１０１…無線LANインタフェース，１０２…映像コンテンツ変換部，１０２ａ…動画エンコード部，１０２ｂ…動画キャプチャ部，１０３…HDMI切換部，１０４…遠隔操作情報検知部，１０５…リモコン信号処理部，１０６…暗号化部，１０７…シーン変化検知部，１０７ａ…動き強度検知部

Claims (3)

1. コンテンツプレーヤから出力される動画の映像コンテンツをネットワーク経由で視聴端末へ配信する映像コンテンツ配信装置において、
   映像コンテンツをエンコードして動画の符号化データに変換する動画エンコード手段と、
   映像コンテンツを周期的にキャプチャして静止画の符号化データ列に変換する動画キャプチャ手段と、
   前記動画エンコード手段および動画キャプチャ手段のいずれかによる変換を選択する変換方式選択手段と、
   視聴端末から送信される遠隔操作の開始要求を検知する遠隔操作情報検知手段と、
   映像コンテンツの静的シーンから動的シーンへの変化を映像の動き強度に基づいて検知するシーン変化検知手段と、
   前記変換後の映像コンテンツをネットワーク経由で配信するインタフェースとを具備し、
   前記変換方式選択手段は、前記遠隔操作の開始要求に応答して動画キャプチャ手段を選択し、前記静的シーンから動的シーンへの変化に応答して動画エンコード手段を選択することを特徴とする映像コンテンツ配信装置。
2. 前記遠隔操作情報検知手段は、視聴端末から送信される遠隔操作の終了要求をさらに検知し、
   前記変換方式選択手段は、前記遠隔操作の終了要求に応答して動画エンコード手段を選択することを特徴とする請求項１に記載の映像コンテンツ配信装置。
3. 前記動画エンコード手段による動画エンコードにより生じる伝送遅延が、前記動画キャプチャ手段による動画キャプチャにより生じる伝送遅延よりも長いことを特徴とする請求項１または２に記載の映像コンテンツ配信装置。