WO2019044435A1

WO2019044435A1 - 動画配信装置、方法、プログラム、動画配信システム

Info

Publication number: WO2019044435A1
Application number: PCT/JP2018/029721
Authority: WO
Inventors: 慎之輔浅原
Original assignee: 慎之輔浅原
Priority date: 2017-08-31
Filing date: 2018-08-08
Publication date: 2019-03-07
Also published as: JP2019047229A; US20210250591A1; IL272678B; IL272678A; JP6630323B2; CN111066320B; US11218707B2; CN111066320A

Abstract

画像の欠損や遅延を生じさせることなく動画を再生できるようにすることで、ユーザが装置を撮像した動画を見ながら正確にその装置の機械を制御することを可能とする動画配信装置及び動画配信システムを提供する。本発明の動画配信装置は、撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化部と、符号化した動画ストリームの受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成管理部と、を有し、符号化部は、基準フレーム生成管理部が基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う。

Description

動画配信装置、方法、プログラム、動画配信システム

　本発明は、リアルタイムでの映像配信を低品質なネットワークを介した場合であっても遅延なく受信端末で再生可能とする動画配信装置及び動画配信システムに関する。

　インターネット回線網の発達、コンピュータの高速処理化により、以前では難しかった大きなデータ量の動画配信も可能となり、リアルタイムでの動画配信が誰でも行えるようになってきている。

　従来から筐体内部にある景品を、クレーンを用いて獲得するゲーム装置が知られている。このゲーム装置は、ユーザがクレーンを前後左右に動かすことで景品を獲得するものであり、ゲームセンターなどに設置されていることが多い。しかし近年は、ゲーム装置の筐体内の動画像や音声をリアルタイムでネットワークを介して送信し、携帯端末やスマートフォン、パーソナルコンピュータ等のユーザ端末で、その動画像や音声を再生しながら機械の操作信号を送信して、ゲーム装置の機械を制御するサービスが行われており、例えば、特許文献１に開示されている。

　また、このようなゲーム装置に限らず、監視カメラなどで撮影し、必要な操作を遠隔からユーザ端末等で操作信号を送信するということが行われている。

特開２０１４－４１９２号公報

　しかし、例えば、景品を獲得するには、ゲーム装置の機械を正確に駆動させなければならないが、それには、リアルタイムで高画質の動画がユーザ端末に配信される必要がある。ただし、配信されるデータサイズによっては、ユーザ端末までのネットワークの通信速度やユーザ端末の処理速度が原因となり、ユーザ端末で遅延やエラーが生じることなくスムーズに動画が再生されないことがある。

　このため、動画配信の事業者によっては、どのような通信環境、端末であっても、スムーズに動画が再生されるよう、動画像の符号化を行って配信する動画のデータサイズを圧縮している。しかし、例えば、動画のフレーム画像をＭＰＥＧ（Moving Picture Experts Group）やＨ．２６４／ＡＶＣ（Advanced Video Coding）などの動画像符号化方式により圧縮符号化し、生成された動画ストリームをＩＰ（Internet Protocol）パケットに格納してインターネット上に送信して、ユーザ端末に受信させた場合であっても、インターネット環境が輻輳していた場合、パケットデータの遅延や欠損などのエラーが生じることがあり、リアルタイムで画像が正しくユーザ端末で再生できないことがある。

　画像の圧縮符号化を行った場合、符号化を行う前の画像データのデータ量から比較すれば、全体のデータ量は減少しているものの、基準フレームであるＩ（Intra）フレームのデータ量は、他の差分フレームであるＰ（Predictive）フレーム又はＢ（Bi-predictive prediction）フレームと比較して大きく、Ｉフレーム受信時にエラーが生じやすい。

　動画配信によって遠隔の機械操作を行う場合、動画のリアルタイム性が重要となる。このため、バッファリングを行うなどして単位時間当たりのデータ量を平均化して、端末の処理負担を減らすということもできない。

　本発明はこのような問題を解決するために、通信環境、ユーザ端末の処理能力を問わず、確実に鮮明な動画ストリームを受信端末で再生可能な、動画配信装置または動画配信システムを提供する。

　上記目的に鑑み、本発明の動画配信装置は、撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化部と、符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成管理部と、を有し、符号化部は、基準フレーム生成管理部が基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う。受信端末から受信する基準フレーム生成信号または基準フレーム生成再開信号によって、基準フレームの生成を制御するため、受信端末側の都合によって基準フレームの生成を抑制するため、データサイズの大きい基準フレームを受信することによる動画再生の遅延やエラーを防止することができる。

　また、本発明の動画配信装置は、基準フレーム生成停止信号は、機械制御信号であり、基準フレーム生成再開信号は、機械制御停止信号であり、さらに、接続された機械の駆動を制御する機械制御部を有し、機械制御部は、機械制御信号を受信すると、機械制御信号に応じて接続された機械を駆動させ、機械制御停止信号を受信すると、機械の駆動を停止することを特徴とする。機械制御信号を受信端末から受信したときに基準フレームの生成を停止することで、ユーザが機械を駆動制御している間、動画再生の遅延やエラーを防止できるため、ユーザは動画を見ながら正確に機械を制御することができる。

　また、機械制御部が制御する機械は、プレイフィールド内にある景品を獲得するゲーム装置において、景品を獲得するためのクレーンであり、符号化部は、撮像部が撮像したゲーム装置内の動画を符号化してもよい。

　さらに、符号化部で直近に生成された基準フレーム以降の符号化した動画ストリームを記憶する動画ストリーム記憶部を有し、他の受信端末から動画配信要求を受信すると、基準フレーム生成管理部は動画ストリーム記憶部に記憶された基準フレーム以降の符号化した動画ストリームを最初に送信することを特徴とする。動画ストリーム記憶部に基準フレーム以降の符号化した動画ストリームを記憶しておくことで、差分フレームが生成されているタイミングで他の受信端末から同じ装置の動画の配信要求を受信した場合であっても、当該他の受信端末でスムーズに動画再生することができる。

　本発明の動画配信方法は、撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化ステップと、符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成再開信号受信ステップと、を有し、符号化ステップは、基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う。

　本発明のコンピュータプログラムは、撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化部と、符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成管理部と、を有し、符号化部は、基準フレーム生成管理部が基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う。

　本発明の動画配信システムは、撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化部と、符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成管理部と、を有し、符号化部は、基準フレーム生成管理部が基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う、動画配信装置と、動画配信装置から符号化した動画ストリームを受信し、符号化した動画ストリームを復号して再生する復号部を有する受信端末と、を有する。

　さらに、本発明の動画配信システムは、動画配信装置は、さらに、符号化部で直近に生成された基準フレーム以降の符号化した動画ストリームを記憶する動画ストリーム記憶部を有し、他の受信端末から動画配信要求を受信すると、基準フレーム生成管理部は動画ストリーム記憶部に記憶された基準フレーム以降の符号化した動画ストリームを最初に送信し、受信端末は、復号部は、基準フレーム以降の符号化した動画ストリームを受信した場合、受信した動画ストリームをすべて復号して一枚のフレーム画像を生成して再生することを特徴とする。

　本発明によれば、受信端末から基準フレーム生成停止信号を受信すると基準フレームの生成を停止し、基準フレーム再開信号を受信すると基準フレームの生成を再開するため、受信端末が予期しないタイミングでデータ量の大きい基準フレームを受信しないようにすることで、画像の欠損や遅延を生じないようにすることができる。

　また、受信端末から受信する基準フレーム生成停止信号は、動画配信装置が配信している動画に撮像されている装置の機械を動かすための機械制御信号であるから、装置の機械を受信端末が制御している間は、基準フレーム生成が停止される。従って、受信端末が装置の機械を制御している間は、データ量の少ない差分フレームのみが生成されるため、画像の欠損や遅延を生じることがなく、ユーザは動画を見ながら受信端末から正確に機械制御を行うことができる。また、機械を制御している間は、機械は動いているものの、動画像には大きな変化が生じないため差分フレームのみが生成されていても、表示に支障のない画像を受信端末に提供することができる。

　さらに、他の受信端末が、基準フレーム生成を停止している間にその動画の配信を要求してきた場合であっても、動画ストリーム記憶部に記憶されている最新の基準フレーム以降の生成フレームを送信し、すべて合成してから受信端末で動画再生を開始するため、基準フレームが生成できないタイミングに他の受信端末から受信要求があっても、スムーズに動画配信を行うことができる。

本発明に係る動画配信システムの全体図の一例である。装置２０がゲーム装置２００であった場合のゲーム装置２００と動画配信装置１０とのシステム構成の一例を示す図である。動画配信装置１０の構成の一例を示す機能ブロック図である。符号化部１２０の構成の一例を示すブロック図である。基準フレーム生成管理部１３０における符号化処理に関するフローチャートの一例である。動画配信装置１０が基準フレーム生成停止信号や基準フレーム生成再開信号を受信した場合の符号化処理の仕組みを説明する図である。ユーザ端末５０の構成の一例を示す機能ブロック図である。動画配信装置１０のハードウェア構成図の一例である。

　以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明に係る動画配信システムの全体図の一例である。動画配信システム１は、装置２０（２０ａ～２０ｂ）と撮像部３０（３０ａ～３０ｂ）が接続され、さらにインターネット４０を介してユーザ端末５０（５０ａ～５０ｃ）と接続されることで構成される。

　動画配信装置１０は、装置２０に対して設置された撮像部３０の撮影した動画像をユーザ端末５０に配信するための装置である。動画配信装置１０は、撮像部が装置２０を撮像した動画像を受信してフレーム間符号化し、符号化した動画ストリームを生成して、ユーザ端末５０へ送信する。ユーザ端末５０は、受信した動画ストリームを復号、再生することで、装置２０の状態をリアルタイムで知ることができ、再生された動画ストリームを見ながら、装置２０の機械を駆動するための機械制御信号を送信する。また、動画配信装置１０は、動画を配信するための機能だけでなく、接続された装置２０を制御するための機械制御や管理を行うための機能を有していてもよい。具体的には、ユーザ端末５０から受信した機械制御信号を装置２０の機械駆動部に送信することで、装置２０の機械の制御を行う。その他、装置２０とユーザ端末５０との間でユーザ管理等を行ってもよい。動画配信装置１０は、撮像部３０が撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する。例えば、ＭＰＥＧ４やＨ．２６４／ＡＶＣなどの動画像符号化技術を用いて動画ストリームを生成する。

　動画配信装置１０は、ユーザ端末５０から基準フレーム生成停止信号または基準フレーム生成再開信号を受信する。基準フレーム生成停止信号を受信すると動画配信装置１０は、基準フレーム、つまりＩフレームの生成を停止し、差分フレーム、例えばＰフレーム又はＢフレームのみを生成する。そして、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開する。基準フレーム生成停止信号は、例えば、機械制御開始を指示する機械制御信号、基準フレーム生成再開信号は、例えば、機械制御停止を指示する機械制御停止信号であってもよい。

　装置２０は、撮像部３０によって撮影されている装置であって、ユーザ端末５０からの信号により遠隔から機械的に制御できる装置であり、例えば、ゲーム装置、ミニカー、ドローン、パーソナルコンピュータなどである。ユーザ端末５０は、撮像部３０により撮影されている動画を受信して表示させて、装置２０の機械を制御する信号を送信する。装置２０は、ユーザ端末から受信した機械制御信号をもとに制御される。

　撮像部３０（３０ａ、３０ｂ）は、装置２０を撮像するものであり、具体的には、ビデオカメラである。撮像部３０は、ユーザ端末５０が装置２０の機械制御をするために必要な動画像を撮影し、動画配信装置１０にユーザ端末５０へ配信するための動画ストリームを生成するための動画像を供給する。ここでは、撮像部３０は、装置２０一つに対し、一台で図示されているが、これに限らず、複数台配置されていてもよい。ユーザ端末５０は、撮像部３０が撮像した動画像により装置の様子を確認しながら、機械制御信号を送ることができる。

　インターネット４０は、装置２０と、装置２０を遠隔地から制御したいユーザ端末５０とを接続する回線網である。

　ユーザ端末５０は、インターネット４０と接続されたコンピュータであり、動画配信装置１０から動画像を受信する受信端末である。ユーザは、受信した動画像で装置２０の動きを確認しながら、例えば、Ｗｅｂコンテンツとして提供されたコントローラをユーザ端末５０の表示部に表示させ、入力することで、機械制御信号や機械制御停止信号を動画配信装置１０へ送信し、装置２０の機械を制御する。ユーザ端末５０は、動画配信装置１０から受信した動画ストリームを復号して再生、表示する。また、動画受信開始時に動画配信装置１０から現在の配信フレーム画像の前に、基準フレームとその差分フレームとを含んだ複数のフレーム画像を受信した場合、複数のフレーム画像をすべて復号したうえで、現在の配信フレーム画像を生成して再生する。

　図２は、装置２０がゲーム装置２００であった場合のゲーム装置２００と動画配信装置１０とのシステム構成の一例を示す図である。

　動画配信装置１０は、図１の動画配信装置１０と同じ装置であり、ゲーム装置２００の筐体内部に対して設置された撮像部３０の撮影した動画像をユーザ端末５０に配信するための装置である。動画配信装置１０は、ユーザ端末５０へ動画ストリームを配信するとともに、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する。動画配信装置１０は、基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、差分フレームのみを生成して動画ストリームを生成する。また、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開し、通常の符号化処理を行って動画ストリームを生成する。基準フレーム生成停止信号が、機械制御信号である場合、基準フレームの生成を停止するとともに、機械駆動部２１０が受信した機械制御信号に従って、クレーン２２０が動くよう駆動する。また、基準フレーム生成再開信号が、機械制御停止信号でもある場合、動いていたクレーン２２０が停止するよう、機械駆動部２１０へ信号を送り、クレーン２２０が停止するよう駆動させる。なお、動画配信装置１０の構成の詳細については、後述する。

　ゲーム装置２００は、機械駆動部２１０、クレーン２２０、景品払出口２３０、景品２４０を有するゲーム装置である。ゲーム装置２００は、装置筐体内部のプレイフィールドにある標的物を獲得するクレーンゲームを提供するゲーム装置であって、インターネットを介して接続されたユーザ端末５０から送信される制御信号によってクレーン２２０が操作されるようになっている。１回のプレイは、ゲーム装置内のクレーンを動かし、クレーン２２０に付加されたアームを開閉、または吸引することで、標的物を獲得または失敗することで終了する。ゲーム装置２００のクレーン２２０を操作するためのコントローラはｗｅｂコンテンツとしてユーザ端末５０へ提供され、ユーザ端末５０からの機械制御命令を受信することで、クレーン等の機械が動作し、機械制御停止命令を受信することで動作が停止する。

　機械駆動部２１０は、クレーン２２０を動かすための駆動部で、例えば、モーターである。機械駆動部２１０は、動画配信装置１０を介して受信する機械制御信号または機械制御停止信号に従って、クレーン２２０を動かす。また、機械駆動部２１０は、ユーザ端末５０から受信する機械制御信号のほか、ユーザ端末５０による機械制御が行われた後は、クレーンの下降、アームを閉じる動作、クレーンを上昇させ、景品払出口２３０へ移動し、アームを開く動作、所定位置に戻る動作は、動画配信装置１０が生成する制御信号により駆動する。

　クレーン２２０は、機械駆動部２１０によって動かされ、ユーザ端末５０から受信する機械制御信号または機械制御停止信号により前後移動（ｘ方向）や左右移動（ｙ方向）し、位置が決まると下降し上昇する（ｚ方向）。下降時に、クレーン２２０の２本のアームを閉じる動作を行うことで、ゲーム装置の筐体内に置かれた景品の獲得を行おうとする。アームを閉じる動作を行うと、クレーン２２０は、上昇し、景品払出口２３０へと移動し、アームを開く動作を行う。また、クレーン２２０は、所定の位置へ戻る。アームは、開閉動作を行うことで、景品を把持し、獲得できるように動作する。

　景品払出口２３０は、クレーン２２０で獲得した景品が投げ落とされるところであり、景品払出口２３０より、景品がゲーム装置２００の筐体外部へ排出される。景品払出口２３０には例えば、センサが設置されており、景品排出を検知できるようになっている。排出された景品は、ユーザ端末５０を利用しているユーザの元へ配送される。

　景品２４０は、クレーン２２０を操作することで獲得される景品であって、ゲーム装置２００の内部のプレイフィールドに置かれている。景品２４０は、一又は複数置かれており、ユーザは、ユーザ端末５０から機械制御信号や機械制御停止信号を送信することでクレーン２２０を操作し、景品２４０を獲得しようとする。

　撮像部３０は、図１の撮像部３０と同じであり、ビデオカメラである。撮像部３０は、ゲーム装置２００の内部を撮像しており、ユーザ端末がクレーン２２０と景品２４０との位置関係が確認できるように撮影している。ここでは、一つのみが図示されているが、複数の角度から位置関係が確認できるように複数台設置されていてもよい。撮像部３００で撮像された動画は、動画配信装置１０へ送信され、動画配信装置１０は、フレーム間符号化し、符号化した動画ストリームがユーザ端末５０へ配信される。

　図３は、動画配信装置１０の構成の一例を示す機能ブロック図である。通信部１１０は、インターネット４０を介して、動画配信装置１０が生成した動画ストリームをＩＰパケットに格納してユーザ端末５０へ送信し、ユーザ端末５０から基準フレーム生成停止信号または基準フレーム生成再開信号、機械制御信号または機械制御停止信号を受信する。受信した信号は、基準フレーム生成管理部１３０や機械制御部１４０へ供給する。また、符号化部１２０で生成された動画ストリームは、通信部１１０を介してユーザ端末５０へ配信される。

　符号化部１２０は、いわゆるビデオエンコーダであり、撮像部３０で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する。符号化した動画ストリームは、通信部１１０によってパケット化され、インターネット４０を介してユーザ端末５０へ送信される。符号化部１２０は、フレーム間符号化して基準フレーム又は差分フレームを生成する。

　基準フレーム生成管理部１３０は、符号化部１２０の基準フレーム、つまりＩフレームの生成を管理する。また、通信部１１０が、ユーザ端末５０から受信する基準フレーム生成停止信号または基準フレーム生成再開信号を管理する。基準フレーム生成管理部１３０は基準フレーム生成停止信号を受信すると、符号化部１２０に動画の符号化におけるフレームの種類を差分フレームに設定する信号を与える。また、基準フレーム生成再開信号を受信すると、符号化部１２０に、基準フレームの生成を再開し、動画の符号化におけるフレームの種類を任意のフレームに設定する信号を与える。基準フレーム生成管理部１３０は、符号化部１２０が、基準フレーム生成再開信号受信以降は、通常の符号化処理に戻り、ＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅ）の最初のフレームに基準フレームを生成する処理に戻り、基準フレームまたは差分フレームを生成するよう制御する。基準フレーム生成管理部１３０は、符号化部１２０が生成した動画ストリームが供給されると、直近の基準フレーム以降のフレーム画像が動画ストリーム記憶部１３２に記憶されるよう制御する。

　また、基準フレーム生成管理部１３０の動画ストリーム記憶部１３２は、符号化部１２０が生成した最新の基準フレーム以降の基準フレーム及び差分フレームを記憶する。基準フレーム生成管理部１３０は、動画配信中に新たな動画配信要求を他のユーザ端末５０からも受信したとき、動画ストリーム記憶部１３２から最新の基準フレーム以降のフレームを読みだして、動画配信要求を行ったユーザ端末へ送信する。

　機械制御部１４０は、動画配信装置１０に接続されている、装置２０、例えばゲーム装置２００の機械駆動部２１０と接続されており、ユーザ端末５０から受信した機械制御信号に基づいて機械駆動部２１０の制御を行って、ユーザが所望するようにクレーン２２０が前後左右に動くように制御する。また、ユーザ端末５０から機械制御信号を受信しない場合であっても、クレーン２２０の上下動作や、クレーンのアーム開閉動作、景品払出口２３０への移動、所定の初期位置への移動などの制御を行う。

　ゲーム結果管理部１５０は、ゲーム装置２００でのユーザのプレイに関する情報を管理する。例えば、ユーザ情報、プレイ毎の課金情報を管理するとともに、プレイの結果、景品が獲得されたかどうか、獲得された場合の配送情報などを管理している。ゲーム結果管理部１５０は、ユーザ端末５０よりゲーム装置２００でのゲーム開始を受信すると、決済を行い、機械制御信号が受信されたかどうか、待機する。機械制御信号の受信及び機械制御停止信号の受信を検出すると、ゲーム結果として景品が景品払出口２３０で検出できたかどうか、景品払出口２３０に設けられたセンサからの情報の受信を待つ。ユーザが景品を獲得でき、景品払出口２３０から排出された場合、通信部１１０を介してユーザ端末５０へ景品の獲得を通知し、景品の配送情報等の入力を求める。

　図４は、符号化部１２０の構成の一例を示すブロック図である。符号化部１２０は、撮像部３０から動画を受け取り、一例としてＨ．２６４／ＡＶＣ規格に従ってフレーム画像を符号化し、符号化した動画ストリームを生成する。また、符号化部１２０は、基準フレーム生成管理部１３０からのフレーム生成信号に応じて、基準フレーム又は差分フレームを生成する。符号化部１２０は、差分フレームを設定する信号を受信すると、ＰまたはＢフレームのみを生成し、基準フレーム生成管理部１３０から任意のフレームに設定する信号を受信すると、ＩまたはＰ、Ｂフレームを生成する。符号化部１２０は、入力バッファ１２０２、減算器１２０４、ＤＣＴ部１２０６、量子化部１２０８、逆量子化部１２１０、逆ＤＣＴ部１２１２、加算器１２１４、フレームメモリ１２１６、動き検出部１２１８、動き補償部１２２０、エントロピー符号化部１２２２、出力バッファ１２２４、符号量制御部１２２６を有する。

　入力バッファ１２０２は、撮像部３０から入力された動画をフレーム間符号化するために必要な参照されるフレーム画像を並べ替えて保持するバッファである。例えば、前方予測、後方予測、双方向予測に対応して必要な参照フレームを保持し、動き検出部１２１８に参照画像を供給する。

　減算器１２０４は、Ｉフレーム生成の場合は、入力バッファ１２０２から供給される画像フレームをそのままＤＣＴ部１２０６に供給し、ＰまたはＢフレームの場合は、動き補償部１２２０から供給される予測画像との差分を計算してＤＣＴ部１２０６に供給する。

　ＤＣＴ部１２０６は、供給されたＩ、ＰまたはＢフレームの画像を離散コサイン変換（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）処理を行い、得られたＤＣＴ係数を量子化部１２０８に供給する。

　量子化部１２０８は、ＤＣＴ係数を量子化し、エントロピー符号化部１２２２に供給する。また、量子化部１２０８は、動き補償を行うために量子化されたＤＣＴ係数を逆量子化部１２１０に供給する。

　逆量子化部１２１０は供給された量子化されたＤＣＴ係数を逆量子化し、逆ＤＣＴ部１２１２へ供給する。逆ＤＣＴ部１２１２は、逆量子化されたデータを逆ＤＣＴ処理する。これにより符号化された画像フレームが復元される。フレームメモリ１２１６は、動き補償の参照画像として用いるために復元されたフレーム画像を記憶する。動き検出部１２１８は、フレームメモリ１２１６に記憶されているフレーム画像を参照し、現在処理対象のフレーム画像について動き探索を行って、動き検出を行う。動き補償部１２２０は、参照画像に対して、動きベクトルと動き補償された予測画像を生成し、予測画像を減算器１２０４に供給する。また、生成した動きベクトルと予測画像は、加算器１２１４を介して、フレームメモリ１２１６へ記憶される。また、動きベクトルをエントロピー符号化部２２２へ供給する。

　エントロピー符号化部１２２２は、量子化部１２０８により量子化されたＤＣＴ係数のエントロピー符号化（可変長符号化）を行い、エントロピー符号化された圧縮画像データを出力バッファ１２２４に格納する。エントロピー符号化部１２２２は、Ｐ又はＢフレーム、つまり差分フレームの場合は、動き検出部１２１８から供給された動きベクトルとともに差分画像の量子化されたＤＣＴ係数をエントロピー符号化する。

　出力バッファ１２２４は、符号化した動画ストリームが格納され、ヘッダ情報などが付された後、動画ストリームとして出力される。出力された動画ストリームは、通信部１１０を介してユーザ端末５０へ配信されるとともに、動画ストリーム記憶部１３２へ供給され、記憶される。

　符号量制御部１２２６は、出力バッファ１２２４に記憶された記憶量に基づき、量子化部１２０８の量子化処理をフィードバック制御する。

　図５は、基準フレーム生成管理部１３０における符号化処理に関するフローチャートの一例である。基準フレーム生成管理部１３０は、撮像部３０から符号化部１２０に入力され、処理するフレーム画像があるかどうか判定を行い（ステップＳ５０１）、処理するフレーム画像がある場合（Ｙｅｓ）は、通常のエンコード処理を行うよう符号化部１２０へ信号を送る（ステップＳ５０２）。例えばＧＯＰが６０枚のフレーム画像で構成され、１ＧＯＰが２秒で再生されるとする。この場合、通常のエンコード処理とは、ＧＯＰの最初に基準フレームを必ず生成し、それ以降の５９枚の画像フレームは、差分フレーム（Ｐ又はＢフレーム）を生成する処理である。処理するフレーム画像がない場合（Ｎｏ）は、処理を終了する。

　基準フレーム生成管理部１３０は、通信部１１０から基準フレーム生成停止信号を受信したかどうか判定する（ステップＳ５０３）。基準フレーム生成停止信号を受信したとき（ｙｅｓ）、基準フレーム生成管理部１３０は、基準フレームの生成を停止する信号を符号化部１２０へ送る。つまり、生成フレームを差分フレームであるＰ又はＢフレームを設定する信号を符号化部１２０へ送る。なお、ユーザ端末５０から送信される基準フレーム生成停止信号は、機械制御信号であってもよい。この場合、ユーザがゲームを開始し、ゲーム装置２００のクレーン２２０を移動させようと、ユーザ端末５０に表示されたｗｅｂコントローラから機械制御信号を入力、送信すると、動画配信装置１０の通信部１１０は、機械制御信号を受信すると、機械制御信号を機械制御部１４０と基準フレーム生成管理部１３０へ供給する。基準フレーム生成管理部１３０は、機械制御信号を受信すると基準フレーム生成停止を設定する信号を符号化部１２０へ送信する。基準フレーム生成停止信号を受信していない場合（ｎｏ）、通常のエンコード処理を続行するよう符号化部１２０へ信号を送る（ステップＳ５０２）。

　基準フレームの生成停止信号を符号化部１２０へ送信後、基準フレーム生成管理部１３０は、基準フレーム生成再開信号を受信したか判定する（ステップＳ５０５）。基準フレーム生成再開信号を受信したと判定したとき（ｙｅｓ）、基準フレーム生成管理部１３０は通常のエンコード処理を続行するよう、符号化部１２０へ信号を送る（ステップＳ５０２）。また、基準フレーム生成再開信号を受信していないと判定したとき（ｎｏ）、引き続き基準フレームの生成を停止するよう信号を送信する（ステップＳ５０４）。

　図６は、動画配信装置１０が基準フレーム生成停止信号や基準フレーム生成再開信号を受信した場合の符号化処理の仕組みを説明する図である。図６（ａ）は、基準フレーム生成停止信号や基準フレーム生成再開信号を受信しない場合の符号化処理を示す図面である。基準フレーム生成停止信号や基準フレーム生成再開信号を受信しない場合、ＧＯＰの最初のフレームに基準フレーム、つまりＩフレームを生成し、残りの５９枚のフレームは、差分フレームを生成する。ここでは、差分フレームは、すべてＰフレームとしているが、差分フレームとしてＰフレームだけでなくＢフレームも生成されてもよい。ＧＯＰの最初のフレームにＩフレームが生成されるため、１番目、６１番目、１２１番目のフレーム画像にＩフレームが生成される。その他のフレームには、Ｐフレームが生成されている。

　図６（ｂ）は、基準フレーム生成停止信号や基準フレーム生成再開信号、また、動画配信要求を受信した場合の符号化処理を示す図面である。ここでは、ユーザ端末５０から動画配信装置１０が３番目のフレーム生成時に基準フレーム生成停止信号を受信し、１１８番目のフレーム生成時に基準フレーム生成再開信号を受信する。なお、この信号は、機械制御信号を兼ねていてもよい。動画配信装置１０の通信部１１０が基準フレーム生成停止信号を受信し、基準フレーム生成管理部１３０に供給されると、基準フレーム生成管理部１３０は、基準フレームの生成を停止するよう、つまり符号化するフレームの種類を差分フレームに設定する信号を符号化部１２０へ与える。すると、符号化部１２０は、基準フレーム生成再開信号を受信するまで、基準フレームの生成を停止するため、６１番目、ＧＯＰの最初のフレームであっても基準フレームであるＩフレームを生成しない。そして、１１８番目のフレーム生成時に、動画配信装置１０の通信部１１０が基準フレーム生成再開信号を受信すると、基準フレーム生成管理部１３０は、符号化部１２０へ生成するフレームの種類を任意のフレームに設定する信号を与える。このため、符号化部１２０は、通常の符号化処理に戻り、１２１番目、ＧＯＰの最初のフレームにおいてＩフレームを生成する。この基準フレーム生成再開信号は、機械制御停止信号を兼ねていてもよい。このように構成することで、ユーザがユーザ端末５０からネットワークを介してゲーム装置等の機械を制御している間、データサイズの大きい基準フレームの生成が停止されるため、どのようなネットワーク、ユーザ端末を使用していたとしても動画配信が遅延することなく、スムーズに動画が配信されるため、動画を見ながらユーザは正確に機械を制御することができる。また、機械動作中は、機械の動作によって背景が変化するのみであるため、差分フレームのみが生成されたとしても、生成される画像の質に問題は生じない。

　また、ここで、ユーザ端末が機械制御中に別のユーザ端末がその機械の動画配信の要求を送信したとする。図６（ｂ）では、７番目のフレーム生成時に機械を制御しているユーザ端末とは別のユーザ端末から動画配信要求を受信した例を示している。この場合、動画配信要求を送信したユーザ端末に、７番目のフレームから動画ストリームを送信するとともに、基準フレーム生成管理部１３０は、１～６番目のフレーム画像を動画ストリーム記憶部１３２から読み出して、送信する。このため、他のユーザ端末が最初に受信するフレームが差分フレームであっても、その差分フレームが属する基準フレーム以降のすべてのフレームも併せて受信するため、これらをすべて復号することで７番目の画像のフレームを復号、再生することができる。

　図７は、ユーザ端末５０の構成の一例を示す機能ブロック図である。ユーザ端末５０は、例えば、パーソナルコンピュータ、スマートフォン、携帯電話などネットワークに接続することができ、動画を表示、再生することができる通信端末であれば、どのような端末であってもよい。ユーザ端末５０は、通信部５２、復号部５４、制御部５６、スピーカ５８、ディスプレイ６０、入力部６２を有する。

　通信部５２は、動画配信装置１０から配信されるゲーム装置などの機械の様子を撮影した動画ストリームや機械を制御するためのｗｅｂコントローラなどのインターネットページなどを受信するとともに、ユーザが入力する基準フレーム生成停止信号、基準フレーム生成再開信号、機械制御信号、機械制御停止信号などを動画配信装置１０へ送信する。

　復号部５４は、通信部５２が受信した動画ストリームは符号化されているため、復号してビデオを再生する。音声も含まれている場合は、音声も復号化してオーディオを再生し、それぞれスピーカ５８とディスプレイ６０に出力する。

　制御部５６は、復号部５４の復号処理の制御、通信部５２の通信制御、入力部６２から入力された機械制御、機械制御停止等の信号を通信部５２へ供給する等、ユーザ端末の全般的な制御を行う。

　スピーカ５８は、動画配信装置１０から受信し復号部５４が復号した音声を出力し、ディスプレイ６０は、復号部５４が復号したビデオを出力する。また、入力部６２は、ユーザからの機械制御のための信号などを受け付け、例えばキーボード、マウス、タッチパネルなどである。

　図８は、動画配信装置１０のハードウェア構成図の一例である。図８に示されているようにコンピュータと、パーソナルコンピュータ上で実行されるプログラムとして構成されてもよい。コンピュータは、ＣＰＵ（中央演算装置）８０１と、ＣＰＵ８０１にバスを介して接続されているＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）８０３、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）８０５、ハードディスクドライブなどの外部記憶装置８０７、Ｉ／Ｏインターフェース８０９、通信ネットワーク回線に接続するための通信インターフェース８１１などとを備え、Ｉ／Ｏインターフェース８０９には、カメラ８１３、マイク８１５、ディスプレイ８１７が接続されている。この場合、例えば、動画配信装置１０の符号化部１２０、基準フレーム生成管理部１３０、機械制御部１４０、ゲーム結果管理部１５０の機能が、コンピュータ上で実行されるプログラムによって実現され、動画ストリーム記憶部１３２の機能が外部記憶装置８０７によって実現され、撮像部３０の機能がカメラによって実現される。また、ゲーム装置の音楽や音も動画と合わせて配信する際には、音声入力部の機能がマイクによって実現される。各種機能を実現するプログラムは、外部記憶装置８０７に記憶され、ＲＡＭ８０３に読みだされた後に、ＣＰＵ８０１によって実行される。

　１０　　動画配信装置
　３０　　撮像部
　４０　　インターネット
　１１０　通信部
　１２０　符号化部
　１３０　基準フレーム生成管理部
　１３２　動画ストリーム記憶部
　１４０　機械制御部
　１５０　ゲーム結果管理部
　２００　ゲーム装置

Claims

撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化部と、
符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成管理部と、を有し、
前記符号化部は、前記基準フレーム生成管理部が前記基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う、動画配信装置。
前記基準フレーム生成停止信号は、機械制御信号であり、前記基準フレーム生成再開信号は、機械制御停止信号であり、
さらに、接続された機械の駆動を制御する機械制御部を有し、
前記機械制御部は、前記機械制御信号を受信すると、前記機械制御信号に応じて接続された機械を駆動させ、前記機械制御停止信号を受信すると、前記機械の駆動を停止する、請求項１記載の動画配信装置。
前記機械制御部が制御する機械は、プレイフィールド内にある景品を獲得するゲーム装置において、景品を獲得するためのクレーンであり、
前記符号化部は、前記撮像部が撮像した前記ゲーム装置内の動画を符号化する、
請求項２記載の動画配信装置。
さらに、前記符号化部で直近に生成された基準フレーム以降の符号化した動画ストリームを記憶する動画ストリーム記憶部を有し、
他の受信端末から動画配信要求を受信すると、前記基準フレーム生成管理部は前記動画ストリーム記憶部に記憶された前記基準フレーム以降の符号化した動画ストリームを最初に送信する、
請求項２又は３記載の動画配信装置。
撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化ステップと、
符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成再開信号受信ステップと、を有し、
前記符号化ステップは、前記基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う、動画配信方法。
撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化部と、
符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成管理部と、を有し、
前記符号化部は、前記基準フレーム生成管理部が前記基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う、動画配信装置としてコンピュータを機能させることを特徴とするコンピュータプログラム。
撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化部と、
符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成管理部と、を有し、
前記符号化部は、前記基準フレーム生成管理部が前記基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う、動画配信装置と、
前記動画配信装置から前記符号化した動画ストリームを受信し、前記符号化した動画ストリームを復号して再生する復号部を有する受信端末と、を有する動画配信システム。
前記動画配信装置は、
さらに、前記符号化部で直近に生成された基準フレーム以降の符号化した動画ストリームを記憶する動画ストリーム記憶部を有し、
他の受信端末から動画配信要求を受信すると、前記基準フレーム生成管理部は前記動画ストリーム記憶部に記憶された前記基準フレーム以降の符号化した動画ストリームを最初に送信し、
前記受信端末は、
前記復号部は、前記基準フレーム以降の符号化した動画ストリームを受信した場合、受信した動画ストリームをすべて復号してフレーム画像を生成して再生する、
請求項７記載の動画配信システム。