JP6993869B2 - 再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム - Google Patents

再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP6993869B2
JP6993869B2 JP2017247480A JP2017247480A JP6993869B2 JP 6993869 B2 JP6993869 B2 JP 6993869B2 JP 2017247480 A JP2017247480 A JP 2017247480A JP 2017247480 A JP2017247480 A JP 2017247480A JP 6993869 B2 JP6993869 B2 JP 6993869B2
Authority
JP
Japan
Prior art keywords
video
data
audio
moving image
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017247480A
Other languages
English (en)
Other versions
JP2019114941A (ja
Inventor
弘道 小野
聖児 正月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Priority to JP2017247480A priority Critical patent/JP6993869B2/ja
Priority to CN201811542164.1A priority patent/CN110035309B/zh
Publication of JP2019114941A publication Critical patent/JP2019114941A/ja
Priority to JP2021138022A priority patent/JP7200313B2/ja
Application granted granted Critical
Publication of JP6993869B2 publication Critical patent/JP6993869B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations

Description

本発明は、ストリーミングにより配信された映像及び音声を再生する再生装置、遠隔再生システム、再生方法、及びコンピュータを再生装置として機能させるコンピュータプログラムに関する。
例えば、学校の授業において、教師が使用する端末装置に出力される映像及び音声と同一の映像及び音声を教室内に設置された大型の表示装置に遠隔再生(ミラーリング)する遠隔再生システムが知られている(例えば、特許文献1)。かかる遠隔再生システムでは、端末装置が自装置で出力している映像及び音声を取り込み映像データ及び音声データを生成し、これらのデータを例えば無線通信により送信する。無線LAN(Local Area Network)のアクセスポイント等の再生装置がこれらのデータを受信して再生し、再生装置に接続された表示装置に映像及び音声が出力される。
特開2016-213541号公報
ところで、低通信量と高画質とを両立するために、画質は低いが単位時間当たりに処理されるデータ量が小さい映像再生処理と、高画質だが単位時間当たりに処理されるデータ量が大きい映像再生処理とを切り替えることが考えられる。しかしながら、このような映像再生処理の切り替えでは、前者に対して後者の再生負荷が高く、データの受信から映像の再生までの遅れ時間が大きい。その一方で、音声の再生負荷は低く再生の遅れ時間が短いため、前者から後者に切り替えた場合に音声に対して映像に遅れが生じるという問題がある。
本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、上記課題を解決できる再生装置、遠隔再生システム、再生方法、及びコンピュータプログラムを提供することにある。
上述した課題を解決するために、本発明の一の態様の再生装置は、音声時刻情報が付加された音声データ、時間的に前後する2つのフレーム間の差分データ、および動画時刻情報が付加された動画データを受信する通信部と、前記差分データと、前記2つのフレームのうちの前のフレームとに基づいて生成された後のフレームにより映像を再生する第1映像再生部と、前記動画データに基づいて生成された時間的に連続する複数のフレームにより映像を再生する第2映像再生部と、前記音声データに基づいて音声を再生するとともに、前記第2映像再生部が前記映像を再生している場合には、前記動画時刻情報と前記音声時刻情報とに基づいて前記音声を前記映像に同期させる音声再生部とを備える。
また、本発明の他の態様の遠隔再生システムは、音声時刻情報が付加された音声データ、時間的に前後する2つのフレーム間の差分データ、および動画時刻情報が付加された動画データを送信するコンテンツ送信装置と、上記態様の再生装置とを備える。
また、本発明の他の態様の再生方法は、音声時刻情報が付加された音声データと、時間的に前後する2つのフレーム間の差分を示す差分データとを受信し、受信された前記差分データと、前記2つのフレームのうちの前のフレームとに基づいて生成された後のフレームにより映像を再生し、受信された音声データに基づいて、前記映像と同時に音声を再生し、前記差分データによる映像から、時間的に連続する複数のフレームを生成するための動画データによる映像へ切り替える場合に、音声時刻情報が付加された音声データと、動画時刻情報が付加された動画データとを受信し、前記差分データによる映像の再生を停止し、受信された前記動画データに基づいて生成された時間的に連続する複数のフレームにより映像を再生し、受信された音声データに基づいて音声を再生すると共に、前記動画時刻情報と前記音声時刻情報とに基づいて前記音声を前記映像に同期させる。
また、本発明の他の態様のコンピュータプログラムは、コンピュータを、映像及び音声を含むコンテンツを送信するコンテンツ送信装置として機能させるためのコンピュータプログラムであって、時間的に前後する2つのフレーム間の差分を示す差分データを送信する第1映像送信手段、動画時刻情報が付加された動画データを送信する第2映像送信手段、音声時刻情報が付加された音声データを送信する音声送信手段、及び前記差分データ及び前記動画データの一方から他方へ映像再生を切り替える場合に、前記第1映像送信手段及び前記第2映像送信手段の一方から他方へ実行対象を切り替える切替手段として前記コンピュータを機能させる。
本発明によれば、低通信量と高画質とを両立しつつ、映像と音声とのずれを抑制することができる。
実施の形態に係る遠隔再生システムの構成を示す模式図。 実施の形態に係るコンテンツ送信装置の構成を示すブロック図。 実施の形態に係るコンテンツ送信装置の機能を示す機能ブロック図。 実施の形態に係る再生装置の構成を示すブロック図。 実施の形態に係る表示装置の構成を示すブロック図。 実施の形態に係る再生装置の機能を示す機能ブロック図。 実施の形態に係る遠隔再生システムによるコンテンツの遠隔再生の手順を示すフローチャート(その1)。 実施の形態に係る遠隔再生システムによるコンテンツの遠隔再生の手順を示すフローチャート(その2)。 実施の形態に係る遠隔再生システムによるコンテンツの遠隔再生の手順を示すフローチャート(その3)。 実施の形態に係る遠隔再生システムによるコンテンツの遠隔再生の手順を示すフローチャート(その4)。 差分データの生成処理を説明するための図。 差分モードから動画モードへ切り換える場合における第1透過率α1及び第2透過率α2の変化を示すグラフ。 差分モードから動画モードへ切り換える場合における音声出力レベルSLの変化を示すグラフ。 動画モードから差分モードへ切り換える場合における第1透過率α1及び第2透過率α2の変化を示すグラフ。
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。なお、以下に示す各実施の形態は、本発明の技術的思想を具体化するための方法及び装置を例示するものであって、本発明の技術的思想は下記のものに限定されるわけではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において種々の変更を加えることができる。
本実施の形態では、教師が用いる端末装置であるコンテンツ送信装置において出力される映像及び音声(コンテンツ)と同一の映像及び音声を遠隔再生(ミラーリング)する遠隔再生システムについて説明する。
[遠隔再生システムの構成]
図1は、本実施の形態に係る遠隔再生システムの構成を示す模式図である。本実施の形態に係る遠隔再生システムは、例えば、学校、企業の社屋、病院、公民館等の公共施設等に設置される。本実施の形態では、遠隔再生システムが学校に設置された例について説明する。図1に示すように、遠隔再生システム100は、コンテンツ送信装置200と、再生装置300と、表示装置400とを備える。再生装置300は、教室内に設置される。コンテンツ送信装置200はタブレットであり、教師が使用する。コンテンツ送信装置200は無線LAN規格IEEE802.11a/b/g/n/acによる無線通信が可能であり、再生装置300は同無線LAN規格による無線通信が可能なアクセスポイントである。各教室及び校長室では再生装置300により無線LAN450が構成される。また、再生装置300は各教室及びその他の部屋(校長室、職員室等)に亘って敷設された有線LAN460及びインターネット(図示せず)に接続されており、有線LAN460及びインターネットに接続された通信機器との間で通信が可能である。
なお、コンテンツ送信装置200は、無線LANによる無線通信が可能であれば、ラップトップ型のパーソナルコンピュータ、スマートフォン、携帯電話機などであってもよい。
コンテンツ送信装置200の構成について説明する。図2は、コンテンツ送信装置200の構成を示すブロック図である。コンテンツ送信装置200は、無線通信部201と、表示部202と、スピーカ203と、入力部204と、記憶部205と、制御部206とを備える。
無線通信部201は、IEEE802.11a/b/g/n/acによる無線通信を可能とし、無線通信用のアンテナ207を有している。表示部202は、LCD(liquid crystal display)又は有機EL(Electro Luminescence)により構成される。また、入力部204は、感圧式又は静電容量式の透明なタッチパッド等の位置入力装置である。入力部204は表示部202の表面に貼付されており、表示部202及び入力部204が一体型のタッチパネルとして構成される。記憶部205は、フラッシュメモリ又はハードディスクなどの不揮発性記憶装置であり、コンテンツ送信用のコンピュータプログラムであるコンテンツ送信プログラム210と、動画再生ソフトウェア及びプレゼンテーションソフトウェア等の教育用プログラム230とを記憶している。制御部206は、CPU261及びメモリ262を備えており、上述した各部を制御する。
CPU261がコンテンツ送信プログラム210を実行することにより、タブレットがコンテンツ送信装置200として機能し、コンテンツ送信装置200に後述するような動作を実現させる。
図3は、本実施の形態に係るコンテンツ送信装置200の機能を示す機能ブロック図である。図3に示すように、コンテンツ送信装置200は、通信部211と、表示部212と、スピーカ213と、コンテンツ再生部214と、映像取込部215と、音声取込部216と、変化量検出部217と、入力検出部218と、切替指示受付部219と、送信対象切替部220と、切替要求部221との各機能を有する。
通信部211は、上述した無線通信部201であり、再生装置300へコンテンツのデータを送信する。具体的には、通信部211は、時間的に前後する2つのフレーム間の差分を示す差分データ、及び時間的に連続する複数のフレームを生成するための動画データを選択的に送信する。また、通信部211は、上記の差分データ及び動画データと同時に、音声データを送信する。また、動画データ及び音声データのそれぞれには、タイムスタンプである動画時刻情報及び音声時刻情報のそれぞれが付加される。
表示部212は上述した表示部202であり、スピーカ213は上述したスピーカ203である。コンテンツ再生部214は、動画、プレゼンテーション資料、音声等のコンテンツを再生し、表示部212が映像を、スピーカ213が音声を出力する。
映像取込部215は、表示部212に表示された映像を取り込み、映像データを生成する。かかる映像取込部215は、映像データとして2つのフレームの差分データを生成する機能と、時間的に連続した複数フレームを所定の動画圧縮方法によりエンコードした動画データを生成する機能とを有する。音声取込部216は、スピーカ213から出力された音声を取り込み、リニアPCM形式の音声データを生成する。
映像取込部215により生成された差分データ又は動画データ、及び音声取込部により生成された音声データは、通信部211により送信される。再生装置300がこれらのコンテンツを再生することにより、表示装置400が映像を表示し、音声を出力する。また、表示装置400では、後述するようにスタイラス又は指等による入力が可能であり、ユーザから与えられた入力情報が再生装置300から送信される。通信部211は、上記のように差分データ又は動画データ、及び音声データを送信すると共に、かかる入力情報を受信する。
変化量検出部217は、フレーム間における映像の時間的な変化量、即ち前回のフレームから変化した画素数を検出する。入力検出部218は、通信部211によって受信された入力情報を監視し、表示される映像に対してユーザから与えられる入力を検出する。例えば、スタイラス又はユーザの指で表示装置400に対して入力があった場合は、入力検出部218がこの入力を検出する。切替指示受付部219は、ユーザが表示装置400に対して差分データ及び動画データの間で映像再生の切替を指示する特定の操作を行った場合に、通信部211によって受信された入力情報を通じてこの指示を受け付ける。本実施の形態では、変化量検出部217による所定の変化量の検出、入力検出部218による所定の入力の検出、及び切替指示受付部219による映像の切替指示の受付のそれぞれを、差分データ及び動画データの切替条件とする。つまり、上記の切替条件の何れかが満たされた場合に、送信対象が差分データ及び動画データの一方から他方へ切り替えられる。
切替条件は、差分データから動画データへ送信対象を切り替えるための条件である第1切替条件と、動画データから差分データへ送信対象を切り替えるための条件である第2切替条件とを含む。第1切替条件及び第2切替条件については後述する。
送信対象切替部220は、切替条件が満たされた場合に、再生装置300への送信対象を差分データ及び動画データの一方から他方へと切り替える。つまり、コンテンツ送信装置200が差分データを送信している場合において、第1切替条件が満たされたときには、映像取込部215により生成される映像データが差分データから動画データへと切り替わり、送信対象が差分データから動画データへと切り替わる。他方、コンテンツ送信装置200が動画データを送信している場合において、第2切替条件が満たされたときには、映像取込部215により生成される映像データが動画データから差分データへと切り替わり、送信対象が動画データから差分データへと切り替わる。
切替要求部220は、切替条件が満たされた場合に、再生装置300に対して、差分データ及び動画データの一方から他方へ受信対象の切替を要求する。つまり、コンテンツ送信装置200が差分データを送信している場合において、第1切替条件が満たされたときには、切替要求部220が動画データへの受信対象の切替要求を通信部211に送信させる。他方、コンテンツ送信装置200が動画データを送信している場合において、第2切替条件が満たされたときには、切替要求部220が動画データへの受信対象の切替要求を通信部211に送信させる。
ここで、再生装置300では、映像再生の切替において、差分データ及び動画データの一方により生成される映像から他方より生成される映像へと段階的に変化させる移行再生処理が行われる。この処理では差分データと動画データの両方が同時に使用される。このため、通信部211は、切替条件が満たされてから一定の切替期間、差分データと動画データ(それぞれ同一のフレームを含む)を同時に送信し、切替期間経過後に、切替後の映像再生に使用されるデータのみを送信する。移行再生処理の詳細は後述する。
次に、再生装置300の構成について説明する。図3は、再生装置300の構成を示すブロック図である。図4に示すように、再生装置300は、無線通信部301と、有線通信部302と、制御部303と、外部出力部304と、外部接続端子305とを備える。
無線通信部301は、IEEE802.11a/b/g/n/acによる無線通信を可能とし、無線通信用のアンテナ306を有している。有線通信部302は、Ethernetの通信インタフェースであり、有線LAN460に接続されている。制御部303は、CPU331及びメモリ332を備えており、無線通信部301及び有線通信部302による通信を制御する。また、メモリ332には、第1フレームメモリ341と第2フレームメモリ342との2つのフレームメモリが含まれる。
外部出力部304は、HDMI(登録商標、High-Definition Multimedia Interface)端子であり、表示装置400に接続され、表示装置400に映像信号及び音声信号を出力して映像及び音声を出力させることができる。外部接続端子405は、USB(Universal Serial Bus)端子である。かかる外部接続端子405もまた、表示装置400に接続される。
図5は、表示装置400の構成を示すブロック図である。表示装置400は、表示部401と、スピーカ402と、入力部403と、外部入力部404と、外部接続端子405と、制御部406とを備える。表示部401は大型のLCD又は有機ELパネルであり、かかる表示部401により映像を、スピーカ402により音声を出力することによりクラスの全員がコンテンツを視聴できる。入力部403は、感圧式又は静電容量式の透明なタッチパッド等の位置入力装置である。入力部403は表示部401の表面に貼付されており、表示部401及び入力部204が一体型のタッチパネルとして構成される。
外部入力部404はHDMI端子であり、外部接続端子405はUSB端子である。外部入力部404及び外部接続端子405は再生装置300の外部出力部304及び外部接続端子305のそれぞれに接続される。外部入力部404は、再生装置300から出力された映像信号及び音声信号を受信し、外部接続端子405は、入力部403からの出力信号を再生装置300へ送信する。
制御部406は、CPU及びメモリ又はASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の半導体回路を有しており、上記の各部を制御する機能を有する。かかる制御部406は、外部入力部404に入力された映像信号及び音声信号に基づいて表示部401に映像を表示させ、スピーカ402に音声を出力させる。
図6は、本実施の形態に係る再生装置の機能を示す機能ブロック図である。図6に示すように、再生装置300は、通信部311と、第1映像再生部312と、第2映像再生部313と、音声再生部314と、移行再生部315との各機能を有する。
通信部311は、上述した無線通信部301であり、コンテンツ送信装置200からコンテンツのデータを受信する。具体的には、通信部311は、時間的に前後する2つのフレーム間の差分を示す差分データ、及び時間的に連続する複数のフレームを生成するための動画データを選択的に受信する。また、通信部311は、上記の差分データ及び動画データと同時に、音声データを受信する。また、動画データ及び音声データのそれぞれには、時刻情報であるタイムスタンプが付加される。
第1映像再生部312は、2つのフレームの差分データと、2つのフレームのうちの前のフレームとに基づいて後のフレームを生成し、出力することにより映像を再生する。第2映像再生部313は、動画データに基づいて複数のフレームを生成し、これらのフレームを時間的に連続して出力することにより映像を再生する。音声再生部314は、音声データに基づいて音声を再生する。なお、ここでいう「再生」とは、差分データ及び動画データ、並びに音声データを処理して映像信号及び音声信号を生成し、生成された映像信号及び音声信号を出力することをいう。以下の説明では、第1映像再生部312による映像再生、即ち、差分データによる映像再生を行う動作モードを「差分モード」といい、第2映像再生部313による映像再生、即ち、動画データによる映像再生を行う動作モードを「動画モード」という。
音声再生部314は、差分モードで映像を再生している場合には、時刻情報を用いずに、音声データが受信される都度、音声データを処理して音声を再生する。他方、動画モードで映像を再生している場合、音声再生部314は、動画データに付加されたタイムスタンプと、音声データに付加されたタイムスタンプとに基づいて、映像に同期させて音声を再生する。音声再生部314は、共通の音声データを使用して、差分モード及び動画モードのそれぞれで音声を再生する。
上述したように、差分データ及び動画データの一方による映像再生から他方による映像再生へと切り替える場合に、コンテンツ再生装置300が受信対象の切替要求を送信する。通信部311は、この切替要求を受信すると、差分データ及び動画データの一方から他方へと受信対象を切り替える。
コンテンツ送信装置200は、切替条件が満たされてから一定の切替期間、差分データと動画データを同時に送信し、通信部311がこれらを同時に受信する。移行再生部315は、同時に受信された差分データ及び動画データの一方により生成される映像から他方より生成される映像へと段階的に変化させて再生する移行再生処理を実行する。以下、この移行再生処理を実行する動作モードを「移行モード」という。具体的には、移行モードでは、移行再生部315は、差分データから生成されたフレームに第1透過率α1に基づく透過処理を施して第1透過画像を生成し、動画データから生成されたフレームに第1透過率α1の補数である第2透過率α2(つまり、α2=1-α1)に基づく透過処理を施して第2透過画像を生成し、第1透過画像と第2透過画像とを合成して合成画像を生成、つまりαブレンドを実行する。切替期間の始期から終期にわたって第1透過率α1を1から0へ、又は0から1へ(つまり、第2透過率α2を0から1へ、又は1から0へ)と変化させることで、差分データ及び動画データの一方により生成される映像から、他方により生成される映像へと段階的に変化する。
移行再生部315は、上記の移行再生処理を、第1映像再生部312及び第2映像再生部313の一方が映像を再生する第1期間と、他方が映像を再生する第2期間との間に設けられた切替期間に実行する。つまり、差分モードから動画モードへと切り替える場合、第1期間の終期、即ち切替期間の始期において、第1透過率α1を1とし、第2透過率α2を0としてαブレンドを開始し、徐々に第1透過率α1を0へ、第2透過率α2を1へと近づけながらαブレンドを逐次実行し、切替期間の終期、即ち第2期間の始期において第1透過率α1を0とし、第2透過率α2を1としてαブレンドを実行する。他方、動画モードから差分モードへと切り替える場合、第1期間の終期、即ち切替期間の始期において、第1透過率α1を0とし、第2透過率α2を1としてαブレンドを開始し、徐々に第1透過率α1を1へ、第2透過率α2を0へと近づけながらαブレンドを逐次実行し、切替期間の終期、即ち第2期間の始期において第1透過率α1を1とし、第2透過率α2を0としてαブレンドを実行する。
音声再生部314は、上記の切替期間の間、第1映像再生部及び第2映像再生部の一方によって再生される映像に伴って再生される音声のレベルを段階的に小さくし、他方によって再生される映像に伴って再生される音声のレベルを段階的に大きくする。つまり、第1期間に再生されていた映像に伴って再生される音声を切替期間においてフェードアウトさせ、第2期間に再生される映像に伴って再生される音声を切替期間においてフェードインさせる。
[遠隔再生システムの動作]
次に、本実施の形態に係る遠隔再生システム100の動作について説明する。本実施の形態に係る遠隔再生システム100では、コンテンツ送信装置200と、再生装置300とがコネクション型プロトコルであるTCP(Transmission Control Protocol))及びコネクションレス型プロトコルであるUDP(User Datagram Protocol)を用いて無線LANによりコンテンツの送受を行う。音声データの送受にはUDPが用いられ、差分データ及び動画データの送受にはTCPが用いられる。再生装置300が受信されたコンテンツを再生し、映像及び音声を表示装置400に出力させる。
図7A~図7Dは、本実施の形態に係る遠隔再生システムによるコンテンツの遠隔再生の手順を示すフローチャートである。例として、学校の教師(以下、「ユーザ」という)が授業を行う場合を考える。ユーザはコンテンツ送信装置200のコンテンツ送信プログラム210を起動し、また、教育用プログラム230を起動する。教育用プログラム230を実行すると、動画が再生されたり、プレゼンテーションのスライドが再生されたりして、映像が再生装置200の表示部202に表示される。また、動画又はスライドに付属する音声がスピーカ203から出力される。
コンテンツ送信プログラム210が実行されると、まず、CPU261は差分モードで動作する。CPU261は、表示部202に表示されている映像を取り込み、最初の1フレーム又は数フレーム分の映像データを生成する(ステップS101)。次にCPU261は、生成された映像データによってTCPパケットを生成する。このとき、非圧縮の映像データにTCPヘッダが付加されて、TCPパケットが生成される。さらにCPU261は、TCPパケットにIPヘッダを付加してIPパケットを生成し、さらにMACヘッダ、物理ヘッダ等を付加して映像データを含む無線LANフレーム(以下、「初期映像パケット」という)を生成する(ステップS102)。なお、この初期映像パケットの宛先は再生装置300のIPアドレスとされる。CPU261は、生成された初期映像パケットを無線通信部201にTCPにより送信させる(ステップS103)。送信された初期映像データは、再生装置300によって受信される(ステップS104)。
次にCPU261は、表示部202に表示されている映像及びスピーカ203から出力されている音声を取り込み、映像データ及び音声データを生成する(ステップS105)。CPU261は、前回のフレーム(つまり、前回送信された映像データ。以下、「前回フレーム」という。)と今回取り込まれたフレーム(以下、「今回フレーム」という。)の差分データを生成する(ステップS106)。この処理では、前回フレームと今回フレームとの対応する画素同士の輝度値(RGB値)の差分が演算され、その演算結果に基づいて差分データが生成される。図8は、差分データの生成処理を説明するための図である。前回フレーム501と今回フレーム502とでは、差異部503を除き各画素の輝度値は同一である。したがって、前回フレーム501と今回フレーム502との間で各画素の輝度値の差を取ると、差異部503を除きその値が0となる。CPU261は、輝度の差が0の画素の情報を取り除いて差分データを生成する。このため、差分データには、差異部503の情報のみが含まれることになり、情報量が抑制される。
CPU261は、生成された差分データによってTCPパケットを生成する。このとき、非圧縮の差分データにTCPヘッダが付加されて、TCPパケットが生成される。さらにCPU261は、TCPパケットにIPヘッダを付加してIPパケットを生成し、さらにMACヘッダ、物理ヘッダ等を付加して差分データを含む無線LANフレーム(以下、「差分パケット」という)を生成する(ステップS107)。差分パケットの宛先もまた再生装置300のIPアドレスとされる。CPU261は、生成された差分パケットを無線通信部201にTCPにより送信させる(ステップS108)。
また、CPU261は、リニアPCM(Pulse Code Modulation)形式の音声データにUDPヘッダを付加し、UDPパケットを生成する。リニアPCM形式は非圧縮の音声データ形式である。CPU261は、かかるUDPパケットにIPヘッダを付加してIPパケットを生成し、さらにMACヘッダ、物理ヘッダ等を付加して音声データを含む無線LANフレーム(以下、「音声パケット」という)を生成する(ステップS109)。かかる音声パケットには、時刻情報であるタイムスタンプが含まれる。また、音声パケットの宛先は再生装置300のIPアドレスとされる。CPU261は、生成された音声パケットを無線通信部201にUDPにより送信させる(ステップS110)。
再生装置300は、コンテンツ送信装置200から送信された差分パケット及び音声パケットを受信する(ステップS111,S112)。再生装置300のCPU331は、受信された差分パケットから差分データを抽出し、差分データがある箇所(画素)を前回フレームから差分データに置き換えて今回フレームの映像データを生成し(ステップS113)、映像を再生する(ステップS114)。具体的には、CPU261は、生成された映像データを第1フレームメモリ341に書き込み、第1フレームメモリ341の映像データを映像信号として外部出力部304から表示装置400へ出力する。これにより、差分モードでの映像再生が行われる。
また、CPU331は、受信された音声パケットから音声データを抽出し、音声を再生する(ステップS115)。つまり、CPU261は音声データから音声信号を生成し、外部出力部304から表示装置400へ出力する。以上により、表示装置400の表示部401に映像が表示され、スピーカ402から音声が出力される。
表示装置400において、ユーザはスタイラス又は指で画面に対して入力を行うことがある。このようにしてユーザから与えられた入力を入力部403が受け付け、外部接続端子405を通じて再生装置300へと入力情報を送信する。再生装置300のCPU331は、ユーザから入力が与えられたか否かを判定し(ステップS116)、入力が与えられた場合には(ステップS116においてYES)、入力情報をコンテンツ送信装置200へ送信する(ステップS117)。他方、ユーザから入力が与えられていない場合には(ステップS116においてNO)、CPU331はステップS120へと処理を移す。
コンテンツ送信装置200は、入力情報を受信すると、ユーザによる入力を映像に反映させて表示する。例えば、表示装置400においてユーザが画面に手書き入力を行った場合は、入力された文字を含む映像が再生装置200の表示部202に表示される。
コンテンツ送信装置200のCPU261は、差分データから動画データへの送信対象の切替条件である第1切替条件を満足しているか否かを判定する(ステップS118)。
ここで、第1切替条件について説明する。第1切替条件には、以下の(1)~(2)の2つの条件を含み、これらの条件のうちのどちらかが満たされた場合に、第1切替条件が満たされたとされる。
(1)映像変化量が所定の基準値を超える。
(2)ユーザから動画モードへの切替指示が与えられる。
条件(1)について説明する。コンテンツ送信装置200のCPU261は、前回フレームと今回フレームとの間で輝度値(RGB値)に差異がある画素を検出し、その画素数を計数して映像変化量とする。差分モードでは、データ通信量が少ないが、滑らかに動画を表示することは困難である。他方、動画モードでは、データ圧縮処理に必要な時間が大きくなる。このため、時間的に大きく変化する映像は動画モードが適しており、時間的な変化が少ない映像は差分モードが適している。したがって、コンテンツ送信装置200は映像変化量を検出し、この映像変化量が所定の基準値を超える場合には、送信対象を差分データから動画データに切り換える。
条件(2)について説明する。本実施の形態では、差分モードから動画モードへの切替を指示するためのユーザ操作が規定されている。例えば、当該ユーザ操作は、画面(つまり、入力部403)を特定の方向になぞる操作、又は、表示画面に含まれる差分モードから動画モードへの切替を選択するための選択部を選択する操作等で実現される。入力部403にこの操作入力が与えられると、コンテンツ送信装置200のCPU261には差分モードから動画モードへの切替指示が与えられる。
上記の第1切替条件が満足されていない場合(ステップS118においてNO)、CPU261は、ステップS105へ処理を戻す。これにより、ステップS105~S110及びステップS118の処理が繰り返され、継続して差分データ及び音声データの送信が行われる。他方、第1切替条件が満足されている場合(ステップS118においてYES)、CPU261は、差分データから動画データへの受信対象の切替要求(以下、「受信対象切替要求」という)を再生装置300に送信する(ステップS119)。
再生装置300のCPU331は、受信対象切替要求を受信したか否かを判定する(ステップS120)。再生装置300が受信対象切替要求を受信していない場合(ステップS120においてNO)、CPU331は、ステップS111に処理を戻す。これにより、ステップS111~S117及びステップS120の処理が繰り返され、差分データによる映像再生及び音声データによる音声再生が継続して実行される。
コンテンツ送信装置200のCPU261は、受信対象切替要求を送信した後、以下のようにして、所定の切替期間において差分データと動画データとの両方を再生装置300へ送信する。まず、CPU261は切替期間を開始する(ステップS121)。次にCPU261は、表示部202に表示されている映像及びスピーカ203から出力されている音声を取り込み、映像データ及び音声データを生成する(ステップS122)。
CPU261は、ステップS106~108と同様にして、差分データを生成し(ステップS123)、差分パケットを生成し(ステップS124)、差分パケットをTCPにより無線通信部201に送信させる(ステップS125)。
また、CPU261は、時間的に連続する複数のフレームを動画圧縮規格であるH.264に規定される動画圧縮方法によってエンコードし、動画データを生成する(ステップS126)。なお、本実施の形態ではH.264形式の動画データを生成する構成について述べるが、これに限定されるものではなく、他の動画圧縮形式、例えば、Divx、Xvid、VP9、MPEG-4等の動画データを生成する構成としてもよい。
CPU261は、生成された動画データによってTCPパケットを生成する。さらにCPU261は、TCPパケットにIPヘッダを付加してIPパケットを生成し、さらにMACヘッダ、物理ヘッダ等を付加して動画データを含む無線LANフレーム(以下、「動画パケット」という)を生成する(ステップS127)。かかる動画パケットには、動画時刻情報であるタイムスタンプが含まれる。また、動画パケットの宛先もまた再生装置300のIPアドレスとされる。CPU261は、生成された動画パケットを無線通信部201にTCPにより送信させる(ステップS128)。
またCPU261は、ステップS109~110と同様にして、音声パケットを生成し(ステップS129)、音声パケットをUDPにより無線通信部201に送信させる(ステップS130)。
CPU261は、切替期間が終了したか否かを判定し(ステップS131)、終了していない場合には(ステップS131においてNO)、ステップS122へ処理を戻す。これにより、切替期間が終了するまで差分データ及び動画データの両方がコンテンツ送信装置200から継続して送信される。
一方、再生装置300において受信対象切替要求が受信された場合(ステップS120においてYES)、CPU331が切替期間を開始する(ステップS132)。さらに再生装置300は、コンテンツ送信装置200から送信された差分パケット、動画パケット、及び音声パケットのそれぞれを受信する(ステップS133~S135)。CPU331は、第1透過率α1及び第2透過率α2、並びに音声出力レベルSLを設定する(ステップS136)。差分モードから動画モードへ切り換えられる場合の第1透過率α1の初期値は「1」であり、第2透過率α2の初期値は「0」である。また、音声出力レベルSLの初期値は、差分モードにおける音声出力レベルと同一値である。
次にCPU331は、受信された差分パケットから差分データを抽出し、前回フレームと差分データとの輝度値を画素毎に加算して今回フレームの映像データを生成する(ステップS137)。生成された映像データは第1フレームメモリ341に書き込まれる。さらにCPU331は、第1フレームメモリ341に記憶された映像データの各画素の輝度値に第1透過率α1を乗じ、第1透過画像を生成する(ステップS138)。
また、CPU331は、受信された動画パケットから動画データを抽出し、動画データをデコードしてフレームの映像データを生成する(ステップS139)。生成された映像データは第2フレームメモリ342に書き込まれる。さらにCPU331は、第2フレームメモリ342に記憶された映像データの各画素の輝度値に第2透過率α2を乗じ、第2透過画像を生成する(ステップS140)。
CPU331は、第1透過画像と第2透過画像とを合成し、合成画像の映像信号を外部出力部304から表示装置400へ出力する(ステップS141)。これにより、移行モードでの映像再生が行われる。
またCPU331は、受信された音声パケットから音声データを抽出し、設定された音声出力レベルSLで音声を再生する(ステップS142)。つまり、CPU261は音声データから音声信号を生成し、外部出力部304から表示装置400へ出力する。
次にCPU331は、切替期間が終了したか否かを判定し(ステップS143)、切替期間が終了していない場合には(ステップS143においてNO)、ステップS133へ処理を戻す。これにより、ステップS133~S143の処理が繰り返され、映像のαブレンドが継続して実行される。この切替期間において、第1透過率α1及び第2透過率α2、並びに音声出力レベルSLは徐々に変更される。
図9は、差分モードから動画モードへ切り換える場合における第1透過率α1及び第2透過率α2の変化を示すグラフである。図9において、縦軸は透過率を示し、横軸は時間を示す。図9に示すように、切替期間の始期において第1透過率α1は1であり、第2透過率α2は0である。切替期間が進行するにしたがい、第1透過率α1は漸減し、第2透過率α2は漸増する。切替期間の終期においては、第1透過率α1は0になり、第2透過率α2は1になる。このように第1透過率α1及び第2透過率α2を変化させることにより、切替期間において差分データによる映像から動画データによる映像へと徐々に切り替わる。
図10は、差分モードから動画モードへ切り換える場合における音声出力レベルSLの変化を示すグラフである。図10において、縦軸は音声出力レベルSLを示し、横軸は時間を示す。図10に示すように、切替期間の始期において音声出力レベルSLは最大であり、切替期間が進行するにしたがって音声出力レベルSLが漸減し、切替期間の中間において、音声出力レベルSLが0となる。これにより、音声がフェードアウトする。また、切替期間の中間からさらに時間が進行すると、音声出力レベルSLは漸増し、切替期間の終期において音声出力レベルSLが最大となる。これにより、音声がフェードインする。また、CPU331は、音声データに付加されるタイムスタンプと動画データに付加されるタイムスタンプとにより、動画データによる映像に音声を同期させる。
図7Bを参照する。コンテンツ送信装置200は、切替期間が終了した場合(ステップS131においてYES)、以下のようにして動画パケット及び音声パケットを再生装置300へ送信する。まず、CPU261は、表示部202に表示されている映像及びスピーカ203から出力されている音声を取り込み、映像データ及び音声データを生成する(ステップS144)。さらにCPU261は、ステップS126~S128と同様にして、動画データを生成し(ステップS145)、動画パケットを生成し(ステップS146)、動画パケットをTCPにより無線通信部201に送信させる(ステップS147)。
またCPU261は、ステップS109~110と同様にして、音声パケットを生成し(ステップS148)、音声パケットをUDPにより無線通信部201に送信させる(ステップS149)。
他方、再生装置300において切替期間が終了した場合(ステップS143においてYES)、再生装置300は、コンテンツ送信装置200から送信された動画パケット及び音声パケットを受信する(ステップS150,S151)。再生装置300のCPU331は、受信された動画パケットから動画データを抽出し、動画データをデコードしてフレームの映像データを生成し(ステップS152)、映像を再生する(ステップS153)。具体的には、CPU261は、生成された映像データを第2フレームメモリ342に書き込み、第2フレームメモリ342の映像データを映像信号として外部出力部304から表示装置400へ出力する。これにより、動画モードでの映像再生が行われる。
また、CPU331は、受信された音声パケットから音声データを抽出し、音声を再生する(ステップS154)。つまり、CPU261は音声データから音声信号を生成し、外部出力部304から表示装置400へ出力する。このとき、CPU331は、動画データに付加されたタイムスタンプと、音声データに付加されたタイムスタンプとを用いて、音声を映像に同期させる。以上により、表示装置400の表示部401に映像が表示され、スピーカ402から音声が出力される。
CPU331は、入力部403に対してユーザから入力が与えられたか否かを判定し(ステップS155)、入力が与えられた場合には(ステップS155においてYES)、入力情報をコンテンツ送信装置200へ送信する(ステップS156)。他方、ユーザから入力が与えられていない場合には(ステップS155においてNO)、CPU331はステップS159へと処理を移す。
コンテンツ送信装置200のCPU261は、動画データから差分データへの送信対象の切替条件である第2切替条件を満足しているか否かを判定する(ステップS157)。
ここで、第2切替条件について説明する。第2切替条件には、以下の(3)~(5)の3つの条件を含み、これらの条件のうちのどちらかが満たされた場合に、第2切替条件が満たされたとされる。
(3)映像変化量が所定の基準値を超えないまま、所定の第1判定期間を超える。
(4)所定の第2判定期間以上継続して画面に対するユーザの入力が検出される。
(5)ユーザから差分モードへの切替指示が与えられる。
条件(3)について説明する。上述したように、時間的大きく変化する映像は動画モードが適しており、時間的な変化が少ない映像は差分モードが適している。したがって、コンテンツ送信装置200は映像変化量を検出し、この映像変化量が継続して第1判定期間以上基準値を超えない場合には、送信対象を動画データから差分データに切り換える。
条件(4)について説明する。コンテンツ送信装置200のCPU261は、再生装置300から与えられる入力情報により、入力部403に対する操作を監視する。CPU331は、第2判定期間以上継続して入力部403に対する操作が与えられている場合に、映像に対する所定の入力を検出する。例えば、ユーザが表示装置400を電子黒板として使用し、スタイラスによって画面に文字を描く、即ち手書き入力を行うことがある。このような手書き入力は、可能な限り遅延なくユーザの入力を表示に反映させることが重要である。このため、映像の再生に遅れが生じる動画データによる映像再生よりも、遅延が少ない差分データによる映像再生が適している。したがって、コンテンツ送信装置200は、第2判定期間以上継続して映像に対するユーザ入力を検出した場合には、送信対象を動画データから差分データに切り換える。
条件(5)について説明する。本実施の形態では、動画モードから差分モードへの切替を指示するためのユーザ操作が規定されている。例えば、当該ユーザ操作は、画面(つまり、入力部403)を特定の方向になぞる操作、又は、表示画面に含まれる動画モードから差分モードへの切替を選択するための選択部を選択する操作等で実現される。入力部403にこの操作入力が与えられると、コンテンツ送信装置200のCPU261には動画モードから差分モードへの切替指示が与えられる。
上記の第2切替条件が満足されていない場合(ステップS157においてNO)、CPU261は、ステップS144へ処理を戻す。これにより、ステップS144~S149及びステップS157の処理が繰り返され、継続して動画データ及び音声データの送信が行われる。他方、第2切替条件が満足されている場合(ステップS157においてYES)、CPU261は、動画データから差分データへの受信対象の切替要求(受信対象切替要求)を再生装置300に送信する(ステップS158)。
再生装置300のCPU331は、受信対象切替要求を受信したか否かを判定する(ステップS159)。再生装置300が受信対象切替要求を受信していない場合(ステップS159においてNO)、CPU331は、ステップS150に処理を戻す。これにより、ステップS150~S156及びステップS159の処理が繰り返され、動画データによる映像再生及び音声データによる音声再生が継続して実行される。
コンテンツ送信装置200のCPU261は、受信対象切替要求を送信した後、ステップS121~S131と同様にして、所定の切替期間において差分データ及び動画データ、並びに音声データを再生装置300へ送信する(ステップS160~S170)。
一方、再生装置300において受信対象切替要求が受信された場合(ステップS120においてYES)、CPU331が切替期間を開始する(ステップS171)。さらに再生装置300は、コンテンツ送信装置200から送信された差分パケット、動画パケット、及び音声パケットのそれぞれを受信する(ステップS172~S174)。CPU331は、第1透過率α1及び第2透過率α2、並びに音声出力レベルSLを設定する(ステップS175)。動画モードから差分モードへ切り換えられる場合の第1透過率α1の初期値は「0」であり、第2透過率α2の初期値は「1」である。また、音声出力レベルSLの初期値は、動画モードにおける音声出力レベルと同一値である。
次にCPU331は、受信された差分パケットから差分データを抽出し、前回フレームと差分データとの輝度値を画素毎に加算して今回フレームの映像データを生成する(ステップS176)。生成された映像データは第1フレームメモリ341に書き込まれる。さらにCPU331は、第1フレームメモリ341に記憶された映像データの各画素の輝度値に第1透過率α1を乗じ、第1透過画像を生成する(ステップS177)。
また、CPU331は、受信された動画パケットから動画データを抽出し、動画データをデコードしてフレームの映像データを生成する(ステップS178)。生成された映像データは第2フレームメモリ342に書き込まれる。さらにCPU331は、第2フレームメモリ342に記憶された映像データの各画素の輝度値に第2透過率α2を乗じ、第2透過画像を生成する(ステップS179)。
CPU331は、第1透過画像と第2透過画像とを合成し、合成画像の映像信号を外部出力部304から表示装置400へ出力する(ステップS180)。これにより、移行モードでの映像再生が行われる。
またCPU331は、受信された音声パケットから音声データを抽出し、設定された音声出力レベルSLで音声を再生する(ステップS181)。つまり、CPU331は音声データから音声信号を生成し、外部出力部304から表示装置400へ出力する。
次にCPU331は、切替期間が終了したか否かを判定し(ステップS182)、切替期間が終了していない場合には(ステップS182においてNO)、ステップS172へ処理を戻す。これにより、ステップS172~S182の処理が繰り返され、映像のαブレンドが継続して実行される。この切替期間において、第1透過率α1及び第2透過率α2、並びに音声出力レベルSLは徐々に変更される。
図11は、動画モードから差分モードへ切り換える場合における第1透過率α1及び第2透過率α2の変化を示すグラフである。図11において、縦軸は透過率を示し、横軸は時間を示す。図11に示すように、切替期間の始期において第1透過率α1は0であり、第2透過率α2は1である。切替期間が進行するにしたがい、第1透過率α1は漸増し、第2透過率α2は漸減する。切替期間の終期においては、第1透過率α1は1になり、第2透過率α2は0になる。このように第1透過率α1及び第2透過率α2を変化させることにより、切替期間において動画データによる映像から差分データによる映像へと徐々に切り替わる。
動画モードから差分モードへの切替期間においては、差分モードから動画モードへ切替期間と同様に音声出力レベルSLが変化する。即ち、切替期間の始期において音声出力レベルSLは最大であり、切替期間が進行するにしたがって音声出力レベルSLが漸減し、切替期間の中間において、音声出力レベルSLが0となる。これにより、音声がフェードアウトする。また、切替期間の中間からさらに時間が進行すると、音声出力レベルSLは漸増し、切替期間の終期において音声出力レベルSLが最大となる。これにより、音声がフェードインする。また、CPU331は、音声データに付加されるタイムスタンプと動画データに付加されるタイムスタンプとにより、動画データによる映像に音声を同期させる。
図7Dを参照する。コンテンツ送信装置200のCPU261は、切替期間が終了した場合(ステップS170においてYES)、ステップS105へ処理を戻す。これにより、送信対象が動画パケットから差分パケットに切り替わり、差分パケット及び音声パケットが再生装置300へ送信される(ステップS105~S110)。
他方、再生装置300において切替期間が終了した場合(ステップS182においてYES)、再生装置300のCPU331は、ステップS111へ処理を戻す。これにより、差分モードに移行し、差分データによる映像が再生される。
以上のように構成することにより、画質は低いが単位時間当たりに処理されるデータ量が小さい差分モードと、高画質だが単位時間当たりに処理できるデータ量が大きい動画モードとを切り替えることで、低通信量と高画質とを両立することができる。また、映像と音声とのずれが生じやすい動画モードにおいて、映像と音声とを同期させるため、映像と音声とのずれを抑制することができる。なお、差分モードでは、データ量が小さく、映像再生処理の再生不可が小さいため、同期を取らなくても映像と音声とのずれは小さい。
また、コンテンツ送信装置200は、差分パケット及び動画パケットとは別に、音声パケットを生成し、差分パケット及び動画パケットのそれぞれを送信する場合に音声パケットを送信する。つまり、音声データは差分モード及び動画モードで共用されており、差分モード専用の音声データ、動画モード専用の音声データは生成されない。このため、同一の音声を再生するための音声データが重複することがなく、通信量を軽減し、それと共に、差分モード及び動画モードのそれぞれのために互いに異なる形式の音声データを生成する必要がなく、コンテンツ送信装置200の構成が簡略化される。同様に、再生装置300においても、互いに異なる形式の音声データを処理する必要がなく、構成が簡略化される。
(その他の実施の形態)
上述した実施の形態においては、差分モードと動画モードとの間で動作モードを切り換えるための切替期間を設け、この切替期間において差分データ及び動画データの一方による映像再生から、他方による映像再生に徐々に切り換える構成について述べたが、これに限定されるものではない。切替期間を設けず、差分モードから動画モードへ、又は動画モードから差分モードへ直接切り換える構成とすることもできる。
また、上述した実施の形態においては、切替期間においてコンテンツ送信装置200が差分データと動画データとの両方を再生装置300へ送信する構成について述べたが、これに限定されるものではない。例えば、送信対象が切り換えられる場合に、切替前の送信対象のデータを送信せず、切替後の送信対象のデータを送信する構成とすることもできる。この場合、切替前のデータにより再生された最後の1フレームの映像と、切替後に受信される新たな送信対象のデータにより生成される映像とを切替期間においてαブレンドによって徐々に切り換える構成とすることができる。
また、上述した実施の形態においては、第1切替条件に条件(1)及び(2)が含まれ、第2切替条件に条件(3)~(5)が含まれる構成について述べたが、これに限定されるものではない。第1切替条件は、条件(1)及び(2)の何れか一方のみを含んでいてもよく、第2切替条件は、条件(3)~(5)の1つ又は2つのみを含んでいてもよい。また、第1切替条件及び第2切替条件は、条件(1)及び(2)、並びに条件(3)~(5)以外の条件を含んでいてもよい。
また、上述した実施の形態においては、切替期間において、差分データ及び動画データの一方により再生される映像に伴って再生される音声をフェードアウトさせ、他方により再生される映像に伴って再生される音声をフェードインさせる構成について述べたが、これに限定されるものではない。差分データ及び動画データのそれぞれにより再生される映像に伴って再生される音声の出力レベルSLを増減させることなく、切替期間内の1つの時点において音声を切り換える構成とすることもできる。但し、音声をフェードアウト、フェードインさせる構成の方が、視聴者に与える違和感を抑制できるため好ましい。
また、上述した実施の形態においては、コンテンツ送信装置200に変化量検出部217、入力検出部218、切替指示受付部219、送信対象切替部220、及び切替要求部221の各機能を設ける構成について述べたが、これに限定されるものではない。再生装置300に、変化量検出部、入力検出部、切替指示受付部、及び切替要求部の各機能を設け、再生装置300が再生する映像の変化量の検出、ユーザからの映像に対する入力の検出、及びユーザからの映像再生の切替指示の受付の何れかが生じた場合に、送信対象の切替要求をコンテンツ送信装置200に送信し、コンテンツ送信装置300が、切替要求を受信すると送信対象を差分データ及び動画データの一方から他方へ切り替える構成とすることもできる。
また、上述した実施の形態においては、音声データをUDPにより送信し、差分データ及び動画データをTCPにより送信する構成について述べたが、これに限定されるものではない。音声データをTCPにより送信してもよいし、差分データ及び動画データの一方又は両方をUDPにより送信してもよい。但し、差分データ及び動画データを応答確認及び再送処理が行われるTCPにより送信することにより、映像の途切れ又は乱れを抑制し、高画質な映像を再生することができるため、差分データ及び動画データの送信にはTCPを用いることが好ましい。
また、上述した実施の形態においては、非圧縮形式の差分データ及び音声データを送信し、圧縮形式の動画データを送信する構成について述べたが、これに限定されるものではない。差分データ及び音声データの一方又は両方を圧縮形式としてもよいし、動画データを非圧縮形式としてもよい。但し、差分データ及び音声データを非圧縮形式とすることで、再生装置における解凍処理が必要なく、再生負荷が小さいためコンテンツ送信装置200と表示装置400との間における映像及び音声の遅れを抑制することができる。また、動画データを圧縮形式とすることで、映像のビットレートを向上させることができ、通信量を抑制しつつ高画質な映像を再生することができる。
また、上述した実施の形態においては、再生装置300を無線アクセスポイントとする構成について述べたが、これに限定されるものではない。例えば、コンテンツの再生専用の再生装置を、上述した動作を実行可能な構成としてもよい。また、再生装置と表示装置400とを各別に設け、これらを接続する構成ではなく、表示部を備える再生装置とすることも可能である。コンテンツ送信装置200と再生装置300とが無線LANにより通信する構成でなくてもよく、有線通信を行う構成としてもよい。
本発明の再生装置、遠隔再生システム、再生方法、及びコンピュータプログラムは、ストリーミングにより配信された映像及び音声を再生する再生装置、遠隔再生システム、再生方法、及びコンピュータを再生装置として機能させるコンピュータプログラムとして有用である。
100 遠隔再生システム
200 コンテンツ送信装置
201 無線通信部
205 記憶部
206 制御部
210 コンテンツ送信プログラム
217 変化量検出部
218 入力検出部
219 切替指示受付部
220 送信対象切替部
261 CPU
262 メモリ
300 再生装置
301 無線通信部
303 制御部
311 通信部
312 第1映像再生部
313 第2映像再生部
314 音声再生部
315 移行再生部
331 CPU
341 第1フレームメモリ
342 第2フレームメモリ
400 表示装置


Claims (18)

  1. 音声時刻情報が付加された音声データ、時間的に前後する2つのフレーム間の差分データ、および動画時刻情報が付加された動画データを受信する通信部と、
    前記差分データと、前記2つのフレームのうちの前のフレームとに基づいて生成された後のフレームにより映像を再生する第1映像再生部と、
    前記動画データに基づいて生成された時間的に連続する複数のフレームにより映像を再生する第2映像再生部と、
    前記音声データに基づいて音声を再生するとともに、前記第2映像再生部が映像を再生している場合には、前記動画時刻情報と前記音声時刻情報とに基づいて前記音声を映像に同期させる音声再生部と
    を備え
    前記通信部は、さらに前記差分データ及び前記動画データの送信元から、前記差分データ及び前記動画データの一方から他方への受信対象の切替要求を受信し、
    前記第1映像再生部及び前記第2映像再生部は、さらに前記通信部によって前記切替要求が受信された場合に、前記第1映像再生部及び第2映像再生部の一方から他方へ映像の再生を切り替える、
    再生装置。
  2. 前記音声再生部は、前記第1映像再生部が映像を再生している場合と、前記第2映像再生部が映像を再生している場合とのそれぞれにおいて、共通の音声データにより音声を再生する、
    請求項1に記載の再生装置。
  3. 前記通信部は、前記音声データを、コネクションレス型プロトコルにより受信する、
    請求項1又は2に記載の再生装置。
  4. 前記通信部は、非圧縮の前記音声データを受信する、
    請求項3に記載の再生装置。
  5. 前記通信部は、前記差分データを、コネクション型プロトコルにより受信する、
    請求項1乃至4の何れかに記載の再生装置。
  6. 前記通信部は、非圧縮の前記差分データを受信する、
    請求項5に記載の再生装置。
  7. 前記通信部は、前記動画データを、コネクション型プロトコルにより受信する、
    請求項1乃至6の何れかに記載の再生装置。
  8. 前記通信部は、圧縮された前記動画データを受信する、
    請求項7に記載の再生装置。
  9. 前記通信部は、前記映像の再生が切り替えられる場合に、前記差分データ及び前記動画データの両方を同時に受信し、
    前記第1映像再生部及び前記第2映像再生部の一方が映像を再生する第1期間と、他方が映像を再生する第2期間との間に設けられた所定の切替期間において、同時に受信された前記差分データ及び前記動画データの一方により生成される映像から他方より生成される映像へと段階的に変化させて再生する移行再生部をさらに備える、
    請求項1乃の何れかに記載の再生装置。
  10. 第1フレームメモリ及び第2フレームメモリを有し、
    前記移行再生部は、前記差分データにより生成される画像に対して所定の第1透過率に基づいた透過処理を施して得た第1透過画像を前記第1フレームメモリに格納し、前記動画データにより生成される画像に対して前記第1透過率の補数である第2透過率に基づいた透過処理を施して得た第2透過画像を前記第2フレームメモリに格納し、前記第1透過画像と前記第2透過画像とを合成する、
    請求項に記載の再生装置。
  11. 前記音声再生部は、前記映像の再生が切り替えられる場合に、前記第1映像再生部及び第2映像再生部の一方によって再生される映像に伴って再生される音声のレベルを段階的に小さくし、他方によって再生される映像に伴って再生される音声のレベルを段階的に大きくする、
    請求項1乃至10の何れかに記載の再生装置。
  12. 音声時刻情報が付加された音声データ、時間的に前後する2つのフレーム間の差分データ、および動画時刻情報が付加された動画データを送信するコンテンツ送信装置と、
    請求項1乃至11の何れかに記載の再生装置と
    を備える、
    遠隔再生システム。
  13. 前記コンテンツ送信装置は、
    再生される映像の時間的な変化量を検出する変化量検出部と、
    前記変化量検出部によって検出された前記映像の時間的な変化量に基づいて、前記差分データ及び前記動画データの一方から他方へ送信対象を切り替える送信対象切替部と、
    前記再生装置に対して、前記差分データ及び前記動画データの一方から他方への受信対象の切替を要求する切替要求部と
    を有する
    請求項12に記載の遠隔再生システム。
  14. 前記コンテンツ送信装置は、
    表示される前記映像に対する入力を検出する入力検出部と、
    前記入力検出部による前記入力の検出に基づいて、前記差分データ及び前記動画データの一方から他方へ送信対象を切り替える送信対象切替部と、
    前記再生装置に対して、前記差分データ及び前記動画データの一方から他方への受信対象の切替を要求する切替要求部と
    を有する
    請求項12又は13に記載の遠隔再生システム。
  15. 前記コンテンツ送信装置は、
    前記差分データによる映像再生及び前記動画データによる映像再生の間での切替指示を受け付ける切替指示受付部と、
    前記切替指示受付部によって受け付けられた前記切替指示に基づいて、前記差分データ及び前記動画データの一方から他方へ送信対象を切り替える送信対象切替部と、
    前記再生装置に対して、前記差分データ及び前記動画データの一方から他方への受信対象の切替を要求する切替要求部と
    を有する
    請求項12乃至14の何れかに記載の遠隔再生システム。
  16. 音声時刻情報が付加された音声データと、時間的に前後する2つのフレーム間の差分を示す差分データとを受信し、
    受信された前記差分データと、前記2つのフレームのうちの前のフレームとに基づいて生成された後のフレームにより映像を再生し、
    受信された音声データに基づいて、前記映像と同時に音声を再生し、
    前記差分データによる映像から、時間的に連続する複数のフレームを生成するための動画データによる映像へ切り替える場合に、音声時刻情報が付加された音声データと、動画時刻情報が付加された動画データとを受信し、
    前記差分データによる映像の再生を停止し、
    受信された前記動画データに基づいて生成された時間的に連続する複数のフレームにより映像を再生し、
    受信された音声データに基づいて音声を再生すると共に、前記動画時刻情報と前記音声時刻情報とに基づいて前記音声を前記動画データによる映像に同期させる、
    再生方法。
  17. 音声時刻情報が付加された音声データ、映像の時間的に前後する2つのフレーム間の差分データ、および動画時刻情報が付加された動画データを受信し、
    前記差分データ及び前記動画データの送信元から、前記差分データ及び前記動画データの一方から他方への受信対象の切替要求を受信し、
    前記差分データと、前記2つのフレームのうちの前のフレームとに基づいて生成された後のフレームによる第1映像の再生と、前記動画データに基づいて生成された時間的に連続する複数のフレームによる第2映像の再生とを、前記切替要求が受信された場合に、一方から他方へ映像の再生を切り替え、
    前記音声データに基づいて音声を再生するとともに、第2映像を再生している場合には、前記動画時刻情報と前記音声時刻情報とに基づいて前記音声を第2映像に同期させる、
    再生方法。
  18. コンピュータを、映像及び音声を含むコンテンツを送信するコンテンツ送信装置として機能させるためのコンピュータプログラムであって、
    時間的に前後する2つのフレーム間の差分を示す差分データを送信する第1映像送信手段、
    動画時刻情報が付加された動画データを送信する第2映像送信手段、
    音声時刻情報が付加された音声データを送信する音声送信手段
    前記差分データ及び前記動画データの一方から他方へ送信対象を切り替える送信対象切替手段、及び
    前記差分データ及び前記動画データの一方から他方への受信対象の切替を要求する切替要求手段
    として前記コンピュータを機能させる、
    コンピュータプログラム。
JP2017247480A 2017-12-25 2017-12-25 再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム Active JP6993869B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017247480A JP6993869B2 (ja) 2017-12-25 2017-12-25 再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム
CN201811542164.1A CN110035309B (zh) 2017-12-25 2018-12-17 播放装置、远程播放系统、播放方法以及记录介质
JP2021138022A JP7200313B2 (ja) 2017-12-25 2021-08-26 再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017247480A JP6993869B2 (ja) 2017-12-25 2017-12-25 再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021138022A Division JP7200313B2 (ja) 2017-12-25 2021-08-26 再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2019114941A JP2019114941A (ja) 2019-07-11
JP6993869B2 true JP6993869B2 (ja) 2022-01-14

Family

ID=67222908

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017247480A Active JP6993869B2 (ja) 2017-12-25 2017-12-25 再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム
JP2021138022A Active JP7200313B2 (ja) 2017-12-25 2021-08-26 再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021138022A Active JP7200313B2 (ja) 2017-12-25 2021-08-26 再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム

Country Status (2)

Country Link
JP (2) JP6993869B2 (ja)
CN (1) CN110035309B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352603A (zh) * 2020-03-11 2020-06-30 北京文香信息技术有限公司 一种分屏显示方法、装置、终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006509405A (ja) 2002-12-04 2006-03-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 信号の同期
JP2006325156A (ja) 2005-05-20 2006-11-30 Earnet Co Ltd 遠隔配信システム
JP2009294625A (ja) 2008-06-09 2009-12-17 Haruki Ueno 遠隔教育システムおよびマルチメディアコンテンツの表示制御方法
JP2010224666A (ja) 2009-03-19 2010-10-07 Fuji Xerox Co Ltd 文書表示制御装置及びプログラム
JP2013223086A (ja) 2012-04-16 2013-10-28 Sharp Corp 情報同期装置、記録媒体、および情報同期方法
JP2016015597A (ja) 2014-07-01 2016-01-28 株式会社リコー 配信制御システム、配信制御方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60031905T2 (de) * 1999-04-02 2007-04-12 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtungen zur Übertragung und Empfang von bewegten Bildern sowie Aufzeichnungsmedium für bewegte Bilder
JP2002165201A (ja) 2000-11-27 2002-06-07 Nippon Hoso Kyokai <Nhk> Tcp/ipパケットフォーマットによる映像処理装置
JP5026167B2 (ja) * 2007-07-02 2012-09-12 パナソニック株式会社 ストリーム伝送サーバおよびストリーム伝送システム
JP5369418B2 (ja) 2007-10-01 2013-12-18 ヤマハ株式会社 配信システム、配信方法及び通信端末
US20100103183A1 (en) * 2008-10-23 2010-04-29 Hung-Ming Lin Remote multiple image processing apparatus
JP2012252381A (ja) * 2011-05-31 2012-12-20 Fujifilm Corp 画像配信サーバ、画像配信制御方法及びプログラム
KR20160063405A (ko) 2012-04-24 2016-06-03 브이아이디 스케일, 인크. Mpeg/3gpp-dash에서의 원활한 스트림 스위칭을 위한 방법 및 장치
JP5994473B2 (ja) * 2012-08-13 2016-09-21 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記録媒体
CN203482319U (zh) * 2013-05-31 2014-03-12 江西省电力设计院 一种电站厂房视频监控分析系统
WO2015075956A1 (ja) * 2013-11-20 2015-05-28 三菱電機株式会社 無線通信システム、送信装置、受信装置及び通信端末
US9866734B2 (en) * 2014-08-26 2018-01-09 Dolby Laboratories Licensing Corporation Scene-change detection using video stream pairs
US10282887B2 (en) * 2014-12-12 2019-05-07 Mitsubishi Electric Corporation Information processing apparatus, moving image reproduction method, and computer readable medium for generating display object information using difference information between image frames
JP2016163111A (ja) 2015-02-27 2016-09-05 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006509405A (ja) 2002-12-04 2006-03-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 信号の同期
JP2006325156A (ja) 2005-05-20 2006-11-30 Earnet Co Ltd 遠隔配信システム
JP2009294625A (ja) 2008-06-09 2009-12-17 Haruki Ueno 遠隔教育システムおよびマルチメディアコンテンツの表示制御方法
JP2010224666A (ja) 2009-03-19 2010-10-07 Fuji Xerox Co Ltd 文書表示制御装置及びプログラム
JP2013223086A (ja) 2012-04-16 2013-10-28 Sharp Corp 情報同期装置、記録媒体、および情報同期方法
JP2016015597A (ja) 2014-07-01 2016-01-28 株式会社リコー 配信制御システム、配信制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2019114941A (ja) 2019-07-11
CN110035309A (zh) 2019-07-19
JP2021182780A (ja) 2021-11-25
JP7200313B2 (ja) 2023-01-06
CN110035309B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
US11106292B2 (en) Information processing device, communication system, and information processing method
TWI536855B (zh) 內容分享方法與裝置
TWI616808B (zh) 分享顯示畫面的方法及裝置
US9344758B2 (en) Video stream processing apparatus, method for displaying mirror video, and display device
US11272224B2 (en) Information processing device and method
WO2016121412A1 (ja) 情報処理装置
WO2016065514A1 (zh) 图像显示方法、用户终端和视频接收设备
JP7200313B2 (ja) 再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム
JP2020515135A (ja) ディスプレイ装置及びその制御方法
TWI740208B (zh) 影像傳輸裝置、具有遠端畫面擷取功能的影像顯示系統及遠端畫面影像擷取方法
JP2015188204A (ja) 情報処理装置、情報処理方法、およびそのプログラム
US20140375755A1 (en) Apparatus and method for changing main screen based on distributed telepresence
JP2016143954A (ja) 無線通信装置及び無線通信方法
JP6499582B2 (ja) 送信側コンピュータ、受信側コンピュータ、及びそれらにより実行される方法、並びにコンピュータプログラム
JP6481937B2 (ja) テレビ会議用通信装置
JP6606251B2 (ja) 送信側コンピュータ、受信側コンピュータ、及びそれらにより実行される方法、並びにコンピュータプログラム
JP6485352B2 (ja) 受信装置、方法、コンピュータプログラム
WO2015154629A1 (zh) 一种智能投影设备的操作方法及装置
CN105376617A (zh) 一种无线映射交互的处理方法
US20170374368A1 (en) Video Processor, Method, Computer Program
JP6431301B2 (ja) 動画処理装置、方法、コンピュータプログラム
CN117632065A (zh) 一种投屏显示系统、方法及显示设备
WO2016163557A1 (ja) 送信装置、受信装置、及びそれらにより実行される方法、並びにコンピュータプログラム
JP2005020426A (ja) 画像データ転送システム
JP2015022722A (ja) 送信側コンピュータ、受信側コンピュータ、及びそれらにより実行される方法、並びにコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211210

R150 Certificate of patent or registration of utility model

Ref document number: 6993869

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150