JP7523134B2

JP7523134B2 - 送信機及び通信システム

Info

Publication number: JP7523134B2
Application number: JP2021124924A
Authority: JP
Inventors: 啓二奥間; 雄大岩▲崎▼
Original assignee: Silex Technology Inc
Current assignee: Silex Technology Inc
Priority date: 2021-07-30
Filing date: 2021-07-30
Publication date: 2024-07-26
Anticipated expiration: 2041-07-30
Also published as: JP2023019869A

Description

本発明は、主として、映像データを送信する送信機に関する。

特許文献１は、映像データ配信システムを開示する。映像データ配信システムの送信側では、時間軸方向に圧縮されることなく時間軸に沿って配置される画像フレームのパケットデータが送信される。また、送信側では、パケットデータのバッファリングと使用可能な帯域に従ったパケット送信を行うキューイング工程が、次画像フレームに相当するパケットデータがバッファリングされるまで行われる。

特開２０１３－８１０２０号公報

特許文献１の映像データ配信システムでは、例えば通信速度に対してパケットデータのデータ量が大き過ぎる場合、受信側での映像の再生が間に合わないフレームが頻繁に送信される可能性がある。

例えば、映像を低遅延で再生する場合、受信側での映像の再生が間に合わないフレームを送信しても、このフレームは受信側で再生されない。つまり、再生が間に合わないフレームに関する処理（即ち、不要な処理）が受信側で頻繁に行われる可能性がある。

本発明は以上の事情に鑑みてされたものであり、その主要な目的は、映像データのフレームを送信する送信機において、映像の再生に間に合わないフレームに関する処理が受信側で行われにくい構成を提供することにある。

課題を解決するための手段及び効果

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。

本発明の第１の観点によれば、以下の構成の送信機が提供される。即ち、送信機は、処理装置と、通信装置と、を備える。前記処理装置は、映像データのフレームを作成する。前記通信装置は、前記処理装置が作成した前記フレームを受信機に送信する。前記処理装置は、フレームレート毎に定められた通信規定時間を記憶している。前記通信規定時間は、１フレームの時間よりも短い時間である。前記処理装置は、前記フレームのデータ量と前記送信機と前記受信機の間の通信速度に基づいて前記フレームの送信時間を求め、前記フレームの送信時間が前記通信規定時間を超えるか否かに基づいて、前記フレームが受信側での映像の再生に間に合わない遅延フレームに該当するか否かを判定する。前記通信装置は、前記遅延フレームを前記受信機に送信する処理を省略し、前記遅延フレームの後の前記フレームを前記受信機に送信する。

これにより、受信側での映像の再生に間に合わない遅延フレームが送信されないので、不要なデータが送信されることを防止しつつ、受信側で不要な処理が行われることを防止できる。

前記の送信機においては、以下の構成とすることが好ましい。即ち、前記処理装置が作成する前記フレームには、以前に送信した前記フレームとの差分に基づいて作成した差分フレームが含まれる。前記処理装置は、前記遅延フレームの後に送信する前記フレームとして、前記遅延フレームより前の前記フレームとの差分に基づいて作成した前記差分フレームを作成する。

これにより、受信機での映像の再生に適した差分フレームを作成できる。

前記の送信機においては、過去から現在までの前記フレームの送信時間の合計が、過去から現在までの前記通信規定時間の合計を超えるか否かに基づいて、現在の前記フレームが受信側での映像の再生に間に合わない遅延フレームに該当するか否かを判定することが好ましい。

これにより、例えば直前に送信したフレームのデータサイズが小さい場合に、その余った時間を考慮して、次に送信するフレームが遅延フレームか否かを判定できる。つまり、フレーム毎に通信規定時間を超えるか否かを判定する場合と比較して、遅延フレームが発生する頻度を低下できる。

前記の送信機においては、前記処理装置は、前記フレームの全体のエンコードが完了した後に、前記フレームの送信時間が前記通信規定時間を超えるか否かを判定することが好ましい。

これにより、スライス単位のエンコードが完了する毎に判定を行う場合と比較して、判定を行う回数を低減できる。

前記の送信機においては、前記処理装置は、前記フレームを分割したスライス単位のエンコードが完了する毎に、前記フレームの送信時間が前記通信規定時間を超えるか否かを判定することが好ましい。

これにより、フレーム全体のエンコードが完了した後に判定を行う場合と比較して、遅延フレームに該当するか否かを早期に判定できる。

前記の送信機においては、以下の構成とすることが好ましい。即ち、前記映像データは、撮影装置で撮影された映像を示すデータである。前記通信装置は、前記撮影装置から受信した前記映像データに基づく前記フレームをリアルタイムで前記受信機に送信する。

これにより、映像の遅延が生じにくい効果を有効に活用できる。

本発明の第２の観点によれば、前記の送信機と前記の受信機を備える通信システムが提供される。

これにより、映像を低遅延で送信可能なシステムが実現できる。

前記の通信システムにおいては、以下の構成とすることが好ましい。即ち、前記受信機は、前記送信機から受信した前記フレームに欠けがあった場合、前記送信機へ新たなキーフレームを要求する。前記送信機は、受信機からの要求を受けた後に、欠けがあった前記フレームよりも時系列で後に相当する、新たな前記キーフレームを前記受信機に送信する。前記受信機は、欠けがある前記フレームを受信してから、新たな前記キーフレームを受信するまでに受信した前記フレームに基づく映像を表示せず、新たな前記キーフレームに基づく映像を次に表示する。

これにより、欠けがあるフレーム又はそれを参照するフレームに基づく映像を表示しないため、映像が乱れることを抑制できる。

前記の通信システムにおいては、以下の構成とすることが好ましい。即ち、前記映像データは、作業装置が作業を行う状況を撮影した映像を示すデータである。前記受信機は、前記作業装置に対する指令を前記送信機に送信する。前記送信機は、前記指令に基づいて前記作業装置に作業を行わせる。

これにより、映像の遅延が生じにくいため、効率よく的確な作業を前記作業装置に行わせることができる。

本発明の一実施形態に係る通信システムのブロック図。第Ｎフレームの送信に関して送信機が行う処理を示すフローチャート。状況Ａにおける各フレームのデータ量と通信規定時間を示す図。状況Ｂにおける各フレームのデータ量と通信規定時間を示す図。状況Ｃにおける各フレームのデータ量と通信規定時間を示す図。ＩＤＲ要求に関して受信機が行う処理を示すフローチャート。ＩＤＲ要求を行う際の送信機及び受信機の処理を示す図。スライス単位でエンコードを行う変形例において第Ｎフレームの送信に関して送信機が行う処理を示すフローチャート。

次に、図面を参照して本発明の実施形態を説明する。初めに、図１を参照して、本実施形態の通信システム１について説明する。

通信システム１は、例えば工場、施設、又はオフィス等の作業場に設けられている。通信システム１は、送信機１０と、受信機２０と、を備える。送信機１０と受信機２０は、同じローカルエリアネットワークに接続されており、互いに通信可能である。なお、送信機１０と受信機２０は、インターネット等を介して接続されていてもよい。

送信機１０は、処理装置１０ａと、通信装置１０ｂと、を備える。処理装置１０ａは、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備える。処理装置１０ａは、ＲＯＭに記憶されたプログラムをＲＡＭに読み出してＣＰＵが実行することにより、様々な処理を実行可能である。例えば、処理装置１０ａは、映像データをエンコードする処理、及び、データの送受信を通信装置１０ｂに指示する処理等を行うことができる。通信装置１０ｂは、有線通信又は無線通信を行うための通信モジュールである。送信機１０には、作業装置１１及び撮影装置１２が接続されている。

作業装置１１は、作業場で作業を行うための装置である。作業装置１１は、例えば、工作機械又はロボットである。作業装置１１は、アクチュエータを有しており、外部から入力された指令（電気信号）に基づいてアクチュエータが動作することで、作業を行う。

撮影装置１２は、作業装置１１が作業を行う状況を撮影して映像データを作成する。撮影装置１２は、例えばビデオカメラである。撮影装置１２は、例えば柱又は作業台に取り付けられており、作業装置１１を含む映像データを作成する。なお、撮影装置１２を作業装置１１に取り付けて、作業装置１１の作業対象物を含む映像データを作成してもよい。撮影装置１２は、作成した映像データを送信機１０に送信する。送信機１０は、映像データを圧縮して受信機２０に送信する。

受信機２０は、送信機１０と実質的に同等の構成を有している。受信機２０には、表示装置２１及び操作装置２２が接続されている。受信機２０は、送信機１０から受信した映像データを表示装置２１に送信する。

表示装置２１は、例えば液晶ディスプレイ又は有機ＥＬディスプレイである。表示装置２１は、受信機２０から受信した映像データを画面に表示する。

操作装置２２は、作業者が作業装置１１を動作させるための装置である。操作装置２２は、レバー及びボタン等であってもよいし、タッチパネルであってもよい。作業者は、表示装置２１に表示された映像を見ながら、操作装置２２のレバー等を動かす。これにより、作業装置１１を動作させるための指令（電気信号）が操作装置２２から受信機２０に送信される。受信機２０は、指令を送信機１０に送信する。送信機１０は、指令を作業装置１１に送信する。以上により、作業者が表示装置２１に映った作業装置１１の状況を見ながら操作装置２２に対して行った操作に基づいて、作業装置１１を動作させることができる。

本実施形態では、作業者が表示装置２１を見ながら作業装置１１を動作させるため、例えば映像の遅延が大きい場合、作業者は適切に作業装置１１を動作させることが困難になる。従って、映像を低遅延で送信及び表示すること（言い換えれば映像のリアルタイム性）が要求される。なお、本明細書においてリアルタイムとは、厳密に同期している状況だけを示す用語でなく、通信時間や処理時間に応じた僅かな遅れ（例えば１秒以下の遅れ）が生じている状況も示す用語である。

以下では、図２から図５を参照して、映像の低遅延を実現するために、送信機１０が行う処理を説明する。

送信機１０の処理装置１０ａは、送信機１０と受信機２０の間の通信速度に基づいて、映像データを送信する際の圧縮率を変更する。例えば、送信機１０と受信機２０の間の通信速度が低下して閾値を下回った場合、処理装置１０ａは、映像データの圧縮率を１段階低下させる。これにより、通信速度の低下に起因する映像の遅延を抑制できる。なお、通信速度が常に安定している状況等においては、通信速度はほぼ一定であり、圧縮率も固定値であってもよい。

処理装置１０ａは、撮影装置１２から受領した映像データをフレーム単位で処理して圧縮する。具体的には、フレームは、キーフレーム（Ｉフレーム）と、差分フレーム（Ｐフレーム）と、を含む。キーフレームは、フレーム間予測を用いずに作成したフレームである。キーフレームは該当のフレームの全ての情報が含まれており、キーフレーム単体で該当のフレームを表示することができる。差分フレームは、時間的に前のフレーム（キーフレーム又は差分フレーム、以下では参照フレームと称する）との差分に基づいて作成されるフレームである。差分フレームは参照フレームとの差分の情報しか含まれていない。従って、差分フレームと参照フレームの両方に基づいて、該当のフレームを表示することができる。なお、本実施形態の差分フレームは、原則として１つ前のフレームであるが、２つ以上前のフレームであってもよい。

差分フレームのデータ量は、参照フレームとの差分に依存するため、一定ではない。従って、例えば差分フレームのデータ量が大き過ぎる場合、受信機２０が差分フレームを受信するタイミングが遅くなり、差分フレームを処理するタイミングが遅くなる。その結果、受信側（具体的には表示装置２１）での映像の再生が間に合わない。映像をリアルタイムで再生することが前提である場合、この差分フレームは再生されない。つまり、受信側（具体的には受信機２０）で、再生できないにもかかわらず行われる再生のための処理（不要な処理）が行われることになる。これを抑制するため、本実施形態の送信機１０は、受信側で再生できないフレームの送信を省略する。以下、具体的に説明する。

以下では、第Ｎフレームを送信するか否かを判定する処理を説明する。第Ｎフレームは差分フレームであり、１つ前の第Ｎ－１フレームが参照フレームである。初めに、図２に示すように、処理装置１０ａは、第Ｎ－１フレームを参照フレームとして第Ｎフレームをエンコードする（Ｓ１０１）。

次に、処理装置１０ａは、第Ｎフレームの送信に掛かるであろう（と予測される）時間（以下、送信時間）が通信規定時間を超えるか否かを判定する（Ｓ１０２）。第Ｎフレームをエンコードすることにより、第Ｎフレームのデータ量が決定する。従って、処理装置１０ａは、第Ｎフレームのデータ量と、送信機１０と受信機２０の間の通信速度と、に基づいて、第Ｎフレームの送信時間を算出する。

通信規定時間とは、予め定められた時間長さである。送信機１０によるフレームの送信時間が、通信規定時間を超えない場合は、受信側でのフレームの再生が間に合う。従って、通信規定時間は、１フレームの時間（フレームレートが６０ＦＰＳの場合は約１６．６ｍｓｅｃ）から、送信機１０の送信が完了してから受信機２０の受信が完了するまでの時間、受信側での処理時間、及び各処理のオーバヘッド時間などを減算した時間である。これらの時間を正確に算出することは困難であるため、実験的又は経験的に求めた値を通信規定時間として用いてもよい。また、通信規定時間は固定値であってもよいし、通信速度に応じて変化させてもよい。

ここで、図３から図５を参照して、送信時間と通信規定時間の判定について具体的に説明する。図３から図５に示すように、通信規定時間は、フレームレート毎に定められている。フレームレート毎の通信規定時間は一定である。図３から図５に示すフレーム時間は、複数に区分されている。区分されたそれぞれが１つのフレームの時間（例えば、フレームレートが６０ＦＰＳの場合は約１６．６ｍｓｅｃなど）である。上述したように、通信規定時間は、１つのフレームの時間よりも短い時間である。フレームのデータ量（送信時間）は、エンコードして送信するフレームのデータ量を送信時間に変換したものである。つまり、フレームのデータ量（送信時間）が通信規定時間より長い場合、フレームの送信時間が通信規定時間を超えることとなる。

図３に示す状況Ａでは、フレーム（１）～（４）は、通信規定時間を超えない。つまり、フレーム（１）～（４）を送信することにより、それぞれのフレームは、受信側でリアルタイムに再生される。

図４に示す状況Ｂでは、フレーム（１）の送信時間は通信規定時間と同じである。フレーム（２）の送信時間は通信規定時間よりも時間Ｔ２だけ短い。フレーム（３）の送信時間は通信規定時間よりも時間Ｔ３だけ長い。フレーム（３）の送信時間は通信規定時間を超えている。しかし、フレーム（２）の送信時において時間Ｔ２の余裕（ゆとり）がある。そして、時間Ｔ２は時間Ｔ３よりも長い。つまり、フレーム（２）の送信時に余った時間を活用することにより、フレーム（３）を通信規定時間を超えずに送信できる。

つまり、図２に示すステップＳ１０２の判定では、過去に生じた通信規定時間の余裕を考慮して、第Ｎフレームの送信時間が通信規定時間を超えるか否かを判定することが好ましい。言い換えれば、第Ｎフレームの送信が完了した時間が、第Ｎフレームの通信規定時間より後になるか否かを判定することが好ましい。具体的には、処理装置１０ａは、任意の過去から現在までのフレームの送信時間の合計が、当該過去から現在までの通信規定時間の合計を超えるか否かに基づいて、ステップＳ１０２の判定を行う。過去の起点は、例えば１つ前のフレームの送信時であってもよいし、直近のキーフレームの次のフレームの送信時であってもよいし、直近の遅延フレーム（詳細は後述）の次のフレームの送信時であってもよい。また、合計に代えて平均を用いてもよい。合計を該当の数で割った値が平均なので、今回の判定においては、合計の比較と平均の比較は実質的に同じ意味である。

図２に示すように、処理装置１０ａは、第Ｎフレームの送信時間が通信規定時間を超えるか否か判定し、超えないと判定した場合（Ｓ１０２のＮｏ）は、ステップＳ１０１でエンコードした第Ｎフレームを受信機２０に送信する（Ｓ１０３）。そして、処理装置１０ａは、第Ｎ＋１フレーム以降に対しても同様の処理を繰り返し行う。

図５に示す状況Ｃでは、フレーム（１）及びフレーム（２）の送信時間は通信規定時間と略同じであり、フレーム（４）の送信時間は通信規定時間を超えていない。フレーム（３）の送信時間は、通信規定時間を時間Ｔ３だけ超えている。従って、図２に示すステップＳ１０２において、処理装置１０ａは、フレーム（３）の送信時間が通信規定時間を超えると判定する。

処理装置１０ａは、第Ｎフレームの送信時間が通信規定時間を超えると判定した場合（Ｓ１０２のＹｅｓ）、第Ｎフレームの送信を中止する（Ｓ１０４）。なぜなら、第Ｎフレームを送信しても、受信側での処理が間に合わないので、不要なデータの送信及び不要なデータの処理に繋がるからである。以下では、このフレームを遅延フレームと称する。

次に、処理装置１０ａは、第Ｎ－１フレームを参照フレームとして、第Ｎ＋１フレームをエンコードする（Ｓ１０５）。第Ｎフレームは受信機２０に送信しないため、第Ｎフレームを参照フレームとしても、受信側で処理できないからである。次に、処理装置１０ａは、ステップＳ１０５で作成した第Ｎ＋１フレームを受信機２０に送信する（Ｓ１０６）。そして、処理装置１０ａは、第Ｎ＋２フレーム以降に対しても同様の処理を繰り返し行う。本実施形態の遅延フレームの１つ後のフレームが受信機２０に送信されるが、２つ以上後のフレームが受信機２０に送信されてもよい。

上述した状況Ｃにおいても、フレーム（３）は遅延フレームと判定される。従って、フレーム（３）は送信されない。そして、フレーム（２）を参照フレームとしてフレーム（４）がエンコードされて送信される。

次に、図６及び図７を参照して、表示装置２１に表示される映像の乱れを抑制するために受信側で行う処理について説明する。

送信機１０と受信機２０の通信時においてパケットロスが発生する可能性がある。その場合、処理装置１０ａが映像データをエンコードして、通信装置１０ｂによって送信されるフレームを構成するデータの一部が受信機２０に到達しない可能性がある。このように受信機２０が受信すべきフレームに欠けが生じた場合、フレームを再現できないため、映像を適切に再生できない。また、このフレームに欠けがあるため、このフレームを参照する次の差分フレームも適切に再現できない。

この事態を回避するために、受信機２０は、送信機１０から受信したフレームに欠けがあるか否かを判定しており（Ｓ２０１）、欠けがあると判定した場合、欠けがあるフレームを表示する処理を行わずに、送信機１０にＩＤＲ要求を行う（Ｓ２０２）。

ＩＤＲとは、ＩｎｓｔａｎｔａｎｅｏｕｓＤｅｃｏｄｅｒＲｅｆｒｅｓｈを意味している。送信機１０は、ＩＤＲ要求を受信した場合、次のフレーム時間のフレームをＩＤＲフレームとする。ＩＤＲフレームはキーフレームである。また、今後作成されるフレームは、ＩＤＲフレームより前のフレームを参照フレームとしない。送信機１０は、ＩＤＲフレームの作成後、ＩＤＲフレームを受信機２０に送信する。

受信機２０は、ＩＤＲフレームを受信するまで表示装置２１の表示の更新をしない（Ｓ２０３）。なぜなら、上述したように欠けがあるフレームを表示したり、欠けがあるフレームを参照フレームとしたフレームを表示したりしても、映像に乱れが生じるからである。その後、受信機２０は、ＩＤＲフレームを受信した後に、受信したＩＤＲフレームにより表示装置２１の表示を更新する（Ｓ２０４）。

図７には、ＩＤＲに関する処理の例が示されている。図７に示すように、受信機２０が受信したフレーム（１）に欠けがあった場合、受信機２０はＩＤＲ要求を行う。送信機１０は、フレーム（４）の処理を行っている途中にＩＤＲ要求を受信したので、次のフレーム（５）をＩＤＲフレーム（キーフレーム）として受信機２０に送信する。受信機２０は、欠けがあるフレーム（１）、ＩＤＲフレームを受信するまでに送信機１０から受信したフレーム（２）、（３）、（４）の表示を行わない。

以上により、映像の乱れを防止しつつ、フレームの欠けの影響をリカバーすることができる。

次に、図８を参照して、上記実施形態の変形例について説明する。以下の変形例の通信システム１を構成する機器は上記実施形態と同じである。

上記実施形態の処理装置１０ａは、フレーム単位でエンコードを行う。これに対し、変形例の処理装置１０ａは、フレームを分割したスライス単位でエンコードを行う。スライス単位でエンコードを行うことにより、フレームの送信時間が通信規定時間を超えるか否かの判定を早期に行うことができる。

具体的には、処理装置１０ａは、第Ｎフレームの第Ｍスライスをエンコードした後に（Ｓ３０１）、第Ｎフレームの第１スライスから第Ｍスライスまでの合計のデータ量から送信時間を算出する（Ｓ３０２）。

次に、処理装置１０ａは、ステップＳ３０２で算出した送信時間が通信規定時間を超えるか否かを判定する（Ｓ３０３）。この判定には、上記実施形態で示した過去の通信規定時間の余裕を考慮してもよい。

処理装置１０ａは、送信時間が通信規定時間を超えない場合、次のスライス、即ち第Ｍ＋１スライスのエンコードを行う。そして、処理装置１０ａは、第Ｎフレームの第Ｍ＋１スライス以降に対しても同様の処理を繰り返し行う。また、最後のスライスに関する処理が完了した場合、第Ｎフレームを送信する。

一方、処理装置１０ａは、送信時間が通信規定時間を超える場合、第Ｎフレームの送信を中止する（Ｓ３０４）。この場合、第Ｎフレームのエンコードが不要となるため、処理装置１０ａは、第Ｎフレームの第Ｍ＋１スライス以降のエンコードを省略する。その後、処理装置１０ａは、上記実施形態と同様に、第Ｎ－１フレームを参照フレームとして第Ｎ＋１フレームの各スライスをエンコードする。

変形例の送信機１０では、例えば第Ｎフレームの送信時間が通信規定時間を超える場合、第Ｎフレームの全体のエンコードが完了する前に、その旨を検出できる。従って、早いタイミングで判定を行うことができるので、早いタイミングで第Ｎ＋１フレームのエンコードを開始できる。

以上に説明したように、本実施形態の送信機１０は、処理装置１０ａと、通信装置１０ｂと、を備える。処理装置１０ａは、映像データのフレームを作成する。通信装置１０ｂは、処理装置１０ａが作成したフレームを受信機２０に送信する。処理装置１０ａは、フレームが受信側での映像の再生に間に合わない遅延フレームに該当するか否かを判定している。通信装置１０ｂは、遅延フレームを受信機２０に送信する処理を省略し、遅延フレームの後のフレームを受信機２０に送信する。

本実施形態の送信機１０において、処理装置１０ａが作成するフレームには、以前に送信したフレームとの差分に基づいて作成した差分フレームが含まれる。処理装置１０ａは、遅延フレームの後に送信するフレームとして、遅延フレームより前のフレームとの差分に基づいて作成した差分フレームを作成する。

本実施形態の送信機１０において、処理装置１０ａは、予め設定した通信規定時間を記憶している。処理装置１０ａは、フレームの送信時間が通信規定時間を超えるか否かに基づいて、フレームが受信側での映像の再生に間に合わない遅延フレームに該当するか否かを判定する。

これにより、簡単な方法で遅延フレームに該当するか否かを判定できる。

本実施形態の送信機１０において、過去から現在までのフレームの送信時間の合計が、過去から現在までの通信規定時間の合計を超えるか否かに基づいて、現在のフレームが受信側での映像の再生に間に合わない遅延フレームに該当するか否かを判定する。

本実施形態の送信機１０において、処理装置１０ａは、フレームの全体のエンコードが完了した後に、フレームの送信時間が通信規定時間を超えるか否かを判定する。

本実施形態の変形例の送信機１０において、処理装置１０ａは、フレームを分割したスライス単位のエンコードが完了する毎に、フレームの送信時間が通信規定時間を超えるか否かを判定する。

本実施形態の送信機１０において、映像データは、撮影装置１２で撮影された映像を示すデータである。通信装置１０ｂは、撮影装置１２から受信した映像データに基づくフレームをリアルタイムで受信機２０に送信する。

本実施形態の通信システム１は、送信機１０と、受信機２０と、を備える。

本実施形態の通信システム１において、受信機２０は、送信機１０から受信したフレームに欠けがあった場合、送信機１０へ新たなキーフレームを要求する。送信機１０は、受信機２０からの要求を受けた後に新たなキーフレームを受信機２０に送信する。受信機２０は、欠けがあるフレームを受信してから、新たなキーフレームを受信するまでに受信したフレームに基づく映像を表示せず、新たなキーフレームに基づく映像を次に表示する。

本実施形態の通信システム１において、映像データは、作業装置１１が作業を行う状況を撮影した映像を示すデータである。受信機２０は、作業装置１１に対する指令を送信機１０に送信する。送信機１０は、指令に基づいて作業装置１１に作業を行わせる。

これにより、映像の遅延が生じにくいため、効率よく的確な作業を作業装置１１に行わせることができる。

以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。

上記実施形態では、ステップＳ１０２の判定において、過去に生じた通信規定時間の余裕を考慮する。これに代えて、過去に生じた通信規定時間の余裕を考慮せずに、判定中のフレームの送信時間と通信規定時間だけに基づいてステップＳ１０２の判定を行ってもよい。

上記実施形態では、過去に生じた通信規定時間の余裕を考慮する場合、通信規定時間の余裕の合計値とフレームの送信時間の合計値を用いる例を示したが、合計値に代えて平均値を用いてもよい。平均値は合計値を個数で割った数である。

上記実施形態では、予め定めた固定値である通信規定時間を用いて第Ｎフレームが遅延フレームに該当するか否かを判定する。これに代えて、送信機１０と受信機２０の通信により、リアルタイムで発生している通信ラグ等を推定し、この通信ラグ、通信速度、フレームのデータ量等に基づいて、第Ｎフレームが遅延フレームに該当するかを判定してもよい。

上記実施形態で示したフローチャートは一例であり、一部の処理を省略したり、一部の処理の内容を変更したり、新たな処理を追加したりしてもよい。例えば、第Ｎフレームが遅延フレームであった場合、次にキーフレームを送信してもよい。

上記実施形態では、送信機１０、作業装置１１、及び撮影装置１２がそれぞれ別のハードウェアであるが、少なくとも２つが１つのハードウェアで実現されていてもよい。例えば、作業装置１１に送信機１０の機能を組み込んだり、送信機１０に撮影装置１２の機能を組み込んだりすることができる。同様に、上記実施形態では、受信機２０、表示装置２１、及び操作装置２２がそれぞれ別のハードウェアであるが、少なくとも２つが１つのハードウェアで実現されていてもよい。例えば、表示装置２１に受信機２０の機能を組み込んだり、操作装置２２に受信機２０の機能を組み込んだりすることができる。

上記実施形態では、作業装置１１を遠隔で操作するシステムに本発明を適用したが、別のシステムに本発明を適用してもよい。例えば、監視カメラの映像を送信するシステムに本発明を適用することもできる。

１通信システム
１０送信機
１０ａ処理装置
１０ｂ通信装置
２０受信機

Claims

送信機であって、
映像データのフレームを作成する処理装置と、
前記処理装置が作成した前記フレームを受信機に送信する通信装置と、
を備え、
前記処理装置は、フレームレート毎に定められた通信規定時間を記憶しており、
前記通信規定時間は、１フレームの時間よりも短い時間であり、
前記処理装置は、前記フレームのデータ量と、前記送信機と前記受信機の間の通信速度と、に基づいて前記フレームの送信時間を求め、
前記処理装置は、前記フレームの送信時間が前記通信規定時間を超えるか否かに基づいて、前記フレームが受信側での映像の再生に間に合わない遅延フレームに該当するか否かを判定し、
前記通信装置は、前記遅延フレームを前記受信機に送信する処理を省略し、前記遅延フレームの後の前記フレームを前記受信機に送信することを特徴とする送信機。
請求項１に記載の送信機であって、
前記処理装置が作成する前記フレームには、以前に送信した前記フレームとの差分に基づいて作成した差分フレームが含まれ、
前記処理装置は、前記遅延フレームの後に送信する前記フレームとして、前記遅延フレームより前の前記フレームとの差分に基づいて作成した前記差分フレームを作成することを特徴とする送信機。
請求項１又は２に記載の送信機であって、
過去から現在までの前記フレームの送信時間の合計が、過去から現在までの前記通信規定時間の合計を超えるか否かに基づいて、現在の前記フレームが受信側での映像の再生に間に合わない遅延フレームに該当するか否かを判定することを特徴とする送信機。
請求項１から３までの何れか一項に記載の送信機であって、
前記処理装置は、前記フレームの全体のエンコードが完了した後に、前記フレームの送信時間が前記通信規定時間を超えるか否かを判定することを特徴とする送信機。
請求項１から３までの何れか一項に記載の送信機であって、
前記処理装置は、前記フレームを分割したスライス単位のエンコードが完了する毎に、前記フレームの送信時間が前記通信規定時間を超えるか否かを判定することを特徴とする送信機。
請求項１から５までの何れか一項に記載の送信機であって、
前記映像データは、撮影装置で撮影された映像を示すデータであり、
前記通信装置は、前記撮影装置から受信した前記映像データに基づく前記フレームをリアルタイムで前記受信機に送信することを特徴とする送信機。
請求項１から６までの何れか一項に記載の送信機と、
前記受信機と、
を備えることを特徴とする通信システム。
請求項７に記載の通信システムであって、
前記受信機は、前記送信機から受信した前記フレームに欠けがあった場合、前記送信機へ新たなキーフレームを要求し、
前記送信機は、前記受信機からの要求を受けた後に、欠けがあった前記フレームよりも時系列で後に相当する、新たな前記キーフレームを前記受信機に送信し、
前記受信機は、欠けがある前記フレームを受信してから、新たな前記キーフレームを受信するまでに受信した前記フレームに基づく映像を表示せず、新たな前記キーフレームに基づく映像を次に表示するための処理を行うことを特徴とする通信システム。
請求項７又は８に記載の通信システムであって、
前記映像データは、作業装置が作業を行う状況を撮影した映像を示すデータであり、
前記受信機は、前記作業装置に対する指令を前記送信機に送信し、
前記送信機は、前記指令に基づいて前記作業装置に作業を行わせることを特徴とする通信システム。