WO2022091213A1

WO2022091213A1 - 動画像通信のためのシステム、受信装置、送信装置、方法、プログラム、及びプログラムを記録した記録媒体

Info

Publication number: WO2022091213A1
Application number: PCT/JP2020/040236
Authority: WO
Inventors: 毅相川
Original assignee: 株式会社Njs
Priority date: 2020-10-27
Filing date: 2020-10-27
Publication date: 2022-05-05
Also published as: US20240015309A1; JPWO2022091213A1

Abstract

送信された動画像を遅延無くリアルタイムで再現すると共に、動画像の再現性を向上させることができるシステム、装置、方法、プログラム、及びプログラムを記録した記録媒体を提供すること。また、通信状況の悪化等も含めて遅滞なくリアルタイムで状況を把握可能なシステム、装置、方法、プログラム、及びプログラムを記録した記録媒体を提供すること。　複数の静止画像フレームから構成される動画像の静止画像フレームの各々を複数のブロックに分割し、該複数のブロックをブロック毎に独立に符号化し、符号化されたブロックである符号化ブロックを、コネクションレス型通信方式で送信することと、前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの前記符号化ブロックを復号化して生成された復号化ブロックを対応する位置に配置して静止画像フレームを再構成することを含み、前記符号化ブロック受信期間は、現在のフレーム開始時刻から、１フレーム全符号化ブロック受信想定時間に余裕時間を加えた時間が経過するまでの期間である動画像通信方法。

Description

動画像通信のためのシステム、受信装置、送信装置、方法、プログラム、及びプログラムを記録した記録媒体

　本発明は、動画像通信のためのシステム、受信装置、送信装置、方法、プログラム、及びプログラムを記録した記録媒体に関する。

　近年、インターネット、イーサネット、ＬＡＮ等のネットワークを介して、カメラのライブ動画像をストリーム伝送する技術が普及してきている。このような技術は、例えば、テレビ会議システム、監視カメラシステム、遠隔操作システムにおいて用いられている。

　特開２００８－１９３５１０号公報は、カメラの動画像をリアルタイムで伝送するために、以下のような技術を開示している。すなわち、カメラにより取得した動画像を符号化し、ＵＤＰ(User Datagram Protocol)／ＩＰプロトコルで伝送する。そして、（１）受信側では、パケットロス等のエラーが発生した場合には、エラーが検出されたパケットの再送要求を行い、送信要求に応じて送信されたパケットに基づいてエラーを回復した画像を復号化し、表示する。また、（２）リアルタイム性を重視する場合は、エラーを含む動画像を表示する。

特開２００８－１９３５１０号公報

　監視カメラシステムや遠隔操作システムにおいては、今現場で何が生じているかを把握する必要があるので、現場の映像を遅延無くリアルタイムで確認可能とすることが要求される。

　遠隔操作システムについて、例えば、カメラを搭載した無人航空機や無人車両等の無人移動体を、カメラから無線ＬＡＮを介して送信される動画像を見ることにより遠隔操縦する場合を考えると、少しでも遅延が生じると、無人移動体の実際の動きと操縦者が見る動画像における無人移動体の動きに時間差が生じてしまい、最悪の場合、無人移動体が障害物に衝突したり、墜落するのを回避することができなくなってしまう場合もある。

　また、動画像送信装置と動画像受信装置との間の通信状況の悪化（例えば、回線障害や電波状況の悪化）が生じた場合、操縦者が見る動画像が停止する（いわゆる、「画像が固まる」現象が生じる）等して、操縦者が少し前の画像であることに気づかずに表示された動画像を見ている場合があり、そのような場合、通信状況の悪化を遅滞なく認識できず、本来であれば、通信状況の著しい悪化や通信不能の状況に対応して即時に無人移動体を停止させなければならないところ、それができないこととなる。

　上記引用文献１の技術においては、（１）の場合には、通信状況が悪いと、パケットの再送要求が重なり、パケットの遅延が生じ、また、（２）の場合は、受信されたパケットはリアルタイム性を有するが、消失するパケットも生じる。（１）、（２）の両方の場合について、適時に受信されなかったパケットがあると、そのパケットのフレームについて、フレーム全体が復号化できなくなることがある。また、適時に受信されなかったパケットに起因して、その全部又は一部が復号化できなかったフレームについては、代わりに復号化できた以前のフレームが表示される。そのため、上述のように、表示される動画像が停止する等して、以前の画像が表示されたままになることがある。

　そこで、本発明は、送信された動画像を遅延無くリアルタイムで再現すると共に、動画像の再現性を向上させることができるシステム、受信装置、送信装置、方法、プログラム、及びプログラムを記録した記録媒体を提供することを目的の１つとする。

　また、本発明は、通信状況の悪化等も含めて遅滞なくリアルタイムで状況を把握可能なシステム、受信装置、送信装置、方法、プログラム、及びプログラムを記録した記録媒体を提供することを目的の１つとする。

　本発明の１つの態様は、複数の静止画像フレームから構成される動画像の静止画像フレームの各々を複数のブロックに分割し、該複数のブロックをブロック毎に独立に符号化し、符号化されたブロックである符号化ブロックを、コネクションレス型通信方式で送信することと、前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの前記符号化ブロックを復号化して生成された復号化ブロックを対応する位置に配置して静止画像フレームを再構成することを含み、前記符号化ブロック受信期間は、現在のフレーム開始時刻から、１フレーム全符号化ブロック受信想定時間に余裕時間を加えた時間が経過するまでの期間である動画像通信方法を提供するものである。

　前記静止画像フレームを再構成することは、前記前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの前記符号化ブロックを復号化して生成された復号化ブロックを対応する位置に配置し、それ以外の部分は無画像信号に相当する画像として静止画像フレームを再構成することを含むものとすることができる。

　本発明の１つの態様は、複数の静止画像フレームから構成される動画像の静止画像フレームの各々が複数のブロックに分割され、該複数のブロックがブロック毎に独立に符号化され、コネクションレス型通信方式で送信された符号化ブロックであって、前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの符号化ブロックを復号化して復号化ブロックを生成することと、生成された前記復号化ブロックを対応する位置に配置して静止画像フレームを再構成することとを含み、前記符号化ブロック受信期間は、現在のフレーム開始時刻から、１フレーム全符号化ブロック受信想定時間に余裕時間を加えた時間が経過するまでの期間である画像受信方法を提供するものである。

　前記静止画像フレームを再構成することは、前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの前記符号化ブロックを復号化して生成された復号化ブロックを対応する位置に配置し、それ以外の部分は、前記１つの前記静止画像フレームの１つ前のフレームから前記１つの前記静止画像フレームよりも所定の数だけ前の静止画像フレームまでの過去の静止画像フレームの各々について、受信された前記過去の静止画像フレームの符号化ブロックを復号化して生成された復号化ブロックのうちで、前記それ以外の部分に対応する位置の該復号化ブロックを、前記１つの前記静止画像フレームに時間的に近い静止画像フレームの復号化ブロックを優先して配置して静止画像フレームを再構成することを含むものとすることができる。

　次のフレーム開始時刻は、（１）前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロックが、前記符号化ブロック受信期間内に受信された場合、前記符号化ブロック受信期間内に最初に受信された、前記１つの前記静止画像フレームの前記符号化ブロックの受信時刻から１フレーム時間が経過する時刻に相当する時刻に設定され、（２）前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロックが受信されず、且つ、前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロック以外の、前記１つの前記静止画像フレーム内で送信された前記符号化ブロックが、前記符号化ブロック受信期間内に受信された場合、前記１つの前記静止画像フレーム内の前記符号化ブロックを最初に受信した時刻から、前記１フレーム時間と、前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロックから前記符号化ブロック受信期間内に受信した、前記１つの前記静止画像フレームの前記符号化ブロックのうちで送信順序が最も早い符号化ブロックまでを受信するのに想定される時間との差の時間が経過する時刻に設定されるものとすることができる。

　次のフレーム開始時刻は、前記１つの前記静止画像フレームのすべての前記符号化ブロックが、前記符号化ブロック受信期間内に受信されなかった場合、前記現在のフレーム開始時刻から１フレーム時間が経過する時刻に設定されるものとすることができる。

　前記複数の符号化ブロックは、前記静止画像フレーム内での前記ブロックの位置順が並び替えられた順序で送信されるものとすることができる。

　前記複数の符号化ブロックは、前記静止画像フレーム内での前記ブロックの位置順がランダムに並び替えられた順序で送信されるものとすることができる。

　前記動画像の符号化の方式はＭｏｔｉｏｎＪＰＥＧベースの方式とすることができる。

　前記余裕時間は、前記１フレーム時間と、前記１フレームの全符号化ブロック受信想定時間と前記１フレームのすべてのブロックが復号化された場合の前記１フレームの描画時間の和との差とすることができる。

　前記１フレームの全符号化ブロック受信想定時間、前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロックから前記符号化ブロック受信期間内に受信した、前記１つの前記静止画像フレームの前記符号化ブロックのうちで送信順序が最も早い符号化ブロックまでを受信するのに想定される時間、及び／又は前記描画時間は、対応する実測値に基づいて決定され、前記動画像の受信中に所定のタイミングで更新されるものとすることができる。

　対応する実測値に基づいて決定される前記１フレームの全符号化ブロック受信想定時間、前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロックから前記符号化ブロック受信期間内に受信した、前記１つの前記静止画像フレームの前記符号化ブロックのうちで送信順序が最も早い符号化ブロックまでを受信するのに想定される時間、及び／又は前記描画時間の値は、前記動画像の受信中に所定のタイミングで更新されるものとすることができる。

　本発明の１つの態様は、複数の静止画像フレームから構成される動画像の静止画像フレームの各々を複数のブロックに分割することと、前記複数のブロックをブロック毎に独立に符号化し、符号化されたブロックである符号化ブロックを、コネクションレス型通信方式で送信することとを含む画像送信方法を提供するものである。

　本発明の１つの態様は、前記方法をコンピュータに実行させるためのプログラムを提供するものである。

　本発明の１つの態様は、前記プログラムを記録したコンピュータ読み取り可能な記録媒体を提供するものである。

　本発明の１つの態様は、複数の静止画像フレームから構成される動画像の静止画像フレームの各々を複数のブロックに分割する画像分割部と、前記複数のブロックをブロック毎に独立に符号化する符号化部と、符号化されたブロックである符号化ブロックを、コネクションレス型通信方式で送信する送信部と、前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの前記符号化ブロックを復号化して復号化ブロックを生成する復号化部と、生成された前記復号化ブロックを対応する位置に配置して静止画像フレームを再構成するフレーム再構成部とを備え、前記符号化ブロック受信期間は、現在のフレーム開始時刻から、１フレーム全符号化ブロック受信想定時間に余裕時間を加えた時間が経過するまでの期間である動画像通信システムを提供するものである。

　前記フレーム再構成部は、生成された前記復号化ブロックを対応する位置に配置し、それ以外の部分は無画像信号に相当する画像として静止画像フレームを再構成するものとすることができる。

　本発明の１つの態様は、複数の静止画像フレームから構成される動画像の静止画像フレームの各々が複数のブロックに分割され、該複数のブロックがブロック毎に独立に符号化され、コネクションレス型通信方式で送信された符号化ブロックであって、前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの符号化ブロックを復号化して復号化ブロックを生成する復号化部と、生成された前記復号化ブロックを対応する位置に配置して静止画像フレームを再構成するフレーム再構成部とを備え、前記符号化ブロック受信期間は、現在のフレーム開始時刻から、１フレーム全符号化ブロック受信想定時間に余裕時間を加えた時間が経過するまでの期間である画像受信装置を提供するものである。

　前記フレーム再構成部は、前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの前記符号化ブロックを復号化して生成された復号化ブロックを対応する位置に配置し、それ以外の部分は、前記１つの前記静止画像フレームの１つ前のフレームから前記１つの前記静止画像フレームよりも所定の数だけ前の静止画像フレームまでの過去の静止画像フレームの各々について、受信された前記過去の静止画像フレームの符号化ブロックを復号化して生成された復号化ブロックのうちで、前記それ以外の部分に対応する位置の該復号化ブロックを、前記１つの前記静止画像フレームに時間的に近い静止画像フレームの復号化ブロックを優先して配置して静止画像フレームを再構成するものとすることができる。

　前記画像受信装置は、次のフレーム開始時刻を、（１）前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロックが、前記符号化ブロック受信期間内に受信された場合、前記符号化ブロック受信期間内に最初に受信された、前記１つの前記静止画像フレームの前記符号化ブロックの受信時刻から１フレーム時間が経過する時刻に相当する時刻に設定し、（２）前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロックが受信されず、且つ、前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロック以外の、前記１つの前記静止画像フレーム内で送信された前記符号化ブロックが、前記符号化ブロック受信期間内に受信された場合、前記１つの前記静止画像フレーム内の前記符号化ブロックを最初に受信した時刻から、前記１フレーム時間と、前記１フレーム内で最初に送信された前記符号化ブロックから前記符号化ブロック受信期間内に受信した、前記１つの前記静止画像フレームの前記符号化ブロックのうちで送信順序が最も早い符号化ブロックまでを受信するのに想定される時間との差の時間が経過する時刻に設定するフレーム開始時刻設定部を更に備えるものとすることができる。

　前記フレーム開始時刻設定部は、次のフレーム開始時刻を、前記１つの前記静止画像フレームのすべての前記符号化ブロックが、前記符号化ブロック受信期間内に受信されなかった場合、前記現在のフレーム開始時刻から１フレーム時間が経過する時刻に設定するものとすることができる。

　本発明の１つの態様は、複数の静止画像フレームから構成される動画像の静止画像フレームの各々を複数のブロックに分割する画像分割部と、前記複数のブロックをブロック毎に独立に符号化する符号化部と、符号化されたブロックである符号化ブロックを、コネクションレス型通信方式で送信する送信部とを備える画像送信装置を提供するものである。

　本発明の１つの態様は、前記画像送信装置と、前記画像送信装置に動画像を供給する撮像装置とを備える遠隔操作装置を提供するものである。

　前記遠隔操作装置は、移動体とすることができる。

　前記移動体は、無人移動体とすることができる。

　本明細書及び特許請求の範囲において、「独立して符号化する」は、その符号化されたデータのみで画像が復号化できるように符号化することをいう。したがって、符号化対象単位間の差分を用いる符号化方式は、独立して符号化される符号化方式ではない。例えば、符号化対象単位がフレームの場合はフレーム間の差分を用いる符号化方式、また本発明のようにフレームが分割されたブロックが符号化対象単位である場合は、そのブロック間の差分を用いる符号化方式は、独立して符号化される符号化方式ではない。また、例えば、JPEG2000方式では、フレームの各々は独立して符号化されるが、フレームを構成するタイルの各々は独立して符号化されない。なぜならば、メインヘッダの情報がないとタイルの各々は復号化できないからである。

　上記構成を有する本発明によれば、送信された動画像を遅延無くリアルタイムで再現すると共に、動画像の再現性を向上させることができるシステム、受信装置、送信装置、方法、プログラム、及びプログラムを記録した記録媒体を提供することができる。

　また、上記構成を有する本発明によれば、通信状況の悪化等も含めて遅滞なくリアルタイムで状況を把握可能なシステム、受信装置、送信装置、方法、プログラム、及びプログラムを記録した記録媒体を提供することができる。

本発明の実施形態に係る動画像通信システムの全体構成を示す図である。本発明の実施形態に係る画像送信装置の機能構成を示すブロック図である。本発明の実施形態に係る画像受信装置の機能構成を示すブロック図である。本発明の実施形態に係る画像送信装置１０のハードウエア構成を示す図である。本発明の実施形態に係る画像送信処理の一例のフローチャートである。１つの静止画像フレーム内における符号化ブロックのブロック位置番号とブロック送信番号の例を示した図である。パケットのデータフォーマットの例を示した図である。本発明の実施形態に係る画像受信処理の一例のフローチャートである。次のフレーム開始時刻の設定処理の詳細の一例のフローチャートである。再構成された静止画像フレームの一例を示した図である。再構成された静止画像フレームの別の例を示した図である。１つの静止画像フレーム内で最初に送信された符号化ブロックが、符号化ブロック受信期間内に受信された場合の次のフレーム開始時刻の設定に係る各時間要素の関係の一例を示した図である。１つの静止画像フレーム内で最初に送信された符号化ブロックが、符号化ブロック受信期間内に受信されず、且つ、該１つの静止画像フレーム内で最初に送信された符号化ブロック以外の、該１つの前記静止画像フレーム内で送信された符号化ブロックが、符号化ブロック受信期間内に受信された場合の次のフレーム開始時刻の設定に係る各時間要素の関係の一例を示した図である。１つの静止画像フレームのすべての符号化ブロックが、符号化ブロック受信期間内に受信されなかった場合の次のフレーム開始時刻の設定に係る各時間要素の関係の一例を示した図である。

　以下、本発明の実施形態について図面を参照して説明する。

　図１は、本発明の実施形態に係る動画像通信システムの全体構成を示す図である。動画像通信システム１は、画像送信装置１０、撮像装置２０、ネットワーク３０、画像受信装置４０、表示装置５０を備える。画像送信装置１０と画像受信装置４０は、ネットワーク３０を介して接続されている。画像送信装置１０、撮像装置２０、画像受信装置４０、表示装置５０の各々は、１つの物理的な装置として構成される必要はなく、複数の物理的な装置から構成されてもよい。

　撮像装置２０は、被写体を撮像し、動画像データを取得し、動画像データを画像送信装置１０へ供給する。画像送信装置１０へ供給される動画像は、複数の静止画像フレームから構成されることができる。

　ネットワーク３０は、例えば、インターネット、電話回線網、衛星通信網などの有線／無線の公衆回線網、Ethernet(登録商標)を含む各種の有線／無線のLAN、WANとすることができる。

　画像受信装置４０としては、専用装置の他に、ＰＣ、スマートフォン、タブレット端末等の任意の適切な装置を用いることができる。

　表示装置５０は、画像受信装置４０から送られた動画像データを表示する。表示装置５０は、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイとすることができる。

　図２は、本発明の実施形態に係る画像送信装置の機能構成を示すブロック図である。

　画像送信装置１０は、画像分割部１０１、符号化部１０３、符号化ブロック記憶部１０５、ブロック順序変更部１０７、パケット生成部１０９、送信部１１１を備える。

　画像分割部１０１は、複数の静止画像フレームから構成される動画像の静止画像フレームの各々を複数のブロックに分割する。

　符号化部１０３は、画像分割部１０１により、静止画像フレームの各々が複数に分割された複数のブロックをブロック毎に独立に符号化し、符号化ブロックを生成する。また、符号化部１０３は、生成された符号化ブロックを、フレーム番号、ブロック位置番号と対応付けて、符号化ブロック記憶部１０５に記憶する。

　符号化ブロック記憶部１０５は、符号化部１０３によって生成された符号化ブロックを記憶する。

　ブロック順序変更部１０７は、符号化ブロック記憶部１０５に記憶された、各静止画像フレームにおける符号化ブロックの位置順をランダムに並び替える。また、ブロック順序変更部１０７は、順序が変更された符号化ブロックの先頭からブロック送信番号を順に付与し、符号化ブロックに対応付けて符号化ブロック記憶部１０５に記憶する。

　パケット生成部１０９は、符号化ブロック記憶部１０５から、符号化ブロックと、それに対応付けられたフレーム番号、ブロック送信番号、及びブロック位置番号を読み出し、符号化ブロックに、フレーム番号、ブロック送信番号、及びブロック位置番号を含むヘッダを付してコネクションレス型通信方式用パケットを生成する。

　送信部１１１は、符号化ブロックを、コネクションレス型（無手順型）通信方式で送信する。

　図３は、本発明の実施形態に係る画像受信装置の機能構成を示すブロック図である。

　画像受信装置４０は、受信部４０１、ヘッダ検出部４０３、復号化部４０５、復号化ブロック記憶部４０７、フレーム再構成部４０９、フレーム開始時刻設定部４１１を備える。

　受信部４０１は、画像送信装置１０から送信された符号化ブロックのパケットを受信する。

　ヘッダ検出部４０３は、パケットのヘッダから、フレーム番号、ブロック送信番号、及びブロック位置番号を検出し、復号化部４０５、フレーム開始時刻設定部４１１に供給する。

　復号化部４０５は、静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、該１つの前記静止画像フレームの符号化ブロックを復号化して復号化ブロックを生成する。また、復号化部４０５は、復号化ブロックを対応するフレーム番号、ブロック送信番号、及びブロック位置番号と共に復号化ブロック記憶部４０７に記憶する。

　復号化ブロック記憶部４０７は、復号化ブロックを対応するフレーム番号、ブロック送信番号、及びブロック位置番号と共に記憶する。

　フレーム再構成部４０９は、復号化部４０５により生成された復号化ブロックを対応する位置に配置し、それ以外の部分は無画像信号に相当する画像として静止画像フレームを再構成する。また、フレーム再構成部４０９は、再構成された静止画像フレームを順に表示装置５０に送る。

　動画像記憶部４１３は、フレーム再構成部４０９により再構成された静止画像フレームを記憶する。

　図４は、本発明の実施形態に係る画像送信装置１０のハードウエア構成を示す図である。画像送信装置１０は、ＣＰＵ１０ａ、ＲＡＭ１０ｂ、ＲＯＭ１０ｃ、外部メモリ１０ｄ、入力部１０ｅ、出力部１０ｆ、通信部１０ｇを含む。ＲＡＭ１０ｂ、ＲＯＭ１０ｃ、外部メモリ１０ｄ、入力部１０ｅ、出力部１０ｆ、通信部１０ｇは、システムバス１０ｈを介して、ＣＰＵ１０ａに接続されている。

　ＣＰＵ１０ａは、システムバス１０ｈに接続される各デバイスを統括的に制御する。

　ＲＯＭ１０ｃや外部メモリ１０ｄには、ＣＰＵ１０ａの制御プログラムであるＢＩＯＳやＯＳ、コンピュータが実行する機能を実現するために必要な各種プログラムやデータ等が記憶されている。

　ＲＡＭ１０ｂは、ＣＰＵの主メモリや作業領域等として機能する。ＣＰＵ１０ａは、処理の実行に際して必要なプログラム等をＲＯＭ１０ｃや外部メモリ１０ｄからＲＡＭ１０ｂにロードして、ロードしたプログラムを実行することで各種動作を実現する。

　外部メモリ１０ｄは、例えば、フラッシュメモリ、ハードディスク、ＤＶＤ－ＲＡＭ、ＵＳＢメモリ等から構成される。

　入力部１０ｅは、ユーザ等からの操作指示等を受け付ける。入力部１０ｅは、例えば、入力ボタン、キーボード、ポインティングデバイス、ワイヤレスリモコン、マイクロフォン等の入力デバイスから構成される。

　出力部１０ｆは、ＣＰＵ１０ａで処理されるデータや、ＲＡＭ１０ｂ、ＲＯＭ１０ｃや外部メモリ１０ｄに記憶されるデータを出力する。出力部１０ｆは、例えば、ＣＲＴディスプレイ、ＬＣＤ、有機ＥＬパネル、プリンタ、スピーカ等の出力デバイスから構成される。

　通信部１０ｇは、ネットワークを介して又は直接、外部機器と接続・通信するためのインタフェースである。通信部１０ｇは、例えばシリアルインタフェース、ＬＡＮインタフェース等のインタフェースから構成される。

　画像受信装置４０のハードウエア構成も同様である。

　図１に示される画像送信装置１０の各部は、ＲＯＭや外部メモリに記憶された各種プログラムが、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部メモリ、入力部、出力部、通信部等を資源として使用することで実現される。

　以上のシステム構成を前提に、本発明の実施形態に係る動画像通信システムの動画像通信処理の例を、図１～図１３等を参照して、以下に説明する。

＜画像送信処理＞
　図５は、本発明の実施形態に係る画像送信処理の一例のフローチャートである。

　まず、画像送信装置１０の画像分割部１０１が、撮像装置２０から供給された動画像を構成する静止画像フレームの各々を複数のブロックに分割する（Ｓ１０１）。そして、符号化部１０３が、分割された各ブロックをブロック毎に独立に符号化し、符号化ブロックを生成する（Ｓ１０３）。この動画像の符号化は、例えば、Motion JPEGベースの方式により行うことができる。すなわち、Motion JPEG方式では、動画像を構成する静止画像フレームの各々を独立にJPEG形式で符号化／復号化し、これらを連続で表示することにより動画像とする。本実施形態においては、このMotion JPEG方式をベースとして、静止画像フレームの各々が更に分割された複数のブロックの各々をブロック毎に独立にJPEG方式で符号化し、復号化して静止画像フレームの各々を再構成して連続で表示することにより動画像とする。動画像の符号化の方式は、Motion JPEGベースの方式に限定されるものでなく、動画像を構成する静止画像フレームの各々が更に分割された複数のブロックの各々をブロック毎に独立に符号化するものであれば、他の任意の適切な方式を用いることができる。ここで、「独立して符号化する」は、その符号化されたデータのみで画像が復号化できるように符号化することをいう。したがって、符号化対象単位間の差分を用いる符号化方式は、独立して符号化される符号化方式ではない。例えば、符号化対象単位がフレームの場合はフレーム間の差分を用いる符号化方式、また本発明のようにフレームが分割されたブロックが符号化対象単位である場合は、そのブロック間の差分を用いる符号化方式は、独立して符号化される符号化方式ではない。また、例えば、JPEG2000方式では、フレームの各々は独立して符号化されているが、フレームを構成するタイルの各々は独立して符号化されていない。なぜならば、メインヘッダの情報がないとタイルの各々は復号化できないからである。

　符号化部１０３は、符号化ブロックを、フレーム番号、ブロック位置番号と対応付けて、符号化ブロック記憶部１０５に記憶する（Ｓ１０５）。ここで、フレーム番号は、符号化ブロックが属する静止画像フレームの連続番号である。また、ブロック位置番号は、各符号化ブロックの静止画像フレームにおける位置順に付与された番号であり、各符号化ブロックが、各静止画像フレーム内においてどの位置に位置するかを示す。図６に示す例では、ブロック位置番号は、フレームの左上隅のブロックを１として、上の行から下の行に向かって、各行毎に左から右に順に１、２、・・・、３０と付与されているが、ブロック位置番号の付与順はこれに限定されるものでなく、フレームの左上隅のブロックを１として、左の列から右の列に向かって、各列毎に上から下に順に１、２、・・・、３０と付与する等他の任意の適切な付与順とすることができる。

　ブロック順序変更部１０７は、符号化ブロック記憶部１０５に記憶された、各静止画像フレームにおける符号化ブロックの位置順をランダムに並び替える（Ｓ１０７）。具体的には、符号化ブロックのブロック位置番号による順序をランダムに変更し、順序が変更された符号化ブロックの先頭からブロック送信番号を順に１、２、・・・、３０と付与し、符号化ブロックに対応付けて符号化ブロック記憶部１０５に記憶する。ここで、符号化ブロックの順序の変更は、ランダムな変更以外でも、後述の静止画像フレーム再構成の際に再現されない部分が分散される効果が期待できるような所定の規則による変更としてもよい。このブロック順序変更処理は省略してもよい。

　パケット生成部１０９は、符号化ブロック記憶部１０５から、符号化ブロックと、それに対応付けられたフレーム番号、ブロック送信番号、及びブロック位置番号を読み出し、符号化ブロックデータ７３に、フレーム番号７１１、ブロック送信番号７１３、及びブロック位置番号７１５を含むヘッダ７１を付してUDPを用いたRTP(Real-time Transport Protocol)パケット７を生成する（Ｓ１０９）。図７にパケット７のデータフォーマットの例を示す。ここで、パケットは、UDPを用いたRTPパケットに限定されるものではなく、他の任意の適切なコネクションレス型通信方式用のパケットとすることができる。

　そして、送信部１１１は、パケット生成部１０９により生成されたパケットを、フレーム番号順及びブロック送信番号順に、ネットワーク３０を介して画像受信装置４０に送信する（Ｓ１１１）。

　上記実施形態においては、符号化ブロックが静止画像フレーム内でのブロックの位置順が並び替えられた順序で送信される構成として、各ブロックの符号化後に符号化ブロックの位置順を並び替えて、符号化ブロックを送信する構成としたが、これに限定されるものではなく、他の任意の適切な構成とすることができる。例えば、各ブロックの符号化前に各ブロックの位置順を並び替えた後に符号化を行って、符号化ブロックを送信する構成としてもよい。また、このような構成において、符号化前に並び替えられたブロックが１つ符号化される毎に符号化ブロックが送信される構成としてもよい。このような構成によれば、符号化ブロックの送信がより早く行われるので、遅延時間を低減することができる。

＜画像受信処理＞
　図８は、本発明の実施形態に係る画像受信処理の一例のフローチャートである。また、図９は、次のフレーム開始時刻の設定処理の詳細の一例のフローチャートである。

　画像受信装置４０の受信部４０１は、画像送信装置１０から送信されたパケットを受信する（Ｓ２０１）。ヘッダ検出部４０３は、パケットのヘッダから、フレーム番号、ブロック送信番号、及びブロック位置番号を検出し、復号化部４０５、フレーム開始時刻設定部４１１に供給する（Ｓ２０３）。

　復号化部４０５は、後述のフレーム開始時刻設定部４１１によって設定されたフレーム開始時刻から、１フレーム全符号化ブロック受信想定時間（１つの静止画像フレームを構成するすべての符号化ブロックを受信するのに想定される時間）に余裕時間を加えた時間が経過するまでの期間である符号化ブロック受信期間において、画像送信装置１０から受信されたパケットのうちの該当するフレームを構成する符号化ブロックを復号化して、復号化ブロックを対応するフレーム番号、ブロック送信番号、及びブロック位置番号と共に復号化ブロック記憶部４０７に記憶する（Ｓ２０５）。復号化部４０５は、符号化ブロック受信期間外に受信したパケットを破棄する。なお、符号化ブロック受信期間が経過する前に１つの静止画像フレームのすべての符号化ブロックが受信された場合は、符号化ブロック受信期間の経過を待つことなく、すべての符号化ブロックの復号化後、次のフレーム再構成処理（Ｓ２０７）に進んでもよい。

　フレーム再構成部４０９は、復号化ブロック記憶部４０７に記憶された復号化ブロックを読み出して、そのブロック位置番号に対応する位置に復号化ブロックを配置し、符号化ブロック受信期間内に受信されなかった符号化ブロックがあった場合は、符号化ブロック受信期間内に受信されなかった符号化ブロックのブロック位置番号に対応する位置の領域を、無画像信号に相当する画像（例えば、黒色画像）として静止画像フレームを再構成する（Ｓ２０７）。すべての符号化ブロックが符号化ブロック受信期間内に受信されなかった場合は、フレーム全体が無画像信号に相当する画像となる。無画像信号に相当する画像は、黒色画像に限定されるものでなく、白色画像やその他の任意の適切な画像とすることができる。図１０Ａは、すべての符号化ブロックが符号化ブロック受信期間内に受信された場合の再構成されたフレームの例である。また、図１０Ｂは、通信状況の悪化等により一部の符号化ブロックが符号化ブロック受信期間内に受信されなかった場合の再構成されたフレームの例である。

　そして、フレーム再構成部４０９は、再構成された静止画像フレームを順に表示装置５０に送る（Ｓ２０９）。このとき、フレーム再構成部４０９は、画像受信装置４０の動画像記憶部４１３及び／又は外部の記憶装置に、再構成された静止画像フレームを記憶させてもよい。

　表示装置５０は、フレーム再構成部４０９から送られた静止画像フレームを順に表示することで動画像を表示する。

　上記実施形態においては、復号化部４０５が、符号化ブロック受信期間外に受信したパケットを破棄したが、復号化部４０５が、符号化ブロック受信期間外に受信したパケットを破棄せずに受信して復号化し、復号化ブロック４０７に記憶し、フレーム再構成部４０９が、符号化ブロック受信期間経過後に、復号化ブロック４０７に記憶された復号化ブロックのうちの、符号化ブロック受信期間において、画像送信装置１０から受信されたパケットのうちの該当するフレームを構成する符号化ブロックを復号化した復号化ブロックに基づいて、静止画像フレームを再構成してもよい。

　フレームの再構成処理において、符号化ブロック受信期間内に受信されなかった符号化ブロックのブロック位置番号に対応する位置の領域を、無画像信号に相当する画像として静止画像フレームを再構成する構成に換えて、符号化ブロック受信期間内に受信されなかった符号化ブロックのブロック位置番号に対応する位置の領域を、再構成の対象の静止画像フレームの１つ前のフレームから再構成の対象の静止画像フレームよりも所定の数だけ前の静止画像フレームまでの過去の静止画像フレームの各々について、受信された過去の静止画像フレームの符号化ブロックを復号化して生成された復号化ブロックのうちで、再構成の対象の静止画像フレームに対応する符号化ブロック受信期間内に受信されなかった符号化ブロックのブロック位置番号に対応する位置の領域に対応する位置の復号化ブロックを、再構成の対象の静止画像フレームに時間的に近い静止画像フレームの復号化ブロックを優先して配置して静止画像フレームを再構成する構成としてもよい。この場合、復号化部４０５は、符号化ブロック受信期間外に受信したパケットを、破棄せずに受信して復号化し、復号化ブロック記憶部４０７に記憶することとなる。

　例えば、図１０Ｂの再構成フレームにおいては、ブロック位置番号が４、６、１５、１９、２２、２７以外のブロック位置番号に対応する位置の領域が無画像信号に相当する画像である黒画像として静止画像フレームが再構成されている。この黒画像の部分に対して、受信された再構成の対象の静止画像フレームの１つ前のフレームから再構成の対象の静止画像フレームよりも所定の数だけ前の静止画像フレームまでの過去の静止画像フレームの復号化ブロックのうちのこの黒画像の部分に対応する位置の復号化ブロックを配置する。同じ位置に対して複数の静止画像フレームの復号化ブロックが存在する場合は、再構成の対象の静止画像フレームに時間的に近い静止画像フレームの復号化ブロックを優先する。過去の静止画像フレームの数としては、場面に応じたリアルタイム性を損なわない小さな数とすることができる。過去の静止画像フレームは、再構成の対象の静止画像フレームの復号化ブロックの位置と異なる位置の復号化ブロックを含む場合が多いので、上記の黒画像の部分の一部又は全部が過去の静止画像フレームの復号化ブロックで表示される。そして、上述のとおり、過去の静止画像フレームの数は、リアルタイム性を損なわない小さな数であるので、リアルタイム性を損なうことなく、画像の視認性を向上させることができる。

　過去の静止画像フレームの数は、必要とされるリアルタイム性と画像の視認性のバランスを考慮して決定することができる。リアルタイム性を高くしようと思えば、過去の静止画像フレームの数を小さくすればよい。すなわち、リアルタイム性が一番高い場合は、過去の静止画像フレームの数を１フレームとする場合である。一方、画像の視認性を高くしようと思えば、過去の静止画像フレームの数を大きくすればよいが、それに応じてリアルタイム性が低くなる。したがって、必要なリアルタイム性を担保できる程度までリアルタイム性を下げることによって画像の視認性を高めることができる。この点、円滑な視聴覚通信においては、200ms程までならば遅延は許容され、また、遠隔操作システムにおいて、120～360msの遅延環境では徐々に遅延になれて操作しやすくなるが、480msの時から極端に操作がしにくくなるとの報告がある（浜崎真一他，”遠隔操作システムにおける遅延動画像のための低遅延装飾器の実装と評価”，Human-Agent Interaction Symposium 2008，2008年）。また、遠隔型自動運転システムにおける遠隔操作時の映像の遅延許容値は、時速10kmの場合800msであったとの報告がある（水島和央他，”遠隔型自動運転システムにおける遠隔操作時の映像遅延が操舵の操作に与える影響の評価”，自動車技術会論文集，2019年5月，Vol.50，No.3）。また、後述のようなドローンの操縦の場合、ドローンが、1.5m/sで飛行し、目標到着地点の2m前を目安に停止操作を行なうと仮定したとき、2÷1.5≒1.33s前に停止操作を行う必要があるが、操縦者の反応速度が0.9ｓであったとすると、これを1.33sから差し引くと、概ね400msが遅延許容時間と考えられる。以上から、過去の静止画像フレームの数としては、800ms以下、好ましくは400ms以下、より好ましくは200ms以下に相当するフレームの数とすることができる。

　一方、フレーム開始時刻設定部４１１は、次のフレーム開始時刻を設定する（Ｓ２１１）。以下、具体的なフレーム開始時刻の設定方法について説明する。

　フレーム開始時刻設定部４１１は、ヘッダ検出部４０３から供給されたブロック番号を監視する。そして、（１）１つの静止画像フレーム内で最初に送信された符号化ブロックであるブロック番号が１の符号化ブロックが、該１つの静止画像フレームに対応する符号化ブロック受信期間tbr内に受信された場合（Ｓ３０１：Ｙｅｓ）、次のフレーム開始時刻を、符号化ブロック受信期間内に最初に受信された、該１つの静止画像フレームの符号化ブロックの受信時刻から１フレーム時間が経過する時刻に相当する時刻に設定する（Ｓ３０３）。すなわち、図１１に示すように、
(次のフレーム開始時刻nTfr)＝(符号化ブロック受信期間内に最初に受信された、該１つの静止画像フレームの符号化ブロックの受信時刻Tr)＋(１フレーム時間tfr)
により、次のフレーム開始時刻を設定する。ここで、符号化ブロック受信期間内に最初に受信された、該１つの静止画像フレームの符号化ブロックは、通常、該１つの静止画像フレーム内で最初に送信された符号化ブロックであるから、符号化ブロック受信期間内に最初に受信された、該１つの静止画像フレームの符号化ブロックの受信時刻から１フレーム時間が経過する時刻に相当する時刻を、１つのフレーム内で最初に送信された符号化ブロックであるブロック番号１の符号化ブロックの受信時刻から１フレーム時間が経過する時刻としてもよい。符号化ブロック受信期間内に最初に受信された、該１つの静止画像フレームの符号化ブロックの受信時刻から１フレーム時間が経過する時刻に相当する時刻は、これらに限定されるものではなく、他の任意の適切な時刻とすることができる。

　（２）１つの静止画像フレーム内で最初に送信された符号化ブロックが該１つの静止画像フレームに対応する符号化ブロック受信期間内に受信されず、且つ、該１つの静止画像フレーム内で最初に送信された符号化ブロック以外の、該１つの前記静止画像フレーム内で送信された符号化ブロックが、該１つの静止画像フレームに対応する符号化ブロック受信期間内に受信された場合（Ｓ３０５：Ｙｅｓ）、該１つの静止画像フレーム内の符号化ブロックを最初に受信した時刻から、１フレーム時間と、該１つの静止画像フレーム内で最初に送信された符号化ブロックから符号化ブロック受信期間内に受信した、該１つの静止画像フレームの符号化ブロックのうちで送信順序が最も早い符号化ブロックまでを受信するのに想定される時間との差の時間が経過する時刻に、次のフレーム開始時刻を設定する（Ｓ３０７）。すなわち、図１２に示すように、
(次のフレーム開始時刻nTfr)＝(最初に受信された符号化ブロックの受信時刻Tr)＋(１フレーム時間tfr)－(最初に送信された符号化ブロックから、受信した符号化ブロックのうちで送信順序が最も早い符号化ブロックまでを受信するのに想定される時間tpe))
により、次のフレーム開始時刻を設定する。ここで、符号化ブロック受信期間内に受信した、該１つの静止画像フレームの符号化ブロックのうちで送信順序が最も早い符号化ブロックは、通常、最初に受信された該１つの静止画像フレーム内の符号化ブロックであるから、１つの静止画像フレーム内で最初に送信された符号化ブロックから符号化ブロック受信期間内に受信した、該１つの静止画像フレームの符号化ブロックのうちで送信順序が最も早い符号化ブロックまでを受信するのに想定される時間は、１つの静止画像フレーム内で最初に送信された符号化ブロックから最初に受信された該１つの静止画像フレーム内の符号化ブロックまでを受信するのに想定される時間としてもよい。１つの静止画像フレーム内で最初に送信された符号化ブロックから符号化ブロック受信期間内に受信した、該１つの静止画像フレームの符号化ブロックのうちで送信順序が最も早い符号化ブロックまでを受信するのに想定される時間は、これらに限定されるものではなく、他の任意の適切な時間とすることができる。

　（３）１つの静止画像フレームのすべての符号化ブロックが、該１つの静止画像フレームに対応する符号化ブロック受信期間内に受信されなかった場合（Ｓ３０５：Ｎｏ）、次のフレーム開始時刻を、現在のフレーム開始時刻から１フレーム時間が経過する時刻に設定する（Ｓ３０９）。すなわち、図１３に示すように、
(次のフレーム開始時刻nTfr)＝(現在フレーム開始時刻Tfr)＋(１フレーム時間tfr)
により、次のフレーム開始時刻を設定する。

　「１フレーム時間tfr」、「１フレーム全符号化ブロック受信想定時間tae」、「１つの静止画像フレーム内で最初に送信された符号化ブロックから符号化ブロック受信期間内に受信した、該１つの静止画像フレームの符号化ブロックのうちで送信順序が最も早い符号化ブロックまでを受信するのに想定される時間tpe」、「余裕時間tmg」は、規定値を用いてもよいが、実際に使用するシステムにおける実測値に基づいた値を用いると符号化ブロック受信期間をより適切に設定することができる。以下、実測値に基づいた値を用いる例を、画像送信装置１０と撮像装置２０が搭載されたドローンから、撮像装置２０により撮影された動画像が、無線ＬＡＮを介して、操縦者の、画像受信装置４０と表示装置５０を備えたＰＣに送信され、表示される例で説明する。

　まず、電波状況がよく、全ての符号化ブロックが受信できる状況（例えば、飛行開始前）において、実測値を測定し、それに基づいて各値を求めて設定する。

　「１フレーム時間tfr」に対しては、平均フレーム間隔を用いる。平均フレーム間隔は、例えば、隣接するフレームの最初に送信された符号化ブロックの受信時刻間の時間の実測値の平均値とすることができる。

　「１フレーム全符号化ブロック受信想定時間tae」に対しては、ＰＣが、１フレームの全ての符号化ブロックを受信するのに要した時間の実測値の平均値である平均１フレーム全符号化ブロック受信時間を用いることができる。

　「１つの静止画像フレーム内で最初に送信された符号化ブロックから符号化ブロック受信期間内に受信した、該１つの静止画像フレームの符号化ブロックのうちで送信順序が最も早い符号化ブロックまでを受信するのに想定される時間tpe」に対しては、上述の「平均１フレーム全符号化ブロック受信時間」を、１フレームの全ブロック数Nで除した「平均ブロック間隔tbla」、最初に受信した符号化ブロックのブロック送信番号をkとして、tbla×(k-1)を用いることができる。

　「余裕時間tmg」は、（１フレーム時間tfr）－［（１フレーム全符号化ブロック受信想定時間tae）＋（描画時間tdr）］により求めることができる。「描画時間tdr」は、主にＰＣの処理性能やレンダリングソフトウエアの性能に依存するが、ＰＣが、１フレームについて受信した全ての符号化ブロックの復号化ブロックに基づいて再構成されたフレームを描画する時間の実測値の平均値である平均描画時間を用いることができる。

　その後、飛行開始後に、所定のタイミングで実測値に基づいて各値を再計算して更新し、再設定する。再計算に用いる実測値は、電波状況が悪い場合の値を除くことができる。

　上記実施形態の説明においては、各ステップは順番に示されているが、これらのステップは、一部の例では、並行して及び／又はここに記載されている順序とは異なる順序で実行されてもよい。また、所望の実施形態に基づいて、様々なステップをより少ないステップに組み合わせ、追加のステップに分割し、及び／又は削除することができる。

　本実施形態によれば、フレームを複数のブロックに分割し、分割された各ブロックをブロック毎に独立に符号化するので、パケットのデータ容量を小さくすることによって、パケットのエラー率を低減することができると共に、パケットの消失や遅延によりパケットを受信できなかったことにより画像が再現できないことを、フレーム単位よりも小さいブロック単位とすることができる、すなわち、フレームの一部を再現できるので、受信側において、送信された動画像を遅延無く再現すると共に、動画像の再現性を向上することができる。

　また、本実施形態によれば、通信状況の悪化等を含めて、現場の状況を遅延無く把握することができる。

　また、本実施形態によれば、次のフレーム開始時刻を、符号化ブロック受信期間内に受信した、該１つの静止画像フレームの符号化ブロックのうちで送信順序が最も早い符号化ブロックの受信時刻に基づいて設定するので、通信状況、装置の性能や処理状況（例えば、撮像装置のフレームレートの不安定、画像送信装置の処理速度や動作の不安定、画像受信装置の処理速度や動作の不安定）等に応じた同期を取ることができ、符号化ブロック受信期間をより適切に設定できるので、符号化ブロックをより多く受信することができ、受信側での画像の再現性を向上させることができる。

　また、本実施形態によれば、「１フレーム時間tfr」、「１フレーム全符号化ブロック受信想定時間tae」、「１つの静止画像フレーム内で最初に送信された符号化ブロックから符号化ブロック受信期間内に受信した、該１つの静止画像フレームの符号化ブロックのうちで送信順序が最も早い符号化ブロックまでを受信するのに想定される時間tpe」、「余裕時間tmg」の値は、対応する実測値に基づいて決定されるので、符号化ブロック受信期間をより適切に設定でき、受信側での画像の再現性をより向上させることができる。また、これらの実測値に基づく値は、動画像の受信中に所定のタイミングで更新されるので、符号化ブロック受信期間を更により適切に設定でき、受信側での画像の再現性を更により向上させることができる。

　また、本実施形態によれば、静止画像フレーム内での分割ブロックの位置順がランダムに並び替えられて符号化ブロックが送信されるので、パケットの遅延やバースト的なパケットの消失があった等の場合に、受信側で再現されない部分が画像の特定の部分に集中することを防止し、再現されない部分を分散させ、視認性を向上させることができる。

　上記では、撮像装置と画像送信装置をドローンに搭載した例を示したが、これに限定されるものではない。特に、ドローン以外の無人車両等の無人移動体、無人移動体以外の移動体、移動体以外の遠隔操作装置に撮像装置と画像送信装置を搭載したものするとより上記の効果を奏することができる。

　以上、本発明について、例示のためにいくつかの実施形態に関して説明してきたが、本発明はこれに限定されるものでなく、本発明の範囲及び精神から逸脱することなく、形態及び詳細について、様々な変形及び修正を行うことができることは、当業者に明らかであろう。

１　動画像通信システム
１０　画像送信装置
１０１　画像分割部
１０３　符号化部
１０５　符号化ブロック記憶部
１０７　ブロック順序変更部
１０９　パケット生成部
１１１　送信部
１０ａ　ＣＰＵ
１０ｂ　ＲＡＭ
１０ｃ　ＲＯＭ
１０ｄ　外部メモリ
１０ｅ　入力部
１０ｆ　出力部
１０ｇ　通信部
１０ｈ　システムバス
２０　撮像装置
３０　ネットワーク
４０　画像受信装置
４０１　受信部
４０３　ヘッダ検出部
４０５　復号化部
４０７　復号化ブロック記憶部
４０９　フレーム再構成部
４１１　フレーム開始時刻設定部
５０　表示装置
６　静止画像フレーム
７　パケット

Claims

　複数の静止画像フレームから構成される動画像の静止画像フレームの各々を複数のブロックに分割し、該複数のブロックをブロック毎に独立に符号化し、符号化されたブロックである符号化ブロックを、コネクションレス型通信方式で送信することと、
　前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの前記符号化ブロックを復号化して生成された復号化ブロックを対応する位置に配置して静止画像フレームを再構成すること、
を含み、
　前記符号化ブロック受信期間は、現在のフレーム開始時刻から、１フレーム全符号化ブロック受信想定時間に余裕時間を加えた時間が経過するまでの期間である、動画像通信方法。
　前記静止画像フレームを再構成することは、前記前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの前記符号化ブロックを復号化して生成された復号化ブロックを対応する位置に配置し、それ以外の部分は無画像信号に相当する画像として静止画像フレームを再構成することを含む請求項１に記載の動画像通信方法。
　複数の静止画像フレームから構成される動画像の静止画像フレームの各々が複数のブロックに分割され、該複数のブロックがブロック毎に独立に符号化され、コネクションレス型通信方式で送信された符号化ブロックであって、前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの符号化ブロックを復号化して復号化ブロックを生成することと、
　生成された前記復号化ブロックを対応する位置に配置して静止画像フレームを再構成することと、
を含み、
　前記符号化ブロック受信期間は、現在のフレーム開始時刻から、１フレーム全符号化ブロック受信想定時間に余裕時間を加えた時間が経過するまでの期間である、画像受信方法。
　前記静止画像フレームを再構成することは、前記前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの前記符号化ブロックを復号化して生成された復号化ブロックを対応する位置に配置し、それ以外の部分は無画像信号に相当する画像として静止画像フレームを再構成することを含む請求項３に記載の画像受信方法。
　前記静止画像フレームを再構成することは、前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの前記符号化ブロックを復号化して生成された復号化ブロックを対応する位置に配置し、それ以外の部分は、前記１つの前記静止画像フレームの１つ前のフレームから前記１つの前記静止画像フレームよりも所定の数だけ前の静止画像フレームまでの過去の静止画像フレームの各々について、受信された前記過去の静止画像フレームの符号化ブロックを復号化して生成された復号化ブロックのうちで、前記それ以外の部分に対応する位置の該復号化ブロックを、前記１つの前記静止画像フレームに時間的に近い静止画像フレームの復号化ブロックを優先して配置して静止画像フレームを再構成することを含む請求項３に記載の画像受信方法。
　次のフレーム開始時刻は、
（１）前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロックが、前記符号化ブロック受信期間内に受信された場合、前記符号化ブロック受信期間内に最初に受信された、前記１つの前記静止画像フレームの前記符号化ブロックの受信時刻から１フレーム時間が経過する時刻に相当する時刻に設定され、
（２）前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロックが受信されず、且つ、前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロック以外の、前記１つの前記静止画像フレーム内で送信された前記符号化ブロックが、前記符号化ブロック受信期間内に受信された場合、前記１つの前記静止画像フレーム内の前記符号化ブロックを最初に受信した時刻から、前記１フレーム時間と、前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロックから前記符号化ブロック受信期間内に受信した、前記１つの前記静止画像フレームの前記符号化ブロックのうちで送信順序が最も早い符号化ブロックまでを受信するのに想定される時間との差の時間が経過する時刻に設定される請求項３～５のいずれか１項に記載の画像受信方法。
　次のフレーム開始時刻は、前記１つの前記静止画像フレームのすべての前記符号化ブロックが、前記符号化ブロック受信期間内に受信されなかった場合、前記現在のフレーム開始時刻から１フレーム時間が経過する時刻に設定される請求項３～６のいずれか１項に記載の画像受信方法。
　前記複数の符号化ブロックは、前記静止画像フレーム内での前記ブロックの位置順が並び替えられた順序で送信される請求項３～７のいずれか１項に記載の画像受信方法。
　前記複数の符号化ブロックは、前記静止画像フレーム内での前記ブロックの位置順がランダムに並び替えられた順序で送信される請求項８に記載の画像受信方法。
　前記動画像の符号化の方式はＭｏｔｉｏｎＪＰＥＧベースの方式である請求項３～９のいずれか１項に記載の画像受信方法。
　前記余裕時間は、前記１フレーム時間と、前記１フレームの全符号化ブロック受信想定時間と前記１フレームのすべてのブロックが復号化された場合の前記１フレームの描画時間の和との差である請求項３～１０のいずれか１項に記載の画像受信方法。
　前記１フレームの全符号化ブロック受信想定時間、前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロックから前記符号化ブロック受信期間内に受信した、前記１つの前記静止画像フレームの前記符号化ブロックのうちで送信順序が最も早い符号化ブロックまでを受信するのに想定される時間、及び／又は前記描画時間は、対応する実測値に基づいて決定され、前記動画像の受信中に所定のタイミングで更新される請求項６～１１のいずれか１項に記載の画像受信方法。
　対応する実測値に基づいて決定される前記１フレームの全符号化ブロック受信想定時間、前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロックから前記符号化ブロック受信期間内に受信した、前記１つの前記静止画像フレームの前記符号化ブロックのうちで送信順序が最も早い符号化ブロックまでを受信するのに想定される時間、及び／又は前記描画時間の値は、前記動画像の受信中に所定のタイミングで更新される請求項１２に記載の画像受信方法。
　複数の静止画像フレームから構成される動画像の静止画像フレームの各々を複数のブロックに分割することと、
　前記複数のブロックをブロック毎に独立に符号化し、符号化されたブロックである符号化ブロックを、コネクションレス型通信方式で送信することと、
を含む画像送信方法。
　請求項１～１４に記載の方法をコンピュータに実行させるためのプログラム。
　請求項１５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
　複数の静止画像フレームから構成される動画像の静止画像フレームの各々を複数のブロックに分割する画像分割部と、
　前記複数のブロックをブロック毎に独立に符号化する符号化部と、
　符号化されたブロックである符号化ブロックを、コネクションレス型通信方式で送信する送信部と、
　前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの前記符号化ブロックを復号化して復号化ブロックを生成する復号化部と、
　生成された前記復号化ブロックを対応する位置に配置して静止画像フレームを再構成するフレーム再構成部と、
を備え、
　前記符号化ブロック受信期間は、現在のフレーム開始時刻から、１フレーム全符号化ブロック受信想定時間に余裕時間を加えた時間が経過するまでの期間である、動画像通信システム。
　前記フレーム再構成部は、生成された前記復号化ブロックを対応する位置に配置し、それ以外の部分は無画像信号に相当する画像として静止画像フレームを再構成する請求項１７に記載の動画像通信システム。
　複数の静止画像フレームから構成される動画像の静止画像フレームの各々が複数のブロックに分割され、該複数のブロックがブロック毎に独立に符号化され、コネクションレス型通信方式で送信された符号化ブロックであって、前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの符号化ブロックを復号化して復号化ブロックを生成する復号化部と、
　生成された前記復号化ブロックを対応する位置に配置して静止画像フレームを再構成するフレーム再構成部と、
を備え、
　前記符号化ブロック受信期間は、現在のフレーム開始時刻から、１フレーム全符号化ブロック受信想定時間に余裕時間を加えた時間が経過するまでの期間である、画像受信装置。
　前記フレーム再構成部は、生成された前記復号化ブロックを対応する位置に配置し、それ以外の部分は無画像信号に相当する画像として静止画像フレームを再構成する請求項１９に記載の画像受信装置。
　前記フレーム再構成部は、前記静止画像フレームの各々について、１つの前記静止画像フレームに対応する符号化ブロック受信期間において受信された、前記１つの前記静止画像フレームの前記符号化ブロックを復号化して生成された復号化ブロックを対応する位置に配置し、それ以外の部分は、前記１つの前記静止画像フレームの１つ前のフレームから前記１つの前記静止画像フレームよりも所定の数だけ前の静止画像フレームまでの過去の静止画像フレームの各々について、受信された前記過去の静止画像フレームの符号化ブロックを復号化して生成された復号化ブロックのうちで、前記それ以外の部分に対応する位置の該復号化ブロックを、前記１つの前記静止画像フレームに時間的に近い静止画像フレームの復号化ブロックを優先して配置して静止画像フレームを再構成する請求項１９に記載の画像受信装置。
　次のフレーム開始時刻を、
（１）前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロックが、前記符号化ブロック受信期間内に受信された場合、前記符号化ブロック受信期間内に最初に受信された、前記１つの前記静止画像フレームの前記符号化ブロックの受信時刻から１フレーム時間が経過する時刻に相当する時刻に設定し、
（２）前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロックが受信されず、且つ、前記１つの前記静止画像フレーム内で最初に送信された前記符号化ブロック以外の、前記１つの前記静止画像フレーム内で送信された前記符号化ブロックが、前記符号化ブロック受信期間内に受信された場合、前記１つの前記静止画像フレーム内の前記符号化ブロックを最初に受信した時刻から、前記１フレーム時間と、前記１フレーム内で最初に送信された前記符号化ブロックから前記符号化ブロック受信期間内に受信した、前記１つの前記静止画像フレームの前記符号化ブロックのうちで送信順序が最も早い符号化ブロックまでを受信するのに想定される時間との差の時間が経過する時刻に設定する、
フレーム開始時刻設定部を更に備える請求項１９～２１のいずれか１項に記載の画像受信装置。
　前記フレーム開始時刻設定部は、次のフレーム開始時刻を、前記１つの前記静止画像フレームのすべての前記符号化ブロックが、前記符号化ブロック受信期間内に受信されなかった場合、前記現在のフレーム開始時刻から１フレーム時間が経過する時刻に設定する請求項１９～２２のいずれか１項に記載の画像受信装置。
　前記複数の符号化ブロックは、前記静止画像フレーム内での前記ブロックの位置順が並び替えられた順序で送信される請求項１９～２３のいずれか１項に記載の画像受信装置。
　前記複数の符号化ブロックは、前記静止画像フレーム内での前記ブロックの位置順がランダムに並び替えられた順序で送信される請求項２４に記載の画像受信装置。
　複数の静止画像フレームから構成される動画像の静止画像フレームの各々を複数のブロックに分割する画像分割部と、
　前記複数のブロックをブロック毎に独立に符号化する符号化部と、
　符号化されたブロックである符号化ブロックを、コネクションレス型通信方式で送信する送信部と、
を備える画像送信装置。
　請求項２６に記載の画像送信装置と、前記画像送信装置に動画像を供給する撮像装置とを備える遠隔操作装置。
　前記遠隔操作装置は、移動体である請求項２７に記載の遠隔操作装置。
　前記移動体は、無人移動体である請求項２８に記載の遠隔操作装置。