JP7264517B2 - 送信装置、受信装置、制御方法、およびプログラム - Google Patents

Description

本発明は、時系列情報を時系列の処理単位ごとに符号化して得られる符号列の送受信を制御する技術に関する。

近年、ロボットやドローンといった無人移動体からの映像伝送用途として専用の周波数帯域(無人移動体画像伝送システム)が整備され、日本国内において当該帯域での利用が認可された無線機を用いた映像無線伝送装置が市場に投入されつつある。周辺環境としても、カメラ等の撮像器は4Ｋ解像度（３８４０×２１６０）といった超高精細映像が出力可能となり、映像コーデックではＨ.２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣ等といった高効率圧縮方式を採用することで、莫大な伝送容量が必要である高精細映像の無線伝送が可能となってきている。またドローンのＦＰＶ(Ｆｉｒｓｔ Ｐｅｒｓｏｎ Ｖｉｅｗ)や建設機器・農業機器等の遠隔操縦用途を目的として、低遅延、リアルタイム伝送に対応するものなど幅広く市場に展開されている。

Ｈ．２６４／２６５等の映像コーデックでは、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）に応じた圧縮伸張処理が実施されるものであるが、低ビットレートで高画質な映像伝送を可能とするために、Ｉピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）の挿入頻度を下げる、すなわちＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）およびＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）の割合を多くするＧＯＰサイズを大きくした運用(ＬｏｎｇＧＯＰ)が採用されている。ところで、Ｂピクチャは圧縮率が高いため低レートでの高画質化に寄与するものであるが、双方向予測ピクチャということでデコード処理時には遅延時間が大きくなる傾向がある。前述の通りリアルタイム性が重要視されるシステムでは、Ｂピクチャを使用しない（ＩＰＰＰ・・・）といった運用方法が採用されており、場合によってはエンコード開始時１ｓｔピクチャのみをＩピクチャとして、残りはPピクチャ（前方向予測ピクチャ）として構成する伝送方式（Ｐ Ｏｎｌｙ）も採用されている。

Ｈ．２６４／２６５等の映像コーデックを用いた映像伝送システムでは、送信機（エンコーダ）において固定長Ｍｐｅｇ－ＴＳパケット（１８８Ｂｙｔｅ）を生成し、そこに映像データや受信側との同期に必要となるデータを分割して挿入する。生成されたパケットは、例えばテレビ放送で使用されるＯＦＤＭ変調波を用いる無線方式やＩＰ通信網を用いて受信機（デコーダ）へ伝送し、受信機において受信したデータの復号、映像出力・表示をするものである。ＩＰ伝送の場合は、信頼性の確保が重要視される場合はＴＣＰ／ＩＰ方式によるコネクション型が採用されるが、リアルタイム性が重視されるシステムではコネクションレス型のＵＤＰ方式を採用したシステムが広く展開されている。

映像信号を伝送させる際には、光の三原色Ｒ,Ｇ,Ｂ成分を直接扱わずに輝度成分Ｙと色差成分Ｃｂ,Ｃｒへ変換した伝送方式が採用させている。近年、カメラ等映像機器において超高精細映像と定義される４Ｋ ＵＨＤ(Ｕｌｔｒａ Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ)対応の製品が増えてきた。４Ｋ ＵＨＤ映像信号では、輝度信号に比べて色差信号の画素数を１／２に削減したＹＣｂＣｒ4：2：2フォーマット、色ビット深度が１０Ｂｉｔ、フレーム周波数を６０Ｈｚ（Ｐｒｏｇｒｅｓｓｉｖｅ 順次走査方式）とした映像フォーマットが一般に使用されている。例えば、この映像をそのまま非圧縮で伝送（又は保存）しようとすると、莫大な伝送レートが必要となる。実際に必要なレートは、次式で計算することが出来る。
＜３８４０（画素）×２１６０（ライン数）×１０（ビット深度）×２（色情報の画素比率）×６０（フレーム周波数）＞。
この計算結果から判断すると、およそ１０Ｇｂｐｓ必要ということが分かる。

しかしながら、ドローン空撮等移動体からの無線伝送を考えた場合にこの様な高速通信を可能とする伝送路の実現は難しく、実際に確保可能な伝送レートは、数メガから数十メガｂｐｓとなることが予想される。そのため、コーデックを使用してデータ圧縮を行なうことで当該映像を伝送させるシステムが一般的である。また近年のビデオカメラでは、Ｈ．２６４や２６５といったコーデックを内蔵し圧縮処理しつつ映像データを保存することが可能である。保存方式も通常のＩＰＢピクチャを使用した高圧縮なものだけでなく、素材加工・編集時優位性を考慮して全てのピクチャをIとして保存するもの（ＡＬＬ Ｉｎｔｒａ方式）に対応するものもある。但しIピクチャは差分成分のみのＰ、Ｂピクチャと比べデータ量が大きいため、例えばＬｏｎｇＧＯＰ方式で保存する際のビットレートが１００Ｍｂｐｓの場合に、ＡＬＬ Ｉｎｔｒａ方式では４００Ｍｂｐｓとなる等、Iピクチャを使用することで非常に大きなビットレート差が生じることを確認出来る。同じ画像をＩピクチャで表現する場合は、Ｐピクチャに比べて高ビットレートが必要ということで、言い換えれば同じビットレートで表現した場合、ＩピクチャはＰピクチャと比べて画質が大きく劣化してしまう。

リアルタイム映像伝送システムを構築する場合、映像コーデックではＬｏｎｇＧＯＰかつＢピクチャを使用しない方式（ＩＰＰＰ・・・等）とすることが一般的であるが、この様な方式を採用する際の欠点として映像リフレッシュに関する問題が挙げられる。圧縮処理と伸張処理はＧＯＰに従って処理されるものであるが、Ｐピクチャは前フレームとの差分情報しか保持しないため、当該ピクチャ情報だけでは一枚の画像として表現することが出来ず、必ず直前のＩピクチャ（キーフレーム）または過去のＩピクチャとＰピクチャに基づく情報を参照する必要がある。つまり、映像伝送時のパケットロス等の通信障害を理由とし一部ピクチャ情報が欠落した場合、参照情報に不具合が発生することからデコード後の表示映像が崩れることや、ブロックノイズが発生する等の映像障害発生が想定される。この場合、次のＩピクチャが挿入されるまで障害が解消されず、場合によっては長時間にわたり映像が崩れた状態が続いてしまう可能性がある。このような問題を解決するために、障害が発生した場合にＩピクチャをフレーム列に挿入する処理を映像リフレッシュと呼ぶ。

しかし、この様な問題を解決するためにデータ量が大きいＩピクチャを頻繁に挿入することは伝送路を圧迫することとなり、特にビットレート制約が厳しい無線伝送においては推奨されない運用であり、伝送路ビットレートの改善が見込めない状況では大幅な画質低下を発生させてしまう懸念が残る。実際に、Ｉピクチャと前後のＰピクチャ間での画質差が顕著に現れることもあり、こういった状態は一般にＰｕｌｓｉｎｇ Ｅｆｆｅｃｔと表現される。よって、この様な問題を回避するべくＧＯＰサイズを大きくしてＩピクチャ挿入をなるべく少なくすることが望まれており、また映像障害発生時には迅速に復旧させることが求められる。

これに対し、特許文献１には、受信側で伝送エラーを検出した際に送信側に再送要求を行い、送信側にIピクチャを優先的に伝送させることで映像の途切れを回避する方式が開示されている。

特開２００４－３２８０２２号公報

しかしながら、特許文献１の方式は、受信側と送信側とがコネクションを確立し、受信側からの再送要求が確実に送信側に伝送されることを前提としたものであり、再送要求などの制御信号が確実に送信側に伝送されるとは限らないコネクションレス型のリアルタイム通信には利用できない。

このような問題は、ＧＯＰに従って映像時系列情報の圧縮処理と伸張処理を行うコネクションレス型のリアルタイム通信に限られたものではなく、任意の時系列情報を時系列の処理単位ごとに符号化して得られる符号列のリアルタイム通信を行う場合において、現在の処理単位以外の処理単位の情報を用いることなく現在の処理単位の時系列情報を符号化する方式と、現在の処理単位以外の処理単位の情報を用いて現在の処理単位の時系列情報を符号化する方式とを組み合わせて符号化を行う方式が採用されているときに共通するものである。

本発明はこのような点に鑑みてなされたものであり、時系列情報を時系列の処理単位ごとに符号化して得られる符号列のリアルタイム通信を行う場合において、現在の処理単位以外の処理単位の情報を用いることなく現在の処理単位の時系列情報を符号化する方式と、現在の処理単位以外の処理単位の情報を用いて現在の処理単位の時系列情報を符号化する方式とを組み合わせて符号化を行う方式が採用されているときに、通信障害を検知し、復旧用の符号の挿入を適切に行う技術を提供することを目的とする。

時系列情報を時系列の処理単位ごとに符号化して得られる符号列を送信する送信装置は、正常状態を表す受信側制御信号を受信した場合に、現在の処理単位以外の処理単位の情報を用いて現在の処理単位の時系列情報を符号化して得られる第１符号と正常状態を表す送信側制御信号とを送信する正常時処理を実行し、異常状態を表す受信側制御信号を受信した場合に、現在の処理単位以外の処理単位の情報を用いることなく現在の処理単位の時系列情報を符号化して得られる第２符号と第２符号を送信したことを表す送信側制御信号とを送信した後、さらに第１符号を送信する異常時処理を実行する。

時系列の処理単位ごとの符号の列である符号列を受信する受信装置は、正常状態を表す送信側制御信号を受信した場合に、受信情報を正常に受信したか否かを判定する判定処理を実行し、受信情報を正常に受信したと判定した場合に、現在の処理単位以外の処理単位の情報を用いて受信情報に含まれた現在の処理単位の第１符号を復号し、正常状態を表す受信側制御信号を送信する正常時処理を実行し、受信情報を正常に受信しなかったと判定した場合に、異常状態を表す受信側制御信号を送信し、現在の処理単位以外の処理単位の情報を用いることなく復号可能な現在の処理単位の第２符号が送信されたことを表す送信側制御信号を受信したか否かを判定し、第２符号が送信されたことを表す送信側制御信号を受信したと判定した場合に、第２符号を復号し、正常状態を表す受信側制御信号を送信する異常時処理を実行する。

本発明では、送信装置と受信装置との間で、正常状態を表す送信側制御信号、正常状態を表す受信側制御信号、異常状態を表す受信側制御信号、および第２符号を送信したことを表す送信側制御信号を送受するため、いずれかの制御信号が確実に伝送できなかった場合であっても、通信状態に応じた適切な復帰処理を行うことができる。そのため、時系列情報を時系列の処理単位ごとに符号化して得られる符号列のリアルタイム通信を行う場合において、現在の処理単位以外の処理単位の情報を用いることなく現在の処理単位の時系列情報を符号化する方式と、現在の処理単位以外の処理単位の情報を用いて現在の処理単位の時系列情報を符号化する方式とを組み合わせて符号化を行う方式が採用されているときに、通信障害を検知し、復旧用の符号（第２符号）の挿入を適切に行うことができる。

図１は実施形態の無線システムの機能構成を例示した図である。 図２は実施形態の無線送信機の機能構成を例示した図である。 図３は実施形態の無線受信機の機能構成を例示した図である。 図４Ａから図４Ｄは映像回線で伝送されるＴＳパケットのデータ構造を例示した図である。 図５Ａは送信装置の状態遷移図であり、図５Ｂは受信装置の状態遷移図である。 図６は無線送信機と無線受信機との処理を例示するためのフロー図である。 図７は無線送信機と無線受信機との処理を例示するためのフロー図である。 図８は無線送信機と無線受信機との処理を例示するためのフロー図である。 図９は無線送信機と無線受信機との処理を例示するためのフロー図である。 図１０は無線送信機と無線受信機との処理を例示するためのフロー図である。 図１１は無線送信機と無線受信機との処理を例示するためのフロー図である。 図１２は無線送信機と無線受信機との処理を例示するためのフロー図である。 図１３は無線送信機と無線受信機との処理を例示するためのフロー図である。 図１４は無線送信機と無線受信機との処理を例示するためのフロー図である。

以下、本発明の実施形態を説明する。
［第１実施形態］
＜構成＞
図１に例示するように、本実施形態の無線システム１は無線送信機１１、無線受信機１２、および外部制御装置１３を有する。無線送信機１１は、送信装置１１１、撮像装置１１２、送信アンテナ１１３、および制御回線アンテナ１１４を有する。無線受信機１２は、受信装置１２１、表示装置１２２、受信アンテナ１２３、および制御回線アンテナ１２４を有する。図２に例示するように、本実施形態の送信装置１１１は、映像エンコーダ１１１ａ、映像回線無線送信部１１１ｂ、制御部１１１ｃ、および制御回線無線受信部１１１ｄを有する。図３に例示するように、本実施形態の受信装置１２１は、映像デコーダ１２１ａ、映像回線無線受信部１２１ｂ、制御部１２１ｃ、および制御回線無線送信部１２１ｄを有する。

送信装置１１１および受信装置１２１は、例えば、通信機と、所定のプログラムを実行するＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータとによって構成される。撮像装置１１２はカメラなどの映像情報を取得する装置である。表示装置１２２は、ディスプレイ、投影機、VRゴーグルなどの装置である。外部制御装置１３は、例えば、所定のプログラムを実行するプロセッサおよびＲＡＭ・ＲＯＭ等のメモリ等を備える汎用または専用のコンピュータによって構成される。

無線システム１は、例えば、ドローン等の移動体に搭載された無線送信機１１から地上等に設置された無線受信機１２に対して撮像装置１１２より入力された映像信号を無線伝送させるシステムである。映像伝送用に使用する映像回線は、例えば、無人移動体画像伝送システム等を想定する。しかし、これは本発明を限定するものではなく、無線送信機１１が、時系列信号（例えば、時系列映像信号）を時系列の処理単位（例えば、フレーム）ごとに符号化して得た符号列を送信し、無線受信機１２が無線送信機１１から送信された符号列を受信して復号するものであればよい。また、本実施形態では、無線送信機１１から無線受信機１２への符号列の伝送がリアルタイムに行われる例を説明するが、本発明はこれに限定されるものではなく、符号列の伝送がリアルタイムに行われなくてもよい。

＜処理の概要＞
次に、図１、図５Ａ、および図５Ｂを用い、本実施形態の処理の概要を示す。
無線送信機１１は、撮像装置１１２より入力された時系列映像信号（伝送映像データ）を、フレーム（時系列の処理単位）ごとにデータ圧縮・符号化してフレームごとの符号の列である符号列を生成する。本実施形態では、ＧＯＰに基づいて圧縮伸張処理が実施されるものとする。すなわち、本実施形態の符号列を構成する符号は、Ｉピクチャ（第２符号）またはＰ（もしくはＢ）ピクチャ（第１符号）によって構成されるものとする。無線送信機１１は、この符号列を含む無線信号を、映像回線を通じて無線受信機１２に送信（無線伝送）する。無線受信機１２は、伝送された無線信号（受信情報）が含む符号列のデータの伸張・復号処理を行い、それによって得られた復号時系列映像信号を表示装置１２２に出力する。表示装置１２２は、復号時系列映像信号が表す映像を表示する。無線受信機１２は、伝送された無線信号に含まれた符号列のデータ伸張・復号処理を実施する際に、当該無線信号（受信情報）を解析して無線伝送時に伝送エラー（伝送データの破壊、欠落等）が発生したか否かを判定する。このエラー判定結果として無線伝送時の伝送エラーが検出された場合（受信情報を正常に受信しなかったと判定された場合）、無線受信機１２は、無線送信機１１に対してIピクチャの挿入要求を送出する。本実施形態では、利便性を考慮し、これらの処理が全て全自動で実施されるものとする。しかし、これは本発明を限定するものではなく、一部の処理が入力処理に基づいて実行されてもよい。

このような枠組みにおいて、無線送信機１１は、定期的にまたは所定の契機に基づいて無線受信機１２の状態を確認するための制御信号（送信側制御信号、以降「オリジナルデータTx」という）を含む無線信号を、映像回線を通じて無線受信機１２に送信する。無線受信機１２は、受け取ったオリジナルデータTxと上述のエラー判定結果とに基づく制御信号（受信側制御信号、以降「オリジナルデータRx」という）を、制御回線を通じて無線送信機１１に送信する。

《オリジナルデータTxの例》
本実施形態のオリジナルデータTxを例示する。本形態のオリジナルデータTxは以下の“00”“11”“10”の３種類の符号である。
(1)00：正常動作時または正常動作復帰時を表すオリジナルデータTx（正常状態を表す送信側制御信号）
(2)11：Ｉピクチャ（キーフレーム）を送信したことを表すオリジナルデータTx（第２符号を送信したことを表す送信側制御信号）
(3)10：Ｉピクチャの送信後の待ち状態であることを表すオリジナルデータTx（待ち状態であることを表す送信側制御信号）
ただし、これらは本発明を限定するものではなく、上記の(1)-(3)にどのような符号が割り当てられてもよい。

《オリジナルデータRxの例》
本実施形態のオリジナルデータRxを例示する。本形態のオリジナルデータRxは以下の“00”“01”の２種類の符号である。
(1)00：正常動作時または正常動作復帰時を表すオリジナルデータRx（正常状態を表す受信側制御信号）
(2)01：伝送エラーが検出されたことを表すオリジナルデータRx（異常状態を表す受信側制御信号）
ただし、これらは本発明を限定するものではなく、上記の(1)(2)にどのような符号が割り当てられてもよい。

《無線送信機１１の状態遷移例》
図５Ａを用い、無線送信機１１の状態遷移を例示する。
無線送信機１１の起動後、無線受信機１２からオリジナルデータRx“01”（送信された伝送エラーが検出されたことを表すオリジナルデータRx：異常状態を表す受信側制御信号）を受信するまで、無線送信機１１は、常にオリジナルデータTx“00”（正常動作時または正常動作復帰時を表すオリジナルデータTx：正常状態を表す受信側制御信号）を、映像回線を通じて無線受信機１２に送信する（ステータス“00”）。この際、例えば、無線送信機１１の起動直後にはＩピクチャ（第２符号）がオリジナルデータTx“00”とともに送信され、その後、Ｐ（またはＢ）ピクチャ（第１符号）がオリジナルデータTx“00”とともに送信される。ステータス“00”での送信は、例えば、定期的に行われる（ステップＳ１１１）。

無線送信機１１が無線受信機１２からオリジナルデータRx“01”（送信された伝送エラーが検出されたことを表すオリジナルデータRx：異常状態を表す受信側制御信号）を受信すると、それを契機として、無線送信機１１はＩピクチャ（第２符号）とともにオリジナルデータTx“11”（Ｉピクチャを送信したことを表すオリジナルデータTx：第２符号を送信したことを表す送信側制御信号）を、映像回線を通じて無線受信機１２に送信する（ステータス“11”）。このＩピクチャおよびオリジナルデータTx“11”の送信は、例えば、無線送信機１１が無線受信機１２からオリジナルデータRx“01”を受け付けるたびにそれぞれ１回だけ行われる。しかし、これは本発明を限定するものではなく、ＩピクチャおよびオリジナルデータTx“11”の送信が、無線送信機１１が無線受信機１２からオリジナルデータRx“01”を受け付けるたびにそれぞれα回だけ行われてもよい。ただし、αは２以上の整数である。αの値は予め定められていてもよいし、無線送信機１１と無線受信機１２との間の通信状況に応じて定められてもよい。例えば、無線送信機１１と無線受信機１２との間の通信状況が悪いほど（例えば、受信信号の電界強度が低いほど）、αの値を大きくしてもよい（ステップＳ１１２）。

ＩピクチャおよびオリジナルデータTx“11”の送信後、無線送信機１１はＰ（またはＢ）ピクチャ（第１符号）とともにオリジナルデータTx“10”（Ｉピクチャの送信後の待ち状態であることを表すオリジナルデータTx：待ち状態であることを表す送信側制御信号）を、映像回線を通じて無線受信機１２に送信する（ステータス“10”）。このオリジナルデータTx“10”の送信は、例えば、Ｐ（またはＢ）ピクチャとともに送信される。ステータス“10”での送信は、オリジナルデータRx“00”（正常動作時または正常動作復帰時を表すオリジナルデータRx：正常状態を表す受信側制御信号）またはオリジナルデータRx“01”（伝送エラーが検出されたことを表すオリジナルデータRx：異常状態を表す受信側制御信号）を受信するまで行われる。ステータス“10”での送信は、例えば、定期的に行われる（ステップS１１３）。

ステータス“10”において、無線送信機１１に制御回線を通じてオリジナルデータRx“01”（伝送エラーが検出されたことを表すオリジナルデータRx：異常状態を表す受信側制御信号）が送信された場合、ステータス“11”に戻る（ステップＳ１１４）。一方、ステータス“10”において、無線送信機１１に制御回線を通じてオリジナルデータRx“00”（正常動作時または正常動作復帰時を表すオリジナルデータRx：正常状態を表す受信側制御信号）が送信された場合（無線送信機１１が正常状態を表す受信側制御信号を受信した場合）、ステータス“00”に戻り、無線送信機１１は、例えば、Ｐ（またはＢ）ピクチャ（第１符号）とともに、オリジナルデータTx“00”（正常動作時または正常動作復帰時を表すオリジナルデータTx：正常状態を表す受信側制御信号）を、映像回線を通じて無線受信機１２に送信する（ステップＳ１１５）。

《無線受信機１２の状態遷移例》
図５Ｂを用い、無線受信機１２の状態遷移を例示する。
無線受信機１２の起動後、無線受信機１２は無線送信機１１からの受信待機状態である“Null”となる。無線受信機１２が無線送信機１１からオリジナルデータTx“00”（正常動作時または正常動作復帰時を表すオリジナルデータTx：正常状態を表す送信側制御信号）を受信すると、無線受信機１２は無線伝送時に伝送エラーが発生したか否かを判定する（受信情報を正常に受信したか否かを判定する判定処理を実行する）。このエラー判定結果として無線伝送時の伝送エラーが検出されなかった場合（受信情報を正常に受信したと判定した場合）、無線受信機１２はオリジナルデータRx“00”（正常動作時または正常動作復帰時を表すオリジナルデータRx：正常状態を表す受信側制御信号）を、制御回線を通じて無線送信機１１に送信する（ステータス“00”）。この状態は正常状態であり、表示装置１２２は、復号時系列映像信号が表す映像を表示している。また、無線受信機１２は、例えば、受信したＰ（またはＢ）ピクチャ（第１符号）を復号する（ステップＳ１２１）。

一方、“Null”でのエラー判定結果として無線伝送時の伝送エラーが検出された場合（受信情報を正常に受信しなかったと判定した場合）、無線受信機１２はオリジナルデータRx“01”（伝送エラーが検出されたことを表すオリジナルデータRx：異常状態を表す受信側制御信号）を、制御回線を通じて無線送信機１１に送信する（ステータス“01”）。この状態は異常状態であり、無線送信機１１にＩピクチャの挿入要求を行う状態である（ステップＳ１２２）。

ステータス“00”において、無線受信機１２が無線送信機１１からオリジナルデータTx“00”を受信すると、無線受信機１２は無線伝送時に伝送エラーが発生したか否かを判定する。このエラー判定結果として無線伝送時の伝送エラーが検出されなかった場合、無線受信機１２はオリジナルデータRx“00”を、制御回線を通じて無線送信機１１に送信する（ステータス“00”）（ステップＳ１２３）。

一方、ステータス“00”でのエラー判定結果として無線伝送時の伝送エラーが検出された場合、無線受信機１２はオリジナルデータRx“01”を、制御回線を通じて無線送信機１１に送信する（ステータス“01”）（ステップＳ１２４）。

ステータス“01”では、無線受信機１２が無線送信機１１からオリジナルデータTx“11”（Ｉピクチャを送信したことを表すオリジナルデータTx：第２符号を送信したことを表す送信側制御信号）を受信したか否かを判定する。ここで無線受信機１２が無線送信機１１からオリジナルデータTx“11”を受信したのであれば、無線受信機１２はＩピクチャ（第２符号）を正しく受信できたかを判定する。ここで、無線受信機１２がＩピクチャを正しく受信できなかったのであれば、無線受信機１２は、再度、オリジナルデータRx“01”（伝送エラーが検出されたことを表すオリジナルデータRx：異常状態を表す受信側制御信号）を、制御回線を通じて無線送信機１１に送信する（ステータス“01”）。一方、無線受信機１２がステータス“01”でオリジナルデータTx“11”を受信する前にオリジナルデータTx“10”を受信した場合、当該Ｉピクチャが正しく受信できなかったものと判断し、無線受信機１２は再度、オリジナルデータRx“01”を、制御回線を通じて無線送信機１１に送信する（ステータス“01”）。これにより、無線送信機１１に再度Ｉピクチャの挿入要求を行う（ステップＳ１２５）。

ステータス“01”において、無線受信機１２が無線送信機１１からオリジナルデータTxおよびＩピクチャを正しく受信したのであれば、無線受信機１２はオリジナルデータRx“00”を、制御回線を通じて無線送信機１１に送信する。この場合、無線受信機１２はＩピクチャを復号する（ステータス“00”）（ステップＳ１２６）。

＜処理の詳細＞
次に、図１から図１４を用い、本実施形態の処理の詳細を例示する。
《無線送信機１１の処理の詳細》
まず、無線送信機１１の処理の詳細を例示する。まず撮像装置１１２で撮影された時系列映像信号（時系列信号）が送信装置１１１に入力される（図２）。送信装置１１１内部では、当該時系列映像信号が映像エンコーダ１１１ａに入力される。映像エンコーダ１１１ａは、当該時系列映像信号をフレーム（時系列の処理単位）ごとにパケット化し、当該各パケットに符号化圧縮処理を実施して各フレームに対応する符号を得、これらの符号の列である符号列を出力する。映像エンコーダ１１１ａは、時系列映像信号をパケット化する際に、当該パケットに定期的または所定の契機でオリジナルデータTxを挿入する。オリジナルデータTxを挿入するタイミングは前述の通りである。映像エンコーダ１１１ａの符号化圧縮方式に限定はないが、例えば、Ｈ．２６４／２６５等のＭＰＥＧ２-ＴＳパケット方式のものとし、リアルタイム性を考慮した運用が可能なＰフレームを多用し、ＬｏｎｇＧＯＰ方式に対応するものとする。当該符号列は映像回線無線送信部１１１ｂに入力される。映像回線無線送信部１１１ｂは、当該符号列に対して映像回線の符号化や変調処理を実施し、それによって得られた無線信号を送信アンテナ１１３より出力して無線伝送させる。なお、符号化や変調処理にも限定はないが、例えば、テレビ放送等で使用されるリードソロモン符号やＯＦＤＭ変調波等を想定する。制御部１１１ｃは、無線受信機１２から制御回線を通じて送信されたオリジナルデータRxに基づいて前述した各制御を実行する。制御回線は制御信号の送受信を行うものである。制御回線は制御回線アンテナ１１４及び制御回線無線受信部１１１ｄを通じて制御部１１１ｃとつながっている。制御部１１１ｃは、制御回線を通じて制御回線無線受信部１１１ｄで受信した無線信号からのデータ取得（例えば、オリジナルデータRxの取得）、制御回線を通じて無線受信機１２に無線伝送するデータの生成、映像エンコーダ１１１ａ、映像回路無線送信部１１１ｂ、および制御回線無線受信部１１１ｄの制御が可能である。制御回線について特に限定はないが、例えば無人移動体画像伝送システムにおいて映像回線とは別の周波数帯域を用いることができる。

図５Ａを用い、制御部１１１ｃの処理の詳細を例示する。
無線送信機１１の起動後、制御回線を通じてオリジナルデータRx“01”を受け取るまで、制御部１１１ｃはオリジナルデータTx“00”を映像エンコーダ１１１ａに出力し、映像エンコーダ１１１ａにオリジナルデータTx“00”とＩピクチャまたはＰ（もしくはＢ）ピクチャとを含む信号の符号の生成を指示し、映像回線無線送信部１１１ｂに当該符号からなる符号列に対する映像回線の符号化や変調処理による無線信号の生成および出力を指示する。すなわち、制御部１１１ｃは、映像エンコーダ１１１ａおよび映像回線無線送信部１１１ｂに、オリジナルデータTx“00”とＩピクチャまたはＰ（もしくはＢ）ピクチャとを含む信号からなる符号列に対応する無線信号の生成および出力を指示する（ステータス“00”）（ステップＳ１１１）。

制御部１１１ｃがオリジナルデータRx“01”を受け取ると、それを契機として、制御部１１１ｃはオリジナルデータTx“11”を映像エンコーダ１１１ａに出力し、映像エンコーダ１１１ａおよび映像無線回線送信部１１１ｂに、ＩピクチャおよびオリジナルデータTx“11”を含む符号からなる符号列に対応する無線信号の生成および出力を指示する（ステータス“11”）（ステップＳ１１２）。

ＩピクチャおよびオリジナルデータTx“11”の送信後、制御部１１１ｃはオリジナルデータTx“10”を映像エンコーダ１１１ａに出力し、映像エンコーダ１１１ａおよび映像無線回線送信部１１１ｂに、Ｐ（またはＢ）ピクチャおよびオリジナルデータTx“10”を含む符号からなる符号列に対応する無線信号の生成および出力を指示する（ステータス“10”）（ステップS１１３）。

ステータス“10”において、制御部１１１ｃがオリジナルデータRx“01”を受け取ると、制御部１１１ｃは処理をステータス“11”に戻す（ステップＳ１１４）。一方、ステータス“10”において、制御部１１１ｃがオリジナルデータRx“00”を受け取ると、制御部１１１ｃは処理をステータス“00”に戻す（ステップＳ１１５）。

なお、上述の一連の処理において、例えば、制御部１１１ｃは直近のオリジナルデータTxを保持しており、制御部１１１ｃがオリジナルデータTxを生成（更新）するのは、新たなオリジナルデータRxを受け取ったときのみである（すなわち、新たなオリジナルデータRxを受け取ったことを契機としてオリジナルデータTxを生成する）。例えば、Iピクチャを挿入したことを表すオリジナルデータTxが“00”から“11”に更新され、さらに“10”に更新されるのは、制御部１１１ｃが新たなオリジナルデータRx“01”を受け取ったときのみである。さらに、オリジナルデータTxが“10”から“00”に更新されるのは、制御部１１１ｃが新たなオリジナルデータRx“00”を受け取ったときのみである。

図４Ａから図４Ｄを用い、映像エンコーダ１１１ａでの符号化圧縮処理と対象となる各フレームのパケット構成を例示する。ここで例示するデータ構造はＭＰＥＧ２-ＴＳパケットである。図４Ａに例示するように、ＴＳパケット１００は、例えば、１８８バイトのパケットであり、例えば４バイトのパケットヘッダ１０１およびアダプテーションフィールド１０２またはペイロード１０３を有する。図４Ｂに例示するように、パケットヘッダ１０１は、同期バイト１０１ａ、トランスポートエラーインジケータ１０１ｂ、ペイロードユニット開始インジケータ１０１ｃ、トランスポート優先度１０１ｄ、パケット識別子１０１ｅ、ペイロードスクランブル制御１０１ｆ、アダプテーションフィールド制御１０１ｇ、および連続性カウンタ１０１ｆを有する。図４Ｃに例示するように、アダプテーションフィールド１０２は、パケット長指定１０２ａ、不連続性インジケータ１０２ｂ、ランダムアクセスインジケータ１０２ｃ、ストリーム優先度１０２ｄ、オプションフィールドフラグ１０２ｅ、オプションフィールド１０２ｆ（フィールド長可変）、およびスタッフィング１０２ｇを有する。図４Ｄに例示するように、オプションフィールド１０２ｆは、ＰＣＲ１０２ｆａ、ＯＰＣＲ１０２ｆｂ、スプライスカウントダウン１０２ｆｃ、プライベートデータ１０２ｆｄ、および拡張フィールド１０２ｆｅを有する。

上述のように、ＭＰＥＧ２-ＴＳパケットでは、送受信間の同期を取り適切に映像を再生するため、ＰＣＲ(Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ)１０２ｆａ等の時刻情報が挿入されることがある。このＰＣＲ１０２ｆａは、例えば１００ｍｓに１回の頻度で挿入されるものと規定がある。上述のように、ＴＳパケット１００は、例えば、全長１８８Ｂｙｔｅのうち先頭４Ｂｙｔｅがパケットヘッダ１０１ａとされ、残りの１８４Ｂｙｔｅをペイロード１０３とアダプテーションフィールド１０２との片方もしくは両方混在するものとして構成される。すなわちペイロード１０３が最大１８４Ｂｙｔｅにて構成される可能性がある。ところでペイロード１０３は伝送データの中身であり、本システムでは時系列映像信号が挿入される領域である。対してアダプテーションフィールド１０２は、前述のＰＣＲ１０２ｆａやプライベートデータ１０２ｆｄ等が挿入される領域である。ペイロードとして最大限の伝送を可能とするために、例えば、オリジナルデータTxをアダプテーションフィールド１０２内（例えば、プライベートデータ１０２ｆｄ内）に挿入するものとし、当該データの生成タイミングをＰＣＲ１０２ｆａが挿入されるタイミングと合わせることで最適化が可能である。上記の様に、オリジナルデータTxとして必要な領域は２bit（1Ｂｙｔｅ未満）で、かつアダプテーションフィールド１０２が存在するＴＳパケットのみの影響であることから、回線への影響は軽微である。

《無線受信機１２の処理の詳細》
次に、無線受信機１２の処理の詳細を例示する。無線送信機１１から映像回線を通じて送信された無線信号は受信アンテナ１２３で受信され、映像回線無線受信部１２１ｂに送られる。映像回線無線受信部１２１ｂは、入力された無線信号に対して復調処理や誤り訂正復号処理等を実施してパケットの符号列に戻して映像デコーダ１２１ａに送る。映像デコーダ１２１ａは、パケットの符号列のデータ伸張・復号処理を実施してパケットを得、そこから復号時系列映像信を抽出し、当該復号時系列映像信号を表示装置１２２に出力する。表示装置１２２は、復号時系列映像信号が表す映像を表示する。この映像の表示はリアルタイムに行うことができる。また、パケットから取得されたオリジナルデータTxは制御部１２１ｃに送られる。前述のように、制御回線は制御信号の送受信を行うものである。制御回線は制御回線アンテナ１２４及び制御回線無線送信部１２１ｄを通じて制御部１２１ｃとつながっている。制御部１２１ｃは、制御回線を通じて受信した無線信号からのデータ取得、制御回線を通じて無線送信機１１に無線伝送するデータの生成、映像デコーダ１２１ａ、映像回路無線受信部１２１ｂ、および制御回線無線送信部１２１ｄの制御が可能である。また、制御部１２１ｃは外部制御装置１３にも接続されており、外部制御装置１３からの制御に基づき、受信装置１２１の制御および遠隔操作による送信装置１１１の制御が可能である。

図５Ｂを用い、制御部１２１ｃの処理の詳細を例示する。
“Null”において、制御部１２１ｃがオリジナルデータTx“00”を受け取ると、制御部１２１ｃは無線伝送時に伝送エラーが発生したか否かを判定する。この処理の詳細は後述する。このエラー判定結果として無線伝送時の伝送エラーが検出されなかった場合（制御部１２１ｃが受信情報を正常に受信したと判定した場合）、制御部１２１ｃはオリジナルデータRx“00”を制御回路無線送信部１２１ｄに送り、制御回路無線送信部１２１ｄにオリジナルデータRx“00”を送信させる。この場合、表示装置１２２は、復号時系列映像信号が表す映像を正常に表示する（ステータス“00”）（ステップＳ１２１）。

一方、“Null”でのエラー判定結果として無線伝送時の伝送エラーが検出された場合（制御部１２１ｃが受信情報を正常に受信しなかったと判定した場合）、制御部１２１ｃは当該このエラー判定結果およびオリジナルデータRx“01”を制御回路無線送信部１２１ｄに送り、制御回路無線送信部１２１ｄにオリジナルデータRx“01”を送信させる。この場合、表示装置１２２は、復号時系列映像信号が表す映像には映像途切れやブロックノイズ等の発生が予想される。そのため、前述のようにＩピクチャの挿入要求を送信する必要がある（ステータス“01”）（ステップＳ１２２）。

ステータス“00”において、制御部１２１ｃがオリジナルデータTx“00”を受け取ると、制御部１２１ｃは無線伝送時に伝送エラーが発生したか否かを判定する。この処理の詳細は後述する。このエラー判定結果として無線伝送時の伝送エラーが検出されなかった場合（制御部１２１ｃが受信情報を正常に受信したと判定した場合）、制御部１２１ｃは当該このエラー判定結果およびオリジナルデータRx“00”を制御回線無線送信部１２１ｄに出力し、制御回線無線送信部１２１ｄにオリジナルデータRx“00”を送信させる（ステータス“00”）（ステップＳ１２３）。

一方、ステータス“00”でのエラー判定結果として無線伝送時の伝送エラーが検出された場合（制御部１２１ｃが受信情報を正常に受信しなかったと判定した場合）、制御部１２１ｃは当該このエラー判定結果およびオリジナルデータRx“01”を制御回線無線送信部１２１ｄに出力し、制御回線無線送信部１２１ｄにオリジナルデータRx“01”を送信させる（ステータス“01”）（ステップＳ１２４）。

ステータス“01”では、制御部１２１ｃがオリジナルデータTx“11”を取得したか否かを判定する。ここで制御部１２１ｃがオリジナルデータTx“11”を取得したのであれば、制御部１２１ｃは映像回線無線受信部１２１ｂがＩピクチャを正しく受信できたかを判定する。制御部１２１ｃは、例えば、映像回線無線受信部１２１ｂから各処理の状態を表すステータスを受け取り、この判定を行う。ここで、映像回線無線受信部１２１ｂがＩピクチャを正しく受信できなかったのであれば、制御部１２１ｃは、再度、オリジナルデータRx“01”を制御回線無線送信部１２１ｄに出力し、制御回線無線送信部１２１ｄにオリジナルデータRx“01”を送信させる（ステータス“01”）。一方、映像回線無線受信部１２１ｂがステータス“01”でオリジナルデータTx“11”を受信する前にオリジナルデータTx“10”を受信した場合、制御部１２１ｃは、当該Ｉピクチャが正しく受信できなかったものと判断し、制御部１２１ｃは、再度、オリジナルデータRx“01”を制御回線無線送信部１２１ｄに出力し、制御回線無線送信部１２１ｄにオリジナルデータRx“01”を送信させる（ステータス“01”）（ステップＳ１２５）。

ステータス“01”において、オリジナルデータTxおよびＩピクチャを正しく受信したのであれば、制御部１２１ｃは、オリジナルデータRx“00”を制御回線無線送信部１２１ｄに出力し、制御回線無線送信部１２１ｄにオリジナルデータRx“00”を送信させる（ステータス“00”）（ステップＳ１２６）。

無線伝送時に伝送エラーが発生したか否かを判定する方法を例示する。
制御部１２１ｃは映像回線無線受信部１２１ｂおよび映像デコーダ１２１ａから各処理の状態を表すステータスを受け取り、例えば以下のように無線伝送時に伝送エラーが発生したか否かを判定する。
(a)制御部１２１ｃは、例えば、ＴＳパケット１００のパケッドヘッダ１０１の異常、消失、連続性欠損などが発生した場合に伝送エラーが発生したと判断する。例えば、制御部１２１ｃは、同期バイト１０１ａの消失や連続性カウンタ１０１ｆのカウンタ値の連続性欠落などが発生した場合に伝送エラーが発生したと判断する。
(b)制御部１２１ｃは、例えば、アダプテーションフィールド１０２の異常、消失、連続性欠損などが発生した場合に伝送エラーが発生したと判断する。例えば、制御部１２１ｃは、オリジナルデータTxの異常、連続性欠落などが発生した場合に伝送エラーが発生したと判断する。例えば、オリジナルデータTxは図５Ａのように遷移するが、図５ＡのようにオリジナルデータTxが遷移しなかった場合に伝送エラーが発生したと判断する。すなわち、制御部１２１ｃは、オリジナルデータTx“00”（正常状態を表す送信側制御信号）、オリジナルデータTx“11”（第２符号が送信されたことを表す送信側制御信号）、およびオリジナルデータTx“10”（待ち状態であることを表す送信側制御信号）の受信順序に基づいて、伝送エラーが発生したか否か（受信情報を正常に受信したか否か）を判定してもよい。例えば、図５Ａに例示するように、オリジナルデータTxは“00”から“10”に遷移することはないため、制御部１２１ｃは、オリジナルデータTx“00”の直後にオリジナルデータTx“10”が受信された場合に伝送エラーが発生したと判定してもよい。同様に、α＝１の場合、オリジナルデータTx“11”の次はオリジナルデータTx“10”に遷移するため、制御部１２１ｃは、オリジナルデータTx“11”の直後にオリジナルデータTx“00”が受信された場合に伝送エラーが発生したと判定してもよい。
(c)制御部１２１ｃは、例えば、映像回線無線受信部１２１ｂでの誤り訂正復号処理（例えば、ビタビアルゴリズムやリードソロモン符号等を用いた誤り訂正）で誤りが検出された場合に伝送エラーが発生したと判定する。

《オリジナルデータの送信間隔について》
無線送信機１１から無線受信機１２に送信されるオリジナルデータTxに基づいて伝送エラーが発生したか否かを判定する場合、オリジナルデータTxの送信間隔をある程度短くする必要があるが、このような用途に用いられないオリジナルデータRxについてはその限りでない。また、一般に制御回線は映像回線と比べて伝送帯域が狭い場合が多い。そのため、オリジナルデータTxに基づいて伝送エラーが発生したか否かを判定する場合には、オリジナルデータTxの送信間隔（平均送信間隔）をオリジナルデータRxの送信間隔（平均送信間隔）よりも短くしてもよい。例えば、オリジナルデータTxが平均１００ｍｓ程度ごとに送信されるのに対し、オリジナルデータRxが平均１ｓ程度ごとに送信されていてもよい。なお、これは、運用システムに合わせて調整するものとする。映像障害発生時は早急にIピクチャを送信して映像リフレッシュをかけることが望ましいが、一般に伝送エラーが発生した際に映像回線の復旧まで多少時間がかかる可能性もあり、映像リフレッシュ要求を頻発することは映像回線を逼迫させるため望ましくない。

映像回線の逼迫を軽減するため、オリジナルデータTxの重要度に応じてオリジナルデータTxの送信間隔を異ならせてもよい。例えば、オリジナルデータTx“00”（正常状態を表す送信側制御信号）の送信時には伝送エラーが発生しているとは限らないが、オリジナルデータTx“11”（第２符号を送信したことを表す送信側制御信号）またはオリジナルデータTx“10”（待ち状態であることを表す送信側制御信号）の送信時には伝送エラーが発生しており、早急にIピクチャの送信を行う必要がある。そのため、オリジナルデータTx“11”（第２符号を送信したことを表す送信側制御信号）を送信してからオリジナルデータTx“10”（待ち状態であることを表す送信側制御信号）を送信するまでの送信間隔、および／または、オリジナルデータTx“10”（待ち状態であることを表す送信側制御信号）の送信間隔を、オリジナルデータTx“00”（正常状態を表す送信側制御信号）の送信間隔よりも短くしてもよい。

《エラーモードの切り分け判定》
本実施形態では、オリジナルデータTxとして“00”“11”“10”の３種類の符号を使い分けるため、無線受信機１２はどこで問題が発生しているのかを区別することができる。そのため、無線受信機１２は以下のエラーモードを区別して判定してもよい。
(1)無線受信機１２がオリジナルデータTx“11”（第２符号が送信されたことを表す送信側制御信号）を受信したが、Ｉピクチャ（第２符号）を正しく受信していない場合のエラーモード１
この場合には、無線送信機１１からのＩピクチャ送信時に生じたパケットロス、または映像エンコーダ１１１ａもしくは映像デコーダ１２１ａの不具合が疑われる。
(2)無線受信機１２がオリジナルデータTx“11”（第２符号が送信されたことを表す送信側制御信号）を受信する前に、オリジナルデータTx“10”（待ち状態であることを表す送信側制御信号）を受信する場合のエラーモード２
この場合には、無線送信機１１からのＩピクチャ送信時に生じたパケットロス、または映像回線が不安定であることが疑われる。
(3)異常時処理でオリジナルデータRx“01”（異常状態を表す受信側制御信号）を送信した後、一定期間待機してもオリジナルデータTx“00”（正常状態を表す送信側制御信号）を受信する場合のエラーモード３
この場合、異常時処理でオリジナルデータRx“01”が届いておらず、制御回線が不安定であることが疑われる。
(4)異常時処理でオリジナルデータRx“01”（異常状態を表す受信側制御信号）を送信した後、一定期間待機してもＩピクチャ（第２符号）を正しく受信できない場合（伝送エラーを検出し続ける場合）のエラーモード４
この場合には映像回線が不安定であるか、映像回線と制御回線の両方が不安定であることが疑われる。
なお、無線受信機１２はエラーモード１～４をすべて区別して判定してもよいし、これらの一部のみを他のエラーモードと区別して判定してもよい。

＜処理の具体例＞
以下に本実施形態の処理の具体例を示す。
≪具体例１≫
図６に伝送エラーが発生していないときの処理を例示する。
無線送信機１１の起動後、無線送信機１１の制御部１１１ｃはオリジナルデータTx“00”を出力し（ステップＳ１）、映像エンコーダ１１１ａおよび映像回線無線送信部１１１ｂはオリジナルデータTx“00”とＩピクチャまたはＰ（もしくはＢ）ピクチャとを含む信号からなる符号列に対応する無線信号を、映像回線を通じて無線受信機１２に送信する（ステップＳ２）。

無線受信機１２は無線信号を受信し、その無線伝送時に伝送エラーが発生したか否かを判定する（ステップＳ３）。このエラー判定結果として無線伝送時の伝送エラーが検出されず、映像が正常に表示される。制御部１２１ｃは、当該エラー判定結果およびオリジナルデータRx“00”を制御回路無線送信部１２１ｄに送り、制御回路無線送信部１２１ｄにオリジナルデータRx“00”を送信させる（ステップＳ４）。

制御回路無線送信部１２１ｄは制御回線を通じてオリジナルデータRx“00”を無線送信機１１に送信する。無線送信機１１は応答結果として正常動作復帰と判断する（ステップＳ５）。

無線送信機１１は応答結果が正常動作であったと判断し、その後も正常動作が続く限り、ステップＳ１からＳ５の処理が繰り返される。

≪具体例２≫
図７に、伝送エラー発生後に直ちに映像リフレッシュされた場合の処理（一度のリフレッシュ要求で、直ちに復旧が完了したケース）を例示する。
無線送信機１１の起動後、無線送信機１１の制御部１１１ｃはオリジナルデータTx“00”を出力し（ステップＳ１）、映像エンコーダ１１１ａおよび映像回線無線送信部１１１ｂはオリジナルデータTx“00”とＩピクチャまたはＰ（もしくはＢ）ピクチャとを含む信号からなる符号列に対応する無線信号を、映像回線を通じて無線受信機１２に送信する。ただし、この送信時に伝送エラーが発生したとする（ステップＳ２’）。

無線受信機１２は無線信号を受信し、その無線伝送時に伝送エラーが発生したか否かを判定する（ステップＳ３）。このエラー判定結果として無線伝送時の伝送エラーが検出され、映像には障害発生の可能性がある。制御部１２１ｃは、当該エラー判定結果およびオリジナルデータRx“01”を制御回路無線送信部１２１ｄに送り、制御回路無線送信部１２１ｄにオリジナルデータRx“01”を送信させる（ステップＳ４’）。

制御回路無線送信部１２１ｄは制御回線を通じてオリジナルデータRx“01”を無線送信機１１に送信する（ステップＳ５’）。

無線送信機１１は、オリジナルデータRx“01”を受け取ると、応答結果としてＩピクチャ挿入要求があったとして、制御部１１１ｃはオリジナルデータTx“11”を映像エンコーダ１１１ａに出力し（ステップＳ６）、映像エンコーダ１１１ａおよび映像無線回線送信部１１１ｂに、ＩピクチャおよびオリジナルデータTx“11”を含む符号からなる符号列に対応する無線信号の生成および送信をさせる（ステップＳ７）。

無線受信機１２は無線信号を受信し、その無線伝送時に伝送エラーが発生したか否かを判定する（ステップＳ８）。このエラー判定結果として無線伝送時の伝送エラーが検出されず、映像が正常に表示される。制御部１２１ｃは、当該エラー判定結果およびオリジナルデータRx“00”を制御回路無線送信部１２１ｄに送り、制御回路無線送信部１２１ｄにオリジナルデータRx“00”を送信させる（ステップＳ９）。

制御回路無線送信部１２１ｄは制御回線を通じてオリジナルデータRx“00”を無線送信機１１に送信する（ステップＳ１０）。

無線送信機１１は応答結果が正常動作であったと判断し、その後ステップＳ１以降の処理を実行する。

≪具体例３≫
図８から図１０に、映像回線が不安定で、Iピクチャ挿入・復旧までに時間がかかる場合の処理を例示する。
図８に例示するように、無線送信機１１の起動後、ステップＳ１，Ｓ２’，Ｓ３，Ｓ４’，Ｓ５’，Ｓ６が実行される。無線送信機１１の制御部１１１ｃは、映像エンコーダ１１１ａおよび映像無線回線送信部１１１ｂに、ＩピクチャおよびオリジナルデータTx“11”を含む符号からなる符号列に対応する無線信号の生成および送信をさせる。ただし、この送信時に伝送エラーが発生したとする（ステップＳ７’）。

無線受信機１２は無線信号を受信し、その無線伝送時に伝送エラーが発生したか否かを判定する（ステップＳ８）。このエラー判定結果として無線伝送時の伝送エラーが検出され、Ｉピクチャの挿入が確認されなかったとする。その後、ステップＳ４’，Ｓ５’，Ｓ６，Ｓ７’が実行される。ここでもステップＳ７’の無線信号の伝送時に伝送エラーが発生していたとする。その後、伝送エラーが解消されずに、同様な処理が繰り返される。

その後、図９および図１０に例示するように、ステップＳ６からＳ１０が正常に実行され、ステップＳ１からＳ５が正常に実行される。

≪具体例４≫
図１１から図１４に、制御回線が不安定で、Iピクチャ挿入された後も無線送信機１１側でなかなか復旧確認ができない場合の処理を例示する。
図１１に例示するように、無線送信機１１の起動後、ステップＳ１，Ｓ２，Ｓ３，Ｓ４の処理が実行される。無線受信機１２の制御回路無線送信部１２１ｄは制御回線を通じてオリジナルデータRx“00”を無線送信機１１に送信する。ただし、この送信時に伝送エラーが発生したとする（ステップＳ５”）。

その後、ステップＳ１からＳ５の処理が実行され、図１２に例示するように、さらにステップＳ１の処理が実行される。次に、無線送信機１１の映像エンコーダ１１１ａおよび映像回線無線送信部１１１ｂが、オリジナルデータTx“00”とＩピクチャまたはＰ（もしくはＢ）ピクチャとを含む信号からなる符号列に対応する無線信号を、映像回線を通じて無線受信機１２に送信する。ただし、この送信時に伝送エラーが発生したとする（ステップＳ２’）。

その後、ステップＳ３，Ｓ４’の処理が実行され、無線受信機１２の制御回路無線送信部１２１ｄが制御回線を通じてオリジナルデータRx“01”を無線送信機１１に送信する。ただし、この送信時に伝送エラーが発生したとする（ステップＳ５”’）。

その後、伝送エラーが解消されずに、ステップＳ１，Ｓ２，Ｓ３，Ｓ４’，Ｓ５”’の処理が繰り返される。

その後、Ｓ５”’での伝送エラーが解消され、図１３に例示するように、ステップＳ５’，Ｓ６からＳ９の処理が実行される。次に、無線受信機１２の制御回路無線送信部１２１ｄは、オリジナルデータRx“00”を無線送信機１１に送信する。ただし、この送信時に伝送エラーが発生したとする（ステップＳ１０’）。

無線送信機１１は、応答結果として応答がないとし、無線送信機１１の制御部１１１ｃはオリジナルデータTx“10”を映像エンコーダ１１１ａに出力し（ステップＳ１１）、映像エンコーダ１１１ａおよび映像無線回線送信部１１１ｂに、Ｐ（またはＢ）ピクチャおよびオリジナルデータTx“10”を含む符号からなる符号列に対応する無線信号を生成および送信させる（ステップＳ１２）。

その後、ステップＳ１０’での伝送エラーが解消されず、ステップＳ８，Ｓ９，Ｓ１０’の処理が繰り返される。

その後、図１４に例示するように、ステップＳ１０’での伝送エラーが解消され、ステップＳ５の処理が実行され、さらにステップＳ１からＳ５の処理が実行される。

＜本実施形態の特徴＞
本実施形態では、無線送信機１１から無線受信機１２への無線信号の伝送時および映像リフレッシュの際に、状況に応じたオリジナルデータTxを無線送信機１１から無線受信機１２に伝送し、状況に応じたオリジナルデータRxを無線受信機１２から無線送信機１１に伝送する。すなわち、無線送信機１１は、オリジナルデータRx“00”を受信した場合に、Ｐ（またはＢ）ピクチャとオリジナルデータTx“00”とを送信する正常時処理を実行し、オリジナルデータRx“01”を受信した場合に、ＩピクチャとオリジナルデータTx“11”とを送信した後、さらにＰ（またはＢ）ピクチャを送信する異常時処理を実行する。また、無線受信機１２は、オリジナルデータTx“00”を受信した場合に、受信情報を正常に受信したか否かを判定する判定処理を実行し、受信情報を正常に受信したと判定した場合に、Ｐ（またはＢ）ピクチャを復号し、オリジナルデータRx“00”を送信する正常時処理を実行し、受信情報を正常に受信しなかったと判定した場合に、オリジナルデータTx“11”を受信したか否かを判定し、オリジナルデータTx“11”を受信したと判定した場合に、Ｉピクチャを復号し、オリジナルデータRx“00”を送信する異常時処理を実行する。このようにオリジナルデータTx，Rxに基づいて処理が実行されることで、いずれかのオリジナルデータが確実に伝送できなかった場合であっても、通信状態に応じた適切な復帰処理を行うことができる。そのため、ＧＯＰに基づいて映像時系列情報をフレームごとに符号化して得られる符号列のリアルタイム通信を行う場合において、通信障害を検知し、復旧用のＩピクチャの挿入（映像リフレッシュ）を適切かつ自動的に行うことができる。

通常、送受信機間でデータのやり取りには、信頼性を確保する為にTCP/IP方式の様にACKによる受信確認や再送要求を行う方式が採用される。しかし、無線伝送のため回線状況が瞬間的に大きく変わり、何度も再送要求が発生する状況では、回線の圧迫や遅延時間の大幅な増加等といった懸念が残る。これに対し、本実施形態の方式は、例えば、UDP方式の様な接続先の状況に関わらず無線送信機１１と無線受信機１２それぞれが必要な情報を垂れ流しで伝送する方式に適用できる。そのため、たとえ無線送信機１１と無線受信機１２のどちらか、または両方で通信状況が不安定となった場合でも、回線を圧迫したり、遅延時間を大幅に増加させたりすることなく、適切なタイミングで映像リフレッシュを自動的に行うことができる。

また、図５Ａに例示したように、無線送信機１１は、無線受信機１２からオリジナルデータRx“01”を受信した場合に、ＩピクチャとオリジナルデータTx“11”をα回（例えば、１回）だけ送信した後（ステータス“11”）、さらにオリジナルデータRx“00”またはオリジナルデータRx“01”を受信するまで、Ｐ（またはＢ）ピクチャとオリジナルデータTx“10”とを送信する（ステータス“10”）。また、図５Ｂに例示したように、無線受信機１２は、オリジナルデータTx“11”を受信する前に、オリジナルデータRx“01”を受信したと判定した場合に、Ｉピクチャを適切に受信できなかったとして、オリジナルデータRx“01”を送信する。これにより、無線受信機１２は、オリジナルデータTxのみでＩピクチャを適切に受信できなかったことを判断でき、Ｉピクチャの再送を要求できる。さらに、無線受信機１２は、Ｐ（またはＢ）ピクチャとオリジナルデータTx“10”とが送信される映像リフレッシュ過程と、Ｐ（またはＢ）ピクチャとオリジナルデータTx“00”とが送信される正常状態とを区別できる。

また、前述のように、無線送信機１１と無線受信機１２との通信状況が悪いほどαの値を大きくしてもよい。無線送信機１１と無線受信機１２との通信状況が悪い場合、Ｉピクチャが正しく無線受信機１２で受信されない可能性が大きくなる。このような場合にαの値を大きくすることで、映像リフレッシュのやり直しを減らせる効果も期待できる。

また、無線受信機１２は、オリジナルデータTx“00”、オリジナルデータTx“11”、およびオリジナルデータTx“10”の受信順序に基づいて、伝送エラーが発生したか否かを判定してもよい。これにより、オリジナルデータ自体を伝送エラー検出に流用でき、さらに各オリジナルデータは２ビットでありながら、それらの系列としてみて伝送エラーの有無を判断できる。その結果、送信データを増加させることなく伝送エラー検出精度を向上させることができる。

また、前述のように、オリジナルデータTxに基づいて伝送エラーが発生したか否かを判定する場合には、オリジナルデータTxの送信間隔（平均送信間隔）をオリジナルデータRxの送信間隔（平均送信間隔）よりも短くしてもよい。これにより、制御回線の逼迫を軽減することができる。

また、前述のように、無線送信機１１がオリジナルデータTx“11”を送信してからオリジナルデータTx“10”を送信するまでの送信間隔、および／または、オリジナルデータTx“10”の送信間隔を、オリジナルデータTx“00”の送信間隔よりも短くしてもよい。これにより、映像リフレッシュをさほど遅延させることなく、映像回線の逼迫を軽減することができる。

また、前述のように、無線受信機１２はエラーモード１～４の少なくともいずれかを区別して伝送エラーの判定を行ってもよい。これにより、無線受信機１２はどこで問題が発生しているのかを区別できる。

［第２実施形態］
第１実施形態は、映像時系列情報の伝送を対象としていたが、これは時系列情報の伝送に一般化できる。すなわち、この時系列情報は、第１実施形態で例示したような映像時系列情報であってもよいし、音声時系列情報であってもよいし、生体時系列情報であってもよいし、地震波形時系列情報であってもよいし、その他の物理的な時系列情報であってもよい。

第１実施形態は、符号化方式としてＧＯＰに基づく方式を例示したが本発明はこれに限定されない。すなわち、時系列情報を時系列の処理単位（例えば、フレームなど）ごとに符号化する方式であればどのような符号化方式が適用されてもよい。すなわち、Ｐ（またはＢ）ピクチャは、現在の処理単位以外の処理単位の情報を用いて現在の処理単位の時系列情報を符号化して得られる第１符号（例えば、現在の処理単位以外の処理単位の情報と現在の処理単位の時系列情報との差分に基づく符号）に一般化できる。Ｉピクチャは、現在の処理単位以外の処理単位の情報を用いることなく現在の処理単位の時系列情報を符号化して得られる第２符号（例えば、現在の処理単位の時系列情報（のみ）を単独で符号化して得られる符号）に一般化できる。

［その他の変形例等］
なお、本発明は上述の実施形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

前述のように、送信装置１１１および受信装置１２１は、例えば、通信機と、所定のプログラムを実行するプロセッサおよびＲＡＭ・ＲＯＭ等のメモリ等を備える汎用または専用のコンピュータとによって構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。

上述の送信装置１１１および受信装置１２１を、通信機およびコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されるのではなく、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

本発明は、例えば、ドローンによる空撮映像の配信等といった移動体に搭載された撮像器からの映像を無線機から出力し、地上等に配備された固定受信局で受信し、リアルタイムな映像伝送を実現するシステムに利用できる。これにより、電波瞬断等による受信映像の切断やブロックノイズ等の発生によって映像乱れが発生した場合に、早急な映像復旧が可能となる。ただし、本発明はこの利用分野に限定されるものではない。

１ 無線システム、１１ 無線送信機、１１１ 送信装置、１１１ａ 映像エンコーダ、１１１ｂ 映像回線無線送信部、１１１ｃ，１２１ｃ 制御部、１１１ｄ 制御回線無線受信部、１１２ 撮像装置、１１３ 送信アンテナ、１１４，１２４ 制御回線アンテナ、１２ 無線受信機、１２１ 受信装置、１２１ａ 映像デコーダ、１２１ｂ 映像回線無線受信部、１２１ｄ 制御回線無線送信部

Claims (10)

1. 時系列情報を時系列の処理単位ごとに符号化して得られる符号列を送信する送信装置であって、
   正常状態を表す受信側制御信号を受信した場合に、符号化対象の第１処理単位以外の処理単位の情報を用いて前記第１処理単位の前記時系列情報を符号化して得られる第１符号と正常状態を表す送信側制御信号とを送信する正常時処理を実行し、
   異常状態を表す受信側制御信号を受信した場合に、符号化対象の第２処理単位以外の処理単位の情報を用いることなく前記第２処理単位の前記時系列情報を符号化して得られる第２符号と前記第２符号を送信したことを表す送信側制御信号とを送信した後、さらに符号化対象の第３処理単位以外の処理単位の情報を用いて前記第３処理単位の前記時系列情報を符号化して得られる第３符号を送信する異常時処理を実行し、
   前記異常時処理は、前記異常状態を表す受信側制御信号を受信した場合に、前記第２符号と前記第２符号を送信したことを表す送信側制御信号とをα回だけ送信した後、さらに前記正常状態を表す受信側制御信号または前記異常状態を表す受信側制御信号を受信するまで、前記第３符号と待ち状態であることを表す送信側制御信号とを送信する処理を含み、αが１以上の整数である、送信装置。
2. 請求項１の送信装置であって、
   αは１であるか、または、通信状況が悪いほど大きい値である、送信装置。
3. 請求項１または２の送信装置であって、
   前記第２符号を送信したことを表す送信側制御信号を送信してから前記待ち状態であることを表す送信側制御信号を送信するまでの送信間隔、および／または、前記待ち状態であることを表す送信側制御信号の送信間隔は、前記正常状態を表す送信側制御信号の送信間隔よりも短い、送信装置。
4. 時系列の処理単位ごとの符号の列である符号列を受信する受信装置であって、
   正常状態を表す送信側制御信号を受信した場合に、受信情報を正常に受信したか否かを判定する判定処理を実行し、
   前記受信情報を正常に受信したと判定した場合に、復号対象の第１処理単位以外の処理単位の情報を用いて前記受信情報に含まれた前記第１処理単位の第１符号を復号し、正常状態を表す受信側制御信号を送信する正常時処理を実行し、
   前記受信情報を正常に受信しなかったと判定した場合に、異常状態を表す受信側制御信号を送信し、復号対象の第２処理単位以外の処理単位の情報を用いることなく復号可能な前記第２処理単位の第２符号が送信されたことを表す送信側制御信号を受信したか否かを判定し、前記第２符号が送信されたことを表す送信側制御信号を受信したと判定した場合に、前記第２符号を復号し、前記正常状態を表す受信側制御信号を送信する異常時処理を実行し、
   前記異常時処理は、前記第２符号が送信されたことを表す送信側制御信号を受信する前に、前記第２符号の送信後の待ち状態であることを表す送信側制御信号を受信したと判定した場合に、前記異常状態を表す受信側制御信号を送信する処理を含む、受信装置。
5. 請求項４の受信装置であって、
   前記判定処理は、前記正常状態を表す送信側制御信号、前記第２符号が送信されたことを表す送信側制御信号、および前記待ち状態であることを表す送信側制御信号の受信順序に基づいて、前記受信情報を正常に受信したか否かを判定する処理を含む、受信装置。
6. 請求項４または５の受信装置であって、
   前記判定処理は、
   前記第２符号が送信されたことを表す送信側制御信号を受信したが、前記第２符号を正しく受信していない場合のエラーモードと、
   前記第２符号が送信されたことを表す送信側制御信号を受信する前に、前記待ち状態であることを表す送信側制御信号を受信する場合のエラーモードと、
   前記異常時処理で前記異常状態を表す受信側制御信号を送信した後、一定期間待機しても前記正常状態を表す送信側制御信号を受信する場合のエラーモードと、
   前記異常時処理で前記異常状態を表す受信側制御信号を送信した後、一定期間待機しても前記第２符号を正しく受信できない場合のエラーモードと、
   の少なくともいずれかを区別して判定する処理を含む、受信装置。
7. 時系列情報を時系列の処理単位ごとに符号化して得られる符号列を送信する送信装置の制御方法であって、
   正常状態を表す受信側制御信号を受信した場合に、符号化対象の第１処理単位以外の処理単位の情報を用いて前記第１処理単位の前記時系列情報を符号化して得られる第１符号と正常状態を表す送信側制御信号とを送信する正常時処理を実行し、
   異常状態を表す受信側制御信号を受信した場合に、符号化対象の第２処理単位以外の処理単位の情報を用いることなく前記第２処理単位の前記時系列情報を符号化して得られる第２符号と前記第２符号を送信したことを表す送信側制御信号とを送信した後、さらに符号化対象の第３処理単位以外の処理単位の情報を用いて前記第３処理単位の前記時系列情報を符号化して得られる第３符号を送信する異常時処理を実行し、
   前記異常時処理は、前記異常状態を表す受信側制御信号を受信した場合に、前記第２符号と前記第２符号を送信したことを表す送信側制御信号とをα回だけ送信した後、さらに前記正常状態を表す受信側制御信号または前記異常状態を表す受信側制御信号を受信するまで、前記第３符号と待ち状態であることを表す送信側制御信号とを送信する処理を含み、αが１以上の整数である、制御方法。
8. 時系列の処理単位ごとの符号の列である符号列を受信する受信装置の制御方法であって、
   正常状態を表す送信側制御信号を受信した場合に、受信情報を正常に受信したか否かを判定する判定処理を実行し、
   前記受信情報を正常に受信したと判定した場合に、復号対象の第１処理単位以外の処理単位の情報を用いて前記受信情報に含まれた前記第１処理単位の第１符号を復号し、正常状態を表す受信側制御信号を送信する正常時処理を実行し、
   前記受信情報を正常に受信しなかったと判定した場合に、異常状態を表す受信側制御信号を送信し、復号対象の第２処理単位以外の処理単位の情報を用いることなく復号可能な前記第２処理単位の第２符号が送信されたことを表す送信側制御信号を受信したか否かを判定し、前記第２符号が送信されたことを表す送信側制御信号を受信したと判定した場合に、前記第２符号を復号し、前記正常状態を表す受信側制御信号を送信する異常時処理を実行し、
   前記異常時処理は、前記第２符号が送信されたことを表す送信側制御信号を受信する前に、前記第２符号の送信後の待ち状態であることを表す送信側制御信号を受信したと判定した場合に、前記異常状態を表す受信側制御信号を送信する処理を含む、制御方法。
9. 請求項１から３の何れかの送信装置の制御をコンピュータに実行させるためのプログラム。
10. 請求項４から６の何れかの受信装置の制御をコンピュータに実行させるためのプログラム。

Images