JP3929876B2

JP3929876B2 - Wireless video transmission device

Info

Publication number: JP3929876B2
Application number: JP2002328537A
Authority: JP
Inventors: 芳弘日出; 敦志野村; 佳秀中島; 博貴神山; 誠小室
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2002-11-12
Filing date: 2002-11-12
Publication date: 2007-06-13
Anticipated expiration: 2022-11-12
Also published as: JP2004165921A

Description

【０００１】
【発明の属する技術分野】
本発明は、監視カメラによる監視画像などをリアルタイム伝送する無線動画像伝送装置に関する。
【０００２】
【従来の技術】
従来、動画像情報をパケットに載せて伝送する伝送装置において、パケットの消失やビットエラーが発生した場合に、消失またはビットエラーが発生したパケットとは異なる他のパケットの画像情報に基づいて、画像デコーダ内で補間または置換処理を行うことにより、画像品質の劣化を目立たなくする技術が知られている。（特許文献１、特許文献２参照）
【０００３】
また、動画と音声を伝送する伝送装置において、伝送経路における音声の伝送状態をリアルタイムに測定し、音声の伝送状態が悪化した時、その悪化する状態に合わせて画像の伝送状態（フレームレート）を制御することにより、受信限界近傍でエラーレートが変動しても安定した伝送品質を確保できるようにした技術が知られている。（特許文献３参照）
【０００４】
【特許文献１】
特開平08-274785号公報
【特許文献２】
特開2002-142162号公報
【特許文献３】
特開平11-266229号公報
【０００５】
【発明が解決しようとする課題】
しかし、特許文献１および２記載の技術は、画像デコーダ内でデータ消失部分の補間または置換処理を行うものであるため、画像デコーダ内部のソースコードのレベルでエラーコンシールメントを行う必要がある。このため、画像デコーダに使用するＤＳＰ（Digital Signal Processor）をアプリケーションプログラムのレベルで簡単に使いこなしたい場合や、高額なソースコードを購入したくない場合には、実現することが困難である。
【０００６】
また、特許文献３記載の技術は、音声の伝送状態を測定することにより通信状況の悪化を予測するものであるため、音声通信を行わない場合には適用することが不可能である。また、画像伝送レートが音声伝送レートと比較して十分に高速な場合には、すなわち全パケットデータ中に占める音声データの比率が低い場合には、通信状況悪化の予測精度が低くなる。また、無線伝送路においては、マルチパスフェージングなどバースト的ノイズの発生により、伝送路の状態が急激に変化するため、意図的に画像のフレームレートを制御すると、通信状況の悪化に追従できない場合があり、受信デコード画像の画質がかえって劣化しまうことがある。
【０００７】
本発明が解決しようとする課題は、動画像情報を載せたパケットが無線伝送路を介して伝送される過程において、伝送状況の悪化によりパケット消失やビットエラーなどの伝送エラーが発生する可能性が高くなった場合に、画像デコーダ内部のソースコードのレベルでエラーコンシールメントを行うことなく、しかも伝送エラーが瞬時的な無線バーストエラーの場合であっても、受信デコード画像の劣化を目立たなくすることができる無線動画像伝送装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の課題を解決するために、本発明の無線動画像伝送装置は、互いに無線通信する第１の通信機と第２の通信機とを備え、前記第１の通信機は、動画像情報を選択的にフレーム内符号化またはフレーム間符号化することが可能な符号化手段と、前記符号化手段により符号化された動画像情報を順次パケット化するパケット化手段と、前記パケット化手段により生成されたパケットを順次前記第２の通信機へ送信する送信手段と、一連のパケットからなるパケット群を送信する際に、当該パケット群を構成する各パケットのヘッダ部に送信パケット数およびパケット管理番号を付加する送信パケット情報付加手段と、前記第２の通信機からフレーム内符号化した動画像情報の送信を要求するイントラ圧縮フレーム要求コマンドを受け取る度に前記符号化手段にフレーム内符号化を行わせる符号化制御手段とを備え、前記第２の通信機は、前記第１の通信機から受信したパケットのヘッダ部に含まれる送信パケット数およびパケット管理番号からパケット到達率を算出するパケット到達率算出手段と、前記パケット到達率を監視しこれが閾値を下回った場合に前記イントラ圧縮フレーム要求コマンドを発行する要求コマンド発生手段と、前記要求コマンド発生手段より発行されたイントラ圧縮フレーム要求コマンドを前記第１の通信機へ送信する送信手段とを備えたものである。
【０００９】
上記のように構成したことにより、第１の通信機は、動画像情報を選択的にフレーム内符号化またはフレーム間符号化し、符号化された動画像情報を順次パケット化し、一連のパケット群を構成する各パケットのヘッダ部に送信パケット数およびパケット管理番号を付加して第２の通信機へ送信する。第２の通信機は、第１の通信機から受信したパケットのヘッダ部に含まれる送信パケット数およびパケット管理番号からパケット到達率を算出し、これが閾値を下回った場合には、イントラ圧縮フレーム要求コマンドを第１の通信機へ送信する。第１の通信機は、第２の通信機からイントラ圧縮フレーム要求コマンドを受け取る度に、動画像情報をフレーム内符号化し、これをパケット化して第２の通信機へ送信する。
【００１０】
このように、パケット到達率が閾値を下回った場合、すなわちパケット消失やビットエラーが発生する可能性が高くなった場合に、パケットの受信側である第２の通信機から送信側である第１の通信機へイントラ圧縮フレーム要求コマンドを送信し、本来はフレーム間符号化した動画像情報（以下、インター圧縮フレームと記す。）の送信タイミングであっても、フレーム内符号化した動画像情報（以下、イントラ圧縮フレームと記す。）を第２の通信機へ送信させることにより、ビットエラーを含んだインター圧縮フレーム（差分データ）が加算されることで発生した受信デコード画像のビットエラーを適時リフレッシュすることができる。すなわち、インター圧縮フレームは差分データを前フレームに加算することで現フレームを再現（デコード）するものであるため、これがビットエラーを含んでいると、そのビットエラーの影響が長時間残り続けてしまうことになるが、イントラ圧縮フレームを挿入すれば、それまで更新されなかったビットエラーが消去される。
【００１１】
本発明の無線動画像伝送装置において、前記要求コマンド発生手段は、前記パケット到達率が閾値を下回り始めてから所定時間経過したら、前記イントラ圧縮フレーム要求コマンドを発行することが望ましい。
【００１２】
上記のように、パケット到達率が閾値を下回り始めて所定時間経過してからイントラ圧縮フレーム要求コマンドを発行することにより、イントラ圧縮フレームの送信頻度を減らすことができる。イントラ圧縮フレームの送信頻度を減らし、インター圧縮フレームを多用することで、歪みの少ない高品質な画像伝送を実現できる。すなわち、イントラ圧縮フレームは、インター圧縮フレームと比べて荒く圧縮されているためブロック歪みが目立ち、これを挿入するとその瞬間の画質が低下し、またフレームレートが低下するため、これを多用するとぎこちなさが目立つ動画像になる。これに対し、インター圧縮フレームは、動きのない背景データ等は平均化されブロック歪みが目立たなくなっているため、通常はこれをイントラ圧縮フレームよりも多く使用することで、歪みの少ない滑らかな動画像を再現できる。
【００１３】
また、前記要求コマンド発生手段は、前記イントラ圧縮フレーム要求コマンドを所定時間毎に発行し続けることが望ましい。
【００１４】
上記のように、イントラ圧縮フレーム要求コマンドを所定時間毎に発行し続けることにより、悪化した通信状況下においても、イントラ圧縮フレーム要求コマンドが第１の通信機に到達する可能性を高くすることができる。
【００１５】
また、前記要求コマンド発生手段は、前記パケット到達率が閾値以上に回復した後も所定時間経過するまでは前記イントラ圧縮フレーム要求コマンドを所定時間毎に発行し続けることが望ましい。
【００１６】
上記のように、パケット到達率が閾値以上に回復した後も所定時間経過するまではイントラ圧縮フレーム要求コマンドを所定時間毎に発し続けることにより、通信状況が回復後直ぐに悪化した場合でも、イントラ圧縮フレーム要求コマンドを第１の通信機に届けることができる。
【００１７】
また、前記第１の通信機は、前記イントラ圧縮フレーム要求を所定時間毎に発する定期イントラ圧縮要求発生手段を備え、前記符号化制御手段は、前記定期イントラ圧縮要求発生手段からイントラ圧縮フレーム要求が発せられる度に前記符号化手段にフレーム内符号化を行わせることが望ましい。
【００１８】
上記のように構成すれば、第２の通信機からのイントラ圧縮フレーム要求コマンドの有無すなわち、通信状況の良不良にかかわらず、第１の通信機から第２の通信機へ所定時間毎にイントラ圧縮フレームが送信される。したがって、ビットエラーを含んだインター圧縮フレームが加算されることで発生した受信デコード画像のビットエラーを定期的にリフレッシュすることができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００２０】
図１は本発明にかかる無線動画像伝送装置の実施の形態の一例を示すブロック図である。無線動画像伝送装置１０は、互いに無線通信する第１の通信機（以下、送信機と記す。）２０と第２の通信機（以下、受信機と記す。）３０とを備えて構成される。
【００２１】
送信機２０は、映像入力部２１、ビデオエンコーダ部２２、送信側プロトコル部２３、無線通信部２４および符号化制御部２５を備えている。
【００２２】
映像入力部２１には、図示しない監視カメラ等から映像信号が入力される。入力された映像信号は、ここでＹＵＶデータ（輝度情報と色情報とで表現されたビデオ動画像情報）に変換されてビデオエンコーダ部２２へ送られる。
【００２３】
ビデオエンコーダ部２２は、入力されたＹＵＶデータを、選択的にフレーム内符号化またはフレーム間符号化し、符号化した画像データを送信側プロトコル部２３へ送る。符号化方式の切り替えは符号化制御部２５からの制御信号に応じてなされる。
【００２４】
送信側プロトコル部２３は、キャッシュメモリ２６を備えており、ビデオエンコーダ部２２から受け取った画像データを、一旦キャッシュメモリ２６に保存して数バイト毎のデータに分割する。そして、分割した一連のデータを順次パケット化するとともに、一連のデータを載せたパケット群を構成する各パケットのヘッダ部に送信パケット数およびパケット管理番号を付加し、生成したパケットを順次無線通信部２４へ送る。
【００２５】
無線通信部２４は、ベースバンド部を有しており、送信側プロトコル部２３から送られてくるパケットを順次受信機３０へ無線送信する。また、無線通信部２４は、受信機３０から適時送られてくるパケットを受信し、送信側プロトコル部２３へ渡す。送信側プロトコル部２３は、無線通信部２４から受け取ったパケットのデータ部に含まれるイントラ圧縮フレーム要求コマンドを符号化制御部２５へ渡す。
【００２６】
符号化制御部２５は、通常はビデオエンコーダ部２２に対し、受信機３０との通信確立直後に一度だけ、イントラ要求信号すなわちフレーム内符号化を要求する制御信号を出力してイントラ圧縮フレームを送出させるように制御し、それ以降はインター圧縮フレームだけを送出させるように制御する。そして、イントラ圧縮フレーム要求コマンドを受け取る度にイントラ圧縮フレーム要求信号を出力して、ビデオエンコーダ部２２による符号化方式をフレーム内符号化に切り替えて、イントラ圧縮フレームを送出させるように制御する。
【００２７】
一方、受信機３０は、無線通信部３１、受信側プロトコル部３２、ビデオデコーダ部３３、映像出力部３４および要求コマンド発生部３５を備えている。
【００２８】
無線通信部３１は、ベースバンド部を有しており、送信機２０から送られてきたパケットを受信し、受信側プロトコル部３２へ渡す。
【００２９】
受信側プロトコル部３２は、無線通信部３１から受け取ったパケットを一旦キャッシュメモリ３６に保存し、パケットのデータ部に含まれる画像データをビデオデコーダ部３３に送るとともに、パケットのヘッダ部に含まれる送信パケット数およびパケット管理番号からパケット到達率を算出する。そして、パケット到達率の算出結果を要求コマンド発生部３５に渡す。
【００３０】
ビデオデコーダ部３３は、受信側プロトコル部３２から次々と送られてくる画像データをＹＵＶデータにデコード（復号）して、映像出力部３４に送る。
【００３１】
映像出力部３４は、ビデオデコーダ部３３から送られてくるＹＵＶデータを、映像モニタ装置や録画装置などの図示しない外部装置に出力する。
【００３２】
要求コマンド発生部３５は、受信側プロトコル部３２により算出されたパケット到達率を監視する。そして、パケット到達率が閾値を下回った場合には、その時からの経過時間を計測し、所定時間経過したら、イントラ圧縮フレーム要求コマンドを発行し、所定時間毎に発し続ける。パケット到達率が閾値以上に回復した後もその時からさらに所定時間経過するまではイントラ圧縮フレーム要求コマンドを所定時間毎に発行し続ける。イントラ圧縮フレーム要求コマンドは、受信側プロトコル部３２でパケット化され、無線通信部３１から送信機２０へ送信される。
【００３３】
次に、上記のように構成された無線動画像伝送装置１０の動作について説明する（図２のシーケンスを参照）。
【００３４】
送信機２０は、監視カメラ等から送られてきた映像信号を、映像入力部２１にてＹＵＶデータに変換した後、ビデオエンコーダ部２２にて選択的にフレーム内符号化またはフレーム間符号化し、送信側プロトコル部２３にてパケット化し、各パケットのヘッダ部に送信パケット数およびパケット管理番号を付加して、無線通信部２４より受信機３０へ送信する。
【００３５】
その際、符号化制御部２５は、受信機３０との通信確立直後に一度だけ、ビデオエンコーダ部２２にイントラ要求信号を出力してイントラ圧縮フレームを送出させ、それ以降はインター圧縮フレームだけを送出させる。これにより先頭フレーム送信後は高フレームレートが維持される。図２はインター圧縮フレーム送出開始後のシーケンスを示している。
【００３６】
受信機３０は、送信機２０から送られてきたパケットを無線通信部３１にて受信し、受信側プロトコル部３２にてパケットから画像データを取り出し、その画像データをビデオデコーダ部３３にてＹＵＶデータにデコードし、映像出力部３４から映像モニタ装置などの外部装置へ出力する。
【００３７】
その際、受信側プロトコル部３２は、受け取った各パケットのヘッダ部に含まれる送信パケット数およびパケット管理番号からパケット到達率を算出し、その結果を所定時間（Ａ秒）毎に要求コマンド発生部３５に渡す。
【００３８】
要求コマンド発生部３５は、パケット到達率が閾値（Ｂ％）を下回った場合には、その時からの経過時間を計測し、所定時間（Ｃ秒）経過したら、イントラ圧縮フレーム要求コマンドを発行し、所定周期（Ｄ秒）毎に発し続ける。受信状況が回復し、パケット到達率が閾値（Ｂ％）以上に回復した後も、さらに所定時間（Ｅ秒）経過するまではイントラ圧縮フレーム要求コマンドを所定周期（Ｄ秒）毎に発行し続ける。パケット到達率回復後の所定時間（Ｅ秒）は、無線伝送路の揺らぎや受信デコード画像のビットエラー発生頻度を考慮して設定される。
【００３９】
図３はパケット到達率に対するイントラ圧縮フレーム要求コマンドの発行タイミングを例示したものであり、図中のパラメータＡ〜Ｅは文中の括弧内の符号Ａ〜Ｅに対応している。
【００４０】
上記のようにして発行されたイントラ圧縮フレーム要求コマンドは、受信側プロトコル部３２でパケット化され、無線通信部３１から送信機２０へ送信される。
【００４１】
送信機２０では、イントラ圧縮フレーム要求コマンドを受信する度に、符号化制御部２５がビデオエンコーダ部２２に対し、イントラ圧縮フレーム要求信号を出力する。ビデオエンコーダ部２２は、イントラ圧縮フレーム要求信号を受け取る度に、符号化方式をフレーム内符号化に切り替える。これにより、イントラ圧縮フレームが送信側プロトコル部２３、無線通信部２４を経て受信機３０へ送信される。
【００４２】
上記のように、受信機３０側でパケット到達率を監視し、パケット到達率が閾値（Ｂ％）を下回った場合、受信機３０から送信機２０へイントラ圧縮フレーム要求コマンドを出し、本来はインター圧縮フレームの送信タイミングであっても、イントラ圧縮フレームを受信機３０へ送信させるようにしたことにより、ビットエラーを含んだインター圧縮フレームが加算されることで発生した受信デコード画像のビットエラーを適時リフレッシュすることができる。
【００４３】
また、パケット到達率が閾値（Ｂ％）を下回り始めて所定時間（Ｃ秒）経過して始めて、受信機３０から送信機２０へイントラ圧縮フレーム要求コマンドが送信されるので、イントラ圧縮フレームの使用頻度を抑えて歪みの少ない高品質な画像伝送を実現できる。
【００４４】
また、所定時間（Ｃ秒）経過後は、受信機３０がイントラ圧縮フレーム要求コマンドを所定時間（Ｄ秒）毎に送信し続けるようにしたので、悪化した通信状況下においても、イントラ圧縮フレーム要求コマンドが送信機２０に到達する可能性を高くすることができる。
【００４５】
また、パケット到達率が閾値以上に回復した後も所定時間（Ｅ秒）経過するまではイントラ圧縮フレーム要求コマンドを所定時間（Ｄ秒）毎に送信し続けるようにしたので、通信状況が回復後直ぐに悪化した場合でも、イントラ圧縮フレーム要求コマンドを高い確実性を持って送信機２０に届けることができる。
【００４６】
図３に示すタイミング図中のパラメータＡ〜Ｅの値の設定例を表１に示す。
【表１】

【００４７】
この例では、パケット到達率の閾置が50％でイントラ圧縮フレーム要求コマンドを250ｍｓ秒毎に送出するため、仮に到達率が50％とし、その場合の平均画像フレーム数を８フレーム／ｓ（イントラ圧縮フレームを含み、平均で125ｍｓに１フレームを送信機２０から受信機３０へ伝送）とすると、イントラ圧縮フレーム要求コマンドは２回中１回は送信機２０に到達することになる。送信機２０のビデオエンコーダ２２は、平均500ｍｓ毎にイントラ圧縮フレームを送出することになる。このため、受信機３０から出力される受信デコード画像にビットエラーが発生してから、平均500ｍｓ後に画像のリフレッシュがなされることになる。（図４参照）
【００４８】
図５は本発明にかかる無線動画像伝送装置の別の実施の形態を示すブロック図である。図１に示した装置構成と異なる点は、符号化制御部２５がイントラ圧縮フレーム要求信号を所定時間（Ｆ秒）毎に発する定期イントラ圧縮要求発生２７を備えている点のみである。
【００４９】
この構成の場合、符号化制御部２５は、受信機３０からのイントラ圧縮フレーム要求コマンドの有無すなわち、通信状況の良不良にかかわらず、ビデオエンコーダ部２２に対し、所定時間（Ｆ秒）毎にイントラ圧縮フレーム要求信号を出力する。ビデオエンコーダ部２２は、イントラ圧縮フレーム要求信号を受け取る度に、符号化方式をフレーム内符号化に切り替える。これにより、通信状況の良不良にかかわらず、イントラ圧縮フレームが所定時間（Ｆ秒）毎に受信機３０へ送信される。
【００５０】
上記のように構成すれば、受信機３０側でパケット到達率に基づいて通信状況の悪化を検出することが困難な場合や、受信機３０から送信されたイントラ圧縮フレーム要求コマンドが送信機１０に到達し難い状況が発生した場合でも、ビットエラーを含んだインター圧縮フレームが加算されることで発生した受信デコード画像のビットエラーを定期的にリフレッシュすることができる。
【００５１】
この場合の所定時間（Ｆ秒）は、フレームレートおよび画質を極端に低下させない時間であり、且つビットエラーが発生してから消えるまでに運用上問題のない時間に設定される。具体的には、２秒〜５秒の範囲から主観的に選ばれる。
【００５２】
なお、上記の例では、パケット到達率が閾値（Ｂ％）を下回り始めて所定時間（Ｃ秒）経過してから、受信機３０から送信機２０へイントラ圧縮フレーム要求コマンドが送信されるようにしたが、パケット到達率が閾値（Ｂ％）を下回ったら直ちにイントラ圧縮フレーム要求コマンドを送信するようにしてもよい。
【００５３】
また、図５の例では、符号化制御部２５が定期イントラ圧縮要求発生部２７を備えているが、定期イントラ圧縮要求発生部２７を符号化制御部２５から独立させた構成としてもよい。
【００５４】
【発明の効果】
以上説明したように本発明によれば、パケット消失やビットエラーが発生する可能性が高くなった場合に、画像デコーダ内部のソースコードのレベルでエラーコンシールメントを行うことなく、しかも伝送エラーが瞬時的な無線バーストエラーの場合であっても、ビットエラーを含んだインター圧縮フレームが加算されることで発生した受信デコード画像のビットエラーを適時リフレッシュして、受信デコード画像の劣化を目立たなくすることができる。
【図面の簡単な説明】
【図１】本発明にかかる無線動画像伝送装置の実施の形態の一例を示すブロック図である。
【図２】図１に示す無線動画像伝送装置の無線動画伝送手順を概念的に示すシーケンス図である。
【図３】図３はパケット到達率に対するイントラ圧縮フレーム要求コマンドの発行タイミングを例示したタイミング図である。
【図４】ビットエラーが発生した画像をイントラ圧縮フレームで適時リフレッシュする動作の説明図である。
【図５】本発明にかかる無線動画像伝送装置の別の実施の形態を示すブロック図である。
【符号の説明】
１０：無線動画像伝送装置
２０：第１の通信機（送信機）
２１：映像入力部
２２：ビデオエンコーダ部
２３：送信側プロトコル部
２４：無線通信部
２５：符号化制御部
２７：定期イントラ圧縮要求発生部
３０：第２の通信機（受信機）
３１：無線通信部
３２：受信側プロトコル部
３３：ビデオデコーダ部
３４：映像出力部
３５：要求コマンド発生部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a wireless moving image transmission apparatus that transmits a monitoring image or the like by a monitoring camera in real time.
[0002]
[Prior art]
Conventionally, when a packet loss or bit error occurs in a transmission device that transmits moving image information in a packet, an image based on image information of another packet different from the packet in which the loss or bit error has occurred A technique is known in which deterioration of image quality is inconspicuous by performing interpolation or replacement processing in a decoder. (See Patent Document 1 and Patent Document 2)
[0003]
Also, in a transmission device that transmits video and audio, the audio transmission state in the transmission path is measured in real time, and when the audio transmission state deteriorates, the image transmission state (frame rate) is adjusted according to the deteriorated state. A technique is known in which stable transmission quality can be ensured by controlling even if the error rate fluctuates near the reception limit. (See Patent Document 3)
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 08-274785 [Patent Document 2]
Japanese Patent Laid-Open No. 2002-142162 [Patent Document 3]
Japanese Patent Laid-Open No. 11-266229
[Problems to be solved by the invention]
However, since the techniques described in Patent Documents 1 and 2 perform interpolation or replacement processing of a data loss part in the image decoder, it is necessary to perform error concealment at the source code level in the image decoder. For this reason, it is difficult to realize when a DSP (Digital Signal Processor) used for an image decoder is easily used at the application program level or when it is not desired to purchase expensive source code.
[0006]
Moreover, since the technique described in Patent Document 3 predicts the deterioration of the communication state by measuring the voice transmission state, it cannot be applied when voice communication is not performed. In addition, when the image transmission rate is sufficiently high compared to the audio transmission rate, that is, when the ratio of the audio data occupying in all packet data is low, the prediction accuracy of the deterioration of the communication status is lowered. Also, in wireless transmission lines, the state of the transmission line changes abruptly due to burst noise such as multipath fading, so if you intentionally control the image frame rate, you may not be able to follow the deterioration of the communication situation. In other words, the image quality of the received decoded image may be deteriorated.
[0007]
The problem to be solved by the present invention is that there is a possibility that a transmission error such as packet loss or bit error may occur due to deterioration of the transmission situation in the process in which a packet carrying moving picture information is transmitted through a wireless transmission path. When it becomes high, error concealment is not performed at the level of the source code inside the image decoder, and even if the transmission error is an instantaneous radio burst error, the deterioration of the received decoded image should be made inconspicuous. An object of the present invention is to provide a wireless moving image transmission apparatus capable of
[0008]
[Means for Solving the Problems]
In order to solve the above problems, a wireless moving image transmission apparatus according to the present invention includes a first communication device and a second communication device that wirelessly communicate with each other, and the first communication device transmits moving image information. Coding means capable of selectively performing intra-frame coding or inter-frame coding, packetizing means for sequentially packetizing moving picture information encoded by the encoding means, and generated by the packetizing means Transmitting means for sequentially transmitting the packets to the second communication device, and when transmitting a packet group consisting of a series of packets, the number of transmitted packets and the packet management number in the header portion of each packet constituting the packet group Each time a transmission packet information adding means for adding a frame and an intra-compressed frame request command for requesting transmission of intra-frame encoded moving picture information from the second communication device are received. Coding control means for causing the coding means to perform intra-frame coding, wherein the second communication device includes the number of transmitted packets and packet management included in a header portion of a packet received from the first communication device. A packet arrival rate calculating unit that calculates a packet arrival rate from a number; a request command generating unit that monitors the packet arrival rate and issues the intra-compressed frame request command when the packet arrival rate falls below a threshold; and the request command generating unit Transmitting means for transmitting the issued intra compressed frame request command to the first communication device.
[0009]
With the above configuration, the first communication device selectively encodes moving image information by intra-frame encoding or inter-frame encoding, sequentially encodes the encoded moving image information, and generates a series of packet groups. The number of transmission packets and a packet management number are added to the header portion of each packet to be configured and transmitted to the second communication device. The second communicator calculates the packet arrival rate from the number of transmitted packets and the packet management number included in the header part of the packet received from the first communicator, and if this is below the threshold, the intra compressed frame request The command is transmitted to the first communication device. Each time the first communicator receives an intra-compressed frame request command from the second communicator, the first communicator encodes the moving image information in a frame, packetizes it, and transmits it to the second communicator.
[0010]
As described above, when the packet arrival rate falls below the threshold, that is, when the possibility of packet loss or bit error increases, the second communication device that is the packet reception side is the first communication side that is the transmission side. Intra-frame encoded video information (hereinafter referred to as an inter-compressed frame) is transmitted even when the intra-compressed frame request command is transmitted to the communication device of FIG. (Hereinafter referred to as an intra-compressed frame) is transmitted to the second communication device, and the bit error of the received decoded image generated by adding the inter-compressed frame (difference data) including the bit error is refreshed in a timely manner. can do. In other words, since the inter compressed frame reproduces (decodes) the current frame by adding the difference data to the previous frame, if this includes a bit error, the effect of the bit error remains for a long time. However, if an intra-compressed frame is inserted, a bit error that has not been updated is erased.
[0011]
In the wireless moving image transmission apparatus of the present invention, it is preferable that the request command generation unit issues the intra compressed frame request command when a predetermined time has elapsed after the packet arrival rate starts to fall below a threshold value.
[0012]
As described above, the intra compressed frame transmission frequency can be reduced by issuing the intra compressed frame request command after a predetermined time has elapsed since the packet arrival rate began to fall below the threshold. By reducing the transmission frequency of intra-compressed frames and using many inter-compressed frames, high-quality image transmission with less distortion can be realized. In other words, intra-compressed frames are compressed more roughly than inter-compressed frames, so block distortion is conspicuous, and if this is inserted, the image quality at that moment will be reduced and the frame rate will be reduced. Becomes a prominent moving image. On the other hand, since inter-compressed frames average the background data without motion and block distortion is less noticeable, usually using this more than intra-compressed frames allows smooth moving images with little distortion. Can be reproduced.
[0013]
Further, it is desirable that the request command generation means continues to issue the intra compressed frame request command every predetermined time.
[0014]
As described above, by continuously issuing the intra-compressed frame request command every predetermined time, it is possible to increase the possibility that the intra-compressed frame request command reaches the first communication device even in a deteriorated communication situation. it can.
[0015]
Preferably, the request command generation means continues to issue the intra-compressed frame request command every predetermined time until a predetermined time elapses after the packet arrival rate recovers to a threshold value or more.
[0016]
As described above, even if the communication status deteriorates immediately after recovery by continuing to issue the intra-compression frame request command every predetermined time until the predetermined time has elapsed even after the packet arrival rate has recovered above the threshold, the intra compression The frame request command can be delivered to the first communication device.
[0017]
The first communication device includes a periodic intra compression request generation unit that issues the intra compressed frame request every predetermined time, and the encoding control unit receives an intra compressed frame request from the periodic intra compression request generation unit. It is desirable to cause the encoding means to perform intra-frame encoding each time it is emitted.
[0018]
With the above configuration, the intra-compressed frame request command from the second communication device, that is, whether the communication status is good or bad, regardless of whether the communication state is good or bad, is transmitted from the first communication device to the second communication device every predetermined time. A compressed frame is transmitted. Therefore, it is possible to periodically refresh the bit error of the received decoded image generated by adding the inter compressed frame including the bit error.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0020]
FIG. 1 is a block diagram showing an example of an embodiment of a wireless moving image transmission apparatus according to the present invention. The wireless moving image transmission apparatus 10 includes a first communication device (hereinafter referred to as a transmitter) 20 and a second communication device (hereinafter referred to as a receiver) 30 that perform wireless communication with each other. .
[0021]
The transmitter 20 includes a video input unit 21, a video encoder unit 22, a transmission side protocol unit 23, a wireless communication unit 24, and an encoding control unit 25.
[0022]
A video signal is input to the video input unit 21 from a monitoring camera (not shown) or the like. The input video signal is converted into YUV data (video moving image information represented by luminance information and color information) and sent to the video encoder unit 22.
[0023]
The video encoder unit 22 selectively encodes the input YUV data by intra-frame encoding or inter-frame encoding, and sends the encoded image data to the transmission-side protocol unit 23. The encoding method is switched according to a control signal from the encoding control unit 25.
[0024]
The transmission-side protocol unit 23 includes a cache memory 26. The image data received from the video encoder unit 22 is temporarily stored in the cache memory 26 and divided into data of several bytes. Then, the divided series of data is sequentially packetized, the number of transmission packets and the packet management number are added to the header part of each packet constituting the packet group carrying the series of data, and the generated packets are sequentially transmitted to the wireless communication unit. Send to 24.
[0025]
The wireless communication unit 24 has a baseband unit, and sequentially wirelessly transmits packets sent from the transmission-side protocol unit 23 to the receiver 30. In addition, the wireless communication unit 24 receives a packet sent from the receiver 30 in a timely manner and passes it to the transmission-side protocol unit 23. The transmission-side protocol unit 23 passes the intra-compressed frame request command included in the data part of the packet received from the wireless communication unit 24 to the encoding control unit 25.
[0026]
The encoding control unit 25 normally outputs an intra request signal, that is, a control signal for requesting intraframe encoding, to transmit an intra compressed frame to the video encoder unit 22 only once immediately after establishment of communication with the receiver 30. Thereafter, control is performed so that only the inter-compressed frame is transmitted. Then, every time an intra-compressed frame request command is received, an intra-compressed frame request signal is output, and the encoding method by the video encoder unit 22 is switched to intra-frame coding so that an intra-compressed frame is transmitted.
[0027]
On the other hand, the receiver 30 includes a wireless communication unit 31, a receiving-side protocol unit 32, a video decoder unit 33, a video output unit 34, and a request command generation unit 35.
[0028]
The wireless communication unit 31 has a baseband unit, receives a packet sent from the transmitter 20, and passes it to the receiving-side protocol unit 32.
[0029]
The reception-side protocol unit 32 temporarily stores the packet received from the wireless communication unit 31 in the cache memory 36, and sends the image data included in the data portion of the packet to the video decoder unit 33 and the transmission included in the header portion of the packet. The packet arrival rate is calculated from the number of packets and the packet management number. Then, the packet arrival rate calculation result is passed to the request command generator 35.
[0030]
The video decoder unit 33 decodes (decodes) the image data successively sent from the receiving side protocol unit 32 into YUV data, and sends the YUV data to the video output unit 34.
[0031]
The video output unit 34 outputs the YUV data sent from the video decoder unit 33 to an external device (not shown) such as a video monitor device or a recording device.
[0032]
The request command generator 35 monitors the packet arrival rate calculated by the receiving protocol unit 32. When the packet arrival rate falls below the threshold, the elapsed time from that time is measured, and when a predetermined time elapses, an intra-compressed frame request command is issued and continuously issued every predetermined time. Even after the packet arrival rate recovers to the threshold value or more, the intra compressed frame request command is continuously issued every predetermined time until a predetermined time elapses from that time. The intra compressed frame request command is packetized by the receiving-side protocol unit 32 and transmitted from the wireless communication unit 31 to the transmitter 20.
[0033]
Next, the operation of the wireless moving image transmission apparatus 10 configured as described above will be described (see the sequence in FIG. 2).
[0034]
The transmitter 20 converts a video signal sent from a surveillance camera or the like into YUV data by the video input unit 21, and then selectively encodes the video signal by intra-frame coding or inter-frame coding by the video encoder unit 22. The packet is converted into packets by the side protocol unit 23, the number of transmission packets and the packet management number are added to the header portion of each packet, and transmitted from the wireless communication unit 24 to the receiver 30.
[0035]
At that time, the encoding control unit 25 outputs the intra request signal to the video encoder unit 22 to output an intra compressed frame only once immediately after establishment of communication with the receiver 30, and thereafter transmits only the inter compressed frame. Let Thereby, the high frame rate is maintained after the first frame is transmitted. FIG. 2 shows a sequence after transmission of the inter compressed frame is started.
[0036]
The receiver 30 receives the packet sent from the transmitter 20 by the wireless communication unit 31, takes out the image data from the packet by the receiving side protocol unit 32, and extracts the image data from the packet by the video decoder unit 33. And output from the video output unit 34 to an external device such as a video monitor device.
[0037]
At that time, the receiving-side protocol unit 32 calculates the packet arrival rate from the number of transmitted packets and the packet management number included in the header part of each received packet, and the result is a request command generation unit every predetermined time (A seconds). Pass to 35.
[0038]
When the packet arrival rate falls below the threshold (B%), the request command generation unit 35 measures the elapsed time from that time, and issues an intra-compressed frame request command when a predetermined time (C seconds) elapses. It continues to be emitted every predetermined period (D seconds). Even after the reception status recovers and the packet arrival rate recovers to the threshold (B%) or more, the intra compressed frame request command is continuously issued every predetermined period (D seconds) until a predetermined time (E seconds) elapses. . The predetermined time (E seconds) after the recovery of the packet arrival rate is set in consideration of the fluctuation of the wireless transmission path and the bit error occurrence frequency of the received decoded image.
[0039]
FIG. 3 illustrates the issuance timing of the intra compressed frame request command with respect to the packet arrival rate, and the parameters A to E in the figure correspond to the symbols A to E in parentheses in the sentence.
[0040]
The intra compressed frame request command issued as described above is packetized by the receiving-side protocol unit 32 and transmitted from the wireless communication unit 31 to the transmitter 20.
[0041]
In the transmitter 20, every time an intra compressed frame request command is received, the encoding control unit 25 outputs an intra compressed frame request signal to the video encoder unit 22. Each time the video encoder 22 receives an intra-compressed frame request signal, the video encoder 22 switches the encoding method to intra-frame encoding. As a result, the intra-compressed frame is transmitted to the receiver 30 via the transmission-side protocol unit 23 and the wireless communication unit 24.
[0042]
As described above, the packet arrival rate is monitored on the receiver 30 side, and when the packet arrival rate falls below the threshold (B%), an intra compressed frame request command is issued from the receiver 30 to the transmitter 20, Even if it is the transmission timing of the compressed frame, the bit error of the received decoded image generated by the addition of the inter compressed frame including the bit error is made timely by transmitting the intra compressed frame to the receiver 30. Can be refreshed.
[0043]
Since the intra compressed frame request command is transmitted from the receiver 30 to the transmitter 20 only after the packet arrival rate starts to fall below the threshold (B%) and a predetermined time (C seconds) elapses, the frequency of use of the intra compressed frame is increased. It is possible to realize high-quality image transmission with less distortion and less distortion.
[0044]
In addition, after the predetermined time (C seconds) has elapsed, the receiver 30 continues to transmit the intra compressed frame request command every predetermined time (D seconds). The possibility that the command reaches the transmitter 20 can be increased.
[0045]
In addition, since the intra-compression frame request command is continuously transmitted every predetermined time (D seconds) until the predetermined time (E seconds) elapses after the packet arrival rate is recovered to the threshold value or more, the communication state is recovered. Even if it deteriorates immediately, the intra compressed frame request command can be delivered to the transmitter 20 with high certainty.
[0046]
Table 1 shows an example of setting values of the parameters A to E in the timing chart shown in FIG.
[Table 1]

[0047]
In this example, since the threshold of packet arrival rate is 50% and an intra compressed frame request command is sent every 250 ms, the arrival rate is assumed to be 50%, and the average number of image frames in that case is 8 frames / s (intra Assuming that one frame is transmitted from the transmitter 20 to the receiver 30 on an average of 125 ms including a compressed frame), the intra compressed frame request command reaches the transmitter 20 once in two times. The video encoder 22 of the transmitter 20 transmits an intra-compressed frame every 500 ms on average. For this reason, after a bit error occurs in the received decoded image output from the receiver 30, the image is refreshed after an average of 500 ms. (See Figure 4)
[0048]
FIG. 5 is a block diagram showing another embodiment of the wireless moving image transmission apparatus according to the present invention. The only difference from the apparatus configuration shown in FIG. 1 is that the encoding control unit 25 includes a regular intra compression request generation 27 for generating an intra compression frame request signal every predetermined time (F seconds).
[0049]
In the case of this configuration, the encoding control unit 25 sends the video encoder unit 22 every predetermined time (F seconds) regardless of the presence / absence of an intra compressed frame request command from the receiver 30, that is, whether the communication status is good or bad An intra compressed frame request signal is output. Each time the video encoder 22 receives an intra-compressed frame request signal, the video encoder 22 switches the encoding method to intra-frame encoding. As a result, regardless of whether the communication status is good or bad, the intra compressed frame is transmitted to the receiver 30 every predetermined time (F seconds).
[0050]
With the above configuration, when it is difficult for the receiver 30 to detect the deterioration of the communication status based on the packet arrival rate, or the intra compressed frame request command transmitted from the receiver 30 is sent to the transmitter 10. Even when a situation that is difficult to reach occurs, it is possible to periodically refresh the bit error of the received decoded image generated by adding the inter compressed frame including the bit error.
[0051]
The predetermined time (F seconds) in this case is a time in which the frame rate and the image quality are not extremely lowered, and is set to a time in which there is no operational problem from the occurrence of a bit error until it disappears. Specifically, it is selected subjectively from the range of 2 to 5 seconds.
[0052]
In the above example, the intra-compression frame request command is transmitted from the receiver 30 to the transmitter 20 after a predetermined time (C seconds) has elapsed since the packet arrival rate began to fall below the threshold (B%). However, the intra-compressed frame request command may be transmitted immediately when the packet arrival rate falls below the threshold (B%).
[0053]
In the example of FIG. 5, the encoding control unit 25 includes the regular intra compression request generation unit 27, but the regular intra compression request generation unit 27 may be independent from the encoding control unit 25.
[0054]
【The invention's effect】
As described above, according to the present invention, when there is a high possibility that a packet loss or a bit error occurs, an error concealment is not performed at the source code level in the image decoder, and a transmission error is instantaneously generated. Even in the case of a typical radio burst error, the bit error of the received decoded image generated by adding the inter compressed frame including the bit error is refreshed in a timely manner so that the deterioration of the received decoded image is not noticeable. Can do.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an example of an embodiment of a wireless moving image transmission apparatus according to the present invention.
FIG. 2 is a sequence diagram conceptually showing a wireless moving image transmission procedure of the wireless moving image transmission apparatus shown in FIG.
FIG. 3 is a timing diagram illustrating an issuance timing of an intra-compressed frame request command with respect to a packet arrival rate.
FIG. 4 is an explanatory diagram of an operation of refreshing an image in which a bit error has occurred with an intra compressed frame in a timely manner.
FIG. 5 is a block diagram showing another embodiment of the wireless moving image transmission apparatus according to the present invention.
[Explanation of symbols]
10: Wireless moving image transmission apparatus 20: First communication device (transmitter)
21: Video input unit 22: Video encoder unit 23: Transmission-side protocol unit 24: Wireless communication unit 25: Encoding control unit 27: Regular intra compression request generation unit 30: Second communication device (receiver)
31: wireless communication unit 32: reception side protocol unit 33: video decoder unit 34: video output unit 35: request command generation unit

Claims

A first communication device and a second communication device that wirelessly communicate with each other;
The first communication device is:
Encoding means capable of selectively intra-frame encoding or inter-frame encoding of moving image information;
Packetizing means for sequentially packetizing moving image information encoded by the encoding means;
Transmitting means for sequentially transmitting the packets generated by the packetizing means to the second communication device;
When transmitting a packet group consisting of a series of packets, transmission packet information adding means for adding the number of transmission packets and a packet management number to the header part of each packet constituting the packet group;
Encoding control means for causing the encoding means to perform intra-frame encoding each time an intra-compressed frame request command for requesting transmission of intra-frame encoded moving picture information is received from the second communication device,
The second communication device is:
A packet arrival rate calculating means for calculating a packet arrival rate from the number of transmitted packets and a packet management number included in the header portion of the packet received from the first communication device;
Request command generating means for issuing the intra compressed frame request command when the packet arrival rate falls below a threshold;
A wireless moving image transmission apparatus comprising: transmission means for transmitting an intra-compressed frame request command issued from the request command generation means to the first communication device.

2. The wireless moving image transmission apparatus according to claim 1, wherein the request command generation unit issues the intra compressed frame request command when a predetermined time has elapsed after the packet arrival rate starts to fall below a threshold value.

The request command generation means includes
3. The wireless moving image transmission apparatus according to claim 1, wherein the intra compressed frame request command is continuously issued every predetermined time.

The request command generation means includes
4. The wireless moving image transmission apparatus according to claim 3, wherein the intra compressed frame request command is continuously issued every predetermined time until a predetermined time elapses after the packet arrival rate is recovered to a threshold value or more.

The first communication device is:
Periodic intra compression request generating means for issuing the intra compressed frame request every predetermined time;
5. The encoding unit according to claim 1, wherein the encoding unit causes the encoding unit to perform intra-frame encoding each time an intra-compressed frame request is issued from the periodic intra compression request generation unit. The wireless moving image transmission apparatus according to 1.