JP4176865B2

JP4176865B2 - Image transmission device

Info

Publication number: JP4176865B2
Application number: JP12102798A
Authority: JP
Inventors: 良昌梶原
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1998-04-30
Filing date: 1998-04-30
Publication date: 2008-11-05
Anticipated expiration: 2018-04-30
Also published as: JPH11313330A

Description

【０００１】
【発明の属する技術分野】
本発明は、伝送誤りを生じ得る伝送路を介して画像データを伝送する画像伝送装置に関する。
【０００２】
【従来の技術】
従来からの画像伝送装置の基本的な構成を図７に示す。従来の画像伝送装置では、まず符号化器１で画像データが符号化されて圧縮される。画像データは、情報量がかなり大きく、そのまま伝送するとかなりの伝送能力を有し、伝送速度を高めることが困難である。また伝送路として公衆電話回線などを使用するときには、伝送路の周波数帯域が限られていて不充分なことも多い。一方、画像データとして、特に動画像を伝送する必要があるときには、伝送速度が速いことも要求される。このため、画像データは符号化器１で情報量を圧縮する処理が行われる。
【０００３】
動画像の画像データでは、一般にフレームを単位として時間軸方向に変化する画像が順次的に形成されている。符号化器１で動画像の圧縮符号化を行う際には、連続した２枚のフレーム間の相関情報を用いて圧縮符号化を行うフレーム間符号化と、１枚のフレーム内の情報のみを用いて圧縮符号化を行うフレーム内符号化とがある。動画像の性質として、一般にフレーム間符号化の方がフレーム内符号化と比べて高い圧縮率を得ることができる。ただし、フレーム間符号化方法で符号化されるフレームを、受信側で正確に復号化するためには、符号化を行う際に参照される１つ前のフレームが受信側で正確に受信されている必要がある。一方、フレーム内符号化では、一般にフレーム間符号化ほど圧縮率は高くないけれども、復号の際に１つ前のフレームを参照する必要はなく、そのフレーム内の情報のみに基づいて復号化することができる。
【０００４】
図７の符号化器１で符号化される画像データは、伝送器２で伝送に適した大きさの情報量となるようにセグメント化し、ヘッダを付加してパケットと呼ばれる単位に整理した後、伝送プロトコルに従って伝送する。伝送プロトコルとして、後述するようなＵＤＰ（User Datagram Protocol）プロトコルを採用すると、ＵＤＰヘッダが付加されてＵＤＰパケットが形成され、伝送路を介して伝送される。
【０００５】
図８は、図７の伝送器２におけるセグメント化およびパケット化の過程を示す。セグメント化とは、あるデータを伝送する際に、データを伝送に適した大きさに分割することである。このセグメント化されたデータに、伝送に必要なヘッダを付加することをパケット化と呼び、図８では連続した画像データを符号化した画像符号化データの１つのフレームに対応するデータがｎ個のセグメントに分割され、さらにＵＤＰヘッダが付加されてＵＤＰパケット化されている。
【０００６】
図９は、図８に示すようにしてＵＤＰパケット化された１からｎ個のＵＤＰパケットを伝送する際の伝送手順を示す。ＵＤＰは、信頼性よりも高速伝送を重視している伝送プロトコルである。ＵＤＰパケットの伝送では、パケットを送るのみで他の処理をしないため、効率の良い伝送を行うことができる。しかしながら、伝送するパケットに誤りが生じた場合でも、パケットの再送は行われない。このようにＵＤＰは、信頼性はないけれども高速でデータの伝送を行うことができるという利点がある。したがって、動画像のデータのようなリアルタイム性が要求されるデータの伝送に向いており、従来方式の画像伝送装置では動画像データの伝送にＵＤＰを伝送プロトコルとして使用している。
【０００７】
図１０は、前述のＵＤＰとともに代表的な伝送プロトコルであるＴＣＰ（
Transmission Control Protocol）に従う伝送手順を示す。ＴＣＰは、信頼性の高い通信を可能にするため、受信側でパケットを受信するたびに、受信パケットに誤りがなければ肯定応答ＡＣＫ信号を送信側へ送り返す。送信側ではＡＣＫが送られてくるのを待って次のパケットを送信する。もし、受信側で受信パケットに誤りがあると判断するときには、否定応答であるＮＡＣＫ信号を送信側に送り返す。図１０では、２番目のＴＣＰパケットの最初の受信で受信パケットに誤りがあり、ＮＡＣＫ信号を返送している。送信側はＴＣＰパケット２を再送し、受信側からＡＣＫ信号が返送されるのを待って次のパケットの送信に移る。ＴＣＰパケット１からＴＣＰパケットｎのｎ個のパケットの伝送が終了するまでの間には、受信側でパケットが誤りなく受信されていることを確認する手順が繰返えされるので、ＴＣＰではデータの伝送の正確さは保証されるけれども、ＵＤＰよりデータの伝送に必要な手順が複雑になり、リアルタイム性が要求されるデータの伝送には比較的不向きとなる。
【０００８】
図１１は、特開平７−９９６６２（特願平５−２４１５２０）で開示されている動画像信号伝送の考え方を示す。この先行技術では、ステップＳ１１で符号化するフレームを取得し、ステップＳ１２で圧縮符号化を行った後に、ステップＳ１３で伝送対象となっている注目フレームを、後続するフレームの参照フレームとして用いるか否かを判断する。後続するフレームの参照フレームとして用いるときには、ステップＳ１４でＴＣＰの伝送プロトコルを用いて伝送する。ステップＳ１３で後続するフレームの参照フレームとして用いられないと判断されるときには、ステップＳ１５でＵＤＰプロトコルを用いて伝送する。ステップＳ１４またはステップＳ１５でフレームの伝送を行った後は、ステップＳ１１に戻り、さらに次のフレームを伝送対象として入力する。
【０００９】
この先行技術では、後続するフレームの参照フレームとはならないフレームを伝送する際に、ＵＤＰを用いる。ＵＤＰを伝送プロトコルとして用いて、画像の品質が劣化したとしても、その影響はそのフレームのみに止どまるので、高速な伝送が可能なＵＤＰを用い、伝送の高速化を図っている。後続するフレームの参照フレームとして用いるフレームについては、ＴＣＰで伝送することによって、後続するフレームへの品質悪化の影響をできるだけ抑制する。この先行技術は、図１１のような伝送プロトコルの使い分けによって、比較的リアルタイム性を維持しつつ、誤りに強い動画像データの伝送を行おうとしている。
【００１０】
図１２は、一連のフレームを順次伝送する場合に、図１１のステップＳ１２の圧縮符号化の段階で、後続するフレームが先行するフレームを参照フレームとして用いれるときにフレーム間符号化を行い、後続するフレームが先行するフレームを参照フレームとして用いれないときにフレーム内符号化を行うときの、画像データのシーケンスの例を示す。１，２，３，５，６，７，９のフレームは、後続する画像の参照フレームとなるので、ＴＣＰを用いて、品質の高い伝送を行う。また４および８のフレームは、後続するフレームがフレーム内符号化によって符号化されているため、後続フレームの参照フレームとはならない。このため、高速な伝送が可能なＵＤＰを伝送プロトコルとして用いて伝送する。
【００１１】
【発明が解決しようとする課題】
従来方式で動画像を伝送する場合に、ＵＤＰを伝送プロトコルとして用いて伝送を行っているけれども、ＵＤＰではデータの伝送が正確に行われることは保証されていないので、フレーム間符号化を用いて作成される符号化データの伝送を行う場合には、後続するフレームの参照データとなる画像の符号化データのパケットで伝送誤りが生じる場合に、後続するフレームを正確に復号することができなくなる欠点がある。
【００１２】
また、特開平７−９９６６２の先行技術では、伝送しようとするフレームが後続するフレームの参照フレームとして用いているか否かを判断基準として伝送方法を切換えている。このため、図１２に示すような順番でフレーム内符号化およびフレーム間符号化が施されている画像シーケンスを伝送する際には、データの伝送に使用する回線の品質に拘わらず、１，２，３，５，６，７，９のフレームがＴＣＰにより伝送され、４および８のフレームはＵＤＰを用いて伝送されることになる。
【００１３】
ここで、通信回線の品質が充分に良好な場合には、符号化されたデータをＵＤＰで伝送したとしても、データが誤る確率は低くなる。しかしながら、特開平７−９９６６２の先行技術のように、伝送手順の複雑なＴＣＰを用いて伝送するようにすると、受信側では伝送エラーの検出や検出結果に従う送信側への返答、送信側では受信側からの返答内容に従う判断などのためのオーバヘッドが大きくなり、状態の良い伝送路を用いても高速なデータ伝送を行うことができない。
【００１４】
本発明の目的は、伝送路の品質に応じて、伝送効率およびエラー耐性を高めることができる画像伝送装置を提供することである。
【００１５】
本発明は、フレーム単位で時間軸方向に連続する動画像を表す画像データを、この画像データの情報量を圧縮して符号化し、伝送路を介してパケットとして伝送する画像伝送装置において、
伝送路を監視し、伝送される情報中に発生する伝送誤りを検出して、伝送路の品質を測定する品質監視手段と、
画像データを、フレーム内符号化方法およびフレーム間符号化方法に従って符号化可能であり、符号化方法を切換え可能な符号化手段と、
符号化手段によって符号化された画像データを、伝送が誤りなく行われるように確認しながら行うＴＣＰおよび伝送後の確認を行わないＵＤＰに従って伝送可能であり、伝送プロトコルを切換え可能な伝送手段と、
品質監視手段によって測定される伝送路の品質が予め定める品質基準よりも良好なとき、ＴＣＰで伝送するのは、フレーム内符号化方法で符号化されたフレームだけとし、品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも悪化しているとき、フレーム内符号化方法で符号化されたフレームだけでなく、フレーム間符号化方法で符号化されたフレームも、ＴＣＰで伝送するように、伝送手段を制御する制御手段とを含むことを特徴とする画像伝送装置である。
【００１６】
本発明に従えば、フレーム単位で時間軸方向に連続する動画像を表す画像データを、この画像データの情報量を圧縮して符号化し、伝送路を介してパケットとして伝送する。符号化手段は、画像データを、フレーム内符号化方法およびフレーム間符号化方法に従って符号化可能であり、符号化方法を切換え可能である。伝送手段は、符号化手段によって符号化された画像データを、伝送が誤りなく行われるように確認しながら行うＴＣＰおよび伝送後の確認を行わないＵＤＰに従って伝送可能であり、伝送プロトコルを切換え可能である。
品質監視手段は、伝送路を監視し、伝送されるパケット中に発生する伝送誤りを検出して伝送路の品質を測定する。制御手段は、品質監視手段によって測定される伝送路の品質が予め定める品質基準よりも良好なとき、ＴＣＰで伝送するのは、フレーム内符号化方法で符号化されたフレームだけとし、品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも悪化しているとき、フレーム内符号化方法で符号化されたフレームだけでなく、フレーム間符号化方法で符号化されたフレームも、ＴＣＰで伝送するように、伝送手段を制御する。したがって伝送路の品質に応じて、伝送効率およびエラー耐性を高めることができる。
【００１７】
また本発明で前記制御手段は、前記品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも良好なとき、前記伝送路の品質が悪化するにつれて、フレーム内符号化方法で符号化されたフレームのうちで、ＴＣＰで伝送するフレームの割合を増やすように、前記伝送手段を制御することを特徴とする。
【００１８】
本発明に従えば、品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも良好なとき、前記伝送路の品質が悪化するにつれて、フレーム内符号化方法で符号化されたフレームのうちで、ＴＣＰで伝送するフレームの割合を増やすように、制御手段によって伝送手段を制御する。これによって画像データの品質の低下させることなく、できるだけ高い伝送効率で、画像データを伝送することができる。
【００１９】
また本発明で前記制御手段は、前記品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも悪化しているとき、前記伝送路の品質が悪化するにつれて、フレーム間符号化方法で符号化されたフレームのうちで、ＴＣＰで伝送するフレームの割合を増やすように、前記伝送手段を制御することを特徴とする。
【００２０】
本発明に従えば、品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも悪化しているとき、前記伝送路の品質が悪化するにつれて、フレーム間符号化方法で符号化されたフレームのうちで、ＴＣＰで伝送するフレームの割合を増やすように、制御手段によって伝送手段を制御する。これによって画像データの品質の低下させることなく、できるだけ高い伝送効率で、画像データを伝送することができる。
【００２１】
また本発明で前記制御手段は、前記品質監視手段によって測定される伝送路の品質が悪化するにつれて、フレーム内符号化方法で符号化するフレームの割合を増やすように、前記符号化手段を制御することを特徴とする。
【００２２】
本発明に従えば、品質監視手段によって測定される伝送路の品質が悪化するにつれて、フレーム内符号化方法で符号化するフレームの割合を増やすように、制御手段によって符号化手段を制御する。これによって伝送路の品質が良好なときには、圧縮率を高めて伝送効率を高めることができ、また伝送路の品質が悪化しているときには、エラー耐性を高くすることができる。
【００２３】
また本発明で前記制御手段は、前記品質監視手段によって測定される伝送路の品質が悪化するにつれて、パケットサイズを小さくするように、前記伝送手段を制御することを特徴とする。
【００２４】
本発明に従えば、品質監視手段によって測定される伝送路の品質が悪化するにつれて、パケットサイズを小さくするように、制御手段によって伝送手段を制御する。これによって伝送路の品質が良好なときには、パケットサイズを大きくして伝送効率を高めることができ、また伝送路の品質が悪化しているときには、パケットサイズを小さくして誤りが生じる可能性を少なくして確実な画像データの伝送を行うことができる。
【００２５】
また本発明で前記品質監視手段によって測定される伝送路の品質に応じた伝送プロトコルの切換え制御を無効にするための無効入力手段をさらに含み、
前記制御手段は、無効入力手段に前記切換え制御を無効にする入力が行われると、前記伝送路の品質に応じた伝送プロトコルの切換え制御を行わないことを特徴とする。
【００２６】
本発明に従えば、品質監視手段によって測定される伝送路の品質に応じた伝送プロトコルの切換え制御を無効にするための無効入力手段に、前記切換え制御を無効にする入力を行えば、制御手段は、前記伝送路の品質に応じた伝送プロトコルの切換え制御を行わない。したがって予め設定される伝送プロトコルで伝送を続けることができる。これによって従来方法との互換性を保つことができる。また前記伝送路の品質が時間的に変動する場合などで、前記切換え制御が頻繁に行われて、かえってオーバヘッドによる伝送効率の低下が生じる事態を避けることができる。
【００２７】
また本発明は、前記画像伝送装置として、コンピュータを機能させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。
【００２８】
本発明に従えば、伝送路の品質に応じて伝送プロトコルを切換え、伝送効率が高くかつエラー耐性に優れる画像伝送装置を、コンピュータを用いて実現することができる。
【００３１】
【発明の実施の形態】
図１は、本発明の実施の一形態としての画像伝送装置１０の概略的な電気的構成を示す。画像伝送装置１０には、画像データの符号化を行う符号化部１１と、符号化部１１で符号化された符号化データをパケット化する伝送部１２とを含み、動画像の画像データを伝送路１５を介して連続的に伝送することができる。本実施形態の画像伝送装置１０は、伝送路１５の品質を監視するエラー監視部１６と、エラー監視部１６によって検出される伝送誤りに従って、符号化方法および伝送方法を制御する符号化・伝送制御部１７とをさらに含む。符号化・伝送制御部１７で符号化方法を切換える際には、符号化部１１内に設けられるフレーム内符号化手段２１と、フレーム間符号化手段２２とを切換える。符号化・伝送制御部１７が伝送方法の切換えを行う際には、伝送プロトコルの切換えを伝送部１２内に設けられるＵＤＰパケット化器３１およびＴＣＰパケット化器３２の選択で行い、また合わせてパケットサイズの切換えも行う。なお、ユーザ入力部４０では、符号化・伝送制御部１７の制御を無効にする操作を入力することもできる。また伝送路１５は、有線の専用回線や公衆電話回線、無線のＰＨＳ（Personal Handyphone System）回線などを使用することができる。
【００３２】
図１のエラー監視部１６では、伝送路１５から受信されるパケットのヘッダ情報に含まれるチェックサムを利用して、受信したパケットに誤りが発生しているか否かを検査する。正常に受信することができたパケットに含まれるデータの総ビット数をＮ_CORRECTとし、誤りがあったパケットに含まれているデータの総ビット数をＮ_ERRORとし、これらを別個に加算しておく。次に誤りがあったパケットに含まれていたデータの総ビット数Ｎ_ERRORを、受信したパケットに含まれていたデータの総ビット数（Ｎ_CORRECT＋Ｎ_ERROR）で除算することによって、誤り率を求め、その値を伝送路１５の回線としての品質の測定値とする。
【００３３】
符号化・伝送制御部１７では、エラー監視部１６から誤り率の測定値を取得し、予め設定される品質基準値である閾値と比較することによって、現在の誤り率に対して最適な符号化方法、伝送プロトコルおよびパケットサイズを求める。符号化・伝送制御部１７は、求められた符号化方法に切換えるために、符号化部１１に対して切換えを示す制御信号を与える。また符号化・伝送制御部１７は、伝送部１２に対して、決定された伝送プロトコルおよびパケットサイズに切換えるための制御信号を与える。
【００３４】
図２は、図１の符号化・伝送制御部１７での処理の流れを示す。ステップａ０から動作を開始し、ステップａ１では、エラー監視部１６から、伝送路１５の品質を表す回線品質に対応する誤り率を取得する。ステップａ２では、取得された回線品質に基づいて、何フレームに１回というように、フレーム内符号化を適用するフレーム数を算出する。ステップａ３では、ステップａ２で算出された間隔毎に符号化部１１に対してフレーム内符号化を行うような制御信号を与える。
【００３５】
図３は、誤り率とフレーム内符号化を適用するフレームの数との対応関係を示す。フレーム内符号化を施すと、データの圧縮率は低下するけれども、エラー耐性は大きくなるので、誤り率が大きく回線品質が悪化しているときにはフレーム内符号化の割合を大きくする。誤り率が低い場合には、図３（１）のようにフレーム内符号化を施すフレームの数を少なくし、フレーム間符号化を施すフレームの割合を増やして、伝送速度を高め、効率的な伝送が可能となるようにする。図３（２）から（３）にかけては、誤り率の増加に伴い、フレーム内符号化を適用するフレームの数を増やして、画像のリフレッシュを頻繁に行うことで、復元画像の劣化を防ぐ。
【００３６】
図２のステップａ１でフレーム内符号化を行った後、またはステップａ３でフレーム内符号化を行わない、すなわちフレーム間符号化のままとする制御を行った後は、ステップａ６に移る。ステップａ６では、ステップａ１で取得した誤り率と、予め設定される閾値とを比較することによって、どのフレームでＴＣＰを伝送プロトコルとして伝送するべきか算出し、ＴＣＰで伝送するフレームを決定する。ステップａ６では、現在伝送しようとするフレームは、ステップａ５で決定されたＴＣＰで伝送するフレームであるか否かを判断する。ＴＣＰで伝送するフレームであると判断されるときには、ステップａ７で伝送部１２に対してＴＣＰパケット化器３２を選択するような制御信号を与えて、伝送方法の指示を行う。ステップａ６で現在伝送しようとするフレームがＴＣＰで伝送するフレームではないと判断されるときには、伝送部１２に対する伝送方法の指示を行わず、伝送部１２ではＵＤＰパケット化器３１を選択したままの状態とする。
【００３７】
図４は、図３（１）に示すように符号化されている画像データを、誤り率に応じてＵＤＰのプロトコルに従って伝送するかＴＣＰのプロトコルに従って伝送するかを変化させる状態を示す。誤り率が充分に低い場合には、図４（１）に示すように、すべてのフレームの伝送にＵＤＰを伝送プロトコルとして使用する。誤り率が増加してくる際には、まずフレーム内符号化されたデータを伝送する際にＴＣＰの伝送プロトコルを使用するように、図４（２）や（３）に示すように、ＴＣＰの伝送プロトコルを用いて伝送するフレームを増やしていく。さらに誤り率が増加すると、フレーム間符号化のデータを伝送する際にも、ＴＣＰを用いるように、図４（４）から（５）に示すように、ＴＣＰを用いる割合を増やしていき、最終的には全てのフレームの伝送にＴＣＰを伝送プロトコルとして用いるような制御を行う。最終的には図４（６）に示すように、すべてのフレームの伝送にＴＣＰを伝送プロトコルとして用いるようになる。
【００３８】
図２のステップａ７で伝送方法をＴＣＰに切換えた後、またはステップａ６でＴＣＰへの切換えを行わずにＵＤＰで伝送すると判断された後は、ステップａ８に移り、ステップａ１で取得された誤り率に基づき、最適なパケット長を計算する。次にステップａ９で、伝送部１２に、ステップａ８で計算されたパケット長に基づいてパケットサイズを指示する。ステップａ１０では、伝送する画像データがさらに存在するか否かを判断する。さらに存在するときにはステップａ１に戻り、以上説明した手順を繰返す。伝送する画像がもう無いと判断されるときには、ステップａ１１で処理を終了する。
【００３９】
図１の符号化・伝送制御部１７では、以下に説明するような方法で符号化方法、伝送プロトコルおよびパケットサイズの決定を行う。符号化方法としては、符号化部１１が備えるフレーム内符号化手段２１によるフレーム内符号化と、フレーム間符号化手段２２によるフレーム間符号化とが選択可能である。符号化部１１では、通常はフレーム間符号化手段２２を用いてフレーム間符号化を行う。符号化・伝送制御部１７では、後述する第１式に基づいて、何フレーム毎にフレーム内符号化を適用するのかを決定し、フレーム内符号化手段２１に切換える指示を符号化部１１に対して与える。
【００４０】
図２のステップａ２で、フレーム内符号化を適用するフレームの数の算出は次のように行う。まず、先にフレーム内符号化が適用されてから、次にフレーム内符号化が適用されるまでのフレームの最大数をＮとする。このＮの値は、ユーザ入力部４０などを介して、ユーザによって任意の値に設定が可能であり、Ｎの値が小さいほど画質が重視され、大きいほど伝送効率が重視されることになる。ついで、実際にフレーム内符号化が適用されてから、次ぎにフレーム内符号化が適用されるまでのフレーム数をｎ（１≦ｎ≦Ｎ）とし、ｎ枚毎にフレーム内符号化を適用するための品質基準値として使用する誤り率の閾値をＴｈ_n とする。このとき、閾値Ｔｈ_n の値は、次の第１式によって定められる。
【００４１】
【数１】

【００４２】
第１式で、ＥｒｒｏｒＲａｔｅは、伝送路１５として利用する通信回線の誤り率を表す。無線電波を図１の伝送路１５とする通信環境では、１０^-3程度の誤り率はかなり悪いと考えられるため、この値が最大となるように、デフォルトでは１０^-4に設定されるけれども、ユーザによって任意の値に設定可能とする。
【００４３】
ここで、Ｎの値を１０とすると、先にフレーム内符号化が適用されてから次にフレーム内符号化が適用されるまでのフレームの最大数は１０となり、実際にフレーム内符号化が適用されてから、次にフレーム内符号化が適用されるまでのフレーム数ｎは１から１０までの値とすることができる。また、誤り率の閾値Ｔｈの値は、Ｎ個（１０個）存在することになるので、Ｔｈ₁からＴｈ₁₀まで存在することになる。次の表１は、Ｎ＝１０のときに、上述の第１式を利用して算出するＴｈ₁からＴｈ₁₀までの値を示す。
【００４４】
【表１】

【００４５】
表１に示す閾値Ｔｈ₁からＴｈ₁₀までの値と、誤り率とを比較し、Ｔｈ_n≦誤り率＜Ｔｈ_n-1となるｎを探し、そのｎフレーム毎にフレーム内符号化を適用する制御を符号化部１１に対して行う。このとき、ｎ＝１であれば、Ｔｈ_n-1はＴｈ₀となるけれども、この時のＴｈ₀はＴｈ₀＝１とする。
【００４６】
図５は、フレーム内符号化を適用するフレームの決定のための処理の流れを示す。まずステップｂ０から処理を開始し、ステップｂ１では、エラー監視部１６から伝送路の品質を表す誤り率を取得する。次にステップｂ２で、フレーム内符号化が適用されてから、次にフレーム内符号化が適用されるまでのフレーム数としてのパラメータｎの初期値を１に設定する。ここで、ｎが１であるということは、各フレーム毎にフレーム内符号化が適用されていることを表す。すなわちフレーム間符号化は適用されないということでもある。
【００４７】
ステップｂ３では、表１の閾値Ｔｈ_n≦誤り率＜Ｔｈ_n-1の条件を満たすか否かの判定を行う。条件を満たされなかった場合には、ステップｂ４でパラメータｎの値に１を加え、条件が満たされるまでステップｂ３の判定を繰返す。ステップｂ３で条件が満たされると判定される場合は、ステップｂ５に移り、そのときのパラメータｎの値を、フレーム内符号化が適用されるまでのフレーム数として決定し、ｎ枚毎にフレーム内符号化を適用する。ステップｂ６で処理を終了する。
【００４８】
次に、図２のステップａ５で行う伝送方法の決定処理を説明する。伝送方法としては、ＵＤＰおよびＴＣＰの伝送プロトコルを伝送部１２で切換えることができる。伝送部１２では、通常はＵＤＰパケット化器３１を用い、符号化データの伝送を行う。符号化・伝送制御部１７からの制御信号で切換えの指示が行われる場合には、ＴＣＰパケット化器３２を用いて符号化データの伝送を行うように切換える。符号化・伝送制御部１７では、どのフレームをＴＣＰを用いて伝送するのかを、ステップａ２で、伝送路１５の誤り率を参照して決定しており、ＴＣＰを伝送プロトコルとして使用して符号化データの伝送を行う指示を、制御信号として伝送部１２に対して与える。このときに、誤り率が低ければフレーム内符号化で符号化されたフレームの伝送のみに、ＴＣＰを使用する。誤り率が高い場合には、フレーム間符号化で符号化されたフレームの伝送に対しても、ＴＣＰを使用する。
【００４９】
ＴＣＰを伝送プロトコルとして伝送するフレームは、次のような処理によって決定される。まず、フレーム間符号化で符号化されたフレームを伝送する際に、ＴＣＰを伝送プロトコルとして適用するか否かの判定用の閾値として利用する誤り率を、Ｔｈ_INTERとする。このＴｈ_INTERは、デフォルトではＥｒｒｏｒＲａｔｅ／２に設定される。ユーザが、図１のユーザ入力部４０を用いて、任意の値に設定することも可能とする。Ｔｈ_INTERの値は、大きく設定すると伝送効率が重視され、小さく設定すると画質が重視される。
【００５０】
誤り率との比較で、Ｔｈ_INTER＞誤り率の場合には、フレーム内符号化で符号化されたフレームの伝送のみにＴＣＰを伝送プロトコルとして使用する。Ｔｈ_INTER≦誤り率の場合には、フレーム内符号化で符号化されたフレームの伝送のみでなく、フレーム間符号化で符号化されたフレームの伝送に対してもＴＣＰを伝送プロトコルとして使用する。この場合は、フレーム内符号化で符号化されたフレームはすべてＴＣＰを伝送プロトコルとして伝送される。
【００５１】
Ｔｈ_INTER＞誤り率の場合に、フレーム内符号化で符号化されたフレームの伝送にＴＣＰを使用するけれども、そのＴＣＰを伝送プロトコルとして適用するフレームの決定は次のようにして行う。まず、ＴＣＰで伝送するフレーム内符号化のフレームから、次にＴＣＰで伝送するフレーム内符号化フレームまでのフレーム内符号化フレームの最大数をＡとする。このＡの値は、図１のユーザ入力部４０を介してユーザから任意の値に設定することが可能である。次に、実際にＴＣＰで伝送するフレーム内符号化のフレームから、次にＴＣＰで伝送されるフレーム内符号化フレームまでのフレーム内符号化フレームの数をａ（１≦ａ≦Ａ）とし、ａ枚毎にＴＣＰを適用する際の閾値となる誤り率をＩＮＴＲＡ_aとする。このとき、ＩＮＴＲＡ_aは、次の第２式によって決定される。
【００５２】
【数２】

【００５３】
ここで、Ａの値を５とすると、フレーム内符号化フレームがＴＣＰで伝送されてから、次にフレーム内符号化フレームがＴＣＰで伝送されるまでに最大５枚のフレーム内符号化フレームが存在することになる。実際にＴＣＰで伝送するフレーム内符号化のフレームから、次にＴＣＰで伝送されるフレーム内符号化フレームまでのフレーム内符号化フレームの数ａは１から５までの値を取ることができる。また、ＩＮＴＲＡ_aの値は、Ａ個（５個）存在することになるので、ＩＮＴＲＡ₁からＩＮＴＲＡ₅まで存在する。次の表２は、Ａ＝５のときに、上述の第２式を利用して算出するＩＮＴＲＡ₁からＩＮＴＲＡ₅までの値を示す。
【００５４】
【表２】

【００５５】
図６は、以上述べた場合で、ＴＣＰを伝送プロトコルとして適用するフレームの決定を行う処理の流れを示す。ステップｃ０から処理を開始し、まずステップｃ１では、エラー監視部１６から誤り率を伝送路１５の品質を示すデータとして取得する。次にステップｃ２で、フレーム内符号化で符号化されたフレームのみにＴＣＰを適用するか、フレーム間符号化で符号化されたフレームの伝送に対してもＴＣＰを適用するかの判定を行う。このときフレーム内符号化で符号化されたフレームのみＴＣＰで伝送するためには、Ｔｈ_INTER＞誤り率の条件が満たされる必要がある。
【００５６】
ステップｃ２で条件が満たされるときには、ステップｃ３に進み、ＴＣＰで伝送するフレーム内符号化のフレームから、次にＴＣＰで伝送されるフレーム内符号化フレームまでのフレーム内符号化フレームの数を示すパラメータａの初期値を１とする。ここで、パラメータａが１であるということは、フレーム内符号化のフレームをすべてＴＣＰを使用して伝送することを意味する。次にステップｃ４で、ＩＮＴＲＡ_a≦誤り率＜ＩＮＴＲＡ_a-1の条件を満たしているか否かの判定を行う。条件が満たされない場合は、ステップｃ５でパラメータａの値に１を加え、条件が満たされるまでステップｃ４の判定を繰返す。ステップｃ４で条件が満たされる場合は、ステップｃ６でそのときのパラメータａの値を、ＴＣＰで伝送するフレーム内符号化フレームから、次にＴＣＰで伝送されるフレーム内符号化フレームまでのフレーム数として決定する。
【００５７】
次にステップｃ２の条件が満たされずに、Ｔｈ_INTER≦誤り率の場合、フレーム内符号化で符号化されたフレームの伝送に対してだけでなく、フレーム間符号化で符号化されたフレームの伝送にもＴＣＰを使用する場合に、ＴＣＰの適用フレームの決定方法を説明する。ステップｃ２の条件が満たされないときには、ステップｃ７に進み、実際にＴＣＰで伝送するフレーム間符号化フレームの数をパラメータｂで表す。フレーム内符号化が適用されてから次にフレーム内符号化が適用されるまでのフレーム数をパラメータｎとする。次に、フレーム内符号化が適用されてから次のフレーム内符号化が適用されるまでのフレーム間符号化フレームの数をＢとすると、Ｂ＝ｎ−１となるので、符号化方法の決定処理でｎの値が決まるとＢの値も決まる。ついで、実際にＴＣＰで伝送するフレーム間符号化フレームのフレーム数ｂは１≦ｂ≦Ｂとなり、ｂ毎のフレーム間符号化を適用するための判定用の基準値として使用する誤り率をＩＮＴＥＲ_bとする。ＩＮＴＥＲ_bは、次の第３式によって決定される。
【００５８】
【数３】

【００５９】
ここで、符号化方法の決定処理で、ｎの値が６に決定された場合を想定する。Ｂの値はｎ−１枚（５枚）に決まり、実際にＴＣＰで伝送するフレーム間符号化フレームのフレーム数ｂは１から５まで取ることができる。また、ＩＮＴＥＲ_bの値はＢ個（５個）存在することになるので、ＩＮＴＥＲ₁からＩＮＴＥＲ₅まで存在する。前述の表２の下半分には、第３式を利用して算出したＩＮＴＥＲ₁からＩＮＴＥＲ₅までの値を示している。この値と誤り率とを比較し、ＩＮＴＥＲ_b≦誤り率＜ＩＮＴＥＲ_b+1となるｂを探し、フレーム間符号化フレームを伝送する際にｂ枚のフレームの伝送にＴＣＰを使用する指示を伝送部１２に対して制御信号として与える。このとき、ｂ＝Ｂのときには、ＩＮＴＥＲ_b+1＝ＩＮＴＥＲ_B+1＝１とする。
【００６０】
図６では、上述したような場合におけるＴＣＰを適用するフレームの決定処理の流れも示している。ステップｃ２でＴｈ_INTER≦誤り率となると、ステップｃ７に進む。ステップｃ７では、実際にＴＣＰで伝送するフレーム間符号化フレーム数を示すパラメータｂの初期値を１とする。ここでパラメータｂが１であることは、フレーム内符号化フレームの次のフレーム内符号化フレームで挟まれるフレーム間符号化フレームのうち、一番前のフレームの符号化フレームに近いフレームのみをＴＣＰを伝送プロトコルとして伝送することを示す。
【００６１】
次にステップｃ８で、ＩＮＴＥＲ_b≦誤り率＜ＩＮＴＥＲ_b+1の条件を満たしているか否かの判定を行う。条件が満たされないときには、ステップｃ９でパラメータｂの値に１を加え、条件が満たされるまでステップｃ８の判定を繰返す。条件が満たされる場合は、ステップｃ１０で、そのときのパラメータｂの値を、実際にＴＣＰで伝送するフレーム間符号化フレーム数として決定する。この場合、一番前のフレーム内符号化フレームに近いフレームから、順次ＴＣＰで伝送される。
【００６２】
ステップｃ６またはステップｃ１０の処理が終了すると、ステップｃ１１に移り、全体的な決定処理も終了する。
【００６３】
次に図２のステップａ８でのパケット長の計算では、パケットサイズとして、エラー監視部１６で求められる誤り率の逆数に０．９の値を乗算した値としてパケットサイズを設定する。すなわち、誤りが１つ生じる可能性があるパケットサイズの９０％の大きさにパケット長を設定する。誤り率が小さいときには、大きなパケットサイズで画像データの伝送を行うことができ、伝送効率を高めることができる。誤り率が大きいときには、パケットサイズを小さくし、誤りが生じる可能性を少なくして確実な画像データの伝送を行う。
【００６４】
なお、図１のユーザ入力部４０への入力で、切換え無効指示も行うことができる。図１の符号化・伝送制御部１７は、ユーザ入力部４０から切換え無効を示す操作が入力されると、エラー監視部１６からの伝送誤り率のデータを一定値に固定する動作を行い、伝送路１５の品質が変動するようなときであっても、切換え制御を行わずに、オーバヘッドを避けて伝送効率を高めることができる。また、伝送路１５を介して画像データの伝送を行う相手側が、従来の方式で伝送を行う場合にも、切換え制御を無効にすることによって対応させることができる。
【００６５】
なお、画像伝送装置１０は、専用のハードウェアによって構成することもできるけれども、パーソナルコンピュータやワークステーション、あるいはＰＤＡなどの携帯用情報処理装置に、記録媒体に記録させたプログラムを読込ませて、コンピュータのプログラム動作としてその機能を実現させることもできる。
【００６６】
【発明の効果】
以上のように本発明によれば、品質監視手段によって測定される伝送路の品質が予め定める品質基準よりも良好なとき、ＴＣＰで伝送するのは、フレーム内符号化方法で符号化されたフレームだけとし、品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも悪化しているとき、フレーム内符号化方法で符号化されたフレームだけでなく、フレーム間符号化方法で符号化されたフレームも、ＴＣＰで伝送するように、制御手段によって伝送手段を制御する。したがって伝送路の品質に応じて、伝送効率およびエラー耐性を高めることができる。
【００６７】
また本発明によれば、品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも良好なとき、前記伝送路の品質が悪化するにつれて、フレーム内符号化方法で符号化されたフレームのうちで、ＴＣＰで伝送するフレームの割合を増やすように、制御手段によって伝送手段を制御するので、画像データの品質の低下させることなく、できるだけ高い伝送効率で、画像データを伝送することができる。
【００６８】
また本発明によれば、品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも悪化しているとき、前記伝送路の品質が悪化するにつれて、フレーム間符号化方法で符号化されたフレームのうちで、ＴＣＰで伝送するフレームの割合を増やすように、制御手段によって伝送手段を制御するので、画像データの品質の低下させることなく、できるだけ高い伝送効率で、画像データを伝送することができる。
【００６９】
また本発明によれば、品質監視手段によって測定される伝送路の品質が悪化するにつれて、フレーム内符号化方法で符号化するフレームの割合を増やすように、制御手段によって符号化手段を制御する。これによって伝送路の品質が良好なときには、圧縮率を高めて伝送効率を高めることができ、また伝送路の品質が悪化しているときには、エラー耐性を高くすることができる。
【００７０】
また本発明によれば、品質監視手段によって測定される伝送路の品質が悪化するにつれて、パケットサイズを小さくするように、制御手段によって伝送手段を制御する。これによって伝送路の品質が良好なときには、パケットサイズを大きくして伝送効率を高めることができ、また伝送路の品質が悪化しているときには、パケットサイズを小さくして誤りが生じる可能性を少なくして確実な画像データの伝送を行うことができる。
【００７１】
また本発明によれば、品質監視手段によって測定される伝送路の品質に応じた伝送プロトコルの切換え制御を無効にするための無効入力手段に、前記切換え制御を無効にする入力を行うことによって、従来方法との互換性を保ったり、伝送路の品質が時間的に変動する場合のオーバヘッドによる伝送効率の低下を避けたりすることができる。
【００７２】
また本発明によれば、伝送路の品質に応じて伝送プロトコルを切換え、伝送効率が高くかつエラー耐性に優れる画像伝送装置を、コンピュータを用いて実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の画像伝送装置１０の概略的な電気的構成を示すブロック図である。
【図２】図１の符号化・伝送制御部１７の処理の流れを示すフローチャートである。
【図３】図１の伝送路１５の品質に応じてフレーム内符号化とフレーム間符号化との割合を変える状態を示す図である。
【図４】図１の伝送路１５の品質に応じてＵＤＰおよびＴＣＰを伝送プロトコルとして切換え状態を示す図である。
【図５】図２のステップａ２でフレーム内符号化を適用するフレーム数を算出する処理の流れを示すフローチャートである。
【図６】図２のステップａ５でＴＣＰで伝送するフレームを決定す処理の流れを示すフローチャートである。
【図７】従来からの基本的な画像で転送装置の基本的な電気的構成を示すブロック図である。
【図８】図１の伝送器２でＵＤＰパケットが形成される状態を示す図である。
【図９】図７の伝送器２からＵＤＰパケットが送信される手順を示す図である。
【図１０】従来からのＴＣＰパケットの送信手順を示す図である。
【図１１】先行技術の動画像データの伝送処理の流れを示すフローチャートである。
【図１２】図１１の手順によって伝送される画像シーケンスの例を示す図である。
【符号の説明】
１０画像伝送装置
１１符号化部
１２伝送部
１５伝送路
１６エラー監視部
１７符号化・伝送制御部
２１フレーム内符号化手段
２２フレーム間符号化手段
３１ＵＤＰパケット化器
３２ＴＣＰパケット化器
４０ユーザ入力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image transmission apparatus that transmits image data via a transmission path that may cause a transmission error.
[0002]
[Prior art]
FIG. 7 shows a basic configuration of a conventional image transmission apparatus. In the conventional image transmission apparatus, first, image data is encoded and compressed by the encoder 1. The image data has a considerably large amount of information and has a considerable transmission capability when transmitted as it is, and it is difficult to increase the transmission speed. When using a public telephone line as a transmission line, the frequency band of the transmission line is limited and often insufficient. On the other hand, when it is necessary to transmit a moving image as image data, a high transmission speed is also required. For this reason, the image data is subjected to processing for compressing the amount of information in the encoder 1.
[0003]
In the image data of moving images, images that change in the time axis direction are generally formed sequentially in units of frames. When the encoder 1 performs compression encoding of a moving image, inter-frame encoding in which compression encoding is performed using correlation information between two consecutive frames, and only information in one frame is stored. There is intra-frame coding that uses compression coding. As a property of moving images, generally, inter-frame coding can obtain a higher compression rate than intra-frame coding. However, in order to correctly decode the frame encoded by the interframe encoding method on the receiving side, the previous frame referred to when encoding is received correctly on the receiving side. Need to be. On the other hand, in intra-frame coding, although the compression rate is generally not as high as inter-frame coding, it is not necessary to refer to the previous frame at the time of decoding, and decoding is based only on information in that frame. Can do.
[0004]
The image data encoded by the encoder 1 in FIG. 7 is segmented so that the amount of information is suitable for transmission by the transmitter 2, and after adding a header and organizing it into units called packets, Transmit according to the transmission protocol. When a UDP (User Datagram Protocol) protocol, which will be described later, is adopted as a transmission protocol, a UDP header is added to form a UDP packet, which is transmitted via a transmission path.
[0005]
FIG. 8 shows the segmentation and packetization process in the transmitter 2 of FIG. Segmentation refers to dividing data into a size suitable for transmission when transmitting certain data. Adding a header necessary for transmission to this segmented data is called packetization. In FIG. 8, there are n pieces of data corresponding to one frame of image encoded data obtained by encoding continuous image data. It is divided into segments, and further a UDP header is added to form a UDP packet.
[0006]
FIG. 9 shows a transmission procedure when 1 to n UDP packets converted into UDP packets as shown in FIG. 8 are transmitted. UDP is a transmission protocol in which high-speed transmission is more important than reliability. In the UDP packet transmission, only the packet is sent and no other processing is performed, so that efficient transmission can be performed. However, even if an error occurs in the transmitted packet, the packet is not retransmitted. Thus, UDP has an advantage that data can be transmitted at a high speed although it is not reliable. Therefore, it is suitable for transmission of data that requires real-time properties such as moving image data, and a conventional image transmission apparatus uses UDP as a transmission protocol for transmission of moving image data.
[0007]
FIG. 10 shows a typical transmission protocol, TCP (
The transmission procedure according to Transmission Control Protocol is shown. In order to enable highly reliable communication, TCP sends an acknowledgment ACK signal back to the transmission side every time a packet is received on the reception side if there is no error in the received packet. The transmission side waits for the ACK to be sent and transmits the next packet. If the receiving side determines that there is an error in the received packet, a NACK signal that is a negative response is sent back to the transmitting side. In FIG. 10, there is an error in the received packet at the first reception of the second TCP packet, and a NACK signal is returned. The transmission side retransmits the TCP packet 2 and waits for an ACK signal to be returned from the reception side before proceeding to transmission of the next packet. Until the transmission of n packets from TCP packet 1 to TCP packet n is completed, the procedure for confirming that the packet has been received without error is repeated on the receiving side. Although the accuracy of transmission is guaranteed, the procedure required for data transmission is more complicated than UDP, and it is relatively unsuitable for data transmission requiring real-time performance.
[0008]
FIG. 11 shows the concept of moving image signal transmission disclosed in Japanese Patent Application Laid-Open No. 7-99662 (Japanese Patent Application No. 5-241520). In this prior art, after acquiring the frame to be encoded in step S11, performing compression encoding in step S12, whether or not to use the target frame to be transmitted in step S13 as a reference frame for the subsequent frame. Determine whether. When the frame is used as a reference frame for subsequent frames, it is transmitted using a TCP transmission protocol in step S14. If it is determined in step S13 that it will not be used as a reference frame for subsequent frames, it is transmitted using the UDP protocol in step S15. After transmitting the frame in step S14 or step S15, the process returns to step S11, and the next frame is further input as a transmission target.
[0009]
In this prior art, UDP is used when transmitting a frame that is not a reference frame of a subsequent frame. Even if the quality of the image is degraded by using UDP as a transmission protocol, the effect is limited only to the frame. Therefore, UDP capable of high-speed transmission is used to increase the transmission speed. A frame used as a reference frame for subsequent frames is transmitted by TCP, thereby suppressing the influence of quality deterioration on the subsequent frames as much as possible. This prior art attempts to transmit moving image data that is resistant to errors while maintaining a relatively real-time property by properly using a transmission protocol as shown in FIG.
[0010]
FIG. 12 shows a case where a series of frames are sequentially transmitted, and inter-frame encoding is performed when a preceding frame is used as a reference frame in the compression encoding stage of step S12 in FIG. An example of a sequence of image data when performing intraframe coding when a preceding frame is not used as a reference frame is shown. Since

frames

1, 2, 3, 5, 6, 7, and 9 serve as reference frames for subsequent images, high-quality transmission is performed using TCP. The

frames

4 and 8 are not reference frames of the subsequent frames because the subsequent frames are encoded by intraframe encoding. For this reason, transmission is performed using UDP capable of high-speed transmission as a transmission protocol.
[0011]
[Problems to be solved by the invention]
When moving images are transmitted using the conventional method, transmission is performed using UDP as a transmission protocol. However, since UDP does not guarantee that data transmission is performed accurately, inter-frame coding is used. When transmitting the encoded data to be created, if a transmission error occurs in the encoded data packet of the image serving as reference data for the subsequent frame, the subsequent frame cannot be accurately decoded. There is.
[0012]
In the prior art disclosed in Japanese Patent Laid-Open No. 7-99662, the transmission method is switched based on whether or not the frame to be transmitted is used as a reference frame for the subsequent frame. For this reason, when transmitting an image sequence that has been subjected to intraframe coding and interframe coding in the order shown in FIG. 12, regardless of the quality of the line used for data transmission, , 3, 5, 6, 7, and 9 are transmitted by TCP, and frames 4 and 8 are transmitted by using UDP.
[0013]
Here, when the quality of the communication line is sufficiently good, even if the encoded data is transmitted by UDP, the probability that the data is erroneous is low. However, if transmission is performed using TCP having a complicated transmission procedure as in the prior art of JP-A-7-99662, the reception side detects a transmission error and returns a response to the transmission side according to the detection result. The overhead for judging according to the response contents from the side becomes large, and high-speed data transmission cannot be performed even if a transmission path with good condition is used.
[0014]
An object of the present invention is to provide an image transmission apparatus capable of enhancing transmission efficiency and error resistance according to the quality of a transmission path.
[0015]
  The present inventionImage data representing moving images that are continuous in the time axis in units of framesIn an image transmission apparatus that compresses and encodes the amount of information of image data and transmits it as a packet via a transmission path,
  Quality monitoring means for monitoring the transmission line, detecting transmission errors occurring in the transmitted information, and measuring the quality of the transmission line;
  Image dataT,Intraframe encoding method and interframe encoding methodAccording toCodingPossibleThe coding method can be switched.Encoding means;
  Encoded by the encoding meansTheImage dataIn accordance with TCP performed while confirming that transmission is performed without error and UDP without confirmation after transmissionTransmission possibleThe transmission protocol can be switchedTransmission means,
  Transmission line quality measured by quality monitoring meansIs better than a predetermined quality standard, TCP transmits only frames encoded by the intra-frame coding method, and the quality of the transmission path measured by the quality monitoring means is higher than the predetermined quality standard. The transmission means to transmit not only the frame encoded by the intra-frame encoding method but also the frame encoded by the inter-frame encoding method.And an image transmission device including control means for controlling the image transmission device.
[0016]
  According to the present invention,Image data representing a moving image continuous in the time axis direction in frame units is encoded by compressing the information amount of the image data, and transmitted as a packet via a transmission path.The encoding means is image data.T,Intraframe encoding method and interframe encoding methodAccording toCodingIs possibleThe encoding method can be switchedThe The transmission means is encoded by the encoding means.TheImage dataTransmission can be performed according to TCP performed while confirming that transmission is performed without error and UDP without confirmation after transmission, and the transmission protocol is switched.Is possible.
  The quality monitoring means monitors the transmission line, detects a transmission error occurring in the transmitted packet, and measures the quality of the transmission line. The control means is the quality of the transmission line measured by the quality monitoring means.Is better than a predetermined quality standard, TCP transmits only frames encoded by the intra-frame coding method, and the quality of the transmission path measured by the quality monitoring means is higher than the predetermined quality standard. When the transmission rate is also deteriorated, the transmission means is controlled so that not only the frame encoded by the intraframe encoding method but also the frame encoded by the interframe encoding method is transmitted by TCP. Therefore, increase transmission efficiency and error tolerance according to the quality of the transmission path.be able to.
[0017]
  In the present invention,When the quality of the transmission path measured by the quality monitoring means is better than the predetermined quality standard, the control means can improve the quality of the frame encoded by the intraframe encoding method as the quality of the transmission path deteriorates. Control the transmission means to increase the rate of frames transmitted by TCPIt is characterized by that.
[0018]
  According to the present invention,When the quality of the transmission path measured by the quality monitoring means is better than the predetermined quality standard, the TCP is selected from among the frames encoded by the intra-frame encoding method as the quality of the transmission path deteriorates. The transmission means is controlled by the control means so as to increase the proportion of frames to be transmitted. This allows image data to be transmitted with the highest possible transmission efficiency without degrading the quality of the image data.be able to.
[0019]
  Further, in the present invention, the control means has a transmission line quality measured by the quality monitoring means.AboveThan predetermined quality standardsWhen the transmission path quality deteriorates, the transmission means is configured to increase a ratio of frames transmitted by TCP among frames encoded by the interframe coding method.It is characterized by controlling.
[0020]
  According to the present invention, the quality of the transmission path measured by the quality monitoring means isAboveThan predetermined quality standardsWhen the transmission path quality deteriorates, the transmission means is controlled by the control means so as to increase the proportion of frames transmitted by TCP among the frames encoded by the interframe coding method. To do. This allows image data to be transmitted with the highest possible transmission efficiency without degrading the quality of the image data.be able to.
[0021]
  Further, in the present invention, the control means has a transmission line quality measured by the quality monitoring means.As the deterioration progresses, the encoding means is set to increase the proportion of frames to be encoded by the intra-frame encoding method.It is characterized by controlling.
[0022]
  According to the present invention, the quality of the transmission path measured by the quality monitoring means isAs it gets worse, the control means controls the encoding means so as to increase the proportion of frames to be encoded by the intra-frame encoding method. As a result, when the quality of the transmission path is good, the compression rate can be increased to increase the transmission efficiency. When the quality of the transmission path is deteriorated, the error resistance is increased.be able to.
[0023]
  In the present invention, the control means includes theReduce the packet size as the quality of the transmission path measured by the quality monitoring means deterioratesThus, the transmission means is controlled.
[0024]
  According to the present invention,As the quality of the transmission path measured by the quality monitoring means deteriorates, the transmission means is controlled by the control means so as to reduce the packet size. As a result, when the quality of the transmission path is good, the packet size can be increased to increase the transmission efficiency. When the quality of the transmission path is deteriorated, the possibility of an error is reduced by reducing the packet size. Reliable transmission of image databe able to.
[0025]
  In the present invention,Further comprising invalid input means for invalidating transmission protocol switching control according to the quality of the transmission path measured by the quality monitoring means,
  The control means does not perform transmission protocol switching control according to the quality of the transmission path when an input for invalidating the switching control is made to the invalid input means.It is characterized by that.
[0026]
  According to the present invention,If the invalidation input means for invalidating the switching control of the transmission protocol according to the quality of the transmission path measured by the quality monitoring means is input to invalidate the switching control, the control means Does not control transmission protocol switching according to quality. Therefore, transmission can be continued with a preset transmission protocol. As a result, compatibility with the conventional method can be maintained. In addition, when the quality of the transmission path fluctuates with time, the switching control is frequently performed to avoid a situation in which the transmission efficiency is reduced due to overhead.be able to.
[0027]
  The present invention also provides the above-mentionedA computer-readable recording medium that records a program for causing a computer to function as an image transmission apparatus.
[0028]
  According to the present invention,A transmission protocol is switched according to the quality of the transmission path, and an image transmission device with high transmission efficiency and excellent error tolerance is realized using a computer.be able to.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a schematic electrical configuration of an image transmission apparatus 10 as an embodiment of the present invention. The image transmission apparatus 10 includes an encoding unit 11 that encodes image data and a transmission unit 12 that packetizes the encoded data encoded by the encoding unit 11 and transmits image data of moving images. It can be transmitted continuously via the line 15. The image transmission apparatus 10 according to the present embodiment includes an error monitoring unit 16 that monitors the quality of the transmission path 15, and an encoding / transmission control that controls the encoding method and the transmission method according to the transmission error detected by the error monitoring unit 16. And part 17. When the encoding / transmission control unit 17 switches the encoding method, the intra-frame encoding unit 21 and the inter-frame encoding unit 22 provided in the encoding unit 11 are switched. When the encoding / transmission control unit 17 switches the transmission method, the transmission protocol is switched by the selection of the UDP packetizer 31 and the TCP packetizer 32 provided in the transmission unit 12, and the packet is also changed. The size is also switched. The user input unit 40 can also input an operation for invalidating the control of the encoding / transmission control unit 17. The transmission line 15 can be a wired dedicated line, a public telephone line, a wireless PHS (Personal Handyphone System) line, or the like.
[0032]
The error monitoring unit 16 in FIG. 1 checks whether an error has occurred in the received packet by using a checksum included in the header information of the packet received from the transmission path 15. The total number of bits of data included in a packet that could be received normally is N_CORRECTAnd the total number of bits of data contained in the erroneous packet is N_ERRORThese are added separately. Next, the total number of bits N of the data contained in the erroneous packet_ERRORIs the total number of bits of data contained in the received packet (N_CORRECT+ N_ERRORThe error rate is obtained by dividing by (3), and the value is used as a measured value of the quality of the transmission line 15 as a line.
[0033]
The encoding / transmission control unit 17 obtains a measurement value of the error rate from the error monitoring unit 16 and compares it with a threshold value which is a preset quality reference value, thereby encoding optimally for the current error rate. Determine the method, transmission protocol and packet size. The encoding / transmission control unit 17 gives a control signal indicating switching to the encoding unit 11 in order to switch to the obtained encoding method. The encoding / transmission control unit 17 gives the transmission unit 12 a control signal for switching to the determined transmission protocol and packet size.
[0034]
FIG. 2 shows a flow of processing in the encoding / transmission control unit 17 of FIG. The operation starts from step a0, and in step a1, an error rate corresponding to the channel quality representing the quality of the transmission path 15 is acquired from the error monitoring unit 16. In step a2, based on the acquired line quality, the number of frames to which intra-frame coding is applied is calculated such as once every frame. In step a3, a control signal for performing intra-frame encoding is given to the encoding unit 11 for each interval calculated in step a2.
[0035]
FIG. 3 shows the correspondence between the error rate and the number of frames to which intra-frame coding is applied. When intra-frame coding is performed, the data compression rate is reduced, but error tolerance is increased. Therefore, when the error rate is large and the line quality is deteriorated, the rate of intra-frame coding is increased. When the error rate is low, as shown in FIG. 3 (1), the number of frames subjected to intra-frame coding is reduced, the ratio of frames subjected to inter-frame coding is increased, the transmission rate is increased, and the efficiency is improved. Make transmission possible. 3 (2) to (3), the number of frames to which intra-frame coding is applied is increased as the error rate increases, and the image is frequently refreshed to prevent the restored image from deteriorating.
[0036]
After performing intra-frame coding at step a1 in FIG. 2 or after performing control that does not perform intra-frame coding at step a3, that is, performs inter-frame coding, the process proceeds to step a6. In step a6, by comparing the error rate acquired in step a1 with a preset threshold value, it is calculated which frame should be transmitted with TCP as a transmission protocol, and a frame to be transmitted with TCP is determined. In step a6, it is determined whether or not the frame to be transmitted at present is a frame transmitted by TCP determined in step a5. When it is determined that the frame is to be transmitted by TCP, a control signal for selecting the TCP packetizer 32 is given to the transmission unit 12 in step a7 to instruct the transmission method. When it is determined in step a6 that the frame to be transmitted is not a frame transmitted by TCP, the transmission unit 12 is not instructed about the transmission method, and the UDP packetizer 31 is still selected in the transmission unit 12 And
[0037]
FIG. 4 shows a state where image data encoded as shown in FIG. 3A is changed according to the error rate, according to the UDP protocol or according to the TCP protocol. When the error rate is sufficiently low, UDP is used as a transmission protocol for transmission of all frames as shown in FIG. When the error rate increases, first, the TCP transmission protocol is used when transmitting the intra-frame encoded data, as shown in FIGS. 4 (2) and (3). Increase the number of frames to be transmitted using a transmission protocol. If the error rate further increases, the ratio of using TCP is increased as shown in FIGS. 4 (4) to (5) so as to use TCP when transmitting inter-frame encoded data. Specifically, control is performed such that TCP is used as a transmission protocol for transmission of all frames. Eventually, as shown in FIG. 4 (6), TCP is used as a transmission protocol for transmission of all frames.
[0038]
After the transmission method is switched to TCP in step a7 of FIG. 2 or after it is determined in step a6 that transmission is performed by UDP without switching to TCP, the process proceeds to step a8 and the error rate acquired in step a1. Based on the above, the optimum packet length is calculated. Next, in step a9, the packet size is instructed to the transmission unit 12 based on the packet length calculated in step a8. In step a10, it is determined whether there is more image data to be transmitted. If there is more, the process returns to step a1, and the procedure described above is repeated. If it is determined that there are no more images to be transmitted, the process ends at step a11.
[0039]
The encoding / transmission control unit 17 in FIG. 1 determines the encoding method, transmission protocol, and packet size by the method described below. As an encoding method, intra-frame encoding by the intra-frame encoding means 21 included in the encoding unit 11 and inter-frame encoding by the inter-frame encoding means 22 can be selected. The encoding unit 11 normally performs interframe encoding using the interframe encoding means 22. The encoding / transmission control unit 17 determines how many frames to apply the intra-frame encoding based on the first formula described later, and instructs the encoding unit 11 to switch to the intra-frame encoding means 21. Give.
[0040]
In step a2 in FIG. 2, the number of frames to which intra-frame coding is applied is calculated as follows. First, let N be the maximum number of frames from when intraframe coding is applied first to when next intraframe coding is applied. The value of N can be set to an arbitrary value by the user via the user input unit 40 or the like. The smaller the value of N, the more important the image quality, and the larger the value, the more important the transmission efficiency. Next, the number of frames from when the intra-frame coding is actually applied until the next intra-frame coding is applied is n (1 ≦ n ≦ N), and the intra-frame coding is applied every n frames. The threshold of the error rate used as the quality standard value for_n And At this time, the threshold Th_n Is determined by the following first equation.
[0041]
[Expression 1]

[0042]
In the first equation, ErrorRate represents the error rate of the communication line used as the transmission path 15. In a communication environment where radio waves are used as the transmission line 15 in FIG.^-3Since the error rate of the degree is considered to be quite bad, the default is 10 so that this value is maximized.^-FourHowever, it can be set to an arbitrary value by the user.
[0043]
Here, when the value of N is 10, the maximum number of frames from the first intra-frame coding to the next intra-frame coding is 10, and the intra-frame coding is actually applied. Then, the number n of frames until the next intraframe coding is applied can be a value from 1 to 10. Further, since there are N (10) values of the error rate threshold value Th, Th₁To Th_TenWill exist. The following Table 1 shows Th calculated using the above-described first equation when N = 10.₁To Th_TenValues up to are shown.
[0044]
[Table 1]

[0045]
Threshold Th shown in Table 1₁To Th_TenThe value up to and the error rate are compared, and Th_n≦ Error rate <Th_n-1N is controlled, and control for applying intra-frame coding for every n frames is performed on the encoding unit 11. At this time, if n = 1, Th_n-1Is Th₀However, Th at this time₀Is Th₀= 1.
[0046]
FIG. 5 shows a process flow for determining a frame to which intra-frame coding is applied. First, processing is started from step b0, and in step b1, an error rate representing the quality of the transmission path is acquired from the error monitoring unit 16. Next, in step b2, the initial value of the parameter n as the number of frames from when intra-frame coding is applied to when the next intra-frame coding is applied is set to 1. Here, n being 1 indicates that intraframe coding is applied to each frame. That is, inter-frame coding is not applied.
[0047]
In step b3, the threshold value Th in Table 1 is used._n≦ Error rate <Th_n-1It is determined whether or not the above condition is satisfied. If the condition is not satisfied, 1 is added to the value of the parameter n in step b4, and the determination in step b3 is repeated until the condition is satisfied. If it is determined in step b3 that the condition is satisfied, the process proceeds to step b5, where the value of the parameter n at that time is determined as the number of frames until intra-frame coding is applied, and every n frames Apply encoding. The process ends at step b6.
[0048]
Next, the transmission method determination process performed in step a5 in FIG. 2 will be described. As a transmission method, UDP and TCP transmission protocols can be switched by the transmission unit 12. The transmission unit 12 normally uses a UDP packetizer 31 to transmit encoded data. When a switching instruction is given by a control signal from the encoding / transmission control unit 17, the TCP packetizer 32 is used to switch the encoded data to be transmitted. The encoding / transmission control unit 17 determines which frame is to be transmitted using TCP with reference to the error rate of the transmission path 15 in step a2, and encodes using TCP as a transmission protocol. An instruction to transmit data is given to the transmission unit 12 as a control signal. At this time, if the error rate is low, TCP is used only for transmission of a frame encoded by intraframe encoding. When the error rate is high, TCP is also used for transmission of a frame encoded by interframe coding.
[0049]
A frame for transmitting TCP as a transmission protocol is determined by the following process. First, when transmitting a frame encoded by interframe coding, an error rate used as a threshold for determining whether to apply TCP as a transmission protocol is defined as Th._INTERAnd This Th_INTERIs set to ErrorRate / 2 by default. It is also possible for the user to set an arbitrary value using the user input unit 40 of FIG. Th_INTERWhen the value is set to be large, transmission efficiency is emphasized, and when the value is set to be small, image quality is emphasized.
[0050]
In comparison with the error rate, Th_INTER> In the case of error rate, TCP is used as a transmission protocol only for transmission of frames encoded by intraframe encoding. Th_INTERIn the case of ≦ error rate, TCP is used as a transmission protocol not only for transmission of frames encoded by intraframe encoding but also for transmission of frames encoded by interframe encoding. In this case, all frames encoded by intraframe encoding are transmitted using TCP as a transmission protocol.
[0051]
Th_INTERIn the case of> error rate, TCP is used for transmission of a frame encoded by intra-frame coding, but a frame to be applied as a transmission protocol is determined as follows. First, let A be the maximum number of intra-frame encoded frames from the intra-frame encoded frame transmitted by TCP to the next intra-frame encoded frame transmitted by TCP. The value of A can be set to an arbitrary value by the user via the user input unit 40 in FIG. Next, the number of intra-frame encoded frames from the intra-frame encoded frame actually transmitted by TCP to the next intra-frame encoded frame transmitted by TCP is defined as a (1 ≦ a ≦ A), and a The error rate that becomes a threshold when applying TCP to each sheet is set to INTRA._aAnd At this time, INTRA_aIs determined by the following second equation.
[0052]
[Expression 2]

[0053]
Here, when the value of A is 5, there is a maximum of 5 intra-frame encoded frames from when the intra-frame encoded frame is transmitted by TCP until the next intra-frame encoded frame is transmitted by TCP. Will do. The number a of intra-frame encoded frames from the intra-frame encoded frame actually transmitted by TCP to the next intra-frame encoded frame transmitted by TCP can take a value from 1 to 5. Also, INTRA_aSince there are A (5) values of INTRA, INTRA₁To INTRA_FiveExist. The following Table 2 shows that INTRA is calculated using the above-described second equation when A = 5.₁To INTRA_FiveValues up to are shown.
[0054]
[Table 2]

[0055]
FIG. 6 shows a flow of processing for determining a frame to which TCP is applied as a transmission protocol in the case described above. The process is started from step c0. First, in step c1, the error rate is acquired from the error monitoring unit 16 as data indicating the quality of the transmission path 15. Next, in step c2, it is determined whether TCP is applied only to a frame encoded by intraframe encoding or whether TCP is applied to transmission of a frame encoded by interframe encoding. At this time, in order to transmit only the frame encoded by the intraframe encoding by TCP, Th_INTER> The error rate condition needs to be met.
[0056]
When the condition is satisfied in step c2, the process proceeds to step c3, and a parameter indicating the number of intra-frame encoded frames from the intra-frame encoded frame transmitted by TCP to the next intra-frame encoded frame transmitted by TCP The initial value of a is 1. Here, the parameter a being 1 means that all intra-frame encoded frames are transmitted using TCP. Next, in step c4, INTRA_a≦ Error rate <INTRA_a-1It is determined whether or not the above condition is satisfied. If the condition is not satisfied, 1 is added to the value of parameter a in step c5, and the determination in step c4 is repeated until the condition is satisfied. If the condition is satisfied in step c4, the value of parameter a at step c6 is set as the number of frames from the intra-frame encoded frame transmitted by TCP to the next intra-frame encoded frame transmitted by TCP. decide.
[0057]
Next, the condition of step c2 is not satisfied, and Th_INTER≤ In the case of an error rate, when TCP is used not only for transmission of a frame encoded by intra-frame encoding but also for transmission of a frame encoded by inter-frame encoding, the applicable frame of TCP The determination method of will be described. When the condition of step c2 is not satisfied, the process proceeds to step c7, and the number of inter-frame encoded frames actually transmitted by TCP is represented by parameter b. The number of frames from when intra-frame coding is applied to when the next intra-frame coding is applied is defined as parameter n. Next, if the number of inter-frame encoded frames from when intra-frame encoding is applied to when the next intra-frame encoding is applied is B, B = n−1. If the value of n is determined by processing, the value of B is also determined. Next, the number b of inter-frame encoded frames actually transmitted by TCP is 1 ≦ b ≦ B, and an error rate used as a reference value for determination for applying inter-frame encoding for each b is set to INTER._bAnd INTER_bIs determined by the following third equation.
[0058]
[Equation 3]

[0059]
Here, it is assumed that the value of n is determined to be 6 in the encoding method determination process. The value of B is determined to be n−1 frames (5 frames), and the number b of inter-frame encoded frames actually transmitted by TCP can be 1 to 5. Also, INTER_bSince there are B (5) values of INTER,₁To INTER_FiveExist. The lower half of the above Table 2 shows the INTER calculated using the third equation.₁To INTER_FiveThe values up to are shown. This value is compared with the error rate, and INTER_b≤Error rate <INTER_{b + 1}B is searched, and an instruction to use TCP for transmission of b frames is transmitted to the transmission unit 12 as a control signal when transmitting an inter-frame encoded frame. At this time, when b = B, INTER_{b + 1}= INTER_{B + 1}= 1.
[0060]
FIG. 6 also shows a flow of frame determination processing to which TCP is applied in the above-described case. In step c2, Th_INTERWhen the error rate is reached, the process proceeds to step c7. In step c7, the initial value of parameter b indicating the number of inter-frame encoded frames actually transmitted by TCP is set to 1. Here, the parameter b is 1, which means that only the frame close to the encoded frame of the first frame among the inter-frame encoded frames sandwiched between the intra-frame encoded frames following the intra-frame encoded frame is TCP. Is transmitted as a transmission protocol.
[0061]
Next, in step c8, INTER_b≤Error rate <INTER_{b + 1}It is determined whether or not the above condition is satisfied. When the condition is not satisfied, 1 is added to the value of the parameter b at step c9, and the determination at step c8 is repeated until the condition is satisfied. If the condition is satisfied, in step c10, the value of the parameter b at that time is determined as the number of inter-frame encoded frames actually transmitted by TCP. In this case, transmission is sequentially performed by TCP from a frame close to the earliest intraframe encoded frame.
[0062]
When the process of step c6 or step c10 ends, the process proceeds to step c11, and the overall determination process also ends.
[0063]
Next, in the calculation of the packet length in step a8 in FIG. 2, the packet size is set as a value obtained by multiplying the reciprocal of the error rate obtained by the error monitoring unit 16 by a value of 0.9 as the packet size. That is, the packet length is set to 90% of the packet size that may cause one error. When the error rate is small, image data can be transmitted with a large packet size, and transmission efficiency can be improved. When the error rate is high, the packet size is reduced to reduce the possibility of errors and to reliably transmit image data.
[0064]
Note that a switching invalid instruction can also be given by input to the user input unit 40 of FIG. The encoding / transmission control unit 17 in FIG. 1 operates to fix the transmission error rate data from the error monitoring unit 16 to a constant value when an operation indicating switching invalidity is input from the user input unit 40, Even when the quality of the path 15 fluctuates, it is possible to avoid transmission overhead and improve transmission efficiency without performing switching control. Further, when the other party that transmits image data via the transmission path 15 performs transmission using the conventional method, it is possible to cope with this by invalidating the switching control.
[0065]
Although the image transmission apparatus 10 can be configured by dedicated hardware, a computer recorded on a recording medium is read by a portable information processing apparatus such as a personal computer, a workstation, or a PDA, and then the computer. This function can also be realized as a program operation.
[0066]
【The invention's effect】
  As described above, according to the present invention,When the quality of the transmission path measured by the quality monitoring means is better than the predetermined quality standard, only the frames encoded by the intra-frame coding method are transmitted by TCP and measured by the quality monitoring means. When the quality of the transmission path is worse than the predetermined quality standard, not only frames encoded by the intra-frame encoding method but also frames encoded by the inter-frame encoding method are transmitted by TCP. As described above, the transmission means is controlled by the control means. Therefore, increase transmission efficiency and error tolerance according to the quality of the transmission path.be able to.
[0067]
  Also according to the invention,When the quality of the transmission path measured by the quality monitoring means is better than the predetermined quality standard, the TCP is selected from among the frames encoded by the intra-frame encoding method as the quality of the transmission path deteriorates. Since the transmission means is controlled by the control means so as to increase the proportion of frames to be transmitted, the image data is transmitted with the highest possible transmission efficiency without degrading the quality of the image data.be able to.
[0068]
  Also according to the invention,When the quality of the transmission path measured by the quality monitoring means is worse than the predetermined quality standard, as the quality of the transmission path deteriorates, among the frames encoded by the interframe coding method, Since the transmission means is controlled by the control means so as to increase the proportion of frames transmitted by TCP, the image data is transmitted with the highest possible transmission efficiency without degrading the quality of the image data.be able to.
[0069]
  Also according to the invention,As the quality of the transmission path measured by the quality monitoring means deteriorates, the control means controls the encoding means so as to increase the proportion of frames to be encoded by the intraframe encoding method. As a result, when the quality of the transmission path is good, the compression rate can be increased to increase the transmission efficiency. When the quality of the transmission path is deteriorated, the error resistance is increased.be able to.
[0070]
  Also according to the invention,As the quality of the transmission path measured by the quality monitoring means deteriorates, the transmission means is controlled by the control means so as to reduce the packet size. As a result, when the quality of the transmission path is good, the packet size can be increased to increase the transmission efficiency. When the quality of the transmission path is deteriorated, the possibility of an error is reduced by reducing the packet size. Reliable transmission of image databe able to.
[0071]
  Also according to the invention,Compatibility with the conventional method is achieved by performing an input for invalidating the switching control to the invalid input means for invalidating the switching control of the transmission protocol according to the quality of the transmission path measured by the quality monitoring means. Maintain or avoid degradation of transmission efficiency due to overhead when the quality of the transmission path fluctuates over timebe able to.
[0072]
  Also according to the invention,A transmission protocol is switched according to the quality of the transmission path, and an image transmission device with high transmission efficiency and excellent error tolerance is realized using a computer.be able to.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic electrical configuration of an image transmission apparatus 10 according to an embodiment of the present invention.
2 is a flowchart showing a flow of processing of an encoding / transmission control unit 17 in FIG.
FIG. 3 is a diagram showing a state in which the ratio between intra-frame coding and inter-frame coding is changed according to the quality of the transmission path 15 in FIG. 1;
4 is a diagram showing a switching state in which UDP and TCP are used as transmission protocols according to the quality of the transmission line 15 in FIG. 1. FIG.
FIG. 5 is a flowchart showing a flow of processing for calculating the number of frames to which intra-frame coding is applied in step a2 of FIG. 2;
6 is a flowchart showing a flow of processing for determining a frame to be transmitted by TCP in step a5 of FIG.
FIG. 7 is a block diagram illustrating a basic electrical configuration of a transfer device with a conventional basic image.
FIG. 8 is a diagram illustrating a state in which a UDP packet is formed in the transmitter 2 of FIG. 1;
9 is a diagram illustrating a procedure for transmitting a UDP packet from the transmitter 2 of FIG. 7;
FIG. 10 is a diagram illustrating a conventional TCP packet transmission procedure.
FIG. 11 is a flowchart showing a flow of a prior art moving image data transmission process.
12 is a diagram showing an example of an image sequence transmitted by the procedure of FIG.
[Explanation of symbols]
10 Image transmission device
11 Encoding unit
12 Transmission section
15 Transmission line
16 Error monitoring unit
17 Encoding / Transmission Control Unit
21 Intraframe encoding means
22 Interframe encoding means
31 UDP packetizer
32 TCP packetizer
40 User input section

Claims

In an image transmission device that encodes image data representing a moving image continuous in the time axis direction in units of frames , compresses the information amount of the image data, and transmits it as a packet via a transmission path.
Quality monitoring means for monitoring the transmission line, detecting transmission errors occurring in the transmitted information, and measuring the quality of the transmission line;
An image data, it is possible coding according to the coding method and the inter-frame coding method in a frame, and coding means capable of switching the coding method,
Transmission means capable of transmitting the image data encoded by the encoding means according to TCP performed while confirming that transmission is performed without error and UDP not performing confirmation after transmission , and capable of switching the transmission protocol ;
When the quality of the transmission path measured by the quality monitoring means is better than the predetermined quality standard, only the frames encoded by the intra-frame coding method are transmitted by TCP and measured by the quality monitoring means. When the quality of the transmission path is worse than the predetermined quality standard, not only frames encoded by the intra-frame encoding method but also frames encoded by the inter-frame encoding method are transmitted by TCP. As described above, an image transmission apparatus including control means for controlling the transmission means .

The control means, when the quality of the transmission path measured by the quality monitoring means is better than the predetermined quality standard, the frame encoded by the intra-frame encoding method as the quality of the transmission path deteriorates The image transmission apparatus according to claim 1 , wherein the transmission unit is controlled to increase a ratio of frames transmitted by TCP .

Wherein, when the quality of the transmission path is measured by the quality monitoring means is worse than said quality standards set in advance, as the quality of the transmission path is deteriorated, coded by interframe coding method in of the frame, so as to increase the proportion of frames to be transmitted by TCP, the image transmission apparatus according to claim 1, wherein the controller controls the transmission means.

The control means controls the encoding means so as to increase the ratio of frames to be encoded by the intra-frame encoding method as the quality of the transmission path measured by the quality monitoring means deteriorates. The image transmission device according to any one of claims 1 to 3.

Wherein, as the quality of the transmission path is measured by the quality monitoring means is deteriorated, so as to reduce the packet size, claim 1-4, characterized by controlling the transmission means 1 image transmission apparatus according to One.

Further comprising invalid input means for invalidating transmission protocol switching control according to the quality of the transmission path measured by the quality monitoring means,
6. The control unit according to claim 1 , wherein when the input for invalidating the switching control is made to the invalid input unit, the switching control of the transmission protocol according to the quality of the transmission path is not performed. The image transmission apparatus as described in any one .

The computer-readable recording medium which recorded the program for functioning a computer as an image transmission apparatus as described in any one of Claims 1-6.