JP3757382B2 - 画像伝送装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像伝送装置に関するもので、特に伝送誤りにおける誤り補正を可能にする画像伝送装置に関するものである。
【０００２】
【従来の技術】
画像の特性としては、図１３に示すように一般に任意の１画素に対し、隣接する上下左右の４近傍画像若しくは周囲の８近傍画像で画素同士の相関が高いことが知られている。そこで、この関係を用いることにより伝送誤りによって正常に伸長できない部分を補正することが可能になる。
【０００３】
従来、画像圧縮の方式としては、ＪＰＥＧ方式があるが、伝送によりデータに誤りが発生した場合には、その後のデータが正確に受信できても、誤りのために正常に復号ができなくなるという問題点があった。
【０００４】
【発明が解決しようとする課題】
この伝送による誤り対策としては、再送方式や誤り訂正符号を付加する方式があるが、前者は画像表示までの遅延の発生や誤り率の高い伝送路では画像がいつまで経っても表示できないことが起る。
【０００５】
また、後者は伝送路の誤りの特性にあわせた誤り訂正符号を用いる必要があり、誤り訂正符号の分だけ伝送効率を悪くするなどの問題がある。
【０００６】
本発明の目的は、上記の問題点を解決し、再送手段や誤り訂正符号を付加しないで伝送誤りを補正できる画像伝送装置を提案することにある。
【０００７】
【課題を解決するための手段】
前記目的を達成するために、請求項１記載の発明は、画像を入力し符号化しその符号化したデータを送信する送信端末と、送信されたデータを受信しデータを復号し画像を出力する受信端末とから成る装置であって、
送信端末においては、入力した画像の位置を並び変え１つの画像を複数の分割画像に画像変換する画像変換手段を設け、
受信端末においては、復号した画像の画素の位置を元の位置に戻す操作を行い分割画像を１つの画像に画像逆変換する画像逆変換手段と、伝送誤りにより誤った分割画像の誤り部分を他の分割画像を用いて補正する誤り補正手段を設け、
前記画像変換手段が、画像の垂直方向のライン数をＭとするとき、画素の位置の並び変え方が垂直方向に｛１，３，５…，Ｍ−１｝となる奇ラインのみを集めた元の大きさの１／２の小画像と、｛２，４，６，…，Ｍ｝となる偶数ラインのみを集めた元の大きさの１／２の小画像とになるように並び変えるものであり、
並び変えによって得られる２つの小画像の上若しくは下側の小画像で、上若しくは下方向に数ライン分画像をシフトして並び変えるものであることを特徴とする。
【０００８】
また、請求項２記載の発明は、画像を入力し符号化しその符号化したデータを送信する送信端末と、送信されたデータを受信しデータを復号し画像を出力する受信端末とから成る装置であって、
送信端末においては、入力した画像の位置を並び変え１つの画像を複数の分割画像に画像変換する画像変換手段を設け、
受信端末においては、復号した画像の画素の位置を元の位置に戻す操作を行い分割画像を１つの画像に画像逆変換する画像逆変換手段と、伝送誤りにより誤った分割画像の誤り部分を他の分割画像を用いて補正する誤り補正手段を設け、
前記画像変換手段が、画像の水平方向の画素数をＮとするとき、画素の位置の並び変え方が水平方向に｛１，３，５，…，Ｎ−１｝となる奇数画素のみを集めた元の大きさの１／２の小画像と、｛２，４，６，…，Ｎ｝となる偶数画素のみを集めた元の大きさの１／２の小画像となるように並び変えるものであり、
並び変えによって得られる２つの小画像の一方の小画像で、左若しくは右に数画素分画像をシフトして並び変えるものであることを特徴とする。
【０００９】
また、請求項３記載の発明は、画像を入力し符号化しその符号化したデータを送信する送信端末と、送信されたデータを受信しデータを復号し画像を出力する受信端末とから成る装置であって、
送信端末においては、入力した画像の位置を並び変え１つの画像を複数の分割画像に画像変換する画像変換手段を設け、
受信端末においては、復号した画像の画素の位置を元の位置に戻す操作を行い分割画像を１つの画像に画像逆変換する画像逆変換手段と、伝送誤りにより誤った分割画像の誤り部分を他の分割画像を用いて補正する誤り補正手段を設け、
前記画像変換手段が、画像の水平方向の画素数をＮとするとき、画素の位置の並び変え方が水平方向に｛１，３，５，…，Ｎ−１｝となる奇数画素のみを集めた元の大きさの１／２の小画像と、｛２，４，６，…，Ｎ｝となる偶数画素のみを集めた元の大きさの１／２の小画像となるように並び変えるものであり、
さらに、前記画像変換手段が、画像の垂直方向のライン数をＭとするとき、画素の位置の並び変え方が垂直方向に｛１，３，５…，Ｍ−１｝となる奇ラインのみを集めた元の大きさの１／２の小画像と、｛２，４，６，…，Ｍ｝となる偶数ラインのみを集めた元の大きさの１／２の小画像とになるように並び変えるものであり、
並び変えによって得られる４つの小画像に並び変えた際の左若しくは右側の２つの小画像で、左若しくは右に数画素分画像をシフトして並び変えるものであることを特徴とする。
【００１３】
【発明の実施の形態】
以下本発明の実施の形態を図面によって説明する。
【００１４】
図１は、本発明の一実施形態の構成を示す。
まず、送信端末において、画像入力部１で画像を入力する。入力される画像信号としては、汎用の例として、アナログ信号の場合にはＮＴＳＣコンポジット信号、Ｙ／Ｃ信号、ＰＡＬ信号、ＳＥ−ＣＡＭ信号及びアナログＲＧＢ信号、デジタル信号の場合にはデジタルＲＧＢ、デジタルＹＣｒＣｂ等がある。ここで、汎用の映像信号からは、デジタルＲＧＢ若しくはデジタルＹＣｒＣｂに変換するＡ／Ｄコンバータを有する必要があることはいうまでもない。
【００１５】
デシタル信号に変換された画像は、画像変換手段２により画素の並び変えを行う。画像変換手段２での画像の並び変えの例としては、図２に示すように１つの画像をあたかも２つの画像に分割するように変換する方法がある。
【００１６】
変換した画像は、画像符号化部３で情報圧縮され、送信部４から伝送路５を通して送信される。このときの伝送パケットのデータとしては、最小限、符号化データとそのデータが伝送により誤ったかどうかの判断ができる誤り検出符号が含まれていればよい。
【００１７】
次に受信端末において、送信されたデータを受信部６で受信し、画像復号化部７で復号する。復号した画像を画像逆変換手段８で元の画素位置に戻す。
【００１８】
逆変換後の画像を画像出力部９にて汎用の映像信号に変換して出力する。なお、映像信号としてアナログ信号を用いる場合、Ｄ／Ａコンバータを有する必要があることはいうまでもない。
【００１９】
受信部６で受信したデータの誤りは誤り検出手段１０で検出され、画像復号化部７の画像を誤り補正手段１１で補正して画像逆変換手段８に渡す。
【００２０】
画像変換手段２による画像変換の方法について図２を用いて具体的に説明する。
なお、以下の説明において画像の左上を原点とし垂直方向は下向きに、水平方向は右向きが増加する方向である。
【００２１】
入力した画像の垂直方向のライン数をＭとし、各ラインの番号を１〜Ｍとする。次に画像変換手段２では、そのライン構成を奇数ラインのみの集合｛１，３，５，…，Ｍ−１｝と、偶数ラインのみの集合｛２，４，６，…，Ｍ｝となるように並び変える。
【００２２】
なお、この並び換えに限り、汎用の映像信号で例えばＮＴＳＣコンポジット信号のような場合、インターレースで信号が入力されたその信号を並び変えてデシタル画像にしているが、この並び変えを行わず直接デジタル画像に変換することで２つの小画像に並び変えることが可能である。
【００２３】
次に、画像変換の方法の水平方向の並び変えについて図３を用いて具体的に説明する。
入力した画像の水平方向の画素数をＮとし、各画素の番号を１〜Ｎとする。画像変換手段２では、その画素の番号の構成を奇数番目の画素の集合｛１，３，５，…，Ｎ−１｝と、偶数番目の画素の集合｛２，４，６，…，Ｎ｝となるように並び変える。図３では、垂直及び水平方向に並び変えたものを示したが、垂直方向を行わなければ、水平方向にだけ並び変えた画像になる。
【００２４】
そこで具体例として画像符号化方式にＪＰＥＧ方式を用いた場合の説明を図４及び図５で説明する。
まず、図４の送信端末では、画像を入力し、画像変換手段２２で前述の垂直方向及び水平方向の画像変換を行い、その画像をＪＰＥＧ方式の符号化部２３にて符号化する。ＪＰＥＧ方式では符号化時の最小単位がＭＣＵ（Ｍｉｎｉｍｕｍ Ｃｏｄｅｄ Ｕｎｉｔ：１６画素×１６画素）であり、この単位で符号化が可能である。そこでこの単位を１つまたは複数個で伝送パケットを構成し、伝送パケットの誤りを検出するために誤り検出符号を付けて、送出部２４により伝送される。なお、各ＭＣＵには通し番号としてＩＤ（１，２，…ｎ）を付加しておき、送信及び受信端末で統一しておく。
【００２５】
次に、受信端末では受信部２６にてパケットを受信し、そのパケットを誤り検出手段３０にて誤り検出を行う。誤り検出の結果、誤りが無かった場合には、ＭＣＵをＪＰＥＧ方式復号化部２７にて復号する。誤りが有った場合には、誤らずに受信した前後のパケットから誤ったＭＣＵのＩＤを求める。さらに正常に受信できなかったパケツト内のＭＣＵデータは代替ＭＣＵで置換え、画像復号化器で復号する。１画像分のＭＣＵを受信し、復号化した後、誤り補正手段３１にて先行して求めた誤り位置に対応する位置から誤り部分に画像をコピーする。その後、画像逆変換２８を行い画像を再生する。
【００２６】
なお、図中では、１ＭＣＵで１パケットを構成しているものを記載しているが、パケット毎受信できなかった場合には、ＭＣＵの位置が解らなくなる。そこで、他のパケットの構成方法について次に説明する。
【００２７】
前述の伝送パケットの構成方法を図６を用いて説明する。
１つのパケットに着目すると、図の例１に示すようにパケット内に含まれる情報としては、通信に必要なヘッダと、送信するＭＣＵデータ群の最初のＭＣＵの通し番号ｋと、ＭＣＵデータ（ｋ番目のＭＣＵデータＭＣＵ ｋ，ＭＣＵ ｋ＋１，…，ＭＣＵ ｋ＋ｓ）と、誤り検出信号とで構成している。また、ＭＣＵの個数はｓ＋１個に固定してパケットを構成する。このようにすると、ＭＣＵのデータ長が可変長であるため、伝送パケットの大きさが固定長の場合には図中に示すように冗長部ができてしまう。
【００２８】
そこで、同図中の例２として、１パケット内のＭＣＵの個数を可変とする方法について説明する。送信するＭＣＵデータは一定のデータ長で切り取られパケットとして組まれる。このとき、データ中のＭＣＵの最初のＩＤ及び最後のＩＤ若しくはＭＣＵの個数をデータの先頭若しくは後尾に固定長で付ける。
【００２９】
なお、ＭＣＵの通し番号は１つの画像にどのようにつけても問題はないが、送信端末、受信端末で一致させておく必要がある。
【００３０】
前述における誤り補正手段３１について、図７を用いて説明する。
誤り検出手段３０より誤りＭＣＵが求まり、その位置が求まり、誤りＭＣＵ位置情報が寄せられる。そこで、誤り補正手段３１ではその位置と対応する他の小画像の部分から画素データをコピーする。
【００３１】
次に画像変換手段２２について、図８に示す。小画像の一方をずらして符号化する理由としては、ＪＰＥＧ方式などＭＣＵを単位とする画像符号化で単純に２分割した場合、図９に示すようにＭＣＵのＡ２とＢ２がそれぞれ対応している伝送誤りによりＡ２及びＢ２の両ＭＣＵで誤った場合、ＭＣＵの２個分の大きさの部分の誤り補正が行えない。そこで、図の下に示すようにＭＣＵの大きさの半分の長さ分画像をずらしておくと復号した場合、ＭＣＵの１個分の大きさの誤り補正が行えないのに止めることができる。
【００３２】
具体的な方法については、前述の図２と同様に画像を並び変え、その結果得られる２つの小画像の一方を上側に数ライン分ずらして並び変えを再度行う。このとき最小符号化単位であるＭＣＵの半分のライン分だけずらすのが最も有効である。
【００３３】
さらに、水平方向においても図１０に示すように垂直方向と同様に行うことができる。
【００３４】
前述の画像変換手段２２を用いた場合の誤り補正手段２１を説明する。
最後に復号した画像の誤り部分を補正するために、誤りＭＣＵ位置情報から誤り位置を求める。具体的には、図１１に示す２分割した画像を例とすると、誤りのある分割画像の誤り部分を他の分割画像から対応する位置のデータをコピーすることで補正を行う。
【００３５】
また、水平方向についても同様に図１２に示すように行うことができる。
【００３６】
【発明の効果】
以上のように本発明によれば、誤りの補正を効果的に行うことができ、誤り対策として、再送手段や誤り訂正符号を付加しないので誤り補正をし、誤り補正を行いながら伝送効率低下を最小限に抑えることができる。
【図面の簡単な説明】
【図１】本発明一実施形態の概要図。
【図２】画像変換方法の一例説明図。
【図３】画像変換方法の一例説明図。
【図４】ＪＰＥＧ方式を用いた画像伝送装置の概要図。
【図５】ＪＰＥＧ方式を用いた画像伝送装置の概要図。
【図６】ＪＰＥＧ方式での伝送パケットの構成方法説明図。
【図７】ＪＰＥＧ方式での誤り補正方法の一例説明図。
【図８】画像変換時に小画像をずらす理由についての説明図。
【図９】画像変換方法の画像をずらした場合の説明図。
【図１０】画像変換方法の画像をずらした場合の説明図。
【図１１】誤り補正手段の説明図。
【図１２】誤り補正手段の説明図。
【図１３】画像における画素間の特性説明図。
【符号の説明】
１，２１…画像入力部、２，２２…画像変換手段、３，２３…符号化部、４，２４…送信部、５…伝送路、６，２６…受信部、７，２７…復号化部、８，２８…画像逆変換手段、９，２９…画像出力部、１０，３０…誤り検出手段、１１，３１…誤り補正手段。

Claims (3)

1. 画像を入力し符号化しその符号化したデータを送信する送信端末と、送信されたデータを受信しデータを復号し画像を出力する受信端末とから成る装置であって、
   送信端末においては、入力した画像の位置を並び変え１つの画像を複数の分割画像に画像変換する画像変換手段を設け、
   受信端末においては、復号した画像の画素の位置を元の位置に戻す操作を行い分割画像を１つの画像に画像逆変換する画像逆変換手段と、伝送誤りにより誤った分割画像の誤り部分を他の分割画像を用いて補正する誤り補正手段を設け、
   前記画像変換手段が、画像の垂直方向のライン数をＭとするとき、画素の位置の並び変え方が垂直方向に｛１，３，５…，Ｍ−１｝となる奇ラインのみを集めた元の大きさの１／２の小画像と、｛２，４，６，…，Ｍ｝となる偶数ラインのみを集めた元の大きさの１／２の小画像とになるように並び変えるものであり、
   並び変えによって得られる２つの小画像の上若しくは下側の小画像で、上若しくは下方向に数ライン分画像をシフトして並び変えるものであることを特徴とする画像伝送装置。
2. 画像を入力し符号化しその符号化したデータを送信する送信端末と、送信されたデータを受信しデータを復号し画像を出力する受信端末とから成る装置であって、
   送信端末においては、入力した画像の位置を並び変え１つの画像を複数の分割画像に画像変換する画像変換手段を設け、
   受信端末においては、復号した画像の画素の位置を元の位置に戻す操作を行い分割画像を１つの画像に画像逆変換する画像逆変換手段と、伝送誤りにより誤った分割画像の誤り部分を他の分割画像を用いて補正する誤り補正手段を設け、
   前記画像変換手段が、画像の水平方向の画素数をＮとするとき、画素の位置の並び変え方が水平方向に｛１，３，５，…，Ｎ−１｝となる奇数画素のみを集めた元の大きさの１／２の小画像と、｛２，４，６，…，Ｎ｝となる偶数画素のみを集めた元の大きさの１／２の小画像となるように並び変えるものであり、
   並び変えによって得られる２つの小画像の一方の小画像で、左若しくは右に数画素分画像をシフトして並び変えるものであることを特徴とする画像伝送装置。
3. 画像を入力し符号化しその符号化したデータを送信する送信端末と、送信されたデータを受信しデータを復号し画像を出力する受信端末とから成る装置であって、
   送信端末においては、入力した画像の位置を並び変え１つの画像を複数の分割画像に画像変換する画像変換手段を設け、
   受信端末においては、復号した画像の画素の位置を元の位置に戻す操作を行い分割画像を１つの画像に画像逆変換する画像逆変換手段と、伝送誤りにより誤った分割画像の誤り部分を他の分割画像を用いて補正する誤り補正手段を設け、
   前記画像変換手段が、画像の水平方向の画素数をＮとするとき、画素の位置の並び変え方が水平方向に｛１，３，５，…，Ｎ−１｝となる奇数画素のみを集めた元の大きさの１／２の小画像と、｛２，４，６，…，Ｎ｝となる偶数画素のみを集めた元の大きさの１／２の小画像となるように並び変えるものであり、
   さらに、前記画像変換手段が、画像の垂直方向のライン数をＭとするとき、画素の位置の並び変え方が垂直方向に｛１，３，５…，Ｍ−１｝となる奇ラインのみを集めた元の大きさの１／２の小画像と、｛２，４，６，…，Ｍ｝となる偶数ラインのみを集めた元の大きさの１／２の小画像とになるように並び変えるものであり、
   並び変えによって得られる４つの小画像に並び変えた際の左若しくは右側の２つの小画像で、左若しくは右に数画素分画像をシフトして並び変えるものであることを特徴とする画像伝送装置。

Images