JP4218117B2 - 伝送装置、伝送方法、受信装置および受信方法 - Google Patents
伝送装置、伝送方法、受信装置および受信方法 Download PDFInfo
- Publication number
- JP4218117B2 JP4218117B2 JP7587199A JP7587199A JP4218117B2 JP 4218117 B2 JP4218117 B2 JP 4218117B2 JP 7587199 A JP7587199 A JP 7587199A JP 7587199 A JP7587199 A JP 7587199A JP 4218117 B2 JP4218117 B2 JP 4218117B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- transmission
- transmitted
- difference
- target pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
この発明は、例えばディジタルテレビ等において使用される画像データの伝送に係る伝送装置、伝送方法、受信装置および受信方法に関する。
【0002】
【従来の技術】
ディジタル化されたテレビジョン放送用等の画像データを符号化する際に、伝送される画素の周辺に位置する画素を参照した処理が行われる。このような処理は、エッジ等を含まない一般的な画像部分では近傍領域における自己相関性が強いことが多いという性質を利用して効率的な圧縮符号化を行うものである。伝送する画素の順番としては、画像の左上から右下方向に順次伝送していくラスタースキャンが従来から用いられてきた。このような伝送方法においては、輝度信号Y,色差信号UおよびVを含む、1画素当たり例えば8ビットのデータが伝送される。また、画素のアドレスを示すデータを伝送する必要は無い。
【0003】
上述したような方法においては、水平方向に隣接する画素値が急峻に変化する場合に、伝送されたデータを復号した画像に、近傍の画素を参照して圧縮したことに起因する影響が現れる。例えば、図16Aに示すような垂直方向の1本の「棒」の画像が上述したような符号化方法を用いて伝送されると、符号化時に参照される近傍画素の影響により、「棒」に影がついたような画像(図16B参照)となる。
【0004】
【発明が解決しようとする課題】
このような問題を解消若しくはその程度を軽減するために、本願出願人は以下のような伝送方法を先に提案している。かかる伝送方法は、注目画素に対して上下左右の4方向、またはそれら4方向に斜め方向を含めた8方向に位置する未伝送の画素の内で、注目画素との相関度が最も大きい画素を判定し、そのように判定される画素と注目画素との差分値を計算し、計算される差分値と共に注目画素との相関度が最も大きいと判定された画素の注目画素に対する方向を示すデータを伝送するようにしたものである。
【0005】
かかる伝送方法においては、注目画素に対して4方向または8方向に位置する画素が全て伝送済である場合には処理が行き詰まってしまうので、このような場合にはラスタースキャンを行って未伝送の画素を探索し、探索した画素を新たに注目画素に設定して処理を続行するようにしている。しかしながら、ラスタースキャンを含む処理にスキップする際に伝送効率の低下が生じるという問題があった。
【0006】
従って、この発明の目的は、近接する画素値が急峻に変化する場合等においても画質の良好な画像伝送を行い、また、伝送効率を向上させることが可能な伝送装置、伝送方法、受信装置および受信方法を提供することにある。
【0007】
【課題を解決するための手段】
請求項1の発明は、伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する注目画素が予め設定され、注目画素を通り互いにほぼ直交する少なくとも2本の線によって第1乃至第4の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、第1乃至第4の領域の各々において、メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って注目画素に近い順に未伝送の画素を探索し、
未伝送の画素が探索された時点でスキャンを中止し、
領域の各々で探索された未伝送の画素の各々について注目画素に対する相関度を判定し、
相関度が最も大きいと判定される画素を伝送画素として決定する判定手段と、
伝送画素と、注目画素との差分を計算する計算手段と、
伝送画素が複数個の領域の内の何れに属するかを示す領域情報と、計算手段によって計算される差分とを伝送する伝送手段とを有し、
伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、領域情報と差分とを伝送する処理を繰り返すことを特徴とする伝送装置である。
【0008】
請求項4の発明は、伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する注目画素が予め設定され、注目画素を通り互いにほぼ直交する少なくとも2本の線によって第1乃至第4の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、第1乃至第4の領域の各々において、メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って注目画素に近い順に未伝送の画素を探索し、
未伝送の画素が探索された時点でスキャンを中止し、
領域の各々で探索された未伝送の画素の各々について注目画素に対する相関度を判定し、
相関度が最も大きいと判定される画素を伝送画素として決定する判定手段と、
伝送画素と、注目画素との差分を計算する計算手段と、
伝送画素が複数個の領域の内の何れに属するかを示す領域情報と、計算手段によって計算される差分とを伝送する伝送手段とを有し、
伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、領域情報と差分とを伝送する処理を繰り返す伝送装置に対する受信装置において、
差分に係るデータと、領域情報とを含む伝送データを受信する受信手段と、
1つ前に伝送された画素の値と、差分値とを加算することによって画素値生成する画素データ生成手段と、
既伝送の画素の画素位置を示す情報をメモリに記憶し、領域情報によって示される領域内でメモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って注目画素に近い順に未伝送の画素を探索し、探索される未伝送の画素の位置をその時点での伝送画素と判定する画素位置決定手段とを有することを特徴とする受信装置である。
【0009】
請求項5の発明は、伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する注目画素が予め設定され、注目画素を通り互いにほぼ直交する少なくとも2本の線によって第1乃至第4の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、第1乃至第4の領域の各々において、メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って注目画素に近い順に未伝送の画素を探索し、
未伝送の画素が探索された時点でスキャンを中止し、
領域の各々で探索された未伝送の画素の各々について注目画素に対する相関度を判定し、
相関度が最も大きいと判定される画素を伝送画素として決定する判定ステップと、
伝送画素と、注目画素との差分を計算する計算ステップと、
伝送画素が複数個の領域の内の何れに属するかを示す領域情報と、計算ステップによって計算される差分とを伝送する伝送ステップとを有し、
伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、領域情報と差分とを伝送する処理を繰り返すことを特徴とする伝送方法である。
【0010】
請求項6の発明は、伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する注目画素が予め設定され、注目画素を通り互いにほぼ直交する少なくとも2本の線によって第1乃至第4の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、第1乃至第4の領域の各々において、メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って注目画素に近い順に未伝送の画素を探索し、
未伝送の画素が探索された時点でスキャンを中止し、
領域の各々で探索された未伝送の画素の各々について注目画素に対する相関度を判定し、
相関度が最も大きいと判定される画素を伝送画素として決定する判定ステップと、
伝送画素と、注目画素との差分を計算する計算ステップと、
伝送画素が複数個の領域の内の何れに属するかを示す領域情報と、計算ステップによって計算される差分とを伝送する伝送ステップとを有し、
伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、領域情報と差分とを伝送する処理を繰り返す伝送方法に対する受信方法において、
差分に係るデータと、領域情報とを含む伝送データを受信する受信ステップと、
1つ前に伝送された画素の値と、差分値とを加算することによって画素値生成する画素データ生成ステップと、
既伝送の画素の画素位置を示す情報をメモリに記憶し、領域情報によって示される領域内でメモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って注目画素に近い順に未伝送の画素を探索し、探索される未伝送の画素の位置をその時点での伝送画素と判定する画素位置決定ステップとを有することを特徴とする受信方法である。
【0011】
以上のような発明によれば、注目画素の周囲でフレームが例えば4個等の複数個に分割されてなる領域の各々から探索される伝送画素の候補の内で、注目画素との相関度が最も大きい画素が伝送画素として選択され、伝送画素に差分量子化等の伝送時の符号化が施されてなる符号化データと共に、伝送画素の画素位置についての領域情報が伝送される。
【0012】
また、受信側では、伝送されて来るデータから復号される各画素データを、領域情報を参照して的確な位置に出力することができる。
【0013】
【発明の実施の形態】
この発明の一実施形態についての説明に先立ち、理解を容易とするために本願出願人が先に提案した伝送方式(以下、先の提案に係る伝送方式と表記する)の概要を以下に説明する。かかる伝送方式における、伝送すべき画素を探索する探索方法の一例を図1Aに示す。2重丸で示す注目画素に対して上下左右の4方向に位置する画素(図中では網かけを付して示す)が探索の対象とされる。また、探索方法の他の例を図1Bに示す。2重丸で示す注目画素に対して上下左右および斜めの計8方向に位置する画素(図中では網かけを付して示す)が探索の対象とされる。
【0014】
図1Aの探索方法における処理について図2および図3を参照して詳細に説明する。図2および図3においては、図1と同様に注目画素を2重丸で示し、探索において伝送画素の候補とされる画素を網かけで示す。また、図2および図3において白丸は未伝送の画素を示し、黒丸は伝送済の画素を示す。図2Aにおいて、注目画素を起点とする4個の矢印は、探索の対象とされる画素が位置している上下左右の4方向を示す。図2Aにおいては、注目画素以外の画素が全て未伝送の画素なので、図2Bに示すように、注目画素に対して4方向で隣接する4個の画素が伝送画素の候補とされる。
【0015】
また、図3Aにおける4個の矢印は、図2と同様に探索の対象とされる画素が位置している4方向を示す。図3Aにおいては、探索の対象とされる画素が位置している方向に伝送済の画素がある。このような場合には、伝送済の画素を飛び越して、未伝送の画素が伝送画素の候補とされる。すなわち、図3Bに示すように注目画素の右側の2画素が伝送済の画素なので、その2画素を飛び越えて注目画素から右方向に3番目に位置する画素が伝送画素の候補とされる。また、注目画素の下側の1画素が伝送済の画素なので、その1画素を飛び越えて注目画素から下方向に2番目に位置する画素が伝送画素の候補とされる。なお、伝送済の画素は、フレームメモリ内でフラグを付する等の方法で認識することができる。
【0016】
さらに、上述したような伝送画素の候補の内で注目画素との相関度が最も大きいものを選択し、選択された画素と注目画素とのY,U/Vの差分値と、選択された画素の注目画素に対する方向を示すデータとを例えば1画素当たり8ビットで伝送する。そして、伝送した画素を新たに注目画素に設定して、上述した処理を繰り返す。以上の説明は上下左右の4方向に位置する画素を探索の対象とする場合についてものであるが、斜め方向をも含む8方向に位置する画素を探索の対象とする場合(図1B参照)についても同様な処理を行うようにすれば良い。
【0017】
上述したような動作について図4を参照して詳細に説明する。ステップS501として、初期伝送画素が決定される。初期伝送画素としては、例えば、左上に位置する画素、または中心に位置する画素等を設定することができる。次に、ステップS502に移行して、図1〜図3等を参照して上述したようにして伝送画素の候補が探索される。次に、ステップS503においては、全ての方向で未伝送画素が無いか否かが判定される。この判定は、例えば、所定のフレームメモリ上で、既伝送画素の画素位置にフラグを立てるようにし、フラグが立っていない画素位置を未伝送画素の画素位置として認識する等の処理によって実現される。ステップS503によって全ての方向で未伝送画素が無いと判定される場合にはステップS504に移行し、それ以外の場合にはステップS505に移行する。
【0018】
ステップS505では、ステップS503によって各方向において探索された画素の内で、注目画素と最も相関度が大きいものを選択する。そして、ステップS507に移行する。ステップS507では、ステップS505によって選択された画素と注目画素との間で、輝度信号Y,色差信号U/Vについての差分を計算する。そして、計算した差分と、ステップS505によって選択された画素の注目画素に対する方向を示す情報とを伝送する処理を行う。さらに、ステップS508に移行し、ステップS507で伝送した画素を注目画素として設定した上でステップS502に移行し、後続の処理を行う。
【0019】
一方、ステップS503の結果としてステップS504に移行する場合は、図1〜図3等を参照して上述したような探索方法によって注目点の周りに未伝送画素を見つけることができない場合である。そこで、ステップS504においては、ラスタースキャンを行って未伝送画素を探索する。さらに、ステップS506に移行し、未伝送画素が無いか否かを判定する。未伝送画素が無いと判定される場合には、当該フレーム内の全ての画素についての伝送が完了したと判断できるので処理を終了する。それ以外の場合には、ステップS504によって探索された未伝送画素を用いてステップS507以降の処理を行う。
【0020】
以上のような処理においては、注目画素に対して4方向または8方向に位置する画素の内に未伝送画素が無い場合に、ラスタースキャンを行うことによって未伝送画素を検出し、検出される未伝送画素を用いて処理を続行するようになされていた。このような処理においては、ラスタースキャンにスキップする際に伝送効率が低くなるという問題があった。
【0021】
そこで、この発明は、ラスタースキャンへのスキップを行なわないようにしたものである。この発明の一実施形態について以下に説明する。この発明の一実施形態における探索方式について図5を参照して説明する。かかる探索方式では、フレームを注目画素に対して左上、左下、右下、右上にそれぞれ位置する領域R1、領域R2、領域R3、領域R4の4個の領域に分割し、これら4個の領域の各々において水平または垂直方向のスキャンを行って伝送画素の候補を探索する。そして、探索される伝送画素の候補の内で注目画素との相関度が最も大きいものを伝送画素として選択し、選択した伝送画素と注目画素とのY,U/Vについての差分値と、伝送画素が上述の4個の領域の何れに属するかを示す領域情報とを例えば1画素当たり8ビットで伝送する。
【0022】
より厳密には領域R1は注目画素を座標原点とする各フレーム内の直交座標上で第2象限にy軸の原点より上の部分を加えた領域であり、また、領域R2は上述の直交座標上で第3象限にx軸の原点より左の部分を加えた領域である。さらに、領域R3,R4は、それぞれ、第4象限にy軸の原点より下の部分を加えた領域、第1象限にx軸の原点より右の部分を加えた領域である。
【0023】
次に、この発明の一実施形態における伝送画素を決定する処理の手順について説明する。図6に、この発明の一実施形態におけるフローチャートの一例を示す。ステップS1として、領域R1について垂直方向のスキャン(図5参照)を行って伝送画素の候補を探索する。ステップS2として、領域R2について水平方向のスキャン(図5参照)を行って伝送画素の候補を探索する。ステップS3として、領域R3について垂直方向のスキャン(図5参照)を行って伝送画素の候補を探索する。
【0024】
ステップS4として、領域R4について水平方向のスキャン(図5参照)を行って伝送画素の候補を探索する。なお、ステップS1〜ステップS4の何れにおいても、伝送画素の候補が探索された時点でスキャンを中止し、次の処理に備えてフレーム内でのアドレスを注目画素位置に戻す処理がなされる。ステップS5では、ステップS1〜ステップS4によって各領域から探索された伝送画素の候補の注目画素に対する相関度をそれぞれ計算し、得られた相関度を比較する。かかる比較の結果に基づいて、ステップS6において伝送画素を決定する。すなわち、ステップS6においては、相関度が最大となる画素を伝送画素として決定する。
【0025】
ステップS1における処理の詳細について図7を参照して説明する。ステップS101として、アドレス(x,y)として現時点での注目点(currx,curry)が設定される。ステップS102としてyの値から1を減算する。ここで、図5に示したようにy座標を下向きにとるので、ステップS102は上方向に1画素ずらす操作に対応する。
【0026】
ステップS102によって到達した画素(x,y)の画素が未伝送画素であるか否かが判定される(ステップS103)。この判定は、例えば、所定のフレームメモリ上で、既伝送画素の画素位置にフラグを立てるようにし、フラグが立っていない画素位置を未伝送画素の画素位置として認識する等の処理によって実現される。なお、フラグを立てる処理は、例えば図6中のステップS6によって伝送画素が決定した時点等に行うようにすれば良い。
【0027】
画素(x,y)が未伝送画素であると判定される場合にはステップS104に移行し、それ以外の場合にはステップS105に移行する。ステップS104では、画素(x,y)を伝送画素の候補と決定し、処理を終了する。
【0028】
一方、ステップS105では、y−1の値が0より小さいか否かが判定される。y−1の値が0より小さいと判定される場合には、スキャンが領域R1の上端に到達し、上方向に1画素ずらす操作をすることができないので、図5において点線で示したような、左方向に1画素ずらす操作を行う。すなわち、ステップS106においてxの値から1を減算し、また、yの値を注目点でのyの値curryとする。そして、ステップS107に移行し、x−1<0か否かを判定する。
【0029】
ステップS107によってx−1<0と判定される場合にはステップS108に移行し、それ以外の場合にはステップS102に移行して上方向へのスキャンを行う。一方、ステップS107によってx−1<0と判定される場合にはx座標が領域R1の左端からはみ出すことになるので、ステップS108では伝送画素の候補無しと決定して処理を終了する。
【0030】
以上のような、領域R1をはみ出さないようにチェックしながら、yの値を1ずつ減算する処理と、xの値を1減算すると共にyの値に注目点のyの値を設定する処理とを組合わせて行うことにより、領域R1内での伝送画素の候補を探索することができる。他の領域についても図7に示した処理に類似した処理によって伝送画素の候補を探索することができる。すなわち、領域R2をはみ出さないようにチェックしながら、xの値を1ずつ減算する処理と、yの値を1加算すると共にxの値に注目点のxの値を設定する処理とを組合わせて行うことにより、領域R2内での伝送画素の候補を探索することができる。
【0031】
また、領域R3をはみ出さないようにチェックしながら、yの値を1ずつ加算する処理と、xの値を1加算すると共にyの値に注目点のyの値を設定する処理とを組合わせて行うことにより、領域R3内での伝送画素の候補を探索することができる。また、領域R4をはみ出さないようにチェックしながら、xの値を1ずつ加算する処理と、yの値を1減算すると共にxの値に注目点のxの値を設定する処理とを組合わせて行うことにより、領域R4内での伝送画素の候補を探索することができる。
【0032】
次に、この発明の一実施形態における符号化装置について説明する。この発明の一実施形態における符号化装置の一例を図8に示す。輝度信号Yがフレームメモリ10に供給され、記憶される。また、色差信号U/Vがフレームメモリ11に供給され、記憶される。相関度判定回路12は、フレームメモリ10、11に記憶されたデータに基づいて図5、図6、図7等を参照して上述したような処理を行い、注目画素に対する相関度が最も大きい画素を伝送画素として判定する。かかる判定は、輝度信号の相関度と色差信号の相関度との組み合わせに基づいてなされる。相関度判定回路12は、判定した伝送画素を示す伝送画素情報をフレーム10、11にそれぞれ供給すると共に、伝送画素が属している領域を示す領域情報を多重化回路19に供給する。
【0033】
フレームメモリ10は、伝送画素情報に基づいて伝送画素にフラグを付す処理を行うと共に、伝送画素の画素データをレジスタ13および減算器14に供給する。フレームメモリ11は、伝送画素情報に基づいて伝送画素にフラグを付す処理を行うと共に、伝送画素の画素データをレジスタ16および減算器17に供給する。レジスタ13は、データが供給される毎に記憶内容を更新することにより、直前に伝送された画素の画素データを注目画素の画素データとしてラッチする。減算器14は、レジスタ13がラッチしているデータとフレームメモリ10から供給されるデータとの差分をとる。これにより、伝送画素のデータと注目画素のデータとの差分を得ることができる。この差分が量子化器15に供給される。量子化器15は、供給される差分に量子化を施して冗長度を取り除く。量子化の方法としては、DPCM(Differential Pulse Code Modulation)等の非線形量子化処理を用いることができる。量子化器15の出力は多重化器19に供給される。
【0034】
また、レジスタ16は、データが供給される毎に記憶内容を更新することにより、直前に伝送された画素の画素データを注目画素の画素データとしてラッチする。減算器17は、レジスタ16がラッチしているデータとフレームメモリ11から供給されるデータとの差分をとる。これにより、伝送画素のデータと注目画素のデータとの差分を得ることができる。この差分が量子化器18に供給される。量子化器18は、供給される差分に量子化を施して冗長度を取り除く。量子化の方法としては、DPCM等の非線形量子化処理を用いることができる。
【0035】
量子化器18の出力は多重化器19に供給される。このように、相関度判定回路12による相関度の大きさを判定する輝度信号Y,色差信号U/Vが組み合わされて用いられるが、差分値の計算、および量子化は、輝度信号Y,色差信号U/Vの各々について別個に行われる。多重化器19は、量子化器15、18から供給される差分の量子化値、および相関度判定回路12から供給される領域情報を多重化して、各伝送画素毎の伝送データを形成し、形成した伝送データを出力する。なお、ここでは相関度の判定をフレームメモリ10および11に記憶される画素データに基づいて行うようにしたが、相関度の判定は、ローカルデコードを行うことによって得られるデータに基づいて行うようにしても良い。
【0036】
上述したような符号化装置の動作について、図9のフローチャートを参照して説明する。ステップS201として、初期伝送画素を決定する。ステップS202として、図5に示した4つの領域をそれぞれスキャンし、伝送画素の候補を探索する。ステップS203においては、ステップS202においてスキャンした全ての領域において未伝送画素が無いか否かを判定する。全ての領域において未伝送画素が無い場合には当該フレーム内の画素データの伝送が完了したものと判断できるので処理を終了する。それ以外の場合にはステップS204に移行し、候補の中で注目画素と最も相関度の大きいものを伝送画素として選択する。
【0037】
そして、ステップS205に移行し、伝送画素と注目画素との間での輝度信号Yおよび色差信号U/Vの差分、並びに伝送画素が含まれる領域を示す領域情報を伝送する。さらに、ステップS206に移行し、ステップS205によって伝送された画素を注目画素に設定し、ステップS201に移行して伝送処理を継続する。
【0038】
次に、この発明の一実施形態における復号化装置について説明する。この発明の一実施形態における復号化装置の一例を図10に示す。伝送データが分割化回路21に入力する。分割化回路21は、伝送データ中に多重化されている輝度信号,色差信号に係るデータ、および領域情報に係るデータを分割化する。そして、輝度信号,色差信号に係るデータをそれぞれ再構成回路22、26に供給すると共に、領域情報を出力位置決定回路30に供給する。
【0039】
再構成回路22は、量子化テーブルを参照して、供給されるデータから輝度信号の差分値を再構成する。再構成回路22の出力は加算回路23に供給される。加算回路23は、再構成回路22の出力とレジスタ24の記憶値とを加算し、加算値をレジスタ24に供給する。このような構成により、1つ前に伝送された画素の輝度信号値と、輝度信号の差分値とが加算され、輝度信号値が順次復元される。レジスタ24の記憶値は、加算回路23に供給されると共に、フレームメモリ25に供給される。フレームメモリ25は、供給される輝度信号値を順次記憶する。
【0040】
一方、再構成回路26は、量子化テーブルを参照して、供給されるデータから色差信号の差分値を再構成する。再構成回路26の出力は加算回路27に供給される。加算回路27は、再構成回路26の出力とレジスタ28の記憶値とを加算し、加算値をレジスタ28に供給する。このような構成により、1つ前に伝送された画素の色差信号値と、色差信号の差分値とが加算され、色差信号値が順次復元される。レジスタ28の記憶値は、加算回路27に供給されると共に、フレームメモリ29に供給される。フレームメモリ29は、供給される色差信号値を順次記憶する。
【0041】
また、出力位置決定回路30は、供給される領域情報に基づいて出力画素位置を検出し、検出した出力画素位置をフレームメモリ25および29に供給する。すなわち、領域情報に応じて、図5に示したような各領域毎のスキャン方式に沿って注目画素に近い順に未伝送画素を探索し、探索される未伝送画素の位置をその時点での伝送画素と判定する。ここで、未伝送画素の探索は、フレームメモリ31を参照することによって行われる。すなわち、出力位置決定回路30は、伝送画素の位置を判定する毎に、フレームメモリ31上の当該伝送画素のアドレスにフラグを立てることによって既伝送画素の位置をフレームメモリ31上に保持する。また、出力位置決定回路30は、未伝送画素を探索するに際して、フレームメモリ31上でフラグが立てられている画素位置を飛び越し、それ以降の画素を探索対象とする処理を行う。
【0042】
フレームメモリ25および29は、出力位置決定回路30から供給される出力画素位置に従って、それぞれ、輝度信号値Yおよび色差信号値U/Vを出力する。このようにして輝度信号値Yおよび色差信号値U/Vを原画像と同じ位置に出力することができ、原画像を的確に復号できる。
【0043】
上述したような符号化装置の動作について、図11のフローチャートを参照して説明する。ステップS301として、その時点での注目画素を起点として、出力位置の決定に係るフレームメモリ内の伝送画素が含まれる領域を順次探索する。かかるフレームメモリは、図10中ではフレームメモリ31である。すなわち、上述したように、既伝送画素に対応するフレームメモリ31上のアドレスにフラグが立てられるので、フラグが立っていないアドレスを順次探索していくことにより復号すべき未伝送の画素の位置を探索することができる。ステップS302では、当該領域内に未伝送画素が無いか否かを判定する。ステップS302によって当該領域内に未伝送画素が無いと判定される場合には処理を終了する。かかる場合には、伝送すべき画素が最早存在しないと判断することができる。一方、それ以外の場合にはステップS303に移行する。
【0044】
ステップS303では、その時点での注目画素の輝度信号Yおよび色差信号U/Vと伝送されてきた情報に基づいて再構成された差分とに基づいて、伝送画素についての輝度信号Yおよび色差信号U/Vを計算する。そして、計算した輝度信号Yおよび色差信号U/VをステップS301およびS302によって探索された画素位置に対して出力する。さらに、ステップS304に移行して、ステップS303において出力した画素に対応するフレームメモリ31上のアドレスにフラグを立てる。さらに、ステップS305に移行して、ステップS303において出力した画素を注目画素に設定し、ステップS301に移行して伝送処理を継続する。
【0045】
次に、この発明の一実施形態による伝送の順序について説明する。図12は、原画像をこの発明の一実施形態によって伝送する際の伝送の順序を、輝度によって表現した画像の一例である。ここで、輝度値が大きい部分、すなわち図上で明るい部分ほど伝送順序が遅いことを示す。また、図13は、図4等を参照して上述した、先の提案に係る伝送方法によって原画像を伝送する際の伝送の順序を、輝度によって表現した画像の一例である。なお、図12および図13についての原画像を図14に示す。
【0046】
なお、図12、図13および図14は、各画像をプリント・アウトしたものの複写である。右上の画像部分(図14からわかるように「空」の部分)に注目すると、図13では輝度の低い部分、すなわち伝送順序が早い部分が基調となっているのに加えて輝度の高い部分、すなわち伝送順序が遅い部分が点々と現れている。これらの点状の部分は、ラスタースキャンを含む処理にスキップすることによって伝送された部分であると考えられる。一方、同じ画像部分について、図12では5段階程度の輝度が現れているが、輝度の大きく異なる点状の部分は図13に比較してごく少ない。
【0047】
一般に、注目画素との距離が近いほど相関性は強い。また、「空」のように画素値の変化が少ない部分については、連続的に伝送するほうが効率が良い。これらのことを考慮すると、図12と図13の比較から、この発明の一実施形態によって、図4等を参照して上述した伝送方法による場合よりも効率良く画素を伝送できることがわかる。符号化処理において算出される差分の平均と、伝送方法との関係について図15を参照して説明する。図15は、(a)全ての画素をラスタースキャン順に伝送する従来の伝送方法、(b)図4等を参照して上述した先の提案に係る伝送方法、および(c)この発明の一実施形態における輝度信号および色差信号差分平均値の一例を示している。
【0048】
また、図15では、輝度信号Yについての差分平均値を三角形を実線で結んで示し、色差信号Prを三角形を丸を点線で結んで示し、色差信号Pbについての差分平均値を四角形を一点鎖線で結んで示した。図15に示すように、この発明の一実施形態における差分平均値は、全ての画素をラスタースキャン順に伝送する従来の伝送方法における各差分平均値より小さい。但し、この発明では、伝送画素が注目画素の周りの4個の領域の何れに属するかを示す領域情報を伝送する必要があるのでその例えば2ビット分だけ伝送情報量が増加する。一般的には差分平均値の減少に起因して伝送情報量が削減される効果の方が領域情報の伝送に起因する伝送情報量の増加よりも大きいので、この発明により、従来の伝送方法に比較して伝送効率を向上されることができる。
【0049】
また、この発明の一実施形態における差分平均値は、先の提案に係る伝送方法における各差分平均値よりも僅かながら小さいことが図15からわかる。かかる点と、この発明の一実施形態においては未伝送画素の探索が行き詰まった場合にラスタースキャンを含む処理にスキップする必要が無い点とにより、この発明によれば本願出願人の先の提案に係る伝送方法に比較して伝送効率を向上させることができる。
【0050】
上述したこの発明の一実施形態では、フレームを注目画素に対して左上、左下、右下、右上にそれぞれ位置する4個の領域に分割し、これら4個の領域の各々から伝送画素の候補を探索するものであるが、伝送画素の候補を探索するための領域のとり方はこれに限定されるものではない。例えば図5に示した4個の領域を各々2等分することによって8個の領域を設定し、それらの8個の領域の各々から伝送画素の候補を探索するようにしても良い。
【0051】
この発明は、上述したこの発明の一実施形態やこの発明の他の実施形態に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【0052】
【発明の効果】
この発明によれば、注目画素の周囲でフレームが例えば4個等の複数個に分割されてなる領域の各々から、各領域内で例えばラスタ−スキャン状等の探索を行うことによって検出される伝送画素の候補の内で、注目画素との相関度が最も大きい画素が伝送画素として選択され、伝送画素に差分量子化等の伝送時の符号化が施されてなる符号化データと共に、伝送画素の画素位置についての領域情報が伝送される。
【0053】
また、受信側では、例えば復号装置内にフレームメモリを備え、既伝送画素に対応する位置にフラグを立て、復号したデータを出力する画素位置がフラグの無い画素位置の内から選択されるようにする等の処理を行うことにより、領域情報を参照して認識される領域内において既伝送画素を飛び越える等、復号される画素データの出力位置の制御が適切に行われる。このため、伝送されて来るデータから復号される各画素データを、領域情報を参照して的確な位置に出力することができる。
【0054】
従って、相関度がより大きい画素の間で、差分量子化等の符号化が常になされる。このため、例えばエッジを含む部分等の、相関が無い部分を跨ぐように位置する画素の間での符号化が行われることを防止、若しくはその確率を大幅に低減することができるので、そのような符号化に起因して復号される画像の画質が劣化することを防止することができる。従って、より高画質での画像伝送を実現することができる。
【0055】
また、この発明において伝送される領域情報は、全ての画素をラスタースキャン順に伝送する従来の伝送方法においては伝送する必要が無いものなので、従来の伝送方法に比べて領域情報の分だけ伝送される情報量が増大することになる。一方で、この発明によってより相関度の大きい画素間で符号化処理が行われることにより、差分平均値の減少等、画素データの伝送に係る情報量が削減される効果が生じる。一般的には、領域情報の伝送に起因する伝送情報量の増加よりも画素データの伝送に係る情報量が削減される効果の方が大きいので、この発明により、総体的には、従来の伝送方法に比較して伝送効率を向上させることができる。
【0056】
また、注目画素の周囲でフレームが複数個に分割されてなる領域内の全画素が伝送画素の候補を探すための探索の対象とされるので、当該フレームの伝送が完了する以前に、何れの領域においても伝送画素の候補が見つからないという状況が生じないようにすることができる。
【0057】
このため、例えば注目画素に対して上下左右の4方向の何れかに位置する画素のみを探索の対象とする探索方法等において伝送画素の候補が見つからない場合に行われる、ラスタースキャン等を含む例外的な処理は、この発明においては不要とすることができる。このため、例外的な処理に起因して伝送効率が低下することを回避できるので、伝送効率の向上に寄与することができる。
【図面の簡単な説明】
【図1】本願出願人の先の提案に係る伝送方式における探索方法について説明するための略線図である。
【図2】図1に示す探索方式における処理の一例について説明するための略線図である。
【図3】図1に示す探索方式における処理の他の例について説明するための略線図である。
【図4】本願出願人の先の提案に係る伝送方式の処理手順について説明するためのフローチャートである。
【図5】この発明の一実施形態における探索方式について説明するための略線図である。
【図6】この発明の一実施形態における処理について説明するためのフローチャートである。
【図7】図6に示した処理における一部の処理について詳細に説明するためのフローチャートである。
【図8】この発明の一実施形態における符号化装置の構成の一例を示すブロック図である。
【図9】図8に示した構成による処理について説明するためのフローチャートである。
【図10】この発明の一実施形態における復号化装置の構成の一例を示すブロック図である。
【図11】図10に示した構成による処理について説明するためのフローチャートである。
【図12】原画像をこの発明の一実施形態によって伝送する際の伝送の順序を、輝度によって表現した画像の一例の複写である。
【図13】本願出願人の先の提案に係る伝送方法によって原画像を伝送する際の伝送の順序を、輝度によって表現した画像の一例の複写である。
【図14】図12および図13についての原画像の複写である。
【図15】符号化処理において算出される差分の平均と、伝送方法との関係の一例を示す略線図である。
【図16】従来技術における問題点について説明するための略線図である。
【符号の説明】
12・・・相関度判定回路、30・・・出力位置決定回路
Claims (6)
- 伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する注目画素が予め設定され、上記注目画素を通り互いにほぼ直交する少なくとも2本の線によって第1乃至第4の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、上記第1乃至第4の領域の各々において、上記メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って上記注目画素に近い順に未伝送の画素を探索し、
上記未伝送の画素が探索された時点でスキャンを中止し、
上記領域の各々で探索された上記未伝送の画素の各々について上記注目画素に対する相関度を判定し、
上記相関度が最も大きいと判定される画素を伝送画素として決定する判定手段と、
上記伝送画素と、上記注目画素との差分を計算する計算手段と、
上記伝送画素が上記複数個の領域の内の何れに属するかを示す領域情報と、上記計算手段によって計算される上記差分とを伝送する伝送手段とを有し、
上記伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、上記領域情報と上記差分とを伝送する処理を繰り返すことを特徴とする伝送装置。 - 請求項1において、
上記第1乃至第4の領域は、
上記注目画素を座標原点とする各フレーム内の直交座標上で第1象限を含む領域、第2象限を含む領域、第3象限を含む領域および第4象限を含む領域であることを特徴とする伝送装置。 - 請求項1において、
上記第1乃至第4の領域は、
注目画素を座標原点とする各フレーム内の直交座標上で座標軸と45度をなし、上記座標原点を通る2本直線で第1象限、第2象限、第3象限および第4象限をそれぞれ2分割することによって設定される領域であることを特徴とする伝送装置。 - 伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する注目画素が予め設定され、上記注目画素を通り互いにほぼ直交する少なくとも2本の線によって第1乃至第4の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、上記第1乃至第4の領域の各々において、上記メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って上記注目画素に近い順に未伝送の画素を探索し、
上記未伝送の画素が探索された時点でスキャンを中止し、
上記領域の各々で探索された上記未伝送の画素の各々について上記注目画素に対する相関度を判定し、
上記相関度が最も大きいと判定される画素を伝送画素として決定する判定手段と、
上記伝送画素と、上記注目画素との差分を計算する計算手段と、
上記伝送画素が上記複数個の領域の内の何れに属するかを示す領域情報と、上記計算手段によって計算される上記差分とを伝送する伝送手段とを有し、
上記伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、上記領域情報と上記差分とを伝送する処理を繰り返す伝送装置に対する受信装置において、
上記差分に係るデータと、上記領域情報とを含む伝送データを受信する受信手段と、
1つ前に伝送された画素の値と、上記差分値とを加算することによって画素値生成する画素データ生成手段と、
既伝送の画素の画素位置を示す情報をメモリに記憶し、上記領域情報によって示される上記領域内で上記メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って上記注目画素に近い順に未伝送の画素を探索し、探索される未伝送の画素の位置をその時点での伝送画素と判定する画素位置決定手段とを有することを特徴とする受信装置。 - 伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する 注目画素が予め設定され、上記注目画素を通り互いにほぼ直交する少なくとも2本の線によって第1乃至第4の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、上記第1乃至第4の領域の各々において、上記メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って上記注目画素に近い順に未伝送の画素を探索し、
上記未伝送の画素が探索された時点でスキャンを中止し、
上記領域の各々で探索された上記未伝送の画素の各々について上記注目画素に対する相関度を判定し、
上記相関度が最も大きいと判定される画素を伝送画素として決定する判定ステップと、
上記伝送画素と、上記注目画素との差分を計算する計算ステップと、
上記伝送画素が上記複数個の領域の内の何れに属するかを示す領域情報と、上記計算ステップによって計算される上記差分とを伝送する伝送ステップとを有し、
上記伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、上記領域情報と上記差分とを伝送する処理を繰り返すことを特徴とする伝送方法。 - 伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する注目画素が予め設定され、上記注目画素を通り互いにほぼ直交する少なくとも2本の線によって第1乃至第4の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、上記第1乃至第4の領域の各々において、上記メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って上記注目画素に近い順に未伝送の画素を探索し、
上記未伝送の画素が探索された時点でスキャンを中止し、
上記領域の各々で探索された上記未伝送の画素の各々について上記注目画素に対する相関度を判定し、
上記相関度が最も大きいと判定される画素を伝送画素として決定する判定ステップと、
上記伝送画素と、上記注目画素との差分を計算する計算ステップと、
上記伝送画素が上記複数個の領域の内の何れに属するかを示す領域情報と、上記計算ステップによって計算される上記差分とを伝送する伝送ステップとを有し、
上記伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、上記領域情報と上記差分とを伝送する処理を繰り返す伝送方法に対する受信方法において、
上記差分に係るデータと、上記領域情報とを含む伝送データを受信する受信ステップと、
1つ前に伝送された画素の値と、上記差分値とを加算することによって画素値生成する画素データ生成ステップと、
既伝送の画素の画素位置を示す情報をメモリに記憶し、上記領域情報によって示される上記領域内で上記メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って上記注目画素に近い順に未伝送の画素を探索し、探索される未伝送の画素の位置をその時点での伝送画素と判定する画素位置決定ステップとを有することを特徴とする受信方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7587199A JP4218117B2 (ja) | 1999-03-19 | 1999-03-19 | 伝送装置、伝送方法、受信装置および受信方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7587199A JP4218117B2 (ja) | 1999-03-19 | 1999-03-19 | 伝送装置、伝送方法、受信装置および受信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000278679A JP2000278679A (ja) | 2000-10-06 |
JP4218117B2 true JP4218117B2 (ja) | 2009-02-04 |
Family
ID=13588776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7587199A Expired - Fee Related JP4218117B2 (ja) | 1999-03-19 | 1999-03-19 | 伝送装置、伝送方法、受信装置および受信方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4218117B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4736243B2 (ja) * | 2001-06-07 | 2011-07-27 | ソニー株式会社 | 画像信号伝送装置および方法、並びに画像信号受信装置および方法 |
JP2002369195A (ja) * | 2001-06-07 | 2002-12-20 | Sony Corp | 画像信号伝送装置および方法、並びに画像信号受信装置および方法 |
JP4736242B2 (ja) * | 2001-06-07 | 2011-07-27 | ソニー株式会社 | 画像信号伝送装置および方法、並びに画像信号受信装置および方法 |
JP4736244B2 (ja) * | 2001-06-07 | 2011-07-27 | ソニー株式会社 | 符号化装置、符号化方法、復号化装置および復号化方法 |
-
1999
- 1999-03-19 JP JP7587199A patent/JP4218117B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000278679A (ja) | 2000-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6014173A (en) | System and method for coding and/or decoding image-adaptive split region of motion picture | |
US7013050B2 (en) | Image encoding apparatus and method, program code, and storage medium | |
JPS6318777A (ja) | デイザ信号の符号復号処理方法 | |
JPWO2004068844A1 (ja) | 画像圧縮方法、画像復元方法、プログラム及び装置 | |
EP0605210B1 (en) | Image processing method and apparatus | |
JP3614358B2 (ja) | 画像符号化装置 | |
JP4218117B2 (ja) | 伝送装置、伝送方法、受信装置および受信方法 | |
JP3689620B2 (ja) | 画像処理装置およびその方法 | |
JP4218116B2 (ja) | 伝送装置、伝送方法、受信装置および受信方法 | |
JP3085932B2 (ja) | マスクを用いた予測映像発生装置及びその装置を用いた2進映像の圧縮、伝送及び復元装置 | |
JP2010220237A (ja) | 動画像の圧縮・伝送方法 | |
JP3223046B2 (ja) | 誤差拡散法2値画像の符号化装置 | |
JP4151134B2 (ja) | 伝送装置および方法、受信装置および方法、並びに記録媒体 | |
JPH04238462A (ja) | 画像処理装置 | |
JP4239465B2 (ja) | 画像信号伝送装置および方法、並びに画像信号受信装置および方法 | |
JP3083084B2 (ja) | 画像処理装置 | |
JP4182674B2 (ja) | 画像信号伝送装置および方法、並びに画像信号受信装置および方法 | |
JP4736244B2 (ja) | 符号化装置、符号化方法、復号化装置および復号化方法 | |
JP4182676B2 (ja) | 画像信号伝送装置および方法、並びに画像信号受信装置および方法 | |
JP4182675B2 (ja) | 画像信号伝送装置および方法 | |
JP3948581B2 (ja) | 画像符号化方法 | |
JP2966426B2 (ja) | カラー画像処理装置および方法 | |
JPH1070664A (ja) | 画像処理方法 | |
JP2006080722A (ja) | 符号画像生成装置 | |
JPH09214952A (ja) | 画像データの並べ替え方法、画像データの伝送方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081021 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081103 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131121 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |