JPH10304403A - 動画像符号化装置，復号化装置，及び伝送システム - Google Patents
動画像符号化装置，復号化装置，及び伝送システムInfo
- Publication number
- JPH10304403A JPH10304403A JP11086197A JP11086197A JPH10304403A JP H10304403 A JPH10304403 A JP H10304403A JP 11086197 A JP11086197 A JP 11086197A JP 11086197 A JP11086197 A JP 11086197A JP H10304403 A JPH10304403 A JP H10304403A
- Authority
- JP
- Japan
- Prior art keywords
- image
- edge position
- moving picture
- moving image
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 従来，左目用動画像と右目用動画像とからな
る立体動画像を伝送する場合，例えばＭＰＥＧ方式によ
り両動画像の圧縮を行っていたが，ＭＰＥＧ方式のビッ
トレートは２〜６Ｍビット／秒程度であるため，ＰＨＳ
等を用いた０．３Ｍビット／秒程度の低速回線では伝送
が困難であった。 【解決手段】 本発明は，上記立体動画像を，画像の輝
度が変化するエッジ位置，当該エッジ位置における輝度
勾配，当該エッジ位置における上記両動画像の視差情
報，及び動き検出ベクトルに符号化することにより，上
記のような低速回線においても良好に立体動画像を伝送
することを図ったものである。
る立体動画像を伝送する場合，例えばＭＰＥＧ方式によ
り両動画像の圧縮を行っていたが，ＭＰＥＧ方式のビッ
トレートは２〜６Ｍビット／秒程度であるため，ＰＨＳ
等を用いた０．３Ｍビット／秒程度の低速回線では伝送
が困難であった。 【解決手段】 本発明は，上記立体動画像を，画像の輝
度が変化するエッジ位置，当該エッジ位置における輝度
勾配，当該エッジ位置における上記両動画像の視差情
報，及び動き検出ベクトルに符号化することにより，上
記のような低速回線においても良好に立体動画像を伝送
することを図ったものである。
Description
【０００１】
【発明の属する技術分野】本発明は，動画像符号化装
置，復号化装置，及び伝送システムに係り，例えば左目
用動画像と右目用動画像とからなる立体動画像の高能率
伝送を行う動画像符号化装置，復号化装置，及び伝送シ
ステムに関するものである。
置，復号化装置，及び伝送システムに係り，例えば左目
用動画像と右目用動画像とからなる立体動画像の高能率
伝送を行う動画像符号化装置，復号化装置，及び伝送シ
ステムに関するものである。
【０００２】
【従来の技術】視差を利用して立体感を生み出す立体画
像は，右目用画像と左目用画像とからなるステレオ画像
であり，単純に伝送を行えば，通常用いられる平面画像
の２倍の情報量を必要とする。とりわけ，伝送する画像
が動画像である場合には，その伝送情報量は飛躍的に増
大することになる。例えば，６４０×４８０画素からな
る平面画像について，８ビットの量子化を行ったとする
と，画像１枚あたりの情報量は，約３０７ｋｂｙｔｅ／
ｆｒａｍｅとなり，１秒あたり３０枚の画像が伝送され
る場合には，９．２Ｍｂｙｔｅ／ｓｅｃ（７２Ｍｂｉｔ
／ｓｅｃ）もの伝送速度が必要となる。立体動画像で
は，無圧縮の場合，この２倍となるから，１秒あたりに
処理する必要のある情報量は１８Ｍｂｙｔｅにもなる。
像は，右目用画像と左目用画像とからなるステレオ画像
であり，単純に伝送を行えば，通常用いられる平面画像
の２倍の情報量を必要とする。とりわけ，伝送する画像
が動画像である場合には，その伝送情報量は飛躍的に増
大することになる。例えば，６４０×４８０画素からな
る平面画像について，８ビットの量子化を行ったとする
と，画像１枚あたりの情報量は，約３０７ｋｂｙｔｅ／
ｆｒａｍｅとなり，１秒あたり３０枚の画像が伝送され
る場合には，９．２Ｍｂｙｔｅ／ｓｅｃ（７２Ｍｂｉｔ
／ｓｅｃ）もの伝送速度が必要となる。立体動画像で
は，無圧縮の場合，この２倍となるから，１秒あたりに
処理する必要のある情報量は１８Ｍｂｙｔｅにもなる。
【０００３】従って，動画像の通信を行うにあたっては
高能率の符号化を行うことが望ましく，例えば平面動画
像については，ＩＳＯ等により定められたＭＰＥＧ方式
が広く用いられている。このＭＰＥＧ方式を立体動画像
の符号及び復号化に応用した技術は公知であり，例えば
特開平８−７０４７５号公報（以下，参照文献１と称す
る）や「立体画像圧縮の動向」，画像ラボ 96.6 P.133
（以下，参照文献２と称する）等に開示されている。こ
こに，図５は上記参照文献１に記載された立体動画像の
符号化及び復号化を示す概念図，図６は上記参照文献２
に記載されたＭＰＥＧ方式を応用した符号化装置の概略
構成図である。図５に示すように，上記参照文献１で
は，右目用画像５１及び左目用画像５２の動画像を合成
器Ｍを用いて一水平走査線毎に合成してフレーム画像５
３を形成し，その合成されたフレーム画像５３をＭＰＥ
Ｇ方式のエンコーダ５４により符号化し，光磁気ディス
ク５５に書き出している。この場合，互いに相関のある
右目用画像５１と左目用画像５２とが合成されるため，
効率の良い符号化が可能である。
高能率の符号化を行うことが望ましく，例えば平面動画
像については，ＩＳＯ等により定められたＭＰＥＧ方式
が広く用いられている。このＭＰＥＧ方式を立体動画像
の符号及び復号化に応用した技術は公知であり，例えば
特開平８−７０４７５号公報（以下，参照文献１と称す
る）や「立体画像圧縮の動向」，画像ラボ 96.6 P.133
（以下，参照文献２と称する）等に開示されている。こ
こに，図５は上記参照文献１に記載された立体動画像の
符号化及び復号化を示す概念図，図６は上記参照文献２
に記載されたＭＰＥＧ方式を応用した符号化装置の概略
構成図である。図５に示すように，上記参照文献１で
は，右目用画像５１及び左目用画像５２の動画像を合成
器Ｍを用いて一水平走査線毎に合成してフレーム画像５
３を形成し，その合成されたフレーム画像５３をＭＰＥ
Ｇ方式のエンコーダ５４により符号化し，光磁気ディス
ク５５に書き出している。この場合，互いに相関のある
右目用画像５１と左目用画像５２とが合成されるため，
効率の良い符号化が可能である。
【０００４】また，上記参照文献２の図６に示す例で
は，右目用画像と左目用画像とから視差を検出すると共
に，両画像を独立にＭＰＥＧ方式により符号化し，その
うち一方の圧縮画像と視差情報とを伝送することによ
り，平面動画像を伝送する場合と比べて伝送情報量の増
加量を数１０％に抑制している。ところで，視差情報
は，局所的にはそれほど変化しないので，全画素の視差
情報を伝送する必要はなく，例えば画像の輪郭部におけ
る視差情報のみを伝送すれば，輪郭線間の視差情報は受
信側で補間することにより求めることが可能である。従
って，例えば一方の画像をＭＰＥＧ方式により符号化
し，付加する視差情報については輪郭部における視差情
報のみを伝送することによって，受信側で立体動画像を
得ることもできる。この場合，輪郭を形成する画素数
は，全画素数よりもはるかに少なく，また，輪郭線上の
視差はほぼ一定であるため，付加する視差情報量は，原
画像の情報量の数パーセント以下に抑えられる。
は，右目用画像と左目用画像とから視差を検出すると共
に，両画像を独立にＭＰＥＧ方式により符号化し，その
うち一方の圧縮画像と視差情報とを伝送することによ
り，平面動画像を伝送する場合と比べて伝送情報量の増
加量を数１０％に抑制している。ところで，視差情報
は，局所的にはそれほど変化しないので，全画素の視差
情報を伝送する必要はなく，例えば画像の輪郭部におけ
る視差情報のみを伝送すれば，輪郭線間の視差情報は受
信側で補間することにより求めることが可能である。従
って，例えば一方の画像をＭＰＥＧ方式により符号化
し，付加する視差情報については輪郭部における視差情
報のみを伝送することによって，受信側で立体動画像を
得ることもできる。この場合，輪郭を形成する画素数
は，全画素数よりもはるかに少なく，また，輪郭線上の
視差はほぼ一定であるため，付加する視差情報量は，原
画像の情報量の数パーセント以下に抑えられる。
【０００５】
【発明が解決しようとする課題】しかし，上記のように
立体動画像の伝送にＭＰＥＧ技術を応用する場合，その
ビットレートはＭＰＥＧ方式の限界により，２〜６Ｍｂ
ｐｓ程度必要となる。一方，近年急速に普及しているＰ
ＨＳ等の無線端末における伝送速度は，２９．２ｋｂｐ
ｓ，ワイヤレスＬＡＮにおける伝送速度は３８４ｋｂｐ
ｓ程度である。これらの無線伝送路はＴＶ会議等にも広
く用いられているが，上記のような制約から，既存のＰ
ＨＳやワイヤレスＬＡＮでは立体動画像を伝送すること
が困難であった。本発明は，このような従来の技術にお
ける課題を解決するために，動画像の符号化装置及び復
号化装置を改良し，伝送速度の低い無線伝送路等におい
ても立体動画像の伝送を行うことができる動画像の符号
化装置，復号化装置，及び伝送システムを提供すること
を目的とするものである。
立体動画像の伝送にＭＰＥＧ技術を応用する場合，その
ビットレートはＭＰＥＧ方式の限界により，２〜６Ｍｂ
ｐｓ程度必要となる。一方，近年急速に普及しているＰ
ＨＳ等の無線端末における伝送速度は，２９．２ｋｂｐ
ｓ，ワイヤレスＬＡＮにおける伝送速度は３８４ｋｂｐ
ｓ程度である。これらの無線伝送路はＴＶ会議等にも広
く用いられているが，上記のような制約から，既存のＰ
ＨＳやワイヤレスＬＡＮでは立体動画像を伝送すること
が困難であった。本発明は，このような従来の技術にお
ける課題を解決するために，動画像の符号化装置及び復
号化装置を改良し，伝送速度の低い無線伝送路等におい
ても立体動画像の伝送を行うことができる動画像の符号
化装置，復号化装置，及び伝送システムを提供すること
を目的とするものである。
【０００６】
【課題を解決するための手段】上記目的を達成するため
に第１の発明は，複数のフレーム画像を含む動画像を符
号化する動画像符号化装置において，上記フレーム画像
の中で輝度が急変するエッジ位置を抽出するエッジ位置
抽出手段と，上記エッジ位置抽出手段により抽出された
エッジ位置での画像の属性を検出する画像属性検出手段
と，上記フレーム画像間での上記エッジ位置の時間的変
化に基づいて動き検出ベクトルを求める動き検出ベクト
ル演算手段と，上記エッジ位置，当該エッジ位置での画
像の属性，及び動き検出ベクトルとを含むデータストリ
ームを作成するデータストリーム作成手段とを具備して
なることを特徴とする動画像符号化装置として構成され
ている。上記動画像符号化装置では，フレーム画像空間
内，及び各フレーム画像間の時間方向の圧縮が，画像全
体に対してではなくエッジベースで行なわれ，更に伝送
情報が共有化されるため，従来より圧縮率を著しく向上
させることができる。また，エッジベースでの処理統一
により，プロセッサ等にかかる負荷が軽減され，その結
果製作コストを低減することができる。このため，低速
な伝送路を用いた場合でも，例えば右目用動画像と左目
用動画像とからなる立体動画像を伝送することが可能と
なる。
に第１の発明は，複数のフレーム画像を含む動画像を符
号化する動画像符号化装置において，上記フレーム画像
の中で輝度が急変するエッジ位置を抽出するエッジ位置
抽出手段と，上記エッジ位置抽出手段により抽出された
エッジ位置での画像の属性を検出する画像属性検出手段
と，上記フレーム画像間での上記エッジ位置の時間的変
化に基づいて動き検出ベクトルを求める動き検出ベクト
ル演算手段と，上記エッジ位置，当該エッジ位置での画
像の属性，及び動き検出ベクトルとを含むデータストリ
ームを作成するデータストリーム作成手段とを具備して
なることを特徴とする動画像符号化装置として構成され
ている。上記動画像符号化装置では，フレーム画像空間
内，及び各フレーム画像間の時間方向の圧縮が，画像全
体に対してではなくエッジベースで行なわれ，更に伝送
情報が共有化されるため，従来より圧縮率を著しく向上
させることができる。また，エッジベースでの処理統一
により，プロセッサ等にかかる負荷が軽減され，その結
果製作コストを低減することができる。このため，低速
な伝送路を用いた場合でも，例えば右目用動画像と左目
用動画像とからなる立体動画像を伝送することが可能と
なる。
【０００７】更に，上記立体動画像を伝送する場合に
は，上記エッジ位置抽出手段により抽出された右目用動
画像及び左目用動画像それぞれのエッジ位置から視差情
報を検出する視差情報検出手段を具備し，上記視差情報
を上記データストリーム作成手段により作成された視差
情報に含めることによって，通常用いられる平面動画像
の場合とくらべて伝送情報量の増加量を著しく低減する
ことができる。また，上記エッジ位置及び当該エッジ位
置での画像の属性と同様に，視差情報もエッジベースで
圧縮されるため，処理が共通化されるから，機器の負担
も低減することができる。尚，上記動画像符号化装置に
おいて，上記画像属性検出手段により検出される画像の
属性は，例えば当該エッジ位置での輝度勾配である。
は，上記エッジ位置抽出手段により抽出された右目用動
画像及び左目用動画像それぞれのエッジ位置から視差情
報を検出する視差情報検出手段を具備し，上記視差情報
を上記データストリーム作成手段により作成された視差
情報に含めることによって，通常用いられる平面動画像
の場合とくらべて伝送情報量の増加量を著しく低減する
ことができる。また，上記エッジ位置及び当該エッジ位
置での画像の属性と同様に，視差情報もエッジベースで
圧縮されるため，処理が共通化されるから，機器の負担
も低減することができる。尚，上記動画像符号化装置に
おいて，上記画像属性検出手段により検出される画像の
属性は，例えば当該エッジ位置での輝度勾配である。
【０００８】また，第２の発明は，符号化されたデータ
ストリームを復号化し，複数のフレーム画像を含む動画
像を復元する動画像復号化装置において，上記データス
トリームに含まれ上記フレーム画像間の残差情報を表す
動き検出ベクトルに基づいて，各フレーム画像で輝度が
急変するエッジ位置と，該エッジ位置での画像の属性と
を定めるエッジ情報決定手段と，上記エッジ情報決定手
段により定められた各フレーム画像でのエッジ位置及び
輝度勾配に基づいて，上記動画像を復元する復元手段と
を具備してなることを特徴とする動画像復号化装置とし
て構成されている。上記動画像復号化装置は，上記第１
の発明に係る動画像符号化装置によって符号化されたデ
ータストリームを受信側で復号化するのに好適な動画像
復号化装置であって，上記フレーム画像の中のエッジ位
置及び画像の属性に基づいて上記動画像を復元すること
ができる。
ストリームを復号化し，複数のフレーム画像を含む動画
像を復元する動画像復号化装置において，上記データス
トリームに含まれ上記フレーム画像間の残差情報を表す
動き検出ベクトルに基づいて，各フレーム画像で輝度が
急変するエッジ位置と，該エッジ位置での画像の属性と
を定めるエッジ情報決定手段と，上記エッジ情報決定手
段により定められた各フレーム画像でのエッジ位置及び
輝度勾配に基づいて，上記動画像を復元する復元手段と
を具備してなることを特徴とする動画像復号化装置とし
て構成されている。上記動画像復号化装置は，上記第１
の発明に係る動画像符号化装置によって符号化されたデ
ータストリームを受信側で復号化するのに好適な動画像
復号化装置であって，上記フレーム画像の中のエッジ位
置及び画像の属性に基づいて上記動画像を復元すること
ができる。
【０００９】また，復元される上記動画像が右目用動画
像と左目用動画像とを有する立体動画像である場合に
も，上記復元手段が，上記右目用動画像及び左目用動画
像のうち一方の動画像について上記エッジ情報決定手段
により定められた上記エッジ位置及び画像の属性と，上
記データストリームに含まれた上記右目用動画像と左目
用動画像との間の視差情報とから，他方の動画像を復元
する対画像復元手段を具備することによって，上記デー
タストリームからの立体動画像の復元を可能とし，上記
第１の発明に係る動画像符号化装置とともに例えば０．
３Ｍｂｐｓ程度の高能率な伝送を実現することができ
る。尚，上記エッジ情報決定手段により定められる画像
の属性は，例えば当該エッジ位置での輝度の勾配であ
る。
像と左目用動画像とを有する立体動画像である場合に
も，上記復元手段が，上記右目用動画像及び左目用動画
像のうち一方の動画像について上記エッジ情報決定手段
により定められた上記エッジ位置及び画像の属性と，上
記データストリームに含まれた上記右目用動画像と左目
用動画像との間の視差情報とから，他方の動画像を復元
する対画像復元手段を具備することによって，上記デー
タストリームからの立体動画像の復元を可能とし，上記
第１の発明に係る動画像符号化装置とともに例えば０．
３Ｍｂｐｓ程度の高能率な伝送を実現することができ
る。尚，上記エッジ情報決定手段により定められる画像
の属性は，例えば当該エッジ位置での輝度の勾配であ
る。
【００１０】また，第３の発明は，複数のフレーム画像
を含む動画像を伝送する動画像伝送システムにおいて，
上記フレーム画像の中で輝度が急変するエッジ位置を抽
出するエッジ位置抽出手段と，上記エッジ位置抽出手段
により抽出されたエッジ位置での画像の属性を検出する
画像属性検出手段と，上記フレーム画像間での上記エッ
ジ位置の時間的変化に基づいて動き検出ベクトルを求め
る動き検出ベクトル演算手段と，上記エッジ位置，当該
エッジ位置での画像の属性，及び動き検出ベクトルとを
含むデータストリームを作成するデータストリーム作成
手段とを含む符号化部と，上記符号化部から送出された
上記データストリームに含まれる動き検出ベクトルに基
づいて，各フレーム画像について上記エッジ位置と，該
エッジ位置での画像の属性とを定めるエッジ情報決定手
段と，上記エッジ情報決定手段により定められた各フレ
ーム画像でのエッジ位置及び輝度勾配に基づいて上記動
画像を復元する復元手段とを含む復号化部とを具備して
なることを特徴とする動画像伝送システムとして構成さ
れている。上記第３の発明にかかる動画像伝送システム
は，上記第１及び第２の発明にかかる動画像符号化装置
及び復号化装置を組み合わせたものであり，例えば無線
伝送路等の低速な伝送路を用いる場合にも，立体動画像
等の動画像を送受信することができ，遠隔地を結んで行
われるＴＶ会議システム等に応用して，従来より臨場感
を演出することのできるシステムを提供することができ
る。
を含む動画像を伝送する動画像伝送システムにおいて，
上記フレーム画像の中で輝度が急変するエッジ位置を抽
出するエッジ位置抽出手段と，上記エッジ位置抽出手段
により抽出されたエッジ位置での画像の属性を検出する
画像属性検出手段と，上記フレーム画像間での上記エッ
ジ位置の時間的変化に基づいて動き検出ベクトルを求め
る動き検出ベクトル演算手段と，上記エッジ位置，当該
エッジ位置での画像の属性，及び動き検出ベクトルとを
含むデータストリームを作成するデータストリーム作成
手段とを含む符号化部と，上記符号化部から送出された
上記データストリームに含まれる動き検出ベクトルに基
づいて，各フレーム画像について上記エッジ位置と，該
エッジ位置での画像の属性とを定めるエッジ情報決定手
段と，上記エッジ情報決定手段により定められた各フレ
ーム画像でのエッジ位置及び輝度勾配に基づいて上記動
画像を復元する復元手段とを含む復号化部とを具備して
なることを特徴とする動画像伝送システムとして構成さ
れている。上記第３の発明にかかる動画像伝送システム
は，上記第１及び第２の発明にかかる動画像符号化装置
及び復号化装置を組み合わせたものであり，例えば無線
伝送路等の低速な伝送路を用いる場合にも，立体動画像
等の動画像を送受信することができ，遠隔地を結んで行
われるＴＶ会議システム等に応用して，従来より臨場感
を演出することのできるシステムを提供することができ
る。
【００１１】
【発明の実施の形態】以下，添付図面を参照して，本発
明の実施の形態につき説明し，本発明の理解に供する。
尚，以下の実施の形態は，本発明を具体化した一例であ
って，本発明の技術的範囲を限定する性格のものではな
い。ここに，図１は本発明の一実施の形態に係る動画像
伝送システムの概略構成を示す図，図２は上記動画像伝
送システムによる画像の符号化を説明するための概念
図，図３は上記動画像伝送システムによる画像の復号化
を説明するための概念図，図４は上記動画像伝送システ
ムの符号化部における補間を説明するための図である。
図１に示すように，本発明の一実施の形態に係る動画像
伝送システムは，複数のフレーム画像を含み例えば右目
用動画像ＩＲｔ（ｘ，ｙ）と左目用動画像ＩＬｔ（ｘ，
ｙ）とからなる立体動画像等の動画像を高能率で伝送す
る動画像伝送システムであって，上記フレーム画像の中
で輝度が急変するエッジ位置を抽出するエッジ位置抽出
手段１と，上記エッジ位置抽出手段１により抽出された
エッジ位置での例えば輝度勾配等の画像の属性を検出す
る画像属性検出手段２と，上記フレーム画像間での上記
エッジ位置の時間的変化に基づいて動き検出ベクトルを
求める動き検出ベクトル演算手段３と，上記エッジ位置
抽出手段１により抽出された右目用動画像及び左目用動
画像それぞれのエッジ位置から視差情報を検出する視差
情報検出手段４と，上記エッジ位置，当該エッジ位置で
の画像の属性，動き検出ベクトル，及び視差情報とを含
むデータストリームを作成するデータストリーム作成手
段５とを含む符号化部ＥＣ（第１の発明に係る動画像符
号化装置に相当）と，上記符号化部ＥＣから送出された
上記データストリームに含まれる動き検出ベクトルに基
づいて，各フレーム画像について上記エッジ位置と，該
エッジ位置での画像の属性とを定めるエッジ情報決定手
段６と，上記エッジ情報決定手段６により定められた各
フレーム画像でのエッジ位置及び輝度勾配に基づいて上
記動画像を復元する復元手段７と，上記右目用動画像及
び左目用動画像のうち一方の動画像について上記エッジ
情報決定手段により定められた上記エッジ位置及び画像
の属性と，上記データストリームに含まれた上記右目用
動画像と左目用動画像との間の視差情報とから，他方の
動画像を復元する対画像復元手段８とを含む復号化部Ｄ
Ｃ（第２の発明に係る動画像復号化装置に相当）とを具
備する。
明の実施の形態につき説明し，本発明の理解に供する。
尚，以下の実施の形態は，本発明を具体化した一例であ
って，本発明の技術的範囲を限定する性格のものではな
い。ここに，図１は本発明の一実施の形態に係る動画像
伝送システムの概略構成を示す図，図２は上記動画像伝
送システムによる画像の符号化を説明するための概念
図，図３は上記動画像伝送システムによる画像の復号化
を説明するための概念図，図４は上記動画像伝送システ
ムの符号化部における補間を説明するための図である。
図１に示すように，本発明の一実施の形態に係る動画像
伝送システムは，複数のフレーム画像を含み例えば右目
用動画像ＩＲｔ（ｘ，ｙ）と左目用動画像ＩＬｔ（ｘ，
ｙ）とからなる立体動画像等の動画像を高能率で伝送す
る動画像伝送システムであって，上記フレーム画像の中
で輝度が急変するエッジ位置を抽出するエッジ位置抽出
手段１と，上記エッジ位置抽出手段１により抽出された
エッジ位置での例えば輝度勾配等の画像の属性を検出す
る画像属性検出手段２と，上記フレーム画像間での上記
エッジ位置の時間的変化に基づいて動き検出ベクトルを
求める動き検出ベクトル演算手段３と，上記エッジ位置
抽出手段１により抽出された右目用動画像及び左目用動
画像それぞれのエッジ位置から視差情報を検出する視差
情報検出手段４と，上記エッジ位置，当該エッジ位置で
の画像の属性，動き検出ベクトル，及び視差情報とを含
むデータストリームを作成するデータストリーム作成手
段５とを含む符号化部ＥＣ（第１の発明に係る動画像符
号化装置に相当）と，上記符号化部ＥＣから送出された
上記データストリームに含まれる動き検出ベクトルに基
づいて，各フレーム画像について上記エッジ位置と，該
エッジ位置での画像の属性とを定めるエッジ情報決定手
段６と，上記エッジ情報決定手段６により定められた各
フレーム画像でのエッジ位置及び輝度勾配に基づいて上
記動画像を復元する復元手段７と，上記右目用動画像及
び左目用動画像のうち一方の動画像について上記エッジ
情報決定手段により定められた上記エッジ位置及び画像
の属性と，上記データストリームに含まれた上記右目用
動画像と左目用動画像との間の視差情報とから，他方の
動画像を復元する対画像復元手段８とを含む復号化部Ｄ
Ｃ（第２の発明に係る動画像復号化装置に相当）とを具
備する。
【００１２】以下，図２及び図３を参照して上記動画伝
送システムにより右目用動画像と左目用動画像とからな
る立体動画像を伝送する場合の詳細について説明する。
まず，図２に示すように符号化部ＥＣでは，撮像されデ
ィジタル化された上記右目用動画像と左目用動画像とに
対して，エッジ位置抽出手段１によりそれぞれ∇2 Ｇフ
ィルタが作用され（２１），両動画像におけるエッジ位
置が求められる。ここで，エッジ位置とは，動画像を構
成するフレーム画像中で輝度が急変する位置であり，例
えば物体の輪郭が表される部分である。従って，輝度に
対して空間微分を施せば，変化率や変曲率によって，上
記エッジ位置を抽出することが可能である。即ち，上記
エッジ位置は例えば輝度の変化が局所的に最大となる位
置として抽出可能であり，具体的には，空間２次微分，
即ち∇2 Ｇフィルタを各フレーム画像に作用させればよ
い。尚，このエッジ抽出法は，エッジ位置を境に上記変
曲率の正負が入れ代わる位置をエッジ位置とするため零
交差法と呼ばれる。ところで，一般に画像中にはノイズ
が含まれており，直接微分を作用させるとそのノイズを
強調してしまうことになるから，画像をぼかしてこのノ
イズの影響を低減させなければならない。このため，零
交差法では通常，空間２次微分の前にガウシアンフィル
タを作用させるラプラシアン−ガウシアンフィルタ，即
ち∇ 2 Ｇフィルタ（以下，ＬＯＧフィルタと称する）が
用いられる。尚，このＬＯＧフィルタは，周波数領域で
みると，バンドパスフィルタであり，通過帯域はガウス
関数の標準偏差に反比例する。
送システムにより右目用動画像と左目用動画像とからな
る立体動画像を伝送する場合の詳細について説明する。
まず，図２に示すように符号化部ＥＣでは，撮像されデ
ィジタル化された上記右目用動画像と左目用動画像とに
対して，エッジ位置抽出手段１によりそれぞれ∇2 Ｇフ
ィルタが作用され（２１），両動画像におけるエッジ位
置が求められる。ここで，エッジ位置とは，動画像を構
成するフレーム画像中で輝度が急変する位置であり，例
えば物体の輪郭が表される部分である。従って，輝度に
対して空間微分を施せば，変化率や変曲率によって，上
記エッジ位置を抽出することが可能である。即ち，上記
エッジ位置は例えば輝度の変化が局所的に最大となる位
置として抽出可能であり，具体的には，空間２次微分，
即ち∇2 Ｇフィルタを各フレーム画像に作用させればよ
い。尚，このエッジ抽出法は，エッジ位置を境に上記変
曲率の正負が入れ代わる位置をエッジ位置とするため零
交差法と呼ばれる。ところで，一般に画像中にはノイズ
が含まれており，直接微分を作用させるとそのノイズを
強調してしまうことになるから，画像をぼかしてこのノ
イズの影響を低減させなければならない。このため，零
交差法では通常，空間２次微分の前にガウシアンフィル
タを作用させるラプラシアン−ガウシアンフィルタ，即
ち∇ 2 Ｇフィルタ（以下，ＬＯＧフィルタと称する）が
用いられる。尚，このＬＯＧフィルタは，周波数領域で
みると，バンドパスフィルタであり，通過帯域はガウス
関数の標準偏差に反比例する。
【００１３】ここで，ｘ，ｙはフレーム画像面内の座
標，ｔは時間（フレーム番号）であり，右目用及び左目
用動画像のフレームｔ，位置（ｘ，ｙ）における輝度を
それぞれＩＲｔ（ｘ，ｙ），ＩＬｔ（ｘ，ｙ）とする
と，それぞれのエッジ位置ＰＲｔ（ｘ，ｙ），ＰＬｔ
（ｘ，ｙ）は， ＰＲｔ（ｘ，ｙ）＝Ｚ（∇2 Ｇ）ＩＲｔ（ｘ，ｙ） ＰＬｔ（ｘ，ｙ）＝Ｚ（∇2 Ｇ）ＩＬｔ（ｘ，ｙ） と表される。ここで，Ｚは∇2 Ｇフィルタを作用させた
画像から零交差法によりエッジ位置を求める演算子であ
る。上述のＺの演算においては，まず，上記両動画像に
対して，画像属性検出手段２によりgradＧフィルタがそ
れぞれ作用され（２２），上記エッジ位置における輝度
の空間勾配が求められる。上述のように画像中には，ノ
イズが混在するため，１次微分の前にガウシアンフィル
タが施され，さらに所定のコントラストｇ0を上回った
ものだけが上記エッジ位置として抽出される。次に，抽
出された上記エッジ位置において，∇2 Ｇフィルタを作
用させた画像の勾配ＧＬｔ0 （ｘ，ｙ）が求められる。
上記のようなＬＯＧフィルタ及びgradＧフィルタによる
画像処理は，全てのフレーム画像に対して行う必要はな
く，例えばｔ0 ＝０，ｎΔｔ，２ｎΔｔ，…のようにｎ
フレーム毎に行えばよい。ここで，Δｔは１フレーム時
間であり，例えばＮＴＳＣ規格では１／３０秒に相当す
る。この時，ｎは例えば１０程度，即ち１／３秒毎にエ
ッジ位置抽出手段１及び画像属性検出手段２による画像
処理を行えばよい。
標，ｔは時間（フレーム番号）であり，右目用及び左目
用動画像のフレームｔ，位置（ｘ，ｙ）における輝度を
それぞれＩＲｔ（ｘ，ｙ），ＩＬｔ（ｘ，ｙ）とする
と，それぞれのエッジ位置ＰＲｔ（ｘ，ｙ），ＰＬｔ
（ｘ，ｙ）は， ＰＲｔ（ｘ，ｙ）＝Ｚ（∇2 Ｇ）ＩＲｔ（ｘ，ｙ） ＰＬｔ（ｘ，ｙ）＝Ｚ（∇2 Ｇ）ＩＬｔ（ｘ，ｙ） と表される。ここで，Ｚは∇2 Ｇフィルタを作用させた
画像から零交差法によりエッジ位置を求める演算子であ
る。上述のＺの演算においては，まず，上記両動画像に
対して，画像属性検出手段２によりgradＧフィルタがそ
れぞれ作用され（２２），上記エッジ位置における輝度
の空間勾配が求められる。上述のように画像中には，ノ
イズが混在するため，１次微分の前にガウシアンフィル
タが施され，さらに所定のコントラストｇ0を上回った
ものだけが上記エッジ位置として抽出される。次に，抽
出された上記エッジ位置において，∇2 Ｇフィルタを作
用させた画像の勾配ＧＬｔ0 （ｘ，ｙ）が求められる。
上記のようなＬＯＧフィルタ及びgradＧフィルタによる
画像処理は，全てのフレーム画像に対して行う必要はな
く，例えばｔ0 ＝０，ｎΔｔ，２ｎΔｔ，…のようにｎ
フレーム毎に行えばよい。ここで，Δｔは１フレーム時
間であり，例えばＮＴＳＣ規格では１／３０秒に相当す
る。この時，ｎは例えば１０程度，即ち１／３秒毎にエ
ッジ位置抽出手段１及び画像属性検出手段２による画像
処理を行えばよい。
【００１４】このようにして，上記両動画像に対して，
エッジ位置と当該エッジ位置における輝度勾配と（以
下，両者を合わせてエッジ情報と称する）がそれぞれ求
められると（２３），次に，動き検出ベクトル演算手段
３により両動画像のエッジ情報から動き検出ベクトルが
求められる（２４）。上記動き検出ベクトル演算手段３
では，記憶されている当該フレームｔ0 よりもｎフレー
ム前のｔ0 −ｎΔｔにおけるエッジ情報と当該フレーム
ｔ0 におけるエッジ情報とを比較し，動き検出ベクトル
ＭＬｔ0 （ｘ，ｙ）が求められる。また，視差情報検出
手段４により両動画像のエッジ情報から視差情報が定め
られる（２５）。この視差情報は，例えばエッジ位置Ｐ
Ｒｔ（ｘ，ｙ），ＰＬｔ（ｘ，ｙ）の同一走査線上（ｘ
軸上）での対応付けにより求められる。この対応付け
は，例えばエッジ位置ＰＲｔ（ｘ，ｙ），ＰＬｔ（ｘ，
ｙ）の近傍領域を単位としたパターンマッチングにより
行われる。次に，データストリーム作成手段５により，
上記エッジ位置，当該エッジ位置における輝度勾配，各
フレーム画像間の動き検出ベクトル，及び視差情報を含
むデータストリームが作成される（２６）。より具体的
には，上記データストリームにおいて，左目用フレーム
画像のエッジ位置ＰＬｔ（ｘ，ｙ）に，例えば１８ビッ
ト 上記エッジ位置ＰＬｔ（ｘ，ｙ）での勾配ＧＬｔ
0 （ｘ，ｙ）に，７ビット 左目用動画像の動き検出ベクトルＭＬｔ0 （ｘ，ｙ）
に，１０ビット 左右動画像間の視差情報に，５ビットが割り当てられ
る。そして，上記両動画像が符号化されたデータストリ
ームが，例えばワイヤレスＬＡＮやＰＨＳ等の無線伝送
路を用いて伝送される（２７）。
エッジ位置と当該エッジ位置における輝度勾配と（以
下，両者を合わせてエッジ情報と称する）がそれぞれ求
められると（２３），次に，動き検出ベクトル演算手段
３により両動画像のエッジ情報から動き検出ベクトルが
求められる（２４）。上記動き検出ベクトル演算手段３
では，記憶されている当該フレームｔ0 よりもｎフレー
ム前のｔ0 −ｎΔｔにおけるエッジ情報と当該フレーム
ｔ0 におけるエッジ情報とを比較し，動き検出ベクトル
ＭＬｔ0 （ｘ，ｙ）が求められる。また，視差情報検出
手段４により両動画像のエッジ情報から視差情報が定め
られる（２５）。この視差情報は，例えばエッジ位置Ｐ
Ｒｔ（ｘ，ｙ），ＰＬｔ（ｘ，ｙ）の同一走査線上（ｘ
軸上）での対応付けにより求められる。この対応付け
は，例えばエッジ位置ＰＲｔ（ｘ，ｙ），ＰＬｔ（ｘ，
ｙ）の近傍領域を単位としたパターンマッチングにより
行われる。次に，データストリーム作成手段５により，
上記エッジ位置，当該エッジ位置における輝度勾配，各
フレーム画像間の動き検出ベクトル，及び視差情報を含
むデータストリームが作成される（２６）。より具体的
には，上記データストリームにおいて，左目用フレーム
画像のエッジ位置ＰＬｔ（ｘ，ｙ）に，例えば１８ビッ
ト 上記エッジ位置ＰＬｔ（ｘ，ｙ）での勾配ＧＬｔ
0 （ｘ，ｙ）に，７ビット 左目用動画像の動き検出ベクトルＭＬｔ0 （ｘ，ｙ）
に，１０ビット 左右動画像間の視差情報に，５ビットが割り当てられ
る。そして，上記両動画像が符号化されたデータストリ
ームが，例えばワイヤレスＬＡＮやＰＨＳ等の無線伝送
路を用いて伝送される（２７）。
【００１５】次に，図３を参照して上記のようなデータ
ストリームから両動画像を復元する復号化部ＤＣについ
て説明する。はじめに，例えば１／３秒毎に符号化され
た上記エッジ位置，輝度勾配，及び動き検出ベクトルか
ら，エッジ情報決定手段６により各フレーム画像におけ
るエッジ情報が定められる（３１）。より具体的には，
例えば左目用の各フレーム画像における輝度勾配ＧＬｔ
（ｘ，ｙ）については，ＧＬｔ0 （ｘ，ｙ）が代用され
る。これは，ｎΔｔ程度の短時間では，エッジ位置の輝
度勾配は大きく変化しないという仮定に基づいている。
また，各左目用フレーム画像のエッジ位置ＰＬｔ（ｘ，
ｙ）は，ｎで等分された動き検出ベクトルＭＬｔ
0 （ｘ，ｙ）／ｎと，ｎΔｔ毎のエッジ位置ＰＬｔ
0（ｘ，ｙ）を用いて復元される。次に，復元された各
左目用フレーム画像のエッジ位置ＰＬｔ（ｘ，ｙ），及
び分離された視差情報Ｄｔ0 （ｘ，ｙ）を用いて，下式
により，右目用フレーム画像のエッジ位置ＰＲｔ（ｘ，
ｙ）が復元される（３２）。 ＰＲｔ（ｘ，ｙ）＝ＰＬｔ（ｘ−Ｄｔ0 （ｘ，ｙ），
ｙ） この式は，視差情報についても，ｎΔｔ程度の短時間で
はほとんど変化がないものとして，ｔ＝ｔ0 の視差情報
で代用できるという仮定に基づいている。また，右目用
フレーム画像でのエッジ位置における輝度勾配ＧＲｔ
（ｘ，ｙ）については，輝度勾配ＧＬｔ（ｘ，ｙ）を例
えば代用する。次に，上記のように得られた，エッジ位
置及び当該エッジ位置における輝度勾配を用いて，左フ
ィルタ画像（∇2 Ｇ）ＩＬｔ（ｘ，ｙ），右フィルタ画
像（∇ 2 Ｇ）ＩＲｔ（ｘ，ｙ）がそれぞれ復元される
（３３，３４）。即ち，上記エッジ位置及び当該エッジ
位置における輝度勾配を用いて空間補間を行う。この空
間補間を例えば同一水平走査線上（ｘ軸上）に対して行
った様子が図４に示されている。
ストリームから両動画像を復元する復号化部ＤＣについ
て説明する。はじめに，例えば１／３秒毎に符号化され
た上記エッジ位置，輝度勾配，及び動き検出ベクトルか
ら，エッジ情報決定手段６により各フレーム画像におけ
るエッジ情報が定められる（３１）。より具体的には，
例えば左目用の各フレーム画像における輝度勾配ＧＬｔ
（ｘ，ｙ）については，ＧＬｔ0 （ｘ，ｙ）が代用され
る。これは，ｎΔｔ程度の短時間では，エッジ位置の輝
度勾配は大きく変化しないという仮定に基づいている。
また，各左目用フレーム画像のエッジ位置ＰＬｔ（ｘ，
ｙ）は，ｎで等分された動き検出ベクトルＭＬｔ
0 （ｘ，ｙ）／ｎと，ｎΔｔ毎のエッジ位置ＰＬｔ
0（ｘ，ｙ）を用いて復元される。次に，復元された各
左目用フレーム画像のエッジ位置ＰＬｔ（ｘ，ｙ），及
び分離された視差情報Ｄｔ0 （ｘ，ｙ）を用いて，下式
により，右目用フレーム画像のエッジ位置ＰＲｔ（ｘ，
ｙ）が復元される（３２）。 ＰＲｔ（ｘ，ｙ）＝ＰＬｔ（ｘ−Ｄｔ0 （ｘ，ｙ），
ｙ） この式は，視差情報についても，ｎΔｔ程度の短時間で
はほとんど変化がないものとして，ｔ＝ｔ0 の視差情報
で代用できるという仮定に基づいている。また，右目用
フレーム画像でのエッジ位置における輝度勾配ＧＲｔ
（ｘ，ｙ）については，輝度勾配ＧＬｔ（ｘ，ｙ）を例
えば代用する。次に，上記のように得られた，エッジ位
置及び当該エッジ位置における輝度勾配を用いて，左フ
ィルタ画像（∇2 Ｇ）ＩＬｔ（ｘ，ｙ），右フィルタ画
像（∇ 2 Ｇ）ＩＲｔ（ｘ，ｙ）がそれぞれ復元される
（３３，３４）。即ち，上記エッジ位置及び当該エッジ
位置における輝度勾配を用いて空間補間を行う。この空
間補間を例えば同一水平走査線上（ｘ軸上）に対して行
った様子が図４に示されている。
【００１６】図４において，上記エッジ位置はｘ軸上黒
丸・で示され，その位置での輝度勾配は矢印で示されて
いる。ここで，相隣接する２つのエッジ位置間の画像輝
度を内挿するために，ｘの３次関数を用いる。ｘの３次
関数はｙ＝ａｘ3 ＋ｂｘ2 ＋ｃｘ＋ｄであり，４つの未
知数が含まれる。また，隣接するエッジ位置とその輝度
勾配には４つの情報が含まれており，フィットする３次
関数は一意に決定される。しかも，隣接間では輝度勾配
が整合されるからスムースなフィッティングが可能であ
る。（∇2 Ｇ）ＩＬｔ（ｘ，ｙ），（∇2 Ｇ）ＩＲｔ
（ｘ，ｙ）が求められると，次に，両者に対し２階積分
を行うことによって，左目用画像ＩＬｔ（ｘ，ｙ），右
目用画像ＩＲｔ（ｘ，ｙ）がそれぞれ復元される（３
５，３６）。この積分演算により生じる積分定数は，例
えば画像の輝度の最少値が零，輝度の平均勾配が最少に
なるという拘束条件により決定可能である。ここで，上
記動画像伝送システムにおける伝送速度を下記の原画像
について求める。 ・原画像 （５１２×５１２画素×８ビット）／フレーム×３０フ
レーム／秒×２＝１２６Ｍビット／秒 この原画像に従来技術のようにＭＰＥＧを応用した場
合，例えば，ＭＰＥＧ１の場合では２Ｍビット／秒の数
パーセント増し，ＭＰＥＧ２の場合 ６Ｍビット／秒の
数パーセント増しとなる。 ・上記動画像伝送システム ノイズを除く有効なエッジ数は全画素の１パーセント程
度 ｎを１０フレーム毎とする。ビット割り当ては，上述の
符号化部での説明と同様に， 左目用フレーム画像のエッジ位置ＰＬｔ（ｘ，ｙ）に，
１８ビット 上記エッジ位置ＰＬｔ（ｘ，ｙ）での勾配ＧＬｔ
0 （ｘ，ｙ）に，７ビット 左目用動画像の動き検出ベクトルＭＬｔ0 （ｘ，ｙ）
に，１０ビット 左右動画像間の視差情報Ｄｔ0 （ｘ，ｙ）に，５ビット 合計で，４０ビット／エッジ数 とする。この場合， ５１２×５１２×０．０１×４０ビット／フレーム×３
フレーム／秒＝０．３２Ｍビット／秒 となり，従来技術の１／６〜１／２０のビットレートで
の伝送が可能となる。このように上記実施の形態に係る
動画像伝送システムを用いれば，３００ｋビット／秒程
度の低速な無線伝送路を用いる場合にも，立体動画像を
伝送することができ，より臨場感のあるＴＶ会議システ
ム等を提供することが可能となる。
丸・で示され，その位置での輝度勾配は矢印で示されて
いる。ここで，相隣接する２つのエッジ位置間の画像輝
度を内挿するために，ｘの３次関数を用いる。ｘの３次
関数はｙ＝ａｘ3 ＋ｂｘ2 ＋ｃｘ＋ｄであり，４つの未
知数が含まれる。また，隣接するエッジ位置とその輝度
勾配には４つの情報が含まれており，フィットする３次
関数は一意に決定される。しかも，隣接間では輝度勾配
が整合されるからスムースなフィッティングが可能であ
る。（∇2 Ｇ）ＩＬｔ（ｘ，ｙ），（∇2 Ｇ）ＩＲｔ
（ｘ，ｙ）が求められると，次に，両者に対し２階積分
を行うことによって，左目用画像ＩＬｔ（ｘ，ｙ），右
目用画像ＩＲｔ（ｘ，ｙ）がそれぞれ復元される（３
５，３６）。この積分演算により生じる積分定数は，例
えば画像の輝度の最少値が零，輝度の平均勾配が最少に
なるという拘束条件により決定可能である。ここで，上
記動画像伝送システムにおける伝送速度を下記の原画像
について求める。 ・原画像 （５１２×５１２画素×８ビット）／フレーム×３０フ
レーム／秒×２＝１２６Ｍビット／秒 この原画像に従来技術のようにＭＰＥＧを応用した場
合，例えば，ＭＰＥＧ１の場合では２Ｍビット／秒の数
パーセント増し，ＭＰＥＧ２の場合 ６Ｍビット／秒の
数パーセント増しとなる。 ・上記動画像伝送システム ノイズを除く有効なエッジ数は全画素の１パーセント程
度 ｎを１０フレーム毎とする。ビット割り当ては，上述の
符号化部での説明と同様に， 左目用フレーム画像のエッジ位置ＰＬｔ（ｘ，ｙ）に，
１８ビット 上記エッジ位置ＰＬｔ（ｘ，ｙ）での勾配ＧＬｔ
0 （ｘ，ｙ）に，７ビット 左目用動画像の動き検出ベクトルＭＬｔ0 （ｘ，ｙ）
に，１０ビット 左右動画像間の視差情報Ｄｔ0 （ｘ，ｙ）に，５ビット 合計で，４０ビット／エッジ数 とする。この場合， ５１２×５１２×０．０１×４０ビット／フレーム×３
フレーム／秒＝０．３２Ｍビット／秒 となり，従来技術の１／６〜１／２０のビットレートで
の伝送が可能となる。このように上記実施の形態に係る
動画像伝送システムを用いれば，３００ｋビット／秒程
度の低速な無線伝送路を用いる場合にも，立体動画像を
伝送することができ，より臨場感のあるＴＶ会議システ
ム等を提供することが可能となる。
【００１７】
【実施例】上記実施の形態では，画像輝度ＩＬｔ（ｘ，
ｙ），ＩＲｔ（ｘ，ｙ）を復元する場合に，ｘ軸走査線
方向のみの空間補間を行ったが，ｙ軸走査線方向につい
ても同様の空間補間を行ってもよい。例えば全てのエッ
ジ位置に対して，ｘ軸及びｙ軸での復元を行う場合に
は，近傍エッジ位置における輝度勾配の値が大きい方の
復元値を優先的に採用するようにすればよい。この場
合，ｘ軸での復号結果とｙ軸での復号結果とが組み合わ
せられるので，復元画像の画質を向上させることができ
る。
ｙ），ＩＲｔ（ｘ，ｙ）を復元する場合に，ｘ軸走査線
方向のみの空間補間を行ったが，ｙ軸走査線方向につい
ても同様の空間補間を行ってもよい。例えば全てのエッ
ジ位置に対して，ｘ軸及びｙ軸での復元を行う場合に
は，近傍エッジ位置における輝度勾配の値が大きい方の
復元値を優先的に採用するようにすればよい。この場
合，ｘ軸での復号結果とｙ軸での復号結果とが組み合わ
せられるので，復元画像の画質を向上させることができ
る。
【００１８】また，上記実施の形態では，右目用動画像
と左目用動画像とからなる立体動画像を伝送する場合
に，左目用動画像のエッジ位置及び輝度勾配と，視差情
報とを用いて右目用動画像の復元を行ったが，視差情報
を用いずに，上記右目用動画像と左目用動画像とを独立
にエッジべースで圧縮することも可能である。また，画
像の属性として輝度勾配を用いずに変曲率等を用いても
よい。
と左目用動画像とからなる立体動画像を伝送する場合
に，左目用動画像のエッジ位置及び輝度勾配と，視差情
報とを用いて右目用動画像の復元を行ったが，視差情報
を用いずに，上記右目用動画像と左目用動画像とを独立
にエッジべースで圧縮することも可能である。また，画
像の属性として輝度勾配を用いずに変曲率等を用いても
よい。
【００１９】また，上記実施の形態では，上記立体動画
像を無線伝送路を用いて伝送する場合について説明した
が，もちろん平面画像（上記実施の形態における左目用
動画像のみの場合に相当）についても本発明にかかる動
画像伝送を適用可能である。また，伝送路についても無
線伝送路等に限らず，例えばインターネット等で立体動
画像を伝送する場合にも適用可能で，レスポンスの向
上，トラフィックの低減を可能にする。また，上記実施
の形態では，送信側に符号化部，受信側に復号化部が設
けられた例を示したが，もちろん符号化部と復号化部の
両方を同一の側に設け，双方向で動画像を伝送するよう
にしてもよい。このような動画像符号化装置，復号化装
置，及び伝送システムも本発明における動画像符号化装
置，復号化装置，及び伝送システムの一例である。
像を無線伝送路を用いて伝送する場合について説明した
が，もちろん平面画像（上記実施の形態における左目用
動画像のみの場合に相当）についても本発明にかかる動
画像伝送を適用可能である。また，伝送路についても無
線伝送路等に限らず，例えばインターネット等で立体動
画像を伝送する場合にも適用可能で，レスポンスの向
上，トラフィックの低減を可能にする。また，上記実施
の形態では，送信側に符号化部，受信側に復号化部が設
けられた例を示したが，もちろん符号化部と復号化部の
両方を同一の側に設け，双方向で動画像を伝送するよう
にしてもよい。このような動画像符号化装置，復号化装
置，及び伝送システムも本発明における動画像符号化装
置，復号化装置，及び伝送システムの一例である。
【００２０】
【発明の効果】上記のように第１の発明は，複数のフレ
ーム画像を含む動画像を符号化する動画像符号化装置に
おいて，上記フレーム画像の中で輝度が急変するエッジ
位置を抽出するエッジ位置抽出手段と，上記エッジ位置
抽出手段により抽出されたエッジ位置での画像の属性を
検出する画像属性検出手段と，上記フレーム画像間での
上記エッジ位置の時間的変化に基づいて動き検出ベクト
ルを求める動き検出ベクトル演算手段と，上記エッジ位
置，当該エッジ位置での画像の属性，及び動き検出ベク
トルとを含むデータストリームを作成するデータストリ
ーム作成手段とを具備してなることを特徴とする動画像
符号化装置として構成されている。上記動画像符号化装
置では，フレーム画像空間内，及び各フレーム画像間の
時間方向の圧縮が，画像全体に対してではなくエッジベ
ースで行なわれ，更に伝送情報が共有化されるため，従
来より圧縮率を著しく向上させることができる。また，
エッジベースでの処理統一により，プロセッサ等にかか
る負荷が軽減され，その結果製作コストを低減すること
ができる。このため，低速な伝送路を用いた場合でも，
例えば右目用動画像と左目用動画像とからなる立体動画
像を伝送することが可能となる。
ーム画像を含む動画像を符号化する動画像符号化装置に
おいて，上記フレーム画像の中で輝度が急変するエッジ
位置を抽出するエッジ位置抽出手段と，上記エッジ位置
抽出手段により抽出されたエッジ位置での画像の属性を
検出する画像属性検出手段と，上記フレーム画像間での
上記エッジ位置の時間的変化に基づいて動き検出ベクト
ルを求める動き検出ベクトル演算手段と，上記エッジ位
置，当該エッジ位置での画像の属性，及び動き検出ベク
トルとを含むデータストリームを作成するデータストリ
ーム作成手段とを具備してなることを特徴とする動画像
符号化装置として構成されている。上記動画像符号化装
置では，フレーム画像空間内，及び各フレーム画像間の
時間方向の圧縮が，画像全体に対してではなくエッジベ
ースで行なわれ，更に伝送情報が共有化されるため，従
来より圧縮率を著しく向上させることができる。また，
エッジベースでの処理統一により，プロセッサ等にかか
る負荷が軽減され，その結果製作コストを低減すること
ができる。このため，低速な伝送路を用いた場合でも，
例えば右目用動画像と左目用動画像とからなる立体動画
像を伝送することが可能となる。
【００２１】更に，上記立体動画像を伝送する場合に
は，上記エッジ位置抽出手段により抽出された右目用動
画像及び左目用動画像それぞれのエッジ位置から視差情
報を検出する視差情報検出手段を具備し，上記視差情報
を上記データストリーム作成手段により作成された視差
情報に含めることによって，通常用いられる平面動画像
の場合とくらべて伝送情報量の増加量を著しく低減する
ことができる。また，上記エッジ位置及び当該エッジ位
置での画像の属性と同様に，視差情報もエッジベースで
圧縮されるため，処理が共通化されるから，機器の負担
も低減することができる。尚，上記動画像符号化装置に
おいて，上記画像属性検出手段により検出される画像の
属性は，例えば当該エッジ位置での輝度勾配である。
は，上記エッジ位置抽出手段により抽出された右目用動
画像及び左目用動画像それぞれのエッジ位置から視差情
報を検出する視差情報検出手段を具備し，上記視差情報
を上記データストリーム作成手段により作成された視差
情報に含めることによって，通常用いられる平面動画像
の場合とくらべて伝送情報量の増加量を著しく低減する
ことができる。また，上記エッジ位置及び当該エッジ位
置での画像の属性と同様に，視差情報もエッジベースで
圧縮されるため，処理が共通化されるから，機器の負担
も低減することができる。尚，上記動画像符号化装置に
おいて，上記画像属性検出手段により検出される画像の
属性は，例えば当該エッジ位置での輝度勾配である。
【００２２】また，第２の発明は，符号化されたデータ
ストリームを復号化し，複数のフレーム画像を含む動画
像を復元する動画像復号化装置において，上記データス
トリームに含まれ上記フレーム画像間の残差情報を表す
動き検出ベクトルに基づいて，各フレーム画像で輝度が
急変するエッジ位置と，該エッジ位置での画像の属性と
を定めるエッジ情報決定手段と，上記エッジ情報決定手
段により定められた各フレーム画像でのエッジ位置及び
輝度勾配に基づいて，上記動画像を復元する復元手段と
を具備してなることを特徴とする動画像復号化装置とし
て構成されている。上記動画像復号化装置は，上記第１
の発明に係る動画像符号化装置によって符号化されたデ
ータストリームを受信側で復号化するのに好適な動画像
復号化装置であって，上記フレーム画像の中のエッジ位
置及び画像の属性に基づいて上記動画像を復元すること
ができる。また，復元される上記動画像が右目用動画像
と左目用動画像とを有する立体動画像である場合にも，
上記復元手段が，上記右目用動画像及び左目用動画像の
うち一方の動画像について上記エッジ情報決定手段によ
り定められた上記エッジ位置及び画像の属性と，上記デ
ータストリームに含まれた上記右目用動画像と左目用動
画像との間の視差情報とから，他方の動画像を復元する
対画像復元手段を具備することによって，上記データス
トリームからの立体動画像の復元を可能とし，上記第１
の発明に係る動画像符号化装置とともに例えば０．３Ｍ
ｂｐｓ程度の高能率な伝送を実現することができる。
尚，上記エッジ情報決定手段により定められる画像の属
性は，例えば当該エッジ位置での輝度の勾配である。
ストリームを復号化し，複数のフレーム画像を含む動画
像を復元する動画像復号化装置において，上記データス
トリームに含まれ上記フレーム画像間の残差情報を表す
動き検出ベクトルに基づいて，各フレーム画像で輝度が
急変するエッジ位置と，該エッジ位置での画像の属性と
を定めるエッジ情報決定手段と，上記エッジ情報決定手
段により定められた各フレーム画像でのエッジ位置及び
輝度勾配に基づいて，上記動画像を復元する復元手段と
を具備してなることを特徴とする動画像復号化装置とし
て構成されている。上記動画像復号化装置は，上記第１
の発明に係る動画像符号化装置によって符号化されたデ
ータストリームを受信側で復号化するのに好適な動画像
復号化装置であって，上記フレーム画像の中のエッジ位
置及び画像の属性に基づいて上記動画像を復元すること
ができる。また，復元される上記動画像が右目用動画像
と左目用動画像とを有する立体動画像である場合にも，
上記復元手段が，上記右目用動画像及び左目用動画像の
うち一方の動画像について上記エッジ情報決定手段によ
り定められた上記エッジ位置及び画像の属性と，上記デ
ータストリームに含まれた上記右目用動画像と左目用動
画像との間の視差情報とから，他方の動画像を復元する
対画像復元手段を具備することによって，上記データス
トリームからの立体動画像の復元を可能とし，上記第１
の発明に係る動画像符号化装置とともに例えば０．３Ｍ
ｂｐｓ程度の高能率な伝送を実現することができる。
尚，上記エッジ情報決定手段により定められる画像の属
性は，例えば当該エッジ位置での輝度の勾配である。
【００２３】また，第３の発明は，複数のフレーム画像
を含む動画像を伝送する動画像伝送システムにおいて，
上記フレーム画像の中で輝度が急変するエッジ位置を抽
出するエッジ位置抽出手段と，上記エッジ位置抽出手段
により抽出されたエッジ位置での画像の属性を検出する
画像属性検出手段と，上記フレーム画像間での上記エッ
ジ位置の時間的変化に基づいて動き検出ベクトルを求め
る動き検出ベクトル演算手段と，上記エッジ位置，当該
エッジ位置での画像の属性，及び動き検出ベクトルとを
含むデータストリームを作成するデータストリーム作成
手段とを含む符号化部と，上記符号化部から送出された
上記データストリームに含まれる動き検出ベクトルに基
づいて，各フレーム画像について上記エッジ位置と，該
エッジ位置での画像の属性とを定めるエッジ情報決定手
段と，上記エッジ情報決定手段により定められた各フレ
ーム画像でのエッジ位置及び輝度勾配に基づいて上記動
画像を復元する復元手段とを含む復号化部とを具備して
なることを特徴とする動画像伝送システムとして構成さ
れている。上記第３の発明にかかる動画像伝送システム
は，上記第１及び第２の発明にかかる動画像符号化装置
及び復号化装置を組み合わせたものであり，例えば無線
伝送路等の低速な伝送路を用いる場合にも，立体動画像
等の動画像を送受信することができ，遠隔地を結んで行
われるＴＶ会議システム等に応用して，従来より臨場感
を演出することのできるシステムを提供することができ
る。
を含む動画像を伝送する動画像伝送システムにおいて，
上記フレーム画像の中で輝度が急変するエッジ位置を抽
出するエッジ位置抽出手段と，上記エッジ位置抽出手段
により抽出されたエッジ位置での画像の属性を検出する
画像属性検出手段と，上記フレーム画像間での上記エッ
ジ位置の時間的変化に基づいて動き検出ベクトルを求め
る動き検出ベクトル演算手段と，上記エッジ位置，当該
エッジ位置での画像の属性，及び動き検出ベクトルとを
含むデータストリームを作成するデータストリーム作成
手段とを含む符号化部と，上記符号化部から送出された
上記データストリームに含まれる動き検出ベクトルに基
づいて，各フレーム画像について上記エッジ位置と，該
エッジ位置での画像の属性とを定めるエッジ情報決定手
段と，上記エッジ情報決定手段により定められた各フレ
ーム画像でのエッジ位置及び輝度勾配に基づいて上記動
画像を復元する復元手段とを含む復号化部とを具備して
なることを特徴とする動画像伝送システムとして構成さ
れている。上記第３の発明にかかる動画像伝送システム
は，上記第１及び第２の発明にかかる動画像符号化装置
及び復号化装置を組み合わせたものであり，例えば無線
伝送路等の低速な伝送路を用いる場合にも，立体動画像
等の動画像を送受信することができ，遠隔地を結んで行
われるＴＶ会議システム等に応用して，従来より臨場感
を演出することのできるシステムを提供することができ
る。
【図１】 本発明の一実施の形態に係る動画像伝送シス
テムの概略構成を示す図。
テムの概略構成を示す図。
【図２】 上記動画像伝送システムによる符号化を説明
するための概念図。
するための概念図。
【図３】 上記動画像伝送システムによる復号化を説明
するための概念図。
するための概念図。
【図４】 上記動画像伝送システムの復号化部における
補間処理を説明するための図。
補間処理を説明するための図。
【図５】 従来の動画像伝送システムの一例を示す図。
【図６】 従来の動画像伝送システムの他の例を示す
図。
図。
１…エッジ位置抽出手段 ２…画像属性検出手段 ３…動き検出ベクトル演算手段 ４…視差情報検出手段 ５…データストリーム作成手段 ６…エッジ情報決定手段 ７…復元手段 ８…対画像復元手段
Claims (10)
- 【請求項１】 複数のフレーム画像を含む動画像を符号
化する動画像符号化装置において，上記フレーム画像の
中で輝度が急変するエッジ位置を抽出するエッジ位置抽
出手段と，上記エッジ位置抽出手段により抽出されたエ
ッジ位置での画像の属性を検出する画像属性検出手段
と，上記フレーム画像間での上記エッジ位置の時間的変
化に基づいて動き検出ベクトルを求める動き検出ベクト
ル演算手段と，上記エッジ位置，当該エッジ位置での画
像の属性，及び動き検出ベクトルとを含むデータストリ
ームを作成するデータストリーム作成手段とを具備して
なることを特徴とする動画像符号化装置。 - 【請求項２】 上記動画像が右目用動画像と左目用動画
像とからなる立体動画像である請求項１記載の動画像符
号化装置。 - 【請求項３】 上記エッジ位置抽出手段により抽出され
た右目用動画像及び左目用動画像それぞれのエッジ位置
から視差情報を検出する視差情報検出手段を更に具備す
ると共に，上記データストリーム作成手段により作成さ
れたデータストリームが，上記視差情報検出手段により
検出された視差情報を更に含んでなる請求項２記載の動
画像符号化装置。 - 【請求項４】 上記画像属性検出手段により検出される
画像の属性が上記エッジ位置における輝度勾配である請
求項１〜３記載のいずれかに記載の動画像符号化装置。 - 【請求項５】 符号化されたデータストリームを復号化
し，複数のフレーム画像を含む動画像を復元する動画像
復号化装置において，上記データストリームに含まれ上
記フレーム画像間の残差情報を表す動き検出ベクトルに
基づいて，各フレーム画像で輝度が急変するエッジ位置
と，該エッジ位置での画像の属性とを定めるエッジ情報
決定手段と，上記エッジ情報決定手段により定められた
各フレーム画像でのエッジ位置及び輝度勾配に基づい
て，上記動画像を復元する復元手段とを具備してなるこ
とを特徴とする動画像復号化装置。 - 【請求項６】 復元される上記動画像が右目用動画像と
左目用動画像とからなる立体動画像である請求項５記載
の動画像復号化装置。 - 【請求項７】 上記右目用動画像及び左目用動画像のう
ち一方の動画像について上記エッジ情報決定手段により
定められた上記エッジ位置及び画像の属性と，上記デー
タストリームに含まれた上記右目用動画像と左目用動画
像との間の視差情報とから，他方の動画像を復元する対
画像復元手段を更に具備してなる請求項６記載の動画像
復号化装置。 - 【請求項８】 上記エッジ情報決定手段により定められ
た上記画像の属性が当該エッジ位置における輝度勾配で
ある請求項５〜７記載の動画像復号化装置。 - 【請求項９】 複数のフレーム画像を含む動画像を伝送
する動画像伝送システムにおいて，上記フレーム画像の
中で輝度が急変するエッジ位置を抽出するエッジ位置抽
出手段と，上記エッジ位置抽出手段により抽出されたエ
ッジ位置での画像の属性を検出する画像属性検出手段
と，上記フレーム画像間での上記エッジ位置の時間的変
化に基づいて動き検出ベクトルを求める動き検出ベクト
ル演算手段と，上記エッジ位置，当該エッジ位置での画
像の属性，及び動き検出ベクトルとを含むデータストリ
ームを作成するデータストリーム作成手段とを含む符号
化部と，上記符号化部から送出された上記データストリ
ームに含まれる動き検出ベクトルに基づいて，各フレー
ム画像について上記エッジ位置と，該エッジ位置での画
像の属性とを定めるエッジ情報決定手段と，上記エッジ
情報決定手段により定められた各フレーム画像でのエッ
ジ位置及び輝度勾配に基づいて上記動画像を復元する復
元手段とを含む復号化部とを具備してなることを特徴と
する動画像伝送システム。 - 【請求項１０】 上記データストリームに符号化された
動画像の伝送路が無線伝送路である請求項９記載の動画
像伝送システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11086197A JPH10304403A (ja) | 1997-04-28 | 1997-04-28 | 動画像符号化装置，復号化装置，及び伝送システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11086197A JPH10304403A (ja) | 1997-04-28 | 1997-04-28 | 動画像符号化装置，復号化装置，及び伝送システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10304403A true JPH10304403A (ja) | 1998-11-13 |
Family
ID=14546542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11086197A Pending JPH10304403A (ja) | 1997-04-28 | 1997-04-28 | 動画像符号化装置，復号化装置，及び伝送システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10304403A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006217406A (ja) * | 2005-02-04 | 2006-08-17 | Sony Corp | 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システムおよび方法 |
| US7847756B2 (en) | 2003-07-09 | 2010-12-07 | Sony Corporation | Three-dimensional image display apparatus including a rotating two-dimensional display panel |
| JP2020191037A (ja) * | 2019-05-24 | 2020-11-26 | 株式会社ロジック・アンド・デザイン | 画像修正方法 |
-
1997
- 1997-04-28 JP JP11086197A patent/JPH10304403A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7847756B2 (en) | 2003-07-09 | 2010-12-07 | Sony Corporation | Three-dimensional image display apparatus including a rotating two-dimensional display panel |
| JP2006217406A (ja) * | 2005-02-04 | 2006-08-17 | Sony Corp | 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システムおよび方法 |
| JP2020191037A (ja) * | 2019-05-24 | 2020-11-26 | 株式会社ロジック・アンド・デザイン | 画像修正方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11350091B2 (en) | Encoder, decoder, encoding method, and decoding method | |
| US20220303534A1 (en) | Encoder, decoder, encoding method, and decoding method | |
| Sikora | Trends and perspectives in image and video coding | |
| US5438374A (en) | System and method for filtering video signals | |
| US20190273931A1 (en) | Encoder, decoder, encoding method, and decoding method | |
| EP2923491B1 (en) | Method and apparatus for bi-prediction of illumination compensation | |
| JP5970609B2 (ja) | ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置 | |
| KR100669837B1 (ko) | 입체 비디오 코딩을 위한 포어그라운드 정보 추출 방법 | |
| KR20000049031A (ko) | 3차원 깊이 정보를 이용한 디지털 이미지와 비디오 세그먼테이션과 압축을 수행하기 위한 방법 및 장치 | |
| JP7477528B2 (ja) | 点群の処理 | |
| US20050169537A1 (en) | System and method for image background removal in mobile multi-media communications | |
| JP2003517796A (ja) | 「ムラのあるピクチャ」効果を減らす方法 | |
| US11514610B2 (en) | Method and apparatus for point cloud coding | |
| US11064200B2 (en) | Encoding apparatus, decoding apparatus, encoding method, and decoding method | |
| Yang et al. | An MPEG-4-compatible stereoscopic/multiview video coding scheme | |
| US5706366A (en) | Apparatus for encoding an image signal having a still object using an image warping technique | |
| US20220159304A1 (en) | Encoder, decoder, encoding method, and decoding method | |
| EP3962084A1 (en) | Coding device, decoding device, coding method, and decoding method | |
| JPH10290465A (ja) | 輪郭線映像データ符号化装置 | |
| Dou et al. | View synthesis optimization based on texture smoothness for 3D-HEVC | |
| JPH10304403A (ja) | 動画像符号化装置，復号化装置，及び伝送システム | |
| EP3962083A1 (en) | Coding device, decoding device, coding method, and decoding method | |
| Ahmmed et al. | Dynamic mesh commonality modeling using the cuboidal partitioning | |
| Ali et al. | Depth image-based spatial error concealment for 3-D video transmission | |
| Purica et al. | Improved view synthesis by motion warping and temporal hole filling |