JPH02100591A - ステレオ画像符号化方法 - Google Patents

ステレオ画像符号化方法

Info

Publication number
JPH02100591A
JPH02100591A JP63251919A JP25191988A JPH02100591A JP H02100591 A JPH02100591 A JP H02100591A JP 63251919 A JP63251919 A JP 63251919A JP 25191988 A JP25191988 A JP 25191988A JP H02100591 A JPH02100591 A JP H02100591A
Authority
JP
Japan
Prior art keywords
block
camera
current frame
approximation
highest degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP63251919A
Other languages
English (en)
Other versions
JP2664955B2 (ja
Inventor
Nariaki Izumioka
泉岡 生晃
Yutaka Watanabe
裕 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP25191988A priority Critical patent/JP2664955B2/ja
Publication of JPH02100591A publication Critical patent/JPH02100591A/ja
Application granted granted Critical
Publication of JP2664955B2 publication Critical patent/JP2664955B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 (産業上の利用分野) この発明は、ステレオ動画像を高能率符号化する際の一
段階である視差補償方法に関するものである。
〔従来の技術) 従来行われているステレオ動画像の動き補償。
視差補償においては、■左右それぞれのカメラに対して
現フレームメモリ、前フレームメモリを持たせ左右画像
それぞれに対して個別に動き補償を行うか、■あらかじ
め動き補償等、他の符号化方法により一方のカメラ画像
を構成し、他方のカメラ画像はあらかじめ購成しである
片方のカメラ画像を用いて視差補償を行うことにより予
測する(平均値を分離しないで視差補償を行う方法)な
どの方法が試みられている。ここで補償とは、なるべく
少ない情報量にするための圧縮手段をいう。
(発明が解決しようとする課題〕 ■の場合、左右カメラにフレームメモリがそれぞれ2枚
必要であり、■の場合、左右カメラの特性、照明条件等
による左右画像の輝度差により視差予測誤差が増大する
。また、広角レンズを使用した場合の画像周辺のひずみ
、カメラを設置する際の左右カメラの幾何学的ずれ、レ
ンズの特性の差等による左右画像のひずみにより視差予
測誤差が増大するという欠点を有していた。
この発明の目的は、左右カメラの特性、照明条件等によ
る左右画像の輝度差、カメラレンズによる画像ひずみ、
カメラを設置する際のずれ等の影響の少ない視差補償方
法を提供することにある。
この発明は、ステレオ画像の情報量圧縮をする際の視差
補償において、最も近似度の高いブロックを検索する際
、ブロックの平均値をブロックの各画素から差し引いた
ブロックで行うか、または検索するブロックに対して幾
何学的変形を施すことを最も主要な特徴とする。従来の
技術とは、最近似ブロックを検索をする際、ブロックの
平均値をブロックの各画素から差し引くか、あるいはブ
ロックに対して幾何学的変形を施すことが異なる。
〔課題を解決するための手段〕
この発明にかかる請求項 (1)の視差補償方法は、一
方のカメラの現フレームはすでに符号化された前フレー
ムを用いてあらかじめ符号化し、他方のカメラの現フレ
ームについてはフレーム内のいくつかの画素をまとめた
ブロックの平均値をブロックの各画素から差し引き、各
ブロックごとにすでに符号化されている一方のカメラの
現フレーム内の同様にして平均値を差し引いたブロック
の中から最も近似度の高いブロックを検索し、該当ブロ
ックと最も近似度の高いブロックの各画素に一方のカメ
ラの現フレーム内の該当ブロックの平均値を加算したブ
ロックを該当装置に当てはめることにより予測画像を生
成するものである。
また、請求項 (2)の視差補償方法は、一方のカメラ
の現フレームはすでに符号化された前フレームを用いて
あらかじめ符号化し、他方のカメラの現フレームについ
てはフレーム内のいくつかの画素をまとめた各ブロック
ごとにすでに符号化されている一方のカメラの現フレー
ム内のブロックまたはこのブロックを変形したものの中
から最も近似度の高いブロックを検索し、該当ブロック
と最も近似度の高いブロックまたはこのブロックを変形
したものを該当装置に当てはめることにより予測画像を
生成するものである。
さらに、請求項 (3)の視差補償方法は、最初の数フ
レームについては検索される同一のブロックに対して数
通りの変形を行い、この中から最も近似度の高いブロッ
クの変形量を決定し、以後のフレームについては常に決
定した一定の変形量で変形したブロックの中から最も近
似度の高いブロックを検索することにより予測画像を生
成するものである。
〔作用〕
請求項 (1)の発明は、現フレームについてブロック
の平均値をブロックの各画素から差し引き、また、各ブ
ロックごとにすでに符号化されている一方のカメラの現
フレーム内の同様にして平均値を差し引いたブロックと
を比較するので、比較的容易に近似度の高いブロックを
検索できる。
また、請求項 (2)の発明は、一方のカメラの現フレ
ーム内のブロックまたはこのブロックを回転させるなど
、変形したものの中から選ぶので、カメラ装置が正しく
並置されていなくとも近似度の高いブロックを検索でき
る。
さらに、請求項(3)の発明は、請求項 (2)におい
て−度ブロックの変形量が決定されると、この変形量を
以後用いて近似度の高いブロックが検索される。
〔実施例1〕 第2図に左右2台のカメラを用いて対象物を撮影する際
のモデルを示す。1は左カメラ、2は左カメラ光軸、3
は右カメラ、4は右カメラ光軸、5は対象物である。こ
の場合にステレオ画像にするためには視差除情報を送ら
ねばならないが、この情報二を圧縮することが要求され
る。
第1図はこの発明の第1の実施例を説明する図であって
、11は左カメラ現フレームメモリ、12は左カメラ前
フレームメモリ、13は右カメラ現フレームメモリ、1
4は平均値分離回路、15は動き補償回路、16は評価
値比較回路、17は平均値加算回路である。左、右カメ
ラ1,3より人力された現フレームはそれぞれ左、右カ
メラ現フレームメモリ11.13に蓄積される。また、
あらかじめ符号化され構成されている左カメラ前フレー
ムは左カメラ前フレームメモリ12に蓄積されている。
この左カメラ1の前フレームと現フレームを用いて符号
化され構成された左カメラ現フレームは改めて左カメラ
現フレームに蓄積されている。
はじめに、左カメラ現フレームメモリ11から動き補償
を行おうとするブロックが選択され、平均値分離回路1
4に送られる。平均値分離回路14において、下記第 
(1)式によりブロックの各画素の輝度の平均値Vac
を算出し、さらに、このブロックの各画素から各ブロッ
クの平均値を差し引いたブロックV′Cが動き補償回路
15に送られ、平均値Vacは平均値加算回路17に送
る。
次に、検索されるブロックが選択され平均値分離回路1
4に送られる。平均値分離回路14において、下記第 
(2)式により検索されるブロックの平均値Vafを算
出し、さらに、このブロックの各画素から各ブロックの
平均値を差し引いた後のブロックV’fが動き補償回路
15に送られる。
動き補償回路15において、このブロックV’fとV’
cを比較する。以下、検索されるブロックV’fが次々
と算出されてV’cと比較され、評価値比較回路16に
より第 (3)式の評価値EVが最小のブロック”fm
lnが選択される。さらに、平均値加算回路17によっ
て平均値VacがブロックV ” f mlnの各画素
に加算され出力される。
vac=Z (Vc (t))/m   −−(1)+
=+ Vaf=E (Vf (i))/m   ・”−(2)
1=1 ・・・・・・ (3) ただし、mは視差補償ブロックの画素数、■′c、V’
fはそれぞれ現フレーム、前フレームの視差補償ブロッ
クの画素の輝度値である。
第3図はあるブロックに対して最近似ブロックを選択す
る過程を示す図である。ここで、検索ブロックは右カメ
ラ現フレームのブロックであり、被検索ブロックは、左
カメラ現フレームメモリ11のブロックである。
〔実施例2〕 第4図はこの発明の第2の実施例を説明する図であって
、11は左カメラ現フレームメモリ、12は左カメラ前
フレームメモリ、13は右カメラ現フレームメモリ、1
8はブロック変形回路、15は動き補償回路、16は評
価値比較回路、19は回転角度検出回路である。
右カメラ3より入力された現フレームは右カメラ現フレ
ームメモリ13に蓄積される。また、あらかしめ符号化
されている左カメラ前フレームは左カメラ前フレームメ
モリ12に蓄積されている。この左カメラ1の前フレー
ムを用いて符号化された左カメラ現フレームは、左カメ
ラ現フレームメモリ11に蓄積されている。
次に動作について説明する。
はじめに、右カメラ現フレームメモリ13から視差補償
を行おうとするブロックVcが選択され、動き補償回路
15に送られる。次に、検索されるブロックVfおよび
その近傍の画素が左カメラ現フレームメモリ11から選
択されブロック変形回路18に送られる。ブロック変形
回路18において、下記第 (4)式により幾何学的回
転を行い、これにより変換されたブロックV’fが動き
補償回路15に送られ、変換されたブロック■′fとブ
ロックVcの間で下記第 (5)式で示される近似度計
算を行い、そのときのひずみ量が評価値比較回路16に
送られる。同じブロックVfに対して何通りかの回転角
θについて第 (5)式により回転変換を行い、最も近
似度の高い変換ブロックの評価値が評価値比較回路16
で決定され、そのときの回転角θの値が回転角度検出回
路19に送られる。以下同様にして、検索されるべきブ
ロックVfおよびその近傍の画素が選択され、幾何学的
回転を行い最も近似度の高い変換ブロックV′fおよび
回転角θが決定される。これを繰り返し、最も近似度の
高いブロックV ’ f minとVcとの装置の差か
ら求められる最適視差ベクトルが動き補償回路15より
出力され、そのときの最適回転角θ。、が回転角度検出
回路19に送られる。
・・・・・・ (4) ・・・・・・ (5) ただし、θは回転角、mは視差補償ブロックの画素数、
Vc、V’fはそれぞれ右カメラ現フレーム、左カメラ
現フレームの回転変換後のブロックの画素値である。
第5図はあるブロックに対して最近似ブロックを選択す
る手順を示す図である。
以上の手順により右カメラ3の予測フレームを構成する
が、最初の数フレームについて最適視差ベクトルV′f
m□。、最適回転角θ。ptを求めれば左、右カメラ1
,3は水平方向のみに離れているため視差は水平方向の
みにしか存在しないため前者のy成分はOに、また、後
者の角度は0°となるはずであるが、左、右カメラ1.
3の垂直方向の相対距離か0でないかまたはカメラの相
対的回転角度がOoでなければ前者あるいは後者または
両方とも0てなくなるが、−度カメラの設定を行えばこ
れらの値は常に一定となる。そこで、最適視差ベクl−
ルV’fm+nのy成分がOでない場合はこの値を、最
適回転角θ。、の値が0°でなければこの値を受信端に
伝送しておけば今後のフレームについては検索する範囲
は視差補償を行うブロックの水平方向のみでよく、また
、ブロックの回転変換については最適回転角θ。ptの
値1種類について行っただけでよい。
なお、上記の実施例においては、ブロックの変形として
回転の場合を示したが、この他矩形を蔑形にするとかの
他の変形でもよいことはもちろんである。
〔発明の効果〕
以上説明したように、2台のカメラを用いたステレオ画
像の情報量圧縮をするため、一方のカメラで撮影した画
像を用いて他方のカメラで撮影した画像を予測する際の
視差補償において、請求項 (1)の発明では、比較す
るブロックおよび比較されるブロックのそれぞれの平均
値を分離した後のブロックで評価値を算出し、最も近似
度の高いブロックの各画素に比較するブロックの平均値
を加算するようにしたので、比較的簡単に検索するブロ
ックを決定できる。
また、請求項 (2)の発明では、一方のカメラの現フ
レーム中の検索対象ブロックと最も近似度の高いブロッ
クを他方のカメラの現フレームより検索する際、検索さ
れるブロックに対して数通りの幾何学的な回転を行い、
これらのブロックの中から最も近似度の高いブロックを
決定するようにしたので、左右のカメラの設定が一致し
ていない場合でもブロックの検索を行うことができる。
さらに請求項 (3)の発明は、最初の数フレームにつ
いては数通りの回転を行い最適回転角を選択し、以後の
フレームについては検索対象ブロックに対して最適回転
角で1回の回転のみを行うので、無駄な操作がなく処理
速度を上げることができる。
この発明は、以上のような操作のいずれかあるいは両方
を行うことによって、より近似度の高いブロックが選択
されるため、正確な予測画像を生成することができる利
点がある。
【図面の簡単な説明】
第1図はこの発明の第1の実施例の構成を示すブロック
図、第2図は左右2台のカメラを用いて対象物を撮像す
る際のモデル図、第3図は平均値分離を行って最近似ブ
ロックを検索する手順を示す図、第4図はこの発明の第
2の実施例の構成を示すブロック図、第5図は検索する
ブロックに対して幾何学的変換を行って最近似ブロック
を検索する手順を示す図である。 図中、1は左カメラ、2は左カメラ光軸、3は右カメラ
、4は右カメラ光軸、5は対象物、11は左カメラ現フ
レームメモリ、12は左カメラ前フレームメモリ、13
は右カメラ現フレームメモリ、14は平均値分離回路、
15は動き補償回路、16は評価値比較回路、17は平
均値加算回路、1Bはブロック変形回路、19は回転角
度検出回路である。 第 図 第 図 第 図

Claims (3)

    【特許請求の範囲】
  1. (1)2台のカメラを水平方向に適当な間隔で設置し、
    これら2台のカメラで撮影したステレオ画像の情報量を
    圧縮するための視差補償方法において、一方のカメラの
    現フレームはすでに符号化された前フレームを用いてあ
    らかじめ符号化し、他方のカメラの現フレームについて
    はフレーム内のいくつかの画素をまとめたブロックの平
    均値をブロックの各画素から差し引き、各ブロックごと
    にすでに符号化されている前記一方のカメラの現フレー
    ム内の同様にして平均値を差し引いたブロックの中から
    最も近似度の高いブロックを検索し、該当ブロックと最
    も近似度の高いブロックの各画素に前記一方のカメラの
    現フレーム内の該当ブロックの平均値を加算したブロッ
    クを該当装置に当てはめることにより予測画像を生成す
    ることを特徴とする視差補償方法。
  2. (2)2台のカメラを水平方向に適当な間隔で設置し、
    これら2台のカメラで撮影したステレオ画像の情報量を
    圧縮するための視差補償方法において、一方のカメラの
    現フレームはすでに符号化された前フレームを用いてあ
    らかじめ符号化し、他方のカメラの現フレームについて
    はフレーム内のいくつかの画素をまとめた各ブロックご
    とにすでに符号化されている前記一方のカメラの現フレ
    ーム内のブロックまたはこのブロックを変形したものの
    中から最も近似度の高いブロックを検索し、該当ブロッ
    クと最も近似度の高いブロックまたはこのブロックを変
    形したものを該当装置に当てはめることにより予測画像
    を生成することを特徴とする視差補償方法。
  3. (3)一方のカメラの現フレームを予測する際、最初の
    数フレームについては検索される同一のブロックに対し
    て数通りの変形を行い、この中から最も近似度の高いブ
    ロックの変形量を決定し、以後のフレームについては常
    に決定した一定の変形量で変形したブロックの中から最
    も近似度の高いブロックを検索することにより予測画像
    を生成することを特徴とする請求項(2)に記載の視差
    補償方法。
JP25191988A 1988-10-07 1988-10-07 ステレオ画像符号化方法 Expired - Fee Related JP2664955B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25191988A JP2664955B2 (ja) 1988-10-07 1988-10-07 ステレオ画像符号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25191988A JP2664955B2 (ja) 1988-10-07 1988-10-07 ステレオ画像符号化方法

Publications (2)

Publication Number Publication Date
JPH02100591A true JPH02100591A (ja) 1990-04-12
JP2664955B2 JP2664955B2 (ja) 1997-10-22

Family

ID=17229918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25191988A Expired - Fee Related JP2664955B2 (ja) 1988-10-07 1988-10-07 ステレオ画像符号化方法

Country Status (1)

Country Link
JP (1) JP2664955B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2671682A1 (fr) * 1991-01-16 1992-07-17 France Telecom Une methode de codage multi-voies.
JPH0993614A (ja) * 1995-09-27 1997-04-04 Nec Corp 3次元画像符号化装置
JP2007336188A (ja) * 2006-06-14 2007-12-27 Kddi Corp 多視点画像圧縮符号化方法、装置及びプログラム
JP2008022421A (ja) * 2006-07-14 2008-01-31 Kddi Corp 多視点画像圧縮符号化方法、装置及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61144191A (ja) * 1984-12-17 1986-07-01 Nippon Hoso Kyokai <Nhk> 立体テレビジョン画像伝送方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61144191A (ja) * 1984-12-17 1986-07-01 Nippon Hoso Kyokai <Nhk> 立体テレビジョン画像伝送方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2671682A1 (fr) * 1991-01-16 1992-07-17 France Telecom Une methode de codage multi-voies.
JPH0993614A (ja) * 1995-09-27 1997-04-04 Nec Corp 3次元画像符号化装置
JP2007336188A (ja) * 2006-06-14 2007-12-27 Kddi Corp 多視点画像圧縮符号化方法、装置及びプログラム
JP4605715B2 (ja) * 2006-06-14 2011-01-05 Kddi株式会社 多視点画像圧縮符号化方法、装置及びプログラム
JP2008022421A (ja) * 2006-07-14 2008-01-31 Kddi Corp 多視点画像圧縮符号化方法、装置及びプログラム
JP4605716B2 (ja) * 2006-07-14 2011-01-05 Kddi株式会社 多視点画像圧縮符号化方法、装置及びプログラム

Also Published As

Publication number Publication date
JP2664955B2 (ja) 1997-10-22

Similar Documents

Publication Publication Date Title
US8508580B2 (en) Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
US20190014307A1 (en) Methods, systems, and computer-readable storage media for generating three-dimensional (3d) images of a scene
US9635348B2 (en) Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional images
US8810635B2 (en) Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional images
US10643305B2 (en) Compression method and apparatus for panoramic stereo video system
EP3794552A1 (en) Motion compensation of geometry information
JP2011166264A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US20190158799A1 (en) Aligning Two Images By Matching Their Feature Points
US8243194B2 (en) Method and apparatus for frame interpolation
WO2012061549A2 (en) Methods, systems, and computer program products for creating three-dimensional video sequences
US20130242043A1 (en) Depth video filtering method and apparatus
CN102972032A (zh) 三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质
US20110122232A1 (en) Stereoscopic image display apparatus, compound-eye imaging apparatus, and recording medium
WO2019124248A1 (ja) 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
WO2013054463A1 (ja) 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム
US8675080B2 (en) Motion estimation in imaging systems
US20110129012A1 (en) Video Data Compression
JP2003510910A (ja) 全体的動き推定方法
KR100453222B1 (ko) 카메라 움직임 판별 장치 및 방법
JPH02100591A (ja) ステレオ画像符号化方法
CN109379577B (zh) 一种虚拟视点的视频生成方法、装置及设备
JP2018207356A (ja) 画像圧縮プログラム、画像圧縮装置、及び画像圧縮方法
JP6780749B2 (ja) 撮像装置、画像処理装置、撮像方法及びプログラム
WO2020024792A1 (zh) 图像深度值获取方法、装置、设备、编解码器及存储介质
KR101142873B1 (ko) 입체 영상 생성 방법 및 장치

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees