JP2664955B2 - ステレオ画像符号化方法 - Google Patents

ステレオ画像符号化方法

Info

Publication number
JP2664955B2
JP2664955B2 JP25191988A JP25191988A JP2664955B2 JP 2664955 B2 JP2664955 B2 JP 2664955B2 JP 25191988 A JP25191988 A JP 25191988A JP 25191988 A JP25191988 A JP 25191988A JP 2664955 B2 JP2664955 B2 JP 2664955B2
Authority
JP
Japan
Prior art keywords
block
camera
current frame
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25191988A
Other languages
English (en)
Other versions
JPH02100591A (ja
Inventor
生晃 泉岡
裕 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP25191988A priority Critical patent/JP2664955B2/ja
Publication of JPH02100591A publication Critical patent/JPH02100591A/ja
Application granted granted Critical
Publication of JP2664955B2 publication Critical patent/JP2664955B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、ステレオ動画像を高能率符号化する際の
一段階であるステレオ画像符号化方法に関するものであ
る。
〔従来の技術〕
従来行われているステレオ動画像の動き補償,視差補
償においては、左右それぞれのカメラに対して現フレ
ームメモリ,前フレームメモリを持たせ左右画像それぞ
れに対して個別に動き補償を行うか、あらかじめ動き
補償等、他の符号化方法により一方のカメラ画像を構成
し、他方のカメラ画像はあらかじめ構成してある片方の
カメラ画像を用いて視差補償を行うことにより予測する
(平均値を分離しないで視差補償を行う方法)などの方
法が試みられている。ここで補償とは、なるべく少ない
情報量にするための圧縮手段をいう。
〔発明が解決しようとする課題〕
の場合、左右カメラにフレームメモリがそれぞれ2
枚必要であり、の場合、左右カメラの特性,照明条件
等による左右画像の輝度差により視差予測誤差が増大す
る。また、広角レンズを使用した場合の画像周辺のひず
み,カメラを設置する際の左右カメラの幾何学的ずれ,
レンズの特性の差等による左右画像のひずみにより視差
予測誤差が増大するという欠点を有していた。
この発明の目的は、左右カメラの特性,照明条件等に
よる左右画像の輝度差,カメラレンズによる画像ひず
み,カメラを設置する際のずれ等の影響の少ないステレ
オ画像符号化方法を提供することにある。
この発明は、ステレオ画像の情報量圧縮をする際の視
差補償において、最も近似度の高いブロックを検索する
際、ブロックの平均値をブロックの各画素から差し引い
たブロックで行うか、または検索するブロックに対して
幾何学的変形を施すことを最も主要な特徴とする。従来
の技術とは、最近似ブロックを検索をする際、ブロック
の平均値をブロックの各画素から差し引くか、あるいは
ブロックに対して幾何学的変形を施すことが異なる。
〔課題を解決するための手段〕
この発明にかかる請求項(1)のステレオ画像符号化
方法は、一方のカメラの現フレームについて、フレーム
内の幾つかの画素をまとめたブロック内の画素値の平均
値を第1の平均値とし、該ブロックの各画素値から第1
の平均値を差し引いて第1の差分値を求め、他方のカメ
ラの現フレームについて、フレーム内の幾つかの画素を
まとめたブロック内の画素値の平均値を第2の平均値と
し、該ブロックの各画素値から第2の平均値を差し引い
て第2の差分値を求め、他方のカメラの現フレームのブ
ロック毎に、第2の差分値に最も近似度の高い第1の差
分値を有するブロックを、一方のカメラの現フレームの
ブロックから探索し、探索された該ブロックの画素値に
第2の平均値を加算し、該第2の平均値を加算したブロ
ックを、他方のカメラの現フレームの前記ブロック毎に
当てはめ、この当てはめを他方のカメラの全ブロックに
わたって実施し、一方のカメラの画像から他方のカメラ
の画像を予測した予測画像を生成するものである。
この発明にかかる請求項(2)のステレオ画像符号化
方法は、一方のカメラの現フレームについて、フレーム
内の幾つかの画素をまとめてブロック単位で変形を行
い、他方のカメラの現フレームのブロック毎に、最も近
似度の高いブロックを、一方のカメラの現フレームの変
形されたブロックから探索し、該探索された変形ブロッ
クを、他方のカメラの現フレームの前記ブロック毎に当
てはめ、この当てはめを他方のカメラの全ブロックにわ
たって実施し、一方のカメラの画像から他方のカメラの
画像を予測した予測画像を生成するものである。
この発明にかかる請求項(3)のステレオ画像符号化
方法は、一方のカメラの現フレームから、他方のカメラ
の現フレームを予測する際、最初の数フレームについて
は、前記一方のカメラの現フレームのブロックについて
数通りの変形を行い、該数通りの変形の中から最も近似
度の高いブロックの変形量を決定し、以後のフレームに
ついては常に該決定した変形量で変形したブロックの中
から最も近似度の高いブロックを検索することにより予
測画像を生成するものである。
〔作用〕
請求項(1)の発明は、現フレームについてブロック
の平均値をブロックの各画素から差し引き、また、各ブ
ロックごとにすでに符号化されている一方のカメラの現
フレーム内の同様にして平均値を差し引いたブロックと
を比較するので、比較的容易に近似度の高いブロックを
検索できる。
また、請求項(2)の発明は、一方のカメラの現フレ
ーム内のブロックまたはこのブロックを回転させるな
ど、変形したものの中から選ぶので、カメラ位置が正し
く並置されていなくとも近似度の高いブロックを検索で
きる。
さらに、請求項(3)の発明は、請求項(2)におい
て一度ブロックの変形量が決定されると、この変形量を
以後用いて近似度の高いブロックが検索される。
〔実施例1〕 第2図に左右2台のカメラを用いて対象物を撮影する
際のモデルを示す。1は左カメラ、2は左カメラ光軸、
3は右カメラ、4は右カメラ光軸、5は対象物である。
この場合にステレオ画像にするためには視差情報を送ら
ねばならないが、この情報量を圧縮することが要求され
る。
第1図はこの発明の第1の実施例を説明する図であっ
て、11は左カメラ現フレームメモリ、12は左カメラ前フ
レームメモリ、13は右カメラ現フレームメモリ、14は平
均値分離回路、15は動き補償回路、16は評価値比較回
路、17は平均値加算回路である。左,右カメラ1,3より
入力された現フレームはそれぞれ左,右カメラ現フレー
ムメモリ11,13に蓄積される。また、あらかじめ符号化
されている左カメラ前フレームは左カメラ前フレームメ
モリ12に蓄積されている。この左カメラ1の前フレーム
と現フレームとを用いて符号化された左カメラ現フレー
ムは改めて左カメラ現フレームに蓄積されている。
はじめに、右カメラ現フレームメモリ13から動き補償
を行おうとするブロックが選択され、平均値分離回路14
に送られる。平均値分離回路14において、下記第(1)
式によりブロックの各画素の輝度の平均値(第2の平均
値)Vacを算出し、さらに、このブロックの各画素から
各ブロックの平均値を差し引いたブロックV′cが動き
補償回路15に送られ、平均値Vacは平均値加算回路17に
送る。
次に、検索されるブロックが選択され平均値分離回路
14に送られる。平均値分離回路14において、下記第
(2)式により検索されるブロックの平均値(第1の平
均値)Vafを算出し、さらに、このブロックの各画素か
ら各ブロックの平均値を差し引いた後のブロックV′f
が動き補償回路15に送られる。動き補償回路15におい
て、このブロックV′fとV′cを比較する。以下、検
索されるブロックV′fが次々と算出されてV′cと比
較され、評価値比較回路16により第(3)式の評価値EV
の最小ブロックV′fminが選択される。さらに、平均値
加算回路17によって平均値VacがブロックV′fminの各
画素に加算され出力される。
ただし、mは視差補償ブロックの画素数、V′c,V′
fはそれぞれ現フレーム,前フレームの視差補償ブロッ
クの画素の輝度値である。
第3図はあるブロックに対して最近似ブロックを選択
する過程を示す図である。ここで、検索ブロックは右カ
メラ現フレームのブロックであり、被検索ブロックは、
左カメラ現フレームメモリ11のブロックである。
〔実施例2〕 第4図はこの発明の第2の実施例を説明する図であっ
て、11は左カメラ現フレームメモリ、12は左カメラ前フ
レームメモリ、13は右カメラ現フレームメモリ、18はブ
ロック変形回路、15は動き補償回路、16は評価値比較回
路、19は回転角度検出回路である。
右カメラ3より入力された現フレームは右カメラ現フ
レームメモリ13に蓄積される。また、あらかじめ符号化
されている左カメラ前フレームは左カメラ前フレームメ
モリ12に蓄積されている。この左カメラ1の前フレーム
を用いて符号化された左カメラ現フレームは、左カメラ
現フレームメモリ11に蓄積されている。
次に動作について説明する。
はじめに、右カメラ現フレームメモリ13から視差補償
を行おうとするブロックVcが選択され、動き補償回路15
に送られる。次に、検索されるブロックVfおよびそのブ
ロックVfおよびその近傍のブロックの画素が左カメラ現
フレームメモリ11から選択されブロック変形回路18に送
られる。ブロック変形回路18において、下記第(4)式
により幾何学的回転を行い、これにより変換されたブロ
ックV′fが動き補償回路15に送られ、変換されたブロ
ックV′fとブロックVcの間で下記第(5)式で示され
る近似度計算を行い、そのときのひずみ量が評価比較回
路16に送られる。同じブロックVfに対して何通りかの回
転角θについて第(4)式により回転変換を行い、最も
近似度の高い変換ブロックの評価値が評価値比較回路16
で決定され、そのときの回転角θの値が回転角度検出回
路19に送られる。以下同様にして、検索されるべきブロ
ックVfおよびその近傍のブロックの画素が選択され、幾
何学的回転を行い最も近似度の高い変換ブロックV′f
および回転角θが決定される。これを繰り返し、最も近
似度の高いブロックV′fminとVcとの位置の差から求め
られる最適視差ベクトルが動き補償回路15より出力さ
れ、そのときの最適回転角θoptが回転角度検出回路19
に送られる。
ただし、θは回転角、mは視差補償ブロックの画素
数、Vc,V′fはそれぞれ右カメラ現フレーム,左カメラ
現フレームの回転変換後のブロックの画素値である。
第5図はあるブロックに対して最近似ブロックを選択
する手順を示す図である。
第5図の手順により右カメラ3の予測フレームを構成
するが、最初の数フレームについて最適視差ベクトル,
最適回転角θoptを求めれば左,右カメラ1,3は水平方向
のみに離れているため視差は水平方向のみにしか存在し
ないため前者のy成分は0に、また、後者の角度は0゜
となるはずであるが、左,右カメラ1,3の垂直方向の相
対距離が0でないかまたはカメラの相対的回転角度が0
゜でなければ前者あるいは後者または両方とも0でなく
なるが、一度カメラの設定を行えばこれらの値は常に一
定となる。そこで、最適視差ベクトルのy成分が0でな
い場合はこの値を、最適回転角θoptの値が0゜でなけ
ればこの値を受信端に伝送しておけば今後のフレームに
ついては検索する範囲は視差補償を行うブロックの水平
方向のみでよく、また、ブロックの回転変換については
最適回転角θoptの値1種類について行っただけでよ
い。
なお、上記の実施例においては、ブロックの変形とし
て回転の場合を示したが、この他矩形の菱形にするとか
の他の変形でもよいことはもちろんである。
〔発明の効果〕
以上説明したように、2台のカメラを用いたステレオ
画像の情報量圧縮をするため、一方のカメラで撮影した
画像を用いて地方のカメラで撮影した画像を予測する際
のステレオ画像符号化において、 請求項(1)の発明では、比較するブロックおよび比
較されるブロックのそれぞれの平均値を分離した後のブ
ロックで評価値を算出し、最も近似度の高いブロックの
各画素に比較するブロックの平均値を加算するようにし
たので、比較的簡単に検索するブロックを決定できる。
また、請求項(2)の発明では、一方のカメラの現フ
レーム中の検索対象ブロツクと最も近似度の高いブロッ
クを他方のカメラの現フレームより検索する際、検索さ
れるブロックに対して数通りの幾何学的な回転を行い、
これらのブロックの中から最も近似度の高いブロックを
決定するようにしたので、左右のカメラの設定が一致し
ていない場合でもブロックの検索を行うことができる。
さらに請求項(3)の発明は、最初の数フレームにつ
いては数通りの回転を行い最適回転角を選択し、以後の
フレームについては検索対象ブロックに対して最適回転
角で1回の回転のみを行うので、無駄な操作がなく処理
速度を上げることができる。
この発明は、以上のような操作のいずれかあるいは両
方を行うことによって、より近似度の高いブロックが選
択されるため、正確な予測画像を生成することができる
利点がある。
【図面の簡単な説明】
第1図はこの発明の第1の実施例の構成を示すブロック
図、第2図は左右2台のカメラを用いて対象物を撮像す
る際のモデル図、第3図は平均値分離を行って最近似ブ
ロックを検索する手順を示す図、第4図はこの発明の第
2の実施例の構成を示すブロック図、第5図は検索する
ブロックに対して幾何学的変換を行って最近似ブロック
を検索する手順を示す図である。 図中、1は左カメラ、2は左カメラ光軸、3は右カメ
ラ、4は右カメラ光軸、5は対象物、11は左カメラ現フ
レームメモリ、12は左カメラ前フレームメモリ、13は右
カメラ現フレームメモリ、14は平均値分離回路、15は動
き補償回路、16は評価値比較回路、17は平均値加算回
路、18はブロック変形回路、19は回転角度検出回路であ
る。

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】2台のカメラを水平方向に適当な間隔で設
    置し、これら2台のカメラで撮影したステレオ画像を符
    号化するステレオ画像符号化方法において、 一方のカメラの現フレームについて、フレーム内の幾つ
    かの画素をまとめたブロック内の画素値の平均値を第1
    の平均値とし、該ブロックの各画素値から第1の平均値
    を差し引いて第1の差分値を求め、 他方のカメラの現フレームについて、フレーム内の幾つ
    かの画素をまとめたブロック内の画素値の平均値を第2
    の平均値とし、該ブロックの各画素値から第2の平均値
    を差し引いて第2の差分値を求め、 他方のカメラの現フレームのブロック毎に、第2の差分
    値に最も近似度の高い第1の差分値を有するブロック
    を、一方のカメラの現フレームのブロックから探索し、
    探索された該ブロックの画素値に第2の平均値を加算
    し、該第2の平均値を加算したブロックを、他方のカメ
    ラの現フレームの前記ブロック毎に当てはめ、この当て
    はめを他方のカメラの全ブロックにわたって実施し、 一方のカメラの画像から他方のカメラの画像を予測した
    予測画像を生成することを特徴とするステレオ画像符号
    化方法。
  2. 【請求項2】2台のカメラを水平方向に適当な間隔で設
    置し、これら2台のカメラで撮影したステレオ画像を符
    号化するステレオ画像符号化方法において、 一方のカメラの現フレームについて、フレーム内の幾つ
    かの画素をまとめてブロック単位で変形を行い、 他方のカメラの現フレームのブロック毎に、最も近似度
    の高いブロックを、一方のカメラの現フレームの変形さ
    れたブロックから探索し、該探索された変形ブロック
    を、他方のカメラの現フレームの前記ブロック毎に当て
    はめ、この当てはめを他方のカメラの全ブロックにわた
    って実施し、 一方のカメラの画像から他方のカメラの画像を予測した
    予測画像を生成することを特徴とするステレオ画像符号
    化方法。
  3. 【請求項3】一方のカメラの現フレームから、他方のカ
    メラの現フレームを予測する際、 最初の数フレームについては、前記一方のカメラの現フ
    レームのブロックについて数通りの変形を行い、該数通
    りの変形の中から最も近似度の高いブロックの変形量を
    決定し、以後のフレームについては常に該決定した変形
    量で変形したブロックの中から最も近似度の高いブロッ
    クを検索することにより予測画像を生成することを特徴
    とする請求項(2)記載のステレオ画像符号化方法。
JP25191988A 1988-10-07 1988-10-07 ステレオ画像符号化方法 Expired - Fee Related JP2664955B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25191988A JP2664955B2 (ja) 1988-10-07 1988-10-07 ステレオ画像符号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25191988A JP2664955B2 (ja) 1988-10-07 1988-10-07 ステレオ画像符号化方法

Publications (2)

Publication Number Publication Date
JPH02100591A JPH02100591A (ja) 1990-04-12
JP2664955B2 true JP2664955B2 (ja) 1997-10-22

Family

ID=17229918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25191988A Expired - Fee Related JP2664955B2 (ja) 1988-10-07 1988-10-07 ステレオ画像符号化方法

Country Status (1)

Country Link
JP (1) JP2664955B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2671682B1 (fr) * 1991-01-16 1993-04-30 France Telecom Une methode de codage multi-voies.
JP3055438B2 (ja) * 1995-09-27 2000-06-26 日本電気株式会社 3次元画像符号化装置
JP4605715B2 (ja) * 2006-06-14 2011-01-05 Kddi株式会社 多視点画像圧縮符号化方法、装置及びプログラム
JP4605716B2 (ja) * 2006-07-14 2011-01-05 Kddi株式会社 多視点画像圧縮符号化方法、装置及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61144191A (ja) * 1984-12-17 1986-07-01 Nippon Hoso Kyokai <Nhk> 立体テレビジョン画像伝送方法

Also Published As

Publication number Publication date
JPH02100591A (ja) 1990-04-12

Similar Documents

Publication Publication Date Title
US10643305B2 (en) Compression method and apparatus for panoramic stereo video system
US5727078A (en) Process for estimating disparity between the monoscopic images making up a sterescopic image
US6751350B2 (en) Mosaic generation and sprite-based coding with automatic foreground and background separation
EP0579319B1 (en) Tracking moving objects
US10070115B2 (en) Methods for full parallax compressed light field synthesis utilizing depth information
US10841558B2 (en) Aligning two images by matching their feature points
JPH07262381A (ja) ブロック・マッチングによるイメージ・モーション推定方法
CA2174590A1 (en) Method of Matching Stereo Images and Method of Measuring Disparity Between These Images
JP7105062B2 (ja) 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
WO2011014419A1 (en) Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
CN108399600A (zh) 一种全景成像系统及方法
JP3823767B2 (ja) 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法
JP2664955B2 (ja) ステレオ画像符号化方法
JP2003510910A (ja) 全体的動き推定方法
KR100453222B1 (ko) 카메라 움직임 판별 장치 및 방법
JPH07128017A (ja) 距離測定装置
JP3626826B2 (ja) ビデオシーケンスの時間的に順次の画像の画素のための計算機による動き推定方法
JP4209647B2 (ja) 画像処理装置および画像処理方法
JP2613922B2 (ja) 動き補償方法
Huu et al. Fast and efficient microlens-based motion search for plenoptic video coding
CN109671107B (zh) 通过对所投影一维图像轮廓进行匹配将多个相机图像对准
WO2020024792A1 (zh) 图像深度值获取方法、装置、设备、编解码器及存储介质
KR101142873B1 (ko) 입체 영상 생성 방법 및 장치
KR100213021B1 (ko) 중첩 움직임 추정 및 보상방법
US20120206578A1 (en) Apparatus and method for eye contact using composition of front view image

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees