JP5751616B2 - 立体映像符号化装置およびその方法、ならびに、立体映像復号化装置およびその方法 - Google Patents

立体映像符号化装置およびその方法、ならびに、立体映像復号化装置およびその方法 Download PDF

Info

Publication number
JP5751616B2
JP5751616B2 JP2011055407A JP2011055407A JP5751616B2 JP 5751616 B2 JP5751616 B2 JP 5751616B2 JP 2011055407 A JP2011055407 A JP 2011055407A JP 2011055407 A JP2011055407 A JP 2011055407A JP 5751616 B2 JP5751616 B2 JP 5751616B2
Authority
JP
Japan
Prior art keywords
depth value
depth
subject
distance
stereoscopic video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011055407A
Other languages
English (en)
Other versions
JP2012191569A (ja
Inventor
妹尾　孝憲
孝憲 妹尾
健詞 山本
健詞 山本
隆太朗 大井
隆太朗 大井
保之 市橋
保之 市橋
栗田　泰市郎
泰市郎 栗田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Original Assignee
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology filed Critical National Institute of Information and Communications Technology
Priority to JP2011055407A priority Critical patent/JP5751616B2/ja
Publication of JP2012191569A publication Critical patent/JP2012191569A/ja
Application granted granted Critical
Publication of JP5751616B2 publication Critical patent/JP5751616B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、立体映像を符号化する立体映像符号化装置およびその方法、ならびに、符号化された立体映像を復号化する立体映像復号化装置およびその方法に関する。
従来、人間の左眼に対応する映像（左眼映像）と右眼に対応する映像（右眼映像）とで構成される立体映像を符号化伝送する場合、伝送量を抑えるための手法として、左眼映像と右眼映像とのいずれか一方のみの映像と、両映像の対応する画素のずれ量（奥行値）とを符号化して伝送する手法が存在する（特許文献１参照）。
この手法は、図１１に示すような立体映像符号化装置１００で実現される。
立体映像符号化装置１００は、２つの視点位置で撮影された左眼映像と右眼映像とを入力する。そして、立体映像符号化装置１００は、奥行推定部１０１によって、左眼映像と右眼映像との間で画素マッチングを行い、左眼映像の画素ごとに、対応する右眼映像の画素位置のずれ量を奥行値と推定する。
また、立体映像符号化装置１００は、奥行情報圧縮部１０２によって、被写体の空間周波数成分に応じ、周波数成分が高ければ奥行値を細かく量子化し、周波数成分が低ければ奥行値を粗く量子化することで奥行値を圧縮する。
そして、立体映像符号化装置１００は、符号化部１０３によって、入力された左眼映像と、奥行情報圧縮部１０２で圧縮された奥行値とを符号化する。
このように、立体映像符号化装置１００は、立体映像を伝送する際に、左眼映像または右眼映像の一方の映像と、圧縮された奥行値とにより、伝送量を抑えることができる。
特開２００１−６１１６４号公報
一般に、立体映像は、映像中の被写体が視点の近くにあればあるほど、視差が大きくなり、奥行値は限りなく大きな値となる。
しかし、従来の手法のように、奥行値を符号化して伝送しようとすると、その奥行値の取り得る範囲は、伝送に使用する奥行値の語長（ビット数）で制限されてしまう。すなわち、従来の手法では、奥行値が制限されてしまうことで、広い奥行範囲を持つ立体映像を伝送することができないという問題があった。
本発明は、このような問題点に鑑みてなされたものであり、ある視点の映像ともに奥行値を符号化して伝送する場合、立体映像の至近距離から遠方までの被写体に対応した奥行値を、限られた語長で精度よく表すことが可能な立体映像符号化装置およびその方法、ならびに、立体映像復号化装置およびその方法を提供することを課題とする。
本発明は、前記課題を解決するために創案されたものであり、まず、本発明に係る立体映像符号化装置は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化手段により符号化する立体映像符号化装置において、奥行変換手段を、さらに備える構成とした。
かかる構成において、立体映像符号化装置は、奥行変換手段によって、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式によって、被写体までの距離に対応した奥行値を制限付き奥行値に変換する。
通常、立体映像において、奥行値は視差量で表される。すなわち、被写体までの距離が近ければ近いほど、視差量、すなわち、奥行値は、無限に大きくなっていく。そこで、立体映像符号化装置は、奥行変換手段によって、非線形変換式で、最近距離に対応する奥行値を制限付き奥行値が取り得る最大値に変換することで、奥行値を制限付き奥行値内で表すことができる。
また、本発明に係る立体映像符号化装置は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化手段により符号化する立体映像符号化装置において、奥行対応表記憶手段と、奥行変換手段とを、さらに備える構成としてもよい。
かかる構成において、立体映像符号化装置は、奥行対応表記憶手段に、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式によって、被写体までの距離に対応した奥行値と制限付き奥行値との各値を予め計算して対応付けた対応表を記憶しておく。
これによって、最近距離に対応する奥行値を制限付き奥行値が取り得る最大値として、奥行値が制限付き奥行値内で表されることになる。そして、立体映像符号化装置は、奥行変換手段によって、対応表を参照して、被写体までの距離に対応した奥行値を制限付き奥行値に変換して符号化する奥行値とする。
ここで、被写体までの距離に対応した奥行値をｘ、制限付き奥行値をＸ、制限付き奥行値が取り得る最大値をＸｍａｘとしたとき、非線形変換式として、
Figure 0005751616
 を用いることができる。
また、被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸｍａｘ、前記被写体までの予め定めた最大距離に対応する奥行値をｘｍｉｎ、前記被写体までの予め定めた最近距離に対応する奥行値をｘｍａｘとしたとき、非線形変換式として、
Figure 0005751616
 を用いることができる。
また、本発明に係る立体映像符号化方法は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化する立体映像符号化方法において、符号化の前に非線形変換式によって奥行値を変換する奥行変換ステップを、さらに含む手順とした。
かかる手順において、立体映像符号化方法は、符号化の前に、奥行変換ステップで、奥行変換手段によって、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式を用いて、被写体までの距離に対応した奥行値を制限付き奥行値に変換する。
さらに、本発明に係る立体映像符号化方法は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化する立体映像符号化方法において、符号化の前に対応表を参照して奥行値を変換する奥行変換ステップを、さらに含む手順としてもよい。
かかる手順において、立体映像符号化方法は、符号化の前に、奥行変換ステップで、奥行変換手段によって、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式を用いて、被写体までの距離に対応した奥行値と制限付き奥行値との各値を予め計算して対応付けた対応表を参照して、被写体までの距離に対応した奥行値を制限付き奥行値に変換する。
また、本発明に係る立体映像復号化装置は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化手段により復号化する立体映像復号化装置において、奥行逆変換手段を、さらに備える構成とした。
かかる構成において、制限付き奥行値は、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式によって計算された値であって、立体映像復号化装置は、非線形変換式の逆変換式によって、制限付き奥行値を被写体までの距離に対応した奥行値に逆変換する。これによって、元の奥行値が再現されることになる。
また、本発明に係る立体映像復号化装置は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化手段により復号化する立体映像復号化装置において、奥行対応表記憶手段と、奥行逆変換手段とを、さらに備える構成としてもよい。
かかる構成において、制限付き奥行値は、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式によって計算された値であって、立体映像復号化装置は、奥行対応表記憶手段に、非線形変換式の逆変換式によって、被写体までの距離に対応した奥行値と制限付き奥行値との各値を計算して対応付けた対応表を予め記憶しておく。そして、立体映像復号化装置は、奥行逆変換手段によって、対応表を参照して、制限付き奥行値を、被写体までの距離に対応した奥行値に逆変換する。これによって、元の奥行値が再現されることになる。
ここで、制限付き奥行値が、被写体までの距離に対応した奥行値をｘ、制限付き奥行値をＸ、制限付き奥行値が取り得る最大値をＸ ｍａｘ としたとき、非線形変換式である
Figure 0005751616
 によって計算された値である場合、逆変換式として、
Figure 0005751616
 を用いることができる。
また、制限付き奥行値が、被写体までの距離に対応した奥行値をｘ、制限付き奥行値をＸ、制限付き奥行値が取り得る最大値をＸ ｍａｘ 、被写体までの予め定めた最大距離に対応する奥行値をｘ ｍｉｎ 、被写体までの予め定めた最近距離に対応する奥行値をｘ ｍａｘ としたとき、非線形変換式である
Figure 0005751616
 によって計算された値である場合、逆変換式として、
Figure 0005751616
 を用いることができる。
また、本発明に係る立体映像復号化方法は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化する立体映像復号化方法において、復号化の後に、非線形変換式の逆変換式により制限付き奥行値を逆変換する奥行逆変換ステップを、さらに含む手順とした。
かかる手順において、制限付き奥行値は、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式によって計算された値であって、立体映像復号化方法は、復号化の後に、奥行逆変換ステップで、奥行逆変換手段によって、非線形変換式の逆変換式を用いて、制限付き奥行値を被写体までの距離に対応した奥行値に逆変換する。これによって、元の奥行値が再現されることになる。
さらに、本発明に係る立体映像復号化方法は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化する立体映像復号化方法において、復号化の後に、対応表を参照して制限付き奥行値を逆変換する奥行逆変換ステップを、さらに含む手順としてもよい。
かかる手順において、制限付き奥行値は、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式によって計算された値であって、立体映像復号化方法は、復号化の後に、奥行逆変換ステップで、奥行逆変換手段によって、非線形変換式の逆変換式を用いて、被写体までの距離に対応した奥行値と制限付き奥行値との各値を予め計算して対応付けた対応表を参照して、制限付き奥行値を、被写体までの距離に対応した奥行値に逆変換する。これによって、元の奥行値が再現されることになる。
本発明は、以下に示す優れた効果を奏するものである。
請求項１〜６に記載の発明によれば、ある視点の映像と当該映像に対する奥行値とを符号化伝送する際に、奥行値を、限られた語長の範囲の制限付き奥行値に変換して符号化することができる。これによって、立体映像を符号化伝送する場合に、奥行精度を損なうことなく、広い奥行範囲を持つ立体映像を符号化することができる。
請求項２，５に記載の発明によれば、前記した効果に加え、被写体までの最大距離に対応する奥行値と、被写体までの最近距離に対応する奥行値とを予め設定することで、使用する奥行値を、制限付き奥行値に対して最大限に割り当てることができ、制限付き奥行値を最大限に利用して、奥行精度を損なうことなく、広い奥行範囲を持つ立体映像を符号化することができる。
請求項７〜１２に記載の発明によれば、ある視点の映像と当該映像に対する奥行値とを符号化伝送する際に、限られた語長の範囲の奥行値に変換して符号化された奥行値を復号化することができる。これによって、符号化伝送された立体映像を復号化する場合に、奥行精度を損なうことなく、広い奥行範囲を持つ立体映像として復号化することができる。
請求項８，１１に記載の発明によれば、前記した効果に加え、使用する奥行値を、制限付き奥行値に対して最大限に割り当てることができ、奥行精度を損なうことなく、広い奥行範囲を持つ立体映像として復号化することができる。
本発明の第１，２実施形態に係る立体映像符号化装置および立体映像復号化装置を含んだ立体映像伝送システムの構成を示すブロック図である。 奥行推定手段で推定する奥行値の概念を説明するための説明図である。 多視点映像生成手段で生成する多視点映像の生成手法を説明するための説明図である。 奥行値と被写体距離との関係を示すグラフである。 本発明の第１実施形態に係る立体映像符号化装置および立体映像復号化装置における奥行値と非線形奥行値（制限付き奥行値）との関係を表すグラフである。 被写体距離を制限したときの奥行値と被写体距離との関係を示すグラフである。 本発明の第２実施形態に係る立体映像符号化装置および立体映像復号化装置における奥行値と非線形奥行値（制限付き奥行値）との関係を表すグラフである。 本発明の第１，２実施形態に係る立体映像符号化装置の動作を示すフローチャートである。 本発明の第１，２実施形態に係る立体映像復号化装置の動作を示すフローチャートである。 本発明の他の実施形態に係る立体映像符号化装置および立体映像復号化装置を含んだ立体映像伝送システムの構成を示すブロック図である。 従来の立体映像符号化装置の構成を示すブロック図である。
以下、本発明の実施形態について図面を参照して説明する。
［立体映像伝送システムの構成：第１実施形態］
まず、図１を参照して、本発明の第１実施形態に係る立体映像符号化装置および立体映像復号化装置を含んだ立体映像伝送システムの構成について説明する。
立体映像伝送システムＳは、カメラＣで撮影された映像を、奥行値とともに符号化して伝送し、伝送先において多視点映像を生成するものである。ここでは、立体映像伝送システムＳは、立体映像符号化装置１と、立体映像復号化装置２とを備えている。以下、図１を参照して、立体映像符号化装置１および立体映像復号化装置２の構成について説明を行う。
〔立体映像符号化装置の構成〕
図１に示すように、立体映像符号化装置１は、ある視点のカメラＣで撮影された被写体の映像と、カメラＣから被写体までの距離に対応した奥行値とを符号化するものである。本実施形態において、立体映像符号化装置１は、外部に接続した左眼用の映像を撮影するカメラＣＬと右眼用の映像を撮影するカメラＣＲとから、それぞれ左視点映像ＭＬと右視点映像ＭＲとを入力し、符号化することで伝送用のビットストリームを生成する。
ここでは、立体映像符号化装置１は、奥行推定手段１０と、奥行変換手段１１と、符号化手段１２と、を備えている。
奥行推定手段１０は、カメラＣ（ＣＬ，ＣＲ）から入力される多視点の映像（左視点映像ＭＬ，右視点映像ＭＲ）から、映像の奥行きを推定するものである。
この奥行推定手段１０は、多視点の映像間で、対応する画素を探索し、画素位置のずれを、視差すなわち奥行きと推定する。この対応する画素の探索は、一般的な画素マッチングを用いることができる。例えば、ある画素を含んだ予め定めた領域（ブロック）の画像特徴量を、他の映像内の近接領域で画像特徴量が近似する領域を探索するブロックマッチングにより、対応する画素を検索することができる。
ここでは、奥行推定手段１０は、図２に示すように、左視点映像ＭＬと右視点映像ＭＲとが入力された際に、いずれか一方の映像を基準（ここでは、左視点映像ＭＬを基準）として、基準となる映像（ＭＬ）のある画素が、他方の映像（ＭＲ）との間で、何画素ずれているかを探索し、そのずれ量を当該画素における奥行値ｘとする。
このように推定された基準映像の画素ごとの奥行値は、奥行変換手段１１に出力される。
奥行変換手段１１は、奥行推定手段１０で推定された奥行値を、予め定めた語長の制限付き奥行値に変換するものである。すなわち、奥行変換手段１１は、符号化伝送を行うビットストリームにおいて、奥行値を格納する限られた語長（ビット長）の領域に収まるように、奥行推定手段１０で推定された奥行値を制限付き奥行値に変換するものである。
ここでは、奥行変換手段１１は、カメラＣから被写体Ｏまでの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式（後記する（６）式）によって、被写体Ｏまでの距離に対応した奥行値を制限付き奥行値に変換する。この語長が制限された奥行値（制限付き奥行値）は、非線形変換式によって変換された非線形な値であるため、以下、制限付き奥行値を非線形奥行値と呼ぶこととする。
この奥行変換手段１１で変換された非線形奥行値は、符号化手段１２に出力される。
なお、この奥行変換手段１１において行う変換、すなわち、予め定めた非線形変換式による奥行値の変換については、後で詳細に説明を行う。
符号化手段１２は、カメラＣで撮影された基準となる映像（ここでは、左視点映像ＭＬ）と、奥行変換手段１１で変換された非線形奥行値とを符号化してビットストリームを生成するものである。この符号化手段１２における符号化方式は、一般的な方式を用いればよい。例えば、デジタルテレビ、ブルーレイディスクレコーダ等に用いられているＭＰＥＧ−２、Ｈ．２６４等である。なお、このとき、符号化手段１２は、非線形奥行値を映像データとみなして符号化する。
このように符号化されたビットストリームは、外部に出力される。例えば、外部に接続した記録媒体に記録されたり、通信回線を介して伝送路上に出力されたりする。
以上説明したように、立体映像符号化装置１は、入力されるカメラの映像（左視点映像ＭＬ，右視点映像ＭＲ）よりも少ない映像と、語長が制限された非線形奥行値とによって、符号化されたビットストリームの伝送量を抑えることができる。
（奥行値変換の詳細）
次に、奥行変換手段１１において行う非線形変換による奥行値の変換について詳細に説明する。
図１に示すように、カメラＣ（ＣＬ，ＣＲ）のレンズ間隔である基線長をＢとし、基線（レンズの主点同士を結んだ直線）から被写体Ｏまでの距離（被写体距離）をカメラＣから被写体Ｏまでの距離Ｄと定め、カメラＣのレンズの焦点距離をｆ、カメラＣのイメージセンサの画素サイズをｐとすると、これらには、以下の（１）式に示す関係がある。
Figure 0005751616
この（１）式の関係は、例えば、基線長Ｂ＝６５ｍｍ、レンズの焦点距離ｆ＝１５ｍｍ、イメージセンサの画素サイズｐ＝５μｍとすると、図４に示す曲線Ｌ１で表される。この図４のグラフの横軸は奥行値［画素］、縦軸は被写体距離［ｍｍ］を示している。この曲線Ｌ１に示すように、（１）式の関係において、被写体距離Ｄが大きく（遠く）なるほど奥行値ｘは“０”に近づくため、有限語長の奥行値ｘで表すことができる。しかし、被写体距離Ｄが小さく（近く）なるほど、奥行値ｘは無限に大きくなるため、有限語長の奥行値ｘで表せる最大値（例えば、ｘ＝２５５）よりも近い被写体Ｏの奥行きを表すことができない。
そこで、奥行変換手段１１は、奥行値を非線形な値（非線形奥行値）に変換することとする。
具体的には、非線形奥行値をＸ、有限語長の奥行値Ｘで表せる最大値をＸｍａｘ（例えば、Ｘｍａｘ＝２５５）とし、以下の（２）式の関係を満たせば、図４の曲線Ｌ２で表されるように、有限の非線形奥行値Ｘ（０〜Ｘｍａｘ＝２５５）で、被写体距離Ｄの“０”から無限遠の奥行きを表すことができる。
Figure 0005751616
また、奥行値を非線形な値に変換する場合、この（２）式の第２項に非線形奥行値Ｘの重み（Ｘ／Ｘｍａｘ）を掛けた以下の（３）式の関係を満たすことがさらに有効である。
Figure 0005751616
この（３）式は、図４の曲線Ｌ３で表される。
前記（２）式の曲線Ｌ２では、非線形奥行値Ｘ＝０からＸ＝２５５の奥行値の多くが、被写体距離Ｄが１ｍより近い被写体の奥行値に使用されている。
一方、（３）式の曲線Ｌ３では、（２）式の曲線Ｌ２よりも、被写体距離Ｄが１ｍより近い被写体の奥行値に使用される奥行値が少ないため、一般的な撮影で重要となる距離１ｍ以上の被写体の奥行きに多くの奥行値を割り当て、奥行きの精度を高めることができる。
また、（３）式の曲線Ｌ３では、遠くの被写体の奥行きについては、曲線Ｌ１に近づくため、非線形奥行値Ｘによって奥行きの精度を保つことができる。また、近くの被写体の奥行きについては、（２）式の曲線Ｌ２に近づくため、被写体距離Ｄが“０”の被写体の奥行きまで、限られた語長の非線形奥行値Ｘで表すことができる。
なお、（３）式は、以下の（４）式に変形することができる。
Figure 0005751616
ここで、（４）式と（１）式とを比べると、（４）式は、元の（１）式の奥行値ｘを、以下の（５）式に示すような非線形奥行値Ｘの関数で置き換えた関係にある。
Figure 0005751616
すなわち、奥行値ｘを、この（５）式で与えられる非線形奥行値Ｘで置き換えれば、距離“０”から無限遠までの被写体の奥行きを、限られた語長の非線形奥行値Ｘで精度よく表すことができる。
そこで、図１に示す立体映像符号化装置１の奥行変換手段１１は、奥行推定手段１０で推定された奥行値ｘを、（５）式を非線形奥行値Ｘで解いた以下の（６）式に示す非線形変換式により計算することで、非線形奥行値Ｘを求める。
Figure 0005751616
なお、参考までに、この（６）式の関係をグラフで表すと、図５に示すような曲線となる。この図５に示すように、非線形奥行値Ｘ（０〜Ｘｍａｘ＝２５５）の値によって、元の奥行値ｘ（０〜無限大）の値を表すことができる。
以上説明したように、立体映像符号化装置１は、至近距離から遠方までの奥行値を、語数が制限された奥行値（非線形奥行値）で精度よく表すことができ、少ないビットストリームで立体映像を伝送することが可能になる。
〔立体映像復号化装置の構成〕
次に、図１を参照して、立体映像復号化装置の構成について説明する。
図１に示すように、立体映像復号化装置２は、ある視点のカメラＣで撮影された被写体の映像と、カメラＣから被写体Ｏまでの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値（非線形奥行値）とが符号化されたビットストリームを復号化するものである。本実施形態において、立体映像復号化装置２は、立体映像符号化装置１で符号化されたビットストリームを復号化する。
ここでは、立体映像復号化装置２は、復号化手段２０と、奥行逆変換手段２１と、多視点映像生成手段２２と、を備えている。
復号化手段２０は、立体映像符号化装置１で符号化されて伝送されるビットストリームを入力し、復号化するものである。
この復号化手段２０は、立体映像符号化装置１の符号化手段１２と同一の符号化方式を用いて、ビットストリームから、カメラＣで撮影された基準となる映像（ここでは、左視点映像ＭＬ）と、非線形奥行値Ｘとを復号化する。例えば、符号化手段１２でＭＰＥＧ−２の符号化方式を用いるのであれば、復号化手段２０においてもＭＰＥＧ−２を用いてビットストリームを復号化し、符号化手段１２でＨ．２６４の符号化方式を用いるのであれば、復号化手段２０においてもＨ．２６４を用いてビットストリームを復号化する。なお、このとき、復号化手段２０は、映像データとして符号化された非線形奥行値を復号化する。
このように復号化された非線形奥行値Ｘは、奥行逆変換手段２１に出力され、基準となる映像（ここでは、左視点映像ＭＬ）は、多視点映像生成手段２２に出力される。
奥行逆変換手段２１は、復号化手段２０で復号化された非線形奥行値Ｘを、立体映像符号化装置１の奥行推定手段１０で推定された元の奥行値ｘに逆変換するものである。
この奥行逆変換手段２１は、立体映像符号化装置１の奥行変換手段１１で使用された非線形変換式の逆変換式によって、非線形奥行値Ｘを元の奥行値ｘに逆変換する。
すなわち、奥行逆変換手段２１は、非線形変換式である前記（６）式の逆変換式である前記（５）式によって、非線形奥行値Ｘを元の奥行値ｘに逆変換する。
このように求められた元の奥行値ｘは、多視点映像生成手段２２に出力される。
多視点映像生成手段２２は、復号化手段２０で復号化された基準となる映像（ここでは、左視点映像ＭＬ）と、奥行逆変換手段２１で逆変換された元の奥行値ｘとから、複数の視点の映像（多視点映像）を生成するものである。
この多視点映像生成手段２２は、図３（ａ）に示すように、基準となる映像（ここでは、左視点映像ＭＬ）の各画素位置を、奥行値ｘの値だけ、左にシフトして合成することで、元の右視点映像を多視点映像ＭＮとして生成する。
なお、このように、右視点映像を復元することができるのは、奥行値ｘが、左右視点映像間の対応画素位置のずれ量を表しているからである。
また、多視点映像生成手段２２は、左右視点の間の映像、例えば、左視点位置から、１／４基線長だけ右に寄った多視点映像Ｍ１、２／４基線長だけ右に寄った多視点映像Ｍ２、３／４基線長だけ右に寄った多視点映像Ｍ３を生成するためには、それぞれ、奥行値ｘを、ｘ／４、２ｘ／４、３ｘ／４として、画素位置をそれぞれの奥行値だけ左にずらして合成すればよい。このとき、左視点位置の映像である多視点映像Ｍ０は、復号化手段２０で復号化された左視点映像ＭＬを用いればよい。
なお、多視点映像生成手段２２は、シフト量が大きくなることで発生する、画素をシフトした後に発生する穴（欠損した画素）については、近接する画素の値をコピーすることとすればよい。このとき、近接の画素の中で最も奥行値の小さい画素の値を用いて穴を埋めると、近接画素と同じ背景の画素で穴が埋められることになり、穴を目立たなくすることができる。
また、ここでは、多視点映像を生成するために、少数の視点映像（基準となる映像）である左視点映像ＭＬのみを符号化伝送することとしたが、右視点映像ＭＲを併せて符号化伝送することとしてもよい。その場合、画素をシフトした後に発生する穴を、右視点映像ＭＲにおける対応画素位置の画素の値でコピーすればよい。なお、この対応画素位置は、穴に近接する画素の奥行値の中で最小値を穴の奥行値とし、その奥行値だけシフトした右視点映像ＭＲにおける画素位置の画素の値を用いればよい。
なお、多視点映像の視点位置をさらに広げたい場合、多視点映像生成手段２２は、図３（ｂ）に示すように、少数の視点映像である基準となる映像（ここでは、左視点映像ＭＬ）の画素を、その画素の奥行値ｘだけ右にシフトすることで多視点映像Ｍ−Ｎを合成して生成することができる。また、多視点映像Ｍ−Ｎと多視点映像Ｍ０との間の視点位置の多視点映像についても、前記したように基線長に応じて奥行値をずらして合成すればよい。
このように生成された多視点映像Ｍ０〜ＭＮ（あるいは、Ｍ−Ｎ〜ＭＮ）は、外部に出力される。この出力された多視点映像Ｍ０〜ＭＮ（あるいは、Ｍ−Ｎ〜ＭＮ）は、立体ディスプレイＧによって、それぞれの視点に対応した映像として表示されることで、立体映像が画面上に表示されることになる。
以上説明したように、立体映像復号化装置２は、至近距離から遠方までの奥行値を、語数が制限された奥行値（非線形奥行値）からの逆変換で精度よく表すことができ、少ないビットストリームの伝送量で立体映像を伝送することが可能になる。
以上、本発明の第１実施形態に係る立体映像符号化装置１および立体映像復号化装置２の構成について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、ここでは、立体映像符号化装置１の奥行変換手段１１が非線形変換式（（６）式参照）を用いて非線形奥行値を算出し、立体映像復号化装置２の奥行逆変換手段２１が、逆変換式（（５）式参照）を用いて非線形奥行値から元の奥行値を算出することとした。しかし、奥行変換手段１１や奥行逆変換手段２１は、演算を行わずに、非線形奥行値と元の奥行値とを予め対応付けた対応表を参照して、変換、逆変換を行うこととしてもよい。
すなわち、図１に示した立体映像符号化装置１および立体映像復号化装置２は、図１０に示した立体映像符号化装置１Ｂおよび立体映像復号化装置２Ｂとすることで、第１実施形態の変形例としてもよい。
ここで、図１０に示すように、立体映像符号化装置１Ｂは、図１で示した立体映像符号化装置１に対して、奥行対応表記憶手段１３Ｂが構成として付加され、奥行変換手段１１を、機能を変えた奥行変換手段１１Ｂに置き換えている点が異なっている。他の構成については、立体映像符号化装置１と同じである。
奥行対応表記憶手段１３Ｂは、奥行値の各値と、予め定めた語長の制限付き奥行値（非線形奥行値）の各値とを対応付けた対応表を記憶するもので、ハードディスク等の一般的な記憶装置である。
この奥行対応表記憶手段１３Ｂには、非線形奥行値Ｘごとに、前記（５）式に示した関数で予め計算した奥行値ｘの値を、それぞれ対応付けた対応表を記憶しておく。
そして、奥行変換手段１１Ｂは、奥行推定手段１０で推定された奥行値ｘに対応する非線形奥行値Ｘを、奥行対応表記憶手段１３Ｂに記憶されている対応表において検索し、対応する非線形奥行値Ｘを、符号化手段１２に出力する。
また、図１０に示すように、立体映像復号化装置２Ｂは、図１で示した立体映像復号化装置２に対して、奥行対応表記憶手段２３Ｂが構成として付加され、奥行逆変換手段２１を、機能を変えた奥行逆変換手段２１Ｂに置き換えている点が異なっている。他の構成については、立体映像復号化装置２と同じである。
奥行対応表記憶手段２３Ｂは、奥行値の各値と、予め定めた語長の制限付き奥行値（非線形奥行値）の各値とを対応付けた対応表を記憶するもので、ハードディスク等の一般的な記憶装置である。
この奥行対応表記憶手段２３Ｂには、非線形奥行値Ｘごとに、前記（５）式に示した関数で予め計算した奥行値ｘの値を、それぞれ対応付けた対応表を記憶しておく。
そして、奥行逆変換手段２１Ｂは、復号化手段２０で復号化された非線形奥行値Ｘに対応する奥行値ｘを、奥行対応表記憶手段２３Ｂに記憶されている対応表において検索し、対応する奥行値ｘを、多視点映像生成手段２２に出力する。
これによって、立体映像符号化装置１Ｂおよび立体映像復号化装置２Ｂは、奥行値を変換あるいは逆変換する演算処理を行うことなく、高速に、立体映像の符号化、復号化を行うことができる。
なお、図１に示した立体映像符号化装置１と、図１０に示した立体映像復号化装置２Ｂとで立体映像伝送システムを構成してもよいし、図１０に示した立体映像符号化装置１Ｂと、図１に示した立体映像復号化装置２とで立体映像伝送システムを構成してもよいことはいうまでもない。
［立体映像伝送システムの動作：第１実施形態］
次に、本発明の第１実施形態に係る立体映像符号化装置および立体映復号化装置の動作について説明する。
〔立体映像符号化装置の動作〕
最初に、図８を参照（構成については適宜図１，図１０参照）して、立体映像符号化装置１（１Ｂ）の動作について説明する。なお、ここでは、基本的に立体映像符号化装置１の動作について説明し、立体映像符号化装置１Ｂの動作については、立体映像符号化装置１と異なる動作についてのみ説明することとする。
まず、立体映像符号化装置１は、奥行推定手段１０によって、カメラＣ（ＣＬ，ＣＲ）から多視点の映像（左視点映像ＭＬ，右視点映像ＭＲ）を入力する（ステップＳ１）。
そして、立体映像符号化装置１は、奥行推定手段１０によって、基準となる映像（左視点映像ＭＬ）のある画素が、他方の映像（右視点映像ＭＲ）との間で、何画素ずれているかを探索し、そのずれ量を当該画素における奥行値ｘと推定する（ステップＳ２）。
そして、立体映像符号化装置１は、奥行変換手段１１によって、ステップＳ２で推定された奥行値ｘを、前記した（６）式によって演算することで、非線形奥行値Ｘに変換する（ステップＳ３）。
なお、このステップＳ３の動作は、図１０に示した立体映像符号化装置１Ｂの場合であれば、奥行変換手段１１Ｂが、ステップＳ２で推定された奥行値ｘに対応する非線形奥行値Ｘを、奥行対応表記憶手段１３Ｂに記憶されている対応表から検索することになる。
これによって、奥行値ｘは、語長が制限された奥行値に変換されることになる。
その後、立体映像符号化装置１は、符号化手段１２によって、ステップＳ１で入力した基準となる映像（左視点映像ＭＬ）と、ステップＳ３で変換された非線形奥行値Ｘとを符号化してビットストリームを生成し（ステップＳ４）、外部に出力する（ステップＳ５）。
〔立体映像復号化装置の動作〕
次に、図９を参照（構成については適宜図１，図１０参照）して、立体映像復号化装置２（２Ｂ）の動作について説明する。なお、ここでは、基本的に立体映像復号化装置２の動作について説明し、立体映像復号化装置２Ｂの動作については、立体映像復号化装置２と異なる動作についてのみ説明することとする。
まず、立体映像復号化装置２は、復号化手段２０によって、立体映像符号化装置１で符号化されて伝送されるビットストリームを入力する（ステップＳ１１）。
そして、立体映像復号化装置２は、復号化手段２０によって、ビットストリームから、カメラＣで撮影された基準となる映像（左視点映像ＭＬ）と、非線形奥行値Ｘとを復号化する（ステップＳ１２）。
そして、立体映像復号化装置２は、奥行逆変換手段２１によって、ステップＳ１２で復号化された非線形奥行値Ｘを、前記した（５）式によって演算することで、立体映像符号化装置１の奥行推定手段１０で推定された元の奥行値ｘに逆変換する（ステップＳ１３）。
なお、このステップＳ１３の動作は、図１０に示した立体映像復号化装置２Ｂの場合であれば、ステップＳ１２で復号化された非線形奥行値Ｘに対応する奥行値ｘを、奥行対応表記憶手段２３Ｂに記憶されている対応表から検索することになる。
これによって、語長が制限された奥行値（非線形奥行値Ｘ）は、元の奥行値に逆変換されることになる。
その後、立体映像復号化装置２は、多視点映像生成手段２２によって、ステップＳ１２で復号化された基準となる映像（左視点映像ＭＬ）と、ステップＳ１３で逆変換された奥行値ｘとから、複数の視点の映像（多視点映像）を生成し（ステップＳ１４）、外部に出力する（ステップＳ１５）。
［立体映像伝送システムの構成：第２実施形態］
次に、図１を参照して、本発明の第２実施形態に係る立体映像符号化装置および立体映像復号化装置を含んだ立体映像伝送システムの構成について説明する。
立体映像伝送システムＳＣは、カメラＣで撮影された映像を奥行値とともに符号化して伝送し、伝送先において多視点映像を生成するものであって、基本的に第１実施形態で説明した立体映像伝送システムＳと同じである。
第１実施形態では、被写体距離Ｄを“０”から無限遠までとした奥行値ｘを符号化および復号化することとしたが、被写体Ｏが予め最近距離Ｄｍｉｎから最遠距離Ｄｍａｘの間にしか存在しないことが既知の場合、この距離間を、“０”から最大奥行値Ｘｍａｘ（例えば、Ｘｍａｘ＝２５５）までの非線形奥行値Ｘで表した方が、奥行値の精度を落とさなくて済む。
そこで、第２実施形態に係る立体映像符号化装置１Ｃでは、第１実施形態に係る立体映像符号化装置１の奥行変換手段１１を奥行変換手段１１Ｃとし、第２実施形態に係る立体映像復号化装置２Ｃでは、第１実施形態に係る立体映像復号化装置２の奥行逆変換手段２１を奥行逆変換手段２１Ｃとして構成している。他の構成については、第１実施形態と同一であるため、同一の符号を付して説明を省略する。
奥行変換手段１１Ｃは、奥行推定手段１０で推定された奥行値を、予め定めた語長の制限付き奥行値（非線形奥行値）に変換するものである。なお、奥行推定手段１０で推定された奥行値は、予め既知の範囲（最小奥行値ｘｍｉｎ、最大奥行値ｘｍａｘ）とする。この最小奥行値ｘｍｉｎ、最大奥行値ｘｍａｘは、図示を省略した入力手段を介して入力することとしてもよいし、図示を省略した記憶手段に予め設定されていることとしてもよい。
この奥行変換手段１１Ｃは、カメラＣから被写体Ｏまでの予め定めた最遠距離に対応する奥行値を制限付き奥行値（非線形奥行値）の最小値とし、カメラＣから被写体Ｏまでの予め定めた最近距離に対応する奥行値を制限付き奥行値（非線形奥行値）が取り得る最大値となるように予め定めた非線形変換式（後記する（１５）式）によって、被写体Ｏまでの距離に対応した奥行値を非線形奥行値に変換する。
この奥行変換手段１１Ｃで変換された非線形奥行値は、符号化手段１２に出力される。
なお、この奥行変換手段１１Ｃにおいて行う変換、すなわち、予め定めた非線形変換式による奥行値の変換については、後で詳細に説明を行う。
奥行逆変換手段２１Ｃは、復号化手段２０で復号化された非線形奥行値Ｘを、立体映像符号化装置１Ｃの奥行推定手段１０で推定された元の奥行値ｘに逆変換するものである。なお、奥行逆変換手段２１Ｃには、立体映像符号化装置１Ｃの奥行変換手段１１Ｃで設定される最小奥行値ｘｍｉｎおよび最大奥行値ｘｍａｘが、予め図示を省略した入力手段を介して入力され、あるいは、図示を省略した記憶手段に予め設定されているものとする。もちろん、最小奥行値ｘｍｉｎおよび最大奥行値ｘｍａｘは、ビットストリーム内に付加されて立体映像符号化装置１Ｃから取得する形態であっても構わない。
この奥行逆変換手段２１Ｃは、奥行変換手段１１Ｃが用いた非線形変換式の逆変換式（後紀する（１４）式）によって、非線形奥行値Ｘを元の奥行値ｘに逆変換する。
このように求められた元の奥行値ｘは、多視点映像生成手段２２に出力される。
（奥行値変換の詳細）
次に、奥行変換手段１１Ｃにおいて行う非線形変換式による奥行値の変換、ならびに、奥行逆変換手段２１Ｃにおいて行う奥行値の逆変換について詳細に説明する。
ここで、図１に示すようにカメラＣ（ＣＬ，ＣＲ）のレンズ間隔である基線長をＢとし、基線（レンズの主点同士を結んだ直線）から被写体Ｏまでの距離（被写体距離）をカメラＣから被写体Ｏまでの距離Ｄと定め、カメラＣのレンズの焦点距離をｆ、カメラＣのイメージセンサの画素サイズをｐとしたとき、前記したとおり、（１）式の関係式が成り立つ。
そこで、奥行値ｘが取り得る範囲である最小奥行値をｘｍｉｎ、最大奥行値をｘｍａｘとすると、以下の（７）式および（８）式の関係式が成り立つ。
Figure 0005751616
Figure 0005751616
ここで、Ｄｍａｘは、最小奥行値ｘｍｉｎに対応する最大被写体距離であり、Ｄｍｉｎは、最大奥行値ｘｍａｘに対応する最小被写体距離である。
このとき、非線形奥行値Ｘの最大値Ｘｍａｘで、最小被写体距離Ｄｍｉｎを表すには、前記（１）式を以下の（９）式に変形すればよい。
Figure 0005751616
この（９）式の関係は、例えば、基線長Ｂ＝６５ｍｍ、レンズの焦点距離ｆ＝１５ｍｍ、イメージセンサの画素サイズｐ＝５μｍとすると、図６に示す曲線Ｌ２で表される。この図６のグラフの横軸は奥行値［画素］、縦軸は被写体距離［ｍｍ］を示している。また、ここでは、ｘｍｉｎ＝５０、ｘｍａｘ＝５６１とした例を示している。なお、曲線Ｌ１は、（１）式の関係を示している。
この図６の曲線Ｌ２によれば、有限の非線形奥行値Ｘ（０〜Ｘｍａｘ＝２５５）で、被写体距離Ｄの最小被写体距離Ｄｍｉｎから、無限遠の被写体の奥行きを表すことができる。
しかし、このままでは、非線形奥行値Ｘは、“０”から、最大被写体距離Ｄｍａｘに対応する非線形奥行値の最小値ｘｍｉｎまでの値が使われないため無駄である。
そこで、非線形奥行値Ｘに、最大被写体距離Ｄｍａｘに対応する非線形奥行値の最小値Ｘｍｉｎ（≒ｘｍｉｎ）をオフセットとして加え、図６の曲線Ｌ２を左にＸｍｉｎ（≒ｘｍｉｎ）だけシフトすれば、非線形奥行値Ｘは、“０”から有効に使用されることになる（グラフとして図示せず）。
しかし、このままでは、最近被写体距離Ｄｍｉｎに対応する非線形奥行値Ｘの値が、Ｘｍａｘ＝２５５よりも小さくなってしまい非線形奥行値Ｘとして使われない無駄な部分が発生する。
そこでさらに、前記（９）式を、非線形奥行値Ｘに、最大被写体距離Ｄｍａｘに対応する非線形奥行値の最小値Ｘｍｉｎ（≒ｘｍｉｎ）をオフセットとして加えるとともに、前記（９）式の第２項に非線形奥行値Ｘの重み（Ｘ／Ｘｍａｘ）を掛けることで、以下の（１０）式に変形する。
Figure 0005751616
ここで、ｋを以下の（１１）式とおくと、（１０）式は、以下の（１２）に変形することができる。
Figure 0005751616
Figure 0005751616
この（１２）式の関係は、図６に示す曲線Ｌ３で表される。
この（１２）式の曲線Ｌ３では、最大被写体距離Ｄｍａｘに対応する奥行値は、非線形奥行値の最小値Ｘｍｉｎ＝０で表され、最小被写体距離Ｄｍｉｎに対応する奥行値は、非線形奥行値の最大値Ｘｍａｘ＝２５５で表される。
また、曲線Ｌ３は、曲線Ｌ１に比べ、奥行値の取り得る値の半分で、約１ｍ以上の被写体距離を表すことができ、より多くの奥行値を、通常の撮影で重要となる距離１ｍ以上の被写体距離に割り当てることができる。さらに、距離１ｍから最近距離Ｄｍｉｎまでの間にある被写体の奥行値も、残り約半分の非線形奥行値を使って表すことができる。これによって、限られた語長の非線形奥行値Ｘで、遠方の被写体の奥行値から近くの被写体の奥行値までを、有効かつ精度よく表すことができる。
この（１２）式は、以下の（１３）式に変形することができる。
Figure 0005751616
ここで、（１３）式と（１）式とを比べると、（１３）式は、元の（１）式の奥行値ｘを、以下の（１４）式に示すような非線形奥行値Ｘの関数で置き換えた関係にある。
Figure 0005751616
すなわち、奥行値ｘを、この（１４）式で与えられる非線形奥行値Ｘで置き換えれば、最小被写体距離から、最大被写体距離までの被写体の奥行きを、限られた語長の非線形奥行値Ｘで精度よく表すことができる。
そこで、図１に示す立体映像符号化装置１Ｃの奥行変換手段１１Ｃは、奥行推定手段１０で推定された奥行値ｘを、（１４）式を非線形奥行値Ｘで解いた以下の（１５）式により計算することで、非線形奥行値Ｘを求める。
Figure 0005751616
なお、参考までに、この（１５）式の関係をグラフで表すと、図７に示すような曲線となる。この図７に示すように、非線形奥行値Ｘ（０〜Ｘｍａｘ＝２５５）の値によって、元の奥行値ｘ（ｘｍｉｎ〜ｘｍａｘ）の値を表すことができる。
また、図１に示す立体映像復号化装置２Ｃの奥行逆変換手段２１Ｃは、前記（１５）式の逆変換式である前記（１４）式によって、非線形奥行値Ｘを元の奥行値ｘに逆変換する。
以上、本発明の第２実施形態に係る立体映像符号化装置１Ｃおよび立体映像復号化装置２Ｃの構成について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、ここでは、立体映像符号化装置１Ｃの奥行変換手段１１Ｃが非線形変換式（（１５）式参照）を用いて非線形奥行値を算出し、立体映像復号化装置２Ｃの奥行逆変換手段２１Ｃが、逆変換式（（１４）式参照）を用いて非線形奥行値から元の奥行値を算出することとした。しかし、奥行変換手段１１Ｃや奥行逆変換手段２１Ｃは、演算を行わずに、非線形奥行値と元の奥行値とを予め対応付けた対応表を参照して、変換、逆変換を行うこととしてもよい。
すなわち、図１に示した立体映像符号化装置１Ｃおよび立体映像復号化装置２Ｃは、図１０に示した立体映像符号化装置１Ｄおよび立体映像復号化装置２Ｄとすることで、第２実施形態の変形例としてもよい。
ここで、図１０に示すように、立体映像符号化装置１Ｄは、第１実施形態の変形例の立体映像符号化装置１Ｂに対して、奥行対応表記憶手段１３Ｂを奥行対応表記憶手段１３Ｄに置き換えて構成している。他の構成については、立体映像符号化装置１Ｂと同じである。
奥行対応表記憶手段１３Ｄは、奥行値の各値と、予め定めた語長の制限付き奥行値（非線形奥行値）の各値とを対応付けた対応表を記憶するもので、ハードディスク等の一般的な記憶装置である。
この奥行対応表記憶手段１３Ｄには、被写体距離を制限した奥行値ｘごとに、前記（１５）式に示した関数で予め計算した非線形奥行値Ｘの値を、それぞれ対応付けた対応表を記憶しておく。
また、図１０に示すように、立体映像復号化装置２Ｄは、第１実施形態の変形例の立体映像復号化装置２Ｂに対して、奥行対応表記憶手段２３Ｂを奥行対応表記憶手段２３Ｄに置き換えて構成している。他の構成については、立体映像復号化装置２Ｂと同じである。
奥行対応表記憶手段２３Ｄは、被写体距離を制限した奥行値の各値と、予め定めた語長の制限付き奥行値（非線形奥行値）の各値とを対応付けた対応表を記憶するもので、ハードディスク等の一般的な記憶装置である。
この奥行対応表記憶手段２３Ｄには、被写体距離を制限した非線形奥行値Ｘごとに、前記（１４）式に示した関数で予め計算した奥行値ｘの値を、それぞれ対応付けた対応表を記憶しておく。
これによって、立体映像符号化装置１Ｄおよび立体映像復号化装置２Ｄは、奥行値を変換あるいは逆変換する演算処理を行うことなく、高速に、立体映像の符号化、復号化を行うことができる。
なお、図１に示した立体映像符号化装置１Ｃと、図１０に示した立体映像復号化装置２Ｄとで立体映像伝送システムを構成してもよいし、図１０に示した立体映像符号化装置１Ｄと、図１に示した立体映像復号化装置２Ｃとで立体映像伝送システムを構成してもよいことはいうまでもない。
この第２実施形態に係る立体映像符号化装置１Ｃ，１Ｄおよび立体映像復号化装置２Ｃ，２Ｄの動作は、使用する非線形変換式あるいは対応表が異なるだけで、図８，図９で説明した第１実施形態に係る立体映像符号化装置１，１Ｂおよび立体映像復号化装置２，２Ｂの動作と基本的に同じであるため、ここでは、動作の説明は省略する。
以上、本発明の実施形態に係る立体映像符号化装置１，１Ｂ，１Ｃ，１Ｄおよび立体映像復号化装置２，２Ｂ，２Ｃ，２Ｄについて説明したが、本発明はこれらの構成に限定されるものではない。
ここでは、左右カメラの一方が撮影した映像を基準映像として、奥行値とともに、符号化伝送することとしたが、立体映像符号化装置が入力するカメラの映像の数は２つ以上であっても構わない。すなわち、本発明は、２つの映像間の視差である奥行値を語長が制限された奥行値に変換するため、複数の映像を入力し、各映像間で奥行値を求めて符号化伝送する一般的な立体映像符号化装置、立体映像復号化装置に適用することができる。
また、ここでは、非線形奥行値の最大値を、語長が８ビットの最大値である“２５５”を例に説明したが、非線形奥行値は、８ビットの語長に限定されることはなく、伝送に用いる語長で表すことができる最大値を用いればよい。
また、ここでは、奥行推定手段１０によって、複数の映像の視差によって奥行値を推定することとしたが、レンジファインダ等の距離計を用いて、測定した距離を奥行値に対応付けることとしてもよい。その場合、奥行推定手段１０を構成から省略することができる。
Ｓ 立体映像伝送システム
１ 立体映像符号化装置
１０ 奥行推定手段
１１ 奥行変換手段
１２ 符号化手段
１３Ｂ 奥行対応表記憶手段
２ 立体映像復号化装置
２０ 復号化手段
２１ 奥行逆変換手段
２２ 多視点映像生成手段
２３Ｂ 奥行対応表記憶手段

Claims (12)

  1. カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化手段により符号化する立体映像符号化装置において、
    前記奥行値を予め定めた語長の制限付き奥行値に変換して前記符号化する奥行値とする奥行変換手段を、さらに備え、
    前記奥行変換手段は、
    前記カメラから前記被写体までの予め定めた最近距離に対応する奥行値を前記制限付き奥行値が取り得る最大値となるように、
    前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸ ｍａｘ としたとき、非線形変換式である
    Figure 0005751616
     によって、前記被写体までの距離に対応した奥行値を前記制限付き奥行値に変換することを特徴とする立体映像符号化装置。
  2. カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化手段により符号化する立体映像符号化装置において、
    前記奥行値を予め定めた語長の制限付き奥行値に変換して前記符号化する奥行値とする奥行変換手段を、さらに備え、
    前記奥行変換手段は、
    前記カメラから前記被写体までの予め定めた最近距離に対応する奥行値を前記制限付き奥行値が取り得る最大値となるように、
    前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸ ｍａｘ 、前記被写体までの予め定めた最大距離に対応する奥行値をｘ ｍｉｎ 、前記被写体までの予め定めた最近距離に対応する奥行値をｘ ｍａｘ としたとき、非線形変換式である
    Figure 0005751616
     によって、前記被写体までの距離に対応した奥行値を前記制限付き奥行値に変換することを特徴とする立体映像符号化装置。
  3. 前記被写体までの距離に対応した奥行値と前記制限付き奥行値とを、前記非線形変換式によって予め計算して対応付けた対応表を記憶する奥行対応表記憶手段をさらに備え、
    前記奥行変換手段は、前記非線形変換式による計算に代えて、前記対応表を参照して、前記被写体までの距離に対応した奥行値を前記制限付き奥行値に変換することを特徴とする請求項１または請求項２に記載の立体映像符号化装置。
  4. カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化する立体映像符号化方法において、
    前記符号化の前に、奥行変換手段によって、前記奥行値を予め定めた語長の制限付き奥行値に変換する奥行変換ステップを、さらに含み、
    前記奥行変換ステップは、
    前記カメラから前記被写体までの予め定めた最近距離に対応する奥行値を前記制限付き奥行値が取り得る最大値となるように、
    前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸ ｍａｘ としたとき、非線形変換式である
    Figure 0005751616
     によって、前記被写体までの距離に対応した奥行値を前記制限付き奥行値に変換することを特徴とする立体映像符号化方法。
  5. カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化する立体映像符号化方法において、
    前記符号化の前に、奥行変換手段によって、前記奥行値を予め定めた語長の制限付き奥行値に変換する奥行変換ステップを、さらに含み、
    前記奥行変換ステップは、
    前記カメラから前記被写体までの予め定めた最近距離に対応する奥行値を前記制限付き奥行値が取り得る最大値となるように、
    前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸ ｍａｘ 、前記被写体までの予め定めた最大距離に対応する奥行値をｘ ｍｉｎ 、前記被写体までの予め定めた最近距離に対応する奥行値をｘ ｍａｘ としたとき、非線形変換式である
    Figure 0005751616
     によって、前記被写体までの距離に対応した奥行値を前記制限付き奥行値に変換することを特徴とする立体映像符号化方法。
  6. 前記奥行変換ステップは、前記非線形変換式による計算に代えて、前記被写体までの距離に対応した奥行値と前記制限付き奥行値とを、前記非線形変換式によって予め計算して対応付けた対応表を参照して、前記被写体までの距離に対応した奥行値を前記制限付き奥行値に変換することを特徴とする請求項４または請求項５に記載の立体映像符号化方法。
  7. カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化手段により復号化する立体映像復号化装置において、
    前記制限付き奥行値は、前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸ ｍａｘ としたとき、非線形変換式である
    Figure 0005751616
     によって計算された値であって、
    前記非線形変換式の逆変換式である
    Figure 0005751616
     によって、前記制限付き奥行値Ｘを前記被写体までの距離に対応した奥行値ｘに逆変換する奥行逆変換手段を、さらに備えることを特徴とする立体映像復号化装置。
  8. カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化手段により復号化する立体映像復号化装置において、
    前記制限付き奥行値は、前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸ ｍａｘ 、前記被写体までの予め定めた最大距離に対応する奥行値をｘ ｍｉｎ 、前記被写体までの予め定めた最近距離に対応する奥行値をｘ ｍａｘ としたとき、非線形変換式である
    Figure 0005751616
     によって計算された値であって、
    前記非線形変換式の逆変換式である
    Figure 0005751616
     によって、前記制限付き奥行値Ｘを前記被写体までの距離に対応した奥行値ｘに逆変換する奥行逆変換手段を、さらに備えることを特徴とする立体映像復号化装置。
  9. 前記被写体までの距離に対応した奥行値と前記制限付き奥行値とを、前記逆変換式によって予め計算して対応付けた対応表を記憶する奥行対応表記憶手段をさらに備え、
    前記奥行逆変換手段は、前記逆変換式による計算に代えて、前記対応表を参照して、前記制限付き奥行値を前記被写体までの距離に対応した奥行値に逆変換することを特徴とする請求項７または請求項８に記載の立体映像復号化装置。
  10. カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化する立体映像復号化方法において、
    前記制限付き奥行値は、前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸ ｍａｘ としたとき、非線形変換式である
    Figure 0005751616
     によって計算された値であって、
    前記復号化の後に、奥行逆変換手段によって、前記非線形変換式の逆変換式である
    Figure 0005751616
     により、前記制限付き奥行値Ｘを前記被写体までの距離に対応した奥行値ｘに逆変換する奥行逆変換ステップを、さらに含むことを特徴とする立体映像復号化方法。
  11. カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化する立体映像復号化方法において、
    前記制限付き奥行値は、前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸ ｍａｘ 、前記被写体までの予め定めた最大距離に対応する奥行値をｘ ｍｉｎ 、前記被写体までの予め定めた最近距離に対応する奥行値をｘ ｍａｘ としたとき、非線形変換式である
    Figure 0005751616
     によって計算された値であって、
    前記復号化の後に、奥行逆変換手段によって、前記非線形変換式の逆変換式である
    Figure 0005751616
     により、前記制限付き奥行値Ｘを前記被写体までの距離に対応した奥行値ｘに逆変換する奥行逆変換ステップを、さらに含むことを特徴とする立体映像復号化方法。
  12. 前記奥行逆変換ステップは、前記逆変換式による計算に代えて、前記被写体までの距離に対応した奥行値と前記制限付き奥行値とを、前記逆変換式によって予め計算して対応付けた対応表を参照して、前記制限付き奥行値を前記被写体までの距離に対応した奥行値に逆変換することを特徴とする請求項１０または請求項１１に記載の立体映像復号化方法。
JP2011055407A 2011-03-14 2011-03-14 立体映像符号化装置およびその方法、ならびに、立体映像復号化装置およびその方法 Expired - Fee Related JP5751616B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011055407A JP5751616B2 (ja) 2011-03-14 2011-03-14 立体映像符号化装置およびその方法、ならびに、立体映像復号化装置およびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011055407A JP5751616B2 (ja) 2011-03-14 2011-03-14 立体映像符号化装置およびその方法、ならびに、立体映像復号化装置およびその方法

Publications (2)

Publication Number Publication Date
JP2012191569A JP2012191569A (ja) 2012-10-04
JP5751616B2 true JP5751616B2 (ja) 2015-07-22

Family

ID=47084221

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011055407A Expired - Fee Related JP5751616B2 (ja) 2011-03-14 2011-03-14 立体映像符号化装置およびその方法、ならびに、立体映像復号化装置およびその方法

Country Status (1)

Country Link
JP (1) JP5751616B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552620B2 (en) * 2014-06-30 2017-01-24 Intel Corporation Depth offset compression
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3656062B2 (ja) * 1993-06-21 2005-06-02 株式会社ナムコ 画像合成装置およびこれを用いたビデオゲーム装置
JPH09115003A (ja) * 1995-10-18 1997-05-02 Taito Corp Ｚ値座標変換回路
JP4036599B2 (ja) * 2000-04-11 2008-01-23 三洋電機株式会社 ２次元映像を３次元映像に変換する方法
JP2010045584A (ja) * 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体
WO2010111191A1 (en) * 2009-03-21 2010-09-30 Reald Inc Point reposition depth mapping
JP5369952B2 (ja) * 2009-07-10 2013-12-18 ソニー株式会社 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
JP2012191569A (ja) 2012-10-04

Similar Documents

Publication Publication Date Title
US8116557B2 (en) 3D image processing apparatus and method
JP5934375B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP5763184B2 (ja) ３次元画像に対する視差の算出
JP5268645B2 (ja) カメラパラメータを利用して視差ベクトルを予測する方法、その方法を利用して多視点映像を符号化及び復号化する装置、及びそれを行うためのプログラムが記録された記録媒体
JP5299214B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20110298898A1 (en) Three dimensional image generating system and method accomodating multi-view imaging
KR101450145B1 (ko) 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
JP5833757B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP5883153B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
US20150350678A1 (en) Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, image decoding program, and recording media
JP2009212664A (ja) 距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
CN104284193A (zh) 编码装置和编码方法、以及解码装置和解码方法
JP5751616B2 (ja) 立体映像符号化装置およびその方法、ならびに、立体映像復号化装置およびその方法
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
KR20140030202A (ko) 기록 장치, 기록 방법, 재생 장치, 재생 방법, 프로그램 및 기록 재생 장치
JP5871113B2 (ja) 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
JP7417388B2 (ja) 符号化装置、復号装置、及びプログラム
JP2013085063A (ja) 多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法、及び多視点画像復号方法
JP2013085064A (ja) 多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法及び多視点画像復号方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141028

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150514

R150 Certificate of patent or registration of utility model

Ref document number: 5751616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees