JPH10262268A - 立体映像符号化装置及び復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】立体映像符号化復号化装置で異なる方式の表示
装置を使用する場合に互換性を保ちつつ、無駄のない符
号化を可能にする。 【解決手段】複数の画像入力手段からの入力信号から、
一視点あたりの解像度が第１の解像度である多視点立体
映像の表示に必要な画像情報と、一視点あたりの解像度
が第１の解像度より高い解像度である第２の解像度の少
視点立体映像の表示に必要な画像情報と、一視点あたり
の解像度が第２の解像度より高い解像度である第３の解
像度の非立体映像の表示に必要な画像情報とを共通部分
が重複することのないように抽出する手段109と、これ
ら抽出された一連の画像情報を一つの大きな画面として
形成する手段110と、該形成された大きな画面を符号化
する手段112とを有して符号化装置を構成する。また復
号化装置は、この符号化装置で符号化された符号化デー
タから、多視点立体映像もしくは少視点立体映像もしく
は非立体映像の表示に必要な画像情報を選択的に復号す
る機能115を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、立体映像の符号化
を行う符号化装置及び復号化を行う復号化装置に関す
る。

【０００２】

【従来の技術】多階調の画像信号は膨大な情報量を有し
ているため、画像信号を通常のディジタルデータ信号と
してそのまま取り扱うのは困難である。すなわち、１画
面分の画像を伝送するにも長い時間を要し、保存するに
も膨大な容量を必要とするので、そのままでは扱いにく
い。こうした背景のもと、画像信号のデータ量を圧縮す
る画像符号化技術が発展し、伝送・記録において画像信
号を容易に取り扱うことが可能となっている。

【０００３】また、伝送路の広帯域化や記録媒体の大容
量化も進展し、先に述べた画像符号化技術と併せて、伝
送する画像の一層の多チャンネル化や、画像の記録時間
の一層の長時間化も進んでいる。

【０００４】一方、非立体映像だけでなく、観賞者に、
より臨場感を感じさせることができる立体映像の利用も
盛んに行われるようになっている。立体映像の表示装置
は、従来は特殊なメガネをかける必要があるものが多か
ったが、近年、特殊なメガネ無しで立体映像を見ること
ができる映像表示装置がいくつか報告されている。例え
ば、“テレビジョン学会誌 Ｖｏｌ．４６，Ｎｏ．４，
ｐｐ．５１８〜５２５（１９９２）”（以下、参考文献
１と呼ぶ）や“電子情報通信学会誌 Ｃ−ＩＩ，Ｖｏ
ｌ．Ｊ７６−Ｃ−ＩＩ，Ｎｏ．１，ｐｐ．１６〜２３
（１９９３）”（以下、参考文献２と呼ぶ）、“テレビ
ジョン学会誌Ｖｏｌ．４８，Ｎｏ．１０，ｐｐ．１２６
７〜１２７５（１９９４）”（以下、参考文献３と呼
ぶ）などで報告されている表示装置は、水平方向に並べ
た複数のカメラで撮像した画面をカメラの台数に応じて
水平方向にサンプリングした後、ストライプ像に合成し
て液晶ビデオプロジェクタで投写し、その投写された画
面をカマボコ形状のレンチキュラスクリーンを通して見
る構成となっている。

【０００５】このため、特殊なメガネを装着する必要が
無くなり、またレンチキュラスクリーンの光学的作用に
より、４台や８台といった、より多くのカメラを使用し
た場合には、立体視観察領域の拡大と、大勢の観察者が
それぞれの観察位置で多視点立体映像を見ることができ
るようになった。

【０００６】このような特殊なメガネを使用しない立体
映像表示装置の登場を背景として、先に述ベた画像符号
化技術と大容量の記録媒体を用いた立体映像記録の試み
も始まっている。

【０００７】ところで、立体映像として制作したもので
あっても、表示系が立体映像表示に適応していないシス
テムでは、当然のことながら表示された映像の立体視は
無理である。しかし、観察者にとってはそれであっても
映像を見ることができればという願望が残る。

【０００８】従って、このような立体映像として作成さ
れたコンテンツの映像を、表示系の都合で立体映像では
なく、通常の非立体映像でしか見ることができない観察
者の要求に応える必要がある。

【０００９】また、そのようなやむを得ない事情ばかり
でなく、好みの問題として立体映像となっているコンテ
ンツを非立体映像としても楽しみたいという要求はかな
り多いと考えられる。

【００１０】更に、上述の“参考文献１”，“参考文献
２”，“参考文献３”で述べられている立体映像表示装
置は、前述のように立体映像を撮像するカメラの台数に
応じて水平方向にサンプリングした画像を使用してお
り、片方の眼で見る映像の水平解像度は低くなるという
側面があるため、非立体映像であるが水平解像度を高く
した映像を見たいという要求が出てくることが予想され
る。

【００１１】このような事情を考慮すると、同一コンテ
ンツの映像を立体映像と非立体映像の双方で表示できる
ことが必要となる。

【００１２】また、先に触れたように、“参考文献
１”，“参考文献２”，“参考文献３”で述べられてい
る立体映像表示装置は、撮像に使用するカメラの台数を
増やすことによって立体視観察領域を拡大することがで
き、多くの観察者がそれぞれの観察位置で多視点立体映
像を見ることができるが、その一方で表示装置のシステ
ムが大がかりになってしまうという側面もある。

【００１３】従って、例えば８台のカメラで撮像した多
視点立体映像を表示する装置のように、大勢の観察者が
同時に立体映像を見ることができる表示装置などは、高
級機に位置づけられると考えられる。

【００１４】これに対して、例えばカメラ２台で撮像し
た少視点立体映像を表示する装置などは、立体視観察領
域は狭く、観察者の数も限られてくるものの、コンパク
トなシステム構成が実現できるため、パーソナルユース
をターゲットとした廉価機という位置づけでの需要が期
待できる。

【００１５】このような事情から、同一コンテンツの立
体映像を、多人数向けの高級な多視点立体映像表示装置
から少人数向けの廉価な少視点立体映像表示装置まで様
々なグレードの映像表示装置で表示できることが必要と
なる。

【００１６】このように同一コンテンツの非立体映像／
多視点・少視点立体映像を表示する表示装置は様々な方
式を採り得るが、映像ソフト提供側からみれば、それぞ
れの表示装置に適した映像データを別個の記録媒体に記
録して提供することは甚だ不経済であり、好ましくな
い。ゆえに、同じ記録形式で記録媒体に記録した映像デ
ータを以て、様々な表示系に対応できること、すなわ
ち、データの互換性が重要である。

【００１７】故に、異なる方式の映像表示装置を使用す
る場合のコンパチビリティを有するような画像データを
生成・処理できる画像符号化・復号化装置が必要とな
る。

【００１８】もちろん、これまでも立体映像をターゲッ
トとした画像符号化・復号化装置がいくつか提案されて
いる。しかしながら、いずれも非立体映像用／多視点・
少視点立体映像用など、様々な表示装置のいずれにも支
障なく使用できるようにするといった配慮がなされてい
るとは言えない。

【００１９】例えば特開平７−２５０３５０号公報に開
示されている画像符号化・復号化装置では、複数の画像
入力手段（例えばカメラなど）からの入力データを用い
るが、その各画像入力手段毎に画像符号化／復号化手段
を有している。そのため、もともと装置の構成が大きい
上に、“参考文献１”，〜“参考文献３”で述べられて
いる映像表示手段でカメラの台数を増やした場合に対応
するには、画像符号化／復号化装置が更に大がかりなも
のとなってしまう問題点がある。

【００２０】また、例えば特開平７−３２７２４２号公
報で述べられている画像符号化・復号化装置では、左右
画像を合成した基準画像に対するＭＰＥＧ画像符号化／
復号化手段だけでなく、基準画像と左右それぞれの画像
との間の差分データを符号化／復号化する手段をも有し
ているため、やはりカメラの台数を増やした場合に画像
符号化／復号化装置の構成が大がかりになってしまう問
題点がある。

【００２１】また、先に述べたように“参考文献１”〜
“参考文献３”で述べられている映像表示手段では撮像
に使用するカメラの台数に応じて入力画像を水平方向に
サンプリングしているために映像表示装置の方式の違い
によって表示する映像の情報量が異なるが、前記従来例
ではこのような場合については十分に考慮されていない
ため、重複した余分な情報量をも記録媒体に記録するこ
とになり、無闇に容量ばかりを必要として、記録媒体を
有効に活用できていないという問題点もある。

【００２２】

【発明が解決しようとする課題】上述したように、従来
の立体映像符号化・復号化装置では想定した立体映像表
示装置以外の方式の異なる表示装置を使用して画像を観
賞する場合を十分配慮していないため、画像入力手段を
増やした場合などのように、システムの規模を膨らませ
る方向に少し変更すると、無駄もそのまま反映されるこ
とから、装置の構成が大きくなってしまうという問題点
があり、また、情報に関してもシステムを簡素化しよう
とすると、上位のシステムでは必要とする関係で、その
簡素化したシステムでは全く不要な重複した余分な情報
はあるものの、削除できないがために、記録媒体の有効
利用ができないといった問題があった。

【００２３】そこで、この発明の目的とするところは、
同一のコンテンツとしての非立体映像／多視点・少視点
立体映像を、共通化した画像情報として与えることがで
き、従って、共通の記録媒体で様々な方式の画像表示装
置で表示できるようなコンパチビリティを有する非立体
映像／立体映像データを比較的小さな構成の装置で生成
・処理できる画像符号化・復号化装置を提供することに
ある。

【００２４】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明は次のように構成する。

【００２５】すなわち、第１には、立体映像符号化装置
として、それぞれ視点の異なる位置で撮像した画像信号
を入力する複数の画像入力手段からの入力画像信号を受
け、これらの入力画像信号から、一視点あたりの解像度
が第１の解像度である多視点立体映像表示に必要な画像
情報及び一視点あたりの解像度が前記第１の解像度より
高い解像度である第２の解像度を有した少視点立体映像
表示に必要な画像情報及び一視点あたりの解像度が前記
第２の解像度より高い解像度である第３の解像度を有し
た非立体映像表示に必要な画像情報のうち、少なくとも
二種の画像情報を、共通部分が重複しないように検出す
る手段と、これら抽出された一連の画像情報を一つの大
きな画面の画像として形成する手段と、該形成された大
画面画像を符号化する符号化手段とを備えた構成とす
る。

【００２６】また、第２には、立体映像復号化装置とし
て、前記第１の構成の符号化装置で符号化された符号化
データから、多視点立体映像もしくは少視点立体映像も
しくは非立体映像の表示に必要な画像情報を選択的に復
号する復号手段を備えて構成する。

【００２７】また、第３には、前記第１の構成の符号化
装置において、前記大きな画面を符号化する符号化手段
は、立体映像復号化装置が多視点立体映像もしくは少視
点立体映像もしくは非立体映像の表示に必要な画像情報
を選択的に復号することが可能となるように画面内部分
領域を構成させる制御手段を有することを特徴とする。

【００２８】また、第４には、前記大きな画面を符号化
する符号手段において、立体映像復号化装置が多視点立
体映像もしくは少視点立体映像もしくは非立体映像の表
示に必要な画像情報を選択的に復号することが可能とな
るように動き検出範囲に制御を加える手段を有すること
を特徴とする。

【００２９】従来の立体映像符号化復号化装置では異な
る方式の表示装置を使用する場合について十分考慮され
ていないため、装置の構成が大きくなってしまうという
問題点があり、また、重複した余分な情報量をも記録媒
体に記録しているために大容量の記録媒体を有効に活用
できていないという問題点があったが、一つの記録媒体
で様々な方式の画像表示装置で表示できるようなコンパ
チビリティを有する画像情報を比較的小さな構成の装置
で生成・処理することができるようになる。

【００３０】

【発明の実施の形態】本発明は、複数の画像入力手段か
らの入力信号から、一視点あたりの解像度が第１の解像
度である多視点立体映像の表示に必要な画像情報と、一
視点あたりの解像度が第１の解像度より高い解像度であ
る第２の解像度の少視点立体映像の表示に必要な画像情
報と、一視点あたりの解像度が第２の解像度より高い解
像度である第３の解像度の非立体映像の表示に必要な画
像情報とを共通部分が重複することのないように抽出
し、これら抽出された一連の画像情報を一つの大きな画
面として形成し、該形成された大きな画面を符号化する
ようにし、また、この符号化された符号化データから、
多視点立体映像もしくは少視点立体映像もしくは非立体
映像の表示に必要な画像情報を選択的に復号することを
特徴としており、同じ記録媒体の画像情報（データ）で
様々な方式の画像表示装置で利用できるようなコンパチ
ビリティを有する画像情報を、比較的小さな構成の装置
で生成・処理できるようにしたものであり、以下、図面
を用いて本発明の実施の形態について説明する。

【００３１】図１は、本発明の一例としてのシステム構
成図であって、画像符号化・復号化装置を中心としたブ
ロック図である。ここでは、例えばカメラのような画像
入力手段を８台使用して、一視点あたりの解像度が第１
の解像度である“多視点立体映像”と、第１の解像度よ
り高い解像度である第２の解像度の“少視点立体映像”
と、第２の解像度より高い解像度である第３の解像度の
“非立体映像”を表示する場合の例を示している。

【００３２】１０１乃至１０８は第１乃至第８の画像入
力手段であり、上記の８台のカメラに相当する。

【００３３】第１の画像人力手段１０１から第８の画像
入力手段１０８の各出力する画像情報は、画像情報抽出
手段１０９に入力信号として入力される。なお、これら
複数の画像入力手段１０１〜１０８は、立体映像を撮像
するために例えば前述の“参考文献１”，“参考文献
２”，“参考文献３”で述べられているように、水平方
向に並べて配置されている。

【００３４】画像情報抽出手段１０９は、前記複数の画
像人力手段１０１〜１０８より入力された入力信号か
ら、非立体映像／多視点・少視点立体映像の表示に必要
な画像情報を、例えば図２に例示するようなパターンで
水平方向にサンプリングすることにより、共通部分が重
複することのないように抽出し、該抽出された画像情報
を大画面形成手段１１０に入力する。なお、図２に示す
例については後述する。

【００３５】大画面形成手段１１０は、前記画像情報抽
出手段１０９から入力された一連の画像情報を、例え
ば、図３，図４に例示するように一つの大きな画面とし
て形成するものである。図３，図４に示す例については
後述する。

【００３６】また、大画面形成手段１１０は、前記大き
な画面に形成された画像をデータ（画像情報）を画像符
号化手段１１２へ入力するとともに、前記大きな画面が
どのように形成されているかを示す情報を制御手段１１
１へ入力する。

【００３７】制御手段１１１は、前記大画面形成手段１
１０から入力された情報に基づき、前記大きな画面を構
成する各画像情報毎に、選択的に復号できるように、符
号化の際に例えば図５，図６に例示する如きの制御を行
うための信号を生成して画像符号化手段１１２に入力す
る。図５，図６に示す例については後述する。

【００３８】画像符号化手段１１２は、前記制御手段１
１１からの制御信号に基づき、前記大画面形成手段１１
０から入力された前記大きな画面を符号化する。ここ
で、図１の画像符号化手段１１２として例えばＨＤＴＶ
（Ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉ
ｏｎ）用の画像符号化手段を使用することで、本発明の
非立体映像／多視点・少視点立体映像の表示に必要な一
連の画像情報から構成される大きな画面の符号化と通常
のＨＤＴＶ画像の符号化の双方に対応できる。

【００３９】また、画像符号化手段１１２は前記大きな
画面を符号化したデータを記録媒体１１３に記録する。

【００４０】以上、１０９から１１２までの要素で構成
される部分が、本発明の画像符号化装置に相当する。

【００４１】記録媒体１１３は、例えば大容量の光ディ
スクやメモリ、磁気テープなどが挙げられるが、本発明
の主旨を逸脱しない範囲で様々な媒体を使用できること
は言うまでもない。

【００４２】画像復号化手段１１４は、記録媒体１１３
に記録されている符号化データを読み込み、選択手段１
１５より入力される制御信号に基づき、非立体映像／多
視点・少視点立体映像を表示するために必要な、選択さ
れた画像情報を復号する。

【００４３】ここで、図１の画像復号化手段１１４とし
て、例えば、ＨＤＴＶ用の画像復号化手段を使用するこ
とで、本発明の非立体映像／多視点・少視点立体映像の
表示に必要な一連の画像情報から構成される大きな画面
の復号化と通常のＨＤＴＶ画像の復号化の双方に対応で
きる。また、画像復号化手段１１４は、前記復号した画
像情報を、例えば、ストライプ状に並び替えて画像表示
手段１１６に出力する。

【００４４】選択手段１１５は、画像表示手段１１６が
非立体映像用の画像表示装置であるか、立体映像用の画
像表示装置であるか、また、立体画像表示装置が例えば
前記“参考文献１”，“参考文献２”，“参考文献３”
で述べられている装置であれば何台のカメラで撮像した
立体映像を表示する装置であるかといった画像表示装置
の方式をチェックし、そのチェックした結果に基づい
て、全ての画像情報、また非立体映像／多視点・少視点
立体映像を表示するために必要な画像情報を選択して復
号するような制御信号を画像復号化手段１１４に入力す
る。

【００４５】以上、１１４から１１５までの要素による
構成が本発明の画像復号化装置に相当する。

【００４６】画像表示手段１１６は、非立体映像用、立
体映像用、また例えば前述の“参考文献１”，“参考文
献２”，“参考文献３”で述ベられている装置であれば
様々な台数のカメラで撮像した立体映像を表示する装置
と、様々な方式を採り得る。例えばこの例では、非立体
映像用、カメラ２台で撮像した少視点立体映像用、カメ
ラ８台で撮像した多視点立体映像用の場合を採り得ると
する。

【００４７】前記切替手段１１５よりのチェックに応じ
てどのような方式の映像表示装置であるかの情報を前記
選択手段１１５に返し、前記画像復号化手段１１４から
例えばストライプ状に並びかえて入力された画像情報を
表示する。ここで、例えばカメラ８台で撮像した“多視
点立体映像”を表示する場合には、例えば、図７（ａ）
に示すように画素配列を２列ジグザグ配列で表示し、ま
た、例えば、カメラ２台で撮像した“少視点立体映像”
を表示する場合には例えば図７（ｂ）に示すような画素
配列で表示する。そして、“非立体映像”を表示する場
合には、例えば図７（ｃ）に示すような画素配列で表示
する。図７に示す例については後述する。

【００４８】図２は、図１に示す画像情報抽出手段１０
９における水平方向のサンプリングパターンの例を示し
た図である。ここでは画像入力手段として８台のカメラ
を使用する場合で、映像表示装置が前述の“参考文献
１”，“参考文献２”，“参考文献３”で述べられてい
る、カメラ８台で撮像した一視点あたりの解像度が第１
の解像度である多視点立体映像用、同じくカメラ２台で
撮像した第１の解像度より高い解像度である第２の解像
度の少視点立体映像用、第２の解像度より高い解像度で
ある第３の解像度の非立体映像用に対応する場合の例を
示している。

【００４９】図中、黒丸はサンプリングされた画素を、
また、白丸はサンプリングされない画素を示す。図２に
おいて、例えば、立体映像表示装置が８台のカメラで撮
像した映像を表示するものである場合には、８台の画像
入力手段、すなわち、８台のカメラで撮像した映像をそ
れぞれ（ａ），（ｂ），（ｃ）， （ｄ），（ｅ），
（ｆ），（ｇ），（ｈ）のパターンでサンプリングし、
このサンプリングされた映像を図７を用いて後述するよ
うなパターンで表示する。

【００５０】つまり、第１番目のカメラ（“カメラ
１”）で撮像した映像は図２の（ａ）のパターンで、第
２番目のカメラ（“カメラ２”）で撮像した映像は図２
の（ｂ）のパターンで、第３番目のカメラ（“カメラ
３”）で撮像した映像は図２の（ｃ）のパターンで、第
４番目のカメラ（“カメラ４”）で撮像した映像は図２
の（ｄ）のパターンで、第５番目のカメラ（“カメラ
５”）で撮像した映像は図２の（ｅ）のパターンで、第
６番目のカメラ（“カメラ６”）で撮像した映像は図２
の（ｆ）のパターンで、第７番目のカメラ（“カメラ
７”）で撮像した映像は図２の（ｇ）のパターンで、そ
して、第８番目のカメラ（“カメラ８”）で撮像した映
像は図２の（ｈ）のパターンで、それぞれサンプリング
し、これらのサンプリングされた映像を図７を用いて後
述するようなパターンで表示する。

【００５１】また、例えば立体映像表示装置が２台のカ
メラで撮像した映像を表示するものである場合には、例
えば第４番のカメラ（“カメラ４”）とそれに隣接する
第５番のカメラ（“カメラ５”）で撮像した映像を表示
するものとし、先に示した図２の（ｄ），（ｅ）のパタ
ーンでサンプリングした映像に加えてそれぞれ図２の
（ｄ−２），（ｅ−２）のパターンでサンプリングした
映像を図７を用いて後述するようなパターンで表示す
る。

【００５２】また、非立体映像を表示するものである場
合には、例えば第５番目のカメラ（“カメラ５”）で撮
像した映像を表示するものとし、先に示した図２の
（ｅ），（ｅ−２）のパターンでサンプリングした映像
に加えて図２の（ｅ−３），（ｅ−４）のパターンでサ
ンプリングした映像を図７を用いて後述するようなパタ
ーンで表示する。

【００５３】前述の“参考文献１”，“参考文献２”，
“参考文献３”で述べられている映像表示手段ではそれ
ぞれその使用している方式により、表示する映像の情報
量が異なるので、本発明では、上記のように共通部分が
重複しないように画像情報を抽出して情報量を削減する
ことにより、記録媒体の容量を有効に活用するようにし
ている。

【００５４】図３及び図４は、図１に示す大画面形成手
段１１０における大きな画面の形成の例を示した図であ
る。ここでは画像入力手段として８台のカメラを使用す
る場合で、かつ映像表示装置が前述の“参考文献１”，
“参考文献２”，“参考文献３”で述べられている、カ
メラ８台で撮像した一視点あたりの解像度が第１の解像
度である“多視点立体映像用”、同じくカメラ２台で撮
像した第１の解像度より高い解像度である第２の解像度
の“少視点立体映像用”、第２の解像度より高い解像度
である第３の解像度の“非立体映像用”に対応する場合
の例を示している。

【００５５】図中、”画像情報ｎ”は第ｎ番のカメラ
（“カメラｎ”）で撮像されて得られた画像から、前述
の画像情報抽出手段１０９によりサンプリングされて得
られた画像情報を示している。

【００５６】なお、図３及び図４における“画像情報４
−２”（３０９，４０９），“画像情報５−２”（３１
０，４１０），“画像情報５−３”（３１１、４１
１），“画像情報５−４”（３１２、４１２）はカメラ
２台で撮像した“少視点立体映像表示用”及び“非立体
映像表示用”に、サンプリングパターンを変えてサンプ
リングした画像情報である。

【００５７】図３及び図４の例に示すように、非立体映
像／多視点・少視点立体映像の表示に必要な一連の画像
情報を、一つの大きな画面として形成していることによ
り、一連の画像情報をそれぞれ別々のストリームとして
複数の画像復号化手段で復号する場合に比較して装置の
構成が簡単で済み、また本発明における非立体映像／多
視点・少視点立体映像の表示に必要な一連の画像情報の
みならず、例えばＨＤＴＶ画面と復号化手段の共用を図
ることができる。

【００５８】また図３に例示する構成で復号の際には一
連の画像情報を、フレームメモリに記憶する必要がある
が、図４に例示する構成ではラインメモリで済むという
効果もある。

【００５９】図５及び図６は、図１に示す制御手段１１
１からの制御信号に基づき、大きな画面を構成する各画
像情報毎に選択的に復号することが可能となるように、
図１の画像符号化手段１１２において符号化の際に行わ
れる制御の例を示したものである。

【００６０】ここでは、図３に例示されるような形式
で、非立体映像／多視点・少視点立体映像の表示に必要
な一連の画像情報を一つの大きな画面として形成する場
合の例を示している。

【００６１】例えば、画像符号化手段１１２において、
ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒ
ｔｓ Ｇｒｏｕｐ）方式で符号化を行う場合、画面内部
分領域であるスライスは各画像情報内で完結するように
する。具体的に例示すると、図５において、大きな画面
（５１３）を形成している“画像情報１”（５０１）内
で“スライス１”（５１４）が完結し、他の画像情報の
領域には跨らないような制御を行う。同様に、“画像情
報７”（５０７）内で“スライス２”（５１５）及び
“スライス３”（５１６）は完結するような制御を行
う。

【００６２】図１の画像復号化手段１１４では、スライ
スヘッダ及びマクロブロックヘッダを参照して、各画像
情報を選択的に復号する。

【００６３】また、例えば画像符号化手段１１２におい
て、図６に例示するように動き検出の探索範囲を各画像
情報内に制限するような制御を行う。その際、各画像情
報の境界付近では、例えば“画像情報６”（６０６）内
の探索範囲（６１７）のように、“画像情報６”（６０
６）の境界をはみ出さないように探索範囲をシフトする
ような制御を行ってもよいし、また“画像情報８”（６
０８）内の探索範囲（６１９）のように、“画像情報
８”（６０８）の境界をはみ出た部分があっても、その
はみ出した部分は無視して探索を行わないようにすると
いった制御を行ってもよい。

【００６４】図７は、図１に示す画像表示手段１１６の
方式の違いに応じた表示画素の配列パターンの例を示す
ものである。ここでは画像入力手段として８台のカメラ
を使用する場合で、映像表示装置が前述の“参考文献
１”，“参考文献２”，“参考文献３”で述べられてい
る、カメラ８台で撮像した一視点あたりの解像度が第１
の解像度である多視点立体映像用、同じくカメラ２台で
撮像した第１の解像度より高い解像度である第２の解像
度の少視点立体映像用、第２の解像度より高い解像度で
ある第３の解像度の非立体映像用に対応する場合の例を
示している。

【００６５】図中、番号“ｎ”は第ｎ番のカメラで撮像
した後に前述の画像情報抽出手段１０９によりサンプリ
ングされた画像情報を示す。なお、“４−２”，“５−
２”，“５−３”，“５−４”はカメラ２台で撮像した
少視点立体映像表示用及び非立体映像表示用にサンプリ
ングパターンを変えてサンプリングした画像情報であ
る。

【００６６】図７（ａ）は、画像表示手段１１６が前述
の“参考文献１”，“参考文献２”，“参考文献３”で
述べられているカメラ８台で撮像した多視点立体映像を
表示する表示装置の場合の画素配列パターンの例を示し
ている。なお、この例の表示装置においては、奇数番号
のカメラの組と偶数番号のカメラの組との投写パターン
をずらしている。

【００６７】この場合は、画像復号化手段１１４で選択
的に復号された、８台のカメラで撮像した画像情報
“１”，“２”，“３”，“４”，“５”，“６”，
“７”，“８”をストライプ状に並び替えてこの図７
（ａ）のような画素配列パターンで投写した後、カマボ
コ形状のレンチキュラスクリーンの光学的作用により、
適宜選択された隣接する２台のカメラで撮像した映像の
みが立体映像として表示される。これにより、広い観察
領域で、大勢の観察者がそれぞれの観察位置において多
視点立体映像を見ることができるようになる。

【００６８】図７（ｂ）は、画像表示手段１１６が前述
の“参考文献１”，“参考文献２”，“参考文献３”で
述べられているカメラ２台で撮像した少視点立体映像を
表示する表示装置の場合の画素配列パターンの例を示し
ている。

【００６９】この場合は、画像復号化手段１１４で選択
的に復号された、２台のカメラで撮像した画像情報
“４”，“５”，“４−２”，“５−２”をストライプ
状に並び替えてこの図７（ｂ）のような画素配列パター
ンで投写した後、カマボコ形状のレンチキュラスクリー
ンの光学的作用により、立体映像として表示される。こ
の画素配列パターンでの表示によれば、観察者が前述の
８台のカメラで撮像した多視点立体映像に比較して高い
解像度の少視点立体映像を見ることができるようにな
る。

【００７０】また図７（ｃ）は、画像表示手段１１６が
非立体映像を表示する表示装置の場合の画素配列パター
ンの例を示している。この場合は、画像復号化手段１１
４で選択的に復号された、１台のカメラで撮像した画像
情報“５”，“５−２”，“５−３”，“５−４”をス
トライプ状に並びかえてこの図７（ｃ）のような画素配
列パターンで投写することにより、立体映像よりも解像
度が高い非立体映像を見ることができるようになる。

【００７１】以上、図を用いて本発明の様々な実施の形
態について説明したが、これらはあくまで一例を示した
ものであり、ここに示したもの以外にも本発明の主旨を
逸脱しない範囲で様々な形態を採り得ることはもちろん
である。

【００７２】例えば、上記の例では８台の画像入力手段
からの入力信号に基づいて８台のカメラによる“多視点
立体映像”、２台のカメラによる“少視点立体映像”、
１台のカメラによる“非立体映像”、の各表示に必要な
画像情報を抽出する例を示したが、これは例えば８台の
カメラによる“多視点立体映像”、４台のカメラによる
“少視点立体映像”、１台のカメラによる“非立体映
像”、の各表示に必要な画像情報を抽出するものであっ
てもよいし、また４台の画像入力手段からの入力信号に
基づいて４台のカメラによる“多視点立体映像”、２台
のカメラによる“少視点立体映像”、１台のカメラによ
る“非立体映像”、の各表示に必要な画像情報を抽出す
るようなものであってもよいことはいうまでもない。

【００７３】更には、解像度の低い立体映像と解像度の
高い非立体映像という組み合わせであっても良い。

【００７４】

【発明の効果】以上、本発明によれば、同一コンテンツ
の非立体映像／多視点・少視点立体映像を同一の符号化
画像情報で再現でき、この符号化画像情報を記録した共
通の記録媒体で様々な方式の画像表示装置で表示できる
ようなコンパチビリティを有する画像情報を比較的小さ
な構成の装置で生成・処理することができる。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、一例とし
ての本発明の実施の態様を示すブロック図。

【図２】本発明を説明するための図であって、図１の構
成要素である画像情報抽出手段１０９におけるサンプリ
ングパターンの一例を示す図。

【図３】本発明を説明するための図であって、図１の構
成要素である大画面形成手段１１０における大きい画面
の形成の一例を示す図。

【図４】本発明を説明するための図であって、図１の構
成要素である大画面形成手段１１０における大きい画面
の形成の一例を示す図。

【図５】本発明を説明するための図であって、図１の構
成要素である画像符号化手段１１２において符号化の際
に行われる制御の一例を示す図。

【図６】本発明を説明するための図であって、図１の構
成要素である画像符号化手段１１２において符号化の際
に行われる制御の一例を示す図。

【図７】本発明を説明するための図であって、図１の構
成要素である画像表示手段１１６の方式の違いに応じた
表示画素の配列パターンの一例を示す図。

【符号の説明】

１０９…画像情報抽出手段。 １１０…大画面形成手段。 １１１…制御手段。 １１２…画像符号化手段。 １１４…画像復号化手段。 １１５…選択手段。

Claims (4)

【特許請求の範囲】
1. 【請求項１】それぞれ視点の異なる位置で撮像した画像
   信号を入力する複数の画像入力手段からの入力画像信号
   を受け、これらの入力画像信号から、一視点あたりの解
   像度が第１の解像度である多視点立体映像表示に必要な
   画像情報及び一視点あたりの解像度が前記第１の解像度
   より高い解像度である第２の解像度を有した少視点立体
   映像表示に必要な画像情報及び一視点あたりの解像度が
   前記第２の解像度より高い解像度である第３の解像度を
   有した非立体映像表示に必要な画像情報のうち、少なく
   とも二種の画像情報を、共通部分が重複しないように検
   出する手段と、 これら抽出された一連の画像情報を一つの大きな画面の
   画像として形成する手段と、 該形成された大画面画像を符号化する符号化手段と、を
   有することを特徴とする立体映像符号化装置。
2. 【請求項２】それぞれ視点の異なる位置で撮像した画像
   信号を入力する複数の画像入力手段からの入力画像信号
   から、一視点あたりの解像度が第１の解像度である多視
   点立体映像表示に必要な画像情報及び一視点あたりの解
   像度が前記第１の解像度より高い解像度である第２の解
   像度を有した少視点立体映像表示に必要な画像情報及び
   一視点あたりの解像度が前記第２の解像度より高い解像
   度である第３の解像度を有した非立体映像表示に必要な
   画像情報のうち、少なくとも二種の画像情報を、共通部
   分が重複しないように抽出し、これら抽出された一連の
   画像情報を一つの大きな画面の画像として形成すると共
   に、これを符号化して得られたデータから、多視点立体
   映像もしくは少視点立体映像もしくは非立体映像の表示
   に必要な画像情報を選択的に復号する復号手段を備えた
   ことを特徴とする立体映像復号化装置。
3. 【請求項３】請求項１記載の立体映像符号化装置におい
   て、 前記符号化手段は、 立体映像復号化装置が多視点立体映像もしくは少視点立
   体映像もしくは非立体映像の表示に必要な画像情報を選
   択的に復号可能となるよう画面内部分領域を構成させる
   制御手段を備えることを特徴とする立体映像符号化装
   置。
4. 【請求項４】請求項１記載の立体映像符号化装置におい
   て、 前記符号化手段は、 多視点立体映像もしくは少視点立体映像もしくは非立体
   映像の表示に必要な画像情報を選択的に復号可能となる
   よう動き検出範囲に制御を加える手段を備えたことを特
   徴とする立体映像符号化装置。