JPH0715748A - 画像記録再生装置 - Google Patents
画像記録再生装置Info
- Publication number
- JPH0715748A JPH0715748A JP5153859A JP15385993A JPH0715748A JP H0715748 A JPH0715748 A JP H0715748A JP 5153859 A JP5153859 A JP 5153859A JP 15385993 A JP15385993 A JP 15385993A JP H0715748 A JPH0715748 A JP H0715748A
- Authority
- JP
- Japan
- Prior art keywords
- information
- parallax
- image
- recording
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【目的】 画像記録再生装置として、撮像時の２つのカ
メラ間の基線長、輻輳角と、再生時の観察者の肉眼の基
線長、輻輳角とが異なる場合でも、立体感ある正しい再
生画像を得ること。 【構成】 複数のカメラ１，１’による画像間の視差情
報抽出手段５と、前記抽出手段によって得られる各画像
中の重複領域、単眼領域の判別情報、各画素の強度情報
及び重複領域での視差情報を所定の形式で記録媒体８に
符号化して記録する手段６と、前記カメラの光学配置情
報を記憶する手段７と、前記記録情報、前記光学配置情
報及び再生時の光学的配置情報に基づいて画像を再生す
る画像再生手段９とから成る画像記録再生装置。
メラ間の基線長、輻輳角と、再生時の観察者の肉眼の基
線長、輻輳角とが異なる場合でも、立体感ある正しい再
生画像を得ること。 【構成】 複数のカメラ１，１’による画像間の視差情
報抽出手段５と、前記抽出手段によって得られる各画像
中の重複領域、単眼領域の判別情報、各画素の強度情報
及び重複領域での視差情報を所定の形式で記録媒体８に
符号化して記録する手段６と、前記カメラの光学配置情
報を記憶する手段７と、前記記録情報、前記光学配置情
報及び再生時の光学的配置情報に基づいて画像を再生す
る画像再生手段９とから成る画像記録再生装置。
Description
【０００１】
【産業上の利用分野】本発明は３次元（２次元を含む）
的画像の記録再生装置に関する。
的画像の記録再生装置に関する。
【０００２】
【従来の技術】従来、立体映像を複数のカメラを用いて
撮像して記録する方式としては、左眼画像と右眼画像と
を一定距離離した左眼用、右眼用カメラにより撮像し、
既に通常の符号化方式で表現した片側眼画像を利用し
て、他方側の画像をブロックごとに類似度評価を行なっ
て予測誤差を符号化する方式（シュップ，安田，１９８
８年度画像符号化シンポジウム，５−１）、またより単
純には、それぞれの画像を別々のテープなどに同期記録
または同一テープに交互記録する方式、左右画像間差分
をとることにより片側分の画像を圧縮記録する方式（岸
野，Advanced Imaging ’９２，ｐｐ．７７−８７）、
フレーム間差分と左右画像差分を併用する方式、即ち、
左右画像のそれぞれについてフレーム間差分をとり、一
方の画像については視差補償（左右画像間の相関を利用
して一方の画像から他方の画像を予測する手法）を行な
い、この差分信号に対して符号化する方式（泉岡，渡
辺，信学技報，ＩＥ８９−１，ｐｐ１−７，１９８９）
などがある。
撮像して記録する方式としては、左眼画像と右眼画像と
を一定距離離した左眼用、右眼用カメラにより撮像し、
既に通常の符号化方式で表現した片側眼画像を利用し
て、他方側の画像をブロックごとに類似度評価を行なっ
て予測誤差を符号化する方式（シュップ，安田，１９８
８年度画像符号化シンポジウム，５−１）、またより単
純には、それぞれの画像を別々のテープなどに同期記録
または同一テープに交互記録する方式、左右画像間差分
をとることにより片側分の画像を圧縮記録する方式（岸
野，Advanced Imaging ’９２，ｐｐ．７７−８７）、
フレーム間差分と左右画像差分を併用する方式、即ち、
左右画像のそれぞれについてフレーム間差分をとり、一
方の画像については視差補償（左右画像間の相関を利用
して一方の画像から他方の画像を予測する手法）を行な
い、この差分信号に対して符号化する方式（泉岡，渡
辺，信学技報，ＩＥ８９−１，ｐｐ１−７，１９８９）
などがある。
【０００３】
【発明が解決しようとする課題】しかしながら、前記従
来例では、左右２つの画像の撮像場所毎に視差を精度良
く保存しないので、撮像時のカメラの基線長または輻輳
角と再生時の観察者の肉眼の基線長または輻輳角が異な
る場合には、正しい立体感が得られないという問題点が
あった。
来例では、左右２つの画像の撮像場所毎に視差を精度良
く保存しないので、撮像時のカメラの基線長または輻輳
角と再生時の観察者の肉眼の基線長または輻輳角が異な
る場合には、正しい立体感が得られないという問題点が
あった。
【０００４】
【課題を解決するための手段】上記の問題点を解決する
ために、本発明では、複数のカメラによる複数画像間の
視差情報を抽出する手段、カメラの配置情報（基線長、
輻輳角など）を記憶する手段、視差情報抽出の結果得ら
れた各画像中の重複領域（例えば右眼画像と左眼画像の
重複領域）、単眼領域（例えば右眼だけ見えている領
域）の判別情報、各領域の画素強度情報、及び視差があ
る場合の視差情報（例えば左眼の画素の、右眼の対応す
る画素に対するシフトベクトル、或は横変位置）を所定
の記録媒体に記録する手段、記録情報に基いて画像を再
生する手段とを設け、該再生手段は撮像時と再生時とで
カメラの基線長と両眼の基線長とが異なる場合にも、立
体感が得られるように前述した記録情報、カメラの光学
配置情報、再生時の肉眼の光学配置情報とに基いて再生
時に適正な視差を与えて表示することができる。
ために、本発明では、複数のカメラによる複数画像間の
視差情報を抽出する手段、カメラの配置情報（基線長、
輻輳角など）を記憶する手段、視差情報抽出の結果得ら
れた各画像中の重複領域（例えば右眼画像と左眼画像の
重複領域）、単眼領域（例えば右眼だけ見えている領
域）の判別情報、各領域の画素強度情報、及び視差があ
る場合の視差情報（例えば左眼の画素の、右眼の対応す
る画素に対するシフトベクトル、或は横変位置）を所定
の記録媒体に記録する手段、記録情報に基いて画像を再
生する手段とを設け、該再生手段は撮像時と再生時とで
カメラの基線長と両眼の基線長とが異なる場合にも、立
体感が得られるように前述した記録情報、カメラの光学
配置情報、再生時の肉眼の光学配置情報とに基いて再生
時に適正な視差を与えて表示することができる。
【０００５】また本発明による記録形式によれば、重複
領域の一方の画像情報を基礎にして視差情報から他方の
画像情報を再生することができる。一般的に視差値は画
素の輝度値に比べてはるかに少ないビット数で表現する
ことができるから、立体画像情報を圧縮して記録、再生
することが可能である。
領域の一方の画像情報を基礎にして視差情報から他方の
画像情報を再生することができる。一般的に視差値は画
素の輝度値に比べてはるかに少ないビット数で表現する
ことができるから、立体画像情報を圧縮して記録、再生
することが可能である。
【０００６】
【作用】撮像時のカメラの基線長と再生時の肉眼の基線
長が異なるなど光学配置が撮像時と再生時とで異なる場
合の画像再生について説明する。
長が異なるなど光学配置が撮像時と再生時とで異なる場
合の画像再生について説明する。
【０００７】ここで問題となるのは基線長等が異なると
視差量も異なることである。本発明では撮像時のカメラ
光学配置と視差情報を保存しているので、これらを用い
て得られる距離情報から再生時に、たとえ基線長または
輻輳角が異なっても正しい視差に変換して表示すること
ができる。
視差量も異なることである。本発明では撮像時のカメラ
光学配置と視差情報を保存しているので、これらを用い
て得られる距離情報から再生時に、たとえ基線長または
輻輳角が異なっても正しい視差に変換して表示すること
ができる。
【０００８】図４は視差情報変換の原理を示す。
【０００９】ＳL ，ＳR は撮像時のカメラセンサ面、Ｓ
L'，ＳR'は再生時の肉眼の網膜またはディスプレー面、
Ｐは実空間のある物体上の点である。ＯL ，ＯR は撮像
時の左，右撮像系のレンズ中心、ＯL'，ＯR'は再生時の
再生光学系（肉眼）のレンズ中心を示す。Ｌ，Ｌ’は撮
像時と再生時の基線長を、ＰL ，ＰR は撮像時の左眼、
右眼カメラセンサ上の点Ｐの結像位置を、ＰL'，ＰR'は
再生時の点Ｐの結像位置をそれぞれ示す。以下簡単のた
めに点ＰはＯL ，ＯR から等距離で、ＯL ，Ｏ R はセン
サ面ＳL ，ＳR から等距離ｕにあると仮定する。
L'，ＳR'は再生時の肉眼の網膜またはディスプレー面、
Ｐは実空間のある物体上の点である。ＯL ，ＯR は撮像
時の左，右撮像系のレンズ中心、ＯL'，ＯR'は再生時の
再生光学系（肉眼）のレンズ中心を示す。Ｌ，Ｌ’は撮
像時と再生時の基線長を、ＰL ，ＰR は撮像時の左眼、
右眼カメラセンサ上の点Ｐの結像位置を、ＰL'，ＰR'は
再生時の点Ｐの結像位置をそれぞれ示す。以下簡単のた
めに点ＰはＯL ，ＯR から等距離で、ＯL ，Ｏ R はセン
サ面ＳL ，ＳR から等距離ｕにあると仮定する。
【００１０】いま、撮像時の輻輳角（センサＳL ，ＳR
の面法線のなす角）を２ψとすると、図４でＳL ，ＳR
からの面法線ｌL ，ｌR の交点Ｑから点Ｐまでの距離ｘ
は、三角形ＯL ＰＱにおいて、
の面法線のなす角）を２ψとすると、図４でＳL ，ＳR
からの面法線ｌL ，ｌR の交点Ｑから点Ｐまでの距離ｘ
は、三角形ＯL ＰＱにおいて、
【００１１】
【数１】 より
【００１２】
【数２】 ここに、
【００１３】
【数３】 一方点Ｑは基線ｂを含む面から
【００１４】
【数４】 の距離にある。
【００１５】同様に再生時の基線長がＬ’、輻輳角が２
ψ’のとき
ψ’のとき
【００１６】
【数５】 ここでＲ’は点Ｑ’の基線ｂを含む面からの距離。
【００１７】
【数６】Ｒ−ｘ＝Ｒ’−ｘ’ の関係を使ってＰL'について解くと
【００１８】
【数７】 ここに
【００１９】
【数８】 従って、距離ｕ、輻輳角ψが既知の基線長ＰL が測定可
能であれば基線長がＬからＬ’に、輻輳角が２ψから２
ψ’にそれぞれ変わったときのＰL'をＬ，Ｌ’，ψ，２
ψ’等の関数として算出することができる。
能であれば基線長がＬからＬ’に、輻輳角が２ψから２
ψ’にそれぞれ変わったときのＰL'をＬ，Ｌ’，ψ，２
ψ’等の関数として算出することができる。
【００２０】そこで再生時は、カメラ光学配置情報記憶
手段７からＬ，ψなどを読出し、同様に再生時の光学配
置情報Ｌ’，ψ’を検出して（１），（２）式に従って
ＰLをＰL'に変換して表示する。また、撮像時の視差は
ＰL −ＰR で一般的に与えられるから、基線長の変化に
伴なって再生時の視差もＰL'−ＰR'のように変化する。
図４のようにＰＱを含む面に関して光学系が対称となる
場合には、視差は２Ｐ L から２ＰL'のように変化する。
点Ｐがレンズの中心ＯL ，ＯR から等距離でない場合、
即ち｜ＰL ｜≠｜ＰR ｜の場合も（１），（２）式と同
様にＰR からＰ R'を算出することができる。
手段７からＬ，ψなどを読出し、同様に再生時の光学配
置情報Ｌ’，ψ’を検出して（１），（２）式に従って
ＰLをＰL'に変換して表示する。また、撮像時の視差は
ＰL −ＰR で一般的に与えられるから、基線長の変化に
伴なって再生時の視差もＰL'−ＰR'のように変化する。
図４のようにＰＱを含む面に関して光学系が対称となる
場合には、視差は２Ｐ L から２ＰL'のように変化する。
点Ｐがレンズの中心ＯL ，ＯR から等距離でない場合、
即ち｜ＰL ｜≠｜ＰR ｜の場合も（１），（２）式と同
様にＰR からＰ R'を算出することができる。
【００２１】
【実施例】図１は、本発明の第１実施例の基本構成図で
ある。
ある。
【００２２】同図において、１，１’はカメラ、２はカ
メラ１，１’のマウント、３はカメラ１，１’の光学配
置、撮影モード等の制御部、４，４’はそれぞれカメラ
１，１’からの画像を一時的に保持する画像メモリ、５
は２つの画像間の視差情報抽出手段、６は視差情報抽出
後得られるそれぞれの画像の各領域の重複、単眼判別情
報、強度情報、視差情報を所定の形式に基いて符号化
し、記録媒体８に記録する手段、７は撮像時のカメラ光
学配置情報を記録する手段、そして９は、再生時に、記
録媒体８の記録情報及びカメラ光学配置情報記録手段７
の記憶情報を読んで、右眼、左眼それぞれの単眼輝度、
重複領域においては再生時の肉眼の基線長などに基いて
適切な視差を求めて輝度表示する画像再生手段である。
メラ１，１’のマウント、３はカメラ１，１’の光学配
置、撮影モード等の制御部、４，４’はそれぞれカメラ
１，１’からの画像を一時的に保持する画像メモリ、５
は２つの画像間の視差情報抽出手段、６は視差情報抽出
後得られるそれぞれの画像の各領域の重複、単眼判別情
報、強度情報、視差情報を所定の形式に基いて符号化
し、記録媒体８に記録する手段、７は撮像時のカメラ光
学配置情報を記録する手段、そして９は、再生時に、記
録媒体８の記録情報及びカメラ光学配置情報記録手段７
の記憶情報を読んで、右眼、左眼それぞれの単眼輝度、
重複領域においては再生時の肉眼の基線長などに基いて
適切な視差を求めて輝度表示する画像再生手段である。
【００２３】次に第１実施例における動作について説明
する。
する。
【００２４】カメラ１，１’からの画像は、一時的に画
像メモリ４，４’に保持されてから、視差情報抽出手段
５に入力される。視差情報抽出手段５では、２台のカメ
ラで撮像して得られる２つの画像情報から、重複領域、
単眼領域を検出すると共にその判別情報、各画素の強度
情報及び重複領域での視差情報を抽出して求める。
像メモリ４，４’に保持されてから、視差情報抽出手段
５に入力される。視差情報抽出手段５では、２台のカメ
ラで撮像して得られる２つの画像情報から、重複領域、
単眼領域を検出すると共にその判別情報、各画素の強度
情報及び重複領域での視差情報を抽出して求める。
【００２５】視差情報抽出手段５による処理について説
明すると、一般的に２台のカメラで撮像して得られる２
つの画像の視差は、両画像中の対応点が在るか否かを抽
出することによって得られる。対応点抽出法としては、
相関演算、最小２乗法などによるブロックマッチングや
画像中のエッジなどの特徴を抽出して特徴同士のマッチ
ングを行ない、残りの領域は補間により対応点を決める
方法などがある。そして、対応点が存在する領域は本発
明での重複領域に相当し、対応点が存在しない領域は単
眼領域であることから、本発明では視差情報抽出法とし
て、対応点抽出に基づく方法以外に、別途３次元距離計
測（坂内，Advanced Imaging ’９２，ｐｐ．１−１０
参照）を行なって距離画像情報を得たのち、これを撮像
時のカメラ座標での視差情報に三角測量の原理に基づい
て変換してもよい（坂内，同参照）。この場合も視差の
有無を距離情報から判定して重複、単眼領域を決めるこ
とができる。
明すると、一般的に２台のカメラで撮像して得られる２
つの画像の視差は、両画像中の対応点が在るか否かを抽
出することによって得られる。対応点抽出法としては、
相関演算、最小２乗法などによるブロックマッチングや
画像中のエッジなどの特徴を抽出して特徴同士のマッチ
ングを行ない、残りの領域は補間により対応点を決める
方法などがある。そして、対応点が存在する領域は本発
明での重複領域に相当し、対応点が存在しない領域は単
眼領域であることから、本発明では視差情報抽出法とし
て、対応点抽出に基づく方法以外に、別途３次元距離計
測（坂内，Advanced Imaging ’９２，ｐｐ．１−１０
参照）を行なって距離画像情報を得たのち、これを撮像
時のカメラ座標での視差情報に三角測量の原理に基づい
て変換してもよい（坂内，同参照）。この場合も視差の
有無を距離情報から判定して重複、単眼領域を決めるこ
とができる。
【００２６】画像符号化記録手段６では、視差情報抽出
手段５から出力される重複、単眼の判別情報、画素強度
値および視差値を記録媒体８に符号化して記録する。
手段５から出力される重複、単眼の判別情報、画素強度
値および視差値を記録媒体８に符号化して記録する。
【００２７】一方、カメラ光学配置情報記録手段７に
は、撮像時の基線長、輻輳角が記憶されているので、再
生時には、画像再生手段９において、記録媒体から読出
される重複、単眼の判別情報、画素強度値および視差
値、また撮像時、再生時の基線長、輻輳角に基づいて、
前述の式により適切な視差を求めて、立体感ある輝度表
示をすることができる。尚、本実施例では画像再生手段
９は、再生時の肉眼またはディスプレイの基線長、輻輳
角を検出する機能を有している。
は、撮像時の基線長、輻輳角が記憶されているので、再
生時には、画像再生手段９において、記録媒体から読出
される重複、単眼の判別情報、画素強度値および視差
値、また撮像時、再生時の基線長、輻輳角に基づいて、
前述の式により適切な視差を求めて、立体感ある輝度表
示をすることができる。尚、本実施例では画像再生手段
９は、再生時の肉眼またはディスプレイの基線長、輻輳
角を検出する機能を有している。
【００２８】図２は第１実施例の画像符号化記録手段６
による各画素ごとの記録フォーマットの一例を示す説明
図である。図２では画素データは、重複、単眼の判別情
報をもつフラグ、所定ビット長の画素強度値および視差
値から構成される。フラグ値は例えば重複領域は０、右
眼のみ、左眼のみの領域はそれぞれ１，−１で与える。
このフォーマットではフラグ値が０の場合は視差値は常
に０である。重複領域の画素データは左右どちらか一方
の画素データで代表する。視差値はこの代表側に対する
他方のカメラ側画素の値となる。
による各画素ごとの記録フォーマットの一例を示す説明
図である。図２では画素データは、重複、単眼の判別情
報をもつフラグ、所定ビット長の画素強度値および視差
値から構成される。フラグ値は例えば重複領域は０、右
眼のみ、左眼のみの領域はそれぞれ１，−１で与える。
このフォーマットではフラグ値が０の場合は視差値は常
に０である。重複領域の画素データは左右どちらか一方
の画素データで代表する。視差値はこの代表側に対する
他方のカメラ側画素の値となる。
【００２９】このように本実施例では記録時に、右眼画
像、左眼画像をそれぞれメモリ媒体８中の異なる領域に
もとめて書き込むのではなく、判別フラグを介して一括
して１フレーム分の視差と両眼画像をデジタル記録す
る。
像、左眼画像をそれぞれメモリ媒体８中の異なる領域に
もとめて書き込むのではなく、判別フラグを介して一括
して１フレーム分の視差と両眼画像をデジタル記録す
る。
【００３０】再生時の画素データの１フレーム中の位置
は、フラグが読み出されるごとに、例えば図３に示すよ
うに画面の左上隅から右上隅へと（すなわち（１，
１），（１，２），・・・，（１，Ｍ））以下（２，
１），・・・，（２，Ｍ），（３，１），・・・，
（３，Ｍ）・・・のように）推移する。横方向のサイズ
Ｍはカメラの輻輳角などによって決まるが、視差情報抽
出時に得られる重複，単眼領域の幅から決めてもよい。
は、フラグが読み出されるごとに、例えば図３に示すよ
うに画面の左上隅から右上隅へと（すなわち（１，
１），（１，２），・・・，（１，Ｍ））以下（２，
１），・・・，（２，Ｍ），（３，１），・・・，
（３，Ｍ）・・・のように）推移する。横方向のサイズ
Ｍはカメラの輻輳角などによって決まるが、視差情報抽
出時に得られる重複，単眼領域の幅から決めてもよい。
【００３１】また、画像再生ディスプレーとしては、図
３ａのような一画面上に、左眼、右眼、重複領域を時分
割表示して偏光メガネや液晶シャッタなどを用いて立体
視してもよいし、頭部搭載型ディスプレーにより、視差
を与えた左眼用画像と右眼用画像（図３ｂ）をそれぞれ
２つの液晶パネルを使って表示してもよい。
３ａのような一画面上に、左眼、右眼、重複領域を時分
割表示して偏光メガネや液晶シャッタなどを用いて立体
視してもよいし、頭部搭載型ディスプレーにより、視差
を与えた左眼用画像と右眼用画像（図３ｂ）をそれぞれ
２つの液晶パネルを使って表示してもよい。
【００３２】図５は、本発明の第２の実施例の構成図で
第１の実施例に、さらに左右画像それぞれのフレーム間
差分抽出手段１０，１０’を加えることにより、動画立
体映像の記録再生に対応させたものである。
第１の実施例に、さらに左右画像それぞれのフレーム間
差分抽出手段１０，１０’を加えることにより、動画立
体映像の記録再生に対応させたものである。
【００３３】フレーム間差分抽出手段１０，１０’は画
像メモリ４，４’に記録された現フレーム画像と１フレ
ーム前の画像とから左右それぞれの差分画像を得る。一
方視差情報抽出手段５は第１実施例と同様、現フレーム
の左右２つの画像から単眼領域、重複領域を検出し、重
複領域では左右画像の各点での視差を抽出する。
像メモリ４，４’に記録された現フレーム画像と１フレ
ーム前の画像とから左右それぞれの差分画像を得る。一
方視差情報抽出手段５は第１実施例と同様、現フレーム
の左右２つの画像から単眼領域、重複領域を検出し、重
複領域では左右画像の各点での視差を抽出する。
【００３４】図６は第２実施例での画像のデジタル記録
形式を示す。第１実施例における図２と同様、重複、単
眼判別フラグと、視差を含むが画素値に対応しては前フ
レームとの差分を使う。また、それぞれの情報は固定化
ビット数で表現される。
形式を示す。第１実施例における図２と同様、重複、単
眼判別フラグと、視差を含むが画素値に対応しては前フ
レームとの差分を使う。また、それぞれの情報は固定化
ビット数で表現される。
【００３５】再生時はまず単眼領域については、現フレ
ームでの左右それぞれの画素値を差分値から復号し、重
複領域では左右一方の画像の画素値を同様に差分値から
復号した後、他方の画像は第１実施例と同様に視差に基
いて対応画素とその輝度値を設定する。
ームでの左右それぞれの画素値を差分値から復号し、重
複領域では左右一方の画像の画素値を同様に差分値から
復号した後、他方の画像は第１実施例と同様に視差に基
いて対応画素とその輝度値を設定する。
【００３６】撮像時と再生時の光学配置情報（例えば基
線長、輻輳角）の異なる場合の再生方法は第１実施例と
同じである。
線長、輻輳角）の異なる場合の再生方法は第１実施例と
同じである。
【００３７】図７（ａ），（ｂ）は別の立体画像記録形
式を示す。ここでは各フレームごとに、まず視差情報抽
出手段で得られる画素（ｉ，ｊ）ごとの単眼、重複判別
フラグｆ（ｉ，ｊ）（図２参照）及び視差ｄ（ｉ，ｊ）
を固定ビット長で図７（ｂ）のように表わし、次に図３
（ａ）に示す１フレーム分の輝度データＩ（ｉ，ｊ）は
一般的な画像符号化手法（例えばＤＣＴ符号化，ＪＰＥ
Ｇ，ＭＰＥＧ，ウェーブレッド変換など）により符号化
してその後に記録する。このように判別フラグ、視差及
び符号化画像データを順次各フレームごとに図７（ａ）
のように記録していく。再生時は符号化画像データを復
号するとともに判別フラグ、視差データに基いて第１実
施例と同様に表示する。
式を示す。ここでは各フレームごとに、まず視差情報抽
出手段で得られる画素（ｉ，ｊ）ごとの単眼、重複判別
フラグｆ（ｉ，ｊ）（図２参照）及び視差ｄ（ｉ，ｊ）
を固定ビット長で図７（ｂ）のように表わし、次に図３
（ａ）に示す１フレーム分の輝度データＩ（ｉ，ｊ）は
一般的な画像符号化手法（例えばＤＣＴ符号化，ＪＰＥ
Ｇ，ＭＰＥＧ，ウェーブレッド変換など）により符号化
してその後に記録する。このように判別フラグ、視差及
び符号化画像データを順次各フレームごとに図７（ａ）
のように記録していく。再生時は符号化画像データを復
号するとともに判別フラグ、視差データに基いて第１実
施例と同様に表示する。
【００３８】図８はさらに別の立体画像記録形式を示
す。図３（ａ）に示すような１フレーム分の立体画像を
判別フラグ、符号化視差、符号化画像データの３つに分
けて順次記録する（但し順序は予め決めておけばこの限
りでない）。
す。図３（ａ）に示すような１フレーム分の立体画像を
判別フラグ、符号化視差、符号化画像データの３つに分
けて順次記録する（但し順序は予め決めておけばこの限
りでない）。
【００３９】ここで符号化視差とは、単眼領域の視差を
例えば０とし（画素ごとの判別フラグが記録され、再生
時に反映されるから問題ない）、視差分布を一種の画像
データ（距離画像）として扱い、これを図７（ａ），
（ｂ）と例と同様に、一般的な画像符号化手法により符
号化したものである。
例えば０とし（画素ごとの判別フラグが記録され、再生
時に反映されるから問題ない）、視差分布を一種の画像
データ（距離画像）として扱い、これを図７（ａ），
（ｂ）と例と同様に、一般的な画像符号化手法により符
号化したものである。
【００４０】尚、視差、画像データを固定長ビット数で
符号化する場合には、図２に示すような形式で符号化デ
ータを記録してもよい。
符号化する場合には、図２に示すような形式で符号化デ
ータを記録してもよい。
【００４１】尚、本発明においては撮像時のカメラ光学
配置情報を記録媒体のヘッダ部などに予め書き込んでお
いてもよい。また、単眼、複眼領域の判別情報、復号可
能な画像輝度情報、視差情報が記録されるならばその記
録形式は特に限定されるものではない。
配置情報を記録媒体のヘッダ部などに予め書き込んでお
いてもよい。また、単眼、複眼領域の判別情報、復号可
能な画像輝度情報、視差情報が記録されるならばその記
録形式は特に限定されるものではない。
【００４２】
【発明の効果】立体画像の記録、再生において複数カメ
ラからの画像の単眼領域、重複領域を視差情報抽出手段
により判別し、画像の記録時にそれらの判別フラグ、輝
度情報、視差情報を画素ごと、または所定の寸法で分割
した領域ごとに一括記録（図２，６，７，８など）した
こと、及び撮像時のカメラ光学配置情報を保存（即ち、
別途記憶手段に記録または画像データ記録媒体に記録）
することにより、再生時と撮像時の光学配置の違い（例
えば基線長、輻輳角など）による視差の変化を正しく反
映させて立体感を損なわずに画像を再生させることがで
きる。
ラからの画像の単眼領域、重複領域を視差情報抽出手段
により判別し、画像の記録時にそれらの判別フラグ、輝
度情報、視差情報を画素ごと、または所定の寸法で分割
した領域ごとに一括記録（図２，６，７，８など）した
こと、及び撮像時のカメラ光学配置情報を保存（即ち、
別途記憶手段に記録または画像データ記録媒体に記録）
することにより、再生時と撮像時の光学配置の違い（例
えば基線長、輻輳角など）による視差の変化を正しく反
映させて立体感を損なわずに画像を再生させることがで
きる。
【００４３】また本発明による画像記録方法では、重複
領域での左右のうちの一方のカメラ画像の再生を輝度値
より少ないビット数で済む視差値に基いて行なうことが
できるから、画像データの圧縮が可能である。左右の画
像の圧縮を、このように左右の差分としてではなく視差
に基いて行なうことにより、撮像時と再生時の光学配置
が異なっても立体感を損なわない画像再生を行なうこと
ができる。
領域での左右のうちの一方のカメラ画像の再生を輝度値
より少ないビット数で済む視差値に基いて行なうことが
できるから、画像データの圧縮が可能である。左右の画
像の圧縮を、このように左右の差分としてではなく視差
に基いて行なうことにより、撮像時と再生時の光学配置
が異なっても立体感を損なわない画像再生を行なうこと
ができる。
【００４４】本発明では、更に再生時に視差をつけずに
表示することもでき、この場合には２次元パノラマ画像
が得られる。
表示することもでき、この場合には２次元パノラマ画像
が得られる。
【図１】第１実施例のシステム構成図。
【図２】第１実施例の画素値のデジタル記録形式の説明
図。
図。
【図３】単眼、重複領域及び画素位置の説明図。
【図４】視差変換原理の説明図。
【図５】第２実施例のシステム構成図。
【図６】第２実施例の記録形式の説明図。
【図７】別の記録形式の説明図。
【図８】別の記録形式の説明図。
１，１’ カメラ ２ マウント ３ カメラ制御部 ４，４’ 画像メモリ ５ 視差抽出手段 ６ 画像符号化記録手段 ７ カメラ光学配置情報記憶手段 ８ 記録媒体 ９ 画像再生手段 １０，１０’ フレーム間差分画像抽出手段
Claims (2)
- 【請求項１】 複数のカメラを用いて複数の画像を撮像
後、記録，再生する画像記録再生装置において、 前記複数の画像間の各フレーム中の重複領域と単眼領域
の検出とその判別情報、各画素の強度および重複領域で
の視差情報を抽出する視差情報抽出手段と、 前記視差情報抽出手段からの情報を所定の形式で記録媒
体に記録する記録手段と、 前記複数のカメラの光学配置情報を記憶する記憶手段
と、 前記記録手段からの記録情報および前記記憶手段からの
光学配置情報に基づいて再生時の適正な視差を算出して
再生する画像再生手段と、 からなる画像記録再生装置。 - 【請求項２】 前記記録手段は、重複領域の画像データ
について、左右どちらか一方の画像データを記録し視差
値を他方の画像データとして記録することを特徴とする
請求項１記載の画像記録再生装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5153859A JPH0715748A (ja) | 1993-06-24 | 1993-06-24 | 画像記録再生装置 |
| US08/575,332 US5625408A (en) | 1993-06-24 | 1995-12-20 | Three-dimensional image recording/reconstructing method and apparatus therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5153859A JPH0715748A (ja) | 1993-06-24 | 1993-06-24 | 画像記録再生装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0715748A true JPH0715748A (ja) | 1995-01-17 |
Family
ID=15571669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5153859A Pending JPH0715748A (ja) | 1993-06-24 | 1993-06-24 | 画像記録再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0715748A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004030377A1 (ja) * | 2002-09-27 | 2004-04-08 | Sharp Kabushiki Kaisha | 立体画像表示装置、記録方法、及び伝送方法 |
| JP2004227231A (ja) * | 2003-01-22 | 2004-08-12 | Nippon Telegr & Teleph Corp <Ntt> | 画像データへの立体情報埋め込み方法、装置、プログラム、および記録媒体 |
| JP2008211502A (ja) * | 2007-02-26 | 2008-09-11 | Fujifilm Corp | 画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、撮像装置、撮像装置の制御方法及びプログラム |
| JP2009531927A (ja) * | 2006-03-31 | 2009-09-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 複数の視野の効率的な符号化 |
| US8106939B2 (en) | 2005-11-02 | 2012-01-31 | Sony Corporation | Image processing method, image processing device and image display apparatus employing the image processing device |
| JP2012529787A (ja) * | 2009-06-05 | 2012-11-22 | クゥアルコム・インコーポレイテッド | ２次元ビデオシーケンスとともに行われる３次元変換情報の符号化（ｅｎｃｏｄｉｎｇｏｆｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌｃｏｎｖｅｒｓｉｏｎｉｎｆｏｒｍａｔｉｏｎｗｉｔｈｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌｖｉｄｅｏｓｅｑｕｅｎｃｅ） |
| WO2013038781A1 (ja) * | 2011-09-13 | 2013-03-21 | シャープ株式会社 | 画像処理装置、画像撮像装置および画像表示装置 |
| WO2013121823A1 (ja) * | 2012-02-16 | 2013-08-22 | ソニー株式会社 | 送信装置、送信方法および受信装置 |
-
1993
- 1993-06-24 JP JP5153859A patent/JPH0715748A/ja active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004030377A1 (ja) * | 2002-09-27 | 2004-04-08 | Sharp Kabushiki Kaisha | 立体画像表示装置、記録方法、及び伝送方法 |
| JP2004227231A (ja) * | 2003-01-22 | 2004-08-12 | Nippon Telegr & Teleph Corp <Ntt> | 画像データへの立体情報埋め込み方法、装置、プログラム、および記録媒体 |
| US8106939B2 (en) | 2005-11-02 | 2012-01-31 | Sony Corporation | Image processing method, image processing device and image display apparatus employing the image processing device |
| JP2009531927A (ja) * | 2006-03-31 | 2009-09-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 複数の視野の効率的な符号化 |
| US9986258B2 (en) | 2006-03-31 | 2018-05-29 | Koninklijke Philips N.V. | Efficient encoding of multiple views |
| JP2008211502A (ja) * | 2007-02-26 | 2008-09-11 | Fujifilm Corp | 画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、撮像装置、撮像装置の制御方法及びプログラム |
| US9124874B2 (en) | 2009-06-05 | 2015-09-01 | Qualcomm Incorporated | Encoding of three-dimensional conversion information with two-dimensional video sequence |
| JP2012529787A (ja) * | 2009-06-05 | 2012-11-22 | クゥアルコム・インコーポレイテッド | ２次元ビデオシーケンスとともに行われる３次元変換情報の符号化（ｅｎｃｏｄｉｎｇｏｆｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌｃｏｎｖｅｒｓｉｏｎｉｎｆｏｒｍａｔｉｏｎｗｉｔｈｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌｖｉｄｅｏｓｅｑｕｅｎｃｅ） |
| JP2015046899A (ja) * | 2009-06-05 | 2015-03-12 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | ２次元ビデオシーケンスとともに行われる３次元変換情報の符号化（ｅｎｃｏｄｉｎｇｏｆｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌｃｏｎｖｅｒｓｉｏｎｉｎｆｏｒｍａｔｉｏｎｗｉｔｈｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌｖｉｄｅｏｓｅｑｕｅｎｃｅ） |
| WO2013038781A1 (ja) * | 2011-09-13 | 2013-03-21 | シャープ株式会社 | 画像処理装置、画像撮像装置および画像表示装置 |
| JPWO2013121823A1 (ja) * | 2012-02-16 | 2015-05-11 | ソニー株式会社 | 送信装置、送信方法および受信装置 |
| US9596449B2 (en) | 2012-02-16 | 2017-03-14 | Sony Corporation | Transmitting apparatus, transmitting method, and receiving apparatus |
| US9860511B2 (en) | 2012-02-16 | 2018-01-02 | Sony Corporation | Transmitting apparatus, transmitting method, and receiving apparatus |
| WO2013121823A1 (ja) * | 2012-02-16 | 2013-08-22 | ソニー株式会社 | 送信装置、送信方法および受信装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8218855B2 (en) | Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image | |
| US8456518B2 (en) | Stereoscopic camera with automatic obstruction removal | |
| CN102428707B (zh) | 立体视用图像对位装置和立体视用图像对位方法 | |
| KR101340102B1 (ko) | 영상 부호화 장치, 영상 부호화 방법, 영상 재생 장치 및 영상 재생 방법 | |
| JP5317955B2 (ja) | 複数の視野の効率的な符号化 | |
| US7616885B2 (en) | Single lens auto focus system for stereo image generation and method thereof | |
| KR101490689B1 (ko) | 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치 | |
| US20090284584A1 (en) | Image processing device | |
| JPH0927969A (ja) | 複数画像の中間像生成方法及び視差推定方法および装置 | |
| EP2451164A1 (en) | Improved view synthesis | |
| US5764236A (en) | Image data processing apparatus and image reproduction apparatus | |
| US9681119B2 (en) | Image encoding method and image encoding apparatus | |
| JP3112485B2 (ja) | 立体電子スチルカメラ | |
| JP5614268B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| CN102959974A (zh) | 立体图像再现装置、其视差调整方法、视差调整程序、及摄影装置 | |
| US20130027520A1 (en) | 3d image recording device and 3d image signal processing device | |
| JP2003304562A (ja) | オブジェクト符号化方法、オブジェクト符号化装置、及びオブジェクト符号化用プログラム | |
| JPH0715748A (ja) | 画像記録再生装置 | |
| KR20030049642A (ko) | 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상합성을 위한 카메라 정보 부호화/복호화 방법 | |
| US20110193937A1 (en) | Image processing apparatus and method, and image producing apparatus, method and program | |
| JP4619412B2 (ja) | 立体画像記録再生システム | |
| JP2004274253A (ja) | 映像記録装置および映像送信装置 | |
| KR102112491B1 (ko) | 물체 공간의 물점의 기술을 위한 방법 및 이의 실행을 위한 연결 | |
| US8600151B2 (en) | Producing stereoscopic image | |
| US6697573B1 (en) | Hybrid stereoscopic motion picture camera with film and digital sensor |