JPH07296165A

JPH07296165A - ３次元画像撮影用カメラ

Info

Publication number: JPH07296165A
Application number: JP6092193A
Authority: JP
Inventors: Keisuke Araki; 敬介荒木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-04-28
Filing date: 1994-04-28
Publication date: 1995-11-10

Abstract

(57)【要約】【目的】３次元画像撮影用カメラをコンパクトに構成
することができるようにすることを目的とする。【構成】１つの視点から投影され、位置情報としては
２次元である光学画像を１組のレンズ３を通してイメー
ジセンサ４上に結像させるとともに、上記イメージセン
サ４から出力される信号を画像信号５として出力する撮
像部と、上記撮像部から出力される画像信号５を取
り込んで保持する入力画像保持手段、上記画素の画素値
および上記画素の周囲の画素の画素値に基づいて上記入
力画像の各画素について３次元での位置情報を復元する
画像処理手段および上記画像処理手段で復元された３次
元での位置情報に基づいて上記１つの視点とは異なる視
点に対応させ、かつ位置情報としては２次元の画像を生
成する２次元位置画像生成手段からなる画像処理装置６
とを設け、撮影された１枚の２次元画像のみを用いて立
体視表示を行ことができるようにする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は３次元画像撮影用カメラ
に係わり、特に、位置に関する２次元情報を３次元情報
に変換する画像処理装置を備えたものに用いて好適なも
のである。

【０００２】

【従来の技術】従来、画像撮影用カメラで撮影された画
像情報の大部分は、３次元空間内の物体を２次元の面に
投影したものとして表されている。すなわち、２次元画
像として記録されている。

【０００３】ところで、３次元空間内の物体上の各点
は、その位置が３次元の座標値で表されるとともに、色
空間における３次元の情報を持っている。上記色空間に
おける３次元の情報とは、例えば、色相、明度、彩度で
あり、加色法による場合は、アドレスカウンタ（Ｒ）、
緑（Ｇ）、青（Ｂ）の各色成分の強度であってもよい。

【０００４】このように、物体上の各点が表されている
ことに対応し、２次元面に投影された画像の各画素は、
２次元の座標値のほかに、色空間における少なくとも１
次元の情報を保持している。例えば、白黒画像であれ
ば、色空間における情報は１次元（明度情報のみ）であ
り、カラー画像であれば、色空間における情報は３次元
である。

【０００５】また、複数の画像（フレーム）が時系列に
連続している場合は、動画であり、時間軸方向について
も１次元分の情報を保持している。つまり、３次元空間
での物体に対応する位置３次元、時間１次元、色空間３
次元の合計７次元の情報のうち、投影によって位置２次
元の情報としたものが一般的な画像情報（２次元画像）
であり、この画像情報は、時間色空間情報については、
少なくとも色空間情報１次元分を保持している。

【０００６】一方、わずかではあるが、マルチプレック
スホログラムやＣＴ（コンピュータ断層）画像のよう
に、位置情報を２次元に投影することなく３次元のまま
で記録する画像技術も知られている。これらの３次元画
像技術では、実質的に全ての点の３次元座標値を保持し
ており、任意の方向への投影に対応でき、任意の２次元
断面での投影像を得ることが可能である。

【０００７】また、視点の異なる２つの２次元画像を用
いることにより、物体の立体視が可能となる。このこと
を利用し、立体視に必要な２つの異なった投影像だけで
不完全ながらも位置情報を３次元的に管理する方法もあ
る。上記の不完全とは、こうした２つの視点の異なる投
影像だけからは、物体の影になって見えない部分につい
ての情報がないため、任意の方向からの投影像を得るこ
とができないからである。つまり、物体の表側からみた
場合の立体視用の２画像を用いた場合には、影となって
いる物体の裏側についての３次元情報を得ることはでき
ないということである。

【０００８】ここでは、マルチプレックスホログラムや
ＣＴ画像で得られるような、物体上の各点の位置につい
ての完全な３次元情報を「完全位置３次元情報」と呼ぶ
ことにする。また、立体視用の２枚の投影像から得られ
るような位置情報を「立体視用位置３次元情報」と呼ぶ
ことにする。

【０００９】ところで、特開平５−１２６５４６号、５
−１２６５４７号、５−１８１９７９号の各公報には、
２次元陰影画像情報から３次元形状データを得る技術が
開示されている。

【００１０】上記技術は、３次元形状を微分するとその
表面が計算でき、その表面から反射地図を用いて変換す
ると陰影情報が得られることを利用し、この変換を逆に
行い、陰影情報から対象物体の表面の方向を求め、得ら
れた表面を積分することによって３次元形状を復元しよ
うとするものである。

【００１１】また、画像記録法としては結像光学系を用
い、銀塩感光体、最近は撮像素子としてＣＣＤなどのイ
メージセンサ上に像を結ばせる画像撮影用カメラがよく
知られている。そして、こうした画像撮影用カメラで３
次元画像を記録するためには、カメラを移動するとか、
複数台のカメラを用いて「完全位置３次元情報」、「立
体視用位置３次元情報」を作成する方法が従来は用いら
れていた。

【００１２】

【発明が解決しようとする課題】ところで、写真、絵
画、映画などといった映像情報ソフトのうち既存のもの
の大部分は、位置情報として２次元の情報しか保持して
いない。近年、ヘッドマウンテッドディスプレイ（ＨＭ
Ｄ）や、レンチキュラディスプレイなど、立体視による
３次元ディスプレイが発達を遂げている。

【００１３】また、３次元画像への期待も高まっている
が、既存の位置情報２次元の映像ソフトのままでは立体
視を行うことができなかった。このため、既存の位置情
報２次元の映像ソフトを立体視用位置３次元情報に変換
することも考えられるが、次元数が足りないこともあ
り、このような試みは行われていない。

【００１４】一方、上述の特開平５−１２６５４６号、
５−１２６５４７号、５−１８１９７９号の各公報に記
載されている技術の場合は、所定方向からの照明光の存
在下での２次元陰影画像データを対象するとものであっ
た。したがって、これらの技術は光源が複数個あった
り、光源位置が未知であるような一般的な場合には適用
することができなかった。

【００１５】また、複雑な形状の物体を対象とする場合
には計算量が膨大になってしまう問題があるとともに、
１枚の画像の中に遠景や近景が混在するような場合には
全く歯が立たないという問題点があった。

【００１６】位置３次元情報を映像情報として記録する
場合、「完全位置３次元情報」については撮影系、処理
系、表示系の装置が大掛かりになってしまうため、ポー
タブルな撮影系を構成することが困難であった。

【００１７】一方、「立体視用位置３次元情報」の場合
も、撮影は２組のレンズ（複眼）を通して視差のある２
枚の画像を撮影するので、この場合もレンズの装置に占
める割合が倍になってしまう問題があった。このよう
に、撮像系が大掛かりになるという問題は、位置３次元
画像撮影カメラや位置３次元情報に基づく映像ソフトの
普及の障害となっていた。

【００１８】本発明は上述の問題点にかんがみ、３次元
画像撮影用カメラをコンパクトに構成できるようにする
ことを目的とする。

【００１９】

【課題を解決するための手段】本発明の３次元画像撮影
用カメラは、１つの視点から投影され、位置情報として
は２次元である光学画像を１組のレンズを通してイメー
ジセンサ上に結像させるとともに、上記イメージセンサ
から出力される信号を画像信号として出力する撮像部
と、上記撮像部から出力される画像信号を取り込んで保
持する入力画像保持手段と、上記画素の画素値および上
記画素の周囲の画素の画素値に基づいて、上記入力画像
の各画素について３次元での位置情報を復元する画像処
理手段と、上記画像処理手段で復元された３次元での位
置情報に基づいて、上記１つの視点とは異なる視点に対
応させ、かつ位置情報としては２次元の画像を生成する
２次元位置画像生成手段とを具備している。

【００２０】また、本発明の他の特徴とするところは、
１つの視点から投影され、位置情報としては２次元であ
る光学画像を１組のレンズを通してイメージセンサ上に
結像させるとともに、上記イメージセンサから出力され
る信号を画像信号として出力する撮像部と、上記撮像部
から出力される画像信号を取り込んで保持する入力画像
保持手段と、上記入力画像の各画素について、上記画素
の画素値および上記画素の周囲の画素の画素値に基づ
き、上記画素に対応する３次元空間内の点を上記１つの
視点とは異なる視点から２次元の面に投影した場合にお
ける上記２次元の面上での上記視点に対応する画素位置
を知識ベースを用いた推論によって算出する画像処理手
段と、上記画像処理手段で算出された画素位置に基づ
き、上記異なる視点から投影されかつ位置情報としては
２次元である画像を生成する２次元位置画像生成手段と
を具備している。

【００２１】

【作用】本発明は上記技術手段を有するので、以下の作
用が得られる。すなわち、ヘッドマウンテッドディスプ
レイやレンチキュラディスプレイなどの３次元ディスプ
レイを用い立体視を行う場合、立体視に使用される２枚
の２次元画像は、視点は異なるものの、相互間で大きな
違いがあるわけではない。

【００２２】したがって、２次元画像がいくら複雑なも
のであっても、その２次元画像の各領域に対して局所的
な変形を行うことにより、その２次元画像と対になって
立体視に使用される２次元画像を生成することが可能と
なる。問題は、どのようにこの局所的な変形を行うかで
ある。

【００２３】カメラ内の１組のレンズを通してイメージ
センサ上に結像され、イメージセンサからの出力信号が
画像信号として入力される２次元画像に注目すると、こ
の２次元画像自体に位置３次元情報への手掛かりが含ま
れている。それゆえ、この手掛かりを利用することによ
って、入力画像の各画素について、その画素の画素値お
よび周囲の画素の画素値から、その画素に対する３次元
での位置情報を復元することが可能となる。

【００２４】各画素に対応する３次元での位置情報を復
元できれば、その復元された位置情報を元に入力画像と
は異なる視点からの画像（変換画像）を生成することに
より、１対の立体視用の画像が得られることになる。

【００２５】ところで、人間は、絵画や写真などの１枚
の２次元画像から、無意識のうちに画像に現れた３次元
構造を把握している。ここでは、２次元画像が透視図投
影によるもの、すなわち、遠近法で表現されているもの
とする。人間がどのように３次元構造を把握しているか
は、次第に明らかになりつつある（「ビジョン−視覚の
計算理論と脳内表現−」、デビッド・マー著、乾敏郎、
安藤広志訳、産業図書、１９８７年など）。たとえば、
小さく現れているものほど遠くにあると判断したり、画
像に現れている物体が何であるか（人であるか家である
かなど）を認識したりして、その物体の典型的大きさに
関する知識をもとにその物体までの距離を推定したりし
ている。

【００２６】したがって、人間が無意識に判断している
基準を客観的に表現した推論規則を集積して知識ベース
とし、この知識ベースを用いて推論を行うことにより、
入力画像の各画素について、その画素に対応する３次元
空間内の点の位置を推定することができる。「立体視用
位置３次元情報」の観点からすれば、入力画像の視点と
は異なる視点からの投影像における対応する画素位置が
分かればよいから、知識ベースを用いた推論は容易に行
える。この画素位置が分かれば、入力画像とは異なる視
点位置からの２次元画像が生成でき、「立体視用位置３
次元情報」が得られることになる。

【００２７】すなわち、本発明では、位置情報としては
２次元である単眼カメラからの映像情報（動画を含む）
に対して、投影によって失われた位置情報１次元分の情
報を、位置情報３次元の情報として部分的に復元し、そ
の３次元位置情報に基いて別の視点方向からの投影２次
元位置画像を少なくとも１つは作り出し、元の投影２次
元位置画像と作り出された投影２次元位置画像情報の中
から２視点方向分の２次元位置画像情報を出力すること
によって、「立体視用位置３次元情報」を提供できる形
のカメラにしたものである。

【００２８】具体的には、入力画像に対して立体視を行
うのであれば、視点が異なる２次元画像が１つ得られれ
ばよいから、入力画像が利き目画像であるとすれば、反
利き目画像が生成されるようにすればよい。

【００２９】また、入力画像の視点に対して対称な２視
点を選択し、これら２視点のそれぞれから投影した合計
２枚の画像を生成するようにしてもよい。この場合は、
入力画像が中心画像であって、生成される画像が右目画
像、左目画像ということになる。本発明においては、必
要に応じ、１枚の入力画像から複数枚の画像を生成する
ことができる。さらには、生成した画像を新たに入力画
像とし、この新たな入力画像を元にして次の画像を生成
することも可能である。すなわち、１枚の入力画像か
ら、子の画像、孫の画像と言うように、累代の画像を生
成することが可能である。

【００３０】このように複数の画像を生成した場合、複
数の画像における視点がそれぞれ異なるから、入力画像
の画素と生成される画像（変換画像）の画素とは１対１
で対応するとは限らない。入力画像側の複数の画素が生
成される変換画像の１画素に対応する場合には、推論に
よって最も近いと判断された（入力画像側の）画素を選
択すればよい。一方、生成される変換画像の画素であっ
て入力画像に対応する画素が存在しないものに関して
は、内挿あるいは外挿によって画素値を定めることが可
能である。

【００３１】本発明の３次元画像撮影用カメラでは、モ
ニター用等に、ヘッドマウンテッドディスプレイやレン
チキュラディスプレイ等の３次元表示手段（３次元ディ
スプレイ装置）をさらに設けることが可能である。撮影
画像である１枚の入力画像に基いて、２次元位置画像生
成手段が１枚の画像を生成する場合には、この生成した
画像と入力画像とによって３次元表示手段が立体視画像
を表示するようにすればよい。

【００３２】また、２次元位置画像生成手段が複数枚の
画像を生成する場合には、これら生成された画像および
入力画像のうちの視点の異なる２画像によって、３次元
表示手段が立体視画像を表示するようにすればよい。

【００３３】

【実施例】以下、本発明の３次元画像撮影用カメラの一
実施例を添付図面を参照して説明する。図１は、本発明
の第１の実施例を示す画像撮影用カメラの概略構成を示
す機能ブロック図である。

【００３４】この画像撮影用カメラ２は、被写体１を１
組の撮像レンズ３を通してイメージセンサ４の上に結像
させ、センサからの出力信号を画像信号５としている。
ここまでは、従来の２次元画像撮影用のカメラと同じ
であるが、本実施例ではこの像信号５をさらに画像処理
装置６へ入力して、２つの視点の異なる右目画像７Ｒと
左目画像７Ｌとを出力している。出力方法としては、２
つの画像信号７Ｒ、７Ｌとして直接出力する方法や、一
度テープ、ディスク等の記録媒体８に落として出力する
方法がある。

【００３５】上記画像処理装置６について、図２に詳し
く説明する。この画像処理装置６は、一般的には、位置
情報としては２次元であるオリジナルの画像情報（撮影
画像）を入力画像１０とし、この入力画像１０から視点
の異なる画像（変換画像）を生成する。そして、入力画
像と生成した変換画像とを立体視画像として出力するよ
うにしている。

【００３６】入力画像１０は、具体的には図１における
画像信号５として与えられる。これらの画像情報は、静
止画像として位置情報２次元、色空間情報としては白黒
画像なら明度の１次元、カラー画像なら彩度・色相をさ
らに加えた３次元の情報を持っている。

【００３７】ここでは、入力画像１０として、図示され
るような「利き目画像５１」が入力されるとする。利き
目画像とは、利き目の位置および方向からの画像のこと
である。

【００３８】画像処理装置６には、一般的には、入力画
像１０を読み取るスキャナなどの画像入力部１１が設け
られている。本実施例では、イメージセンサ４からの出
力を信号処理して画像信号５となるようにしている信号
処理部（図示せず）がこの役目をしている。

【００３９】読み取られた画像情報５１は、各画素ごと
の画素値（情報）として入力画像用のフレームメモリ１
２に保存され、フレームメモリ１２から画像処理部１４
に供給されるようになっている。出力は、必要に応じて
３次元ディスプレイ１６に供給される。なお、入力画像
１０がデジタル情報として与えられる場合などには、入
力画像１０をフレームメモリ１２に直接入力するように
してもよい。

【００４０】画像処理部１４は、入力画像１０の各画素
について、投影によって失われた位置情報１次元分の情
報をその画素、およびまわりの画素の情報より推論し、
３次元位置情報として部分的に復元するためのものであ
る。具体的には、入力画像用のフレームメモリ１２を参
照し、各画素について、その画素の画素値およびその画
素の近傍の画素の画素値に基づき、その画素に対応する
３次元空間内の点を入力画像の視点とは異なる視点から
２次元の面（変換画像面）に投影した場合における、投
影面（変換画像面）上での画素位置を知識ベースによる
推論によって算出するようにしている。

【００４１】画像処理部１４で位置３次元情報として復
元された画像情報は、次段に設けられている投影２次元
位置画像生成部１５に与えられる。この投影２次元位置
画像生成部１５は、入力画像１０とは異なる視点からの
２次元画像（変換画像）を生成するために設けられてい
るものである。

【００４２】このとき、物体の反射や拡散特性を用い
て、色空間情報も変換されるようにしてもよい。具体的
には、投影２次元位置画像生成部１５は、（画像素で表
される）の画素値を入力画像の画素値から決定する。簡
単には、入力画像側の対応する画素の画素値をそのまま
用いてもよいが、色空間情報からの推論によって画素値
を決定してもよい。

【００４３】また、投影２次元位置画像生成部１５は、
後述するように、変換画像側に入力画像に対応しない画
素（欠落画素）があった場合に、内挿あるいは外挿によ
ってこの画素の画素値を定めたりする処理も行う。

【００４４】さらに、この変換画像を保存するために変
換画像用のフレームメモリ１３が設けられており、変換
画像はこのフレームメモリ１３から必要に応じて３次元
ディスプレイ１６に出力される。なお、ディスプレイが
外部の場合は、テープやディスク等の記録媒体１７に落
として出力される。

【００４５】この場合は、入力画像１０が利き目画像５
１だったので、変換画像の視点位置および方向は反利き
目のものととられることが一般的であり、結局、変換画
像は図示されるような「反利き目画像５２」となる。

【００４６】３次元ディスプレイ１６としては、ヘッド
マウンテッドディスプレイ（ＨＭＤ）、偏光を用いて右
目ならびに左目画像を重ねて表示するもの、レンチキュ
ラシートを用いたものなどを使用することができる。

【００４７】３次元ディスプレイ１６は、入力画像用の
フレームメモリ１２から送られてくる入力画像（利き目
画像５１）と変換画像用のフレームメモリ１３から送ら
れてくる変換画像（反利き目画像５２）とを視差を持っ
た２枚の画像とし、これら２枚の画像を投影して３次元
画像として立体表示するものである。

【００４８】次に、画像処理部１４における推論につい
て説明する。推論に用いられる推論規則（知識ルール）
としては各種のものが考えられるが、具体的には、以下
に例示される推定などを行えばよい。

【００４９】（１）画像中の要素図形の輪郭（特に、直
線図形なかでも台形部の利用）より消失点算出を行い、
視点の位置および各画素の奥行きを推定する。これは、
画像中の台形部は、実空間（３次元空間）での長方形が
投影によって台形となった場合が多いことによる。

【００５０】（２）画像中の要素図形の重なりを濃度や
色相のステップ的変化や輪郭線の交差状況（Ｌ型、Ｔ
型、Ｘ型など）より判断し、各画素の奥行きを推定す
る。

【００５１】（３）画像中の繰り返し図形に注目し、そ
の大きさと歪み方の変化の規則性より各画素の奥行きを
推定する。これは、画像中の繰り返し図形は、実空間で
は同一サイズの物体である場合が多いことによる。

【００５２】（４）画像中の陰影や鏡面中の写り込みに
注目し、その形状および図形内の濃度勾配より、光源位
置および前後関係、距離勾配などを判断して、各画素の
奥行きを推定する。

【００５３】（５）画像中の図形要素の事物が何を表し
ているか（例えば家、人など）を認識し、記憶されてい
るその事物の絶対的大きさおよび細部の対応構造と、図
形での事物の大きさおよびその相似対応関係とを比較す
ることにより、事物の奥行きを推定する。なお、ここで
の認識には、「鉛筆は机上に互かれていることが多い」
など、周囲にあるものとの整合性も利用することができ
る。

【００５４】（６）後ろ側にあると判断された事物に関
し、隠れている部分の奥行き情報を見えている部分の規
則性より外挿を用いて推定する。

【００５５】（７）一般的な法則、例えば、重力の働い
ているところでは画面の下方にある物体は近くにあるこ
とが多く、画面上方にあるものは天井や街灯（ランプ部
分）などを除いては遠くにあることが多い。また、近景
と遠景とでは空間周波数特性や分光特性が異なることが
多く、解像度が悪い（ボケている部分）部分は遠い部分
であることが多い。さらに、明度情報が緩やかに変化し
ているものは曲面で構成される場合が多く、直線で囲ま
れるものは多面体、曲線で囲まれるものは円板を除き曲
面で囲まれる立体であることが多い、などの法則を用い
て各画素の奥行きを推定する。

【００５６】これらの推定を単独で、あるいは適宜組み
合わせることにより奥行き判定が行われ、位置情報３次
元の情報が、部分的ではあるが復元される。なお、精度
向上のためには、これら奥行き判定技術を組み合わせる
ことが望ましい。

【００５７】次に、この画像処理装置の動作について、
図３および図４に示したフローチャートを用いて詳細に
説明する。なお、図３および図４は、同一のフローチャ
ートのそれぞれ前半部分、後半部分であって、図３には
ステップＰ１〜Ｐ１２が、図４にはステップＰ１３〜Ｐ
１９が示されている。

【００５８】まず、画像入力部１１は、入力画像１０と
して色空間情報〔明度、（色相）、（彩度）〕をもつ２
次元画像を読み込み、画素に分解する（ステップＰ
１）。画素に分解された入力画素１０は、入力画像用の
フレームメモリ１２に書き込まれる（ステップＰ２）。

【００５９】続いて、フレームメモリ１２より、入力画
像中の画素であって変換の対象とする画素を１つ取り出
す（ステップＰ３）。画像処理部１４は、入力画像の取
り出された画素にし、その画素の画像情報（画素値）と
その画素の周囲の画素の画素値とに基づき、変換画像で
の対応画素の画素位置（アドレス）を算出する（ステッ
プＰ４）。

【００６０】周囲の画素の画素値はフレームメモリ１２
を参照して入手し、画素位置の算出には上述したような
知識ベースを用いた推論を利用する。入力画像１０が利
き目画像であれば、変換画像は、例えば反利き目画像と
なる。算出した画素位置は投影２次元位置画像生成部１
５に送られる。

【００６１】投影２次元位置画像生成部１５は、まず、
算出された画素位置が変換画像のフレーム内に収まって
いるかどうかを判定する（ステップＰ５）。そして、フ
レーム外と判断した場合にはステップＰ１１に飛び、フ
レーム内と判断した場合には、変換画像用のフレームメ
モリ１３を参照して、変換画像において算出された画素
位置に既に色空間情報が書き込まれているかを判断する
（ステップＰ６）。

【００６２】ステップＰ６の判定の結果、書き込まれて
いない場合には、ステップＰ９にジャンプする。また、
書き込まれている場合は、入力画像側の異なる画素が変
換画像側の同一画素位置に対応する場合であるから、今
取り扱おうとしている（入力画像側の）画素に対応する
３次元空間内での位置が、既に書き込まれている色空間
情報に対応する３次元空間内での位置よりも手前にある
かどうか、すなわち、視点側にあるかどうかを判断する
（ステップＰ７）。

【００６３】この判定の結果、手前側にない場合には、
その情報は変換画像では隠れている部分の情報なので無
視することとし、ステップＰ１１に飛ぶ。また、手前側
にある場合には、ステップＰ８に進み、既に書き込まれ
ている情報は変換画像では見えないはずのものなので、
対象としている画素位置に書き込まれている情報を消去
し、ステップＰ９へと進む。

【００６４】ステップＰ９では、知識ベースを使用した
推論により、変換画像における算出された画素位置の画
素（変換画素）に対する色空間情報（画素値）を算出す
る。そして、変換画像用のフレームメモリ１３内の算出
された画素位置に、求めた色空間情報を書き込む（ステ
ップＰ１０）。以上の処理により、入力画像１０から取
り出した１つの画素に対する変換が終了したことにな
り、ステップＰ１１に移行する。

【００６５】ステップＰ１１では、次に、変換すべき画
素、すなわち、変換が行われていない画素が入力画像内
に残っているかどうかの判断を行う。そして、変換すべ
き画素が残っている場合には、次に、ステップＰ１２に
進み、変換する画素を入力画像用のフレームメモリ１２
から取り出す。次に、新たに取り出した画素に対して上
述の処理を実行するために、ステップＰ４に戻る。

【００６６】一方、ステップＰ１１の判定の結果、変換
すべき画素が残っていない場合、すなわち、入力画像の
全画像に対して変換処理が実行された場合には、欠落画
素に対する処理を行うためにステップＰ１３に移行す
る。

【００６７】ステップＰ１３では、変換画像用のフレー
ムメモリ１３から、チェック対象の画素を１つ取り出
す。そして、取り出しが終了したら、ステップＰ１４に
進み、取り出した画素に色空間情報が書き込まれている
かどうかを判断する。この判定の結果、色空間情報が書
き込まれている場合は、その画素が欠落画素でない場合
なので、ステップＰ１７へ飛ぶ。

【００６８】一方、書き込まれていない場合は、その画
素が欠落画素、すなわち、入力画像側に対応する画素が
存在しない画素なので、この画素に付与すべき色空間情
報を内挿あるいは外挿によって補う必要がある場合であ
る。この場合は、ステップＰ１５に進んで変換画像用の
フレームメモリ１３を参照し、この欠落画素の周囲の画
素の画素値の基づき、欠落画素の色空間情報を算出す
る。

【００６９】なお、上記欠落画素の色空間情報を算出す
るのは、単純に、近傍の画素の画素値の平均値をもって
欠落画素の色空間情報としてもよいが、ここでは、知識
ベースを用いた推論によって色空間情報を求めるものと
した。そして、算出が終了したら、次に、ステップＰ１
６に進み、算出した色空間情報をフレームメモリ１３上
の対応する画素に書き込む。これにより、変換画像用の
フレームメモリ１３から取り出した１つの画素が欠落画
素であった場合の処理が終了するので、ステップＰ１７
に移行する。

【００７０】ステップＰ１７では、変換画像の画素であ
って欠落画素かどうかのチェックがまだ行われていない
画素が残っているかどうかの判断を行う。チェックが行
われていない画素が残っている場合には、次に、ステッ
プＰ１８に進んでチェックする画素を取り出し、ステッ
プＰ１４に戻る。

【００７１】また、ステップＰ１７の判定の結果、変換
画像の全ての画素についてチェックが行われている場合
には、ステップＰ１９に進み、変換画像に対し画像品位
の観点からの再チェックを行う。この再チェックは、変
換画像の全ての画素について、周囲の画素との関連性が
妥当なものかどうかを判断することによって行う。

【００７２】そして、知識ベースと照合し、関連性が妥
当でない場合、すなわち、画像が不自然な場合には、画
像処理部１４によって微小修正を行うようにする。ま
た、場合によっては、ユーザが微小修正を行うようにし
てもよい。なお、ステップＰ１９の再チェック工程は必
要に応じて行われるものであり、省略することも十分に
可能である。

【００７３】以上の処理により、入力画像１０からの変
換画像の生成が完了する。そして、フレームメモリ１２
内の入力画像と、フレームメモリ１３内の変換画像は、
必要に応じてともに３次元ディスプレイ１６に送られ、
３次元ディスプレイ１６によって立体画像として表示さ
れる。また、ディスプレイが外部の場合は、テープやデ
ィスク等の記録媒体１７に落として出力される。

【００７４】次に、図５に従って本発明の第２の実施例
を説明する。この第２の実施例では、撮影された１枚の
入力画像に対して生成される変換画像の枚数は１枚とは
限られず、複数枚の変換画像を生成することが可能であ
る。

【００７５】図５は、第２の実施例の画像撮影用カメラ
の中の画像処理装置を示すブロック図である。なお、カ
メラの構成については、図１と同様なので省略する。こ
の画像処理装置では、１枚の入力画像２０に対し、２枚
の変換画像を生成するようにした例を示している。

【００７６】入力画像２０を読み取る画像入力部２１の
出力側には、入力画像用のフレームメモリ２２が設けら
れ、フレームメモリ２２の出力側には画像処理部２４が
設けられている。画像処理部２４の構成は、実施例１の
画像処理部１４と同様のものであるが、この第２の実施
例の場合は変換画像を２枚生成するようにしているの
で、知識ベースを用いた推論によって、入力画像２０の
１画素に対して２つの画素位置を算出するように構成さ
れている。

【００７７】この場合、入力画像２０の視点に関して対
称的に配置された２つの視点のそれぞれからの画素位置
が算出されるようになっている。すなわち、入力画像２
０が図示されるような中心画像５３であるとすると、本
実施例における変換画像は、左目画像５４および右目画
像５５ということになる。画像処理部２４の出力側に
は、算出された画素位置が入力する投影２次元位置画像
生成部２５が設けられている。

【００７８】この投影２次元位置画像生成部２５は、上
述した第１の実施例の投影２次元位置画像生成部１５と
同様の構成のものであるが、一方の変換画像（例えば左
目画像）に対応する画素位置から一方の変換画像を生成
して一方の変換画像用のフレームメモリ２３Ｌに格納
し、他方の変換画像（例えば右目画像）に対応する画素
位置から他方の変換画像を生成して他方の変換画像用の
フレームメモリ２３Ｒに格納するように構成されてい
る。

【００７９】このように各フレームメモリ２３Ｌ、２３
Ｒに保存された各変換画像は、視差をもった２枚の画像
として、必要に応じて、ヘッドマウンテッドディスプレ
イ、レンチキュラディスプレイなどの３次元ディスプレ
イ２６に送られ、立体表示される。なお、ディスプレイ
が外部の場合は、テープやディスク等の記録媒体２７に
落として出力される。本実施例は、入力画像から生成さ
れる変換画像が２枚であるので、第１の実施例に比べて
多くの処理時間を要する。

【００８０】また、本実施例の画像処理装置では、入力
画像において隠れているが変換画像上では見えてくる部
分を外挿や推論によって推定しているので、入力画像の
視点から変換画像の視点までの距離が大きくなるにつ
れ、推定の不確実性による画像情報の誤りの度合いが急
速に増加する。

【００８１】本実施例では、２枚の画像間で同じ視差を
得ようとする場合、第１の実施例に比べて処理時間は余
計にかかるものの、個々の変換画像の視点と入力画像の
視点との距離が第１の実施例に比べて半分なので、第１
の実施例と比べて全体としての画像情報の誤りを少なく
押さえることができる。

【００８２】次に、図６を参照して本発明の第３の実施
例を説明する。本実施例の画像処理装置は、静止画像の
みならず、位置情報としては２次元の動画像にも適用す
ることができるようにしている。

【００８３】図６は、本実施例の第３の実施例の画像撮
影用カメラの画像処理装置を示すブロック図である。な
お、カメラの構成については、図１と同様なので省略す
る。この第３の実施例の画像処理装置は、第１の実施例
の画像処理装置と同様に、画像入力部３１、入力画像用
のフレームメモリ３２、変換画像用のフレームメモリ３
３、画像処理部３４、投影２次元位置画像生成部３５お
よび３次元ディスプレイ３６によって構成されており、
これら各構成要素は動画対応となっている。

【００８４】入力画像３０としては映画やビデオなどが
用いられ、画像入力部３１はこれらの入力画像３０をフ
レームごとにシーケンシャルに読み取って画素に分解す
るように構成されている。この場合、入力画像３０は動
画であるから、位置情報２次元、色区空間情報が少なく
とも１次元であるほか、時間軸方向にもシーケンシャル
な情報をもっている。これに対応し、画像処理部３４に
おける推論において、第１の実施例で説明した推論規則
の他に、以下に示すような推論規則を使用するようにし
ている。

【００８５】すなわち、（８）時間軸方向に異なるいく
つかのフレームを解析して撮影視点に対して相対的に運
動している運動物体を抽出し、その物体の運動視差を用
いることによりその物体の奥行き方向の運動の様子を推
定する。

【００８６】（９）物体が運動していくと隠れた部分が
見えてくることを利用し、時間的に異なった別のフレー
ムの対応物体の情報より、図形の背後部分に隠されてい
る奥行き方向の情報を推定する。

【００８７】ここでは入力画像３０は、図示されるよう
なシーケンシャルな利き目画像５６であるとする。画像
処理部３４は、入力画像の各フレームごとにそのフレー
ムに含まれる各画素について、その画素に対応する変換
画像中での画素位置を推論によって算出し、算出した画
素位置を投影２次元位置画像生成部３５に送る。

【００８８】投影２次元値画像生成部３５は、画像処理
部３４からの画素位置情報に基づき、各フレームごとに
変換画像を生成する。この変換画像は、図示されるよう
なシーケンシャルな反利き目画像５７となる。

【００８９】そして、入力画像（利き目画像５６）と変
換画像（反利き目画像５７）は、それぞれフレームメモ
リ３２、３３を経由して必要に応じて３次元ディスプレ
イ３６に送られ、視差をもった２組の動画像として投影
され、立体動画像として表示される。なお、ディスプレ
イが外部の場合は、テープやディスク等の記録媒体３７
に落として出力される。

【００９０】本実施例においても、第２の実施例と同様
に、動画像である入力画像とは異なる２視点にそれぞれ
対応する２つの変換画像（動画像）を生成し、生成した
２つの変換画像を用いて３次元動画像表示を行うように
することもできる。例えば、入力画像が中心画像である
とき、左目画像および右目画像を変換画像として生成す
るようにすることもできる。この場合は、変換画像用の
フレームメモリを２つ設けることになる。

【００９１】

【発明の効果】本発明は上述したように、１つの視点か
ら投影され、位置情報としては２次元である光学画像を
１組のレンズを通してイメージセンサ上に結像させ、上
記イメージセンサからの出力信号を画像信号として出力
するとともに、上記入力画像の各画素に対し、画素値お
よび周囲の画素の画素値に基づいて３次元の位置情報を
復元し、入力画像とは異なる視点からの２次元画像を生
成するようにしたので、撮影された１枚の２次元画像の
みを用いて立体視表示を行うようにすることができる。

【００９２】さらに、撮影光学系を１組のレンズだけで
構成することができるので、従来の立体視用の撮影カメ
ラに比べて、コンパクトな３次元画像撮影用カメラを提
供できる。したがって、本発明の３次元画像撮影用カメ
ラを使えば、３次元画像情報や映像情報を容易に作成す
ることができ、３次元画像ソフトウェアの普及に寄与す
ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の画像撮影用カメラの概
略構成を示す機能ブロック図である。

【図２】第１の実施例の画像撮影用カメラの画像処理装
置の詳細な構成を示すブロック図である。

【図３】第１の実施例の画像撮影用カメラの画像処理装
置の動作を示すフローチャートである。

【図４】第１の実施例の画像撮影用カメラの画像処理装
置の動作を示すフローチャートである。

【図５】第２の実施例の画像撮影用カメラの画像処理装
置の構成を示すブロック図である。

【図６】第３の実施例の画像撮影用カメラの画像処理装
置の構成を示すブロック図である。

【符号の説明】

１被写体２画像撮影用カメラ３撮影レンズ４イメージセンサ５画像信号６画像処理装置７Ｒ右目画像７Ｌ左目画像８記録媒体１０，２０，３０入力画像１１，２１，３１画像入力部１２，１３，２２，２３Ｌ，２３Ｒ，３２，３３フレ
ームメモリ１４，２４，３４画像処理部１５，２５，３５投影２次元位置画像生成部１６，２６，３６３次元ディスプレイ１７，２７，３７記録媒体５１，５６利き目画像５２，５７反利き目画像５３中心画像５４左目画像５５右目画像

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 13/02

Claims

【特許請求の範囲】

【請求項１】１つの視点から投影され、位置情報とし
ては２次元である光学画像を１組のレンズを通してイメ
ージセンサ上に結像させるとともに、上記イメージセン
サから出力される信号を画像信号として出力する撮像部
と、上記撮像部から出力される画像信号を取り込んで保持す
る入力画像保持手段、上記入力画像の各画素について、
上記画素の画素値および上記画素の周囲の画素の画素値
に基づいて３次元での位置情報を復元する画像処理手
段、および上記画像処理手段で復元された３次元での位
置情報に基づいて、上記１つの視点とは異なる視点に対
応させ、かつ位置情報としては２次元の画像を生成する
２次元位置画像生成手段からなる画像処理装置とを具備
することを特徴とする３次元画像撮影用カメラ。
【請求項２】上記２次元位置画像生成手段で生成され
た視点の異なる２画像および上記入力画像の中から選択
される２画像に基いて立体視画像を表示する３次元表示
手段をさらに有することを特徴とする請求項１記載の３
次元画像撮影用カメラ。
【請求項３】上記画像処理手段が、知識ベースを用い
た推論によって３次元での位置情報を復元することを特
徴とする請求項１または２に記載の３次元画像撮影用カ
メラ。
【請求項４】１つの視点から投影され、位置情報とし
ては２次元である光学画像を１組のレンズを通してイメ
ージセンサ上に結像させるとともに、上記イメージセン
サから出力される信号を画像信号として出力する撮像部
と、上記撮像部から出力される画像信号を取り込んで保持す
る入力画像保持手段、上記入力画像の各画素について上
記画素の画素値および上記画素の周囲の画素の画素値に
基づき上記画素に対応する３次元空間内の点を上記１つ
の視点とは異なる視点から２次元の面に投影した場合に
おける上記２次元の面上での上記視点に対応する画素位
置を知識ベースを用いた推論によって算出する画像処理
手段、および上記画像処理手段で算出された画素位置に
基づき上記異なる視点から投影されかつ位置情報として
は２次元である画像を生成する２次元位置画像生成手段
からなる画像処理装置を具備することを特徴とする３次
元画像撮影用カメラ。
【請求項５】上記画像処理手段は、上記入力画像の２
以上の画素が上記２次元の面上の同一の画素位置に対応
する場合には、推論により手前側にあると判断される画
素と上記画素位置とを対応させるようにすることを特徴
とする請求項４に記載の３次元画像撮影用カメラ。
【請求項６】上記２次元位置画像生成手段は、上記２
次元の面上の画素位置に上記入力画像の画素に対応しな
いものがある場合には、上記画素位置に近接する画素位
置に対応する画素値からの外挿あるいは内挿処理によ
り、上記画素位置に対応する画素値を算出して画像を生
成することを特徴とする請求項４または５記載の３次元
画像撮影用カメラ。
【請求項７】上記２次元位置画像生成手段で生成され
た視点の異なる２画像および上記入力画像の中から選択
される２画像に基いて立体視画像を表示する３次元表示
手段をさらに有することを特徴とする請求項４乃至６の
いずれか１項に記載の３次元画像撮影用カメラ。
【請求項８】上記入力画像が利き目画像であり、上記
２次元位置画像生成手段で生成される画像が上記利き目
画像に対応する反利き目画像であって、これらの上記利
き目画像および反利き目画像による立体視画像を表示す
る３次元表示手段をさらに有することを特徴とする請求
項１、４乃至６のいずれか１項に記載の３次元画像撮影
用カメラ。
【請求項９】上記入力画像が中心画像であり、上記２
次元位置画像生成手段が上記中心画像に対応する右目画
像および左目画像を生成するものであって、上記右目画
像および上記左目画像による立体視画像を表示する３次
元表示手段をさらに有することを特徴とする請求項１、
４乃至６のいずれか１項に記載の３次元画像撮影用カメ
ラ。
【請求項１０】上記入力画像の各画素が、画素値とし
て、時間情報および色空間情報のうちの少なくとも色空
間情報１次元分の情報を保持することを特徴とする請求
項１乃至９のいずれか１項に記載の３次元画像撮影用カ
メラ。