JPH07175930A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 位置情報としては２次元の既存の画像（入力
画像）を３次元表示できるようにする。 【構成】 入力画像１０の視点とは異なる視点から投影
した画像を変換画像とする。入力画像１０を保持する入
力画像用のフレームメモリ１２と、入力画像１０の各画
素について、その画素の画素値および周囲の画素の画素
値に基づき、その画素に対応する３次元空間内での点が
変換画像上でのどの画素位置に対応するかを算出する画
像処理部１４とを設ける。画像処理部１４での画素位置
の算出は、知識ベースを使用した推論によって行われる
ようにする。さらに、算出された画素位置に基づき、変
換画像を実際に生成する２次元位置画像生成部１５を設
ける。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理装置に関し、
特に、位置に関する２次元情報を３次元情報に変換する
画像処理装置に関する。

【０００２】

【従来の技術】画像情報の大部分は、３次元空間内の物
体を２次元の面に投影したものとして表わされている。
すなわち２次元画像として記録されている。この場合、
３次元空間内の物体は実際に存在するものであってもよ
いし、アニメーションの場合などのように仮想的なもの
であってもよい。

【０００３】３次元空間内の物体上の各点は、その位置
が３次元の座標値で表わされるとともに、色空間におけ
る３次元の情報を持っている。色空間における３次元の
情報とは、例えば、色相、明度、彩度であり、加色法に
よる場合には、赤(Ｒ),緑(Ｇ),青(Ｂ)の各色成分の強度
であってもよい。このように物体上の各点が表わされて
いることに対応し、２次元の面に投影された画像の各画
素は、２次元の座標値のほかに、色空間における少なく
とも１次元の情報を保持している。白黒画像であれば、
色空間における情報は１次元（明度情報のみ）であり、
カラー画像であれば、色空間における情報は３次元であ
る。また、複数の画像（フレーム）が時系列に連続して
いる場合は、動画であり、時間軸方向についても１次元
分の情報を保持している。

【０００４】つまり、３次元空間での物体に対応する位
置３次元、時間１次元、色空間３次元の合計７次元の情
報のうち、投影によって位置２次元の情報としたものが
一般的な画像情報（２次元画像）であり、この画像情報
は、時間、色空間情報については、少なくとも色空間情
報１次元分を保持している。

【０００５】一方、わずかではあるが、マルチプレック
スホログラムやＣＴ（コンピュータ断層）画像のよう
に、位置情報を２次元に投影することなく３次元のまま
で記録する画像技術も知られている。これらの３次元画
像技術では、実質的に全ての点の３次元座標値を保持し
ており、任意の方向への投影に対応でき、任意の２次元
断面での投影像を得ることが可能である。

【０００６】また、視点の異なる２つの２次元画像を用
いることにより、物体の立体視が可能となる。このこと
を利用し、立体視に必要な２つの異なった投影像だけで
不完全ながらも位置情報を３次元的に管理する方法もあ
る。不完全と言うのは、こうした２つの視点の異なる投
影像だけからは、物体の影になって見えない部分につい
ての情報がないため、任意の方向からの投影像を得るこ
とができないからである。つまり、物体の表側からみた
場合の立体視用の２画像を用いた場合には、影となって
いる物体の裏側についての３次元情報を得ることはでき
ないということである。

【０００７】ここでは、マルチプレックスホログラムや
ＣＴ画像で得られるような、物体上の各点の位置につい
ての完全な３次元情報を「完全位置３次元情報」と呼ぶ
ことにする。また、立体視用の２枚の投影像から得られ
ような位置情報を「立体視用位置３次元情報」と呼ぶこ
とにする。

【０００８】特開平5-126546,5-126547,5-181979の各公
報には、２次元陰影画像情報から３次元形状データを得
る技術が開示されている。この技術は、３次元形状を微
分するとその表面が計算できその表面から反射地図を用
いて変換すると陰影情報が得られることを利用し、この
変換を逆に行ない、陰影情報から対象物体の表面の方向
を求め得られた表面を積分することによって、３次元形
状を復元しようとするものである。

【０００９】

【発明が解決しようとする課題】ところで、写真、絵
画、映画などといった映像情報ソフトのうち既存のもの
の大部分は、位置情報として２次元の情報しか保持して
いない。近年、ヘッドマウンテッドディスプレイ（ＨＭ
Ｄ）やレンチキュラディスプレイなど、立体視による３
次元ディスプレイが発達を遂げ、３次元画像への期待も
高まっているが、既存の位置情報２次元の映像ソフトの
ままでは立体視を行なうことができない。既存の位置情
報２次元の映像ソフトを立体視用位置３次元情報に変換
することも考えられるが、次元数が足りないこともあ
り、このような試みは行なわれていない。

【００１０】上述の特開平5-126546,5-126547,5-181979
の各公報に記載の技術の場合、所定方向からの照明光の
存在下での２次元陰影画像データを対象とするものであ
り、光源が複数あったり光源位置が未知であるような一
般的な場合には適用することができず、また、複雑な形
状の物体を対象とする場合には計算量が膨大になり、１
枚の画像の中に遠景や近景が混在するような場合には全
く歯が立たないという問題点がある。

【００１１】位置３次元情報を映像情報として取り込む
場合、「完全位置３次元情報」については言うに及ば
ず、「立体視用位置３次元情報」についてでさえその映
像情報は複眼撮像系を使って取り込む必要があり、撮像
系が大掛かりになってしまうという問題点がある。撮像
系が大掛かりになることは、位置３次元情報に基づく映
像ソフトの普及の障害となっている。

【００１２】本発明の目的は、位置情報としては２次元
である既存の映像情報（動画を含む）を入力して３次元
の位置情報を部分的に復元し、「立体視用位置３次元情
報」による映像情報を生成する画像処理装置を提供する
ことにある。

【００１３】

【課題を解決するための手段】本発明の第１の画像処理
装置は、１つの視点から投影され位置情報としては２次
元である入力画像を保持する入力画像保持手段と、前記
入力画像の各画素について、当該画素の画素値および当
該画素の周囲の画素の画素値に基づき、３次元での位置
情報を復元する画像処理手段と、前記画像処理手段で復
元された３次元での位置情報に基づき、前記１つの視点
とは異なる視点に対応しかつ位置情報としては２次元の
画像を生成する２次元位置画像生成手段とを有する。

【００１４】本発明の第２の画像処理装置は、１つの視
点から投影され位置情報としては２次元である入力画像
を保持する入力画像保持手段と、前記入力画像の各画素
について、当該画素の画素値および当該画素の周囲の画
素の画素値に基づき、当該画素に対応する３次元空間内
の点を前記１つの視点とは異なる視点から２次元の面に
投影した場合における前記面上での前記点に対応する画
素位置を知識ベースを用いた推論によって算出する画像
処理手段と、前記画像処理手段で算出された画素位置に
基づき、前記異なる視点から投影されかつ位置情報とし
ては２次元である画像を生成する２次元位置画像生成手
段とを有する。

【００１５】

【作用】ヘッドマウンテッドディスプレイやレンチキュ
ラディスプレイなどの３次元ディスプレイを用い立体視
を行なう場合、立体視に使用される２枚の２次元画像
は、視点は異なるものの、相互間で大域的な違いがある
わけではない。したがって、２次元画像がいくら複雑な
ものであっても、その２次元画像の各領域に対して局所
的な変形を行なうことにより、その２次元画像と対にな
って立体視に使用される２次元画像を生成することが可
能となる。問題は、どのようにこの局所的な変形を行な
うかである。

【００１６】入力画像である２次元画像に注目すると、
この２次元画像自体に位置３次元情報への手がかりが含
まれている。それゆえ、この手がかりを利用することに
よって、入力画像の各画素について、その画素の画素値
および周囲の画素の画素値から、その画素に対する３次
元での位置情報を復元することが可能となる。各画素に
対応する３次元での位置情報を復元できれば、その復元
された位置情報をもとに入力画像とは異なる視点からの
画像（変換画像）を生成することにより、１対の立体視
用の画像が得られたことになる。

【００１７】ところで人間は、絵画や写真などの１枚の
２次元画像から、無意識のうちに画像に現れた３次元構
造を把握している。ここでは、２次元画像が透視図投影
によるもの、すなわち遠近法で表現されているものとす
る。人間がどのように３次元構造を把握しているかは、
次第に明らかになりつつある（「ビジョン−視覚の計算
理論と脳内表現−」、デビッド・マー著、乾敏郎、安藤
広志訳、産業図書、１９８７年など）。例えば、小さく
現れているものほど遠くにあると判断したり、画像に現
れている物体が何であるか（人であるか家であるかな
ど）を認識してその物体の典型的大きさに関する知識を
もとにその物体までの距離を推定したりしている。

【００１８】したがって、人間が無意識に判断している
基準を客観的に表現した推論規則を集積して知識ベース
とし、この知識ベースを用いて推論を行なうことによ
り、入力画像の各画素について、その画素に対応する３
次元空間内の点の位置を推定することができる。「立体
視用位置３次元情報」の観点からすれば、入力画像の視
点とは異なる視点からの投影像における対応する画素位
置が分かればよいから、知識ベースを用いた推論は容易
に行なえる。この画素位置が分かれば、入力画像とは異
なる視点位置からの２次元画像が生成でき、「立体視用
位置３次元情報」が得られることになる。

【００１９】すなわち本発明は、位置情報としては２次
元である既存の映像情報（動画を含む）に対して、投影
によって失われた位置情報１次元分の情報を位置情報３
次元の情報として部分的に復元し、その３次元位置情報
に基づいて別の視点方向からの投影２次元位置画像を少
なくとも１つは作り出し、元の投影２次元位置画像と作
り出された投影２次元位置画像情報の中から２視点方向
分の２次元位置画像情報を表示することによって、「立
体視用位置３次元情報」を提供できるようにしたもので
ある。

【００２０】入力画像に対して立体視を行なうのであれ
ば、視点が異なる２次元画像が１つ得られればよいか
ら、入力画像が効き目画像であるとすれば、反効き目画
像が生成されるようにすればよい。また、入力画像の視
点に対して対称な２視点を選択し、これら２視点のそれ
ぞれから投影した合計２枚の画像を生成するようにして
もよい。この場合は、入力画像が中心画像であって、生
成される画像が右目画像、左目画像ということになる。
本発明においては、必要に応じ、１枚の入力画像から複
数枚の画像を生成することができる。さらには、生成し
た画像を新たに入力画像とし、この新たな入力画像をも
とにして次の画像を生成することも可能である。すなわ
ち、１枚の入力画像から、子の画像、孫の画像と言うよ
うに、累代の画像を生成することが可能である。

【００２１】視点が異なるから、入力画像の画素と生成
される画像（変換画像）の画素とは１対１で対応すると
は限らない。入力画像側の複数の画素が生成される変換
画像の１画素に対応する場合には、推論によって最も近
いと判断された（入力画像側の）画素を選択すればよ
い。一方、生成される変換画像の画素であって入力画像
に対応する画素が存在しないものに関しては、内挿ある
いは外挿によって画素値を定めることが可能である。

【００２２】本発明の画像処理装置では、ヘッドマウン
テッドディスプレイやレンチキュラディスプレイなどの
３次元表示手段（３次元ディスプレイ装置）をさらに設
けることが可能である。１枚の入力画像に基づいて２次
元位置画像生成手段が１枚の画像を生成する場合には、
この画像と入力画像とによって３次元表示手段が立体視
画像を表示するようにすればよい。また、２次元位置画
像生成手段が複数枚の画像を生成する場合には、これら
生成された画像および入力画像のうちの視点の異なる２
画像によって、３次元表示手段が立体視画像を表示する
ようにすればよい。

【００２３】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００２４】《実施例１》図１は本発明の実施例１の画
像処理装置の構成を示すブロック図である。この画像処
理装置は、位置情報としては２次元であるオリジナルの
画像情報を入力画像１０とし、入力画像１０から視点の
異なる画像（変換画像）を生成し、入力画像と生成した
変換画像とを立体視画像として３次元ディスプレイ１６
により表示するものである。入力画像１０は、具体的に
は、写真、絵画など、３次元空間内にある位置情報を実
際あるいは空想的に、２次元の面に投影したものであ
る。これらの画像情報は、静止画像として、位置情報２
次元、色空間情報としては白黒画像なら明度の１次元、
カラー画像ならさらに彩度・色相を加えた３次元の情報
を持っている。ここでは、入力画像１０として、図示さ
れるような「効き目画像５１」が入力されるとする。効
き目画像とは、効き目の位置および方向からの画像のこ
とである。

【００２５】入力画像１０を読み取るスキャナなどの画
像入力部１１が設けられている。読み取られた画像情報
は、各画素ごとの画素値（情報）として入力画像用のフ
レームメモリ１２に保存され、フレームメモリ１２から
画像処理部１４と３次元ディスプレイ１６とに供給され
るようになっている。入力画像１０がデジタル情報とし
て与えられる場合などには、入力画像１０をフレームメ
モリ１２に直接入力するようにしてもよい。画像処理部
１４は、入力画像１０の各画素について、投影によって
失われた位置情報１次元分の情報をその画素及びまわり
の画素の情報より推論し、３次元位置情報として部分的
に復元するためのものである。具体的には、入力画像用
のフレームメモリ１２を参照し、各画素について、その
画素の画素値およびその画素の近傍の画素の画素値に基
づき、その画素に対応する３次元空間内の点を入力画像
の視点とは異なる視点から２次元の面（変換画像面）に
投影した場合における、投影面（変換画像面）上での画
素位置を知識ベースによる推論によって算出するもので
ある。

【００２６】画像処理部１４で位置３次元情報として復
元された画像情報が入力し、入力画像１０とは異なる視
点からの２次元画像（変換画像）を生成する投影２次元
位置画像生成部１５が設けられている。このとき、物体
の反射や拡散特性を用いて、色空間情報も変換されるよ
うにしてもよい。具体的には、投影２次元位置画像生成
部１５は、画像処理部１４で算出された画素位置に基づ
き、変換画像側での各画素（その位置は算出された画素
位置で表わされる）の画素値を入力画像の画素値から決
定する。簡単には、入力画像側の対応する画素の画素値
をそのまま用いてもよいが、色空間情報からの推論によ
って画素値を決定してもよい。また、投影２次元位置画
像生成部１５は、後述するように、変換画像側に入力画
像に対応しない画素（欠落画素）があった場合に、内挿
あるいは外挿によってこの画素の画素値を定めたりする
処理も行なう。さらに、この変換画像を保存する変換画
像用のフレームメモリ１３が設けられており、変換画像
はこのフレームメモリ１３から３次元ディスプレイ１６
に出力される。入力画像１０が効き目画像５１であった
ので、変換画像の視点位置および方向は反効き目のもの
ととられることが一般的であり、結局、変換画像は図示
されるような「反効き目画像５２」となる。

【００２７】３次元ディスプレイ１６としては、ヘッド
マウンテッドディスプレイ（ＨＭＤ）、偏光を用いて右
目ならびに左目画像を重ねて表示するもの、レンチキュ
ラシートを用いたものなどを使用することができる。３
次元ディスプレイ１６は、入力画像用のフレームメモリ
１２から送られてくる入力画像（効き目画像５１）と変
換画像用のフレームメモリ１３から送られてくる変換画
像（反効き目画像５２）とを視差を持った２枚の画像と
し、これら２枚の画像を投影して３次元画像として立体
表示するものである。

【００２８】次に、画像処理部１４での推論について説
明する。推論に用いられる推論規則（知識ルール）とし
ては各種のものが考えられるが、具体的には、以下に例
示される推定などを行なえばよい。 ・(1) 画像中の要素図形の輪郭（特に直線図形なかでも
台形部の利用）より消失点算出を行ない、視点の位置及
び各画素の奥行きを推定する（画像中の台形部は、実空
間（３次元空間）での長方形が投影によって台形となっ
た場合が多いことによる）。 ・(2) 画像中の要素図形の重なりを濃度や色相のステッ
プ的変化や輪郭線の交差状況（Ｌ型、Ｔ型、Ｘ型など）
より判断し、各画素の奥行きを推定する。 ・(3) 画像中の繰り返し図形に注目し、その大きさと歪
み方の変化の規則性より各画素の奥行きを推定する（画
像中の繰り返し図形は、実空間では同一サイズの物体で
ある場合が多いことによる）。 ・(4) 画像中の陰影や鏡面中の写り込みに注目し、その
形状および図形内の濃度勾配より、光源位置および前後
関係、距離勾配などを判断して、各画素の奥行きを推定
する。 ・(5) 画像中の図形要素の事物が何を表しているか（例
えば家、人など）を認識し、記憶されているその事物の
絶対的大きさおよび細部の対応構造と、図形での事物の
大きさおよびその相似対応関係とを比較することによ
り、事物の奥行きを推定する（ここでの認識には、「鉛
筆は机上に置かれていることが多い」など、周囲にある
ものとの整合性も利用できる）。 ・(6) 後ろ側にあると判断された事物に関し、隠れてい
る部分の奥行き情報を見えている部分の規則性より外挿
を用いて推定する。 ・(7) 一般的な法則、例えば、「重力の働いているとこ
ろでは画面の下方にある物体は近くにあることが多く、
画面上方にあるものは天井や街灯（ランプ部分）などを
除いては遠くにあることが多い」、「近景と遠景とでは
空間周波数特性や分光特性が異なることが多い」、「解
像度が悪い（ボケている部分）部分は遠い部分であるこ
とが多い」、「明度情報が緩やかに変化していくものは
曲面で構成されている場合が多い」、「直線で囲まれて
いるものは多平面体であることが多く、曲線で囲まれて
いるものは円板を除いて曲面で囲まれる立体であること
が多い」、などの法則を用いて各画素の奥行きを推定す
る。

【００２９】これらの推定を単独であるいは適宜組み合
わせることにより奥行き判定が行なわれ、位置情報３次
元の情報が、部分的ではあるが復元される。精度向上の
ためには、これら奥行き判定技術を組み合わせることが
望ましい。

【００３０】次に、この画像処理装置の動作について、
図２および図３に示したフローチャートを用いて説明す
る。図２および図３は、同一のフローチャートのぞれぞ
れ前半部分、後半部分であって、図２にはステップ１０
１〜１１２が、図３にはステップ１１３〜１１９が示さ
れている。

【００３１】まず画像入力部１１は、入力画像１０とし
て色空間情報［明度,(色相),(彩度)］をもつ２次元画像
を読み込み、画素に分解する（ステップ１０１）。画素
に分解された入力画像１０は、入力画像用のフレームメ
モリ１２に書込まれる（ステップ１０２）。

【００３２】続いて、フレームメモリ１２より、入力画
像中の画素であって変換の対象とする画素を１つ取り出
す（ステップ１０３）。画像処理部１４は、入力画像の
取り出された画素に対し、その画素の画像情報（画素
値）とその画素の周囲の画素の画素値とに基づき、変換
画像での対応画素の画素位置（アドレス）を算出する
（ステップ１０４）。周囲の画素の画素値はフレームメ
モリ１２を参照して入手し、画素位置の算出には上述し
たような知識ベースを用いた推論を利用する。入力画像
１０が効き目画像であれば、変換画像は、例えば反効き
目画像となる。算出した画素位置は投影２次元位置画像
生成部１５に送られる。

【００３３】投影２次元位置画像生成部１５は、まず、
算出された画素位置が変換画像のフレーム内に収まって
いるかどうかを判定する（ステップ１０５）。フレーム
外と判断された場合にはステップ１１１に飛び、フレー
ム内と判断された場合には、変換画像用のフレームメモ
リ１３を参照して、変換画像において算出された画素位
置に既に色空間情報が書込まれているかを判断する（ス
テップ１０６）。書込まれていない場合には、ステップ
１０９に移行する。書込まれている場合は、入力画像側
の異なる画素が変換画像側の同一画素位置に対応する場
合であるから、今取り扱おうとしている（入力画像側
の）画素に対応する３次元空間内での位置が、既に書込
まれている色空間情報に対応する３次元空間内での位置
よりも手前にあるかどうか、すなわち視点側にあるかど
うかを判断する（ステップ１０７）。手前側にない場合
には、その情報は変換画像では隠れている部分の情報な
ので無視することとし、ステップ１１１に飛ぶ。手前側
にある場合には、すでに書込まれている情報は変換画像
では見えないはずのものなので、対象としている画素位
置に書込まれている情報を消去し（ステップ１０８）、
ステップ１０９へと進む。

【００３４】ステップ１０９では、知識ベースを使用し
た推論により、変換画像における算出された画素位置の
画素（変換画素）に対する色空間情報（画素値）を算出
する。そして、変換画像用のフレームメモリ１３内の算
出された画素位置に、求めた色空間情報を書込む（ステ
ップ１１０）。以上の処理により、入力画像１０から取
り出した１つの画素に対する変換が終了したことにな
り、ステップ１１１に移行する。

【００３５】ステップ１１１では、次に変換すべき画
素、すなわち変換が行なわれていない画素が入力画像内
に残っているかどうかの判断を行なう。変換すべき画素
が残っている場合には、次に変換する画素を入力画像用
のフレームメモリ１２から取り出し（ステップ１１
２）、新たに取り出した画素に対して上述の処理を実行
するために、ステップ１０４に戻る。次に変換すべき画
素が残っていない場合、すなわち入力画像の全画像に対
して変換処理が実行された場合には、欠落画素に対する
処理を行なうためにステップ１１３に移行する。

【００３６】ステップ１１３では、変換画像用のフレー
ムメモリ１３から、チェック対象の画素を１つ取り出
す。そして、取り出された画素に色空間情報が書込まれ
ているかどうかを判断する（ステップ１１４）。書込ま
れている場合は、その画素が欠落画素でない場合なの
で、ステップ１１７へ飛ぶ。書込まれていない場合は、
その画素が欠落画素、すなわち入力画像側に対応する画
素が存在しない画素なので、この画素に付与すべき色空
間情報を内挿あるいは外挿によって補う必要がある場合
である。まず、変換画像用のフレームメモリ１３を参照
し、この欠落画素の周囲の画素の画素値に基づき、欠落
画素の色空間情報を算出する（ステップ１１５）。単純
に、近傍の画素の画素値の平均値をもって欠落画素の色
空間情報としてもよいが、ここでは、知識ベースを用い
た推論によって色空間情報を求めるものとした。そし
て、算出した色空間情報をフレームメモリ１３上の対応
する画素に書込む（ステップ１１６）。これにより、変
換画像用のフレームメモリ１３から取り出した１つの画
素が欠落画素であった場合の処理が終了するので、ステ
ップ１１７に移行する。

【００３７】ステップ１１７では、変換画像の画素であ
って欠落画素かどうかのチェックがまだ行なわれていな
い画素が残っているかどうかの判断を行なう。チェック
が行なわれていない画素が残っている場合には、次にチ
ェックする画素を取り出し（ステップ１１８）、ステッ
プ１１４に戻る。変換画像の全ての画素についてチェッ
クが行なわれている場合には、変換画像に対し画像品位
の観点からの再チェックを行なう（ステップ１１９）。
この再チェックは、変換画像の全ての画素について、周
囲の画素との関連性が妥当なものかどうかを判断するこ
とによって行なわれる。知識ベースと照合し、関連性が
妥当でない場合、すなわち画像が不自然な場合には、画
像処理部１４によって微小修正を行なうようにする。ま
た、場合によっては、ユーザが微小修正を行なうように
してもよい。ステップ１１９の再チェック工程は必要に
応じて行なわれるものであり、省略することも十分に可
能である。

【００３８】以上の処理により、入力画像１０からの変
換画像の生成が完了したことになる。フレームメモリ１
２内の入力画像とフレームメモリ１３内の変換画像は、
ともに３次元ディスプレイ１６に送られ、３次元ディス
プレイ１６によって立体画像として表示される。

【００３９】《実施例２》本発明では、１枚の入力画像
に対して生成される変換画像の枚数は１枚とは限られ
ず、複数枚の変換画像を生成することが可能である。図
４は、本発明の実施例２の画像処理装置を示すブロック
図である。この画像処理装置では、１枚の入力画像２０
に対し、２枚の変換画像が生成されている。

【００４０】入力画像２０を読み取る画像入力部２１の
出力側には入力画像用のフレームメモリ２２が設けら
れ、フレームメモリ２２の出力側には画像処理部２４が
設けられている。画像処理部２４の構成は、実施例１の
画像処理部１４と同様のものであるが、変換画像を２枚
生成することに対応し、知識ベースを用いた推論によっ
て、入力画像２０の１画素に対して２つの画素位置を算
出するように構成されている。この場合、入力画像２０
の視点に関して対称的に配置された２つの視点のそれぞ
れからの画素位置が算出されるようになっている。すな
わち、入力画像２０が図示されるような中心画像５３で
あるとすると、本実施例における変換画像は、左目画像
５４および右目画像５５ということになる。

【００４１】画像処理部２４の出力側には、算出された
画素位置が入力する投影２次元位置画像生成部２５が設
けられている。この投影２次元位置画像生成部２５は、
実施例１の投影２次元位置画像生成部１５と同様の構成
のものであるが、一方の変換画像（例えば左目画像）に
対応する画素位置から一方の変換画像を生成して一方の
変換画像用のフレームメモリ２３_Lに格納し、他方の変
換画像（例えば右目画像）に対応する画素位置から他方
の変換画像を生成して他方の変換画像用のフレームメモ
リ２３_Rに格納するように構成されている。このように
各フレームメモリ２３_L,２３_Rに保存された各変換画像
は、視差をもった２枚の画像として、ヘッドマウンテッ
ドディスプレイ、レンチキュラディスプレイなどの３次
元ディスプレイ２６に送られ、立体表示される。

【００４２】本実施例は、入力画像から生成される変換
画像が２枚であるので、実施例１に比べ、多くの処理時
間を要する。しかし、本発明の画像処理装置では、入力
画像において隠れているが変換画像上では見えてくる部
分を外挿や推論によって推定しているので、入力画像の
視点から変換画像の視点までの距離が大きくなるにつ
れ、推定の不確実性による画像情報の誤りの度合が急速
に増加する。本実施例では、２枚の画像間で同じ視差を
得ようとする場合、実施例１に比べ処理時間は余計にか
かるものの、個々の変換画像の視点と入力画像の視点と
の距離が実施例１の場合に比べ半分であるので、実施例
１と比べて全体としての画像情報の誤りを少なく押える
ことができる。

【００４３】《実施例３》本発明の画像処理装置は、静
止画像のみならず、位置情報としては２次元の動画像に
も適用することができる。図５は、本発明の実施例３の
画像処理装置を示すブロック図である。この画像処理装
置は、実施例１の画像処理装置と同様に、画像入力部３
１、入力画像用のフレームメモリ３２、変換画像用のフ
レームメモリ３３、画像処理部３４、投影２次元位置画
像生成部３５および３次元ディスプレイ３６によって構
成されており、これら各構成要素は動画対応となってい
る。入力画像３０としては映画やビデオなどが用いら
れ、画像入力部３１はこれらの入力画像３０をフレーム
ごとにシーケンシャルに読み取って画素に分解するよう
に構成されている。

【００４４】入力画像３０は動画であるから、位置情報
２次元、色空間情報が少なくとも１次元であるほか、時
間軸方向にもシーケンシャルな情報を持っている。これ
に対応し、画像処理部３４における推論において、実施
例１で説明した推論規則の他に、以下に示すような推論
規則を使用することができる。 ・(8) 時間軸方向に異なるいくつかのフレームを解析し
て撮影視点に対して相対的に運動している運動物体を抽
出し、その物体の運動視差を用いることによりその物体
の奥行き方向の運動の様子を推定する。 ・(9) 物体が運動していくと隠れた部分が見えてくるこ
とを利用し、時間的には異なった別のフレームの対応物
体の情報より、図形の背後部分に隠されている奥行き方
向の情報を推定する。

【００４５】ここでは入力画像３０は、図示されるよう
なシーケンシャルな効き目画像５６であるとする。画像
処理部３４は、入力画像の各フレームごとにそのフレー
ムに含まれる各画素について、その画素に対応する変換
画像中での画素位置を推論によって算出し、算出した画
素位置を投影２次元位置画像生成部３５に送る。投影２
次元位置画像生成部３５は、画像処理部３４からの画素
位置情報に基づき、各フレームごとに変換画像を生成す
る。この変換画像は、図示されるようなシーケンシャル
な反効き目画像５７となる。そして、入力画像（効き目
画像５６）と変換画像（反効き目画像５７）は、それぞ
れフレームメモリ３２,３３を経由して３次元ディスプ
レイ３６に送られ、視差をもった２組の動画像として投
影され、立体動画像として表示される。

【００４６】本実施例においても、実施例２と同様に、
動画像である入力画像とは異なる２視点にそれぞれ対応
する２つの変換画像（動画像）を生成し、生成した２つ
の変換画像を用いて３次元動画像表示を行なうようにす
ることもできる。例えば、入力画像が中心画像であると
き、左目画像および右目画像を変換画像として生成する
ようにすることもできる。この場合は、変換画像用のフ
レームメモリを２つ設けることになる。

【００４７】

【発明の効果】以上説明したように本発明は、１つの視
点からの投影され位置情報としては２次元である入力画
像の各画素に対し、この画素の画素値および周囲の画素
の画素値に基づき、３次元の位置情報を復元し、入力画
像とは異なる視点からの２次元画像を生成することによ
り、１枚の２次元画像のみを用いて立体視表示を行なう
ことができるようになるという効果がある。したがっ
て、既存の２次元画像情報、映像情報から３次元画素情
報、映像情報を容易に作成でき、３次元画像ソフトウェ
アの充実を図ることができるという効果がある。

【図面の簡単な説明】

【図１】実施例１の画像処理装置の構成を示すブロック
図である。

【図２】実施例１の画像処理装置の動作を示すフローチ
ャートである。

【図３】実施例１の画像処理装置の動作を示すフローチ
ャートである。

【図４】実施例２の画像処理装置の構成を示すブロック
図である。

【図５】実施例３の画像処理装置の構成を示すブロック
図である。

【符号の説明】

１０,２０,３０ 入力画像 １１,２１,３１ 画像入力部 １２,１３,２２,２３_L,２３_R,３２,３３ フレームメ
モリ １４,２４,３４ 画像処理部 １５,２５,３５ 投影２次元位置画像生成部 １６,２６,３６ ３次元ディスプレイ ５１,５６ 効き目画像 ５２,５７ 反効き目画像 ５３ 中心画像 ５４ 左目画像 ５５ 右目画像 １０１〜１１９ ステップ

Claims (10)

【特許請求の範囲】
1. 【請求項１】 １つの視点から投影され位置情報として
   は２次元である入力画像を保持する入力画像保持手段
   と、 前記入力画像の各画素について、当該画素の画素値およ
   び当該画素の周囲の画素の画素値に基づき、３次元での
   位置情報を復元する画像処理手段と、 前記画像処理手段で復元された３次元での位置情報に基
   づき、前記１つの視点とは異なる視点に対応しかつ位置
   情報としては２次元の画像を生成する２次元位置画像生
   成手段とを有する画像処理装置。
2. 【請求項２】 視点の異なる２画像に基づいて立体視画
   像を表示する３次元表示手段をさらに有し、前記視点の
   異なる２画像が前記２次元位置画像生成手段で生成され
   た画像および前記入力画像の中から選択される２画像で
   ある請求項１記載の画像処理装置。
3. 【請求項３】 前記画像処理手段が、知識ベースを用い
   た推論によって３次元での位置情報を復元する請求項１
   または２に記載の画像処理装置。
4. 【請求項４】 １つの視点から投影され位置情報として
   は２次元である入力画像を保持する入力画像保持手段
   と、 前記入力画像の各画素について、当該画素の画素値およ
   び当該画素の周囲の画素の画素値に基づき、当該画素に
   対応する３次元空間内の点を前記１つの視点とは異なる
   視点から２次元の面に投影した場合における前記面上で
   の前記点に対応する画素位置を知識ベースを用いた推論
   によって算出する画像処理手段と、 前記画像処理手段で算出された画素位置に基づき、前記
   異なる視点から投影されかつ位置情報としては２次元で
   ある画像を生成する２次元位置画像生成手段とを有する
   画像処理装置。
5. 【請求項５】 前記画像処理手段は、前記入力画像の２
   以上の画素が前記面上の同一の画素位置に対応する場合
   には、推論により手前側にあると判断される画素と前記
   画素位置とを対応させる請求項４に記載の画像処理装
   置。
6. 【請求項６】 前記２次元位置画像生成手段は、前記面
   上の画素位置であって前記入力画像の画素に対応しない
   ものがある場合には、当該画素位置に近接する画素位置
   に対応する画素値からの外挿あるいは内挿処理により、
   当該画素位置に対応する画素値を算出して画像を生成す
   る請求項４または５に記載の画像処理装置。
7. 【請求項７】 視点の異なる２画像に基づいて立体視画
   像を表示する３次元表示手段をさらに有し、前記視点の
   異なる２画像が前記２次元位置画像生成手段で生成され
   た画像および前記入力画像の中から選択される２画像で
   ある請求項４ないし６いずれか１項に記載の画像処理装
   置。
8. 【請求項８】 前記入力画像が効き目画像であり、前記
   ２次元位置画像生成手段で生成される画像が前記効き目
   画像に対応する反効き目画像であり、前記効き目画像お
   よび前記反効き目画像による立体視画像を表示する３次
   元表示手段をさらに有する請求項１，４，５または６に
   記載の画像処理装置。
9. 【請求項９】 前記入力画像が中心画像であり、前記２
   次元位置画像生成手段が前記中心画像に対応する右目画
   像および左目画像を生成するものであり、前記右目画像
   および前記左目画像による立体視画像を表示する３次元
   表示手段をさらに有する請求項１，４，５または６に記
   載の画像処理装置。
10. 【請求項１０】 前記入力画像の各画素が、画素値とし
    て、時間情報および色空間情報のうちの少なくとも色空
    間情報１次元分の情報を保持する請求項１ないし９いず
    れか１項に記載の画像処理装置。