JPH099143A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 撮像時に画像の立体情報を抽出することのよ
り、撮像時と異なる視点、視線方向における画像の再生
を可能とした画像処理装置を提供すること。 【構成】 画像を入力する左右の画像入力部と、画像入
力部によってそれぞれ入力された画像を記憶するメモリ
と、画像入力部の撮像時の移動方向及び移動量を検出す
る移動検出手段と、被写体の距離情報を演算する距離演
算部と、メモリに記憶された画像を再生する再生回路
と、距離演算部によって演算された距離情報を基に再生
画像を補間する補間回路と、画像再生順序及び方向を入
力する視線入力手段と、これらによって入力された情報
に基づいて任意の視点及び視線方向から見た画像を生成
する画像処理回路とを備えた画像処理装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮像した複数の画像情
報を基に、種々の画像処理を行う画像処理装置に関す
る。

【０００２】

【従来の技術】複数の画像情報から立体画像あるいは視
点の異なる画像を生成するためには、その被写体までの
距離情報が必要である。

【０００３】従来より被写体までの距離を測定する装置
としては、種々の方式のものが提案されているが、被写
体に対して何らかのエネルギー体を放射する能動的な手
法に基づく測距装置と、光電変換素子などで撮像された
画像信号を解析する受動的な手法に基づく測距装置に大
別できる。

【０００４】能動的な手法には、電波、超音波、光など
の波動を被写体に放射して、それが反射して戻ってくる
までの伝播時間から被写体までの距離を測定する手法と
適当な光源から規則的な模様を投影して被写体表面に人
工的な模様を生じさせ、その幾何学的な歪みから当被写
体の形状を求める手法（例えば、モアレトポグラフィ
ー）等が広く利用されている。

【０００５】一方、受動的な手法としては、複数の画像
センサを用いて得られる画像間の対応点の位置関係から
三角測量の原理に基づいて距離を測定する手法、被写体
表面が持つ模様の幾何学的な歪みから当該被写体の立体
構造を求める手法などがある。また、被写体の焦点ずれ
量から被写体までの距離を求める手法も試みられてい
る。

【０００６】一方、画像を再生する為の保持して置く映
像データ、記録時に撮像された物や、撮像された物から
想定される方向からの画像を内挿してあらかじめ作成し
ておき再生時には、それら一群の画像から選択的に出力
していく事が常であった。

【０００７】

【発明が解決しようとする課題】しかしながら、種々の
再生方法を実現するには、幾つかの問題点があった。ま
ず第１に記録して置く記録装置の容量には、おのずと限
界があり、様々な方向からの画像を一度に記録しておく
のは現実的でない点がまず挙げられる。

【０００８】また立体情報抽出に関しては、上記従来例
の能動的な手法では超音波やレーザー光などのエネルギ
ー体を放出し、その反射体を検出する必要があるため、
前記エネルギー体を吸収してしまうような物体に関して
は測距できない。

【０００９】また、生体への悪影響を考慮すれば、人体
への強いレーザー光照射はできないなど汎用性に乏し
い。

【００１０】また、規則的な模様を投影する方法は、原
理的に被写体の相対的な立体情報を把握するための手法
であって、被写体までの絶対的な距離を求めることはで
きないという原理的な問題点を持つ。

【００１１】そこで本発明の課題は上述の問題点を解決
し、画面の任意の位置及び方向における画像合成及び出
力を可能とする画像処理装置を提供することにある。

【００１２】

【課題を解決するための手段】上記の課題を解決するた
めに本願における請求項１に記載の発明によれば、画像
を入力する画像入力手段と、前記画像入力手段によって
入力された画像を記憶する記憶手段と、前記画像入力手
段の移動方向及び移動量を検出する移動検出手段と、撮
像する対象の距離情報を演算する距離演算手段と、前記
記憶手段に記憶された画像を再生する再生手段と、前記
距離演算手段によって演算された距離情報を基に画像を
補間する補間手段と、前記再生手段による再生順序を入
力する再生順序入力手段と、操作者の視線方向を入力す
る視線入力手段と、前記再生順序入力手段と前記視線入
力手段によって入力された情報に基づいて前記画像入力
手段によって画像を撮影した範囲での任意の視点及び視
線方向から前記記憶手段に記憶された画像を再生して前
記補間手段によって補間し、平面画像あるいは立体画像
として再生する画像処理手段とを備えた画像処理装置を
特徴とする。

【００１３】また本願における請求項２に記載の発明に
よれば、請求項１において、前記距離演算手段を、複数
の画像入力手段から得られる画像情報を基に距離情報を
演算し、時系列的に得られる距離情報を、前記画像入力
手段の移動量にしたがって適応的に統合して行くように
構成したことを特徴とする。

【００１４】

【作用】請求項１に記載の発明によれば、入力された複
数の画像情報と、画像入力手段の移動情報と、被写体と
の各画像入力位置における距離情報とをそれぞれ記憶
し、それらを任意の視点及び視線方向から見た場合にお
ける画像を記憶手段より順次読み出して補間しながら視
点の変化に基づいて回転させることができ、画像を撮影
した範囲内における任意の視点、視線方向から見た平面
画像もしくは立体画像が出力される。

【００１５】

【実施例】

（第１の実施例）以下、図面を参照し手本発明の画像記
録再生装置をその実施例について詳細に説明する。図１
は、本発明に基づく３次元形状測定装置の構成を示すブ
ロック図である。

【００１６】まずこの構成に関して説明する。破線のブ
ロック１００，１０１は被計測体を画像データとして取
り込む画像入力手段としての画像入力部でありたとえば
左右に並設された複眼の撮像系を構成している。１１
０，１０１は被計測体を撮像する撮像レンズ、１２０，
１２１は例えばＣＣＤのような撮像素子、１３０，１３
１は前記撮像素子の出力信号を保持するサンプルホール
ド（Ｓ／Ｈ）回路、１４０，１４１はオートゲインコン
トロール（ＡＧＣ）回路、１５０，１５１はアナログ撮
像信号をデジタル信号に変換する。アナログ−ディジタ
ル変換器（Ａ／Ｄ）変換器である。

【００１７】破線ブロック２００は、画像入力部の移動
量を検出する移動検出手段としての移動量検出部であ
り、２１０は例えば振動ジャイロスコープのような角速
度センサ、２２０は前記角速度センサ２１０で検出され
た角速度から画像入力部の移動量を算出する移動量算出
回路である。

【００１８】破線のブロック３００は画像信号処理によ
り被計測体迄の距離を算出する距離演算手段に相当する
画像処理部であり、３１０は一定時間画像データを保持
する記憶手段としての画像メモリである。また３２０は
各画像間の各種処理を行う処理部である。

【００１９】撮像レンズ１１０，１１１は、被計測体を
撮像素子１２０，１２１上にそれぞれ結像する。撮像素
子１２０，１２１は、前記結像された被計測体を光電変
換する。Ｓ／Ｈ回路１３０，１３１は撮像素子１２０，
１２１の出力をそれぞれ保持し、引き続くＡＧＣ回路１
４０，１４１が自動的に画像信号のレベルが一定となる
ように利得を制御する。

【００２０】Ａ／Ｄ変換器１５０，１５１はＡＧＣ回路
１４０，１４１の出力をそれぞれアナログ−ディジタル
変換し、ディジタル画像を出力する。

【００２１】移動検出部２００について見ると、角速度
センサ２１０は、画像入力部１００，１０１の動きを検
出する。移動量算出回路２２０では検出された画像入力
部の角速度から画像入力部の移動量及び移動方向を算出
する。

【００２２】角速度センサ２１０は図中１つの様に模式
的に図示しているが、ｘ、ｙ、ｚの３軸方向に対して検
知できる様に構成されている。従って移動量算出回路２
２０の出力である移動量は、ｘ、ｙ、ｚに沿った移動量
Ｂｘ、Ｂｙ、Ｂｚとして出力する事も可能であり、又、

【００２３】

【外１】 の様に全体の移動量を出力する事も可能である。

【００２４】画像処理部３００内の画像メモリ３１０は
一定時間画像データを記憶して、時系列な画像間の演算
を可能にする。処理部３２０は、各種画像処理演算を行
うものである。

【００２５】次に前記構成の装置を用いて撮像する際の
処理及び動作に関して説明する。

【００２６】図３の模式図に示す様に、例えば動物園の
檻の前で前述の画像記録再生装置を持ち、図中矢印３１
の様に動きながら撮影する。この時撮影位置と撮影した
画像の関係を模式的に示すと、図４の様になる。

【００２７】ここで横軸は撮影した画像の範囲（被写体
面での広さ）に相当し、縦軸は時間軸である。図中４
１，４１０で示される物が本実施例のように複眼の撮像
装置で撮影したそれぞれの画像の範囲を示している。

【００２８】次に時刻ｔ₀ から装置を矢印３１方向へと
移動し、ｔ₁ の時刻に成った時を考える。仮りに簡単の
為に、複眼カメラは、平行にシフトしたと考える。その
移動量は前述の移動量算出回路２２０でＢｚと算出され
ている。この情報は画像処理部３００へと伝送され、前
述した様に被写体距離

【００２９】

【外２】 を求める。図５は画像処理部３００内の処理部３２０の
構成で示すもので、移動量Ｂ（Ｂｘ，Ｂｙ，Ｂｚ）は、
図５に示す様に被写体距離連結部５００に入力される。
被写体距離連結部５００では、被写体距離

【００３０】

【外３】 と移動量算出回路２２０の出力Ｂとのベクトル加算を行
う。従って、時刻ｔ₀ の場所のカメラの位置を基準とす
ると、被写体距離

【００３１】

【外４】 に換算される。

【００３２】同様に

【００３３】

【外５】 もそれぞれＢｘ，Ｂｙが加算される。この時求められる
物点の数は、時刻ｔが増す事に詳細になって行き、図４
に示す様に、矢印３１の方向に複数回撮影する事によ
り、広範囲でかつ詳細な距離データを得る事ができる。

【００３４】次に図６を用いて記録した画像の再生を行
うための構成及びその方法を説明する。図６は再生手順
を指定する為の装置の構成ブロック図である。これは本
発明の再生手段を構成する。

【００３５】ここでは再生順序入力手段、視線入力手段
を構成する各種のポインティングデバイスから、インタ
フェースＭＭＩ／Ｆを介して、ポインティングデータが
入力される。図６中には視点を設定するためのポインテ
ィングデバイスとして、ポヒマスセンサ（商標登録）、
ジョイスティック、マウス、ペン等を示している。図６
（ｂ）はポインティングデバイスによって画面内の位置
を指定する様子を示したもので、まず最初のポイントが
図６（ｂ）に示される点に１２１０とすると、順次１２
１１，１２１２，…と入力されていく。この時１２１
０，１２１１，１２１２と示された点線が画像を再生す
る順序となる。この図では右上から左下へと、一本の点
線を描いているが、例えばループにしたり、８の字にし
たり、描く線は任意である。

【００３６】従って再生順序が、従来の順再生、逆再生
に比べて、格段に自由度の増した再生が可能となる。一
方、再生する画像は実際には、記録時に撮影した画像
と、前述した画像処理部３００で求めた距離情報を用い
て、再生手順に従って順次、生成していく事になる。

【００３７】この様に撮影した状況から、まず、最初の
時刻ｔ₀ において得られた２画像４１，４１０から被写
体の立体情報の抽出を行う。ここでは、その処理を行う
装置の処理方法に関して説明する。処理方法としては、
２つの画像４１，４１０を用いて、両画像間の互いに対
応する点の情報を抽出し、この抽出結果と、カメラの撮
影パラメータ、例えば焦点距離ｆ、２つのカメラの間隔
ｂ等を用いて三角測量的に被写体の立体情報を求めて行
く方法が挙げられる。

【００３８】これは実際には対応点対を求めるには、テ
ンプレートマッチング等を行う。

【００３９】尚、テンプレートマッチング法について
は、たとえば本出願人による特開平７−９５４６７号公
報に開示したように、例えば左画像中のある１点を囲む
テンプレートを考え、そのテンプレートの画像に対する
右画像中での類似性の比較によって対応点を決定するも
のである。類似性の比較の一方法である相関法は、テン
プレートの画像中の画素値と探索画像中の画素値との相
互相関をとり、最大値となった座標を対応点とするもの
である。

【００４０】これにより物点Ｐｉに相当する４１，４１
０の画像中の対応点対が例えば（ｖ _L ，ｈ_L ），（ｖ
_R ，ｈ_R ）の座標とすると、物点Ｐｉの被写体距離

【００４１】

【外６】 で示される。

【００４２】この様に画像４１，４１０から得られる複
数の対応点対から被写体距離Ｚ_iを全て求める。

【００４３】

【外７】 これは例えば図７に示す様に、画像４１，４１０に示す
様に記録され、空間において再生手順（視点の変化）
を、７１０の様にしたい場合、図１に示す様に、再生手
順に従って、一番近い画像ペアが２組、画像選択部８０
０より選択され、７１Ｌ，７１Ｒ，７２Ｌ，７２Ｒが出
力される。図１は図６（ａ）の再生処理ブロックのマイ
クロプロセッサＭＰＵを中心とする処理をブロック図で
示したものである。この出力は、次の画像生成部８０１
で各画像ごとの距離情報５０１と、ＭＭＩ／Ｆを介して
ポインティングデバイスより再生時の視線方向が入力さ
れる事により、再生画像７２Ｌ，７２Ｒが出力される事
になる。

【００４４】画像処理手段としての再像生成部８０１
は、各画像間の差分を補間する補間手段としての画像補
間部と、画像を図７の７１０に従って回転させる画像回
転部より構成される。

【００４５】画像補間部では、（７１Ｌ，７１Ｒ），
（７２Ｌ，７２Ｒ）の２組から、その再生手順が示す場
所から変化する画像間の変化の補間が行なわれる。この
補間についてはたとえば特願平６−２１６３２３号にお
いて開示している。次に画像回転部では、補間によって
得られた画像を図７の７１０で示すように視線方向に従
って回転する。

【００４６】例えば、

【００４７】

【外８】 の様に回転させる。

【００４８】この様にする事により、撮影時に実際に撮
像して得られた画像からのみの再生ではなく、再生手順
に従った画像を任意の方向から見た様に画像を変位させ
て再生する事ができる。

【００４９】又、補間画像を全て持つ事はしなくて良
く、順次、距離情報より補間できるので、記憶容量も大
きく必要ではない。

【００５０】ここであらためて、再生手順から画像が出
力されるまでの様子を図を用いて説明する。

【００５１】図１１は、再生手順７１０に従って順次再
生されていく画像が出される説明図である。

【００５２】まず図１１（ａ）に示される様に、画像は
撮影時の動き３１に従って４１，４１０が順々に入力さ
れている。次に前記説明の様に再生手順７１０が入力さ
れて行く。

【００５３】再生手順７１０中の任意の点１２１０にお
ける再生画像は、１２１０から撮影時の動き３１へ垂線
をおろし、その交点をはさむ画像７０Ｌ，７０Ｒ，７１
Ｌ，７１Ｒが選択される。選択された画像をｂ）に示
す。立方体の被写体をちょうど両側から見る様になって
いる画像７０Ｌ，７０Ｒと右側へ動き量１１１だけ動き
た場所から見た絵７１Ｌ，７１Ｒが撮影されている。

【００５４】次にこの４つの画像７０Ｌ，７０Ｒ，７１
Ｌ，７１Ｒから、任意の時刻に相当する様補間する事
と、距離情報を利用して視線方向から見た様に画像を変
換する事が行なわれる。その結果画像は７２Ｌ，７２Ｒ
が生成される。この２つの面像が例えばＨＭＤ（ヘッド
マウンテッドディスプレイ）等のＤｉｓｐｌａｙに表示
される。

【００５５】（第２の実施例）第２の実施例としては、
立体情報の更新に関して以下の様な実施が挙げられる。

【００５６】まず第１の実施例としては、時刻ｔ毎に得
られる距離情報全てが登録されて行く事になる。

【００５７】これに対して撮影者の撮影場所が違う場合
でも、同一被写体を計測する事が考えられる。

【００５８】そこで以下の様に同一点の判断を行う。時
刻ｔ₀ で求められた

【００５９】

【外９】 と時刻ｔ₁ で求められた

【００６０】

【外１０】 の点に関して、評価値Ｅを

【００６１】

【外１１】 の様に計算する。

【００６２】この時Ｅ＜ｔｈ（Ｂ）を満たす時、

【００６３】

【外１２】 が同一点とみなす。この時このしきい値ｔｈ（Ｂ）は、
例えば移動量Ｂに応じて変化させる。

【００６４】これは、移動量

【００６５】

【外１３】 が小さい時は、ｔｈ（Ｂ）を小さな値とする。ｔｈ
（Ｂ）＝αＢ（αは正の係数）等とする（図８
（ａ））。

【００６６】これに対して、Ｂが大きい時には、ｔｈ
（Ｂ）は大きくなる。この様に適応的にしきい値ｔｈ
（Ｂ）を決める事により、同一点判断を高精度に行う事
が出来る。

【００６７】又、移動量Ｂ等の検出が高精度の場合等に
は、図８（ａ）の様に

【００６８】

【外１４】 の様にする事が出来る。

【００６９】但しＤ＝Ｃ−βＢ₀ βは任意の係数 これにより、近くで撮った時は比較的に同一点判断をゆ
るくし、遠い場所から撮影した物は厳しくする事も考え
られる。

【００７０】（第３の実施例）第３の実施例としては、
図９（ａ）に示す様にまず時刻ｔ₀ に撮像された２つの
画像Ｌ９００，Ｒ９１０から、距離情報

【００７１】

【外１５】 を求める。次に時刻ｔ₁ に撮像された２つの画像Ｌ９０
１，Ｒ９１１から距離情報

【００７２】

【外１６】 を求める。この２つのｔ₀ ，ｔ₁ 時刻で求められた距離
情報

【００７３】

【外１７】 から前述した様に距離情報Ｚ_itを求めて行く手法が第２
の実施例であった。これを第３の実施例では以下の様に
図９（ｂ）に示す様に更に

【００７４】

【外１８】 を順々に求めて行く所を付加して行く。これは、まず時
刻ｔ₀ に撮像された２つの画像Ｌ９２０，Ｒ９３０から
距離情報

【００７５】

【外１９】 を求める。次に時刻ｔ₁ に撮像された２つの画像Ｌ９２
１，Ｒ９３１から距離情報

【００７６】

【外２０】 を求める。といった事が行われる。この順々で求められ
た２つの距離情報

【００７７】

【外２１】 に加えて、時刻ｔ₀ に撮像されたＬ９２０と時刻ｔ₁ に
撮像されたＬ９２１から得られる

【００７８】

【外２２】 と時刻ｔ₀ に撮像されたＲ９３０と時刻ｔ₁ に撮像され
たＲ９３１から得られる

【００７９】

【外２３】 が加えられる事である。

【００８０】この時、

【００８１】

【外２４】 は同一の撮像装置が移動量Ｂだけ変化した点での情報か
ら求められた物である。

【００８２】図１０にこれらの距離情報を統合して行く
手順を記述する。まず、時刻ｔ₀ にＳ１に示す様に

【００８３】

【外２５】 を算出する。撮像装置はＳ２に示す様に時刻ｔ１にはＢ
だけ移動している。この時前述の様に

【００８４】

【外２６】 を算出する（Ｓ３）。そして

【００８５】

【外２７】 も算出する（Ｓ４）。

【００８６】Ｓ５のブロックでは移動量Ｂが複眼のカメ
ラの基線長ｂより短い時は、

【００８７】

【外２８】 は考慮しない事としブロックＳ７に進み

【００８８】

【外２９】 からＺ_j をを求める。Ｂがｂより大きい時は、ブロック
Ｓ６に進み４つのＺの情報を用いてＺを算出していく。
この時同一点かの判断は例えば第２の実施例と同様に行
う。

【００８９】この様にして最終的に距離情報を統合して
行く。

【００９０】

【発明の効果】以上説明したように、本発明の請求項１
に記載の発明によれば、撮像した被写体に対して、任意
の視点位置、視線方向で立体画像、或いは平面画像とし
て、任意の再生順序で画像を鑑覚する事ができる。又、
本出願に係る第２の発明によれば、任意の視点位置、視
線方向の画像を補間するに必要な被写体の距離情報を高
精度に抽出する事ができる。

【図面の簡単な説明】

【図１】再生手順、距離情報、再生時の視線方向から再
生画像を生成する模式図。

【図２】複眼撮像装置のブロック図。

【図３】複眼撮像装置を用いて撮像する様子を説明する
図。

【図４】図３の手順で撮像された画像の撮像範囲と時刻
の関係を示す図。

【図５】被写体の距離情報を抽出していくブロック図。

【図６】再生手順入力装置の構成図と再生手順を示す
図。

【図７】撮影時の画像と再生手順との関係を示す図。

【図８】同一点を判断する評価値と移動量の関係を示す
図。

【図９】距離情報を求める事を説明する図。

【図１０】距離情報を統合していく事を説明する図。

【図１１】再生手順から画像が出力されるまでの処理を
説明する図。

【符号の説明】

３１ カメラ移動 ４１、４１０ 画像 １００、１０１ 画像入力部 ２００ 移動量検出部 ５００ 被写体距離連絡部 ５０１ 距離情報 ７１０ 再生手順 ８００ 画像選択部 ８０１ 画像生成部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 5/232 Ｈ０４Ｎ 5/76 Ａ 5/76 13/04 13/04 Ｇ０２Ｂ 7/11 Ｎ

Claims (2)

【特許請求の範囲】
1. 【請求項１】 画像を入力する画像入力手段と、 前記画像入力手段によって入力された画像を記憶する記
   憶手段と、 前記画像入力手段の移動方向及び移動量を検出する移動
   検出手段と、 前記記憶手段に記憶された画像を再生する再生手段と、 前記距離演算手段によって演算された距離情報を基に画
   像を補間する補間手段と、 前記再生手段による再生順序を入力する再生順序入力手
   段と、 操作者の視線方向を入力する視線入力手段と、 前記再生順序入力手段と前記視線入力手段によって入力
   された情報に基づいて前記画像入力手段によって画像を
   撮影した範囲での任意の視点及び視線方向から前記記憶
   手段に記憶された画像を再生して前記補間手段によって
   補間し、平面画像あるいは立体画像として再生する画像
   処理手段とを備えたことを特徴とする画像処理装置。
2. 【請求項２】 請求項１において、 前記距離演算手段は、複数の画像入力手段から得られる
   画像情報を基に距離情報を演算し、時系列的に得られる
   距離情報を、前記画像入力手段の移動量にしたがって適
   応的に統合して行くことを特徴とする画像処理装置。