JP2688925B2 - 立体画像表示用装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は写真測量用の立体画像表示用装置に関するも
のである。

従来の技術 写真測量は、２台のカメラで撮影した２枚の写真を立
体視して同一対象物にメスマーク（測定するための点）
をそれぞれ合せ、両メスマークの写真上での座標関係か
ら対象物の三次元的位置を計測するものである。

この分野においては、測定部と描画部が連動した図化
機（アナログ図化機とも呼ばれる）が古くから使用さ
れ、また最近においては測定部の出力を計算機処理で座
標計算を行う解析図化機が使用されている。

これら両者の図化機における測定部は、光学機械手段
によるところが大きく、立体視もその多くはファインダ
でのぞくものである。

とろこで、写真測量用の写真撮影は、２台のカメラが
固定されたステレオカメラで同時に２枚撮影する場合
と、１台のカメラで２ヶ所から撮影する場合の２通りが
ある。

ステレオカメラを用いた時の特徴は、２つのカメラが
所定の関係で配置しているので、それで撮影した写真は
特別の補正をすることなく、いわゆる立体視する条件が
整っている。

しかし、このステレオカメラを用いることのできる場
合は対象物が比較的近距離の時である。遠距離の場合は
２台のカメラを所定の関係に保つことは難しく、一般に
１台のカメラで位置を変えて撮影するやり方がとられ
る。この場合始めのカメラの状態と次の状態との傾き関
係は規制できず、立体視するために補正が必要である。

このため、従来の図化機、解析図化機には光学機械式
の補正機構が付いていた。なお補正には相互標定要素
（２つのカメラの各方向に対する傾き角の成分）が用い
られる。

ここで相互標定要素には一方のカメラを基準に他方の
カメラの状態を示す場合（片側固定）と、２つのカメラ
の投影中心を結ぶ線を基準に両カメラの状態を示す場合
（投影中心）の２種類がある。

発明が解決しようとする課題 従来の装置による測定は人間の操作に頼らざるを得
ず、かなりの熟練が要求され、また疲労も多かった。こ
のため現在２枚の写真における対応位置を計算機で自動
的に検出する相関処理等のステレオマッチングが研究さ
れている。そして、従来の画像記録媒体である写真フィ
ルムあるいは印画紙は、保管状態により画像に歪みを与
えたり、よごれ、きず等保管に十分注意しなければなら
ないという問題があった。

こうした状況と最近のデジタル情報記録の高密度化が
相俟って写真画像をデジタル情報にし、磁気テープ、光
ディスク等に記録し、必要に応じて計算機で処理しよう
という要求が増ている。

しかしながら計算機の入力と出力に関する従来の装置
について見てみると、次のような問題があった。

入力である画像入力装置においては、写真画像の情報
を写真測量の要求に対応できる高精度、高分解でデジタ
ル情報に変換するものがなく、また変換されたデータは
全画像の一走査線分を単位として扱わなければならず、
計算処理に不向きであった。

また、出力である画像のモニタは、奥いきのない平面
的なものであり、人間が計算処理の結果を正当なものか
どうかを簡単に評価することはできなかった。計算機処
理におけるステレオマッチング処理はまだ完全でなく、
人間のチェックおよび修正を必要とされるものである
が、これに向いた画像表示装置がなかった。

このように入力、出力装置に関する問題があり、計算
機処理を用いて自動化、省力化を進めることは難しかっ
た。

発明の目的 本発明の目的は、計算機に対する人間の対話処理を可
能にするためのものであり、デジタル情報に変換された
画像データを扱い、立体視条件の整っていない画像情報
を補正して立体視可能な表示をさせる立体画像表示用装
置を提供するところにある。

さらに本発明の目的は、測定点を明確にするため、立
体表示にあたってはメスマークを合成して表示し、マニ
アル測定や計算処理結果のチェック、修正を対話形式で
行えるようにするところにある。

発明の要旨 本発明は、左右２つの画像をモニタに表示させ、それ
を左右分離してそれぞれの画像を左右眼に入るようにし
た立体画像表示用装置において、 少なくとも右用または左用の一方の画像を立体視の条
件を満足するように縦視差を除去する座標変換をする画
像変換部と、 該画像変換部の結果を記憶する映像メモリとを有し、 映像メモリの出力を右用または左用の画像として表示
させることを特徴とする立体画像表示用装置を要旨とし
ている。

課題を解決するための手段 第７図を参照する。第７図の立体画像表示用装置70
は、左右２つの画像をモニタ82,82aに表示させ、それを
左右分離してそれぞれの画像を左右眼に入るようにした
ものである。

この装置70は、少なくとも右用または左用の一方の画
像を座標変換する画像変換手段と、 画像変換手段の結果を記憶する映像メモリ74,74aとを
有し、映像メモリ74,74aの出力を右用または左用の画像
として表示させる。

前記右用の画像変換手段は、実施例ではメモリ制御部
76と処理指令部80,アドレスセレクタ78から成る。また
左用の画像変換手段はメモリ制御部76a,処理指令部80,
アドレスセレクタ78aから成る。

この発明は、立体視条件の整っていない画像を座標交
換して映像メモリに記憶してその出力を表示させるもの
である。

さらに両画像に対応してそれぞれのメスマークを合成
表示させる。ここでの座標変換は一方の画像を基準とす
るならば他方の画像情報にのみ適用すればよい。しかし
中心投影による相互標定で得られる射影変換要素を用い
て座標変換をする場合などは、両画像情報に座標変換を
適用する必要がある。実施例においては両方に適用した
例を示す。

さらに多数のメスマークを同時に発生させ、同時に多
数の処理結果を評価できるようにする。このためにメス
マークの発生は映像メモリに対応したメスマークメモリ
を用い、メスマークメモリにメスマークを書込んで映像
メモリとメスマークメモリとの出力を合成して表示させ
る。このような表示方法はメスマークのかわりに等高
線，輪郭線を用いることにより、等高線処理，輪郭線処
理の妥当性も評価できることになる。

作 用 右用または左用の画像を座標変換し、その変換結果を
記憶し、右用または左用の画像として表示する。

実施例 明細書における画像とは、走査線一本分の一次元的な
情報群は意味しておらず、走査線が複数で二次元的な情
報群を意味するものとする。

［画像入力用ステージ］ 第１図は、本発明の立体画像表示用装置と組合せるの
が好ましい画像入力用ステージを示す図である。

ベース１に取付けられたＸ軸モータ２により、Ｘ軸ガ
イド3,4に沿ってＸステージ５が移動す。またＸステー
ジ５に取付けられたＹ軸モータ６により、Ｙ軸ガイド7,
8に沿ってＹステージ９が移動する。

ベース１に取付けられたリニアエンコーダ10とＸステ
ージ５に取付けられたＸ検出器11は、Ｘステージ５の位
置を測定するものである。Ｘ検出器11はその出力にＸス
テージ５の移動量に応じたパルス数を発生する。また同
様にＸステージ５に取付けられたリニアエンコーダ12と
Ｙステージ９に取付けられたＹ検出器13はＹステージ９
の位置を測定するものである。Ｙ検出器13はその出力に
Ｙステージ９の移動量に応じたパルス数を発生する。

ベース１の内部には撮像系が取付けられている。また
ベース１とつながっている照明用アーム14の内部には照
明系が取付けられている。これらの撮像系と照明系はあ
とで説明する。

［フィルム固定部］ Ｙステージ９には、フィルム22を固定するためのフィ
ルム固定部15が載せられ、図示なきネジで固定されてい
る。また第１図には別のフィルム22aも示されている。
これらのフィルム22,22aは、たとえば１台のカメラで位
置を変えて撮影した航空写真である。

第２図はフィルム固定部15とフィルム22の関係を示
す。フィルム固定部15は、ガラス板16,17、固定金具18,
19、ねじ20、金具21を有する。

フィルム22はガラス板16,17で挟まれて固定される。
ガラス板16はガラス板17に取付けられた固定金具18,19
に押え金具21をねじ20で４カ所留めることで固定され
る。このように画像情報源をガラス板によってしっかり
と固定するので、画像情報源が不要に動くことがない。
このため高分解、高精度に画像情報を取込める。

［光学系］ 第３図は画像を入力するための光学系を示す。実施例
では、対象となる画像情報源はフィルム22であり、透過
照明光学系の例である。この光学系は反射照明系でも良
く、この場合フィルム22の片面側がガラス板であれば良
い。

照明系23において、ランプ23aとレンズ24の焦点位置
は、レンズ25によって共役な関係にあり、均一な照明を
フィルム22に与える光学系になっている。またレンズ25
の焦点位置には絞り26を配置し、そしてその近傍にはよ
りいっそう均一な照明を得るための拡散板27を設けてい
る。

撮像系30は、フィルム22の画像をレンズ31,32を介し
てエリアCCD等で知られる半導体の撮像素子33上に結像
させる。レンズ31の焦点位置には絞り34が取付けてあ
り、いわゆるテレセントリック光学系となっている。こ
のため光軸外の主光線l1,l2,…も光軸に平行であり、フ
ィルム22とレンズ31の距離が変化しても結像の大きさに
は影響を与えない。このことはガラス板17の屈曲率が結
像の大きさに影響を与えなく、またガラス板17の厚さも
結像の大きさに無関係であることも意味している。

またレンズ31,32は同一のレンズを使用しており、そ
れを対称形に配置した等倍のテレセントリック光学系と
なっている。従ってディスートション等の非対称収差が
除去（原理的には完全に除去）される。

［電気系］ 第４図は画像入力装置の電気系を示す図である。第１
図も参照する。

処理制御部40は、第１図のＸステージ５、Ｙステージ
９を所定の位置に移動されるため、Ｘモータ駆動部41と
Ｙモータ駆動部42にそれぞれＸ位置指定、Ｙ位置指定の
データを送る。これによりＸモータ駆動部41とＹモータ
駆動部42の出力をそれぞれＸ軸モータ２、Ｙ軸モータ６
が受け、Ｘステージ５、Ｙステージ９を移動させる。

X,Yステージ5,9の移動に従いX,Y検出器11,13の出力に
発生するパルスをそれぞれX,Yカウンタ43,44で計数す
る。このＸ、Ｙカウンタ43,44での計数値はそれぞれX,Y
モータ駆動部41,42に送られ、X,Y軸モータ2,6は処理制
御部40からのX,Y位置指定にそれぞれの計数値が一致す
ると停止する。つまりＸ検出器11、Ｘカウンタ43、Ｘモ
ータ駆動部41、Ｘ軸モータ２で構成される系がサーボ系
である。またＹ検出器13、Ｙカウンタ44、Ｙモータ駆動
部42、Ｙ軸モータ６で構成される系がＹサーボ系であ
る。

ここでX,Yカウンタ43,44の計数値は処理制御部40で読
取られ、必要に応じてランダムアクセス可能な記録装置
である光ディスク45で記録される。

画像情報がタイミング発生器46からのタイミングパル
スに従いCCD撮像素子33で電気信号に変換される。この
電気信号はA/D変換器47でデジタル信号に変換され、第
１メモリ48に送られる。このときアドレスカウンタ49は
タイミング発生器46からのタイミングパルスを計数する
ことで、第１メモリ48のアドレスを管理している。従っ
てA/D変換器47でデジタル信号に変換された画像情報は
第１メモリ48に記憶されることになる。

ここでアドレスカウンタ49は行，列アドレスに対応し
たカウンタで構成され、列用カウンタのキャリィを行用
カウンタが計数するよう構成されている。またこのアド
レスカウンタ49は、列用カウンタ及び行用カウンタのキ
ャリィを発生させる計数値が処理制御部40で変更設定で
きるように構成されている。つまり第１メモリ48に対し
て書込み読取りを行う場合、順次指定する行、列アドレ
スの範囲を処理制御部40で変更できるようになってい
る。

第１メモリ48にはCCD撮像素子33で得られる画像情報
すべてが一時的に記憶される。ここで必ずしもCCD撮像
素子33の画素数と分割画像の画素数が一致している必要
がなく、分割画像を単位としたが画像データは第１メモ
リ48から光ディスクドライブ45に画像データを転送する
時に、分割画像の画素数分を転送することで得られる。

第１メモリ48に記憶されている分割画像のデータは、
処理制御部40がタイミング発生器46へ指令を出すことに
より、データセレクタ49aを通して光ディスクドライブ4
5に送られて光ディスク45a,または45bに記録される。こ
こで光ディスク45a,45bはそれぞれフイルム22,22aによ
って得られる情報を記録する媒体である。データセレク
タ49aは第１メモリ48の出力と第２メモリ50の出力を選
択して光ディスクドライブ45に送るものである。この場
合は処理制御部40からの信号に従って第１メモリ48の出
力を光ディスクドライブ45に送っている。また第１メモ
リ48から光ディスクドライブ45にデータを転送している
間、そのデータは第２メモリ50にも供給されている。第
２メモリ50は圧縮画像を記憶するための記憶部である。

圧縮画像はサンプリング（例えば16×16に１データを
サンプリング）や、平均（例えば16×16を平均して１デ
ータとする）処理によるものが考えられる。ここでは説
明を簡潔にするためサンプリング処理の例を上げる。

アドレスセレクタ51は処理制御部40からの信号に従っ
てアドレス変換器52の出力を第２メモリ50に送ってい
る。アドレス変換器52は圧縮画像を得るための第２メモ
リ50のアドレス指定部である。つまりこのアドレス変換
器52はアドレスカウンタ49の出力値に圧縮率を掛け、そ
れに処理制御部40で示される先頭アドレスを加えたもの
を出力する。

例えば圧縮率が1/16で、先頭アドレスが0,0（行，列
アドレス）の場合のアドレス変換器52の出力は、行，列
値で0,0から順にアドレスカウンタ49の行，列の値がそ
れぞれ16増加するたびに、行，列値がそれぞれ１増加す
る。すなわち、アドレスカウンタ49の内容に対応して分
割画像のデータが順次第１メモリ48から第２メモリ50に
供給されるが、アドレス変換器52の出力は16×16の微少
画像域において同一値であり、結局16×16の微少画像域
において最後に供給された画素データが第２メモリ50内
に残り、分割画像の全データが供給され終わると分割画
像を1/16に圧縮した画像が第２メモリ50内に記憶され
る。

この分割画像を圧縮した画像である分割圧縮画像の第
２メモリ50における記憶位置は、その先頭アドレスが処
理制御部40で示される先頭アドレスとなる。

なお、1/16の演算は、アドレスカウンタ49の出力を下
位方向に４ビットシフトすることで代用することがで
き、また第１メモリ48に記憶されている分割画像の行及
び列の画素数をともに２の整数乗とすることにより、先
頭アドレスは分割画像内を示す行，列アドレスのビット
より上位のビットで構成される。つまり圧縮率が1/16
で、分割画像の行，列画素数がともに２の整数乗の場
合、アドレス変換器52は行及び列の両方に関して、アド
レスカウンタ49の５ビット目以上のビットを下位のビッ
トとし、処理制御部40からの先頭アドレスのビットを上
位のビットとして出力するように結線するだけで達成さ
れる。

以後実施例において、アドレス変換器52はこの様に構
成されたものとする。

順次撮影されて得られる各分割画像のデータは順次一
時的に第１メモリ48に記憶された後、光ディスクドライ
ブ45に転送される。また各分割画像のデータが第１メモ
リ48から転送される度に、それに基づく分割圧縮画像が
第２メモリ50内に形成される。この分割圧縮画像の形成
にあたっては、その都度各分割圧縮画像が繋がるよう
に、処理制御部40から先頭アドレスが指定される。従っ
て各分割画像のデータ転送が全て終わると、第２メモリ
50内には撮影した範囲の圧縮画像が形成されることにな
る。

第２メモリ50内に形成された圧縮画像は、処理制御部
40がアドレスセレクタ51に対してアドレスカウンタ49の
出力を第２メモリ50に送るように信号を出し、またデー
タセレクタ49aに対して第２メモリ50の出力を光ディス
クドライブ45に送るように信号を出し、そしてタイミン
グ発生器46へ指令を出すことにより光ディスクドライブ
45に転送されて光ディスク45aまたは45bに記録される。

この様にし得られた縮画像は各分割画像と完全に位置
対応がとれた低倍率の画像を意味する。従って圧縮画像
は各分割画像の索引用としても利用できる。

画像データを取る領域は、オペレータが入力部55で指
定することによる。これにより処理制御部40は分割画像
の配置を算出し、各分割画像のデータを取るように各部
を制御する。

［分割画像と撮像素子の関係］ 第５図は分割画像を撮像素子上に対応させて、その関
係を示したものである。分割画像の大きさに対応する分
割画像領域DIMは破線で囲まれる１つの部分である。分
割画像領域DIMは、CCD撮像素子33の大きさを示す撮像領
域SIMより小さく設定されている（分割画像領域DIMは撮
像領域SIM以下でなければならない）。撮像領域SIMは太
い実線で囲まれる部分である。

また、分割画像領域DIMの大きさは行，列画素ピッチ
の整数倍に設定されるが、特に実施例の場合は既に述べ
たように、圧縮画像を得るための構成が簡単になるよう
に行，列画素ピッチの２の整数乗倍にしてある。ここで
第５図中のW,Vは分割画像領域DIM内における行，列の画
素数である。

第１図のX,Yステージ5,9の移動方向と第５図の分割画
像領域DIMの境界線は、制御の容易さから実施例におい
ては一致させてある（１画素以内）。また分割画像領域
DIMの境界線（分割画像の配列方向）と画素UIMの配列方
向はほぼ一致させてある（１画素以内）。

［フィルムに対する必要な画像情報の一例］ 第６図は航空写真のフィルム22に対する必要な画像情
報の一例を示す。

必要な画像情報は、フィルム22の視野FIM外にある指
標FP1,FP2,FP3,FP4の画像情報と、必要領域NIMで示され
る画像情報である。従ってこの場合の画像情報の取込み
は分割画像DIF1,2,3,4とDIF0,0〜N,Mである。

指標画像情報つまり分割画像DIF（1,2,3,4）の情報
は、オペレータが対話形式で各々の指標座標の概略値を
入力し、X,Yステージ5,9を移動させて取込んでもよい。
また指標FP1,FP2,FP3,FP4のフィルムに対する概略位置
はあらかじめ定まっているので、自動的に順次取込むよ
うにしてもよい。

ただし、この場合第１図のフィルムをX,Yステージ5,9
の定まった位置にセットできるようにすることが必要で
ある。これにはフィルム固定部15がＹステージ９に定ま
った位置関係でセットされるようにし、フィルム固定部
15に位置だし用マークをつけておき、フィルム22をそれ
に合せてセットするようにすると良い。

第４図〜第６図を参照する。必要領域NIMの画像情報
取込み関する処理制御部40の動作を次に述べる。

必要領域NIMはオペレータが必要領域指定点SP1,SP2
を設定することによる。これにより第４図の処理制御部
40は２つの必要領域指定点SP1,SP2のX,Y軸に関する差を
とり、必要領域NIMの大きさを示すΔX,ΔＹを求める。
そしてこのΔX,ΔＹを分割画像のX,Y軸の長さで割り、
X,Y方向の分割画像数を求める（ただし、小数点以下を
切上げて求める）。ここで第６図中の分割画像番号の最
大を示すN,MはX,Y方向の分割画像数から１減じた値とな
る（ここで、ｎ＝０〜Ｎ、ｍ＝０〜Ｍとする）。

次に処理制御部40は分割画像DIF（0.0）が撮像素子
33に第５図の関係で対応するようにX,Yステージ5,9を移
動させ、ステージが停止したら撮像素子で画像情報を取
込む。ここでX,Yステージが静止している状態で、画像
情報を取込んでいる。これは振動等の悪影響を受けるこ
とがなく、高分解、高精度化に有用である。

そして圧縮画像データ作成のため、Ｖ×n/16とＷ×
m/16を算出し、それぞれの値を先頭アドレスの列，行値
として第４図のアドレス変換器52に送る。

処理制御部40がタイミング発生器46へ指令を出すこ
とにより、前述のごとく光ディスクドライブ45に分割画
像が転送され、また、第２メモリ50に分割圧縮画像が形
成される。

における分割画像DIF（0,0）に対する動作を分割
画像DIF（1,0）に対して行い、からの動作を同様に
行う。同様にして分割画像DIF（N,M）まで行う。ここま
での動作が終了すると、分割画像の転送が完了し、圧縮
画像が第２メモリ50に形成されたことになる。

圧縮画像の転送のため、前述のごとくアドレスセレ
クタ51とデータセレクタ49aを第２メモリ50の出力デー
タ用に設定し、タイミング発生器46へ指令を出す。これ
により光ディスクドライブ45に第２メモリ50に形成され
た圧縮画像が転送される。

ただし上記ステツプ中において、処理制御部40はアド
レスカウンタ49の行用カウンタ及び列用カウンタのキャ
リィを発生させる計数値として、の時は撮像素子の画
素数（列，行）、の時は分割画像の画素数（V,W）、
の時は圧縮画像のデータ数（列，行）に対応したもの
を設定する。

なお、光ディスク45a,45bに第１図のフィルム22から
得た分割画像を転送して記録する際、その画像の位置を
明確にするためにX,Yカウンタ43,44の内容を一緒に転送
して記録しても良い。

このようにして、第１図のフィルム22,22aから得た分
割画像及び分割圧縮画像（さらにはXYカウンタの内容）
はそれぞれ光ディスク45a,45bに記録される。

［立体画像表示用装置70］ 第７図は本発明の立体画像表示用装置70の構成例を示
す。右画像表示系71と左画像表示系72は同一の構成とな
っている。左画像表示系72の各部分は、右画像表示系71
の対応する各部分の符号に、ａを付加して表示する。以
下に右画像表示系71の構成を代表して説明する。

ランダムアクセス可能な記録装置である前記光ディス
ク45a,45bには、右，左画像情報が第６図で示されるよ
うな分割画像を単位とした画像で記録されている。これ
ら光ディスク45a,45bは光ディスクドライブ60,60aにセ
ットされ、データの読出し（あるいは書込み）が行われ
る。

バッファメモリ73は光ディスクドライブ60から転送さ
れる画像データを一時的に記憶するためのメモリであ
り、さらに“画像の組合せ切出し処理”（あとで説明す
る）に応じるために分割画像データを複数分収容できる
容量（ここでは４分割画像以上とする）を持っている。

映像メモリ74はバッファメモリ73から転送される表示
用画像データを記憶するためのメモリである。メスマー
クメモリ75は映像メモリ74に対応したアドレス配列とな
っており、メスマーク（実施例では２値画像、つまり１
ビットのデータである）を記憶するためのメモリであ
る。

メモリ制御部76は光ディスクドライブ60からバッファ
メモリ73に、あるいはバッファメモリ73から映像メモリ
74にデータを転送するとき、メモリのアドレスを管理す
るための制御部である。

走査制御部77は映像メモリ74とメスマークメモリ75の
内容を表示させるため、これらのメモリのアドレスを順
次走査するものである。

アドレスセレクタ78は処理指令部80の信号に従ってメ
モリ制御部76の出力と走査制御部77の出力とを選択して
映像メモリ74にアドレス信号として供給する。

メモリ制御部76と処理指令部80およびアドレスセレク
タ78は、画像変換手段を構成する。画像変換手段はバッ
ファメモリ73に記憶された複数の分割画像を組合せ切出
すものである。

合成部79は映像メモリ74とメスマークメモリ75の出力
を合成し、メスマークメモリ75からの信号があったとき
に、これを優先してメスマークを表示するための出力値
（例えば８ビットデータで“FF":最も高輝度な表示）を
出力する。

D/A変換器81は合成部79からのデータをアナログ信号
に変換し、モニタ82に送る。モニタ82は走査制御部77か
らタイミング信号を同期信号とし、D/A変換器81からの
信号に従って画像を映し出す。

ここでモニタ82が画像を映しているときは、アドレス
セレクタ78が走査制御部77の出力を映像メモリ74に供給
するように処理指令部80から信号を受けており、よって
映像メモリ74とメスマークメモリ75はそれぞれのアドレ
スが対応して同じタイミングで動作する。

メモリ制御部76は、バッファメモリ73と映像メモリ74
のアドレスを指定するため、行，列用アドレスカウンタ
を１組ずつ有している。処理指令部80の指令（分割画像
転送指令）に従ってメモリ制御部76は分割画像のデータ
を光ディスクドライブ60からバッファメモリ73に転送す
る。そして処理指令部80の次の指令に従って、メモリ制
御部76はバッファメモリ73内における表示に必要な画像
データのアドレスを順次バッファメモリ73に指定すると
ともに、それに対応する転送先の映像メモリ74のアドレ
スも順次指定し、バッファメモリ73から映像メモリ74に
データを転送する。

バッファメモリ73から映像メモリ74へのデータ転送は
映像メモリ74の１ライン分を単位に転送するものであ
り、処理指令部80の指令とメモリ制御部76の動作を繰り
返すことで必要な画像データ全部を転送するものであ
る。ここで１ライン分の転送は、バッファメモリ73のア
ドレス指定に関してバッファメモリ73の行または列方向
に必ずしも沿っているわけではなく、行列方向に対して
斜方向にアドレスを指定していくことができるようにメ
モリ制御部76が構成されている。

メモリ制御部76のそのようなアドレス指定はメモリ制
御部76のバッファメモリ73用の行および列用アドレスカ
ウンタを加算器等で構成し、計数時の増分値（１カウン
ト当りの増加量）を外部から変更できるようにして、
行，列カウンタを同時に動作させることで可能となる
（任意の方向に向かってのアドレス変化が可能とな
る）。

なおこの時の処理指令部80からのメモリ制御部76への
指令（変換転送指令）の内容はバッファメモリ73に対す
る転送開始アドレス、行，列に関する増分値（以後行列
増分値と記する）、転送数、映像メモリ74に対する転送
先の開始アドレス等である。

左画像表示系72は光ディスクドライブ60aに左画像情
報が記録されている光ディスク45bがセットされている
以外は、右画像表示系71と同じ構成である。

モニタ82,82aの画面は互に直交する偏光フィルタを通
し、ハーフミラーで重ね合わせられることで立体視され
る（図示せず）。ただしこのようにしてモニタ82,82aを
重ね合わせると左右方向が逆になるので、走査制御部7
7,77aは互に逆方向に走査するようにしている。あるい
はバッファメモリから映像メモリへ転送を左画像表示系
72と右画像表示系71とで逆方向の転送としてもよい。

第８図は、ステレオカメラで撮影した写真を用いた場
合における光ディスク45a,45b,バッファメモリ73,73a,
映像メモリ74,74aの内容を示したものである。第８図
（ａ），（ｂ）は光ディスク45b,45aに記録されている
左画像情報、右画像情報を示す。この例においてはＮ＝
5,M＝６の42の分割画像で構成されている画像を示し
た。

また、説明を簡単にするため、対象物体は平面図の正
方形（あるいは立方体の上面）とし、撮影角度はその平
面にステレオカメラの光軸が垂直であるとした。従って
第８図（ａ），（ｂ）中の斜線部のごとく両方とも正方
形で、縦視差のない画像となる。

なお第８図（ａ），（ｂ）中の点Ｐはそれぞれの画像
において対応する一点を示したものである。

左右両画像のそれぞれの点Ｐの位置が求まっていると
し（これは左右の圧縮画像を用いて概略の位置で表して
良いし、またそのようにして得られた概略位置をもとに
以後説明する“組合せ切出し処理”した画像を観測し、
正確な位置を求めても良い）、いま第７図の処理制御部
80に左右両画像のそれぞれの点Ｐの位置が指示されたと
する。

第７図の処理指令部80はメモリ制御部76,76aへ分割画
像転送指令をだし、第８図（ａ），（ｂ）における点Ｐ
を含む分割画像とそれに隣接する分割画像のデータを光
ディスクドライブ60,60aからバッファメモリ73,73aに転
送させる（この例においてはそれぞれ４つの分割画
像）。

第８図（ｃ），（ｄ）はバッファメモリ73a,73の内容
を示したものであり、バッファメモリ73aには左画像の
分割画像（3,0），（4,0），（3,1），（4,1）のデータ
が記憶され、バッファメモリ73には右画像の分割画像 （0,0），（1,0），（0,1），（1,1）のデータが記憶さ
れる。

次に第７図の処理指令部80はメモリ制御部76,76aへの
画像変換転送指令を繰り返し出し（ただし行増分値＝0,
列増分値＝1,転送数＝映像メモリの１行分の画素数で、
これらの値は毎回同じであり、転送開始アドレス、転送
先の開始アドレスが毎回異なる）、映像メモリ74,74aの
１行分を単位としてバッファメモリ73,73aから映像メモ
リ74,74aへ繰り返し転送させる。

第８図（ｃ），（ｄ）の中の点線の領域が映像メモリ
74,74aに記憶される内容である。このようにして隣接す
る分割画像を“組合せ切出し”を行うことで左右のモニ
タ中央に左右画像の点Ｐの映し出すことができ、また立
体視させることができる。

第８図はステレオカメラで撮影した写真の例で、立体
視するための条件が整っており、“組合せ切出し処理”
を行うことだけで立体視が可能となる。

ここでいう“組合せ切出し処理”とは、複数の分割画
像（例では４つの分割画像）を組合せて作られた画像上
において、映像メモリに対応した画像領域を平行移動さ
せることで得られる画像変換であり、角度、倍率、歪等
の変換を伴う、例えばヘルマート変換、アフィン変換、
射影変換等の座標変換は含まない。

第９図は第８図と同じ対象物体を１台のカメラで位置
を変えて撮影した例を示す。この場合は、第８図の場合
とちがい射影変換を用いて画像変換する。始めのカメラ
の状態と次の状態との傾き関係は規制できず第９図
（ａ），（ｂ）のごとく歪んだ画像となり、また縦視差
HDの大きい画像となる。このような状態では人間が立体
視することはできず、とくに縦視差HDがあると立体視す
ることが難しい。なおこの縦視差HDは第９図（ａ），
（ｂ）のように画像の歪が左右一致していないと対応点
の位置により、その大きさが異なる。

第７図の光ディスクドライブ60,60aからバッファメモ
リ73,73aへの転送は、第８図の場合と同様に行うと、そ
の内容は第９図（ｃ），（ｄ）のように、第７図のバッ
ファメモリ73aには左画像の分割画像（2,1），（3,
1），（2,2），（3,2）のデータが記憶され、バッファ
メモリ73には右画像の分割画像（1,0），（2,0），（1,
1），（2,1）のデータが記憶される。

中心投影による相互標定で得られる射影変換要素（相
互標定で得られる回転行列の成分）が与えられると、第
９図（ｅ）〜（ｆ）に示すごとく、第７図の映像メモリ
74aにおいて点Ｐを中心に位置させるためのr1,r2,ro,re
に対応するバッファメモリ73aにおけるt1,t2,to,teを射
影変換式によって求めることができる。これは映像メモ
リ74,バッファメモリ73に関しても同様である。従って
第７図の処理指令部80では、t1,t2,to,teを算出し、t1,
t2における行列増分値を求める。また、映像メモリ74,
バッファメモリ73に関しても同様に行う。

ここで、メモリ制御部76への指令（変換転送指令）は
１ライン枚に射射変換式で転送開始アドレス（t1,t3,…
to）、転送終了アドレス（t2,t4,…te）を算出し、そし
て行列増分値を求めて行っても良いが、演算時間を短縮
するため１ライン（t1,t2）からライン（to,te）までに
おける転送開始アドレス、転送終了アドレス、行列増分
値が直線的に変化するものとして近似計算でライン毎の
各値を求めても良い。

このようにして得られる値を用い、第７図の処理指令
部80はメモリ制御部76へ変換転送指令を繰り返して出
す。このことで、“組合せ切出し処理”を座標変換しな
がら行うことになり、この結果第９図（ｅ），（ｆ）に
示すように補正されて歪、縦視差がなくなった画像が得
られる。よって立体視が可能となる。

以上の射影変換要素に基づく座標変換は圧縮画像のよ
うな全体画像の場合でも同様に行うことができる。これ
は第９図（ａ），（ｂ）の全範囲が（ｃ），（ｄ）の全
範囲に入ったと考えることで容易に推察できる。

第９図において、第７図のバッファメモリからt1,t2
等のデータを読み出し（第９図（ｃ），（ｄ）参照）、
映像メモリにr1,r2等のデータとして記憶させる場合
（第９図（ｅ），（ｆ）参照）に、そのデータは転送ア
ドレスの位置のデータをそのまま記憶させてもよい。し
かし、第10図のように近傍のデータに重みをつけて映像
メモリ74,74aに入力させればさらに補正の程度がよくな
る。すなわちtnに対応する映像メモリのデータ［I.J］
を近傍の交点Onのまわりの４つのデータにOnからの距離
方向を考慮してk1（I,J）＋k2（Ｉ＋1,J）＋k3（I,J＋
１）＋k4（Ｉ＋1,J＋１）から求める。ここでk1,k2,k3,
k4はOnからの距離を考慮した重みづけである。

本実施例によれば、メスマークの修正あるいはマニア
ル操作においては、縦視差がないため対応する点が横方
向に存在することを意味しており、左右画像の一方の点
に対応する他方の点は横方向にのみ探索すればよい。つ
まり対応点探索のためのメスマーク移動は、メスマーク
メモリ上において同一行内でのみ移動させれば良く、操
作が簡単となる。

メスマークメモリ75,75aにはメスマークを記憶させる
かわりに右、左対応する等高線、あるいは輪郭線を記憶
させて画像と合成させて立体視させてもよい。輪郭線の
作成は輪郭を特徴づける複数の特徴点に、順次マニアル
操作で左、右のメスマークを一致させ、特徴点上のメス
マークを連結させる線で得ることができる。

なお、座標変換の精度にもよるが、人間の立体視には
問題とならない縦視差が若干残りうる。この場合メスマ
ークが縦視差のため縦方向に一致しなくなりうるので、
メスマークの形状を縦方向に長い（座標変換で残った縦
差視を吸収できる程度）ものを用いると良い。

ところで、右用と左用の画像変換手段を１つの画像変
換手段で兼用してもよい。つまりこの１つの画像変換手
段により右用と左用の画像を画像変換するのである。

発明の効果 請求項１の発明によれば、座標変換してモニタ上に映
すので立体視条件の整っていない画像も立体視させるこ
とができる。

また、２つの画像に座標変換を適用することで、中心
投影による相互標定で得られる射影変換要素を用いるこ
とができる。

請求項２の発明によれば、立体視条件の整っていない
画像を立体視できるように調整できる。

請求項３の発明によれば、メスマークメモリを用いる
ことで多数のメスマーク、及び等高線を画像に重ねて立
体視することができる。そしてメスマークあるいは等高
線，輪郭線の位置はメスマークメモリ上での位置を変化
させることで三次元的に移動でき、よって左右画像にお
ける対応位置の修正ができる。

【図面の簡単な説明】

第１図は本発明の立体画像表示用装置に関連する画像入
力装置を示す図、第２図はフィルム固定部とフィルムの
関係を示す図、第３図は画像入力装置の光学系を示す
図、第４図は画像入力装置の電気系を示す図、第５図は
分割画像を撮像素子に対応させた図、第６図はフィルム
の必要な画像情報の一例を示す図、第７図は本発明の立
体画像表示用装置の実施例を示す図、第８図はステレオ
カメラで撮影した写真の例を示す図、第９図は第８図と
同じ対象物体を１台のカメラで位置を変えて撮影した例
を示す図、第10図は第９図における補正例とは別の補正
例を示す図である。 １……ベース ２……Ｘ軸モータ ５……Ｘステージ ６……Ｙ軸モータ ９……Ｙステージ 15……フィルム固定部 22……フィルム 45,45a……光ディスク 70……立体画像表示用装置 71……右画像表示系 72……左画像表示系 73……バッファメモリ 74……映像メモリ 76……メモリ制御部 82……モニタ 82a……モニタ

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】左右２つの画像をモニタに表示させ、それ
   を左右分離してそれぞれの画像を左右眼に入るようにし
   た立体画像表示用装置において、 少なくとも右用または左用の一方の画像を立体視の条件
   を満足するように縦視差を除去する座標変換をする画像
   変換部と、 該画像変換部の結果を記憶する映像メモリとを有し、 映像メモリの出力を右用または左用の画像として表示さ
   せることを特徴とする立体画像表示用装置。
2. 【請求項２】前記画像変換部は、立体視の条件を満足す
   るように射影変換要素に基づいて画像変換するように構
   成される請求項１に記載の立体画像表示用装置。
3. 【請求項３】請求項１または２に記載の立体画像表示用
   装置において、 さらに、左右画像に対してメスマークを発生させるメス
   マーク発生部を有し、このメスマーク発生部は、映像メ
   モリに対応してなるメスマークメモリから構成されるこ
   とを特徴とする立体画像表示用装置。