JP4005395B2 - 立体画像表示装置及び方法 - Google Patents
立体画像表示装置及び方法 Download PDFInfo
- Publication number
- JP4005395B2 JP4005395B2 JP2002077997A JP2002077997A JP4005395B2 JP 4005395 B2 JP4005395 B2 JP 4005395B2 JP 2002077997 A JP2002077997 A JP 2002077997A JP 2002077997 A JP2002077997 A JP 2002077997A JP 4005395 B2 JP4005395 B2 JP 4005395B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- contour
- stereo
- unit
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Liquid Crystal (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、ステレオ撮影された画像から撮影対象物の三次元画像を作成して立体表示するのに用いる立体画像表示装置及び方法に関し、特に長時間の立体視が容易に行える立体画像表示装置及び方法に関する。
【０００２】
【従来の技術】
ステレオ撮影された画像を立体視する立体画像表示装置として、液晶シャッター方式と液晶フィルターシャッター方式が存在している。液晶シャッター方式は、１枚の画面に左右画像を交互に表示させ、それら画像を液晶眼鏡によって同期させて左右画像を切り替えるものである。液晶フィルターシャッター方式は、画面上に液晶偏向フィルターを取り付け、左右画像を切り替え表示しながら液晶偏向フィルターも同時に切り替え、偏向眼鏡で観察するものである。
【０００３】
図７は一対のステレオ画像を構成する左画像と右画像のオーバーラップ部と非オーバーラップ部の説明図で、（Ａ）は左画像と右画像を組合せて立体視する状態、（Ｂ）は左画像と右画像で撮影された領域を示している。立体視可能な画像は、航空写真測量などで用いられているように、内部標定、相互標定、絶対標定という三段階の処理をへて、実際の地形図や被写体の寸法を計測できる状態に変換される。そして、一対のステレオ画像を構成する左画像と右画像においては、オーバーラップ部と左画像又は右画像だけに写っている非オーバーラップ部が存在している。このうち、オーバーラップ部は立体画像表示装置による立体視の対象となる。
【０００４】
【発明が解決しようとする課題】
しかし、従来の立体画像表示装置では、左画像又は右画像だけに写っている非オーバーラップ部も立体視の対象として、オペレータが視認可能な状態で写している。すると、立体視しているオペレータは、立体視の対象であるオーバーラップ部と、立体視できない非オーバーラップ部を同時に見ることになる。そこで、オペレータは、ちらつきや不快感を訴えたり、疲労を伴うため長時間の立体視作業が困難であるという課題があった。
【０００５】
本発明は、上述する課題を解決したもので、一対のステレオ画像を構成する左画像と右画像を立体視する場合に、長時間立体視しても疲労の伴わない立体画像表示装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成する本発明の立体画像表示装置は、図１に示すように、ステレオ画像取得部１０で取得された一対のステレオ画像における左画像の輪郭と右画像の輪郭から、当該左画像及び右画像で重複して撮影されている範囲の輪郭を決定する輪郭決定部４５と、輪郭決定部４５によって決定された重複範囲の輪郭に基づき、ステレオ画像から有効ステレオ画像を抽出する有効画像領域抽出部４６と、有効画像領域抽出部４６で抽出された有効ステレオ画像を立体視可能な画像として表示する表示部６０とを備えている。
【０００７】
このように構成された装置においては、輪郭決定部４５によって一対のステレオ画像を構成する左画像及び右画像で重複して撮影されている範囲の輪郭が決定されるので、有効画像領域抽出部４６によるステレオ画像から有効ステレオ画像を抽出することが容易に行える。抽出された有効ステレオ画像は、表示部６０によって立体表示される。好ましくは、ステレオ画像取得部１０で取得された一対のステレオ画像を格納する画像データ記憶部２０を設けると、輪郭決定部４５により左画像及び右画像の重複範囲の輪郭を決定する処理に用いる一対のステレオ画像データとして、画像データ記憶部２０に格納されたステレオ画像を用いて行える。
【０００８】
好ましくは、輪郭決定部４５は、一対のステレオ画像のうち一方の画像を基準画像とし、前記ステレオ画像の他方の画像を従画像として設定する基準画像設定部４５２を有し、前記基準画像側に設定した境界範囲に応じて、従画像上に前記基準画像の境界範囲に対応した対応境界領域を設定するように構成されているとよい。この場合、基準画像設定部４５２は、オペレータの利き目側に対応する側の画像を基準画像とする構成とすると、オペレータの個性に適合する側の画像を基準画像に選定でき、オペレータにとって負担の少ない立体視作業が行える。
【０００９】
好ましくは、輪郭決定部４５は、前記基準画像側に基準カーソルを表示し、前記従画像には従属カーソルを表示させるカーソル表示制御部４５４を有し、カーソル表示制御部４５４は、前記基準画像上で移動表示される前記基準カーソルと対応する位置に、前記従属カーソルを前記従画像上で移動表示させるように構成されているとよい。オペレータが基準画像側に表示される基準カーソルに注目して操作していると、カーソル表示制御部４５４によって従画像に表示される従属カーソルは基準カーソルの移動表示に対応して自動的に移動表示されるので、例えば特徴点、境界点等の指定が円滑に行える。
【００１０】
好ましくは、輪郭決定部４５は、さらに前記基準カーソルによる指示により基準画像側に境界範囲が設定されると、前記基準画像側の境界範囲に応じて従画像上に対応境界領域を設定する境界領域設定部４５６を有する構成とすると、立体視の対象領域の指定が境界領域設定部４５６により円滑に行える。そこで、例えば基準画像側に表示される基準カーソルを用いて重複範囲を抽出する場合には、従画像上の対応境界領域から所定の形状、例えば矩形に切抜くような作業がやりやすい。
【００１１】
好ましくは、輪郭決定部４５は、前記重複範囲の決定にあたり、前記右画像の左端部の輪郭に対応する輪郭を前記左画像の輪郭に対応させ、前記左画像の右端部の輪郭に対応する輪郭を前記右画像の輪郭に対応させるように構成されていると、重複範囲の決定にあたって基準とする側の画像と輪郭が明確となり、重複範囲の決定処理が円滑に行える。
【００１２】
好ましくは、輪郭決定部４５は、一対のステレオ画像を構成する一方の画像の指定境界が指定されると、当該指定境界に基づき他方の画像の対応境界を演算により求める構成とすると、境界の指定が自動化されて円滑に行える。演算の内容は、例えば境界点の標高差や奥行きの差異に起因する左画像と右画像における視差差の補償や、相関処理による重複範囲の決定である。重複範囲の決定に相関処理演算を用いる場合には、立体視可能な範囲を成るべく多く含むように対応境界を定める運用や、画像歪の大きな範囲を除いて正確な形状で立体視できる範囲を切出すような運用ができる。
【００１３】
好ましくは、輪郭決定部４５は、一対のステレオ画像を構成する一方の画像に対して、指定された境界点を補間して指定境界線を演算し、当該補間された指定境界線に基づき他方の画像の対応境界を演算により求める構成とすると、境界点を指定する密度を粗くでき、オペレータの作業効率が高まる。
【００１４】
上記目的を達成する本発明の立体画像表示方法は、図３に示すように、一対のステレオ画像における左画像の輪郭と右画像の輪郭から、当該左画像及び右画像で重複して撮影されている範囲の輪郭を決定し（Ｓ１１８）、決定された重複範囲の輪郭に基づき、ステレオ画像から有効ステレオ画像を抽出し（Ｓ１２０）、抽出された有効ステレオ画像を立体視可能な画像として表示する（Ｓ１２２）工程を有するとよい。
【００１５】
【発明の実施の形態】
以下図面を用いて本発明を説明する。図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。立体画像表示装置は、ステレオ画像取得部１０、画像データ記憶部２０、画像標定部３０、特徴要素指定部４０、データ入力部５０並びに表示部６０を備えている。
【００１６】
ステレオ画像取得部１０は、ステレオカメラのような精密機器でも良く、またデジタルカメラやデジタルビデオカメラ等のような簡易なレンズを用いた機器でもよい。ステレオカメラは、ステレオ計測するためのもので、各カメラが相対的に動かないように固定されている。そこで、カメラ間隔に対応する基線長は不変であり、カメラの撮影距離も各カメラ間で正確に一致させる必要があるため、固定焦点距離式のレンズが使用されているが、可変焦点距離式のズームレンズを用いても良い。また、カメラの分解能に依存して、ステレオカメラの計測精度が定まるため、収差の少ない高精度レンズが使用されている。
【００１７】
他方、デジタルカメラやデジタルビデオカメラは、同じ光学的性質を有するレンズを用いた２台の機器をステレオバーに取り付けて、ステレオカメラとすることが可能である。あるいは、デジタルカメラやデジタルビデオカメラを一台として、測定対象物に対して右撮影方向と左撮影方向から撮影しても良い。一台で右撮影方向と左撮影方向から撮影する場合には、左右撮影のカメラ間隔が一定になるように留意する。デジタルカメラやデジタルビデオカメラでは、レンズ収差がステレオカメラのレンズ収差に比較して大きいので、レンズ収差を補償して画像データ記憶部２０に格納するとよい。
【００１８】
画像データ記憶部２０は、ステレオ画像取得部１０にて取得した画像を記憶するもので、デジタルカメラやデジタルビデオカメラであればデジタル画像情報を記憶するフレキシブルディスク、ＣＤ−ＲＯＭ、ハードディスク等を用いるとよい。ステレオカメラとしてフィルムに焼付けたアナログ画像情報を用いる場合には、アナログ画像情報をスキャナー等でデジタル化してデジタル画像情報化して、記憶するとよい。
【００１９】
画像標定部３０は、特徴要素指定部４０で指定された画像の位置を用いてカメラの位置と傾き（外部標定要素）を計算し、立体視可能なステレオ画像（偏位修正画像）を作成するもので、典型的には航空写真測量でいうところの内部標定、相互標定、絶対標定のうち相互標定と絶対標定を行う機能に相当している。画像標定部３０はパソコン上のソフトウェアとしても良いし、あるいはマイコン等の組込み型ソフトとして表示部６０に組み込んでも良い。あるいはハードウェアで構成しても良い。なお、立体画像作成の原理に関しては後で詳細に説明する。
【００２０】
また、ステレオ画像取得部１０にて、ステレオアタッチメント等に２台のカメラを取り付けステレオカメラ撮影した場合も、ステレオ撮影における対応点を求めて、ステレオモデルを作成できる。すると、オペレータの熟練度に依存せず安定したステレオ撮影とステレオモデル作成が可能となる。ステレオカメラの場合には、基線長やカメラの傾きが既知なので、該当するパラメータを用いればステレオモデルが一義的に得られる。
【００２１】
さらに、画像標定部３０は、特徴要素指定部４０で指示する画像の特徴点に対して、データ入力部５０より実際又は仮想の座標又は寸法を入力することにより、立体視可能なステレオ画像において実際又は仮想の縮尺又は寸法になったステレオ画像に変換する。このように立体視可能なステレオ画像を作成して、寸法を与えれば、ステレオ法の原理に従って三次元計測が可能となる。
【００２２】
特徴要素指定部４０は、ステレオ画像を立体視可能なように修正する際に、左右画像上で画像の特徴点を指示するものである。画像の特徴点とは、標定を可能とするために左右画像上で重なった領域に少なくとも６点設ける必要のあるもので、特徴点の分布密度は左右画像上の重なった領域で概ね均等になるように定めるとよい。画像の特徴点は、オペレータや自動捜索処理部４４で認識しやすい形状や模様であることが好ましく、例えばターゲットと呼ばれる標識を被写体に設けると良い。
【００２３】
特徴要素指定部４０は、立体画像を作成する際や計測する際に左右画像の対応点を指示する対応点指示部４２、自動で対応点を探索するための自動捜索処理部４４、ステレオ表示・計測する際のオーバーラップ部を決定する輪郭決定部４５、オーバーラップ部を抽出する有効画像領域抽出部４６、三次元計測をする際の演算を施す演算処理部４８を備えている。ここで、対応点とは、画像の特徴点の中で左画像と右画像の双方で認識された同一の特徴点をいう。
【００２４】
対応点指示部４２は、画像上の平面方向としてのＸＹ方向の指示や奥行き方向の指示をするもので、ＰＣのマウスや奥行きを指示するダイヤルをつけたものなどを使用する。対応点指示部４２には、表示部６０のカーソル位置が対応点位置に対して近傍になると、表示部６０に表示されているカーソルマーク表示を変更する機能を持たせるとよい。自動捜索処理部４４での対応点探索には、例えば画像相関処理を用いて行う。即ち、左画像上で特徴点として指示した点をテンプレートとして、右画像上を探索する。画像相関処理は、相互相関係数法や残差逐次検定法（ＳＳＤＡ法）などどれを用いても良い。
【００２５】
輪郭決定部４５は、基準画像設定部４５２、カーソル表示制御部４５４、境界領域設定部４５６を備えている。基準画像設定部４５２は、左右のステレオ画像のうち一方の画像を基準画像とし、ステレオ画像の他方の画像を従画像として設定する。この場合、オペレータの利き目側に対応する側の画像を基準画像とする構成とすると、オペレータの個性に適合する側の画像を基準画像に選定でき、オペレータにとって負担の少ない立体視作業が行える。カーソル表示制御部４５４は、基準画像側に基準カーソルを表示し、従画像には従属カーソルを表示させるもので、さらにオペレータによる動的な操作を容易にするために、基準画像上で移動表示される基準カーソルと対応する位置に、従属カーソルを従画像上で移動表示させるとよい。境界領域設定部４５６は、基準カーソルによる指示により基準画像側に境界範囲が設定されると、基準画像側の境界範囲に応じて従画像上に対応境界領域を設定する。境界範囲の設定には、境界点がオペレータによって主画像側で指定されると、従画像側で対応境界点を生成する機能、指定された境界点を補間して主画像側の境界範囲の輪郭を生成する機能、並びに生成された対応境界点を補間して従画像側の境界範囲の輪郭を生成する機能が含まれる。
【００２６】
データ入力部５０は、実際の寸法と合わせるのに基準量等を入力する。なお、立体画像を作成するだけであれば、データ入力部５０を設ける必要はない。データ入力部５０により、立体視可能なように修正されたステレオ画像に寸法をいれれば、その寸法にあった立体画像を作成可能となる。
【００２７】
表示部６０は、取得された画像や立体視可能になった画像を表示するもので、操作表示部６４と立体画像表示部６６を備えている。操作表示部６４は、画像標定部３０に用いるパソコン用のモニタを用いるとよい。立体画像表示部６６は、偏向眼鏡をかけて立体視可能とするデュアルディスプレイ方式の立体ディスプレイである。
【００２８】
図２はデュアルディスプレイ方式の立体画像表示部を説明する構成斜視図である。デュアルディスプレイ方式は、左右画像を２枚の偏光ディスプレイ６６２、６６４にそれぞれ表示させ、ハーフミラー６６６によって合成する。ハーフミラー６６６によって合成された画像は、偏光眼鏡６６８によって左右それぞれの画像を分離できる偏光状態となっている。即ち、偏光ディスプレイ６６２、６６４で表示される画像の偏光状態は光学的に直交していて、偏光眼鏡６６８による分離が可能となっている。観察者が偏光眼鏡６６８を用いて立体画像表示部６６に表示された画面を観察すると、左右の目に左右画像を同時に表示する状態が実現される。そこで、観察者は左右画像を立体的に観察できる。デュアルディスプレイ方式は、従来の液晶シャッター方式や液晶フィルターシャッター方式と比較して、左右画像を同時に観察しているため、蛍光灯や照明条件等の外部環境ノイズに影響されず、安定して長時間立体視できるという利点がある。
【００２９】
表示部６０には、立体画像だけでなく、計測点の指示、装置の操作用の表示、取得された生画像等も表示するとよい。これら表示は、立体画像表示部６６にあわせて表示しても良いし、あるいは操作表示部６４に表示させても良い。
【００３０】
次に、このように構成された装置の使用について説明する。図３は図１の装置におけるステレオ画像計測の手続きの流れを説明するフローチャートである。まず、市販のデジタルカメラやデジタルビデオカメラを用いて、立体表示したい対象物のステレオ撮影を行う（Ｓ１００）。ステレオ撮影に用いるカメラは１台として撮影方向を右方向と左方向で撮影してもよく、またカメラを２台固定して右方向と左方向からステレオ撮影してもよい。
【００３１】
次に、ステレオ撮影した左右画像を画像データ記憶部２０に読み込む（Ｓ１０２）。そして、画像データ記憶部２０に読み込まれた撮影画像を表示部６０に表示する（Ｓ１０４）。ここで、表示部６０には左右２枚の画像を並べて表示すると、その後の操作が容易になる。表示部６０に操作表示部６４が設けられている場合には、操作表示部６４に表示するとよい。この状態であっても、固定されたステレオアッタチメントで対象物に対し平行に撮影した画像であれば、立体画像表示部６６に表示すれば、立体視することも可能である。
【００３２】
続いて、ステレオ撮影した左右画像上で対応点の座標値や特徴点において関連する寸法がある場合は、該関連する寸法をデータ入力部５０から入力する（Ｓ１０６）。例えば、実際の座標として３点が既知であれば、データ入力部５０から既知の３点の座標値を入力することができる。すると、Ｓ１１０で処理される左右画像の対応点決定において既知の座標系に変換可能でき、三次元計測が可能となる。データ入力部５０から入力する他のデータとしては、撮影したカメラの傾き（方向）、既知の画像上の寸法、ステレオ撮影した際のカメラ間距離（基線長）がある。これらデータを入力すれば、作成されたステレオ画像を計測することが可能となる。なお、データ入力部５０からデータ入力に代えて、基準となる寸法となる部位を予めステレオ画像として写し込んでおいてもよい。
【００３３】
また、データ入力部５０から入力するデータは実際の寸法でなくとも、仮想値を入力して仮想寸法のステレオモデルを作成することも可能である。あるいは、Ｓ１０６にて、データ入力部５０からデータを何もいれないくても、ステレオモデルを作成することは可能であり、立体画像表示部６６に立体視可能なステレオ画像を表示することが可能である。ただし寸法は、基準となる寸法を別途定めないと、現実の寸法に対して相似のステレオ画像が得られるだけとなり、絶対値は得られない。
なお、データ入力部５０へのデータ入力は、Ｓ１０６の位置に代えて、初期設定値として予め入力しても良く、Ｓ１１０で処理される左右画像の対応点決定の際に入力しても良く、あるいは、左右画像の対応点決定処理の後に入力してもよい。
【００３４】
続いて、主画像と従画像の選択を行う（Ｓ１０８）。ここで、主画像とは、自動相関処理の際に、基準カーソルが現れる画像をいう。また、従画像とは、自動相関処理の際に、基準カーソルの位置に対応した相関値の高い位置にカーソルが自動的に移動する従カーソルが現れる画像をいう。基準画像設定部４５２は、左右画像のうち選択された側を主画像として扱う。
【００３５】
ステレオ撮影した左右画像のどちらを主画像とするかは、オペレータに任せられる。主画面とする画像は、基準画像設定部４５２にて説明したように、オペレータが物の形を認識するための利き目側の画像を選択することが望ましい。何故なら、人間の目は両眼で立体視をしているが、物の形を認識するために、左右の何れかが利き目となっているからである。なお、両眼のうち何れが利き目か判断するためには、立体視をしている状態で所定のマークを指差し、一方の目を閉じても所定のマークを指差している側の目を求める。以下の説明においては、主画像は左画像とし、従画像を右画像とする場合を例に説明する。
【００３６】
次に、立体画像を作成するために特徴要素指定部４０の対応点指示部４２により左右画像の対応点を指示決定する（Ｓ１１０）。左右画像上の同一点を最低６点以上対応付けすることによって、先に説明した立体視の原理を適用する画像標定部３０により、カメラの位置と傾き（外部標定要素）を求めることができる。対応点決定は、画像上で特徴のあるところを左右画像上で決定すれば良いが、明確なターゲットを対象物周辺にプリンタ等で印刷、配置しておけば作業自体は楽なものになる。明確なターゲットマークとしては、黒丸”●”、四角”■”、菱形”◆”、三角形”▲”などがある。なお、この対応点決定から外部標定要素計算までの一連の作業は標定と呼ばれている。
【００３７】
続いて、左右画像の対応点を決定する具体的な処理過程を、図４を参照して説明する。図４は、対応点決定処理を説明するフローチャートである。対応点決定処理に入ると（Ｓ２００）、対応点決定処理としてのマニュアルモード、半自動モード、自動モードと３つのモードの何れか一つを選択する（Ｓ２０２）。なお、以下に説明する左画像と右画像は、その逆の右画像と左画像と逆に置き換えても処理は全く同様であり、そのように読替えて処理してもよい。
【００３８】
マニュアルモードが選択されると、マニュアルモードでの処理が開始される（Ｓ２１０）。まず、表示部６０上の左画像の特徴となるところを対応点指示部４２のマウスによって指示し、確定する（Ｓ２１２）。確定は、例えばマウスのボタンを押すことなどに行う。確定処理により左画像座標が読み込まれる。次に、左画像と同じ特徴点を表示部６０の右画像上で対応点指示部４２のマウスにより指示・確定する（Ｓ２１４）。これにより、右画像座標が読み込まれる。このようにマニュアルモードでは、左右画像上で別々に対応点指示部４２により指示、確定させる。そして、対応点として６点以上対応付けをしたか判断し（Ｓ２１６）、６点未満であればＳ２０２のモード選択に戻る。なお、Ｓ２１２に戻ってマニュアルモードによる対応点決定処理を継続するようにプログラムを作成してもよい。６点以上対応付けしていれば、戻しとする。
【００３９】
半自動モードが選択されると、半自動モードでの処理が開始される（Ｓ２２０）。半自動モードでは、特徴要素指定部４０の自動捜索処理部４４による自動捜索モードにうつる（Ｓ２２２）。そこで、オペレータは表示部６０の左画像上で特徴点を対応点指示部４２のマウスにより指示する（Ｓ２２４）。すると、自動捜索処理部４４は、右画像上の対応点を自動で探索する（Ｓ２２６）。
【００４０】
そして、オペレータは自動捜索処理部４４にて検索された右画像上の対応点が適切であるか、判断する（Ｓ２２８）。この場合、自動捜索処理部４４にて演算された相互相関係数が、ある閾値以上であればＯＫと決定する（例えば０．７以上等）。表示部６０には、対応点指示部４２により、例えば右画像上で左画像上に対応した探索位置にＯＫなら緑表示の点、ＮＧなら赤表示の点を表示したり、カーソルマークの図形を変えたり（例えば、矢印”⇒”から二重丸”◎”にカーソルマーク表示を変更する）、相互相関係数値を表示させたりすることに、オペレータが判定する。右画像探索ＯＫか否かの表示は、オペレータが判断容易であればどのような表示によっても良い。
【００４１】
ＯＫでなかった場合、対応点が他の位置でもよいか判断し（Ｓ２３０）、他の位置でもよければＳ２２４へもどり他の点を指示する。他方、どうしてもその位置を特徴点としたい場合は、右画像上のカーソルをマニュアルにて移動させて指示する（Ｓ２３２）。即ち、例えば対応点指示部４２の奥行き方向を合わせるダイヤル等を回せば、等価的に右画像上のカーソルが動くことになるので、それを調整して、左画像と同じ特徴点のところへ持って行き、あわせる。
【００４２】
そして、Ｓ２２８で右画像探索ＯＫの場合、あるいはＳ２３２にて右画像を指示した場合は、その点の画像座標を読み込む（Ｓ２３４）。例えばマウスのボタンを押すなどして確定させる。そして、対応点として６点以上対応付けをしたか判断し（Ｓ２３６）、６点未満であればＳ２０２のモード選択に戻る。なお、Ｓ２２２に戻って半自動モードによる対応点決定処理を継続するようにプログラムを作成してもよい。６点以上対応付けしていれば、戻しとする。
【００４３】
上述した半自動モードでは、左画像上で特徴点をマウスにより指示することにより、自動で右画像の対応点を探索し、ＯＫかどうか表示する。オペレータはカーソルマーク表示の表示を見て、自動捜索処理部４４にて検索された右画像上の対応点が適切であれば、検索された対応点を対応点として確定させる（例えば矢印”⇒”から”◎”に変更されている場合）。半自動モードを用いることにより、オペレータは片方の画像を指示するだけでよいので、対応点決定処理を簡単に処理できる。なお、マウスによる指示と確認のための判定は、ボタンを押すことによっても良いが、更にマウスカーソルを移動して左画像上をなぞるだけで、右画像上の対応点を常に判定表示させるように構成しても良い。左画像上のマウスカーソルに対応する右画像上の対応点を判定表示させると、対応点決定処理をさらに容易に処理できる。
【００４４】
自動モードが選択されると、自動モードでの処理が開始される（Ｓ２４０）。自動モードは、対応点となるターゲットを予め対象物周辺に配置することで、自動でターゲットを検出するモードである。ターゲットとなるものは、予め特徴点として認識しやすいものを対象物周辺に配置する。ターゲットは認識しやすいものであればなんでもよい。例えば、前述した”●”ようなターゲットマークをプリンタにより印刷したり、作成したりして配置する。この場合、ターゲットの正確な位置が予めわかっていれば、正確な三次元計測がその後可能となる。
【００４５】
まず、表示部６０により左右画像上に６点以上のターゲットが含まれているか確認する（Ｓ２４２）。もし左右画像上で６点以上のターゲットが含まれていなければ、マニュアルもしくは半自動モードへ行く（Ｓ２４４）。なお、左右画像に対応する６点以上のターゲットが撮影されていない場合には、ターゲットが６点以上入るように撮影しなおす。そして、自動モード処理に移行する（Ｓ２４６）。
【００４６】
自動モード処理では、自動ターゲット検出を行うために、配置したターゲット画像の一つを対応点指示部４２により指示し、特徴要素指定部４０にテンプレート画像として登録する（Ｓ２４８）。そして、テンプレート画像を元に、左画像、右画像それぞれターゲットの位置を探索する（Ｓ２５０）。このターゲットの位置を探索処理は、例えば先に説明した相互相関係数法等を利用して自動検出させる。そして、探索されたターゲット位置を表示部６０上に表示する（Ｓ２５２）。
【００４７】
探索されたターゲット位置がＯＫであるか判断し（Ｓ２５４）、ＯＫであれば戻しとする。ＮＧであれば、ターゲット位置の修正を行う（Ｓ２５６）。この修正には、マニュアルモードあるいは半自動モードによる処理を用いる。仮に、ＮＧであった場合でも、ターゲットを配置してあるので修正は容易である。
【００４８】
そして、修正されたターゲット位置を用いて、左右画像上での対応点を検出する（Ｓ２５８）。この作業は、特徴要素指定部４０の対応点指示部４２により左右画像の対応点を表示部６０を見ながら指示することにより行う。あるいは、図５（Ａ）のように予めターゲットの配置を決めて、概略平行にステレオ撮影する。すると、ターゲットの配置は撮影した画像上でも保たれるため、対応付けを自動で行うことも可能である。更には、６点以上のターゲットマークを別々に決め、予めテンプレート指定しておいても、対応付けを自動で行うことが可能である。左右画像上での対応点の点数は、最小６点なので作業はマニュアルで行っても簡単にできる。
【００４９】
図３にもどり、Ｓ１１０にて左右画像の対応点の対応付けが終了したら、該対応点を元に画像標定部３０にて外部標定要素（カメラの位置、傾き）を計算する（Ｓ１１２）。外部標定要素の詳細については、後述する立体画像作成の原理の該当箇所に説明されている。
【００５０】
Ｓ１１２にて外部標定要素が求まったら、求めた外部標定要素値により画像の偏位修正（ステレオ画像作成）を行う（Ｓ１１４）。そして、立体画像表示部６６にステレオ画像を表示する（Ｓ１１６）。以上のようにして、ステレオ画像が作成される。
【００５１】
次に立体視を容易にするため、オーバーラップ部の輪郭又は対応境界を抽出するかのオペレータ判断を待つ（Ｓ１１８）。輪郭又は対応境界を抽出する場合は、輪郭決定部４５と有効画像領域抽出部４６により、オーバーラップ部の輪郭もしくはステレオ視したい部分の境界をオーバーラップ部の中で抽出する（Ｓ１２０）。輪郭又は対応境界を抽出しない場合は、輪郭又は対応境界抽出処理をスキップしてＳ１２４へいく。
【００５２】
続いて、オーバーラップ部の輪郭又は対応境界を抽出する具体的な処理過程を、図６を参照して説明する。図６は輪郭又は対応境界の抽出処理を説明するフローチャートである。左右画像のオーバーラップ部の輪郭を抽出する場合も、切り出したい対応境界を決めて抽出する場合も、以下と同様の処理で行う。
【００５３】
輪郭決定部４５を用いたオペレータの操作は、左右画像二つ同時に表示した操作表示部６４により行う場合と、立体画像表示部６６を見ながら行う場合がある。立体画像表示部６６を見ながら行う場合には、所望の形に輪郭または対応境界をひくことができる。例えば、オペレータは直線状に立体画像を切り取りたいとき、立体画像上で操作を行うと、カーソル表示制御部４５４によりカーソルの表示が左右の画像で一致する。そして、境界領域設定部４５６の処理において、奥行き方向を確認しながら切り取ることができる。この場合、比高差があるため、左画像では直線であっても、右画像上では直線とならない。しかし、立体画像表示部６６では左右画像をステレオ合成することで、立体的にかつ直線を考慮しながら作業を行えるから、有効画像領域抽出部４６での作業は容易に行える。
【００５４】
輪郭又は対応境界の抽出処理に入ると（Ｓ３００）、輪郭又は対応境界の抽出処理としてのマニュアルモード、半自動モード、自動モードと３つのモードの何れか一つを選択する（Ｓ３０２）。マニュアルモードが選択されると、マニュアルモードでの処理が開始される（Ｓ３１０）。まず、立体画像表示部６６を見ながら、対応点指示部４２のマウスを動かすことによりカーソルを移動させ、抽出したい輪郭や対応境界の点を指示する（Ｓ３１２）。すると、カーソル表示制御部４５４によりカーソルの表示が左右の画像で一致する。
【００５５】
次に、抽出したい輪郭や対応境界に対する奥行きを合わせる（Ｓ３１４）。奥行きは、対応点指示部４２の奥行き方向を指示するダイヤル等を回すことにより、カーソルが立体画像表示部６６上で奥行き方向に浮いたり沈んだりして見える。そこで、オペレータはカーソル位置を調整して、実際の対象物の表面上にカーソルが位置するように奥行き方向を合わせる。奥行き方向が合ったら、例えばマウスのボタンを押すこと等により確定させて、左右画像の座標を読み込ませる（Ｓ３１６）。なお、奥行き方向を調整することは、例えば左画像で指示したマウスを基準位置として、その対応点の位置を右画像上から探していることと同じである。カーソル位置の調整を立体画像表示部６６に映し出すと、奥行き方向の変化となって観察される。なお、奥行き方向が左右の座標で大きく外れていると、カーソルが左右二つとなって、別のところにカーソルがいってしまったように見える。次に、抽出したい輪郭や対応境界が完了したか判断し（Ｓ３１８）、未了であればＳ３０２に戻り次の特徴点の処理を、何れのモードで行うか選択する。
【００５６】
次半自動モードが選択されると、半自動モードでの処理が開始される（Ｓ３３０）。ここでは、立体画像表示部６６を観察しながら操作する場合を例に説明する。半自動モード処理での特徴点は、オーバーラップ部の輪郭、又は切り出したい対応境界となる。そこで、輪郭決定部４５は自動捜索処理部４４にて対応点探索を行う自動捜索モードに入る（Ｓ３３２）。対応点探索処理では、オペレータは立体画像表示部６６の左画像上で抽出したい特徴点として、輪郭または切り出し境界を対応点指示部４２のマウスにより指示する（Ｓ３３４）。すると、自動捜索処理部４４は、右画像上の対応点を自動で探索する（Ｓ３３６）。
【００５７】
そして、オペレータは自動捜索処理部４４にて検索された右画像上の対応点、特に奥行きが適切であるか、判断する（Ｓ３３８）。奥行きが適切でないときは、カーソル位置を調整して、実際の対象物の表面上にカーソルが位置するように奥行き方向を合わせる（Ｓ３４０）。奥行き方向が合ったら、例えばマウスのボタンを押すこと等により確定させて、左右画像の座標を読み込ませる（Ｓ３４２）。すると、境界領域設定部４５６では、読込んだ左右画像の座標を境界点並びに対応境界点の座標として扱う。次に、抽出したい輪郭や対応境界が完了したか判断し（Ｓ３４４）、未了であればＳ３３４に戻り次の特徴点の処理をする。
【００５８】
完了していれば、境界領域設定部４５６の境界点並びに対応境界点の補間結線機能を用いて、左右画像の対応点を結線して表示する（Ｓ３４６）。例えば図５（Ｂ）は、対応境界を指定、結線、表示させたものである。そして、オペレータは立体画像表示部６６を観察して、自動捜索処理部４４にて検索された右画像上の対応点による輪郭や対応境界が適切であるか判断する（Ｓ３４８）。適切であれば、有効画像領域抽出部４６が輪郭や対応境界を基準として、画像を切り取ってオーバーラップ表示領域とする（Ｓ３５０）。適切でない場合は、該当する左右画像の対応点をクリアして（Ｓ３５２）、Ｓ３３４に戻り、再び半自動モードで点指定処理を繰り返す。半自動モードでの点指定処理の場合、対応点は細かくとってもよい。さらに、結線処理をＳ３４６の時点ではなく、Ｓ３４２とＳ３４４の間で対応点が指示・確定するたびに結線していっても良い。オーバーラップ表示領域が定まると、戻しとして、Ｓ１２２の切り取り領域のステレオ画像表示へいく。
【００５９】
自動モードが選択されると、自動モードでの処理が開始される（Ｓ３６０）。自動モードでは、対応点決定の自動処理のために使ったターゲットと同じように、明確なマークを印刷もしくは作成したものを利用する。従って、配置したマークの範囲内が有効画像領域抽出部４６による切り出し部となる。あるいは、例えば図５（Ｂ）に示すように、自動対応点決定のために使用したターゲットで囲まれた領域内を、オーバーラップ表示領域としてよければ、ターゲットの位置をそのまま使用する。オーバーラップ表示領域として、自動対応点決定のために使用したターゲットの範囲とは別の範囲とする場合は、ターゲットと違うマークを配置して、ステレオ画像に写りこむように撮影する。この場合、配置するマークは何点でもよく、またマークを結線した一番外側がオーバーラップ表示領域として切り取る領域となる。
【００６０】
自動モードでの処理において、輪郭決定部４５はターゲットマークの画像をテンプレートとして登録し、左右画像探索を行う。即ち、自動ターゲット検出を行うために、配置したターゲット画像の一つを対応点指示部４２により指示し、特徴要素指定部４０にテンプレート画像として登録する（Ｓ３６２）。そして、テンプレート画像を元に、左画像、右画像それぞれターゲットの位置を探索する（Ｓ３６４）。このターゲットの位置を探索処理は、例えば先に説明した相互相関係数法等を利用して自動検出させる。そして、探索されたターゲット位置を表示部６０上に表示する（Ｓ３６６）。
【００６１】
探索されたターゲット位置がＯＫであるか判断し（Ｓ３６８）、ＯＫであればＳ３７４に行く。ＮＧであれば、境界領域設定部４５６によりターゲット位置の修正を行う（Ｓ３７０）。この修正には、マニュアルモードあるいは半自動モードによる処理を用いる。仮に、ＮＧであった場合でも、ターゲットを配置してあるので修正は容易である。そして、修正されたターゲット位置を用いて、左右画像上での対応点を検出する（Ｓ３７２）。
【００６２】
次に、対応点として検出された検出点を境界領域設定部４５６により結線し、表示部６０に表示する（Ｓ３７４）。オペレータは有効画像領域抽出部４６による切取り部が適切か判断し（Ｓ３７６）、切取り部が適切でなければ、Ｓ３３２へゆき、半自動モードでの輪郭抽出処理により指定しなおす。有効画像領域抽出部４６による切取り部が適切であれば、有効画像領域抽出部４６が輪郭や対応境界により切り取ってオーバーラップ表示領域とする（Ｓ３７８）。オーバーラップ表示領域が定まると、戻しとして、Ｓ１２２の切り取り領域のステレオ画像表示へいく。
【００６３】
図３に戻り、有効画像領域抽出部４６にて抽出された輪郭もしくは境界部をオーバーラップしたステレオ画像として、表示部６０に表示する（Ｓ１２２）。これにより、オーバーラップ表示領域は立体視が容易な画像として表示される。従って、以下の計測作業もオーバーラップ表示領域で行えば楽なものになる。
【００６４】
続いて、表示されたステレオ画像を用いて画像計測をするか、オペレータの指示に従い（Ｓ１２４）、Ｙｅｓであれば、計測位置指定を行う（Ｓ１２６）。次に、ステレオ画像における計測位置指定をする具体的な処理過程を図８を参照して説明する。図８は、計測位置指定処理を説明するフローチャートである。計測位置指定処理に入ると（Ｓ４００）、計測位置指定処理としてのマニュアルモード、半自動計測モード、自動計測モードの３モードのうち何れか一つを選択する（Ｓ４０２）。
【００６５】
なお、計測位置指定処理の各モードにおいて、入力データ部により入力されたデータによって、指定された点の三次元座標値、あるいは２点間の距離等が計測できる。ここでは、立体画像表示部６６にて、立体画像が表示されているので、それを見て、確認しながら計測することが可能となる。更に、操作表示部６４上に左右画像別々に表示し、それを見ながら計測することも可能であるが、立体画像表示部６６にて確認しながら行えば、さらに確実な計測が可能になる。
また、対応点指示部４２の立体画像上における奥行き方向の指示は、マウスについたダイヤルやダイヤル単体等により指示する。
【００６６】
マニュアルモードが選択されると、マニュアルモードでの計測位置指定の処理が開始される（Ｓ４１０）。ここでは、オペレータが立体画像表示部６６を見ながら操作表示部６４を用いて計測点を指示する手順を説明する。オペレータは、立体画像表示部６６を見ながら、操作表示部６４で表示されている左画像について、計測したい位置を特徴点として指示する（Ｓ４１２）。次に、操作表示部６４で表示されている右画像について、同一点と思われる位置を特徴点として指示する（Ｓ４１４）。そして、立体画像表示部６６を見て、左画像の特徴点と右画像の特徴点がカーソルの指し示す計測したい点として、一致する特徴点の上にあるか確認する（Ｓ４１６）。このカーソルが計測したい点の位置には、画面の平面方向の他に、奥行き方向も含まれる。もし違っていれば、対応点指示部４２のマウスを利用して計測したい位置を指示する（Ｓ４１８）。
【００６７】
オペレータが立体画像表示部６６を見ていると、奥行き方向も同時に観察できるため、奥行き方向の位置も合わせる（Ｓ４２０）。即ち、奥行き方向があっていなければカーソルが対象点より浮いたり沈んだりして見える。この場合、奥行き方向を合わせるダイヤルがあれば、それらを利用して対象点の上にカーソル位置を合わせることができる。このカーソル位置合わせ作業は、実質的には、左右画像の位置あわせをしていることと同じであるが、立体視をしながら行っているので間違いがないのと同時に確実である。即ち、特徴が少ないところでもあわせることができる。そして、左画像の特徴点と右画像の特徴点が一致していてＯＫであれば、マウスのボタンなどにより位置確定して、座標位置を読み込ませる（Ｓ４２２）。
【００６８】
半自動計測モードが選択されると、半自動計測モードでの計測位置指定の処理が開始される（Ｓ４３０）。半自動計測モードでは、操作表示部６４もしくは立体画像表示部６６どちらを見ながら行ってもよい。半自動計測モードでは、特徴要素指定部４０は、自動捜索処理部４４に移行する（Ｓ４３２）。そして、オペレータは左画像上の計測点をマウスにより指示する（Ｓ４３４）。すると、自動捜索処理部４４によって、左画像上の計測点と同一計測点を右画像上で探索する（Ｓ４３６）。なお、この自動捜索処理部４４による左画像上の計測点と同一計測点を右画像上で探索することは、Ｓ２２６にて説明した内容と全く同様である。そして、右画像の探索位置がＯＫか確認する（Ｓ４３８）。
【００６９】
もし右画像の探索位置が左画像上の計測点と違っていれば、マニュアルモードと同様に対応点指示部４２のマウスを利用して計測したい位置を指示する（Ｓ４４０）。この時、オペレータは立体画像表示部６６上で奥行き方向と画像平面方向と同時に観察できるため、奥行き方向の位置も一致させる（Ｓ４４２）。そして、左画像の特徴点と右画像の特徴点が一致していてＯＫであれば、マウスのボタンなどにより位置確定して、座標位置を読み込ませる（Ｓ４４４）。この時、操作表示部６４上には、ＯＫであれば対応する右画像の位置にＯＫ表示をするとよい。また、立体画像表示部６６上であれば、ＯＫ表示もカーソルの色、形状をかえることなどにより確認できるが、実際にあっているかどうかも本人の目で確認することができる。
【００７０】
自動計測モードが選択されると、自動計測モードでの計測位置指定の処理が開始される（Ｓ４５０）。自動計測モードでは、指定した領域の三次元座標値を一括して計測することが可能である。そこでまず、計測領域はオーバーラップ部全体か判断し（Ｓ４５１）、全体であればＳ４６２へジャンプする。他方、オーバーラップ部の一部であるときは、計測したい領域について指定する計測領域指定処理を行う（Ｓ４５２）。即ち、計測領域の一番外側となる左右画像の境界点を指示する。例えば、大略五角形の領域を一括計測したい場合は、図５（Ｂ）のように対応境界となる境界点を５点指示する。ここでは、オペレータによって指示された境界点を黒丸で表している。そして、オペレータは境界点の表示を参照して、左右画像の境界点を指示する点が適切か判断し（Ｓ４５４）、指定した境界点を間違えたり、気に入らなければＳ４５２に戻り指示しなおす。
【００７１】
左右画像の境界点の指定が適切であれば、各指定点を結線し、立体画像表示部６６に表示して計測領域を明確にする（Ｓ４５６）。すると、図５（Ｂ）のように、立体画像表示部６６の表示は対応境界となる境界点を結線した表示となる。そして、オペレータは境界点及び結線表示を参照して、計測領域の指定が適切であるかを確認する（Ｓ４５８）。適切でない場合は、不適切な指定点と対応する結線をクリアして（Ｓ４６０）、Ｓ４５２に戻り指示しなおす。計測領域の指定が適切であれば、計測領域として確定する（Ｓ４６２）。このようにして、計測領域を決めれば、その領域において左右画像の対応点が間違いなく決まっているので、確実な一括計測が可能となる。また、一括計測において、これらの左右画像の対応点を利用すれば、信頼性、速度ともにあげることが可能となる。
【００７２】
次に、計測領域指定された領域内の対応点に対して、自動で対応点検出を一括処理する（Ｓ４６４）。ここでは、画像相関処理により行う。例えば先に説明した、相互相関係数法を利用して、左画像をテンプレート、右画像をその探索領域として各点の対応点検出を行えばよい。なお、画像相関処理として、粗密探索相関法やその他の画像相関処理として利用される通常の処理方法を用いても良い。
【００７３】
図３にもどり、対応点の左右座標値から計測値を演算処理部４８によって算出する（Ｓ１２８）。演算は、先に説明したステレオ法の原理により計算される。自動計測モードで、計測領域の対応点を自動検出した場合は、その対応点検出したすべての点について計算する。そして、計測値を表示部６０上に表示する（Ｓ１３０）。そして、Ｓ１２４に戻り、さらに計測を続けるか判断し（Ｓ１２４）、続けるのであれば繰り返し測定する。計測を続けない場合は、終了する。
【００７４】
なお、自動計測により領域を計測した場合であれば、表示は、数値でなく鳥瞰図や等高線図等で表示することも可能である。また、これら領域の計測値データを他のＣＡＤ(Computer Aided Design)等にわたして、ＣＡＤ側で処理してもよい。
【００７５】
次に、上記の実施の形態において用いたステレオ画像計測における基本原理を項目毎に説明する。
１．［ステレオ法の原理］
ステレオ法の原理について以下説明する。図９はステレオ法の原理の説明図である。図９に示すように、２台のカメラ１、２が、光軸が平行で、カメラレンズの主点から撮像面としてのＣＣＤ面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているものとする。また、カメラ１、２の間隔と等しい、２つの光軸間距離（基線長）をｌとする。
【００７６】
このとき、物体上の点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。
ｘ１＝ａｘ／ｚ −−−（１）
ｙ１＝ｙ２＝ａｙ／ｚ −−−（２）
ｘ２−ｘ１＝ａｌ／ｚ −−−（３）
但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラ１のレンズ主点にとるものとする。（３）式よりｚを求め、これを用いて（１）式、（２）式よりｘ、ｙが求められる。以上で、左右画像の対応点を求めれば、その位置の三次元座標を計測することが可能となる。
【００７７】
２．［立体画像作成の原理］
次に立体画像作成についての原理を説明する。立体画像作成の原理は、ステレオ法が成立するように画像を修正すれば、立体視が可能になるということである。立体視可能な画像とは、対象物に対して２枚の画像が平行でありかつ縦視差が除去されているものである。例えば、図１０に示されている画像では、左右の画像間でいくらオーバーラップしている領域があっても、左右画像の縮尺が異なり、さらに回転や縦視差があるために、人間の目では立体視することができない。しかしながら、図１１のように左右画像の倍率をあわせ、回転を補正し縦視差を除去すれば、人間が立体視可能な画像とすることができ、ステレオ法を成り立たせることができる。
【００７８】
ステレオ画像（ステレオモデル）は、左右画像中に６点以上の同一の対応点を求めることにより作成することができる。即ち、左右の画像上で６点対応する点の画像座標があれば、二つのカメラの相対的な位置と傾きを求めることができるので、それにより左右画像の縮尺、回転、縦視差を補正し、立体視可能なステレオ画像（ステレオモデル）を作成することができる。
【００７９】
２．１［相互標定］
相互標定は、画像中の６点以上の対応点によりカメラの相対的な位置と傾きを求める原理である。図１２は相互標定の説明図である。相互標定では、以下の共面条件式により各パラメータを求める。
【数１】
【００８０】
図１２に示すように、モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要ない。
このような条件にすると、▲４▼の共面条件式は式▲５▼のようになり、この式を解けば各パラメータが求まる。
【数２】
【００８１】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。
【数３】
【００８２】
これらの式を用いて、次の手順により、未知パラメータを求める。
２−▲１▼：初期近似値は通常０とする。
２−▲２▼：共面条件式▲５▼を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を▲６▼、▲７▼式により求め、観測方程式をたてる。
２−▲３▼：最小二乗法をあてはめ、近似値に対する補正量を求める。
２−▲４▼：近似値を補正する。
２−▲５▼：補正された近似値を用いて、２−▲２▼〜２−▲５▼までの操作を収束するまで繰り返す。
【００８３】
以上により、カメラの相対的な３次元位置ならびに３軸の傾きが求まり、立体視可能なステレオ画像（ステレオモデル）が作成できるようになる。また、ステレオ撮影したカメラ間の距離（基線長）を入力してやれば、実寸のステレオモデルとすることができる。さらに、６点のうち３点のＸＹＺ座標を与えてやることができれば、実際の座標系変換し、実座標における三次元計測が可能となる。
【００８４】
３．［相互相関係数法］
相互相関係数による方法では、次式を用いた以下の手順による。
【数４】
３−▲１▼：例えば、特徴要素指定部４０の対応点指示部４２により指示された特徴点となる点を中心とした、Ｎ１×Ｎ１画素の画像をテンプレート画像として左画像から切出す。図１３は切出されたテンプレート画像の一例を示す図である。
３−▲２▼：テンプレート画像より大きい右画像中のＭ１×Ｍ１画素を探索範囲（Ｍ１−Ｎ１＋１）２として、探索範囲上でテンプレート画像を動かす。
３−▲３▼：上式の相互相関係数Ｃ(a,b)が最大になるような画像位置を求めて、テンプレート画像に対し探索されたとみなす。完全に左画像と右画像が一致していれば、相互相関係数値Ｃ(a,b)が1.0となる。
一般的には、標定作業により撮影カメラの位置と傾きを求めて、その結果を用いて偏位修正画像を作成する作業が行われる。本実施の形態においては、画像標定部３０により、偏位修正画像を作成する処理を行わせている。
【００８５】
【発明の効果】
以上説明したように、本発明のステレオ画像用処理装置によれば、ステレオ画像取得部で取得された一対のステレオ画像における左画像と右画像の重複範囲の輪郭に基づき、ステレオ画像から有効ステレオ画像を抽出する有効画像領域抽出部と、前記有効画像領域抽出部で抽出された有効ステレオ画像を立体視可能な画像として表示する立体画像表示部とを備える構成としているので、有効画像領域抽出部により重複範囲として抽出された範囲を立体画像表示部に表示させることができ、オペレータは立体視できない非オーバーラップ部を見ることがない為、疲れることなく長時間の立体視作業が行える。
【００８６】
さらに、輪郭決定部により一対のステレオ画像を構成する一方の画像に対して、指定された境界点を補間して指定境界線を演算し、当該補間された指定境界線に基づき他方の画像の対応境界を演算により求める構成とすると、オペレータは簡単な境界点の指示だけにより立体視可能なステレオ画像領域が指定でき、ステレオ画像の表示が簡便に行える。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態を説明する全体構成ブロック図である。
【図２】 デュアルディスプレイ方式の立体ディスプレイを説明する構成斜視図である。
【図３】 図１の装置におけるステレオ画像計測の手続きの流れを説明するフローチャートである。
【図４】 対応点決定処理を説明するフローチャートである。
【図５】 （Ａ）はターゲットの配置の一例、（Ｂ）は対応境界の指示及び結線の表示例を説明する図である。
【図６】 輪郭又は対応境界の抽出処理を説明するフローチャートである。
【図７】 左画像と右画像におけるオーバーラップ部と非オーバーラップ部の説明図である。
【図８】 計測位置指定処理を説明するフローチャートである。
【図９】 ステレオ法の原理の説明図である。
【図１０】 人間の目では立体視することができない画像の一例を示す図である。
【図１１】 人間が立体視可能な画像の一例を示す図である。
【図１２】 相互標定の説明図である。
【図１３】 切出されたテンプレート画像の一例を示す図である。
【符号の説明】
１０ ステレオ画像取得部
２０ 画像データ記憶部
３０ 画像標定部
４０ 特徴要素指定部
４２ 対応点指示部
４４ 自動捜索処理部
４５ 輪郭決定部
４５２ 基準画像設定部
４５４ カーソル表示制御部
４５６ 境界領域設定部
４６ 有効画像領域抽出部
６０ 表示部
６６ 立体画像表示部
【産業上の利用分野】
本発明は、ステレオ撮影された画像から撮影対象物の三次元画像を作成して立体表示するのに用いる立体画像表示装置及び方法に関し、特に長時間の立体視が容易に行える立体画像表示装置及び方法に関する。
【０００２】
【従来の技術】
ステレオ撮影された画像を立体視する立体画像表示装置として、液晶シャッター方式と液晶フィルターシャッター方式が存在している。液晶シャッター方式は、１枚の画面に左右画像を交互に表示させ、それら画像を液晶眼鏡によって同期させて左右画像を切り替えるものである。液晶フィルターシャッター方式は、画面上に液晶偏向フィルターを取り付け、左右画像を切り替え表示しながら液晶偏向フィルターも同時に切り替え、偏向眼鏡で観察するものである。
【０００３】
図７は一対のステレオ画像を構成する左画像と右画像のオーバーラップ部と非オーバーラップ部の説明図で、（Ａ）は左画像と右画像を組合せて立体視する状態、（Ｂ）は左画像と右画像で撮影された領域を示している。立体視可能な画像は、航空写真測量などで用いられているように、内部標定、相互標定、絶対標定という三段階の処理をへて、実際の地形図や被写体の寸法を計測できる状態に変換される。そして、一対のステレオ画像を構成する左画像と右画像においては、オーバーラップ部と左画像又は右画像だけに写っている非オーバーラップ部が存在している。このうち、オーバーラップ部は立体画像表示装置による立体視の対象となる。
【０００４】
【発明が解決しようとする課題】
しかし、従来の立体画像表示装置では、左画像又は右画像だけに写っている非オーバーラップ部も立体視の対象として、オペレータが視認可能な状態で写している。すると、立体視しているオペレータは、立体視の対象であるオーバーラップ部と、立体視できない非オーバーラップ部を同時に見ることになる。そこで、オペレータは、ちらつきや不快感を訴えたり、疲労を伴うため長時間の立体視作業が困難であるという課題があった。
【０００５】
本発明は、上述する課題を解決したもので、一対のステレオ画像を構成する左画像と右画像を立体視する場合に、長時間立体視しても疲労の伴わない立体画像表示装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成する本発明の立体画像表示装置は、図１に示すように、ステレオ画像取得部１０で取得された一対のステレオ画像における左画像の輪郭と右画像の輪郭から、当該左画像及び右画像で重複して撮影されている範囲の輪郭を決定する輪郭決定部４５と、輪郭決定部４５によって決定された重複範囲の輪郭に基づき、ステレオ画像から有効ステレオ画像を抽出する有効画像領域抽出部４６と、有効画像領域抽出部４６で抽出された有効ステレオ画像を立体視可能な画像として表示する表示部６０とを備えている。
【０００７】
このように構成された装置においては、輪郭決定部４５によって一対のステレオ画像を構成する左画像及び右画像で重複して撮影されている範囲の輪郭が決定されるので、有効画像領域抽出部４６によるステレオ画像から有効ステレオ画像を抽出することが容易に行える。抽出された有効ステレオ画像は、表示部６０によって立体表示される。好ましくは、ステレオ画像取得部１０で取得された一対のステレオ画像を格納する画像データ記憶部２０を設けると、輪郭決定部４５により左画像及び右画像の重複範囲の輪郭を決定する処理に用いる一対のステレオ画像データとして、画像データ記憶部２０に格納されたステレオ画像を用いて行える。
【０００８】
好ましくは、輪郭決定部４５は、一対のステレオ画像のうち一方の画像を基準画像とし、前記ステレオ画像の他方の画像を従画像として設定する基準画像設定部４５２を有し、前記基準画像側に設定した境界範囲に応じて、従画像上に前記基準画像の境界範囲に対応した対応境界領域を設定するように構成されているとよい。この場合、基準画像設定部４５２は、オペレータの利き目側に対応する側の画像を基準画像とする構成とすると、オペレータの個性に適合する側の画像を基準画像に選定でき、オペレータにとって負担の少ない立体視作業が行える。
【０００９】
好ましくは、輪郭決定部４５は、前記基準画像側に基準カーソルを表示し、前記従画像には従属カーソルを表示させるカーソル表示制御部４５４を有し、カーソル表示制御部４５４は、前記基準画像上で移動表示される前記基準カーソルと対応する位置に、前記従属カーソルを前記従画像上で移動表示させるように構成されているとよい。オペレータが基準画像側に表示される基準カーソルに注目して操作していると、カーソル表示制御部４５４によって従画像に表示される従属カーソルは基準カーソルの移動表示に対応して自動的に移動表示されるので、例えば特徴点、境界点等の指定が円滑に行える。
【００１０】
好ましくは、輪郭決定部４５は、さらに前記基準カーソルによる指示により基準画像側に境界範囲が設定されると、前記基準画像側の境界範囲に応じて従画像上に対応境界領域を設定する境界領域設定部４５６を有する構成とすると、立体視の対象領域の指定が境界領域設定部４５６により円滑に行える。そこで、例えば基準画像側に表示される基準カーソルを用いて重複範囲を抽出する場合には、従画像上の対応境界領域から所定の形状、例えば矩形に切抜くような作業がやりやすい。
【００１１】
好ましくは、輪郭決定部４５は、前記重複範囲の決定にあたり、前記右画像の左端部の輪郭に対応する輪郭を前記左画像の輪郭に対応させ、前記左画像の右端部の輪郭に対応する輪郭を前記右画像の輪郭に対応させるように構成されていると、重複範囲の決定にあたって基準とする側の画像と輪郭が明確となり、重複範囲の決定処理が円滑に行える。
【００１２】
好ましくは、輪郭決定部４５は、一対のステレオ画像を構成する一方の画像の指定境界が指定されると、当該指定境界に基づき他方の画像の対応境界を演算により求める構成とすると、境界の指定が自動化されて円滑に行える。演算の内容は、例えば境界点の標高差や奥行きの差異に起因する左画像と右画像における視差差の補償や、相関処理による重複範囲の決定である。重複範囲の決定に相関処理演算を用いる場合には、立体視可能な範囲を成るべく多く含むように対応境界を定める運用や、画像歪の大きな範囲を除いて正確な形状で立体視できる範囲を切出すような運用ができる。
【００１３】
好ましくは、輪郭決定部４５は、一対のステレオ画像を構成する一方の画像に対して、指定された境界点を補間して指定境界線を演算し、当該補間された指定境界線に基づき他方の画像の対応境界を演算により求める構成とすると、境界点を指定する密度を粗くでき、オペレータの作業効率が高まる。
【００１４】
上記目的を達成する本発明の立体画像表示方法は、図３に示すように、一対のステレオ画像における左画像の輪郭と右画像の輪郭から、当該左画像及び右画像で重複して撮影されている範囲の輪郭を決定し（Ｓ１１８）、決定された重複範囲の輪郭に基づき、ステレオ画像から有効ステレオ画像を抽出し（Ｓ１２０）、抽出された有効ステレオ画像を立体視可能な画像として表示する（Ｓ１２２）工程を有するとよい。
【００１５】
【発明の実施の形態】
以下図面を用いて本発明を説明する。図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。立体画像表示装置は、ステレオ画像取得部１０、画像データ記憶部２０、画像標定部３０、特徴要素指定部４０、データ入力部５０並びに表示部６０を備えている。
【００１６】
ステレオ画像取得部１０は、ステレオカメラのような精密機器でも良く、またデジタルカメラやデジタルビデオカメラ等のような簡易なレンズを用いた機器でもよい。ステレオカメラは、ステレオ計測するためのもので、各カメラが相対的に動かないように固定されている。そこで、カメラ間隔に対応する基線長は不変であり、カメラの撮影距離も各カメラ間で正確に一致させる必要があるため、固定焦点距離式のレンズが使用されているが、可変焦点距離式のズームレンズを用いても良い。また、カメラの分解能に依存して、ステレオカメラの計測精度が定まるため、収差の少ない高精度レンズが使用されている。
【００１７】
他方、デジタルカメラやデジタルビデオカメラは、同じ光学的性質を有するレンズを用いた２台の機器をステレオバーに取り付けて、ステレオカメラとすることが可能である。あるいは、デジタルカメラやデジタルビデオカメラを一台として、測定対象物に対して右撮影方向と左撮影方向から撮影しても良い。一台で右撮影方向と左撮影方向から撮影する場合には、左右撮影のカメラ間隔が一定になるように留意する。デジタルカメラやデジタルビデオカメラでは、レンズ収差がステレオカメラのレンズ収差に比較して大きいので、レンズ収差を補償して画像データ記憶部２０に格納するとよい。
【００１８】
画像データ記憶部２０は、ステレオ画像取得部１０にて取得した画像を記憶するもので、デジタルカメラやデジタルビデオカメラであればデジタル画像情報を記憶するフレキシブルディスク、ＣＤ−ＲＯＭ、ハードディスク等を用いるとよい。ステレオカメラとしてフィルムに焼付けたアナログ画像情報を用いる場合には、アナログ画像情報をスキャナー等でデジタル化してデジタル画像情報化して、記憶するとよい。
【００１９】
画像標定部３０は、特徴要素指定部４０で指定された画像の位置を用いてカメラの位置と傾き（外部標定要素）を計算し、立体視可能なステレオ画像（偏位修正画像）を作成するもので、典型的には航空写真測量でいうところの内部標定、相互標定、絶対標定のうち相互標定と絶対標定を行う機能に相当している。画像標定部３０はパソコン上のソフトウェアとしても良いし、あるいはマイコン等の組込み型ソフトとして表示部６０に組み込んでも良い。あるいはハードウェアで構成しても良い。なお、立体画像作成の原理に関しては後で詳細に説明する。
【００２０】
また、ステレオ画像取得部１０にて、ステレオアタッチメント等に２台のカメラを取り付けステレオカメラ撮影した場合も、ステレオ撮影における対応点を求めて、ステレオモデルを作成できる。すると、オペレータの熟練度に依存せず安定したステレオ撮影とステレオモデル作成が可能となる。ステレオカメラの場合には、基線長やカメラの傾きが既知なので、該当するパラメータを用いればステレオモデルが一義的に得られる。
【００２１】
さらに、画像標定部３０は、特徴要素指定部４０で指示する画像の特徴点に対して、データ入力部５０より実際又は仮想の座標又は寸法を入力することにより、立体視可能なステレオ画像において実際又は仮想の縮尺又は寸法になったステレオ画像に変換する。このように立体視可能なステレオ画像を作成して、寸法を与えれば、ステレオ法の原理に従って三次元計測が可能となる。
【００２２】
特徴要素指定部４０は、ステレオ画像を立体視可能なように修正する際に、左右画像上で画像の特徴点を指示するものである。画像の特徴点とは、標定を可能とするために左右画像上で重なった領域に少なくとも６点設ける必要のあるもので、特徴点の分布密度は左右画像上の重なった領域で概ね均等になるように定めるとよい。画像の特徴点は、オペレータや自動捜索処理部４４で認識しやすい形状や模様であることが好ましく、例えばターゲットと呼ばれる標識を被写体に設けると良い。
【００２３】
特徴要素指定部４０は、立体画像を作成する際や計測する際に左右画像の対応点を指示する対応点指示部４２、自動で対応点を探索するための自動捜索処理部４４、ステレオ表示・計測する際のオーバーラップ部を決定する輪郭決定部４５、オーバーラップ部を抽出する有効画像領域抽出部４６、三次元計測をする際の演算を施す演算処理部４８を備えている。ここで、対応点とは、画像の特徴点の中で左画像と右画像の双方で認識された同一の特徴点をいう。
【００２４】
対応点指示部４２は、画像上の平面方向としてのＸＹ方向の指示や奥行き方向の指示をするもので、ＰＣのマウスや奥行きを指示するダイヤルをつけたものなどを使用する。対応点指示部４２には、表示部６０のカーソル位置が対応点位置に対して近傍になると、表示部６０に表示されているカーソルマーク表示を変更する機能を持たせるとよい。自動捜索処理部４４での対応点探索には、例えば画像相関処理を用いて行う。即ち、左画像上で特徴点として指示した点をテンプレートとして、右画像上を探索する。画像相関処理は、相互相関係数法や残差逐次検定法（ＳＳＤＡ法）などどれを用いても良い。
【００２５】
輪郭決定部４５は、基準画像設定部４５２、カーソル表示制御部４５４、境界領域設定部４５６を備えている。基準画像設定部４５２は、左右のステレオ画像のうち一方の画像を基準画像とし、ステレオ画像の他方の画像を従画像として設定する。この場合、オペレータの利き目側に対応する側の画像を基準画像とする構成とすると、オペレータの個性に適合する側の画像を基準画像に選定でき、オペレータにとって負担の少ない立体視作業が行える。カーソル表示制御部４５４は、基準画像側に基準カーソルを表示し、従画像には従属カーソルを表示させるもので、さらにオペレータによる動的な操作を容易にするために、基準画像上で移動表示される基準カーソルと対応する位置に、従属カーソルを従画像上で移動表示させるとよい。境界領域設定部４５６は、基準カーソルによる指示により基準画像側に境界範囲が設定されると、基準画像側の境界範囲に応じて従画像上に対応境界領域を設定する。境界範囲の設定には、境界点がオペレータによって主画像側で指定されると、従画像側で対応境界点を生成する機能、指定された境界点を補間して主画像側の境界範囲の輪郭を生成する機能、並びに生成された対応境界点を補間して従画像側の境界範囲の輪郭を生成する機能が含まれる。
【００２６】
データ入力部５０は、実際の寸法と合わせるのに基準量等を入力する。なお、立体画像を作成するだけであれば、データ入力部５０を設ける必要はない。データ入力部５０により、立体視可能なように修正されたステレオ画像に寸法をいれれば、その寸法にあった立体画像を作成可能となる。
【００２７】
表示部６０は、取得された画像や立体視可能になった画像を表示するもので、操作表示部６４と立体画像表示部６６を備えている。操作表示部６４は、画像標定部３０に用いるパソコン用のモニタを用いるとよい。立体画像表示部６６は、偏向眼鏡をかけて立体視可能とするデュアルディスプレイ方式の立体ディスプレイである。
【００２８】
図２はデュアルディスプレイ方式の立体画像表示部を説明する構成斜視図である。デュアルディスプレイ方式は、左右画像を２枚の偏光ディスプレイ６６２、６６４にそれぞれ表示させ、ハーフミラー６６６によって合成する。ハーフミラー６６６によって合成された画像は、偏光眼鏡６６８によって左右それぞれの画像を分離できる偏光状態となっている。即ち、偏光ディスプレイ６６２、６６４で表示される画像の偏光状態は光学的に直交していて、偏光眼鏡６６８による分離が可能となっている。観察者が偏光眼鏡６６８を用いて立体画像表示部６６に表示された画面を観察すると、左右の目に左右画像を同時に表示する状態が実現される。そこで、観察者は左右画像を立体的に観察できる。デュアルディスプレイ方式は、従来の液晶シャッター方式や液晶フィルターシャッター方式と比較して、左右画像を同時に観察しているため、蛍光灯や照明条件等の外部環境ノイズに影響されず、安定して長時間立体視できるという利点がある。
【００２９】
表示部６０には、立体画像だけでなく、計測点の指示、装置の操作用の表示、取得された生画像等も表示するとよい。これら表示は、立体画像表示部６６にあわせて表示しても良いし、あるいは操作表示部６４に表示させても良い。
【００３０】
次に、このように構成された装置の使用について説明する。図３は図１の装置におけるステレオ画像計測の手続きの流れを説明するフローチャートである。まず、市販のデジタルカメラやデジタルビデオカメラを用いて、立体表示したい対象物のステレオ撮影を行う（Ｓ１００）。ステレオ撮影に用いるカメラは１台として撮影方向を右方向と左方向で撮影してもよく、またカメラを２台固定して右方向と左方向からステレオ撮影してもよい。
【００３１】
次に、ステレオ撮影した左右画像を画像データ記憶部２０に読み込む（Ｓ１０２）。そして、画像データ記憶部２０に読み込まれた撮影画像を表示部６０に表示する（Ｓ１０４）。ここで、表示部６０には左右２枚の画像を並べて表示すると、その後の操作が容易になる。表示部６０に操作表示部６４が設けられている場合には、操作表示部６４に表示するとよい。この状態であっても、固定されたステレオアッタチメントで対象物に対し平行に撮影した画像であれば、立体画像表示部６６に表示すれば、立体視することも可能である。
【００３２】
続いて、ステレオ撮影した左右画像上で対応点の座標値や特徴点において関連する寸法がある場合は、該関連する寸法をデータ入力部５０から入力する（Ｓ１０６）。例えば、実際の座標として３点が既知であれば、データ入力部５０から既知の３点の座標値を入力することができる。すると、Ｓ１１０で処理される左右画像の対応点決定において既知の座標系に変換可能でき、三次元計測が可能となる。データ入力部５０から入力する他のデータとしては、撮影したカメラの傾き（方向）、既知の画像上の寸法、ステレオ撮影した際のカメラ間距離（基線長）がある。これらデータを入力すれば、作成されたステレオ画像を計測することが可能となる。なお、データ入力部５０からデータ入力に代えて、基準となる寸法となる部位を予めステレオ画像として写し込んでおいてもよい。
【００３３】
また、データ入力部５０から入力するデータは実際の寸法でなくとも、仮想値を入力して仮想寸法のステレオモデルを作成することも可能である。あるいは、Ｓ１０６にて、データ入力部５０からデータを何もいれないくても、ステレオモデルを作成することは可能であり、立体画像表示部６６に立体視可能なステレオ画像を表示することが可能である。ただし寸法は、基準となる寸法を別途定めないと、現実の寸法に対して相似のステレオ画像が得られるだけとなり、絶対値は得られない。
なお、データ入力部５０へのデータ入力は、Ｓ１０６の位置に代えて、初期設定値として予め入力しても良く、Ｓ１１０で処理される左右画像の対応点決定の際に入力しても良く、あるいは、左右画像の対応点決定処理の後に入力してもよい。
【００３４】
続いて、主画像と従画像の選択を行う（Ｓ１０８）。ここで、主画像とは、自動相関処理の際に、基準カーソルが現れる画像をいう。また、従画像とは、自動相関処理の際に、基準カーソルの位置に対応した相関値の高い位置にカーソルが自動的に移動する従カーソルが現れる画像をいう。基準画像設定部４５２は、左右画像のうち選択された側を主画像として扱う。
【００３５】
ステレオ撮影した左右画像のどちらを主画像とするかは、オペレータに任せられる。主画面とする画像は、基準画像設定部４５２にて説明したように、オペレータが物の形を認識するための利き目側の画像を選択することが望ましい。何故なら、人間の目は両眼で立体視をしているが、物の形を認識するために、左右の何れかが利き目となっているからである。なお、両眼のうち何れが利き目か判断するためには、立体視をしている状態で所定のマークを指差し、一方の目を閉じても所定のマークを指差している側の目を求める。以下の説明においては、主画像は左画像とし、従画像を右画像とする場合を例に説明する。
【００３６】
次に、立体画像を作成するために特徴要素指定部４０の対応点指示部４２により左右画像の対応点を指示決定する（Ｓ１１０）。左右画像上の同一点を最低６点以上対応付けすることによって、先に説明した立体視の原理を適用する画像標定部３０により、カメラの位置と傾き（外部標定要素）を求めることができる。対応点決定は、画像上で特徴のあるところを左右画像上で決定すれば良いが、明確なターゲットを対象物周辺にプリンタ等で印刷、配置しておけば作業自体は楽なものになる。明確なターゲットマークとしては、黒丸”●”、四角”■”、菱形”◆”、三角形”▲”などがある。なお、この対応点決定から外部標定要素計算までの一連の作業は標定と呼ばれている。
【００３７】
続いて、左右画像の対応点を決定する具体的な処理過程を、図４を参照して説明する。図４は、対応点決定処理を説明するフローチャートである。対応点決定処理に入ると（Ｓ２００）、対応点決定処理としてのマニュアルモード、半自動モード、自動モードと３つのモードの何れか一つを選択する（Ｓ２０２）。なお、以下に説明する左画像と右画像は、その逆の右画像と左画像と逆に置き換えても処理は全く同様であり、そのように読替えて処理してもよい。
【００３８】
マニュアルモードが選択されると、マニュアルモードでの処理が開始される（Ｓ２１０）。まず、表示部６０上の左画像の特徴となるところを対応点指示部４２のマウスによって指示し、確定する（Ｓ２１２）。確定は、例えばマウスのボタンを押すことなどに行う。確定処理により左画像座標が読み込まれる。次に、左画像と同じ特徴点を表示部６０の右画像上で対応点指示部４２のマウスにより指示・確定する（Ｓ２１４）。これにより、右画像座標が読み込まれる。このようにマニュアルモードでは、左右画像上で別々に対応点指示部４２により指示、確定させる。そして、対応点として６点以上対応付けをしたか判断し（Ｓ２１６）、６点未満であればＳ２０２のモード選択に戻る。なお、Ｓ２１２に戻ってマニュアルモードによる対応点決定処理を継続するようにプログラムを作成してもよい。６点以上対応付けしていれば、戻しとする。
【００３９】
半自動モードが選択されると、半自動モードでの処理が開始される（Ｓ２２０）。半自動モードでは、特徴要素指定部４０の自動捜索処理部４４による自動捜索モードにうつる（Ｓ２２２）。そこで、オペレータは表示部６０の左画像上で特徴点を対応点指示部４２のマウスにより指示する（Ｓ２２４）。すると、自動捜索処理部４４は、右画像上の対応点を自動で探索する（Ｓ２２６）。
【００４０】
そして、オペレータは自動捜索処理部４４にて検索された右画像上の対応点が適切であるか、判断する（Ｓ２２８）。この場合、自動捜索処理部４４にて演算された相互相関係数が、ある閾値以上であればＯＫと決定する（例えば０．７以上等）。表示部６０には、対応点指示部４２により、例えば右画像上で左画像上に対応した探索位置にＯＫなら緑表示の点、ＮＧなら赤表示の点を表示したり、カーソルマークの図形を変えたり（例えば、矢印”⇒”から二重丸”◎”にカーソルマーク表示を変更する）、相互相関係数値を表示させたりすることに、オペレータが判定する。右画像探索ＯＫか否かの表示は、オペレータが判断容易であればどのような表示によっても良い。
【００４１】
ＯＫでなかった場合、対応点が他の位置でもよいか判断し（Ｓ２３０）、他の位置でもよければＳ２２４へもどり他の点を指示する。他方、どうしてもその位置を特徴点としたい場合は、右画像上のカーソルをマニュアルにて移動させて指示する（Ｓ２３２）。即ち、例えば対応点指示部４２の奥行き方向を合わせるダイヤル等を回せば、等価的に右画像上のカーソルが動くことになるので、それを調整して、左画像と同じ特徴点のところへ持って行き、あわせる。
【００４２】
そして、Ｓ２２８で右画像探索ＯＫの場合、あるいはＳ２３２にて右画像を指示した場合は、その点の画像座標を読み込む（Ｓ２３４）。例えばマウスのボタンを押すなどして確定させる。そして、対応点として６点以上対応付けをしたか判断し（Ｓ２３６）、６点未満であればＳ２０２のモード選択に戻る。なお、Ｓ２２２に戻って半自動モードによる対応点決定処理を継続するようにプログラムを作成してもよい。６点以上対応付けしていれば、戻しとする。
【００４３】
上述した半自動モードでは、左画像上で特徴点をマウスにより指示することにより、自動で右画像の対応点を探索し、ＯＫかどうか表示する。オペレータはカーソルマーク表示の表示を見て、自動捜索処理部４４にて検索された右画像上の対応点が適切であれば、検索された対応点を対応点として確定させる（例えば矢印”⇒”から”◎”に変更されている場合）。半自動モードを用いることにより、オペレータは片方の画像を指示するだけでよいので、対応点決定処理を簡単に処理できる。なお、マウスによる指示と確認のための判定は、ボタンを押すことによっても良いが、更にマウスカーソルを移動して左画像上をなぞるだけで、右画像上の対応点を常に判定表示させるように構成しても良い。左画像上のマウスカーソルに対応する右画像上の対応点を判定表示させると、対応点決定処理をさらに容易に処理できる。
【００４４】
自動モードが選択されると、自動モードでの処理が開始される（Ｓ２４０）。自動モードは、対応点となるターゲットを予め対象物周辺に配置することで、自動でターゲットを検出するモードである。ターゲットとなるものは、予め特徴点として認識しやすいものを対象物周辺に配置する。ターゲットは認識しやすいものであればなんでもよい。例えば、前述した”●”ようなターゲットマークをプリンタにより印刷したり、作成したりして配置する。この場合、ターゲットの正確な位置が予めわかっていれば、正確な三次元計測がその後可能となる。
【００４５】
まず、表示部６０により左右画像上に６点以上のターゲットが含まれているか確認する（Ｓ２４２）。もし左右画像上で６点以上のターゲットが含まれていなければ、マニュアルもしくは半自動モードへ行く（Ｓ２４４）。なお、左右画像に対応する６点以上のターゲットが撮影されていない場合には、ターゲットが６点以上入るように撮影しなおす。そして、自動モード処理に移行する（Ｓ２４６）。
【００４６】
自動モード処理では、自動ターゲット検出を行うために、配置したターゲット画像の一つを対応点指示部４２により指示し、特徴要素指定部４０にテンプレート画像として登録する（Ｓ２４８）。そして、テンプレート画像を元に、左画像、右画像それぞれターゲットの位置を探索する（Ｓ２５０）。このターゲットの位置を探索処理は、例えば先に説明した相互相関係数法等を利用して自動検出させる。そして、探索されたターゲット位置を表示部６０上に表示する（Ｓ２５２）。
【００４７】
探索されたターゲット位置がＯＫであるか判断し（Ｓ２５４）、ＯＫであれば戻しとする。ＮＧであれば、ターゲット位置の修正を行う（Ｓ２５６）。この修正には、マニュアルモードあるいは半自動モードによる処理を用いる。仮に、ＮＧであった場合でも、ターゲットを配置してあるので修正は容易である。
【００４８】
そして、修正されたターゲット位置を用いて、左右画像上での対応点を検出する（Ｓ２５８）。この作業は、特徴要素指定部４０の対応点指示部４２により左右画像の対応点を表示部６０を見ながら指示することにより行う。あるいは、図５（Ａ）のように予めターゲットの配置を決めて、概略平行にステレオ撮影する。すると、ターゲットの配置は撮影した画像上でも保たれるため、対応付けを自動で行うことも可能である。更には、６点以上のターゲットマークを別々に決め、予めテンプレート指定しておいても、対応付けを自動で行うことが可能である。左右画像上での対応点の点数は、最小６点なので作業はマニュアルで行っても簡単にできる。
【００４９】
図３にもどり、Ｓ１１０にて左右画像の対応点の対応付けが終了したら、該対応点を元に画像標定部３０にて外部標定要素（カメラの位置、傾き）を計算する（Ｓ１１２）。外部標定要素の詳細については、後述する立体画像作成の原理の該当箇所に説明されている。
【００５０】
Ｓ１１２にて外部標定要素が求まったら、求めた外部標定要素値により画像の偏位修正（ステレオ画像作成）を行う（Ｓ１１４）。そして、立体画像表示部６６にステレオ画像を表示する（Ｓ１１６）。以上のようにして、ステレオ画像が作成される。
【００５１】
次に立体視を容易にするため、オーバーラップ部の輪郭又は対応境界を抽出するかのオペレータ判断を待つ（Ｓ１１８）。輪郭又は対応境界を抽出する場合は、輪郭決定部４５と有効画像領域抽出部４６により、オーバーラップ部の輪郭もしくはステレオ視したい部分の境界をオーバーラップ部の中で抽出する（Ｓ１２０）。輪郭又は対応境界を抽出しない場合は、輪郭又は対応境界抽出処理をスキップしてＳ１２４へいく。
【００５２】
続いて、オーバーラップ部の輪郭又は対応境界を抽出する具体的な処理過程を、図６を参照して説明する。図６は輪郭又は対応境界の抽出処理を説明するフローチャートである。左右画像のオーバーラップ部の輪郭を抽出する場合も、切り出したい対応境界を決めて抽出する場合も、以下と同様の処理で行う。
【００５３】
輪郭決定部４５を用いたオペレータの操作は、左右画像二つ同時に表示した操作表示部６４により行う場合と、立体画像表示部６６を見ながら行う場合がある。立体画像表示部６６を見ながら行う場合には、所望の形に輪郭または対応境界をひくことができる。例えば、オペレータは直線状に立体画像を切り取りたいとき、立体画像上で操作を行うと、カーソル表示制御部４５４によりカーソルの表示が左右の画像で一致する。そして、境界領域設定部４５６の処理において、奥行き方向を確認しながら切り取ることができる。この場合、比高差があるため、左画像では直線であっても、右画像上では直線とならない。しかし、立体画像表示部６６では左右画像をステレオ合成することで、立体的にかつ直線を考慮しながら作業を行えるから、有効画像領域抽出部４６での作業は容易に行える。
【００５４】
輪郭又は対応境界の抽出処理に入ると（Ｓ３００）、輪郭又は対応境界の抽出処理としてのマニュアルモード、半自動モード、自動モードと３つのモードの何れか一つを選択する（Ｓ３０２）。マニュアルモードが選択されると、マニュアルモードでの処理が開始される（Ｓ３１０）。まず、立体画像表示部６６を見ながら、対応点指示部４２のマウスを動かすことによりカーソルを移動させ、抽出したい輪郭や対応境界の点を指示する（Ｓ３１２）。すると、カーソル表示制御部４５４によりカーソルの表示が左右の画像で一致する。
【００５５】
次に、抽出したい輪郭や対応境界に対する奥行きを合わせる（Ｓ３１４）。奥行きは、対応点指示部４２の奥行き方向を指示するダイヤル等を回すことにより、カーソルが立体画像表示部６６上で奥行き方向に浮いたり沈んだりして見える。そこで、オペレータはカーソル位置を調整して、実際の対象物の表面上にカーソルが位置するように奥行き方向を合わせる。奥行き方向が合ったら、例えばマウスのボタンを押すこと等により確定させて、左右画像の座標を読み込ませる（Ｓ３１６）。なお、奥行き方向を調整することは、例えば左画像で指示したマウスを基準位置として、その対応点の位置を右画像上から探していることと同じである。カーソル位置の調整を立体画像表示部６６に映し出すと、奥行き方向の変化となって観察される。なお、奥行き方向が左右の座標で大きく外れていると、カーソルが左右二つとなって、別のところにカーソルがいってしまったように見える。次に、抽出したい輪郭や対応境界が完了したか判断し（Ｓ３１８）、未了であればＳ３０２に戻り次の特徴点の処理を、何れのモードで行うか選択する。
【００５６】
次半自動モードが選択されると、半自動モードでの処理が開始される（Ｓ３３０）。ここでは、立体画像表示部６６を観察しながら操作する場合を例に説明する。半自動モード処理での特徴点は、オーバーラップ部の輪郭、又は切り出したい対応境界となる。そこで、輪郭決定部４５は自動捜索処理部４４にて対応点探索を行う自動捜索モードに入る（Ｓ３３２）。対応点探索処理では、オペレータは立体画像表示部６６の左画像上で抽出したい特徴点として、輪郭または切り出し境界を対応点指示部４２のマウスにより指示する（Ｓ３３４）。すると、自動捜索処理部４４は、右画像上の対応点を自動で探索する（Ｓ３３６）。
【００５７】
そして、オペレータは自動捜索処理部４４にて検索された右画像上の対応点、特に奥行きが適切であるか、判断する（Ｓ３３８）。奥行きが適切でないときは、カーソル位置を調整して、実際の対象物の表面上にカーソルが位置するように奥行き方向を合わせる（Ｓ３４０）。奥行き方向が合ったら、例えばマウスのボタンを押すこと等により確定させて、左右画像の座標を読み込ませる（Ｓ３４２）。すると、境界領域設定部４５６では、読込んだ左右画像の座標を境界点並びに対応境界点の座標として扱う。次に、抽出したい輪郭や対応境界が完了したか判断し（Ｓ３４４）、未了であればＳ３３４に戻り次の特徴点の処理をする。
【００５８】
完了していれば、境界領域設定部４５６の境界点並びに対応境界点の補間結線機能を用いて、左右画像の対応点を結線して表示する（Ｓ３４６）。例えば図５（Ｂ）は、対応境界を指定、結線、表示させたものである。そして、オペレータは立体画像表示部６６を観察して、自動捜索処理部４４にて検索された右画像上の対応点による輪郭や対応境界が適切であるか判断する（Ｓ３４８）。適切であれば、有効画像領域抽出部４６が輪郭や対応境界を基準として、画像を切り取ってオーバーラップ表示領域とする（Ｓ３５０）。適切でない場合は、該当する左右画像の対応点をクリアして（Ｓ３５２）、Ｓ３３４に戻り、再び半自動モードで点指定処理を繰り返す。半自動モードでの点指定処理の場合、対応点は細かくとってもよい。さらに、結線処理をＳ３４６の時点ではなく、Ｓ３４２とＳ３４４の間で対応点が指示・確定するたびに結線していっても良い。オーバーラップ表示領域が定まると、戻しとして、Ｓ１２２の切り取り領域のステレオ画像表示へいく。
【００５９】
自動モードが選択されると、自動モードでの処理が開始される（Ｓ３６０）。自動モードでは、対応点決定の自動処理のために使ったターゲットと同じように、明確なマークを印刷もしくは作成したものを利用する。従って、配置したマークの範囲内が有効画像領域抽出部４６による切り出し部となる。あるいは、例えば図５（Ｂ）に示すように、自動対応点決定のために使用したターゲットで囲まれた領域内を、オーバーラップ表示領域としてよければ、ターゲットの位置をそのまま使用する。オーバーラップ表示領域として、自動対応点決定のために使用したターゲットの範囲とは別の範囲とする場合は、ターゲットと違うマークを配置して、ステレオ画像に写りこむように撮影する。この場合、配置するマークは何点でもよく、またマークを結線した一番外側がオーバーラップ表示領域として切り取る領域となる。
【００６０】
自動モードでの処理において、輪郭決定部４５はターゲットマークの画像をテンプレートとして登録し、左右画像探索を行う。即ち、自動ターゲット検出を行うために、配置したターゲット画像の一つを対応点指示部４２により指示し、特徴要素指定部４０にテンプレート画像として登録する（Ｓ３６２）。そして、テンプレート画像を元に、左画像、右画像それぞれターゲットの位置を探索する（Ｓ３６４）。このターゲットの位置を探索処理は、例えば先に説明した相互相関係数法等を利用して自動検出させる。そして、探索されたターゲット位置を表示部６０上に表示する（Ｓ３６６）。
【００６１】
探索されたターゲット位置がＯＫであるか判断し（Ｓ３６８）、ＯＫであればＳ３７４に行く。ＮＧであれば、境界領域設定部４５６によりターゲット位置の修正を行う（Ｓ３７０）。この修正には、マニュアルモードあるいは半自動モードによる処理を用いる。仮に、ＮＧであった場合でも、ターゲットを配置してあるので修正は容易である。そして、修正されたターゲット位置を用いて、左右画像上での対応点を検出する（Ｓ３７２）。
【００６２】
次に、対応点として検出された検出点を境界領域設定部４５６により結線し、表示部６０に表示する（Ｓ３７４）。オペレータは有効画像領域抽出部４６による切取り部が適切か判断し（Ｓ３７６）、切取り部が適切でなければ、Ｓ３３２へゆき、半自動モードでの輪郭抽出処理により指定しなおす。有効画像領域抽出部４６による切取り部が適切であれば、有効画像領域抽出部４６が輪郭や対応境界により切り取ってオーバーラップ表示領域とする（Ｓ３７８）。オーバーラップ表示領域が定まると、戻しとして、Ｓ１２２の切り取り領域のステレオ画像表示へいく。
【００６３】
図３に戻り、有効画像領域抽出部４６にて抽出された輪郭もしくは境界部をオーバーラップしたステレオ画像として、表示部６０に表示する（Ｓ１２２）。これにより、オーバーラップ表示領域は立体視が容易な画像として表示される。従って、以下の計測作業もオーバーラップ表示領域で行えば楽なものになる。
【００６４】
続いて、表示されたステレオ画像を用いて画像計測をするか、オペレータの指示に従い（Ｓ１２４）、Ｙｅｓであれば、計測位置指定を行う（Ｓ１２６）。次に、ステレオ画像における計測位置指定をする具体的な処理過程を図８を参照して説明する。図８は、計測位置指定処理を説明するフローチャートである。計測位置指定処理に入ると（Ｓ４００）、計測位置指定処理としてのマニュアルモード、半自動計測モード、自動計測モードの３モードのうち何れか一つを選択する（Ｓ４０２）。
【００６５】
なお、計測位置指定処理の各モードにおいて、入力データ部により入力されたデータによって、指定された点の三次元座標値、あるいは２点間の距離等が計測できる。ここでは、立体画像表示部６６にて、立体画像が表示されているので、それを見て、確認しながら計測することが可能となる。更に、操作表示部６４上に左右画像別々に表示し、それを見ながら計測することも可能であるが、立体画像表示部６６にて確認しながら行えば、さらに確実な計測が可能になる。
また、対応点指示部４２の立体画像上における奥行き方向の指示は、マウスについたダイヤルやダイヤル単体等により指示する。
【００６６】
マニュアルモードが選択されると、マニュアルモードでの計測位置指定の処理が開始される（Ｓ４１０）。ここでは、オペレータが立体画像表示部６６を見ながら操作表示部６４を用いて計測点を指示する手順を説明する。オペレータは、立体画像表示部６６を見ながら、操作表示部６４で表示されている左画像について、計測したい位置を特徴点として指示する（Ｓ４１２）。次に、操作表示部６４で表示されている右画像について、同一点と思われる位置を特徴点として指示する（Ｓ４１４）。そして、立体画像表示部６６を見て、左画像の特徴点と右画像の特徴点がカーソルの指し示す計測したい点として、一致する特徴点の上にあるか確認する（Ｓ４１６）。このカーソルが計測したい点の位置には、画面の平面方向の他に、奥行き方向も含まれる。もし違っていれば、対応点指示部４２のマウスを利用して計測したい位置を指示する（Ｓ４１８）。
【００６７】
オペレータが立体画像表示部６６を見ていると、奥行き方向も同時に観察できるため、奥行き方向の位置も合わせる（Ｓ４２０）。即ち、奥行き方向があっていなければカーソルが対象点より浮いたり沈んだりして見える。この場合、奥行き方向を合わせるダイヤルがあれば、それらを利用して対象点の上にカーソル位置を合わせることができる。このカーソル位置合わせ作業は、実質的には、左右画像の位置あわせをしていることと同じであるが、立体視をしながら行っているので間違いがないのと同時に確実である。即ち、特徴が少ないところでもあわせることができる。そして、左画像の特徴点と右画像の特徴点が一致していてＯＫであれば、マウスのボタンなどにより位置確定して、座標位置を読み込ませる（Ｓ４２２）。
【００６８】
半自動計測モードが選択されると、半自動計測モードでの計測位置指定の処理が開始される（Ｓ４３０）。半自動計測モードでは、操作表示部６４もしくは立体画像表示部６６どちらを見ながら行ってもよい。半自動計測モードでは、特徴要素指定部４０は、自動捜索処理部４４に移行する（Ｓ４３２）。そして、オペレータは左画像上の計測点をマウスにより指示する（Ｓ４３４）。すると、自動捜索処理部４４によって、左画像上の計測点と同一計測点を右画像上で探索する（Ｓ４３６）。なお、この自動捜索処理部４４による左画像上の計測点と同一計測点を右画像上で探索することは、Ｓ２２６にて説明した内容と全く同様である。そして、右画像の探索位置がＯＫか確認する（Ｓ４３８）。
【００６９】
もし右画像の探索位置が左画像上の計測点と違っていれば、マニュアルモードと同様に対応点指示部４２のマウスを利用して計測したい位置を指示する（Ｓ４４０）。この時、オペレータは立体画像表示部６６上で奥行き方向と画像平面方向と同時に観察できるため、奥行き方向の位置も一致させる（Ｓ４４２）。そして、左画像の特徴点と右画像の特徴点が一致していてＯＫであれば、マウスのボタンなどにより位置確定して、座標位置を読み込ませる（Ｓ４４４）。この時、操作表示部６４上には、ＯＫであれば対応する右画像の位置にＯＫ表示をするとよい。また、立体画像表示部６６上であれば、ＯＫ表示もカーソルの色、形状をかえることなどにより確認できるが、実際にあっているかどうかも本人の目で確認することができる。
【００７０】
自動計測モードが選択されると、自動計測モードでの計測位置指定の処理が開始される（Ｓ４５０）。自動計測モードでは、指定した領域の三次元座標値を一括して計測することが可能である。そこでまず、計測領域はオーバーラップ部全体か判断し（Ｓ４５１）、全体であればＳ４６２へジャンプする。他方、オーバーラップ部の一部であるときは、計測したい領域について指定する計測領域指定処理を行う（Ｓ４５２）。即ち、計測領域の一番外側となる左右画像の境界点を指示する。例えば、大略五角形の領域を一括計測したい場合は、図５（Ｂ）のように対応境界となる境界点を５点指示する。ここでは、オペレータによって指示された境界点を黒丸で表している。そして、オペレータは境界点の表示を参照して、左右画像の境界点を指示する点が適切か判断し（Ｓ４５４）、指定した境界点を間違えたり、気に入らなければＳ４５２に戻り指示しなおす。
【００７１】
左右画像の境界点の指定が適切であれば、各指定点を結線し、立体画像表示部６６に表示して計測領域を明確にする（Ｓ４５６）。すると、図５（Ｂ）のように、立体画像表示部６６の表示は対応境界となる境界点を結線した表示となる。そして、オペレータは境界点及び結線表示を参照して、計測領域の指定が適切であるかを確認する（Ｓ４５８）。適切でない場合は、不適切な指定点と対応する結線をクリアして（Ｓ４６０）、Ｓ４５２に戻り指示しなおす。計測領域の指定が適切であれば、計測領域として確定する（Ｓ４６２）。このようにして、計測領域を決めれば、その領域において左右画像の対応点が間違いなく決まっているので、確実な一括計測が可能となる。また、一括計測において、これらの左右画像の対応点を利用すれば、信頼性、速度ともにあげることが可能となる。
【００７２】
次に、計測領域指定された領域内の対応点に対して、自動で対応点検出を一括処理する（Ｓ４６４）。ここでは、画像相関処理により行う。例えば先に説明した、相互相関係数法を利用して、左画像をテンプレート、右画像をその探索領域として各点の対応点検出を行えばよい。なお、画像相関処理として、粗密探索相関法やその他の画像相関処理として利用される通常の処理方法を用いても良い。
【００７３】
図３にもどり、対応点の左右座標値から計測値を演算処理部４８によって算出する（Ｓ１２８）。演算は、先に説明したステレオ法の原理により計算される。自動計測モードで、計測領域の対応点を自動検出した場合は、その対応点検出したすべての点について計算する。そして、計測値を表示部６０上に表示する（Ｓ１３０）。そして、Ｓ１２４に戻り、さらに計測を続けるか判断し（Ｓ１２４）、続けるのであれば繰り返し測定する。計測を続けない場合は、終了する。
【００７４】
なお、自動計測により領域を計測した場合であれば、表示は、数値でなく鳥瞰図や等高線図等で表示することも可能である。また、これら領域の計測値データを他のＣＡＤ(Computer Aided Design)等にわたして、ＣＡＤ側で処理してもよい。
【００７５】
次に、上記の実施の形態において用いたステレオ画像計測における基本原理を項目毎に説明する。
１．［ステレオ法の原理］
ステレオ法の原理について以下説明する。図９はステレオ法の原理の説明図である。図９に示すように、２台のカメラ１、２が、光軸が平行で、カメラレンズの主点から撮像面としてのＣＣＤ面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているものとする。また、カメラ１、２の間隔と等しい、２つの光軸間距離（基線長）をｌとする。
【００７６】
このとき、物体上の点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。
ｘ１＝ａｘ／ｚ −−−（１）
ｙ１＝ｙ２＝ａｙ／ｚ −−−（２）
ｘ２−ｘ１＝ａｌ／ｚ −−−（３）
但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラ１のレンズ主点にとるものとする。（３）式よりｚを求め、これを用いて（１）式、（２）式よりｘ、ｙが求められる。以上で、左右画像の対応点を求めれば、その位置の三次元座標を計測することが可能となる。
【００７７】
２．［立体画像作成の原理］
次に立体画像作成についての原理を説明する。立体画像作成の原理は、ステレオ法が成立するように画像を修正すれば、立体視が可能になるということである。立体視可能な画像とは、対象物に対して２枚の画像が平行でありかつ縦視差が除去されているものである。例えば、図１０に示されている画像では、左右の画像間でいくらオーバーラップしている領域があっても、左右画像の縮尺が異なり、さらに回転や縦視差があるために、人間の目では立体視することができない。しかしながら、図１１のように左右画像の倍率をあわせ、回転を補正し縦視差を除去すれば、人間が立体視可能な画像とすることができ、ステレオ法を成り立たせることができる。
【００７８】
ステレオ画像（ステレオモデル）は、左右画像中に６点以上の同一の対応点を求めることにより作成することができる。即ち、左右の画像上で６点対応する点の画像座標があれば、二つのカメラの相対的な位置と傾きを求めることができるので、それにより左右画像の縮尺、回転、縦視差を補正し、立体視可能なステレオ画像（ステレオモデル）を作成することができる。
【００７９】
２．１［相互標定］
相互標定は、画像中の６点以上の対応点によりカメラの相対的な位置と傾きを求める原理である。図１２は相互標定の説明図である。相互標定では、以下の共面条件式により各パラメータを求める。
【数１】
図１２に示すように、モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要ない。
このような条件にすると、▲４▼の共面条件式は式▲５▼のようになり、この式を解けば各パラメータが求まる。
【数２】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。
【数３】
これらの式を用いて、次の手順により、未知パラメータを求める。
２−▲１▼：初期近似値は通常０とする。
２−▲２▼：共面条件式▲５▼を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を▲６▼、▲７▼式により求め、観測方程式をたてる。
２−▲３▼：最小二乗法をあてはめ、近似値に対する補正量を求める。
２−▲４▼：近似値を補正する。
２−▲５▼：補正された近似値を用いて、２−▲２▼〜２−▲５▼までの操作を収束するまで繰り返す。
【００８３】
以上により、カメラの相対的な３次元位置ならびに３軸の傾きが求まり、立体視可能なステレオ画像（ステレオモデル）が作成できるようになる。また、ステレオ撮影したカメラ間の距離（基線長）を入力してやれば、実寸のステレオモデルとすることができる。さらに、６点のうち３点のＸＹＺ座標を与えてやることができれば、実際の座標系変換し、実座標における三次元計測が可能となる。
【００８４】
３．［相互相関係数法］
相互相関係数による方法では、次式を用いた以下の手順による。
【数４】
３−▲２▼：テンプレート画像より大きい右画像中のＭ１×Ｍ１画素を探索範囲（Ｍ１−Ｎ１＋１）２として、探索範囲上でテンプレート画像を動かす。
３−▲３▼：上式の相互相関係数Ｃ(a,b)が最大になるような画像位置を求めて、テンプレート画像に対し探索されたとみなす。完全に左画像と右画像が一致していれば、相互相関係数値Ｃ(a,b)が1.0となる。
一般的には、標定作業により撮影カメラの位置と傾きを求めて、その結果を用いて偏位修正画像を作成する作業が行われる。本実施の形態においては、画像標定部３０により、偏位修正画像を作成する処理を行わせている。
【００８５】
【発明の効果】
以上説明したように、本発明のステレオ画像用処理装置によれば、ステレオ画像取得部で取得された一対のステレオ画像における左画像と右画像の重複範囲の輪郭に基づき、ステレオ画像から有効ステレオ画像を抽出する有効画像領域抽出部と、前記有効画像領域抽出部で抽出された有効ステレオ画像を立体視可能な画像として表示する立体画像表示部とを備える構成としているので、有効画像領域抽出部により重複範囲として抽出された範囲を立体画像表示部に表示させることができ、オペレータは立体視できない非オーバーラップ部を見ることがない為、疲れることなく長時間の立体視作業が行える。
【００８６】
さらに、輪郭決定部により一対のステレオ画像を構成する一方の画像に対して、指定された境界点を補間して指定境界線を演算し、当該補間された指定境界線に基づき他方の画像の対応境界を演算により求める構成とすると、オペレータは簡単な境界点の指示だけにより立体視可能なステレオ画像領域が指定でき、ステレオ画像の表示が簡便に行える。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態を説明する全体構成ブロック図である。
【図２】 デュアルディスプレイ方式の立体ディスプレイを説明する構成斜視図である。
【図３】 図１の装置におけるステレオ画像計測の手続きの流れを説明するフローチャートである。
【図４】 対応点決定処理を説明するフローチャートである。
【図５】 （Ａ）はターゲットの配置の一例、（Ｂ）は対応境界の指示及び結線の表示例を説明する図である。
【図６】 輪郭又は対応境界の抽出処理を説明するフローチャートである。
【図７】 左画像と右画像におけるオーバーラップ部と非オーバーラップ部の説明図である。
【図８】 計測位置指定処理を説明するフローチャートである。
【図９】 ステレオ法の原理の説明図である。
【図１０】 人間の目では立体視することができない画像の一例を示す図である。
【図１１】 人間が立体視可能な画像の一例を示す図である。
【図１２】 相互標定の説明図である。
【図１３】 切出されたテンプレート画像の一例を示す図である。
【符号の説明】
１０ ステレオ画像取得部
２０ 画像データ記憶部
３０ 画像標定部
４０ 特徴要素指定部
４２ 対応点指示部
４４ 自動捜索処理部
４５ 輪郭決定部
４５２ 基準画像設定部
４５４ カーソル表示制御部
４５６ 境界領域設定部
４６ 有効画像領域抽出部
６０ 表示部
６６ 立体画像表示部
Claims (8)
- ステレオ画像取得部で取得された一対のステレオ画像における左画像の輪郭と右画像の輪郭から、当該左画像及び右画像で重複して撮影されている範囲の輪郭を決定する輪郭決定部と；
当該輪郭決定部によって決定された重複範囲の輪郭に基づき、ステレオ画像から有効ステレオ画像を抽出する有効画像領域抽出部と；
当該有効画像領域抽出部で抽出された有効ステレオ画像を立体視可能な画像として表示する表示部とを備え；
前記輪郭決定部は、一対のステレオ画像のうち一方の画像を基準画像とし、前記ステレオ画像の他方の画像を従画像として設定する基準画像設定部を有し；
前記基準画像側に設定した境界範囲に応じて、従画像上に前記基準画像の境界範囲に対応した対応境界領域を設定するように構成されている；
立体画像表示装置。 - 前記基準画像設定部は、オペレータの利き目側に対応する側の画像を基準画像とする；
請求項１に記載の立体画像表示装置。 - 前記輪郭決定部は、前記基準画像側に基準カーソルを表示し、前記従画像には従属カーソルを表示させるカーソル表示制御部を有し；
前記カーソル表示制御部は、前記基準画像上で移動表示される前記基準カーソルと対応する位置に、前記従属カーソルを前記従画像上で移動表示させるように構成されている；
請求項１又は請求項２に記載の立体画像表示装置。 - 前記輪郭決定部は、さらに前記基準カーソルによる指示により基準画像側に境界範囲が設定されると、前記基準画像側の境界範囲に応じて従画像上に対応境界領域を設定する境界領域設定部を有する；
請求項３に記載の立体画像表示装置。 - ステレオ画像取得部で取得された一対のステレオ画像における左画像の輪郭と右画像の輪郭から、当該左画像及び右画像で重複して撮影されている範囲の輪郭を決定する輪郭決定部と；
当該輪郭決定部によって決定された重複範囲の輪郭に基づき、ステレオ画像から有効ステレオ画像を抽出する有効画像領域抽出部と；
当該有効画像領域抽出部で抽出された有効ステレオ画像を立体視可能な画像として表示する表示部とを備え；
前記輪郭決定部は、前記重複範囲の決定にあたり、前記右画像の左端部の輪郭に対応する輪郭を前記左画像の輪郭に対応させ、前記左画像の右端部の輪郭に対応する輪郭を前記右画像の輪郭に対応させるように構成されている；
立体画像表示装置。 - ステレオ画像取得部で取得された一対のステレオ画像における左画像の輪郭と右画像の輪郭から、当該左画像及び右画像で重複して撮影されている範囲の輪郭を決定する輪郭決定部と；
当該輪郭決定部によって決定された重複範囲の輪郭に基づき、ステレオ画像から有効ステレオ画像を抽出する有効画像領域抽出部と；
当該有効画像領域抽出部で抽出された有効ステレオ画像を立体視可能な画像として表示する表示部とを備え；
前記輪郭決定部は、一対のステレオ画像を構成する一方の画像の指定境界が指定されると、当該指定境界に基づき他方の画像の対応境界を演算により求める；
立体画像表示装置。 - ステレオ画像取得部で取得された一対のステレオ画像における左画像の輪郭と右画像の輪郭から、当該左画像及び右画像で重複して撮影されている範囲の輪郭を決定する輪郭決定部と；
当該輪郭決定部によって決定された重複範囲の輪郭に基づき、ステレオ画像から有効ステレオ画像を抽出する有効画像領域抽出部と；
当該有効画像領域抽出部で抽出された有効ステレオ画像を立体視可能な画像として表示する表示部とを備え；
前記輪郭決定部は、一対のステレオ画像を構成する一方の画像に対して、指定された境界点を補間して指定境界線を演算し、当該補間された指定境界線に基づき他方の画像の対応境界を演算により求める；
立体画像表示装置。 - 一対のステレオ画像における左画像の輪郭と右画像の輪郭から、当該左画像及び右画像で重複して撮影されている範囲の輪郭を決定する工程と；
決定された重複範囲の輪郭に基づき、ステレオ画像から有効ステレオ画像を抽出する工程と；
抽出された有効ステレオ画像を立体視可能な画像として表示する工程とを備え；
前記輪郭を決定する工程は、一対のステレオ画像のうち一方の画像を基準画像とし、前記ステレオ画像の他方の画像を従画像として設定する基準画像を設定する工程を有し；
前記基準画像側に設定した境界範囲に応じて、従画像上に前記基準画像の境界範囲に対応した対応境界領域を設定する工程を有する；
立体画像表示方法。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002077997A JP4005395B2 (ja) | 2002-03-20 | 2002-03-20 | 立体画像表示装置及び方法 |
| AT03004930T ATE375687T1 (de) | 2002-03-08 | 2003-03-07 | Vorrichtung und verfahren zur stereoskopischen bildwiedergabe |
| DE60316738T DE60316738T2 (de) | 2002-03-08 | 2003-03-07 | Vorrichtung und Verfahren zur stereoskopischen Bildwiedergabe |
| AT05004317T ATE466454T1 (de) | 2002-03-08 | 2003-03-07 | Vorrichtung und verfahren zur stereoskopischen bildwiedergabe |
| DE60332353T DE60332353D1 (de) | 2002-03-08 | 2003-03-07 | Vorrichtung und Verfahren zur stereoskopischen Bildwiedergabe |
| EP05004317A EP1534021B1 (en) | 2002-03-08 | 2003-03-07 | Device and method for displaying stereo image |
| EP03004930A EP1343334B1 (en) | 2002-03-08 | 2003-03-07 | Device and method for displaying stereo image |
| US10/383,260 US7193626B2 (en) | 2002-03-08 | 2003-03-07 | Device and method for displaying stereo image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002077997A JP4005395B2 (ja) | 2002-03-20 | 2002-03-20 | 立体画像表示装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003284098A JP2003284098A (ja) | 2003-10-03 |
| JP4005395B2 true JP4005395B2 (ja) | 2007-11-07 |
Family
ID=29228196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002077997A Expired - Fee Related JP4005395B2 (ja) | 2002-03-08 | 2002-03-20 | 立体画像表示装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4005395B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7746377B2 (en) | 2003-11-28 | 2010-06-29 | Topcon Corporation | Three-dimensional image display apparatus and method |
| JP4367703B2 (ja) * | 2004-09-13 | 2009-11-18 | 飛島建設株式会社 | 正射投影画像の形成システム |
| JP4260094B2 (ja) * | 2004-10-19 | 2009-04-30 | 富士フイルム株式会社 | ステレオカメラ |
| JP5002144B2 (ja) * | 2005-09-30 | 2012-08-15 | 株式会社トプコン | 三次元計測用投影装置及びシステム |
| JP5111845B2 (ja) * | 2006-12-26 | 2013-01-09 | 株式会社トプコン | 眼底画像処理装置、眼底撮影装置及びプログラム |
| JP5207719B2 (ja) | 2007-12-05 | 2013-06-12 | 株式会社トプコン | カラーコード付き標識、カラーコード抽出手段及び三次元計測システム |
| JP5054579B2 (ja) * | 2008-03-07 | 2012-10-24 | 興和株式会社 | 画像処理方法および画像処理装置 |
| JP2013501255A (ja) * | 2009-08-03 | 2013-01-10 | ヒューマンアイズ テクノロジーズ リミテッド | 再構成３ｄ画像の印刷を表示する方法およびシステム |
| JP2011120233A (ja) * | 2009-11-09 | 2011-06-16 | Panasonic Corp | ３ｄ映像特殊効果装置、３ｄ映像特殊効果方法、および、３ｄ映像特殊効果プログラム |
| BR112012017367A2 (pt) | 2010-01-14 | 2017-06-13 | Humaneyes Tech Ltd | metodo e sistema para ajustar valores de profundidade de objetos em uma tela tridimencional (3d) |
| JP5535840B2 (ja) * | 2010-09-09 | 2014-07-02 | 株式会社メガチップス | ３次元画像生成装置 |
| EP2506587A2 (en) * | 2011-03-31 | 2012-10-03 | Fujifilm Corporation | Stereoscopic display apparatus |
| US9594436B2 (en) | 2012-05-09 | 2017-03-14 | Nec Corporation | Three-dimensional image display device, cursor display method therefor, and computer program |
| JP6793302B2 (ja) * | 2018-02-22 | 2020-12-02 | 株式会社スペースビジョン | 三次元計測装置 |
-
2002
- 2002-03-20 JP JP2002077997A patent/JP4005395B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003284098A (ja) | 2003-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1343334B1 (en) | Device and method for displaying stereo image | |
| JP4979928B2 (ja) | 三次元形状演算装置及び三次元形状演算方法 | |
| US11223820B2 (en) | Augmented reality displays with active alignment and corresponding methods | |
| US10869024B2 (en) | Augmented reality displays with active alignment and corresponding methods | |
| JP4147059B2 (ja) | キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置 | |
| JP4005395B2 (ja) | 立体画像表示装置及び方法 | |
| JP4224260B2 (ja) | キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート | |
| JP7379704B2 (ja) | 視覚化カメラ及び光学コヒーレンストモグラフィを統合するシステム及び方法 | |
| JP4593730B2 (ja) | ステレオ画像の測定装置 | |
| JP4166993B2 (ja) | 立体画像表示装置及び方法 | |
| JP4759184B2 (ja) | 計測内視鏡装置 | |
| JP2007033087A (ja) | キャリブレーション装置及び方法 | |
| JPH08147497A (ja) | 画像処理方法及びその装置 | |
| JP4166988B2 (ja) | ステレオ画像用処理装置及び方法 | |
| JP5115751B2 (ja) | 眼鏡設計支援装置 | |
| CN112294453B (zh) | 一种显微手术术野三维重建系统及方法 | |
| JP4536428B2 (ja) | ズームレンズのキャリブレーション装置及びキャリブレーション方法、撮影装置 | |
| JP2004340753A (ja) | キャリブレーションチャート画像表示装置 | |
| US20230355319A1 (en) | Methods and systems for calibrating instruments within an imaging system, such as a surgical imaging system | |
| JP4276900B2 (ja) | 自動測量システム | |
| JP4153323B2 (ja) | 写真測量における計測点の対応付け方法及び装置 | |
| JPH07274063A (ja) | 画像処理方法及びその装置 | |
| JP2020140519A (ja) | 画像生成装置およびその制御方法 | |
| CN112424566A (zh) | 测距摄像机 | |
| WO2014175217A1 (ja) | 図化システム、図化方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050304 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070515 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070713 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070807 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070823 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |