JP2953154B2 - 形状合成方法 - Google Patents

形状合成方法

Info

Publication number
JP2953154B2
JP2953154B2 JP3315874A JP31587491A JP2953154B2 JP 2953154 B2 JP2953154 B2 JP 2953154B2 JP 3315874 A JP3315874 A JP 3315874A JP 31587491 A JP31587491 A JP 31587491A JP 2953154 B2 JP2953154 B2 JP 2953154B2
Authority
JP
Japan
Prior art keywords
shape
partial
texture
value
partial shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP3315874A
Other languages
English (en)
Other versions
JPH05303629A (ja
Inventor
丸家誠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
Nippon Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Electric Co Ltd filed Critical Nippon Electric Co Ltd
Priority to JP3315874A priority Critical patent/JP2953154B2/ja
Publication of JPH05303629A publication Critical patent/JPH05303629A/ja
Application granted granted Critical
Publication of JP2953154B2 publication Critical patent/JP2953154B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、視差画像間のステレオ
マッチングによる3次元部分形状データを合成する方法
に関する。
【0002】
【従来の技術】光学的な立体計測には、レンジファイン
ダを用いる能動的な方法と、テスレオ法に代表される受
動的な方法がある(尾上他偏「画像処理ハンドブック」
昭晃堂(1987))。いずれの方法においても、一回
の測定で得られる形状は対象となる物体の一部分だけで
あり、物体全体の形状を復元するには、部分形状の合成
が必要になる。形状合成には、各測定系間の位置関係を
求めなければならないが、それらをある程度自動的に計
算する方法が開発されている(河井他:“多視点レンジ
データからの3次元形状復元”、信学会パターン認識・
理解研究会技術報告91−19(1991)、植村、増
田“局所3次元空間統合のための座標系移動量の推
定”、信学会パターン認識・理解研究会技術報告91−
40(1991))。
【0003】
【発明が解決しようとする課題】しかしながら、能動的
な方法は一般に装置が高価であり、測定範囲が限定され
る。一方、受動的な方法では上記の欠点はないが、上述
の文献に記載されている方法では、線分の対応付けに基
づいて座標系移動量を求めているため、曲面で構成され
る物体や、線分が明確に抽出されない物体、複雑なテク
スチャを持つ物体には適用できない。
【0004】本発明の目的は、曲面で構成される物体
や、線分が明確に抽出されない物体、複雑なテクスチャ
を持つ物体に対しても有効な、スレオ法に基づく形状
合成方法を提供することにある。
【0005】
【課題を解決するための手段】第1の発明の形状合成方
法は、ステレオカメラを用いて同一平面上の複数の視点
から物体の視差画像を撮影・入力し、該視差画像間のス
テレオマッチングにより得られた複数の部分形状データ
を合成して該物体の3次元形状を復元する形状合成方法
において、各部分形状上のテクスチャを用いて各部分形
状上の重なりを検出する第1のステップと、重なり部分
をつなぎ合わせることにより部分形状を合成し、物体の
3次元形状を復元する第2のステップとから成ることを
特徴とする。
【0006】第2の発明の形状合成方法は、第1の発明
において、第1のステップが、部分形状に沿って一定間
隔d毎にテクスチャの輝度値と形状を表現する座標値を
抽出するステップと、2つの部分形状上のテクスチャの
重なり幅をdづつ変化させながら重なった部分の前記輝
度値の相互相関値を求め、該相互相関値が最大となる重
なり幅を実際の重なり幅と判定し、2つの部分形状の抽
出点同士の対応を求めるステップとから成ることを特徴
とする。
【0007】第3の発明の形状合成方法は、第1の発明
において、第1のステップが、物体とカメラとの距離、
及びカメラレンズの焦点距離に基づいて、実空間での抽
出間隔が一定値dになるように、部分形状に沿ってテク
スチャの輝度値と形状を表現する座標値を抽出するステ
ップと、2つの部分形状上のテクスチャの重なり幅をd
づつ変化させながら重なった部分の前記輝度値の相互相
関値を求め、該相互相関値が最大となる重なり幅を実際
の重なり幅と判定し、2つの部分形状の抽出点同士の対
応を求めるステップとから成ることを特徴とする。
【0008】第4の発明の形状合成方法は、第1の発明
において、第2のステップが、2つの部分形状の対応す
るすべての抽出点について、対応する抽出点における座
標値間の距離の自乗和を最小にするように、座標系移動
パラメータを求めることを特徴とする。
【0009】
【実施例】図1は、第1、2、4の発明の形状合成方法
の動作フローである。
【0010】まず、ステップ11では複数の視差画像を
撮影する。視差画像の撮影は、ステレオカメラと物体と
の距離をほぼ同一に保ち、かつカメラを同一水平面(測
定平面と呼ぶ)上に位置させながら行なう。この時、カ
メラの縦揺れ、横揺れは水準器等を用いて防ぐ。さら
に、ステレオカメラを構成する2台のカメラの光軸は平
行とし、2つの光軸で構成される面と測定平面は平行と
する。図3にステレオカメラの配置例(水平断面図)を
示す。
【0011】ステップ12で視差画像間の相関法による
ステレオマッチングを行い、部分形状を復元し、かつ物
体表面上のテクスチャをも取得する。図4にステップ1
2で復元される部分形状およびそれを表現する座標系
(t,z)を示す。図4の黒点は、視差画像間の対応点
を示している。すなわち、この点で座標値(t,z)、
輝度値が求まっている。図4のC1 は図3の撮影位置1
で得られた部分形状であり、図4のC2 は図3の撮影位
値2で得られた部分形状である。
【0012】次にステップ13で部分形状を直線に引き
延ばし、あらかじめ決められた間隔(d)毎に輝度値、
形状を表現する座標値(t,z)を線形補間等により抽
出する。図5にC1 、C2 を処理した結果C’1 、C’
2 を示す。
【0013】ステップ14ではC’1 、C’2 を一定の
幅だけ重ね、重なった部分の輝度値の相互相関値を計算
する。重なり幅をdづつ変化させながら相互相関値を求
めて、相互相関値が最大となる重なり幅を実際の重なり
幅と判定する。それにより、C’1 、C’2 上の抽出点
同士の対応が求まる。
【0014】ステップ15では、対応する抽出点間の距
離の自乗の和(Q)を最小にするように、座標系移動パ
ラメータ(p,q,θ)を定める。C’1 とC’2 の対
応する抽出点をそれぞれai 、bi とすると、Qは
【0015】
【数1】
【0016】となる。Qを最小にするp,q,θを求め
るために、Qをp,q,θで微分して0とおいた連立方
程式をとき、
【0017】
【数2】
【0018】ステップ16では、まず、C’1 、C’2
それぞれの抽出点上の座標値(t,z)をもとに、部分
形状C”1 、C”2 を生成し、さらにステップ15で求
めたp,q,θを用いてC”2 の座標値(t,z)を回
転、平行移動させてのC”1 座標系に変換し、C”1
C”2 を合成する(図6参照)。C”1 とC”2 で重な
っている部分は、両者の抽出点の座標値の平均を用い
る。
【0019】以上で2つの部分形状の合成法に付いて述
べた。3つ以上の部分形状の合成は、まず2つの部分形
状を合成して1つの部分形状とし、さらに合成を積み重
ねていけばよい。
【0020】図2は、第1、3、4の発明の形状合成方
法の動作フローである。
【0021】ステップ11から12、ステップ14から
16は前述のステップと同様である。ステップ23で
は、部分形状を直線上に引き延ばすとともに、カメラレ
ンズの焦点距離を用いて、物体とカメラとの絶対距離を
求め、みかけのテクスチャを原寸大に拡大してから、抽
出、補間処理を行なう。
【発明の効果】本発明の形状合成方法では、部分形状上
のテクスチャを用いて各部分形状の重なりを検出し、2
つの部分形状の共通な部分を検出する。共通部分の形状
を合わせることにより2つの部分形状を合成する。
【0022】そのため、本発明では線分の抽出を行なう
必要が無く、曲面で構成される物体や、線分が明確に抽
出されない物体、複雑なテクスチャを持つ物体に対して
も有効な、ステレオマッチングに基づく形状合成が行え
る。
【0023】さらに、本発明による形状合成において必
要な機材は一組のステレオカメラだけであり、かつカメ
ラ間の平面上の位値関係およびカメラ間の偏揺れ角が自
動的に求まるため撮影時にそれらを測定する必要がな
く、撮影時の手間が大幅に削減される。
【0024】特に、第3の発明においては、見かけのテ
クスチャを原寸大に変換してからテクスチャ間の重なり
を検出するため、物体とステレオカメラとの距離がかな
り異なった視差画像により求めた部分形状間の形状合成
も可能になる。
【図面の簡単な説明】
【図1】第1、2、4の発明の一実施例を示す動作フロ
ーである。
【図2】第1、3、4の発明の一実施例を示す動作フロ
ーである。
【図3】ステレオカメラの配置の一例を示す水平断面図
である。
【図4】視差画像間のステレオマッチングにより求めら
れた部分形状の例を示す図である。
【図5】テクスチャの引き延ばし、分割の説明図であ
る。
【図6】2つの座標系の関係、および合成された形状を
示す図である。
【符号の説明】
11 視差画像入力処理 12 ステレオマッチング処理 13 テクスチャ引き延ばし・抽出・補間処理 14 テクスチャ重なり幅計算処理 15 座標系移動パラメータ計算処理 16 形状合成処理 23 テクスチャ拡大・引き延ばし・抽出・補間処理

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 ステレオカメラを用いて同一平面上の複
    数の視点から物体の視差画像を撮影・入力し、該視差画
    像間のステレオマッチングにより得られた複数の部分形
    状データを合成して該物体の3次元形状を復元する形状
    合成方法において、 各部分形状上のテクスチャを用いて各部分形状上の重な
    りを検出する第1のステップと、重なり部分をつなぎ合
    わせることにより部分形状を合成し、物体の3次元形状
    を復元する第2のステップとから成り、 前記第1のステップは、部分形状上に沿って一定間隔d
    毎にテクスチャの輝度値と形状を表現する座標値を抽出
    するステップと、2つの部分形状上のテクスチャの重な
    り幅をdずつ変化させながら重なった部分の前記輝度値
    の相互相関値を求め、該相互相関値が最大となる重なり
    幅を実際の重なり幅と判定し、2つの部分形状の抽出点
    同士の対応を求めるステップとを含む ことを特徴とする
    形状合成方法。
  2. 【請求項2】 ステレオカメラを用いて同一平面上の複
    数の視点から物体の視差画像を撮影・入力し、該視差画
    像間のステレオマッチングにより得られた複数の部分形
    状データを合成して該物体の3次元形状を復元する形状
    合成方法において、 各部分形状上のテクスチャを用いて各部分形状上の重な
    りを検出する第1のステップと、重なり部分をつなぎ合
    わせることにより部分形状を合成し、物体の3次元形状
    を復元する第2のステップとから成り、 前記第1のステップは、物体とカメラとの距離、及びカ
    メラレンズの焦点距離に基づいて、実空間での抽出間隔
    が一定値dになるように、部分形状に沿ってテクスチャ
    の輝度値と形状を表現する座標値を抽出するステップ
    と、2つの部分形状上のテクスチャの重なり幅をdづつ
    変化させながら重なった部分の前記輝度値の相互相関値
    を求め、該相互相関値が最大となる重なり幅を実際の重
    なり幅と判定し、2つの部分形状の抽出点同士の対応を
    求めるステップとを含むことを特徴とする請求項1記載
    の形状合成方法。
  3. 【請求項3】 第2のステップは、2つの部分形状の対
    応するすべての抽出点について、対応する抽出点におけ
    る座標値間の距離の自乗和を最小にするように、座標系
    移動パラメータを求めることを特徴とする請求項1また
    は2記載の形状合成方法。
JP3315874A 1991-11-29 1991-11-29 形状合成方法 Expired - Fee Related JP2953154B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3315874A JP2953154B2 (ja) 1991-11-29 1991-11-29 形状合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3315874A JP2953154B2 (ja) 1991-11-29 1991-11-29 形状合成方法

Publications (2)

Publication Number Publication Date
JPH05303629A JPH05303629A (ja) 1993-11-16
JP2953154B2 true JP2953154B2 (ja) 1999-09-27

Family

ID=18070638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3315874A Expired - Fee Related JP2953154B2 (ja) 1991-11-29 1991-11-29 形状合成方法

Country Status (1)

Country Link
JP (1) JP2953154B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192228A (ja) * 2010-03-17 2011-09-29 Casio Computer Co Ltd 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
US8482599B2 (en) 2010-03-29 2013-07-09 Casio Computer Co., Ltd. 3D modeling apparatus, 3D modeling method, and computer readable medium
US8928736B2 (en) 2011-04-06 2015-01-06 Casio Computer Co., Ltd. Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3869876B2 (ja) 1995-12-19 2007-01-17 キヤノン株式会社 画像計測方法及び画像計測装置
JP2000339468A (ja) 1999-05-31 2000-12-08 Minolta Co Ltd 3次元データの位置合わせ方法及び装置
JP2003042730A (ja) * 2001-07-30 2003-02-13 Topcon Corp 表面形状測定装置、及びその方法、並びに表面状態図化装置
JP2003269928A (ja) 2002-03-12 2003-09-25 Nec Corp 3次元形状計測方法および装置ならびにプログラム
JP2007285704A (ja) * 2006-04-12 2007-11-01 Penta Ocean Constr Co Ltd 土砂運搬船の積載土量計測方法
JP5314239B2 (ja) * 2006-10-05 2013-10-16 株式会社キーエンス 光学式変位計、光学式変位測定方法、光学式変位測定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2009047642A (ja) * 2007-08-22 2009-03-05 Katsunori Shimomura 3次元画像データ生成システムおよび生成方法
KR101070591B1 (ko) * 2009-06-25 2011-10-06 (주)실리콘화일 듀얼 스테레오 카메라를 구비한 거리 측정 장치
JP5067477B2 (ja) 2010-12-28 2012-11-07 カシオ計算機株式会社 撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラム
JP5067476B2 (ja) * 2010-12-28 2012-11-07 カシオ計算機株式会社 三次元モデル作成システム
JP2012257282A (ja) * 2012-07-26 2012-12-27 Casio Comput Co Ltd 三次元画像生成方法
JP2015045654A (ja) * 2014-09-30 2015-03-12 洋彰 宮崎 形状認識機
US10085592B1 (en) 2015-09-10 2018-10-02 Brava Home, Inc. Sequential broiling
US10760794B2 (en) * 2015-09-10 2020-09-01 Brava Home, Inc. In-oven camera
EP3832601A4 (en) 2019-03-14 2022-03-16 OMRON Corporation IMAGE PROCESSING DEVICE AND THREE-DIMENSIONAL MEASUREMENT SYSTEM

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192228A (ja) * 2010-03-17 2011-09-29 Casio Computer Co Ltd 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
US8482599B2 (en) 2010-03-29 2013-07-09 Casio Computer Co., Ltd. 3D modeling apparatus, 3D modeling method, and computer readable medium
US8928736B2 (en) 2011-04-06 2015-01-06 Casio Computer Co., Ltd. Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program

Also Published As

Publication number Publication date
JPH05303629A (ja) 1993-11-16

Similar Documents

Publication Publication Date Title
JP2953154B2 (ja) 形状合成方法
US20190311497A1 (en) Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
US20090167843A1 (en) Two pass approach to three dimensional Reconstruction
JP2874710B2 (ja) 三次元位置計測装置
US7342669B2 (en) Three-dimensional shape measuring method and its device
US9025862B2 (en) Range image pixel matching method
JP2013178656A (ja) 画像処理装置、画像処理方法および画像処理用のプログラム
US6175648B1 (en) Process for producing cartographic data by stereo vision
CN106033614A (zh) 一种强视差下的移动相机运动目标检测方法
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
JP2007025863A (ja) 撮影システム、撮影方法及び画像処理プログラム
JP3221384B2 (ja) 三次元座標計測装置
KR20160049639A (ko) 부분 선형화 기반의 3차원 영상 정합 방법
Amor et al. 3D face modeling based on structured-light assisted stereo sensor
KR102107465B1 (ko) 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법
JPH0273471A (ja) 三次元形状推定方法
Brunken et al. Incorporating Plane-Sweep in Convolutional Neural Network Stereo Imaging for Road Surface Reconstruction.
JPH09229648A (ja) 画像情報入出力装置及び画像情報入出力方法
JP3504128B2 (ja) 3次元情報復元装置及びその方法
CN111080689B (zh) 确定面部深度图的方法和装置
Pedersini et al. Accurate 3-D reconstruction from trinocular views through integration of improved edge-matching and area-matching techniques
CN113870354B (zh) 一种基于深度学习的变压器油箱的测量方法及系统
JPH09231371A (ja) 画像情報入力装置及び画像情報入力方法
JP2010205040A (ja) 路面形状認識装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees