JPH11144050A - 画像歪補正方法及び装置 - Google Patents

画像歪補正方法及び装置

Info

Publication number
JPH11144050A
JPH11144050A JP9303939A JP30393997A JPH11144050A JP H11144050 A JPH11144050 A JP H11144050A JP 9303939 A JP9303939 A JP 9303939A JP 30393997 A JP30393997 A JP 30393997A JP H11144050 A JPH11144050 A JP H11144050A
Authority
JP
Japan
Prior art keywords
image
coordinate
coordinates
transformation
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9303939A
Other languages
English (en)
Inventor
Takami Doi
誉実 土井
Makoto Senoo
誠 妹尾
Takuya Yoi
拓也 代居
Tomoyuki Meguro
友行 目黒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Engineering and Services Co Ltd
Hitachi Ltd
Original Assignee
Hitachi Engineering and Services Co Ltd
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Engineering and Services Co Ltd, Hitachi Ltd filed Critical Hitachi Engineering and Services Co Ltd
Priority to JP9303939A priority Critical patent/JPH11144050A/ja
Publication of JPH11144050A publication Critical patent/JPH11144050A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】歪補正対象物が変形し、3次元のコンピュータ
支援設計(CAD)データと異なった場合及びCADデ
ータがなくとも幾何学的に曲面及び凹凸のある物体をカ
メラ撮像平面展開する際の歪みを補正すること。 【解決手段】画像を取込む手段で撮像した画像データを
記憶する手段,該手段で撮像した画像から正方格子模様
の格子点座標を抽出する手段,抽出した格子点座標を用
いて座標変換式を計算する手段で算出した座標変換式に
より原画像の変換後の座標を計算する手段,該手段で算
出した座標により原画像の座標を変換する手段,画像デ
ータの欠落を補間する手段からなる画像歪補正装置。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ガスタービンの高
温部品等の金属材料表面に発生したクラックや傷等の表
面欠陥を検出する際の金属材料表面の曲面及び凹凸の3
次元形状又は撮像系による歪みを平面に補正する方法及
び装置に関する。
【0002】
【従来の技術】従来、画像の歪補正技術として、歪補正
対象物のCADデータ等を用いてカメラ撮像面に射影変
換し、歪みのある画像が正方格子を変換した画像である
とき、画像における格子点の位置を測り、歪みのもとと
なる変換を近似的に決めて補正している。
【0003】
【発明が解決しようとする課題】歪補正の対象物のCA
Dデータがないもの、または熱応力や衝撃等によりCAD
データと異なる形に変形した場合にはCADデータを用
いての幾何学的歪補正は困難となる。
【0004】本発明の目的は、歪補正対象物が変形しC
ADデータと異なった場合及びCADデータがなくとも幾
何学的に曲面及び凹凸の3次元形状の物体をカメラ撮像
平面に展開する際の歪み又は撮像系による歪みを補正す
る方法及び装置を提供することにある。
【0005】
【課題を解決するための手段】上記目的を達成するた
め、撮像対象物に正方格子模様を貼り付けて撮像した画
像と撮像対象物に貼り付けた正方格子模様と同形状の格
子模様をカメラとの距離を変えずにカメラ撮像面と平行
に展開した状態で撮像した画像の2種類の画像を取り、
両画像から格子点座標を抽出し、その座標点を用いて座
標変換式を算出し、その座標変換式により撮像対象物の
画像の歪を補正することで達成される。
【0006】即ち、撮像対象物に正方格子模様を貼り付
けて撮影することによりCADデータ等がなくとも、対
象物に正方格子模様を射影した状態の映像が撮影可能で
ある。また、撮像対象物に貼り付けた正方格子模様と同
形状の格子模様をカメラとの距離を変えずにカメラ撮像
面と平行に展開した状態で撮像した画像を取り、両画像
から格子点座標を抽出することにより座標変換の式を作
成することができ、作成した座標変換式により撮像対象
物の画像の歪を補正することで達成される。
【0007】
【発明の実施の形態】本発明の一実施例を金属材料表面
クラック検出装置に適用し、金属材料表面の曲面部及び
凹凸部を平面に展開する際の歪みを補正するための画像
補正装置に実施した例を図面を用いて説明する。図1
は、本発明による画像歪補正装置のハードウェア構成を
示すブロック図で、画像歪補正装置1はカメラ入力部
2,画像データ記憶部3,格子点座標抽出部4,画像変
換式演算部5,変換座標演算部6,画像データ座標変換
部7,画像データ補間処理部8により構成する。
【0008】図2に画像歪補正フローを示す。カメラ2
により撮像した映像をカメラ入力部2に取込み(処理ス
テップ10)、その画像を格子点座標抽出部4及び画像
データ記憶部3に送信し、格子点座標抽出部4では全格
子点座標を抽出(処理ステップ20)し、画像データ記
憶部3では正方格子模様をはずした対象物の撮像画像を
格納する(処理ステップ21)。
【0009】次に撮像対象物に貼り付けた正方格子模様
と同形状の格子模様をカメラとの距離を変えずにカメラ
撮像面と平行に展開した状態の画像をカメラ入力部2に
取込み(処理ステップ30)、その画像を格子点座標抽
出部4に送信し、全格子点座標を抽出する(処理ステッ
プ40)。
【0010】各画像の全格子点座標を抽出後、その座標
データを画像変換式演算部5に送信し、座標の変換式を
算出(処理ステップ50)し、変換座標演算部6に送信
する。変換座標演算部6では先に算出した変換式を用い
て原画像の座標を変換し(処理ステップ60)、画像デ
ータ座標変換部7により画像データ記憶部3に格納され
ている画像を読込み(処理ステップ70)、画像データ
を変換後の座標に書込む(処理ステップ80)。原画像
の画像データを変換後の座標に書込んだ後、画像データ
補間処理部8にて画像データが欠落している部分のデー
タを補間し(処理ステップ90)、処理が終了する。
【0011】以下、各部の詳細な説明を図3ないし図
5、(数1),(数2)を用いて説明する。
【0012】 x′=ax+by+c,y′=dx+ey+h …(数1) (x,y):対象物に正方格子模様を貼り付けた画像の
座標 (x′,y′):対象物に貼り付けた正方格子模様と同
形状の格子模様をカメラ撮像面と平行に展開した画像の
座標 a.b,c,d,e,h:補正係数 p1=am1+bn1+c,q1=dm1+en1+h p2=am2+bn2+c,q2=dm2+en2+h p3=am3+bn3+c,q3=dm3+en3+h …(数2) (m1,n1),(m2,n2),(m3,n3):対象物に正
方格子模様を貼り付けた画像の座標 (p1,q1),(p2,q2),(p3,q3):対象物に貼
り付けた正方格子模様と同形状の格子模様をカメラ撮像
面と平行に展開した画像の座標 a.b,c,d,e,h:補正係数 カメラ入力部2に入力する画像は、図3に示すように撮
影する。正方格子模様10を対象物に貼り付けた映像を
撮像し、その後正方格子模様をはずした映像を撮像す
る。貼り付ける正方格子模様は、対象物表面と一致する
ように大きさを合わせておく。撮像対象物に貼り付けた
正方格子模様10をカメラ11との距離を変えずにカメ
ラ撮像面12と平行に展開した状態の映像を撮像する。
但し、正方格子模様は対象物に貼り付けたものと同形状
のものを使用する。
【0013】画像データ記憶部3は、正方格子模様をは
ずした対象物の撮像画像を格納し、座標変換終了後に格
納している画像を出力する。
【0014】格子点座標抽出部4では、対象物に正方格
子模様を貼り付けて撮像した画像と対象物に貼り付けた
正方格子模様と同形状の格子模様をカメラとの距離を変
えずにカメラ撮像面と平行に展開した状態で撮像した画
像の両画像から格子点座標を抽出する。格子座標点の抽
出方法は、図4のように取込んだ画像を所定のしきい値
により二値化画像に変換し、パターンマッチング法によ
り画像全域の格子点の座標を抽出する。パターンマッチ
ングに使用するテンプレート画像20として、格子点近
傍の局所領域を用いる。また、照明状態や対象物の形状
により良好な二値化画像が得られない場合には、装置を
扱うオペレーターが制御用のパソコンに付随するマウス
やキーボード等で手動で格子点の座標を抽出する方法を
用いる。画像変換式演算部5では、格子点座標抽出部4
で抽出した格子点の座標を用いて画像の変換式を算出す
る。画像変換式の算出方法として、図5に示すように小
さな三角形をなす隣接した格子点において対象物に正方
格子模様を貼り付けて撮像した画像gの(x,y)座標
を(m1,n1),(m2,n2),(m3,n3)とし、
対象物に貼り付けた正方格子模様と同形状の格子模様を
カメラとの距離を変えずにカメラ撮像面と平行に展開し
た状態で撮像した画像fの(x′,y′)座標を(p
1,q1),(p2,q2),(p3,q3)とする。この
3点を歪補正した位置に写像する線形変換の式(数1)
は、(数2)の6つの方程式を各補正係数(a,b,
c,d,e,h)について解くことにより求めることが
できる。この変換式により3点に囲まれた画像の歪みを
補正することができ、この操作を全格子点の組に対して
繰り返すことにより、画像全域の歪みを補正することが
できる。
【0015】変換座標演算部6は、画像の全画素につい
て画像変換式演算部5で算出した変換式にそれぞれ当て
はめ、変換後の座標を求める。各画素がどの変換式に当
てはまるかの判定は、3点の格子点座標を繋ぐ直線を求
めて三角形を作り、3つの直線の内にあるか外にあるか
にて判定する。
【0016】画像データ座標変換部7は、画像データ記
憶部3から格納している画像データを読込み、変換座標
演算部6により求めた変換後の座標データを基に別の画
像メモリに画像データを書込む。
【0017】曲面及び凹凸のような3次元形状の物体で
は、歪みのある部分の格子模様は歪みのない部分の格子
模様よりも小さくなっており、情報が圧縮されているの
で、画像データ補間処理部8により座標変換した際に生
ずる画像データ欠落を補間する。
【0018】画像データの補間の方法は、先ず格子点4
点に囲まれる座標変換後の画像から画像データが欠落し
ている部分の座標を探索し、検索した座標の近傍3×3
画素または、5×5画素近傍の画像データを用いて画像
データを書込む。本実施例の場合、金属材料表面のクラ
ック検出であり、クラックは0〜255階調内の低い階
調に分布するため、書込む画像データは近傍の画像デー
タの最小輝度値を書込む。
【0019】上記した処理により金属材料表面の曲面及
び凹凸のような歪んだ画像に分布するクラックをカメラ
撮像平面に展開することができる。
【0020】
【発明の効果】本発明によれば、対象物のCADデータ
がないもの、または熱応力や衝撃等によりCADデータ
と異なる形に変形した金属材料表面等の曲面及び凹凸の
ような歪んだ3次元形状の画像において、対象物に正方
格子模様を貼り付けて撮影することにより、CADデー
タ等がなくとも対象物に正方格子模様を射影した状態の
映像が撮影可能であり、また対象物に貼り付けた正方格
子模様と同形状の格子模様をカメラとの距離を変えずに
カメラ撮像面と平行に展開した状態で撮像した画像を取
り、両画像から格子点座標を抽出することにより座標変
換の式を作成することができ、作成した座標変換式によ
り撮像対象物の画像の歪を補正することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施例である画像歪補正装置の構成
図。
【図2】図1の画像歪補正フローを示す図。
【図3】本発明の画像撮影方法によるイメージ図。
【図4】本発明の格子座標点の抽出方法によるイメージ
図。
【図5】本発明の画像変換式作成時に用いる格子点を示
す図。
【符号の説明】
1…歪補正装置、2…カメラ入力部、3…画像データ記
憶部、4…格子点座標抽出部、5…画像変換式演算部、
6…変換座標演算部、7…画像データ座標変換部、8…
画像データ補間処理部、10…正方格子模様、11…カ
メラ、12…カメラ撮像面、20…テンプレート画像。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 代居 拓也 茨城県日立市幸町三丁目2番2号 株式会 社日立エンジニアリングサービス内 (72)発明者 目黒 友行 茨城県日立市幸町三丁目2番2号 株式会 社日立エンジニアリングサービス内

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】撮像対象物の3次元のコンピュータ支援設
    計(CAD)データがないもの、または熱応力や衝撃等
    によりCADデータと異なる形に変形した金属材料表面
    等の曲面及び凹凸のような3次元形状又は撮像系により
    歪んだ画像を平面に展開する際の画像の歪補正方法にお
    いて、撮像対象物に正方格子模様を貼り付けて撮影した
    画像と撮像対象物に貼り付けた正方格子模様と同形状の
    格子模様をカメラとの距離を変えずにカメラ撮像面と平
    行に展開した状態で撮像した画像の両画像から格子点座
    標を抽出し、その座標点を用いて座標変換式を算出し、
    その座標変換式により撮像対象物の画像の歪を補正する
    ことを特徴とする画像歪補正方法。
  2. 【請求項2】撮像対象物のCADデータがないもの、ま
    たは熱応力や衝撃等によりCADデータと異なる形に変
    形した金属材料表面等の曲面及び凹凸のような3次元形
    状又は撮像系により歪んだ画像を平面に展開する際の画
    像の歪補正装置において、画像を取込む手段,該手段で
    撮像した画像データを記憶する手段,該手段で撮像した
    画像から正方格子模様の格子点座標を抽出する手段,抽
    出した格子点座標を用いて座標変換式を計算する手段,
    該手段で算出した座標変換式により原画像の変換後の座
    標を計算する手段,該手段で算出した座標により原画像
    の座標を変換する手段,画像データの欠落を補間する手
    段からなる画像歪補正装置。
  3. 【請求項3】請求項1記載の歪補正方法において、座標
    変換式にアフィン変換を用いた画像歪補正方法。
  4. 【請求項4】請求項2記載の歪補正装置において座標変
    換式を計算する手段にアフィン変換を用いた画像歪補正
    装置。
JP9303939A 1997-11-06 1997-11-06 画像歪補正方法及び装置 Pending JPH11144050A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9303939A JPH11144050A (ja) 1997-11-06 1997-11-06 画像歪補正方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9303939A JPH11144050A (ja) 1997-11-06 1997-11-06 画像歪補正方法及び装置

Publications (1)

Publication Number Publication Date
JPH11144050A true JPH11144050A (ja) 1999-05-28

Family

ID=17927115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9303939A Pending JPH11144050A (ja) 1997-11-06 1997-11-06 画像歪補正方法及び装置

Country Status (1)

Country Link
JP (1) JPH11144050A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1033209A2 (en) 1999-03-04 2000-09-06 Max Co., Ltd. Magazine mechanism for nailing machine
WO2004051378A1 (ja) * 2002-12-03 2004-06-17 Japan Science And Technology Agency パターン転写方法及び露光装置
JP2005037911A (ja) * 2003-07-02 2005-02-10 Fuji Photo Film Co Ltd 画像記録装置、画像記録方法及びプログラム
JP2005202865A (ja) * 2004-01-19 2005-07-28 Ryoei Engineering Kk 歯面斜視画像の展開方法
KR100740031B1 (ko) * 2000-11-24 2007-07-18 가부시키가이샤 히타치세이사쿠쇼 화상 처리 방법 및 이를 이용한 비접촉 화상 입력 장치
KR102249769B1 (ko) * 2019-12-06 2021-05-12 주식회사 모빌테크 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1033209A2 (en) 1999-03-04 2000-09-06 Max Co., Ltd. Magazine mechanism for nailing machine
KR100740031B1 (ko) * 2000-11-24 2007-07-18 가부시키가이샤 히타치세이사쿠쇼 화상 처리 방법 및 이를 이용한 비접촉 화상 입력 장치
WO2004051378A1 (ja) * 2002-12-03 2004-06-17 Japan Science And Technology Agency パターン転写方法及び露光装置
JP2005037911A (ja) * 2003-07-02 2005-02-10 Fuji Photo Film Co Ltd 画像記録装置、画像記録方法及びプログラム
JP2005202865A (ja) * 2004-01-19 2005-07-28 Ryoei Engineering Kk 歯面斜視画像の展開方法
JP4484200B2 (ja) * 2004-01-19 2010-06-16 菱栄エンジニアリング株式会社 歯面斜視画像の展開方法
KR102249769B1 (ko) * 2019-12-06 2021-05-12 주식회사 모빌테크 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법

Similar Documents

Publication Publication Date Title
JP2004040395A (ja) 画像歪み補正装置、方法及びプログラム
JP3429280B2 (ja) 画像のレンズ歪みの補正方法
JP5437311B2 (ja) 画像補正方法、画像補正システム、角度推定方法、および角度推定装置
KR101361897B1 (ko) 영상 처리 방법, 영상 처리 장치 및 스캐너
JP4010754B2 (ja) 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
JP2021533507A (ja) 画像繋ぎ合わせ方法及び装置、車載画像処理装置、電子機器、記憶媒体
US5898438A (en) Texture mapping of photographic images to CAD surfaces
Sato et al. High-resolution video mosaicing for documents and photos by estimating camera motion
WO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
JP2007034985A (ja) 情報処理方法および装置
JP5439277B2 (ja) 位置姿勢計測装置及び位置姿勢計測プログラム
Lu et al. Document flattening through grid modeling and regularization
JP2001177716A (ja) 画像処理方法と画像処理装置
JP2011141600A (ja) 画像処理装置及び方法、並びに、プログラム
JPH11144050A (ja) 画像歪補正方法及び装置
JP2011182078A (ja) 補正情報算出装置、画像補正装置、画像表示システム、補正情報算出方法
JP4128123B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008003683A (ja) 画像生成装置及びその方法並びに記録媒体
JP2004212142A (ja) 画像寸法の測定方法
JP2006303935A (ja) 電子透かし検出装置及びその方法並びに記憶媒体
JP2014033342A (ja) 画像補正装置
KR101028171B1 (ko) 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법
JP5563390B2 (ja) 画像処理装置およびその制御方法、及びプログラム
CN112991164B (zh) 一种基于模型的全景弯曲图像畸变矫正的方法
JPH11175701A (ja) 画像記録装置及び画像記録方法、並びに画像処理装置及び画像処理方法