JP3940493B2 - Inspection data image recording device - Google Patents

Inspection data image recording device Download PDF

Info

Publication number
JP3940493B2
JP3940493B2 JP06923698A JP6923698A JP3940493B2 JP 3940493 B2 JP3940493 B2 JP 3940493B2 JP 06923698 A JP06923698 A JP 06923698A JP 6923698 A JP6923698 A JP 6923698A JP 3940493 B2 JP3940493 B2 JP 3940493B2
Authority
JP
Japan
Prior art keywords
data
unit
image
contour
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP06923698A
Other languages
Japanese (ja)
Other versions
JPH11250259A (en
Inventor
幸太郎 田中
徹郎 相川
正明 福島
俊一 清水
雅彦 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP06923698A priority Critical patent/JP3940493B2/en
Publication of JPH11250259A publication Critical patent/JPH11250259A/en
Application granted granted Critical
Publication of JP3940493B2 publication Critical patent/JP3940493B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、プラントを構成する設備機器の現場点検において、点検対象物の表面検査データを記録分析して管理するための点検データ画像記録装置に関する。
【０００２】
【従来の技術】
一般に、プラントを構成する設備機器の現場点検における対象物の表面検査は、人間による目視で行われている。現場の作業員が対象物の表面を目視で確認し、欠陥がある場合は、その欠陥部分の長さと幅とをメジャーで計測し、深さ方向は手触りで計測している。そして、対象物の表面状態をメモ用紙にスケッチし、あるいは、メモ用紙を対象物の表面にあて鉛筆等でメモ用紙の上から擦り付けることにより欠陥部分を写して、事務所で報告書に清書している。
【０００３】
また、最近では、レーザ光や超音波を用いた表面検査も開発されており、共に対象物の表面にレーザ光や超音波を照射し、表面からの反射を計測することで表面状態を検査するようにしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、人間の目視による表面検査の場合には、精度のバラツキがあり紙による記録であるため定量化できていない。また、現場でメモ書きした検査結果を事務所で清書する必要があるので、作業負担が大きく転写ミスなどヒューマンエラーを起こしやすい。さらには、現場での検査の時に専門家のスキルが必要であるなどの課題があった。
【０００５】
また、最新技術であるレーザ光や超音波を用いた表面検査の場合には、小型化が困難であり現場点検に不向きで高コストの課題があった。
【０００６】
本発明の目的は、点検精度が一定で検査結果を定量化でき小型でコンパクトな点検データ画像記録装置を得ることである。
【０００７】
【課題を解決するための手段】
請求項１の発明に係わる点検データ画像記録装置は、対象物表面あるいは対象物表面と対象物サイズ・視点角度を示すマーカとを撮影して着脱可能に設けられた可搬型メモリにデジタルデータからなる画像データを記憶する小型で可搬性のある映像化装置と、対象物の画像データを処理する際に必要なデータが記憶されたデータベース部と、映像化装置から出力された画像データおよびデータベース部のデータを入出力コントロール部を介してメモリ部に取り込み画像データに画像処理を施して対象物の表面形状データと輪郭形状データとを抽出する画像処理プロセッサと、映像化装置から取り外された可搬型メモリにデータを読み書きするための可搬型メモリ読書き装置と、画像データおよび画像処理プロセッサで抽出された表面形状データと輪郭形状データとを表示出力する表示部または印字出力するプリンタを有した出力部と、現場における表面検査の対象物への表面検査指令を画像処理プロセッサに入力するためのユーザインタフェース部とを備えたことを特徴とする。
【０００８】
請求項１の発明に係わる点検データ画像記録装置では、ユーザインタフェース部からユーザによる対象物への表面検査指令が入力されると、小型で可搬性のある映像化装置で、対象物表面あるいは対象物表面と対象物サイズ・視点角度を示すマーカとを撮影して、着脱可能に設けられた可搬型メモリにその画像データを記憶する。画像処理プロセッサは、映像化装置から出力された画像データおよびデータベース部のデータを入出力コントロール部を介してメモリ部に取り込み画像データに画像処理を施して対象物の表面形状データと輪郭形状データとを抽出する。そして、その結果を表示部に表示出力しプリンタに印字出力する。
【０００９】
請求項２の発明に係わる点検データ画像記録装置は、請求項１に記載の点検データ画像記録装置において、映像化装置は、対象物表面あるいは対象物表面と対象物サイズ・視点角度を示すマーカとを撮影して映像信号を出力するイメージセンサ撮像部と、イメージセンサ撮像部から出力された映像信号をディジタルデータからなる画像データに変換するＡ／Ｄ変換処理部と、Ａ／Ｄ変換処理部により変換された画像データあるいは入出力コントロール部から入力された表面形状データおよび輪郭形状データを可搬型メモリに読み書きするデータ読書き部と、可搬型メモリに記憶されたデータあるいは入出力コントロール部から入力されたデータを表示するためのデータ表示部と、イメージセンサ撮像部とＡ／Ｄ変換処理部とデータ読書き部とデータ表示部とを制御する映像化装置コントロール部とを備えたことを特徴とする。
【００１０】
請求項２の発明に係わる点検データ画像記録装置では、請求項１に記載の点検データ画像記録装置の作用に加え、映像化装置は以下のように作用する。対象物表面あるいは対象物表面と対象物サイズ・視点角度を示すマーカとをイメージセンサ撮像部で撮影して、その映像信号をＡ／Ｄ変換処理部でディジタルデータからなる画像データに変換する。Ａ／Ｄ変換処理部により変換された画像データあるいは入出力コントロール部から入力された表面形状データおよび輪郭形状データはデータ読書き部により可搬型メモリに読み書きされる。また、データ表示部には、可搬型メモリに記憶されたデータあるいは入出力コントロール部から入力されたデータが表示される。
【００１１】
請求項３の発明に係わる点検データ画像記録装置は、請求項１に記載の点検データ画像記録装置において、画像処理プロセッサは、映像化装置から出力された画像データを展開して格納するフレームメモリ部と、画像データから対象物の輪郭領域および表面形状領域とマーカ領域とを抽出する論理・空間フィルタリング部と、対象物の表面形状領域とデータベース部に格納した画像データの１画素あたりのサイズを示す画素分解能データとから対象物表面の形状の座標・寸法である表面形状データを算出するラベリング処理部と、対象物の輪郭領域から線・円成分を抽出する幾何形状抽出部と、幾何学形状抽出部から抽出した線・円成分と画素分解能データとから対象物の輪郭の座標・寸法である輪郭形状データを算出する輪郭計測部と、画像データと表面形状データと輪郭形状データとを３次元で移動・変形変換する３次元アフェイン変換処理部とを備えたことを特徴とする。
【００１２】
請求項３の発明に係わる点検データ画像記録装置では、請求項１に記載の点検データ画像記録装置の作用に加え、画像処理プロセッサは以下のように作用する。映像化装置から出力された画像データをフレームメモリ部に展開して格納し、論理・空間フィルタリング部は、画像データから対象物の輪郭領域および表面形状領域とマーカ領域とを抽出する。また、ラベリング処理部は、対象物の表面形状領域とデータベース部に格納した画像データの１画素あたりのサイズを示す画素分解能データとから対象物表面の形状の座標・寸法である表面形状データを算出する。さらに、輪郭計測部は、幾何学形状抽出部から抽出した線・円成分と画素分解能データとから対象物の輪郭の座標・寸法である輪郭形状データを算出し、３次元アフェイン変換処理部により、画像データと表面形状データと輪郭形状データとを３次元で移動・変形変換する。
【００１３】
請求項４の発明に係わる点検データ画像記録装置は、請求項１に記載の点検データ画像記録装置において、メモリ部と画像処理プロセッサと入出力コントロール部とを、映像化装置コントロール部に組み込んだことを特徴とする。
【００１４】
請求項４の発明に係わる点検データ画像記録装置では、請求項１に記載の点検データ画像記録装置の作用に加え、現場において対象物表面を映像化装置で撮影し、同時に映像化装置内の画像処理プロセッサで画像処理を施し、小型で可搬性のある映像化装置のみで表面検査を行う。
【００１５】
請求項５の発明に係わる点検データ画像記録装置は、対象物表面を視差をつけて撮影して着脱可能に設けられた可搬型メモリにディジタルデータからなる複視差画像データを記憶する小型で可搬性のある３次元映像化装置と、３次元映像化装置の対象物表面側に取付けられ３次元映像化装置と対象物表面との焦点距離を固定する焦点固定部と、対象物の複視差画像データを処理する際に必要なデータが記憶されたデータベース部と、３次元映像化装置から出力された複視差画像データおよびデータベース部のデータを入出力コントロール部を介してメモリ部に取り込み複視差画像データに画像処理を施して対象物表面の深さ方向の状態を加えた表面形状データと対象物の輪郭形状データとを抽出する画像処理プロセッサと、映像化装置から取り外された可搬型メモリにデータを読み書きするための可搬型メモリ読書き装置と、複視差画像データと表面形状データと輪郭形状データとを表示出力する表示部および印字出力するプリンタを有した出力部と、現場における表面検査の対象物への表面検査指令を画像処理プロセッサに入力するためのユーザインタフェース部とを備えたことを特徴とする。
【００１６】
請求項５の発明に係わる点検データ画像記録装置では、ユーザインタフェース部からユーザによる対象物への表面検査指令が入力されると、小型で可搬性のある３次元映像化装置で、焦点距離が固定された焦点固定部を介して対象物表面に視差をつけて撮影し、着脱可能に設けられた可搬型メモリにディジタルデータからなる複視差画像データを記憶する。画像処理プロセッサは、３次元映像化装置から出力された複視差画像データおよびデータベース部のデータを入出力コントロール部を介してメモリ部に取り込み複視差画像データに画像処理を施して対象物表面の深さ方向の状態を加えた表面形状データと対象物の輪郭形状データとを抽出する。そして、そして、その結果を表示部に表示出力しプリンタに印字出力する。
【００１７】
請求項６の発明に係わる点検データ画像記録装置は、請求項５に記載の点検データ画像記録装置において、３次元映像化装置は、対象物表面を視差をつけて撮影して２つの映像信号を出力する複視差イメージセンサ撮像部と、複視差イメージセンサ撮像部から出力された２つの映像信号をディジタルデータからなる２つの映像に変換しどちらの視差かを判別する視差識別信号を付加するＡ／Ｄ変換複視差信号処理部と、Ａ／Ｄ変換複視差信号処理部により処理された複視差画像データあるいは入出力コントロール部から入力された表面形状データおよび輪郭形状データを可搬型メモリに読み書きするデータ読書き部と、可搬型メモリに記憶されたデータあるいは入出力コントロール部から入力されたデータを表示するためのデータ表示部と、複視差イメージセンサ撮像部とＡ／Ｄ変換複視差信号処理部とデータ読書き部とデータ表示部とを制御する３次元映像化装置コントロール部とを備えたことを特徴とする。
【００１８】
請求項６の発明に係わる点検データ画像記録装置では、請求項５に記載の点検データ画像記録装置の作用に加え、３次元映像化装置は以下のように作用する。複視差イメージセンサ撮像部により対象物表面を視差をつけて撮影した２つの映像信号を、Ａ／Ｄ変換複視差信号処理部でディジタルデータからなる２つの映像に変換すると共にどちらの視差かを判別する視差識別信号を付加する。Ａ／Ｄ変換複視差信号処理部により処理された複視差画像データあるいは入出力コントロール部から入力された表面形状データおよび輪郭形状データは、データ読書き部により可搬型メモリに読み書きされる。また、データ表示部には、可搬型メモリに記憶されたデータあるいは入出力コントロール部から入力されたデータが表示される。
【００１９】
請求項７の発明に係わる点検データ画像記録装置は、請求項５に記載の点検データ画像記録装置において、焦点固定部は、内部に形成され対象物表面に集光するように内壁の高さに応じて角度が変化している鏡面を有した空洞と、空洞内の３次元映像化装置側に設けられた照明光源と、空洞内の対象物表面側に設けられ内壁で集光した光を散乱させて対象物表面に一様な光をあてる面光源変換部とを備えたことを特徴とする。
【００２０】
請求項７の発明に係わる点検データ画像記録装置では、請求項５に記載の点検データ画像記録装置の作用に加え、焦点固定部は以下のように作用する。証明光源からの光は空洞の内壁の鏡面により集光し、その集光した光は面光源変換部により散乱されて対象物表面に一様な光をあてる。
【００２１】
請求項８の発明に係わる点検データ画像記録装置は、請求項５に記載の点検データ画像記録装置において、画像処理プロセッサは、３次元映像化装置から出力された複視差画像データを展開して格納するフレームメモリ部と、複視差画像データから視差画像間の対応点を求めその対応点の移動量の画素数から三角測量の原理により深さの画素数を算出しデータベース部に格納した複視差画像データの１画素当たりのサイズを表す画素分解能データにより深さの寸法を求め対象物表面の深さ方向の状態を加えた表面形状データを求める画素間演算部と、複視差画像データの片方での画像から対象物の輪郭領域を抽出する論理・空間フィルタリング部と、対象物の輪郭領域から線・円成分を抽出する幾何形状抽出部と、幾何学形状抽出部から抽出した線・円成分と画素分解能データとから対象物の輪郭の座標・寸法である輪郭形状データを算出する輪郭計測部と、画像データと表面形状データと輪郭形状データとを３次元で移動・変形変換する３次元アフェイン変換処理部とを備えたことを特徴とする。
【００２２】
請求項８の発明に係わる点検データ画像記録装置では、請求項５に記載の点検データ画像記録装置の作用に加え、画像処理プロセッサは以下のように作用する。３次元映像化装置から出力された複視差画像データをフレームメモリ部に展開して格納する。画素間演算部は、複視差画像データから視差画像間の対応点を求め、その対応点の移動量の画素数から三角測量の原理により深さの画素数を算出し、データベース部に格納した複視差画像データの１画素当たりのサイズを表す画素分解能データにより深さの寸法を求め、対象物表面の深さ方向の状態を加えた表面形状データを求める。また、論理・空間フィルタリング部は、複視差画像データの片方での画像から対象物の輪郭領域を抽出し、輪郭計測部は、幾何学形状抽出部から抽出した線・円成分と画素分解能データとから対象物の輪郭の座標・寸法である輪郭形状データを算出する。また、３次元アフェイン変換処理部により、画像データと表面形状データと輪郭形状データとを３次元で移動・変形変換する。
【００２３】
請求項９の発明に係わる点検データ画像記録装置は、請求項５に記載の点検データ画像記録装置において、メモリ部と画像処理プロセッサと入出力コントロール部とを、３次元映像化装置コントロール部に組み込んだことを特徴とする。
【００２４】
請求項９の発明に係わる点検データ画像記録装置では、請求項５に記載の点検データ画像記録装置の作用に加え、現場において対象表面を３次元映像化装置で撮影し、同時に３次元映像化装置内の画像処理プロセッサで画像処理を施し、小型で可搬性のある３次元映像化装置と焦点固定部のみで表面検査を行う。
【００２５】
【発明の実施の形態】
以下、本発明の第１の実施の形態を説明する。図１は、本発明の第１の実施の形態に係わる点検データ画像記録装置の構成図である。
【００２６】
図１に示すように、点検データ画像記録装置は、小型で可搬性のある映像化装置１を有している。この映像化装置１は、表面検査対象である対象物表面１２を撮影するものであり、その際に、対象物表面１２のみならず対象物サイズ・視点角度を示すマーカ１３を撮影して、その映像信号を３２ビットのデジタル信号（画像データ）に変換して記憶するものである。
【００２７】
すなわち、イメージセンサ撮像部１ａは、対象物表面１２および対象物表面１２と対象物対象物サイズ・視点角度を示すマーカ１３とを撮影して映像信号をＡ／Ｄ変換処理部１ｂに出力する。Ａ／Ｄ変換処理部１ｂでは、イメージセンサ撮像部１ａから出力された映像信号（アナログ信号）を標本および量子化して３２ビットのデジタル信号からなる画像データに変換する。Ａ／Ｄ変換処理部１ｂにより変換された画像データは、データ読書き部１ｃにより可搬型メモリ４に記憶される。可搬型メモリ４はデータ読書き部１ｃに着脱可能となっており、可搬型メモリ４は可搬型メモリ読書き装置８によってもデータが読み書きされるようになっている。
【００２８】
可搬型メモリ４に記憶されたデータは、データ表示部１ｄに表示されるようになっている。また、データ表示部１ｄには、可搬型メモリ４に格納されているデータのみならず、後述の入出力コントロール部９から映像化装置コントロール部１ｅを介して入力されたデータも表示できるようになっている。
【００２９】
映像化装置コントロール部１ｅは、入出力コントローラ部９からの指令により、イメージセンサ撮像部１ａおよびＡ／Ｄ変換処理部１ｂおよびデータ読書き部１ｃおよびデータ表示部１ｄを制御するものである。また、映像化装置インタフェース部１ｆは、ユーザからの命令（撮影、データ読書き、データ表示）を映像化装置コントロール部１ｅに伝えるものである。
【００３０】
次に、ユーザインタフェース部１１からユーザによる対象物への表面検査指令が入力されると、ＣＰＵ１０および入出力コントローラ部９を介して映像化装置１が起動され、対象物表面１２あるいは対象物表面１２と対象物サイズ・視点角度を示すマーカ１３とを撮影して、着脱可能に設けられた可搬型メモリ４にその画像データを記憶する。
【００３１】
データベース部２には、対象物の画像データを処理する際に必要なデータが記憶されており、画像処理プロセッサ５は映像化装置１から出力された画像データおよびデータベース部２のデータを入出力コントロール部９およびＣＰＵ１０を介してメモリ部３に取り込み、画像データに画像処理を施して対象物の表面形状データと輪郭形状データとを抽出する。そして、その結果を出力部の表示部６に表示出力し、またプリンタ７に印字出力する。
【００３２】
ここで、入出力コントロール部９には、可搬型メモリ読書き装置８が接続されており、映像化装置１から取り外された可搬型メモリ４に格納されたデータを読み書きできるようになっている。
【００３３】
すなわち、画像処理プロセッサ５は、映像化装置１から出力された画像データまたはメモリ部３および可搬型メモリ４に格納されている画像データ、およびデータベース部２に格納されているデータに基づいて、画像データに画像処理を施して対象物表面１２上の状態を示す表面の形状（表面形状データ）と輪郭の形状（輪郭形状データ）を抽出する。
【００３４】
映像化装置１で出力した画像データ、画像処理プロセッサ５で抽出した表面形状データおよび輪郭形状データは、データベース部２、メモリ部３、可搬型メモリ４にそれぞれ格納される。これらデータベース部２、メモリ部３および可搬型メモリ４に格納された画像データ、表面形状データおよび輪郭形状データは、出力部の表示部６に表示出力され、プリンタ７により紙に印字出力される。
【００３５】
また、入出力コントロール部９は、データベース部２および表示部６およびプリンタ７および可搬型メモリ読書き装置８を制御し、ＣＰＵ１０は、メモリ部３および画像処理プロセッサ５および入出力コントロール部９を制御する。
【００３６】
図２は、画像処理プロセッサ５のブロック構成図である。図２に示すように、画像処理プロセッサ５は、画像データを展開しフレームメモリ部５ａに格納する。論理・空間フィルタリング処理部５ｃは画像データから対象物表面１２の状態を示す表面形状と対象物の輪郭の領域と対象物サイズ・視点角度を示すマーカ１３の領域を抽出し２値化する。
【００３７】
論理・空間フィルタリング処理部５ｃで判定した表面形状の領域はラベリング処理部５ｄに入力される。データベース部２には、画像データの１画素当たりのサイズを表す画素分解能データが格納されており、ラベリング処理部５ｄでは論理・空間フィルタリング処理部５ｃで得られた表面形状の領域とデータベース２の画素分解能データとにより、表面形状の座標・寸法である表面形状データを算出する。
【００３８】
一方、幾何学形状抽出部５ｅは論理・空間フィルタリング処理部５ｃで判定した輪郭領域の線・円成分を抽出し、この幾何学形状抽出部５ｅで抽出した輪郭領域の線・円成分は輪郭計測部５ｆに入力される。輪郭計測部５ｆでは幾何学形状抽出部５ｅで得られた輪郭領域の線・円成分とデータベース部２の画素分解能データとにより、対象物の輪郭の座標・寸法である輪郭形状データを算出する。３次元アフェイン変換処理部５ｇは、画像データおよび表面形状データと輪郭形状データとを３次元で移動・変形変換するものである。
【００３９】
ここで、画像処理プロセッサ５のフレームメモリ部５ａ、論理・空間フィルタリング処理部５ｃ、ラベリング処理部５ｄ、幾何学形状抽出部５ｅ、および輪郭計測部５ｆの各々は、データ伝送用バス１４、１５を介して互いに接続されている。さらに、画像処理プロセッサ５のフレームメモリ部５ａ、論理・空間フィルタリング処理部５ｃ、ラベリング処理部５ｄ、幾何学形状抽出部５ｅ、および輪郭計測部５ｆの各々は、ＣＰＵ１０により制御され、展開してフレームメモリ部５ａに格納された画像データに対して、論理・空間フィルタリング処理部５ｃ、ラベリング処理部５ｄ、幾何学形状抽出部５ｅ、および輪郭計測部５ｆの各々により画像処理が施されるようになっている。
【００４０】
次に、このような構成からなる本発明の第１の実施の形態の作用について説明する。図３は、本発明の第１の実施の形態に係わる点検データ画像記録装置の動作を示すフローチャートである。図３に示すように、ユーザインタフェース部１１からＣＰＵ１０を介して画像処理プロセッサ５に処理開始命令が与えられると、映像化装置１で撮影した画像データまたはデータベース部２に格納した画像データまたは可搬型メモリ４に格納した画像データをメモリ部３に書込み（ステップ１０１）、メモリ部３に書込んだ画像データを画像処理プロセッサ５のフレームメモリ部５ａに展開して格納する（ステップ１０２）。
【００４１】
次に、基準となる撮影の視点角度をユーザインタフェース部１１から視点角度および対象物指定（名称および識別番号と撮影日時）を入力し、その入力した基準視点データをデータベース部２およびメモリ部３に格納し（ステップ１０３）、フレームメモリ部５ａに格納した画像データの輝度値分布から対象物表面１２の状態を示す表面形状の領域と対象物の輪郭の領域を論理・空間フィルタリング処理部５ｃにより抽出して２階調の画像に変換し、フレームメモリ部５ａに展開して格納する（ステップ１０４）。そして、フレームメモリ部５ａに格納した２階調の輪郭の領域の円・線成分を幾何学形状抽出部５ｅにより抽出して、フレームメモリ部５ａに展開して格納し（ステップ１０５）、フレームメモリ部５ａに格納した画像データから対象物サイズ・視点角度を示すマーカ１３の領域を画像処理プロセッサ５の論理・空間フィルタリング処理部５ｃにより抽出してフレームメモリ部に展開して格納する（ステップ１０６）。
【００４２】
ここで、メモリ部３に書込んだ画像データにマーカ１３の領域があるかないかの判定を行う（ステップ１０７）。
【００４３】
メモリ部３に書込んだ画像データにマーカ１３の領域がない場合、輪郭設計データによる視点補正を行う（ステップ１０８）。すなわち、フレームメモリ部５ａに格納した輪郭の円・線成分を、３次元アフェイン変換処理部５ｇにより、データベース部２に格納した対象物の輪郭の重心の真上を基準視点とし、円・線成分の寸法と輪郭の重心を原点とする座標である輪郭設計データに合わせ、同量の変換を画像データと表面形状の領域に施して視点補正を行う。そして、視点補正した画像データと表面形状の領域と輪郭の円・線成分の領域をフレームメモリ部５ａ展開して格納し、変換量である撮影視点データをデータベース部２とメモリ部３に格納する（ステップ１０８）。
【００４４】
その後に、フレームメモリ部５ａに格納した視点補正の輪郭の円・線成分の画素数とデータベース部２に格納した輪郭設計データの円・線成分の寸法とから、１画素あたりのサイズを表す画素分解能データを算出してメモリ部３に格納する（ステップ１０９）。
【００４５】
一方、ステップ１０７の判定で、メモリ部３に書込んだ画像データにマーカ１３の領域がある場合、フレームメモリ部５ａに格納したマーカ１３の領域から、論理・空間フィルタリング処理部５ｃにより撮影視点を示す印を読取り、映像化装置１での撮影視点角度を算出して、その算出した撮影視点データをデータベース部２およびメモリ部３に格納する（ステップ１１０）。そして、データベース部２およびメモリ部３に格納した撮影視点データをデータベース部２およびメモリ部３に格納した基準視点データに合わせる変換量を、３次元アフェイン変換処理部５ｇにより算出し、その算出した変換量を画像データと表面形状の領域と輪郭の円・線成分領域とマーカ１３の領域に施し視点補正を行い、視点補正した画像データと表面形状の領域と輪郭の円・線成分領域とマーカ１３の領域をフレームメモリ部５ａに格納する（ステップ１１１）。
【００４６】
そして、フレームメモリ部５ａに格納した視点補正のマーカ１３領域の画素数をメモリ部３に書込み（ステップ１１２）、データベース部２に格納したマーカ寸法をメモリ部３に書込み（ステップ１１３）、メモリに書込んだマーカの画素数と寸法から１画素あたりのサイズを表す画素分解能データを算出してメモリ部３に格納する（ステップ１１４）。
【００４７】
次に、輪郭の座標・寸法を計測する（ステップ１１５）。すなわち、幾何学形状抽出部５ｅにより抽出し視点補正してフレームメモリ部５ａに格納した輪郭の円・線成分領域の画素数と、メモリ部３に格納した画素分解能データとから、輪郭計測部５ｆにより輪郭の寸法と輪郭の重心と輪郭の重心を原点とする座標を算出し、輪郭形状データとしてメモリ部３に格納する。
【００４８】
そして、表面形状の座標・寸法を計測する（ステップ１１６）。すなわち、フレームメモリ部５ａに格納した２階調の視点補正の表面形状の領域を、画素単位でラベル番号を付けグルーピングし、各々のグループの画素数とメモリ部３に格納した画素分解能データとから、表面形状の各グループの寸法と輪郭の重心を原点とする座標とを算出し、表面形状データとしてメモリ部３に格納する。
【００４９】
その後に、結果出力およびデータ保存を行う（ステップ１１７）。つまり、フレームメモリ部５ａに格納した視点補正の画像データおよびメモリ部３に格納した輪郭形状データおよび表面形状データを画像およびスケッチおよびグラフおよびテキストで表示部６およびプリンタ７により紙に出力し、データベース部２および可搬型メモリ読書き装置８により可搬型メモリ４に保存する。
【００５０】
ここで、表示部６およびプリンタ７により、紙に出力された処理結果に対して再処理の有無を表示部６およびユーザインタフェース部１１によりユーザに確認し（ステップ１１８）、ユーザが再処理が必要と判断した場合はユーザインタフェース部１１から再処理の命令を入力する。そうすると、ＣＰＵ１０を介して画像処理プロセッサ５に再処理命令が与えられ、ユーザインタフェース部１１で領域抽出のパラメータ変更命令を入力し（ステップ１１９）、表面形状と輪郭の領域抽出と２値化処理（ステップ１０４）から結果出力とデータ保存（ステップ１１７）まで再処理を実行し、ユーザが再処理の必要がないと判断するまで繰り返される。
【００５１】
一方、表示部６およびプリンタ７により紙に出力された処理結果に対して再処理の必要がないと判断した場合は、画像処理プロセッサ５による画像処理を終了する。
【００５２】
ここで、映像化装置１で撮影した画像データはデータ表示部１ｄに表示され、可搬型メモリ４に記憶される。
【００５３】
すなわち、映像化装置インタフェース部１ｆから映像化装置コントロール部１ｅに対象物表面１２とマーカ１３の撮影命令が与えられると、映像化装置コントロール部１ｅはイメージセンサ撮像部１ａで撮影した映像信号をＡ／Ｄ変換処理部１ｂで画像データに変換し、画像データをデータ表示部１ｄに表示するよう制御する。ユーザはデータ表示部１ｄで画像を確認し画像データの保存命令を映像化装置インタフェース部１ｆから映像化装置コントロール部１ｅに与え、映像化装置インタフェース部１ｆがデータ読書き部１ｃを制御して画像データを可搬型メモリ４に格納する。
【００５４】
また、可搬型メモリ４に記憶されたデータはデータ表示部１ｄに呼び出され表示できるようになっている。
【００５５】
すなわち、可搬型メモリ４をデータ読書き部１ｃにセットし、映像化装置インタフェース部１ｆから映像化装置コントロール部１ｅに可搬型メモリ４からのデータ読込み命令が与えられると、映像化装置コントロール部１ｅはデータ読書き部１ｃからデータ表示部１ｄに可搬型メモリ４に格納されたデータを表示するよう制御する。
【００５６】
さらに、映像化装置１のデータ表示部１ｄには、データベース部２、メモリ部３、可搬型メモリ読書き装置８にセットされた可搬型メモリ４のデータを表示できるようになっている。
【００５７】
すなわち、入出力コントロール部９と映像化装置コントロール部１ｅを接続し、映像化装置インタフェース１ｆから映像化装置コントロール部１ｅにデータベース部２およびメモリ部３および可搬型メモリ読書き装置８にセットした可搬型メモリ４からのデータ読込み命令が与えられると、映像化装置コントロール部１ｅは入出力コントロール部９を介してＣＰＵ１０にデータベース部２およびメモリ部３および可搬型メモリ読書き装置８にセットした可搬型メモリ４からデータを入出力コントロール部９を介して映像化装置コントロール部１ｅに読込んでデータ表示部１ｄにデータベース部２およびメモリ部３および可搬型メモリ読書き装置８にセットした可搬型メモリ４に格納されたデータを表示するよう制御する。
【００５８】
また、映像化装置１のデータ読書き部１ｃにセットされた可搬型メモリ４に、データベース部２、メモリ部３、可搬型メモリ読書き装置８にセットされた可搬型メモリ４のデータを記憶できるようになっている。
【００５９】
すなわち、入出力コントロール部９と映像化装置コントロール部１ｅを接続し、映像化装置インタフェース１ｆから映像化装置コントロール部１ｅにデータベース部２およびメモリ部３および可搬型メモリ読書き装置８にセットした可搬型メモリ４からのデータ読書き装置１ｃにセットされた可搬型メモリデータ読込み命令が与えられると、映像化装置コントロール部１ｅは入出力コントロール部９を介してＣＰＵ１０にデータベース部２およびメモリ部３および可搬型メモリ読書き装置８にセットした可搬型メモリ４からデータを入出力コントロール部９を介して映像化装置コントロール部１ｅに読込んで、データベース部２およびメモリ部３および可搬型メモリ読書き装置８にセットした可搬型メモリ４に格納されたデータを、データ読書き部１ｃにセットされた可搬型メモリ４に格納するよう制御する。
【００６０】
また、映像化装置１で撮影した画像データやデータ読書き部１ｃにセットした可搬型メモリ４のデータは、メモリ部３に記憶されるようになっている。
【００６１】
すなわち、入出力コントロール部９と映像化装置コントロール部１ｅを接続し、ユーザインタフェース部１１からＣＰＵ１０と入出力コントロール部９を介して映像化装置コントロール部１ｅにイメージセンサ撮像部１ａで撮影しＡ／Ｄ変換処理部１ｂで変換した画像データおよびデータ読書き部１ｃにセットした可搬型メモリ４に格納されたデータをメモリ部３に書込む。
【００６２】
さらに、映像化装置１で撮影した画像データやデータ読書き部１ｃにセットした可搬型メモリ４のデータは、出力部の表示部６やプリンタ７に出力されるようになっている。
【００６３】
すなわち、メモリ部３に格納したデータを表示部６およびプリンタ７により紙に出力する命令が与えられると、映像化装置コントロール部１ｅはイメージセンサ撮像部１ａで撮影しＡ／Ｄ変換処理部１ｂで変換した画像データおよびデータ読書き部１ｃにセットした可搬型メモリ４に格納されたデータを入出力コントロール部９を介してメモリ部３にデータを格納し表示部６およびプリンタ７により紙に出力するようＣＰＵ１０に制御させる。
【００６４】
この第１の実施の形態において、画像処理プロセッサ５および画像処理プロセッサ５を構成するフレームメモリ部５ａ、論理・空間フィルタリング処理部５ｃ、ラベリング処理部５ｄ、幾何学形状抽出部５ｅおよび輪郭計測部５ｆは、いずれも処理ボードまたは演算ユニット等としてハードウェア的に実現することができる。また、プログラムモジュールとしてソフトウェア的に実現することもできる。
【００６５】
また、メモリ部３、画像処理プロセッサ５、入出力コントロール部９およびＣＰＵ１０を、映像化装置コントロール部１ｅに組込むようにしても良い。これにより、現場において対象物表面１２を映像化装置１で撮影し、同時に映像化装置１内の画像処理プロセッサ５で画像処理を施し、小型で可搬性のある映像化装置１のみで表面検査を行うことが可能となる。さらに、データベース部２、表示部６、プリンタ７、可搬型メモリ読書き装置８およびユーザインタフェース部１１を、映像化装置コントロール部１ｅに組み込んだ入出力コントロール部９に接続することで、大容量のデータ、大画面による表示、紙への出力、複数枚の可搬型メモリ４の読み書きおよびキーボードとマウス入力に対応することができる。
【００６６】
次に、映像化装置１の撮影範囲より大きい対象物を撮影可能とするために、映像化装置１で対象物表面１２あるいは対象物表面１２とマーカ１３とを撮影する際に位置を変えて連続撮影し、連続撮影した各画像データ間の輝度値の差の総和が最小となる境界部分の各画像データ間で、対応する位置を算出し、各画像データを画素単位で合成するようにしても良い。これにより、映像化装置１の撮影範囲より大きい対象物を分割撮影した場合の表面検査が可能となる。
【００６７】
また、対象物の表面形状の変化傾向を得るために、ユーザインタフェース部１１で傾向比較したい撮影視点の補正を行った各画像を選択して位置を合わせ、各表面形状データを画素単位で比較する。そして、その比較結果を傾向グラフのデータ（傾向グラフデータ）としてメモリ部３に格納する。また、表面形状の比較を画像上で色分け・模様分けした傾向比較の画像のデータ（傾向比較画像データ）としてメモリ部３に格納する。この場合、メモリ部３に格納した傾向グラフのデータと傾向比較画像のデータとを表示部６やプリンタ７に出力することにより、傾向グラフと傾向比較画像が得られるので、傾向管理を行うことが可能となる。
【００６８】
この場合、さらにデータベース部２に管理目標値を格納しておく。そして、ユーザインタフェース部１１で傾向比較したい撮影視点の補正を行った各画像を選択し、同時に関連する管理目標値をデータベース部２から参照する。すなわち、表示部６に選択した各画像の表面形状データの傾向グラフと傾向比較画像上で傾向比較したデータとが管理目標値を超えるかを判定し、管理目標値を超えるとメッセージとアラームを出力する。また、傾向グラフと傾向比較画像上の目標管理値を超えた箇所をデータベース部２に格納し、強調表示してユーザに知らせる。これにより、対象物の表面検査が精度良く行える。
【００６９】
次に、ユーザの指定した視点角度で対象物の画像データを正確に得るために以下のようにする。すなわち、映像化装置インタフェース部１ｆおよびユーザインタフェース部１１から特定の視点角度および合わせたい対象物の指定（名称、識別番号）を入力し、映像化装置１で撮影した画像データから画像処理プロセッサ５により算出した輪郭形状データを、画像処理プロセッサ５内の３次元アフェイン変換処理部５ｇにより、データベース部２に格納した指定対象物の輪郭の円・線成分の寸法、輪郭の重心を原点とする座標である輪郭設計データおよびデータベース部２に格納した指定対象物の同種か撮影した日時の異なる同一の輪郭形状データに合わせる。そして、データベース部２に格納した画素分解能データから映像化装置１と対象物表面１２との焦点距離を算出してメモリ部３に焦点距離データとして格納し、メモリ部３に格納した焦点距離データと３次元アフェイン変換量とから映像化装置１で撮影する時の撮影視点である視点角度を算出してメモリ部３に格納する。メモリ部３に格納した視点角度データと補正すべき視点角度とを映像化装置１のデータ表示部１ｄに補正する視点角度の方向の矢印とアラームで表示し、ユーザに知らせユーザの指定した視点角度および対象物に合わせて撮影する。
【００７０】
また、対象物の画像データを得る場合に、照明の影響を補正するために以下のようにする。すなわち、対象物表面１２および対象物表面１２とマーカ１３を視点角度を変えて複数回撮影し、３次元アフェイン変換処理部５ｇでデータベース部２に格納した対象物の輪郭設計データに合わせるか、あるいは、論理・空間フィルタリング処理部５ｃでマーカ１３の撮影視点を示す印を読み取る。
【００７１】
これにより、撮影視点データを算出してデータベース部２およびメモリ部３に格納し、各視点の画像間の対応する位置をデータベース部２およびメモリ部３に格納した撮影視点データにより算出し、対象物表面１２上で照明の影響により撮影状態の悪い部分を視点を変えて撮影した画像間の対応する位置の輝度値で補正する。
【００７２】
さらに、対象物の画像データを得る場合に、照明装置を用いない自然光のみで得られるようにするために、映像化装置１により撮影した画像データ（データベース部２、メモリ部３および可搬型メモリ４に格納した画像データも含む）の輝度値分布に合わせて、論理・空間フィルタリング処理部５ｃの領域抽出パラメータを調整する。これにより、特殊な照明装置を使用せず通常の室内照明あるいは自然光のみで対象物の表面検査を行うことができる。
【００７３】
また、対象物の画像データから背景を除去するために、映像化装置１により撮影した画像データ（データベース部２、メモリ部３および可搬型メモリ４に格納した画像データも含む）において、対象物表面１２の背景の状態を示す輝度値分布から論理・空間フィルタリング処理部５ｃにより対象物表面１２の背景を取り除くことで、多種多様な背景に対応した対象物の表面検査を行うことができる。
【００７４】
また、現場での検査結果から自動的に報告書を作成できるようにするために、検査した日付時間、対象物の名称、識別番号および検査者の氏名を指定し、データベース部２に格納した画像データ、輪郭形状データおよび表面形状データと、メモリ部３に格納した傾向グラフデータおよび傾向比較画像データとから、これら検査した日付時間、対象物の名称、識別番号および検査者の氏名に対応する必要な項目を取り出し、報告書の形式に自動的に整理して表示部６とプリンタ７により紙に出力する。
【００７５】
すなわち、ユーザインタフェース部１１および映像化装置インタフェース部１ｆを介して、検査した日付時間、対象物の名称、識別番号および検査者の氏名を入力するか、あるいはデータベース部２に格納した映像化装置１で撮影データの検査した日付時間、対象物の名称、識別番号および検査者の氏名を指定するかして、画像処理プロセッサ５により画像処理を施してデータベース部２に格納した画像データ、輪郭形状データおよび表面形状データとメモリ部３に格納した傾向グラフデータおよび傾向比較画像データとから必要な項目を、ユーザインタフェース部１１により選択命令を入力し、データベース部２に格納した報告書の形式に自動的に整理して、表示部６に表示出力しまたはプリンタ７に印字出力する。
【００７６】
また、表示部６へのデータの表示や消去を円滑に行えるようにするために、その操作のための表示ボタンと消去ボタンとを表示部６上に表示するようにする。
【００７７】
すなわち、画像データ、輪郭形状データ、表面形状データ、傾向グラフデータおよび傾向比較画像データの格納先アドレス情報と各データの識別名とを持ち、ユーザインタフェース部１１で表示の起動がかけられると、表示ボタンおよび消去ボタンが表示部６に表示される。表示ボタンは格納先アドレスのデータをメモリ部３にコピーし表示部６に表示するものである。消去ボタンは、表示部６に表示したデータを表示部６とメモリ部３とから消去するものである。
【００７８】
通常は、表示部６に表示ボタンが表示され、ユーザは表示ボタン上のデータ識別名で各表示ボタンが意味するデータを識別し、ユーザが必要なデータの表示ボタンのみを操作することで表示部６上でデータを表示する。一方、消去ボタンは、ユーザが表示の必要がなくなったデータを消去するもので、消去ボタンのみを操作することで表示部６上でデータと消去ボタンとが消去される。これにより、表示部６上での高速表示とメモリ部３の使用量を縮小し最適化することができる。
【００７９】
また、本発明の第１の実施の形態によれば、映像化装置１で撮影した画像データを輝度値分布により圧縮率を可変にしてデータベース部２に格納することでデータベース部２の容量を縮小し最適化することができる。
【００８０】
このように第１の実施の形態によれば、小型で可搬性のある映像化装置１で対象物表面１２とマーカ１３とを撮影して得られた画像データの輝度値分布から、画像処理プロセッサ５により対象物表面１２上の状態を示す表面形状と対象物の輪郭の形状を抽出して寸法・座標を算出し、この抽出された表面形状と輪郭形状を画像およびスケッチおよびグラフおよびテキストで表示部６およびプリンタ７に出力することができる。
【００８１】
従って、プラントを構成する設備機器の現場点検において、小型で可搬性のある映像化装置１で対象物表面１２を撮影し、ユーザインタフェース部１１から画像処理プロセッサ５に命令するだけで表面検査が可能となり、検査結果を表示部６とプリンタ７での出力結果により確認でき、このため誰でも検査ができ信頼性が高くコストの低いの現場点検を実現することができる。
【００８２】
次に、本発明の第２の実施の形態を説明する。図４は、本発明の第２の実施の形態に係わる点検データ画像記録装置の構成図である。この第２の実施の形態は、図１に示した第１の実施の形態に対し、映像化装置１に代えて３次元映像化装置１６および焦点固定部を１７を設けたものであり、３次元映像化装置１６は、焦点固定部１７により３次元映像化装置１６と対象物表面１２との固定された焦点距離で、対象物表面１２に視差をつけて撮影して可搬型メモリ４にディジタルデータからなる複視差画像データを記憶するようにしたものである。そして、画像処理プロセッサ５は、３次元映像化装置１６から出力された複視差画像データに画像処理を施して対象物表面１２の深さ方向の状態を加えた表面形状データと対象物の輪郭形状データとを抽出する。
【００８３】
図４に示すように、点検データ画像記録装置は、小型で可搬性のある３次元映像化装置１６を有している。３次元映像化装置１６は、焦点固定部１７を介して、表面検査対象である対象物表面１２を視差をつけて撮影し、２つの３２ビットのデジタル信号（複視差画像データ）に変換して記憶するものである。
【００８４】
すなわち、複視差イメージセンサ撮像部１６ａは、対象物表面１２を視差をつけて撮影して２つの映像信号をＡ／Ｄ変換複視差信号処理部１６ｂに出力する。Ａ／Ｄ変換複視差信号処理部１６ｂでは、複視差イメージセンサ撮像部１６ａから出力された２つの映像信号（アナログ信号）を標本および量子化して３２ビットのデジタル信号に変換し、どちらの視差かを判別するための信号（視差識別信号）を付加する。
【００８５】
Ａ／Ｄ変換複視差信号処理部１６ｂにより処理したディジタル信号（複視差画像データ）は、データ読書き部１６ｃにより可搬型メモリ４に記憶される。可搬型メモリ４はデータ読書き部１６ｃに着脱可能となっており、可搬型メモリ４は可搬型メモリ読書き装置８によってもデータが読み書きされるようになっている。
【００８６】
可搬型メモリ４に記憶されたデータは、データ表示部１６ｄに表示されるようになっている。また、データ表示部１６ｄには、可搬型メモリ４に格納されているデータのみならず、後述の入出力コントロール部９から３次元映像化装置コントロール部１６ｅを介して入力されたデータも表示できるようになっている。
【００８７】
３次元映像化装置コントロール部１６ｅは、入出力コントローラ部９からの指令により、複視差イメージセンサ撮像部１６ａおよびＡ／Ｄ変換複視差信号処理部１６ｂおよびデータ読書き部１６ｃおよびデータ表示部１６ｄを制御するものである。また、３次元映像化装置インタフェース部１６ｆは、ユーザからの命令（撮影、データ読書き、データ表示）を３次元映像化装置コントロール部１６ｅに伝えるものである。
【００８８】
次に、ユーザインタフェース部１１からユーザによる対象物への表面検査指令が入力されると、ＣＰＵ１０および入出力コントローラ部９を介して３次元映像化装置１６が起動され、焦点固定部１７を介して対象物表面１２を視差をつけて撮影し、２つの３２ビットのデジタル信号（複視差画像データ）を着脱可能に設けられた可搬型メモリ４に記憶する。
【００８９】
データベース部２には、対象物の複視差画像データを処理する際に必要なデータが記憶されており、画像処理プロセッサ５は３次元映像化装置１６から出力された複視差画像データおよびデータベース部２のデータを入出力コントロール部９およびＣＰＵ１０を介してメモリ部３に取り込み、複視差画像データに画像処理を施して、対象物表面１２の深さ方向の状態を加えた表面形状データと、対象物の輪郭形状データとを抽出する。そして、その結果を出力部の表示部６に表示出力し、またプリンタ７に印字出力する。
【００９０】
ここで、入出力コントロール部９には、可搬型メモリ読書き装置８が接続されており、３次元映像化装置１６から取り外された可搬型メモリ４に格納されたデータを読み書きできるようになっている。
【００９１】
すなわち、画像処理プロセッサ５は、３次元映像化装置１６から出力された複視差画像データまたはメモリ部３および可搬型メモリ４に格納されている複視差画像データ、およびデータベース部２に格納されているデータに基づいて、複視差画像データに画像処理を施して対象物表面１２上の深さ方向の状態を示す表面の形状（表面形状データ）と対象物の輪郭の形状（輪郭形状データ）を抽出する。
【００９２】
３次元映像化装置１６で出力した画像データ、画像処理プロセッサ５で抽出した表面形状データおよび輪郭形状データは、データベース部２、メモリ部３、可搬型メモリ４にそれぞれ格納される。これらデータベース部２、メモリ部３および可搬型メモリ４に格納された画像データ、表面形状データおよび輪郭形状データは、出力部の表示部６に表示出力され、プリンタ７により紙に印字出力される。
【００９３】
また、入出力コントロール部９は、データベース部２および表示部６およびプリンタ７および可搬型メモリ読書き装置８を制御し、ＣＰＵ１０は、メモリ部３および画像処理プロセッサ５および入出力コントロール部９を制御する。
【００９４】
ここで、焦点固定部１７は、図５に示すように、空洞で内壁が鏡面になっており、対象物表面１２に集光するよう内壁の高さで鏡面の角度を変えてある。さらに、焦点固定部１７の内部には、上部に照明光源部１８と、下部に焦点固定部１７の内壁で集光した光を散乱し、対象物表面１２に一様な光をあてる面光源変換部１９とを有する。
【００９５】
図６は、画像処理プロセッサ５のブロック構成図である。図６に示すように、画像処理プロセッサ５は、複視差画像データを展開しフレームメモリ部５ａに格納する。画素間演算部５ｂは、複視差画像データから視差画像間の対応点を求め、視差画像間の対応点の移動量の画素数から三角測量の原理により深さの画素数を算出する。そして、データベース部２に格納した複視差画像データの１画素当たりのサイズを表す画素分解能データにより深さの寸法を求め、対象物表面１２上の状態を示す深さ方向を加えた表面形状データを求める。
【００９６】
論理・空間フィルタリング処理部５ｃは、複視差画像データの片方の視差画像データから対象物の輪郭の領域を抽出し２値化し、幾何学形状抽出部５ｃでは論理・空間フィルタリング処理部５ｃで判定された対象物の輪郭領域の線・円成分を抽出する。そして、輪郭計測部５ｆでは、幾何学形状抽出部５ｅで抽出した輪郭領域の線・円成分と、データベース部２に格納した画素分解能データとにより、輪郭の座標・寸法である輪郭形状データを算出する。３次元アフェイン変換処理部５ｇでは、表面形状データと輪郭形状データとの座標値を３次元で移動・変形変換する。
【００９７】
ここで、複視差画像データの１画素当たりのサイズを表す画素分解能データは複視差イメージセンサ１６ａで決まる定数であり、３次元映像化装置１６と対象物表面１２との焦点距離データ（固定値）から複視差画像データの画像サイズを求め、複視差画像データの画像サイズと画素数とにより算出し、データベース部２に格納される。
【００９８】
また、画像処理プロセッサ５のフレームメモリ部５ａ、画素間演算部５ｂ、論理・空間フィルタリング処理部５ｃ、幾何学形状抽出部５ｅ、および輪郭計測部５ｆの各々は、データ伝送用バス１４、１５を介して互いに接続されている。さらに、画像処理プロセッサ５のフレームメモリ部５ａ、画素間演算部５ｂ、論理・空間フィルタリング処理部５ｃ、幾何学形状抽出部５ｅ、および輪郭計測部５ｆの各々は、ＣＰＵ１０により制御され、展開してフレームメモリ部５ａに格納された複視差画像データに対して画素間演算部５ｂ、論理・空間フィルタリング処理部５ｃ、幾何学形状抽出部５ｅおよび輪郭計測部５ｆの各々により画像処理が施されるようになっている。
【００９９】
次に、このような構成からなる本発明の第２の実施の形態の作用について説明する。図７は、本発明の第２の実施の形態に係わる点検データ画像記録装置の動作を示すフローチャートである。図７に示すように、ユーザインタフェース部１１からＣＰＵ１０を介して画像処理プロセッサ５に処理開始命令が与えられると、３次元映像化装置１６で撮影した複視差画像データ（データベース部２に格納した複視差画像データおよび可搬型メモリ４に格納した複視差画像データを含む）をメモリ部３に書込み（ステップ２０１）、メモリ部３に書込んだ複視差画像データを画像処理プロセッサ５のフレームメモリ部５ａに展開して格納する（ステップ２０２）。
【０１００】
次に、データベース部２に格納した画素分解能データをメモリ部３に書込み（ステップ２０３）、フレームメモリ部５ａに格納した複視差画像データの輝度値分布から対象物の輪郭の領域を論理・空間フィルタリング処理部５ｃにより抽出して、２階調の画像に変換してフレームメモリ部５ａに格納する（ステップ２０４）。そして、フレームメモリ部５ａに格納した２階調の輪郭の領域の円・線成分を幾何学形状抽出部５ｅにより抽出し（ステップ２０５）、幾何学形状抽出部５ｅにより抽出した輪郭の円・線成分の画素数とメモリ部３に格納した画素分解能データとから、輪郭計測部５ｆにより輪郭の寸法と輪郭の重心と輪郭の重心を原点とする座標を算出し、輪郭形状データとしてメモリ部３に格納する（ステップ２０６）。
【０１０１】
次に、フレームメモリ部５ａに格納した複視差画像データの視差画像間の輝度値の対応する点（対応点）を画素間演算部５ｂにより算出し（ステップ２０７）、対応点の移動量の画素数から三角測量の原理で深さの画素数を求め、メモリ部３に格納した画素分解能データから深さの寸法を算出し、輪郭の重心を原点とした対応点の位置と深さの座標である対象物表面１２の状態を示す表面形状データを求めメモリ部３に格納する（ステップ２０８）。
【０１０２】
そして、メモリ部３に格納した複視差画像データおよび輪郭形状データおよび表面形状データを、画像およびスケッチおよびグラフおよびテキストで表示部６およびプリンタ７に出力し、データベース部２および可搬型メモリ読書き装置により可搬型メモリ４に保存する（ステップ２０９）。
【０１０３】
ここで、表示部６およびプリンタ７により出力された処理結果に対して、再処理の有無を表示部６およびユーザインタフェース部１１によりユーザに確認し（ステップ２１０）、ユーザが再処理が必要と判断した場合はユーザインタフェース部１１から再処理の命令を入力する。この再処理命令は、ＣＰＵ１０を介して画像処理プロセッサ５に与えられる。すなわち、ユーザインタフェース部１１で対応点決定と輪郭領域抽出のパラメータ変更命令を入力し（ステップ２１１）、輪郭の領域抽出と２値化処理（ステップ２０４）から結果出力とデータ保存（ステップ２０９）まで再処理を実行し、ユーザが再処理の必要がないと判断するまで繰り返される。
【０１０４】
一方、表示部６およびプリンタ７に出力された処理結果に対して、再処理の必要がないと判断した場合は、画像処理プロセッサ５による画像処理を終了する。
【０１０５】
ここで、３次元映像化装置１６で撮影した複視差画像データはデータ表示部１６ｄに表示され、可搬型メモリ４に記憶される。
【０１０６】
すなわち、３次元映像化装置インタフェース部１６ｆから３次元映像化装置コントロール部１６ｅに対象物表面１２の撮影命令が与えられると、３次元映像化装置コントロール部１６ｅは複視差イメージセンサ撮像部１６ａで撮影した映像信号をＡ／Ｄ変換複視差信号処理部１６ｂで複視差画像データに処理し、複視差画像データをデータ表示部１６ｄに表示するよう制御する。ユーザはデータ表示部１６ｄで画像を確認し複視差画像データの保存命令を３次元映像化装置インタフェース部１６ｆから３次元映像化装置コントロール部１６ｅに与え、３次元映像化装置インタフェース部１６ｆがデータ読書き部１６ｃを制御して複視差画像データを可搬型メモリ４に格納する。
【０１０７】
また、可搬型メモリ４に記憶されたデータはデータ表示部１６ｄに呼び出され表示できるようになっている。
【０１０８】
すなわち、可搬型メモリ４をデータ読書き部１６ｃにセットし、３次元映像化装置インタフェース部１６ｆから３次元映像化装置コントロール部１６ｅに可搬型メモリ４からのデータ読込み命令が与えられると、３次元映像化装置コントロール部１６ｅはデータ読書き部１６ｃからデータ表示部１６ｄに可搬型メモリ４に格納されたデータを表示するよう制御する。
【０１０９】
さらに、３次元映像化装置１６のデータ表示部１ｄには、データベース部２、メモリ部３、可搬型メモリ読書き装置８にセットされた可搬型メモリ４のデータを表示できるようになっている。
【０１１０】
すなわち、３次元映像化装置１６は、入出力コントロール部９と３次元映像化装置コントロール部１６ｅを接続し、３次元映像化装置インタフェース１６ｆから３次元映像化装置コントロール部１６ｅにデータベース部２およびメモリ部３および可搬型メモリ読書き装置８にセットした可搬型メモリ４からのデータ読込み命令が与えられると、３次元映像化装置コントロール部１６ｅは入出力コントロール部９を介してＣＰＵ１０にデータベース部２およびメモリ部３および可搬型メモリ読書き装置８にセットした可搬型メモリ４から、データを入出力コントロール部９を介して３次元映像化装置コントロール部１６ｅに読込んで、データベース部２およびメモリ部３および可搬型メモリ読書き装置８にセットした可搬型メモリ４に格納されたデータを表示するよう制御する。
【０１１１】
さらに、３次元映像化装置１６のデータ読書き部１６ｃにセットされた可搬型メモリ４に、データベース部２、メモリ部３、可搬型メモリ読書き装置８にセットされた可搬型メモリ４のデータを記憶できるようになっている。
【０１１２】
すなわち、入出力コントロール部９と３次元映像化装置コントロール部１６ｅを接続し、３次元映像化装置インタフェース１６ｆから３次元映像化装置コントロール部１６ｅにデータベース部２およびメモリ部３および可搬型メモリ読書き装置８にセットした可搬型メモリ４からのデータ読書き装置１６ｃにセットされた可搬型メモリデータ読込み命令が与えられると、３次元映像化装置コントロール部１６ｅは入出力コントロール部９を介してＣＰＵ１０にデータベース部２およびメモリ部３および可搬型メモリ読書き装置８にセットした可搬型メモリ４から、データを入出力コントロール部９を介して３次元映像化装置コントロール部１６ｅに読込んでデータ表示部１６ｄにデータベース部２およびメモリ部３および可搬型メモリ読書き装置８にセットした可搬型メモリ４に格納されたデータをデータ読書き部１６ｃにセットされた可搬型メモリ４に格納するよう制御する。
【０１１３】
また、３次元映像化装置１６で撮影した画像データやデータ読書き部１６ｃにセットした可搬型メモリ４のデータは、メモリ部３に記憶されるようになっている。
【０１１４】
すなわち、入出力コントロール部９と３次元映像化装置コントロール部１６ｅを接続し、ユーザインタフェース部１１からＣＰＵ１０と入出力コントロール部９を介して３次元映像化装置コントロール部１６ｅに、複視差イメージセンサ撮像部１６ａで撮影しＡ／Ｄ変換複視差信号処理部１６ｂで変換した複視差画像データおよびデータ読書き部１６ｃにセットした可搬型メモリ４に格納されたデータをメモリ部３に書込む。
【０１１５】
さらに、３次元映像化装置１６で撮影した画像データやデータ読書き部１６ｃにセットした可搬型メモリ４のデータは、出力部の表示部６やプリンタ７に出力されるようになっている。
【０１１６】
すなわち、メモリ部３に格納したデータを表示部６およびプリンタ７に出力する命令が与えられると、３次元映像化装置コントロール部１６ｅは複視差イメージセンサ撮像部１６ａで撮影しＡ／Ｄ変換複視差信号処理部１６ｂで変換した複視差画像データおよびデータ読書き部１６ｃにセットした可搬型メモリ４に格納されたデータを入出力コントロール部９を介してメモリ部３にデータを格納し、表示部６およびプリンタ７に出力するようＣＰＵ１０に制御させる。
【０１１７】
ここで、表示部６では、画像処理プロセッサ５により算出した表面形状データの座標値から、座標点を線でつないだワイヤーフレーム表示、一つの光源を置いた時の視点と座標値から対象物表面１２上の輝度値を算出し凹凸がわかるようにしたサーフェイスモデル表示、複視差画像データの片方の画像の輝度値を座標値に合わせて対象物表面１２上に貼り付けたテクスチャマッピング表示することができ、さらに、各々の表示で視点（遠近、回転）を変えて表示することができ、ユーザインタフェース部１１から操作する。
【０１１８】
第２の実施の形態において、画像処理プロセッサ５を構成するフレームメモリ部５ａ、画素間演算部５ｂ、論理・空間フィルタリング処理部５ｃ、幾何学形状抽出部５ｅ、および輪郭計測部５ｆは、いずれも処理ボードまたは演算ユニット等としてハードウェア的に実現することができる。また、プログラムモジュールとしてソフトウェア的に実現することもできる。
【０１１９】
また、メモリ部３、画像処理プロセッサ５、入出力コントロール部９およびＣＰＵ１０を、３次元映像化装置コントロール部１６ｅに組込むようにしても良い。これにより、現場において対象物表面１２を３次元映像化装置１６で撮影し、同時に３次元映像化装置１６内の画像処理プロセッサ５で画像処理を施し、小型で可搬性のある３次元映像化装置１６と焦点固定部１７のみで表面検査を行うことができる。さらに、データベース部２、表示部６、プリンタ７、可搬型メモリ読書き装置８およびユーザインタフェース部１１を、３次元映像化装置コントロール部１６ｅに組込んだ入出力コントロール部９に接続することで、大容量のデータ、大画面による表示、紙への出力、複数枚の可搬型メモリ４の読書きおよびキーボードとマウス入力に対応することができる。
【０１２０】
次に、３次元映像化装置１６の撮影範囲より大きい対象物を撮影可能とするために、３次元映像化装置１６で対象物表面１２の位置を変えて連続撮影し、撮影した各複視差画像データ間の輝度値の差の総和が最小となる境界部分である各複視差画像データ間で対応する位置を算出し、各複視差画像データを画素単位で合成する。これにより、３次元映像化装置１６の撮影範囲より大きい対象物を分割撮影した場合の表面検査を行うことができる。
【０１２１】
また、対象物の表面形状の変化傾向を得るために、各視差画像を選択し輪郭形状データで位置合わせをして表面形状データを画素単位で比較し、比較結果を傾向グラフのデータ（傾向グラフデータ）としてメモリ部３に格納する。また、表面形状の比較をワイヤーフレーム表示、サーフェイスモデル表示およびテクスチャマッピング表示上で色分け・模様分けした傾向比較の画像のデータ（傾向比較画像データ）としてメモリ部３に格納する。この場合、メモリ部３に格納した傾向グラフデータと傾向比較画像データとを表示部６やプリンタ７に傾向グラフと傾向比較画像として出力し傾向管理を行うことができる。
【０１２２】
さらに、データベース部２に管理目標値を格納し、ユーザインタフェース部１１で傾向比較したい各視差画像を選択し、同時に関連する管理目標値をデータベース部２から参照し、表示部６に選択した各視差画像の表面形状データの傾向グラフと傾向比較画像上で傾向比較したデータが管理目標値とを超えるとメッセージとアラームを出力し、傾向グラフと傾向比較画像上の目標管理値とを超えた箇所をデータベース部２に格納し強調表示してユーザに知らせることができる。
【０１２３】
また、現場での検査結果から自動的に報告書を作成できるようにするために、検査した日付時間、対象物の名称、識別番号および検査者の氏名を指定し、データベース部２に格納した画像データ、輪郭形状データおよび表面形状データと、メモリ部３に格納した傾向グラフデータおよび傾向比較画像データとから、これら検査した日付時間、対象物の名称、識別番号および検査者の氏名に対応する必要な項目を取り出し、報告書の形式に自動的に整理して表示部６とプリンタ７により紙に出力する。
【０１２４】
すなわち、ユーザインタフェース部１１および３次元映像化装置インタフェース部１６ｆで入力、あるいはデータベース部２に格納した３次元映像化装置１６で撮影すなわち検査した日付時間、対象物の名称、識別番号および検査者の氏名と、画像処理プロセッサ５により画像処理を施しデータベース部２に格納した複視差画像データ、輪郭形状データおよび表面形状データと、メモリ部３に格納した傾向グラフデータおよび傾向比較画像データとから、必要な項目をユーザインタフェース部１１により選択命令を入力し、データベース部２に格納した報告書の形式に自動的に整理して表示部６とプリンタ７により紙に出力することができる。
【０１２５】
また、表示部６へのデータの表示や消去を円滑に行えるようにするために、その操作のための表示ボタンと消去ボタンとを表示部６上に表示するようにする。
【０１２６】
すなわち、複視差画像データ、輪郭形状データ、表面形状データ、傾向グラフデータおよび傾向比較画像データの格納先アドレス情報と各データの識別名とを持ち、ユーザインタフェース部１１で表示の起動がかけられると、表示ボタンおよび消去ボタンが表示部６に表示される。表示ボタンは格納先アドレスのデータをメモリ部３にコピーし表示部６に表示するものである。消去ボタンは、表示部６に表示したデータを表示部６とメモリ部３とから消去するものである。
【０１２７】
通常は、表示部６に表示ボタンが表示され、ユーザは表示ボタン上のデータ識別名で各表示ボタンが意味するデータを識別でき、ユーザが必要なデータの表示ボタンのみを操作することで表示部６上でデータが表示される。同時に表示部６に消去ボタンが付加されており、ユーザが表示の必要がなくなったデータの消去ボタンのみを操作することで、表示部６上でデータと消去ボタンが消去され、表示部６上での高速表示とメモリ部３の使用量を縮小し最適化することができる。
【０１２８】
また、３次元映像化装置１６で撮影した複視差画像データを輝度値分布により圧縮率を可変にしてデータベース部２に格納することでデータベース部２の容量を縮小し最適化することができる。
【０１２９】
このように第２の実施の形態によれば、小型で可搬性のある３次元映像化装置１６で対象物表面１２を撮影して得られた複視差画像データの輝度値分布と視差画像間の対応点とから、画像処理プロセッサ５により対象物表面１２上の状態を示す深さを加えた表面形状と対象物の輪郭形状の寸法・座標とを算出し、この抽出された表面形状と輪郭形状とをユーザが任意の視点から指定した画像（ワイヤーフレーム表示、サーフェイスモデル表示、テクスチャマッピング表示）およびスケッチおよびグラフおよびテキストで、表示部６やプリンタ７に出力する。
【０１３０】
従って、プラントを構成する設備機器の現場点検において、小型で可搬性のある３次元映像化装置１６で対象物表面１２を撮影し、ユーザインタフェース部１１から画像処理プロセッサ５に命令するだけで深さを加えた表面検査が可能となる。また、検査結果を表示部６やプリンタ７に出力して確認でき、このため誰でも検査ができ信頼性が高くコストの低いの現場点検を実現することができる。
【０１３１】
【発明の効果】
以上説明したように本発明によれば、小型で可搬性のある映像化装置で対象物表面の表面形状と対象物の輪郭の形状とを抽出して表面形状と輪郭形状とを表示部やプリンタに出力することができるので、プラントを構成する設備機器の現場点検において、小型で可搬性のある映像化装置で表面検査が可能となり、検査結果を容易に確認でき、誰でも検査ができ信頼性が高くコストの低いの現場点検を実現することができる。
【０１３２】
また、本発明によれば、小型で可搬性のある３次元映像化装置で対象物表面を撮影して得られた複視差画像データの輝度値分布と視差画像間の対応点から、対象物表面上の状態を示す深さを加えた表面形状と対象物の輪郭形状を、ユーザが任意の視点から指定して表示部やプリンタの出力部に出力できるので、プラントを構成する設備機器の現場点検において、対象物表面の深さを加えた表面検査が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係わる点検データ画像記録装置の構成図。
【図２】本発明の第１の実施の形態に係わる点検データ画像記録装置における画像処理プロセッサのブロック構成図。
【図３】本発明の第１の実施の形態に係わる点検データ画像記録装置の動作を示すフローチャート。
【図４】本発明の第２の実施の形態に係わる点検データ画像記録装置の構成図。
【図５】本発明の第２の実施の形態に係わる点検データ画像記録装置における焦点固定部の説明図。
【図６】本発明の第２の実施の形態に係わる点検データ画像記録装置における画像処理プロセッサのブロック構成図。
【図７】本発明の第２の実施の形態に係わる点検データ画像記録装置の動作を示すフローチャート。
【符号の説明】
１ 映像化装置
１ａ イメージセンサ撮像部
１ｂ Ａ／Ｄ変換処理部
１ｃ データ読書き部
１ｄ データ表示部
１ｅ 映像化装置コントロール部
１ｆ 映像化装置インタフェース
２ データベース部
３ メモリ部
４ 可搬型メモリ
５ 画像処理プロセッサ
５ａ フレームメモリ部
５ｂ 画素間演算部
５ｃ 論理・空間フィルタリング処理部
５ｄ ラベリング処理部
５ｅ 幾何学形状抽出部
５ｆ 輪郭計測部
５ｇ ３次元アフェイン変換処理部
６ 表示部
７ プリンタ
８ 可搬型メモリ読書き装置
９ 入出力コントロール部
１０ ＣＰＵ
１１ ユーザインタフェース部
１２ 対象物表面
１３ マーカ
１４ データ転送用バス
１５ データ転送用バス
１６ ３次元映像化装置
１６ａ 複視差イメージセンサ撮像部
１６ｂ Ａ／Ｄ変換複視差信号処理部
１６ｃ データ読書き部
１６ｄ データ表示部
１６ｅ ３次元映像化装置コントロール部
１６ｆ ３次元映像化装置インタフェース
１７ 焦点固定部
１８ 照明光源部
１９ 面光源変換部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an inspection data image recording apparatus for recording and analyzing surface inspection data of an inspection object in field inspection of equipment constituting a plant.
[0002]
[Prior art]
In general, the surface inspection of an object in the on-site inspection of equipment that constitutes a plant is performed by human eyes. On-site workers visually check the surface of the object, and if there is a defect, the length and width of the defective part are measured with a measure, and the depth direction is measured with the hand. Then, the surface state of the object is sketched on a memo paper, or the memo paper is applied to the surface of the object and rubbed from above the memo paper with a pencil or the like, so that the defective portion is copied and clarified in a report at the office.
[0003]
Recently, surface inspection using laser light and ultrasonic waves has also been developed, both of which inspect the surface state by irradiating the surface of an object with laser light or ultrasonic waves and measuring the reflection from the surface. I am doing so.
[0004]
[Problems to be solved by the invention]
However, in the case of surface inspection by human visual inspection, since there is a variation in accuracy and recording is performed on paper, it cannot be quantified. In addition, since it is necessary to clear the inspection results written down in the field at the office, the work load is large and human errors such as transcription errors are likely to occur. Furthermore, there were issues such as the need for expert skills during on-site inspections.
[0005]
In the case of surface inspection using laser light or ultrasonic waves, which is the latest technology, downsizing is difficult and unsuitable for on-site inspection, resulting in high cost.
[0006]
An object of the present invention is to obtain a small and compact inspection data image recording apparatus capable of quantifying inspection results with constant inspection accuracy.
[0007]
[Means for Solving the Problems]
The inspection data image recording apparatus according to the first aspect of the present invention comprises digital data in a portable memory that is detachably provided by photographing a target surface or a target surface and a marker indicating the target size and viewpoint angle. A compact and portable imaging device that stores image data, a database unit that stores data necessary for processing image data of an object, an image data output from the imaging device, and a database unit An image processing processor for fetching data into the memory unit via the input / output control unit and performing image processing on the image data to extract surface shape data and contour shape data of the object, and a portable memory removed from the imaging device A portable memory reader / writer for reading and writing data, and image data and surface shape data extracted by an image processor. And an output unit having a printer for displaying and outputting contour shape data and a printer for printing out, and a user interface unit for inputting a surface inspection command to an object for surface inspection in the field to the image processor It is characterized by that.
[0008]
In the inspection data image recording apparatus according to the first aspect of the present invention, when a surface inspection command is inputted to the object by the user from the user interface unit, the inspection object image recording apparatus is a small and portable imaging device. The surface and the marker indicating the object size / viewing angle are photographed, and the image data is stored in a removable memory provided detachably. The image processor reads the image data output from the imaging device and the data in the database unit into the memory unit via the input / output control unit, performs image processing on the image data, and performs surface shape data and contour shape data on the object. To extract. Then, the result is displayed on the display unit and printed out on the printer.
[0009]
An inspection data image recording apparatus according to a second aspect of the present invention is the inspection data image recording apparatus according to the first aspect, wherein the imaging device includes a marker indicating the object surface or the object surface and the object size / viewpoint angle. An image sensor imaging unit that shoots and outputs a video signal, an A / D conversion processing unit that converts the video signal output from the image sensor imaging unit into image data composed of digital data, and an A / D conversion processing unit Data read / write unit that reads / writes converted image data or surface shape data and contour shape data input from input / output control unit, and data stored in portable memory or input / output control unit A data display unit for displaying the data, an image sensor imaging unit, an A / D conversion processing unit, a data read / write unit, Characterized by comprising an imaging device control unit for controlling the over data display unit.
[0010]
In the inspection data image recording apparatus according to the second aspect of the invention, in addition to the operation of the inspection data image recording apparatus according to the first aspect, the imaging apparatus operates as follows. The object surface or the object surface and a marker indicating the object size / viewing angle are photographed by the image sensor imaging unit, and the video signal is converted into image data composed of digital data by the A / D conversion processing unit. The image data converted by the A / D conversion processing unit or the surface shape data and the contour shape data input from the input / output control unit are read from and written to the portable memory by the data reading / writing unit. The data display unit displays data stored in the portable memory or data input from the input / output control unit.
[0011]
An inspection data image recording apparatus according to a third aspect of the present invention is the inspection data image recording apparatus according to the first aspect, wherein the image processor expands and stores the image data output from the imaging apparatus. And a logical / spatial filtering unit that extracts the contour region, surface shape region, and marker region of the object from the image data, and the size per pixel of the image data stored in the surface shape region of the object and the database unit A labeling processing unit that calculates surface shape data that is the coordinates and dimensions of the shape of the surface of the object from the pixel resolution data, a geometric shape extraction unit that extracts line and circle components from the contour region of the object, and a geometric shape extraction A contour measuring unit that calculates contour shape data, which are coordinates and dimensions of the contour of the object, from line / circle components extracted from the unit and pixel resolution data; Characterized in that a three-dimensional Afein conversion processing unit for movement and deformation transform the data and surface shape data and the contour shape data in three dimensions.
[0012]
In the inspection data image recording apparatus according to the invention of claim 3, in addition to the operation of the inspection data image recording apparatus of claim 1, the image processor operates as follows. The image data output from the imaging apparatus is developed and stored in the frame memory unit, and the logic / spatial filtering unit extracts the contour region, the surface shape region, and the marker region of the object from the image data. In addition, the labeling processing unit calculates surface shape data that are coordinates and dimensions of the shape of the object surface from the surface shape area of the object and pixel resolution data indicating the size per pixel of the image data stored in the database unit. To do. Further, the contour measuring unit calculates contour shape data that is coordinates and dimensions of the contour of the object from the line / circle component extracted from the geometric shape extracting unit and the pixel resolution data, and the three-dimensional affine transformation processing unit The image data, the surface shape data, and the contour shape data are moved and transformed in three dimensions.
[0013]
An inspection data image recording apparatus according to a fourth aspect of the present invention is the inspection data image recording apparatus according to the first aspect, wherein the memory unit, the image processor, and the input / output control unit are incorporated in the imaging device control unit. It is characterized by.
[0014]
In the inspection data image recording device according to the invention of claim 4, in addition to the operation of the inspection data image recording device of claim 1, the surface of the object is photographed by the imaging device at the site, and at the same time, the image in the imaging device. Image processing is performed by a processing processor, and surface inspection is performed only by a small and portable imaging device.
[0015]
According to a fifth aspect of the present invention, there is provided an inspection data image recording apparatus which is compact and portable in which multi-parallax image data composed of digital data is stored in a removable memory provided by detaching and photographing a surface of an object. 3D imaging apparatus, a focal point fixing unit for fixing a focal length between the 3D imaging apparatus and the object surface, and a multi-parallax image data of the object A database unit storing data necessary for processing the image, multi-parallax image data output from the three-dimensional imaging apparatus, and data of the database unit are loaded into the memory unit via the input / output control unit, and the multi-parallax image data The image processing processor for extracting the surface shape data obtained by performing image processing on the object and adding the state of the object surface in the depth direction and the contour shape data of the object, and the imaging device. PORTABLE MEMORY READ / WRITE DEVICE FOR READING / READING DATA TO REMOVED PORTABLE MEMORY, OUTPUT UNIT HAVING DISPLAY OUTPUT FOR DISPLAYING MULTIPARAPARITY IMAGE DATA, SURFACE SHAPE DATA, AND OUTLINE SHAPE And a user interface unit for inputting a surface inspection command to an object for surface inspection in the field to the image processor.
[0016]
The inspection data image recording apparatus according to the invention of claim 5 is a small and portable three-dimensional imaging device that receives a surface inspection command from the user interface unit to the object, and has a fixed focal length. The object surface is photographed with parallax through the focus fixing unit, and multi-parallax image data composed of digital data is stored in a removable memory provided detachably. The image processor fetches the multi-parallax image data output from the 3D imaging device and the data in the database unit into the memory unit via the input / output control unit, and performs image processing on the multi-parallax image data to obtain the depth of the object surface. Surface shape data to which the state in the vertical direction is added and contour shape data of the object are extracted. Then, the result is displayed on the display unit and printed out on the printer.
[0017]
The inspection data image recording apparatus according to a sixth aspect of the invention is the inspection data image recording apparatus according to the fifth aspect, wherein the three-dimensional imaging apparatus captures two video signals by photographing the surface of the object with parallax. A multi-parallax image sensor imaging unit to be output, and an A / D that adds two parallax identification signals for converting two video signals output from the multi-parallax image sensor imaging unit into two videos composed of digital data and determining which parallax is which Data that reads / writes the multi-parallax image data processed by the D-conversion multi-parallax signal processing unit and the A / D conversion multi-parallax signal processing unit or the surface shape data and contour shape data input from the input / output control unit to / from the portable memory A read / write unit; a data display unit for displaying data stored in the portable memory or data input from the input / output control unit; Characterized in that a three-dimensional imaging apparatus control unit for controlling the parallax image sensor imaging unit and the A / D conversion double disparity signal processing unit and a data reading-out portion and a data display unit.
[0018]
In the inspection data image recording apparatus according to the sixth aspect of the invention, in addition to the operation of the inspection data image recording apparatus according to the fifth aspect, the three-dimensional imaging apparatus operates as follows. Multi-parallax image sensor Two video signals captured with parallax on the surface of the object by the imaging unit are converted into two videos consisting of digital data by the A / D conversion bi-parallax signal processing unit, and which parallax is determined The parallax identification signal to be added is added. The multi-parallax image data processed by the A / D conversion multi-parallax signal processing unit or the surface shape data and the contour shape data input from the input / output control unit are read / written from / to the portable memory by the data reading / writing unit. The data display unit displays data stored in the portable memory or data input from the input / output control unit.
[0019]
An inspection data image recording apparatus according to a seventh aspect of the present invention is the inspection data image recording apparatus according to the fifth aspect, wherein the focal point fixing portion is formed at the height of the inner wall so as to be focused on the surface of the object. A cavity with a mirror surface whose angle changes accordingly, an illumination light source provided on the 3D imaging device side in the cavity, and light collected on the inner wall provided on the object surface side in the cavity are scattered And a surface light source conversion unit that applies uniform light to the surface of the object.
[0020]
In the inspection data image recording apparatus according to the seventh aspect of the invention, in addition to the operation of the inspection data image recording apparatus according to the fifth aspect, the focal point fixing portion operates as follows. The light from the proof light source is collected by the mirror surface of the inner wall of the cavity, and the collected light is scattered by the surface light source conversion unit and applied to the surface of the object uniformly.
[0021]
An inspection data image recording apparatus according to an eighth aspect of the present invention is the inspection data image recording apparatus according to the fifth aspect, wherein the image processor expands and stores the multi-parallax image data output from the three-dimensional imaging apparatus. A multi-parallax image obtained by obtaining a corresponding point between parallax images from the multi-parallax image data and calculating the number of pixels of depth from the number of pixels of the movement amount of the corresponding point based on the principle of triangulation and storing in the database unit An inter-pixel operation unit for obtaining a surface shape data obtained by obtaining a depth dimension from pixel resolution data representing a size per pixel of data and adding a state in a depth direction of an object surface, and one of multi-parallax image data Extracted from the logical / spatial filtering unit that extracts the contour region of the object from the image, the geometric shape extraction unit that extracts the line / circle component from the contour region of the target, and the geometric shape extraction unit A contour measurement unit that calculates contour shape data, which is the coordinates and dimensions of the contour of the object, from the line / circle component and pixel resolution data, and moves / deforms image data, surface shape data, and contour shape data in three dimensions A three-dimensional affine conversion processing unit for conversion is provided.
[0022]
In the inspection data image recording apparatus according to the eighth aspect of the invention, in addition to the operation of the inspection data image recording apparatus according to the fifth aspect, the image processor operates as follows. The multi-parallax image data output from the 3D visualization device is expanded and stored in the frame memory unit. The inter-pixel calculation unit obtains corresponding points between parallax images from the multi-parallax image data, calculates the number of pixels of depth from the number of pixels of the movement amount of the corresponding points by the principle of triangulation, and stores the multiple points stored in the database unit. The depth dimension is obtained from the pixel resolution data representing the size per pixel of the parallax image data, and the surface shape data including the state of the object surface in the depth direction is obtained. The logical / spatial filtering unit extracts a contour region of the target object from the image on one side of the multi-parallax image data, and the contour measurement unit includes the line / circle component extracted from the geometric shape extraction unit, pixel resolution data, and Then, contour shape data that is the coordinates and dimensions of the contour of the object is calculated. Further, the three-dimensional affine conversion processing unit moves and transforms the image data, the surface shape data, and the contour shape data in three dimensions.
[0023]
An inspection data image recording apparatus according to a ninth aspect of the present invention is the inspection data image recording apparatus according to the fifth aspect, wherein the memory unit, the image processor, and the input / output control unit are incorporated in the three-dimensional imaging device control unit. It is characterized by that.
[0024]
In the inspection data image recording apparatus according to the invention of claim 9, in addition to the operation of the inspection data image recording apparatus of claim 5, the surface of the object is photographed with a 3D imaging apparatus at the site, and at the same time, the 3D imaging apparatus The image processor performs image processing, and the surface inspection is performed only with a small and portable three-dimensional imaging device and a focus fixing unit.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a first embodiment of the present invention will be described. FIG. 1 is a configuration diagram of an inspection data image recording apparatus according to the first embodiment of the present invention.
[0026]
As shown in FIG. 1, the inspection data image recording apparatus has a small-sized and portable imaging apparatus 1. This imaging apparatus 1 captures a target surface 12 that is a surface inspection target. At that time, not only the target surface 12 but also a marker 13 indicating the target object size / viewpoint angle is captured. The video signal is converted into a 32-bit digital signal (image data) and stored.
[0027]
That is, the image sensor imaging unit 1a captures the object surface 12, the object surface 12, and the marker 13 indicating the object object size / viewpoint angle, and outputs a video signal to the A / D conversion processing unit 1b. In the A / D conversion processing unit 1b, the video signal (analog signal) output from the image sensor imaging unit 1a is sampled and quantized and converted into image data including a 32-bit digital signal. The image data converted by the A / D conversion processing unit 1b is stored in the portable memory 4 by the data reading / writing unit 1c. The portable memory 4 can be attached to and detached from the data read / write unit 1c, and the portable memory 4 can also read and write data by the portable memory read / write device 8.
[0028]
Data stored in the portable memory 4 is displayed on the data display unit 1d. The data display unit 1d can display not only data stored in the portable memory 4, but also data input from the input / output control unit 9 described later via the imaging device control unit 1e. ing.
[0029]
The imaging device control unit 1e controls the image sensor imaging unit 1a, the A / D conversion processing unit 1b, the data read / write unit 1c, and the data display unit 1d according to a command from the input / output controller unit 9. The imaging device interface unit 1f transmits a command (photographing, data reading / writing, and data display) from the user to the imaging device control unit 1e.
[0030]
Next, when a surface inspection command to the object by the user is input from the user interface unit 11, the imaging apparatus 1 is activated via the CPU 10 and the input / output controller unit 9, and the object surface 12 or the object surface 12 is activated. And the marker 13 indicating the object size / viewing angle are photographed, and the image data is stored in the removable memory 4 provided detachably.
[0031]
The database unit 2 stores data necessary for processing the image data of the object, and the image processor 5 inputs / outputs the image data output from the imaging apparatus 1 and the data of the database unit 2. The data is taken into the memory unit 3 via the unit 9 and the CPU 10, and image processing is performed on the image data to extract surface shape data and contour shape data of the object. Then, the result is displayed on the display unit 6 of the output unit and printed out on the printer 7.
[0032]
Here, a portable memory read / write device 8 is connected to the input / output control unit 9 so that data stored in the portable memory 4 removed from the imaging device 1 can be read and written.
[0033]
In other words, the image processor 5 performs image processing based on the image data output from the imaging apparatus 1 or the image data stored in the memory unit 3 and the portable memory 4 and the data stored in the database unit 2. Image processing is performed on the data to extract a surface shape (surface shape data) indicating a state on the object surface 12 and a contour shape (contour shape data).
[0034]
The image data output by the imaging apparatus 1 and the surface shape data and contour shape data extracted by the image processor 5 are stored in the database unit 2, the memory unit 3, and the portable memory 4, respectively. The image data, the surface shape data, and the contour shape data stored in the database unit 2, the memory unit 3, and the portable memory 4 are displayed and output on the display unit 6 of the output unit and printed on paper by the printer 7.
[0035]
The input / output control unit 9 controls the database unit 2, the display unit 6, the printer 7, and the portable memory read / write device 8. The CPU 10 controls the memory unit 3, the image processor 5, and the input / output control unit 9. To do.
[0036]
FIG. 2 is a block diagram of the image processor 5. As shown in FIG. 2, the image processor 5 expands the image data and stores it in the frame memory unit 5a. The logic / spatial filtering processing unit 5c extracts and binarizes the surface shape indicating the state of the object surface 12, the region of the contour of the object, and the region of the marker 13 indicating the object size / viewing angle from the image data.
[0037]
The region of the surface shape determined by the logic / space filtering processing unit 5c is input to the labeling processing unit 5d. The database unit 2 stores pixel resolution data representing the size of each pixel of image data. In the labeling processing unit 5d, the surface shape region obtained by the logic / spatial filtering processing unit 5c and the pixels of the database 2 are stored. Based on the resolution data, surface shape data that are coordinates and dimensions of the surface shape are calculated.
[0038]
On the other hand, the geometric shape extraction unit 5e extracts the line / circle component of the contour region determined by the logic / spatial filtering processing unit 5c, and the line / circle component of the contour region extracted by the geometric shape extraction unit 5e is subjected to contour measurement. Input to the unit 5f. The contour measuring unit 5f calculates contour shape data, which are coordinates and dimensions of the contour of the object, from the line / circle components of the contour region obtained by the geometric shape extracting unit 5e and the pixel resolution data of the database unit 2. The three-dimensional affine conversion processing unit 5g moves and transforms image data, surface shape data, and contour shape data in three dimensions.
[0039]
Here, each of the frame memory unit 5a, the logical / spatial filtering processing unit 5c, the labeling processing unit 5d, the geometric shape extracting unit 5e, and the contour measuring unit 5f of the image processor 5 is connected to the data transmission buses 14 and 15, respectively. Are connected to each other. Further, each of the frame memory unit 5a, the logical / spatial filtering processing unit 5c, the labeling processing unit 5d, the geometric shape extraction unit 5e, and the contour measurement unit 5f of the image processor 5 is controlled by the CPU 10 and expanded to display the frame. Image processing is performed on each of the image data stored in the memory unit 5a by the logic / spatial filtering processing unit 5c, the labeling processing unit 5d, the geometric shape extraction unit 5e, and the contour measurement unit 5f. ing.
[0040]
Next, the operation of the first embodiment of the present invention having such a configuration will be described. FIG. 3 is a flowchart showing the operation of the inspection data image recording apparatus according to the first embodiment of the present invention. As shown in FIG. 3, when a processing start command is given from the user interface unit 11 to the image processor 5 via the CPU 10, image data captured by the imaging apparatus 1, image data stored in the database unit 2, or portable type The image data stored in the memory 4 is written in the memory unit 3 (step 101), and the image data written in the memory unit 3 is expanded and stored in the frame memory unit 5a of the image processor 5 (step 102).
[0041]
Next, the viewpoint angle and the object designation (name and identification number and shooting date and time) are input from the user interface unit 11 as the reference shooting viewpoint angle, and the input reference viewpoint data is input to the database unit 2 and the memory unit 3. The surface shape area indicating the state of the object surface 12 and the outline area of the object are extracted from the luminance value distribution of the image data stored in the frame memory unit 5a by the logic / spatial filtering processing unit 5c. Then, the image is converted into a two-gradation image and developed and stored in the frame memory unit 5a (step 104). Then, the circle / line component of the two-tone contour region stored in the frame memory unit 5a is extracted by the geometric shape extraction unit 5e, expanded and stored in the frame memory unit 5a (step 105), and the frame memory. The area of the marker 13 indicating the object size / viewpoint angle is extracted from the image data stored in the unit 5a by the logic / spatial filtering processing unit 5c of the image processor 5, and is developed and stored in the frame memory unit (step 106). .
[0042]
Here, it is determined whether or not there is an area of the marker 13 in the image data written in the memory unit 3 (step 107).
[0043]
If there is no marker 13 area in the image data written in the memory unit 3, viewpoint correction is performed based on the contour design data (step 108). That is, the circle / line component of the contour stored in the frame memory unit 5a is converted into a circle / line component by using the three-dimensional affine transformation processing unit 5g as a reference viewpoint with the centroid of the outline of the object stored in the database unit 2 as a reference viewpoint. In accordance with the contour design data, which is a coordinate whose origin is the size and the center of gravity of the contour, the same amount of conversion is applied to the image data and the surface shape area to perform viewpoint correction. Then, the viewpoint-corrected image data, the surface shape area, and the outline circle / line component area are expanded and stored in the frame memory unit 5a, and the shooting viewpoint data as the conversion amount is stored in the database unit 2 and the memory unit 3. (Step 108).
[0044]
Thereafter, the pixel representing the size per pixel is determined from the number of pixels of the contour / contour circle of the viewpoint correction stored in the frame memory unit 5a and the size of the circle / line component of the contour design data stored in the database unit 2. Resolution data is calculated and stored in the memory unit 3 (step 109).
[0045]
On the other hand, if it is determined in step 107 that the area of the marker 13 is present in the image data written in the memory unit 3, the shooting viewpoint is selected from the area of the marker 13 stored in the frame memory unit 5a by the logical / spatial filtering processing unit 5c. The indication mark is read, the photographing viewpoint angle in the imaging apparatus 1 is calculated, and the calculated photographing viewpoint data is stored in the database unit 2 and the memory unit 3 (step 110). Then, the three-dimensional affine conversion processing unit 5g calculates a conversion amount for matching the photographing viewpoint data stored in the database unit 2 and the memory unit 3 with the reference viewpoint data stored in the database unit 2 and the memory unit 3, and the calculated conversion The viewpoint is corrected by applying the amount to the image data, the surface shape region, the contour circle / line component region, and the marker 13 region, and the viewpoint corrected image data, the surface shape region, the contour circle / line component region, and the marker 13 are corrected. Are stored in the frame memory unit 5a (step 111).
[0046]
Then, the number of pixels of the viewpoint correction marker 13 area stored in the frame memory unit 5a is written in the memory unit 3 (step 112), and the marker size stored in the database unit 2 is written in the memory unit 3 (step 113). Pixel resolution data representing the size per pixel is calculated from the number of pixels and dimensions of the written marker and stored in the memory unit 3 (step 114).
[0047]
Next, the coordinates and dimensions of the contour are measured (step 115). That is, from the number of pixels in the contour circle / line component region extracted by the geometric shape extraction unit 5e and subjected to viewpoint correction and stored in the frame memory unit 5a and the pixel resolution data stored in the memory unit 3, the contour measurement unit 5f The coordinates of the contour, the center of gravity of the contour, and the coordinates having the center of gravity of the contour as the origin are calculated and stored in the memory unit 3 as contour shape data.
[0048]
Then, the coordinates and dimensions of the surface shape are measured (step 116). That is, the area of the surface shape of the two-gradation viewpoint correction stored in the frame memory unit 5a is grouped with a label number in units of pixels, and the number of pixels in each group and the pixel resolution data stored in the memory unit 3 are used. Then, the dimensions of each group of the surface shape and the coordinates with the center of gravity of the contour as the origin are calculated and stored in the memory unit 3 as surface shape data.
[0049]
Thereafter, result output and data storage are performed (step 117). That is, the image data for viewpoint correction stored in the frame memory unit 5a and the contour shape data and surface shape data stored in the memory unit 3 are output to the paper by the display unit 6 and the printer 7 as images, sketches, graphs, and texts. The data is stored in the portable memory 4 by the unit 2 and the portable memory read / write device 8.
[0050]
Here, the display unit 6 and the printer 7 confirm the presence or absence of reprocessing of the processing result output on paper with the display unit 6 and the user interface unit 11 (step 118), and the user needs to reprocess. If it is determined, a reprocessing command is input from the user interface unit 11. Then, a reprocessing command is given to the image processor 5 via the CPU 10, and a parameter change command for region extraction is input by the user interface unit 11 (step 119), and surface shape and contour region extraction and binarization processing ( Reprocessing is performed from step 104) to result output and data storage (step 117), and is repeated until the user determines that reprocessing is not necessary.
[0051]
On the other hand, if it is determined that there is no need to reprocess the processing results output to the paper by the display unit 6 and the printer 7, the image processing by the image processing processor 5 is terminated.
[0052]
Here, the image data captured by the imaging apparatus 1 is displayed on the data display unit 1 d and stored in the portable memory 4.
[0053]
That is, when an imaging command for the object surface 12 and the marker 13 is given from the imaging device interface unit 1f to the imaging device control unit 1e, the imaging device control unit 1e converts the video signal captured by the image sensor imaging unit 1a to A. The image data is converted to image data by the / D conversion processing unit 1b, and the image data is controlled to be displayed on the data display unit 1d. The user confirms the image on the data display unit 1d and gives an image data storage command from the imaging device interface unit 1f to the imaging device control unit 1e. The imaging device interface unit 1f controls the data read / write unit 1c to display the image. Data is stored in the portable memory 4.
[0054]
The data stored in the portable memory 4 can be called up and displayed on the data display unit 1d.
[0055]
That is, when the portable memory 4 is set in the data read / write unit 1c and a data read command from the portable memory 4 is given from the imaging device interface unit 1f to the imaging device control unit 1e, the imaging device control unit 1e. Controls to display the data stored in the portable memory 4 from the data read / write unit 1c to the data display unit 1d.
[0056]
Further, the data display unit 1 d of the imaging apparatus 1 can display data in the portable memory 4 set in the database unit 2, the memory unit 3, and the portable memory read / write device 8.
[0057]
That is, the input / output control unit 9 and the imaging device control unit 1e are connected, and the database unit 2 and the memory unit 3 and the portable memory read / write device 8 are set from the imaging device interface 1f to the imaging device control unit 1e. When a data read command is given from the portable memory 4, the imaging device control unit 1 e is set to the database unit 2, the memory unit 3, and the portable memory read / write device 8 in the CPU 10 via the input / output control unit 9. Data is read from the memory 4 via the input / output control unit 9 into the imaging device control unit 1e and stored in the data display unit 1d in the database unit 2, the memory unit 3, and the portable memory read / write device 8 Control to display stored data.
[0058]
Further, the data in the portable memory 4 set in the database unit 2, the memory unit 3, and the portable memory read / write device 8 can be stored in the portable memory 4 set in the data read / write unit 1c of the imaging apparatus 1. It is like that.
[0059]
That is, the input / output control unit 9 and the imaging device control unit 1e are connected, and the database unit 2 and the memory unit 3 and the portable memory read / write device 8 are set from the imaging device interface 1f to the imaging device control unit 1e. When a portable memory data read command set in the data read / write device 1c from the portable memory 4 is given, the imaging device control unit 1e sends the database unit 2 and the memory unit 3 to the CPU 10 via the input / output control unit 9. Data is read from the portable memory 4 set in the portable memory read / write device 8 to the imaging device control unit 1e via the input / output control unit 9, and the database unit 2, the memory unit 3, and the portable memory read / write device 8 are read. The data stored in the portable memory 4 set in the Controls to store in the portable memory 4 which is set in the write section 1c.
[0060]
In addition, image data captured by the imaging apparatus 1 and data in the portable memory 4 set in the data reading / writing unit 1 c are stored in the memory unit 3.
[0061]
That is, the input / output control unit 9 and the imaging device control unit 1e are connected, and the imaging device control unit 1e is photographed by the image sensor imaging unit 1a via the CPU 10 and the input / output control unit 9 from the user interface unit 11, and A / The image data converted by the D conversion processing unit 1b and the data stored in the portable memory 4 set in the data reading / writing unit 1c are written into the memory unit 3.
[0062]
Furthermore, image data captured by the imaging apparatus 1 and data in the portable memory 4 set in the data reading / writing unit 1c are output to the display unit 6 and the printer 7 of the output unit.
[0063]
That is, when an instruction to output the data stored in the memory unit 3 to the paper by the display unit 6 and the printer 7 is given, the imaging device control unit 1e captures an image with the image sensor imaging unit 1a and the A / D conversion processing unit 1b. The converted image data and the data stored in the portable memory 4 set in the data reading / writing unit 1c are stored in the memory unit 3 through the input / output control unit 9, and output to the paper by the display unit 6 and the printer 7. The CPU 10 is controlled.
[0064]
In the first embodiment, the image processing processor 5 and the frame memory unit 5a, the logic / spatial filtering processing unit 5c, the labeling processing unit 5d, the geometric shape extracting unit 5e, and the contour measuring unit 5f constituting the image processing processor 5 are used. Can be realized in hardware as a processing board or an arithmetic unit. It can also be realized as a software program module.
[0065]
Further, the memory unit 3, the image processor 5, the input / output control unit 9, and the CPU 10 may be incorporated in the imaging device control unit 1e. Thereby, the object surface 12 is imaged by the imaging device 1 at the site, and simultaneously image processing is performed by the image processor 5 in the imaging device 1, and the surface inspection is performed only by the small and portable imaging device 1. Can be done. Further, by connecting the database unit 2, the display unit 6, the printer 7, the portable memory read / write device 8 and the user interface unit 11 to the input / output control unit 9 incorporated in the imaging device control unit 1e, a large capacity can be obtained. Data, display on a large screen, output to paper, reading / writing of a plurality of portable memories 4, and keyboard and mouse input can be supported.
[0066]
Next, in order to be able to photograph an object that is larger than the imaging range of the imaging device 1, the imaging device 1 continuously changes the position when imaging the object surface 12 or the object surface 12 and the marker 13. The corresponding positions are calculated between the image data at the boundary portion where the sum of the differences in luminance values between the captured image data is minimized, and the respective image data are combined in units of pixels. good. As a result, it is possible to perform surface inspection when an object that is larger than the imaging range of the imaging apparatus 1 is divided and photographed.
[0067]
In addition, in order to obtain the change tendency of the surface shape of the object, the user interface unit 11 selects and aligns the images for which the photographing viewpoints whose tendency is to be compared are selected, and compares the surface shape data in units of pixels. . The comparison result is stored in the memory unit 3 as trend graph data (trend graph data). Further, the comparison of the surface shape is stored in the memory unit 3 as data of a tendency comparison image (trend comparison image data) that is color-coded / pattern-divided on the image. In this case, since the trend graph data and the trend comparison image data stored in the memory unit 3 are output to the display unit 6 and the printer 7, the trend graph and the trend comparison image can be obtained. It becomes possible.
[0068]
In this case, the management target value is further stored in the database unit 2. Then, the user interface unit 11 selects each image for which the photographing viewpoint to be compared for trend comparison is selected, and simultaneously references the related management target value from the database unit 2. That is, it is determined whether the trend graph of the surface shape data of each image selected on the display unit 6 and the trend-compared data on the trend comparison image exceed the management target value, and if the management target value is exceeded, a message and an alarm are output. To do. In addition, the location exceeding the target management value on the trend graph and the trend comparison image is stored in the database unit 2 and highlighted to notify the user. Thereby, the surface inspection of the object can be performed with high accuracy.
[0069]
Next, in order to accurately obtain the image data of the object at the viewpoint angle designated by the user, the following is performed. That is, a specific viewpoint angle and designation (name, identification number) of an object to be matched are input from the imaging device interface unit 1 f and the user interface unit 11, and the image processing processor 5 uses the image data captured by the imaging device 1. The calculated contour shape data is converted by the three-dimensional affine transformation processing unit 5g in the image processor 5 into coordinates of the circle and line components of the contour of the designated object stored in the database unit 2 and the coordinates with the center of gravity of the contour as the origin. The contour design data and the same kind of designated object stored in the database unit 2 or the same contour shape data with different shooting dates and times are matched. Then, the focal length between the imaging device 1 and the object surface 12 is calculated from the pixel resolution data stored in the database unit 2, stored as focal length data in the memory unit 3, and the focal length data stored in the memory unit 3 A viewpoint angle, which is a photographing viewpoint when photographing with the imaging apparatus 1, is calculated from the three-dimensional affine conversion amount and stored in the memory unit 3. The viewpoint angle data stored in the memory unit 3 and the viewpoint angle to be corrected are displayed on the data display unit 1d of the imaging apparatus 1 by an arrow and alarm in the direction of the viewpoint angle to be corrected, and the user's specified viewpoint angle is notified. And shoot according to the object.
[0070]
Further, in order to correct the influence of illumination when obtaining image data of an object, the following is performed. That is, the object surface 12 and the object surface 12 and the marker 13 are photographed a plurality of times while changing the viewpoint angle, and matched with the contour design data of the object stored in the database unit 2 by the three-dimensional affine conversion processing unit 5g, or Then, a mark indicating the photographing viewpoint of the marker 13 is read by the logic / spatial filtering processing unit 5c.
[0071]
Thereby, the photographing viewpoint data is calculated and stored in the database unit 2 and the memory unit 3, and the corresponding positions between the images of the respective viewpoints are calculated from the photographing viewpoint data stored in the database unit 2 and the memory unit 3, and the object On the surface 12, a portion in a poor photographing state due to the influence of illumination is corrected with a luminance value at a corresponding position between images photographed by changing the viewpoint.
[0072]
Further, when obtaining image data of an object, image data (database unit 2, memory unit 3 and portable memory 4) photographed by the imaging device 1 so as to be obtained only with natural light without using a lighting device. The region extraction parameter of the logical / spatial filtering processing unit 5c is adjusted in accordance with the luminance value distribution (including the image data stored in the above). As a result, the surface of the object can be inspected only with normal indoor lighting or natural light without using a special lighting device.
[0073]
In addition, in order to remove the background from the image data of the object, in the image data photographed by the imaging apparatus 1 (including image data stored in the database unit 2, the memory unit 3 and the portable memory 4), the surface of the object By removing the background of the object surface 12 from the luminance value distribution indicating the 12 background states by the logic / spatial filtering processing unit 5c, the surface inspection of the object corresponding to various backgrounds can be performed.
[0074]
Also, in order to be able to automatically create a report from on-site inspection results, the date and time of inspection, the name of the object, the identification number and the name of the inspector are designated and stored in the database unit 2 From the data, contour shape data and surface shape data, and the trend graph data and trend comparison image data stored in the memory unit 3, it is necessary to correspond to the date and time of inspection, the name of the object, the identification number, and the name of the inspector Items are taken out, automatically organized into a report format, and output to paper by the display unit 6 and the printer 7.
[0075]
That is, the date and time of inspection, the name of the object, the identification number, and the name of the inspector are input via the user interface unit 11 and the imaging device interface unit 1f, or the imaging device 1 stored in the database unit 2 The image data and contour shape data stored in the database unit 2 after image processing by the image processor 5 by designating the date and time, the name of the object, the identification number and the name of the inspector specified in the image data In addition, the user interface unit 11 inputs a selection command for necessary items from the surface shape data, the trend graph data stored in the memory unit 3 and the trend comparison image data, and the report form stored in the database unit 2 automatically. The data is arranged and displayed on the display unit 6 or printed on the printer 7.
[0076]
In addition, a display button and an erasure button for the operation are displayed on the display unit 6 so that data can be displayed and erased smoothly on the display unit 6.
[0077]
That is, when the user interface unit 11 has the storage address information of the image data, the contour shape data, the surface shape data, the trend graph data, and the trend comparison image data and the identification name of each data, the display is activated. A button and an erase button are displayed on the display unit 6. The display button is for copying the data of the storage destination address to the memory unit 3 and displaying it on the display unit 6. The delete button is used to delete the data displayed on the display unit 6 from the display unit 6 and the memory unit 3.
[0078]
Normally, a display button is displayed on the display unit 6, and the user identifies the data that each display button means by the data identification name on the display button, and the user operates only the display button for the necessary data. 6 Display the data. On the other hand, the delete button deletes data that the user no longer needs to display, and the data and the delete button are deleted on the display unit 6 by operating only the delete button. Thereby, high-speed display on the display unit 6 and the amount of use of the memory unit 3 can be reduced and optimized.
[0079]
In addition, according to the first embodiment of the present invention, the capacity of the database unit 2 is reduced by storing the image data captured by the imaging apparatus 1 in the database unit 2 with the compression rate variable by the luminance value distribution. And can be optimized.
[0080]
As described above, according to the first embodiment, an image processor is obtained from the luminance value distribution of the image data obtained by photographing the object surface 12 and the marker 13 with the small and portable imaging device 1. 5 extracts the surface shape indicating the state on the surface 12 of the object and the shape of the contour of the object, calculates the dimensions and coordinates, and displays the extracted surface shape and contour shape as an image, sketch, graph and text The data can be output to the unit 6 and the printer 7.
[0081]
Therefore, in the on-site inspection of the equipment constituting the plant, the surface inspection can be performed simply by photographing the surface 12 of the object with the small and portable imaging device 1 and instructing the image processor 5 from the user interface unit 11. Thus, the inspection result can be confirmed by the output result from the display unit 6 and the printer 7, and thus anyone can perform the inspection and can realize on-site inspection with high reliability and low cost.
[0082]
Next, a second embodiment of the present invention will be described. FIG. 4 is a configuration diagram of an inspection data image recording apparatus according to the second embodiment of the present invention. The second embodiment is different from the first embodiment shown in FIG. 1 in that a 3D imaging device 16 and a focus fixing unit 17 are provided instead of the imaging device 1. The three-dimensional imaging device 16 shoots the object surface 12 with a parallax at a focal length fixed by the focus fixing unit 17 between the three-dimensional imaging device 16 and the object surface 12, and digitally stores it in the portable memory 4. Multi-parallax image data composed of data is stored. Then, the image processor 5 performs image processing on the multi-parallax image data output from the three-dimensional imaging device 16 and adds the state in the depth direction of the object surface 12 and the contour shape of the object. Extract the data.
[0083]
As shown in FIG. 4, the inspection data image recording apparatus has a small and portable three-dimensional imaging apparatus 16. The 3D imaging device 16 shoots the object surface 12 that is the surface inspection target with parallax via the focus fixing unit 17, and converts it into two 32-bit digital signals (multi-parallax image data). It is something to remember.
[0084]
That is, the multi-parallax image sensor imaging unit 16a captures the object surface 12 with parallax and outputs two video signals to the A / D conversion multi-parallax signal processing unit 16b. In the A / D conversion multi-parallax signal processing unit 16b, the two video signals (analog signals) output from the multi-parallax image sensor imaging unit 16a are sampled and quantized and converted into a 32-bit digital signal, which parallax is determined. Is added a signal (parallax identification signal) for discriminating.
[0085]
The digital signal (multi-parallax image data) processed by the A / D conversion multi-parallax signal processing unit 16b is stored in the portable memory 4 by the data read / write unit 16c. The portable memory 4 can be attached to and detached from the data read / write unit 16c, and the portable memory 4 can also read and write data by the portable memory read / write device 8.
[0086]
The data stored in the portable memory 4 is displayed on the data display unit 16d. The data display unit 16d can display not only data stored in the portable memory 4, but also data input from the input / output control unit 9 described later via the 3D imaging device control unit 16e. It has become.
[0087]
In response to a command from the input / output controller unit 9, the 3D imaging device control unit 16e causes the multi-parallax image sensor imaging unit 16a, the A / D conversion multi-parallax signal processing unit 16b, the data read / write unit 16c, and the data display unit 16d to It is something to control. In addition, the 3D imaging device interface unit 16f transmits a command (photographing, data reading / writing, and data display) from the user to the 3D imaging device control unit 16e.
[0088]
Next, when a surface inspection command is input to the object by the user from the user interface unit 11, the three-dimensional imaging device 16 is activated via the CPU 10 and the input / output controller unit 9, and via the focus fixing unit 17. The object surface 12 is photographed with parallax, and two 32-bit digital signals (multi-parallax image data) are stored in a removable memory 4 that is detachably provided.
[0089]
The database unit 2 stores data necessary for processing the multi-parallax image data of the object. The image processor 5 outputs the multi-parallax image data output from the three-dimensional imaging device 16 and the database unit 2. Is obtained in the memory unit 3 via the input / output control unit 9 and the CPU 10, and image processing is performed on the multi-parallax image data to add the state of the object surface 12 in the depth direction, and the object shape The contour shape data is extracted. Then, the result is displayed on the display unit 6 of the output unit and printed out on the printer 7.
[0090]
Here, a portable memory read / write device 8 is connected to the input / output control unit 9 so that data stored in the portable memory 4 removed from the 3D imaging device 16 can be read and written. Yes.
[0091]
That is, the image processor 5 is stored in the database unit 2 and the multi-parallax image data output from the three-dimensional imaging device 16 or the multi-parallax image data stored in the memory unit 3 and the portable memory 4. Based on the data, image processing is performed on the multi-parallax image data to extract the shape of the surface (surface shape data) indicating the state in the depth direction on the surface 12 of the object and the shape of the object outline (contour shape data). To do.
[0092]
The image data output by the 3D imaging device 16 and the surface shape data and contour shape data extracted by the image processor 5 are stored in the database unit 2, the memory unit 3, and the portable memory 4, respectively. The image data, the surface shape data, and the contour shape data stored in the database unit 2, the memory unit 3, and the portable memory 4 are displayed and output on the display unit 6 of the output unit and printed on paper by the printer 7.
[0093]
The input / output control unit 9 controls the database unit 2, the display unit 6, the printer 7, and the portable memory read / write device 8. The CPU 10 controls the memory unit 3, the image processor 5, and the input / output control unit 9. To do.
[0094]
Here, as shown in FIG. 5, the focal point fixing unit 17 has a hollow inner wall that is a mirror surface, and the angle of the mirror surface is changed depending on the height of the inner wall so as to collect light on the object surface 12. Further, inside the focal point fixing unit 17, a surface light source conversion that scatters the light collected by the illumination light source unit 18 at the upper part and the inner wall of the focal point fixing unit 17 at the lower part and applies uniform light to the object surface 12. Part 19.
[0095]
FIG. 6 is a block configuration diagram of the image processor 5. As shown in FIG. 6, the image processor 5 develops the multi-parallax image data and stores it in the frame memory unit 5a. The inter-pixel calculation unit 5b obtains corresponding points between parallax images from the multi-parallax image data, and calculates the number of pixels of depth based on the principle of triangulation from the number of pixels of the movement amount of the corresponding points between parallax images. Then, the depth dimension is obtained from the pixel resolution data representing the size per pixel of the multi-parallax image data stored in the database unit 2, and the surface shape data including the depth direction indicating the state on the object surface 12 is added. Ask.
[0096]
The logical / spatial filtering processing unit 5c extracts and binarizes the contour region of the object from one parallax image data of the multi-parallax image data, and the geometric shape extraction unit 5c determines the logical / spatial filtering processing unit 5c. The line / circle component of the contour area of the target object is extracted. Then, the contour measuring unit 5f calculates contour shape data, which are the coordinates and dimensions of the contour, from the line / circle components of the contour region extracted by the geometric shape extracting unit 5e and the pixel resolution data stored in the database unit 2. To do. The three-dimensional affine conversion processing unit 5g moves and transforms the coordinate values of the surface shape data and the contour shape data in three dimensions.
[0097]
Here, the pixel resolution data representing the size per pixel of the multi-parallax image data is a constant determined by the multi-parallax image sensor 16a, and is the focal length data (fixed value) between the three-dimensional imaging device 16 and the object surface 12. From this, the image size of the multi-parallax image data is obtained, calculated from the image size and the number of pixels of the multi-parallax image data, and stored in the database unit 2.
[0098]
In addition, the frame memory unit 5a, the inter-pixel operation unit 5b, the logic / spatial filtering processing unit 5c, the geometric shape extraction unit 5e, and the contour measurement unit 5f of the image processor 5 are respectively connected to the data transmission buses 14 and 15. Are connected to each other. Further, each of the frame memory unit 5a, the inter-pixel calculation unit 5b, the logic / spatial filtering processing unit 5c, the geometric shape extraction unit 5e, and the contour measurement unit 5f of the image processor 5 is controlled and expanded by the CPU 10. Image processing is performed on each of the multi-parallax image data stored in the frame memory unit 5a by the inter-pixel calculation unit 5b, the logical / spatial filtering processing unit 5c, the geometric shape extraction unit 5e, and the contour measurement unit 5f. It has become.
[0099]
Next, the operation of the second embodiment of the present invention having such a configuration will be described. FIG. 7 is a flowchart showing the operation of the inspection data image recording apparatus according to the second embodiment of the present invention. As shown in FIG. 7, when a processing start command is given from the user interface unit 11 to the image processing processor 5 via the CPU 10, multi-parallax image data captured by the three-dimensional imaging device 16 (multi-parallax image data stored in the database unit 2). The parallax image data and the multi-parallax image data stored in the portable memory 4 are written into the memory unit 3 (step 201), and the multi-parallax image data written in the memory unit 3 is written into the frame memory unit 5a of the image processor 5 (Step 202).
[0100]
Next, the pixel resolution data stored in the database unit 2 is written in the memory unit 3 (step 203), and the region of the contour of the object is subjected to logical / spatial filtering from the luminance value distribution of the multi-parallax image data stored in the frame memory unit 5a. Extracted by the processing unit 5c, converted into a two-tone image, and stored in the frame memory unit 5a (step 204). Then, the circle / line component of the two-tone contour region stored in the frame memory unit 5a is extracted by the geometric shape extraction unit 5e (step 205), and the contour circle / line extracted by the geometric shape extraction unit 5e is extracted. From the pixel count of the component and the pixel resolution data stored in the memory unit 3, the contour measurement unit 5f calculates the coordinates of the contour, the centroid of the contour, and the coordinates with the contour centroid as the origin, and stores them in the memory unit 3 as contour shape data. Store (step 206).
[0101]
Next, the corresponding point (corresponding point) of the luminance value between the parallax images of the multi-parallax image data stored in the frame memory unit 5a is calculated by the inter-pixel calculating unit 5b (step 207), and the pixel of the movement amount of the corresponding point The number of pixels in the depth is calculated from the number by the principle of triangulation, the depth dimension is calculated from the pixel resolution data stored in the memory unit 3, and the coordinates of the corresponding point and the coordinates of the depth with the center of gravity of the contour as the origin are used. Surface shape data indicating the state of a certain object surface 12 is obtained and stored in the memory unit 3 (step 208).
[0102]
Then, the multi-parallax image data, the contour shape data, and the surface shape data stored in the memory unit 3 are output to the display unit 6 and the printer 7 as images, sketches, graphs, and texts, and the database unit 2 and the portable memory reading / writing device. Thus, it is stored in the portable memory 4 (step 209).
[0103]
Here, with respect to the processing results output by the display unit 6 and the printer 7, the presence or absence of reprocessing is confirmed with the user by the display unit 6 and the user interface unit 11 (step 210), and the user determines that reprocessing is necessary. In this case, a reprocessing command is input from the user interface unit 11. This reprocessing instruction is given to the image processor 5 via the CPU 10. That is, the user interface unit 11 inputs corresponding point determination and contour region extraction parameter change commands (step 211), from contour region extraction and binarization processing (step 204) to result output and data storage (step 209). The reprocessing is executed, and the process is repeated until the user determines that the reprocessing is not necessary.
[0104]
On the other hand, if it is determined that there is no need to reprocess the processing results output to the display unit 6 and the printer 7, the image processing by the image processing processor 5 is terminated.
[0105]
Here, the multi-parallax image data captured by the three-dimensional imaging device 16 is displayed on the data display unit 16 d and stored in the portable memory 4.
[0106]
That is, when an imaging command for the object surface 12 is given from the 3D imaging device interface unit 16f to the 3D imaging device control unit 16e, the 3D imaging device control unit 16e captures images with the multi-parallax image sensor imaging unit 16a. The processed video signal is processed into multi-parallax image data by the A / D conversion multi-parallax signal processing unit 16b, and control is performed so that the multi-parallax image data is displayed on the data display unit 16d. The user confirms the image on the data display unit 16d, and gives a command to save the multi-parallax image data from the 3D imaging device interface unit 16f to the 3D imaging device control unit 16e, and the 3D imaging device interface unit 16f reads the data. The multi-parallax image data is stored in the portable memory 4 by controlling the control unit 16c.
[0107]
The data stored in the portable memory 4 can be called up and displayed on the data display unit 16d.
[0108]
That is, when the portable memory 4 is set in the data read / write unit 16c and a data read command from the portable memory 4 is given from the 3D imaging device interface unit 16f to the 3D imaging device control unit 16e. The imaging device control unit 16e controls the data reading / writing unit 16c to display the data stored in the portable memory 4 on the data display unit 16d.
[0109]
Further, the data display unit 1 d of the three-dimensional imaging device 16 can display data of the portable memory 4 set in the database unit 2, the memory unit 3, and the portable memory read / write device 8.
[0110]
That is, the 3D imaging device 16 connects the input / output control unit 9 and the 3D imaging device control unit 16e, the database unit 2 and the memory from the 3D imaging device interface 16f to the 3D imaging device control unit 16e. When a data read command from the portable memory 4 set in the unit 3 and the portable memory read / write device 8 is given, the 3D imaging device control unit 16e sends the database unit 2 and the CPU 10 to the CPU 10 via the input / output control unit 9. Data is read from the portable memory 4 set in the memory unit 3 and the portable memory read / write device 8 to the three-dimensional imaging device control unit 16e via the input / output control unit 9, and the database unit 2, the memory unit 3 and Stored in the portable memory 4 set in the portable memory read / write device 8 Control so as to display the data.
[0111]
Furthermore, the data in the portable memory 4 set in the database unit 2, the memory unit 3, and the portable memory read / write device 8 is stored in the portable memory 4 set in the data read / write unit 16 c of the 3D visualization device 16. It can be memorized.
[0112]
That is, the input / output control unit 9 and the 3D imaging device control unit 16e are connected, and the database unit 2 and the memory unit 3 and the portable memory read / write from the 3D imaging device interface 16f to the 3D imaging device control unit 16e. When a portable memory data read command set in the data read / write device 16c from the portable memory 4 set in the device 8 is given, the 3D imaging device control unit 16e sends the CPU 10 via the input / output control unit 9 to the CPU 10. Data is read from the portable memory 4 set in the database unit 2, the memory unit 3 and the portable memory reading / writing device 8 into the 3D imaging device control unit 16e via the input / output control unit 9 and is displayed on the data display unit 16d. Database unit 2, memory unit 3, and portable memory read / write Controls to store the data stored in the portable memory 4 being set to the location 8 data on the portable memory 4 which is set in the data reading-out portion 16c.
[0113]
Further, image data photographed by the three-dimensional imaging device 16 and data in the portable memory 4 set in the data reading / writing unit 16 c are stored in the memory unit 3.
[0114]
That is, the input / output control unit 9 and the 3D imaging device control unit 16e are connected, and the multi-parallax image sensor imaging is performed from the user interface unit 11 to the 3D imaging device control unit 16e via the CPU 10 and the input / output control unit 9. The multi-parallax image data shot by the unit 16a and converted by the A / D conversion multi-parallax signal processing unit 16b and the data stored in the portable memory 4 set in the data read / write unit 16c are written into the memory unit 3.
[0115]
Further, the image data photographed by the three-dimensional imaging device 16 and the data in the portable memory 4 set in the data read / write unit 16c are output to the display unit 6 and the printer 7 of the output unit.
[0116]
That is, when an instruction to output the data stored in the memory unit 3 to the display unit 6 and the printer 7 is given, the 3D imaging device control unit 16e captures an image with the multi-parallax image sensor imaging unit 16a and performs A / D conversion multi-parallax. The multi-parallax image data converted by the signal processing unit 16b and the data stored in the portable memory 4 set in the data reading / writing unit 16c are stored in the memory unit 3 via the input / output control unit 9, and the display unit 6 Further, the CPU 10 is controlled to output to the printer 7.
[0117]
Here, the display unit 6 displays a wire frame in which coordinate points are connected by lines from the coordinate values of the surface shape data calculated by the image processing processor 5, and the surface of the object from the viewpoint and coordinate values when one light source is placed. The surface model display in which the luminance value on 12 is calculated so that the unevenness can be recognized, and the texture mapping display in which the luminance value of one image of the multi-parallax image data is pasted on the object surface 12 in accordance with the coordinate value. In addition, it is possible to change the viewpoint (perspective, rotation) in each display, and operate from the user interface unit 11.
[0118]
In the second embodiment, the frame memory unit 5a, the inter-pixel calculation unit 5b, the logic / spatial filtering processing unit 5c, the geometric shape extraction unit 5e, and the contour measurement unit 5f that constitute the image processor 5 are all included. It can be realized in hardware as a processing board or an arithmetic unit. It can also be realized as a software program module.
[0119]
Further, the memory unit 3, the image processor 5, the input / output control unit 9, and the CPU 10 may be incorporated in the three-dimensional imaging device control unit 16e. As a result, the object surface 12 is photographed at the site by the 3D imaging device 16 and simultaneously subjected to image processing by the image processor 5 in the 3D imaging device 16, so that the compact and portable 3D imaging device is provided. The surface inspection can be performed only by 16 and the focal point fixing unit 17. Furthermore, by connecting the database unit 2, the display unit 6, the printer 7, the portable memory read / write device 8 and the user interface unit 11 to the input / output control unit 9 incorporated in the three-dimensional imaging device control unit 16e, It can cope with large-capacity data, display on a large screen, output to paper, reading / writing of a plurality of portable memories 4, and keyboard and mouse input.
[0120]
Next, in order to be able to photograph an object that is larger than the photographing range of the three-dimensional imaging device 16, the multi-parallax images obtained by continuously photographing the three-dimensional imaging device 16 while changing the position of the object surface 12. Corresponding positions are calculated between the respective multi-parallax image data, which are boundary portions where the sum of differences in luminance values between the data is minimized, and the respective multi-parallax image data are synthesized in units of pixels. Thereby, it is possible to perform surface inspection when an object larger than the photographing range of the three-dimensional imaging device 16 is divided and photographed.
[0121]
In addition, in order to obtain the change tendency of the surface shape of the object, each parallax image is selected, aligned with the contour shape data, the surface shape data is compared in pixel units, and the comparison result is the data of the trend graph (trend graph). Data) is stored in the memory unit 3. Further, the comparison of the surface shape is stored in the memory unit 3 as data of a tendency comparison image (trend comparison image data) color-coded and pattern-coded on the wire frame display, surface model display, and texture mapping display. In this case, the trend graph data and the trend comparison image data stored in the memory unit 3 can be output to the display unit 6 and the printer 7 as a trend graph and a trend comparison image to manage the trend.
[0122]
Furthermore, the management target value is stored in the database unit 2, each parallax image to be trend-compared is selected by the user interface unit 11, and the related management target value is simultaneously referenced from the database unit 2, and each parallax selected on the display unit 6 is selected. When the trend comparison data on the surface shape data of the image and the trend comparison data on the trend comparison image exceed the management target value, a message and an alarm are output, and the location where the target management value on the trend graph and the trend comparison image is exceeded It can be stored in the database unit 2 and highlighted to notify the user.
[0123]
Also, in order to be able to automatically create a report from on-site inspection results, the date and time of inspection, the name of the object, the identification number and the name of the inspector are designated and stored in the database unit 2 From the data, contour shape data and surface shape data, and the trend graph data and trend comparison image data stored in the memory unit 3, it is necessary to correspond to the date and time of inspection, the name of the object, the identification number, and the name of the inspector Items are taken out, automatically organized into a report format, and output to paper by the display unit 6 and the printer 7.
[0124]
That is, the date and time, the name of the object, the identification number, and the inspector's name input by the user interface unit 11 and the 3D imaging device interface unit 16f or photographed or inspected by the 3D imaging device 16 stored in the database unit 2 Necessary from the name, multi-parallax image data, contour shape data and surface shape data which have been subjected to image processing by the image processor 5 and stored in the database unit 2, and trend graph data and trend comparison image data stored in the memory unit 3 The user interface unit 11 inputs a selection command to automatically sort the items into a report format stored in the database unit 2 and outputs them to paper by the display unit 6 and the printer 7.
[0125]
In addition, a display button and an erasure button for the operation are displayed on the display unit 6 so that data can be displayed and erased smoothly on the display unit 6.
[0126]
That is, it has storage address information of multi-parallax image data, contour shape data, surface shape data, trend graph data, and trend comparison image data, and identification names of each data, and when the display is activated by the user interface unit 11 The display button and the delete button are displayed on the display unit 6. The display button is for copying the data of the storage destination address to the memory unit 3 and displaying it on the display unit 6. The delete button is used to delete the data displayed on the display unit 6 from the display unit 6 and the memory unit 3.
[0127]
Normally, a display button is displayed on the display unit 6, and the user can identify the data that each display button means by the data identification name on the display button, and the user can operate only the display button of the necessary data by operating the display unit. The data is displayed on 6. At the same time, an erasure button is added to the display unit 6, and the user operates only the erasure button of data that is no longer necessary to display, so that the data and the erasure button are erased on the display unit 6. The high-speed display and the usage amount of the memory unit 3 can be reduced and optimized.
[0128]
In addition, the capacity of the database unit 2 can be reduced and optimized by storing the multi-parallax image data captured by the three-dimensional imaging device 16 in the database unit 2 with the compression rate being variable according to the luminance value distribution.
[0129]
As described above, according to the second embodiment, the luminance value distribution of the parallax image data obtained by photographing the object surface 12 with the small and portable three-dimensional imaging device 16 and the parallax image are obtained. From the corresponding points, the image processor 5 calculates a surface shape to which a depth indicating the state on the object surface 12 is added and the dimensions and coordinates of the contour shape of the object, and the extracted surface shape and contour shape Are output to the display unit 6 or the printer 7 as an image (wire frame display, surface model display, texture mapping display) designated by the user from any viewpoint, a sketch, a graph, and text.
[0130]
Therefore, in the field inspection of the equipment constituting the plant, the depth of the object surface 12 is photographed by the small and portable three-dimensional imaging device 16 and the image processor 5 is instructed from the user interface unit 11 to obtain the depth. It is possible to perform surface inspection with the addition of. In addition, the inspection result can be output to the display unit 6 or the printer 7 for confirmation, so that anyone can perform the inspection and can realize on-site inspection with high reliability and low cost.
[0131]
【The invention's effect】
As described above, according to the present invention, the surface shape of the object surface and the contour shape of the object are extracted by a small and portable imaging apparatus, and the surface shape and the contour shape are displayed on the display unit or the printer. Therefore, it is possible to perform surface inspection with a small and portable imaging device in the on-site inspection of the equipment that constitutes the plant, and the inspection result can be easily confirmed, and anyone can inspect and reliability. High-cost and low-cost on-site inspection can be realized.
[0132]
Further, according to the present invention, the object surface is obtained from the corresponding point between the luminance value distribution of the parallax image data obtained by photographing the object surface with a small and portable 3D imaging device and the parallax image. The user can specify the surface shape including the depth indicating the above state and the contour shape of the target object from any viewpoint and output them to the display unit or printer output unit. The surface inspection with the depth of the object surface added can be performed.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an inspection data image recording apparatus according to a first embodiment of the present invention.
FIG. 2 is a block configuration diagram of an image processor in the inspection data image recording apparatus according to the first embodiment of the present invention.
FIG. 3 is a flowchart showing the operation of the inspection data image recording apparatus according to the first embodiment of the present invention.
FIG. 4 is a configuration diagram of an inspection data image recording apparatus according to a second embodiment of the present invention.
FIG. 5 is an explanatory diagram of a focus fixing unit in an inspection data image recording apparatus according to a second embodiment of the present invention.
FIG. 6 is a block configuration diagram of an image processor in an inspection data image recording apparatus according to a second embodiment of the present invention.
FIG. 7 is a flowchart showing the operation of the inspection data image recording apparatus according to the second embodiment of the present invention.
[Explanation of symbols]
1 Visualization equipment
1a Image sensor imaging unit
1b A / D conversion processor
1c Data read / write section
1d Data display section
1e Imaging device control unit
1f Imaging device interface
2 Database part
3 Memory part
4 Portable memory
5 Image processor
5a Frame memory section
5b Inter-pixel operation unit
5c Logic / spatial filtering processor
5d Labeling processor
5e Geometric shape extraction unit
5f Contour measurement unit
5g 3D affine conversion processor
6 Display section
7 Printer
8 Portable memory reader / writer
9 Input / output control section
10 CPU
11 User interface
12 Object surface
13 Marker
14 Data transfer bus
15 Data transfer bus
16 3D visualization device
16a Multi-parallax image sensor imaging unit
16b A / D conversion multi-parallax signal processor
16c Data reading / writing section
16d data display section
16e 3D visualization device controller
16f 3D visualization device interface
17 Focus fixing part
18 Illumination light source
19 Surface light source converter

Claims (9)

対象物表面あるいは前記対象物表面と対象物サイズ・視点角度を示すマーカとを撮影して着脱可能に設けられた可搬型メモリにデジタルデータからなる画像データを記憶する小型で可搬性のある映像化装置と、前記対象物の前記画像データを処理する際に必要なデータが記憶されたデータベース部と、前記映像化装置から出力された画像データおよび前記データベース部のデータを入出力コントロール部を介してメモリ部に取り込み前記画像データに画像処理を施して前記対象物の表面形状データと輪郭形状データとを抽出する画像処理プロセッサと、前記映像化装置から取り外された前記可搬型メモリにデータを読み書きするための可搬型メモリ読書き装置と、前記画像データおよび前記画像処理プロセッサで抽出された前記表面形状データと前記輪郭形状データとを表示出力する表示部または印字出力するプリンタを有した出力部と、現場における表面検査の対象物への表面検査指令を前記画像処理プロセッサに入力するためのユーザインタフェース部とを備えたことを特徴とする点検データ画像記録装置。A small and portable imaging system that stores image data composed of digital data in a removable memory provided by photographing the object surface or the object surface and a marker indicating the object size / viewing angle. An apparatus, a database unit storing data necessary for processing the image data of the object, image data output from the imaging device and data of the database unit via an input / output control unit An image processing processor that extracts the surface shape data and contour shape data of the object by taking in the memory unit and performing image processing on the image data, and reads / writes data from / to the portable memory removed from the imaging device A portable memory read / write device, the image data and the surface shape data extracted by the image processor And a display unit for displaying and outputting the contour shape data, or an output unit having a printer for printing out, and a user interface unit for inputting a surface inspection command to a surface inspection object in the field to the image processor. An inspection data image recording apparatus comprising: 請求項１に記載の点検データ画像記録装置において、前記映像化装置は、前記対象物表面あるいは前記対象物表面と対象物サイズ・視点角度を示すマーカとを撮影して映像信号を出力するイメージセンサ撮像部と、前記イメージセンサ撮像部から出力された映像信号をディジタルデータからなる画像データに変換するＡ／Ｄ変換処理部と、前記Ａ／Ｄ変換処理部により変換された画像データあるいは前記入出力コントロール部から入力された前記表面形状データおよび前記輪郭形状データを前記可搬型メモリに読み書きするデータ読書き部と、前記可搬型メモリに記憶されたデータあるいは前記入出力コントロール部から入力されたデータを表示するためのデータ表示部と、前記イメージセンサ撮像部と前記Ａ／Ｄ変換処理部と前記データ読書き部と前記データ表示部とを制御する映像化装置コントロール部とを備えたことを特徴とする点検データ画像記録装置。2. The inspection data image recording apparatus according to claim 1, wherein the imaging device captures the object surface or the object surface and a marker indicating the object size / viewing angle and outputs a video signal. An imaging unit, an A / D conversion processing unit for converting a video signal output from the image sensor imaging unit into image data composed of digital data, and the image data converted by the A / D conversion processing unit or the input / output A data read / write unit that reads and writes the surface shape data and the contour shape data input from the control unit to the portable memory, and data stored in the portable memory or data input from the input / output control unit A data display unit for displaying, the image sensor imaging unit, the A / D conversion processing unit, and the data reading unit; Inspection data image recording apparatus characterized by comprising an imaging device control unit for controlling the the write section and the data display unit. 請求項１に記載の点検データ画像記録装置において、前記画像処理プロセッサは、前記映像化装置から出力された画像データを展開して格納するフレームメモリ部と、前記画像データから前記対象物の輪郭領域および表面形状領域と前記マーカ領域とを抽出する論理・空間フィルタリング部と、前記対象物の表面形状領域と前記データベース部に格納した前記画像データの１画素あたりのサイズを示す画素分解能データとから前記対象物表面の形状の座標・寸法である表面形状データを算出するラベリング処理部と、前記対象物の輪郭領域から線・円成分を抽出する幾何形状抽出部と、前記幾何学形状抽出部から抽出した線・円成分と前記画素分解能データとから前記対象物の輪郭の座標・寸法である輪郭形状データを算出する輪郭計測部と、前記画像データと前記表面形状データと前記輪郭形状データとを３次元で移動・変形変換する３次元アフェイン変換処理部とを備えたことを特徴とする点検データ画像記録装置。2. The inspection data image recording apparatus according to claim 1, wherein the image processing processor expands and stores image data output from the imaging apparatus, and a contour area of the object from the image data. And a logic / spatial filtering unit for extracting the surface shape region and the marker region, the surface shape region of the object, and pixel resolution data indicating the size per pixel of the image data stored in the database unit. A labeling processing unit that calculates surface shape data that are coordinates and dimensions of the shape of the surface of the object, a geometric shape extraction unit that extracts line / circle components from the contour region of the object, and an extraction from the geometric shape extraction unit A contour measuring unit that calculates contour shape data that are coordinates and dimensions of the contour of the object from the line / circle component and the pixel resolution data; Inspection data image recording apparatus characterized by comprising a three-dimensional Afein conversion processing unit for movement and deformation converts said image data and the surface shape data and the contour shape data in three dimensions. 請求項１に記載の点検データ画像記録装置において、前記メモリ部と前記画像処理プロセッサと前記入出力コントロール部とを、前記映像化装置コントロール部に組み込んだことを特徴とする点検データ画像記録装置。2. The inspection data image recording apparatus according to claim 1, wherein the memory unit, the image processor, and the input / output control unit are incorporated in the imaging device control unit. 対象物表面を視差をつけて撮影して着脱可能に設けられた可搬型メモリにディジタルデータからなる複視差画像データを記憶する小型で可搬性のある３次元映像化装置と、前記３次元映像化装置の前記対象物表面側に取付けられ前記３次元映像化装置と前記対象物表面との焦点距離を固定する焦点固定部と、前記対象物の前記複視差画像データを処理する際に必要なデータが記憶されたデータベース部と、前記３次元映像化装置から出力された前記複視差画像データおよび前記データベース部のデータを入出力コントロール部を介してメモリ部に取り込み前記複視差画像データに画像処理を施して前記対象物表面の深さ方向の状態を加えた表面形状データと前記対象物の輪郭形状データとを抽出する画像処理プロセッサと、前記映像化装置から取り外された前記可搬型メモリにデータを読み書きするための可搬型メモリ読書き装置と、前記複視差画像データと前記表面形状データと前記輪郭形状データとを表示出力する表示部および印字出力するプリンタを有した出力部と、現場における表面検査の対象物への表面検査指令を前記画像処理プロセッサに入力するためのユーザインタフェース部とを備えたことを特徴とする点検データ画像記録装置。A small and portable 3D imaging apparatus for storing multi-parallax image data composed of digital data in a portable memory that is detachably provided by photographing the surface of the object with parallax, and the 3D imaging A focal point fixing unit that is attached to the object surface side of the apparatus and fixes a focal length between the three-dimensional imaging apparatus and the object surface, and data necessary for processing the multi-parallax image data of the object Is stored in the memory unit via the input / output control unit and the multi-parallax image data is subjected to image processing. An image processor for extracting the surface shape data to which the state of the object surface in the depth direction and the contour shape data of the object are extracted, and the imaging device A portable memory reading / writing device for reading / writing data from / to the removed portable memory, a display unit for displaying and outputting the multi-parallax image data, the surface shape data, and the contour shape data, and a printer for printing out. An inspection data image recording apparatus comprising: an output unit provided; and a user interface unit for inputting a surface inspection command to an object for surface inspection in the field to the image processing processor. 請求項５に記載の点検データ画像記録装置において、前記３次元映像化装置は、前記対象物表面を視差をつけて撮影して２つの映像信号を出力する複視差イメージセンサ撮像部と、前記複視差イメージセンサ撮像部から出力された２つの映像信号をディジタルデータからなる２つの映像に変換しどちらの視差かを判別する視差識別信号を付加するＡ／Ｄ変換複視差信号処理部と、前記Ａ／Ｄ変換複視差信号処理部により処理された複視差画像データあるいは前記入出力コントロール部から入力された前記表面形状データおよび前記輪郭形状データを前記可搬型メモリに読み書きするデータ読書き部と、前記可搬型メモリに記憶されたデータあるいは前記入出力コントロール部から入力されたデータを表示するためのデータ表示部と、前記複視差イメージセンサ撮像部と前記Ａ／Ｄ変換複視差信号処理部と前記データ読書き部と前記データ表示部とを制御する３次元映像化装置コントロール部とを備えたことを特徴とする点検データ画像記録装置。6. The inspection data image recording apparatus according to claim 5, wherein the three-dimensional imaging apparatus captures the object surface with parallax and outputs two video signals, and the multiple parallax image sensor imaging unit. An A / D conversion multi-parallax signal processing unit that converts two video signals output from the parallax image sensor imaging unit into two video images composed of digital data and adds a parallax identification signal for determining which parallax is; A data reading / writing unit for reading / writing the surface shape data and the contour shape data input from the input / output control unit to / from the portable memory; A data display unit for displaying data stored in a portable memory or data input from the input / output control unit; Inspection data image recording comprising: an image sensor imaging unit; the A / D conversion multi-parallax signal processing unit; the data read / write unit; and a data display unit control unit for controlling the data display unit apparatus. 請求項５に記載の点検データ画像記録装置において、前記焦点固定部は、内部に形成され前記対象物表面に集光するように内壁の高さに応じて角度が変化している鏡面を有した空洞と、前記空洞内の前記３次元映像化装置側に設けられた照明光源と、前記空洞内の前記対象物表面側に設けられ前記内壁で集光した光を散乱させて前記対象物表面に一様な光をあてる面光源変換部とを備えたことを特徴とする点検データ画像記録装置。6. The inspection data image recording apparatus according to claim 5, wherein the focal point fixing part has a mirror surface formed inside and having an angle changed according to the height of the inner wall so as to be condensed on the surface of the object. A cavity, an illumination light source provided on the three-dimensional imaging device side in the cavity, and light collected on the inner wall provided on the object surface side in the cavity are scattered on the object surface. An inspection data image recording apparatus comprising: a surface light source conversion unit that applies uniform light. 請求項５に記載の点検データ画像記録装置において、前記画像処理プロセッサは、前記３次元映像化装置から出力された複視差画像データを展開して格納するフレームメモリ部と、前記複視差画像データから視差画像間の対応点を求めその対応点の移動量の画素数から三角測量の原理により深さの画素数を算出し前記データベース部に格納した前記複視差画像データの１画素当たりのサイズを表す画素分解能データにより深さの寸法を求め前記対象物表面の深さ方向の状態を加えた表面形状データを求める画素間演算部と、前記複視差画像データの片方での画像から対象物の輪郭領域を抽出する論理・空間フィルタリング部と、前記対象物の輪郭領域から線・円成分を抽出する幾何形状抽出部と、前記幾何学形状抽出部から抽出した線・円成分と前記画素分解能データとから前記対象物の輪郭の座標・寸法である輪郭形状データを算出する輪郭計測部と、前記画像データと前記表面形状データと前記輪郭形状データとを３次元で移動・変形変換する３次元アフェイン変換処理部とを備えたことを特徴とする点検データ画像記録装置。6. The inspection data image recording apparatus according to claim 5, wherein the image processor is configured to extract a multi-parallax image data output from the three-dimensional imaging apparatus and store the frame memory unit and the multi-parallax image data. The corresponding point between the parallax images is obtained, the number of pixels of the depth is calculated from the number of pixels of the moving amount of the corresponding point by the principle of triangulation, and the size per pixel of the multi-parallax image data stored in the database unit is expressed. An inter-pixel operation unit for obtaining a surface shape data obtained by obtaining a depth dimension from pixel resolution data and adding a state in a depth direction of the object surface, and a contour region of the object from one image of the multi-parallax image data A logical / spatial filtering unit that extracts a line / circle component from a contour region of the object, and a line / circle formed from the geometric shape extraction unit. And a contour measuring unit for calculating contour shape data which are coordinates and dimensions of the contour of the object from the pixel resolution data, and moving and deforming the image data, the surface shape data, and the contour shape data in three dimensions An inspection data image recording apparatus comprising a three-dimensional affine conversion processing unit for conversion. 請求項５に記載の点検データ画像記録装置において、前記メモリ部と前記画像処理プロセッサと前記入出力コントロール部とを、前記３次元映像化装置コントロール部に組み込んだことを特徴とする点検データ画像記録装置。6. The inspection data image recording apparatus according to claim 5, wherein the memory unit, the image processor, and the input / output control unit are incorporated in the three-dimensional imaging device control unit. apparatus.
JP06923698A 1998-03-05 1998-03-05 Inspection data image recording device Expired - Fee Related JP3940493B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06923698A JP3940493B2 (en) 1998-03-05 1998-03-05 Inspection data image recording device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06923698A JP3940493B2 (en) 1998-03-05 1998-03-05 Inspection data image recording device

Publications (2)

Publication Number Publication Date
JPH11250259A JPH11250259A (en) 1999-09-17
JP3940493B2 true JP3940493B2 (en) 2007-07-04

Family

ID=13396919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06923698A Expired - Fee Related JP3940493B2 (en) 1998-03-05 1998-03-05 Inspection data image recording device

Country Status (1)

Country Link
JP (1) JP3940493B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005030891A (en) * 2003-07-11 2005-02-03 Toshiba Corp Surface non-destructive inspection apparatus and surface non-destructive inspection method
JP4474529B2 (en) * 2004-11-29 2010-06-09 独立行政法人産業技術総合研究所 Work status recording apparatus, recording method thereof, and recording program

Also Published As

Publication number Publication date
JPH11250259A (en) 1999-09-17

Similar Documents

Publication Publication Date Title
KR100785594B1 (en) Image process apparatus
US9734609B2 (en) Transprojection of geometry data
CN100582663C (en) Image processing method, three-dimensional position measuring method and image processing apparatus
KR100361244B1 (en) Image processing device and method, medium on which program for image processing is stored, and inspecting device
US20110096148A1 (en) Imaging inspection device
US10964044B2 (en) Method of operating measurement device, measurement device, and recording medium
JPH11259688A (en) Image recording device and determining method for position and direction thereof
Paikowsky et al. Particle motion tracking utilizing a high-resolution digital CCD camera
CN113116377B (en) Ultrasonic imaging navigation method, ultrasonic equipment and storage medium
JP2001126051A (en) Device and method for presenting related information
JPH1079029A (en) Stereoscopic information detecting method and device therefor
JP2022071822A (en) Image display method, display control device, and program
CN111460542B (en) Building design drawing processing method and system based on BIM and VR
JP3940493B2 (en) Inspection data image recording device
JP4788475B2 (en) Image processing apparatus and image processing method
JP3862402B2 (en) 3D model generation apparatus and computer-readable recording medium on which 3D model generation program is recorded
JP2005310044A (en) Apparatus, method and program for data processing
JP5519220B2 (en) Image processing apparatus and program
JP3467186B2 (en) Identification number generation device, camera, scale, and image display device
JP3474772B2 (en) Sensor calibration method and device, and recording medium recording sensor calibration program
JP2006059165A (en) Three-dimensional modeling device, geometric pattern, three-dimensional modeling data generating method, three-dimensional modeling program and recording medium
JP5385048B2 (en) Image processing apparatus and program
JP2002135807A (en) Method and device for calibration for three-dimensional entry
JP2008014857A (en) Device, method, and program for acquiring coordinate for inspection of printed board
JP2004170277A (en) 3-dimensional measurement method, 3-dimensional measurement system, image processing apparatus, and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040423

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050315

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070402

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100406

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees