JP7292133B2

JP7292133B2 - 加工検査装置、加工検査システム、加工検査方法およびプログラム

Info

Publication number: JP7292133B2
Application number: JP2019123554A
Authority: JP
Inventors: 勇斗元角; 祐貴太田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-07-02
Filing date: 2019-07-02
Publication date: 2023-06-16
Anticipated expiration: 2039-07-02
Also published as: JP2021008011A

Description

本発明は、加工検査装置、加工検査システム、加工検査方法およびプログラムに関する。

生産現場において、加工完了後、計測機器を用いて加工品の寸法や曲げ角度等の検査が行われている。例えば、特許文献１は、部品をプリント基板の予め設計された位置に装着するにあたり、複数の角度から平行光を部品に照射し、平行光による受光面の投影板または受光部における部品影に基づく部品形状計測を平行光の照射角度変化による平行光移動の二次元平面で行い、部品の立体的な情報と部品の平面情報を得る部品形状計測方法および装置を開示している。この装置は、画像処理と併用してより機能を高めており、部品検査装置としても活用できる。

特開平１１－１８３１４０号公報

しかし、検査対象である加工品の複数箇所の計測、設計図面との照合、計測機器の出し入れ等が必要であるため、作業工数の増大、人為的な計測ミス、品質不良等が発生する可能性がある。そのため、ユーザにとって使い勝手が悪いという問題があった。

本発明は、上述のような事情に鑑みてなされたものであり、使い勝手を向上させた加工検査装置、加工検査システム、加工検査方法およびプログラムを提供することを目的とする。

上記の目的を達成するため、本発明に係る加工検査装置は、検出情報取得手段、撮像画像取得手段、手形状特定手段、計測位置特定手段、計測手段、出力手段を備える。検出情報取得手段は、手の各部位の動きを示す検出情報を取得する。撮像画像取得手段は、検査対象の加工品と手とを含む撮像画像を取得する。手形状特定手段は、検出情報に基づいて、手の形状を特定する。計測位置特定手段は、手形状特定手段によって手の形状が基準形状であると判定されたことに応答して、撮像画像に基づいて、手の基準部位の位置を計測位置として特定する。計測手段は、計測位置特定手段が特定した計測位置に基づいて、加工品の形状を表す物理量を計測する。出力手段は、計測手段が計測した物理量を出力する。

本発明に係る加工検査装置は、手の各部位の動きを示す検出情報および検査対象の加工品と手とを含む撮像画像を取得し、検出情報に基づいて手の形状を特定し、撮像画像に基づいて加工品における計測位置を特定する。そして、加工検査装置は、特定した手の形状および計測位置に基づいて、加工品の形状を表す物理量を計測する。これにより、ユーザは、感覚的に検査対象の加工品の計測位置を指定することができるため、使い勝手を向上させることができる。

本発明の実施の形態に係る加工検査システムの構成を示すブロック図操作デバイスの構成を示す図撮像装置の設置例および機能を説明するための図加工検査装置のハードウェア構成の一例を示すブロック図加工検査装置の機能構成の一例を示すブロック図手形状特定部が特定する手形状を説明するための図、（ａ）は第１手形状、（ｂ）は第２手形状、（ｃ）は第３手形状、をそれぞれ手の平側から見た図手形状特定部が特定する手形状を説明するための図、（ａ）は第１手形状、（ｂ）は第２手形状、（ｃ）は第３手形状、をそれぞれ手の甲側から見た図動作モード決定テーブルの一例を示す図加工品の各面の寸法を端辺以外の箇所で計測する場合について説明するための図レーザ照射機能を利用して加工品の各面の寸法を端辺以外の箇所で計測する場合について説明するための図加工品の曲げ角度を端辺で計測する場合について説明するための図加工品の曲げ角度を端辺以外の箇所で計測する場合について説明するための図レーザ照射機能を利用して加工品の曲げ角度を端辺以外の箇所で計測する場合について説明するための図曲げ部分付近の穴の変形の確認方法を説明するための図加工検査処理の流れを示すフローチャート

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

本発明の実施の形態に係る加工検査システム１は、加工品を容易かつ高精度に検査するためのシステムである。本実施の形態では、加工検査システム１を、板金部品の加工の検査に用いる場合を例に説明する。また、板金部品の加工工程は、抜き加工、曲げ加工、接着加工に３つに大別される。以下、板金部品の曲げ加工の検査について説明する。なお、曲げ加工において、板金の曲げ内側には圧縮応力、曲げ外側には引張応力が作用する。このため、曲げ角度、フランジ等の寸法が設計通りにならない場合がある。

加工検査システム１は、図１に示すように、ユーザの操作を受け付ける操作デバイス１００、検査空間を撮像する撮像装置２００、ユーザの操作に応じて加工品を検査する加工検査装置３００を含む。これらの装置は、ネットワークＮＷを介して相互に通信可能に接続されている。ネットワークＮＷは、有線または無線を問わず、例えば、インターネット、ＬＡＮ（Local Area Network）、ＶＰＮ（Virtual Private Network）等の任意の通信網である。

（操作デバイス１００）
操作デバイス１００は、ユーザの操作を受け付ける入力装置である。操作デバイス１００は、図２に示すように、加工品を検査する際にユーザが手に装着する手袋１１０、手袋１１０に取り付けられた複数のモーションセンサ１２０、各モーションセンサ１２０の検出データを出力する通信装置１３０を備える。ここで、指操作デバイス１００のユーザは、典型的には検査担当者である。

手袋１１０には、複数のモーションセンサ１２０が取り付けられており、ユーザが自己の手に手袋１１０を装着することにより、モーションセンサ１２０の各々がユーザの手の各部位に配置される。

具体的には、手袋１１０は、ユーザの手ＵＨの親指が挿入される親指部１１０Ａ、人差指が挿入される人差指部１１０Ｂ、中指が挿入される中指部１１０Ｃ、薬指が挿入される薬指部１１０Ｄ、小指が挿入される小指部１１０Ｅを有し、これらの各部にモーションセンサ１２０が複数取り付けられている。なお、図２において、人差指部１１０Ｂの先端に配置されたモーションセンサにのみ符号１２０を付し、他のモーションセンサに対する符号１２０の記載を省略している。手袋１１０の素材としては、手にフィットする柔らかい素材、例えば、布、毛糸、フェルト、革、ゴム、ラッテクス、ビニル等を用いることができる。

モーションセンサ１２０は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ等の小型センサモジュールを搭載したセンサであり、ユーザの手、指等の動きを検出し、検出結果を示す検出データを出力する。手袋１１０の各部に取り付けられたモーションセンサ１２０により、ユーザの手ＵＨの各部位の動きを検出することができる。なお、手袋１１０に取り付けられるモーションセンサ１２０の個数および配置は任意である。また、各モーションセンサ１２０は、図示しない電気配線を介して通信装置１３０に接続されている。

（撮像装置２００）
撮像装置２００は、撮像領域を撮像し、その撮像画像をネットワークＮＷを介して加工検査装置３００に送信する。本実施の形態において、撮像装置２００は、図３に示すように、ユーザが加工品の検査を行う検査室の壁、天井等に固定設置され、加工品の検査を行う検査領域ＳＰを撮像し、その撮像画像を出力する。検査領域ＳＰには、Ｘ軸、Ｙ軸、Ｚ軸が原点Ｏで互いに直交して交わる３次元直交座標系が設定されている。また、撮像装置２００は、検査対象の加工品における計測位置の指定を補助するレーザ照射機能を有する。このレーザ照射機能については、後述する。

（加工検査装置３００のハードウェア構成）
次に、加工検査装置３００のハードウェア構成について説明する。加工検査装置３００は、物理的には、図４に示すように、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、補助記憶装置３０４、表示装置３０５、入力装置３０６、通信装置３０７を備える。これらの各部は、バスラインＢＬを介して相互に電気的に接続されている。

ＣＰＵ３０１は、ＲＯＭ３０２及び補助記憶装置３０４からプログラムおよびデータをＲＡＭ３０３上に読み出して処理を実行することにより、加工検査装置３００の制御および機能を実現する演算装置である。

ＲＯＭ３０２は、ＣＰＵ３０１が実行する各種プログラム、プログラム実行の際に使用する各種データ等を記憶する不揮発性メモリである。ＲＯＭ３０２は、例えば、後述する加工検査処理に係るプログラムを記憶する。

ＲＡＭ３０３は、ＲＯＭ３０２及び補助記憶装置３０４から読み出された各種プログラム、各種データ等を一時的に保持する揮発性メモリであり、ＣＰＵ３０１の作業領域として使用される。

補助記憶装置３０４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶内容が書き換え可能な不揮発性の記憶装置である。補助記憶装置３０４は、例えば、加工品の設計情報である３次元ＣＡＤデータ、３次元座標データを記憶する。ここで、３次元座標情報は、例えば、撮像装置２００が生成する撮像画像の各画素に対応する座標値を示す情報である。

表示装置３０５は、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイ等の画像表示装置であり、ＣＰＵ３０１の制御に従って、各種画像を表示する。

入力装置３０６は、キーボード、マウス、操作ボタン等の入力装置であり、ユーザによる各種操作を受け付け、受け付けた操作に応じた操作信号をＣＰＵ３０１に供給する。なお、入力装置３０６は、表示装置３０５の表示画面とこれに重ねて設けられたタッチセンサとを有するタッチパネルであってもよい。この場合、入力装置３０６は、タッチパネルにおける利用者の接触動作に係る接触位置、接触態様等のタッチセンサによる検出結果に応じた操作信号をＣＰＵ３０１に供給する。

通信装置３０７は、操作デバイス１００および撮像装置２００とそれぞれ通信するための通信インタフェースである。通信装置３０７は、ＣＰＵ３０１の制御に従って、ネットワークＮＷを介してこれらの装置との間で各種データを送受信する。

（加工検査装置３００の機能構成）
続いて、加工検査装置３００の機能構成について説明する。加工検査装置３００は、機能的には、図５に示すように、制御部３１０、記憶部３２０、表示部３３０、操作部３４０、通信部３５０を備える。

制御部３１０は、例えば、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３等を備え、ＲＡＭ３０３を作業領域として、ＣＰＵ３０１がＲＯＭ３０２または記憶部３２０に格納された各種プログラムを実行することにより、加工検査装置３００の各構成部位を制御する。制御部３１０は、検出情報取得部３１１、撮像画像取得部３１２、手形状特定部３１３、計測位置特定部３１４、計測部３１５、加工評価部３１６、計測補助部３１７を有する。これらの各機能部は、ＣＰＵ３０１がＲＯＭ３０２に記憶された制御プログラムを実行することにより実現される。

検出情報取得部３１１は、通信部３５０を介して操作デバイス１００からユーザの手の各部位の動きの検出結果を示す検出情報を取得する。検出情報取得部３１１は、検出情報取得手段の一例である。

撮像画像取得部３１２は、通信部３５０を介して撮像装置２００から撮像画像を取得する。なお、撮像画像取得部３１２は、例えば、検出情報取得部３１１が操作デバイス１００から検出情報を取得したことに応答して、検査領域の撮像を要求する撮像要求信号を撮像装置２００に送信することにより、撮像装置２００から能動的に撮像画像を取得してもよい。撮像画像取得部３１２は、撮像画像取得手段の一例である。

手形状特定部３１３は、検出情報取得部３１１が指操作デバイス１００から取得した検出情報に基づいて、検査担当者の手の形状を特定する。以下、検査担当者の手の形状を、単に「手形状」とも称する。手形状特定部３１３は、手形状として、例えば、図６（ａ）～（ｃ）に示す、親指と人差指を伸ばしてＬ字形をつくりその他の指を握った第１手形状ＨＳａ、人差指を伸ばしてその他の指を握り親指が中指に触れている第２手形状ＨＳｂ、すべての指を伸ばして手を広げた第３手形状ＨＳｃの３パターンを特定する。図６（ａ）～（ｃ）はいずれも、手の平側からみた第１手形状ＨＳａ、第２手形状ＨＳｂ、第３手形状ＨＳｃを示している。一方、図７（ａ）～（ｃ）は、手の甲側からみた第１手形状ＨＳａ、第２手形状ＨＳｂ、第３手形状ＨＳｃを示している。手形状特定部３１３は、手形状特定手段の一例である。

また、手形状特定部３１３は、特定した手形状に応じて動作モードを設定する。手形状特定部３１３は、例えば図８に示す、記憶部３２０に記憶された動作モード決定テーブルを参照して、検査担当者の手形状を第１手形状ＨＳａと特定した場合には、動作モードを「計測準備モード」に設定する。また、手形状特定部３１３は、手形状特定部３１３が検査担当者の手形状を第２手形状ＨＳｂと特定した場合には、動作モードを「計測中モード」に設定し、手形状特定部３１３が検査担当者の手形状を第３手形状ＨＳｃと特定した場合には、動作モードを「通常モード」に設定する。手形状特定部３１３は、例えば、動作モードの種別に応じて設けられたフラグのＯＮ／ＯＦＦを切り替えることにより動作モードを設定する。

計測位置特定部３１４は、操作デバイス１００から取得した検出情報に基づいて、手形状特定部３１３がユーザの手形状を第２手形状ＨＳｂと特定した場合、その第２手形状ＨＳｂにおける人差指の先端位置を計測位置として特定する。計測位置特定部３１４は、計測位置特定手段の一例である。

計測部３１５は、手形状特定部３１３が特定した手形状と、計測位置特定部３１４が特定した計測位置に基づいて、加工品の形状を表す物理量を計測する。ここで、加工品の形状を表す物理量は、加工品の各面の寸法、曲げ加工部分の曲げ角度等である。計測部３１５は、計測手段の一例である。

加工評価部３１６は、計測部３１５による計測結果を評価する。加工評価部３１６は、記憶部３２０に記憶された加工品の設計情報である３次元ＣＡＤデータを参照し、例えば、予め設定された誤差許容範囲を超えているか否かに応じて計測部３１５の計測結果を評価する。また、加工評価部３１６は、表示部３３０を制御して、評価結果を表示してユーザに報知する。加工評価部３１６は、加工評価手段の一例である。

計測補助部３１７は、ユーザの加工品の計測位置の指定を補助する。より具体的には、計測補助部３１７は、ユーザが計測位置を指定する際に手形状ＨＳｂを形成して人差指で加工品の適正な計測位置を指定できるように、指定位置指定の目安となるレーザ光線を加工品の表面上に照射するべく撮像装置２００を制御する。計測補助部３１７は、計測補助手段の一例である。

表示部３３０は、表示装置３０５により構成され、制御部３１０の制御に従って、表示用の画像データに適宜の信号処理等を施して各種画像を表示する。表示部３３０は、例えば、計測部３１５による計測結果、加工評価部３１６による加工精度の評価結果を表示する。表示部３３０は、出力手段の一例である。

操作部３４０は、入力装置３０６により構成され、ユーザの操作、各種データの入力等を受け付ける。操作部３４０は、例えば、受け付けた操作に応じた操作信号を生成して制御部３１０に供給する。

通信部３５０は、通信装置３０７により実現され、制御部３１０の制御に従って、ネットワークＮＷを介して操作デバイス１００および撮像装置２００との間でデータの送受信を行う。

ここで、計測部３１５が加工品ＰＧの寸法を計測する場合について説明する。加工品の寸法を計測するにあたり、ユーザは、操作デバイス１００を手に装着して、第１手形状ＨＳａを形成する。これに伴い、操作デバイス１００に取り付けられた複数のモーションセンサ１２０がユーザの手の各部位の動きを検出し、通信装置１３０により検出結果を示す検出情報が加工検査装置３００に供給される。手形状特定部３１３は、検出情報に基づいて第１手形状ＨＳａを特定し、動作モードを計測準備モードに設定する。

続いて、ユーザは、加工品の計測位置において第２手形状ＨＳｂを形成する。これに伴って操作デバイス１００から取得した検出情報に基づいて、手形状特定部３１３は、第２手形状ＨＳｂを特定し、動作モードを計測中モードに設定する。また、計測位置特定部３１４は、第２手形状ＨＳｂを特定した際の人差指の先端が差す加工品の表面上の点Ａを計測位置として特定する。計測位置特定部３１４は、記憶部３２０に記憶された３次元座標情報を参照して点Ａの座標（Ｘ_１，Ｙ_１，Ｚ_１）を算出する。

さらに、ユーザは、加工品の異なる計測位置において第２手形状ＨＳｂを形成する。これに伴って操作デバイス１００から取得した検出情報に基づいて、手形状特定部３１３は、再度、第２手形状ＨＳｂを特定する。また、計測位置特定部３１４は、第２手形状ＨＳｂを特定した際の人差指の先端が差す加工品の表面上の点Ｂを計測位置として特定する。計測位置特定部３１４は、記憶部３２０に記憶された３次元座標情報を参照して点Ｂの座標（Ｘ_２，Ｙ_２，Ｚ_２）を算出する。

計測部３１５は、計測位置特定部３１４によって特定された計測位置に基づいて、加工品の形状を表す物理量を計測する。ここで、点Ａ（Ｘ_１，Ｙ_１，Ｚ_１）と点Ｂ（Ｘ_２，Ｙ_２，Ｚ_２）の２点間の距離Ｄは、下記の式（１）で算出される。

Ｄ＝√｛（Ｘ_２－Ｘ_１）^２＋（Ｙ_２－Ｙ_１）^２＋（Ｚ_２－Ｚ_１）^２｝ …（１）

計測部３１５は、表示部３３０を制御して、ユーザが計測位置として指定した点Ａと点Ｂとの間の距離Ｄを表示する。また、加工評価部３１６は、計測部３１５による計測結果と、記憶部３２０に記憶された３次元ＣＡＤデータとを比較して、検査対象の加工品の加工精度を評価し、その評価結果を表示する。評価結果が良好でない場合には、ユーザは、上述した方法によって再度計測を行う。一方、評価結果が良好である場合には、ユーザは、第３手形状ＨＳｃを形成する。操作デバイス１００から取得した検出情報に基づいて、手形状特定部３１３は、第３手形状ＨＳｃを特定し、動作モードを通常モードに設定する。

ここで、加工品の各面の寸法を端辺以外の箇所で計測する場合について説明する。加工品の各面の寸法を端辺以外の箇所で計測する場合、ユーザが適切な計測位置を指定できずに、加工品の寸法を正確に計測できない可能性がある。例えば、図９に示すＡＢＣＤ面の短手方向の長さを端辺ＡＢおよび端辺ＣＤ以外で計測する場合、ユーザは、ＡＢＣＤ面の内部の点Ｇを計測位置として指定し、点Ｇを通り端辺ＡＢおよび端辺ＣＤと平行な直線上の点Ｈをもうひとつの計測位置として指定すれば、ＡＢＣＤ面の短手方向の長さを計測することができる。しかし、ユーザが、点Ｇを通り端辺ＡＢおよび端辺ＣＤと平行でない直線上の点Ｈ’をもうひとつの計測位置として指定してしまう可能性がある。この場合、点Ｇと点Ｈ’の間の距離は、ＡＢＣＤ面の短手方向の長さではないことは明らかである。

ＡＢＣＤ面の短手方向の長さを端辺ＡＢおよび端辺ＣＤ以外で計測する場合、撮像装置２００が有するレーザ照射機能を利用すれば、正しい計測を行うことができる。レーザ照射機能を利用してＡＢＣＤ面の短手方向の長さを端辺ＡＢおよび端辺ＣＤ以外で正確に計測する手法について説明する。本手法を使用するにあたって、まず、ＡＢＣＤ面の端辺上の２点を指定してＡＢＣＤ面の短手方向の長さを計測する。例えば、端辺ＡＢ上の点Ａと点Ｂを計測位置として指定してＡＢＣＤ面の短手方向の長さを計測する。このとき、計測補助部３１７は、点Ａ（Ｘ_１，Ｙ_１，Ｚ_１）と点Ｂ（Ｘ_２，Ｘ_２，Ｚ_２）を通る直線の傾きｍを、下記の式（２）により算出する。

ｍ＝（Ｘ_２－Ｙ_１）／（Ｘ_２－Ｘ_１） …（２）

ＡＢＣＤ面の短手方向の長さを端辺ＡＢおよび端辺ＣＤ以外で計測する場合、ユーザは、まず図１０に示す点Ｇを計測位置として指定する。計測補助部３１７は、点Ｇを通り、上記の式（２）により算出した傾きｍの直線ＬがＡＢＣＤ面上にレーザ照射されるように撮像装置２００を制御する。ユーザは、ＡＢＣＤ面上にレーザ照射された直線Ｌと端辺ＢＣとの交点である点Ｈをもうひとつの計測位置として指定することにより、ＡＢＣＤ面の短手方向の長さを端辺ＡＢおよび端辺ＣＤ以外で正確に計測することができる。

次に、加工品の曲げ角度の計測について説明する。ユーザは、加工品の曲げ角度を計測するにあたり、図１１に示す計測対象の角度αを形成する上下方向に伸びる辺上の点ａおよび点ｂと、左右方向に伸びる辺上の点ｃおよび点ｄとの４点の座標を計測する。点ａ（Ｘ_１，Ｙ_１，Ｚ_１）と点ｂ（Ｘ_２，Ｙ_２，Ｚ_２）を通る直線の方程式は、下記の式（３）で定義される。

ｙ＝［（Ｙ_２－Ｙ_１）／（Ｘ_２－Ｘ_１）］ｘ＋（Ｘ_２Ｙ_１－Ｘ_１Ｙ_２）／（Ｘ_２－Ｘ_１） …（３）

また、点ｃ（Ｘ_３，Ｙ_３，Ｚ_３）と点ｄ（Ｘ_４，Ｙ_４，Ｚ_４）を通る直線の方程式は、下記の式（４）で定義される。

ｙ＝［（Ｙ_４－Ｙ_３）／（Ｘ_４－Ｘ_３）］ｘ＋（Ｘ_４Ｙ_３－Ｘ_３Ｙ_４）／（Ｘ_４－Ｘ_３） …（４）

また、直線Ｌ１と直線Ｌ２が交差する点ｅの座標（Ｘ_５，Ｙ_５，Ｚ_５）を求める。次に、点ｂと点ｅとの間の長さｈ１、ｃ点とｅ点の長さｈ２、ｂ点とｃ点の長さｈ３を求め、直線Ｌ１と直線Ｌ２により形成される角度αは、下記の式（５）により算出される。

α＝ｃｏｓ^－１｛（ｈ１^２＋ｈ２^２－ｈ３^２）／２ｈ１・ｈ３｝ …（５）

加工評価部３１６は、上記の式（５）により算出された角度αと、記憶部３２０に記憶された３次元ＣＡＤデータにおいて規定され曲げ角度とを比較し、加工の評価結果をユーザに報知する。

加工品の各面の寸法の計測と同様、曲げ角度の計測についても端辺以外の箇所で計測を行う場合、ユーザが適切な計測位置を指定できずに、加工品の曲げ角度を正確に計測できない可能性がある。例えば、計測部３１５は、図１２に示すＡＢＣＤ面の端辺ＡＢとＡＤＥＦ面の端辺ＡＦとが形成する角度を予め算出する。そして、計測部３１５は、点Ｉを通り、端辺ＡＦと同じ傾きの直線上にある点Ｇの座標を計測する。また、計測部３１５は、点Ｇを通り、端辺ＡＢと同じ傾きの直線上にある点Ｈの座標を計測する。そして、計測部３１５は、点Ｉと点Ｇの間の長さと点Ｇと点Ｈの間の長さを算出することにより、端辺以外の箇所で曲げ角度を計測することができる。しかし、ユーザが、点Ｇ’および点Ｈ’を計測位置として指定してしまう可能性がある。この場合、点Ｉと点Ｇ’と点Ｈ’によって算出された曲げ角度は正確な角度でないことは明らかである。

曲げ角度の計測について端辺以外の箇所で計測を行う場合、撮像装置２００が有するレーザ照射機能を利用すれば、正しい計測を行うことができる。レーザ照射機能を利用して端辺以外の箇所で曲げ角度を正確に計測する手法について説明する。本手法を使用するにあたって、計測補助部３１７は、まず、端辺ＡＢと端辺ＡＦのそれぞれの傾きを算出する。そして、計測補助部３１７は、図１３に示すように、ユーザが計測位置として指定した端辺以外の点Ｉを通り、端辺ＡＦと同じ傾きの直線Ｌ５がＡＤＥＦ面上にレーザ照射されるように撮像装置２００を制御する。また、計測補助部３１７は、直線Ｌ５と曲げ部ＡＤとの交点である点Ｇを通り、端辺ＡＢと同じ傾きの直線Ｌ６がＡＢＣＤ面上にレーザ照射されるように撮像装置２００を制御する。ユーザは、レーザ照射された直線Ｌ５および直線Ｌ６上の点Ｇと点Ｈを計測位置として指定することにより、端辺以外の箇所で曲げ角度を正確に計測することができる。

次に、加工品の各面の平坦度の計測について説明する。曲げ加工が施された加工品は、曲げ金型の干渉により、曲げ部分以外の平面であるべき面が湾曲したりたるんだりする。そのため、加工品の各面が平坦であるか否かを確認する必要がある。ユーザは、検査対象の面上の任意のＮ（Ｎは自然数）個の点を計測位置として指定して各点の座標を取得する。加工評価部３１６は、Ｎ個の点の座標のＸ値、Ｙ値、Ｚ値のいずれかが同一であれば、その面は平坦であると評価し、ユーザに評価結果を報知する。

また、図１４に示すように、曲げ部分付近の穴の端部の任意の点の座標を取得することにより、板金に予め形成されていた穴が曲げ加工によって変形していないかを確認することができる。

次に、図１５に示すフローチャートを参照して、加工検査装置３００の制御部３１０が実行する加工検査処理について説明する。この加工検査処理は、ユーザの手形状に応じて加工品の検査を制御する処理である。制御部３１０は、加工検査装置３００の電源がＯＮされたことに応じて、加工検査処理を開始する。

加工検査処理を開始すると、まず、制御部３１０は、手の各部の動きを示す検出情報を取得したか否かを判定する（ステップＳ１０１）。制御部３１０の検出情報取得部３１１は、通信部３５０を介して操作デバイス１００から検出情報を取得したか否かに応じて判定する。検出情報を取得していないと判定した場合（ステップＳ１０１：ＮＯ）、制御部３１０は、検出情報を取得するまでステップＳ１０１の処理を繰り返し実行する。

一方、検出情報を取得していると判定した場合（ステップＳ１０１：ＹＥＳ）、制御部３１０は、第１手形状を特定したか否かを判定する（ステップＳ１０２）。制御部３１０の手形状特定部３１３は、検出情報取得部３１１が操作デバイス１００から取得した検出情報に基づいて特定した手形状が第１手形状であるか否かに応じて判定する。

第１手形状を特定したと判定した場合（ステップＳ１０２：ＹＥＳ）、手形状特定部３１３は、動作モードを計測準備モードに設定する（ステップＳ１０３）。ステップＳ１０３を実行した後、制御部３１０は、処理をステップＳ１０１に戻す。

一方、第１手形状を特定していないと判定した場合（ステップＳ１０２：ＮＯ）、制御部３１０は、第２手形状を特定したか否かを判定する（ステップＳ１０４）。第２手形状を特定したと判定した場合（ステップＳ１０４：ＹＥＳ）、手形状特定部３１３は、動作モードを計測中モードに設定する（ステップＳ１０５）。

次に、制御部３１０は、計測位置を特定する（ステップＳ１０６）。制御部３１０の計測位置特定部３１４は、撮像画像取得部３１２が通信部３５０を介して撮像装置２００から取得したユーザの手および検査対象である加工品を含む撮像画像に基づいて、加工品における計測位置を特定する。

続いて、制御部３１０は、加工品の形状を表す物理量を計測する（ステップＳ１０７）。制御部３１０の計測部３１５は、計測位置特定部３１４が特定した計測位置に応じて、例えば、加工品の寸法、曲げ角度を計測する。

次に、制御部３１０は、加工精度を評価する（ステップＳ１０８）。制御部３１０の加工評価部３１６は、計測部３１５の計測結果と記憶部３２０に記憶された３次元ＣＡＤデータとを比較して、加工品の加工精度を評価し、その評価結果を表示部３３０に表示してユーザに報知する。ステップＳ１０８を実行した後、制御部３１０は、処理をステップＳ１０１に戻す。

ステップＳ１０４において、第２手形状を特定していないと判定した場合（ステップＳ１０４：ＮＯ）、すなわち、第３手形状を特定した場合、手形状特定部３１３は、動作モードを通常モードに設定する（ステップＳ１０９）。そして、制御部３１０は、処理をステップＳ１０１に戻す。

以上に述べたように、本実施の形態に係る加工検査装置３００は、操作デバイス１００からから取得したユーザの手の各部位の動きを示す検出情報と、撮像装置２００から取得したユーザの手および検査対象の加工品を含む撮像画像に基づいて、ユーザの手形状および加工品の計測位置を特定し、加工品の形状を表す物理量を計測する。このように、加工検査装置３００は、加工品の検査において使い勝手を向上させることができる。

なお、本発明は、上記の実施の形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変形および応用が可能である。

上記の実施の形態において、例えば加工検査装置３００の制御部３１０のＣＰＵ３０１が実行する制御プログラムは、あらかじめＲＯＭ３０２、補助記憶装置３０４等に記憶されていた。しかしながら、本発明は、これに限定されず、上記の各種処理を実行させるための動作プログラムを、既存の汎用コンピュータ、フレームワーク、ワークステーション等に実装することにより、上記の実施の形態に係る加工検査装置３００に相当する装置として機能させてもよい。

このようなプログラムの提供方法は任意であり、例えば、コンピュータが読取可能な記録媒体（フレキシブルディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ）等に格納して配布してもよいし、インターネットをはじめとするネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより提供してもよい。

また、上記の処理をＯＳ（Operating System）とアプリケーションプログラムとの分担、または、ＯＳとアプリケーションプログラムとの協働によって実行する場合には、アプリケーションプログラムのみを記録媒体、ストレージ等に格納してもよい。また、搬送波にプログラムを重畳し、ネットワークを介して配信することも可能である。例えば、ネットワーク上の掲示板（Bulletin Board System：BBS）に上記プログラムを掲示し、ネットワークを介してプログラムを配信してもよい。そして、このプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行するべく設計してもよい。

１…加工検査システム、１００…操作デバイス、１１０…手袋、１１０Ａ…親指部、１１０Ｂ…人差指部、１１０Ｃ…中指部、１１０Ｄ…薬指部、１１０Ｅ…小指部、１２０…モーションセンサ、１３０…通信装置、２００…撮像装置、３００…加工検査装置、３０１…ＣＰＵ、３０２…ＲＯＭ、３０３…ＲＡＭ、３０４…補助記憶装置、３０５…表示装置、３０６…入力装置、３０７…通信装置、３１０…制御部、３１１…検出情報取得部、３１２…撮像画像取得部、３１３…手形状特定部、３１４…計測位置特定部、３１５…計測部、３１６…加工評価部、３１７…計測補助部、ＢＬ…バスライン、ＮＷ…ネットワーク。

Claims

手の各部位の動きを示す検出情報を取得する検出情報取得手段と、
検査対象の加工品と前記手とを含む撮像画像を取得する撮像画像取得手段と、
前記検出情報に基づいて、前記手の形状を特定する手形状特定手段と、
前記手形状特定手段によって前記手の形状が基準形状であると判定されたことに応答して、前記撮像画像に基づいて、前記手の基準部位の位置を計測位置として特定する計測位置特定手段と、
前記計測位置特定手段が特定した前記計測位置に基づいて、前記加工品の形状を表す物理量を計測する計測手段と、
前記計測手段が計測した前記物理量を出力する出力手段と、を備える、
加工検査装置。
前記加工品の設計情報と前記計測手段の計測結果との比較に基づいて、前記加工品の加工精度を評価する加工評価手段、を更に備え、
前記出力手段は、前記加工評価手段の評価結果を出力する、
請求項１に記載の加工検査装置。
手の各部位の動きを示す検出情報に基づいて、該手の形状が基準形状であるか判定する判定手段と、
前記判定手段によって前記手の形状が前記基準形状であると判定されたことに応答して、検査対象の加工品と前記手とを含む撮像画像に基づいて、前記手の基準部位の位置を計測位置として特定する計測位置特定手段と、
前記計測位置特定手段が特定した前記計測位置に基づいて、前記加工品の形状を表す物理量を計測する計測手段と、を備える、
加工検査装置。
前記計測手段は、前記物理量として、前記加工品の寸法と曲げ角度の少なくとも一方を計測する、
請求項１から３のいずれか１項に記載の加工検査装置。
前記計測位置特定手段により計測位置が適正に特定されるべく補助する計測補助手段、を備える、
請求項１から４のいずれか１項に記載の加工検査装置。
手の各部位の動きを検出する操作デバイスと、加工品の検査が行われる検査領域を撮像する撮像装置と、加工品を検査する加工検査装置と、を含み、
前記操作デバイスは、手の各部位の動きを検出し、その検出結果を示す検出情報を前記加工検査装置に供給し、
前記撮像装置は、検査対象の加工品と前記手とを含む撮像画像を前記加工検査装置に供給し、
前記加工検査装置は、
前記操作デバイスから取得した前記検出情報に基づいて、前記手の形状を特定する手形状特定手段と、
前記手形状特定手段によって前記手の形状が基準形状であると判定されたことに応答して、前記撮像装置から取得した前記撮像画像に基づいて、前記手の基準部位の位置を計測位置として特定する計測位置特定手段と、
前記計測位置特定手段が特定した前記計測位置に基づいて、前記加工品の形状を表す物理量を計測する計測手段と、
前記計測手段が計測した前記物理量を出力する出力手段と、を備える、
加工検査システム。
手の各部位の動きを検出する操作デバイスと、加工品の検査が行われる検査領域を撮像する撮像装置と、加工品を検査する加工検査装置と、を含み、
前記操作デバイスは、手の各部位の動きを検出し、その検出結果を示す検出情報を前記加工検査装置に供給し、
前記撮像装置は、検査対象の加工品と前記手とを含む撮像画像を前記加工検査装置に供給し、
前記加工検査装置は、
前記操作デバイスから取得した前記検出情報に基づいて、前記手の形状が基準形状であるか判定する判定手段と、
前記判定手段によって前記手の形状が前記基準形状であると判定されたことに応答して、前記撮像装置から取得した前記撮像画像に基づいて、前記手の基準部位の位置を計測位置として特定する計測位置特定手段と、
前記計測位置特定手段が特定した前記計測位置に基づいて、前記加工品の形状を表す物理量を計測する計測手段と、を備える、
加工検査システム。
手の各部位の動きを示す検出情報を取得し、
検査対象の加工品と前記手とを含む撮像画像を取得し、
前記検出情報に基づいて、前記手の形状を特定し、
特定された前記手の形状が基準形状であるか判定し、
特定された前記手の形状が前記基準形状であると判定されたことに応答して、前記撮像画像に基づいて、前記手の基準部位の位置を計測位置として特定し、
特定された前記計測位置に基づいて、前記加工品の形状を表す物理量を計測する、
加工検査方法。
手の各部位の動きを示す検出情報に基づいて、該手の形状が基準形状であるか判定し、
前記手の形状が前記基準形状であると判定されたことに応答して、検査対象の加工品と前記手とを含む撮像画像に基づいて、前記手の基準部位の位置を計測位置として特定し、
特定された前記計測位置に基づいて、前記加工品の形状を表す物理量を計測する、
加工検査方法。
コンピュータを、
手の各部位の動きを示す検出情報を取得する検出情報取得手段、
検査対象の加工品と前記手とを含む撮像画像を取得する撮像画像取得手段、
前記検出情報に基づいて、前記手の形状を特定する手形状特定手段、
前記手形状特定手段によって前記手の形状が基準形状であると判定されたことに応答して、前記撮像画像に基づいて、前記手の基準部位の位置を計測位置として特定する計測位置特定手段、
前記計測位置特定手段が特定した前記計測位置に基づいて、前記加工品の形状を表す物理量を計測する計測手段、として機能させる、
プログラム。
コンピュータを、
手の各部位の動きを示す検出情報に基づいて、該手の形状が基準形状であるか判定する判定手段、
前記判定手段によって前記手の形状が前記基準形状であると判定されたことに応答して、検査対象の加工品と前記手とを含む撮像画像に基づいて、前記手の基準部位の位置を計測位置として特定する計測位置特定手段、
前記計測位置特定手段が特定した前記計測位置に基づいて、前記加工品の形状を表す物理量を計測する計測手段、として機能させる、
プログラム。