JP6392839B2

JP6392839B2 - 画像表示装置

Info

Publication number: JP6392839B2
Application number: JP2016248164A
Authority: JP
Inventors: 暁生平松
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2016-12-21
Filing date: 2016-12-21
Publication date: 2018-09-19
Anticipated expiration: 2036-12-21
Also published as: JP2018101348A; CN108225566B; US20180172518A1; DE102017011589B4; DE102017011589A1; CN108225566A; US10451485B2

Description

本発明は、画像表示装置に関し、特に工具やワークの明瞭な画像と温度分布の画像とを重畳して表示する画像表示装置に関する。

工作機械や産業機械において、工具の異常磨耗や破損防止、一定の加工品質の確保のため、加工中の工具やワークの温度を監視することが求められる。このとき、温度分布の正常／異常をより正確に判定するためには、最も温度勾配が顕著な工具とワークの加工接点付近の温度分布を取得することがより重要となる。さらに、工具とワークの組み合わせは無限であり、これらの組み合わせの温度分布は未知であるので、最適に加工できる場合の温度分布（加工の基準とする温度分布）は、人間の視覚的な判定が必要である。このため、温度分布の画像は可能な限り明瞭であることが望ましい。

そこで、温度センサを使用して工具やワークの温度を監視する方法があるが、工具やワークによっては温度センサを直接取り付けることが難しい場合もあるので、非接触式の温度センサとしてサーモグラフィ（熱画像計測装置）が使用される。ところが、サーモグラフィは、物体の赤外線放射を計測するため、一般的なカメラによる可視画像に比べ解像度が低く、監視対象物の明瞭な画像が得られないという問題がある。

サーモグラフィを用いてワーク加工中の工具とワークの温度分布を表示する従来技術として、例えば特許文献１には、一般的なカメラで撮影した画像と、工具の冷却特性に基づいて算出した加工中の工具の温度分布の画像とを重畳して表示する技術が開示されている。また、特許文献２には、一般的なカメラで撮影した画像と、サーモグラフィにより取得した温度分布の画像とを重畳して表示する技術が開示されている。

特開平０９−２７３９６４号公報特開２０１０−１８１３２４号公報

しかしながら、特許文献１に開示される技術では、工具の温度は実測値でないため、工具に異常が発生している場合、例えば、工具の異常磨耗等による発熱が発生した場合などは正しい温度分布を算出することができない。つまり、ワーク加工中の工具の異常温度上昇を検知することができないという課題がある。

また、特許文献２に開示される技術は元々その用途が工作機械や産業機械向けではなく、加工中に工具やワークに対して噴射される切削液などの影響を考慮していない。そのため、特許文献２に開示される技術を仮に工具やワークを監視対象物とした場合、図９に示されるように、加工中の工具やワークを撮像するカメラの画像には飛散する切削液や切り屑も含まれるため、工具やワークを全て明瞭に表示できないという課題がある。

更に、特許文献１，２に開示される技術では、一般的な可視光を必要とするカメラを使用しているため、明瞭な画像を得るためには一定の光量が必要であるが、工作機械や産業機械の場合、通常、ワーク加工中は工作機械の加工室の扉を閉めて密閉状態とする。このため、加工室内部の工具やワークの明瞭な画像を取得し続けるためには、加工室内部に一定の光量を供給する設備が別途必要となり、コストが増加するという別の課題もある。

そこで本発明の目的は、工作機械の加工室内や産業機械の温度分布を明瞭に表示することが可能な画像表示装置を提供することである。

本発明では、サーモグラフィの温度分布情報と工作機械の加工室内や産業機械の要部が明瞭に表示される加工シミュレーション画像を重ね合わせることにより、工作機械の工具とワークの加工接点付近や産業機械の要部の温度分布と明瞭な画像を表示することにより上記課題を解決する。

そして、本発明の請求項１に係る発明は、機械の温度分布を表示する画像表示装置において、前記機械で行われている加工に係る加工情報を取得する加工情報入力部と、前記加工情報に基づいて前記機械で行われている加工の状況を示す３次元加工シミュレーションを実行し、３次元シミュレーション動画を生成するシミュレーション動画生成部と、前記機械の温度分布の状況を示す温度分布データを取得する温度分布データ入力部と、前記温度分布データに基づいて温度分布画像を生成する温度分布画像生成部と、前記３次元シミュレーション動画から生成された投影画像と、前記温度分布画像とを合成した画像を生成する画像合成部と、前記画像合成部が生成した画像を表示する画像表示部と、を備えた画像表示装置である。

本発明の請求項２に係る発明は、前記温度分布データは、前記機械を所定の視点から見た場合の温度分布を示しており、前記画像合成部は、前記３次元シミュレーション動画を前記視点から見た場合の投影画像と、前記温度分布画像とを合成した画像を生成する、請求項１に記載の画像表示装置である。

本発明の請求項３に係る発明は、前記温度分布データは、前記機械に取り付けられたサーモグラフィにより取得されたものである、請求項１または２に記載の画像表示装置である。

本発明により、工作機械の加工室内に切削液や切り屑が飛散している場合であっても、工具とワークの加工接点付近やその他の部分における温度分布と明瞭な画像を表示することができる。また、産業機械についても、該産業機械の要部の温度分布と明瞭な画像を表示することができる。これにより、最適に加工できる場合の温度分布（加工の基準とする温度分布）や異常な温度分布状況などを人間が視覚的に判定する場合に、加工室内の各部の温度分布の正常／異常の視覚的な判定精度が向上するため、工具の異常磨耗の検知や加工不良の検知の向上が期待できる。

また、加工室内の温度分布の明瞭な画像を表示するため、工作機械や産業機械の加工室内に光を供給する必要がなくなり、加工室内に光を供給する装置を設置する必要がなく、メンテナンスコストの増加を抑えることができ、また、長時間監視するような場合、常に光の供給が必要ないため、節電効果が期待できる。

本発明の一実施形態による画像表示装置の概略的な機能ブロック図である。本発明の３次元物体の座標を２次元座標に投影する概念を説明する図である。本発明の３次元物体の座標を２次元座標に投影する概念を説明する他の図である。図２の概念を工作機械の機械座標系に適用した場合の例を示す図である。加工の開始時において合成される画像の例を示す図である。温度分布画像と３次元シミュレーション動画の投影画像との重畳について説明する図である。本発明の一実施形態による画像表示装置の画像表示例を示す図である。本発明の技術を旋盤加工に適用する場合の例を示す図である。従来技術における加工室内の画像表示例を示す図である。

以下、本発明の実施形態を図面と共に説明する。
図１は、本発明の一実施形態による画像表示装置の概略的な機能ブロック図である。本実施形態は、画像表示装置１００が、サーモグラフィ２を備えた工作機械１の加工時の工具とワークの加工接点付近を含む加工室内における温度分布を表示する実施形態である。本実施形態の画像表示装置１００は、加工情報入力部１０、温度分布データ入力部２０、シミュレーション動画生成部３０、温度分布画像生成部４０、画像合成部５０、画像表示部６０を備えている。

加工情報入力部１０は、工作機械１の図示しない制御部と接続されており、工作機械１において行われている加工状況を示す加工情報を取得する機能手段である。加工情報入力部１０は、シミュレーション動画生成部３０が実行する３次元シミュレーションに必要となる情報を工作機械１の制御部から加工情報として所定周期ごとに取得する。加工情報入力部１０が取得する加工情報は、例えば工作機械１の制御部で現在以降に実行される加工プログラムのブロックに係る情報を含んでいても良いし、工具やワーク、その他加工室内の設備の現在の座標位置と移動方向などを示す情報を含んでいても良い。

温度分布データ入力部２０は、工作機械１に取り付けられたサーモグラフィ（熱画像計測装置）２が検出した工作機械１の加工室内における温度分布データを所定周期ごとに取得する機能手段である。温度分布データ入力部２０が温度分布データを取得するためのサーモグラフィ２は一般的なものを用いてもよい。サーモグラフィ２は、工作機械１が備える操作盤などを介したユーザの操作により、注視点（サーモグラフィ２が温度分布を検出する範囲の中心点）を変更できるように構成されていても良い。サーモグラフィ２の設置位置の座標値（機械座標値など）や注視点の座標値（機械座標値など）、焦点距離などの情報は、ユーザが画像表示装置１００の図示しない操作入力部を介して設定できるようにしても良く、工作機械１の制御部から取得できるようにしても良い。

シミュレーション動画生成部３０は、加工情報入力部１０が所定周期ごとに取得した加工情報に基づいて工作機械１で行われている加工の３次元シミュレーションを実行し、加工室内（加工空間内）の工具とワークの状態を示す３次元シミュレーション動画を作成する。シミュレーション動画生成部３０は、例えばあらかじめ図示しないメモリに記憶してある工具やワーク、その他の設備の３次元モデルを用いて３次元シミュレーション動画を作成する。シミュレーション動画生成部３０が行う３次元シミュレーション動画の作成には、例えば従来から公知となっている一般的な加工シミュレーションの手法（特開平１０−１０２２０号公報、特開平１１−１１９８１８号公報など）を用いれば良い。

温度分布画像生成部４０は、温度分布データ入力部２０が取得した工作機械１の加工室内における温度分布データに基づいて注視点付近の温度分布を示す画像（等温線画像など）を生成する機能手段である。

画像合成部５０は、温度分布画像生成部４０が生成した温度分布画像と、シミュレーション動画生成部３０が生成した工作機械１の加工室内の３次元シミュレーション動画とを重畳させた画像を合成する機能手段である。画像合成部５０は、シミュレーション動画生成部３０が生成した３次元シミュレーション動画をサーモグラフィ２が設置された位置を視点として見た場合の画像に対して、温度分布画像生成部４０が生成した温度分布画像を重畳させた画像を合成する。画像合成部５０は、工作機械１において実行されている加工の進行と同期してあらかじめ定めた所定の周期ごとに画像の合成を行う。
そして、画像合成部５０が合成した画像は、液晶表示装置などで構成された画像表示部６０に工作機械１において実行されている加工の進行と同期して表示される。

以下では、図２，３を用いて３次元物体の座標を２次元座標に投影する考え方について説明する。図２に示すように、３次元物体が設置された空間を原点Ｏと座標系Ｘw−Ｙw−Ｚwとで表現し、３次元物体を見る視点をＶ（Ｖx，Ｖy，Ｖz）、視点Ｖを原点とする座標系を視点座標系Ｘv−Ｙv−Ｚvとする。また、３次元物体を見る角度を決めるための点（注視点）をＲ（Ｒx，Ｒy，Ｒz）、注視点Ｒを原点とする座標系を注視点座標系Ｘr−Ｙr−Ｚrとする。更に、視点Ｖから距離ｆの位置に投影面があるものとした時、視点Ｖから注視点Ｒを見たときの投影面の中心点をＰ(Ｐx，Ｐy，Ｐz)とし、投影面中心点Ｐを原点とする座標系を投影面中心点座標系Ｘp−Ｙpとする。なお、説明を簡単にするために、図２に示した例では、ワールド座標系と注視点座標系とはＸ軸、Ｙ軸、Ｚ軸の指し示す方向がそれぞれ同一となる関係としている。

このように定めた場合において、ワールド座標系の各点を視点座標系へと変換する。この変換は、例えば、以下の手順で可能である。
手順１：ワールド座標系と注視点座標系の原点が重なるように平行移動する。
手順２：注視点座標系と視点座標系の原点が重なるように平行移動する。
手順３：ワールド座標系と視点座標系のＺ軸が重なるように回転移動する。

次に、３次元物体の座標Ｓ（Ｓx，Ｓy）と、座標Ｓを視点座標系からみた場合における投影面上の座標Ｔ（Ｔx，Ｔz）との関係は、図３に示す透視投影の概念と三角形の相似の関係とにより、以下の数１式で示すことができる。なお、図３に示す概念図は視点座標系のＸv−Ｚv平面について示したものであるが、Ｙv−Ｚv平面についても同様に示すことができる。

したがって、視点座標系からみた座標Ｓ（Ｓx，Ｓy）に対応する投影面上の座標Ｔ（Ｔx，Ｔz）は、以下の数２式で示すことができる。

したがって、３次元物体の座標を２次元座標に投影するために必要なパラメータをまとめると以下の通りにまとめることができる。
パラメータ１：ワールド座標系の原点Ｏ
パラメータ２：ワールド座標系から見た視点Ｖ
パラメータ３：ワールド座標系からみた注視点Ｒ
パラメータ４：視点Ｖと投影面中心点Ｐの距離ｆ
パラメータ５：視点座標系からみた時の３次元物体の座標Ｓ（Ｓx，Ｓy，Ｓz）

画像合成部５０は、工作機械１の機械座標系を上記で説明したワールド座標系とし、サーモグラフィ２の座標（赤外線レンズの位置）を視点Ｖ、サーモグラフィ２が温度分布を検出する範囲の中心点を注視点Ｒ、サーモグラフィ２の焦点距離をｆとして、シミュレーション動画生成部３０が生成した工作機械１の加工室内の３次元シミュレーション動画の３次元空間の各座標点Ｓ（Ｓx，Ｓy，Ｓz）を温度分布画像生成部４０が生成した温度分布画像（投影面）上の座標へと変換することで、温度分布画像生成部４０が生成した温度分布画像と、シミュレーション動画生成部３０が生成した工作機械１の加工室内の３次元シミュレーション動画とを重畳させた画像を合成する。

以下では、上記した構成を備えた本実施形態の画像表示装置１００が工作機械１の加工室内における画像を合成して表示する際の手順について説明する。
まず、加工前の一般的な準備として、工作機械１の制御部（一般には、数値制御装置）を操作してワーク座標系を定義してＮＣプログラムを作成する。ワーク座標は、一般的に工具とワークの加工点の座標となり、ＮＣプログラムでは、ワーク座標系を使用して工具の移動量等を指令する。

画像合成部５０は、ユーザにより設定された各設定値や、工作機械１の制御部から取得された各設定値に基づいて、加工室内の工具やワーク、その他の設備（３次元物体）を投影面へと投影するために、上記で説明したように座標系や各点の置き換えを行う。

図４は、図２で説明した３次元物体の座標を２次元座標に投影する概念を、実際の工作機械１とサーモグラフィ２の座標系に置き換えた場合を示す図である。なお、図４の例は、ミリング加工の場合を示している。
図４に示される画像合成部５０が行う画像の合成に必要となるパラメータの内で、機械座標系の原点Ｍは、工作機械１の制御部で決定されるので、制御部から取得するようにすれば良い。
また、機械座標系から見たサーモグラフィ２の赤外線レンズの位置は、機械座標系から見たサーモグラフィ２の取り付け位置で決まるので、該位置が工作機械１の制御部に設定されている場合はそこから取得すれば良いし、そうでない場合にはユーザが画像表示装置１００を操作して設定するようにすれば良い。

機械座標系から見た注視点Ｒは、サーモグラフィ２の赤外線レンズの位置Ｖから投影面に対して垂直に下ろした直線とワーク表面の交点とすることができる。なお、機械座標系から見たワークの座標は、ワークの形状情報から求めることができるので、工作機械１の制御部に設定されている場合はそこから取得すれば良いし、そうでない場合にはユーザが画像表示装置１００を操作して設定するようにすれば良い。

サーモグラフィ２の赤外線レンズの焦点距離ｆは、使用するサーモグラフィ２の赤外線レンズの特性によって定まるので、サーモグラフィ２から取得できる場合にはそこから取得すれば良いし、そうでない場合にはユーザが画像表示装置１００を操作して設定するようにすれば良い。

サーモグラフィの赤外線レンズの位置Ｖの座標系からみた加工室内の工具やワーク、その他の設備の各点の座標Ｓは、シミュレーション動画生成部３０が加工情報に基づいて工作機械１で行われている加工の３次元シミュレーションを実行した結果から取得することができるので、該３次元シミュレーションにおける仮想空間の各点のワールド座標系の座標を、上記した手法で視点座標系へと変換することで得られる。

図５は、加工の開始段階において、シミュレーション動画生成部３０が作成した３次元シミュレーション動画を、画像合成部５０が投影面に対して投影することで作製した画像の一例である。

その後、工作機械１で加工が開始されると、加工情報入力部１０が工作機械１の制御部から所定周期ごとに加工情報を取得すると共に、温度分布データ入力部２０がサーモグラフィ２から所定周期ごとに温度分布データを取得する。温度分布データ入力部２０がサーモグラフィ２から取得する温度分布データは、サーモグラフィ２が取得した温度分布データの範囲における座標値（Ｔx,Ｔy）（投影面座標系上の座標値に相当する）と、該座標値が示す座標で計測された温度Ｔtとを含み、１回の取得でサーモグラフィ２が撮像した平面上の複数の点（一般には数千点）のデータＴ１（Ｔ1x，Ｔ1y，Ｔ1t）、Ｔ２（Ｔ2x，Ｔ2y，Ｔ2t）、．．．、Ｔｎ（Ｔnx，Ｔny，Ｔnt）を取得する。

シミュレーション動画生成部３０は、加工情報入力部１０が取得した加工情報に基づいて３次元シミュレーションを実行し、３次元シミュレーション動画を作成する。また、温度分布画像生成部４０は、温度分布データ入力部２０が取得した温度分布データに基づいて温度分布画像を生成する。温度分布画像生成部４０は、一例として取得した温度分布データに基づいて等温線画像を生成する。温度分布画像生成部４０が作成する等温線画像は、平面上に温度分布データをプロットし、同じ温度どうしを線で結ぶことで生成される。温度分布画像生成部４０は、等温線画像上の等温線の温度分布を視覚的に判り易くするために、等温線間を異なる色で着色する。

そして、画像合成部５０は、図６に示すように、温度分布画像生成部４０が生成した等温線画像と、加工シミュレーション動画を投影面に投影した投影画像とを、サーモグラフィ２から取得した温度分布データに基づいて作成される温度分布画像の中心点Ｔと、３次元シミュレーション動画の投影面中心点Ｐとが一致するように重畳させることで両者を合成する。
図７は、本実施形態の画像表示装置１００の画像表示部６０に表示される画像の例である。画像合成部５０は、一般的に公知な画像合成、画像加工の技術を用いることにより、例えば図７（ａ）に示すように温度分布画像を半透明にして３次元シミュレーション動画と重畳させたり、図７（ｂ）に示すように３次元シミュレーション動画における加工室内の工具やワーク、その他の設備の輪郭を強調して表示した画像と温度分布画像とを重畳させたりすることも可能である。

以上、ここまで本発明の実施の形態について説明したが、本発明は上記した実施の形態の例にのみ限定されるものでなく、適宜の変更を加えることにより様々な態様で実施することができる。
例えば、上記した実施形態では、ミリング加工の例を説明したが、図８に示すように、本発明の手法を旋盤加工に対して適用することも可能である。また、その他の産業機械に適用することも可能である。

また、上記した実施形態では温度分布データを取得するセンサとしてサーモグラフィを用いた例を示したが、所定の視点から見た温度分布を計測できるセンサであればどのようなものを用いても良い。

１工作機械
２サーモグラフィ
１０加工情報入力部
２０温度分布データ入力部
３０シミュレーション動画生成部
４０温度分布画像生成部
５０画像合成部
６０画像表示部
１００画像表示装置

Claims

機械の温度分布を表示する画像表示装置において、
前記機械で行われている加工に係る加工情報を取得する加工情報入力部と、
前記加工情報に基づいて前記機械で行われている加工の状況を示す３次元加工シミュレーションを実行し、３次元シミュレーション動画を生成するシミュレーション動画生成部と、
前記機械の温度分布の状況を示す温度分布データを取得する温度分布データ入力部と、
前記温度分布データに基づいて温度分布画像を生成する温度分布画像生成部と、
前記３次元シミュレーション動画から生成された投影画像と、前記温度分布画像とを合成した画像を生成する画像合成部と、
前記画像合成部が生成した画像を表示する画像表示部と、
を備えた画像表示装置。
前記温度分布データは、前記機械を所定の視点から見た場合の温度分布を示しており、
前記画像合成部は、前記３次元シミュレーション動画を前記視点から見た場合の投影画像と、前記温度分布画像とを合成した画像を生成する、
請求項１に記載の画像表示装置。
前記温度分布データは、前記機械に取り付けられたサーモグラフィにより取得されたものである、
請求項１または２に記載の画像表示装置。