JP7479480B2 - 表示制御装置、加工シミュレーション装置、表示制御方法及びプログラム - Google Patents

表示制御装置、加工シミュレーション装置、表示制御方法及びプログラム Download PDF

Info

Publication number
JP7479480B2
JP7479480B2 JP2022542531A JP2022542531A JP7479480B2 JP 7479480 B2 JP7479480 B2 JP 7479480B2 JP 2022542531 A JP2022542531 A JP 2022542531A JP 2022542531 A JP2022542531 A JP 2022542531A JP 7479480 B2 JP7479480 B2 JP 7479480B2
Authority
JP
Japan
Prior art keywords
reflected light
display
image
workpiece
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022542531A
Other languages
English (en)
Other versions
JPWO2022034646A5 (ja
JPWO2022034646A1 (ja
Inventor
亜紀 嶺岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2022034646A1 publication Critical patent/JPWO2022034646A1/ja
Publication of JPWO2022034646A5 publication Critical patent/JPWO2022034646A5/ja
Application granted granted Critical
Publication of JP7479480B2 publication Critical patent/JP7479480B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4069Simulating machining process on screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Numerical Control (AREA)

Description

本開示は、表示制御装置、加工シミュレーション装置、表示制御方法及びプログラムに関する。
NC(Numerical Control)工作機械は、CAM(Computer Aided Manufacturing)装置などによって作成された加工プログラムに基づいて加工を行う。NC工作機械によって加工された加工物には、加工プログラムの設計者の意図と異なる仕上がりを示す加工不良が発生する場合がある。加工不良は、例えば、加工プログラムに問題点がある場合、加工条件又はNC工作機械の調整が適切ではないことで加工プログラムの指示にNC工作機械が追随していない場合などに発生する。NC工作機械によって切削加工を行うときに加工プログラムに問題点がある場合、加工不良は削り残し又は削り過ぎによって発生する。
このような加工不良の発生を防ぐために、NC工作機械による加工を行う前に、予め作成された加工プログラムに基づいて加工シミュレーションを行う装置が普及している。例えば、特許文献1を参照。特許文献1には、加工プログラムに基づいて加工シミュレーションした仮想の加工物の加工面の形状を表示部に表示させる技術が記載されている。
また、建築素材の仕上がりをコンピュータによってシミュレーションする技術が普及している。例えば、特許文献2を参照。特許文献2には、観察環境の変化及び建築素材の向きの変化に応じた建築素材の画像を表示部に表示させる技術が記載されている。
特開2017-156170号公報 特開2017-33319号公報
しかしながら、NC工作機械によって加工された加工物の加工面の質感は、建築素材とは異なり、加工物の材質、工具の加工パスなどによっても異なる。また、加工物の用途に応じて、加工面の評価基準が異なる。そのため、上記いずれの従来技術においても、予め作成された加工プログラムに基づいて加工物の加工面の質感を予測し、その予測に基づいて加工物の用途毎の評価基準に応じた加工プログラムに修正することは困難である。
また、観察者は、観察状態に応じて変化する表面の質感(例えば、光沢及び陰影の位置)に基づいて、加工物の形状及び質感を認識する。しかしながら、上記いずれの従来技術においても、表示部に表示された仮想の加工物の画像における質感は、実環境のように、観察状態に応じて変化しない。そのため、加工シミュレーションの結果に基づいて、加工物における加工不良の有無を確認することが困難であった。
本開示は、加工シミュレーションによって加工された仮想の加工物の加工面の各位置に照射された光の反射光を画像に付加することを目的とする。
本開示の一態様に係る表示制御装置は、加工シミュレーションによって加工された仮想の加工物の画像を表示部に表示させる表示制御装置であって、前記加工物の形状を示す形状データを取得する形状データ取得部と、前記加工物に仮想の光源によって光を照射するときの照明条件を取得する照明条件取得部と、前記加工物の材質を示す材質情報を取得する材質情報取得部と、前記表示部における前記画像の表示範囲を決定する仮想のカメラの位置を示すカメラ位置情報を取得するカメラ位置情報取得部と、前記表示部の表示面から観察者の眼の位置までの距離と前記表示面に対する前記観察者の視線の方向との少なくとも一方を含む観察状態を示す観察状態情報を取得する観察状態取得部と、前記カメラから見た前記加工物の前記画像を生成し前記表示部に提供する表示画像生成部と、前記表示部における前記画像の縮尺を示す縮尺情報を取得する縮尺情報取得部とを有し、前記表示画像生成部は、前記形状データ、前記照明条件、前記材質情報、前記カメラ位置情報、及び前記観察状態情報に基づいて、前記光源によって前記加工物の加工面の各位置に照射された光の反射光である第1の反射光のうちの、前記各位置から前記観察者の眼に向かう反射光である第2の反射光を算出し、前記カメラから見た前記加工物の前記画像に前記第2の反射光を付加し、前記縮尺情報が、拡大率が予め決められた基準値以上を示す場合に、前記第1の反射光のうちの1次反射光を前記第2の反射光として前記画像に付加し、前記縮尺情報が、前記拡大率が前記基準値より小さいことを示す場合に、前記第1の反射光のうちの前記1次反射光及び2次反射光を前記第2の反射光として前記画像に付加することを特徴とする。
本開示の他の態様に係る表示制御方法は、加工シミュレーションによって加工された仮想の加工物の画像を表示部に表示させる表示制御装置が実行する表示制御方法であって、前記加工物の形状を示す形状データを取得するステップと、前記加工物に仮想の光源によって光を照射するときの照明条件を取得するステップと、前記加工物の材質を示す材質情報を取得するステップと、前記表示部における前記画像の表示範囲を決定する仮想のカメラの位置を示すカメラ位置情報を取得するステップと、前記表示部の表示面から観察者の眼の位置までの距離と前記表示面に対する前記観察者の視線の方向とを含む観察状態情報を取得するステップと、前記カメラから見た前記加工物の前記画像を生成し前記表示部に提供するステップと、前記表示部における前記画像の縮尺を示す縮尺情報を取得するステップとを有し、前記表示部に前記画像を提供するステップでは、前記形状データ、前記照明条件、前記材質情報、前記カメラ位置情報、及び前記観察状態情報に基づいて、前記光源によって前記加工物の加工面の各位置に照射された光の反射光である第1の反射光のうちの、前記各位置から前記観察者の眼に向かう反射光である第2の反射光を算出し、前記カメラから見た前記加工物の前記画像に前記第2の反射光を付加し、前記縮尺情報が、拡大率が予め決められた基準値以上を示す場合に、前記第1の反射光のうちの1次反射光を前記第2の反射光として前記画像に付加し、前記縮尺情報が、前記拡大率が前記基準値より小さいことを示す場合に、前記第1の反射光のうちの前記1次反射光及び2次反射光を前記第2の反射光として前記画像に付加することを特徴とする。
本開示によれば、加工シミュレーションによって加工された仮想の加工物の加工面の各位置に照射された光の反射光を画像に付加することができる。
実施の形態1に係る加工システムの構成を概略的に示すブロック図である。 図1に示されるNC工作機械のボールエンドフライスカッタの構成を示す側面図である。 図2に示されるボールエンドフライスカッタによって加工された加工物を示す斜視図である。 実施の形態1に係る加工シミュレーション装置の使用状態を示す概略図である。 実施の形態1に係る加工シミュレーション装置の構成を概略的に示すブロック図である。 実施の形態1に係る表示制御装置が表示部に提供する画像が生成される仮想空間を示す模式図である。 (A)は、加工物の加工面の各位置に照射された入射光及び当該入射光の反射光のうちの1次反射光を示す模式図である。(B)は、加工物の加工面の各位置に照射された入射光、当該入射光の反射光のうちの1次反射光及び2次反射光を示す模式図である。 (A)は、実施の形態1に係る表示制御装置の表示画像生成部によって生成されたミクロ用表示画像の一例を示す図である。(B)は、実施の形態1に係る表示制御装置の表示画像生成部によって生成されたマクロ用表示画像の一例を示す図である。 (A)は、図8(A)に示される表示器の左側が下がるように傾斜したときに表示器に表示される画像の一例を示す図である。(B)は、図8(A)に示される表示器の右側が下がるように傾斜したときに表示器に表示される画像の一例を示す図である。 実施の形態1に係る加工シミュレーション装置のハードウェア構成を概略的に示す図である。 実施の形態1に係る表示制御装置の動作を示すフローチャートである。
以下に、実施の形態1に係る表示制御装置、加工シミュレーション装置、表示制御方法及びプログラムを、図面を参照しながら説明する。以下の実施の形態1は、例にすぎず、適宜変更することが可能である。
〈実施の形態1〉
図1は、実施の形態1に係る加工システム1の構成を概略的に示すブロック図である。図1に示されるように、加工システム1は、加工シミュレーション装置100と、CAM装置200と、NC工作機械300(以下、「NC加工機」ともいう)とを備える。
加工シミュレーション装置100は、被加工物に対するNC工作機械300の加工を模擬する装置である。なお、加工シミュレーション装置100の構成については、後述する。
CAM装置200は、NC工作機械300への動作指令が記述された加工プログラムを作成する。
NC工作機械300は、CAM装置200によって作成された加工プログラムに基づいて、被加工物を加工する。図1に示す例では、NC工作機械300は、切削用工具としてのボールエンドフライスカッタ301と、ボールエンドフライスカッタ301を駆動する駆動部302とを有する。ボールエンドフライスカッタ301は、被加工物の表面を自由形状に形成することが可能である。駆動部302は、例えば、モータと、モータの駆動力をボールエンドフライスカッタ301に伝達する伝達機構(例えば、ギヤ)とを有する。なお、NC工作機械300は、ボールエンドフライスカッタに限らず、ドリルなどの他の工具を有していてもよい。
図2は、図1に示されるNC工作機械300のボールエンドフライスカッタ301の構成を示す側面図である。図2に示されるように、ボールエンドフライスカッタ301の先端部301aの形状は、例えば、球状である。また、ボールエンドフライスカッタ301の先端部301aを除く部分301bは、例えば、円柱状である。
図3は、図2に示されるボールエンドフライスカッタ301によって加工された加工物400を示す斜視図である。加工物400は、ボールエンドフライスカッタ301によって加工された加工面410を有する。図3に示す例では、加工面410は、複数の切削面411、412、413を有する。ボールエンドフライスカッタ301は、加工物400に円弧状の切削面411、412、413を形成する。ここで、複数の切削面411、412、413のうちの隣接する切削面の間には、三角形状の尖部414、415が形成されている。
次に、切削加工された加工物に発生する加工不良について説明する。図1及び2に示されるボールエンドフライスカッタ301によって切削加工された加工物には、切削パスなどの不具合によって加工面及び加工物の形状に加工不良が発生する場合がある。加工不良が発生した場合、製品の出荷ができないため、加工物における加工不良を発生させないことが望まれている。
一般的に、加工不良には、「傷」及び「加工ムラ」という2種類の不良が存在する。ここで、「傷」とは、例えば、加工物の加工面に形成された微小な深さを有する溝である。溝の深さは、例えば、約10μmである。言い換えれば、「傷」とは、加工後に本来なら連続面である加工面の一部に段差が形成されることで生じる加工不良である。「傷」の有無は、加工面の形状の不規則性によって認識されるため、人が加工面に触れることで判断できる。
「加工ムラ」とは、例えば、加工物の加工面に形成された微小な高さを有する不連続な凹凸である。凹凸の高さは、例えば、約1μmである。「加工ムラ」は、加工面において質感のばらつきが広範囲に発生している加工不良である。つまり、「加工ムラ」とは、加工物の形状が均質化されておらず、加工面における一部の箇所の色又は模様が他の箇所の色又は模様と異なるように見える加工不良である。「加工ムラ」の有無は、光の回折によって、虹色に基づく色ムラ又は形状ムラが加工面に表れることによって判断できる。
一般的には、「傷」及び「加工ムラ」の有無は、NC加工機のユーザによって視覚的に評価される。例えば、ユーザは、加工物の試作加工を行い、当該試作加工された加工物の加工面に、室内の照明光又は太陽光などを当てたときの反射光によって加工不良の有無を確認する。ユーザによって、加工不良有りと判定されたとき、当該加工物は出荷できない。そのため、ユーザは、加工プログラムにおける加工パラメータを修正する作業を行う。しかし、試作加工及び加工パラメータの修正作業を含む加工準備プロセスは、多くの時間を要するプロセスである。そのため、当該加工準備プロセスを削減し、加工作業を効率化することが望まれている。
次に、人による物体表面の質感の認識について説明する。実環境において、物体に照射された光の反射光は、物体の材質、物体の表面の形状又は物体の周辺に位置する光源の特性などに応じて変化する。例えば、人は反射光の変化によって表れる物体の表面の微細な凹凸、光沢及び陰影の変化によって、物体の材質を理解する。これにより、人は、物体の表面性状、つまり、物体の質感を認識することができる。
よって、本明細書における「質感」とは、人が、物体の表面(つまり、加工物の加工面)で反射した反射光によって理解する材質特性である。反射光は、波長特性(以下、「色味」ともいう)、指向性及び拡散性などの特性を有する。
また、人が物体の表面を観察する場合、眼、頭又は体を動かすという能動的な動きを行う。このような観察時における動きに基づいて物体の表面の光沢及び陰影が変化することによって、人は、物体の材質を更に理解し易くなる。よって、観察時における人の動きに応じて、加工シミュレーション装置100の表示部(つまり、後述する図4に示される表示器20)に表示する仮想の加工物(以下、「オブジェクト」ともいう)の画像が変化すれば、NC加工機によって実際に加工された加工物の加工面を模擬した表示を行うことができる。
物体の表面で反射した反射光には、鏡面反射した反射光成分及び拡散反射した反射光成分が含まれる。鏡面反射は、光の入射角と反射角が互いに同じ角度である反射をいう。拡散反射は、入射光が反射面から様々な方向に反射することである。そのため、鏡面反射した反射光成分は指向性が強く、拡散反射した反射光成分は全方位方向に反射する。また、物体の表面で反射した反射光には、内部反射する反射光成分、及び相互反射する反射光成分が更に含まれる。内部反射は、物体の内部を伝搬する光が当該内部で散乱して物体の外部に向けて反射することである。相互反射は、物体から反射した光が他の物体にぶつかって更に反射することである。
そのため、加工シミュレーション装置100の表示部に表示する仮想の加工物の画像に付加する反射光の色味を変化させた場合、当該加工物のリアリティを更に高めることができる。反射光の色味の変化は、例えば、表示部の周辺に存在する物又は人を含む風景及び当該表示部を照らす光の色味に応じた映り込みを画像に発生させることで実現することができる。
次に、加工シミュレーション装置100の構成について説明する。図4は、図1に示される加工シミュレーション装置100の使用状態を示す概略図である。図4に示されるように、加工シミュレーション装置100は、表示制御装置10と、表示部としての表示器20とを有する。表示制御装置10は、実施の形態1に係る表示制御方法及び実施の形態に係るプログラムを実行することができる装置である。
表示制御装置10は、加工シミュレーションによって加工された仮想の加工物502の画像を表示器20に表示させる。加工シミュレーション装置100のユーザである観察者50は、表示器20を見ることで加工シミュレーションの結果を確認することができる。図4に示す例では、表示器20に表示された画像は、後述する図8(B)に示されるマクロ用表示画像A2である。
表示器20は、例えば、液晶ディスプレイ、有機EL(Electro Luminescense)ディスプレイ、マイクロLED(Light Emitting Diode)ディスプレイなどである。なお、表示器20は、空中ディスプレイ、HMD(Head Mounting Display)、VR(Virtual Reality)装置、AR(Augmented Reality)装置などの他の表示装置であってもよい。
図4に示す例では、表示制御装置10及び表示器20は、端末装置30に備えられている。端末装置30は、例えば、タブレット型PC(Personal Computer)、ノート型PCなどである。なお、表示制御装置10は、表示器20を備える端末装置とは別の端末装置に備えられていてもよい。
図5は、実施の形態1に係る加工シミュレーション装置100の構成を概略的に示すブロック図である。図5に示されるように、表示制御装置10は、形状データ取得部11と、照明条件取得部12と、材質情報取得部13と、カメラ位置情報取得部14と、表示範囲情報取得部15と、観察状態取得部16と、表示画像生成部17とを有する。
形状データ取得部11は、加工物の形状を示す形状データを取得する。形状データ取得部11は、観察者50(図4参照)が操作する入力装置(例えば、キーボード及びマウスなど)110を介して形状データを取得する。形状データ取得部11は、例えば、3次元のボリュームデータを形状データとして取得する。取得された形状データは、表示制御装置10の記憶部(図示せず)に記憶される。なお、形状データ取得部11は、3次元のボリュームデータを取得する構成に限らず、加工物の表面を法線方向に変化させることで凹凸感を表すバンプマッピングが行われたデータを取得してもよい。また、形状データ取得部11は、実際に切削加工された加工物の形状を3次元形状計測装置によって計測することで得られたデータを取得してもよい。形状データ取得部11は、取得した形状データを表示画像生成部17に出力する。
照明条件取得部12は、加工物に仮想の光源(つまり、後述する図6に示される仮想光源42)によって光を照射するときの照明条件を取得する。加工物の材質が金属である場合、照明条件は、例えば、仮想の光源から出射した光が加工面に入射するときの角度、仮想の光源の位置、光の強度、光の配光分布、仮想の光源の数、光の色及び光の波長特性のいずれか1つ以上を含む。
図5に示す例では、照明条件取得部12は、入力装置110を介して照明条件を取得する。照明条件取得部12は、取得した照明条件を表示画像生成部17に出力する。なお、照明条件取得部12は、入力装置110を介して照明条件を取得しなくてもよく、予め決められた照明条件を記憶していてもよい。また、照明条件取得部12は、予め決められた複数の照明条件を記憶していてもよい。例えば、加工物の材質が金属である場合、照明条件に応じて加工面に照射される光の反射特性が異なる。照明条件取得部12が複数の照明条件を記憶しておくことで、加工物の材質又は形状に対応する照明条件を取得することができる。
材質情報取得部13は、加工物の材質を示す材質情報を取得する。実施の形態1では、材質情報取得部13は、材質情報として加工物の素材を示す素材情報を取得する。加工物の素材は、例えば、金属(例えば、アルミニウム、鉄、チタンなど)、樹脂(例えば、プラスチック)、木材、及びゴムのいずれかを含む。材質情報取得部13には、例えば、予め決められた複数の素材情報が記憶されている。材質情報取得部13は、記憶された複数の素材情報から入力装置110を介して観察者50が選択した素材情報を材質情報として取得する。なお、加工物の素材情報が材質情報取得部13に記憶されていない場合、材質情報取得部13は、入力装置110を介して入力された新たな素材情報を材質情報として取得してもよい。また、材質情報取得部13は、素材情報に限らず、加工物の物体色についての情報又は鏡面反射強度についての情報を含むテクスチャ画像を材質情報として取得してもよく、BRDF(Bidirectional Reflectance Distribution Function)データを材質情報として取得してもよい。
カメラ位置情報取得部14は、表示器20(図4参照)を見る観察者50の眼を仮想的に置き換えた仮想のカメラ(つまり、後述する図6に示される仮想カメラ41)の位置を示すカメラ位置情報を取得する。カメラ位置情報取得部14は、例えば、キーボード及びマウスなどの入力装置110を介してカメラ位置情報を取得する。なお、表示器20がタッチ操作の可能なディスプレイ(以下、「タッチパネルディスプレイ」ともいう)である場合、カメラ位置情報取得部14は、タッチパネルディスプレイにおける観察者50のタッチ操作を介してカメラ位置情報を取得してもよい。
表示範囲情報取得部15は、カメラ位置情報取得部14によって取得されたカメラ位置情報を、表示器20に表示される仮想の加工物の画像の表示範囲を示す表示範囲情報として取得する。
観察状態取得部16は、表示器20を見る観察者50(図4参照)の観察状態を示す観察状態情報を取得する。観察状態情報は、表示器20の表示面20a(図4参照)から観察者50の眼の位置までの距離と、表示面20aに対する観察者50の視線の方向とを含む。観察状態取得部16は、例えば、観察者50を撮影して観察者50をトラッキングする撮像装置(例えば、カラーカメラ、赤外線カメラなど)である。
観察状態取得部16は、例えば、観察者50を撮影することによって取得した画像に含まれる観察者50の頭50a(図4参照)の面積を検出することで、表示器20の表示面20aから観察者50の眼の位置までの距離を取得する。観察状態取得部16によって検出された頭50aの面積が予め決められた閾値より大きい場合、観察者50は予め決められた基準位置より近い位置にいることを検出できる。また、検出された頭50aの面積が当該閾値以下である場合、観察者50は基準位置より遠い位置にいることを検出できる。なお、観察状態取得部16は、観察者50の頭50aの幅又は長さを検出してもよい。また、観察状態取得部16は、当該撮像装置が観察者50を最初に撮影したときの観察者の眼の位置を基準位置とし、観察者の眼が当該基準位置に対して左右方向及び上下方向のいずれに動いているかによって、観察状態情報を取得してもよい。
また、観察状態取得部16は、検出された頭50aの画像における画素の移動量を取得し、当該画素の移動量に基づいて表示面20aに対する観察者50の位置を取得してもよい。また、検出された頭50aの面積が経時的に小さくなるとき、当該頭50aの面積の変化量に対応する画素の移動量を取得し、当該画素の取得量に基づいて表示面20aに対する観察者50の位置を取得してもよい。
図4に示されるように、実施の形態1では、観察状態取得部16は、表示器20に備えられている。なお、観察状態取得部16は、表示器20の近傍に備えられていてもよい。また、観察状態取得部16は、表示制御装置10又は表示制御装置10の近傍に備えられていてもよい。この場合、観察状態取得部16は、加速度センサ、ジャイロセンサ、ToF(Time of Flight)センサなどであってもよい。また、観察状態取得部16は、表示器20と観察者50との相対的な位置関係を取得できれば、加工シミュレーション装置100から離れた位置に配置されていてもよい。
また、照明条件取得部12によって取得された照明条件のうち仮想の光源の位置が予め決められた基準位置から離れている条件である場合には、加工シミュレーションによって加工したオブジェクトの見え方(つまり、質感)が変化しない。このとき、観察状態取得部16は、表示面20aに対する観察者50の位置を取得しなくてもよい。
表示画像生成部17は、表示器20に提供する仮想の加工物の画像を生成する。表示画像生成部17は、形状データ、照明条件、材質情報、カメラ位置情報、及び観察状態情報に基づいて画像を生成する。具体的には、表示画像生成部17は、加工物の形状データを照明条件、材質情報、カメラ位置情報、及び観察状態情報に基づいてレンダリング処理した画像を生成する。仮想の加工物の画像は、仮想の3次元空間(つまり、後述する図6に示される仮想空間V)において生成される。
図6は、仮想の加工物(以下、単に「加工物」ともいう)500が生成される仮想空間Vを示す模式図である。図6には、XYZ直交座標系が示されている。X軸及びY軸は、水平面に平行な座標軸である。Z軸は、X軸及びY軸の両方に直交する座標軸である。図6に示されるように、仮想空間Vには、表示器20における加工物500の画像の表示範囲を決定する仮想カメラ41と、仮想空間Vにおける光源である仮想光源42が存在する。
仮想カメラ41の位置は、加工シミュレーションによって加工された仮想の加工物500の画像が表示器20に表示されるときの視点位置である。表示器20における加工物500の表示範囲は、仮想カメラ41の位置に基づいて定まる。つまり、表示器20における加工物500の画像の表示範囲は、仮想カメラ41の位置に対応する。実施の形態1では、観察者50(図4参照)がカメラ位置情報取得部14に仮想カメラ41の位置を入力することで、表示器20における加工物500の表示範囲が定まる。つまり、仮想カメラ41の位置は、表示器20を見る観察者50の視点の位置を示す。このように、観察者50の入力操作によって、仮想空間Vにおける仮想カメラ41の位置を変化させることで、表示器20における加工物500の表示範囲を観察者50が望む範囲に自在に設定することができる。
仮想光源42は、加工物500に照射する光として入射光L1を照射する。図6に示す例では、仮想カメラ41及び加工物500のそれぞれの位置は固定されていて、仮想光源42の位置が観察者50(図4参照)の観察状態に応じて変化する。例えば、仮想カメラ41は加工物500を表示器20(図4参照)に表示可能な位置に固定され、仮想光源42の位置は観察者50の観察状態に応じてX軸方向、Y軸方向及びZ軸方向のいずれかに変化する。
表示画像生成部17(図5参照)は、形状データ、照明条件、材質情報、カメラ位置情報、及び観察状態情報に基づいて、仮想光源42によって加工物500の各位置に照射された入射光L1の反射光である第1の反射光L2のうちの、当該各位置から観察者50の眼に向かう反射光である第2の反射光L3の強度を算出し、仮想カメラ41から見た加工物500の画像に当該第2の反射光L3を付加する。例えば、観察状態に応じて仮想光源42の位置が変化したとき、表示画像生成部17は、加工物500の加工面の各位置から観察者50の眼に向かう第2の反射光L3の強度を変更する。これにより、表示器20に表示される加工物500の質感が変化する。
図5に示されるように、表示制御装置10は、縮尺情報取得部18と、縮尺情報判断部19とを更に有する。なお、表示制御装置10は、縮尺情報取得部18及び縮尺情報判断部19を有しない構成であっても、実現することができる。
縮尺情報取得部18は、表示器20における画像の縮尺を示す縮尺情報を取得する。表示器20がタッチパネルディスプレイである場合、縮尺情報取得部18は、例えば、タッチ操作によるジェスチャ動作又はスライダバーを用いたGUI(Graphical User Interface)を介して縮尺情報を取得してもよい。なお、表示器20にタッチセンサが内蔵されていない場合、縮尺情報取得部18は、例えば、キーボード及びマウスなどの入力装置を介して縮尺情報を取得してもよい。
実施の形態1では、縮尺情報取得部18によって取得される縮尺は、第1の縮尺と、第1の縮尺より大きい第2の縮尺とを有する。第1の縮尺は、加工シミュレーションによって加工した仮想の加工物の画像の一部を拡大表示するときの縮尺である。第2の縮尺は、加工シミュレーションによって加工した仮想の加工物の画像を等倍表示又は縮小表示するときの縮尺である。
縮尺情報判断部19は、縮尺情報取得部18によって取得された縮尺情報に基づいて、表示器20に表示させる画像の種類を判断する。実施の形態1では、縮尺情報判断部19は、第1の縮尺が縮尺情報取得部18によって取得されたときに、表示器20にミクロ用表示画像(つまり、後述する図8(A)に示されるミクロ用表示画像A1)を表示させると判断する。縮尺情報判断部19は、第2の縮尺が縮尺情報取得部18によって取得されたときに、表示器20にマクロ用表示画像(つまり、後述する図8(B)に示されるマクロ用表示画像A2)を表示させると判断する。なお、縮尺情報判断部19は、予め決められた基準値以上の拡大率を有する縮尺情報が縮尺情報取得部18によって取得されたときに、表示器20にミクロ用表示画像を表示させると判断してもよい。また、縮尺情報判断部19は、基準値と同じ又は小さい拡大率を有する縮尺情報が縮尺情報取得部18によって取得されたときに、表示器20にマクロ用表示画像を表示させると判断してもよい。
表示画像生成部17は、ミクロ用表示画像生成部17aと、マクロ用表示画像生成部17bとを有する。
ミクロ用表示画像生成部17aは、縮尺情報判断部19によって表示器20に表示させる画像がミクロ用表示画像であると判断されたときに、当該ミクロ用表示画像を生成する。ミクロ用表示画像は、図6に示される仮想光源42によって照射された入射光L1の第1の反射光L2のうちの1次反射光(つまり、後述する図7(A)に示される1次反射光L21~L25)が付加された画像である。このように、ミクロ用表示画像生成部17aは、1次反射光が付加された画像をレンダリング(「描画」ともいう)するレンダリング部である。
マクロ用表示画像生成部17bは、縮尺情報判断部19によって表示器20に表示させる画像がマクロ用表示画像であると判断されたときに、当該マクロ用表示画像を生成する。マクロ用表示画像は、図6に示される仮想光源42によって照射された入射光L1の第1の反射光L2のうちの1次反射光(つまり、後述する図7(B)に示される1次反射光L23、L25)及び2次反射光(つまり、後述する図7(B)に示される2次反射光L31、L32、L33)が付加された画像である。このように、マクロ用表示画像生成部17bは、1次反射光及び2次反射光が付加された画像をレンダリングするレンダリング部である。
図7(A)及び(B)を用いて、加工物に照射された光の1次反射光L21~L25及び2次反射光L31~L33について説明する。図7(A)は、加工物500の加工面500aの各位置に照射された入射光L11~L15、及び当該入射光L11~L15の反射光のうちの1次反射光L21~L25を示す模式図である。図7(A)に示されるように、1次反射光L21~L25は、加工物500の加工面500aの各位置に照射された入射光L11~L15が加工面500aで1度反射して観察者50(図4参照)の眼に届く反射光である。つまり、1次反射光L21~L25は、加工物500の加工面500aに入射光L11~L15が照射されることによって生じる反射光である。1次反射光L21~L25が進む方向及び強度は、加工面500aの入射光L11~L15の入射角度及び加工面500aの法線方向に基づいて定められる。
1次反射光L21~L25の輝度値は、例えば、バンプマッピングによって算出される。また、光学反射の計算は、例えば、Phongモデル、Torrance-Sparrowモデル及びBlinnモデルなどの反射モデルのうち加工物の材質に対応する反射モデルによって行われる。1次反射光L21~L25が付加された画像のレンダリング処理は、カメラ位置情報取得部14、観察状態取得部16、縮尺情報取得部18のそれぞれで取得される情報が更新される毎に行われる。これにより、更新された各情報に対応する画像をリアルタイムで表示器20に表示することができる。
図7(B)は、加工物500の加工面500aの各位置に照射された入射光L11~L15、及び当該入射光L11~L15の反射光のうちの1次反射光L23、L25及び2次反射光L31、L32、L33を示す模式図である。図7(B)に示す例では、加工面500aの各位置に照射された入射光L11~L15のうち入射光L13、L15は、加工面500aで1度反射した1次反射光L23、L25として観察者50の眼に届く。入射光L11~L15のうち入射光L11、L12、L14は、加工面500aで2度反射した2次反射光L31、L32、L33として観察者50の眼に届く。2次反射光L31、L32、L33は、加工物500の加工面500aの各位置に照射された入射光L11、L12、L14が加工面500aで複数回反射して観察者50の眼に届く反射光である。2次反射光L31、L32、L33は、表面下散乱成分、屈折成分、相互反射光成分及び回折光成分を含む。
2次反射光L31、L32、L32の輝度値は、例えば、光線の伝搬を計測してモデル化する物理ベースレンダリング、フォトンマッピング、光の回折に基づいて作成されたモデル式を用いた近似によって算出される。また、2次反射光L31、L32、L32の輝度値は、BRDF又はNDF(Normal Distribution Function)を用いてレンダリング処理を行うマイクロファセット理論によって算出されてもよい。1次反射光L23、L25及び2次反射光L31、L32、L33が付加された画像のレンダリング処理は、カメラ位置情報取得部14、観察状態取得部16及び縮尺情報取得部18のそれぞれで取得される情報が更新される毎に行われる。これにより、更新された各情報に対応する画像をリアルタイムで表示器20に表示することができる。
1次反射光L23、L25及び2次反射光L31、L32、L33が付加された画像の反射特性は、1次反射光L21~L25のみが付加された画像の反射特性と比べて、複雑である。つまり、加工シミュレーションによって加工されたオブジェクトの画像に1次反射光L23、L25及び2次反射光L31、L32、L33が付加されることで、当該オブジェクトの質感を実環境に近づけることができる。
次に、図8(A)及び(B)並びに図9(A)及び(B)を用いて、表示画像生成部17によって生成される画像の具体例について説明する。図8(A)は、表示画像生成部17のミクロ用表示画像生成部17aによって生成されたミクロ用表示画像A1の一例を示す図である。図8(B)は、表示画像生成部17のマクロ用表示画像生成部17bによって生成されたマクロ用表示画像A2の一例を示す図である。ミクロ用表示画像A1及びマクロ用表示画像A2は、ボールエンドフライスカッタ301(図2参照)を用いた切削加工をシミュレーションすることで得られたグラフィックスである。
ミクロ用表示画像A1は、図5に示される縮尺情報取得部18によって取得された縮尺が第1の縮尺であるときに生成される画像である。つまり、ミクロ用表示画像A1は、加工シミュレーションによって加工した加工物501を拡大表示させるときに表示器20に表示される画像である。ミクロ用表示画像A1には、ミクロ用表示画像生成部17aによって算出された1次反射光L21~L25(図7(A)参照)が付加されている。
マクロ用表示画像A2は、縮尺情報取得部18によって取得された縮尺が第2の縮尺であるときに生成される画像である。つまり、マクロ用表示画像A2は、加工シミュレーションによって加工した加工物502を等倍/縮小表示させるときに表示器20に表示される画像である。マクロ用表示画像A2には、マクロ用表示画像生成部17bによって算出された1次反射光L23、L25及び2次反射光L31、L32、L33(図7(B)参照)が付加されている。
マクロ用表示画像A2の反射特性は、ミクロ用表示画像A1の反射特性と比較して複雑であるため、マクロ用表示画像A2の加工物502の質感を実環境に近づけることができる。一方で、ミクロ用表示画像A1には1次反射光L21~L25が付加され、マクロ用表示画像A2には1次反射光L23、L25及び2次反射光L31、L32、L33が付加されているため、ミクロ用表示画像A1を生成するためのレンダリング処理時間を、マクロ用表示画像A2を生成するためのレンダリング処理時間より短縮することができる。そのため、観察者50の視線の方向に追従してミクロ用表示画像A1を表示器20に滑らかに表示することができる。
表示器20を見る観察者50は、表示器20に表示されたミクロ用表示画像A1及びマクロ用表示画像A2に基づいて、仮想の加工物501、502における加工不良の有無を確認することで、加工プログラムの修正要否を評価することができる。
例えば、観察者50は、ミクロ用表示画像A1を見ることによって、拡大表示された加工物501の加工面における傷の有無を確認することができる。一般的に、NC工作機械300(図1参照)のユーザは、当該NC工作機械300によって加工された加工物における加工不良の有無を評価する場合に、加工物における像の有無を確認する。具体的には、ユーザは、加工物の加工面を目視又は当該加工面を拡大するためのルーペを用いることで確認する。図9(A)に示されるように、表示制御装置10では、加工シミュレーションによって加工した加工物501を拡大表示する場合、1次反射光L21~L25が付加され、2次反射光が付加されないミクロ用表示画像A1が表示器20に表示される。これにより、ミクロ用表示画像A1において、虹色に色づく色ムラ又は色つきが生じ難くなるため、観察者50が、加工物501の加工面の細かな凹凸形状(つまり、切削形状)を認識し易くなる。よって、加工物501の加工面における傷の有無を確認することができる。
また、観察者50は、マクロ用表示画像A2を見ることによって、加工物502の形状が広範囲において均質であるか否かを視覚的に確認することができる。これにより、観察者50は、加工物502における加工ムラの有無を確認することができる。
図9(A)は、図4に示される表示器20の左側が下がるように傾斜したときに表示器20に表示される画像A3の一例を示す図である。図9(A)に示される画像A3は、観察者50によって、図8(A)に示される表示器20の左側が下がるように傾けられたときの画像である。図9(B)は、図8(A)に示される表示器20右側が下がるように傾斜したときに表示器20に表示される画像A4の一例を示す図である。図9(B)に示される画像A4は、観察者50によって、図8(A)に示される表示器20の右側が下がるように傾けられたときの画像である。
図9(A)及び(B)に示されるように、画像A3の光沢は画像A4の光沢より強く、画像A3は画像A4より明るい。このように、表示器20に対する観察者50の観察状態の変化に応じて、表示器20に表示される画像の反射特性が異なる。つまり、表示画像生成部17は、観察状態の変化に応じて、観察者50の眼に向かう第2の反射光L3(図6参照)の強度を変更する。これにより、表示器20に表示される加工物501のリアリティが向上するため、観察者50は加工物501の加工面の質感を確認し易くなる。
図10は、加工シミュレーション装置100のハードウェア構成を概略的に示す図である。図10に示されるように、加工シミュレーション装置100は、メモリ10aと、プロセッサ10bと、表示器20とを有する。
表示制御装置10(図5参照)は、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ10aと、メモリ10aに格納されたプログラムを実行する情報処理部としてのプロセッサ10bとを備えたコンピュータによって実現することができる。メモリ10aは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)などである。プロセッサ10bが、プログラムを実行することにより、表示制御装置10の各構成の機能が実現される。なお、表示制御装置10の構成の一部をメモリ10aとプロセッサ10bとによって実現してもよい。また、表示制御装置10は、電気回路によって実現されていてもよい。
次に、表示制御装置10の動作について説明する。図11は、表示制御装置10の動作を示すフローチャートである。
先ず、ステップS1において、形状データ取得部11は、加工シミュレーションによって加工される仮想の加工物500の形状を示す形状データを取得する。
ステップS2において、材質情報取得部13は、加工物500の材質を示す材質情報を取得する。
ステップS3において、カメラ位置情報取得部14は、仮想空間Vにおいて、加工物500の画像の表示範囲を決定する仮想カメラ41の位置を取得する。仮想カメラ41の初期位置は、カメラ位置情報取得部14において予め記憶されている。仮想カメラ41の位置は、後述するステップS10において、表示範囲が更新されたときに変更される。これにより、観察者50は、仮想カメラ41の位置、つまり、表示器20に表示される加工物500の表示範囲を自由に設定できるため、観察者50は、所望の表示範囲で加工物500を見ることができるため、当該加工物500の質感を確認し易くなる。
ステップS4において、照明条件取得部12は、加工物500に仮想光源42によって入射光L1を照射するときの照明条件を取得する。照明条件は、後述するステップS11において、表示器20を見る観察者50の観察状態情報が取得された場合に変更される。
ステップS5において、縮尺情報判断部19は、縮尺情報取得部18によって取得された縮尺が第1の縮尺であるか否かを判定し、当該縮尺が第1の縮尺であると判定した場合(つまり、ステップS5において、判定がYesの場合)、処理をステップS6へ進める。縮尺情報判断部19は、縮尺情報取得部18によって取得された縮尺が第1の縮尺でないと判定した場合(つまり、ステップS5において、判定がNoの場合)、処理をステップS7へ進める。つまり、縮尺情報判断部19は、縮尺情報取得部18によって取得された縮尺が第2の縮尺であると判定した場合、処理をステップS7へ進める。なお、ステップS5において、判定がNoの場合には、縮尺情報取得部18が入力装置110を介して縮尺情報を取得していない場合も含む。つまり、ステップS5において、縮尺情報判断部19は、縮尺情報が入力されていない場合であっても、処理をステップS7へ進める。
ステップS6において、ミクロ用表示画像生成部17aは、形状データ、照明条件、材質情報、カメラ位置情報、及び第1の縮尺に基づいて1次反射光L21~L25を算出し、1次反射光L21~L25が付加されたミクロ用表示画像A1を生成する。
ステップS7において、マクロ用表示画像生成部17bは、形状データ、照明条件、材質情報、カメラ位置情報、及び第2の縮尺に基づいて1次反射光L23、L25及び2次反射光L31、L32、L33を算出し、1次反射光L23、L25及び2次反射光L31、L32、L33が付加されたマクロ用表示画像A2を作成する。
ステップS8において、表示画像生成部17は、ステップS7及びステップS8で作成された画像を表示器20に提供する。表示器20における画像の更新頻度は、例えば、100ms以下である。これにより、表示器20を見る観察者50が、画像の表示の遅延を認識し難くなる。なお、表示器20における画像の更新頻度は、観察状態取得部16の更新頻度に対応していてもよく、例えば、30fpsであってもよい。
ステップS9において、表示制御装置10は、表示器20における画像の表示を終了するか否かを判定し、表示を終了すると判定した場合(つまり、ステップS9において、判定がYesの場合)、処理をステップS13へ進める。表示制御装置10は、表示器20における表示画像の表示を終了しないと判定した場合(つまり、ステップS9において、判定がNoの場合)、処理をステップS8に戻す。
ステップS10において、表示制御装置10は、表示器20における画像の表示範囲の更新の有無を判定する。つまり、表示制御装置10は、表示範囲情報取得部15によって表示範囲情報が取得されたか否かを判定する。ここで、画像の表示範囲の更新とは、表示器20に表示されている画像の表示範囲を変更することである。表示範囲の更新の有無は、カメラ位置情報取得部14によって取得されたカメラ位置情報が更新されているか否かによって判定される。
表示器20としてのタッチパネルディスプレイに2次元のオブジェクトの画像が表示されている場合、観察者50が指をタッチパネルディスプレイ上において左右方向及び上下方向に移動させる操作を行うことによって、カメラ位置情報が取得され、表示範囲が更新される。また、タッチパネルディスプレイに3次元のオブジェクトの画像が表示されている場合、観察者50が指をタッチパネルディスプレイ上において左右方向及び上下方向に移動させる操作を行うことによって、表示範囲は3次元的に更新される。なお、表示器20がHMDである場合、表示範囲は、観察者50の手の動作の認識又はジョイスティックによる操作によって更新されてもよい。
ステップS10において、表示制御装置10は、表示範囲が更新されたと判断した場合(つまり、ステップS10において、判定がYesの場合)、処理をステップS3に戻す。また、表示制御装置10は、表示範囲が更新されていないと判断した場合(つまり、ステップS10において、判定がNoの場合)、処理を終了する。
ステップS11において、表示制御装置10は、観察状態取得部16によって観察状態情報が取得されたか否かを判定し、観察状態情報が取得されたと判定した場合(つまり、ステップS11において、判定がYesの場合)、処理をステップS4に戻す。つまり、観察状態取得部16によって観察状態情報が取得された場合、照明条件が更新される。その後、処理がステップS6に進んだ場合、ミクロ用表示画像生成部17aは、形状データ、材質情報、カメラ位置情報、及び第1の縮尺に加えて更新された照明条件に基づいて、ミクロ用表示画像A1を生成する。つまり、観察状態情報が取得された場合、ミクロ用表示画像生成部17aは、形状データ、照明条件、材質情報、カメラ位置情報、観察状態情報及び第1の縮尺に基づいて、ミクロ用表示画像A1を生成する。
また、観察状態情報が取得された後に、処理がステップS7に進んだ場合、マクロ用表示画像生成部17bは、形状データ、材質情報、カメラ位置情報、及び第2の縮尺に加えて更新された照明条件に基づいて、マクロ用表示画像A2を生成する。つまり、観察状態情報が取得された場合、マクロ用表示画像生成部17Bは、形状データ、照明条件、材質情報、カメラ位置情報、観察状態情報及び第2の縮尺に基づいて、マクロ用表示画像A2を生成する。
表示制御装置10は、観察状態取得部16によって観察状態情報が取得されていないと判定した場合(つまり、ステップS11において、判定がNoの場合)、処理を終了する。
ステップS12において、縮尺情報判断部19は、縮尺情報取得部18によって縮尺情報が更新されたか否かを判定し、縮尺情報が更新されたと判定した場合(つまり、ステップS12において、判定がYesの場合)、処理をステップS6に戻す。縮尺情報判断部19は、縮尺情報が更新されていないと判定した場合(つまり、ステップS12において、判定がNoの場合)、処理を終了する。
ステップS13において、表示器20は、加工物500の画像の表示を終了する。
以上に説明したように、実施の形態1に係る表示制御装置10によれば、表示画像生成部17は、形状データ、照明条件、材質情報、カメラ位置情報、及び観察状態情報に基づいて、仮想光源42によって加工物500の加工面の各位置に照射された入射光L1の反射光である第1の反射光L2のうちの、各位置から観察者50の眼に向かう反射光である第2の反射光L3を算出し、仮想カメラ41から見た加工物500の画像に第2の反射光L3を付加する。これにより、表示器20に表示される加工物500の画像の光沢及び陰影が変化し、当該加工物500の質感が実環境に近づくため、加工物500のリアリティを向上させることができる。よって、観察者50は、加工シミュレーションによって加工された加工物500における加工不良の有無を確認することができる。
CAM装置200によって作成された加工プログラムに問題点がある場合、当該加工プログラムに記述された指令コードであるGコードによって、所望の形状を有する加工物が製造されない場合がある。また、NC加工機の工具は、NC加工機の作動部(例えば、図1に示される駆動部302の回転軸)によって動作するが、当該工具の動作速度、動作範囲、加速度及び減速度は、予め決められている。そのため、NC加工機の工具の実際の動作は、加工プログラムに記述された動作指令に追従せず、所望の形状を有する加工物が製造されない場合もある。
NC加工機によって実際に加工された加工物と、所望の形状を有する加工物との相違点は、NC加工機のユーザによって視認することが困難な場合がある。例えば、実際に加工された加工物の加工面には、深さ及び幅が数マイクメートルであり、長さが数十マイクロメートルである傷又は欠け目が加工不良として発生する場合がある。
そこで、NC加工機によって加工する前に、軟質且つ安価な材料によって形成された試作用被加工物を試作加工することによって、加工プログラムに問題点があるか否かを確認する試作加工の工程が行われる場合がある。NC加工機のユーザは、試作加工された加工物を目視検査することによって、当該加工物における加工不良の有無を判断する。加工不良有りと判断された場合には、加工プログラムが修正される。
しかしながら、このような試作加工の工程には、時間及びコストがかかる。試作加工の工程に費やされる時間は、例えば、数時間である。また、加工不良を発生させない加工プログラムが作成されるまでに試作加工の工程が繰り返し行われる場合もある。実施の形態1に係る表示制御装置10によれば、上述した通り、表示器20に表示される加工物500のリアリティが向上しており、観察者50は、加工シミュレーションによって加工された加工物500における加工不良の有無を確認し易くなる。そのため、NC加工機を用いた試作加工の工程が不要となり、生産性を向上させることができる。
また、実施の形態1によれば、表示制御装置10によって算出された第2の反射光L3が付加された画像が表示器20に表示される。これにより、表示された画像が加工シミュレーションの結果としてデジタル空間において確認されるため、観察者50は、遠隔地にいる作業者と当該結果を共有することができる。
また、実施の形態1によれば、表示画像生成部17は、観察状態の変化に応じて、第2の反射光L3の強度を変更する。これにより、表示器20に表示される加工物501のリアリティが向上するため、観察者50は加工物501の加工面の表面性状を確認し易くなる。よって、加工シミュレーションによって加工された加工物500における加工不良の有無を確認し易くなる。
また、実施の形態1によれば、表示制御装置10は、表示器20における画像の縮尺を示す縮尺情報を取得する縮尺情報取得部18を有し、表示画像生成部17は、形状データ、照明条件、材質情報、カメラ位置情報、観察状態情報に加えて縮尺情報に基づいて、第2の反射光L3を算出し、仮想カメラ41から見た加工物500の画像に第2の反射光L3を付加する。これにより、画像の縮尺に応じて、表示器20に表示される画像を変更することができる。
また、実施の形態1によれば、縮尺情報取得部18によって取得された縮尺が表示器20に表示される画像を拡大表示させる第1の縮尺であるときに、1次反射光L21~L25が画像に付加されたミクロ用表示画像A1が生成される。また、縮尺情報取得部18によって取得された縮尺が表示器20に表示される画像を等倍/縮小表示させる第2の縮尺であるときに、1次反射光L23、L25及びL31、L32、L33が画像に付加されたマクロ用表示画像A2が生成される。これにより、ミクロ用表示画像A1を生成するためのレンダリング処理時間を、マクロ用表示画像A2を生成するためのレンダリング処理時間より短縮することができる。観察者50の視線の方向に追従してミクロ用表示画像A1を表示器20に滑らかに表示することができる。
また、実施の形態1によれば、マクロ用表示画像A2には、1次反射光L23、L25及びL31、L32、L33が付加されている。これにより、マクロ用表示画像A2の反射特性は、ミクロ用表示画像A1の反射特性と比較して複雑であるため、マクロ用表示画像A2を実環境に近づけることができる。そのため、観察者は、加工シミュレーションによって加工された加工物における加工不良の有無を確認し易くなる。
また、実施の形態1によれば、カメラ位置情報取得部14は、観察者50によって操作される入力装置110を介してカメラ位置情報を取得する。これにより、カメラ位置情報が更新される毎に表示器20における画像の表示範囲が変更されるため、加工シミュレーションによって加工された加工物500を観察者50が望む方向から確認することができる。よって、加工物500における加工不良の有無を一層確認し易くなる。
1 加工システム、 10 表示制御装置、 10a メモリ、 10b プロセッサ、 11 形状データ取得部、 12 照明条件取得部、 13 材質情報取得部、 14 カメラ位置情報取得部、 15 表示範囲情報取得部、 16 観察状態取得部、 17 表示画像生成部、 17a ミクロ用表示画像生成部、 17b マクロ用表示画像生成部、 18 縮尺情報取得部、 19 縮尺情報判断部、 20 表示器、 20a 表示面、 30 端末装置、 41 仮想カメラ、 42 仮想光源、 50 観察者、 100 加工シミュレーション装置、 110 入力装置、 200 CAM装置、 300 NC工作機械、 301 ボールエンドフライスカッタ、 L1、L11、L12、L13、L14、L15 入射光、 L2 第1の反射光、 L3 第2の反射光、 L21、L22、L23、L24、L25 1次反射光、 L31、L32、L33 2次反射光、 V 仮想空間。

Claims (9)

  1. シミュレーション上の加工物の画像を表示部に表示させる表示制御装置であって、
    前記加工物の形状を示す形状データを取得する形状データ取得部と、
    前記加工物に仮想の光源によって光を照射するときの照明条件を取得する照明条件取得部と、
    前記加工物の材質を示す材質情報を取得する材質情報取得部と、
    前記表示部における前記画像の表示範囲を決定する仮想の視点位置を示す位置情報を取得する位置情報取得部と、
    前記仮想の視点位置から見た前記加工物の前記画像を生成し前記表示部に提供する表示画像生成部と
    前記表示部における前記画像の縮尺を示す縮尺情報を取得する縮尺情報取得部と
    を有し、
    前記表示画像生成部は、前記形状データ、前記照明条件、前記材質情報、及び前記位置情報に基づいて、前記光源によって前記加工物の加工面の各位置に照射された光の反射光である第1の反射光のうちの、前記各位置から前記仮想の視点位置に向かう反射光である第2の反射光を算出し、前記仮想の視点位置から見た前記加工物の前記画像に前記第2の反射光を付加し、前記縮尺情報が、拡大率が予め決められた基準値以上を示す場合に、前記第1の反射光のうちの1次反射光を前記第2の反射光として前記画像に付加し、前記縮尺情報が、前記拡大率が前記基準値より小さいことを示す場合に、前記第1の反射光のうちの前記1次反射光及び2次反射光を前記第2の反射光として前記画像に付加する
    表示制御装置。
  2. シミュレーション上の加工物の画像を表示部に表示させる表示制御装置であって、
    前記加工物に仮想の光源によって光を照射するときの照明条件を取得する照明条件取得部と、
    前記表示部における前記画像の表示範囲を決定する仮想の視点位置を示す位置情報を取得する位置情報取得部と、
    前記仮想の視点位置から見た前記加工物の前記画像を生成し前記表示部に提供する表示画像生成部と
    前記表示部における前記画像の縮尺を示す縮尺情報を取得する縮尺情報取得部と
    を有し、
    前記表示画像生成部は、前記照明条件及び前記位置情報に基づいて、前記光源によって前記加工物の加工面の各位置に照射された光の反射光である第1の反射光のうちの、前記各位置から前記仮想の視点位置に向かう反射光である第2の反射光を算出し、前記仮想の視点位置から見た前記加工物の前記画像に前記第2の反射光を付加し、前記縮尺情報が、拡大率が予め決められた基準値以上を示す場合に、前記第1の反射光のうちの1次反射光を前記第2の反射光として前記画像に付加し、前記縮尺情報が、前記拡大率が前記基準値より小さいことを示す場合に、前記第1の反射光のうちの前記1次反射光及び2次反射光を前記第2の反射光として前記画像に付加する
    表示制御装置。
  3. 前記表示部の表示面から観察者の視点位置までの距離と前記表示面に対する前記観察者の観察の方向との少なくとも一方を含む観察状態を示す観察状態情報を取得する観察状態取得部を有し、
    前記表示画像生成部は、さらに前記観察状態情報に基づいて前記第2の反射光を算出する
    請求項1又は2に記載の表示制御装置。
  4. 加工シミュレーションによって加工された仮想の加工物の画像を表示部に表示させる表示制御装置であって、
    前記加工物の形状を示す形状データを取得する形状データ取得部と、
    前記加工物に仮想の光源によって光を照射するときの照明条件を取得する照明条件取得部と、
    前記加工物の材質を示す材質情報を取得する材質情報取得部と、
    前記表示部における前記画像の表示範囲を決定する仮想のカメラの位置を示すカメラ位置情報を取得するカメラ位置情報取得部と、
    前記表示部の表示面から観察者の眼の位置までの距離と前記表示面に対する前記観察者の視線の方向との少なくとも一方を含む観察状態を示す観察状態情報を取得する観察状態取得部と、
    前記カメラから見た前記加工物の前記画像を生成し前記表示部に提供する表示画像生成部と
    前記表示部における前記画像の縮尺を示す縮尺情報を取得する縮尺情報取得部と
    を有し、
    前記表示画像生成部は、前記形状データ、前記照明条件、前記材質情報、前記カメラ位置情報、及び前記観察状態情報に基づいて、前記光源によって前記加工物の加工面の各位置に照射された光の反射光である第1の反射光のうちの、前記各位置から前記観察者の眼に向かう反射光である第2の反射光を算出し、前記カメラから見た前記加工物の前記画像に前記第2の反射光を付加し、前記縮尺情報が、拡大率が予め決められた基準値以上を示す場合に、前記第1の反射光のうちの1次反射光を前記第2の反射光として前記画像に付加し、前記縮尺情報が、前記拡大率が前記基準値より小さいことを示す場合に、前記第1の反射光のうちの前記1次反射光及び2次反射光を前記第2の反射光として前記画像に付加する
    表示制御装置。
  5. 前記表示画像生成部は、前記観察状態の変化に応じて、前記第2の反射光の強度を変更する
    請求項4に記載の表示制御装置。
  6. 前記カメラ位置情報取得部は、前記観察者によって操作される入力装置を介して前記カメラ位置情報を取得する
    請求項4又は5に記載の表示制御装置。
  7. 請求項1からのいずれか1項に記載の表示制御装置と、
    前記表示部と
    を有する加工シミュレーション装置。
  8. 加工シミュレーションによって加工された仮想の加工物の画像を表示部に表示させる表示制御装置が実行する表示制御方法であって、
    前記加工物の形状を示す形状データを取得するステップと、
    前記加工物に仮想の光源によって光を照射するときの照明条件を取得するステップと、
    前記加工物の材質を示す材質情報を取得するステップと、
    前記表示部における前記画像の表示範囲を決定する仮想のカメラの位置を示すカメラ位置情報を取得するステップと、
    前記表示部の表示面から観察者の眼の位置までの距離と前記表示面に対する前記観察者の視線の方向とを含む観察状態情報を取得するステップと、
    前記カメラから見た前記加工物の前記画像を生成し前記表示部に提供するステップと
    前記表示部における前記画像の縮尺を示す縮尺情報を取得するステップと
    を有し、
    前記表示部に前記画像を提供するステップでは、前記形状データ、前記照明条件、前記材質情報、前記カメラ位置情報、及び前記観察状態情報に基づいて、前記光源によって前記加工物の加工面の各位置に照射された光の反射光である第1の反射光のうちの、前記各位置から前記観察者の眼に向かう反射光である第2の反射光を算出し、前記カメラから見た前記加工物の前記画像に前記第2の反射光を付加し、前記縮尺情報が、拡大率が予め決められた基準値以上を示す場合に、前記第1の反射光のうちの1次反射光を前記第2の反射光として前記画像に付加し、前記縮尺情報が、前記拡大率が前記基準値より小さいことを示す場合に、前記第1の反射光のうちの前記1次反射光及び2次反射光を前記第2の反射光として前記画像に付加する
    表示制御方法。
  9. 加工シミュレーションによって加工された仮想の加工物の画像を表示部に表示させるコンピュータに、
    前記加工物の形状を示す形状データを取得するステップと、
    前記加工物に仮想の光源によって光を照射するときの照明条件を取得するステップと、
    前記加工物の材質を示す材質情報を取得するステップと、
    前記表示部における前記画像の表示範囲を決定する仮想のカメラの位置を示すカメラ位置情報を取得するステップと、
    前記表示部の表示面から観察者の眼の位置までの距離と前記表示面に対する前記観察者の視線の方向との少なくとも一方を含む観察状態を示す観察状態情報を取得するステップと、
    前記カメラから見た前記加工物の前記画像を生成し前記表示部に提供するステップと
    前記表示部における前記画像の縮尺を示す縮尺情報を取得するステップと
    を行わせるプログラムであって、
    前記表示部に前記画像を提供するステップでは、前記形状データ、前記照明条件、前記材質情報、前記カメラ位置情報、及び前記観察状態情報に基づいて、前記光源によって前記加工物の加工面の各位置に照射された光の反射光である第1の反射光のうちの、前記各位置から前記観察者の眼に向かう反射光である第2の反射光を算出し、前記カメラから見た前記加工物の前記画像に前記第2の反射光を付加し、前記縮尺情報が、拡大率が予め決められた基準値以上を示す場合に、前記第1の反射光のうちの1次反射光を前記第2の反射光として前記画像に付加し、前記縮尺情報が、前記拡大率が前記基準値より小さいことを示す場合に、前記第1の反射光のうちの前記1次反射光及び2次反射光を前記第2の反射光として前記画像に付加する
    プログラム。
JP2022542531A 2020-08-12 2020-08-12 表示制御装置、加工シミュレーション装置、表示制御方法及びプログラム Active JP7479480B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/030652 WO2022034646A1 (ja) 2020-08-12 2020-08-12 表示制御装置、加工シミュレーション装置、表示制御方法及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2022034646A1 JPWO2022034646A1 (ja) 2022-02-17
JPWO2022034646A5 JPWO2022034646A5 (ja) 2022-12-21
JP7479480B2 true JP7479480B2 (ja) 2024-05-08

Family

ID=80247777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022542531A Active JP7479480B2 (ja) 2020-08-12 2020-08-12 表示制御装置、加工シミュレーション装置、表示制御方法及びプログラム

Country Status (4)

Country Link
JP (1) JP7479480B2 (ja)
CN (1) CN116034399A (ja)
DE (1) DE112020007505T5 (ja)
WO (1) WO2022034646A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203770A1 (ja) 2015-06-17 2016-12-22 凸版印刷株式会社 画像処理システム、方法、及びプログラム
WO2017150578A1 (ja) 2016-02-29 2017-09-08 国立大学法人神戸大学 物体表面修正方法、ワークの加工方法および加工システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6610065B2 (ja) 2015-07-31 2019-11-27 凸版印刷株式会社 化粧材シミュレーションシステム、方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203770A1 (ja) 2015-06-17 2016-12-22 凸版印刷株式会社 画像処理システム、方法、及びプログラム
WO2017150578A1 (ja) 2016-02-29 2017-09-08 国立大学法人神戸大学 物体表面修正方法、ワークの加工方法および加工システム

Also Published As

Publication number Publication date
CN116034399A (zh) 2023-04-28
WO2022034646A1 (ja) 2022-02-17
DE112020007505T5 (de) 2023-06-15
JPWO2022034646A1 (ja) 2022-02-17

Similar Documents

Publication Publication Date Title
US11954808B2 (en) Rerendering a position of a hand to decrease a size of a hand to create a realistic virtual/augmented reality environment
US10620712B2 (en) Interactive input system and method
US9911240B2 (en) Systems and method of interacting with a virtual object
KR101748337B1 (ko) 워크의 가공면 평가방법, 제어장치 및 공작기계
US10235807B2 (en) Building holographic content using holographic tools
US11671717B2 (en) Camera systems for motion capture
US20160210780A1 (en) Applying real world scale to virtual content
DK2828831T3 (en) Point and click lighting for image-based lighting surfaces
KR20170119289A (ko) 3차원 물체 인쇄에서 깊이를 이용하여 시야각 및 조명각에 따라 변하는 색들의 형성
US20200026478A1 (en) Control Apparatus, Head Mounted Display And Robot System
JP7479480B2 (ja) 表示制御装置、加工シミュレーション装置、表示制御方法及びプログラム
Inui et al. Using a GPU to accelerate die and mold fabrication
US11507051B2 (en) Object surface evaluation method, evaluation device, workpiece machining method using said evaluation method, and machine tool
Tyris et al. Interactive view planning exploiting standard machine vision in structured light scanning of engineering parts
WO2015156900A1 (en) Method of establishing multi-sensor measuring machine routines
Verlinden et al. The enablers for interactive augmented prototyping
Valvo A Virtual Lathe for Part Program Verification

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240423

R150 Certificate of patent or registration of utility model

Ref document number: 7479480

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150