JP7409848B2 - 表示装置及び表示プログラム - Google Patents
表示装置及び表示プログラム Download PDFInfo
- Publication number
- JP7409848B2 JP7409848B2 JP2019219471A JP2019219471A JP7409848B2 JP 7409848 B2 JP7409848 B2 JP 7409848B2 JP 2019219471 A JP2019219471 A JP 2019219471A JP 2019219471 A JP2019219471 A JP 2019219471A JP 7409848 B2 JP7409848 B2 JP 7409848B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- augmented reality
- virtual robot
- robot
- reality display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 claims description 70
- 238000001514 detection method Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 11
- 230000032258 transport Effects 0.000 description 22
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40353—Split robot into two virtual robot, origin of second equals tip of first
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Processing Or Creating Images (AREA)
Description
また、本開示の表示プログラムの一態様によれば、コンピュータによって、作業現場に実際にロボットを設置する前に、作業現場のレイアウトの確認及びロボットの作業に対する処理能力の確認を容易に行うことができる。
拡張現実表示部2は、図1に示すように、仮想ロボット10を実空間上の物体(本実施形態では作業現場100、搬送装置200、作業対象300及び作業者WKである。)と共に表示する。拡張現実表示部11は、一般的にはコンピュータのモニタ画面によって構成され、例えば表示装置1に設けられる撮像装置によって撮影された実空間上の上記物体を、仮想ロボット10と共に表示する。
まず、操作者は、表示装置1を起動させ、撮像装置としても機能する位置検出部3によって、図1に示すように実空間上の作業現場100を撮影する。これによって、表示装置1は、拡張現実表示部2に、撮影された実空間上の物体(作業現場100、搬送装置200、作業対象300及び作業者WK)の画像に重畳して、仮想ロボット10を表示させる(S1)。
本開示の表示装置1、1Aは、所定のプログラムに従って動作する仮想ロボット10を実空間上の物体(作業現場100、搬送装置200、作業対象300及び作業者WK)と共に表示する拡張現実表示部2と、拡張現実表示部2から実空間上の作業対象300までの距離を計測することによって、作業対象300の位置を検出する位置検出部3と、拡張現実表示部2に表示される仮想ロボット10を、位置検出部3によって検出された作業対象300の位置に基づいて動作させ、作業対象300に対して所定の作業を実行させる制御部4と、を備える。
これによって、作業現場100にロボットを設置した際のレイアウトやロボットの動作を拡張現実表示部2上で確認することができる。そのため、ロボット設置後の作業現場のレイアウトを確認するために、既存のシステムの図面にロボットを追加したり、オフラインソフトにおいて、ワークの流れをシミュレートしてロボットを動作させる等の必要はなく、作業現場100に実際にロボットを設置する前に、作業現場100のレイアウトの確認及びロボットの作業に対する処理能力の確認を容易に行うことができる。
これによって、拡張現実表示部2上の仮想ロボット10と作業対象300との相対的な位置関係を正確に把握できるため、ロボットの作業に対する処理能力をより正確に判断することができる。
これによって、作業対象管理部5は、搬送装置200の搬送精度に影響されることなく、作業対象300の正確な移動速度を把握することができ、作業対象300の正確な現在位置を計測することができる。
これによって、現実のロボットの動作による作業と同様に、仮想ロボット10を作業対象300に対して動作させて作業を行わせることができる。そのため、操作者は、拡張現実表示部2上で、現実のロボットの作業対象300に対する処理能力を、より正確に把握することができる。
これによって、拡張現実表示部2に表示される実空間上の物体の配置に応じて、拡張現実表示部2上の仮想ロボット10を、現実のロボットの設置位置に合せて配置させることができる。
これによって、オペレータは、拡張現実表示部2上の作業対象300に対する仮想ロボット10の作業の達成状況を容易に確認することができる。
これによって、表示プログラムを、拡張現実表示部2、位置検出部3及び制御部4を備える表示装置1、1Aのコンピュータにおいて実行することによって、表示装置1、1Aを用いて、作業現場100に実際にロボットを設置する前に、作業現場100のレイアウトの確認及びロボットの作業に対する処理能力の確認を容易に行うことができる。
2 拡張現実表示部
3 位置検出部
4 制御部
5 作業対象管理部
10 仮想ロボット
20 作業対象に対する所定の作業を達成したことを示す情報
100 作業現場(物体)
200 搬送装置(物体)
300 作業対象(物体)
WK 作業者(物体)
Claims (7)
- 所定のプログラムに従って動作する仮想ロボットを、ロボットが設置されていない実空間上の搬送装置及び前記搬送装置によって搬送される作業対象を少なくとも含む物体と共に表示し、かつ、前記仮想ロボットを任意の位置に配置可能な拡張現実表示部と、
前記拡張現実表示部から前記作業対象の位置を検出する位置検出部と、
前記拡張現実表示部に表示される前記仮想ロボットを、前記位置検出部によって検出された前記作業対象の位置に基づいて動作させ、前記作業対象に対して所定の作業を実行させる制御部と、
を備える、表示装置。 - 前記位置検出部によって検出された前記作業対象の位置に基づいて、前記作業対象の現在位置を計測する作業対象管理部を更に備える、請求項1に記載の表示装置。
- 前記作業対象管理部は、同一対象と見做せる前記作業対象に対して前記位置検出部によって少なくとも2回の位置を検出した結果から前記作業対象の移動速度を計測し、その移動速度に基づいて、前記作業対象の現在位置を計測する、請求項2に記載の表示装置。
- 前記制御部は、前記作業対象管理部によって計測された前記作業対象の現在位置が前記仮想ロボットの作業範囲内に入った際に、前記作業対象の現在位置に基づいて、前記作業対象を追いかけながら作業を行うように前記仮想ロボットを動作させる、請求項2又は3に記載の表示装置。
- 前記拡張現実表示部は、前記仮想ロボットを任意の位置に配置可能に構成される、請求項1~4のいずれか1項に記載の表示装置。
- 前記拡張現実表示部は、前記作業対象に対する所定の作業を達成したことを示す情報を、前記作業対象に重畳して表示する、請求項1~5のいずれか1項に記載の表示装置。
- コンピュータを、
所定のプログラムに従って動作する仮想ロボットを、ロボットが設置されていない実空間上の搬送装置及び前記搬送装置によって搬送される作業対象を少なくとも含む物体と共に表示し、かつ、前記仮想ロボットを任意の位置に配置可能な拡張現実表示部と、
前記拡張現実表示部から前記作業対象の位置を検出する位置検出部と、
前記拡張現実表示部に表示される前記仮想ロボットを、前記位置検出部によって検出された前記作業対象の位置に基づいて動作させ、前記作業対象に対して所定の作業を実行させる制御部と、
を備える表示装置として機能させる、表示プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019219471A JP7409848B2 (ja) | 2019-12-04 | 2019-12-04 | 表示装置及び表示プログラム |
US17/090,963 US11538201B2 (en) | 2019-12-04 | 2020-11-06 | Display device and display program |
DE102020131815.4A DE102020131815A1 (de) | 2019-12-04 | 2020-12-01 | Anzeigevorrichtung und Anzeigeprogramm |
CN202011403926.7A CN112894799A (zh) | 2019-12-04 | 2020-12-02 | 显示装置和显示程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019219471A JP7409848B2 (ja) | 2019-12-04 | 2019-12-04 | 表示装置及び表示プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021088028A JP2021088028A (ja) | 2021-06-10 |
JP7409848B2 true JP7409848B2 (ja) | 2024-01-09 |
Family
ID=75962666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019219471A Active JP7409848B2 (ja) | 2019-12-04 | 2019-12-04 | 表示装置及び表示プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11538201B2 (ja) |
JP (1) | JP7409848B2 (ja) |
CN (1) | CN112894799A (ja) |
DE (1) | DE102020131815A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020166371A (ja) * | 2019-03-28 | 2020-10-08 | セイコーエプソン株式会社 | 情報処理方法、情報処理装置、物体検出装置およびロボットシステム |
US20230078919A1 (en) * | 2021-09-16 | 2023-03-16 | Globus Medical, Inc. | Extended reality systems for visualizing and controlling operating room equipment |
KR102377988B1 (ko) * | 2021-09-30 | 2022-03-24 | 주식회사 아진엑스텍 | 로봇과의 협업 보조 방법 및 장치 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004209641A (ja) | 2002-12-30 | 2004-07-29 | Abb Res Ltd | 工業ロボットをプログラミングするための方法およびシステム |
JP2008021092A (ja) | 2006-07-12 | 2008-01-31 | Fanuc Ltd | ロボットシステムのシミュレーション装置 |
JP2017104944A (ja) | 2015-12-10 | 2017-06-15 | ファナック株式会社 | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム |
JP2019519387A (ja) | 2016-06-27 | 2019-07-11 | オートデスク,インコーポレイテッド | 拡張現実ロボットシステムの可視化 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6944584B1 (en) * | 1999-04-16 | 2005-09-13 | Brooks Automation, Inc. | System and method for control and simulation |
US7236854B2 (en) * | 2004-01-05 | 2007-06-26 | Abb Research Ltd. | Method and a system for programming an industrial robot |
US8271132B2 (en) * | 2008-03-13 | 2012-09-18 | Battelle Energy Alliance, Llc | System and method for seamless task-directed autonomy for robots |
US20140125698A1 (en) * | 2012-11-05 | 2014-05-08 | Stephen Latta | Mixed-reality arena |
JP6385627B1 (ja) | 2017-11-07 | 2018-09-05 | 三菱電機株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
JP6787966B2 (ja) * | 2018-10-02 | 2020-11-18 | ファナック株式会社 | 拡張現実と複合現実を用いたロボット制御装置及び表示装置 |
-
2019
- 2019-12-04 JP JP2019219471A patent/JP7409848B2/ja active Active
-
2020
- 2020-11-06 US US17/090,963 patent/US11538201B2/en active Active
- 2020-12-01 DE DE102020131815.4A patent/DE102020131815A1/de active Pending
- 2020-12-02 CN CN202011403926.7A patent/CN112894799A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004209641A (ja) | 2002-12-30 | 2004-07-29 | Abb Res Ltd | 工業ロボットをプログラミングするための方法およびシステム |
JP2008021092A (ja) | 2006-07-12 | 2008-01-31 | Fanuc Ltd | ロボットシステムのシミュレーション装置 |
JP2017104944A (ja) | 2015-12-10 | 2017-06-15 | ファナック株式会社 | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム |
JP2019519387A (ja) | 2016-06-27 | 2019-07-11 | オートデスク,インコーポレイテッド | 拡張現実ロボットシステムの可視化 |
Also Published As
Publication number | Publication date |
---|---|
US20210174555A1 (en) | 2021-06-10 |
CN112894799A (zh) | 2021-06-04 |
JP2021088028A (ja) | 2021-06-10 |
DE102020131815A1 (de) | 2021-06-10 |
US11538201B2 (en) | 2022-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7409848B2 (ja) | 表示装置及び表示プログラム | |
US11220002B2 (en) | Robot simulation device | |
US10888998B2 (en) | Method and device for verifying one or more safety volumes for a movable mechanical unit | |
JP5897624B2 (ja) | ワークの取出工程をシミュレーションするロボットシミュレーション装置 | |
JP6540472B2 (ja) | シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム | |
US11328507B2 (en) | Sensing system, work system, augmented-reality-image displaying method, augmented-reality-image storing method, and program | |
CN100475460C (zh) | 机器人的离线示教装置 | |
KR100929445B1 (ko) | 로봇 시뮬레이션장치 및 로봇 시뮬레이션 프로그램을 포함하는 기록매체 | |
US20080013825A1 (en) | Simulation device of robot system | |
JP7097251B2 (ja) | 施工管理システム | |
JP6902332B2 (ja) | 不具合情報取得システム | |
CN109116807B (zh) | 复合现实模拟装置以及计算机可读介质 | |
KR102228835B1 (ko) | 산업용 로봇의 측정 시스템 및 방법 | |
JP7120894B2 (ja) | 3次元モデル作成装置、加工シミュレーション装置、工具経路自動生成装置 | |
US11392106B2 (en) | Servomotor adjustment device and servomotor adjustment method | |
JP2016159406A (ja) | ロボット制御装置、ロボット制御方法及びロボットシステム | |
US11953307B2 (en) | Measuring apparatus | |
CN115916480A (zh) | 机器人示教方法和机器人作业方法 | |
US20230356401A1 (en) | Method of Controlling a Construction Robot and Construction Robot | |
WO2022249295A1 (ja) | ロボットシミュレーション装置 | |
US20230226688A1 (en) | Robot programming | |
TWI822314B (zh) | 焊接線檢測系統 | |
JP4259910B2 (ja) | ロボットの教示方法および教示装置 | |
JP2024044794A (ja) | 画像生成装置 | |
JP2021008011A (ja) | 加工検査装置、加工検査システム、加工検査方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221021 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7409848 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |