JP6631203B2 - Virtual fence display system - Google Patents

Virtual fence display system Download PDF

Info

Publication number
JP6631203B2
JP6631203B2 JP2015233296A JP2015233296A JP6631203B2 JP 6631203 B2 JP6631203 B2 JP 6631203B2 JP 2015233296 A JP2015233296 A JP 2015233296A JP 2015233296 A JP2015233296 A JP 2015233296A JP 6631203 B2 JP6631203 B2 JP 6631203B2
Authority
JP
Japan
Prior art keywords
worker
image data
head
robot
transmittance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015233296A
Other languages
Japanese (ja)
Other versions
JP2017100205A (en
Inventor
正和 宇都宮
正和 宇都宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to JP2015233296A priority Critical patent/JP6631203B2/en
Priority to US15/358,925 priority patent/US9855664B2/en
Priority to CN201611055537.3A priority patent/CN106808496B/en
Publication of JP2017100205A publication Critical patent/JP2017100205A/en
Application granted granted Critical
Publication of JP6631203B2 publication Critical patent/JP6631203B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Description

本発明は、作業者が頭部に装着する表示部に、ロボット本体の周辺に配置される安全柵を3次元でモデリングした3Dモデル画像データを表示させるバーチャルフェンス表示システムに関する。   The present invention relates to a virtual fence display system for displaying, on a display unit worn by an operator on a head, 3D model image data obtained by modeling a safety fence arranged around a robot body in three dimensions.

作業者が頭部に装着した状態の表示部に画像を投影可能に構成される頭部装着型ディスプレイを用いて、例えば仮想現実の画像や様々な情報を表示させる技術が例えば特許文献1等で提案されている。この技術を、ロボットが作業する領域に立ち入る可能性がある作業者の安全を確保するために適用することを想定する。   For example, Patent Literature 1 discloses a technology of displaying a virtual reality image and various information using a head-mounted display configured to project an image on a display unit in a state where the worker is mounted on the head. Proposed. It is assumed that this technique is applied to ensure the safety of a worker who may enter an area where the robot works.

例えば1つの手法として、作業者が頭部装着型ディスプレイを介してロボットを見た場合に、ロボットの周辺に仮想的な安全柵の画像を表示させることが考えられる。以下、この「仮想的な安全柵」を「バーチャルフェンス」と称する。このようなシステムを導入することで作業者の安全性を確保すると共に、実際には安全柵を配置する必要がなくなるので、ロボットと共存する環境下における作業者の作業効率が向上することも期待できる。   For example, as one method, it is conceivable to display an image of a virtual safety fence around the robot when the operator views the robot through the head-mounted display. Hereinafter, this “virtual safety fence” is referred to as “virtual fence”. By introducing such a system, it is possible to ensure the safety of workers, and it is not necessary to actually arrange a safety fence, so it is expected that the work efficiency of workers in an environment where robots coexist will be improved. it can.

特開2014−95903号公報JP 2014-95903 A

しかしながら、その一方で、作業者がロボットを視界に捉えた場合に、バーチャルフェンスが頭部装着型ディスプレイに常に表示されていると、作業者の気が散ることで作業効率の低下を招くおそれもある。   However, on the other hand, if the virtual fence is always displayed on the head-mounted display when the worker sees the robot in the field of view, the work efficiency may be reduced due to distraction of the worker. is there.

本発明は上記事情に鑑みてなされたものであり、その目的は、頭部装着型ディスプレイにおけるバーチャルフェンスの表示態様を、作業者の作業効率に極力影響を及ぼさないように最適化できるバーチャルフェンス表示システムを提供することにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a virtual fence display capable of optimizing a display mode of a virtual fence on a head-mounted display so as not to affect the work efficiency of an operator as much as possible. It is to provide a system.

請求項1記載のバーチャルフェンス表示システムによれば、画像処理部は、ロボット本体の位置を中心として、そのロボット本体の周辺に配置される安全柵を3次元でモデリングした3Dモデル画像データ,つまりバーチャルフェンスの3Dモデル画像データを保持する。また、画像処理部は、バーチャルフェンスの3Dモデル画像データを、複数の直方体で分割した形態で、且つ各直方体をそれぞれ所定の透過率の画像で表示するように処理可能である。尚、ここでの「直方体」には「立方体」も含む。   According to the virtual fence display system of the first aspect, the image processing unit is a 3D model image data obtained by modeling the safety fence arranged around the robot main body in three dimensions around the position of the robot main body, that is, a virtual fence. Holds 3D model image data of the fence. The image processing unit is capable of processing the 3D model image data of the virtual fence in such a form as to be divided into a plurality of rectangular parallelepipeds, and displaying each rectangular parallelepiped as an image having a predetermined transmittance. It should be noted that the term “cuboid” also includes “cube”.

そして、画像処理部は、頭部装着型ディスプレイを装着している作業者の位置及び方向の情報を取得すると、表示部に表示させるバーチャルフェンスの3Dモデル画像データが、作業者の視界に移り込む形態となるように加工する。その際に、バーチャルフェンスと作業者との位置及び方向の関係に応じて、複数の直方体のうち、作業者の近傍側にあるものほど透過率が低くなり、遠方側にあるものほど透過率が高くなるように加工して頭部装着型ディスプレイ側に無線送信する。すると、頭部装着型ディスプレイは、受信したバーチャルフェンスの3Dモデル画像データを表示部に投影する。 When the image processing unit acquires the information on the position and direction of the worker wearing the head-mounted display, the 3D model image data of the virtual fence to be displayed on the display unit moves into the field of view of the worker. Process to form. At that time, depending on the relationship between the position and direction between the virtual fence and the worker, among a plurality of rectangular parallelepipeds, the one closer to the worker has a lower transmittance, and the one farther away has a lower transmittance. It is processed to be higher and wirelessly transmitted to the head-mounted display side. Then, the head-mounted display projects the received 3D model image data of the virtual fence on the display unit.

このように構成すれば、頭部装着型ディスプレイには常にバーチャルフェンス全体の画像が表示されることはなく、作業者に相対的に近い位置にある直方体部分は透過率が低くなり、バーチャルフェンスの存在を作業者により意識させる状態で表示される。一方、作業者から相対的に遠い位置にある直方体部分は透過率が高くなることで、バーチャルフェンスの存在を作業者にあまり意識させない状態で表示される。   With this configuration, the image of the entire virtual fence is not always displayed on the head-mounted display, and the rectangular parallelepiped portion relatively close to the worker has low transmittance, and the It is displayed in a state where the worker is aware of the existence. On the other hand, the rectangular parallelepiped portion at a position relatively far from the worker has a high transmittance, and is displayed in a state where the worker is not so conscious of the existence of the virtual fence.

したがって、実際のロボット本体の周囲に安全柵を配置しなくても、バーチャルフェンスを表示させることで作業者の安全を確保することができると共に、ロボットと作業者とが共存して作業する領域における作業者の作業効率を向上させることができる。また、作業者の安全性が十分に確保されている、相対的に遠い位置にあるバーチャルフェンスの部分は透過率が高くなるので、作業者の気が散ることを防止できる。加えて、作業者は、ロボット本体やその周辺の実景を視認し易くなるので、その点からも作業効率の向上が期待できる。   Therefore, even if a safety fence is not arranged around the actual robot body, it is possible to ensure the safety of the worker by displaying the virtual fence, and in an area where the robot and the worker coexist and work. The working efficiency of the worker can be improved. In addition, the portion of the virtual fence at a relatively distant position where the safety of the worker is sufficiently ensured has a high transmittance, so that it is possible to prevent the worker from being distracted. In addition, the worker can easily visually recognize the actual scene around the robot main body and its surroundings, so that improvement in working efficiency can be expected from that point.

請求項2記載のバーチャルフェンス表示システムによれば、位置方向情報取得部を、頭部装着型ディスプレイに配置される撮像器と、撮像器が撮像した画像データに含まれているロボット本体の画像から、作業者の位置及び方向の情報を取得する画像処理部とで構成する。   According to the virtual fence display system of the second aspect, the position / direction information acquisition unit is configured to detect the position / direction information acquisition unit from the image of the robot body included in the image data captured by the imager arranged on the head-mounted display and the image data captured by the imager. , And an image processing unit that acquires information on the position and direction of the worker.

頭部装着型ディスプレイに比較的小型の撮像器を配置することは容易であり、撮像器が撮像した画像データからは、作業者の視界において、ロボット本体がどのような方向や大きさで捉えられているか等を把握できる。したがって、画像処理部が前記画像データを処理することにより作業者の位置及び方向の情報を取得できるので、前記情報を取得するためのセンサを別途用いる必要がなくなる。   It is easy to place a relatively small imager on the head-mounted display, and from the image data captured by the imager, the robot body can be captured in any direction and size in the field of view of the worker. Can be grasped. Accordingly, since the image processing unit can obtain the information on the position and direction of the worker by processing the image data, it is not necessary to use a separate sensor for obtaining the information.

請求項3記載のバーチャルフェンス表示システムによれば、画像処理部は、3Dモデル画像データの透過率を有段階で変化させる。ここでの「有段階」とは、少なくとも画像処理部が透過率を変化させる際の最小分解能よりも大きい段階であり、且つ、作業者が透過率の変化を認識できる程度の段階である。このように構成すれば、画像処理部における計算量を削減できると共に、作業者に対して直方体の透過率が変化する境界をより明確に認識させることが可能になる。   According to the virtual fence display system of the third aspect, the image processing unit changes the transmittance of the 3D model image data in stages. Here, the “predetermined stage” is a stage at least larger than the minimum resolution when the image processing unit changes the transmittance, and is a stage at which the operator can recognize the change in the transmittance. With this configuration, the amount of calculation in the image processing unit can be reduced, and the operator can more clearly recognize the boundary where the transmittance of the rectangular parallelepiped changes.

一実施形態であり、バーチャルフェンス表示システムの構成を概略的に示す機能ブロック図1 is a functional block diagram schematically illustrating a configuration of a virtual fence display system according to an embodiment. スマートグラスの構成を示す斜視図Perspective view showing the configuration of a smart glass スマートグラスを装着した作業者が、表示部を介して見た視界の一例を示す図FIG. 4 is a diagram illustrating an example of a field of view seen by a worker wearing smart glasses through a display unit. ロボット安全コントローラによる処理内容を中心に示すフローチャートFlow chart mainly showing the processing contents by the robot safety controller 各直方体の透過率の設定例を平面的に示す図The figure which shows the setting example of the transmittance | permeability of each rectangular parallelepiped in plane. 各直方体の透過率の設定例を立体的に示す図The figure which shows the setting example of the transmittance | permeability of each rectangular parallelepiped three-dimensionally

以下、一実施形態について図面を参照して説明する。図1に示すように、本実施形態のバーチャルフェンス表示システム1は、例えば組立用のロボットアーム2,ロボット安全コントローラ3,スマートグラス4及びカメラ5より構成されている。ロボット本体であるロボットアーム2は、例えば6軸の垂直多関節型ロボットとして構成されている。一般的な構成につき詳しい説明は省略するが、このロボットアーム2は、夫々サーボモータにより駆動される6軸のアームを有し、第6軸アームの先端部に、例えばパレット内に収容されているワークを把持するためのハンド等を備えている。   Hereinafter, an embodiment will be described with reference to the drawings. As shown in FIG. 1, the virtual fence display system 1 of the present embodiment includes, for example, a robot arm 2 for assembly, a robot safety controller 3, a smart glass 4, and a camera 5. The robot arm 2, which is a robot main body, is configured as, for example, a 6-axis vertical articulated robot. Although a detailed description of the general configuration is omitted, the robot arm 2 has six-axis arms each driven by a servomotor, and is housed at the tip of the sixth-axis arm, for example, in a pallet. A hand or the like for gripping the work is provided.

ロボットアーム2は、ロボットコントローラとしての機能も有しているロボット安全コントローラ3にケーブル6を介して接続され、前記各軸のサーボモータがこのロボット安全コントローラ3により制御される。画像処理部に相当するロボット安全コントローラ3は、予め保持しているロボットアーム2の3次元位置座標(x,y,z)の情報を取得する。また、ロボット安全コントローラ3は、ロボットアーム2の周辺に仮想的に配置される安全柵であるバーチャルフェンスVFの形態を、3次元的にモデリングしたデータである3Dモデル画像データを内部のメモリに記憶して保持している。   The robot arm 2 is connected via a cable 6 to a robot safety controller 3 also having a function as a robot controller, and the servo motors of the respective axes are controlled by the robot safety controller 3. The robot safety controller 3 corresponding to the image processing unit acquires information on the three-dimensional position coordinates (x, y, z) of the robot arm 2 that is held in advance. Further, the robot safety controller 3 stores 3D model image data, which is data obtained by three-dimensionally modeling the form of the virtual fence VF, which is a safety fence virtually arranged around the robot arm 2, in an internal memory. And hold.

頭部装着型ディスプレイであるスマートグラス4は、図1に示すように、作業者7が頭部に眼鏡のように装着するもので、眼鏡のレンズ部分に相当する透明な表示部4Dに、図示しない投影部を介して画像を投影可能な所謂透過型のディスプレイである。スマートグラス4のフレームの一側部には、図2にも示すように、位置方向情報出力部及び撮像器であるカメラ5が配置されている。カメラ5は、作業者7がスマートグラス4を頭部に装着した状態で、作業者7の頭部正面が向いている方向の画像を撮像するもので、例えばCCD(Charge Coupled Device)やCMOSイメージセンサなどで構成されている。   As shown in FIG. 1, a smart glass 4 which is a head-mounted display is worn by an operator 7 like eyeglasses on a head, and is shown on a transparent display unit 4D corresponding to a lens portion of the eyeglasses. This is a so-called transmissive display capable of projecting an image via a projection unit that does not. As shown in FIG. 2, a position / direction information output unit and a camera 5 serving as an image pickup device are arranged on one side of the frame of the smart glass 4. The camera 5 captures an image in the direction in which the front of the head of the worker 7 is facing, with the worker 7 wearing the smart glass 4 on the head. For example, the camera 5 is a CCD (Charge Coupled Device) or a CMOS image. It is composed of sensors and the like.

スマートグラス4は、図1及び図2ではアンテナのシンボルで示す無線通信部8をフレームに内蔵しており、同じく図1においてアンテナのシンボルで示すロボット安全コントローラ3の無線通信部9と通信可能となっている。無線通信部8は、カメラ5により撮像された画像のデータをロボット安全コントローラ3に送信し、無線通信部9は、ロボット安全コントローラ3が保持している前記3Dモデル画像データをスマートグラス4に送信する。通信部8及び9は、それぞれ第1及び第2通信部に相当する。   The smart glass 4 has a built-in wireless communication unit 8 shown by an antenna symbol in FIGS. 1 and 2 in a frame, and can communicate with the wireless communication unit 9 of the robot safety controller 3 also shown by an antenna symbol in FIG. Has become. The wireless communication unit 8 transmits data of an image captured by the camera 5 to the robot safety controller 3, and the wireless communication unit 9 transmits the 3D model image data held by the robot safety controller 3 to the smart glass 4. I do. The communication units 8 and 9 correspond to the first and second communication units, respectively.

ここで、バーチャルフェンスVFの3Dモデル画像データは、図3,図5及び図6に示すように、バーチャルフェンスVFの全体を複数の直方体Cdにより分割した状態でモデリングしている。そして、各直方体Cdを、個別に異なる透過率で表示するように画像処理することができる。   Here, the 3D model image data of the virtual fence VF is modeled in a state where the entire virtual fence VF is divided by a plurality of rectangular parallelepipeds Cd, as shown in FIGS. Then, image processing can be performed so that each of the rectangular parallelepipeds Cd is individually displayed at a different transmittance.

図3は、スマートグラス4を装着した作業者7が、表示部4Dを介して見た視界の状態を示している。作業者7の近傍にあるロボットアーム2NについてはバーチャルフェンスVFの3Dモデル画像が表示される。但し、その全体が表示されることはなく、バーチャルフェンスVFのうち、作業者7に相対的に近い位置にある部分の直方体Cdは透過率が相対的に低い設定で描画され、作業者7に相対的に遠い位置にある部分の直方体Cdは透過率が相対的に高い設定で描画される。そして、作業者7の遠方にあるロボットアーム2Fについては、作業者7が作業するに当たって安全性に影響しないので、バーチャルフェンスVFの3Dモデル画像は表示しない。つまり、全ての直方体Cdの透過率を100%にする。上記の「遠方」とは、例えばロボットアーム2が作業する領域よりも離れた距離である。   FIG. 3 shows a state of the field of view seen by the worker 7 wearing the smart glass 4 through the display unit 4D. For the robot arm 2N near the worker 7, a 3D model image of the virtual fence VF is displayed. However, the whole is not displayed, and the rectangular parallelepiped Cd of the portion of the virtual fence VF that is relatively close to the worker 7 is drawn with a relatively low transmittance, and is given to the worker 7. The rectangular parallelepiped Cd at a relatively distant position is drawn with a relatively high transmittance. The robot arm 2F located far from the worker 7 does not affect the safety when the worker 7 works, so that the 3D model image of the virtual fence VF is not displayed. That is, the transmittance of all the rectangular parallelepipeds Cd is set to 100%. The above “distant” is, for example, a distance farther than a region where the robot arm 2 works.

次に、上記のようにスマートグラス4に画像を表示させる本実施形態の作用について、図4から図6も参照して説明する。図4は、ロボット安全コントローラ3による処理内容を中心に示すフローチャートである。ロボット安全コントローラ3は、先ずスマートグラス4から、作業者7の座標位置を取得する(S1)。具体的には、スマートグラス4は、カメラ5が撮像した画像のデータをロボット安全コントローラ3に送信する。ロボット安全コントローラ3は、その画像データにロボットアーム2が含まれていると、ロボットアーム2の3次元的な形態から、作業者7の相対的な座標位置を特定する。   Next, the operation of the present embodiment for displaying an image on the smart glass 4 as described above will be described with reference to FIGS. FIG. 4 is a flowchart mainly showing the processing contents of the robot safety controller 3. First, the robot safety controller 3 acquires the coordinate position of the worker 7 from the smart glass 4 (S1). Specifically, the smart glass 4 transmits data of an image captured by the camera 5 to the robot safety controller 3. If the image data includes the robot arm 2, the robot safety controller 3 specifies the relative coordinate position of the worker 7 from the three-dimensional form of the robot arm 2.

続いて、ロボットアーム2の座標位置を取得すると(S2)、ロボットアーム2の位置と作業者7の位置とをワールド座標上でマッチングさせて、両者の位置関係を特定する(S3)。そして、ロボットアーム2と作業者7との距離,及び作業者7の視点からロボットアーム2が見えている方向を計算する(S4)。   Subsequently, when the coordinate position of the robot arm 2 is acquired (S2), the position of the robot arm 2 is matched with the position of the worker 7 on world coordinates, and the positional relationship between them is specified (S3). Then, the distance between the robot arm 2 and the worker 7 and the direction in which the robot arm 2 is seen from the viewpoint of the worker 7 are calculated (S4).

続くステップS5において、計算した距離及び方向が、スマートグラス4にバーチャルフェンスVFを表示する必要がある範囲内にあるか否かを判断する。前記範囲内に無ければ(NO)処理を終了するが、前記範囲内にあれば(YES)、バーチャルフェンスVFの描画領域を複数のブロック,つまり直方体Cdに分割する(S6)。   In the following step S5, it is determined whether or not the calculated distance and direction are within a range in which the virtual fence VF needs to be displayed on the smart glass 4. If it is not within the range (NO), the process ends. If it is within the range (YES), the drawing area of the virtual fence VF is divided into a plurality of blocks, that is, a rectangular parallelepiped Cd (S6).

以降のステップS7〜S10のループは各直方体Cdについての処理となる。作業者7の位置から、各直方体Cdまでの距離を計算すると(S8)、計算した距離に応じて各直方体Cdの透過率を決定する(S9)。全ての直方体Cdについて処理すると、ロボット安全コントローラ3は、スマートグラス4にバーチャルフェンスVFの3Dモデル画像データと、その描画指令とを送信する(S11)。それらを受信したスマートグラス4は、表示部4DにバーチャルフェンスVFの3D画像を描画して表示する(S12)。   The subsequent loop of steps S7 to S10 is a process for each rectangular parallelepiped Cd. When the distance from the position of the worker 7 to each cuboid Cd is calculated (S8), the transmittance of each cuboid Cd is determined according to the calculated distance (S9). After processing all the rectangular parallelepipeds Cd, the robot safety controller 3 transmits the 3D model image data of the virtual fence VF and the drawing command thereof to the smart glass 4 (S11). The smart glass 4 that receives them draws and displays a 3D image of the virtual fence VF on the display unit 4D (S12).

以上の処理による具体的な透過率の設定例を、図5に平面図で示す。作業者7がロボットアーム2の正面で、バーチャルフェンスVFの中央に位置しており、バーチャルフェンスVFを表示する所定の距離範囲にあるとする。平面的にはバーチャルフェンスVFを直方体Cdを3×4で12分割している。このとき、作業者7に最も近い第1列の中央部にある直方体Cd(1,2)及び(1,3)の透過率を例えば25%とすると、それらの外側にある直方体Cd(1,1)及び(1,4)の透過率を例えば50%とする。   FIG. 5 is a plan view showing a specific example of setting the transmittance by the above processing. It is assumed that the worker 7 is located at the center of the virtual fence VF in front of the robot arm 2 and is within a predetermined distance range for displaying the virtual fence VF. In a plan view, the virtual fence VF is divided into 12 parts of 3 × 4 rectangular parallelepipeds Cd. At this time, if the transmittance of the rectangular parallelepipeds Cd (1, 2) and (1, 3) in the center of the first row closest to the worker 7 is, for example, 25%, the rectangular parallelepipeds Cd (1, The transmittances of 1) and (1, 4) are, for example, 50%.

次の第2列の中央部にある直方体Cd(2,2)及び(2,3)の透過率を例えば50%とすると、それらの外側にある直方体Cd(2,1)及び(2,4)の透過率を例えば75%とする。そして、ロボットアームの後方となる第3列の直方体Cd(3,1)〜(3,4)については、透過率を100%にして非表示にする。   Assuming that the transmittance of the rectangular parallelepipeds Cd (2,2) and (2,3) at the center of the next second row is, for example, 50%, the rectangular parallelepipeds Cd (2,1) and (2,4) located outside the rectangular parallelepipeds Cd (2,2) and (2,4). ) Is, for example, 75%. Then, the third row of the rectangular parallelepipeds Cd (3, 1) to (3, 4) behind the robot arm is set to a transmittance of 100% and is not displayed.

また、図6では立体的に示しているが、この場合、バーチャルフェンスVFを平面的には3×3で9分割し、高さ方向に2分割することで立体的には18分割している。図6(c)に示すように、作業者7がバーチャルフェンスVFの中央に位置していると、第1列下方にある直方体Cd(1,1,1)〜(1,3,1)については透過率を25%にしている。以下表的にまとめて示す。
透過率
第3列上方;(3,1,2)〜(3,3,2) 100%
第2列上方;(2,1,2)〜(2,3,2) 75%
第1列上方;(1,1,2)〜(1,3,2) 50%
第3列下方;(3,1,1)〜(3,3,1) 100%
第2列下方;(2,1,1)〜(2,3,1) 50%
第1列下方;(1,1,1)〜(1,3,1) 25%
Although FIG. 6 shows the virtual fence VF in three dimensions, in this case, the virtual fence VF is divided into nine by 3 × 3 in a plane and divided into two in the height direction to be three-dimensionally divided into eighteen. . As shown in FIG. 6C, when the worker 7 is located at the center of the virtual fence VF, the rectangular parallelepipeds Cd (1,1,1) to (1,3,1) below the first row are provided. Has a transmittance of 25%. The following is a tabulated summary.
Transmissivity Upper third row; (3,1,2) to (3,3,2) 100%
2nd row above; (2,1,2) to (2,3,2) 75%
First row above; (1,1,2) to (1,3,2) 50%
Lower third row; (3,1,1) to (3,3,1) 100%
2nd row lower; (2,1,1)-(2,3,1) 50%
First row lower; (1,1,1) to (1,3,1) 25%

図6(b)に示すように、作業者7がバーチャルフェンスVFの左側に位置している場合は以下のようになる。
透過率
第3列上方;(3,1,2)〜(3,3,2) 100%,100%,100%
第2列上方;(2,1,2)〜(2,3,2) 75%,100%,100%
第1列上方;(1,1,2)〜(1,3,2) 50%, 75%,100%
第3列下方;(3,1,1)〜(3,3,1) 75%,100%,100%
第2列下方;(2,1,1)〜(2,3,1) 50%, 75%,100%
第1列下方;(1,1,1)〜(1,3,1) 25%, 50%, 75%
As shown in FIG. 6B, when the worker 7 is located on the left side of the virtual fence VF, the operation is as follows.
Transmissivity Upper third row; (3,1,2) to (3,3,2) 100%, 100%, 100%
(2,1,2) to (2,3,2) 75%, 100%, 100%
Upper first row; (1,1,2) to (1,3,2) 50%, 75%, 100%
(3,1,1) to (3,3,1) 75%, 100%, 100%
(2,1,1)-(2,3,1) 50%, 75%, 100%
1st row below; (1,1,1)-(1,3,1) 25%, 50%, 75%

図6(d)に示すように、作業者7がバーチャルフェンスVFの右側に位置している場合は以下のようになる。
透過率
第3列上方;(3,1,2)〜(3,3,2) 100%,100%,100%
第2列上方;(2,1,2)〜(2,3,2) 100%,100%, 75%
第1列上方;(1,1,2)〜(1,3,2) 100%, 75%, 50%
第3列下方;(3,1,1)〜(3,3,1) 100%,100%, 75%
第2列下方;(2,1,1)〜(2,3,1) 100%, 75%, 50%
第1列下方;(1,1,1)〜(1,3,1) 75%, 50%, 25%
As shown in FIG. 6D, when the worker 7 is located on the right side of the virtual fence VF, the operation is as follows.
Transmissivity Upper third row; (3,1,2) to (3,3,2) 100%, 100%, 100%
(2,1,2) to (2,3,2) 100%, 100%, 75%
Upper first row; (1,1,2) to (1,3,2) 100%, 75%, 50%
Lower third row; (3,1,1) to (3,3,1) 100%, 100%, 75%
(2,1,1)-(2,3,1) 100%, 75%, 50%
1st row lower; (1,1,1)-(1,3,1) 75%, 50%, 25%

このように各直方体Cdの透過率を設定することで、作業者7に相対的に近い位置にあるバーチャルフェンスVFの部分は作業者7の視界において認識され易くなり、作業者7はバーチャルフェンスVFの存在によって、作業時に自己の安全を確保することをより意識するようになる。一方、作業者7より相対的に遠い位置にあるバーチャルフェンスVFの部分は作業者7の視界において認識され難くなる。したがって、作業者7は、バーチャルフェンスVFに妨げられることなく、ロボットアーム2及びその周辺の実景を容易に視認できる。   By setting the transmittance of each of the rectangular parallelepipeds Cd in this manner, the portion of the virtual fence VF relatively close to the worker 7 is easily recognized in the field of view of the worker 7, and the worker 7 can recognize the virtual fence VF. Makes people more aware of ensuring their own safety during work. On the other hand, the portion of the virtual fence VF that is relatively far from the worker 7 is hardly recognized in the field of view of the worker 7. Therefore, the worker 7 can easily visually recognize the robot arm 2 and the actual scene around it without being hindered by the virtual fence VF.

以上のように本実施形態によれば、ロボット安全コントローラ3は、ロボットアーム2の位置を中心として、その周辺に仮想的に配置されるバーチャルフェンスVFの3Dモデル画像データを保持し、その3Dモデル画像データを、複数の直方体Cdで分割した形態で、且つ各直方体Cdをそれぞれ所定の透過率の画像で表示可能とする。   As described above, according to the present embodiment, the robot safety controller 3 holds the 3D model image data of the virtual fence VF that is virtually arranged around the position of the robot arm 2 and its 3D model. Image data is divided into a plurality of rectangular parallelepipeds Cd, and each rectangular parallelepiped Cd can be displayed as an image having a predetermined transmittance.

そして、ロボット安全コントローラ3は、スマートグラス4を装着している作業者7の位置及び方向の情報を取得すると、表示部4Dに表示させるバーチャルフェンスの3Dモデル画像データが作業者7の視界に移り込む形態となるように加工する。その際に、バーチャルフェンスVFと作業者7との位置及び方向の関係に応じて、複数の直方体Cdのうち、作業者7の近傍側にあるものほど透過率が低くなり、遠方側にあるものほど透過率が高くなるように加工してスマートグラス4側に送信する。すると、スマートグラス4は、受信したバーチャルフェンスの3Dモデル画像データを表示部4Dに投影して表示させる。   Then, when the robot safety controller 3 acquires the information on the position and direction of the worker 7 wearing the smart glass 4, the 3D model image data of the virtual fence to be displayed on the display unit 4D moves to the view of the worker 7. It is processed so as to be in a form to fit. At that time, depending on the relationship between the position and direction between the virtual fence VF and the worker 7, among the plurality of rectangular parallelepipeds Cd, the one closer to the worker 7 has a lower transmittance and the one farther away. The higher the transmittance, the higher the transmittance and the transmission to the smart glass 4 side. Then, the smart glass 4 projects and displays the received 3D model image data of the virtual fence on the display unit 4D.

したがって、実際のロボットアーム2の周囲に安全柵を配置しなくても、バーチャルフェンスVFを表示させることで作業者7の安全を確保することができると共に、ロボットと作業者7とが共存して作業する領域における作業者7の作業効率を向上させることができる。また、作業者7の安全性が十分に確保されている、相対的に遠い位置にあるバーチャルフェンスVFの部分は透過率が高くなるので、作業者7の気が散ることを防止できる。加えて、作業者7は、ロボットアーム2やその周辺の実景を視認し易くなるので、その点からも作業効率の向上が期待できる。   Accordingly, the safety of the worker 7 can be ensured by displaying the virtual fence VF without disposing the safety fence around the actual robot arm 2 and the robot and the worker 7 coexist. The work efficiency of the worker 7 in the work area can be improved. Further, the portion of the virtual fence VF at a relatively distant position where the safety of the worker 7 is sufficiently ensured has a high transmittance, so that the worker 7 can be prevented from being distracted. In addition, the worker 7 can easily visually recognize the robot arm 2 and the actual scene around the robot arm 2, and from that point, an improvement in working efficiency can be expected.

そして、ロボット安全コントローラ3は、スマートグラス4に配置されるカメラ5が撮像した画像データに含まれているロボットアーム2の画像から、作業者7の位置及び方向の情報を取得する。すなわち、スマートグラス4に小型のカメラ5を配置することは容易であり、カメラ5が撮像した画像データからは、作業者7の視界において、ロボットアーム2がどのような方向や大きさで捉えられているか等を把握できる。したがって、ロボット安全コントローラ3が前記画像データを処理することで、作業者7の位置及び方向の情報を取得でき、前記情報を取得するためのセンサを別途用いる必要がなくなる。   Then, the robot safety controller 3 acquires information on the position and direction of the worker 7 from the image of the robot arm 2 included in the image data captured by the camera 5 disposed on the smart glass 4. That is, it is easy to dispose the small camera 5 on the smart glass 4, and from the image data captured by the camera 5, the robot arm 2 can be captured in any direction and size in the field of view of the worker 7. Can be grasped. Therefore, by processing the image data by the robot safety controller 3, information on the position and direction of the worker 7 can be acquired, and it is not necessary to use a separate sensor for acquiring the information.

また、ロボット安全コントローラ3は、3Dモデル画像データの透過率を有段階で変化させる。ここでの「有段階」とは、少なくともロボット安全コントローラ3が透過率を変化させる際の最小分解能よりも大きく、且つ、作業者7が透過率の変化を認識できる程度の段階である。このように構成すれば、ロボット安全コントローラ3における計算量を削減できると共に、作業者7に対して直方体Cdの透過率が変化する境界をより明確に認識させることが可能になる。   Further, the robot safety controller 3 changes the transmittance of the 3D model image data in stages. Here, the “predetermined stage” is a stage that is at least larger than the minimum resolution when the robot safety controller 3 changes the transmittance and that the operator 7 can recognize the change in the transmittance. With this configuration, the amount of calculation in the robot safety controller 3 can be reduced, and the operator 7 can more clearly recognize the boundary where the transmittance of the rectangular parallelepiped Cd changes.

本発明は上記した、又は図面に記載した実施形態にのみ限定されるものではなく、以下のような変形又は拡張が可能である。
透過率の具体数値については、個別の設計に応じて適宜変更すれば良い。
直方体Cdを、立方体としても良い。
ロボット本体はロボットアーム2に限ることなく、その他例えば水平4軸構成のロボットアーム,自走式のロボットや人型のロボットでも良い。
The present invention is not limited only to the embodiments described above or illustrated in the drawings, and the following modifications or extensions are possible.
The specific numerical value of the transmittance may be appropriately changed according to individual designs.
The rectangular parallelepiped Cd may be a cube.
The robot main body is not limited to the robot arm 2 and may be, for example, a horizontal 4-axis robot arm, a self-propelled robot, or a humanoid robot.

位置方向情報取得部に、レーザセンサや赤外センサを用いたり、GPS,ジャイロ,加速度等の各センサを用いても良い。そして、これらのセンサ信号をロボット安全コントローラ3に直接入力しても良い。
頭部装着型ディスプレイは、必ずしもスマートグラス4である必要はなく、作業者が頭部に装着する表示部に画像を投影可能に構成されるものであれば良い。
A laser sensor or an infrared sensor, or each sensor such as a GPS, a gyro, and an acceleration may be used for the position / direction information acquisition unit. Then, these sensor signals may be directly input to the robot safety controller 3.
The head-mounted display does not necessarily need to be the smart glass 4, but may be any as long as the image can be projected on a display unit worn by the operator on the head.

図面中、1はバーチャルフェンス表示システム、2はロボットアーム、3はロボット安全コントローラ、4はスマートグラス、4Dは表示部、5はカメラ、7は作業者、8及び9は無線通信部を示す。   In the drawing, 1 is a virtual fence display system, 2 is a robot arm, 3 is a robot safety controller, 4 is a smart glass, 4D is a display unit, 5 is a camera, 7 is an operator, and 8 and 9 are wireless communication units.

Claims (3)

作業者が頭部に装着する表示部を有し、当該表示部に画像を投影可能に構成される頭部装着型ディスプレイと、
ロボット本体の位置を中心として、前記ロボット本体の周辺に配置される安全柵を3次元でモデリングした3Dモデル画像データを保持する画像処理部と、
前記作業者の位置及び前記作業者の頭部正面が向いている方向の情報を取得する位置方向情報取得部とを備え、
前記画像処理部は、前記安全柵の3Dモデル画像データを、複数の直方体で分割した形態で、且つ各直方体をそれぞれ所定の透過率の画像で表示するように処理可能であり、
前記位置方向情報取得部を介して前記作業者の位置及び方向の情報を取得すると、前記頭部装着型ディスプレイに表示させる前記安全柵の3Dモデル画像データが、前記作業者の視界に移り込む形態となるように加工すると共に、
前記安全柵と前記作業者との位置及び方向の関係に応じて、前記複数の直方体のうち、前記作業者の近傍側にあるものほど透過率が低くなるように、且つ、前記作業者の遠方側にあるものほど透過率が高くなるように加工して、前記頭部装着型ディスプレイ側に無線送信し、
前記頭部装着型ディスプレイは、前記加工された安全柵の3Dモデル画像データを受信すると、当該3Dモデル画像データを前記表示部に投影させるバーチャルフェンス表示システム。
A head-mounted display having a display unit worn by the operator on the head, and configured to project an image on the display unit ;
An image processing unit that holds 3D model image data obtained by modeling a safety fence three-dimensionally arranged around the robot main body around the position of the robot main body;
A position and direction information acquisition unit that acquires information on the position of the worker and the direction in which the front of the head of the worker is facing,
The image processing unit is capable of processing so that the 3D model image data of the safety fence is divided into a plurality of rectangular parallelepipeds, and each rectangular parallelepiped is displayed as an image having a predetermined transmittance.
When information on the position and direction of the worker is obtained via the position and direction information obtaining unit, the 3D model image data of the safety fence to be displayed on the head-mounted display enters the field of view of the worker. While processing to become
According to the relationship between the position and the direction of the safety fence and the worker, of the plurality of rectangular parallelepipeds, the one closer to the worker has a lower transmittance, and the cuboid is farther away from the worker. engineered that higher transmittance increases what is on the side, wirelessly transmitted before Symbol head mounted display side,
The virtual fence display system, wherein the head-mounted display receives the processed 3D model image data of the safety fence and projects the 3D model image data on the display unit .
前記位置方向情報取得部は、頭部装着型ディスプレイに、前記作業者の頭部正面方向の画像を撮像するように配置される撮像器と、
この撮像器が撮像した画像データを取得すると、当該画像データに含まれている前記ロボット本体の画像から、前記作業者の位置及び方向の情報を取得する前記画像処理部とで構成される請求項1記載のバーチャルフェンス表示システム。
The position and direction information acquisition unit, the head mounted display, an imager arranged to capture an image of the worker's head front direction,
The image processing unit configured to acquire information on a position and a direction of the worker from an image of the robot body included in the image data when the image data acquired by the imager is acquired. The virtual fence display system according to 1.
前記画像処理部は、前記3Dモデル画像データの透過率を、有段階で変化させる請求項1又は2記載のバーチャルフェンス表示システム。   The virtual fence display system according to claim 1, wherein the image processing unit changes the transmittance of the 3D model image data in stages.
JP2015233296A 2015-11-25 2015-11-30 Virtual fence display system Active JP6631203B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015233296A JP6631203B2 (en) 2015-11-30 2015-11-30 Virtual fence display system
US15/358,925 US9855664B2 (en) 2015-11-25 2016-11-22 Robot safety system
CN201611055537.3A CN106808496B (en) 2015-11-25 2016-11-25 Robot safety system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015233296A JP6631203B2 (en) 2015-11-30 2015-11-30 Virtual fence display system

Publications (2)

Publication Number Publication Date
JP2017100205A JP2017100205A (en) 2017-06-08
JP6631203B2 true JP6631203B2 (en) 2020-01-15

Family

ID=59015790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015233296A Active JP6631203B2 (en) 2015-11-25 2015-11-30 Virtual fence display system

Country Status (1)

Country Link
JP (1) JP6631203B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102499576B1 (en) 2018-01-08 2023-02-15 삼성전자주식회사 Electric apparatus and method for control thereof
JP7167518B2 (en) * 2018-07-20 2022-11-09 セイコーエプソン株式会社 Controllers, head-mounted displays and robotic systems
JP7381729B2 (en) * 2020-04-27 2023-11-15 ファナック株式会社 Industrial machinery display device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10305384A1 (en) * 2003-02-11 2004-08-26 Kuka Roboter Gmbh Method and device for visualizing computer-aided information
CN102448681B (en) * 2009-12-28 2014-09-10 松下电器产业株式会社 Operating space presentation device, operating space presentation method, and program
JP4950348B2 (en) * 2010-03-30 2012-06-13 新日鉄ソリューションズ株式会社 Information providing apparatus, information providing method, and program
JP2012218120A (en) * 2011-04-12 2012-11-12 Seiko Epson Corp Manipulator operation previous notice device, robot system and method for previously noticing manipulator operation
JP6690203B2 (en) * 2015-11-25 2020-04-28 株式会社デンソーウェーブ Robot safety system

Also Published As

Publication number Publication date
JP2017100205A (en) 2017-06-08

Similar Documents

Publication Publication Date Title
US9855664B2 (en) Robot safety system
JP6589604B2 (en) Teaching result display system
JP6582921B2 (en) Robot monitor system
US10712566B2 (en) Information displaying system provided with head-mounted type display
CN103302664B (en) Robot device and the method for control equipment
US20210170603A1 (en) Method for using a multi-link actuated mechanism, preferably a robot, particularly preferably an articulated robot, by a user by means of a mobile display apparatus
US10888998B2 (en) Method and device for verifying one or more safety volumes for a movable mechanical unit
JP6645142B2 (en) Robot safety system
CN103302665B (en) Robot device, the method controlling robot device
WO2019176308A1 (en) Information processing device, information processing method and program
JP6631203B2 (en) Virtual fence display system
JP6171457B2 (en) Robot control apparatus, robot system, robot, robot control method, and robot control program
JP6746902B2 (en) Information display system for head-mounted display for workers
JPWO2020196276A1 (en) Maintenance support system, maintenance support method, program and processed image generation method
KR102190743B1 (en) AUGMENTED REALITY SERVICE PROVIDING APPARATUS INTERACTING WITH ROBOT and METHOD OF THEREOF
CN111383348A (en) Method for remotely and synchronously controlling robot through virtual reality
WO2019120481A1 (en) System and method for determining a transformation representation
JP6657858B2 (en) Robot operation system
JP6834620B2 (en) Information display system
WO2018100631A1 (en) Information processing apparatus
WO2020049999A1 (en) Manufacturing assistance system, method, and program
JP6874448B2 (en) Information display system
CN115514885A (en) Monocular and binocular fusion-based remote augmented reality follow-up perception system and method
JP2020006419A (en) Welding surface, welding support method and control program
WO2022138340A1 (en) Safety vision device, and safety vision system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191125

R150 Certificate of patent or registration of utility model

Ref document number: 6631203

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250