WO2016157484A1 - 作業指示システム - Google Patents

作業指示システム Download PDF

Info

Publication number
WO2016157484A1
WO2016157484A1 PCT/JP2015/060396 JP2015060396W WO2016157484A1 WO 2016157484 A1 WO2016157484 A1 WO 2016157484A1 JP 2015060396 W JP2015060396 W JP 2015060396W WO 2016157484 A1 WO2016157484 A1 WO 2016157484A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
data
image
content
unit
Prior art date
Application number
PCT/JP2015/060396
Other languages
English (en)
French (fr)
Inventor
孝一 折戸
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN201580078160.0A priority Critical patent/CN107407930A/zh
Priority to PCT/JP2015/060396 priority patent/WO2016157484A1/ja
Priority to JP2017507039A priority patent/JP6198990B2/ja
Publication of WO2016157484A1 publication Critical patent/WO2016157484A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P21/00—Machines for assembling a multiplicity of different parts to compose units, with or without preceding or subsequent working of such parts, e.g. with programme control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the present invention relates to a work instruction system for instructing work contents to an operator.
  • a digital stall is a system in which a monitor is laid on a workbench, e-learning that teaches the work content with a moving image or a still image, and production equipment such as an electric driver and a movable parts shelf.
  • Patent Document 1 discloses a work detection system that determines that an abnormality is detected and outputs a notification command when a detection target is detected in an order different from the detection order.
  • the present invention has been made in view of the above, and an object of the present invention is to obtain a work instruction system that does not need to turn away from the object to be processed in order to confirm the work content.
  • the present invention includes an imaging device that captures a distance image of a processing target placed on the placing means.
  • the present invention also includes a data storage unit that stores work instruction data for each work process, a video data processing unit that calculates a shape and a position of a processing target based on a distance image captured by an imaging device, and work instruction data Information processing apparatus including a data processing unit that generates projection content based on the shape and position of the processing target, and a display generation unit that generates an operation content instruction image by imaging the projection content determined by the data processing unit Is provided.
  • the present invention includes a projection device that projects the work content instruction image onto the placing means with the processing object as the center.
  • the work instruction system according to the present invention has an effect that it is not necessary to turn away from the object to be processed in order to confirm the work content.
  • FIG. 1 is a diagram illustrating a hardware configuration of an information processing apparatus of a work instruction system according to a first embodiment. 1 is a flowchart showing the flow of operations of the work instruction system according to the first embodiment.
  • FIG. 2 The figure which shows the structure of the work instruction system concerning Embodiment 2 of this invention.
  • FIG. 1 is a diagram illustrating a hardware configuration of an information processing apparatus of a work instruction system according to a first embodiment. 1 is a flowchart showing the flow of operations of the work instruction system according to the first embodiment.
  • FIG. The figure which shows the structure of the work instruction system concerning Embodiment 2 of this invention.
  • FIG. 9 is a flowchart showing a flow of a switching process of a work content instruction image of the work instruction system according to the third embodiment.
  • FIG. 9 is a flowchart showing an operation flow of the work instruction system according to the fourth embodiment.
  • FIG. 1 is a diagram illustrating a configuration of a work instruction system according to the first embodiment of the present invention.
  • the work instruction system 200 is based on an imaging device 103 that captures a distance image of the processing target 105 placed on the processing table 101 that is a mounting means for mounting the processing target 105, and a distance image captured by the imaging device 103.
  • the information processing apparatus 100 that generates the work content instruction image and the projection apparatus 104 that projects the work content instruction image generated by the information processing apparatus 100 onto the processing table 101 with the processing target 105 as the center.
  • a distance image sensor can be applied to the imaging device 103.
  • a projector can be applied to the projection device 104.
  • the mounting unit is the processing base 101
  • a device that transports the processing target 105 while mounting the processing target 105 may be the mounting unit.
  • a specific example of the apparatus that conveys the processing target 105 while placing it is a conveyor.
  • FIG. 2 is a diagram illustrating a configuration of the information processing apparatus of the work instruction system according to the first embodiment.
  • the information processing apparatus 100 includes an imaging device connection interface 14 that receives a distance image from the imaging device 103, and video data processing that calculates the shape and position of the processing target 105 from the distance image that the imaging device connection interface 14 receives from the imaging device 103.
  • FIG. 3 is a diagram illustrating a hardware configuration of the information processing apparatus of the work instruction system according to the first embodiment.
  • the information processing apparatus 100 stores an arithmetic device 21 that executes a program, a memory 22 that the arithmetic device 21 uses as a work area, a communication device 23 for communication with the imaging device 103 and the projection device 104, software, and data. And a storage device 24.
  • As the information processing apparatus 100 not only a general-purpose computer terminal but also a monitorless programmable display can be applied.
  • a central processing unit (CPU) can be applied to the arithmetic device 21.
  • a RAM Random Access Memory
  • a flash memory can be applied to the storage device 24.
  • the video data processing unit 16, the data processing unit 15, and the display generation unit 20 shown in FIG. 2 are realized by executing the software stored in the storage device 24 by the arithmetic unit 21 using the memory 22 as a work area.
  • the data storage unit 17 is realized by the storage device 24.
  • the projection device connection interface 12 and the imaging device connection interface 14 are realized by using the communication device 23 by the arithmetic device 21 that executes the software stored in the storage device 24 using the memory 22 as a work area.
  • a plurality of arithmetic devices and a plurality of memories may cooperate to execute the above function.
  • FIG. 4 is a flowchart of an operation flow of the work instruction system according to the first embodiment.
  • step S ⁇ b> 101 the video data processing unit 16 acquires a distance image of the processing target 105 from the imaging device 103 through the imaging device connection interface 14.
  • step S102 the video data processing unit 16 calculates the shape and position of the processing target 105 from the distance image acquired in step S101.
  • step S103 the data processing unit 15 reads the data of the work instruction content from the data storage unit 17, and generates the projection content according to the shape and position of the processing target.
  • the projection content here is what work instruction is displayed in which part of the region on the processing table 101 centering on the processing target 105.
  • step S104 the display generation unit 20 generates an operation content instruction image by imaging the projection content generated by the data processing unit 15 in step S103.
  • step S ⁇ b> 105 the display generation unit 20 outputs the work content instruction image to the projection device 104 via the projection device connection interface 12, and projects the work content instruction image from the projection device 104 to the processing table 101 centering on the work target 105. To do.
  • FIG. 5 is a diagram illustrating an example of a work content instruction image displayed by the work instruction system according to the first embodiment. Adjacent to the screw 51 arranged in the screw hole of the workpiece 105, a ring 52 indicating the position of the screw 51, a sentence 53 indicating the work content of “tighten the screw with the tool A”, and a direction in which the screw is tightened are represented. An arrow 54 is displayed. Also, adjacent to the connector 55 of the processing target 105, a sentence 56 indicating the work content “insert the cable from the direction of the arrow” and an arrow 57 indicating the direction of inserting the cable are displayed.
  • the work content instruction image is displayed on the processing table 101 with the processing target 105 as the center. Therefore, the worker can grasp the contents of the work to be performed at present without removing the line of sight from the processing target 105, and can perform the work efficiently. Therefore, it is difficult for an operator to perform an operation without confirming an operation instruction, and a human error is less likely to occur.
  • the work instruction system can also store the image data input from the imaging device 103 through the imaging device connection interface 14 in the data storage unit 17.
  • the imaging apparatus 103 By accumulating the image data input from the imaging apparatus 103, it is possible to calculate based on the accumulated image data of the required work time. Therefore, by accumulating the image data input from the imaging apparatus 103, the work efficiency can be improved by changing the order of the work processes. In obtaining the work time for each work process, it is not necessary to arrange a measurement person separately from the worker, so that the cost of obtaining the work time can be suppressed.
  • the instruction content is displayed at a place where the work content instruction is required following the movement of the processing target 105. Can be displayed.
  • FIG. FIG. 6 is a diagram showing a configuration of a work instruction system according to the second embodiment of the present invention.
  • the work instruction system 210 according to the second embodiment includes an electric tool 106 used for work on the processing target 105, and a control device 102 that monitors an operation time of the electric tool 106 and outputs a monitoring result to the information processing device 110. .
  • FIG. 7 is a diagram illustrating a configuration of the information processing apparatus of the work instruction system according to the second embodiment.
  • the information processing apparatus 110 is different from the information processing apparatus 100 according to the first embodiment in that the information processing apparatus 110 includes a control device connection interface 13 that receives a monitoring result of the operation time of the power tool 106 from the control device 102.
  • the information processing apparatus 110 stores a reference value for the operating time of the power tool 106 for each work process in the data storage unit 17.
  • the data processing unit 15 projects based on the shape and position of the processing target 105 calculated by the video data processing unit 16, the information acquired by the control device connection interface 13, and the information stored in the data storage unit 17. Generate content. That is, when the operation time of the electric power tool 106 acquired from the control device 102 is less than the reference value, the data processing unit 15 generates the projection content including a message warning that the work is incomplete.
  • the control device connection interface 13 shown in FIG. 7 is realized by using the communication device 23 by the arithmetic device 21 that has executed the software.
  • a plurality of arithmetic devices and a plurality of memories may cooperate to execute the above function.
  • a work instruction screen reflecting the operation time of the electric tool 106 can be projected on the work table 101 with the work target 105 as the center. Therefore, when there is a concern that the operation time of the electric tool 106 is less than the reference value stored in the data storage unit 17 and the work is incomplete, a warning is issued to the worker so that the work is performed completely. be able to.
  • the power tool 106 is an electric screwdriver and there is a concern about insufficient tightening of screws, a message warning about insufficient tightening is displayed to encourage additional tightening and to prevent assembly failure. Can be reduced.
  • FIG. FIG. 8 is a diagram illustrating the configuration of the information processing apparatus of the work instruction system according to the third embodiment of the present invention.
  • the information processing apparatus 120 of the work instruction system according to the third embodiment is different from the information processing apparatus 100 of the work instruction system 200 of the first embodiment in that the information processing apparatus 120 includes a work path analysis unit 18.
  • the data storage unit 17 stores unique work path data for each work process.
  • An example of the work path here is the position and flow line of the operator's hand.
  • the unique work path is a work path that is a condition for determining whether or not the current work process is completed.
  • the video data processing unit 16 acquires the position of the worker's hand in addition to the position and shape of the processing target 105.
  • the hardware configuration of the information processing apparatus 120 of the work instruction system according to the third embodiment is the same as that of the information processing apparatus 100 of the first embodiment. Therefore, the work path analysis unit 18 is realized by the calculation device 21 executing the software stored in the storage device 24 using the memory 22 as a work area.
  • the work path analysis unit 18 calculates the position and flow line of the worker's hand by arranging the distance images acquired by the video data processing unit 16 in time series.
  • FIG. 9 is a flowchart showing the flow of the switching process of the work content instruction image of the work instruction system according to the third embodiment.
  • step S ⁇ b> 201 the work path analysis unit 18 acquires a work path from the image data of the distance image acquired through the imaging device connection interface 14.
  • step S202 the work path analysis unit 18 determines whether the work path acquired in step S201 corresponds to a unique work path. If the work path acquired in step S201 does not correspond to the unique work path, No in step S202, and the work content instruction image switching process is terminated. If the work path acquired in step S201 corresponds to the unique work path, the result in step S202 is Yes, and the process proceeds to step S203.
  • step S203 the data processing unit 15 proceeds to the next work process. That is, the work instruction content read from the data storage unit 17 when the projection content is generated is changed to the next work process. After shifting to the next work process, the work content instruction image switching process is terminated.
  • the work instruction system can change the work instruction content to the next work process when the work path corresponds to the unique work path based on the image captured by the imaging device 103. Therefore, the worker does not need to turn the paper medium or operate the switch in order to switch the work instruction content, and work efficiency can be improved. In addition, when acquiring a work path for each work process, it is not necessary to arrange a measurement person separately from the worker, so that the cost of acquiring the work path can be suppressed.
  • FIG. FIG. 10 is a diagram showing the configuration of the information processing apparatus of the work instruction system according to the fourth embodiment of the present invention.
  • the information processing apparatus 130 of the work instruction system according to the fourth exemplary embodiment of the present invention includes the mask data generation unit 19 that generates mask data of a mask that does not display an image. Is different.
  • the video data processing unit 16 acquires the position and shape of the worker's hand.
  • the display generation unit 20 generates a work content instruction image so that a portion overlapping the mask data becomes black. Others are the same as in the first embodiment.
  • FIG. 11 is a flowchart showing an operation flow of the work instruction system according to the fourth embodiment.
  • step S ⁇ b> 301 the video data processing unit 16 acquires a distance image of the processing target 105 from the imaging device 103 through the imaging device connection interface 14.
  • step S302 the video data processing unit 16 calculates the shape and position of the processing target 105 and the shape and position of the worker's hand from the distance image acquired in step S301.
  • step S303 the mask data creation unit 19 creates mask data that matches the shape of the worker's hand.
  • step S304 the data processing unit 15 reads the data of the work instruction content from the data storage unit 17, and generates the projection content according to the shape and position of the worker. Note that step S303 and step S304 may be performed in the reverse order or may be performed in parallel.
  • step S305 the display generation unit 20 generates an operation content instruction image by imaging the projection content generated by the data processing unit 15 in step S304. At this time, the display generation unit 20 generates a work content instruction image by setting the portion where the operator's hand is present to black based on the mask data created by the mask data creation unit 19.
  • step S306 the display generation unit 20 outputs the work content instruction image to the projection device 104 through the projection device connection interface 12, and projects the work content instruction image.
  • FIG. 12 is a diagram illustrating an example of a work content instruction image by the work instruction system according to the fourth embodiment.
  • Embodiment 5 The information processing apparatus of the work instruction system according to the fifth embodiment of the present invention is different from the first embodiment in that the mold data of the processing target 105 is stored in the data storage unit 17. Others are the same as in the first embodiment.
  • the data processing unit 15 of the work instruction system according to the fifth embodiment generates projection content indicating the cutting position of the processing target 105 based on the mold data.
  • the work instruction system according to the fifth embodiment can superimpose and display the cutting position on the processing target 105 in the cutting operation step when the processing target 105 is a sheet, for example, cloth. Therefore, the process of transferring the shape to the workpiece 105 can be reduced, and the number of work steps can be reduced.
  • the configuration described in the above embodiment shows an example of the contents of the present invention, and can be combined with another known technique, and can be combined with other configurations without departing from the gist of the present invention. It is also possible to omit or change the part.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • General Factory Administration (AREA)
  • Automatic Assembly (AREA)

Abstract

作業指示システムは、加工台の上に載置された加工対象の距離画像を撮像する撮像装置（１０３）と、作業工程ごとの作業指示データを記憶するデータ記憶部（１７）と、撮像装置（１０３）が撮像した距離画像を基に、加工対象の形状及び位置を算出する映像データ処理部（１６）と、作業指示データと加工対象の形状及び位置とに基づいて、投影内容を生成するデータ処理部（１５）と、データ処理部（１５）が生成した投影内容を画像化して作業内容指示画像を生成する表示生成部（２０）とを有する情報処理装置（１００）と、作業内容指示画像を、加工対象を中心にして加工台に投影する投影装置（１０４）とを有する。

Description

作業指示システム
　本発明は、作業者に対して作業内容を指示する作業指示システムに関する。
　従来、作業員に作業内容を指示する際には、作業内容を印刷した紙媒体を配布する方法か、デジタル屋台のモニタに作業内容を表示する方法が用いられていた。デジタル屋台とは、作業台にモニタを敷設し、動画又は静止画で作業内容を教えるｅラーニングと、電動ドライバ及び可動式の部品棚といった生産設備とを融合したシステムである。
　特許文献１には、検知順序とは異なる順序で検知対象が検知されると異常と判定して報知命令を出力する作業検知システムが開示されている。
特開２０１３－０２５４７８号公報
　しかしながら、紙媒体又はデジタル屋台を用いる方法では、紙媒体又はモニタを確認するために、加工対象から顔を背ける必要があるため、効率的に作業を行いにくい。また、従来の作業検知システムは、単色光を順次投影するだけであり、作業指示の情報量が不足している。
　本発明は、上記に鑑みてなされたものであって、作業内容の確認ために加工対象から顔を背ける必要のない作業指示システムを得ることを目的とする。
　上述した課題を解決し、目的を達成するために、本発明は、載置手段の上に載置された加工対象の距離画像を撮像する撮像装置を備える。また、本発明は、作業工程ごとの作業指示データを記憶するデータ記憶部と、撮像装置が撮像した距離画像を基に、加工対象の形状及び位置を算出する映像データ処理部と、作業指示データと加工対象の形状及び位置とに基づいて、投影内容を生成するデータ処理部と、データ処理部が決定した投影内容を画像化して作業内容指示画像を生成する表示生成部とを有する情報処理装置を備える。また、本発明は、作業内容指示画像を、加工対象を中心にして載置手段に投影する投影装置を備える。
　本発明にかかる作業指示システムは、作業内容の確認のために加工対象から顔を背ける必要がないという効果を奏する。
本発明の実施の形態１にかかる作業指示システムの構成を示す図 実施の形態１にかかる作業指示システムの情報処理装置の構成を示す図 実施の形態１にかかる作業指示システムの情報処理装置のハードウェア構成を示す図 実施の形態１にかかる作業指示システムの動作の流れを示すフローチャート 実施の形態１にかかる作業指示システムによる作業内容指示画像の表示の一例を示す図 本発明の実施の形態２にかかる作業指示システムの構成を示す図 実施の形態２にかかる作業指示システムの情報処理装置の構成を示す図 本発明の実施の形態３にかかる作業指示システムの情報処理装置の構成を示す図 実施の形態３にかかる作業指示システムの作業内容指示画像の切替処理の流れを示すフローチャート 本発明の実施の形態４にかかる作業指示システムの情報処理装置の構成を示す図 実施の形態４にかかる作業指示システムの動作の流れを示すフローチャート 実施の形態４にかかる作業指示システムによる作業内容指示画像の一例を示す図
　以下に、本発明の実施の形態にかかる作業指示システムを図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態１．
　図１は、本発明の実施の形態１にかかる作業指示システムの構成を示す図である。作業指示システム２００は、加工対象１０５を載置する載置手段である加工台１０１に載置された加工対象１０５の距離画像を撮像する撮像装置１０３と、撮像装置１０３が撮像した距離画像に基づいて、作業内容指示画像を生成する情報処理装置１００と、情報処理装置１００が生成した作業内容指示画像を、加工対象１０５を中心にして加工台１０１に投影する投影装置１０４とを有する。撮像装置１０３には、距離画像センサを適用できる。投影装置１０４には、プロジェクタを適用できる。なお、以下の説明では、載置手段が加工台１０１である構成を例にするが、加工対象１０５を載置しつつ搬送する装置が載置手段であってもよい。加工対象１０５を載置しつつ搬送する装置の具体例には、コンベアを挙げることができる。
　図２は、実施の形態１にかかる作業指示システムの情報処理装置の構成を示す図である。情報処理装置１００は、撮像装置１０３から距離画像を受信する撮像装置接続インタフェース１４と、撮像装置接続インタフェース１４が撮像装置１０３から受信した距離画像から加工対象１０５の形状及び位置を算出する映像データ処理部１６と、作業指示内容のデータを記憶するデータ記憶部１７と、映像データ処理部１６が算出した加工対象１０５の形状及び位置と、データ記憶部１７に記憶された情報とを基に投影内容を生成するデータ処理部１５と、データ処理部１５が生成した投影内容を基に作業内容指示画像を生成する表示生成部２０と、作業内容指示画像を投影装置１０４に出力する投影装置接続インタフェース１２とを有する。
　図３は、実施の形態１にかかる作業指示システムの情報処理装置のハードウェア構成を示す図である。情報処理装置１００は、プログラムを実行する演算装置２１と、演算装置２１がワークエリアに用いるメモリ２２と、撮像装置１０３及び投影装置１０４との通信用の通信装置２３と、ソフトウェア及びデータを記憶する記憶装置２４とを備える。情報処理装置１００には、汎用のコンピュータ端末のみならず、モニタレスのプログラマブル表示器を適用することも可能である。演算装置２１には、中央演算装置（Central　Processing　Unit,　CPU）を適用できる。メモリ２２には、ＲＡＭ（Random　Access　Memory）を適用できる。記憶装置２４には、フラッシュメモリを適用できる。
　図２に示した映像データ処理部１６、データ処理部１５及び表示生成部２０は、記憶装置２４に記憶されたソフトウェアを演算装置２１がメモリ２２をワークエリアにして実行することによって実現される。データ記憶部１７は、記憶装置２４によって実現される。投影装置接続インタフェース１２及び撮像装置接続インタフェース１４は、メモリ２２をワークエリアにして記憶装置２４に記憶されたソフトウェアを実行した演算装置２１が通信装置２３を用いることによって実現される。また、複数の演算装置及び複数のメモリが連携して上記機能を実行してもよい。
　図４は、実施の形態１にかかる作業指示システムの動作の流れを示すフローチャートである。ステップＳ１０１で、映像データ処理部１６は、撮像装置接続インタフェース１４を通じて撮像装置１０３から加工対象１０５の距離画像を取得する。
　ステップＳ１０２で、映像データ処理部１６は、ステップＳ１０１で取得した距離画像から加工対象１０５の形状及び位置を算出する。
　ステップＳ１０３で、データ処理部１５は、データ記憶部１７から作業指示内容のデータを読み出し、加工対象の形状及び位置に応じて投影内容を生成する。ここでの投影内容とは、加工対象１０５を中心とする加工台１０１上の領域のどの部分にどのような作業指示を表示するかである。
　ステップＳ１０４で、表示生成部２０は、ステップＳ１０３でデータ処理部１５が生成した投影内容を画像化して作業内容指示画像を生成する。
　ステップＳ１０５で、表示生成部２０は、投影装置接続インタフェース１２経由で作業内容指示画像を投影装置１０４に出力し、投影装置１０４から作業対象１０５を中心にして加工台１０１に作業内容指示画像を投影する。
　図５は、実施の形態１にかかる作業指示システムによる作業内容指示画像の表示の一例を示す図である。加工対象１０５のねじ孔に配置されたねじ５１に隣接して、ねじ５１の位置を示すリング５２と、「工具Ａでねじを締める」という作業内容を表す文章５３と、ねじを締める方向を表す矢印５４とが表示されている。また、加工対象１０５のコネクタ５５に隣接して、「矢印の方向からケーブルを差し込む」という作業内容を表す文章５６と、ケーブルを差し込む方向を表す矢印５７とが表示されている。
　上記の処理を定期的に行うことにより、作業中に加工対象１０５の位置又は姿勢に変化が生じた場合でも、加工対象１０５の位置又は姿勢の変化に追随して作業指示を行うことができる。
　実施の形態１において、作業内容指示画像は、加工対象１０５を中心にして加工台１０１の上に表示される。したがって、作業員は、加工対象１０５から視線を外すことなく、現在行うべき作業の内容を把握することができ、効率的に作業を行うことができる。よって、作業員が作業指示を確認することなく作業を行うことは発生しにくくなり、ヒューマンエラーは生じにくくなる。
　なお、実施の形態１にかかる作業指示システムは、撮像装置接続インタフェース１４を通じて撮像装置１０３から入力される画像データを、データ記憶部１７に記憶させることもできる。撮像装置１０３から入力される画像データを蓄積することにより、作業の所要時間を蓄積した画像データを基に算出できる。したがって、撮像装置１０３から入力される画像データを蓄積することにより、作業工程の順序を変えたりして作業の効率化を図ることができる。作業工程ごとに作業時間を取得するにあたって、作業員とは別に計測員を配置する必要がないため、作業時間を取得するコストを抑えることができる。また、加工対象１０５を中心にして作業内容指示画像を投影することにより、搬送手段にコンベアを用いる場合でも、加工対象１０５の動きに追従して、作業内容の指示が必要な箇所に指示内容を表示することができる。
実施の形態２．
　図６は、本発明の実施の形態２にかかる作業指示システムの構成を示す図である。実施の形態２にかかる作業指示システム２１０は、加工対象１０５に対する作業に用いられる電動工具１０６と、電動工具１０６の動作時間を監視し、監視結果を情報処理装置１１０へ出力する制御装置１０２を有する。
　図７は、実施の形態２にかかる作業指示システムの情報処理装置の構成を示す図である。情報処理装置１１０は、制御装置１０２から電動工具１０６の動作時間の監視結果を受信する制御装置接続インタフェース１３を有する点で実施の形態１の情報処理装置１００と相違する。なお、情報処理装置１１０は、作業工程ごとの電動工具１０６の動作時間の基準値をデータ記憶部１７に記憶している。また、データ処理部１５は、映像データ処理部１６が算出した加工対象１０５の形状及び位置と、制御装置接続インタフェース１３が取得した情報と、データ記憶部１７に記憶された情報とを基に投影内容を生成する。すなわち、データ処理部１５は、制御装置１０２から取得した電動工具１０６の動作時間が基準値を下回る場合には、作業が不完全であることを警告するメッセージを含む投影内容を生成する。
　図７に示した制御装置接続インタフェース１３は、ソフトウェアを実行した演算装置２１が通信装置２３を用いることによって実現される。また、複数の演算装置及び複数のメモリが連携して上記機能を実行してもよい。
　実施の形態２にかかる作業指示システムによれば、電動工具１０６の動作時間を反映した作業指示画面を加工台１０１に加工対象１０５を中心にして投影できる。したがって、電動工具１０６の動作時間がデータ記憶部１７に記憶されている基準値を下回り、作業が不完全となっている懸念がある場合に、作業を完全に行うように作業員に警告を発することができる。具体例を挙げると、電動工具１０６が電動ドライバである場合に、ねじの締め付け不足が懸念される時には、締め付け不足を警告するメッセージを表示することで、増し締めを促して、組立不良の発生を低減できる。
実施の形態３．
　図８は、本発明の実施の形態３にかかる作業指示システムの情報処理装置の構成を示す図である。実施の形態３にかかる作業指示システムの情報処理装置１２０は、作業パス解析部１８を有する点で、実施の形態１の作業指示システム２００の情報処理装置１００と相違している。また、データ記憶部１７には、作業工程ごとに固有作業パスのデータが格納されている。ここでの作業パスには、作業者の手の位置及び動線を例に挙げることができる。固有作業パスは、現在の作業工程が完了したか否かを判断するための条件となる作業パスである。
　また、実施の形態３にかかる作業指示システムの情報処理装置１２０では、映像データ処理部１６は、加工対象１０５の位置及び形状に加え、作業員の手の位置を取得する。
　実施の形態３にかかる作業指示システムの情報処理装置１２０のハードウェア構成は、実施の形態１の情報処理装置１００と同様である。したがって、作業パス解析部１８は、記憶装置２４に記憶されたソフトウェアを、メモリ２２をワークエリアにして演算装置２１が実行することによって実現される。
　実施の形態３にかかる作業指示システムでは、作業パス解析部１８は、映像データ処理部１６が取得した距離画像を時系列的に並べることで、作業員の手の位置及び動線を算出する。
　図９は、実施の形態３にかかる作業指示システムの作業内容指示画像の切替処理の流れを示すフローチャートである。ステップＳ２０１で、作業パス解析部１８は、撮像装置接続インタフェース１４を通じて取得した距離画像の画像データから作業パスを取得する。
　ステップＳ２０２で、作業パス解析部１８は、ステップＳ２０１で取得した作業パスが固有作業パスに該当するかを判断する。ステップＳ２０１で取得した作業パスが固有作業パスに該当しなければ、ステップＳ２０２でＮｏとなり、作業内容指示画像の切替処理を終了する。ステップＳ２０１で取得した作業パスが固有作業パスに該当するならば、ステップＳ２０２でＹｅｓとなり、ステップＳ２０３に進む。
　ステップＳ２０３で、データ処理部１５は、次の作業工程に移行する。すなわち、投影内容を生成する際にデータ記憶部１７から読み出す作業指示内容を、次の作業工程のものに変更する。次の作業工程へ移行したのち、作業内容指示画像の切替処理を終了する。
　作業内容指示画像の切替処理の終了後には、図４に示した処理が行われて作業内容指示画像が作成及び投影される。
　実施の形態３にかかる作業指示システムは、撮像装置１０３が撮像した画像を基づいて、作業パスが固有作業パスに該当する場合には、作業指示内容を次の作業工程のものに変更できる。従って、作業員は、作業指示内容を切り替えるために紙媒体をめくったり、スイッチを操作したりする必要がなくなり、作業効率を向上させることができる。また、作業工程ごとに作業パスを取得するにあたって、作業員とは別に計測員を配置する必要がないため、作業パスを取得するコストを抑えることができる。
実施の形態４．
　図１０は、本発明の実施の形態４にかかる作業指示システムの情報処理装置の構成を示す図である。本発明の実施の形態４にかかる作業指示システムの情報処理装置１３０は、画像を非表示とするマスクのマスクデータを作成するマスクデータ作成部１９を有する点で実施の形態１の情報処理装置１００と相違する。また、映像データ処理部１６は、加工対象１０５の位置及び形状に加え、作業員の手の位置及び形状を取得する。また、表示生成部２０は、マスクデータと重なる部分が黒色になるように作業内容指示画像を生成する。この他については、実施の形態１と同様である。
　図１１は、実施の形態４にかかる作業指示システムの動作の流れを示すフローチャートである。ステップＳ３０１で、映像データ処理部１６は、撮像装置接続インタフェース１４を通じて撮像装置１０３から加工対象１０５の距離画像を取得する。
　ステップＳ３０２で、映像データ処理部１６は、ステップＳ３０１で取得した距離画像から加工対象１０５の形状及び位置及び作業員の手の形状及び位置を算出する。
　ステップＳ３０３で、マスクデータ作成部１９は、作業員の手の形状に合わせたマスクデータを作成する。
　ステップＳ３０４で、データ処理部１５は、データ記憶部１７から作業指示内容のデータを読み出し、作業者の形状及び位置に応じて投影内容を生成する。なお、ステップＳ３０３とステップＳ３０４とは、逆の順序で行っても良いし、並列に処理を行っても良い。
　ステップＳ３０５で、表示生成部２０は、ステップＳ３０４でデータ処理部１５が生成した投影内容を画像化して作業内容指示画像を生成する。この際表示生成部２０は、マスクデータ作成部１９が作成したマスクデータに基づき、作業員の手がある部分を黒色にして作業内容指示画像を生成する。
　ステップＳ３０６で、表示生成部２０は、作業内容指示画像を投影装置接続インタフェース１２を通じて投影装置１０４に出力し、作業内容指示画像を投影する。
　図１２は、実施の形態４にかかる作業指示システムによる作業内容指示画像の一例を示す図である。マスクデータ作成部１９によって作成されたマスク６１と、マスク処理前の作業内容指示画像６２とを重ね合わせ、マスク６１とマスク処理前の作業内容指示画像６２とが重なる部分を黒色にすることで、作業内容指示画像６３が生成される。したがって、作業内容指示画像６３は、作業者の手と重なる部分がマスクされて黒色になっている。よって、投影装置１０４から作業内容指示画像６３を投影しても、作業者の手の上には画像光が当たらない。これにより、作業員の手の上に作業内容指示画像が重畳表示されることがないため、視認性を向上させることができる。
実施の形態５．
　本発明の実施の形態５にかかる作業指示システムの情報処理装置は、データ記憶部１７に加工対象１０５の型データが記憶されている点で実施の形態１と相違する。この他については、実施の形態１と同様である。
　実施の形態５にかかる作業指示システムのデータ処理部１５は、型データに基づいて、加工対象１０５の切断位置を示す投影内容を生成する。実施の形態５にかかる作業指示システムは、加工対象１０５がシート状、例えば布類である場合の切断作業の工程において、切断する位置を加工対象１０５に重畳表示できる。したがって、加工対象１０５に形状を転写する工程を削減し、作業工数を減らすことができる。
　以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
　１２　投影装置接続インタフェース、１３　制御装置接続インタフェース、１４　撮像装置接続インタフェース、１５　データ処理部、１６　映像データ処理部、１７　データ記憶部、１８　作業パス解析部、１９　マスクデータ作成部、２０　表示生成部、２１　演算装置、２２　メモリ、２３　通信装置、２４　記憶装置、１００，１１０，１２０，１３０　情報処理装置、１０１　加工台、１０２　制御装置、１０３　撮像装置、１０４　投影装置、１０５　加工対象、１０６　電動工具、２００，２１０　作業指示システム。

Claims (6)

  1. 　載置手段の上に載置された加工対象の距離画像を撮像する撮像装置と、
    　作業工程ごとの作業指示データを記憶するデータ記憶部と、前記撮像装置が撮像した距離画像を基に、前記加工対象の形状及び位置を算出する映像データ処理部と、前記作業指示データと前記加工対象の形状及び位置とに基づいて、投影内容を生成するデータ処理部と、前記データ処理部が生成した投影内容を画像化して作業内容指示画像を生成する表示生成部とを有する情報処理装置と、
    　前記作業内容指示画像を、前記加工対象を中心にして前記載置手段に投影する投影装置とを有することを特徴とする作業指示システム。
  2. 　前記データ記憶部は、前記距離画像を蓄積することを特徴とする請求項１に記載の作業指示システム。
  3. 　前記情報処理装置は、作業員の手の位置及び動線によって示される作業パスを算出する作業パス解析部を有し、
    　前記データ記憶部には、現在の作業工程が完了したか否かの判断の条件である固有作業パスが記憶されており、
    　前記映像データ処理部は、前記距離画像から作業員の手の位置を取得し、
    　前記作業パス解析部は、前記距離画像を時系列的に並べることによって前記作業員の手の位置及び動線を算出することを特徴とする請求項１に記載の作業指示システム。
  4. 　前記情報処理装置は、作業員の手の形状及び位置に基づいて画像を非表示とするマスクのマスクデータを作成するマスクデータ作成部を有し、
    　前記表示生成部は、前記マスクと重なる部分を黒色にして前記作業内容指示画像を生成することを特徴とする請求項１に記載の作業指示システム。
  5. 　前記データ記憶部は、前記加工対象の型データを記憶しており、
    　前記データ処理部は、前記型データに基づいて、前記加工対象の切断位置を示す投影内容を生成することを特徴とする請求項１に記載の作業指示システム。
  6. 　前記加工対象の加工作業に用いられる電動工具と、
    　前記電動工具を制御する制御装置とを有し、
    　前記情報処理装置は、
    　前記電動工具の動作時間の基準値を前記データ記憶部に記憶し、前記制御装置から取得した前記電動工具の動作時間が前記基準値を下回る場合には、前記データ処理部は、作業が不完全であることを警告するメッセージを含む前記投影内容を生成することを特徴とする請求項１から５のいずれか１項に記載の作業指示システム。
PCT/JP2015/060396 2015-04-01 2015-04-01 作業指示システム WO2016157484A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201580078160.0A CN107407930A (zh) 2015-04-01 2015-04-01 作业指示系统
PCT/JP2015/060396 WO2016157484A1 (ja) 2015-04-01 2015-04-01 作業指示システム
JP2017507039A JP6198990B2 (ja) 2015-04-01 2015-04-01 作業指示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/060396 WO2016157484A1 (ja) 2015-04-01 2015-04-01 作業指示システム

Publications (1)

Publication Number Publication Date
WO2016157484A1 true WO2016157484A1 (ja) 2016-10-06

Family

ID=57004021

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/060396 WO2016157484A1 (ja) 2015-04-01 2015-04-01 作業指示システム

Country Status (3)

Country Link
JP (1) JP6198990B2 (ja)
CN (1) CN107407930A (ja)
WO (1) WO2016157484A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019064398A1 (ja) * 2017-09-27 2019-04-04 三菱重工機械システム株式会社 紙工機械における準備作業時間の分析装置及び方法
WO2019087726A1 (ja) * 2017-11-02 2019-05-09 川崎重工業株式会社 作業支援システムおよび作業支援方法
JP7470578B2 (ja) 2020-06-19 2024-04-18 株式会社Subaru 作業支援システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7395988B2 (ja) 2019-11-22 2023-12-12 オムロン株式会社 作業指示システムおよび作業指示方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04259803A (ja) * 1991-02-15 1992-09-16 Nissan Motor Co Ltd 作業動作計測装置
JPH06320486A (ja) * 1993-05-18 1994-11-22 Kitagawa Kogyo Kk 裁断装置
JP2002310617A (ja) * 2001-04-18 2002-10-23 Matsushita Electric Works Ltd 作業分析システム及びその方法
JP2007115134A (ja) * 2005-10-21 2007-05-10 Sharp Corp 作業実績収集システム
JP2008217544A (ja) * 2007-03-06 2008-09-18 Yaskawa Electric Corp 物体検出方法、物体検出装置、及びそれを備えたロボット
JP2011034234A (ja) * 2009-07-30 2011-02-17 Kozo Keikaku Engineering Inc 動作分析装置、動作分析方法及び動作分析プログラム
JP2014035635A (ja) * 2012-08-08 2014-02-24 Utsunomiya Univ 対象物管理システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4305431B2 (ja) * 2005-09-06 2009-07-29 ソニー株式会社 画像処理装置、マスク作成方法及びプログラム
JP2009037392A (ja) * 2007-08-01 2009-02-19 Olympus Corp 作業支援システム
JP3140252U (ja) * 2007-11-20 2008-03-21 光峰科技股▲ふん▼有限公司 目を保護する投影装置
JP2012208439A (ja) * 2011-03-30 2012-10-25 Sony Corp 投影装置、投影方法及び投影プログラム
BR112014008297A2 (pt) * 2012-02-06 2017-04-18 Nippon Steel & Sumitomo Metal Corp aparelho para suportar trabalho de acabamento, mé-todo para suportar trabalho de acabamento e sistema para suportar trabalho de acabamento
JP6287293B2 (ja) * 2014-02-07 2018-03-07 セイコーエプソン株式会社 表示システム、表示装置、および表示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04259803A (ja) * 1991-02-15 1992-09-16 Nissan Motor Co Ltd 作業動作計測装置
JPH06320486A (ja) * 1993-05-18 1994-11-22 Kitagawa Kogyo Kk 裁断装置
JP2002310617A (ja) * 2001-04-18 2002-10-23 Matsushita Electric Works Ltd 作業分析システム及びその方法
JP2007115134A (ja) * 2005-10-21 2007-05-10 Sharp Corp 作業実績収集システム
JP2008217544A (ja) * 2007-03-06 2008-09-18 Yaskawa Electric Corp 物体検出方法、物体検出装置、及びそれを備えたロボット
JP2011034234A (ja) * 2009-07-30 2011-02-17 Kozo Keikaku Engineering Inc 動作分析装置、動作分析方法及び動作分析プログラム
JP2014035635A (ja) * 2012-08-08 2014-02-24 Utsunomiya Univ 対象物管理システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019064398A1 (ja) * 2017-09-27 2019-04-04 三菱重工機械システム株式会社 紙工機械における準備作業時間の分析装置及び方法
WO2019087726A1 (ja) * 2017-11-02 2019-05-09 川崎重工業株式会社 作業支援システムおよび作業支援方法
CN111372698A (zh) * 2017-11-02 2020-07-03 川崎重工业株式会社 作业辅助系统及作业辅助方法
JPWO2019087726A1 (ja) * 2017-11-02 2020-12-17 川崎重工業株式会社 作業支援システムおよび作業支援方法
JP7225109B2 (ja) 2017-11-02 2023-02-20 川崎重工業株式会社 作業支援システムおよび作業支援方法
JP7470578B2 (ja) 2020-06-19 2024-04-18 株式会社Subaru 作業支援システム

Also Published As

Publication number Publication date
JPWO2016157484A1 (ja) 2017-06-08
CN107407930A (zh) 2017-11-28
JP6198990B2 (ja) 2017-09-20

Similar Documents

Publication Publication Date Title
EP3022524B1 (en) Inspection system for inspecting an object and inspection method for same
JP6198990B2 (ja) 作業指示システム
JP2019038075A (ja) ロボットシステム
JP2007079028A (ja) 投射型画像表示装置およびマルチプロジェクションシステム
JP2009037392A (ja) 作業支援システム
JP6207764B2 (ja) 作業支援システム、作業支援装置及び作業支援方法
JP2012234524A5 (ja) 多機能機器内の機能不全をトラブルシューティングするために用いられるハンドヘルド機器
JP6709206B2 (ja) 製造補助装置
JP2017140681A (ja) 管理装置および管理システム
JP2018180875A (ja) 判定装置、判定方法および判定プログラム
JP2015149011A (ja) 表示システム、表示装置、および表示方法
JP2008059322A (ja) 作業管理システム
JP2014065060A (ja) 支援システム及びその方法
JP2011251395A (ja) ロボット教示システム
JP2012048510A (ja) 作業検査システム
JP7336253B2 (ja) 据付物の施工方法
JP6589541B2 (ja) 締付支援システムおよび締付支援方法
JP2017184136A5 (ja)
JP2020190986A5 (ja)
CN113993647B (zh) 补焊系统
WO2014091897A1 (ja) ロボット制御システム
JP6596530B2 (ja) 方法及び装置
JP2016170495A (ja) 点検支援装置、点検支援装置の制御方法、プログラム及び点検支援システム
WO2022249249A1 (ja) 映像解析装置、映像解析システム、及び記憶媒体
KR102068787B1 (ko) 알람 기능 설정 장치, 알람 기능 설정 시스템 및 알람 기능 설정 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15887631

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017507039

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15887631

Country of ref document: EP

Kind code of ref document: A1