WO2016084151A1 - 作業支援システム、作業支援装置及び作業支援方法 - Google Patents

作業支援システム、作業支援装置及び作業支援方法 Download PDF

Info

Publication number
WO2016084151A1
WO2016084151A1 PCT/JP2014/081196 JP2014081196W WO2016084151A1 WO 2016084151 A1 WO2016084151 A1 WO 2016084151A1 JP 2014081196 W JP2014081196 W JP 2014081196W WO 2016084151 A1 WO2016084151 A1 WO 2016084151A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
work
projection
support information
unit
Prior art date
Application number
PCT/JP2014/081196
Other languages
English (en)
French (fr)
Inventor
高志 林田
浩延 松下
隆紀 清水
篤 片山
Original Assignee
三菱電機エンジニアリング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機エンジニアリング株式会社 filed Critical 三菱電機エンジニアリング株式会社
Priority to EP14906671.4A priority Critical patent/EP3226090B1/en
Priority to PCT/JP2014/081196 priority patent/WO2016084151A1/ja
Priority to JP2016561131A priority patent/JP6207764B2/ja
Priority to CN201480083559.3A priority patent/CN107003658B/zh
Priority to MX2017005535A priority patent/MX366907B/es
Publication of WO2016084151A1 publication Critical patent/WO2016084151A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31048—Project on workpiece, image of finished workpiece, info or a spot
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the present invention relates to a work support system, a work support apparatus, and a work support method for supporting work performed on a product by an operator.
  • Patent Document 2 discloses an apparatus that directly indicates the installation position of a component by irradiating a product with a laser.
  • the apparatus disclosed in Patent Document 2 is based on the premise that the installation position of the product is fixed, it cannot cope with the case where the installation position of the product to be operated is different each time.
  • the present invention has been made to solve the above-described problems, and can reduce work errors with respect to the conventional configuration even when the installation position of a product on which an operator works is changed.
  • An object is to provide a work support device and a work support method.
  • the work support apparatus includes a feature image registration unit that registers three or more feature images of a product that can recognize the product together with a positional relationship of the respective locations, and a display position of the work support information for the product.
  • a projection position calculation unit that calculates a projection position of the work support information from the displayed display position of the work support information, and the work support information is arranged at the projection position calculated by the projection position calculation unit
  • the work support method includes a feature image registration step in which the feature image registration unit registers three or more feature images of the product capable of recognizing the product together with the positional relationship of the respective locations, and the support.
  • An information registration unit registers a display position of work support information for a product, a support information registration step, an image acquisition unit acquires an image acquired by an imaging device, and a position specifying unit includes a feature image. Based on the information registered in the registration unit, the captured image acquired by the image acquisition unit is compared with the feature image, and the position of the product in the captured image is determined based on the positional relationship between the verified locations of the captured image.
  • the image output unit includes a projection image output step of outputting the projection image generated by the projection image generation unit to the projector.
  • FIG. 1 is a diagram showing a configuration of a work support system according to Embodiment 1 of the present invention.
  • the work support system includes an imaging device 1, a projector (projector) 2, and a work support device 3.
  • the photographing apparatus 1 photographs a work area where an operator works on a product.
  • a web camera or the like is used.
  • the photographing apparatus 1 is installed at a position where an operator does not overlap with a product.
  • the work performed by the operator includes, for example, assembly work for tightening screws and inserting connectors on the product, sticking work for attaching stickers and the like to the product, application work for applying a coating agent to the product, and provision for the product. For example, a switching operation for switching only a designated switch among the plurality of switches, an inspection operation for inspecting whether these operations are correctly performed, and the like.
  • the projector 2 inputs a projection image including information (work support information) for supporting the work by the worker from the work support device 3, and projects the projection image onto the work area. Thereby, the work support information is directly projected on the product located on the work area.
  • the projector 2 is installed at a position where an operator does not overlap with the product.
  • the photographing apparatus 1 and the projector 2 may be general-purpose products.
  • the coordinates of the shooting area in the shooting apparatus 1 and the coordinates of the projection area in the projector 2 can be converted by the work support apparatus 3, respectively. Further, by specifying the calibration value in the work support device 3, the photographing device 1 and the projector 2 can be arbitrarily changed.
  • the work support apparatus 3 generates a projection image including work support information based on the captured image taken by the imaging apparatus 1 and outputs the projection image to the projector 2.
  • the work support apparatus 3 includes a feature image registration unit 31, a support information registration unit 32, an image acquisition unit 33, a position specification unit 34, a projection position calculation unit 35, a projection image generation unit 36, and a projection image.
  • the output unit 37 is configured. Note that the functional units 33 to 37 of the work support device 3 are executed by program processing using a CPU based on software.
  • the registration units 31 and 32 are configured by an HDD, a DVD, a memory, or the like.
  • the feature image registering unit 31 registers three or more images of the product capable of recognizing the product as feature images for each product, together with the positional relationship of the respective locations.
  • the support information registration unit 32 registers work support information and the display position of the work support information for the product for each product.
  • the work support information includes, for example, an arrow or a circle indicating a work location, a number indicating a work process order, a character string indicating a work content, and the like.
  • a part image displayed as if the part is attached at the attachment position of the product may be used, or an animation or the like may be used. Moreover, you may combine these.
  • the image acquisition unit 33 acquires a captured image captured by the imaging apparatus 1. Based on the information registered in the feature image registration unit 31, the position specifying unit 34 compares the captured image acquired by the image acquisition unit 33 with the feature image to detect the product, and compares the captured image. The position of the product in the photographed image is specified from the positional relationship of each location.
  • the projection position calculation unit 35 projects the work support information from the position of the product in the captured image specified by the position specifying unit 34 and the display position of the corresponding work support information for the product registered in the support information registration unit 32. The position is calculated.
  • the projection image generation unit 36 generates a projection image in which the corresponding work support information registered in the support information registration unit 32 is arranged at the projection position calculated by the projection position calculation unit 35.
  • the projection image output unit 37 outputs the projection image generated by the projection image generation unit 36 to the projector 2.
  • the feature image registration unit 31 registers in advance three or more feature images for each product together with their positional relationship (feature image registration step).
  • As the feature image an image having a unique shape and less light reflection is used out of the entire product image.
  • the size of the feature image is set in consideration of the collation processing speed in the position specifying unit 34.
  • the position specifying unit 34 collates each feature image with the captured image, and determines the position of the product (installed angle) from the positional relationship between each feature image and the positional relationship between each verified location on the captured image. ). For this reason, at least three feature images are required. For example, in FIG. 4, images 402a to 402d at the four corners of the entire image 401 obtained by photographing the product itself are cut out as feature images.
  • the support information registration unit 32 registers in advance work support information and information indicating the display position of the work support information for the product for each product (support information registration step).
  • a table as shown in FIG. 5 is set and held in advance.
  • the X coordinate and Y coordinate (PRJ.X, PRJ.Y) on the projection coordinate indicating the position where the projector 2 projects the work support information when the product is installed at the reference position, and the work The contents of support information (PRJ.MARK) are registered.
  • “arrow” indicates an arrow
  • “circle” indicates a circle
  • MSG” indicates a character string.
  • the image acquisition part 33 acquires the picked-up image image
  • the position specifying unit 34 collates the captured image acquired by the image acquisition unit 33 with the feature image based on the information registered in the feature image registration unit 31, and the position of each location where the captured image is collated. From the relationship, the position of the product in the captured image is specified (step ST2, position specifying step). At this time, when the collation rate between the specific portion of the captured image and the feature image exceeds a preset threshold, the position identifying unit 34 detects the specific portion as a collated portion. For this collation, for example, a technique such as OpenCV (Open Source Computer Vision Library) may be used. The threshold value can be changed.
  • OpenCV Open Source Computer Vision Library
  • the projection position calculation unit 35 calculates the work support information from the position of the product in the captured image specified by the position specifying unit 34 and the display position of the corresponding work support information for the product registered in the support information registration unit 32. Is calculated (step ST3, projection position calculation step).
  • the projection image generation unit 36 generates a projection image in which the corresponding work support information registered in the support information registration unit 32 is arranged at the projection position calculated by the projection position calculation unit 35 (step ST4, projection image generation). Step).
  • the projection image output unit 37 outputs the projection image generated by the projection image generation unit 36 to the projector 2 (step ST5, projection image output step).
  • the projector 2 receives the projection image from the work support device 3 and projects this projection image onto the product.
  • the work support information can be directly projected onto the product.
  • 6 to 8 show projection image diagrams.
  • the worker only needs to perform the work according to the work support information projected on the product, and the work contents are mistaken for the past, the work contents are forgotten, and the work is performed without confirming the work contents. This can be suppressed and work errors can be reduced.
  • the position of the product is specified using the captured image captured by the imaging apparatus 1, even if the installation position of the product is different each time, the work support information is projected to the correct position. can do. Note that the example of FIG.
  • FIG. 6 shows a case where an arrow is projected onto the product so as to point to a location where the connector is inserted.
  • FIG. 7 a case where a circle is projected onto the product so as to surround a portion where the connector is inserted is shown.
  • FIG. 8 for a plurality of work processes, a circle surrounding work places, a number indicating the work process order, and a character string indicating the work contents are projected on the product.
  • the photographed image and the pre-registered feature image are collated, the position of the product in the photographed image is specified from the positional relationship, and the work support registered in advance with the position is provided. Since the projection position of the work support information is calculated from the display position of the information on the product to generate a projection image, and the work support information is directly projected onto the product by the projector 2, the worker can perform the work. Even when the position of the product to be changed is changed, it is possible to reduce work errors with respect to the conventional configuration. In addition, when there are a plurality of work locations, work mistakes can be reduced even if the worker is unfamiliar with the work.
  • the present invention it is possible to specify a product in real time using a photographed image photographed by the photographing apparatus 1. Therefore, even if the installation position of the product changes during the work, it is possible to follow and specify the position.
  • FIG. 1 shows a case where one photographing device 1 and one projector 2 are provided.
  • the worker is positioned in front of the photographing apparatus 1 and the projector 2 due to the movement of the worker, the product may not be detected and the work support information may not be projected onto the product. Therefore, a plurality of photographing apparatuses 1 and projectors 2 may be provided, for example, left and right. Thereby, even if there are the imaging device 1 and the projector 2 that are located behind the worker, the other imaging device 1 and the projector 2 detect the product and project the work support information onto the product. Can do.
  • the present invention when a product is introduced into the imaging region by the imaging device 1, the product is detected by the position specifying unit 34 and the next work instruction is prepared. Therefore, the work by the worker can be started smoothly.
  • the entire captured image is compared with the feature image.
  • the present invention is not limited to this, and a product may be detected by collating a predetermined part of a captured image with a feature image. That is, at the site, the installation position of the product can be grasped to some extent in advance. For this reason, the entire captured image is not subject to collation, but only a portion is subject to collation. Thereby, the collation process speed by the position specific
  • FIG. 9 is a diagram showing a configuration of a work support system according to Embodiment 2 of the present invention
  • FIG. 10 is a diagram showing a configuration of a work support device 3 according to Embodiment 2 of the present invention.
  • the work support system according to Embodiment 2 shown in FIG. 9 is obtained by adding a tablet terminal 4 to the work support system according to Embodiment 1 shown in FIG. 10 is the same as the work support apparatus 3 according to the first embodiment shown in FIG. 2 except for the display image generation unit 38, the display image output unit 39, and the work completion detection unit 40. Is added.
  • Other configurations are the same, and only the different parts are described with the same reference numerals.
  • the tablet terminal 4 is a terminal on which an operator operates.
  • the tablet terminal 4 inputs a display image corresponding to the work support information from the work support device 3 in conjunction with the projection of the work support information by the projector 2, and displays the display image. Then, when the work corresponding to the work support information is completed, the worker notifies the work support apparatus 3 of the work completion by tapping a predetermined location on the display image of the tablet terminal 4.
  • the tablet terminal 4 may be a general-purpose product.
  • the support information registration unit 32 of the work support device 3 in addition to the registration information in the first embodiment, for each product, information corresponding to the work support information (for example, the entire image of the product, work support information is supported). The work location on the entire image and the work content).
  • a table as shown in FIG. 11 is set and held in advance.
  • the X coordinate and Y coordinate (DSP.X, DSP.X) on the tablet coordinates indicating the work location on the entire product image displayed on the tablet terminal 4 are displayed.
  • Y) the entire product image (DSP.IMAGE), and the work contents (DSP.MSG) are registered.
  • the display image generation unit 38 generates a display image corresponding to the work support information based on the registration information of the support information registration unit 32.
  • the display image output unit 39 outputs the display image generated by the display image generation unit 38 to the tablet terminal 4 in conjunction with the projection image output unit 37.
  • the work completion detection unit 40 detects completion of work corresponding to work support information from the tap operation by the worker after the display image is displayed on the tablet terminal 4. At this time, in the example of FIG. 12 shown below, the work completion detection unit 40 corresponds by checking the tap position by the worker and the work location on the entire image registered in the support information registration unit 32. Completion of work for work support information is detected.
  • the display image generation unit 38, the display image output unit 39, and the work completion detection unit 40 are executed by a program process using a CPU based on software.
  • the projection position calculation unit 35 calculates the projection position of the next work support information when the work completion detection unit 38 detects the completion of the work corresponding to the work support information.
  • the work support information is directly projected onto the product by the projector 2, and the work support information also corresponds to the tablet terminal 4.
  • a display image is displayed. For example, in FIG. 12, based on the registration information shown in FIG. 11, a display image including an entire product image 1201, a mark 1202 indicating a work location, and information 1203 indicating the work content is displayed on the tablet terminal 4.
  • the worker taps the mark 1202 on the display image of the tablet terminal 4 shown in FIG. This is detected by the work completion detection unit 40 and the work support device 3 confirms that the work according to the work support information is completed. Then, the projector 2 projects the next work support information, and the tablet terminal 4 also shifts to the next screen (FIG. 12B).
  • the display image corresponding to the work support information is displayed on the tablet terminal 4 in conjunction with the projection of the work support information onto the product by the projector 2, and then Since it is configured to confirm the completion of work from the tap operation by the operator and shift to the projection of the next work support information, in addition to the effect in the first embodiment, a confirmation function using the tablet terminal 4 is added. Work errors can be further reduced.
  • the projection position calculation unit 35 calculates the projection position of the work support information in the order of the work process and directly projects it onto the product and displays the display corresponding to the tablet terminal 4.
  • the projection position calculation unit 35 may calculate the projection positions of the work support information in an order different from the order of the work processes.
  • the present invention can be freely combined with each embodiment, modified any component in each embodiment, or omitted any component in each embodiment. .
  • the work support system according to the present invention can reduce work errors with respect to the conventional configuration even when the position of the product on which the worker works is changed, and the work performed on the product by the worker. Suitable for use in supporting work support systems.

Abstract

製品を認識可能な当該製品のうちの３箇所以上の特徴画像を当該各箇所の位置関係とともに登録する特徴画像登録部(３１)と、製品に対する作業支援情報の表示位置を登録する支援情報登録部(３２)と、撮影装置(１)により撮影された撮影画像を取得する画像取得部(３３)と、撮影画像と特徴画像とを照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における製品の位置を特定する位置特定部(３４)と、位置特定部(３４)により特定された製品の位置及び支援情報登録部(３２)に登録された作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する投影位置算出部(３５)と、投影位置算出部(３５)により算出された投影位置に作業支援情報を配置した投影画像を生成する投影画像生成部(３６)と、投影画像生成部(３６)により生成された投影画像を投影機(２)に出力する投影画像出力部(３７)とを備えた。

Description

作業支援システム、作業支援装置及び作業支援方法
　この発明は、作業者が製品に対して行う作業を支援する作業支援システム、作業支援装置及び作業支援方法に関するものである。
　従来、作業者が製品に対して組立作業等の作業を行う場合に、作業要領書やチェックリスト等の書類を用いて作業を行っていた。しかしながら、この場合、製品毎に書類を置く場所が必要であった。また、作業者が書類の該当するページをめくる必要があり、また、これにより書類が汚れてしまうという課題もあった。また、書類を紛失する恐れもあった。
　また、製品に対して組立作業等の作業を行う作業者に対し、モニタに作業内容を表示する装置が知られている（例えば特許文献１参照）。そして、作業者は、モニタに表示された作業内容に沿って組立作業を行い、作業が完了した後に作業完了スイッチを押す。これにより、装置側では、作業内容に沿った組立作業が正常に完了したと判断し、次の作業内容の表示に移行する。
特開２０１０－６１５６６号公報 特開２０１３－２３０５４７号公報
　しかしながら、特許文献１に開示された従来構成では、製品とは異なる場所（例えば背面）に設置されたモニタに作業内容が表示されるため、作業者が作業内容を見間違えたり、作業内容を忘れたりする可能性がある。また、作業に慣れた作業者が、モニタの作業内容を確認せずに組立作業を行って作業完了スイッチを押す可能性がある。その結果、作業ミスが発生する恐れがあるという課題がある。
　なお、特許文献２には、製品にレーザを照射することで、部品の設置位置を直接示す装置が示されている。しかしながら、特許文献２に開示された装置では、製品の設置位置が固定であることが前提となっているため、作業を行う製品の設置位置がその都度違う場合には対応できない。
　この発明は、上記のような課題を解決するためになされたもので、作業者が作業を行う製品の設置位置が変わる場合であっても、従来構成に対して作業ミスを低減することができる作業支援装置及び作業支援方法を提供することを目的としている。
　この発明に係る作業支援装置は、製品を認識可能な当該製品のうちの３箇所以上の特徴画像を当該各箇所の位置関係とともに登録する特徴画像登録部と、製品に対する作業支援情報の表示位置を登録する支援情報登録部と、撮影装置により撮影された撮影画像を取得する画像取得部と、特徴画像登録部に登録された情報に基づいて、画像取得部により取得された撮影画像と特徴画像とを照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における製品の位置を特定する位置特定部と、位置特定部により特定された製品の位置及び支援情報登録部に登録された作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する投影位置算出部と、投影位置算出部により算出された投影位置に作業支援情報を配置した投影画像を生成する投影画像生成部と、投影画像生成部により生成された投影画像を投影機に出力する投影画像出力部とを備えたものである。
　また、この発明に係る作業支援方法は、特徴画像登録部が、製品を認識可能な当該製品のうちの３箇所以上の特徴画像を当該各箇所の位置関係とともに登録する特徴画像登録ステップと、支援情報登録部が、製品に対する作業支援情報の表示位置を登録する支援情報登録ステップと、画像取得部が、撮影装置により撮影された撮影画像を取得する画像取得ステップと、位置特定部が、特徴画像登録部に登録された情報に基づいて、画像取得部により取得された撮影画像と特徴画像とを照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における製品の位置を特定する位置特定ステップと、投影位置算出部が、位置特定部により特定された製品の位置及び支援情報登録部に登録された作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する投影位置算出ステップと、投影画像生成部が、投影位置算出部により算出された投影位置に作業支援情報を配置した投影画像を生成する投影画像生成ステップと、投影画像出力部が、投影画像生成部により生成された投影画像を投影機に出力する投影画像出力ステップとを有するものである。
　この発明によれば、上記のように構成したので、作業者が作業を行う製品の設置位置が変わる場合であっても、従来構成に対して作業ミスを低減することができる。
この発明の実施の形態１に係る作業支援システムの構成を示す図である。 この発明の実施の形態１に係る作業支援装置の構成を示す図である。 この発明の実施の形態１に係る作業支援装置の動作をフローチャートである。 この発明の実施の形態１における特徴画像登録部に登録された特徴画像の一例を示す図である。 この発明の実施の形態１における支援情報登録部に登録されたテーブルの一例を示す図である。 この発明の実施の形態１に係る作業支援装置による作業支援情報の製品への投影例を示す図である。 この発明の実施の形態１に係る作業支援装置による作業支援情報の製品への投影例を示す図である。 この発明の実施の形態１に係る作業支援装置による作業支援情報の製品への投影例を示す図である。 この発明の実施の形態２に係る作業支援システムの構成を示す図である。 この発明の実施の形態２に係る作業支援装置の構成を示す図である。 この発明の実施の形態２における支援情報登録部に登録されたテーブルの一例を示す図である。 この発明の実施の形態２におけるタブレット端末の表示例を示す図である。
　以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
　図１はこの発明の実施の形態１に係る作業支援システムの構成を示す図である。
　作業支援システムは、図１に示すように、撮影装置１、投影機（プロジェクタ）２及び作業支援装置３から構成されている。
　撮影装置１は、作業者が製品に対して作業を行う作業領域を撮影するものであり、例えばＷｅｂカメラ等が用いられる。この撮影装置１は、製品との間に作業者が重ならないような位置に設置される。
　なお、作業者が行う作業としては、例えば、製品にネジを締付けたりコネクタを挿入したりする組立作業、製品にステッカー等を貼り付ける貼付作業、製品にコーティング剤を塗布する塗布作業、製品に設けられた複数のスイッチのうち指定されたスイッチのみを切替える切替作業や、これらの作業が正しく行われたかを検査する検査作業等が挙げられる。
　投影機２は、作業支援装置３から作業者による作業を支援するための情報（作業支援情報）が含まれた投影画像を入力し、当該投影画像を作業領域に投影するものである。これにより、作業領域上に位置する製品に対して作業支援情報が直接投影される。この投影機２は、製品との間に作業者が重ならないような位置に設置される。
　なお、撮影装置１及び投影機２は汎用品でよい。また、撮影装置１における撮影領域の座標と、投影機２における投影領域の座標は、作業支援装置３にてそれぞれ変換可能に構成されている。また、作業支援装置３にてキャリブレーション値を指定しておくことで、任意に撮影装置１及び投影機２を変更可能である。
　作業支援装置３は、撮影装置１により撮影された撮影画像に基づいて作業支援情報を含む投影画像を生成し、当該投影画像を投影機２に出力するものである。この作業支援装置３は、図２に示すように、特徴画像登録部３１、支援情報登録部３２、画像取得部３３、位置特定部３４、投影位置算出部３５、投影画像生成部３６及び投影画像出力部３７から構成されている。なお、作業支援装置３の機能部３３～３７は、ソフトウェアに基づくＣＰＵを用いたプログラム処理によって実行される。また、登録部３１，３２は、ＨＤＤ、ＤＶＤ、メモリ等によって構成される。
　特徴画像登録部３１は、上記製品毎に、当該製品を認識可能な当該製品のうちの３箇所以上の画像を特徴画像とし、当該各箇所の位置関係とともに登録するものである。
　支援情報登録部３２は、上記製品毎に、作業支援情報と、当該製品に対する当該作業支援情報の表示位置を登録するものである。ここで、作業支援情報としては、例えば、作業箇所を指し示す矢印や○、作業工程順を示す数字、作業内容を示す文字列等が挙げられる。また、製品の取り付け位置に部品が取り付けられているかのように表示する部品画像を用いてもよいし、アニメーション等を用いてもよい。また、これらを組み合わせてもよい。
　画像取得部３３は、撮影装置１により撮影された撮影画像を取得するものである。
　位置特定部３４は、特徴画像登録部３１に登録された情報に基づいて、画像取得部３３により取得された撮影画像と特徴画像とを照合して当該製品の検出を行い、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における当該製品の位置を特定するものである。
　投影位置算出部３５は、位置特定部３４により特定された撮影画像における製品の位置及び支援情報登録部３２に登録された当該製品に対する該当する作業支援情報の表示位置から、当該作業支援情報の投影位置を算出するものである。
　投影画像生成部３６は、投影位置算出部３５により算出された投影位置に支援情報登録部３２に登録された該当する作業支援情報を配置した投影画像を生成するものである。
　投影画像出力部３７は、投影画像生成部３６により生成された投影画像を投影機２に出力するものである。
　次に、上記のように構成された作業支援装置３の動作について、図３～８を参照しながら説明する。
　なお、特徴画像登録部３１では、予め、上記製品毎に３箇所以上の特徴画像を、その位置関係とともに登録している（特徴画像登録ステップ）。この特徴画像としては、製品の全体画像のうち、一意となる形状で、光の反射の少ない画像を用いる。また、特徴画像の大きさは、位置特定部３４での照合処理速度を考慮して設定する。
　また、位置特定部３４では、各特徴画像と撮影画像の照合を行い、各特徴画像の位置関係と、撮影画像上の照合された各箇所の位置関係とから、製品の位置（設置された角度）を特定する。そのため、特徴画像は少なくとも３箇所以上必要である。例えば図４では、製品自体を撮影した全体画像４０１のうち、四隅の画像４０２ａ～４０２ｄを切出して特徴画像としている。
　また、支援情報登録部３２では、予め、上記製品毎に、作業支援情報、及び当該製品に対する当該作業支援情報の表示位置を示す情報を登録している（支援情報登録ステップ）。支援情報登録部３２では、例えば図５に示すようなテーブルが予め設定され、保持している。図５に示すテーブルでは、製品を基準位置に設置した場合に投影機２で作業支援情報を投影する位置を示す投影座標上のＸ座標及びＹ座標（ＰＲＪ．Ｘ，ＰＲＪ．Ｙ）と、作業支援情報の内容（ＰＲＪ．ＭＡＲＫ）が登録されている。なお図５において、「ａｒｒｏｗ」は矢印、「ｃｉｒｃｌｅ」は丸、「ＭＳＧ」は文字列を示している。
　そして、作業支援装置３の動作では、図３に示すように、まず、画像取得部３３は、撮影装置１により撮影された撮影画像を取得する（ステップＳＴ１、画像取得ステップ）。すなわち、作業者が製品に対して作業を行う作業領域を撮影した撮影画像を取得する。
　次いで、位置特定部３４は、特徴画像登録部３１に登録された情報に基づいて、画像取得部３３により取得された撮影画像と特徴画像を照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における当該製品の位置を特定する（ステップＳＴ２、位置特定ステップ）。この際、位置特定部３４は、撮影画像の特定箇所と特徴画像との照合率が予め設定された閾値を超えた場合に、当該特定箇所を照合された箇所として検出する。この照合には、例えばＯｐｅｎＣＶ（Ｏｐｅｎ　Ｓｏｕｒｃｅ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　Ｌｉｂｒａｒｙ）等の技術を利用すればよい。また、上記閾値は設定変更可能である。
　次いで、投影位置算出部３５は、位置特定部３４により特定された撮影画像における製品の位置及び支援情報登録部３２に登録された当該製品に対する該当する作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する（ステップＳＴ３、投影位置算出ステップ）。
　次いで、投影画像生成部３６は、投影位置算出部３５により算出された投影位置に支援情報登録部３２に登録された該当する作業支援情報を配置した投影画像を生成する（ステップＳＴ４、投影画像生成ステップ）。
　次いで、投影画像出力部３７は、投影画像生成部３６により生成された投影画像を投影機２に出力する（ステップＳＴ５、投影画像出力ステップ）。
　そして、投影機２は、作業支援装置３からの投影画像を入力し、この投影画像を製品に投影する。これにより、製品に対して作業支援情報を直接投影することができる。図６～８に投影イメージ図を示す。その後、作業者は、製品に投影された作業支援情報に従って作業を行えばよく、従来のような作業内容の見間違えや、作業内容を忘れてしまうこと、作業内容を確認せずに作業を行うことを抑制でき、作業ミスを低減することができる。また、本発明では、撮影装置１により撮影された撮影画像を用いて製品の位置を特定しているため、製品の設置位置がその都度違う場合であっても、作業支援情報を正しい位置に投影することができる。
　なお図６の例では、コネクタを挿入する箇所を指し示すように矢印を製品に投影した場合を示している。図７の例では、コネクタを挿入する箇所を囲むように丸を製品に投影した場合を示している。図８の例では、複数の作業工程について、作業箇所を囲む丸と、作業工程順を示す数字と、その作業内容を示す文字列を製品に投影した場合を示している。
　以上のように、この実施の形態１によれば、撮影画像と予め登録した特徴画像とを照合してその位置関係から当該撮影画像における製品の位置を特定し、その位置と予め登録した作業支援情報の製品に対する表示位置から当該作業支援情報の投影位置を算出して投影画像を生成し、投影機２により当該作業支援情報を当該製品に直接投影させるように構成したので、作業者が作業を行う製品の位置が変わる場合であっても、従来構成に対して作業ミスを低減することができる。また、作業箇所が複数ある場合に、作業に不慣れな作業者であっても、作業ミスを低減することができる。
　また本発明では、撮影装置１により撮影された撮影画像を用いて、リアルタイムに製品の特定を行うことが可能である。そのため、作業の途中で製品の設置位置が変わったとしても追従して位置を特定することが可能である。
　また図１の構成では、撮影装置１及び投影機２を１台ずつ設けた場合を示している。しかしながら、作業者の移動等により、撮影装置１及び投影機２の前に作業者が位置してしまうと、製品の検出及び製品への作業支援情報の投影が行えなくなる場合がある。そこで、撮影装置１及び投影機２を複数台ずつ設け、例えば左右にそれぞれ設置してもよい。これにより、作業者の背後に位置してしまう撮影装置１及び投影機２があったとしても、他の撮影装置１及び投影機２で製品の検出及び製品への作業支援情報の投影を行うことができる。
　また、本発明では、撮影装置１による撮影領域内に製品が投入された時点で、位置特定部３４による製品の検出が行われ次の作業指示準備を行う。そのため、作業者による作業をスムーズに開始することができる。
　また上記の位置特定部３４では、撮影画像全体と特徴画像との照合を行う場合について示した。しかしながら、これに限るものではなく、撮影画像のうちの予め指定された一部分と特徴画像との照合を行い、製品の検出を行うようにしてもよい。すなわち、現場では、製品の設置位置は事前にある程度把握することができる。そのため、撮影画像全体を照合対象とはせずに、一部分のみを照合対象とする。これにより、位置特定部３４による照合処理速度を向上させることができる。
実施の形態２．
　実施の形態２では、タブレット端末４を用いて、作業者が作業支援情報に従って作業を完了したかを確認するとともに、この確認に応じて次の作業支援情報の投影に移行する構成について示す。
　図９はこの発明の実施の形態２に係る作業支援システムの構成を示す図であり、図１０はこの発明の実施の形態２に係る作業支援装置３の構成を示す図である。図９に示す実施の形態２に係る作業支援システムは、図１に示す実施の形態１に係る作業支援システムにタブレット端末４を追加したものである。また、図１０に示す実施の形態２に係る作業支援装置３は、図２に示す実施の形態１に係る作業支援装置３に表示画像生成部３８、表示画像出力部３９及び作業完了検出部４０を追加したものである。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
　タブレット端末４は、作業者が操作を行う端末である。このタブレット端末４は、投影機２による作業支援情報の投影と連動して、作業支援装置３から当該作業支援情報に対応する表示画像を入力し、当該表示画像を表示する。そして、作業者はその作業支援情報に対応した作業が完了した際に、タブレット端末４の表示画像上の所定箇所をタップすることで、作業支援装置３に作業完了を通知する。このタブレット端末４は汎用品でよい。
　また、作業支援装置３の支援情報登録部３２では、実施の形態１での登録情報に加え、製品毎に、作業支援情報に対応する情報（例えば、当該製品の全体画像、作業支援情報に対応する当該全体画像上の作業箇所、その作業内容）を登録している。支援情報登録部３２では、例えば図１１に示すようなテーブルが予め設定され、保持している。図１１に示すテーブルでは、図５に示した登録情報に加え、タブレット端末４に表示される製品の全体画像上の作業箇所を示すタブレット座標上のＸ座標及びＹ座標（ＤＳＰ．Ｘ，ＤＳＰ．Ｙ）と、製品の全体画像（ＤＳＰ．ＩＭＡＧＥ）と、その作業内容（ＤＳＰ．ＭＳＧ）が登録されている。
　表示画像生成部３８は、支援情報登録部３２の登録情報に基づいて、作業支援情報に対応する表示画像を生成するものである。
　表示画像出力部３９は、投影画像出力部３７と連動して、表示画像生成部３８により生成された表示画像をタブレット端末４に出力するものである。
　作業完了検出部４０は、タブレット端末４による上記表示画像の表示後、作業者によるタップ操作から作業支援情報に対応する作業の完了を検出するものである。この際、以下に示す図１２の例では、作業完了検出部４０は、作業者によるタップ位置と、支援情報登録部３２に登録された全体画像上の作業箇所とを照合することで、該当する作業支援情報に対する作業の完了を検出する。
　なお、表示画像生成部３８、表示画像出力部３９及び作業完了検出部４０は、ソフトウェアに基づくＣＰＵを用いたプログラム処理によって実行される。
　また、投影位置算出部３５は、作業完了検出部３８により作業支援情報に対応する作業の完了が検出された場合に、次の作業支援情報の投影位置を算出する。
　実施の形態２では、作業者が製品に対して作業を行う際に、投影機２により製品に対して作業支援情報が直接投影されるのとともに、タブレット端末４にも当該作業支援情報に対応する表示画像が表示される。例えば図１２では、図１１に示す登録情報に基づき、タブレット端末４に、製品の全体画像１２０１、作業箇所を示すマーク１２０２、及びその作業内容を示す情報１２０３を含む表示画像が表示される。
　そして、作業者は、製品に直接投影された作業支援情報に従って作業を行った後、図１２（ａ）に示すタブレット端末４の表示画像上のマーク１２０２をタップする。これを作業完了検出部４０にて検出し、作業支援装置３では、作業支援情報に従った作業が完了したことを確認する。そして、投影機２は次の作業支援情報の投影を行い、また、タブレット端末４も次の画面に移行する（図１２（ｂ））。
　以上のように、この実施の形態２によれば、投影機２による作業支援情報の製品への投影と連動して、タブレット端末４に当該作業支援情報に対応する表示画像を表示し、その後、作業者によるタップ操作から作業完了を確認して、次の作業支援情報の投影に移行するように構成したので、実施の形態１における効果に加え、タブレット端末４を用いた確認機能を付加することができ、作業ミスをより低減することができる。
　なお上記では、投影位置算出部３５が作業工程順に沿って作業支援情報の投影位置を算出して、製品に直接投影させるとともにタブレット端末４に対応する表示をさせる場合を想定している。一方、作業支援情報が検査作業を支援する情報である場合には、投影位置算出部３５が、上記作業工程順とは異なる順に作業支援情報の投影位置を算出するようにしてもよい。これにより、組立作業等の作業工程順とは異なる順序で検査を行うことができ、検査に対する意識向上を図ることができ、作業ミスのさらなる低減が期待できる。
　また、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係る作業支援システムは、作業者が作業を行う製品の位置が変わる場合であっても、従来構成に対して作業ミスを低減することができ、作業者が製品に対して行う作業を支援する作業支援システム等に用いるのに適している。
　１　撮影装置、２　投影機、３　作業支援装置、４　タブレット端末、３１　特徴画像登録部、３２　支援情報登録部、３３　画像取得部、３４　位置特定部、３５　投影位置算出部、３６　投影画像生成部、３７　投影画像出力部、３８　表示画像生成部、３９　表示画像出力部、４０　作業完了検出部。

Claims (8)

  1. 　作業者が製品に対して作業を行う作業領域を撮影する撮影装置、前記作業を支援する作業支援情報が含まれた投影画像を入力して前記作業領域に投影する投影機、前記撮影装置により撮影された撮影画像に基づいて前記投影画像を生成し、当該投影画像を前記投影機に出力する作業支援装置を備えた作業支援システムにおいて、
    　前記作業支援装置は、
    　前記製品を認識可能な当該製品のうちの３箇所以上の特徴画像を当該各箇所の位置関係とともに登録する特徴画像登録部と、
    　前記製品に対する前記作業支援情報の表示位置を登録する支援情報登録部と、
    　前記撮影装置により撮影された撮影画像を取得する画像取得部と、
    　前記特徴画像登録部に登録された情報に基づいて、前記画像取得部により取得された撮影画像と前記特徴画像とを照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における前記製品の位置を特定する位置特定部と、
    　前記位置特定部により特定された前記製品の位置及び前記支援情報登録部に登録された前記作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する投影位置算出部と、
    　前記投影位置算出部により算出された投影位置に前記作業支援情報を配置した投影画像を生成する投影画像生成部と、
    　前記投影画像生成部により生成された投影画像を前記投影機に出力する投影画像出力部とを備えた
    　ことを特徴とする作業支援システム。
  2. 　前記作業支援情報は複数あり、
    　前記支援情報登録部は、前記作業支援情報に対応する情報を登録し、
    　前記作業支援情報に対応する表示画像を入力して表示する、前記作業者が操作するタブレット端末を備え、
    　前記作業支援装置は、
    　前記支援情報登録部の登録情報に基づいて、前記表示画像を生成する表示画像生成部と、
    　前記投影画像出力部と連動して、前記表示画像生成部により生成された表示画像を前記タブレット端末に出力する表示画像出力部と、
    　前記タブレット端末による前記表示画像の表示後、前記作業者によるタップ操作から当該作業支援情報に対応する作業の完了を検出する作業完了検出部とを備え、
    　前記投影位置算出部は、前記作業完了検出部により前記作業支援情報に対応する作業の完了が検出された場合に、次の前記作業支援情報の投影位置を算出する
    　ことを特徴とする請求項１記載の作業支援システム。
  3. 　前記支援情報登録部は、前記作業支援情報に対応する情報として、前記製品の全体画像、及び前記作業支援情報に対応する当該全体画像上の作業箇所を登録し、
    　前記表示画像生成部は、前記表示画像として、前記製品の全体画像、及び当該全体画像上の作業箇所へのマークを含む画像を生成し、
    　前記作業完了検出部は、前記作業者によるタップ位置と、前記支援情報登録部に登録された前記全体画像上の作業箇所とを照合することで、該当する前記作業支援情報に対する作業の完了を検出する
    　ことを特徴とする請求項２記載の作業支援システム。
  4. 　前記位置特定部は、前記撮影画像のうち予め指定された部分と前記特徴画像との照合を行う
    　ことを特徴とする請求項１記載の作業支援システム。
  5. 　前記投影位置算出部は、作業工程順に前記作業支援情報の投影位置を算出する
    　ことを特徴とする請求項２記載の作業支援システム。
  6. 　前記作業支援情報は、検査作業を支援する情報であり、
    　前記投影位置算出部は、作業工程順とは異なる順に前記作業支援情報の投影位置を算出する
    　ことを特徴とする請求項２記載の作業支援システム。
  7. 　作業者が製品に対して作業を行う作業領域を撮影する撮影装置により撮影された撮影画像に基づいて前記作業を支援する作業支援情報が含まれた投影画像を生成し、前記撮影画像を入力して前記作業領域に投影する投影機に当該投影画像を出力する作業支援装置において、
    　前記製品を認識可能な当該製品のうちの３箇所以上の特徴画像を当該各箇所の位置関係とともに登録する特徴画像登録部と、
    　前記製品に対する前記作業支援情報の表示位置を登録する支援情報登録部と、
    　前記撮影装置により撮影された撮影画像を取得する画像取得部と、
    　前記特徴画像登録部に登録された情報に基づいて、前記画像取得部により取得された撮影画像と前記特徴画像とを照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における前記製品の位置を特定する位置特定部と、
    　前記位置特定部により特定された前記製品の位置及び前記支援情報登録部に登録された前記作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する投影位置算出部と、
    　前記投影位置算出部により算出された投影位置に前記作業支援情報を配置した投影画像を生成する投影画像生成部と、
    　前記投影画像生成部により生成された投影画像を前記投影機に出力する投影画像出力部と
    　を備えたことを特徴とする作業支援装置。
  8. 　作業者が製品に対して作業を行う作業領域を撮影する撮影装置、前記作業を支援する作業支援情報が含まれた投影画像を入力して前記作業領域に投影する投影機、前記撮影装置により撮影された撮影画像に基づいて前記投影画像を生成し、当該投影画像を前記投影機に出力する作業支援装置を備えた作業支援システムの作業支援方法において、
    　前記作業支援装置は、
    　特徴画像登録部が、前記製品を認識可能な当該製品のうちの３箇所以上の特徴画像を当該各箇所の位置関係とともに登録する特徴画像登録ステップと、
    　支援情報登録部が、前記製品に対する前記作業支援情報の表示位置を登録する支援情報登録ステップと、
    　画像取得部が、前記撮影装置により撮影された撮影画像を取得する画像取得ステップと、
    　位置特定部が、前記特徴画像登録部に登録された情報に基づいて、前記画像取得部により取得された撮影画像と前記特徴画像とを照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における前記製品の位置を特定する位置特定ステップと、
    　投影位置算出部が、前記位置特定部により特定された前記製品の位置及び前記支援情報登録部に登録された前記作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する投影位置算出ステップと、
    　投影画像生成部が、前記投影位置算出部により算出された投影位置に前記作業支援情報を配置した投影画像を生成する投影画像生成ステップと、
    　投影画像出力部が、前記投影画像生成部により生成された投影画像を前記投影機に出力する投影画像出力ステップとを有する
    　ことを特徴とする作業支援方法。
PCT/JP2014/081196 2014-11-26 2014-11-26 作業支援システム、作業支援装置及び作業支援方法 WO2016084151A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP14906671.4A EP3226090B1 (en) 2014-11-26 2014-11-26 Operation support system, operation support device and operation support method
PCT/JP2014/081196 WO2016084151A1 (ja) 2014-11-26 2014-11-26 作業支援システム、作業支援装置及び作業支援方法
JP2016561131A JP6207764B2 (ja) 2014-11-26 2014-11-26 作業支援システム、作業支援装置及び作業支援方法
CN201480083559.3A CN107003658B (zh) 2014-11-26 2014-11-26 作业辅助系统、作业辅助装置以及作业辅助方法
MX2017005535A MX366907B (es) 2014-11-26 2014-11-26 Sistema de soporte de operaciones, dispositivo de soporte de operaciones y método de soporte de operaciones.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/081196 WO2016084151A1 (ja) 2014-11-26 2014-11-26 作業支援システム、作業支援装置及び作業支援方法

Publications (1)

Publication Number Publication Date
WO2016084151A1 true WO2016084151A1 (ja) 2016-06-02

Family

ID=56073775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/081196 WO2016084151A1 (ja) 2014-11-26 2014-11-26 作業支援システム、作業支援装置及び作業支援方法

Country Status (5)

Country Link
EP (1) EP3226090B1 (ja)
JP (1) JP6207764B2 (ja)
CN (1) CN107003658B (ja)
MX (1) MX366907B (ja)
WO (1) WO2016084151A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019113705A (ja) * 2017-12-22 2019-07-11 株式会社Ｓｕｂａｒｕ 画像投影装置
WO2020157821A1 (ja) * 2019-01-29 2020-08-06 三菱電機エンジニアリング株式会社 作業支援システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7191659B2 (ja) * 2018-08-22 2022-12-19 三菱重工業株式会社 部材取付支援システム及び部材取付支援方法
JP7038642B2 (ja) * 2018-11-20 2022-03-18 株式会社日立製作所 作業習熟支援装置、及び作業習熟支援システム
JP7248516B2 (ja) * 2019-06-20 2023-03-29 株式会社日立製作所 作業支援装置、作業支援方法、および作業支援プログラム
EP4007269A4 (en) * 2019-08-28 2022-08-03 Panasonic Intellectual Property Management Co., Ltd. PROJECTION SYSTEM AND LITHOGRAPHY PROCESS

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004184095A (ja) * 2002-11-29 2004-07-02 Mitsubishi Heavy Ind Ltd 検査支援装置
JP2005322055A (ja) * 2004-05-10 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 作業支援用情報提示装置、作業支援用情報提示方法及び作業支援用情報を提示するためのプログラム
JP2006513509A (ja) * 2003-02-03 2006-04-20 シーメンス　アクチエンゲゼルシヤフト 合成情報の投影
JP2011175600A (ja) * 2010-02-25 2011-09-08 Canon Inc 認識装置及びその制御方法、コンピュータプログラム
JP2013250479A (ja) * 2012-06-01 2013-12-12 Ricoh Co Ltd 情報表示装置、プログラムおよび情報記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4006577B2 (ja) * 2002-03-13 2007-11-14 オムロン株式会社 監視装置
CN101710486B (zh) * 2009-11-15 2012-03-14 苏州佳世达电通有限公司 自动对准系统及方法、显示装置测试系统及方法
CN102375316A (zh) * 2010-08-27 2012-03-14 鸿富锦精密工业（深圳）有限公司 投影仪及其自动对焦方法
JP5124671B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
US9644942B2 (en) * 2012-11-29 2017-05-09 Mitsubishi Hitachi Power Systems, Ltd. Method and apparatus for laser projection, and machining method
CN103076014B (zh) * 2012-12-30 2015-10-21 湖南农业大学 一种作业机械自动导航三标识定位装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004184095A (ja) * 2002-11-29 2004-07-02 Mitsubishi Heavy Ind Ltd 検査支援装置
JP2006513509A (ja) * 2003-02-03 2006-04-20 シーメンス　アクチエンゲゼルシヤフト 合成情報の投影
JP2005322055A (ja) * 2004-05-10 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 作業支援用情報提示装置、作業支援用情報提示方法及び作業支援用情報を提示するためのプログラム
JP2011175600A (ja) * 2010-02-25 2011-09-08 Canon Inc 認識装置及びその制御方法、コンピュータプログラム
JP2013250479A (ja) * 2012-06-01 2013-12-12 Ricoh Co Ltd 情報表示装置、プログラムおよび情報記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019113705A (ja) * 2017-12-22 2019-07-11 株式会社Ｓｕｂａｒｕ 画像投影装置
WO2020157821A1 (ja) * 2019-01-29 2020-08-06 三菱電機エンジニアリング株式会社 作業支援システム
JPWO2020157821A1 (ja) * 2019-01-29 2021-09-30 三菱電機エンジニアリング株式会社 作業支援システム
JP7034340B2 (ja) 2019-01-29 2022-03-11 三菱電機エンジニアリング株式会社 作業支援システム

Also Published As

Publication number Publication date
JP6207764B2 (ja) 2017-10-04
CN107003658A (zh) 2017-08-01
EP3226090A4 (en) 2018-07-25
EP3226090B1 (en) 2019-10-16
MX2017005535A (es) 2017-06-20
CN107003658B (zh) 2019-04-05
MX366907B (es) 2019-07-30
JPWO2016084151A1 (ja) 2017-04-27
EP3226090A1 (en) 2017-10-04

Similar Documents

Publication Publication Date Title
JP6207764B2 (ja) 作業支援システム、作業支援装置及び作業支援方法
JP2007079028A (ja) 投射型画像表示装置およびマルチプロジェクションシステム
US9535538B2 (en) System, information processing apparatus, and information processing method
JP5923824B2 (ja) 画像処理装置
JP6340958B2 (ja) プロジェクタ装置、インタラクティブシステム、およびインタラクティブ制御方法
US7377650B2 (en) Projection of synthetic information
JP2006189712A (ja) 情報提示装置、情報提示方法及びプログラム
US20170118451A1 (en) Information processing apparatus, image projection system, and computer program product
KR20130020337A (ko) 사용자 인터랙션 장치 및 방법
JP2019215811A (ja) 投影システム、画像処理装置および投影方法
JP2011193243A (ja) 情報処理装置、情報処理方法、およびプログラム
CN106095178A (zh) 输入设备识别方法和系统、输入指令识别方法和系统
JP2006352495A (ja) 遠隔指示システム
JP6198990B2 (ja) 作業指示システム
JP5276577B2 (ja) 前面投影型の電子黒板システム及びキャリブレーション開始方法
JP2017068849A (ja) 物品の組立て状況情報表示装置
JP7336253B2 (ja) 据付物の施工方法
JP2010272078A (ja) 電子情報ボードシステム、電子情報ボード制御装置およびカーソル制御方法
JP6357843B2 (ja) アプリケーション検査システム、アプリケーション検査装置及びアプリケーション検査プログラム
WO2018207287A1 (ja) 撮影補助装置および撮影補助方法
JP2018194378A (ja) ウェハ異常箇所検出用装置およびウェハ異常箇所特定方法
JP2017009762A (ja) 投影装置、投影装置の制御方法
JP2013153392A5 (ja)
JP6617061B2 (ja) 作業支援プログラム、作業支援方法、情報処理装置、及び作業支援システム
JP6736204B2 (ja) 作業支援方法、作業支援プログラム及び作業支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14906671

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016561131

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014906671

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014906671

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: MX/A/2017/005535

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE