WO2020157821A1 - 作業支援システム - Google Patents

作業支援システム Download PDF

Info

Publication number
WO2020157821A1
WO2020157821A1 PCT/JP2019/002893 JP2019002893W WO2020157821A1 WO 2020157821 A1 WO2020157821 A1 WO 2020157821A1 JP 2019002893 W JP2019002893 W JP 2019002893W WO 2020157821 A1 WO2020157821 A1 WO 2020157821A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
work
image
projection
worker
Prior art date
Application number
PCT/JP2019/002893
Other languages
English (en)
French (fr)
Inventor
将則 増井
高志 林田
陽太 西本
Original Assignee
三菱電機エンジニアリング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機エンジニアリング株式会社 filed Critical 三菱電機エンジニアリング株式会社
Priority to JP2020568910A priority Critical patent/JP7034340B2/ja
Priority to PCT/JP2019/002893 priority patent/WO2020157821A1/ja
Publication of WO2020157821A1 publication Critical patent/WO2020157821A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a work support system for giving work instructions.
  • the present invention has been made in order to solve the above problems, and is a work in which a worker can give a work instruction without characters without wearing a special device while looking at the work area. It is intended to provide a support system.
  • a work support system includes: a first imaging device that images a worker who works in a work area; a second imaging device that images the work area; a projection device that projects an input image onto the work area; 1st specification part which specifies the position of a worker from the imaging result by 1 imaging device, the 2nd specification part which specifies the position of the object which exists in a work area from the imaging result by the 2nd imaging device, and the icon showing a work instruction
  • the projection image is viewed from one direction based on the identification result by the first identification unit and the identification result by the second identification unit.
  • An image generation unit that generates a pseudo three-dimensional image that can be viewed stereoscopically, an output unit that outputs data indicating the pseudo three-dimensional image generated by the image generation unit to the projection device, and confirmation of completion of work by the operator And a confirmation instructing unit for instructing the extracting unit to extract the next three-dimensional data.
  • FIG. 3 is a diagram showing a configuration example of an arithmetic unit according to the first embodiment.
  • 6 is a flowchart showing an operation example of the arithmetic unit according to the first embodiment.
  • FIG. 4A is a diagram showing an example of a work area before performing work, and
  • FIG. 4B is a view for explaining setting of a projection area by the image generation unit and the control unit in the first embodiment.
  • FIG. 5A is a diagram showing an example of three-dimensional data representing a work instruction for the first work, and FIG. 5B is for explaining deformation of the three-dimensional data shown in FIG. 5A by the image generation unit according to the first embodiment.
  • FIG. 6A is a diagram showing a state in which the worker looks at the projected image after the pseudo three-dimensional image representing the work instruction of the first work is projected by the projector in the first embodiment
  • FIG. 6 is a diagram showing a case where a third party other than the worker views the projected image from a direction different from the worker.
  • FIG. 6 is a diagram showing a state when an operator views a projected image after a pseudo three-dimensional image representing a work instruction of a second work is projected by the projector in the first embodiment.
  • 8A and 8B are diagrams showing a hardware configuration example of the arithmetic unit according to the first embodiment.
  • FIG. 1 is a diagram showing a configuration example of a work support system according to the first embodiment.
  • the work support system gives a work instruction to a worker 11 who performs work such as assembly work on the product 12 in the work area.
  • the work support system includes a camera (first imaging device) 1, a camera (second imaging device) 2, a projector (projection device) 3, and an arithmetic device 4.
  • the product 12 may be placed on a carriage 13 and moved to a work area, or may be placed on a work surface 14 (see FIG. 4 and the like) provided in the work area.
  • the product 12 is moved to the work area while being placed on the carriage 13, and the worker 11 performs a work on the product 12 placed on the carriage 13. It is assumed that there is only one worker 11 who works in one work area.
  • the camera 1 images the worker 11 who works in the work area. At this time, it is preferable that the camera 1 captures an image of at least a part of the body including the eyes of the worker 11 (for example, the eyes or the head).
  • the camera 1 is arranged at a position where an area where the worker 11 is supposed to be located is included in the imaging area. When the region where the worker 11 is supposed to be located is wider than the image capturing region, the camera 1 needs to have a mechanism that makes at least one of the image capturing position and the image capturing angle variable.
  • the camera 1 for example, an infrared camera can be used.
  • the image data obtained by the camera 1 is output to the arithmetic unit 4.
  • the camera 1 When the camera 1 has a mechanism that makes at least one of the image pickup position and the image pickup angle variable, the camera 1 uses at least one of the image pickup position and the image pickup angle when the image pickup is performed, in addition to the image data. Is output to the arithmetic unit 4.
  • the arithmetic device 4 holds in advance data indicating the initial imaging position and imaging angle of the camera 1.
  • the camera 2 images the work area.
  • the camera 2 for example, an infrared camera can be used.
  • the image data obtained by the camera 2 is output to the arithmetic unit 4.
  • the arithmetic device 4 holds in advance data indicating the imaging position and the imaging angle of the camera 2.
  • the projector 3 projects the input image on the work area. Note that the projection position and the projection angle of the projector 3 may be fixed when the work position of the worker 11 is fixed, but when the work position of the worker 11 is not fixed, the projector 3 It has a mechanism that makes at least one of the projection angles variable.
  • the arithmetic unit 4 holds in advance data indicating the initial projection position and projection angle of the projector 3.
  • the arithmetic unit 4 generates a pseudo three-dimensional image and controls the projector 3 based on the imaging result of the camera 1 and the imaging result of the camera 2.
  • the pseudo three-dimensional image is an image representing a work instruction, and is an image that can be stereoscopically viewed when a person views an image (projection image) projected on the work area by the projector 3 from a specific one direction.
  • the computing device 4 includes a recording unit 401, a specifying unit (first specifying unit) 402, a specifying unit (second specifying unit) 403, an extracting unit 404, an image generating unit 405, a control unit 406, It has an output unit 407 and a confirmation instruction unit 408.
  • the recording unit 401 records three-dimensional data that is an icon representing a work instruction. This three-dimensional data exists for each work process and is recorded in the recording unit 401 in association with the identification information indicating the work process order.
  • the recording unit 401 is, for example, a nonvolatile or volatile semiconductor memory such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically EPROM), or the like. , A flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), or the like.
  • FIG. 1 shows the case where the recording unit 401 is provided inside the work support system
  • the present invention is not limited to this, and the recording unit 401 may be provided outside the work support system.
  • the identifying unit 402 identifies the position of the worker 11 from the image pickup result by the camera 1.
  • the specifying unit 402 preferably specifies, as the position of the worker 11, the position of at least a part of the body including the eyes of the worker 11 (for example, the eyes or the head).
  • the identifying unit 402 identifies the position of the worker 11 in consideration of the data. ..
  • a method of identifying the position of the worker 11 from the image various conventionally known methods can be applied, and the description thereof will be omitted.
  • the identifying unit 402 may identify the orientation of the worker 11 in addition to the position of the worker 11 from the imaging result of the camera 1.
  • the identifying unit 403 identifies the position and shape of an object existing in the work area from the result of the image captured by the camera 2.
  • the object include the product 12, the carriage 13, the work surface 14, and the like.
  • As a method for specifying the position and shape of the object existing in the work area from the image various conventionally known methods can be applied, and description thereof will be omitted.
  • the identifying unit 403 may identify the orientation of the object in addition to the position and shape of the object existing in the work area, from the imaging result of the camera 2.
  • the extraction unit 404 sequentially extracts three-dimensional data from the recording unit 401. Specifically, the extraction unit 404 first extracts the three-dimensional data associated with the identification information indicating the first work process from the recording unit 401. After that, the extraction unit 404 sequentially extracts the three-dimensional data associated with the identification information indicating the next work process each time the instruction is received from the confirmation instruction unit 408.
  • the image generation unit 405 generates a pseudo three-dimensional image from the three-dimensional data extracted by the extraction unit 404 based on the identification result by the identification unit 402 and the identification result by the identification unit 403. At this time, the image generation unit 405 first sets the projection area by the projector 3 from the work area based on the identification result by the identification unit 402 and the identification result by the identification unit 403. It is assumed that the image generation unit 405 has a known positional relationship between the object existing in the work area and the work location. Then, the image generation unit 405 transforms the three-dimensional data extracted by the extraction unit 404.
  • the image generation unit 405 stereoscopically views the projected image from the position of the worker 11 specified by the specifying unit 402 when the projector 3 projects a pseudo three-dimensional image on the set projection area. So that the three-dimensional data is transformed. Then, the image generation unit 405 generates a pseudo three-dimensional image by converting the transformed three-dimensional data into a two-dimensional image.
  • the control unit 406 controls at least one of the projection position and the projection angle of the projector 3 based on the identification result by the identification unit 402 and the identification result by the identification unit 403. At this time, the control unit 406 first sets the projection area by the projector 3 from the work area based on the identification result by the identification unit 402 and the identification result by the identification unit 403.
  • the projection area set by the control unit 406 is the same as the projection area set by the image generation unit 405. It is assumed that the control unit 406 has a known positional relationship between the object existing in the work area and the work location. Then, the control unit 406 controls at least one of the projection position and the projection angle of the projector 3 so that the projection can be performed in the set projection area.
  • control unit 406 is unnecessary.
  • the output unit 407 outputs the data indicating the pseudo three-dimensional image generated by the image generation unit 405 to the projector 3.
  • the confirmation instructing unit 408 confirms the work completion by the worker 11 and instructs the extraction unit 404 to extract the next three-dimensional data.
  • the confirmation instructing unit 408 may confirm the work completion by the worker 11 by receiving the work completion notification input by the user via the input device (not shown). Further, the confirmation instructing unit 408 may confirm the work completion by the worker 11 by analyzing the image pickup result by the camera 2.
  • the extraction unit 404 has extracted the three-dimensional data representing the last work process
  • the arithmetic unit 4 ends the process when the confirmation instruction unit 408 confirms that the worker 11 has completed the work. ..
  • the recording unit 401 records three-dimensional data for each work process. Further, each of the cameras 1 and 2 always takes an image and outputs the obtained image data to the arithmetic unit 4.
  • the identifying unit 402 first identifies the position of the worker 11 from the imaging result of the camera 1 (step ST301). Here, it is assumed that the identifying unit 402 identifies, as the position of the worker 11, a position of at least a part of the body including the eyes of the worker 11. The processing by the identifying unit 402 is performed each time image data is input from the camera 1 to the arithmetic device 4.
  • the specifying unit 403 specifies the position and shape of the object existing in the work area from the image pickup result by the camera 2 (step ST302).
  • the extraction unit 404 also extracts three-dimensional data from the recording unit 401 (step ST303). At this time, the extraction unit 404 extracts the three-dimensional data associated with the identification information indicating the first work process from the recording unit 401.
  • the image generation unit 405 also generates a pseudo three-dimensional image from the three-dimensional data extracted by the extraction unit 404 based on the identification result by the identification unit 402 and the identification result by the identification unit 403 (step ST304).
  • the image generation unit 405 first sets the projection area by the projector 3 from the work area based on the identification result by the identification unit 402 and the identification result by the identification unit 403. Then, the image generation unit 405 transforms the three-dimensional data extracted by the extraction unit 404.
  • the image generation unit 405 stereoscopically views the projected image from the position of the worker 11 specified by the specifying unit 402 when the projector 3 projects a pseudo three-dimensional image on the set projection area. So that the three-dimensional data is transformed.
  • the image generation unit 405 generates a pseudo three-dimensional image by converting the transformed three-dimensional data into a two-dimensional image.
  • the processing by the image generation unit 405 is performed each time the position of the worker 11 identified by the identification unit 402 changes.
  • the control unit 406 controls at least one of the projection position and the projection angle of the projector 3 based on the identification result by the identification unit 402 and the identification result by the identification unit 403 (step ST305).
  • the control unit 406 first sets the projection area by the projector 3 from the work area based on the identification result by the identification unit 402 and the identification result by the identification unit 403.
  • the projection area set by the control unit 406 is the same as the projection area set by the image generation unit 405.
  • the control unit 406 controls at least one of the projection position and the projection angle of the projector 3 so that the projection can be performed in the set projection area. Thereby, the projection position and the projection angle of the projector 3 are set.
  • the processing by the control unit 406 is performed every time the position of the worker 11 identified by the identifying unit 402 changes.
  • the output unit 407 outputs the data indicating the pseudo three-dimensional image generated by the image generation unit 405 to the projector 3 (step ST306).
  • the projector 3 projects the pseudo three-dimensional image on the work area.
  • the projected image looks three-dimensional to the worker 11.
  • the worker 11 performs a work on the product 12 according to the work instruction indicated by the projected image.
  • step ST307 determines whether or not the work completion by the worker 11 has been confirmed.
  • step ST307 if the confirmation instructing unit 408 has not confirmed the completion of the work, the sequence returns to step ST307 and enters the standby state.
  • step ST307 when confirming the completion of the work, the confirmation instructing unit 408 determines whether the extracting unit 404 has extracted the three-dimensional data representing the last work process (step ST308).
  • step ST308 when the extraction unit 404 determines that there is unextracted three-dimensional data, the confirmation instructing unit 408 instructs the extraction unit 404 to extract the next three-dimensional data (step ST309). .. After that, the sequence returns to step ST302.
  • step ST303 the extraction unit 404 extracts the three-dimensional data associated with the identification information indicating the next work process in response to the instruction from the confirmation instruction unit 408.
  • step ST308 when the confirmation instruction unit 408 determines that the extraction unit 404 has extracted all three-dimensional data, the sequence ends.
  • the work support system supports the first work.
  • the identifying unit 402 identifies the position of at least a part of the body including the eyes of the worker 11 based on the imaging result of the camera 1.
  • the identifying unit 403 identifies the position and shape of the sheet metal part 15 from the image pickup result by the camera 2.
  • the image generation unit 405 and the control unit 406 cause the projector 3 to define an area (two surfaces of the sheet metal component 15) in which a part of the sheet metal component 15 is located from the work area. It is set in the projection area. Further, as shown in FIG.
  • the extraction unit 404 extracts, from the recording unit 401, three-dimensional data representing that the box 16 is placed at a designated position in the work area in a designated orientation.
  • the three-dimensional data shown in FIG. 5A is composed of a three-dimensional model representing the box 16 and a three-dimensional model of a downward arrow representing placing the box 16.
  • the image generation unit 405 deforms the three-dimensional data illustrated in FIG. 5A based on the identification result by the identification unit 402 and the identification result by the identification unit 403 to generate a pseudo three-dimensional image. To do.
  • control unit 406 controls at least one of the projection position and the projection angle of the projector 3 based on the identification result by the identification unit 402 and the identification result by the identification unit 403.
  • the output unit 407 outputs to the projector 3 the data indicating the pseudo three-dimensional image generated by the image generation unit 405.
  • the projector 3 projects the pseudo three-dimensional image on the work area.
  • the projected image appears stereoscopically to the worker 11 as if representing the work of placing the box 16 at the designated position in the work area in the designated direction. Note that, for example, as shown in FIG.
  • the work support system supports the second work.
  • the identifying unit 402 identifies the position of at least a part of the body including the eyes of the worker 11 based on the imaging result of the camera 1.
  • the identifying unit 403 identifies the position and shape of the sheet metal part 15 from the image pickup result by the camera 2.
  • the image generation unit 405 and the control unit 406 project the area where a part of the sheet metal component 15 is located (a part of two surfaces of the sheet metal component 15) and the area where the upper surface of the box 16 is located from the work area to the projector. Set to the projection area by 3.
  • the extraction unit 404 also extracts from the recording unit 401 three-dimensional data representing that the four corners of the upper surface of the box 16 are to be screwed.
  • the image generation unit 405 deforms the three-dimensional data based on the identification result by the identification unit 402 and the identification result by the identification unit 403 to generate a pseudo three-dimensional image.
  • the control unit 406 controls at least one of the projection position and the projection angle of the projector 3 based on the identification result by the identification unit 402 and the identification result by the identification unit 403.
  • the output unit 407 outputs to the projector 3 the data indicating the pseudo three-dimensional image generated by the image generation unit 405. After that, the projector 3 projects the pseudo three-dimensional image on the work area.
  • the operator 11 can see the projected image in a stereoscopic manner so as to represent the work of screwing the four corners of the top of the box 16. After that, the worker 11 tightens the screws on the four corners of the upper surface of the box 16 according to the work instruction indicated by the projected image.
  • the image generation unit 405 and the control unit 406 set the projection region within the region where the sheet metal component 15 is located has been shown.
  • the size of parts and the like may be large, and the projection area may extend beyond the area where the sheet metal part 15 is located.
  • the image generation unit 405 and the control unit 406 set the projection area including the background area in addition to the area where the sheet metal component 15 is located.
  • the work support system may project an image for notifying the work location.
  • the case where the worker 11 is located at the blind spot of the work location is, for example, the case where the worker 11 is located on the back surface of the sheet metal component 15 in FIG. 6A.
  • the image generation unit 405 determines that the worker 11 is located in the blind spot of the work location based on the identification result by the identification unit 402 and the identification result by the identification unit 403, it notifies the work location. Generate an image to do.
  • the image generation unit 405 generates an image for notifying that the work location is the front surface of the sheet metal component 15 when it is determined that the worker 11 is located on the back surface of the sheet metal component 15.
  • the projector 3 projects the image generated by the image generation unit 405 onto a predetermined projection area. In the above example, the projector 3 projects the image on the back surface of the sheet metal component 15 or the like.
  • the pseudo three-dimensional image is generated and the projector 3 is controlled based on the position of the worker 11 and the position and shape of the object existing in the work area.
  • the projected image looks three-dimensional to the worker 11, the worker 11 can visually recognize the work instruction, and the work can be easily performed by performing the work according to the work instruction indicated by the pseudo three-dimensional image. Can be implemented.
  • the pseudo three-dimensional image is projected on the work area, the worker 11 does not need to take his eyes off the product 12 when confirming the work instruction, and the work time (tact time) can be shortened. Further, since characters are not used in the pseudo three-dimensional image, the worker 11 can easily perform the work regardless of the language difference.
  • the pseudo three-dimensional image can be stereoscopically viewed by the worker 11 with the naked eye, and the worker 11 does not need to wear a special device such as an HMD. Further, the pseudo three-dimensional image is a single image, and the work support system does not need to prepare a plurality of images unlike the three-dimensional image using binocular parallax.
  • the specifying unit 402 can specify the position of the worker 11 in real time from the image pickup result by the camera 1. Therefore, in the work support system, even if the worker 11 moves during the work, the pseudo three-dimensional image can be generated following the worker 11, and the worker 11 can always stereoscopically view the projected image.
  • the specifying unit 403 specifies the position and shape of the object existing in the work area from the imaging result of the camera 2, and the image generating unit 405 and the control unit 406 perform processing based on the position and shape of the object. showed that.
  • the present invention is not limited to this, and the recording unit 401 records information indicating the shape of an object assumed to exist in the work area in advance, and the identifying unit 403 determines that the object existing in the work area based on the imaging result of the camera 2. You may specify only the position of. In this case, the image generation unit 405 and the control unit 406 obtain the shape of the object existing in the work area from the recording unit 401.
  • the camera 1 that images the worker 11 who works in the work area
  • the camera 2 that images the work area
  • the projector 3 that projects the input image onto the work area.
  • An identifying unit 402 that identifies the position of the worker 11 from the imaging result of the camera 1
  • an identifying unit 403 that identifies the position of an object existing in the work area from the imaging result of the camera 2
  • an icon representing a work instruction 3 When the projection image is viewed from one direction from the three-dimensional data extracted by the extraction unit 404 based on the extraction unit 404 that sequentially extracts the dimensional data and the identification result by the identification unit 402 and the identification result by the identification unit 403.
  • An image generation unit 405 that generates a pseudo three-dimensional image that can be viewed stereoscopically, an output unit 407 that outputs data indicating the pseudo three-dimensional image generated by the image generation unit 405 to the projector 3, and the completion of work by the worker 11.
  • the confirmation instruction unit 408 that confirms and instructs the extraction unit 404 to extract the next three-dimensional data is provided.
  • Embodiment 2 In the first embodiment, the case where the image generation unit 405 generates a pseudo three-dimensional image that is a still image and the projector 3 projects the pseudo three-dimensional image on the work area has been described. On the other hand, the image generation unit 405 may generate a continuous animation of a plurality of pseudo three-dimensional images, and the projector 3 may project this animation on the work area. Thereby, the worker 11 can more easily understand the content of the work instruction.
  • Embodiment 3 In the first and second embodiments, no specific reference is made to what region the image generation unit 405 and the control unit 406 set the projection region.
  • the calculation device 4 needs to perform calculation on the three-dimensional data for each area projected on each surface to generate a pseudo three-dimensional image. is there. Therefore, it is desirable that the projection area is an area with as few irregularities as possible.
  • the image generation unit 405 may detect a region having less unevenness from the identification result by the identification unit 403, set the region as a projection region by the projector 3, and generate a pseudo three-dimensional image.
  • the control unit 406 may control the projector 3 by detecting an area with less unevenness from the identification result of the identification unit 403, setting the area as the projection area of the projector 3, and controlling the projector 3.
  • the arithmetic unit 4 can reduce the arithmetic load when generating the pseudo three-dimensional image.
  • the processing circuit 51 may be dedicated hardware as shown in FIG. 8A, or as shown in FIG. 8B, a CPU (Central Processing Unit, central processing unit) for executing a program stored in the memory 53. It may be a processing device, a computing device, a microprocessor, a microcomputer, a processor, or a DSP (also called a Digital Signal Processor) 52.
  • a CPU Central Processing Unit, central processing unit
  • the processing circuit 51 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate). Array) or a combination thereof.
  • the processing circuit 51 may implement each function of each of the specifying unit 402, the specifying unit 403, the extracting unit 404, the image generating unit 405, the control unit 406, the output unit 407, and the confirmation instructing unit 408, or the function of each unit. They may be collectively realized by the processing circuit 51.
  • the processing circuit 51 When the processing circuit 51 is the CPU 52, the functions of the identification unit 402, the identification unit 403, the extraction unit 404, the image generation unit 405, the control unit 406, the output unit 407, and the confirmation instruction unit 408 are software, firmware, or software and firmware. It is realized by the combination of.
  • the software and firmware are described as programs and stored in the memory 53.
  • the processing circuit 51 realizes the function of each unit by reading and executing the program stored in the memory 53. That is, the arithmetic unit 4 includes a memory 53 for storing a program that, when executed by the processing circuit 51, results in that each step illustrated in FIG. 3 is executed, for example.
  • these programs cause a computer to execute the procedures and methods of the specifying unit 402, the specifying unit 403, the extracting unit 404, the image generating unit 405, the control unit 406, the output unit 407, and the confirmation instruction unit 408.
  • the memory 53 for example, a non-volatile or volatile semiconductor memory such as a RAM, a ROM, a flash memory, an EPROM, an EEPROM, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD, or the like is applicable. To do.
  • the identifying unit 402, the identifying unit 403, the extracting unit 404, the image generating unit 405, the control unit 406, the output unit 407, and the confirmation instructing unit 408 are realized by dedicated hardware, and some of them are implemented. It may be realized by software or firmware.
  • the specifying unit 402 its function is realized by the processing circuit 51 as dedicated hardware, and regarding the specifying unit 403, the extraction unit 404, the image generation unit 405, the control unit 406, the output unit 407, and the confirmation instruction unit 408.
  • the function can be realized by the processing circuit 51 reading and executing the program stored in the memory 53.
  • the processing circuit 51 can realize each function described above by hardware, software, firmware, or a combination thereof.
  • the present invention allows free combinations of the respective embodiments, modification of arbitrary constituent elements of each embodiment, or omission of arbitrary constituent elements in each embodiment. is there.
  • the work support system enables a work instruction without characters to be attached while the worker is looking at the work area. Suitable for
  • 1 camera (first image pickup device), 2 camera (second image pickup device), 3 projector (projection device), 4 arithmetic unit, 11 workers, 12 products, 13 dolly, 14 work surface, 15 sheet metal parts, 16 boxes, 51 processing circuit, 52 CPU, 53 memory, 401 recording unit, 402 identification unit (first identification unit), 403 identification unit (second identification unit), 404 extraction unit, 405 image generation unit, 406 control unit, 407 output unit , 408 Confirmation instruction section.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

作業者（１１）を撮像するカメラ（１）と、作業領域を撮像するカメラ（２）と、作業領域に入力画像を投影するプロジェクタ（３）と、カメラ（１）による撮像結果から作業者（１１）の位置を特定する特定部（４０２）と、カメラ（２）による撮像結果から作業領域に存在する物体の位置を特定する特定部（４０３）と、作業指示を表すアイコンである３次元データを順に抽出する抽出部（４０４）と、特定部（４０２）による特定結果及び特定部（４０３）による特定結果に基づいて、３次元データから疑似３次元画像を生成する画像生成部（４０５）と、疑似３次元画像を示すデータをプロジェクタ（３）に出力する出力部（４０７）と、作業者（１１）による作業完了を確認して抽出部（４０４）に対して次の３次元データの抽出を指示する確認指示部（４０８）とを備えた。

Description

作業支援システム
　この発明は、作業指示を行う作業支援システムに関する。
　従来、作業者は、製品に対して組立作業等の作業を行う場合、作業要領書又はチェックリスト等の書類或いはモニタを用いて作業指示を確認した上で、作業を行っている。
　一方、書類又はモニタは、製品が置かれた作業領域とは異なる領域に置かれている。そのため、作業者は、作業指示を確認する度に製品から目を離して書類又はモニタ側に振り返る必要がある。また、製品を置く作業領域とは別に書類又はモニタを置く領域が必要となる。また、書類又はモニタによる作業指示では文字が用いられることが多いが、この場合、例えば言語の異なる作業員が混在する工場では翻訳が必要となる。そのため、文字による作業指示はグローバル化の観点から望ましくない。
　これに対し、製品の特定箇所に円又は矢印等の２次元画像を投影するシステムが知られている（例えば特許文献１参照）。
　また、作業者が装着するＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）等の装置に映像を投影して作業指示を行うシステムも知られている。
国際公開２０１６／０８４１５１号
　しかしながら、製品に円又は矢印等の２次元画像を投影する方法では、作業箇所は指示可能であるが、例えば部品をどのように組付けるのかといった具体的な作業内容までは指示が困難である。よって、このシステムでは、別途、書類又はモニタによる作業指示が不可欠である。
　また、ＨＭＤ等の装置に映像を投影する方法では、当該装置を作業者毎に用意する必要があり、また、当該装置を装着した状態での作業は煩わしい。
　この発明は、上記のような課題を解決するためになされたもので、作業者が作業領域を見ている状態で、特別な装置を装着することなく、文字を排した作業指示が可能な作業支援システムを提供することを目的としている。
　この発明に係る作業支援システムは、作業領域で作業を行う作業者を撮像する第１撮像装置と、作業領域を撮像する第２撮像装置と、作業領域に入力画像を投影する投影装置と、第１撮像装置による撮像結果から作業者の位置を特定する第１特定部と、第２撮像装置による撮像結果から作業領域に存在する物体の位置を特定する第２特定部と、作業指示を表すアイコンである３次元データを順に抽出する抽出部と、第１特定部による特定結果及び第２特定部による特定結果に基づいて、抽出部により抽出された３次元データから、投影画像を一方向から見た際に立体視可能な疑似３次元画像を生成する画像生成部と、画像生成部により生成された疑似３次元画像を示すデータを投影装置に出力する出力部と、作業者による作業完了を確認して抽出部に対して次の３次元データの抽出を指示する確認指示部とを備えたことを特徴とする。
　この発明によれば、上記のように構成したので、作業者が作業領域を見ている状態で、特別な装置を装着することなく、文字を排した作業指示が可能となる。
実施の形態１に係る作業支援システムの構成例を示す図である。 実施の形態１における演算装置の構成例を示す図である。 実施の形態１における演算装置の動作例を示すフローチャートである。 図４Ａは、作業実施前の作業領域の一例を示す図であり、図４Ｂは実施の形態１における画像生成部及び制御部による投影領域の設定を説明するための図である。 図５Ａは、第１の作業の作業指示を表す３次元データの一例を示す図であり、図５Ｂは、実施の形態１における画像生成部による図５Ａに示す３次元データの変形を説明するための図である。 図６Ａは、実施の形態１におけるプロジェクタにより第１の作業の作業指示を表す疑似３次元画像が投影された後、作業者が投影画像を見た際の状態を示す図であり、図６Ｂは、作業者以外の第三者が投影画像を作業者とは別の方向から見た場合を示す図である。 実施の形態１におけるプロジェクタにより第２の作業の作業指示を表す疑似３次元画像が投影された後、作業者が投影画像を見た際の状態を示す図である。 図８Ａ、図８Ｂは、実施の形態１における演算装置のハードウェア構成例を示す図である。
　以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
　図１は実施の形態１に係る作業支援システムの構成例を示す図である。
　作業支援システムは、作業領域で製品１２に対して組立作業等の作業を行う作業者１１に対し、作業指示を行う。作業支援システムは、図１に示すように、カメラ（第１撮像装置）１、カメラ（第２撮像装置）２、プロジェクタ（投影装置）３及び演算装置４を備えている。製品１２は、台車１３に載せられて作業領域に移動される場合、又は、作業領域に設けられた作業面１４（図４等参照）に置かれる場合等がある。図１では、製品１２が台車１３に載せられた状態で作業領域に移動され、作業者１１はこの台車１３に載せられた製品１２に対して作業を行う場合を示している。なお、１つの作業領域で作業を行う作業者１１は１人であるとする。
　カメラ１は、作業領域で作業を行う作業者１１を撮像する。この際、カメラ１は、少なくとも作業者１１の目を含む身体の一部（例えば目又は頭部）を撮像することが好ましい。カメラ１は、作業者１１が位置すると想定される領域が撮像領域に含まれる位置に配置されている。なお、作業者１１が位置すると想定される領域が撮像領域よりも広い場合、カメラ１は撮像位置及び撮像角度のうちの少なくとも一方を可変とする機構を有する必要がある。カメラ１としては、例えば赤外線カメラを用いることができる。このカメラ１により得られた画像データは、演算装置４に出力される。また、カメラ１が撮像位置及び撮像角度のうちの少なくとも一方を可変とする機構を有する場合、カメラ１は、上記画像データに加え、撮像を行った際の撮像位置及び撮像角度のうちの少なくとも一方を示すデータを、演算装置４に出力する。なお、演算装置４は、カメラ１の初期の撮像位置及び撮像角度を示すデータを予め保持している。
　カメラ２は、作業領域を撮像する。カメラ２としては、例えば赤外線カメラを用いることができる。このカメラ２により得られた画像データは、演算装置４に出力される。なお、演算装置４は、カメラ２の撮像位置及び撮像角度を示すデータを予め保持している。
　プロジェクタ３は、作業領域に入力画像を投影する。なお、作業者１１の作業位置が固定である場合にはプロジェクタ３の投影位置及び投影角度は固定でもよいが、作業者１１の作業位置が固定ではない場合には、プロジェクタ３は、投影位置及び投影角度のうちの少なくとも一方を可変とする機構を有する。なお、演算装置４は、プロジェクタ３の初期の投影位置及び投影角度を示すデータを予め保持している。
　演算装置４は、カメラ１による撮像結果及びカメラ２による撮像結果に基づいて、疑似３次元画像の生成及びプロジェクタ３の制御を行う。疑似３次元画像は、作業指示を表す画像であって、プロジェクタ３により作業領域に投影された画像（投影画像）を人が特定の一方向から見た際に立体視可能な画像である。この演算装置４は、図２に示すように、記録部４０１、特定部（第１特定部）４０２、特定部（第２特定部）４０３、抽出部４０４、画像生成部４０５、制御部４０６、出力部４０７及び確認指示部４０８を有している。
　記録部４０１は、作業指示を表すアイコンである３次元データを記録する。この３次元データは、作業工程毎に存在し、作業工程順を示す識別情報に紐付けられて記録部４０１に記録される。
　記録部４０１としては、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、又はＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお図１では、記録部４０１が作業支援システムの内部に設けられた場合を示しているが、これに限らず、記録部４０１は作業支援システムの外部に設けられていてもよい。
　特定部４０２は、カメラ１による撮像結果から作業者１１の位置を特定する。この際、特定部４０２は、作業者１１の位置として、少なくとも作業者１１の目を含む身体の一部（例えば目又は頭部）の位置を特定することが好ましい。なお、特定部４０２は、カメラ１から画像データに加えて撮像位置及び撮像角度のうちの少なくとも一方を示すデータが出力された場合には、当該データも考慮して作業者１１の位置を特定する。画像から作業者１１の位置を特定する方法としては、従来から知られている各種方法を適用可能であり、その説明を省略する。また、特定部４０２は、カメラ１による撮像結果から、作業者１１の位置に加え、作業者１１の向きを特定してもよい。
　特定部４０３は、カメラ２による撮像結果から作業領域に存在する物体の位置及び形状を特定する。上記物体としては、製品１２、台車１３又は作業面１４等が挙げられる。画像から作業領域に存在する物体の位置及び形状を特定する方法としては、従来から知られている各種方法を適用可能であり、その説明を省略する。なお、特定部４０３は、カメラ２による撮像結果から、作業領域に存在する物体の位置及び形状に加え、物体の向きを特定してもよい。
　抽出部４０４は、記録部４０１から３次元データを順に抽出する。具体的には、抽出部４０４は、まず、記録部４０１から最初の作業工程を示す識別情報に紐付けられた３次元データを抽出する。その後、抽出部４０４は、確認指示部４０８から指示を受ける度に、次の作業工程を示す識別情報に紐付けられた３次元データを順に抽出する。
　画像生成部４０５は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、抽出部４０４により抽出された３次元データから疑似３次元画像を生成する。この際、画像生成部４０５は、まず、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、作業領域から、プロジェクタ３による投影領域を設定する。なお、画像生成部４０５では、作業領域に存在する物体と作業箇所との位置関係が既知であるとする。そして、画像生成部４０５は、抽出部４０４により抽出された３次元データを変形する。この際、画像生成部４０５は、設定した投影領域にプロジェクタ３から疑似３次元画像を投影した場合に、特定部４０２により特定された作業者１１の位置から投影画像を見た際に立体視されるように、３次元データを変形する。そして、画像生成部４０５は、変形した３次元データを２次元の画像に変換することで疑似３次元画像を生成する。
　制御部４０６は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、プロジェクタ３の投影位置及び投影角度のうちの少なくとも一方を制御する。この際、制御部４０６は、まず、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、作業領域から、プロジェクタ３による投影領域を設定する。制御部４０６で設定される投影領域は、画像生成部４０５で設定される投影領域と同じである。なお、制御部４０６では、作業領域に存在する物体と作業箇所との位置関係が既知であるとする。そして、制御部４０６は、設定した投影領域に投影可能なようにプロジェクタ３の投影位置及び投影角度のうちの少なくとも一方を制御する。
　なお、プロジェクタ３の投影位置及び投影角度が固定である場合には、制御部４０６は不要である。
　出力部４０７は、画像生成部４０５により生成された疑似３次元画像を示すデータをプロジェクタ３に出力する。
　確認指示部４０８は、作業者１１による作業完了を確認して抽出部４０４に対して次の３次元データの抽出を指示する。ここで、例えば、確認指示部４０８は、ユーザにより入力装置（不図示）を介して入力された作業完了通知を受付けることで、作業者１１による作業完了の確認を行ってもよい。また、確認指示部４０８は、カメラ２による撮像結果を解析することで、作業者１１による作業完了の確認を行ってもよい。
　なお、演算装置４は、抽出部４０４により最後の作業工程を表す３次元データが抽出されている場合には、確認指示部４０８により作業者１１による作業完了が確認された時点で処理を終了する。
　次に、図１，２に示す演算装置４の動作例について、図３を参照しながら説明する。なお、記録部４０１には、作業工程毎の３次元データが記録されている。また、カメラ１及びカメラ２はそれぞれ、撮像を常時行い、得られた画像データを演算装置４に出力している。
　演算装置４の動作例では、図３に示すように、まず、特定部４０２は、カメラ１による撮像結果から作業者１１の位置を特定する（ステップＳＴ３０１）。ここでは、特定部４０２は、作業者１１の位置として、少なくとも作業者１１の目を含む身体の一部の位置を特定するものとする。なお、特定部４０２による処理は、カメラ１から演算装置４に画像データが入力される度に実施される。
　また、特定部４０３は、カメラ２による撮像結果から作業領域に存在する物体の位置及び形状を特定する（ステップＳＴ３０２）。
　また、抽出部４０４は、記録部４０１から３次元データを抽出する（ステップＳＴ３０３）。この際、抽出部４０４は、記録部４０１から、最初の作業工程を示す識別情報に紐付けられた３次元データを抽出する。
　また、画像生成部４０５は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、抽出部４０４により抽出された３次元データから疑似３次元画像を生成する（ステップＳＴ３０４）。この際、画像生成部４０５は、まず、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、作業領域から、プロジェクタ３による投影領域を設定する。そして、画像生成部４０５は、抽出部４０４により抽出された３次元データを変形する。この際、画像生成部４０５は、設定した投影領域にプロジェクタ３から疑似３次元画像を投影した場合に、特定部４０２により特定された作業者１１の位置から投影画像を見た際に立体視されるように、３次元データを変形する。そして、画像生成部４０５は、変形した３次元データを２次元の画像に変換することで疑似３次元画像を生成する。なお、画像生成部４０５による処理は、特定部４０２により特定された作業者１１の位置が変わる度に実施される。
　次いで、制御部４０６は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、プロジェクタ３の投影位置及び投影角度のうちの少なくとも一方を制御する（ステップＳＴ３０５）。この際、制御部４０６は、まず、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、作業領域から、プロジェクタ３による投影領域を設定する。制御部４０６で設定される投影領域は、画像生成部４０５で設定される投影領域と同じである。そして、制御部４０６は、設定した投影領域に投影可能なようにプロジェクタ３の投影位置及び投影角度のうちの少なくとも一方を制御する。これにより、プロジェクタ３の投影位置及び投影角度が設定される。なお、制御部４０６による処理は、特定部４０２により特定された作業者１１の位置が変わる度に実施される。
　次いで、出力部４０７は、画像生成部４０５により生成された疑似３次元画像を示すデータをプロジェクタ３に出力する（ステップＳＴ３０６）。その後、プロジェクタ３は、この疑似３次元画像を作業領域に投影する。これにより、作業者１１には投影画像が立体的に見える。その後、作業者１１は、この投影画像が示す作業指示に従って製品１２に対する作業を行う。
　次いで、確認指示部４０８は、作業者１１による作業完了を確認したかを判定する（ステップＳＴ３０７）。このステップＳＴ３０７において、確認指示部４０８が作業完了を確認していない場合には、シーケンスはステップＳＴ３０７に戻り待機状態となる。
　一方、ステップＳＴ３０７において、確認指示部４０８は、作業完了を確認した場合、抽出部４０４により最後の作業工程を表す３次元データまで抽出されたかを判定する（ステップＳＴ３０８）。
　このステップＳＴ３０８において、確認指示部４０８は、抽出部４０４により未抽出の３次元データがあると判定した場合には、抽出部４０４に対して次の３次元データの抽出を指示する（ステップＳＴ３０９）。その後、シーケンスはステップＳＴ３０２に戻る。なお、ステップＳＴ３０３では、抽出部４０４は、確認指示部４０８による指示に応じ、次の作業工程を示す識別情報に紐付けられた３次元データの抽出を行う。
　一方、ステップＳＴ３０８において、確認指示部４０８が抽出部４０４により全ての３次元データが抽出されたと判定した場合には、シーケンスは終了する。
　次に、実施の形態１に係る作業支援システムによる作業指示の具体例について示す。
　図４～７では、作業者１１が、第１の作業として作業領域における指定箇所に指定の向きで箱１６を置き、第２の作業として箱１６の上面四隅に対してネジ締めを行う場合を示す。以下では、図４Ａに示すように、作業領域に置かれた作業面１４上で作業者１１が作業を行う場合を示し、箱１６の位置決めのため作業面１４上に製品１２の一部である板金部品１５が置かれているものとする。
　この場合、まず、作業支援システムは第１の作業を支援する。
　具体的には、まず、特定部４０２は、カメラ１による撮像結果から少なくとも作業者１１の目を含む身体の一部の位置を特定する。また、特定部４０３は、カメラ２による撮像結果から板金部品１５の位置及び形状を特定する。なお図４Ｂでは、符号１０１に示すように、画像生成部４０５及び制御部４０６が、作業領域から、板金部品１５の一部が位置する領域（板金部品１５が有する二つの面）をプロジェクタ３による投影領域に設定している。また、抽出部４０４は、図５Ａに示すように、記録部４０１から、作業領域における指定箇所に指定の向きで箱１６を置くことを表す３次元データを抽出する。図５Ａに示す３次元データは、箱１６を表す３次元モデルと、箱１６を置くことを表す下向き矢印の３次元モデルとから構成されている。次いで、画像生成部４０５は、図５Ｂに示すように、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、図５Ａに示す３次元データを変形して、疑似３次元画像を生成する。また、制御部４０６は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、プロジェクタ３の投影位置及び投影角度のうちの少なくとも一方を制御する。次いで、出力部４０７は、画像生成部４０５により生成された疑似３次元画像を示すデータをプロジェクタ３に出力する。その後、プロジェクタ３は、この疑似３次元画像を作業領域に投影する。これにより、図６Ａに符号１０２で示すように、作業者１１には、投影画像が、作業領域における指定箇所に指定の向きで箱１６を置く作業を表すように立体的に見える。なお、例えば図６Ｂに示すように、作業者１１以外の第三者が、投影画像を作業者１１とは別の方向から見た場合には、投影画像が立体的には見えない。その後、作業者１１は、この投影画像が示す作業指示に従って作業領域における指定箇所に指定の向きで箱１６を置く。
　次いで、確認指示部４０８が作業者１１による第１の作業の完了を確認すると、作業支援システムは第２の作業を支援する。
　具体的には、まず、特定部４０２は、カメラ１による撮像結果から少なくとも作業者１１の目を含む身体の一部の位置を特定する。また、特定部４０３は、カメラ２による撮像結果から板金部品１５の位置及び形状を特定する。なお、画像生成部４０５及び制御部４０６は、作業領域から、板金部品１５の一部が位置する領域（板金部品１５が有する二つの面の一部）及び箱１６の上面が位置する領域をプロジェクタ３による投影領域に設定する。また、抽出部４０４は、記録部４０１から、箱１６の上面四隅に対してネジ締めを行うことを表す３次元データを抽出する。次いで、画像生成部４０５は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、３次元データを変形して、疑似３次元画像を生成する。また、制御部４０６は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、プロジェクタ３の投影位置及び投影角度のうちの少なくとも一方を制御する。次いで、出力部４０７は、画像生成部４０５により生成された疑似３次元画像を示すデータをプロジェクタ３に出力する。その後、プロジェクタ３は、この疑似３次元画像を作業領域に投影する。これにより、図７に符号１０３で示すように、作業者１１には、投影画像が、箱１６の上面四隅に対してネジ締めを行う作業を表すように立体的に見える。その後、作業者１１は、この投影画像が示す作業指示に従って箱１６の上面四隅に対してネジ締めを行う。
　次いで、確認指示部４０８が作業者１１による第２の作業の完了を確認すると、作業支援システムは支援を終了する。
　なお上記では、画像生成部４０５及び制御部４０６が投影領域を板金部品１５が位置する領域内とする場合を示した。一方、作業内容によっては部品等のサイズが大きく、投影領域が板金部品１５が位置する領域をはみ出る場合も考えられる。例えば、ある製品１２に対してコンプレッサ等の大型の製品を置く場合には、投影領域が大きくなる。このような場合、画像生成部４０５及び制御部４０６は、投影領域を、板金部品１５が位置する領域に加え、背景の領域も含めて設定する。
　また、作業者１１が作業箇所の死角に位置している場合、作業支援システムは当該作業箇所を通知するための画像を投影してもよい。作業者１１が作業箇所の死角に位置する場合とは、例えば図６Ａでは、作業者１１が板金部品１５の背面に位置している場合等である。
　具体的には、画像生成部４０５は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて作業者１１が作業箇所の死角に位置していると判定した場合に、作業箇所を通知するための画像を生成する。例えば、画像生成部４０５は、作業者１１が板金部品１５の背面に位置していると判定した場合に、作業箇所が板金部品１５の前面であることを通知するための画像を生成する。そして、プロジェクタ３は、画像生成部４０５により生成された上記画像を所定の投影領域に投影する。上記の例では、プロジェクタ３は、上記画像を板金部品１５の背面等に投影する。
　このように、実施の形態１に係る作業支援システムでは、作業者１１の位置並びに作業領域に存在する物体の位置及び形状に基づいて疑似３次元画像の生成及びプロジェクタ３の制御を行い、プロジェクタ３から当該疑似３次元画像を投影する。これにより、作業者１１には投影画像が立体的に見え、作業者１１は、作業指示を視覚的に認識可能となり、疑似３次元画像が示す作業指示の通りに作業を行うことで容易に作業を実施できる。また、疑似３次元画像は作業領域に投影されるため、作業者１１は作業指示を確認する際に製品１２から目を離す必要はなく、作業時間（タクトタイム）の短縮化が見込める。また、疑似３次元画像では文字を用いていないため、作業者１１は、言語の違いに依らず、容易に作業を実施できる。
　また、疑似３次元画像は作業者１１が裸眼で立体視可能であり、作業者１１はＨＭＤ等のような特別な装置を装着する必要はない。また、疑似３次元画像は単一画像であり、作業支援システムは両眼視差を利用した３次元画像のように複数の画像を用意する必要はない。
　また、特定部４０２は、カメラ１による撮像結果からリアルタイムに作業者１１の位置を特定可能である。そのため、作業支援システムでは、作業の途中で作業者１１が移動した場合でも追従して疑似３次元画像を生成可能であり、作業者１１は投影画像を常に立体視できる。
　なお上記では、特定部４０３がカメラ２による撮像結果から作業領域に存在する物体の位置及び形状を特定し、画像生成部４０５及び制御部４０６が当該物体の位置及び形状に基づいて処理を行う場合を示した。しかしながら、これに限らず、記録部４０１が、事前に、作業領域に存在すると想定される物体の形状を示す情報を記録し、特定部４０３は、カメラ２による撮像結果から作業領域に存在する物体の位置のみを特定してもよい。この場合、画像生成部４０５及び制御部４０６は、作業領域に存在する物体の形状については記録部４０１から得る。
　以上のように、この実施の形態１によれば、作業領域で作業を行う作業者１１を撮像するカメラ１と、作業領域を撮像するカメラ２と、作業領域に入力画像を投影するプロジェクタ３と、カメラ１による撮像結果から作業者１１の位置を特定する特定部４０２と、カメラ２による撮像結果から作業領域に存在する物体の位置を特定する特定部４０３と、作業指示を表すアイコンである３次元データを順に抽出する抽出部４０４と、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、抽出部４０４により抽出された３次元データから、投影画像を一方向から見た際に立体視可能な疑似３次元画像を生成する画像生成部４０５と、画像生成部４０５により生成された疑似３次元画像を示すデータをプロジェクタ３に出力する出力部４０７と、作業者１１による作業完了を確認して抽出部４０４に対して次の３次元データの抽出を指示する確認指示部４０８とを備えた。これにより、実施の形態１に係る作業支援システムは、作業者１１が作業領域を見ている状態で、特別な装置を装着することなく、文字を排した作業指示が可能となる。
実施の形態２．
　実施の形態１では、画像生成部４０５が静止画である疑似３次元画像を生成し、プロジェクタ３が当該疑似３次元画像を作業領域に投影する場合を示した。これに対し、画像生成部４０５は複数の疑似３次元画像を連続したアニメーションを生成し、プロジェクタ３はこのアニメーションを作業領域に投影してもよい。これにより、作業者１１は、作業指示の内容をより容易に理解可能となる。
実施の形態３．
　実施の形態１，２では、画像生成部４０５及び制御部４０６が投影領域をどのような領域に設定するのかについては具体的に言及していない。一方、投影領域が平面ではなく複数の面を有する場合、演算装置４は、３次元データに対し、それぞれの面に投影される領域毎に演算を行って、疑似３次元画像を生成する必要がある。そのため、投影領域は可能な限り凹凸の少ない領域であることが望ましい。
　そこで、画像生成部４０５は、特定部４０３による特定結果から凹凸の少ない領域を検出し、当該領域をプロジェクタ３による投影領域に設定して、疑似３次元画像の生成を行ってもよい。同様に、制御部４０６は、特定部４０３による特定結果から凹凸の少ない領域を検出し、当該領域をプロジェクタ３による投影領域に設定して、プロジェクタ３の制御を行ってもよい。これにより、演算装置４は、疑似３次元画像を生成する際の演算負荷を低減可能となる。
　最後に、図８を参照して、実施の形態１～３における演算装置４のハードウェア構成例を説明する。
　演算装置４における特定部４０２、特定部４０３、抽出部４０４、画像生成部４０５、制御部４０６、出力部４０７及び確認指示部４０８の各機能は、処理回路５１により実現される。処理回路５１は、図８Ａに示すように、専用のハードウェアであってもよいし、図８Ｂに示すように、メモリ５３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）ともいう）５２であってもよい。
　処理回路５１が専用のハードウェアである場合、処理回路５１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。特定部４０２、特定部４０３、抽出部４０４、画像生成部４０５、制御部４０６、出力部４０７及び確認指示部４０８の各部の機能それぞれを処理回路５１で実現してもよいし、各部の機能をまとめて処理回路５１で実現してもよい。
　処理回路５１がＣＰＵ５２の場合、特定部４０２、特定部４０３、抽出部４０４、画像生成部４０５、制御部４０６、出力部４０７及び確認指示部４０８の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアはプログラムとして記述され、メモリ５３に格納される。処理回路５１は、メモリ５３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、演算装置４は、処理回路５１により実行されるときに、例えば図３に示した各ステップが結果的に実行されることになるプログラムを格納するためのメモリ５３を備える。また、これらのプログラムは、特定部４０２、特定部４０３、抽出部４０４、画像生成部４０５、制御部４０６、出力部４０７及び確認指示部４０８の手順及び方法をコンピュータに実行させるものであるともいえる。ここで、メモリ５３としては、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、又はＤＶＤ等が該当する。
　なお、特定部４０２、特定部４０３、抽出部４０４、画像生成部４０５、制御部４０６、出力部４０７及び確認指示部４０８の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、特定部４０２については専用のハードウェアとしての処理回路５１でその機能を実現し、特定部４０３、抽出部４０４、画像生成部４０５、制御部４０６、出力部４０７及び確認指示部４０８については処理回路５１がメモリ５３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　このように、処理回路５１は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組合わせ、或いは各実施の形態の任意の構成要素の変形、若しくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係る作業支援システムは、作業者が作業領域を見ている状態で、特別な装置を装着することなく、文字を排した作業指示が可能となり、作業指示を行う作業支援システム等に用いるのに適している。
　１　カメラ（第１撮像装置）、２　カメラ（第２撮像装置）、３　プロジェクタ（投影装置）、４　演算装置、１１　作業者、１２　製品、１３　台車、１４　作業面、１５　板金部品、１６　箱、５１　処理回路、５２　ＣＰＵ、５３　メモリ、４０１　記録部、４０２　特定部（第１特定部）、４０３　特定部（第２特定部）、４０４　抽出部、４０５　画像生成部、４０６　制御部、４０７　出力部、４０８　確認指示部。

Claims (9)

  1. 　作業領域で作業を行う作業者を撮像する第１撮像装置と、
    　作業領域を撮像する第２撮像装置と、
    　作業領域に入力画像を投影する投影装置と、
    　前記第１撮像装置による撮像結果から作業者の位置を特定する第１特定部と、
    　前記第２撮像装置による撮像結果から作業領域に存在する物体の位置を特定する第２特定部と、
    　作業指示を表すアイコンである３次元データを順に抽出する抽出部と、
    　前記第１特定部による特定結果及び前記第２特定部による特定結果に基づいて、前記抽出部により抽出された３次元データから、投影画像を一方向から見た際に立体視可能な疑似３次元画像を生成する画像生成部と、
    　前記画像生成部により生成された疑似３次元画像を示すデータを前記投影装置に出力する出力部と、
    　作業者による作業完了を確認して前記抽出部に対して次の３次元データの抽出を指示する確認指示部と
    　を備えた作業支援システム。
  2. 　前記画像生成部は、前記第１特定部により特定された作業者の位置が変わる度に、疑似３次元画像の生成を行う
    　ことを特徴とする請求項１記載の作業支援システム。
  3. 　前記第１特定部は、作業者の位置として、少なくとも作業者の目を含む身体の一部の位置を特定する
    　ことを特徴とする請求項１記載の作業支援システム。
  4. 　前記画像生成部は、複数の疑似３次元画像を連続したアニメーションを生成する
    　ことを特徴とする請求項１記載の作業支援システム。
  5. 　前記画像生成部は、前記第２特定部による特定結果から凹凸の少ない領域を検出し、当該領域を前記投影装置による投影領域に設定して、疑似３次元画像の生成を行う
    　ことを特徴とする請求項１記載の作業支援システム。
  6. 　前記第１撮像装置は、作業者が位置すると想定される領域が撮像領域に含まれるように撮像位置及び撮像角度のうちの少なくとも一方が可変に構成された
    　ことを特徴とする請求項１記載の作業支援システム。
  7. 　前記投影装置は、投影位置及び投影角度のうちの少なくとも一方が可変であり、
    　前記第１特定部による特定結果及び前記第２特定部による特定結果に基づいて、前記投影装置の投影位置及び投影角度のうちの少なくとも一方を制御する制御部を備えた
    　ことを特徴とする請求項１記載の作業支援システム。
  8. 　前記制御部は、前記第１特定部により特定された作業者の位置が変わる度に、前記投影装置の投影位置及び投影角度のうちの少なくとも一方の制御を行う
    　ことを特徴とする請求項７記載の作業支援システム。
  9. 　前記制御部は、前記第２特定部による特定結果から凹凸の少ない領域を検出し、当該領域を前記投影装置による投影領域に設定して、当該投影装置の制御を行う
    　ことを特徴とする請求項７記載の作業支援システム。
PCT/JP2019/002893 2019-01-29 2019-01-29 作業支援システム WO2020157821A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020568910A JP7034340B2 (ja) 2019-01-29 2019-01-29 作業支援システム
PCT/JP2019/002893 WO2020157821A1 (ja) 2019-01-29 2019-01-29 作業支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/002893 WO2020157821A1 (ja) 2019-01-29 2019-01-29 作業支援システム

Publications (1)

Publication Number Publication Date
WO2020157821A1 true WO2020157821A1 (ja) 2020-08-06

Family

ID=71842399

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/002893 WO2020157821A1 (ja) 2019-01-29 2019-01-29 作業支援システム

Country Status (2)

Country Link
JP (1) JP7034340B2 (ja)
WO (1) WO2020157821A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299851A (ja) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd 指示情報伝達装置
JP2003270719A (ja) * 2002-03-13 2003-09-25 Osaka Industrial Promotion Organization 投影方法、投影装置、作業支援方法及び作業支援システム
JP2005322055A (ja) * 2004-05-10 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 作業支援用情報提示装置、作業支援用情報提示方法及び作業支援用情報を提示するためのプログラム
JP2006293604A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法、情報処理装置および遠隔複合現実感共有装置
WO2012042974A1 (ja) * 2010-09-30 2012-04-05 富士フイルム株式会社 情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラム
WO2016084151A1 (ja) * 2014-11-26 2016-06-02 三菱電機エンジニアリング株式会社 作業支援システム、作業支援装置及び作業支援方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299851A (ja) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd 指示情報伝達装置
JP2003270719A (ja) * 2002-03-13 2003-09-25 Osaka Industrial Promotion Organization 投影方法、投影装置、作業支援方法及び作業支援システム
JP2005322055A (ja) * 2004-05-10 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 作業支援用情報提示装置、作業支援用情報提示方法及び作業支援用情報を提示するためのプログラム
JP2006293604A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法、情報処理装置および遠隔複合現実感共有装置
WO2012042974A1 (ja) * 2010-09-30 2012-04-05 富士フイルム株式会社 情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラム
WO2016084151A1 (ja) * 2014-11-26 2016-06-02 三菱電機エンジニアリング株式会社 作業支援システム、作業支援装置及び作業支援方法

Also Published As

Publication number Publication date
JPWO2020157821A1 (ja) 2021-09-30
JP7034340B2 (ja) 2022-03-11

Similar Documents

Publication Publication Date Title
US9438792B2 (en) Image-processing apparatus and image-processing method for generating a virtual angle of view
US9946146B2 (en) Control apparatus configured to control projection of an image based on position information, projection information, and shape information, corresponding control method and corresponding storage medium
US10134118B2 (en) Information processing apparatus and method of obtaining information about a projection surface on which a target is projected
US9591228B2 (en) Method for the localization of a tool in a workplace, corresponding system and computer program product
JP2017055310A5 (ja)
US10839554B2 (en) Image labeling for cleaning robot deep learning system
KR20150120066A (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
US11190747B2 (en) Display control apparatus, display control method, and storage medium
JP2014179698A (ja) プロジェクタ及びプロジェクタの制御方法、並びに、その制御方法のプログラム及びそのプログラムを記録した記録媒体
JP7453137B2 (ja) Ｐｏｓ端末装置および画像処理方法
JP5228074B2 (ja) 情報処理装置、表示制御方法
US20170118451A1 (en) Information processing apparatus, image projection system, and computer program product
JP2016031761A5 (ja)
US8723922B2 (en) Single camera device and method for 3D video imaging using a refracting lens
JP2016085380A (ja) 制御装置、制御方法、及び、プログラム
KR20120046802A (ko) 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법
JP2018158393A (ja) 安全制御装置、安全制御方法およびプログラム
EP3772042A3 (en) Electronic apparatus for augmented reality and control method thereof
KR102082277B1 (ko) 파노라마 영상 생성 방법 및 그 장치
WO2020157821A1 (ja) 作業支援システム
WO2020217348A1 (ja) 画像投影システム
KR101237975B1 (ko) 영상 처리 장치
WO2012017585A1 (ja) 撮像装置
JP6885127B2 (ja) 表示制御装置、表示制御方法およびプログラム
US20160037143A1 (en) Method and device for automatically generating and projecting multi-surface images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19913444

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020568910

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19913444

Country of ref document: EP

Kind code of ref document: A1