WO2010050301A1 - 映像表示システム - Google Patents
映像表示システム Download PDFInfo
- Publication number
- WO2010050301A1 WO2010050301A1 PCT/JP2009/065697 JP2009065697W WO2010050301A1 WO 2010050301 A1 WO2010050301 A1 WO 2010050301A1 JP 2009065697 W JP2009065697 W JP 2009065697W WO 2010050301 A1 WO2010050301 A1 WO 2010050301A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- video
- index
- display
- additional
- recognized
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 60
- 230000003287 optical effect Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 14
- 230000003111 delayed effect Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 7
- 239000003550 marker Substances 0.000 abstract 1
- 210000003128 head Anatomy 0.000 description 24
- 238000001514 detection method Methods 0.000 description 20
- 230000000007 visual effect Effects 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
- H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
- H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Definitions
- the present invention relates to a video display system for supporting an operator's work.
- head-mounted video display devices namely HMD (Head Mount Display).
- HMD Head Mount Display
- both hands of the operator become free and work using both hands becomes easy. Workability can be improved.
- the camera means is attached to the HMD, and the camera means While observing a photographed image of the work object on a monitor such as a host computer provided at a remote place, information suitable for work by voice or video can be provided to the worker.
- the system that simultaneously displays the actual video and the additional video includes a video see-through method that superimposes the additional video on the real video captured by the video camera, and a semi-transparent method.
- a video see-through method that superimposes the additional video on the real video captured by the video camera, and a semi-transparent method.
- an optical see-through method in which an additional image is superimposed on a real field of view (real image) obtained through a mold optical member.
- an imaging means having a visual field in front of the operator's head and an optical system for guiding an image to the eyeball are provided, and the imaging means is moved following the movement of the operator.
- a head-mounted optical device that has been proposed has been proposed (see, for example, Patent Document 1).
- a head-mounted video display device including an electronic camera that captures a work object and a display unit that can see through the outside world is used.
- a remote work support system and a display method thereof have already been proposed in which an indicator that indicates a part of a work performed by an operator is superimposed on an optical image of a work target (see, for example, Patent Document 2).
- the video see-through method or the optical see-through method since the actual image and the additional image are displayed simultaneously, it is preferable to suppress the deviation between these images, and an HMD image display device is used. In this case, it is preferable to accurately display a predetermined additional image according to the direction of the head of the worker wearing the HMD.
- the additional video when the additional video is superimposed on the real video, it is possible to recognize the index and display the additional video accurately. However, if the worker continues to display the additional video while working, it is not preferable because it hinders visual recognition of the real space for working. Further, if the configuration is such that the additional video is simply displayed when the index is recognized and the additional video is erased when the index is no longer recognized, the index moves to a predetermined detection range when the head is moved during work. Entering and exiting repeatedly displays and erases the additional image, and the image flickers, causing problems such as obstructing the worker's real field of view and real image, and fatigue of the operator's eyes.
- the camera means is mounted on the head, even if the head is moved a little, the index is easily deviated from the detection range of the camera. For this reason, it is not preferable to display the additional image immediately following the movement of the head of the worker wearing the HMD, and the worker can easily view the real field of view and the real image when working. Therefore, there is a need for a video display system that can perform operations.
- the present invention provides a video display system for supporting the work of an operator, wherein when the additional video is displayed superimposed on the real video, the displayed additional video has a real field of view or real video for the worker to work.
- An object of the present invention is to provide a video display system that allows an operator to easily work without disturbing visual recognition.
- the present invention has been recognized as a photographing means for photographing an index disposed in the vicinity of a work object in order to recognize the work object, and an index recognition means for recognizing the photographed index.
- Video display means for selecting video to be displayed from the index and displaying it as additional video, video superimposing means for superimposing and displaying the additional video on real video, delay display control means for controlling the display state of the additional video,
- the video display means displays the additional video including the content according to the index recognized when the index recognition means recognizes the index, and then the index is no longer recognized.
- the video display system is characterized in that the additional video is continuously displayed for a predetermined time set in advance, and then the predetermined delay display control is performed via the delay display control means.
- the present invention provides an imaging unit that captures an index disposed in the vicinity of a work object in order to recognize the work object, an index recognition unit that recognizes the captured index, and an image displayed from the recognized index.
- Video display means for selecting and displaying as an additional video, video superimposing means for superimposing and displaying the additional video on a real video, and delay display control means for controlling the display state of the additional video.
- the index recognizing means recognizes the index
- the video display means displays the additional video including contents corresponding to the recognized index for a predetermined time
- the delay display control means It is characterized by performing predetermined delay display control via the.
- the indicator is recognized at the start of work, a predetermined additional video is displayed, and after a predetermined time has elapsed, predetermined delay display control is performed to control the display state of the additional video.
- predetermined delay display control is performed to control the display state of the additional video.
- the present invention is characterized in that, in the video display system having the above-described configuration, the photographing means and the video display means are integrated as a head-mounted video display unit. According to this configuration, since the video display unit including the photographing means and the video display means is mounted on the operator's head, the hands are free. Therefore, it is possible to work with both hands while photographing a work object in front of the worker and displaying a video including a predetermined additional video on the eyes of the worker.
- the present invention is characterized in that the index recognition means recognizes the index photographed by the photographing means by image processing. According to this configuration, it is possible to select and display the additional video corresponding to the index recognized through the image processing by arranging the index in a predetermined form in advance on an arbitrary work target. Therefore, an additional image suitable for a predetermined work object can be displayed.
- the present invention is characterized in that in the video display system having the above-described configuration, a control unit including a communication unit that transmits a video shot by the shooting unit is provided.
- a control unit including a communication unit that transmits a video shot by the shooting unit.
- the present invention is characterized in that, in the video display system having the above-described configuration, the control unit further includes a shutter operation unit and a video storage unit, and controls the shooting of the shooting unit. According to this configuration, it is possible to capture and store a real image that the operator wants to transmit. Therefore, if a problem occurs during the work, efficient maintenance can be performed by photographing and storing the problem state.
- the present invention is characterized in that, in the video display system having the above-described configuration, the video superimposing means is an optical see-through method for optically combining optical paths. According to this configuration, an additional image suitable for the work can be superimposed and displayed on the work object that is directly visually recognized by the worker, and the predetermined work can be reliably supported.
- the video superimposing means is a video see-through system that electrically synthesizes video with a captured image. According to this configuration, it is possible to assist the reliable execution of the predetermined work by superimposing and displaying the additional video suitable for the work on the real video displayed.
- the video displayed by the video display means is set by pattern information of the index. According to this configuration, it is possible to select and display an additional image corresponding to the recognized index pattern by setting a predetermined index pattern in advance on an arbitrary work target. Therefore, an additional image suitable for a predetermined work object can be displayed.
- the present invention is characterized in that, in the video display system configured as described above, the predetermined time is set by pattern information of the index. According to this configuration, a display duration time suitable for each work can be set in advance, and the video display system capable of work support suitable for various work is obtained.
- the present invention is characterized in that, in the video display system having the above configuration, the predetermined time is stored in advance in the control unit. According to this configuration, by setting a predetermined time suitable for a predetermined work object in advance, a new setting operation is unnecessary, and the video display system is easy for the operator to operate.
- the present invention is characterized in that, in the video display system configured as described above, the delayed display control means erases the additional video corresponding to the index from the display screen after a predetermined time has elapsed. According to this configuration, when the worker moves his / her head, the additional image is erased and only the real image is displayed, so that the field of view in front of the worker can be secured and the image does not flicker.
- the present invention is characterized in that, in the video display system configured as described above, the delay display control means displays an additional video corresponding to the index in a reduced scale after a predetermined time has elapsed. According to this configuration, when the worker moves his / her head, the additional image is reduced and the actual image is displayed relatively large, so that the field of view ahead of the worker can be secured.
- the present invention is characterized in that, in the video display system configured as described above, the delay display control means displays the additional video according to the index with a reduced saturation and / or luminance after a predetermined time has elapsed. According to this configuration, when the worker moves his / her head, the saturation and luminance of the additional image are weakened, so that the actual image is displayed relatively strongly, and the front view of the worker can be secured.
- the present invention is characterized in that in the video display system configured as described above, a predetermined waiting period is provided after the delayed display control until the next time index recognition is resumed. According to this configuration, it is possible to prevent the real field of view from becoming difficult to recognize without frequently switching the display of the additional video according to the predetermined index, and to perform the predetermined operation with certainty.
- the standby period ends and the new index is set. It is characterized by displaying a new additional video in response. According to this configuration, even if the next new index is recognized even during standby processing, index recognition and display start processing are started from this point, so that different operations can be performed efficiently, and productivity is improved. An improved video display system.
- the present invention is characterized in that the waiting period is set by pattern information of the indicator. According to this configuration, a standby period suitable for each work can be set in advance, and an image display system capable of efficient work support is obtained.
- the present invention is characterized in that, in the video display system having the above configuration, the standby period is stored in advance in the control unit. According to this configuration, by setting a predetermined time suitable for a predetermined work procedure in advance, a new setting operation is not necessary, and the video display system is easy for the operator to operate.
- the additional video when an index is recognized and a predetermined additional video is displayed, even if the index is not recognized, the additional video is not immediately deleted, but predetermined display control is performed.
- An image display system can be obtained in which the superimposed image display does not flicker even when the image moves.
- the index is recognized at the start of work, a predetermined additional video is displayed, and after a predetermined time has elapsed, predetermined delay display control for controlling the display state of the additional video is performed, so that the displayed additional video is displayed. It is possible to obtain a video display system that facilitates the work without hindering visual recognition of the real space for the person to work.
- the video display system 1 is a system that visualizes and displays information useful for work in order to support the work of the worker A, and is in the vicinity of the work object to recognize the work object.
- An indicator disposed on the display, a photographing unit for photographing the indicator and a real image, an indicator recognizing unit for recognizing the photographed indicator, and a video display for selecting an image to be displayed from the recognized indicator and displaying it as an additional image Means and video superimposing means for superimposing and displaying the additional video on the real video.
- the photographing means 21 and the video display means 22 are integrated as a head-mounted video display unit 2 so as to be hands-free. Therefore, a predetermined work can be performed using free both hands.
- photography means 21 and the video display means 22 will be mounted
- Reference numeral 3 denotes a control unit that is electrically connected to the photographing means 21 and the video display means 22, and an index recognition means for recognizing the photographed index, and a video to be displayed from the recognized index is selected and displayed as an additional video.
- Various control functions such as video display means for displaying and the video superimposing means for superimposing and displaying the additional video on the real video.
- the apparatus includes a shutter button 31, a transmission button 32, and a display unit 33, and includes a communication unit that transmits an image captured by the imaging unit 21, a shutter operation unit that controls imaging of the imaging unit, and a video storage unit.
- These communication means, shutter operation means, video storage means, delay display control means, which will be described later, and a memory unit for storing a display video corresponding to the index are integrally formed in a controller 34 provided in the unit.
- the video display system since the video display system according to the present embodiment includes the communication unit, the video of the work object 4 photographed by the photographing unit 21 can be transmitted to a host computer or the like provided at a remote place. Information suitable for work performed by an instructor in a remote place can be transmitted to the worker A. Further, the photographing for transmitting the work situation can be performed also using the photographing means 21 for recognizing the index 5.
- the index 5 is a plurality of indices 5A, 5B, 5C arranged near the work object 4 supported by the gantry 6, for example, around the work object 4. 5D.
- the index 5 in the detection range WA of the photographing means 21 included in the video display unit 2 is displayed. 5A, 5B, 5C, 5D) all enter. Therefore, in this embodiment in which a plurality of indicators 5A, 5B, 5C, and 5D are arranged around the work target 4, when the worker A faces the work target 4, the indicators 5 (5A, 5B around the work target 4 are provided. 5C, 5D) is configured so that the entire view of the work object 4 in which the image capturing unit 21 is placed falls within the detection range WA of the photographing unit 21.
- the photographing means 21 of the video display unit 2 is also moved, and the detection range WA is removed from the work target 4. That is, in a state where the worker A is correctly viewing the work object 4, the work object 4 and the index 5 are within the detection range WA of the imaging means 21, and the worker A is correctly viewing the work object 4. In the absence state, either the work object 4 or the index 5 or both are out of the detection range WA of the photographing means 21.
- the video display unit 22 can display a predetermined additional video indicating the work content for operating the operation unit 41 of the recognized work object 4.
- “003” indicated by reference numeral 42 indicates, for example, the panel number of the work object 4.
- the detection range WA1 shown in FIG. 2A is a state in which the work object 4 and the index 5 (5A, 5B, 5C, 5D) are all in the detection range
- the detection range WA2 is the work object 4 and
- the indicators 5A, 5B, and 5C indicate a state that is out of the detection range.
- the work is not performed, and it is not necessary to display an additional image for work support.
- additional images are displayed and erased. If it is repeated, the video flickers, which is not preferable. Therefore, in the present embodiment, when the index is no longer recognized, the video display system that displays the additional video for a predetermined time set in advance, and then controls the display state by the delay display control means. It is a thing.
- the delay display control unit for example, in the first display mode shown in FIG. 2B, a configuration in which the additional video 221 corresponding to the index is deleted from the display screen 220 after a predetermined time has elapsed. It is said.
- the delay display control of this configuration when the operator A moves his head or the index is not recognized and the predetermined time elapses, the additional video 221 is erased to become a non-video 221A, and a real video (real field of view) ) Is observed, the operator's front view can be secured, and the image does not flicker.
- 222 is a work content display unit corresponding to the index 5 set in advance according to the work object 4, and a predetermined value corresponding to the recognized index 5 (5A, 5B, 5C, 5D). It is displayed that the work content is A-01.
- the machine number of the video display unit 2 to be worn can be indicated instead of the work content.
- Reference numeral 223 denotes a display showing, for example, the battery capacity of the video display unit 2, and it can be confirmed whether or not the power supplied to the photographing means 21 and the control unit is sufficient.
- the additional video 221 corresponding to the index can be reduced and displayed after a predetermined time has elapsed.
- the additional video 221 displayed on the display screen 220 is reduced to a reduced video 221B when a predetermined time elapses after the indicator is not recognized, and the real video is displayed relatively large. As a result, the field of view of the operator can be secured.
- the additional image 221 with a reduced saturation and / or luminance according to the index after a predetermined time has elapsed.
- a thin video 221C in which the saturation and luminance of the additional video 221 are weakened is displayed. The front view of the person can be secured.
- the method of superimposing and displaying the additional video on the real video is the video see-through method of superimposing the additional video on the real video captured by the photographing means.
- an optical see-through method in which an additional image is superimposed on a real image (real field of view) obtained through a transflective optical member is shown in FIG. 3A, and an example of the video see-through method is shown in FIG.
- An optical see-through video display unit 2A shown in FIG. 3 (a) is a head-mounted video display unit including an ear hook frame 23, a rim frame 24, and a nose pad 25.
- photography means 21 which consists of a camera which image
- the image display means 22A has an eyepiece optical system 225 including a transparent substrate 224 and a transflective optical member, and is configured to superimpose and display an additional image suitable for the work on a work object directly visible by the worker.
- This is an optical see-through display unit.
- the operator can observe the real field of the outside world that passes through the transparent substrate 224, and can observe the real field of the outside world through the eyepiece optical system 225 including a transflective optical member.
- the eyepiece optical system 225 can use a known optical system including a collimator lens, an LCD display unit, a prism, and the like, and displays a predetermined additional image transmitted from the control unit 3.
- an additional video suitable for the work is superimposed and displayed on the work object that is directly visually recognized by the worker. Can be executed.
- the operator can observe the external image without deterioration in resolution.
- a partially transmissive mirror, a hologram optical element, or the like can be used for the semi-transmissive optical member.
- a reflection hologram is used, a good see-through characteristic can be ensured because it has a sharp diffraction wavelength selectivity, and a part of the optical power of the eyepiece optical system can be taken.
- the superimposed display is maintained for a predetermined time, so that the head can be moved within the predetermined time.
- the predetermined work can be continued as it is.
- the first display mode in which the additional video is erased from the display screen after the predetermined time has elapsed, and the additional video is reduced after the predetermined time has elapsed.
- the second display mode or the third display mode in which the saturation and / or luminance of the additional video is reduced after a predetermined time has elapsed, flickering of the superimposed video display is noticed. It is possible to construct a video display system that does not become a problem.
- the video see-through video display unit 2B shown in FIG. 3B is also a head-mounted video display unit including an ear hook frame 23, a rim frame 24, and a nose pad 25.
- the image display unit 21 including a camera that captures a predetermined range in front of the head and the control unit 3 are provided in the same manner as the video display unit 2A described above.
- the display unit is different, and the LCD display unit 226 for displaying video images is provided in both eyes.
- Reference numeral 227 denotes a composition unit that superimposes and displays additional information on a real image.
- the superimposed display is maintained for a predetermined time, so that the head can be restored within the predetermined time.
- the predetermined work can be continued as it is.
- the first display mode in which the additional video is erased from the display screen after the predetermined time elapses, and the additional video is reduced and displayed after the predetermined time elapses.
- Video display that does not bother the flickering of the superimposed video display by performing control in the second display mode, or the third display mode in which the saturation and / or luminance of the additional video is reduced after a predetermined time has elapsed A system can be constructed.
- the predetermined time can be set by pattern information of an index arranged in the vicinity of the work object in order to recognize the work object.
- the predetermined time is preferably stored in the control unit 3 in advance.
- a predetermined time suitable for each predetermined work object is set and stored in advance, so that a new setting operation is unnecessary and the video display system is easy for the operator to operate.
- the video displayed by the video display means 22 can be set by the pattern information of the index 5.
- the operation unit 41 of the work object 003 is moved to the right.
- the display of “003-Right” rotating around is performed.
- the operation unit of the work object 004 is turned counterclockwise. “004-Left” is displayed.
- the pattern information of the index 5 may be a pattern other than the above-described examples.
- a method of combining different shapes such as a round shape, a triangular shape, or a square shape, a method of using pattern information such as a light emitting color or a blinking state of a light emitting diode, Pattern information combining these methods can be used.
- the index recognition means is configured to recognize the index 5 photographed by the photographing means 21 by performing image processing. If it is this composition, it can choose and display the additional picture corresponding to the index recognized through image processing by arranging the index of the predetermined form in advance in any work object, It is possible to display an additional image suitable for a predetermined work object.
- additional information corresponding to the index 5 is displayed for a predetermined time at the start of work, and delay display control is performed after the predetermined time has elapsed.
- a front view can be secured, and visual recognition of the real space for work is facilitated.
- the start button is operated, and the video display system is started.
- step S1 when the video display system starts (step S1), first, initialization processing is performed (step S2), and index recognition (step S3) is started.
- step S2 initialization processing is performed
- step S3 index recognition
- step S4 When a predetermined index set in advance is recognized, a display start process (step S4) indicated by an arrow Yes is executed, a timer reset (step S5), and a timer start (step S6) are executed.
- step S7 the index recognition is continued (step S7), and if the index is recognized, step S5 and step S6 are repeated.
- step S8 timer counting is started at that time and compared with a predetermined time ts set in advance (step S8). If the time T when the index is not recognized is shorter than the predetermined time ts set in advance, the operation state returns to step S6 and step S7 indicated by the arrow Yes, and the time T when the index is not recognized is the predetermined time set in advance. If the time is longer than the time ts, predetermined delay display control (step S9) indicated by an arrow No is started. After this, the state is returned to the initialized state, a new index is recognized, and the next processing is started.
- the time chart of the first embodiment shown in FIG. 6A includes a time T0 when the index is recognized, a time T1 when the index is no longer recognized, and a time after a predetermined time ts has elapsed from the time T1. T2 is displayed.
- the additional video is configured to be superimposed and displayed. That is, the predetermined delay display control is performed at time T2 when a predetermined time ts elapses from time T1 when the index is no longer recognized.
- the first display mode that deletes the additional video from the display screen after a lapse of a predetermined time the second display mode that displays the additional video in a reduced size after the lapse of a predetermined time, added after the lapse of the predetermined time
- Delay display control in any one of the third display modes for displaying the image with reduced saturation and / or luminance is performed.
- the time T4 that is no longer being displayed and the time T2 after the elapse of a predetermined time ts preset from the time T4 are displayed.
- the predetermined delay display control described above is performed when the index is not recognized again and a predetermined time elapses.
- the work is performed within a predetermined time ts set in advance. If the object is viewed, the superimposed video that is superimposed is continuously displayed, the video does not flicker, and the problem of fatigue of the operator's eyes does not occur.
- the additional video including the content corresponding to the index is displayed, and then the index
- the additional video is continuously displayed for a predetermined time, and then the predetermined delay display control is performed via the delay display control means for controlling the display state of the additional video. Since the display system is used, when the indicator is recognized and a predetermined additional image is displayed, the operator can move the head and the indicator will not be recognized in either the optical see-through method or the video see-through method. However, it is possible to obtain a video display system in which the additional video display superimposed on the real video does not flicker by performing predetermined delay display control instead of immediately deleting the additional video. .
- a first display mode in which the additional video is erased from the display screen after a lapse of a predetermined time after the indicator is not recognized a second display mode in which the additional video is reduced and displayed after the lapse of the predetermined time, a predetermined
- an additional image to be displayed when an index is recognized and work is started is displayed for a predetermined time, and then a video display for executing predetermined delay display control. It is a system.
- a first display mode in which the additional video is erased after a lapse of a predetermined time a second display mode in which the additional video is reduced and displayed after the lapse of a predetermined time, a predetermined
- a third display mode in which the saturation and / or luminance of the additional image is reduced after the elapse of time is a first display mode in which the additional video is erased after a lapse of a predetermined time.
- the first display mode when the worker A visually recognizes the work target 4 and starts work, a predetermined additional video is displayed first, and after the predetermined time has elapsed, the additional video 221 is erased to become a non-video 221A. Only real images (real field of view) are observed. Therefore, the field of view in front of the worker can be secured, and the real space for working can be easily viewed.
- the additional image 221 displayed on the display screen 220 is reduced to a reduced image 221B after a predetermined time has elapsed since the start of work, and the actual image is displayed relatively large.
- the field of view in front of can be secured, and the work can be easily performed.
- the additional image 221 becomes a thin image 221C in which the saturation and brightness are weakened, so that the actual image is displayed relatively strongly and the field of view of the operator in front is reduced. Can be secured, and the work can be easily performed.
- the worker wears the head-mounted video display unit 2 according to the present embodiment and starts working while facing a predetermined work object, and after a predetermined time ts has elapsed.
- the basic operation procedure for deleting the additional video is shown. Therefore, when the worker starts work while facing a predetermined work object, the start button is operated, and the video display system is started.
- step S1 When the video display system starts (step S1), first, initialization processing is performed (step S2), and index recognition (step S3) is started.
- step S3 When a predetermined index set in advance is recognized, a display start process (step S4) indicated by an arrow Yes is executed, a timer reset (step S5), and a timer start (step S6) are executed.
- step S7 a process of comparing the elapsed time T with a predetermined time ts set in advance (step S7) is executed. If the elapsed time T is shorter than the predetermined time ts set in advance, the display of the additional video is continued. If the elapsed time T is longer than the predetermined time ts set in advance, the predetermined delay display control (step S8) indicated by the arrow Yes is started.
- Fig. 8 (b) shows a time chart at this time.
- the index is recognized and display of a predetermined additional video is started.
- the display reset time is started and the elapsed display time is measured.
- the additional video is deleted (the display of the additional video is stopped). Control is executed.
- the predetermined delay display control is performed after the predetermined time ts has elapsed, and is shorter than the predetermined time ts.
- the index is no longer recognized at time T1 ′, it indicates that the display of the additional video is still continued and the predetermined delay display control is performed after the predetermined time ts has elapsed.
- a predetermined additional video suitable for work is superimposed and displayed from the time T0 when the index is recognized to the time T2 after a predetermined time ts has elapsed, Thereafter, predetermined delay display control is executed. For example, the video display of the additional video is continued until a predetermined time ts that has been set in advance from the time T0 when the index is recognized, and the first display mode is executed in which the additional video is deleted from the display screen at the time T2.
- the second display mode for displaying the additional video in a reduced size after a lapse of a predetermined time the saturation and / or brightness of the additional video is reduced after the lapse of a predetermined time. Even if control of any of the third display forms to be displayed is performed, the additional image to be displayed does not interfere with visual recognition of the real space for the worker to work, and the image display that allows the worker to easily work A system can be constructed.
- the worker wears the head-mounted video display unit 2 according to the present embodiment, faces a predetermined work object, starts work, and passes a predetermined time ts.
- the delay display control is executed, when a new index is recognized, the display of the additional video is continued and the operation procedure of the fourth embodiment in which the new display elapsed time is measured is shown.
- step S1 When the worker starts working while facing a predetermined work object, the start button is operated and the video display system starts (step S1), first, initialization processing is performed (step S2), and index recognition ( Step S3) is started.
- step S2 initialization processing is performed
- step S3 index recognition
- step S4 When a predetermined index set in advance is recognized, a display start process (step S4) indicated by an arrow Yes is executed, a timer reset (step S5), and a timer start (step S6) are executed.
- step S7 a process of comparing the elapsed time T with a predetermined time ts set in advance (step S7) is executed. If the elapsed time T is shorter than the predetermined time ts set in advance, the display of the additional video is continued. If the elapsed time T is longer than the predetermined time ts set in advance, the predetermined delay display control (step S8) indicated by the arrow Yes is started.
- a new delayed display control (step S8) is performed.
- This new delay display control can be executed after the previous predetermined time ts has elapsed, or can be executed when a new index recognition is recognized within the previous predetermined time ts.
- Fig. 9 (b) shows a time chart at this time.
- the index is recognized and display of a predetermined additional video is started.
- the display elapsed time is measured after the timer reset / timer start from this time point.
- the recognition of the index is stopped at time T1, and a new time T3 earlier than a predetermined time ts is set.
- the index is recognized and continues until time T4. Therefore, since a new index is recognized at a time T2 after the elapse of a predetermined time ts set in advance, the timer reset / timer start is started again from this time point and the measurement of the display elapsed time is started.
- a predetermined additional image suitable for work is superimposed and displayed from the time T0 when the index is recognized to the time T2 after a predetermined time ts has elapsed, Even before this time T2 or before time T2, when a new index is recognized, an additional image corresponding to the recognized index is displayed, and measurement of a new display elapsed time is started.
- a new index is recognized at a time T2 after a predetermined time ts has elapsed from the time T0 when the index is recognized, a time after a predetermined time ts has further elapsed from the time T2.
- the first display mode for stopping the display of the additional video is executed.
- the second display mode for displaying the additional video in a reduced size after a lapse of a predetermined time the saturation and / or brightness of the additional video is reduced after the lapse of a predetermined time. Even if control of any of the third display forms to be displayed is performed, the additional image to be displayed does not interfere with visual recognition of the real space for the worker to work, and the image display that allows the worker to easily work A system can be constructed.
- the worker wears the head-mounted video display unit 2 according to the present embodiment, faces a predetermined work object, starts work, and passes a predetermined time ts. Delayed display control is executed, but after that, a predetermined waiting period is provided until a new indicator is recognized, and recognition of the new indicator is started after a preset waiting period.
- the operation procedure of the fifth embodiment is shown.
- step S1 When the worker starts working while facing a predetermined work object, the start button is operated and the video display system starts (step S1), first, initialization processing is performed (step S2), and index recognition ( Step S3) is started.
- step S2 initialization processing is performed
- step S3 index recognition
- step S4 When a predetermined index set in advance is recognized, a display start process (step S4) indicated by an arrow Yes is executed, a timer reset (step S5), and a timer start (step S6) are executed.
- step S7 a process of comparing the elapsed time T with a predetermined time ts set in advance (step S7) is executed. If the elapsed time T is shorter than the predetermined time ts set in advance, the display of the additional video is continued. If the elapsed time T is longer than the predetermined time ts set in advance, the predetermined delay display control (step S8) indicated by the arrow Yes is started.
- step 9 a standby process is performed to wait for a predetermined period before starting the next new index recognition (step S3). That is, after the previous delay display control is executed, no new index is recognized within a predetermined waiting period.
- Fig. 10 (b) shows a time chart at this time.
- the first index is recognized and display of a predetermined additional video is started.
- the display elapsed time is measured after the timer is reset / started from this time point.
- the recognition of the first index is stopped at time T1, and the next index is between time T3 and time T4.
- the example shows a state in which it can be recognized (a state in which the index is in the detection range) and a state in which a new index can be recognized from time T5 to T6.
- the new index recognition is performed after a predetermined time ts from the time T0 when the previous index is recognized and until the elapse of the waiting period td. Do not execute. Therefore, the index recognition from the time T3 to the time T4 within the time including the waiting period td is not recognized as a new index, but the index recognized at the time T5 corresponding to the waiting period td is recognized as a new index. At this point, the timer is reset and the timer is started again, and the measurement of the predetermined time ts is started.
- a predetermined additional video suitable for work is superimposed and displayed from the time T0 when the index is recognized to the time T2 after a predetermined time ts has elapsed, and within a predetermined waiting period td from this time T2. Then, according to the present embodiment in which a new index recognition is started after a predetermined waiting period td has elapsed without performing the next index recognition, the display of the additional video corresponding to the predetermined index is frequently switched. Therefore, the predetermined work can be performed with a margin.
- delay display control executed after the additional video display for a predetermined time for example, from the time T0 when the index is recognized to the predetermined time ts set in advance, and the standby period td after the predetermined time ts elapses.
- a predetermined additional video is displayed from time T5 when a new index is recognized to a predetermined time ts, and thereafter, the display of the additional video is stopped (the additional video is deleted).
- the second display mode for displaying the additional video in a reduced size after a lapse of a predetermined time the saturation and / or brightness of the additional video is reduced after the lapse of a predetermined time. Even if control of any of the third display forms to be displayed is performed, the additional image to be displayed does not interfere with visual recognition of the real space for the worker to work, and the image display that allows the worker to easily work A system can be constructed.
- step S1 When the worker starts working while facing a predetermined work object, the start button is operated and the video display system starts (step S1), first, initialization processing is performed (step S2), and index recognition ( Step S3) is started.
- step S2 initialization processing is performed
- step S3 index recognition
- step S4 When a predetermined index set in advance is recognized, a display start process (step S4) indicated by an arrow Yes is executed, a timer reset (step S5), and a timer start (step S6) are executed.
- step S7 a process of comparing the elapsed time T with a predetermined time ts set in advance (step S7) is executed. If the elapsed time T is shorter than the predetermined time ts set in advance, the display of the additional video is continued. If the elapsed time T is longer than the predetermined time ts set in advance, the predetermined delay display control (step S8) indicated by the arrow Yes is started.
- a waiting timer reset (step S9) and a waiting timer start (step S10) for detecting a waiting period are executed.
- a standby process (step 11) for detecting whether or not the elapsed time Ta has exceeded a predetermined standby period td is performed, and a new index is recognized. If it is detected during this standby process, that is, in the middle of the standby period, that the release button has been pressed (step 12), the standby process is stopped and a new index recognition and a new display start process are started.
- FIG. 11B shows a time chart at this time.
- the first index is recognized and display of a predetermined additional video is started.
- the timer is reset and the timer is started, the elapsed display time is measured, displayed for a predetermined time ts set in advance, and then a predetermined delay display process is executed (time T2). Also, standby processing is executed from this point.
- the first index recognition stops at time T1 and the next index can be recognized between time T3 and time T8.
- the waiting period td for starting new index recognition is set, new index recognition is not started unless the waiting period td has elapsed.
- the delay display control superimposes and displays a predetermined additional video suitable for work from time T0 when the index is recognized to time T2 after a predetermined time ts has elapsed.
- the standby process of the standby period td is executed from the time T2. If the release button is pressed at the time T7 in the middle of the standby period td, the previous standby process is stopped at this time T7 and a new index is set. Recognition is performed. Then, the next new additional image is displayed, and a new display elapsed time for performing predetermined delay display control is measured.
- a predetermined additional video is displayed from time T7 to a predetermined time ts, and then, for example, a first display mode in which the additional video is deleted from the display screen is executed as predetermined delay display control.
- the second display mode for displaying the additional video in a reduced size after a lapse of a predetermined time the saturation and / or brightness of the additional video is reduced after the lapse of a predetermined time. Even if control of any of the third display forms to be displayed is performed, the additional image to be displayed does not interfere with visual recognition of the real space for the worker to work, and the image display that allows the worker to easily work A system can be constructed.
- the index recognition and the display start process are started from this point, so that different operations can be performed efficiently. It becomes a video display system that improves productivity.
- the additional video including the content corresponding to the index is displayed for a predetermined time, and thereafter
- the video display system performs predetermined delay display control, even if the optical see-through method or the video see-through method is used, a predetermined additional video corresponding to the work is displayed at the start of the work to assist the work.
- predetermined delay display control is executed after a lapse of a predetermined time, and the additional video displayed in a superimposed manner does not disturb the visual recognition of the real space for the worker to work, and the worker can easily work. Can be obtained.
- a first display mode in which the additional video is erased from the display screen after a predetermined time has elapsed a second display mode in which the additional video is reduced and displayed after the predetermined time has elapsed, and the additional video is colored after the predetermined time has elapsed.
- a predetermined standby period is provided, so that a period during which no additional video is displayed is provided, and the additional video is displayed. It is possible to prevent a real field of view caused by frequent switching from being difficult to recognize, and to perform a predetermined operation reliably.
- the video display system according to the present invention can be suitably applied to a display device for work support such as assembly work or operation work of industrial equipment. Moreover, since the communication means is provided, it can be used as a video display system applied to a remote work support system.
- Video display system 2 (Head-mounted type) Video display unit 2A Optical see-through video display unit 2B Video see-through video display unit 3 Control unit 4 Work object 5 Index 21 Imaging means 22 Video display means 220 Display screen 221 Additional video ts (Display additional video) Predetermined time td Standby time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
作業を支援するための映像表示システムであって、作業対象物4を認識するために配設する指標5と、該指標を撮影する撮影手段21と、撮影された指標を認識する指標認識手段と、認識された指標から表示する映像を選択して付加映像として表示する映像表示手段22と、現実映像に付加映像を重畳表示する映像重畳手段と、付加映像の表示状態を制御する遅延表示制御手段を備えた構成とし、指標が認識された際に、指標に応じた内容を含んだ付加映像を表示し、その後の所定時間、もしくは、指標が認識されなくなった後の所定時間、前記付加映像を表示し、その後、前記遅延表示制御手段を介して所定の遅延表示制御を行う映像表示システム1とした。
Description
本発明は、作業者の作業を支援するための映像表示システムに関する。
最近では、コンピューター・グラフィックスを利用して、現実映像にバーチャルな付加映像を加えて表示するAR技術(Augmented Reality:AR)を用いた映像表示システムが開発されてきている。また、このAR技術を用いた映像表示システムにより作業者の作業を支援することが試みられている。
さらに、頭部装着式の映像表示装置、すなわちHMD(Head Mount Display)が開発されてきており、このHMDを用いることで、作業者の両手がフリーとなって、両手を用いた作業が容易となり作業性を向上させることができる。
また、通信手段を介して、このHMDを装着した作業者の作業を、遠隔地にいる指示者が作業支援を行うことも可能であって、HMDにカメラ手段を装着して、このカメラ手段で撮影された作業対象物の映像を、遠隔地に設けられた例えばホストコンピュータ等のモニタで観察しながら、作業者に音声や映像による作業に適した情報を提供することができる。
作業者に作業に適した映像情報を提供するための、現実映像と付加映像とを同時に表示する方式には、ビデオカメラで撮影された現実映像に付加映像を重畳するビデオシースルー方式と、半透過型の光学部材を介して得られる実視野(現実映像)に付加映像を重畳する光学シースルー方式とがある。
例えば、光学シースルー方式の装置として、作業者の頭部前方に視野を有する撮影手段(カメラ)と、画像を眼球に導く光学系を備えると共に、撮影手段を、作業者の移動に追随して移動させるとした頭部装着型の光学装置が既に提案されている(例えば、特許文献1参照)。
また、作業者に作業の指示を容易に且つ正確に伝達するために、作業対象物を撮影する電子カメラと、外界をシースルー可能な表示ユニットとを備えた頭部装着式映像表示装置を用いて、作業者による作業の部位を指示する指標を作業対象物の光学像に重ねて表示するとした、遠隔作業支援システム及びその表示方法が既に提案されている(例えば、特許文献2参照)。
ビデオシースルー方式と光学シースルー方式とのいずれの方式であっても、現実映像と付加映像とを同時に表示するので、これらの映像間のズレを抑制することが好ましく、HMD型の映像表示装置を用いる場合に、このHMDを装着している作業者の頭部の方向に応じた所定の付加映像を正確に表示することが好ましい。
作業を支援するための映像表示システムにおいて、現実映像に付加映像を重畳表示する際に、指標を認識して、付加映像を正確に重畳表示することは可能である。しかし、作業者が作業をしている間、付加映像をずっと表示し続けると、作業するための実空間の視認を妨げることになって好ましくない。また、単に指標が認識されたときに付加映像を表示して、指標が認識されなくなったときに付加映像を消去する構成とすると、作業中に頭部を動かすと、指標が所定の検知範囲に入ったり出たりして、付加映像の表示と消去を繰り返し、映像がちらついてしまい、作業者の実視野や現実映像の視認を妨げる問題や、作業者の眼が疲労する問題などが生じる。
特に、HMDでは、頭部にカメラ手段を装着しているので、頭部を少し移動させても、カメラの検知範囲から指標がすぐに外れてしまう。そのために、HMDを装着している作業者の頭部の移動に直ちに追従して付加映像を表示することは好ましくなく、作業する際の実視野や現実映像の視認を妨げず、作業者が容易に作業を行うことができる映像表示システムが求められている。
そこで本発明は、作業者の作業を支援するための映像表示システムにおいて、現実映像に付加映像を重畳表示する際に、表示される付加映像が作業者の作業するための実視野や現実映像の視認を妨げず、作業者が容易に作業を行うことができる映像表示システムを提供することを目的とする。
上記目的を達成するために本発明は、作業対象物を認識するために作業対象物近傍に配設する指標を撮影する撮影手段と、撮影された指標を認識する指標認識手段と、認識された指標から表示する映像を選択して付加映像として表示する映像表示手段と、現実映像に前記付加映像を重畳して表示する映像重畳手段と、前記付加映像の表示状態を制御する遅延表示制御手段と、を含んでなり、前記映像表示手段は、前記指標認識手段が指標を認識した際に認識された指標に応じた内容を含んだ前記付加映像を表示し、その後、指標が認識されなくなった際に、予め設定された所定時間、前記付加映像を継続表示し、その後で、前記遅延表示制御手段を介して所定の遅延表示制御を行う映像表示システムとしたことを特徴としている。
上記の構成であれば、指標が認識され所定の付加映像を表示しているときに、指標が認識されなくなっても、直ちに付加映像を消去するのではなく、付加映像の表示状態を制御する所定の遅延表示制御を行うことで、現実映像が移動しても重畳される映像表示がちらつかない映像表示システムとなる。また、そのために、表示される付加映像が作業者の作業するための実空間の視認を妨げず、作業が容易となる映像表示システムを得ることができる。
また、本発明は、作業対象物を認識するために作業対象物近傍に配設する指標を撮影する撮影手段と、撮影された指標を認識する指標認識手段と、認識された指標から表示する映像を選択して付加映像として表示する映像表示手段と、現実映像に前記付加映像を重畳して表示する映像重畳手段と、前記付加映像の表示状態を制御する遅延表示制御手段と、を含んでなり、前記映像表示手段は、前記指標認識手段が指標を認識した際に、認識された指標に応じた内容を含んだ前記付加映像を予め設定された所定時間表示し、その後、前記遅延表示制御手段を介して所定の遅延表示制御を行うことを特徴としている。
上記の構成であれば、作業開始の際に指標が認識され所定の付加映像を表示し、その後所定時間経過後に、付加映像の表示状態を制御する所定の遅延表示制御を行うことで、表示される付加映像が作業者の作業するための実空間の視認を妨げず、作業が容易となる映像表示システムを得ることができる。
また本発明は上記構成の映像表示システムにおいて、前記撮影手段と前記映像表示手段とが頭部装着式映像表示ユニットとして一体化されていることを特徴としている。この構成によると、撮影手段と映像表示手段を備える映像表示ユニットを作業者の頭部に装着しているのでハンズフリーとなる。そのために、作業者正面の作業対象物を撮影し、所定の付加映像を含んだ映像を作業者の眼に表示しながら両手を用いて作業することができる。
また本発明は上記構成の映像表示システムにおいて、前記指標認識手段は、前記撮影手段により撮影された指標を画像処理して認識することを特徴としている。この構成によると、任意の作業対象物に予め所定形態の指標を配設しておくことで、画像処理を介して認識される指標に対応した付加映像を選択して表示することができる。そのために、所定の作業対象物に適した付加映像を表示することができる。
また本発明は上記構成の映像表示システムにおいて、前記撮影手段が撮影した映像を伝送する通信手段を備える制御ユニットを設けたことを特徴としている。この構成によると、この撮影手段で撮影された作業対象物の映像を、遠隔地に設けられたホストコンピュータ等に伝送することができ、遠隔地に居る指示者が発する作業に適した情報を作業者に伝送することができる。
また本発明は上記構成の映像表示システムにおいて、前記制御ユニットが、さらにシャッター操作手段と映像記憶手段を備えて、前記撮影手段の撮影を制御することを特徴としている。この構成によると、作業者が伝送したい現実映像を撮影し記憶させることができる。そのために、作業中に不具合が生じた場合には、その不具合な状態を撮影し記憶させておくことで、効率のよいメンテナンスを行うことが可能となる。
また本発明は上記構成の映像表示システムにおいて、前記映像重畳手段は、光学的に光路を合成する光学シースルー方式であることを特徴としている。この構成によると、作業者が直接視認する作業対象物に、該作業に適した付加映像を重畳表示して、所定の作業を確実に実行するよう支援することができる。
また本発明は上記構成の映像表示システムにおいて、前記映像重畳手段は、撮影された画像に電気的に映像を合成処理するビデオシースルー方式であることを特徴としている。この構成によると、ビデオ表示される現実映像に作業に適した付加映像を重畳表示して、所定の作業を確実に実行するよう支援することができる。
また本発明は上記構成の映像表示システムにおいて、前記映像表示手段が表示する映像は、前記指標のパターン情報によって設定されることを特徴としている。この構成によると、任意の作業対象物に予め所定の指標パターンを設定しておくことで、認識される指標パターンに対応した付加映像を選択して表示することができる。そのために、所定の作業対象物に適した付加映像を表示することができる。
また本発明は上記構成の映像表示システムにおいて、前記所定の時間は、前記指標のパターン情報によって設定されることを特徴としている。この構成によると、それぞれの作業に適した表示継続時間を予め設定しておくことができ、各種作業に適した作業支援が可能な映像表示システムとなる。
また本発明は上記構成の映像表示システムにおいて、前記所定の時間は、前記制御ユニットに予め記憶されていることを特徴としている。この構成によると、所定の作業対象物に適した所定の時間を予め設定しおくことで、新たな設定操作は不要となり、作業者にとって操作容易な映像表示システムとなる。
また本発明は上記構成の映像表示システムにおいて、前記遅延表示制御手段は、所定の時間経過後に、指標に応じた付加映像を表示画面から消去することを特徴としている。この構成によると、作業者が頭部を動かすと付加映像が消去され、現実映像のみが表示されるので、作業者の前方の視界が確保でき、映像がちらつくことがない。
また本発明は上記構成の映像表示システムにおいて、前記遅延表示制御手段は、所定の時間経過後に、指標に応じた付加映像を縮小表示することを特徴としている。この構成によると、作業者が頭部を動かすと付加映像が縮小され、現実映像が相対的に大きく表示されるので、作業者の前方の視界が確保できる。
また本発明は上記構成の映像表示システムにおいて、前記遅延表示制御手段は、所定の時間経過後に、指標に応じた付加映像の彩度および/又は輝度を落として表示することを特徴としている。この構成によると、作業者が頭部を動かすと付加映像の彩度や輝度が弱められるので、現実映像が相対的に強く表示され、作業者の前方の視界が確保できる。
また本発明は上記構成の映像表示システムにおいて、前記遅延表示制御の後、次に指標認識を再開するまでに、所定の待機期間を設けたことを特徴としている。この構成によると、所定の指標に応じた付加映像の表示を頻繁に切り替えることなく、実視野が認識しづらくなることを防止して、所定の作業を確実に行うことができる。
また本発明は上記構成の映像表示システムにおいて、前記待機期間中であっても、先に認識した指標とは異なる新たな指標を認識したときには、前記待機期間を終了して、前記新たな指標に応じた新たな付加映像を表示することを特徴としている。この構成によると、待機処理中であっても、次の新たな指標を認識したときには、この時点から指標認識と表示開始処理を開始するので、異なる作業を効率よく行うことができ、生産性が向上する映像表示システムとなる。
また本発明は上記構成の映像表示システムにおいて、前記待機期間は、前記指標のパターン情報によって設定されることを特徴としている。この構成によると、それぞれの作業に適した待機期間を予め設定しておくことができ、効率のよい作業支援が可能な映像表示システムとなる。
また本発明は上記構成の映像表示システムにおいて、前記待機期間は、前記制御ユニットに予め記憶されていることを特徴としている。この構成によると、所定の作業手順に適した所定の時間を予め設定しおくことで、新たな設定操作は不要となり、作業者にとって操作容易な映像表示システムとなる。
本発明によれば、指標が認識され所定の付加映像を表示しているときに、指標が認識されなくなっても、直ちに付加映像を削除するのではなく、所定の表示制御を行うことで、現実映像が移動しても重畳される映像表示がちらつかない映像表示システムを得ることができる。また、作業開始の際に指標が認識され所定の付加映像を表示し、その後所定時間経過後に、付加映像の表示状態を制御する所定の遅延表示制御を行うことで、表示される付加映像が作業者の作業するための実空間の視認を妨げず、作業が容易となる映像表示システムを得ることができる。
以下に本発明の実施形態を図面を参照して説明する。また、同一構成部材については同一の符号を用い、詳細な説明は適宜省略する。
先ず、図1を用いて本実施形態に係る映像表示システムについて説明する。本実施形態に係る映像表示システム1は、作業者Aの作業を支援するために、作業に有用な情報を映像化して表示するシステムであって、作業対象物を認識するために作業対象物近傍に配設する指標と、該指標と現実映像を撮影する撮影手段と、撮影された指標を認識する指標認識手段と、認識された指標から表示する映像を選択して付加映像として表示する映像表示手段と、現実映像に前記付加映像を重畳して表示する映像重畳手段と、を備えている。
また、図1(a)に示すように、撮影手段21と映像表示手段22とを頭部装着式映像表示ユニット2として一体化してハンズフリーとなる構成としている。そのために、フリーな両手を用いて所定の作業を行うことができる。このように、本実施形態に係る頭部装着式映像表示ユニット2を用いる構成であれば、撮影手段21と映像表示手段22を備える映像表示ユニット2を作業者Aの頭部に装着して、作業者Aが対面している作業対象物4を撮影し、所定の付加映像を含んだ映像を作業者Aの眼に表示することができる。
3は撮影手段21と映像表示手段22に電気的に接続される制御ユニットであり、撮影された指標を認識する指標認識手段と、認識された指標から表示する映像を選択して付加映像として表示する映像表示手段と、現実映像に前記付加映像を重畳して表示する映像重畳手段等の種々の制御機能を備えている。また、シャッターボタン31と送信ボタン32と表示部33を有し、撮影手段21が撮影した映像を伝送する通信手段と、前記撮影手段の撮影を制御するシャッター操作手段と映像記憶手段を備える構成とされている。また、これらの通信手段とシャッター操作手段と映像記憶手段と後述する遅延表示制御手段、および指標に応じた表示映像を記憶するメモリー部が、ユニット内に設ける制御コントローラ34に一体構成されている。
上記したように本実施形態の映像表示システムは通信手段を備えているので、撮影手段21で撮影された作業対象物4の映像を、遠隔地に設けられたホストコンピュータ等に伝送することができ、遠隔地に居る指示者が発する作業に適した情報を作業者Aに伝送することができる。また、作業状況の伝達のための撮影は、指標5を認識するための撮影手段21を兼用して行うことができる。
指標5は、図1(b)に示すように、架台6に支持されている作業対象物4の近傍に、例えば、作業対象物4の周囲に配設される複数の指標5A、5B、5C、5Dからなる。この構成であれば、作業者Aが頭部装着式の映像表示ユニット2を装着して、作業対象物4を視認すると、映像表示ユニット2が備える撮影手段21の検知範囲WAに、指標5(5A、5B、5C、5D)の全てが入ることになる。そのために、作業対象物4の周囲に複数の指標5A、5B、5C、5Dが配設された本実施形態では、作業者Aが作業対象物4に対面すると、周囲に指標5(5A、5B、5C、5D)が配置された作業対象物4の全景が、撮影手段21の検知範囲WA内に入る構成となる。
また、作業者Aが頭部を移動させると、映像表示ユニット2の撮影手段21も移動して、検知範囲WAが作業対象物4から外れる。すなわち、作業者Aが作業対象物4を正しく視認している状態では、作業対象物4および指標5が撮影手段21の検知範囲WAに入り、作業者Aが作業対象物4を正しく視認していない状態では、作業対象物4もしくは指標5のいずれか、または両者が撮影手段21の検知範囲WAから外れる状態となる。
そのために、撮影手段21を用いて、作業者Aが作業対象物4に対する作業が可能な状態か否かを判別することができ、作業対象物4が撮影手段21の検知範囲WAに入った時に、映像表示ユニット22に、認識された作業対象物4の操作部41を操作する作業内容を示す所定の付加映像を表示することができる。符号42で示す「003」は、例えば、作業対象物4のパネル番号を示す。
次に、図2を用いて本実施形態に係る遅延表示制御について説明する。図2(a)に示す検知範囲WA1は、作業対象物4および指標5(5A、5B、5C、5D)が全て検知範囲に入っている状態であり、検知範囲WA2は、作業対象物4および指標5A、5B、5Cが検知範囲から外れた状態を示している。
作業者Aの視認領域が作業対象物4から外れると、作業を行わない状態となるので、作業支援のための付加映像を表示する必要がなくなる。しかし、作業中に、例えば、手元の道具などを見たり、作業対象物を見たりすることを繰り返して、指標が所定の検知範囲に入ったり出たりする際に、付加映像の表示と消去を繰り返すと、映像がちらついてしまい好ましくない。そのために、本実施形態では、指標が認識されなくなった際に、予め設定された所定の時間前記付加映像を表示し、その後に、表示状態を遅延表示制御手段によって遅延表示制御する映像表示システムとしたものである。
前記遅延表示制御手段による表示状態の制御形態例として、例えば、図2(b)に示す第一表示形態では、所定時間の経過後に、指標に応じた付加映像221を表示画面220から消去する構成としている。この構成の遅延表示制御であれば、作業者Aが頭部を動かしたりして指標が認識されなくなって所定時間経過すると、付加映像221が消去され無映像221Aとなって、現実映像(実視野)のみが観察されるので、作業者の前方の視界が確保でき、映像がちらつくことがない。
ここで、222は例えば、作業対象物4に応じて予め設定される指標5に対応した作業内容表示部であって、認識される指標5(5A、5B、5C、5D)に応じた所定の作業内容がA-01であることを表示している。また、作業内容ではなく、着用する映像表示ユニット2の機台番号を示すこともできる。223は、例えば映像表示ユニット2の電池容量を示す表示であって、撮影手段21や制御ユニットに供給する電力が十分かどうかを確認することができる。
また、図2(c)に示す第二表示形態のように、所定時間の経過後に、指標に応じた付加映像221を縮小表示する構成とすることができる。この構成の遅延表示制御であれば、指標が認識されなくなって所定時間経過すると表示画面220に表示されている付加映像221が縮小されて縮小映像221Bとなって、現実映像が相対的に大きく表示されるので、作業者の前方の視界が確保できる。
さらに、図2(d)に示す第三表示形態のように、所定時間の経過後に、指標に応じた付加映像221の彩度および/又は輝度を落として表示する構成とすることもできる。この構成の遅延表示制御であれば、指標が認識されなくなって所定時間経過すると付加映像221の彩度や輝度が弱められた薄い映像221Cとなるので、現実映像が相対的に強く表示され、作業者の前方の視界が確保できる。
前述したように、作業者に作業に適した映像情報を提供するための、現実映像に付加映像を重畳表示する方式には、撮影手段で撮影された現実映像に付加映像を重畳するビデオシースルー方式と、半透過型の光学部材を介して得られる現実映像(実視野)に付加映像を重畳する光学シースルー方式とがある。この光学シースルー方式の一例を図3(a)に示し、ビデオシースルー方式の一例を図3(b)に示す。
図3(a)に示す光学シースルー方式の映像表示ユニット2Aは、耳掛けフレーム23とリムフレーム24と鼻当て25を備えた頭部装着式の映像表示ユニットである。また、頭部前方の所定範囲を撮影するカメラからなる撮影手段21と外界をシースルー可能な映像表示手段22Aと、前述した制御ユニット3を備えている。
映像表示手段22Aは、透明基板224と半透過型の光学部材を含む接眼光学系225を有し、作業者が直接視認する作業対象物に、該作業に適した付加映像を重畳表示する構成の光学シースルー方式の表示ユニットである。作業者は、透明基板224を透過する外界の実視野を観察することができ、また、半透過型の光学部材を含む接眼光学系225を介して外界の実視野を観察することができる。
接眼光学系225は、コリメータレンズやLCD表示部やプリズムなどを備えて構成される公知の光学系を用いることができ、制御ユニット3から伝送される所定の付加映像を表示する。
上記の光学シースルー方式の映像表示ユニット2Aを装着して作業を行うと、作業者が直接視認する作業対象物に、作業に適した付加映像が重畳表示されるので、所定の作業を間違いなく確実に実行することができる。このように、光学シースルー方式なので作業者は外界像を解像度の劣化なく観察できる。なお、半透過型の光学部材には部分透過ミラーやホログラム光学素子などを用いることができる。特に反射型ホログラムを用いれば、鋭い回折波長選択性を持つために良好なシースルー特性を確保することができ、さらに接眼光学系の光学パワーの一部を担うことができるので小型化できる。
また、この映像表示ユニット2Aを装着した作業者が頭部を移動して指標が認識されなくなっても、予め定められた所定時間はその重畳表示を維持するので、所定時間内に頭部を元の位置に戻せば、そのまま所定の作業を続行することができる。
予め定められた所定時間を越えて、頭部を移動した場合には、前述した、所定時間の経過後に付加映像を表示画面から消去する第一表示形態、所定時間の経過後に付加映像を縮小表示する第二表示形態、所定時間の経過後に付加映像の彩度および/又は輝度を落として表示する第三表示形態のいずれかの遅延表示制御を行うことで、重畳される映像表示のちらつきが気にならない映像表示システムを構築することができる。
図3(b)に示すビデオシースルー方式の映像表示ユニット2Bも、耳掛けフレーム23とリムフレーム24と鼻当て25を備えた頭部装着式の映像表示ユニットである。また、頭部前方の所定範囲を撮影するカメラからなる撮影手段21と制御ユニット3を備えていることも前述した映像表示ユニット2Aと同様である。ただ、表示ユニットが異なり、ビデオ映像を表示するLCD表示部226を両眼に備えた構成とされている点が異なる。
ビデオ映像を表示するLCD表示部226には、撮影手段21が撮影した現実映像を表示すると共に、撮影手段21が撮影した指標に応じた付加映像が重畳表示される。227は、付加情報を現実映像に重畳表示する合成部である。
このビデオシースルー方式の映像表示ユニット2Bを装着して作業を行う場合でも、作業者が対面している作業対象物の現実映像に、作業に適した付加映像を重畳表示することができるので、所定の作業を間違いなく実行することができる。
また、この映像表示ユニット2Bを装着した作業者が頭部を移動して指標が認識されなくなっても、予め定められた所定時間はその重畳表示を維持するので、所定時間内に頭部を元の位置に戻せば、そのまま所定の作業を続行することができる。
また、この場合でも、指標が認識されなくなって所定時間経過すると、前述した、所定時間の経過後に付加映像を表示画面から消去する第一表示形態、所定時間の経過後に付加映像を縮小表示する第二表示形態、所定時間の経過後に付加映像の彩度および/又は輝度を落として表示する第三表示形態のいずれかの制御を行うことで、重畳される映像表示のちらつきが気にならない映像表示システムを構築することができる。
予め定められた所定時間とは、作業対象物を認識するために作業対象物近傍に配設する指標のパターン情報によって設定することができる。この構成であれば、それぞれの作業に適した表示継続時間を所定時間として予め設定し、それぞれの作業内容に応じた指標パターンに設定しておくことで、各種作業に適した作業支援が可能な映像表示システムとなる。
また、前記所定時間は、制御ユニット3に予め記憶させておくことが好ましい。この構成であれば、所定の作業対象物にそれぞれ適した所定時間を予め設定して記憶させておくことで、新たな設定操作は不要となり、作業者にとって操作容易な映像表示システムとなる。
映像表示手段22(22A、22B)が表示する映像は、指標5のパターン情報によって設定しておくことができる。例えば、図4(a)に示すように、例えば、黒丸の指標5Aaと5Caと、白丸の指標5Bbと5Dbを、図示する配置で認識した場合には、作業対象物003の操作部41を右回りに回転する「003-Right」の表示を行う。また、図4(b)に示すように、例えば、黒丸の指標5Aaと5Daと、白丸の指標5Bbと5Cbを、図示する配置で認識した場合には、作業対象物004の操作部を左回りに回転する「004-Left」の表示を行う。
上記の構成であれば、任意の作業対象物に予め所定の指標パターンを設定しておくことで、認識される指標パターンに対応した付加映像を選択して表示することができ、所定の作業対象物に適した付加映像を表示することが可能となる。
指標5のパターン情報は上記した例以外のパターンでもよく、例えば、丸型や三角型や四角型などの異なる形状を組み合わせる方法や、発光ダイオードの発光色や点滅状態などのパターン情報を用いる方法や、これらの方法を組み合わせたパターン情報を用いることができる。
そのために、指標認識手段は、撮影手段21により撮影された指標5を画像処理して認識する構成としている。この構成であれば、任意の作業対象物に予め所定形態の指標を配設しておくことで、画像処理を介して認識される指標に対応した付加映像を選択して表示することができ、所定の作業対象物に適した付加映像を表示することができる。
また、図7に示すように、作業対象物4の近傍ではあるが、作業対象物4が検知範囲に入らない区域に指標5E、5F、5Gからなる指標5を配設することも可能である。この構成であれば、作業開始の際には、まず、図7(a)に示すように、指標5を視認する検知範囲WA1´に頭部を移動し指標5を認識する。すると、所定時間この指標5(5E、5F、5G)に応じた所定の付加映像が表示されることになる。そのために、この状態で、図7(b)に示すように、作業対象物4を視認する検知範囲WA2´に頭部を移動して所定の作業を開始することができる。このような構成の本実施形態によっても、作業開始時に指標5(5E、5F、5G)に応じた付加情報が所定時間表示し、所定時間経過後に遅延表示制御するので、作業中は作業者の前方の視界が確保でき、作業するための実空間の視認が容易となる。
次に、本実施形態に係る映像表示システムの遅延表示制御の操作手順について図5を用いて説明する。
作業者が本実施形態に係る頭部装着式の映像表示ユニット2を装着して所定の作業対象物に対面して作業を開始するときに、開始ボタンが操作され、映像表示システムがスタートする。
図5のフローチャートに示すように、映像表示システムがスタート(ステップS1)すると、まず、初期化処理が行われ(ステップS2)、指標認識(ステップS3)が開始される。予め設定された所定の指標が認識されると、矢印Yesに示す表示開始処理(ステップS4)が実行され、タイマーリセット(ステップS5)、タイマースタート(ステップS6)が実行される。
この状態で、指標認識を続行し(ステップS7)、指標が認識されている場合には、ステップS5、ステップS6を繰り返す。また、ステップS7で指標が認識されなくなると、そのときに、タイマーカウントが開始され、予め設定した所定時間tsと比較する(ステップS8)。指標が認識されない時間Tが、予め設定した所定時間tsより短い時間であれば、矢印Yesに示すステップS6とステップS7の間の操作状態に戻り、指標が認識されない時間Tが、予め設定した所定時間tsより長くなれば、矢印Noに示す所定の遅延表示制御(ステップS9)が開始される。また、この後は、初期化処理された状態に戻り、新たな指標が認識されて次の処理が開始される構成となる。
次に、遅延表示制御の第一、第二実施形態について図6を用いてさらに詳細に説明する。
図6(a)に示す第一実施形態のタイムチャートには、指標が認識された時刻T0と、指標が認識されなくなった時刻T1と、この時刻T1から予め設定した所定時間ts経過後の時刻T2が表示されている。
その際に、本実施形態の遅延表示制御としては、指標が認識された時刻T0から、指標が認識されなくなった時刻T1から予め設定した所定時間ts経過後の時刻T2まで、作業に適した所定の付加映像を重畳表示する構成としたものである。つまり、指標が認識されなくなった時刻T1から予め設定した所定時間ts経過した時刻T2で、所定の遅延表示制御を行う構成としている。つまり、指標が認識されなくなってから、所定時間の経過後に付加映像を表示画面から消去する第一表示形態、所定時間の経過後に付加映像を縮小表示する第二表示形態、所定時間の経過後に付加映像の彩度および/又は輝度を落として表示する第三表示形態のいずれかの遅延表示制御を行う。
また、図6(b)に示す第二実施形態では、指標が認識された時刻T0と、指標が認識されなくなった時刻T1と、再度指標が認識された時刻T3と、その後で再び指標が認識されなくなった時刻T4と、この時刻T4から予め設定した所定時間ts経過後の時刻T2が表示されている。
この実施形態では、一旦指標が認識されなくなってから予め設定された遅延表示時間である所定時間tsが経過する前に、再度指標が認識された場合には、重畳表示している付加映像を表示続行することを示している。また、所定の映像表示を続行した後で、再び指標が認識されなくなって所定時間経過すると前述した所定の遅延表示制御を行う。
上記の構成であれば、作業中に、例えば、作業者が作業対象物から眼をそらして手元の道具などを見たり、周囲を確認したりしても、予め設定した所定時間ts以内に作業対象物を見ることにすれば、重畳表示している付加映像が継続表示されることになって、映像がちらつくこともなく、作業者の眼が疲労する問題も生じない。
以上説明したように、本発明に係る第一、第二実施形態によれば、指標が指標認識手段によって認識された際に、指標に応じた内容を含んだ付加映像を表示し、その後、指標が認識されなくなった際に、予め設定された所定時間,前記付加映像を継続表示し、その後で、前記付加映像の表示状態を制御する遅延表示制御手段を介して所定の遅延表示制御を行う映像表示システムとしたので、光学シースルー方式およびビデオシースルー方式のいずれであっても、指標が認識され所定の付加映像を表示しているときに、作業者が頭部を移動して指標が認識されなくなっても、直ちに付加映像を削除するのではなく、所定の遅延表示制御を行うことで、現実映像に重畳表示される付加映像表示がちらつかない映像表示システムを得ることができる。
また、遅延表示制御として、指標が認識されなくなってから、所定時間の経過後に付加映像を表示画面から消去する第一表示形態、所定時間の経過後に付加映像を縮小表示する第二表示形態、所定時間の経過後に付加映像の彩度および/又は輝度を落として表示する第三表示形態のいずれかの遅延表示制御を行うことで、重畳表示される映像表示のちらつきが気にならず、また、表示される付加映像が作業者の作業するための実空間の視認を妨げず、作業が容易となる映像表示システムを得ることができる。
次に、本発明に係る第三から第六実施形態の映像表示システムについて説明する。この第三~第六実施形態では、指標が認識されて作業が開始されたときに表示する付加映像を、予め設定された所定の時間表示し、その後で所定の遅延表示制御を実行する映像表示システムとしたものである。
遅延表示制御の制御形態例としては、図2で説明したように、所定の時間経過後に付加映像を消去する第一表示形態、所定の時間経過後に付加映像を縮小表示する第二表示形態、所定の時間経過後に付加映像の彩度および/又は輝度を落として表示する第三表示形態がある。
第一表示形態では、作業者Aが作業対象物4を視認して作業を開始すると、まず所定の付加映像が表示され、その後の所定時間経過後に付加映像221が消去され無映像221Aとなって、現実映像(実視野)のみが観察される。そのために、作業者の前方の視界が確保でき、作業するための実空間の視認が容易となる。
第二表示形態では、作業開始後の所定時間経過後に表示画面220に表示されている付加映像221が縮小されて縮小映像221Bとなって、現実映像が相対的に大きく表示されるので、作業者の前方の視界が確保でき、作業を容易に行うことができる。
第三表示形態では、作業開始後の所定時間経過後に付加映像221の彩度や輝度が弱められた薄い映像221Cとなるので、現実映像が相対的に強く表示され、作業者の前方の視界が確保でき、作業を容易に行うことができる。
次に、第三~第六実施形態に係る映像表示システムの遅延表示制御の操作手順の実施形態について図8から図11を用いて説明する。
(操作手順の第三実施形態)
図8(a)に示すフローチャートは、作業者が本実施形態に係る頭部装着式の映像表示ユニット2を装着して所定の作業対象物に対面して作業を開始して所定時間ts経過後に付加映像が消去される基本的な操作手順を示している。そのために、作業者が所定の作業対象物に対面して作業を開始する際に、開始ボタンが操作され、映像表示システムがスタートする。
図8(a)に示すフローチャートは、作業者が本実施形態に係る頭部装着式の映像表示ユニット2を装着して所定の作業対象物に対面して作業を開始して所定時間ts経過後に付加映像が消去される基本的な操作手順を示している。そのために、作業者が所定の作業対象物に対面して作業を開始する際に、開始ボタンが操作され、映像表示システムがスタートする。
映像表示システムがスタート(ステップS1)すると、まず、初期化処理が行われ(ステップS2)、指標認識(ステップS3)が開始される。予め設定された所定の指標が認識されると、矢印Yesに示す表示開始処理(ステップS4)が実行され、タイマーリセット(ステップS5)、タイマースタート(ステップS6)が実行される。
それから、経過時間Tと予め設定される所定時間tsと比較する(ステップS7)処理が実行され、経過時間Tが、予め設定した所定時間tsより短い時間であれば、付加映像の表示を続行し、経過時間Tが、予め設定した所定時間tsより長くなれば、矢印Yesに示す所定の遅延表示制御(ステップS8)が開始される。
図8(b)にこの際のタイムチャートを示す。時刻T0で指標が認識され所定の付加映像の表示が開始される。また、この時点からタイマーリセット・タイマースタートされて表示経過時間が計測され、予め設定される所定時間ts経過後の時刻T2で、例えば付加映像を消去する(付加映像の表示を停止する)遅延表示制御が実行される。
またこの図は、指標が認識されなくなった時刻T1が、所定時間tsよりも長い時間経過後の時刻であれば、所定時間ts経過後から所定の遅延表示制御を行い、所定時間tsよりも短い時間の時刻T1´で指標が認識されなくなった場合は、まだ、付加映像の表示を続行し、所定時間ts経過後から所定の遅延表示制御を行うことを示している。
このように、本実施形態の遅延表示制御としては、指標が認識された時刻T0から、予め設定した所定時間ts経過後の時刻T2まで、作業に適した所定の付加映像を重畳表示して、その後で所定の遅延表示制御を実行する構成としたものである。例えば、指標が認識された時刻T0から予め設定した所定時間ts経過するまで付加映像の映像表示を続行し、この時刻T2で、付加映像を表示画面から消去する第一表示形態を実行する。
また、付加映像を表示画面から消去する第一表示形態ではなく、所定の時間経過後に付加映像を縮小表示する第二表示形態、所定の時間経過後に付加映像の彩度および/又は輝度を落として表示する第三表示形態のいずれかの制御を行うことでも、表示される付加映像が作業者の作業するための実空間の視認を妨げず、作業者が容易に作業を行うことができる映像表示システムを構築することができる。
(操作手順の第四実施形態)
図9(a)に示すフローチャートは、作業者が本実施形態に係る頭部装着式の映像表示ユニット2を装着して所定の作業対象物に対面して作業を開始して所定時間ts経過後に遅延表示制御が実行される際に、新たな指標を認識したときには、付加映像の表示が続行され、新たな表示経過時間の計測される第四実施形態の操作手順を示している。
図9(a)に示すフローチャートは、作業者が本実施形態に係る頭部装着式の映像表示ユニット2を装着して所定の作業対象物に対面して作業を開始して所定時間ts経過後に遅延表示制御が実行される際に、新たな指標を認識したときには、付加映像の表示が続行され、新たな表示経過時間の計測される第四実施形態の操作手順を示している。
作業者が所定の作業対象物に対面して作業を開始し、開始ボタンが操作され、映像表示システムがスタート(ステップS1)すると、まず、初期化処理が行われ(ステップS2)、指標認識(ステップS3)が開始される。予め設定された所定の指標が認識されると、矢印Yesに示す表示開始処理(ステップS4)が実行され、タイマーリセット(ステップS5)、タイマースタート(ステップS6)が実行される。
それから、経過時間Tと予め設定される所定時間tsと比較する(ステップS7)処理が実行され、経過時間Tが、予め設定した所定時間tsより短い時間であれば、付加映像の表示を続行し、経過時間Tが、予め設定した所定時間tsより長くなれば、矢印Yesに示す所定の遅延表示制御(ステップS8)が開始される。
また、新たな指標認識(ステップS9)が認識されると、新たな遅延表示制御(ステップS8)を行う構成としている。この新たな遅延表示制御は、先の所定時間ts経過後に実行することも、先の所定時間ts内に新たな指標認識が認識されたときに実行することも可能である。
図9(b)にこの際のタイムチャートを示す。時刻T0で指標が認識され所定の付加映像の表示が開始される。また、この時点からタイマーリセット・タイマースタートされて表示経過時間が計測されるが、本実施形態では、時刻T1で指標の認識が停止し、予め設定される所定時間tsより早い時刻T3で新たな指標が認識され、時刻T4まで続いている例を示している。そのために、予め設定される所定時間ts経過後の時刻T2で、新たな指標が認識されているので、この時点から再度タイマーリセット・タイマースタートして表示経過時間の計測を開始するものである。
時刻T2時点で、新たな指標を認識しているので、この時点から新たな表示経過時間の計測を開始して、所定時間ts経過後に所定の遅延表示制御を実行する。また、前述したように、時刻T2の前に、新たな指標を認識した場合に、その時点で先の表示経過時間の計測を停止して、新たな表示経過時間の計測を開始する構成としてもよい。
このように、本実施形態の遅延表示制御としては、指標が認識された時刻T0から、予め設定した所定時間ts経過後の時刻T2まで、作業に適した所定の付加映像を重畳表示すると共に、この時刻T2あるいは時刻T2の前でも、新たな指標を認識した際には、その認識された指標に応じた付加映像を表示し、新たな表示経過時間の計測を開始する構成としたものである。例えば、指標が認識された時刻T0から予め設定した所定時間ts経過した後の時刻T2で、新たな指標を認識している場合には、この時刻T2からさらに、所定時間ts経過した後の時刻で付加映像の表示を停止する第一表示形態を実行する。
また、付加映像を表示画面から消去する第一表示形態ではなく、所定の時間経過後に付加映像を縮小表示する第二表示形態、所定の時間経過後に付加映像の彩度および/又は輝度を落として表示する第三表示形態のいずれかの制御を行うことでも、表示される付加映像が作業者の作業するための実空間の視認を妨げず、作業者が容易に作業を行うことができる映像表示システムを構築することができる。
(操作手順の第五実施形態)
図10(a)に示すフローチャートは、作業者が本実施形態に係る頭部装着式の映像表示ユニット2を装着して所定の作業対象物に対面して作業を開始して所定時間ts経過後に遅延表示制御が実行されるが、この後で、新たな指標を認識するまでに、所定の待機期間を設けて、予め設定される待機期間の後で新たな指標の認識を開始する構成とした第五施形態の操作手順を示している。
図10(a)に示すフローチャートは、作業者が本実施形態に係る頭部装着式の映像表示ユニット2を装着して所定の作業対象物に対面して作業を開始して所定時間ts経過後に遅延表示制御が実行されるが、この後で、新たな指標を認識するまでに、所定の待機期間を設けて、予め設定される待機期間の後で新たな指標の認識を開始する構成とした第五施形態の操作手順を示している。
作業者が所定の作業対象物に対面して作業を開始し、開始ボタンが操作され、映像表示システムがスタート(ステップS1)すると、まず、初期化処理が行われ(ステップS2)、指標認識(ステップS3)が開始される。予め設定された所定の指標が認識されると、矢印Yesに示す表示開始処理(ステップS4)が実行され、タイマーリセット(ステップS5)、タイマースタート(ステップS6)が実行される。
それから、経過時間Tと予め設定される所定時間tsと比較する(ステップS7)処理が実行され、経過時間Tが、予め設定した所定時間tsより短い時間であれば、付加映像の表示を続行し、経過時間Tが、予め設定した所定時間tsより長くなれば、矢印Yesに示す所定の遅延表示制御(ステップS8)が開始される。
また、遅延表示制御が実行された後で、次の新たな指標認識(ステップS3)を開始するまでに、所定の期間待機する待機処理(ステップ9)を行う構成としている。つまり、先の遅延表示制御が実行された後、所定の待機期間内では新たな指標の認識は実行されない。
図10(b)にこの際のタイムチャートを示す。時刻T0で最初の指標が認識され所定の付加映像の表示が開始される。また、この時点からタイマーリセット・タイマースタートされて表示経過時間が計測されるが、本実施形態では、時刻T1で最初の指標の認識が停止し、時刻T3から時刻T4の間で次の指標が認識され得る状態(指標が検知範囲にある状態)にあり、さらに、時刻T5からT6までさらに新たな指標が認識され得る状態にある例を示している。しかし、本実施形態では、新たな指標認識を開始する待機期間tdを設定しているので、先の指標が認識された時刻T0から所定時間ts後さらに待機期間td経過後までは新たな指標認識を実行しない。そのために、待機期間tdを加えた時間内の時刻T3から時刻T4までの指標認識は新たな指標としては認識されず、待機期間td後に相当する時刻T5で認識される指標が新たな指標として認識され、この時点から再度タイマーリセット・タイマースタートして所定時間tsの計測を開始するものである。
このように、指標が認識された時刻T0から、予め設定した所定時間ts経過後の時刻T2まで、作業に適した所定の付加映像を重畳表示すると共に、この時刻T2から所定の待機期間td内では、次の指標認識を実行せず、所定の待機期間td経過後から新たな指標認識を開始する構成とした本実施形態によれば、所定の指標に応じた付加映像の表示を頻繁に切り替えることなく、所定の作業を余裕を持って行うことができる。
そのために、所定時間の付加映像表示の後で実行する遅延表示制御としては、例えば、指標が認識された時刻T0から予め設定した所定時間tsまで、また、この所定時間ts後の待機期間td経過後の、新たな指標を認識した時刻T5から所定時間tsまで所定の付加映像を表示し、その後で、付加映像の表示を停止する(付加映像を消去する)第一表示形態を実行する。
また、付加映像を表示画面から消去する第一表示形態ではなく、所定の時間経過後に付加映像を縮小表示する第二表示形態、所定の時間経過後に付加映像の彩度および/又は輝度を落として表示する第三表示形態のいずれかの制御を行うことでも、表示される付加映像が作業者の作業するための実空間の視認を妨げず、作業者が容易に作業を行うことができる映像表示システムを構築することができる。
(操作手順の第六実施形態)
図11(a)に示すフローチャートは、作業者が本実施形態に係る頭部装着式の映像表示ユニット2を装着して所定の作業対象物に対面して作業を開始して所定時間ts経過後に遅延表示制御を実行し、所定の待機期間を設けているが、この待機間中に、待機処理を解除する解除ボタンが押されると、先の待機処理を停止して、新たな指標の認識を開始する構成とした第六実施形態の操作手順を示している。なお、解除ボタンは制御ユニット3に設けられている(不図示)。
図11(a)に示すフローチャートは、作業者が本実施形態に係る頭部装着式の映像表示ユニット2を装着して所定の作業対象物に対面して作業を開始して所定時間ts経過後に遅延表示制御を実行し、所定の待機期間を設けているが、この待機間中に、待機処理を解除する解除ボタンが押されると、先の待機処理を停止して、新たな指標の認識を開始する構成とした第六実施形態の操作手順を示している。なお、解除ボタンは制御ユニット3に設けられている(不図示)。
作業者が所定の作業対象物に対面して作業を開始し、開始ボタンが操作され、映像表示システムがスタート(ステップS1)すると、まず、初期化処理が行われ(ステップS2)、指標認識(ステップS3)が開始される。予め設定された所定の指標が認識されると、矢印Yesに示す表示開始処理(ステップS4)が実行され、タイマーリセット(ステップS5)、タイマースタート(ステップS6)が実行される。
それから、経過時間Tと予め設定される所定時間tsと比較する(ステップS7)処理が実行され、経過時間Tが、予め設定した所定時間tsより短い時間であれば、付加映像の表示を続行し、経過時間Tが、予め設定した所定時間tsより長くなれば、矢印Yesに示す所定の遅延表示制御(ステップS8)が開始される。
また、遅延表示制御が実行された後で、待機期間を検出するための待ちタイマーリセット(ステップS9)と、待ちタイマースタート(ステップS10)が実行される。それから、経過時間Taが所定の待機期間tdを越えたか否かを検出する待機処理(ステップ11)を行い、新たな指標認識を行う構成としている。この待機処理の間、つまり待機期間の途中で、解除ボタンが押されたことを検知する(ステップ12)と、先の待機処理を停止して新たな指標認識と新たな表示開始処理が開始される。
図11(b)にこの際のタイムチャートを示す。時刻T0で最初の指標が認識され所定の付加映像の表示が開始される。また、この時点からタイマーリセット・タイマースタートされて表示経過時間が計測され、予め設定される所定時間tsの間表示してその後所定の遅延表示処理が実行される(時刻T2)。またこの時点から待機処理が実行される。本実施形態では、時刻T1で最初の指標認識が停止し、時刻T3から時刻T8の間で次の指標が認識され得る状態にある例を示している。しかし、本実施形態では、新たな指標認識を開始する待機期間tdを設定しているので、待機期間td経過後でなければ新たな指標認識を開始しない。しかし、この待機処理中の時刻T7で解除ボタンが押されると、待機処理を中止し、指標認識を行う。解除ボタンが押された時刻T7から新たな表示時間の計測を開始して所定時間ts経過後(時刻T8)に所定の遅延表示制御を実行する。
このように、本実施形態の遅延表示制御は、指標が認識された時刻T0から、予め設定した所定時間ts経過後の時刻T2まで、作業に適した所定の付加映像を重畳表示すると共に、この時刻T2から待機期間tdの待機処理が実行されるが、この待機期間tdの途中の時刻T7で解除ボタンが押された場合には、この時刻T7で先の待機処理を停止して新たな指標認識が実行される。そして、次の新たな付加映像を表示し、所定の遅延表示制御を行うための新たな表示経過時間が計測される。また、時刻T7から所定時間tsまで所定の付加映像を表示し、その後で所定の遅延表示制御として、例えば、付加映像を表示画面から消去する第一表示形態を実行する。
また、付加映像を表示画面から消去する第一表示形態ではなく、所定の時間経過後に付加映像を縮小表示する第二表示形態、所定の時間経過後に付加映像の彩度および/又は輝度を落として表示する第三表示形態のいずれかの制御を行うことでも、表示される付加映像が作業者の作業するための実空間の視認を妨げず、作業者が容易に作業を行うことができる映像表示システムを構築することができる。
上記した本実施形態によれば、待機処理中であっても、次の新たな指標を認識したときには、この時点から指標認識と表示開始処理を開始するので、異なる作業を効率よく行うことができ、生産性が向上する映像表示システムとなる。
以上説明したように、本発明に係る第三~第六実施形態によれば、指標が指標認識手段によって認識された際に、指標に応じた内容を含んだ付加映像を所定時間表示し、その後で、所定の遅延表示制御を行う映像表示システムとしたので、光学シースルー方式およびビデオシースルー方式のいずれであっても、作業開始時には作業に応じた所定の付加映像を表示して作業の支援を行うと共に、所定時間の経過後には所定の遅延表示制御を実行して、重畳表示される付加映像が作業者の作業するための実空間の視認を妨げず、作業者が容易に作業を行うことができる映像表示システムを得ることができる。
また、遅延表示制御として、所定時間の経過後に付加映像を表示画面から消去する第一表示形態、所定時間の経過後に付加映像を縮小表示する第二表示形態、所定時間の経過後に付加映像の彩度および/又は輝度を落として表示する第三表示形態のいずれかの遅延表示制御を行うことで、重畳される映像表示のちらつきが気にならず、作業者の作業するための実空間の視認を妨げない映像表示システムを構築することができる。
また、所定の遅延表示制御の後、次に指標認識を再開するまでに、所定の待機期間を設ける構成とすることで、付加映像の表示を行わない期間を設けることになって、付加映像を頻繁に切り替えることで生じる実視野が認識しづらくなることを防止して、所定の作業を確実に行うことができる。
そのために、本発明に係る映像表示システムは、産業機器の組立作業や操作作業などの作業支援のための表示装置に好適に適用可能となる。また、通信手段を備えているので、遠隔作業支援システムに適用される映像表示システムとして用いることができる。
1 映像表示システム
2 (頭部装着式)映像表示ユニット
2A 光学シースルー方式の映像表示ユニット
2B ビデオシースルー方式の映像表示ユニット
3 制御ユニット
4 作業対象物
5 指標
21 撮影手段
22 映像表示手段
220 表示画面
221 付加映像
ts (付加映像を表示する)所定時間
td 待機時間
2 (頭部装着式)映像表示ユニット
2A 光学シースルー方式の映像表示ユニット
2B ビデオシースルー方式の映像表示ユニット
3 制御ユニット
4 作業対象物
5 指標
21 撮影手段
22 映像表示手段
220 表示画面
221 付加映像
ts (付加映像を表示する)所定時間
td 待機時間
Claims (18)
- 作業対象物を認識するために作業対象物近傍に配設する指標を撮影する撮影手段と、撮影された指標を認識する指標認識手段と、認識された指標から表示する映像を選択して付加映像として表示する映像表示手段と、現実映像に前記付加映像を重畳して表示する映像重畳手段と、前記付加映像の表示状態を制御する遅延表示制御手段と、を含んでなり、
前記映像表示手段は、前記指標認識手段が指標を認識した際に認識された指標に応じた内容を含んだ前記付加映像を表示し、その後、指標が認識されなくなった際に、予め設定された所定時間、前記付加映像を継続表示し、その後で、前記遅延表示制御手段を介して所定の遅延表示制御を行うことを特徴とする映像表示システム。 - 作業対象物を認識するために作業対象物近傍に配設する指標を撮影する撮影手段と、撮影された指標を認識する指標認識手段と、認識された指標から表示する映像を選択して付加映像として表示する映像表示手段と、現実映像に前記付加映像を重畳して表示する映像重畳手段と、前記付加映像の表示状態を制御する遅延表示制御手段と、を含んでなり、
前記映像表示手段は、前記指標認識手段が指標を認識した際に、認識された指標に応じた内容を含んだ前記付加映像を予め設定された所定時間表示し、その後、前記遅延表示制御手段を介して所定の遅延表示制御を行うことを特徴とする映像表示システム。 - 前記撮影手段と前記映像表示手段とが頭部装着式映像表示ユニットとして一体化されていることを特徴とする請求項1または2に記載の映像表示システム。
- 前記指標認識手段は、前記撮影手段により撮影された指標を画像処理して認識することを特徴とする請求項1から3のいずれかに記載の映像表示システム。
- 前記撮影手段が撮影した映像を伝送する通信手段を備える制御ユニットを設けたことを特徴とする請求項1から4のいずれかに記載の映像表示システム。
- 前記制御ユニットが、さらにシャッター操作手段と映像記憶手段を備えて、前記撮影手段の撮影を制御することを特徴とする請求項5に記載の映像表示システム。
- 前記映像重畳手段は、光学的に光路を合成する光学シースルー方式であることを特徴とする請求項1から6のいずれかに記載の映像表示システム。
- 前記映像重畳手段は、撮影された画像に電気的に映像を合成処理するビデオシースルー方式であることを特徴とする請求項1から6のいずれかに記載の映像表示システム。
- 前記映像表示手段が表示する映像は、前記指標のパターン情報によって設定されることを特徴とする請求項1から8のいずれかに記載の映像表示システム。
- 前記所定時間は、前記指標のパターン情報によって設定されることを特徴とする請求項1から9のいずれかに記載の映像表示システム。
- 前記所定時間は、前記制御ユニットに予め記憶されていることを特徴とする請求項1から10のいずれかに記載の映像表示システム。
- 前記遅延表示制御手段は、前記所定時間の経過後に、指標に応じた付加映像を表示画面から消去することを特徴とする請求項1から11のいずれかに記載の映像表示システム。
- 前記遅延表示制御手段は、前記所定時間の経過後に、指標に応じた付加映像を縮小表示することを特徴とする請求項1から11のいずれかに記載の映像表示システム。
- 前記遅延表示制御手段は、前記所定時間の経過後に、指標に応じた付加映像の彩度および/又は輝度を落として表示することを特徴とする請求項1から11のいずれかに記載の映像表示システム。
- 前記遅延表示制御の後、次に指標認識を再開するまでに、所定の待機期間を設けたことを特徴とする請求項2から14のいずれかに記載の映像表示システム。
- 前記待機期間中であっても、先に認識した指標とは異なる新たな指標を認識したときには、前記待機期間を終了して、前記新たな指標に応じた新たな付加映像を表示することを特徴とする請求項15に記載の映像表示システム。
- 前記待機期間は、前記指標のパターン情報によって設定されることを特徴とする請求項15に記載の映像表示システム。
- 前記待機期間は、前記制御ユニットに予め記憶されていることを特徴とする請求項15から17のいずれかに記載の映像表示システム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008275140 | 2008-10-27 | ||
JP2008-275149 | 2008-10-27 | ||
JP2008-275140 | 2008-10-27 | ||
JP2008275149 | 2008-10-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2010050301A1 true WO2010050301A1 (ja) | 2010-05-06 |
Family
ID=42128669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2009/065697 WO2010050301A1 (ja) | 2008-10-27 | 2009-09-09 | 映像表示システム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2010050301A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015119236A (ja) * | 2013-12-17 | 2015-06-25 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
JP2015126352A (ja) * | 2013-12-26 | 2015-07-06 | セイコーエプソン株式会社 | 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法 |
CN110138831A (zh) * | 2019-03-29 | 2019-08-16 | 亮风台(上海)信息科技有限公司 | 一种进行远程协助的方法与设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002019491A (ja) * | 2000-07-11 | 2002-01-23 | Mazda Motor Corp | 車両の表示装置 |
JP2002132487A (ja) * | 2000-10-25 | 2002-05-10 | Oki Electric Ind Co Ltd | 遠隔作業支援システム |
JP2002228461A (ja) * | 2001-01-31 | 2002-08-14 | Fujitsu Ten Ltd | ナビゲーション装置 |
JP2005348382A (ja) * | 2004-05-06 | 2005-12-15 | Olympus Corp | 頭部装着型表示装置 |
JP2007271698A (ja) * | 2006-03-30 | 2007-10-18 | Yamaha Corp | 演奏装置 |
JP2008033891A (ja) * | 2006-06-27 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 表示装置及びその制御方法 |
-
2009
- 2009-09-09 WO PCT/JP2009/065697 patent/WO2010050301A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002019491A (ja) * | 2000-07-11 | 2002-01-23 | Mazda Motor Corp | 車両の表示装置 |
JP2002132487A (ja) * | 2000-10-25 | 2002-05-10 | Oki Electric Ind Co Ltd | 遠隔作業支援システム |
JP2002228461A (ja) * | 2001-01-31 | 2002-08-14 | Fujitsu Ten Ltd | ナビゲーション装置 |
JP2005348382A (ja) * | 2004-05-06 | 2005-12-15 | Olympus Corp | 頭部装着型表示装置 |
JP2007271698A (ja) * | 2006-03-30 | 2007-10-18 | Yamaha Corp | 演奏装置 |
JP2008033891A (ja) * | 2006-06-27 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 表示装置及びその制御方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015119236A (ja) * | 2013-12-17 | 2015-06-25 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
JP2015126352A (ja) * | 2013-12-26 | 2015-07-06 | セイコーエプソン株式会社 | 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法 |
US10445579B2 (en) | 2013-12-26 | 2019-10-15 | Seiko Epson Corporation | Head mounted display device, image display system, and method of controlling head mounted display device |
CN110138831A (zh) * | 2019-03-29 | 2019-08-16 | 亮风台(上海)信息科技有限公司 | 一种进行远程协助的方法与设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11231897B2 (en) | Display system, display device, information display method, and program | |
WO2012133172A1 (ja) | ヘッドマウントディスプレイ | |
JP5151207B2 (ja) | 表示装置 | |
JP6149403B2 (ja) | 表示装置、および、表示装置の制御方法 | |
JP5295714B2 (ja) | 表示装置、画像処理方法、及びコンピュータプログラム | |
JP5420793B1 (ja) | 画像の視認距離を調整できるヘッドマウントディスプレイ | |
JP7003633B2 (ja) | 透過型表示装置、表示制御方法、およびコンピュータープログラム | |
CN109960481B (zh) | 显示系统及其控制方法 | |
WO2017018122A1 (ja) | 投写型表示装置及び投写制御方法 | |
JP2009251154A (ja) | 頭部装着式映像表示装置 | |
US11911853B2 (en) | Welding information providing apparatus with function of sensing environment | |
JP2010164814A (ja) | ヘッドマウントディスプレイ | |
JP2018142168A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP2018182570A (ja) | 視線情報共有方法および視線情報共有システム | |
JPH07261728A (ja) | 目視制御画像表示装置 | |
JP2017116562A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
WO2010050301A1 (ja) | 映像表示システム | |
JP5821464B2 (ja) | 頭部装着型表示装置 | |
JP2017182228A (ja) | 入力装置、入力方法、コンピュータープログラム | |
JP2021056371A (ja) | 表示システム、表示方法及び表示プログラム | |
JP2010213214A (ja) | ヘッドマウントディスプレイ | |
JP2018151742A (ja) | 情報表示システム | |
US11080942B2 (en) | Assistance method for assisting performance of a task on a product, comprising displaying a highlighting image highlighting a monitored part of the product | |
JP2017055233A (ja) | 表示装置、表示システム、及び、表示装置の制御方法 | |
JP2010135894A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09823414 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 09823414 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |