WO2015194286A1 - ヘッドマウントディスプレイ、その制御方法、及び、制御プログラム - Google Patents
ヘッドマウントディスプレイ、その制御方法、及び、制御プログラム Download PDFInfo
- Publication number
- WO2015194286A1 WO2015194286A1 PCT/JP2015/063575 JP2015063575W WO2015194286A1 WO 2015194286 A1 WO2015194286 A1 WO 2015194286A1 JP 2015063575 W JP2015063575 W JP 2015063575W WO 2015194286 A1 WO2015194286 A1 WO 2015194286A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- alarm
- user
- photographing
- head
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 230000003287 optical effect Effects 0.000 claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- 210000003128 head Anatomy 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000004913 activation Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
- G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/18—Signals indicating condition of a camera member or suitability of light
Definitions
- the present invention relates to a head mounted display, a control method thereof, and a control program.
- HMD Eyeglass-type head-mounted displays
- HMD eyeglass-type head-mounted displays
- the surrounding camera can be photographed by the mounted camera.
- the image can be generated as it is, and the necessary information can be extracted and used by analyzing the image, or the video as it is viewed by the HMD user can be transmitted to a distant place.
- the HMD user can take a picture or video of the object that he / she is looking at as it is, it is expected to change the concept of photography by eliminating the traditional operation of holding the camera. Has been.
- the camera mounted on the HMD is characterized by its mobility, and is generally held on the top of the head of the HMD user by using a mounting member such as a spectacle-shaped frame. In many cases, it moves together with the head of the HMD user, and the lens optical axis always faces the front of the face. Therefore, even if the HMD user wearing the HMD approaches another person or is in a crowd, even if the HMD user does not intend to shoot, it is without permission without permission. There is a strong risk of misunderstanding when trying to take pictures or photographs. This is because the act of wearing an HMD having a camera is easily accepted by the people around as an act equivalent to that aimed by the camera as a subject. In addition, it is often difficult for an HMD user to determine whether or not an image of a subject is actually recorded, and privacy infringement is likely to occur unless the subject person allows photographing. There is concern that it can cause trouble.
- HMDs are also supposed to be used on a daily basis like smartphones and often have functions such as communication tools and navigation in addition to camera functions. These functions may be used in cooperation with camera functions. In this way, unlike the camera, the HMD is not intended to be used only for shooting, and therefore, it is possible that the HMD user uses the HMD having the camera function even in a place where there is no intention of shooting.
- the camera can be attached to and detached from the HMD, and the camera can be removed as necessary when privacy infringement is suspected.
- it is detachable the structure becomes complicated, and there is a problem that the compactness is lost and the cost is increased.
- a display unit is provided at the tip of an arm-shaped member that can move between a first position covering the camera and a second position in front of the eye, and the tip of the arm-shaped member covers the camera at the first position.
- a head-mounted imaging device that clearly indicates that no image is being taken by the three parties, opens the camera at the second position, issues an imaging start signal, and causes the user to visually recognize the display. According to the position of the arm-shaped member, the user can determine whether or not photographing is being performed, which contributes to prevention of troubles.
- the pattern portion that supports the display portion of the arm-shaped member enters the user's field of view during shooting, and the user may feel uncomfortable while the subject is blocked. There is a problem that it is not fully utilized.
- the apparatus of 1st Embodiment of patent document 1 when an arm-shaped member is fallen to the position which can be displayed, since a camera is not covered, there exists a possibility that it may be misunderstood as a photography state by a third party.
- the display is performed by the display unit while the field of view is secured by rotating the arm to a position shifted downward from the front of the pupil, and shooting is not performed.
- the arm-like member Since it moves to the displayable position after passing through the shooting position, even if the user only wants to display, the arm-like member must pass through the shooting position before that, so a wasteful operation is entered. The operability is reduced. Furthermore, since the camera is activated immediately when the arm-shaped member is tilted, the camera cannot be activated as intended by the user, and the operability is still impaired.
- the present invention has been made in view of the above circumstances, can improve the visibility of a user wearing an HMD, and can control the HMD capable of notifying the user that the camera is in a non-shooting state and its control. It is an object to provide a method and a control program.
- a head mounted display reflecting one aspect of the present invention is: A mounting member mounted on the user's head; A display that is held by the mounting member and displays an image that can be visually recognized by the user; and an optical system and a solid-state imaging device that are attached to the mounting member.
- a photographing apparatus having a first operation mode in which photographing of a subject can be started and a second operation mode in which photographing is not started by the user's photographing instruction;
- a cover that is attached to the mounting member and can be moved between an open position that opens the optical system of the photographing apparatus and a shield position that shields the optical system by the user's operation at a position that is not visible to the user.
- a member An alarm device for outputting an alarm perceivable by the user; And a controller that controls the alarm device to output an alarm when the photographing apparatus is in the second operation mode and the cover member is in the open position.
- the cover member is attached to the mounting member at a position where it is not visible to the user wearing the head mounted display, the visibility of the user can be improved.
- the user cannot directly determine visually whether the cover member is in the open position or the shield position. Therefore, the alarm device outputs an alarm when the imaging device is in the second operation mode and the cover member is in the open position.
- the alarm indicates that the cover member that cannot be seen by the user is in the open position, and therefore the user moves the cover member to the shielding position. It is possible to suppress the misunderstanding of privacy infringement to those around you.
- the alarm can be understood that the cover member is in an open position where the photographing is not hindered.
- a head-mounted display control method reflecting one aspect of the present invention is as follows.
- a mounting member mounted on a user's head; a display that is held by the mounting member and displays an image so that the user can visually recognize; the user is provided with an optical system and a solid-state imaging device;
- the imaging device does not start imaging in response to the user's imaging instruction.
- the alarm device is controlled to output an alarm when in the mode and when the cover member is in the open position. It is characterized in.
- a head-mounted display control program reflecting one aspect of the present invention.
- a mounting member mounted on a user's head; a display that is held by the mounting member and displays an image so that the user can visually recognize; the user is provided with an optical system and a solid-state imaging device;
- a head-mounted display having a cover member that can move between a shielding position, an alarm device that outputs an alarm that can be sensed by the user, and a processor that controls at least the alarm device.
- the computer is in an operation mode in which the photographing apparatus does not start photographing according to the photographing instruction of the user.
- the warning device is characterized in that to function to output an alarm.
- the user is informed that the shielding member is in the open position when the camera is in an operation mode in which shooting is not started by a user's shooting instruction without impairing the visibility of the user wearing the head mounted display. It is possible to provide a head-mounted display that can be used, a control method thereof, and a control program.
- FIG. 2 is a block diagram showing a circuit configuration of the HMD 100.
- FIG. It is a figure which shows the circumference
- FIG. 1 It is an example of the target object which user US wearing HMD100 visually recognizes.
- FIG. 1 is a perspective view of a user wearing the HMD 100 of the first embodiment.
- 2 is a diagram showing the cover member of the HMD 100 in an opened state
- FIG. 3 is a diagram showing the cover member of the HMD 100 in a shielded state.
- 4 is a view of the configuration shown in FIG. 2 taken along the line IV-IV and viewed in the direction of the arrow.
- FIG. 5 is a block diagram showing a circuit configuration of the HMD 100.
- the HMD 100 of the present embodiment has a glasses-type frame 101 that is a mounting member, and is a type that is used by placing the frame 101 on both ears of a user US. Regardless of the presence or absence of refractive power in the spectacle lens 102.
- an L-shaped housing 103 is integrally attached to one side (in this example, the right eye side) of the frame 101, and further downward from the housing 103, and one of the spectacle lenses
- a display 104 including a plate-like display member arranged so as to extend in parallel with 102 is provided.
- the display 104 includes a liquid crystal display element and an electroluminescence display element provided in the housing 103, an optical element such as a prism for guiding an image generated by the display element to the display member, and a transparent material such as glass or plastic.
- the display member is made of a material and includes a half mirror, a hologram, and the like.
- the display member When the display 104 is in a non-display state, the display member is transparent, and light from an object in front of the user US can be transmitted. Further, in the display state, the image is guided to the user's eyes by a half mirror or a hologram, so that the image is displayed on at least a part of the display member so that the user US can visually recognize the image.
- a cover member 105 is attached to a side surface of the housing 103 at a position not included in the field of view of the user US wearing the HMD 100.
- the pair of guide rails 103 a formed on the side surface of the housing 103 extends in an L shape along the frame 101.
- the guide rail 103a protrudes in the shape of a bowl facing each other as shown in the cross section of FIG.
- illustration of electronic circuits and wirings arranged in the housing 103 is omitted.
- a flexible cover member 105 made of plastic or rubber includes a thick knob portion 105a and a thin plate-like flexible shield extending from the end portion of the knob portion 105a. It is formed integrally with the portion 105b.
- the knob portion 105a has a thin plate-like engaging portion 105c (FIG. 4) protruding vertically, and the width of the shielding portion 105b is equal to the entire width of the engaging portion 105c.
- the cover member 105 When the cover member 105 is disposed inside the guide rail 103a, the engaging portion 105c and the shielding portion 105b are engaged with the guide rail 103a, and dropping is suppressed. Further, according to the manual operation of the user US holding the knob portion 105a, the cover member 105 extends along the guide rail 103a between the open position shown in FIG. 2 and the shielding position shown in FIG. 3 which is the end of the guide rail 103a. It is possible to slide with. When sliding to the shielding position, the shielding portion 105b advances while bending along the guide rail 103a, and when reaching the shielding position, the lens 112a and the tally lamp 112c exposed to face forward from the housing 103. Is supposed to be shielded. Therefore, when the cover member 105 is in the shielding position, a third party cannot visually recognize the lens 112a and the tally lamp 112c. In the present embodiment, the “open position” means a position other than the shielding position.
- FIG. 6 is a diagram showing the periphery of the shielding portion 105b of the cover member 105 in the open position
- FIG. 7 is a diagram showing the periphery of the shielding portion 105b of the cover member 105 in the shielding position.
- the first terminal 103 c is attached on the insulating portion 103 b formed in the housing 103.
- one end of a U-shaped bent spring plate 103d is attached to the insulating portion 103b, and the other end is attached to the second terminal 103e so as to face the first terminal 103c. Yes.
- the spring plate 103d is disposed at a position where it can engage with the sliding shield 105b.
- Both terminals 103c and 103e are connected to a processor 116, which will be described later, by wiring (not shown).
- the processor 116 receives the shield signal output thereby, so that it can be detected that the cover member 105 is in the shield position.
- the shielding portion 105b is retracted from the shielding position, the spring plate 103d returns from the elastic deformation and returns to the posture shown in FIG. 6, so that the terminals 103c and 103e are again held apart.
- a non-contact sensor such as a photoelectric sensor may be used, and various configurations can be adopted as a configuration for recognizing the position of the cover member.
- the sliding cover member 105 is used, but the present invention is not limited to this type.
- a round cover member that can be attached to and removed from the lens, a cover member that opens and closes like a lid with a hinge, and a cover member that can be closed from the top and bottom or both sides can be used.
- a slide type cover member there is an advantage that there is no need for detachment and superior operability compared to a cover member used for general detachment.
- the cover member does not block the user's field of view and the visibility is covered. It is not obstructed by the member.
- An electronic circuit for demonstrating the function of the HMD 100 is accommodated in the housing 103.
- 115 and a processor 116 as a control unit are accommodated in the housing 103.
- a SoC (System on Chip) processor 116 communicates with an input / output device to perform signal processing and image processing, and a built-in computer executes a control method described later according to a control program.
- the display drive unit 115 and the display 104 constitute an alarm device.
- the operation unit 111 is an input device including a switch and a pointing device (not shown) for performing an on / off operation of the display driving unit 115, activation of an application of the camera unit 112, a release operation, and the like.
- the operation unit 111 may be a microphone that performs operations according to the voice of the user.
- the camera unit 112 operates to photoelectrically convert subject light imaged on the solid-state imaging device 112b via the lens 112a and output an image signal to the processor 116. While the photographing application of the camera unit 112 is operating, the tally lamp 112c such as a red LED is lit. During movie shooting, the tally lamp 112c may blink.
- the camera unit 112 serving as a photographing apparatus has a first operation mode in which photographing of a subject around the user can be started by a photographing instruction from the user by operating the operation unit 111, and a photographing instruction of the user.
- the first operation mode is a state in which an application that enables shooting by controlling the camera unit 112 in the processor 116 is activated (including the time of release), and after the application is started, shooting is performed according to the release operation. Can do. That is, it includes a state in which the camera unit 112 is in a shooting operation or in a shooting standby state.
- the second operation mode is a state in which an application that allows the processor 116 to control the camera unit 112 to perform shooting is terminated or interrupted, for example, the camera unit 112 is in a sleep state or a power-off state. .
- the communication unit 113 communicates with an external terminal, acquires information from the network via the Internet or a LAN, performs display on the display 104 from the display driving unit 115, or displays a camera unit 112 or a sensor (not illustrated). It is responsible for transmitting input information from the network to the network.
- the memory 114 stores image data obtained from the camera unit 112.
- the display driving unit 115 displays a predetermined image or symbol on the display 104 according to control from the processor 116.
- FIG. 8 is a ladder chart showing the relationship between the operation of the user US and the operation of the HMD 100.
- moving image shooting will be described as an example. It is assumed that the opening / closing monitoring operation of the cover member 105 is performed.
- the user US moves the cover member 105 from the shielding position to the open position, so that the processor 116 of the HMD 100 performs control so that the cover open alarm is issued in step S121.
- the camera unit 112 that is an imaging device has a first operation mode in which an application of the camera unit operates and a second operation mode in which the application of the camera unit is stopped.
- the alarm device is controlled to issue an alarm when the application of the camera unit is operating and the cover member is in the open position.
- the processor 116 activates the application of the camera unit 112 and turns on the tally lamp 112c in step S111.
- the cover open alarm is stopped.
- the application of the camera unit 112 may be activated to eliminate the alarm in step S121.
- the processor 116 causes the camera unit 112 to perform a shooting operation in step S112 and captures moving image data into the memory 114.
- the processor 116 ends the photographing operation of the camera unit 112 in step S113.
- the processor 116 ends the shooting application of the camera unit 112 in step S114 and turns on the tally lamp 112c.
- a cover open alarm is issued in step S123.
- the processor 116 stops the cover open alarm in step S124. The same applies to still image shooting.
- step S201 in FIG. 9 the processor 116 detects whether or not the cover member 105 is in the shielding position by detecting a signal in the circuit (detection device) including both terminals 103c and 103e.
- the processor 116 determines whether or not an alarm has been issued in step S204. If an alarm is issued in step S204, the alarm is stopped in step S205. If it is determined that no alarm is issued, the flow returns to step S201 and the monitoring operation is continued.
- step S202 determines whether the application of the camera unit 112 is operating.
- the processor 116 determines whether or not an alarm is issued in step S204. If the alarm is issued, the processor 116 stops the alarm in step S205, but determines that the alarm is not issued. The flow returns to step S201 and the monitoring operation is continued.
- the tally lamp 112c is turned on or blinking in response to the start of the shooting application of the camera unit 112, so that it is possible to notify a third party that preparation for shooting or shooting is being performed. In such a state, when the user US turns on the release switch, a still image or a moving image is immediately taken, so there is little risk of missing a photo opportunity.
- step S202 when the processor 116 determines in step S202 that the application of the camera unit 112 is not operating, the lens is covered by the shielding unit 105b of the retracted cover member 105 even though the user US does not intend to shoot. 112a and tally lamp 112c are exposed. Therefore, in order to let the user know that there is a possibility that the surrounding people fear privacy infringement, the processor 116 performs control so that the cover open alarm is generated in step S203. Thereafter, the flow returns to step S201, and if the user US slides the cover member 105 from the open position to the shield position, the cover open alarm is stopped through steps S204 and S205.
- FIG. 10 is a diagram showing a display example of an alarm on the display 104.
- FIG. 11 is an example of an object visually recognized by the user US wearing the HMD 100.
- the display 104 displays an application mark MK1 in the lower right when the shooting application of the camera unit 112 is activated, and the alarm mark MK2 is displayed when the processor 116 is controlled to issue a cover open alarm. Displayed in the lower right. In addition, since both are not displayed together, you may make it display in the position which mutually overlaps.
- step S203 of FIG. 9 in response to the processor 116 issuing a cover open alarm, the display driving unit 115 causes the display 104 to display an alarm mark MK2.
- the user US can visually recognize the object in front through the transparent display 104 and can visually recognize the alarm mark MK2 displayed on the display 104. Recognize that there is a possibility that the person of Accordingly, the user US can start the application of the camera unit 112 when the cover member 105 is slid from the open position to the shielding position, or when there is an intention to shoot, whereby the alarm mark MK2 is not displayed. It becomes.
- the cover open alarm to the user US is not limited to the display on the display 104.
- the HMD 100 may be equipped with a small speaker or the like, and a beep sound or an alarm voice announcement may be performed from the speaker. It can also be done at the same time.
- the alarm sound can also be used as a means of explicitly indicating the shooting like the tally lamp 112c to the user US and a third party in the vicinity even when shooting.
- another alarm can be issued using a speaker.
- the cover member 105 is in an open position and the application of the camera unit 112 is activated, “take a picture”, “take a video” ”And the sound effect sound such that the third party can recognize that the user US intends to shoot.
- FIG. 12 is a block diagram illustrating a circuit configuration of the HMD 100 according to the second embodiment.
- FIG. 13 is a flowchart showing the monitoring operation of the processor 116 according to the present embodiment.
- the solid-state imaging device 112b of the camera unit 112 is used as a detection sensor that detects that the cover member 105 is in the shielding position instead of the terminals 103c and 103e.
- the speaker 117 is provided as a device for generating an alarm, it may be used in combination with an alarm display on the display 104.
- the processor 116 executes a program for performing a process of acquiring luminance, so that shooting is performed according to the user's shooting instruction by the operation of the operation unit 111. While controlling so as not to start, the camera unit 112 is controlled so as to be activated at a predetermined time interval for a predetermined time (that is, to be temporarily activated periodically).
- the processor 116 executes the following flow. In step S301 in FIG.
- the processor 116 operates the camera unit 112 in the background regardless of whether or not the user intends to shoot, and periodically acquires an image signal from the solid-state image sensor 112b (for example, about once every several seconds). Then, a luminance value as an image signal representing brightness is extracted. At this time, since the photographing application of the camera unit 112 is not activated, the image signal of the solid-state image sensor 112b is not subjected to image processing for image formation, and processing does not take time. Further, power consumption required for monitoring can be suppressed by reducing the frequency of capturing image signals or by narrowing down the pixels for capturing image signals.
- the processor 116 compares the obtained luminance value with a threshold value.
- the threshold value can be set to 1 lux, for example.
- the flow proceeds to step S305.
- the surroundings are dark, such as at night, even if the cover member 105 is in the open position, the amount of incident subject light is low, so the calculated luminance value may be less than the threshold value. Even if there is a third party around the user, there is no particular problem because in most cases it is impossible to visually recognize that the cover member 105 is in the open position.
- the processor 116 determines whether or not an alarm is issued in step S305. If the alarm is issued, the processor 116 stops the alarm in step S306, while if it is determined that the alarm is not issued, The flow returns to step S301 to continue the monitoring operation.
- step S302 determines in step S302 that the luminance value based on the image signal output from the solid-state imaging device 112b has increased beyond the threshold value
- the imaging application of the camera unit 112 is further set in step S303. Determine if it is running.
- the processor 116 determines whether or not an alarm is issued in step S305. If the alarm is issued, the processor 116 stops the alarm in step S306, but determines that the alarm is not issued. The flow returns to step S301 and the monitoring operation is continued.
- step S303 when the processor 116 determines in step S303 that the shooting application of the camera unit 112 is not activated, the shielding unit 105b of the retracted cover member 105 is set although the user US has no intention of shooting. This means that the lens 112a and the tally lamp 112c are exposed. Therefore, the processor 116 controls the speaker 117 to issue a cover open alarm in step S304 in order to let the user know that there is a possibility that the surrounding person may fear privacy violation. Thereafter, the flow returns to step S301. If the user US slides the cover member 105 from the open position to the shield position, the cover open alarm is stopped through steps S305 and S306.
- FIG. 14 is a block diagram illustrating a circuit configuration of the HMD 100 according to the third embodiment.
- FIG. 15 is a flowchart showing the monitoring operation of the processor 116 according to the present embodiment.
- the image processing unit 116a built in the processor 116 is used to perform image processing on the image signal output from the solid-state imaging device 112b of the camera unit 112, and perform image recognition by pattern matching. , Whether or not a person is included is detected.
- the processor 116 executes a program for performing processing for extracting a person in the second operation mode in which shooting is not started according to the user's shooting instruction, so that shooting is performed according to the user's shooting instruction by the operation of the operation unit 111. While controlling so as not to start, the camera unit 112 is controlled so as to be activated at a predetermined time interval for a predetermined time (that is, to be temporarily activated periodically). In the second operation mode of the present embodiment, the processor 116 executes the following flow.
- step S401 in FIG. 14 the processor 116 operates the camera unit 112 in the background regardless of whether or not the user intends to shoot, and inputs an image signal from the solid-state image sensor 112b periodically (for example, about once every several seconds). To do. At this time, the tally lamp 112c is not turned on.
- step S402 the built-in image processing unit 116a extracts a person image from the input image signal. For example, a technique described in Japanese Patent Application Laid-Open No. 2004-228770 can be used for extracting a person image. Even if the image processing unit 116a extracts a person, since the time from the input of the image signal to the person determination is short, there is little possibility that a third party will see the problem. You may comprise so that a user cannot browse or use the image signal used for extraction of a person image.
- step S403 the processor 116 determines whether or not the person image can be extracted from the input image signal by the image processing unit 116a. If the person image cannot be extracted, the cover member 105 is in the shielding position or opened. Even if it is in the position, it is assumed that there is no person within the angle of view of the camera unit 112, and it is determined that there is no problem related to privacy, and the flow proceeds to step S406.
- the processor 116 determines whether or not an alarm is issued in step S406. If the alarm is issued, the processor 116 stops the alarm in step S407, while if it is determined that the alarm is not issued, The flow returns to step S401 to continue the monitoring operation.
- step S403 when the image processing unit 116a determines that the person image can be extracted from the input image signal, the cover member 105 is in the open position and the person is within the angle of view of the camera unit 112.
- the processor 116 further determines whether or not the photographing application of the camera unit 112 is activated. When the application of the camera unit 112 is activated, it is possible to determine that the user US is to shoot a person by his / her own intention, and thus no alarm is necessary. At this time, the processor 116 determines whether or not an alarm is issued in step S406. If the alarm is issued, the processor 116 stops the alarm in step S407, but determines that the alarm is not issued. The flow returns to step S401 and the monitoring operation is continued.
- step S405 when the processor 116 determines in step S405 that the application of the camera unit 112 has not been activated, the lens is moved by the shielding unit 105b of the retracted cover member 105 even though the user US does not intend to shoot. 112a and tally lamp 112c are exposed. Therefore, in order to let the user know that there is a possibility that the surrounding people fear privacy infringement, the processor 116 performs control so that the cover open alarm is issued in step S405. Thereafter, the flow returns to step S401, and if the user US slides the cover member 105 from the open position to the shield position, the cover open alarm is stopped through steps S406 and S407.
- FIG. 16 is a block diagram illustrating a circuit configuration of the HMD 100 according to the fourth embodiment.
- FIG. 17 is a flowchart showing operations of the HMD 100 and the external server 200 according to the present embodiment.
- the HMD 100 includes a GPS (Global Positioning System) receiving device 118 as a positioning device, and can detect the current position.
- the communication unit 113 can access the external server 200 via a network.
- photography is not completely prohibited here, for example, places where there are many people such as stations and intersections, places where it is known in advance that there is a high possibility of privacy infringement when taking pictures, or if photography is prohibited without permission
- the place where the declaration is made is defined as “a place where shooting should be noted”.
- theaters and movie theaters that may infringe copyrights, courts and public institutions where photography is prohibited by regulations, and general companies where photography is prohibited for security reasons, Stipulated as a place where As described above, since the HMD 100 can be freely moved by being worn by the user US, the user US unintentionally enters a “place where shooting should be careful” or a “place where photography is prohibited”. , May cause trouble with third parties. In this embodiment, such a problem is solved.
- the monitoring operation of this embodiment will be described.
- the external server 200 records position information of “a place where shooting should be noted” and “a place where shooting is prohibited”.
- the processor 116 of the HMD 100 acquires the current position via the GPS receiver 118 in step S501 of FIG. This can be done in the background after the HMD 100 is turned on.
- the flow from step S501 may be executed by detecting that the cover member 105 has moved to the open position.
- step S502 the processor 116 accesses the external server 200 via the communication unit 113 and transmits the acquired current position. Then, in step S521, the external server 200 determines whether or not the transmitted current position is included in the recorded “locations where imaging should be noted” and “locations where imaging is prohibited”. Information on the determination result is returned to the HMD 100.
- step S504 the processor 116 receives the information of the determination result via the communication unit 113, and based on the information, the current position is “location where shooting should be noted” or “location where shooting is prohibited” in step S504. It is determined whether or not. If it is determined that the current position is neither “a place where photography should be taken care of” or “a place where photography is prohibited”, the processor 116 issues an alarm or prohibits shooting in step S510 in step S510. Judge whether or not. Here, when the warning issuance or photographing prohibition is executed, the processor 116 cancels the warning issuance or photographing prohibition in step S511, while when it is determined that the warning issuance or photographing prohibition is not executed, The flow is returned to S501 and the monitoring operation is continued.
- step S504 determines whether the current position is “a place where shooting should be noted” or “a place where shooting is prohibited”. If it is determined in step S504 that the current position is “a place where shooting should be noted” or “a place where shooting is prohibited”, the processor 116 opens the cover member 105 in step S506. Determine if it is in position. If the processor 116 determines that the cover member 105 is in the shielding position, it is not possible to perform photographing, and therefore the flow proceeds to step S510, where an alarm issuance or photographing is prohibited. , Cancel this and continue the monitoring operation.
- the processor 116 determines that the current position is “a place where shooting should be noted” or “a place where shooting is prohibited” based on the information received from the external server 200. "Is determined. If it is determined that the current position is “a place where shooting should be noted”, the processor 116 determines whether or not the shooting application of the camera unit 112 is activated in step S512. When the shooting application of the camera unit 112 is activated, it can be determined that shooting is performed by the user US himself / herself, and therefore the flow proceeds to step S510 and the warning is issued or shooting prohibition is executed. To cancel this and continue the monitoring operation.
- step S512 when the processor 116 determines in step S512 that the shooting application of the camera unit 112 has not been activated, the user US US does not intend to shoot, but the retracted cover member 105 is shielded. This means that the lens 112a and the tally lamp 112c are exposed by the portion 105b. Therefore, in order to inform the user that there is a possibility that a person in “a place where photographing should be taken care of” may fear privacy infringement, the processor 116 performs control so that a cover open alarm is issued in step S513. Thereafter, the flow proceeds to step S501, and the monitoring operation is continued.
- step S507 when it is determined in step S507 that the current position is “a place where photographing is prohibited”, the processor 116 as the forcing device prohibits activation of the photographing application of the camera unit 112 in step S508, In step S509, a shooting prohibition alarm is issued. Thereafter, the flow proceeds to step S501, and the monitoring operation is continued.
- FIG. 18 is a diagram showing a display example of a shooting prohibition alarm on the display 104.
- FIG. 19 is an example of an object visually recognized by the user US wearing the HMD 100.
- the processor 116 issues a photographing prohibition alarm
- the display 104 displays a large photographing prohibition alarm mark MK3 in the center. Accordingly, the user US can recognize that the current position is a place where photographing prohibition is prohibited.
- the photographing prohibition alarm is canceled when the user US slides the cover member 105 to the shielding position (steps S506 and S511 in FIG. 17).
- the cover open alarm is the same as that shown in FIG.
- the optical axis of the camera unit 112 is directed to the front of the HMD 100, but it is also possible to equip the HMD 100 with a camera unit capable of photographing the rear and lateral directions. Also in that case, since it is difficult to directly recognize that the user US is covering the lens, the effect of the present invention can be expected more.
- a drive mechanism or the like that automatically opens and closes the cover member 105 may be provided in response to activation of the shooting application of the camera unit 112.
- the HMD 100 since the HMD 100 is required to be as small and light as possible, it is generally difficult to provide a drive mechanism that opens and closes the cover member 105 in a limited space.
- a magnetic switch that can be miniaturized may be used.
- the display is arrange
- control device further includes a detection device that detects that the cover member has moved to the shielding position and outputs a shielding signal, and the control unit is configured such that the imaging device is the second device.
- the alarm device In the operation mode, when the shielding signal is not received from the detection device, the alarm device outputs the alarm, so that troubles related to privacy infringement can be prevented.
- control unit when the control unit receives the shielding signal from the detection device, the control unit prohibits the alarm device from outputting the alarm on the assumption that there is little risk of privacy infringement.
- the imaging device is temporarily activated periodically in the second operation mode
- the control unit is configured to perform the solid-state imaging of the imaging device that is temporarily activated when the imaging device is in the second operation mode.
- the device outputs an image signal representing brightness that is equal to or higher than a threshold
- the alarm device outputs the alarm, so that troubles related to privacy infringement can be prevented.
- the control unit controls the alarm device not to output the alarm because it is less likely to infringe privacy.
- the image processing apparatus further includes an image processing unit that processes an image signal output from the image capturing device and recognizes an image.
- the image capturing device is temporarily activated periodically in the second operation mode, and the image capturing device is The solid-state imaging device of the imaging apparatus that is temporarily activated when in the operation mode 2 receives subject light via the optical system, and inputs an image signal corresponding to the subject light to the image processing unit.
- the control unit causes the alarm device to output the alarm, thereby preventing troubles related to privacy infringement. it can.
- the control unit when the image processing unit determines that a person is not included in the image represented by the input image signal, the control unit outputs the alarm to the alarm device, assuming that there is little risk of privacy infringement. It is prohibited to do.
- the alarm device outputs the alarm by displaying an image related to the alarm on the display, the user can recognize it visually.
- the alarm device outputs the alarm by generating a sound related to the alarm through a speaker, the user can recognize it through hearing.
- a positioning device for detecting that the HMD is in a place where photographing is prohibited is further provided, and when the positioning device detects that the HMD is in a place where photographing is prohibited, the control unit Since the photographing apparatus is forced to be in the second operation mode, it is possible to avoid erroneous photographing at a place where photographing should be prohibited by the user.
- the positioning device further detects that the HMD is in a place where photographing should be taken care of, and the control unit detects that the HMD is located in a place where photographing should be taken care of, and the positioning device
- the alarm device outputs an alarm. You can encourage attention to handling.
- HMD Head Mount Display
- Frame 102
- Eyeglass lens 103
- Case 103a Guide rail 103b Insulating part 103c Terminal 103d
- Spring plate 103e Terminal
- Display 105 Cover member 105a Knob part 105b Shield part 105c Engagement part 111
- Operation part 112
- Camera part 112a
- Lens 112b
- Solid-state image sensor 112c Tally Lamp
- Communication unit 114
- Memory Memory
- Processor 116a Image processing unit
- Speaker 118
- Receiver External server
- MK1 Application mark MK2 Alarm mark
- MK3 Shooting prohibition alarm mark US User
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
Abstract
ヘッドマウントディスプレイを装着したユーザーの視認性を損なうことなく、カメラがユーザーの撮影指示により撮影を開始しない動作モードにあるときに遮蔽部材が開放位置にあることをユーザーに知らせることができるヘッドマウントディスプレイ、その制御方法、及び、制御プログラムを提供する。ヘッドマウントディスプレイを、ユーザーの頭部に装着される装着部材に設けられ、ユーザーの撮影指示によりユーザーの周囲の被写体の撮影を開始し得る第1の動作モードと、ユーザーの撮影指示では撮影を開始しない第2の動作モードとを有する撮影装置を有し、撮影装置が前記第2の動作モードにあり、装着部材に取り付けられユーザーに視認されない位置で移動するカバー部材が、撮像装置の光学系を開放する位置にあるときに、警報装置に警報を出力させるように構成する。
Description
本発明はヘッドマウントディスプレイ、その制御方法、及び、制御プログラムに関する。
最近、スマートフォンに代わる端末として、ユーザーの身体に装着可能なウェラブル端末が開発され既に上市されている。中でもメガネタイプのヘッドマウントディスプレイ(Head Mount Display、以下HMDと記す)は、業務用途に限られず、一般のユーザーが使用可能な製品も増えつつある。また、HMDにカメラを搭載することも提案されており、そのようなHMDをユーザー(以下、HMDユーザー)の頭部に装着することで、搭載したカメラにより周囲を撮影することができ、HMDユーザーの見たままの画像を生成し、画像を解析して必要な情報を取り出して利用したり、HMDユーザーの見たままの映像を遠方に送信したりすることができる。また、HMDユーザーが実際に見ている対象物を、そのままの姿勢にて写真やビデオで撮ることができるため、カメラを構えるといった旧来行っていた動作が不要になり撮影の概念を変えるものと期待されている。
HMDに搭載されたカメラは、その機動性を一つの特徴としており、一般的にはHMDユーザーの頭部上部に眼鏡型フレームなどの装着部材を用いて保持され、カメラを搭載した場合そのレンズはHMDユーザーの頭部と一体で動き、レンズ光軸が常に顔の前方を向く場合が多い。そのため、HMDを装着したHMDユーザーが他人に近づいたり、或いは人混みの中に居る場合など、たとえHMDユーザーに撮影の意思が無かったとしても、HMDユーザーの前方にいる人にとってみれば、許可なく無断で映像或いは写真を撮ろうとしていると誤解を招く恐れが強い。それは、カメラを有するHMDを装着するという行為が、被写体としてカメラで狙っているのと同等の行為として,周囲の人に受け止められやすいためである。しかも、実際に被写体の画像が記録されているか否かは、HMDユーザー側でないとわかりにくいことが多く、被写体となる人が撮影を許容している場合を除き、プライバシーの侵害の問題が生じやすくトラブルの原因となりかねないという懸念がある。
従来のアナログカメラ又はデジタルカメラを身体に装着し撮影するケースでは、特別な目的や限定された場所に限られており、撮影者も目的以外の場所ではカメラを装着しないため、プライバシーの侵害がクローズアップされることは殆どなかった。しかしながら、HMDはスマートフォンのように日常的に使用される場面も想定され、カメラ機能以外にも、コミュニケーションツールやナビゲーション等の機能を持つことが多い。それらの機能は、カメラ機能と連携させて使用する場合もある。このようにHMDはカメラと違って撮影することのみを用途としておらず、従って撮影意思がない場所でも、HMDユーザーがカメラ機能を備えたHMDを使用することは十分あり得る。これに対し、HMDに対してカメラを着脱可能な構成とし、プライバシー侵害が疑われる場合など必要に応じてカメラを取り外せば良いという考えもある。しかしながら、コンパクト性、操作性、利便性等の観点からは、HMDとカメラは一体化されていることが望ましく、カメラを脱着する作業をユーザーに求めることは必ずしも好ましいとは言えない。また、着脱可能とすると構造が複雑になり、コンパクト性が損なわれたり、コスト増を招いたりするという問題もある。
HMDにカメラを搭載することで多くの利便性を得ることができるが、その反面、上述したようなプライバシー侵害に関わるトラブルが起こりうる。そこで、カメラを搭載したHMDを装着していても、プライバシーを侵害していると誤解されない対策を確立することが急務となっている。その対策として、カメラを搭載したHMDを使用している際に、周囲の人に、カメラが撮影状態であるのか或いは非撮影状態であるのかを認識させる装置又は部材を設けることが考えられる。例えば、タリーランプや撮影時のシャッター音を発するスピーカなど、カメラの撮影状態を明示する報知装置を設けることが考えられる。しかしながら、第三者はたとえタリーランプが非点灯でスピーカが音を発生しなくても撮影されているかも知れないと考えて不快に思うことがある。そこで、カメラのレンズを遮蔽することで、カメラの非撮影状態を間接的に明示する遮蔽部材などをHMDに設けることが考えられる。
一方、一般のカメラにおけるレンズキャップと異なり、HMDの場合は、使用者がHMDを頭部に装着して使用するので、自らカメラのレンズを視認することが困難であり、レンズ前面にカバーがされているかどうかを直ちに判別できないことが多い。よって、カバーが外れていることに気づかずHMDユーザーがHMDを使用していると、その意に反して周囲の者からプライバシーを侵害していると誤解される可能性もある。
特許文献1には、カメラを覆う第1位置と眼前の第2位置とを移動可能なアーム状の部材の先端に表示部を設け、第1位置ではアーム状部材の先端がカメラを覆って第三者に撮影していないことを明示し、第2位置ではカメラを開放して撮像開始信号を発するとともにユーザーに表示を視認させるようにする頭部装着型撮像装置が提案されている。アーム状部材の位置によって、撮影を行っているかユーザー自身が判断できるので、トラブルの未然防止に貢献するとされている。
しかしながら、特許文献1の装置では、撮影の最中にアーム状部材の表示部を支持する柄の部分がユーザーの視界に入り、被写体を遮ると共にユーザーが違和感を覚える恐れがあるため、HMDの利点を十分に生かし切れていないという問題がある。又、特許文献1の第1実施形態の装置では、アーム状部材が表示可能な位置まで倒された場合、カメラが覆われていないので、第三者に撮影状態と誤解される恐れがある。また、瞳の正面から下方にずれた位置までアームを回動させることで視界を確保しつつ表示部による表示を行い、撮影は行わないようにすることも記載されているが、アーム状部材が撮影可能な位置を通過した後、表示可能な位置へと移動するので、ユーザーが表示のみを欲した場合でも、その前にアーム状部材が撮影可能な位置を必ず通過するため無駄な動作が入り、操作性が低下する。更に、アーム状部材を倒すことで直ちにカメラが起動してしまうので、ユーザーの意図通りにカメラを起動することができず、やはり操作性が損なわれてしまうという問題がある。
一方、特許文献1の第2実施形態の装置では、アーム状部材に連動して移動する遮蔽部材を設け、撮影停止時に遮蔽部材によりカメラを覆うようにしているが、部品点数が増えると共に連動する機構により複雑な構成になる。また、常にアームと遮光部材とが連動するので、第三者に撮影状態と誤解される恐れのない環境にあるときには、カメラを開放したままにすることができないという問題を生じる。
本発明は、上記の事情に鑑みてなされたものであって、HMDを装着したユーザーの視認性を高めることができ、カメラが非撮影状態であることをユーザーに知らせることができるHMD及びその制御方法並びに制御プログラムを提供することを目的とする。
上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映したヘッドマウントディスプレイは、
ユーザーの頭部に装着される装着部材と、
前記装着部材に保持され、前記ユーザーが視認可能に画像を表示するディスプレイと、 前記装着部材に取り付けられ、光学系と固体撮像素子とを備えてなり、前記ユーザーの撮影指示により前記ユーザーの周囲の被写体の撮影を開始し得る第1の動作モードと、前記ユーザーの撮影指示では撮影を開始しない第2の動作モードとを有する撮影装置と、
前記装着部材に取り付けられ、前記ユーザーに視認されない位置で、前記ユーザーの操作によって、前記撮影装置の光学系を開放する開放位置と、前記光学系を遮蔽する遮蔽位置との間で移動し得るカバー部材と、
前記ユーザーが感知可能な警報を出力する警報装置と、
前記撮影装置が前記第2の動作モードにあり且つ前記カバー部材が前記開放位置にあるときに、前記警報装置を制御して警報を出力させる制御部と、を有することを特徴とする。
ユーザーの頭部に装着される装着部材と、
前記装着部材に保持され、前記ユーザーが視認可能に画像を表示するディスプレイと、 前記装着部材に取り付けられ、光学系と固体撮像素子とを備えてなり、前記ユーザーの撮影指示により前記ユーザーの周囲の被写体の撮影を開始し得る第1の動作モードと、前記ユーザーの撮影指示では撮影を開始しない第2の動作モードとを有する撮影装置と、
前記装着部材に取り付けられ、前記ユーザーに視認されない位置で、前記ユーザーの操作によって、前記撮影装置の光学系を開放する開放位置と、前記光学系を遮蔽する遮蔽位置との間で移動し得るカバー部材と、
前記ユーザーが感知可能な警報を出力する警報装置と、
前記撮影装置が前記第2の動作モードにあり且つ前記カバー部材が前記開放位置にあるときに、前記警報装置を制御して警報を出力させる制御部と、を有することを特徴とする。
このヘッドマウントディスプレイによれば、前記カバー部材が、前記ヘッドマウントディスプレイを装着したユーザーに視認されない位置で前記装着部材に取り付けられているので、かかるユーザーの視認性を高めることができる。かかる場合、前記カバー部材が前記開放位置にあるのか前記遮蔽位置にあるのか,前記ユーザーからは視覚により直接判断できないこととなる。そこで、前記警報装置が、前記撮影装置が前記第2の動作モードにあり且つ前記カバー部材が前記開放位置にあるときに、前記警報装置が警報を出力するのである。これにより、前記ユーザーが撮影を行う意思がない場合には、前記警報によって、自らは視認できない前記カバー部材が開放位置にあることが分かるため、前記カバー部材を遮蔽位置に移動させる操作を行うことが出来、それにより周囲の者にプライバシー侵害の誤解を与えることを抑制できる。一方、前記ユーザーが自らの意思で撮影を行おうとする場合には、前記警報によって前記カバー部材が撮影を妨げない開放位置にあることが分かるので、適切に撮影を行うことができる。
また、上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映したヘッドマウントディスプレイの制御方法は、
ユーザーの頭部に装着される装着部材と、前記装着部材に保持され、前記ユーザーが視認可能に画像を表示するディスプレイと、前記装着部材に取り付けられ、光学系と固体撮像素子とを備え前記ユーザーの周囲の被写体を撮影する撮影装置と、前記装着部材に取り付けられ、前記ユーザーに視認されない位置で、前記ユーザーの操作によって、前記撮影装置の光学系を開放する開放位置と、前記光学系を遮蔽する遮蔽位置との間で移動し得るカバー部材と、前記ユーザーが感知可能な警報を出力する警報装置とを有するヘッドマウントディスプレイにおいて、前記撮影装置が、前記ユーザーの撮影指示では撮影を開始しない動作モードにあり且つ前記カバー部材が前記開放位置にあるときに、前記警報装置に警報を出力させるように制御することを特徴とする。
ユーザーの頭部に装着される装着部材と、前記装着部材に保持され、前記ユーザーが視認可能に画像を表示するディスプレイと、前記装着部材に取り付けられ、光学系と固体撮像素子とを備え前記ユーザーの周囲の被写体を撮影する撮影装置と、前記装着部材に取り付けられ、前記ユーザーに視認されない位置で、前記ユーザーの操作によって、前記撮影装置の光学系を開放する開放位置と、前記光学系を遮蔽する遮蔽位置との間で移動し得るカバー部材と、前記ユーザーが感知可能な警報を出力する警報装置とを有するヘッドマウントディスプレイにおいて、前記撮影装置が、前記ユーザーの撮影指示では撮影を開始しない動作モードにあり且つ前記カバー部材が前記開放位置にあるときに、前記警報装置に警報を出力させるように制御することを特徴とする。
更に、上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映したヘッドマウントディスプレイの制御プログラムは、
ユーザーの頭部に装着される装着部材と、前記装着部材に保持され、前記ユーザーが視認可能に画像を表示するディスプレイと、前記装着部材に取り付けられ、光学系と固体撮像素子とを備え前記ユーザーの周囲の被写体を撮影する撮影装置と、前記装着部材に取り付けられ、前記ユーザーに視認されない位置で、前記ユーザーの操作によって、前記撮影装置の光学系を開放する開放位置と、前記光学系を遮蔽する遮蔽位置との間で移動し得るカバー部材と、前記ユーザーが感知可能な警報を出力する警報装置と、少なくとも前記警報装置を制御するプロセッサとを有するヘッドマウントディスプレイにおいて、前記プロセッサに内蔵されたコンピュータを、前記撮影装置が、前記ユーザーの撮影指示では撮影を開始しない動作モードにあり且つ前記カバー部材が前記開放位置にあるときに、前記警報装置が警報を出力するように機能させることを特徴とする。
ユーザーの頭部に装着される装着部材と、前記装着部材に保持され、前記ユーザーが視認可能に画像を表示するディスプレイと、前記装着部材に取り付けられ、光学系と固体撮像素子とを備え前記ユーザーの周囲の被写体を撮影する撮影装置と、前記装着部材に取り付けられ、前記ユーザーに視認されない位置で、前記ユーザーの操作によって、前記撮影装置の光学系を開放する開放位置と、前記光学系を遮蔽する遮蔽位置との間で移動し得るカバー部材と、前記ユーザーが感知可能な警報を出力する警報装置と、少なくとも前記警報装置を制御するプロセッサとを有するヘッドマウントディスプレイにおいて、前記プロセッサに内蔵されたコンピュータを、前記撮影装置が、前記ユーザーの撮影指示では撮影を開始しない動作モードにあり且つ前記カバー部材が前記開放位置にあるときに、前記警報装置が警報を出力するように機能させることを特徴とする。
本発明によれば、ヘッドマウントディスプレイを装着したユーザーの視認性を損なうことなく、カメラがユーザーの撮影指示により撮影を開始しない動作モードにあるときに遮蔽部材が開放位置にあることをユーザーに知らせることができるヘッドマウントディスプレイ、その制御方法、及び、制御プログラムを提供することができる。
(第1の実施形態)
以下に本発明の実施形態を、図面を参照して説明する。図1は、第1の実施形態のHMD100を装着したユーザーの斜視図である。図2は、HMD100のカバー部材を開放状態にして示す図であり、図3は、HMD100のカバー部材を遮蔽状態にして示す図である。図4は、図2に示す構成をIV-IV線で切断して矢印方向に見た図である。図5は、HMD100の回路構成を示すブロック図である。
以下に本発明の実施形態を、図面を参照して説明する。図1は、第1の実施形態のHMD100を装着したユーザーの斜視図である。図2は、HMD100のカバー部材を開放状態にして示す図であり、図3は、HMD100のカバー部材を遮蔽状態にして示す図である。図4は、図2に示す構成をIV-IV線で切断して矢印方向に見た図である。図5は、HMD100の回路構成を示すブロック図である。
図1に示すように、本実施形態のHMD100は,装着部材である眼鏡型のフレーム101を有しており、ユーザーUSの両耳にフレーム101をかけて用いるタイプである。眼鏡レンズ102における屈折力の有無には拘らない。
図2,3において、フレーム101上の片側(本例では右目側)に、L字状をした筐体103が一体的に取り付けられており、更に筐体103から下方に向かい、片方の眼鏡レンズ102に平行に延在するように配置された板状の表示部材を含むディスプレイ104が設けられている。ディスプレイ104は、筐体103内に設けられた液晶表示素子やエレクトロルミネセンス表示素子と、表示素子が生成する画像を上記表示部材へ導光するプリズム等の光学素子と、ガラスやプラスチックなど透明な素材からなり、ハーフミラーやホログラムなどを備えた上記表示部材とによって構成される。ディスプレイ104が非表示状態のとき、表示部材は素通しとなり、ユーザーUS前方の対象物からの光を透過できる。また、表示状態ではハーフミラーやホログラムによってユーザーの眼に画像を導くことにより、表示部材の少なくとも一部に画像をユーザーUSが視認可能に表示する。
筐体103の側面には、HMD100を装着したユーザーUSの視野内に含まれない位置に、カバー部材105が取り付けられている。具体的には、図3に示すように、筐体103の側面に形成された一対のガイドレール103aは、フレーム101に沿ってL字状に延在している。又、ガイドレール103aは、図4の断面に示すように相互に対向して庇状に突き出している。なお、図4において、筐体103内に配置される電子回路や配線などは図示を省略している。
図2,3において、プラスチック製やゴム製などの可撓性のカバー部材105は、肉厚の厚いつまみ部105aと、つまみ部105aの端部から延在する薄板状の可撓性を有する遮蔽部105bとから一体的に形成されている。つまみ部105aは、上下に突出した薄板状の係合部105c(図4)を有し、遮蔽部105bの幅は係合部105cの全幅に等しくなっている。
カバー部材105は、ガイドレール103aの内側に配置されたとき、係合部105c及び遮蔽部105bがガイドレール103aに係合して脱落が抑制される。また、つまみ部105aを把持したユーザーUSの手動操作に従い、カバー部材105はガイドレール103aに沿って、図2に示す開放位置と、ガイドレール103aの末端である図3に示す遮蔽位置との間でスライド可能となっている。遮蔽位置へとスライドする際に、遮蔽部105bはガイドレール103aに沿って曲がりながら進行し、遮蔽位置へと到達したときには、筐体103から前方を向くようにして露出したレンズ112aとタリーランプ112cを遮蔽するようになっている。従って、カバー部材105が遮蔽位置にあると、第三者はレンズ112a及びタリーランプ112cが視認できなくなる。なお、本実施形態では、「開放位置」とは、遮蔽位置以外の位置を意味するものとする。
図6は、開放位置におけるカバー部材105の遮蔽部105bの周囲を示す図であり、図7は、遮蔽位置におけるカバー部材105の遮蔽部105bの周囲を示す図である。図2,3では図示していないが、筐体103に形成された絶縁部103b上に第1の端子103cが取り付けられている。一方、絶縁部103bに対してU字状に折り曲げた形状のバネ板103dの一端が取り付けられ、その他端には、第1の端子103cに対向するようにして第2の端子103eが取り付けられている。バネ板103dは、スライドする遮蔽部105bに係合可能な位置に配置されている。両端子103c、103eは、不図示の配線により,後述するプロセッサ116に接続されている。
図6に示すように、遮蔽位置になるまで(すなわち開放位置で)は、後述するカメラ部112のレンズ112aの少なくとも一部が遮蔽部105bにより開放されており、またバネ板103dが遮蔽部105bにより押圧されないので傾いた状態に保持され、両端子103c、103eは離間した状態に保持される。一方、図7に示すように、遮蔽位置に到達すると、レンズ112aの全てが遮蔽部105bにより遮蔽され、またバネ板103dがスライドした遮蔽部105bにより押圧されて弾性変形するため、両端子103c、103eは接触した状態になる。これにより両端子103c、103e間に電気的導通が確立されるので、それにより出力された遮蔽信号をプロセッサ116が受信することで、カバー部材105が遮蔽位置にあることを検出できる。遮蔽部105bが遮蔽位置から退避すると、バネ板103dは弾性変形から復帰して、図6に示す姿勢に戻るので、再び両端子103c、103eは離間した状態に保持される。尚、上述したような接触式センサの代わりに、光電式センサなどの非接触式のセンサを用いても良く、カバー部材の位置を認識するための構成は種々の態様を採用することができる。
本実施形態では、スライド式のカバー部材105としているが、このタイプに限る必要はない。一眼レフカメラやビデオカメラに搭載されている,レンズに対して脱着が可能な丸いカバー部材や、ヒンジを持つフタのように開閉するカバー部材、上下或いは左右両側から閉じられるカバー部材なども使用できる。但し、スライド式のカバー部材の場合、一般的な脱着で使用するカバー部材に比べて、脱着の手間がなく操作性に優れるという利点がある。いずれにしても、ユーザーに視認されない位置で、カバー部材が開放位置と遮蔽位置との間で移動し得るように構成することで、カバー部材がユーザーの視界を遮ることがなくなり、視認性がカバー部材によって妨げられることがない。
筐体103内には、HMD100の機能を発揮するための電子回路が収容されている。具体的には、図5に示すように、操作部111,レンズ112aと固体撮像素子112bとを備えたカメラ部(撮影装置)112,通信部113,メモリ114,ディスプレイ104を駆動する表示駆動部115,及び制御部としてのプロセッサ116が、筐体103内に収容されている。SoC(System on Chip)プロセッサ116は、入出力デバイスと通信を行い、信号処理、画像処理を行うようになっており、内蔵されたコンピュータが制御プログラムに応じて後述する制御方法を実行する。本実施形態においては、表示駆動部115と、ディスプレイ104とで警報装置を構成する。
操作部111は、表示駆動部115のオンオフ操作やカメラ部112のアプリケーションの起動及びレリーズ操作等を行う為の、図示していないスイッチやポインティングデバイスなどを含む入力装置である。なお、操作部111は、ユーザーの声によって操作を行うマイクであってもよい。カメラ部112は、レンズ112aを介して固体撮像素子112bに結像された被写体光を光電変換して、プロセッサ116に画像信号を出力するように動作する。カメラ部112の撮影用アプリケーションが作動している間、赤色LED等のタリーランプ112cが点灯する。動画撮影中はタリーランプ112cが点滅するようにしてもよい。本実施形態において、撮影装置としてのカメラ部112は、操作部111の操作によるユーザーからの撮影指示により、ユーザーの周囲の被写体の撮影を開始し得る第1の動作モードと、ユーザーの撮影指示では撮影を開始しない第2の動作モードとを有する。第1の動作モードは、プロセッサ116においてカメラ部112を制御して撮影を可能とするアプリケーションが作動している状態(レリーズ時を含む)であり、アプリケーションが起動した後はレリーズ操作に応じて撮影ができる。つまり、カメラ部112が撮影動作中であるときや撮影待機中の状態を含む。一方、第2の動作モードは、プロセッサ116においてカメラ部112を制御して撮影を可能とするアプリケーションが終了又は中断した状態であり、例えばカメラ部112がスリープした状態や電源オフされた状態である。
通信部113は、外部端末との通信を行い、インターネットやLANを介して、ネットワークからの情報を取得し、表示駆動部115からディスプレイ104への表示を行ったり、カメラ部112や不図示のセンサからの入力情報をネットワークへ送信する役割を担う。メモリ114は、カメラ部112から得られた画像データを記憶する。表示駆動部115は、プロセッサ116からの制御に従い、既定の画像や記号をディスプレイ104に表示する。
次に、図8、9を参照して、本実施形態にかかるHMD100の制御方法について説明する。図8は、ユーザーUSの操作とHMD100の動作との関係を示す梯子チャートである。ここでは動画撮影を例にとり説明する。カバー部材105の開閉監視動作が実行されているものとする。ここで、図8のステップS101で、ユーザーUSがカバー部材105を遮蔽位置から開放位置へと移動させることで、HMD100のプロセッサ116は、ステップS121でカバーオープン警報が発せられるように制御を行う。換言すれば、撮像装置であるカメラ部112は、カメラ部のアプリケーションが動作する第1の動作モードと、カメラ部のアプリケーションが停止している第2の動作モードとを有しており、プロセッサ16は、カメラ部のアプリケーションが動作中であり且つカバー部材が開放位置にあるときに警報装置を制御して警報を発する、とも言える。次いでユーザーUSがステップS102で操作部111を用いてカメラ部112の撮影用アプリケーションの起動操作を行うと、プロセッサ116は、ステップS111でカメラ部112のアプリケーションを起動させると共に、タリーランプ112cを点灯させ,更にステップS122でカバーオープン警報を停止する。なお、カバー部材105が開放位置へ移動することに連動して、カメラ部112のアプリケーションを起動させ、ステップS121の警報を無くすようにしてもよい。
更にユーザーUSが、ステップS103で操作部111のレリーズスイッチをオン操作すると、プロセッサ116は、ステップS112でカメラ部112に撮影動作を行わせ、メモリ114に動画像データを取り込む。またユーザーUSが、ステップS104でレリーズスイッチをオフ操作すると、プロセッサ116は、ステップS113でカメラ部112の撮影動作を終了させる。更にユーザーUSが、ステップS105で操作部111を用いてカメラ部112の撮影用アプリケーションの停止操作を行うと、プロセッサ116は、ステップS114でカメラ部112の撮影用アプリケーションを終了してタリーランプ112cを消灯すると同時に、ステップS123でカバーオープン警報を発する。ユーザーUSが、ステップS106でカバー部材105を開放位置から遮蔽位置へと移動させることで、プロセッサ116は、ステップS124でカバーオープン警報を停止する。尚、静止画像の撮影も同様である。
次に,図9を用いて、具体的なカバー部材105の開閉監視動作について説明する。図9のステップS201で、プロセッサ116は、両端子103c、103eを含む回路(検出装置)内の信号を検出することで、カバー部材105が遮蔽位置にあるか否かを検出する。カバー部材105が遮蔽位置にある場合、HMD100に備えられたレンズ112aもタリーランプ112cも周囲から観察されないのでカメラ撮影が不能とわかり、周囲の者に不安を与える恐れがないため、フローはステップS204へと進んでプロセッサ116は、ステップS204で警報が発せられているか否かを判断する。ステップS204において、警報が発せられている場合、ステップS205で警報を停止する一方、警報が発せられていないと判断した場合はそのまま、ステップS201へとフローを戻し監視動作を続行する。
一方、ユーザーUSがカバー部材105を遮蔽位置から開放位置へとスライドさせたとすると、遮蔽部105bの退避により両端子103c、103eが離間するので回路の導通が断たれるため、ステップS201でプロセッサ116はカバー部材105が開放位置へと移動したと判断し、更にステップS202で、カメラ部112のアプリケーションが作動しているか否かを判断する。カバー部材105の操作とは独立した不図示のスイッチの操作により、カメラ部112の撮影用アプリケーションが作動している場合、ユーザーUS自らの意思により撮影を行うものと判断できるので警報は行わない。このとき、プロセッサ116は、ステップS204で警報が発せられているか否かを判断し、警報が発せられている場合、ステップS205で警報を停止する一方、警報が発せられていないと判断した場合はそのまま、ステップS201へとフローを戻し監視動作を続行する。
尚、カメラ部112の撮影用アプリケーションの起動に応じて、タリーランプ112cが点灯又は点滅することで、第三者に撮影の準備又は撮影を行っていることを知らしめることができる。かかる状態では、ユーザーUSがレリーズスイッチをオン操作することで、直ちに静止画又は動画の撮影が行われるため、シャッタチャンスを逃す恐れが少ない。
一方、プロセッサ116が、ステップS202で、カメラ部112のアプリケーションが作動していないと判断したときは、ユーザーUSに撮影の意図がないにも関わらず、退避したカバー部材105の遮蔽部105bによりレンズ112a及びタリーランプ112cが露出されていることを意味する。よって、周囲の者がプライバシー侵害を恐れる可能性があることをユーザーに知らしめるべく、ステップS203でプロセッサ116は,カバーオープン警報が発生されるように制御を行う。その後フローは、ステップS201へと戻り、ユーザーUSがカバー部材105を開放位置から遮蔽位置へとスライドさせれば、ステップS204,S205を経てカバーオープン警報は中止される。
図10は、ディスプレイ104の警報の表示例を示す図である。図11は、HMD100を装着したユーザーUSが視認する対象物の例である。図10において、ディスプレイ104は、カメラ部112の撮影用アプリケーションが起動した時は、アプリマークMK1を右下に表示し、プロセッサ116がカバーオープン警報を発するように制御したときは、警報マークMK2が右下に表示される。尚、両者は一緒に表示されることはないので、互いに重なる位置に表示するようにしても構わない。
図9のステップS203で、プロセッサ116がカバーオープン警報を発したことに応動し、表示駆動部115は、ディスプレイ104に警報マークMK2を表示させる。これにより図11に示すように、ユーザーUSは、素通しのディスプレイ104を介して前方の対象物を視認すると共に、ディスプレイ104に表示された警報マークMK2を視認できるので、視界を確保しつつ、周囲の者がプライバシー侵害を恐れる可能性があることを認識できる。そこでユーザーUSは、カバー部材105を開放位置から遮蔽位置へとスライドさせるか、或いは撮影の意図がある場合には、カメラ部112のアプリケーションを起動することができ,それにより警報マークMK2は非表示となる。
ユーザーUSへのカバーオープン警報は、ディスプレイ104における表示に限らず、例えばHMD100に小型のスピーカ等を装備し、スピーカ等からビープ音や、警報の音声アナウンスを行ってもよく、これらいずれかを表示と同時に行うことも可能である。尚、警報音は、撮影を行う場合にも、ユーザーUSと周囲にいる第三者に、タリーランプ112cのように撮影を明示的に示す手段としても利用できる。例えば、スピーカを用いて別の警報を発することも出来、例えばカバー部材105が開放位置にあり、且つカメラ部112のアプリケーションが起動されたときに、「写真を撮ります」、「ビデオを撮ります」といったアナウンスや効果音を発することで、周囲の第三者はユーザーUSが撮影の意図があることを認識可能となる。
(第2の実施形態)
次に、第2の実施形態について説明する。図12は、第2の実施形態にかかるHMD100の回路構成を示すブロック図である。図13は、本実施形態にかかるプロセッサ116の監視動作を示すフローチャートである。図12において、本実施形態にかかるHMD100では、端子103c、103eの代わりに、カメラ部112の固体撮像素子112bを、カバー部材105が遮蔽位置にあることを検出する検出センサとして用いている。又、警報を発生する装置としてスピーカ117を設けているが、ディスプレイ104の警報表示と併用しても良い。
次に、第2の実施形態について説明する。図12は、第2の実施形態にかかるHMD100の回路構成を示すブロック図である。図13は、本実施形態にかかるプロセッサ116の監視動作を示すフローチャートである。図12において、本実施形態にかかるHMD100では、端子103c、103eの代わりに、カメラ部112の固体撮像素子112bを、カバー部材105が遮蔽位置にあることを検出する検出センサとして用いている。又、警報を発生する装置としてスピーカ117を設けているが、ディスプレイ104の警報表示と併用しても良い。
具体的に、本実施形態の監視動作を説明する。ここで、プロセッサ116は、ユーザーの撮影指示では撮影を開始しない第2の動作モードにおいて、輝度を取得する処理を行うプログラムを実行することにより、操作部111の操作によるユーザーの撮影指示では撮影を開始しないように制御しつつ、所定の時間間隔で規定の時間起動するように(つまり、周期的に一時起動するように)カメラ部112を制御する。本実施形態の第2の動作モードにおいては、プロセッサ116が以下のフローを実行する。図13のステップS301で、プロセッサ116は、ユーザーの撮影意思の有無にかかわらずカメラ部112をバックグラウンドで動作させ、固体撮像素子112bから画像信号を定期的(例えば数秒間に1回程度)取得して、明るさを表す画像信号としての輝度値を抽出する。この時点ではカメラ部112の撮影用アプリケーションは起動されていないので、固体撮像素子112bの画像信号は画像形成のための画像処理が行われず、処理に時間がかかることはない。また画像信号取り込みの頻度を少なくし、或いは画像信号を取り込む画素を絞り込むことで、監視に要する消費電力を抑えることができる。次いで、ステップS302で、プロセッサ116は、求めた輝度値を閾値と比較する。ここで、閾値としては、例えば、1luxとすることができる。
求めた輝度値が閾値未満である場合、カバー部材105が遮蔽位置にあると推認でき、HMD100に備えられたレンズ112aもタリーランプ112cも周囲から観察されないのでカメラ撮影が不能とわかり、周囲の者に不安を与える恐れがないため、フローはステップS305へと進む。尚、夜間等周囲が暗い場合には、カバー部材105が開放位置にあったとしても、入射する被写体光量が低いので、求めた輝度値が閾値未満となる場合もあるが、その場合には例えユーザーの周囲に第三者がいても、カバー部材105が開放位置にあることを視認不能なケースが殆どであるので特に問題はない。
更にプロセッサ116は、ステップS305で警報が発せられているか否かを判断し、警報が発せられている場合、ステップS306で警報を停止する一方、警報が発せられていないと判断した場合はそのまま、ステップS301へとフローを戻し監視動作を続行する。
一方、ユーザーUSがカバー部材105を遮蔽位置から開放位置へとスライドさせたとすると、遮蔽部105bがレンズ112aから退避するので被写体光が入射するようになる。よって、ステップS302でプロセッサ116が、固体撮像素子112bから出力された画像信号に基づく輝度値が閾値以上に増大していると判断したときは、更にステップS303で、カメラ部112の撮影用アプリケーションが起動しているか否かを判断する。カメラ部112の撮影用アプリケーションが起動している場合、ユーザーUS自らの意思により撮影を行うものと判断できるので警報は行わない。このとき、プロセッサ116は、ステップS305で警報が発せられているか否かを判断し、警報が発せられている場合、ステップS306で警報を停止する一方、警報が発せられていないと判断した場合はそのまま、ステップS301へとフローを戻し監視動作を続行する。
一方、プロセッサ116が、ステップS303で、カメラ部112の撮影用アプリケーションが起動していないと判断したときは、ユーザーUSに撮影の意図がないにも関わらず、退避したカバー部材105の遮蔽部105bによりレンズ112a及びタリーランプ112cが露出されていることを意味する。よって、周囲の者がプライバシー侵害を恐れる可能性があることをユーザーに知らしめるべく、ステップS304でプロセッサ116は,スピーカ117からカバーオープン警報を発するように制御する。その後フローは、ステップS301へと戻り、ユーザーUSがカバー部材105を開放位置から遮蔽位置へとスライドさせれば、ステップS305,S306を経てカバーオープン警報は中止される。
(第3の実施形態)
図14は、第3の実施形態にかかるHMD100の回路構成を示すブロック図である。図15は、本実施形態にかかるプロセッサ116の監視動作を示すフローチャートである。本実施形態においては、プロセッサ116が内蔵している画像処理部116aを用いて、カメラ部112の固体撮像素子112bから出力された画像信号を画像処理し、パターンマッチングで画像認識を行うことなどにより、人物が含まれているか否かを検出する。
図14は、第3の実施形態にかかるHMD100の回路構成を示すブロック図である。図15は、本実施形態にかかるプロセッサ116の監視動作を示すフローチャートである。本実施形態においては、プロセッサ116が内蔵している画像処理部116aを用いて、カメラ部112の固体撮像素子112bから出力された画像信号を画像処理し、パターンマッチングで画像認識を行うことなどにより、人物が含まれているか否かを検出する。
具体的に、本実施形態の監視動作を説明する。ここで、プロセッサ116は、ユーザーの撮影指示では撮影を開始しない第2の動作モードにおいて、人物を抽出する処理を行うプログラムを実行することにより、操作部111の操作によるユーザーの撮影指示では撮影を開始しないように制御しつつ、所定の時間間隔で規定の時間起動するように(つまり、周期的に一時起動するように)カメラ部112を制御する。本実施形態の第2の動作モードにおいては、プロセッサ116が以下のフローを実行する。
図14のステップS401で、プロセッサ116は、ユーザーの撮影意思の有無にかかわらずカメラ部112をバックグラウンドで動作させ、固体撮像素子112bから画像信号を定期的(例えば数秒間に1回程度)入力する。このときタリーランプ112cは点灯させない。次いで、ステップS402で、内蔵された画像処理部116aが、入力された画像信号から人物画像を抽出する。人物画像の抽出については、例えば特開2004-228770号公報に記載の技術を用いることができる。尚、画像処理部116aが人物を抽出したとしても、画像信号の入力から人物判定までの時間が短いので、第三者が問題視する恐れは少ない。人物画像の抽出に供される画像信号をユーザーが閲覧したり利用できないように構成してもよい。
プロセッサ116は、ステップS403で、画像処理部116aが入力された画像信号から人物画像を抽出できたか否かを判断し、抽出できなかった場合は、カバー部材105が遮蔽位置にあるか、又は開放位置にあったとしてもカメラ部112の画角内に人物がいないと推認し、プライバシーに関わる問題は生じないとして、フローをステップS406へと進める。
更にプロセッサ116は、ステップS406で警報が発せられているか否かを判断し、警報が発せられている場合、ステップS407で警報を停止する一方、警報が発せられていないと判断した場合はそのまま、ステップS401へとフローを戻し監視動作を続行する。
一方、ステップS403で、画像処理部116aが入力された画像信号から人物画像を抽出できたと判断したときは、カバー部材105が開放位置にあって且つカメラ部112の画角内に人物がいると推認し、プロセッサ116は、更にステップS404で、カメラ部112の撮影用アプリケーションが起動しているか否かを判断する。カメラ部112のアプリケーションが起動している場合、ユーザーUS自らの意思により人物の撮影を行うものと判断できるので警報は不要である。このとき、プロセッサ116は、ステップS406で警報が発せられているか否かを判断し、警報が発せられている場合、ステップS407で警報を停止する一方、警報が発せられていないと判断した場合はそのまま、ステップS401へとフローを戻し監視動作を続行する。
一方、プロセッサ116が、ステップS405で、カメラ部112のアプリケーションが起動していないと判断したときは、ユーザーUSに撮影の意図がないにも関わらず、退避したカバー部材105の遮蔽部105bによりレンズ112a及びタリーランプ112cが露出されていることを意味する。よって、周囲の者がプライバシー侵害を恐れる可能性があることをユーザーに知らしめるべく、ステップS405でプロセッサ116は,カバーオープン警報が発せられるように制御を行う。その後フローは、ステップS401へと戻り、ユーザーUSがカバー部材105を開放位置から遮蔽位置へとスライドさせれば、ステップS406,S407を経てカバーオープン警報は中止される。
(第4の実施形態)
図16は、第4の実施形態にかかるHMD100の回路構成を示すブロック図である。図17は、本実施形態にかかるHMD100と外部サーバ200の動作を示すフローチャートである。本実施形態においては、HMD100は、測位装置として、GPS(Global Positioning System)受信装置118を有しており、現在位置を検出可能となっている。又、通信部113は、ネットワークを介して外部サーバ200にアクセスできるようになっている。
図16は、第4の実施形態にかかるHMD100の回路構成を示すブロック図である。図17は、本実施形態にかかるHMD100と外部サーバ200の動作を示すフローチャートである。本実施形態においては、HMD100は、測位装置として、GPS(Global Positioning System)受信装置118を有しており、現在位置を検出可能となっている。又、通信部113は、ネットワークを介して外部サーバ200にアクセスできるようになっている。
ここで、撮影は完全に禁止されてはいないが、例えば駅や交差点など人が多い場所、住宅街など撮影するとプライバシー侵害の可能性が高いことが予め判っている場所、または許可なく撮影を禁ずると申告されている場所などは、「撮影を注意すべき場所」と規定する。これに対し、著作権の侵害の恐れがある劇場や映画館、規則により撮影を禁止される法廷や公的機関、機密保護のため撮影が禁止されている一般企業内などは、「撮影を禁止される場所」と規定する。上述したように、HMD100はユーザーUSが装着して任意に移動できるものであるから、ユーザーUSが意図せず「撮影を注意すべき場所」や「撮影を禁止される場所」に進入してしまい、第三者との間でトラブルを招く恐れがある。本実施形態では、かかる問題を解消するものである。
より具体的に、本実施形態の監視動作について説明する。まず、外部サーバ200には、「撮影を注意すべき場所」及び「撮影を禁止される場所」の位置情報が記録されているものとする。ここで、HMD100のプロセッサ116は、図17のステップS501において、GPS受信装置118を介して現在位置を取得する。これはHMD100の電源をオン操作した後に、バックグラウンドにて行える。或いは、カバー部材105が開放位置に移動したことを検出して、ステップS501からのフローを実行しても良い。
更にプロセッサ116は、ステップS502において、通信部113を介して外部のサーバ200にアクセスし、取得した現在位置を送信する。すると、外部サーバ200は、ステップS521において、送信された現在位置が、記録されている「撮影を注意すべき場所」及び「撮影を禁止される場所」に含まれるか否かを判定し、その判定結果の情報をHMD100へと返信する。
プロセッサ116は、ステップS504において、通信部113を介して判定結果の情報を受信し、それに基づいて、ステップS504で現在位置が、「撮影を注意すべき場所」又は「撮影を禁止される場所」であるか否かを判断する。現在位置が、「撮影を注意すべき場所」及び「撮影を禁止される場所」のいずれでもないと判断した場合、プロセッサ116は、ステップS510にて、ステップS510で警報発令又は撮影禁止が実行されているか否かを判断する。ここで、警報発令又は撮影禁止が実行されている場合、プロセッサ116は、ステップS511で警報発令又は撮影禁止を解除する一方、警報発令又は撮影禁止が実行されていないと判断した場合はそのまま、ステップS501へとフローを戻し監視動作を続行する。
これに対し、ステップS504で、現在位置が、「撮影を注意すべき場所」又は「撮影を禁止される場所」であると判断した場合、プロセッサ116は、ステップS506にて、カバー部材105が開放位置にあるか否かを判断する。プロセッサ116が、カバー部材105が遮蔽位置にあると判断すれば、撮影を行うことができないのであるから、フローをステップS510へと移行して、警報発令又は撮影禁止が実行されている場合には、これを解除して監視動作を続行する。
一方、カバー部材105が開放位置にあると判断した場合、プロセッサ116は、外部サーバ200から受信した情報に基づいて、現在位置が、「撮影を注意すべき場所」又は「撮影を禁止される場所」のいずれであるかを判定する。ここで、現在位置が「撮影を注意すべき場所」であると判断した場合、プロセッサ116は、ステップS512でカメラ部112の撮影用アプリケーションが起動しているか否かを判断する。カメラ部112の撮影用アプリケーションが起動している場合、ユーザーUS自らの意思により撮影を行うものと判断できるから、フローをステップS510へと移行して、警報発令又は撮影禁止が実行されている場合には、これを解除して監視動作を続行する。
これに対し、プロセッサ116が、ステップS512で、カメラ部112の撮影用アプリケーションが起動していないと判断したときは、ユーザーUSに撮影の意図がないにも関わらず、退避したカバー部材105の遮蔽部105bによりレンズ112a及びタリーランプ112cが露出されていることを意味する。よって、「撮影を注意すべき場所」にいる者がプライバシー侵害を恐れる可能性があることをユーザーに知らしめるべく、ステップS513でプロセッサ116は,カバーオープン警報が発せられるように制御を行う。その後フローをステップS501へと移行して、監視動作を続行する。
更に、ステップS507にて、現在位置が「撮影を禁止される場所」であると判断した場合、強制装置としてのプロセッサ116が、ステップS508で、カメラ部112の撮影用アプリケーションの起動を禁止し、ステップS509で、撮影禁止警報を発する。その後フローをステップS501へと移行して、監視動作を続行する。
図18は、ディスプレイ104の撮影禁止警報の表示例を示す図である。図19は、HMD100を装着したユーザーUSが視認する対象物の例である。図18において、ディスプレイ104は、プロセッサ116が撮影禁止警報を発したときは、撮影禁止警報マークMK3を中央に大きく表示する。これにより、ユーザーUSは現在位置が撮影禁止を禁止される場所であると認識できる。かかる撮影禁止警報は、ユーザーUSがカバー部材105を遮蔽位置へとスライドすることによって解除される(図17のステップS506,S511)。尚、カバーオープン警報については、図11に示すものと同様である。
以上の実施形態では、カメラ部112の光軸が、HMD100の前方に向けられているが、後方や横方向を撮影可能なカメラ部をHMD100に装備することも可能である。その場合も、ユーザーUSがレンズカバーをしていることを直接視認することが困難である為、本発明の効果がより期待できる。
カメラ部112の撮影用アプリケーション起動に応じて、カバー部材105を自動で開閉する駆動機構等を設けてもよい。但し、HMD100には、できるだけ小型で軽量なことが求められるため、限られたスペースにカバー部材105を開閉する駆動機構を設けることは一般的には困難である。また、種々の撮影モードを備えている場合に、ユーザーUSにモード選択を行わせる機会を与えるようにするという観点や、モバイル機器としてバッテリー駆動されることが多いHMD100の電力消費を極力抑えるという観点から、カメラ部112のアプリケーション起動と、カバー部材105の開閉動作とを必ずしも連動させる必要はないといえる。
カバー部材105の開閉を検知する装置として、小型化が可能な磁気スイッチを用いても良い。また、上記各実施形態では、右目の前にディスプレイを配置しているが、左目の前に配置してもよいし、両眼の前にそれぞれディスプレイを配置してもよい。
以上述べた本実施形態によれば、前記カバー部材が前記遮蔽位置に移動したことを検出して遮蔽信号を出力する検出装置を更に有し、前記制御部は、前記撮影装置が前記第2の動作モードにあり、前記検出装置から前記遮蔽信号を受信しない場合,前記警報装置に前記警報を出力させるので、プライバシー侵害に関わるトラブルを未然に防止できる。
更に、前記制御部は、前記検出装置から前記遮蔽信号を受信した場合、プライバシー侵害の恐れが少ないとして、前記警報装置が前記警報を出力するのを禁止する。
更に、前記撮影装置は、前記第2の動作モードにおいて周期的に一時起動し、前記制御部は、前記撮影装置が前記第2の動作モードにあるときに一時起動した前記撮影装置の前記固体撮像素子が閾値以上の明るさを表す画像信号を出力した場合、前記警報装置に前記警報を出力させるので、プライバシー侵害に関わるトラブルを未然に防止できる。
更に、前記制御部は、前記固体撮像素子が閾値未満の明るさを表す画像信号を出力した場合、プライバシー侵害の恐れが少ないとして、前記警報装置が前記警報を出力しないように制御する。
更に、前記撮影装置から出力される画像信号を処理して画像認識する画像処理部をさらに備え、前記撮影装置は、前記第2の動作モードにおいて周期的に一時起動し、前記撮影装置が前記第2の動作モードにあるときに一時起動した前記撮影装置の前記固体撮像素子が、前記光学系を介して被写体光を受光して,それに対応する画像信号を前記画像処理部に入力し、前記画像処理部が、入力された画像信号の表す画像に人物が含まれていると判断したときは、前記制御部は、前記警報装置に前記警報を出力させるので、プライバシー侵害に関わるトラブルを未然に防止できる。
更に、前記画像処理部が、入力された画像信号の表す画像に人物が含まれていないと判断したときは、プライバシー侵害の恐れが少ないとして、前記制御部は、前記警報装置に前記警報を出力するのを禁止する。
更に、前記警報装置は、前記ディスプレイに警報に関する画像を表示することにより前記警報を出力するので、ユーザーが視覚を通じて認識できる。
更に、前記警報装置は、スピーカにより警報に関する音を発生させることにより前記警報を出力するので、ユーザーが聴覚を通じて認識できる。
更に、前記HMDが撮影を禁止されるべき場所にあることを検知する測位装置をさらに備え、前記HMDが撮影を禁止されるべき場所にあることを前記測位装置が検知したときは、前記制御部は、前記撮影装置を強制的に前記第2の動作モードにするので、ユーザーが撮影を禁止されるべき場所で,誤って撮影を行うことを回避できる。
更に、前記測位装置は、前記HMDが撮影を注意すべき場所にあることをさらに検知し、前記制御部は、前記HMDが撮影を注意すべき場所にあることを前記測位装置が検知し、前記撮影装置が前記第2の動作モードにあり且つ前記カバー部材が前記開放位置にあるときに、前記警報装置に警報を出力させるので、ユーザーに、撮影を注意すべき場所にいるから、前記HMDの取り扱いに注意するよう促すことができる。
本発明は、本明細書に記載の実施形態に限定されるものではなく、他の実施形態や変形例を含むことは、本明細書に記載された実施形態や技術思想から本分野の当業者にとって明らかである。
100 ヘッドマウントディスプレイ(HMD)
101 フレーム
102 眼鏡レンズ
103 筐体
103a ガイドレール
103b 絶縁部
103c 端子
103d バネ板
103e 端子
104 ディスプレイ
105 カバー部材
105a つまみ部
105b 遮蔽部
105c 係合部
111 操作部
112 カメラ部
112a レンズ
112b 固体撮像素子
112c タリーランプ
113 通信部
114 メモリ
115 表示駆動部
116 プロセッサ
116a 画像処理部
117 スピーカ
118 受信装置
200 外部サーバ
MK1 アプリマーク
MK2 警報マーク
MK3 撮影禁止警報マーク
US ユーザー
101 フレーム
102 眼鏡レンズ
103 筐体
103a ガイドレール
103b 絶縁部
103c 端子
103d バネ板
103e 端子
104 ディスプレイ
105 カバー部材
105a つまみ部
105b 遮蔽部
105c 係合部
111 操作部
112 カメラ部
112a レンズ
112b 固体撮像素子
112c タリーランプ
113 通信部
114 メモリ
115 表示駆動部
116 プロセッサ
116a 画像処理部
117 スピーカ
118 受信装置
200 外部サーバ
MK1 アプリマーク
MK2 警報マーク
MK3 撮影禁止警報マーク
US ユーザー
Claims (13)
- ユーザーの頭部に装着される装着部材と、
前記装着部材に保持され、前記ユーザーが視認可能に画像を表示するディスプレイと、 前記装着部材に取り付けられ、光学系と固体撮像素子とを備えてなり、前記ユーザーの撮影指示により前記ユーザーの周囲の被写体の撮影を開始し得る第1の動作モードと、前記ユーザーの撮影指示では撮影を開始しない第2の動作モードとを有する撮影装置と、
前記装着部材に取り付けられ、前記ユーザーに視認されない位置で、前記ユーザーの操作によって、前記撮影装置の光学系を開放する開放位置と、前記光学系を遮蔽する遮蔽位置との間で移動し得るカバー部材と、
前記ユーザーが感知可能な警報を出力する警報装置と、
前記撮影装置が前記第2の動作モードにあり且つ前記カバー部材が前記開放位置にあるときに、前記警報装置を制御して警報を出力させる制御部と、を有することを特徴とするヘッドマウントディスプレイ。 - 前記カバー部材が前記遮蔽位置に移動したことを検出して遮蔽信号を出力する検出装置を更に有し、前記制御部は、前記撮影装置が前記第2の動作モードにあり、前記検出装置から前記遮蔽信号を受信しない場合,前記警報装置に前記警報を出力させる請求項1に記載のヘッドマウントディスプレイ。
- 前記制御部は、前記検出装置から前記遮蔽信号を受信した場合、前記警報装置が前記警報を出力するのを禁止する請求項2に記載のヘッドマウントディスプレイ。
- 前記撮影装置は、前記第2の動作モードにおいて周期的に一時起動し、前記制御部は、前記撮影装置が前記第2の動作モードにあるときに一時起動した前記撮影装置の前記固体撮像素子が閾値以上の明るさを表す画像信号を出力した場合、前記警報装置に前記警報を出力させる請求項1に記載のヘッドマウントディスプレイ。
- 前記制御部は、前記固体撮像素子が閾値未満の明るさを表す画像信号を出力した場合、前記警報装置が前記警報を出力しないように制御する請求項4に記載のヘッドマウントディスプレイ。
- 前記撮影装置から出力される画像信号を処理して画像認識する画像処理部をさらに備え、前記撮影装置は、前記第2の動作モードにおいて周期的に一時起動し、前記撮影装置が前記第2の動作モードにあるときに一時起動した前記撮影装置の前記固体撮像素子が、前記光学系を介して被写体光を受光して,それに対応する画像信号を前記画像処理部に入力し、前記画像処理部が、入力された画像信号の表す画像に人物が含まれていると判断したときは、前記制御部は、前記警報装置に前記警報を出力させる請求項1に記載のヘッドマウントディスプレイ。
- 前記画像処理部が、入力された画像信号の表す画像に人物が含まれていないと判断したときは、前記制御部は、前記警報装置に前記警報を出力するのを禁止する請求項6に記載のヘッドマウントディスプレイ。
- 前記警報装置は、前記ディスプレイに警報に関する画像を表示することにより前記警報を出力する請求項1~7のいずれかに記載のヘッドマウントディスプレイ。
- スピーカをさらに有し、前記警報装置は、前記スピーカにより警報に関する音を発生させることにより前記警報を出力する請求項1~8のいずれかに記載のヘッドマウントディスプレイ。
- 前記ヘッドマウントディスプレイが撮影を禁止されるべき場所にあることを検知する測位装置をさらに備え、前記ヘッドマウントディスプレイが撮影を禁止されるべき場所にあることを前記測位装置が検知したときは、前記制御部は、前記撮影装置を強制的に前記第2の動作モードにする請求項1~9のいずれかに記載のヘッドマウントディスプレイ。
- 前記測位装置は、前記ヘッドマウントディスプレイが撮影を注意すべき場所にあることをさらに検知し、前記制御部は、前記ヘッドマウントディスプレイが撮影を注意すべき場所にあることを前記測位装置が検知し、前記撮影装置が前記第2の動作モードにあり且つ前記カバー部材が前記開放位置にあるときに、前記警報装置に警報を出力させる請求項10に記載のヘッドマウントディスプレイ。
- ユーザーの頭部に装着される装着部材と、前記装着部材に保持され、前記ユーザーが視認可能に画像を表示するディスプレイと、前記装着部材に取り付けられ、光学系と固体撮像素子とを備え前記ユーザーの周囲の被写体を撮影する撮影装置と、前記装着部材に取り付けられ、前記ユーザーに視認されない位置で、前記ユーザーの操作によって、前記撮影装置の光学系を開放する開放位置と、前記光学系を遮蔽する遮蔽位置との間で移動し得るカバー部材と、前記ユーザーが感知可能な警報を出力する警報装置とを有するヘッドマウントディスプレイにおいて、前記撮影装置が、前記ユーザーの撮影指示では撮影を開始しない動作モードにあり且つ前記カバー部材が前記開放位置にあるときに、前記警報装置に警報を出力させるように制御することを特徴とするヘッドマウントディスプレイの制御方法。
- ユーザーの頭部に装着される装着部材と、前記装着部材に保持され、前記ユーザーが視認可能に画像を表示するディスプレイと、前記装着部材に取り付けられ、光学系と固体撮像素子とを備え前記ユーザーの周囲の被写体を撮影する撮影装置と、前記装着部材に取り付けられ、前記ユーザーに視認されない位置で、前記ユーザーの操作によって、前記撮影装置の光学系を開放する開放位置と、前記光学系を遮蔽する遮蔽位置との間で移動し得るカバー部材と、前記ユーザーが感知可能な警報を出力する警報装置と、少なくとも前記警報装置を制御するプロセッサとを有するヘッドマウントディスプレイにおいて、前記プロセッサに内蔵されたコンピュータを、前記撮影装置が、前記ユーザーの撮影指示では撮影を開始しない動作モードにあり且つ前記カバー部材が前記開放位置にあるときに、前記警報装置が警報を出力するように機能させることを特徴とする制御プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014126918 | 2014-06-20 | ||
JP2014-126918 | 2014-06-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015194286A1 true WO2015194286A1 (ja) | 2015-12-23 |
Family
ID=54935280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/063575 WO2015194286A1 (ja) | 2014-06-20 | 2015-05-12 | ヘッドマウントディスプレイ、その制御方法、及び、制御プログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2015194286A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018169886A (ja) * | 2017-03-30 | 2018-11-01 | セコム株式会社 | 撮影異常監視システム及びプログラム |
WO2020123392A1 (en) * | 2018-12-14 | 2020-06-18 | Google Llc | Modular accessory systems for wearable devices |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004228808A (ja) * | 2003-01-21 | 2004-08-12 | Canon Inc | 撮影装置 |
JP2008085548A (ja) * | 2006-09-27 | 2008-04-10 | Sony Corp | 撮像装置、撮像方法 |
JP2008122827A (ja) * | 2006-11-15 | 2008-05-29 | Matsushita Electric Ind Co Ltd | 沈胴式レンズ鏡筒を有するカメラ |
JP2008199272A (ja) * | 2007-02-13 | 2008-08-28 | Mitsubishi Electric Corp | 携帯電話機 |
JP2013247639A (ja) * | 2012-05-29 | 2013-12-09 | Olympus Corp | 頭部装着型撮像装置 |
-
2015
- 2015-05-12 WO PCT/JP2015/063575 patent/WO2015194286A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004228808A (ja) * | 2003-01-21 | 2004-08-12 | Canon Inc | 撮影装置 |
JP2008085548A (ja) * | 2006-09-27 | 2008-04-10 | Sony Corp | 撮像装置、撮像方法 |
JP2008122827A (ja) * | 2006-11-15 | 2008-05-29 | Matsushita Electric Ind Co Ltd | 沈胴式レンズ鏡筒を有するカメラ |
JP2008199272A (ja) * | 2007-02-13 | 2008-08-28 | Mitsubishi Electric Corp | 携帯電話機 |
JP2013247639A (ja) * | 2012-05-29 | 2013-12-09 | Olympus Corp | 頭部装着型撮像装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018169886A (ja) * | 2017-03-30 | 2018-11-01 | セコム株式会社 | 撮影異常監視システム及びプログラム |
WO2020123392A1 (en) * | 2018-12-14 | 2020-06-18 | Google Llc | Modular accessory systems for wearable devices |
CN113168211A (zh) * | 2018-12-14 | 2021-07-23 | 谷歌有限责任公司 | 用于可穿戴设备的模块化附件系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4927631B2 (ja) | 表示装置、その制御方法、プログラム、記録媒体および集積回路 | |
JP6743691B2 (ja) | 表示制御装置、表示制御方法およびコンピュータプログラム | |
EP2628042B1 (en) | Variable transparency heads up displays | |
US9519142B2 (en) | Electronic device and display method | |
JP6350283B2 (ja) | 画像表示装置及び画像表示方法、並びに記録媒体 | |
US10757335B2 (en) | Mobile terminal | |
EP4011274A1 (en) | Eye tracking using eyeball center position | |
EP3137967B1 (en) | Operating a display of a user equipment | |
JP5622431B2 (ja) | 頭部装着型瞳孔検出装置 | |
JP6711885B2 (ja) | 送信端末、受信端末、送受信システム、およびそのプログラム | |
TW201641989A (zh) | 顯示裝置及具有該顯示裝置的可穿戴裝置 | |
CN107678535A (zh) | 用于图像显示的方法和支持该方法的电子设备 | |
CN106168854A (zh) | 视力保护的提醒方法及装置 | |
JP2003225207A (ja) | 視線検出装置 | |
US20120249400A1 (en) | Signal processing eye protecting digital glasses | |
CN104977716A (zh) | 目镜型显示装置及其显示控制方法 | |
KR20200051591A (ko) | 정보 처리 장치, 정보 처리 방법, 및 프로그램 | |
JP2006208997A (ja) | 映像表示装置及び映像表示システム | |
WO2018082162A1 (zh) | 用于虚拟现实设备的功能触发方法、装置及虚拟现实设备 | |
US20200042105A1 (en) | Information processing apparatus, information processing method, and recording medium | |
CN107065200A (zh) | 电子设备和显示方法 | |
KR20150006128A (ko) | 헤드 마운트 디스플레이 장치 및 그 동작방법 | |
US9958681B2 (en) | Electronic device and control method thereof | |
JP2019092216A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2012173476A (ja) | 表示システム、端末装置、端末装置の制御方法、および、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15809047 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
NENP | Non-entry into the national phase |
Ref country code: JP |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15809047 Country of ref document: EP Kind code of ref document: A1 |