WO2012153405A1 - 画像描画装置、画像描画方法及び画像描画プログラム - Google Patents

画像描画装置、画像描画方法及び画像描画プログラム Download PDF

Info

Publication number
WO2012153405A1
WO2012153405A1 PCT/JP2011/060870 JP2011060870W WO2012153405A1 WO 2012153405 A1 WO2012153405 A1 WO 2012153405A1 JP 2011060870 W JP2011060870 W JP 2011060870W WO 2012153405 A1 WO2012153405 A1 WO 2012153405A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
rejection
sight
line
Prior art date
Application number
PCT/JP2011/060870
Other languages
English (en)
French (fr)
Inventor
慎一朗 飯野
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2011/060870 priority Critical patent/WO2012153405A1/ja
Priority to JP2011544537A priority patent/JP4926301B1/ja
Publication of WO2012153405A1 publication Critical patent/WO2012153405A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the present invention relates to an image drawing apparatus such as a head mounted display.
  • Patent Document 1 describes a spectacle-type head-mounted display that displays a virtual image such as character information superimposed on an image of the outside world in the visual field of spectacles.
  • Examples of the problem to be solved by the present invention include the above. It is an object of the present invention to provide an image drawing apparatus, an image drawing method, and an image drawing program capable of appropriately restricting that an object that the user refuses to see is visually recognized.
  • the image drawing device includes a light source that draws an image on a user's retina, a detection unit that detects an object to be rejected that is rejected by the user, And a control unit that performs control to draw a predetermined image on the retina so that the rejection object is not directly recognized by the user when the detection unit detects the rejection object.
  • an image drawing method executed by an image drawing apparatus having a light source for drawing an image on a retina of a user rejects the object to be visually recognized by the user.
  • an image drawing program executed by an image drawing apparatus having a light source and a computer for drawing an image on a retina of a user rejects the user from visually recognizing the computer.
  • the whole structure of the head mounted display (HMD) which concerns on a present Example is shown.
  • the functional structure of the microcomputer in HMD is shown.
  • the input information and output information which an image analysis part, a behavior analysis part, a control part, and an image process part handle are shown.
  • the figure for demonstrating the control method in a present Example concretely is shown. It is a flowchart which shows the whole process in a present Example. It is a flowchart which shows the process which an image analysis part performs. It is a flowchart which shows the process which an action analysis part performs. It is a flowchart which shows the process which a control part performs.
  • an image drawing device includes a light source that draws an image on a user's retina, a detection unit that detects an object to be rejected that is rejected by the user, and the detection.
  • Control means for performing a control to draw a predetermined image on the retina so that the rejection object is not directly recognized by the user when the means detects the rejection object.
  • the above-described image drawing apparatus is an apparatus that is mounted on the user's head, for example, and draws an image on the user's retina.
  • a detection means detects the rejection object which exists in the external world which refuses that a user visually recognizes.
  • the control unit controls the light source so that when the detection unit detects the rejection target, the predetermined image is drawn on the retina so that the rejection target is not directly recognized by the user. Thereby, it becomes possible to appropriately suppress the user from directly viewing the rejection object.
  • control means draws the predetermined image at a location where the object to be rejected is imaged on the retina.
  • a predetermined image is drawn only at a location where the object to be rejected is imaged on the retina.
  • the detection unit performs a process of acquiring a captured image from a camera that captures the outside world and detecting the rejection object based on the captured image. According to this aspect, it is possible to appropriately detect the object to be rejected.
  • the image drawing apparatus further includes a storage unit that stores preset data to be rejected, and the detection unit performs image analysis on the captured image to store the storage unit. It is possible to detect the rejection object from the captured image by determining whether or not the rejection object is included in the captured image.
  • the detection unit may be configured such that, when the user performs an action of turning away his / her line of sight, the rejection target is in a direction in which the user turned his / her line of sight before turning away from the line of sight.
  • the control means renders the predetermined image when the user turns the line of sight again in the same direction as before the user turned away from the line of sight after the detection means makes the determination. To control.
  • the detection means treats the action of turning away the user's line of sight as a reaction (rejection reaction) that the user refuses to see, and there is a rejection object in the direction in which the user turned the line of sight before turning away from the line of sight Judge that it was. Then, after the detection unit makes such a determination, the control unit performs control to draw a predetermined image when the user turns the line of sight again in the same direction as before the user turned away. Thereby, it can suppress that a rejection object will be judged appropriately and a rejection object will be visually recognized directly by a user.
  • a rejection reaction rejection reaction
  • the detection unit determines whether or not the user has acted to turn away from the line of sight based on an output value of an acceleration sensor that detects acceleration of the image drawing apparatus.
  • the control means can determine whether or not the user has turned the line of sight again in the same direction as before the user turned away from the line of sight, based on the output value of the GPS that detects the position of the image drawing device.
  • the detecting means can detect an action accompanied by movement of the user's head as an action of turning away the line of sight by the user.
  • the detection unit may be configured such that when the user turns the line of sight again in the same direction as before the user turns the line of sight after performing the action of turning the line of sight away from the user. Based on the captured image acquired from the camera that captures the image, processing to detect the rejection object is performed.
  • the process for detecting the object to be rejected is performed based on the photographed image, so that the process is performed without using the above condition. , The processing load can be reduced.
  • the control unit is configured such that when the detection unit detects the rejection object, the user turns his / her line of sight in a direction different from the direction in which the user has turned his / her line of sight.
  • the drawing of the predetermined image is stopped.
  • drawing of a predetermined image can be quickly stopped.
  • an image drawing method executed by an image drawing apparatus having a light source for drawing an image on a retina of a user detects a rejection object existing in the outside world that the user refuses to view. And a control step of performing control to draw a predetermined image on the retina so that the rejection target is not directly recognized by the user when the detection step detects the rejection target.
  • an image drawing program executed by an image drawing apparatus having a light source and a computer for drawing an image on a user's retina rejects the user from visually recognizing the computer.
  • the image drawing program can be suitably handled in a state where it is recorded on a recording medium.
  • FIG. 1 is a block diagram schematically showing the overall configuration of a head mounted display (HMD) 1 according to the present embodiment.
  • HMD head mounted display
  • the HMD 1 mainly includes a microcomputer 11 (hereinafter referred to as “microcomputer 11” as appropriate), a storage unit 12, a light source unit 13, a camera 14, a GPS 15, and an acceleration sensor 16.
  • the HMD 1 is configured in, for example, a glasses type, and is configured to be wearable on the user's head.
  • the microcomputer 11 has a CPU (Central Processing Unit) and controls the entire HMD 1.
  • the storage unit 12 includes various storage means such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a flash memory.
  • the light source unit 13 includes red, green, and blue laser light sources, a scanning mechanism that scans laser light emitted from the laser light sources, and the like.
  • the HMD 1 draws an image on the retina of the user by scanning the laser beam from the laser light source under the control of the microcomputer 11 described above.
  • the camera 14 is configured by a CCD camera or the like, and captures a front view of the HMD 1 (specifically, a peripheral view visually recognized by the user with the HMD 1 attached), and generates image information corresponding to the captured image.
  • the GPS 15 receives radio waves including positioning data from a plurality of GPS satellites, and obtains the current position (latitude / longitude) of the HMD 1 based on the positioning data.
  • the acceleration sensor 16 is composed of, for example, a piezoelectric element and detects the acceleration of the HMD 1.
  • the microcomputer 11 includes an image analysis unit 11a, a behavior analysis unit 11b, a control unit 11c, and an image processing unit 11d.
  • the image analysis unit 11 a receives image information corresponding to a captured image from the camera 14 and latitude / longitude from the GPS 15.
  • the image analysis unit 11 a performs image analysis on the captured image to determine whether the captured image matches the rejection target stored in the rejection target DB (database) 12 a of the storage unit 12. That is, the image analysis unit 11a determines whether or not the refusal object stored in the refusal object DB 12a is included in the captured image. Specifically, the image analysis unit 11a makes such a determination only when the latitude / longitude acquired this time from the GPS 15 matches the latitude / longitude previously acquired from the GPS 15.
  • the image analysis unit 11a outputs “target match” to the control unit 11c as the image analysis result when the captured image matches the rejection target, and when the captured image does not match the rejection target. “Target mismatch” is output to the control unit 11c as an image analysis result. Note that if the latitude / longitude acquired this time does not match the previously acquired latitude / longitude, the image analysis unit 11a outputs “target mismatch” as the image analysis result.
  • the “rejection object” is an object (for example, a traffic accident or a game result) existing in the outside world that the user refuses to view.
  • the rejection target is set in advance by the user or the like, and data corresponding to the rejection target is stored in the rejection target DB 12a.
  • data such as images and characters indicating the rejection object is stored in the rejection object DB 12a.
  • the behavior analysis unit 11b receives the acceleration from the acceleration sensor 16 and analyzes the user's behavior based on the acceleration. Specifically, the behavior analysis unit 11b performs an action (rejection reaction) such that the rejection object appears in front of the user based on the acceleration corresponding to the movement of the user's head, so that the user avoids visual recognition of the object. It is determined whether or not. Specifically, the behavior analysis unit 11b determines whether or not the user has performed a rejection reaction by comparing the acceleration with a predetermined value. In this case, when the acceleration is greater than or equal to a predetermined value, the behavior analysis unit 11b outputs “rejection response” indicating that the user has indicated a rejection response to the control unit 11c as a behavior analysis result. On the other hand, when the acceleration is less than the predetermined value, the behavior analysis unit 11b displays “other than rejection response” indicating that the user does not indicate a rejection response as the behavior analysis result to the control unit 11c. Output.
  • an action rejection reaction
  • the control part 11c should restrict
  • control unit 11c outputs an image processing instruction for performing a process of drawing a mosaic image (mosaic processed image) on the user's retina (hereinafter referred to as “mosaic superimposition” as appropriate).
  • the data is output to the processing unit 11d.
  • the control unit 11c recognizes the rejection target by the user. It is determined that the situation should not be restricted. In this case, when the image processing instruction of “mosaic superposition” is output last time, the control unit 11c stops the process of drawing the mosaic image (hereinafter referred to as “mosaic removal” as appropriate). Is output to the image processing unit 11d. On the other hand, when the image processing instruction of “mosaic superimposition” has not been output last time, the control unit 11c does not perform the processing such as “mosaic superimposition” and “mosaic removal” in particular. The instruction is output to the image processing unit 11d.
  • control unit 11c outputs the “mosaic superimposition” image processing instruction last time even when the image analysis result indicates “target match” and the behavior analysis result indicates “rejection reaction”.
  • the image processing instruction indicating “no processing” is output to the image processing unit 11d.
  • the image processing unit 11d receives an image processing instruction from the control unit 11c, and performs image processing based on the image processing instruction. Specifically, the image processing unit 11d controls the light source unit 13 and the like based on the image processing instruction. For example, when the image processing instruction is “mosaic superposition”, the image processing unit 11d generates a mosaic image by performing a predetermined filter process on the captured image of the camera 14, and the mosaic image is displayed on the user's screen. Controls drawing on the retina.
  • FIG. 3 shows input information and output information handled by the image analysis unit 11a, the behavior analysis unit 11b, the control unit 11c, and the image processing unit 11d.
  • FIG. 3A shows input information of the image analysis unit 11a.
  • the image analysis unit 11a receives latitude / longitude (northern latitude / south latitude: xx ° yy'zz.zzzz "and east longitude / west longitude: xxx ° yy'zz.zzzz") from the GPS 15, and also takes a photographed image from the camera 14. The image information corresponding to is input.
  • the image analysis unit 11a receives the rejection target information (rejection target information) stored in the rejection target DB 12a.
  • FIG. 3B shows output information of the image analysis unit 11a.
  • the image analysis unit 11a outputs an image analysis result indicating either “target match” or “target mismatch” to the control unit 11c.
  • the image analysis unit 11a also outputs “range” information on which mosaic superimposition (including mosaic removal) is performed to the control unit 11c as an image analysis result.
  • This “range” corresponds to the range on the retina where the mosaic image is drawn, and for example, a preset range is used. In one example, a range of a predetermined size is used that is located in the central portion of the user's field of view.
  • FIG. 3C shows input information of the behavior analysis unit 11b.
  • the behavior analysis unit 11b receives acceleration (“A [m / s 2 ]”) from the acceleration sensor 16.
  • FIG. 3D shows output information of the behavior analysis unit 11b.
  • the behavior analysis unit 11b outputs a behavior analysis result indicating either “rejection reaction” or “other than rejection reaction” to the control unit 11c.
  • FIG. 3 (e) shows input information of the control unit 11c.
  • the control unit 11c receives the above-described image analysis result from the image analysis unit 11a and the above-described behavior analysis result from the behavior analysis unit 11b.
  • FIG. 3F shows the output information of the control unit 11c.
  • the control unit 11c outputs an image processing instruction indicating any one of “mosaic superposition”, “mosaic removal”, and “no processing” to the image processing unit 11d.
  • the control unit 11c also outputs “range” information input from the image analysis unit 11a to the image processing unit 11d as an image processing instruction.
  • FIG. 3G shows input information of the image processing unit 11d.
  • the image processing unit 11d receives an image processing instruction as described above from the control unit 11c.
  • the image analysis unit 11a and the behavior analysis unit 11b correspond to an example of the “detection unit” in the present invention
  • the control unit 11c corresponds to an example of the “control unit” in the present invention.
  • control unit 11c performs “mosaic superposition” as an image processing instruction.
  • the control unit 11d when the user shows a rejection reaction, the latitude / longitude acquired this time matches the latitude / longitude acquired last time, and the captured image matches the object to be rejected, the rejection is made to the user. Limiting the subject to be seen directly.
  • the object to be rejected is included in the captured image Then, control is performed to limit the user from directly viewing the object to be rejected.
  • an action involving movement of the user's head is detected as an action that turns away the line of sight of the user.
  • a traffic accident is illustrated as a rejection object. Further, it is assumed that a traffic accident is stored in the rejection target DB 12a as a rejection target. For example, image data indicating a traffic accident is stored in the rejection target DB 12a. Note that the broken line area on the right side of FIG. 4 shows a real image that is actually visually recognized by the user.
  • FIG. 4A shows a diagram when a sudden traffic accident appears in front of the user. At this time, since “mosaic superimposition” has not yet been performed, the user visually recognizes the traffic accident as shown in the broken line area of FIG.
  • the user has performed an action (a rejection reaction) that avoids the visual recognition of a traffic accident.
  • a rejection reaction for example, it is assumed that the user performs an action of moving his / her head so as to look away from the direction of the traffic accident.
  • the acceleration sensor 16 detects an acceleration A [m / s 2] which corresponds to the motion of the user's head.
  • the behavior analysis unit 11b in the microcomputer 11 receives the acceleration A [m / s 2 ] from the acceleration sensor 16 and analyzes the user's behavior based on the acceleration A [m / s 2 ]. In this case, since the acceleration A [m / s 2 ] is greater than or equal to a predetermined value, the behavior analysis unit 11b outputs “rejection reaction” to the control unit 11c as a behavior analysis result.
  • the image analysis unit 11a in the microcomputer 11 acquires the latitude / longitude substantially the same as the previously acquired latitude / longitude (see FIG. 4A) from the GPS 15. Therefore, the image analysis unit 11 a performs image analysis on the captured image of the camera 14 to determine whether or not the captured image matches the rejection target stored in the rejection target DB 12 a of the storage unit 12.
  • the image analysis unit 11a determines that the captured image matches the rejection target stored in the rejection target DB 12a. Then, the image analysis unit 11a outputs “target match” as the image analysis result to the control unit 11c.
  • the control unit 11c in the microcomputer 11 sets “mosaic superposition” as the image processing instruction. Output to. Then, the image processing unit 11d in the microcomputer 11 executes image processing corresponding to “mosaic superposition”. Specifically, the image processing unit 11d performs control to generate a mosaic image by performing predetermined filter processing on the captured image and draw the mosaic image on the user's retina. Thereby, as shown in the broken line area of FIG. 4C, the user visually recognizes the traffic accident subjected to the mosaic process.
  • the control method in the present embodiment described above it is possible to appropriately suppress the user from directly viewing the object to be rejected. Further, according to the present embodiment, it is possible to appropriately determine whether or not the viewing should be restricted based on the image analysis by the image analysis unit 11a and the behavior analysis by the behavior analysis unit 11b. Therefore, it is possible to prevent the visual recognition from being restricted unnecessarily. Further, according to the present embodiment, only when the latitude / longitude acquired this time matches the latitude / longitude acquired last time, the process of determining whether the captured image matches the object to be rejected (that is, image analysis). Therefore, the processing load can be reduced compared to the case where the processing is performed every time regardless of the latitude / longitude.
  • FIG. 5 is a flowchart showing the overall processing performed by the microcomputer 11 in this embodiment. This process is repeatedly executed by the microcomputer 11 at a predetermined cycle.
  • step S101 the image analysis unit 11a in the microcomputer 11 acquires latitude / longitude from the GPS 15 and also acquires image information from the camera 14, and information on the rejection target (rejection target information) stored in the rejection target DB 12a. ) To generate an image analysis result indicating either “target mismatch” or “target mismatch”. Then, the image analysis unit 11a outputs the image analysis result to the control unit 11c. Thereafter, the process proceeds to step S102.
  • step S102 the behavior analysis unit 11b in the microcomputer 11 acquires acceleration from the acceleration sensor 16, and generates a behavior analysis result indicating either “rejection response” or “other than rejection response” based on the acceleration. Then, the behavior analysis unit 11b outputs the behavior analysis result to the control unit 11c. Thereafter, the process proceeds to step S103.
  • step S103 the control unit 11c in the microcomputer 11 acquires the image analysis result from the image analysis unit 11a and also acquires the behavior analysis result from the behavior analysis unit 11b. Based on the image analysis result and the behavior analysis result, “ An image processing instruction indicating any one of “mosaic superposition”, “mosaic removal”, and “no processing” is generated. Then, the control unit 11c outputs an image processing instruction to the image processing unit 11d. Thereafter, the process proceeds to step S104.
  • step S104 the image processing unit 11d in the microcomputer 11 acquires an image processing instruction from the control unit 11c, and performs image processing based on the image processing instruction. Then, the process ends.
  • FIG. 6 is a flowchart showing details of the processing in step S101 described above. Specifically, it is a flowchart showing processing performed by the image analysis unit 11a.
  • step S201 the image analysis unit 11a initializes the image analysis result with “target mismatch”. Then, the process proceeds to step S202.
  • step S203 the image analysis unit 11a acquires the latitude / longitude from the GPS 15. The image analysis unit 11a uses the latitude / longitude thus acquired as “latitude / longitude of this time”. Then, the process proceeds to step S204.
  • step S204 the image analysis unit 11a determines whether or not the current latitude / longitude matches the latitude / longitude (last latitude / longitude) acquired when the flow was executed last time. If the current latitude / longitude matches the previous latitude / longitude (step S204; Yes), the process proceeds to step S205. On the other hand, if the current latitude / longitude does not match the previous latitude / longitude (step S204; No), the process proceeds to step S209. In this case, the image analysis unit 11a performs only the process of updating the previous latitude / longitude with the current latitude / longitude (step S209), and the process ends.
  • step S204 it is not necessary to determine whether or not the current latitude / longitude completely matches the previous latitude / longitude. It may be determined whether or not the latitude / longitude is substantially the same.
  • step S205 the image analysis unit 11a acquires image information corresponding to the captured image from the camera 14. Then, the process proceeds to step S206.
  • step S206 the image analysis unit 11a determines whether or not the captured image matches the rejection target stored in the rejection target DB 12a of the storage unit 12. That is, the image analysis unit 11a determines whether or not the refusal object stored in the refusal object DB 12a is included in the captured image.
  • the rejection target feature data is stored in the rejection target DB 12a, and the image analysis unit 11a performs a known image analysis on the captured image, so that the rejection target feature part is stored. Is included in the captured image.
  • step S206 If the captured image matches the object to be rejected (step S206; Yes), the process proceeds to step S207. On the other hand, if the captured image does not match the rejection target (step S206; Yes), the process proceeds to step S207.
  • step S207 the image analysis unit 11a sets the image analysis result to “target match”. Then, the process proceeds to step S208.
  • FIG. 7 is a flowchart showing details of the processing in step S102 described above. Specifically, it is a flowchart showing processing performed by the behavior analysis unit 11b.
  • step S301 the behavior analysis unit 11b initializes the behavior analysis result with “other than rejection object”. Then, the process proceeds to step S302. In step S ⁇ b> 302, the behavior analysis unit 11 b acquires acceleration from the acceleration sensor 16. Then, the process proceeds to step S303.
  • step S303 the behavior analysis unit 11b determines whether or not the acceleration is equal to or greater than a predetermined value.
  • a predetermined value a fixed value set in advance may be used, or a value set by the user may be used.
  • step S304 the behavior analysis unit 11b sets the behavior analysis result to “rejection target”. In this case, the behavior analysis unit 11b outputs “rejection target” to the control unit 11c as a behavior analysis result. Then, the process ends.
  • step S303; No when the acceleration is less than the predetermined value (step S303; No), the process ends. In this case, since the behavior analysis result is maintained in “other than rejection object” initialized in step S301, the behavior analysis unit 11b outputs “other than rejection object” to the control unit 11c as the behavior analysis result. .
  • FIG. 8 is a flowchart showing details of the processing in step S103 described above. Specifically, it is a flowchart showing processing performed by the control unit 11c.
  • step S401 the control unit 11c initializes the current image processing instruction as “no processing”. Then, the process proceeds to step S402. In step S402, the control unit 11c determines whether or not the image analysis result acquired from the image analysis unit 11a is “target match”. If the image analysis result is “target match” (step S402; Yes), the process proceeds to step S403.
  • step S403 the control unit 11c determines whether or not the behavior analysis result acquired from the behavior analysis unit 11b is a “rejection reaction”.
  • the control unit 11c sets the image processing instruction (previous image processing instruction) set when the flow is executed last time to be “mosaic superposition”. Is determined (step S404). If the previous image processing instruction is not “mosaic superposition” (step S404; No), the control unit 11c sets the current image processing instruction to “mosaic superposition” (step S405).
  • step S403 when the behavior analysis result is not “rejection reaction” (step S403; No), or when the previous image processing instruction is “mosaic superposition” (step S404; Yes), the control unit 11c determines the previous image processing instruction. Is updated only with the current image processing instruction (step S407), and the process ends. In this case, since “no processing” initialized in step S401 is maintained as the image processing instruction, the control unit 11c outputs “no processing” as the image processing instruction to the image processing unit 11d.
  • control unit 11c updates the previous image processing instruction with the current image processing instruction (step S407).
  • control unit 11c outputs “mosaic removal” to the image processing unit 11d as an image processing instruction.
  • step S408 when the previous image processing instruction is not “mosaic superposition” (step S408; No), the control unit 11c performs only the process of updating the previous image processing instruction with the current image processing instruction (step S407). The process ends. In this case, since “no processing” initialized in step S401 is maintained as the image processing instruction, the control unit 11c outputs “no processing” as the image processing instruction to the image processing unit 11d.
  • a traffic accident is illustrated as the object to be rejected (see FIG. 4), but various other objects can be used as objects to be rejected.
  • a sport game result for example, displayed on an electric bulletin board or the like
  • the image analysis unit 11a determines whether a rejection target is included in the captured image by extracting a team name, a number, a hyphen (-), and the like from the captured image and recognizing characters.
  • “blood” displayed in a video or the like can be used as a rejection target.
  • the image analysis unit 11a determines whether or not a rejection target is included in the captured image based on the color included in the captured image. That is, the image analysis unit 11a determines that the object to be rejected is included in the captured image when red corresponding to the color of blood is included in the captured image.
  • the image analysis unit 11a extracts an image serving as a mark such as an AR marker (AR) that has been pasted on the imaging target in advance, and what the captured image is based on the AR marker. It is possible to identify whether the image is an image and to determine whether or not the object to be rejected is included in the captured image. Specifically, a marker indicating that the game result is displayed in advance is pasted on the electronic bulletin board that displays the sport game result, so that it can be determined that there is an object to be rejected.
  • AR AR marker
  • a mosaic image is drawn in a predetermined range set in advance (a range of a predetermined size located in the central portion of the user's field of view) has been shown.
  • a mosaic image can be drawn at a location where the object to be rejected is imaged on the retina.
  • the image analysis unit 11a determines that the rejection target is included in the captured image
  • the image analysis unit 11a further specifies a range where the rejection target is located
  • the control unit 11c specifies the range specified by the image analysis unit 11a.
  • a mosaic image can be drawn in a range on the retina corresponding to the above.
  • Modification 4 In the above, an example in which a mosaic image is drawn on the retina has been described. However, if it is possible to restrict the user from directly viewing the object to be rejected, a predetermined image other than the mosaic image can be drawn on the retina.
  • the control unit 11c can perform control such that a predetermined range on the retina is filled with an image having a predetermined color.
  • control is performed to restrict the rejection target from being directly viewed by the user when the rejection target is included in the captured image.
  • the rejection target is included in the captured image.
  • the control can be performed when the user shows a rejection reaction. Specifically, after the user turns away his face, when the user turns his face again in the same direction as before the user turns away his face, control is performed to restrict the user from seeing the rejection object directly. It can be carried out.
  • Modification 7 Although the example which applies this invention to a head mounted display (HMD) was shown above, application of this invention is not limited to this. The present invention can be applied to various image drawing apparatuses other than the HMD.
  • HMD head mounted display
  • the present invention can be used for an image drawing apparatus such as a head-mounted display.
  • HMD Head mounted display
  • Microcomputer 11a Image analysis unit
  • Behavior analysis unit 11c
  • Control unit 11d
  • Image processing unit 12 Storage unit 12a Rejection target DB 13
  • Light source unit 14
  • Camera 15 GPS 16 Accelerometer

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

　画像描画装置は、例えばユーザの頭部に装着され、ユーザの網膜上に画像を描画する。画像描画装置において、検出手段は、ユーザが視認することを拒否するような、外界に存在する拒否対象を検出する。そして、制御手段は、検出手段が拒否対象を検出した際に、当該拒否対象がユーザに直接視認されないように、所定の画像を網膜上に描画させる制御を行う。これにより、ユーザに拒否対象が直接視認されてしまうことを適切に抑制することが可能となる。

Description

画像描画装置、画像描画方法及び画像描画プログラム
　本発明は、ヘッドマウントディスプレイなどの画像描画装置に関する。
　従来から、ユーザの頭部に装着することが可能に構成されたヘッドマウントディスプレイ（以下、適宜「ＨＭＤ」と表記する。）などの映像表示装置が知られている。例えば、特許文献１には、眼鏡の視野内に外界の像に重ねて文字情報等の虚像を表示する眼鏡型のヘッドマウントディスプレイが記載されている。
特開平１１－３４６３３６号公報
　ところで、上記したようなＨＭＤにおいて、ユーザが視認することを拒否するような外界に存在する対象（例えば交通事故や試合結果など）を、ユーザが視認してしまうことを制限することができれば便宜である。
　本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、ユーザが視認することを拒否するような対象が視認されてしまうことを適切に制限することが可能な画像描画装置、画像描画方法及び画像描画プログラムを提供することを課題とする。
　請求項１に記載の発明では、画像描画装置は、ユーザの網膜上に画像を描画する光源と、前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出手段と、前記検出手段が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御手段と、を備える。
　請求項１０に記載の発明では、ユーザの網膜上に画像を描画する光源を有する画像描画装置によって実行される画像描画方法は、前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出工程と、前記検出工程が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御工程と、を備える。
　請求項１１に記載の発明では、ユーザの網膜上に画像を描画する光源及びコンピュータを有する画像描画装置によって実行される画像描画プログラムは、前記コンピュータを、前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出手段、前記検出手段が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御手段、として機能させる。
本実施例に係るヘッドマウントディスプレイ（ＨＭＤ）の全体構成を示す。 ＨＭＤ内のマイコンの機能構成を示す。 画像解析部、行動解析部、制御部及び画像処理部が扱う入力情報及び出力情報を示す。 本実施例における制御方法を具体的に説明するための図を示す。 本実施例における全体処理を示すフローチャートである。 画像解析部が行う処理を示すフローチャートである。 行動解析部が行う処理を示すフローチャートである。 制御部が行う処理を示すフローチャートである。
　本発明の１つの観点では、画像描画装置は、ユーザの網膜上に画像を描画する光源と、前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出手段と、前記検出手段が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御手段と、を備える。
　上記の画像描画装置は、例えばユーザの頭部に装着され、ユーザの網膜上に画像を描画する装置である。検出手段は、ユーザが視認することを拒否するような、外界に存在する拒否対象を検出する。制御手段は、検出手段が拒否対象を検出した際に、当該拒否対象がユーザに直接視認されないように、所定の画像を網膜上に描画させるべく、光源に対して制御を行う。これにより、ユーザに拒否対象が直接視認されてしまうことを適切に抑制することが可能となる。
　上記の画像描画装置の一態様では、前記制御手段は、前記網膜上において前記拒否対象が結像している箇所に、前記所定の画像を描画させる。
　この態様では、網膜上において拒否対象が結像している箇所にのみ、所定の画像を描画させる。これにより、ユーザに拒否対象が直接視認されてしまうことを適切に抑制しつつ、ユーザの視野をある程度確保することができる。
　上記の画像描画装置の他の一態様では、前記検出手段は、前記外界を撮影するカメラから撮影画像を取得し、前記撮影画像に基づいて前記拒否対象を検出する処理を行う。この態様によれば、拒否対象を適切に検出することができる。
　上記の画像描画装置において好適には、予め設定された前記拒否対象のデータを記憶する記憶手段を更に有し、前記検出手段は、前記撮影画像を画像解析することで、前記記憶手段が記憶している前記拒否対象が前記撮影画像に含まれているか否かを判断することで、前記撮影画像から前記拒否対象を検出することができる。
　上記の画像描画装置の他の一態様では、前記検出手段は、前記ユーザが視線を背ける行動を行った場合に、前記ユーザが視線を背ける前に視線を向けていた方向に、前記拒否対象が存在していたものと判断し、前記制御手段は、前記検出手段が前記判断を行った後に、前記ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、前記所定の画像を描画させる制御を行う。
　この態様では、検出手段は、ユーザの視線を背ける行動を、ユーザが視認することを拒否する反応（拒否反応）として扱い、ユーザが視線を背ける前に視線を向けていた方向に拒否対象が存在していたものと判断する。そして、制御手段は、検出手段がこのような判断を行った後に、ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、所定の画像を描画させる制御を行う。これにより、拒否対象を適切に判断して、ユーザに拒否対象が直接視認されてしまうことを抑制することができる。
　上記の画像描画装置において好適には、前記検出手段は、前記画像描画装置の加速度を検出する加速度センサの出力値に基づいて、前記ユーザが視線を背ける行動を行ったか否かを判断し、前記制御手段は、前記画像描画装置の位置を検出するＧＰＳの出力値に基づいて、前記ユーザが視線を背ける前と同じ方向に再び視線を向けたか否かを判断することができる。
　好適には、前記検出手段は、前記ユーザによる視線を背ける行動として、前記ユーザの頭部の移動を伴う行動を検出することができる。
　上記の画像描画装置の他の一態様では、前記検出手段は、前記ユーザが視線を背ける行動を行った後に、前記ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、前記外界を撮影するカメラから取得した撮影画像に基づいて、前記拒否対象を検出する処理を行う。
　この態様によれば、拒否対象を適切に判断して、ユーザに拒否対象が直接視認されてしまうことを抑制することができる。また、本実施例によれば、上記した条件が成立した場合にのみ、撮影画像に基づいて拒否対象を検出する処理を行うため、上記した条件を用いずに当該処理を行う場合と比較して、処理負荷を軽減することができる。
　上記の画像描画装置において好適には、前記制御手段は、前記検出手段が前記拒否対象を検出した際に前記ユーザが視線を向けていた方向と異なる方向に前記ユーザが視線を向けた場合に、前記所定の画像の描画を中止する。これにより、拒否対象が存在しない方向にユーザが視線を向けた際に、所定の画像の描画を速やかに中止することができる。
　本発明の他の観点では、ユーザの網膜上に画像を描画する光源を有する画像描画装置によって実行される画像描画方法は、前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出工程と、前記検出工程が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御工程と、を備える。
　本発明の更に他の観点では、ユーザの網膜上に画像を描画する光源及びコンピュータを有する画像描画装置によって実行される画像描画プログラムは、前記コンピュータを、前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出手段、前記検出手段が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御手段、として機能させる。
　上記の画像描画方法及び画像描画プログラムによっても、ユーザに拒否対象が直接視認されてしまうことを適切に抑制することが可能となる。
　なお、上記画像描画プログラムは、記録媒体に記録した状態で好適に取り扱うことができる。
　以下、図面を参照して本発明の好適な実施例について説明する。
　［全体構成］
　図１は、本実施例に係るヘッドマウントディスプレイ（ＨＭＤ）１の全体構成を概略的に示したブロック図である。
　ＨＭＤ１は、主に、マイクロコンピュータ１１（以下、適宜「マイコン１１」と表記する）と、記憶部１２と、光源ユニット１３と、カメラ１４と、ＧＰＳ１５と、加速度センサ１６と、を備える。ＨＭＤ１は、例えば眼鏡型に構成されており、ユーザの頭部に装着可能に構成されている。
　マイコン１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などを有しており、ＨＭＤ１の全体の制御を行う。記憶部１２は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）やフラッシュメモリなどの各種の記憶手段で構成される。光源ユニット１３は、赤色、緑色、青色のレーザ光源や、レーザ光源から出射されたレーザ光を走査する走査機構などを有する。ＨＭＤ１は、上記したマイコン１１の制御の元、レーザ光源からのレーザ光を走査することで、ユーザの網膜上に画像を描画する。
　カメラ１４は、ＣＣＤカメラなどにより構成され、ＨＭＤ１の前方景色（具体的には、ＨＭＤ１が装着された状態でユーザが視認する周辺景色）を撮影し、撮影画像に対応する画像情報を生成する。ＧＰＳ１５は、複数のＧＰＳ衛星から測位用データを含む電波を受信し、測位用データに基づいてＨＭＤ１の現在位置（緯度／経度）を求める。加速度センサ１６は、例えば圧電素子などにより構成され、ＨＭＤ１の加速度を検出する。
　［マイコンの構成］
　次に、図２を参照して、上記したＨＭＤ１内のマイコン１１の機能構成について説明する。図２に示すように、マイコン１１は、画像解析部１１ａと、行動解析部１１ｂと、制御部１１ｃと、画像処理部１１ｄとを有する。
　画像解析部１１ａは、カメラ１４から撮影画像に対応する画像情報が入力されると共に、ＧＰＳ１５から緯度／経度が入力される。画像解析部１１ａは、撮影画像を画像解析することで、撮影画像が、記憶部１２の拒否対象ＤＢ（データベース）１２ａに記憶された拒否対象に一致するか否かを判定する。つまり、画像解析部１１ａは、拒否対象ＤＢ１２ａに記憶された拒否対象が撮影画像に含まれているか否かを判定する。具体的には、画像解析部１１ａは、ＧＰＳ１５から今回取得した緯度／経度が、ＧＰＳ１５から前回取得した緯度／経度に一致する場合にのみ、このような判定を行う。そして、画像解析部１１ａは、撮影画像が拒否対象と一致している場合には「対象一致」を画像解析結果として制御部１１ｃに出力し、撮影画像が拒否対象と一致していない場合には「対象不一致」を画像解析結果として制御部１１ｃに出力する。なお、画像解析部１１ａは、今回取得した緯度／経度が前回取得した緯度／経度に一致しない場合には、「対象不一致」を画像解析結果として出力する。
　ここで、「拒否対象」とは、ユーザが視認することを拒否するような外界に存在する対象（例えば交通事故や試合結果など）である。拒否対象はユーザなどによって予め設定され、拒否対象に対応するデータが拒否対象ＤＢ１２ａに記憶される。例えば、拒否対象を示す画像や文字などのデータが、拒否対象ＤＢ１２ａに記憶される。
　行動解析部１１ｂは、加速度センサ１６から加速度が入力され、加速度に基づいてユーザの行動を解析する。具体的には、行動解析部１１ｂは、ユーザの頭の動きに相当する加速度に基づいて、拒否対象がユーザの目前に現れることで、ユーザがその対象の視認を避けるような行動（拒否反応）を行ったか否かを判定する。詳しくは、行動解析部１１ｂは、加速度と所定値とを比較することで、ユーザが拒否反応を行ったか否かを判定する。この場合、行動解析部１１ｂは、加速度が所定値以上である場合には、ユーザが拒否反応を示したことを表している「拒否反応」を、行動解析結果として制御部１１ｃに出力する。これに対して、行動解析部１１ｂは、加速度が所定値未満である場合には、ユーザが拒否反応を示していないことを表している「拒否反応以外」を、行動解析結果として制御部１１ｃに出力する。
　制御部１１ｃは、画像解析部１１ａから画像解析結果が入力されると共に、行動解析部１１ｂから行動解析結果が入力され、これらに基づいて、ユーザに拒否対象が視認されてしまうことを制限すべき状況であるか否かを判定する。具体的には、制御部１１ｃは、画像解析結果が「対象一致」を示しており、且つ行動解析結果が「拒否反応」を示している場合に、ユーザに拒否対象が視認されてしまうことを制限すべき状況であると判断する。この場合には、制御部１１ｃは、ユーザに拒否対象が直接視認されてしまうことを制限するための画像処理指示を画像処理部１１ｄに出力する。具体的には、制御部１１ｃは、モザイク画像（モザイク処理された画像）をユーザの網膜上に描画する処理（以下、適宜「モザイク重畳」と呼ぶ。）を行わせるための画像処理指示を画像処理部１１ｄに出力する。
　これに対して、制御部１１ｃは、画像解析結果が「対象不一致」を示している場合、若しくは行動解析結果が「拒否反応以外」を示している場合には、ユーザに拒否対象が視認されてしまうことを制限すべき状況でないと判断する。この場合、制御部１１ｃは、「モザイク重畳」の画像処理指示を前回出力した場合には、モザイク画像を描画する処理を停止（以下、適宜「モザイク除去」と呼ぶ。）させるための画像処理指示を画像処理部１１ｄに出力する。他方で、制御部１１ｃは、「モザイク重畳」の画像処理指示を前回出力していない場合には、「モザイク重畳」及び「モザイク除去」などの処理を特に行わない「無処理」を示す画像処理指示を画像処理部１１ｄに出力する。なお、制御部１１ｃは、画像解析結果が「対象一致」を示しており、且つ行動解析結果が「拒否反応」を示している場合においても、「モザイク重畳」の画像処理指示を前回出力した場合には、「無処理」を示す画像処理指示を画像処理部１１ｄに出力する。
　画像処理部１１ｄは、制御部１１ｃから画像処理指示が入力され、画像処理指示に基づいて画像処理を行う。具体的には、画像処理部１１ｄは、画像処理指示に基づいて、上記した光源ユニット１３などに対する制御を行う。例えば、画像処理部１１ｄは、画像処理指示が「モザイク重畳」である場合には、カメラ１４の撮影画像に対して所定のフィルタ処理を行うことでモザイク画像を生成し、当該モザイク画像をユーザの網膜上に描画させる制御を行う。
　図３は、画像解析部１１ａ、行動解析部１１ｂ、制御部１１ｃ及び画像処理部１１ｄが扱う入力情報及び出力情報を示している。
　図３（ａ）は、画像解析部１１ａの入力情報を示している。画像解析部１１ａは、ＧＰＳ１５から緯度／経度（北緯／南緯：xx°yy’zz.zzzz”、及び東経／西経：xxx°yy’zz.zzzz”）が入力されると共に、カメラ１４から撮影画像に対応する画像情報が入力される。また、画像解析部１１ａは、拒否対象ＤＢ１２ａに記憶された拒否対象の情報（拒否対象情報）が入力される。図３（ｂ）は、画像解析部１１ａの出力情報を示している。画像解析部１１ａは、「対象一致」及び「対象不一致」のいずれかを示す画像解析結果を、制御部１１ｃに出力する。また、画像解析部１１ａは、モザイク重畳（モザイク除去も含む）を行う「範囲」の情報も、画像解析結果として制御部１１ｃに出力する。この「範囲」は、モザイク画像を描画する網膜上の範囲に対応し、例えば予め設定された範囲が用いられる。１つの例では、ユーザの視野の中央部分に位置する、所定サイズの範囲が用いられる。
　図３（ｃ）は、行動解析部１１ｂの入力情報を示している。行動解析部１１ｂは、加速度センサ１６から加速度（「Ａ［ｍ／ｓ２］」）が入力される。図３（ｄ）は、行動解析部１１ｂの出力情報を示している。行動解析部１１ｂは、「拒否反応」及び「拒否反応以外」のいずれかを示す行動解析結果を、制御部１１ｃに出力する。
　図３（ｅ）は、制御部１１ｃの入力情報を示している。制御部１１ｃは、上記したような画像解析結果が画像解析部１１ａから入力されると共に、上記したような行動解析結果が行動解析部１１ｂから入力される。図３（ｆ）は、制御部１１ｃの出力情報を示している。制御部１１ｃは、「モザイク重畳」、「モザイク除去」及び「無処理」のいずれかを示す画像処理指示を、画像処理部１１ｄに出力する。また、制御部１１ｃは、画像解析部１１ａから入力された「範囲」の情報も、画像処理指示として画像処理部１１ｄに出力する。
　図３（ｇ）は、画像処理部１１ｄの入力情報を示している。画像処理部１１ｄは、上記したような画像処理指示が制御部１１ｃから入力される。
　なお、画像解析部１１ａ及び行動解析部１１ｂは、本発明における「検出手段」の一例に相当し、制御部１１ｃは、本発明における「制御手段」の一例に相当する。
　［制御方法］
　次に、本実施例においてマイコン１１が行う制御方法について具体的に説明する。上記したように、制御部１１ｃは、画像解析結果が「対象一致」を示しており、且つ行動解析結果が「拒否反応」を示している場合に、画像処理指示として「モザイク重畳」を画像処理部１１ｄに出力する。つまり、本実施例では、ユーザが拒否反応を示し、且つ今回取得した緯度／経度が前回取得した緯度／経度に一致し、尚且つ撮影画像が拒否対象と一致している場合に、ユーザに拒否対象が直接視認されてしまうことを制限する。より具体的には、本実施例では、ユーザが視線を背ける行動を行った後に、視線を背ける前と同じ方向に再び視線を向けた際において、撮影画像に拒否対象が含まれている場合に、ユーザに拒否対象が直接視認されてしまうことを制限するための制御を行う。なお、本実施例では、ユーザによる視線を背ける行動として、ユーザの頭部の移動を伴う行動を検出する。
　図４を参照して、本実施例においてマイコン１１が行う制御方法の具体例について説明する。ここでは、拒否対象として交通事故を例示する。また、交通事故が拒否対象として拒否対象ＤＢ１２ａに記憶されているものとする。例えば、交通事故を示す画像データなどが拒否対象ＤＢ１２ａに記憶されている。なお、図４の右側の破線領域には、ユーザが実際に視認する実像を示している。
　図４（ａ）は、突発的な交通事故がユーザの目前に現れた際の図を示している。この際には、「モザイク重畳」が未だ行われていないため、図４（ａ）の破線領域に示すように、ユーザは交通事故を視認することとなる。
　次に、図４（ｂ）に示すように、ユーザが交通事故の視認を避けるような行動（拒否反応）を行ったものとする。拒否反応としては、例えばユーザが交通事故の方角から視線を背けるように、頭部を動かす行動を行ったものとする。この際に、加速度センサ１６は、ユーザの頭の動きに相当する加速度Ａ［ｍ／ｓ２］を検出する。そして、マイコン１１内の行動解析部１１ｂは、加速度センサ１６から加速度Ａ［ｍ／ｓ２］が入力され、加速度Ａ［ｍ／ｓ２］に基づいてユーザの行動を解析する。この場合、行動解析部１１ｂは、加速度Ａ［ｍ／ｓ２］が所定値以上であるため、行動解析結果として「拒否反応」を制御部１１ｃに出力する。
　次に、図４（ｃ）に示すように、拒否反応を示す直前に顔を向けていた方向と同じ方向にユーザが顔を向けたものとする、言い換えると拒否対象が存在する方向にユーザが再び顔を向けたものとする。この場合、マイコン１１内の画像解析部１１ａは、ＧＰＳ１５から前回取得した緯度／経度（図４（ａ）参照）と概ね同一の緯度／経度を取得する。そのため、画像解析部１１ａは、カメラ１４の撮影画像を画像解析することで、撮影画像が、記憶部１２の拒否対象ＤＢ１２ａに記憶された拒否対象に一致するか否かを判定する。上記したように交通事故を示す画像データなどが拒否対象ＤＢ１２ａに記憶されているため、画像解析部１１ａは、撮影画像が、拒否対象ＤＢ１２ａに記憶された拒否対象に一致すると判定する。そして、画像解析部１１ａは、画像解析結果として「対象一致」を制御部１１ｃに出力する。
　マイコン１１内の制御部１１ｃは、行動解析結果が「拒否反応」を示しており、且つ画像解析結果が「対象一致」を示しているため、画像処理指示として「モザイク重畳」を画像処理部１１ｄに出力する。そして、マイコン１１内の画像処理部１１ｄは、「モザイク重畳」に対応する画像処理を実行する。具体的には、画像処理部１１ｄは、撮影画像に対して所定のフィルタ処理を行うことでモザイク画像を生成し、当該モザイク画像をユーザの網膜上に描画させる制御を行う。これにより、図４（ｃ）の破線領域に示すように、ユーザはモザイク処理された交通事故を視認することとなる。
　以上説明した本実施例における制御方法によれば、ユーザに拒否対象が直接視認されてしまうことを適切に抑制することが可能となる。また、本実施例によれば、画像解析部１１ａによる画像解析及び行動解析部１１ｂによる行動解析に基づいて、視認を制限すべき状況であるか否かを適切に判断することができる。よって、むやみに視認を制限してしまうことを抑制することが可能となる。また、本実施例によれば、今回取得した緯度／経度が前回取得した緯度／経度に一致する場合のみ、撮影画像が拒否対象と一致しているか否かを判定する処理（つまり画像解析）を行うため、当該処理を緯度／経度に関係なく毎回行う場合と比較して、処理負荷を軽減することができる。
　［制御フロー］
　次に、図５乃至図８を参照して、本実施例においてマイコン１１が行う処理フローを説明する。
　図５は、本実施例においてマイコン１１が行う全体処理を示すフローチャートである。当該処理は、マイコン１１によって、所定の周期で繰り返し実行される。
　まず、ステップＳ１０１では、マイコン１１内の画像解析部１１ａが、ＧＰＳ１５から緯度／経度を取得すると共に、カメラ１４から画像情報を取得し、拒否対象ＤＢ１２ａに記憶された拒否対象の情報（拒否対象情報）に基づいて、「対象不一致」及び「対象不一致」のいずれかを示す画像解析結果を生成する。そして、画像解析部１１ａは、画像解析結果を制御部１１ｃに出力する。この後、処理はステップＳ１０２に進む。
　ステップＳ１０２では、マイコン１１内の行動解析部１１ｂが、加速度センサ１６から加速度を取得し、加速度に基づいて、「拒否反応」及び「拒否反応以外」のいずれかを示す行動解析結果を生成する。そして、行動解析部１１ｂは、行動解析結果を制御部１１ｃに出力する。この後、処理はステップＳ１０３に進む。
　ステップＳ１０３では、マイコン１１内の制御部１１ｃが、画像解析部１１ａから画像解析結果を取得すると共に、行動解析部１１ｂから行動解析結果を取得し、画像解析結果及び行動解析結果に基づいて、「モザイク重畳」、「モザイク除去」及び「無処理」のいずれかを示す画像処理指示を生成する。そして、制御部１１ｃは、画像処理指示を画像処理部１１ｄに出力する。この後、処理はステップＳ１０４に進む。
　ステップＳ１０４では、マイコン１１内の画像処理部１１ｄが、制御部１１ｃから画像処理指示を取得し、画像処理指示に基づいて画像処理を行う。そして、処理は終了する。
　次に、図６は、上記したステップＳ１０１の処理の詳細を示すフローチャートである。具体的には、画像解析部１１ａが行う処理を示すフローチャートである。
　まず、ステップＳ２０１では、画像解析部１１ａは、画像解析結果を「対象不一致」で初期化する。そして、処理はステップＳ２０２に進む。ステップＳ２０２では、画像解析部１１ａは、モザイク重畳又はモザイク除去を行う範囲を「Ｘ＝０、Ｙ＝０」で初期化する。そして、処理はステップＳ２０３に進む。ステップＳ２０３では、画像解析部１１ａは、ＧＰＳ１５から緯度／経度を取得する。画像解析部１１ａは、こうして取得された緯度／経度を、「今回の緯度／経度」として用いる。そして、処理はステップＳ２０４に進む。
　ステップＳ２０４では、画像解析部１１ａは、今回の緯度／経度が、当該フローを前回実行した際に取得した緯度／経度（前回の緯度／経度）に一致するか否かを判定する。今回の緯度／経度が前回の緯度／経度に一致する場合（ステップＳ２０４；Ｙｅｓ）、処理はステップＳ２０５に進む。これに対して、今回の緯度／経度が前回の緯度／経度に一致しない場合（ステップＳ２０４；Ｎｏ）、処理はステップＳ２０９に進む。この場合には、画像解析部１１ａは、前回の緯度／経度を今回の緯度／経度で更新する処理のみを行い（ステップＳ２０９）、処理は終了する。当該場合には、ステップＳ２０１で初期化された「対象不一致」に画像解析結果が維持されているため、画像解析部１１ａは、画像解析結果として「対象不一致」を制御部１１ｃに出力する。また、画像解析部１１ａは、「Ｘ＝０、Ｙ＝０」の範囲を、画像解析結果として制御部１１ｃに出力する。
　なお、上記のステップＳ２０４では、今回の緯度／経度が前回の緯度／経度に完全に一致しているか否かを判定する必要はなく、ある程度の誤差を考慮して、今回の緯度／経度が前回の緯度／経度に概ね一致しているか否かを判定すれば良い。
　ステップＳ２０５では、画像解析部１１ａは、カメラ１４から撮影画像に対応する画像情報を取得する。そして、処理はステップＳ２０６に進む。ステップＳ２０６では、画像解析部１１ａは、撮影画像が、記憶部１２の拒否対象ＤＢ１２ａに記憶された拒否対象に一致するか否かを判定する。つまり、画像解析部１１ａは、拒否対象ＤＢ１２ａに記憶された拒否対象が撮影画像に含まれているか否かを判定する。１つの例では、拒否対象の特徴部分のデータを拒否対象ＤＢ１２ａに記憶させておき、画像解析部１１ａは、撮影画像に対して公知の画像解析を行うことで、そのような拒否対象の特徴部分が撮影画像に含まれているか否かを判定する。
　撮影画像が拒否対象に一致する場合（ステップＳ２０６；Ｙｅｓ）、処理はステップＳ２０７に進む。これに対して、撮影画像が拒否対象に一致しない場合（ステップＳ２０６；Ｙｅｓ）、処理はステップＳ２０７に進む。この場合には、画像解析部１１ａは、前回の緯度／経度を今回の緯度／経度で更新する処理のみを行い（ステップＳ２０９）、処理は終了する。当該場合には、ステップＳ２０１で初期化された「対象不一致」に画像解析結果が維持されているため、画像解析部１１ａは、画像解析結果として「対象不一致」を制御部１１ｃに出力する。また、画像解析部１１ａは、「Ｘ＝０、Ｙ＝０」の範囲を、画像解析結果として制御部１１ｃに出力する。
　ステップＳ２０７では、画像解析部１１ａは、画像解析結果を「対象一致」に設定する。そして、処理はステップＳ２０８に進む。ステップＳ２０８では、画像解析部１１ａは、モザイク重畳（モザイク除去も含む）を行う範囲を「Ｘ＝ｘｘ、Ｙ＝ｙｙ」に設定する。この範囲は、例えば予め設定された範囲が用いられる。１つの例では、ユーザの視野の中央部分に位置する、所定サイズの範囲が用いられる。そして、処理はステップＳ２０９に進む。
　ステップＳ２０９では、画像解析部１１ａは、前回の緯度／経度を今回の緯度／経度で更新する。この場合には、画像解析部１１ａは、画像解析結果として「対象一致」を制御部１１ｃに出力する。また、画像解析部１１ａは、「Ｘ＝ｘｘ、Ｙ＝ｙｙ」の範囲を、画像解析結果として制御部１１ｃに出力する。そして、処理は終了する。
　次に、図７は、上記したステップＳ１０２の処理の詳細を示すフローチャートである。具体的には、行動解析部１１ｂが行う処理を示すフローチャートである。
　まず、ステップＳ３０１では、行動解析部１１ｂは、行動解析結果を「拒否対象以外」で初期化する。そして、処理はステップＳ３０２に進む。ステップＳ３０２では、行動解析部１１ｂは、加速度センサ１６から加速度を取得する。そして、処理はステップＳ３０３に進む。
　ステップＳ３０３では、行動解析部１１ｂは、加速度が所定値以上であるか否かを判定する。所定値は、予め設定した固定値を用いても良いし、ユーザが設定した値を用いても良い。
　加速度が所定値以上である場合（ステップＳ３０３；Ｙｅｓ）、処理はステップＳ３０４に進む。ステップＳ３０４では、行動解析部１１ｂは、行動解析結果を「拒否対象」に設定する。この場合には、行動解析部１１ｂは、行動解析結果として「拒否対象」を制御部１１ｃに出力する。そして、処理は終了する。これに対して、加速度が所定値未満である場合（ステップＳ３０３；Ｎｏ）、処理は終了する。この場合には、ステップＳ３０１で初期化された「拒否対象以外」に行動解析結果が維持されているため、行動解析部１１ｂは、行動解析結果として「拒否対象以外」を制御部１１ｃに出力する。
　次に、図８は、上記したステップＳ１０３の処理の詳細を示すフローチャートである。具体的には、制御部１１ｃが行う処理を示すフローチャートである。
　まず、ステップＳ４０１では、制御部１１ｃは、今回の画像処理指示を「無処理」で初期化する。そして、処理はステップＳ４０２に進む。ステップＳ４０２では、制御部１１ｃは、画像解析部１１ａから取得した画像解析結果が「対象一致」であるか否かを判定する。画像解析結果が「対象一致」である場合（ステップＳ４０２；Ｙｅｓ）、処理はステップＳ４０３に進む。
　ステップＳ４０３では、制御部１１ｃは、行動解析部１１ｂから取得した行動解析結果が「拒否反応」であるか否かを判定する。行動解析結果が「拒否反応」である場合（ステップＳ４０３；Ｙｅｓ）、制御部１１ｃは、当該フローを前回実行した際に設定した画像処理指示（前回の画像処理指示）が「モザイク重畳」であるか否かを判定する（ステップＳ４０４）。前回の画像処理指示が「モザイク重畳」でない場合（ステップＳ４０４；Ｎｏ）、制御部１１ｃは、今回の画像処理指示を「モザイク重畳」に設定する（ステップＳ４０５）。そして、制御部１１ｃは、モザイク重畳を行う範囲を、画像解析部１１ａから画像解析結果として取得した「Ｘ＝ｘｘ、Ｙ＝ｙｙ」の範囲に設定する（ステップＳ４０６）。次に、制御部１１ｃは、前回の画像処理指示を今回の画像処理指示で更新する（ステップＳ４０７）。この場合には、制御部１１ｃは、画像処理指示として「モザイク重畳」を画像処理部１１ｄに出力する。また、制御部１１ｃは、「Ｘ＝ｘｘ、Ｙ＝ｙｙ」の範囲を、画像処理指示として画像処理部１１ｄに出力する。この後、処理は終了する。
　一方、行動解析結果が「拒否反応」でない場合（ステップＳ４０３；Ｎｏ）、又は前回の画像処理指示が「モザイク重畳」である場合（ステップＳ４０４；Ｙｅｓ）、制御部１１ｃは、前回の画像処理指示を今回の画像処理指示で更新する処理のみ行い（ステップＳ４０７）、処理は終了する。この場合には、ステップＳ４０１で初期化された「無処理」が画像処理指示として維持されているため、制御部１１ｃは、画像処理指示として「無処理」を画像処理部１１ｄに出力する。
　他方で、画像解析結果が「対象一致」でない場合（ステップＳ４０２；Ｎｏ）、つまり画像解析結果が「対象不一致」である場合、処理はステップＳ４０８に進む。ステップＳ４０８では、制御部１１ｃは、前回の画像処理指示が「モザイク重畳」であるか否かを判定する。前回の画像処理指示が「モザイク重畳」である場合（ステップＳ４０８；Ｙｅｓ）、制御手段１１ｃは、今回の画像処理指示を「モザイク除去」に設定する（ステップＳ４０９）。そして、制御部１１ｃは、モザイク除去を行う範囲を、画像解析部１１ａから画像解析結果として取得した「Ｘ＝ｘｘ、Ｙ＝ｙｙ」の範囲に設定する（ステップＳ４１０）。次に、制御部１１ｃは、前回の画像処理指示を今回の画像処理指示で更新する（ステップＳ４０７）。この場合には、制御部１１ｃは、画像処理指示として「モザイク除去」を画像処理部１１ｄに出力する。また、制御部１１ｃは、「Ｘ＝ｘｘ、Ｙ＝ｙｙ」の範囲を、画像処理指示として画像処理部１１ｄに出力する。この後、処理は終了する。
　これに対して、前回の画像処理指示が「モザイク重畳」でない場合（ステップＳ４０８；Ｎｏ）、制御部１１ｃは、前回の画像処理指示を今回の画像処理指示で更新する処理のみ行い（ステップＳ４０７）、処理は終了する。この場合には、ステップＳ４０１で初期化された「無処理」が画像処理指示として維持されているため、制御部１１ｃは、画像処理指示として「無処理」を画像処理部１１ｄに出力する。
　以上説明した処理フローによれば、画像解析及び行動解析により、ユーザの視認を制限すべき状況であるか否かを適切に判断して、ユーザに拒否対象が直接視認されてしまうことを適切に抑制することが可能となる。
　［変形例］
　次に、上記した実施例の変形例について説明する。なお、以下の変形例は適宜組み合わせて実施することができる。
　（変形例１）
　上記では、拒否対象として交通事故を例示したが（図４参照）、これ以外にも種々の対象を拒否対象として用いることができる。１つの例では、スポーツの試合結果（例えば電光掲示板などに表示されるもの）を、拒否対象として用いることができる。この例では、画像解析部１１ａは、撮影画像からチーム名や数字やハイフン（－）などを抽出して文字認識することで、撮影画像に拒否対象が含まれているか否かを判定する。他の例では、拒否対象として、映像などで表示される「血」を、拒否対象として用いることができる。この例では、画像解析部１１ａは、撮影画像に含まれる色に基づいて、撮影画像に拒否対象が含まれているか否かを判定する。つまり、画像解析部１１ａは、血の色に相当する赤が撮影画像に含まれている場合に、撮影画像に拒否対象が含まれていると判定する。
　（変形例２）
　上記では、撮影画像に対して画像分析などを行うことで、撮影画像に拒否対象が含まれているか否かを判定する例を示した。他の例では、画像解析部１１ａは、撮影対象に予め貼り付けられているＡＲマーカー（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）などの目印となる画像を抽出し、ＡＲマーカーに基づいて、撮影画像がどのような画像であるかを識別し、撮影画像に拒否対象が含まれているか否かを判定することができる。具体的には、スポーツの試合結果を表示させる電光掲示板には、予め試合結果が表示されていることを示すマーカーを貼り付けておくことで、そこに拒否対象が存在することが判別できる。
　（変形例３）
　上記では、予め設定された所定の範囲（ユーザの視野の中央部分に位置する所定サイズの範囲など）に、モザイク画像を描画させる例を示した。他の例では、網膜上において拒否対象が結像している箇所に、モザイク画像を描画させることができる。この例では、画像解析部１１ａは、撮影画像に拒否対象が含まれていると判定した場合に、拒否対象が位置する範囲を更に特定し、制御部１１ｃは、画像解析部１１ａが特定した範囲に対応する網膜上の範囲に、モザイク画像を描画させることができる。
　（変形例４）
　上記では、モザイク画像を網膜上に描画させる例を示したが、ユーザに拒否対象が直接視認されてしまうことを制限できれば、モザイク画像以外の所定の画像を網膜上に描画させることができる。例えば、制御部１１ｃは、所定の色を有する画像で、網膜上の所定範囲を塗りつぶすような制御を行うことができる。
　（変形例５）
　上記では、ユーザが拒否反応を示している場合に、ユーザに拒否対象が直接視認されてしまうことを制限する制御を行う例を示したが、他の例では、ユーザが拒否反応を示したか否かに関わらず、撮影画像に拒否対象が含まれている場合に、当該制御を行うことができる。具体的には、ユーザの頭の動きに関わらず（具体的には、ユーザが顔を背ける行動を行った否か、及びユーザが顔を背ける前と同じ方向に再び顔を向けたか否かに関わらず）、撮影画像に拒否対象が含まれている場合に、ユーザに拒否対象が直接視認されてしまうことを制限する制御を行うことができる。
　（変形例６）
　上記では、撮影画像に拒否対象が含まれている場合に、ユーザに拒否対象が直接視認されてしまうことを制限する制御を行う例を示したが、他の例では、撮影画像に拒否対象が含まれている否かに関わらず、ユーザが拒否反応を示した場合に、当該制御を行うことができる。具体的には、ユーザが顔を背ける行動を行った後に、ユーザが顔を背ける前と同じ方向に再び顔を向けた際に、ユーザに拒否対象が直接視認されてしまうことを制限する制御を行うことができる。
　（変形例７）
　上記では本発明をヘッドマウントディスプレイ（ＨＭＤ）に適用する例を示したが、本発明の適用はこれに限定されない。本発明は、ＨＭＤ以外にも、種々の画像描画装置に適用することができる。
　以上に述べたように、実施例は、上述した実施例に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能である。
　本発明は、ヘッドマウントディスプレイなどの画像描画装置に利用することができる。
　１　ヘッドマウントディスプレイ（ＨＭＤ）
　１１　マイクロコンピュータ（マイコン）
　１１ａ　画像解析部
　１１ｂ　行動解析部
　１１ｃ　制御部
　１１ｄ　画像処理部
　１２　記憶部
　１２ａ　拒否対象ＤＢ
　１３　光源ユニット
　１４　カメラ
　１５　ＧＰＳ
　１６　加速度センサ

Claims (12)

  1. 　ユーザの網膜上に画像を描画する光源と、
    　前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出手段と、
    　前記検出手段が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御手段と、を備えることを特徴とする画像描画装置。
  2. 　前記制御手段は、前記網膜上において前記拒否対象が結像している箇所に、前記所定の画像を描画させることを特徴とする請求項１に記載の画像描画装置。
  3. 　前記検出手段は、前記外界を撮影するカメラから撮影画像を取得し、前記撮影画像に基づいて前記拒否対象を検出する処理を行うことを特徴とする請求項１又は２に記載の画像描画装置。
  4. 　予め設定された前記拒否対象のデータを記憶する記憶手段を更に有し、
    　前記検出手段は、前記撮影画像を画像解析することで、前記記憶手段が記憶している前記拒否対象が前記撮影画像に含まれているか否かを判断することで、前記撮影画像から前記拒否対象を検出することを特徴とする請求項３に記載の画像描画装置。
  5. 　前記検出手段は、前記ユーザが視線を背ける行動を行った場合に、前記ユーザが視線を背ける前に視線を向けていた方向に、前記拒否対象が存在していたものと判断し、
    　前記制御手段は、前記検出手段が前記判断を行った後に、前記ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、前記所定の画像を描画させる制御を行うことを特徴とする請求項１又は２に記載の画像描画装置。
  6. 　前記検出手段は、前記画像描画装置の加速度を検出する加速度センサの出力値に基づいて、前記ユーザが視線を背ける行動を行ったか否かを判断し、
    　前記制御手段は、前記画像描画装置の位置を検出するＧＰＳの出力値に基づいて、前記ユーザが視線を背ける前と同じ方向に再び視線を向けたか否かを判断することを特徴とする請求項５に記載の画像描画装置。
  7. 　前記検出手段は、前記ユーザによる視線を背ける行動として、前記ユーザの頭部の移動を伴う行動を検出することを特徴とする請求項６に記載の画像描画装置。
  8. 　前記検出手段は、前記ユーザが視線を背ける行動を行った後に、前記ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、前記外界を撮影するカメラから取得した撮影画像に基づいて、前記拒否対象を検出する処理を行うことを特徴とする請求項１又は２に記載の画像描画装置。
  9. 　前記制御手段は、前記検出手段が前記拒否対象を検出した際に前記ユーザが視線を向けていた方向と異なる方向に前記ユーザが視線を向けた場合に、前記所定の画像の描画を中止することを特徴とする請求項１乃至８のいずれか一項に記載の画像描画装置。
  10. 　ユーザの網膜上に画像を描画する光源を有する画像描画装置によって実行される画像描画方法であって、
    　前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出工程と、
    　前記検出工程が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御工程と、を備えることを特徴とする画像描画方法。
  11. 　ユーザの網膜上に画像を描画する光源及びコンピュータを有する画像描画装置によって実行される画像描画プログラムであって、
    　前記コンピュータを、
    　前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出手段、
    　前記検出手段が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御手段、として機能させることを特徴とする画像描画プログラム。
  12. 　請求項１１に記載の画像描画プログラムを記録したことを特徴とする記録媒体。
PCT/JP2011/060870 2011-05-11 2011-05-11 画像描画装置、画像描画方法及び画像描画プログラム WO2012153405A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2011/060870 WO2012153405A1 (ja) 2011-05-11 2011-05-11 画像描画装置、画像描画方法及び画像描画プログラム
JP2011544537A JP4926301B1 (ja) 2011-05-11 2011-05-11 画像描画装置、画像描画方法及び画像描画プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/060870 WO2012153405A1 (ja) 2011-05-11 2011-05-11 画像描画装置、画像描画方法及び画像描画プログラム

Publications (1)

Publication Number Publication Date
WO2012153405A1 true WO2012153405A1 (ja) 2012-11-15

Family

ID=46261503

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/060870 WO2012153405A1 (ja) 2011-05-11 2011-05-11 画像描画装置、画像描画方法及び画像描画プログラム

Country Status (2)

Country Link
JP (1) JP4926301B1 (ja)
WO (1) WO2012153405A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11346336A (ja) * 1998-06-01 1999-12-14 Fuji Electric Co Ltd 眼鏡型ヘッドマウントディスプレイ
JP2005086328A (ja) * 2003-09-05 2005-03-31 Fuji Photo Film Co Ltd ヘッドマウントディスプレイ及びそのコンテンツ再生方法
JP2006285833A (ja) * 2005-04-04 2006-10-19 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2008083290A (ja) * 2006-09-27 2008-04-10 Sony Corp 表示装置、表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11346336A (ja) * 1998-06-01 1999-12-14 Fuji Electric Co Ltd 眼鏡型ヘッドマウントディスプレイ
JP2005086328A (ja) * 2003-09-05 2005-03-31 Fuji Photo Film Co Ltd ヘッドマウントディスプレイ及びそのコンテンツ再生方法
JP2006285833A (ja) * 2005-04-04 2006-10-19 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2008083290A (ja) * 2006-09-27 2008-04-10 Sony Corp 表示装置、表示方法

Also Published As

Publication number Publication date
JPWO2012153405A1 (ja) 2014-07-28
JP4926301B1 (ja) 2012-05-09

Similar Documents

Publication Publication Date Title
JP6411505B2 (ja) 全焦点画像を生成するための方法および装置
JP6303297B2 (ja) 端末装置、視線検出プログラムおよび視線検出方法
JP2012103789A (ja) オブジェクト表示装置及びオブジェクト表示方法
KR20120083486A (ko) 화상 처리 장치, 화상 처리 방법, 및, 기록 매체
JP6165681B2 (ja) 画像表示装置及び画像表示方法
US10277814B2 (en) Display control method and system for executing the display control method
KR20150022350A (ko) 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
JP4856291B1 (ja) 表示装置及び制御方法
FR3058534A1 (fr) Dispositif individuel d'immersion visuelle pour personne en mouvement avec gestion des obstacles
JP6634502B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR101395388B1 (ko) 증강 현실 표현 장치 및 방법
WO2016157923A1 (ja) 情報処理装置及び情報処理方法
JP2016195323A (ja) 情報処理装置、情報処理方法、プログラム
CN106095375B (zh) 显示控制方法和装置
JP5517170B2 (ja) 表示装置及び制御方法
JP4926301B1 (ja) 画像描画装置、画像描画方法及び画像描画プログラム
JP2012222664A (ja) 車載カメラシステム
JP6208977B2 (ja) 情報処理装置、通信端末およびデータ取得方法
JP2012058353A (ja) 画像表示装置、及びその制御方法
KR101908991B1 (ko) 증강현실 구현 장치
JP4727188B2 (ja) 重畳型画像観察装置
JP2014212406A (ja) 画像処理装置および画像処理プログラム
JP2015005088A (ja) 画像処理装置、及びプログラム
JP2017092866A (ja) 表示制御方法、表示制御プログラムおよび情報処理装置
CN116193246A (zh) 用于拍摄视频的提示方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2011544537

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11865437

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11865437

Country of ref document: EP

Kind code of ref document: A1