WO2022004503A1 - 表示制御装置、表示制御方法および記録媒体 - Google Patents

表示制御装置、表示制御方法および記録媒体 Download PDF

Info

Publication number
WO2022004503A1
WO2022004503A1 PCT/JP2021/023689 JP2021023689W WO2022004503A1 WO 2022004503 A1 WO2022004503 A1 WO 2022004503A1 JP 2021023689 W JP2021023689 W JP 2021023689W WO 2022004503 A1 WO2022004503 A1 WO 2022004503A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
virtual object
display control
light image
real space
Prior art date
Application number
PCT/JP2021/023689
Other languages
English (en)
French (fr)
Inventor
正行 井上
浩丈 市川
遼 深澤
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/002,656 priority Critical patent/US20230237696A1/en
Publication of WO2022004503A1 publication Critical patent/WO2022004503A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a display control device, a display control method, and a recording medium.
  • Augmented Reality In recent years, applications using Augmented Reality are becoming widespread.
  • feature points are extracted from an image captured by an imaging device, and the self-position is estimated based on the extracted feature points.
  • the present disclosure provides a display control device, a display control method, and a recording medium relating to the addition of an invisible substance.
  • One aspect of the present disclosure is a display control device including an acquisition unit, a map creation unit, and a display control unit.
  • the acquisition unit is configured to acquire an invisible light image representing invisible light in real space from a sensor.
  • the map creation unit is configured to create an environment map representing the shape of the real space based on the invisible light image.
  • the display control unit is configured to control the display unit so as to superimpose a virtual object relating to the state of the invisible substance in the real space on the real space based on the invisible light image.
  • One aspect of the present disclosure improves the work efficiency of the user when applying an invisible substance as a feature point to the real space.
  • FIGS. 1 and 2 are diagrams showing an outline of an information processing apparatus.
  • the information processing device may be regarded as a display control device.
  • the information processing device 1 is an AR device that provides augmented reality (AR), and is a head-mounted display (HMD).
  • AR augmented reality
  • HMD head-mounted display
  • the information processing device 1 is a so-called optical see-through type HMD that includes a display unit 4 having optical transparency and displays a virtual object in a real space via the display unit 4.
  • the information processing device 1 may be a video see-through type AR device that superimposes and displays a virtual object on an image captured by the outward-facing camera 3a that captures the front region of the display unit 4.
  • the information processing device 1 estimates the self-position of the information processing device 1 in order to superimpose and display a virtual object on a specific position in the real space. For example, the estimation of the self-position is performed by the feature points registered in advance in the environment map (map information) representing the surrounding environment (real space) of the information processing apparatus 1 and the features extracted from the captured image taken by the outward camera 3a. It is done by collating with the points.
  • real space is sometimes called the real environment or the real world.
  • a method of adding a pattern (dirt) to a wall or the like in a real space or placing an object to give a feature point later is known.
  • a method of giving a pattern a method of attaching a tape to a surface of a real space, a method of arranging a printed marker, a method of directly applying a paint, and the like are known.
  • there is a risk of spoiling the landscape in order to add feature points For example, it may be difficult to implement in public spaces such as shopping malls due to restrictions.
  • an invisible substance that cannot be seen by the human eye is used as a feature point given to the real space.
  • the substance may be referred to as an invisible substance.
  • Invisible substances are not limited to substances that are not completely recognized by the human eye, but also include substances that are difficult to recognize by the naked eye.
  • special paints are used as an example of invisible substances.
  • the information processing apparatus 1 visualizes an invisible substance with respect to the self-position based on the detection result acquired from the sensor 3 (see FIG. 3) that detects the special paint.
  • a paint that radiates a wavelength other than visible light such as ultraviolet rays or infrared rays is used.
  • the worker (hereinafter referred to as user U) cannot directly confirm the special paint P drawn (given) on the surface (wall or floor) of the real space with the naked eye. Therefore, the information processing apparatus 1 presents (feeds back) the drawing status of the special paint P to the user U.
  • the information processing device 1 detects the special paint P applied to the surface of the real space based on the detection result by the invisible light sensor 3c (see FIG. 3) that detects the special paint.
  • the information processing apparatus 1 displays the detected state of the special paint P on the display unit 4 as a virtual object.
  • the locus O displayed as a virtual object may represent a special paint drawn by the user U. That is, the displayed locus O of the special paint may be regarded as an example of an image showing the state of the special paint P.
  • the information processing apparatus 1 does not display the locus O on the display unit 4. That is, the state in which the locus O is not displayed is also an example of the state of the special paint P.
  • the information processing apparatus 1 presents the user U with a model (hereinafter referred to as a guide image G) showing the feature points for self-position estimation.
  • the information processing apparatus 1 generates a guide image G based on the detection result by the invisible light sensor 3c and displays it on the display unit 4 as a virtual object.
  • the guide image G may be referred to as a first virtual object.
  • the information processing apparatus 1 superimposes the guide image G on the surface of the real space to which the special paint P is not applied. That is, the guide image G is an example of an image relating to the state of the special paint P, and may be regarded as showing that the special paint P does not exist.
  • the user U recognizes that the guide image G is drawn on the surface of the real space.
  • the user U can add sufficient feature points to the surface of the real space by tracing the guide image G drawn on the surface of the real space using the special paint P.
  • the information processing apparatus 1 displays the locus O actually drawn by the user using the special paint P in a display mode different from that of the guide image G (for example, a difference in color). good.
  • the user U can simultaneously recognize the guide image G and the locus O already drawn by the user U, and can easily grasp the portion to which the special paint P should be further applied.
  • the image corresponding to the locus O may be referred to as a second virtual object.
  • the image corresponding to the locus O may be considered to represent the presence of the special paint P.
  • the information processing apparatus 1 presents the drawing status of the special paint P to the user U. Further, the information processing apparatus 1 displays a guide image G as a model of the feature point as feedback. According to the information processing apparatus 1, since the user U can easily add feature points to the real space by using the special paint P, it is possible to easily provide a space suitable for augmented reality.
  • FIG. 3 is a block diagram of the information processing apparatus 1.
  • the information processing apparatus 1 includes a sensor 3, a display unit 4, a storage unit 5, and a control unit 6.
  • the sensor 3, the display unit 4, and the storage unit 5 are configured as a device separate from the information processing device 1, and may be connected to the information processing device 1 including the control unit 6 by wire or wirelessly.
  • the sensor 3 includes an outward-facing camera 3a, a 9df (degrees of freedom) sensor 3b, and an invisible light sensor 3c.
  • the configuration of the sensor 3 shown in FIG. 3 is an example, and is not particularly limited to the configuration shown in FIG.
  • various sensors such as an environment sensor such as an illuminance sensor and a temperature sensor, an ultrasonic sensor, and an infrared sensor may be provided, and each sensor may be a single sensor or a plurality of sensors. There may be.
  • the outward-facing camera 3a is a so-called RGB (Red Green Blue) camera, and captures an image of the user's surroundings in real space.
  • the image acquired by the outward-facing camera 3a may be referred to as a visible light image. It is desirable to set the angle of view and orientation.
  • a plurality of outward-facing cameras 3a may be provided. Further, the outward-facing camera 3a may include a depth sensor.
  • the outward-facing camera 3a has a lens system, a drive system, an individual image sensor array, and the like.
  • the lens system is composed of an image pickup lens, a diaphragm, a zoom lens, a focus lens, and the like.
  • the drive system causes the lens system to perform a focus operation and a zoom operation.
  • the solid-state image sensor array photoelectrically converts the image pickup light obtained in the lens system to generate an image pickup signal.
  • the solid-state image sensor array can be mounted by, for example, CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor).
  • the 9dof sensor 3b is an inertial measurement unit with 9 degrees of freedom, and is composed of a 3-axis acceleration sensor, a 3-axis gyro sensor, and a 3-axis geomagnetic sensor.
  • the 9dof sensor 3b detects the acceleration acting on the user (information processing device 1), the angular velocity (rotational speed) acting on the user (information processing device 1), and the absolute orientation of the user (information processing device 1).
  • the invisible light sensor 3c is a sensor that detects the special paint P.
  • the special paint P is a paint that emits ultraviolet rays or infrared rays
  • the invisible light sensor 3c becomes an ultraviolet camera or an infrared camera.
  • the angle of view and orientation of the invisible light sensor 3c which is an ultraviolet camera or an infrared camera, be set so as to capture the user's line-of-sight direction in real space when mounted.
  • an image representing invisible light in real space taken by the invisible light sensor 3c may be referred to as an invisible light image.
  • the display unit 4 has, for example, a display surface including a half mirror and a transparent light guide plate.
  • the display unit 4 projects an image (light) from the inside of the display surface toward the user's eyeball to allow the user to view the image.
  • the storage unit 5 stores programs and data used to realize various functions of the information processing device 1.
  • the storage unit 5 is realized by a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • the storage unit 5 is also used as a parameter used in various processes, a work area for various processes, and the like.
  • the storage unit 5 has a map information storage unit 5a.
  • the map information storage unit 5a is a storage area for storing map information (so-called environment map) indicating the surrounding environment in the real space.
  • FIG. 4 is a diagram showing an example of the map information storage unit 5a according to the embodiment.
  • the map information storage unit 5a stores information such as coordinates and feature points in association with each other.
  • the coordinates indicate the coordinates on the map information.
  • the feature points include the feature points corresponding to RGB and the feature points corresponding to the special paint, and are associated with specific coordinates.
  • the feature points corresponding to RGB correspond to the feature amount obtained from the captured image taken by the outward camera 3a, and the feature points corresponding to the special paint are obtained from the invisible light image taken by the invisible light sensor 3c. Corresponds to the feature quantity.
  • the corresponding feature amount is insufficient for the part where the RGB column is blank, and the corresponding feature amount is insufficient or the special paint P is insufficient for the part where the special paint column is blank.
  • the line of coordinates indicates that the feature amount of RGB and the feature amount of special paint are both insufficient.
  • the map information storage unit 5a shown in FIG. 4 is an example and is not limited thereto.
  • the map information storage unit 5a may store the feature points in association with the 3D data indicating the real space.
  • the control unit 6 controls various processes executed in the information processing apparatus 1.
  • the control unit 6 is realized by executing various programs stored in the internal storage device of the information processing device 1 using the RAM as a work area by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like.
  • the control unit 6 is realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the control unit 6 includes a self-position estimation unit 6a, a determination unit 6b, a generation unit 6c, a display control unit 6d, an acquisition unit 6e, and a feedback unit 6f.
  • these configurations may be integrated as appropriate.
  • the generation unit 6c, the display control unit 6d, and the feedback unit 6f may be integrated and collectively regarded as a display control unit.
  • the self-position estimation unit 6a estimates the user's self-position, that is, the position of the information processing device 1. For example, the self-position estimation unit 6a creates an environment map and estimates the self-position using the SLAM (Simultaneous Localization And Mapping) method based on the captured image taken by the outward-facing camera 3a.
  • the self-position estimated by the self-position estimation unit 6a includes the current posture of the user (information processing device 1).
  • the self-position estimation unit 6a creates an environment map and estimates the self-position using the detection result of the invisible substance applied to the real space.
  • the self-position estimation unit 6a may be regarded as a map creation unit.
  • the environment map created by the self-position estimation unit 6a is stored in the map information storage unit 5a as map information. Further, as described with reference to FIG. 4, the map information is associated with the feature amount with respect to the coordinates.
  • the self-position estimation unit 6a uses a VIO (Visual Inertial Odemetry) method to create an environment map and estimate the self-position based on the measurement results of the 9dof sensor 3b in addition to the image taken by the outward-facing camera 3a. You may go.
  • VIO Visual Inertial Odemetry
  • the self-position estimation unit 6a estimates the self-position by extracting feature points from the captured image taken by the outward-facing camera 3a and collating them with the feature points of the map information stored in the map information storage unit 5a. May be good.
  • the self-position estimation unit 6a extracts feature points from the invisible light image taken by the invisible light sensor 3c, and features of the map information stored in the map information storage unit 5a.
  • the self-position may be corrected by collating with the point. That is, the self-position estimation unit 6a can create an environment map showing the shape of the real space based on the invisible light image.
  • the environment map based on the invisible light image may be integrated into the visible light image as a single environment map data, or may be managed as separate data.
  • the self-position estimation unit 6a may perform self-position estimation using each of the captured image and the invisible light image in parallel.
  • the determination unit 6b determines whether or not the guide image G needs to be generated by the generation unit 6c, which will be described later, based on the captured image taken by the outward camera 3a. For example, the determination unit 6b makes the above-mentioned necessity determination when the instruction to shift to the check mode based on the user operation is acquired.
  • the check mode is a mode for determining whether or not there are sufficient feature points in the surrounding environment.
  • FIG. 5 is a diagram showing an example of processing by the determination unit 6b in the check mode.
  • the image pickup range I of the outward-facing camera 3a changes according to the operation of the user U looking around in the check mode.
  • the determination unit 6b sequentially acquires the captured images captured around the information processing apparatus 1.
  • an image urging the user U wearing the information processing apparatus 1 to go around and look around may be displayed on the display unit 4.
  • the determination unit 6b extracts feature points from the acquired captured image, and determines whether or not the guide image G needs to be generated based on the extracted feature points. Specifically, the determination unit 6b determines whether or not there is a region lacking feature points for estimating the self-position or creating the environment map in order to determine whether or not the guide image G needs to be generated. judge. For example, as shown in the lower part of FIG. 5, the determination unit 6b calculates the number of feature points F for each predetermined area, and generates a guide image G for the area where the calculated number of feature points F is equal to or less than the threshold value. Is determined to be necessary.
  • the determination unit 6b determines that the generation of the guide image G is unnecessary in the region where the feature point F sufficient for estimating the self-position is present. In the example shown in the lower part of FIG. 5, the determination unit 6b determines that the generation of the guide image G is unnecessary for the region A1 because the region A1 includes a sufficient feature point F. On the other hand, the determination unit 6b determines that the region A2 and the region A3 need to generate the guide image G because the region A2 and the region A3 do not include a sufficient feature point F.
  • the technique of the present disclosure is not limited to this.
  • the technique of the present disclosure may be applied even when it is difficult to accurately estimate the self-position based on a region where a predetermined pattern is repeated, such as a checkered pattern.
  • the determination unit 6b may determine whether or not the guide image G needs to be generated based on the pattern of the feature points in addition to the number of feature points. For example, the determination unit 6b calculates the similarity between the feature point pattern of the first region and the feature point pattern of the second region in the vicinity of the first region among the plurality of predetermined regions.
  • the determination unit 6b determines that it is necessary to generate the guide image G for at least one of the plurality of predetermined regions for which the similarity has been determined. do.
  • a predetermined threshold value for example, 80%
  • the determination unit 6b determines whether or not the guide image G needs to be generated based on the pattern of the feature points. According to the technique of the present disclosure, a user can newly assign a feature point to a region having similar feature points by referring to the guide image G, so that it is possible to provide a space suitable for augmented reality.
  • the determination unit 6b When the determination unit 6b acquires a transition instruction to the final check mode based on a predetermined user operation after the drawing of the guide image G by the user is completed, the determination unit 6b shifts to the final check mode.
  • the final check mode is a mode for determining whether or not sufficient feature points have been added by the special paint P.
  • the determination unit 6b shifts to the final check mode, the determination unit 6b acquires an invisible light image in which the surroundings are captured by the invisible light sensor 3c.
  • the determination unit 6b extracts feature points from the invisible light image, and determines whether or not sufficient feature points are assigned to each region in the same manner as in the above check mode.
  • the determination unit 6b may, for example, exclude the region for which it is determined in advance that the generation of the guide image is unnecessary from the check target of the final check mode.
  • the determination unit 6b sets the chuck result to NG and instructs the generation of the guide image G for such a region.
  • the determination unit 6b accepts the check result of the final check as OK and notifies the user U. In this way, the determination unit 6b performs the final check based on the feature points of the special paint P. This allows the user U to more reliably create a space suitable for augmented reality.
  • the generation unit 6c generates a guide image G as a sample of the feature points to be given to the environment map showing the surrounding environment of the display unit 4.
  • the generation unit 6c generates the guide image G for the region determined by the determination unit 6b to generate the guide image G.
  • the generation unit 6c generates the guide image G by an algorithm for generating a random pattern for generating the feature point F.
  • the generation unit 6c may appropriately use a Voronoi diagram, a Delaunay diagram, or the like as an algorithm for generating a random pattern. At this time, the generation unit 6c may generate the guide image G step by step according to the drawing situation of the user. A specific example of this point will be described later with reference to FIG. 7.
  • the display control unit 6d displays the guide image G generated by the generation unit 6c on the display unit 4 as a virtual object.
  • the display control unit 6d controls the display position of the guide image G by following the posture of the user. That is, the display control unit 6d dynamically updates the display position of the guide image G on the display unit 4 so that the guide image G seen by the user through the display unit 4 is displayed at a predetermined position on the wall. ..
  • the acquisition unit 6e acquires drawing information indicating the result of drawing the invisible special paint P in the surrounding environment.
  • the drawing information includes the result of a drawing operation directly drawn by the user who has referred to the guide image G displayed on the display unit 4.
  • the acquisition unit 6e acquires an invisible light image captured by the invisible light sensor 3c as drawing information.
  • the acquisition unit 6e may acquire an image captured by the outward-facing camera 3a as drawing information.
  • the feedback unit 6f feeds back the drawing status of the guide image G by the special paint P to the user based on the drawing information acquired by the acquisition unit 6e. For example, the feedback unit 6f presents the drawing status to the user by changing the display mode of the area to which the special paint P is applied.
  • FIG. 6 is a diagram showing an example of processing of the feedback unit 6f according to the embodiment.
  • the feedback unit 6f extracts the special paint P from the invisible light image and superimposes it on the guide image G.
  • the feedback unit 6f presents an image of the locus O of the special paint P to the user by changing the color of the portion drawn by the special paint P in the guide image G at any time. That is, the feedback unit 6f replaces the guide image G with the image of the locus O according to the addition of the special paint P.
  • the feedback from the feedback unit 6f is displayed on the display unit 4 at any time.
  • the guide image G is completely rewritten into the image of the locus O.
  • the feedback unit 6f presents the drawing status to the user U, so that the user U can grasp the drawing status of the user U at any time.
  • FIG. 7 is a diagram showing an example of an expanded guide image according to an example of the embodiment.
  • the feedback unit 6f instructs the generation unit 6c to expand the guide image G when the user finishes drawing the guide image G.
  • the generation unit 6c generates the extended image G2 which is an extension of the guide image G.
  • the extended image G2 represents the position of the special paint P to be added.
  • the extended image G2 may be referred to as a third virtual object.
  • the extended image G2 generated by the generation unit 6c is displayed as a virtual object on the display unit 4 in the same manner as the guide image G. As a result, the user can easily add further feature points in the real space.
  • the generation unit 6c may replace the extended image G2 with another region away from the region of interest by the user.
  • the guide image G may be generated. That is, the extended image G2 is displayed in a region (position) that does not include the guide image G and the locus O.
  • the user and the information processing apparatus 1 can impart sufficient feature points by the special paint P to the real space.
  • the final check mode may be entered by the user's predetermined operation. In the final check mode, if the check result is "OK" in all areas, the user ends the drawing work.
  • FIG. 8 is a flowchart showing a processing procedure executed by the information processing apparatus 1.
  • the processing procedure shown below is repeatedly executed by the control unit 6.
  • the information processing apparatus 1 determines whether or not it is in the check mode (step S101), and if it is in the check mode (steps S101, Yes), acquires a captured image in which the surroundings are captured (step S101, Yes). Step S102).
  • the information processing apparatus 1 determines whether or not there is a region in which the guide image is required based on the captured image (step S103). If there is a region in which the guide image is required in the determination in step S103 (steps S103, Yes), the information processing apparatus 1 generates and displays the guide image (step S104).
  • the information processing apparatus 1 acquires an invisible light image (step S105) and feeds back the drawing status to the user based on the invisible light image (step S106). Subsequently, the information processing apparatus 1 determines whether or not the drawing by the user is completed (step S107), and when the drawing is completed (steps S107, Yes), it is determined whether or not the drawing is completed for all the areas. Determination (step S108).
  • step S108 determines in the determination of step S108 that drawing has been completed for all areas (steps S108, Yes).
  • the information processing apparatus 1 shifts to the final check mode (step S109), and the final check result is "OK”. Whether or not it is determined (step S110).
  • step S110 If the check result of the final check is "OK" (step S110, Yes) in the determination of step S110, the information processing apparatus 1 ends the process, and if the check result of the final check is "NG" (step S110). , No), the process proceeds to step S104.
  • the information processing apparatus 1 ends the process when the check mode is not set in the determination in step S101 (step S101, No) and when there is no area in which the guide image is required in the determination in step S103 (step S103, No). ..
  • the information processing apparatus 1 proceeds to the process of step S105 when the drawing is not completed in the determination of step S107 (steps S107, No), and the drawing is not completed for all the areas in the determination of step S108. (Step S108, No), the process proceeds to step S104.
  • the information processing apparatus 1 may provide feedback on the drawing status based on the captured image of visible light taken by the outward-facing camera 3a.
  • the information processing apparatus 1 may indirectly acquire drawing information from the movement of the user U's hand by analyzing the captured image of visible light. Specifically, the determination unit 6b recognizes and tracks the movement of the user U's hand based on the captured image of visible light, and also obtains the difference of the special paint P in the invisible light image for several frames to obtain the user U's hand movement. It may be determined whether a new pattern by the special paint P has been added in the vicinity of the hand.
  • the information processing device 1 may feed back the added pattern to the user U at any time. At this time, the information processing apparatus 1 may estimate the pattern actually drawn by the user U from the movement of the hand of the user U without using the invisible light image. That is, the invisible light sensor 3c is not always necessary for the information processing apparatus 1 for the feedback of the drawing result of the user U.
  • the information processing apparatus 1 may display the special paint P itself as a virtual object based on the detection result of the invisible light sensor 3c.
  • the image representing the special paint P may be regarded as the second virtual object in the present disclosure.
  • FIG. 9 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the information processing device 1.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600.
  • Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by such a program.
  • the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as MO (Magneto-Optical disk)
  • tape medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • MO Magneto-optical disk
  • the CPU 1100 of the computer 1000 realizes the functions of the self-position estimation unit 6a and the like by executing the information processing program loaded on the RAM 1200.
  • the information processing program according to the present disclosure data in the map information storage unit 5a, and the like are stored in the HDD 1400.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the present technology can also have the following configurations.
  • An acquisition unit configured to acquire an invisible light image representing invisible light in real space from a sensor, and an acquisition unit.
  • a map creation unit configured to create an environment map representing the shape of the real space based on the invisible light image, and a map creation unit.
  • a display control unit configured to control the display unit so as to superimpose a virtual object relating to the state of the invisible substance in the real space on the real space based on the invisible light image.
  • a display control device (2)
  • the sensor is configured to acquire a visible light image based on visible light.
  • the map creation unit is configured to create the environment map based on the invisible light image and the visible light image.
  • the display control device according to (1).
  • a determination unit for determining whether or not there is a predetermined region in the real space, which lacks feature points for creating the environment map based on the visible light image, is further provided.
  • the display control unit is configured to control the display unit so as to superimpose the virtual object on the predetermined area in the real space based on the determination that the predetermined area exists.
  • the virtual object includes a first virtual object that represents the absence of the invisible substance.
  • the display control unit is configured to control the display unit so as to superimpose the first virtual object on the predetermined area based on the determination that the predetermined area exists.
  • the virtual object includes a second virtual object that represents the presence of the invisible substance.
  • the display control unit controls the display unit to replace the first virtual object with the second virtual object in response to the addition of the invisible substance to the predetermined region.
  • the display control device according to (4).
  • the virtual object includes a third virtual object representing the invisible substance to be added.
  • the display control unit has a position different from the position of the first virtual object and the position of the second virtual object in response to the addition of the invisible substance to the predetermined region.
  • the display unit is controlled so that the third virtual object is superimposed on the display unit.
  • the display control device according to (5).
  • the virtual object includes a second virtual object that represents the presence of the invisible substance.
  • the display control unit displays the second virtual object so as to superimpose the second virtual object on the position where the invisible substance exists in the predetermined region based on the determination that the predetermined region exists and the invisible light image. Configured to control the part, The display control device according to (3). (8) The determination unit is configured to recognize the movement of the user's hand based on the visible light image. The display control unit is configured to control the display unit so as to add the second virtual object to the predetermined area according to the movement of the hand. The display control device according to (7). (9) The determination unit is configured to determine that there is the predetermined region in the real space when the number of feature points extracted from the visible light image is equal to or less than a predetermined threshold value. The display control device according to any one of (3) to (8).
  • the determination unit is described when the similarity between the first feature point pattern in the first region and the second feature point pattern in the second region, which is extracted from the visible light image, exceeds a predetermined threshold value. It is configured to determine that the predetermined area exists in the real space.
  • the display control device according to any one of (3) to (8).
  • the map creation unit is configured to estimate the position and orientation of the display unit based on the SLAM method.
  • the display control unit dynamically updates the display position of the virtual object on the display unit based on changes in the position and posture of the display unit.
  • the display control device according to any one of (1) to (10).
  • Information processing device 3 Sensor 3a Outward camera 3b 9dof sensor 3c Invisible light sensor 4 Display unit 5 Storage unit 5a Map information storage unit 6 Control unit 6a Self-position estimation unit 6b Judgment unit 6c Generation unit 6d Display control unit 6e Acquisition unit 6f Feedback part G Guide image P Special paint

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

表示制御装置（１）は、実空間における不可視光を表す不可視光画像をセンサから取得するように構成された取得部（６ｅ）と、不可視光画像に基づいて実空間の形状を表す環境マップを作成するように構成されたマップ作成部（６ａ）と、不可視光画像に基づいて実空間内の不可視物質の状態に関する仮想オブジェクトを実空間に重畳するように表示部（４）を制御するよう構成された表示制御部（６ｄ）と、を備える。

Description

表示制御装置、表示制御方法および記録媒体
　本発明は、表示制御装置、表示制御方法および記録媒体に関する。
　近年、拡張現実（Augmented　Reality）を用いたアプリケーションが普及しつつある。かかる拡張現実の分野では、撮像デバイスで周囲を撮像した撮像画像から特徴点を抽出し、抽出した特徴点に基づいて自己位置を推定する。
　拡張現実の分野における自己位置の推定は、特徴点に乏しい環境下においては困難となる。そのため、所定の光を投光するとともに、反射率が高いリフレクタを撮像した画像に基づき、リフレクタを特徴点として用いることで自己位置を推定する技術がある（例えば、特許文献１参照）。
　また、美術館に展示された美術品に対して肉眼で確認できない不可視のマーカを照射し、美術館に訪れた各ユーザの端末装置でマーカを撮影し、エンコードすることで美術品に関する情報を各ユーザへ提供する技術がある（例えば、特許文献２参照）。
特開２０１１－２５４３１７号公報 特開２０１９－０４９４７５号公報
　しかしながら、特徴点の乏しい環境下にユーザが特徴点として不可視物質を付与する場合、ユーザ自身が不可視物質の状態を認識できない。
　本開示は、不可視の物質の付与に関する表示制御装置、表示制御方法および記録媒体を提供する。
　本開示の一態様は、取得部、マップ作成部、表示制御部を備える表示制御装置である。前記取得部は、実空間における不可視光を表す不可視光画像をセンサから取得するように構成される。前記マップ作成部は、前記不可視光画像に基づいて前記実空間の形状を表す環境マップを作成するように構成される。前記表示制御部は、前記不可視光画像に基づいて前記実空間内の不可視物質の状態に関する仮想オブジェクトを前記実空間に重畳するように表示部を制御するよう構成される。
　本開示の一態様は、実空間に特徴点として不可視の物質を付与する際のユーザの作業効率を向上する。
実施形態に係る情報処理装置の概要を示す図である。 実施形態に係る情報処理装置の概要を示す図である。 実施形態に係る情報処理装置のブロック図である。 実施形態に係るマップ情報記憶部の一例を示す図である。 実施形態に係る判定部による処理の一例を示す図である。 実施形態に係るフィードバック部の処理の一例を示す図である。 実施形態に係る拡張したガイド画像の一例を示す図である。 実施形態に係る情報処理装置が実行する処理手順を示すフローチャートである。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　本開示の実施形態について図面に基づいて詳細に説明する。各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　図１および図２を用いて、実施形態に係る情報処理装置の概要について説明する。図１および図２は、情報処理装置の概要を示す図である。なお、本開示において、情報処理装置は表示制御装置として見做されても良い。
　図１に示す例において、情報処理装置１は、拡張現実（ＡＲ；Augmented　Reality）を提供するＡＲデバイスであり、ヘッドマウントディスプレイ（ＨＭＤ：Head　Mounted　Display）である。
　情報処理装置１は、光学透過性を有する表示部４を備え、表示部４を介して実空間に仮想オブジェクトを表示する、いわゆる光学シースルー型のＨＭＤである。情報処理装置１は、表示部４の前方領域を撮影する外向きカメラ３ａによって撮影された画像に仮想オブジェクトを重畳して表示するビデオシースルー型のＡＲデバイスであってもよい。
　情報処理装置１は、実空間の特定の位置に仮想オブジェクトを重畳して表示するために、情報処理装置１の自己位置を推定する。例えば、自己位置の推定は、情報処理装置１の周囲環境（実空間）を表す環境マップ（マップ情報）に予め登録された特徴点と、外向きカメラ３ａによって撮影された撮像画像から抽出した特徴点とを照合することで行われる。拡張現実の技術分野において、実空間は実環境あるいは実世界と呼ばれる場合がある。
　特徴点の乏しい環境下においては、特徴点の照合が困難となるため、自己位置を正しく推定することが困難となる。このような問題に対して、例えば、実空間の壁等に模様（よごし）などを追加する、あるいは、物を置くことで特徴点を後から付与する手法が知られている。模様を付与する手法として、実空間の面にテープを貼る手法、印刷されたマーカを配置する手法、塗料を直接塗る手法等が知られている。しかしながら、上記の手法では、特徴点を付与するために景観を損なうおそれがある。例えば、ショッピングモールなどの公共スペースでは制約があるため実施が困難な場合がある。
　本開示の実施形態では、実空間に付与される特徴点として人の肉眼では見えない不可視の物質が用いられる。本開示では、当該物質を不可視物質という場合がある。不可視物質は、人の肉眼に完全に認識されない物質に限定されず、人の肉眼に認識困難な物質も含む。本開示では、不可視物質の一例として特殊塗料が用いられる。情報処理装置１は、特殊塗料を検出するセンサ３（図３参照）から取得した検出結果に基づく自己位置に関し、不可視物質の可視化を行う。本開示では、特殊塗料の一例として紫外線または赤外線など可視光外の波長を放射する塗料が用いられる。
　実施形態において、作業者（以下、ユーザＵと記載）は、実空間の面（壁や床）に描かれた（付与された）特殊塗料Ｐを肉眼では直接確認することができない。そのため、情報処理装置１は、ユーザＵに対し特殊塗料Ｐの描画状況を提示する（フィードバックする）。
　情報処理装置１は、特殊塗料を検出する不可視光センサ３ｃ（図３参照）による検出結果に基づいて、実空間の面に付与された特殊塗料Ｐを検出する。情報処理装置１は、検出した特殊塗料Ｐの状態を仮想オブジェクトとして表示部４に表示する。仮想オブジェクトとして表示された軌跡ＯはユーザＵにより描画された特殊塗料を表し得る。すなわち、表示された特殊塗料の軌跡Ｏは、特殊塗料Ｐの状態を表す画像の一例と見做されてよい。検出結果に基づいて実空間の面に付与された特殊塗料Ｐが検出されない場合、情報処理装置１は表示部４に軌跡Ｏを表示しない。すなわち、軌跡Ｏが表示されていない状態もまた特殊塗料Ｐの状態の一例である。
　さらに、情報処理装置１は、ユーザＵに対して自己位置推定のための特徴点を示す手本（以下、ガイド画像Ｇと記載）を提示する。情報処理装置１は、不可視光センサ３ｃによる検出結果に基づいてガイド画像Ｇを生成し、仮想オブジェクトとして表示部４に表示する。本開示において、ガイド画像Ｇを第１の仮想オブジェクトという場合がある。より具体的には、情報処理装置１は、特殊塗料Ｐが付与されていない実空間の面にガイド画像Ｇを重畳する。すなわち、ガイド画像Ｇは、特殊塗料Ｐの状態に関する画像の一例であり、特殊塗料Ｐが存在しないことを表すと見做されてよい。図２に示すように、ユーザＵは、実空間の面にあたかもガイド画像Ｇが描かれているように認識する。ユーザＵは、特殊塗料Ｐを用いて、実空間の面に描画されたガイド画像Ｇをなぞり書きを行うことで、実空間の面に十分な特徴点を付与することができる。
　図２の下段に示すように、情報処理装置１は、ユーザが特殊塗料Ｐを用いて実際に描いた軌跡Ｏをガイド画像Ｇとは異なる表示態様（例えば、色の違い）で表示してもよい。これにより、ユーザＵはガイド画像ＧとユーザＵが既に描いた軌跡Ｏを同時に認識でき、特殊塗料Ｐをさらに付与すべき箇所を容易に把握できる。なお、本開示において、軌跡Ｏに対応する画像を第２の仮想オブジェクトという場合がある。軌跡Ｏに対応する画像は、特殊塗料Ｐが存在することを表すと見做されてよい。
　このように、情報処理装置１は、ユーザＵに対し特殊塗料Ｐの描画状況を提示する。また、情報処理装置１は、フィードバックとして特徴点の手本となるガイド画像Ｇを表示する。情報処理装置１によれば、ユーザＵは特殊塗料Ｐを用いて実空間に特徴点を容易に付与することができるので、拡張現実に適した空間を容易に提供することができる。
　次に、図３を用いて、情報処理装置１の構成例について説明する。図３は、情報処理装置１のブロック図である。図３に示す例において、情報処理装置１は、センサ３と、表示部４と、記憶部５と、制御部６とを備える。センサ３、表示部４、記憶部５は情報処理装置１とは別体の装置として構成され、制御部６を含む情報処理装置１に有線又は無線で接続されても良い。
　センサ３は、外向きカメラ３ａと、９ｄｏｆ（degrees　of　freedom）センサ３ｂと、不可視光センサ３ｃとを備える。図３に示すセンサ３の構成は一例であり、特に図３に示す構成に限定される必要はない。図３に示す各部の他に、照度センサや温度センサなどの環境センサ、超音波センサ、赤外線センサ等の各種センサを有してもよく、各センサは、それぞれが単数であっても、複数であってもよい。
　外向きカメラ３ａは、いわゆるＲＧＢ（Red　Green　Blue）カメラであり、実空間におけるユーザの周辺の画像を撮像する。本開示において、外向きカメラ３ａが取得した画像を可視光画像という場合がある、外向きカメラ３ａは、装着時に実空間におけるユーザの視線方向（顔が向いている方向）を撮像するように、画角および向きが設定されることが望ましい。外向きカメラ３ａは、複数設けられていてもよい。さらに、外向きカメラ３ａは、デプスセンサを含んでもよい。
　外向きカメラ３ａは、レンズ系、駆動系、及び個体撮像素子アレイ等を有する。レンズ系は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成される。駆動系は、レンズ系に対してフォーカス動作やズーム動作を行わせる。固体撮像素子アレイは、レンズ系で得られる撮像光を光電変換して撮像信号を生成する。固体撮像素子アレイは、例えばＣＣＤ（Charge　Coupled　Device）や、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）により実装できる。
　９ｄｏｆセンサ３ｂ、ユーザ（情報処理装置１）の相対的な自己位置や姿勢を推定するための情報を取得する。９ｄｏｆセンサ３ｂは、９自由度の慣性計測装置であり、３軸の加速度センサ、３軸のジャイロセンサ、及び３軸の地磁気センサで構成される。９ｄｏｆセンサ３ｂは、ユーザ（情報処理装置１）に作用する加速度、ユーザ（情報処理装置１）に作用する角速度（回転速度）、及びユーザ（情報処理装置１）の絶対方位を検出する。
　不可視光センサ３ｃは、特殊塗料Ｐを検出するセンサである。例えば、特殊塗料Ｐが紫外線あるいは赤外線を放射する塗料である場合、不可視光センサ３ｃは、紫外線カメラあるいは赤外線カメラとなる。
　紫外線カメラあるいは赤外線カメラである不可視光センサ３ｃは、外向きカメラ３ａと同様に、装着時に実空間におけるユーザの視線方向を撮像するように、画角および向きが設定されることが望ましい。以下、不可視光センサ３ｃによって撮影された、実空間における不可視光を表す画像を不可視光画像と記載する場合がある。
　表示部４は、例えば、ハーフミラーや透過性の導光板を含む表示面を有する。表示部４は、表示面の内側からユーザの眼球に向けて画像（光）を投射することで、ユーザに対して画像を視聴させる。
　記憶部５は、情報処理装置１の各種機能を実現するために用いられるプログラム及びデータを記憶する。記憶部５は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部５は、各種処理において利用されるパラメータや、様々な処理のためのワークエリア等としても利用される。
　図３の例において、記憶部５は、マップ情報記憶部５ａを有する。マップ情報記憶部５ａは、実空間における周辺環境を示すマップ情報（いわゆる環境マップ）を記憶する記憶領域である。
　ここで、図４を用いて、マップ情報記憶部５ａの一例について説明する。図４は、実施形態に係るマップ情報記憶部５ａの一例を示す図である。図４に示す例において、マップ情報記憶部５ａは、座標、特徴点等の情報を互いに対応付けて記憶する。座標は、マップ情報上の座標を示す。特徴点は、ＲＧＢに対応する特徴点と、特殊塗料に対応する特徴点を含み、特定の座標に対応付けられている。ＲＧＢに対応する特徴点は、外向きカメラ３ａによって撮影された撮像画像から得られる特徴量に対応し、特殊塗料に対応する特徴点は、不可視光センサ３ｃによって撮影された不可視光画像から得られる特徴量に対応する。
　図４の例において、ＲＧＢの欄がブランクである箇所については対応する特徴量が不足していることを示し、特殊塗料の欄がブランクである箇所については対応する特徴量が不足あるいは特殊塗料Ｐによる描画作業が行われていないことを示す。例えば、座標（Ｘ３、Ｙ３、Ｚ３）の行は、ＲＧＢの特徴量、特殊塗料の特徴量がいずれも不足していることを表す。
　図４に示すマップ情報記憶部５ａは、一例であって、これに限定されない。マップ情報記憶部５ａは、実空間を示す３Ｄデータに各特徴点が対応付けて記憶してもよい。
　図３の説明に戻り、制御部６について説明する。制御部６は、情報処理装置１において実行される各種処理を制御する。制御部６は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、情報処理装置１の内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。制御部６は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現される。また、図３に示す例において制御部６は、自己位置推定部６ａと、判定部６ｂと、生成部６ｃと、表示制御部６ｄと、取得部６ｅと、フィードバック部６ｆとを備える。なお、これらの構成は適宜統合されても良い。例えば、生成部６ｃ、表示制御部６ｄ、フィードバック部６ｆが統合され、まとめて表示制御部として見做されても良い。
　自己位置推定部６ａは、ユーザの自己位置、すなわち情報処理装置１の位置を推定する。例えば、自己位置推定部６ａは、外向きカメラ３ａによって撮影される撮像画像に基づき、ＳＬＡＭ(Simultaneous　Localization　And　Mapping)の手法を用いて、環境マップの作成および自己位置の推定を行う。自己位置推定部６ａによって推定される自己位置には、ユーザ（情報処理装置１）の現在の姿勢が含まれる。また、自己位置推定部６ａは、実空間に付与された不可視物質の検出結果を用いて環境マップの作成および自己位置の推定を行う。本開示において、自己位置推定部６ａは、マップ作成部として見做されても良い。
　自己位置推定部６ａによって作成された環境マップは、マップ情報としてマップ情報記憶部５ａに記憶される。また、マップ情報には、図４にて説明したように、座標に対して特徴量が対応付けられる。
　自己位置推定部６ａは、外向きカメラ３ａによって撮影される画像に加え、９ｄｏｆセンサ３ｂの計測結果に基づき、ＶＩＯ（Visual　Inertial　Odemetry）の手法を用いて、環境マップの作成および自己位置の推定を行ってもよい。
　自己位置推定部６ａは、外向きカメラ３ａによって撮影された撮像画像から特徴点を抽出し、マップ情報記憶部５ａに記憶されたマップ情報の特徴点と照合することで、自己位置を推定してもよい。
　特殊塗料Ｐによる描画作業が終わった空間において、自己位置推定部６ａは、不可視光センサ３ｃによって撮影された不可視光画像から特徴点を抽出し、マップ情報記憶部５ａに記憶されたマップ情報の特徴点と照合することで、自己位置を補正してもよい。すなわち、自己位置推定部６ａは、不可視光画像に基づいて実空間の形状を表す環境マップを作成し得る。不可視光画像に基づく環境マップは、単一の環境マップデータとして可視光画像に統合されても良く、それぞれ別のデータとして管理されてもよい。
　なお、特殊塗料Ｐによる描画作業が終わった空間において、自己位置推定部６ａは、撮像画像および不可視光画像それぞれを用いた自己位置推定を並列して行ってもよい。
　判定部６ｂは、外向きカメラ３ａによって撮影された撮像画像に基づいて、後述する生成部６ｃによるガイド画像Ｇの生成の要否を判定する。例えば、判定部６ｂは、ユーザ操作に基づくチェックモードへの移行指示を取得した場合に、上記の要否判定を行う。ここで、チェックモードとは、周辺環境に十分な特徴点が存在する否かを判定するモードである。
　図５を用いて判定部６ｂによる処理の具体例について説明する。図５は、チェックモードにおける判定部６ｂによる処理の一例を示す図である。チェックモードにおけるユーザＵが周囲を見回す動作に応じて、外向きカメラ３ａの撮像範囲Ｉが変化する。撮像範囲Ｉの変化に応じて、判定部６ｂは、情報処理装置１の周囲を撮像した撮像画像を順次取得する。チェックモードにおいて、情報処理装置１を装着中のユーザＵに対して周囲を周回して見回すように促す画像を表示部４に表示してもよい。
　続いて、判定部６ｂは、取得した撮像画像から特徴点を抽出し、抽出した特徴点に基づいて、ガイド画像Ｇの生成の要否を判定する。具体的には、判定部６ｂは、ガイド画像Ｇの生成の要否を判定するために、自己位置の推定あるいは環境マップの作成のために特徴点が不足している領域があるか否かを判定する。例えば、図５の下段に示すように、判定部６ｂは、所定の領域ごとに特徴点Ｆの数を算出し、算出した特徴点Ｆの数が閾値以下である領域について、ガイド画像Ｇの生成を必要と判定する。言い換えれば、判定部６ｂは、自己位置の推定に十分な特徴点Ｆがある領域については、ガイド画像Ｇの生成を不要と判定する。図５の下段に示す例では、判定部６ｂは、領域Ａ１は十分な特徴点Ｆを含むため、領域Ａ１についてガイド画像Ｇの生成を不要と判定する。一方で、判定部６ｂは、領域Ａ２および領域Ａ３は十分な特徴点Ｆを含んでいないため、ガイド画像Ｇの生成を必要と判定する。
　図５の例では、特徴点の数に基づいて、特徴点が不足しているか否かのチェックを行う場合について説明したが、本開示の技術はこれに限定されない。例えば、市松模様など所定のパターンが繰り返される領域に基づいて自己位置を正確に推定することが困難な場合にも、本開示の技術は適用され得る。
　所定のパターンが繰り返される領域においては、特徴点Ｆのパターンも類似する。このため、判定部６ｂは、特徴点の数に加え、特徴点のパターンに基づいて、ガイド画像Ｇの生成の要否を判定してもよい。例えば、判定部６ｂは、複数の所定の領域のうち、第１の領域の特徴点パターンと、第１の領域の近傍にある第２の領域の特徴点パターンの類似度を算出する。
　判定部６ｂは、算出した類似度が所定の閾値（例えば、８０％）を超える場合に、類似度を判定した複数の所定の領域のうち少なくとも一つについて、ガイド画像Ｇの生成を必要と判定する。
　このように、判定部６ｂは、特徴点のパターンに基づいてガイド画像Ｇの生成の要否を行う。本開示の技術によれば、特徴点が類似する領域に対しガイド画像Ｇを参照してユーザが特徴点を新たに付与できるので、拡張現実に適した空間を提供することが可能となる。
　判定部６ｂは、ユーザによるガイド画像Ｇの描画が終了後に、所定のユーザ操作に基づく最終チェックモードへの移行指示を取得した場合、最終チェックモードへ移行する。
　最終チェックモードは、特殊塗料Ｐによって十分な特徴点が付与されたか否かを判定するモードである。判定部６ｂは、最終チェックモードに移行した場合、不可視光センサ３ｃによって周囲が撮像された不可視光画像を取得する。判定部６ｂは、不可視光画像から特徴点を抽出し、上記のチェックモードと同様に領域ごとに十分な特徴点が付与されているか否かを判定する。この際、判定部６ｂは、例えば、予めガイド画像の生成を不要と判定した領域については最終チェックモードのチェック対象から除外してもよい。
　判定部６ｂは、最終チェックモードにおいて、特殊塗料Ｐによる特徴点が十分でない領域があれば、チャック結果をＮＧとし、かかる領域に対するガイド画像Ｇの生成を指示する。
　判定部６ｂは、すべての領域に十分な特徴点が付与されていれば、最終チェックのチェック結果をＯＫとし、ユーザＵへ通知する。このように、判定部６ｂは、特殊塗料Ｐによる特徴点に基づいて最終チェックを行う。これにより、ユーザＵがより確実に拡張現実に適した空間を作り出すことができる。
　図３の説明に戻り、生成部６ｃについて説明する。生成部６ｃは、表示部４の周囲環境を示す環境マップに付与する特徴点の見本となるガイド画像Ｇを生成する。
　生成部６ｃは、判定部６ｂによってガイド画像Ｇの生成が必要と判定された領域についてガイド画像Ｇを生成する。例えば、生成部６ｃは、特徴点Ｆを発生させるためのランダムな模様を生成するアルゴリズムによって、ガイド画像Ｇを生成する。
　生成部６ｃは、ランダムな模様を生成するアルゴリズムとして、ボロノイ図やドローネ図などを適宜用いてよい。この際、生成部６ｃは、ユーザの描画状況に応じて、段階的にガイド画像Ｇを生成してもよい。この点の具体例については、図７を用いて後述する。
　表示制御部６ｄは、生成部６ｃによって生成されたガイド画像Ｇを仮想オブジェクトとして表示部４に表示する。表示制御部６ｄは、ユーザの姿勢に追従させてガイド画像Ｇの表示位置を制御する。すなわち、表示制御部６ｄは、ユーザから表示部４を介して見えるガイド画像Ｇが壁の所定の位置に表示されるように、表示部４上におけるガイド画像Ｇの表示位置を動的に更新する。
　取得部６ｅは、不可視の特殊塗料Ｐが周囲環境に描画された結果を示す描画情報を取得する。描画情報は、表示部４に表示されたガイド画像Ｇを参照したユーザにより直接描画された描画操作の結果を含む。例えば、取得部６ｅは、不可視光センサ３ｃによって撮像された不可視光画像を描画情報として取得する。取得部６ｅは、描画情報として外向きカメラ３ａによって撮像された撮像画像を取得してもよい。
　フィードバック部６ｆは、取得部６ｅによって取得された描画情報に基づいて、特殊塗料Ｐによるガイド画像Ｇの描画状況をユーザへのフィードバックを行う。例えば、フィードバック部６ｆは、特殊塗料Ｐが塗布された領域について表示態様を変更することで、ユーザに対して描画状況を提示する。
　ここで、図６を用いて、フィードバック部６ｆによる処理の一例について説明する。図６は、実施形態に係るフィードバック部６ｆの処理の一例を示す図である。
　図６に示すように、フィードバック部６ｆは、不可視光画像から特殊塗料Ｐを抽出し、ガイド画像Ｇに重畳する。フィードバック部６ｆは、ガイド画像Ｇにおいて特殊塗料Ｐで描かれた箇所の色を随時変えていくことで、特殊塗料Ｐの軌跡Ｏの画像をユーザに提示する。すなわち、フィードバック部６ｆは、特殊塗料Ｐの追加に応じてガイド画像Ｇを軌跡Ｏの画像に置換する。
　フィードバック部６ｆによるフィードバックは、表示部４に随時表示される。ユーザＵによる描画作業が終了すると、ガイド画像Ｇが軌跡Ｏの画像に全て書き換えられる。このように、フィードバック部６ｆは、描画状況をユーザＵへ提示することで、ユーザＵは、自身の描画状況を随時把握することができる。
　また、フィードバック部６ｆは、ユーザによるガイド画像Ｇの描画を終えると、生成部６ｃに対してガイド画像Ｇの拡張を指示してもよい。図７は、実施形態の一例に係る拡張したガイド画像の一例を示す図である。
　図７に示すように、例えば、フィードバック部６ｆは、ユーザがガイド画像Ｇの描画を終えると、生成部６ｃに対してガイド画像Ｇの拡張を指示する。これにより、生成部６ｃは、ガイド画像Ｇを拡張した拡張画像Ｇ２を生成する。拡張画像Ｇ２は、追加すべき特殊塗料Ｐの位置を表す。なお、本開示において、拡張画像Ｇ２を第３の仮想オブジェクトという場合がある。
　生成部６ｃによって生成された拡張画像Ｇ２は、ガイド画像Ｇと同様に表示部４に仮想オブジェクトとして表示される。これにより、ユーザは、実空間において更なる特徴点を容易に付与することができる。
　なお、生成部６ｃは、ガイド画像Ｇの描画を終えた段階で、既に十分な特徴点がある場合には、拡張画像Ｇ２に代えて、ユーザが注目している領域から離れた他の領域のガイド画像Ｇを生成してもよい。すなわち、拡張画像Ｇ２は、ガイド画像Ｇと軌跡Ｏを含まない領域（位置）に表示される。
　ユーザおよび情報処理装置１は、これらの描画作業や処理を繰り返し行うことで、実空間に対して特殊塗料Ｐによる十分な特徴点を付与することができる。
　ユーザが描画作業を終えた場合、ユーザの所定の操作によって、上述の最終チェックモードへ移行してもよい。ユーザは、最終チェックモードにおいて、全ての領域でチェック結果「ＯＫ」であれば、描画作業を終了する。
　次に、図８を用いて、情報処理装置１が実行する処理手順について説明する。図８は、情報処理装置１が実行する処理手順を示すフローチャートである。以下に示す処理手順は、制御部６によって繰り返し実行される。
　図８に示すように、情報処理装置１は、チェックモードか否かを判定し（ステップＳ１０１）、チェックモードであった場合（ステップＳ１０１，Ｙｅｓ）、周囲が撮像された撮像画像を取得する（ステップＳ１０２）。
　続いて、情報処理装置１は、撮像画像に基づき、ガイド画像が必要な領域があるか否かを判定する（ステップＳ１０３）。情報処理装置１は、ステップＳ１０３の判定において、ガイド画像が必要な領域があったならば（ステップＳ１０３，Ｙｅｓ）、ガイド画像を生成し、表示する（ステップＳ１０４）。
　その後、情報処理装置１は、不可視光画像を取得し（ステップＳ１０５）、不可視光画像に基づいて、ユーザに対して描画状況のフィードバックを行う（ステップＳ１０６）。続いて、情報処理装置１は、ユーザによる描画が終了したか否かを判定し（ステップＳ１０７）、描画が終了した場合（ステップＳ１０７，Ｙｅｓ）、描画が全ての領域について終了したか否かを判定する（ステップＳ１０８）。
　情報処理装置１は、ステップＳ１０８の判定において、描画が全ての領域について終了したと判定した場合（ステップＳ１０８，Ｙｅｓ）、最終チェックモードへ移行し（ステップＳ１０９）、最終チェックの結果が「ＯＫ」か否かを判定する（ステップＳ１１０）。
　情報処理装置１は、ステップＳ１１０の判定において最終チェックのチェック結果が「ＯＫ」であれば（ステップＳ１１０，Ｙｅｓ）、処理を終了し、最終チェックのチェック結果が「ＮＧ」であれば（ステップＳ１１０，Ｎｏ）、ステップＳ１０４の処理へ移行する。
　情報処理装置１は、ステップＳ１０１の判定においてチェックモードでなかった場合（ステップＳ１０１，Ｎｏ）、ステップＳ１０３の判定においてガイド画像が必要な領域がなかった場合（ステップＳ１０３，Ｎｏ）、処理を終了する。
　情報処理装置１は、ステップＳ１０７の判定において、描画が終了していない場合（ステップＳ１０７，Ｎｏ）、ステップＳ１０５の処理へ移行し、ステップＳ１０８の判定において全ての領域について描画が終了していない場合（ステップＳ１０８，Ｎｏ）、ステップＳ１０４の処理へ移行する。
　上述した実施形態では、不可視光画像に基づいて描画状況のフィードバックを行う場合について説明したが、本開示の技術はこれに限定されない。情報処理装置１は、外向きカメラ３ａによって撮影された可視光の撮像画像に基づいて、描画状況のフィードバックを行ってもよい。
　例えば、情報処理装置１は、可視光の撮像画像を解析することで、ユーザＵの手の動きから間接的に描画情報を取得しても良い。具体的には、判定部６ｂは、可視光の撮像画像に基づいて、ユーザＵの手の動きを認識し、追跡するとともに、数フレーム分の不可視光画像における特殊塗料Ｐの差分からユーザＵの手の近傍に特殊塗料Ｐによる新たな模様が追加されたかを判定してもよい。
　情報処理装置１は、新たな模様が追加されていると判定した場合、追加された模様をユーザＵに対して随時フィードバックしてもよい。この際、情報処理装置１は、不可視光画像を用いずに、ユーザＵの手の動きからユーザＵによって実際に描画された模様を推定してもよい。すなわち、ユーザＵの描画結果のフィードバックに関しては、情報処理装置１に対して不可視光センサ３ｃは必ずしも必要でない。
　上述した実施形態では、描画状況のフィードバックとして、軌跡Ｏ（図６等参照）の表示態様を変更する場合について説明したが、本開示の技術はこれに限定されない。情報処理装置１は、不可視光センサ３ｃの検出結果に基づき、特殊塗料Ｐ自体を仮想オブジェクトとして表示してもよい。特殊塗料Ｐを表す画像は、本開示における第２の仮想オブジェクトとして見做されてよい。
　上述してきた各実施形態に係る情報処理装置等の情報機器は、例えば図９に示すような構成のコンピュータ１０００によって実現される。以下、情報処理装置１を例に挙げて説明する。図９は、情報処理装置１の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が情報処理装置１として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、自己位置推定部６ａ等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、マップ情報記憶部５ａ内のデータ等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　実空間における不可視光を表す不可視光画像をセンサから取得するように構成された取得部と、
　前記不可視光画像に基づいて前記実空間の形状を表す環境マップを作成するように構成されたマップ作成部と、
　前記不可視光画像に基づいて前記実空間内の不可視物質の状態に関する仮想オブジェクトを前記実空間に重畳するように表示部を制御するよう構成された表示制御部と、
　を備える、表示制御装置。
（２）
　前記センサは、可視光に基づく可視光画像を取得するように構成され、
　前記マップ作成部は、前記不可視光画像および前記可視光画像に基づいて前記環境マップを作成するように構成される、
　（１）に記載の表示制御装置。
（３）
　前記可視光画像に基づいて、前記環境マップを作成するための特徴点が不足している前記実空間に所定の領域があるか否かを判定する判定部を更に備え、
　前記表示制御部は、前記所定の領域があるという判定に基づいて、前記仮想オブジェクトを前記実空間の前記所定の領域に重畳するように前記表示部を制御するよう構成される、
　（２）に記載の表示制御装置。
（４）
　前記仮想オブジェクトは、前記不可視物質が存在しないことを表す第１の仮想オブジェクトを含み、
　前記表示制御部は、前記所定の領域があるという判定に基づいて、前記第１の仮想オブジェクトを前記所定の領域に重畳するように前記表示部を制御するよう構成される、
　（３）に記載の表示制御装置。
（５）
　前記仮想オブジェクトは、前記不可視物質が存在することを表す第２の仮想オブジェクトを含み、
　前記表示制御部は、前記不可視光画像に基づいて、前記所定の領域への前記不可視物質の追加に応じて前記第１の仮想オブジェクトを前記第２の仮想オブジェクトに置換するよう前記表示部を制御する、
　（４）に記載の表示制御装置。
（６）
　前記仮想オブジェクトは、追加すべき前記不可視物質を表す第３の仮想オブジェクトを含み、
　前記表示制御部は、前記不可視光画像に基づいて、前記所定の領域への前記不可視物質の追加に応じて、前記第１の仮想オブジェクトの位置および前記第２の仮想オブジェクトの位置とは異なる位置に前記第３の仮想オブジェクトを重畳するよう前記表示部を制御する、
　（５）に記載の表示制御装置。
（７）
　前記仮想オブジェクトは、前記不可視物質が存在することを表す第２の仮想オブジェクトを含み、
　前記表示制御部は、前記所定の領域があるという判定および前記不可視光画像に基づいて、前記所定の領域のうち前記不可視物質が存在する位置に前記第２の仮想オブジェクトを重畳するように前記表示部を制御するよう構成される、
　（３）に記載の表示制御装置。
（８）
　前記判定部は、前記可視光画像に基づいてユーザの手の動きを認識するよう構成され、
　前記表示制御部は、前記手の動きに応じて前記所定の領域に前記第２の仮想オブジェクトを追加するよう前記表示部を制御するよう構成される、
　（７）に記載の表示制御装置。
（９）
　前記判定部は、前記可視光画像から抽出される特徴点の数が所定の閾値以下である場合に、前記実空間に前記所定の領域があると判定するように構成される、
　（３）乃至（８）のうちいずれか一項に記載の表示制御装置。
（１０）
　前記判定部は、前記可視光画像から抽出される、第１の領域における第１の特徴点パターンと第２の領域における第２の特徴点パターンの類似度が所定の閾値を超える場合に、前記実空間に前記所定の領域があると判定するように構成される、
　（３）乃至（８）のうちいずれか一項に記載の表示制御装置。
（１１）
　前記マップ作成部は、ＳＬＡＭ手法に基づいて前記表示部の位置および姿勢を推定するように構成され、
　前記表示制御部は、前記表示部の位置および姿勢の変化に基づいて、前記表示部上における前記仮想オブジェクトの表示位置を動的に更新する、
　（１）乃至（１０）のうちいずれか一項に記載の表示制御装置。
（１２）
　実空間における不可視光を表す不可視光画像をセンサから取得すること、
　前記不可視光画像に基づいて前記実空間の形状を表す環境マップを作成すること、
　前記不可視光画像に基づいて前記実空間内の不可視物質の状態に関する仮想オブジェクトを前記実空間に重畳するように表示部を制御すること、
　を含む表示制御方法。
（１３）
　実空間における不可視光を表す不可視光画像をセンサから取得し、
　前記不可視光画像に基づいて前記実空間の形状を表す環境マップを作成し、
　前記不可視光画像に基づいて前記実空間内の不可視物質の状態に関する仮想オブジェクトを前記実空間に重畳するように表示部を制御するための
プログラムが記録されたコンピュータが読み取り可能な記録媒体。
　　　１　　情報処理装置
　　　３　　センサ
　　　３ａ　外向きカメラ
　　　３ｂ　９ｄｏｆセンサ
　　　３ｃ　不可視光センサ
　　　４　　表示部
　　　５　　記憶部
　　　５ａ　マップ情報記憶部
　　　６　　制御部
　　　６ａ　自己位置推定部
　　　６ｂ　判定部
　　　６ｃ　生成部
　　　６ｄ　表示制御部
　　　６ｅ　取得部
　　　６ｆ　フィードバック部
　　　Ｇ　　ガイド画像
　　　Ｐ　　特殊塗料

Claims (13)

  1. 　実空間における不可視光を表す不可視光画像をセンサから取得するように構成された取得部と、
    　前記不可視光画像に基づいて前記実空間の形状を表す環境マップを作成するように構成されたマップ作成部と、
    　前記不可視光画像に基づいて前記実空間内の不可視物質の状態に関する仮想オブジェクトを前記実空間に重畳するように表示部を制御するよう構成された表示制御部と、
    　を備える、表示制御装置。
  2. 　前記センサは、可視光に基づく可視光画像を取得するように構成され、
    　前記マップ作成部は、前記不可視光画像および前記可視光画像に基づいて前記環境マップを作成するように構成される、
    　請求項１に記載の表示制御装置。
  3. 　前記可視光画像に基づいて、前記環境マップを作成するための特徴点が不足している前記実空間に所定の領域があるか否かを判定する判定部を更に備え、
    　前記表示制御部は、前記所定の領域があるという判定に基づいて、前記仮想オブジェクトを前記実空間の前記所定の領域に重畳するように前記表示部を制御するよう構成される、
    　請求項２に記載の表示制御装置。
  4. 　前記仮想オブジェクトは、前記不可視物質が存在しないことを表す第１の仮想オブジェクトを含み、
    　前記表示制御部は、前記所定の領域があるという判定に基づいて、前記第１の仮想オブジェクトを前記所定の領域に重畳するように前記表示部を制御するよう構成される、
    　請求項３に記載の表示制御装置。
  5. 　前記仮想オブジェクトは、前記不可視物質が存在することを表す第２の仮想オブジェクトを含み、
    　前記表示制御部は、前記不可視光画像に基づいて、前記所定の領域への前記不可視物質の追加に応じて前記第１の仮想オブジェクトを前記第２の仮想オブジェクトに置換するよう前記表示部を制御する、
    　請求項４に記載の表示制御装置。
  6. 　前記仮想オブジェクトは、追加すべき前記不可視物質を表す第３の仮想オブジェクトを含み、
    　前記表示制御部は、前記不可視光画像に基づいて、前記所定の領域への前記不可視物質の追加に応じて、前記第１の仮想オブジェクトの位置および前記第２の仮想オブジェクトの位置とは異なる位置に前記第３の仮想オブジェクトを重畳するよう前記表示部を制御する、
    　請求項５に記載の表示制御装置。
  7. 　前記仮想オブジェクトは、前記不可視物質が存在することを表す第２の仮想オブジェクトを含み、
    　前記表示制御部は、前記所定の領域があるという判定および前記不可視光画像に基づいて、前記所定の領域のうち前記不可視物質が存在する位置に前記第２の仮想オブジェクトを重畳するように前記表示部を制御するよう構成される、
    　請求項３に記載の表示制御装置。
  8. 　前記判定部は、前記可視光画像に基づいてユーザの手の動きを認識するよう構成され、
    　前記表示制御部は、前記手の動きに応じて前記所定の領域に前記第２の仮想オブジェクトを追加するよう前記表示部を制御するよう構成される、
    　請求項７に記載の表示制御装置。
  9. 　前記判定部は、前記可視光画像から抽出される特徴点の数が所定の閾値以下である場合に、前記実空間に前記所定の領域があると判定するように構成される、
    　請求項３に記載の表示制御装置。
  10. 　前記判定部は、前記可視光画像から抽出される、第１の領域における第１の特徴点パターンと第２の領域における第２の特徴点パターンの類似度が所定の閾値を超える場合に、前記実空間に前記所定の領域があると判定するように構成される、
    　請求項３に記載の表示制御装置。
  11. 　前記マップ作成部は、ＳＬＡＭ手法に基づいて前記表示部の位置および姿勢を推定するように構成され、
    　前記表示制御部は、前記表示部の位置および姿勢の変化に基づいて、前記表示部上における前記仮想オブジェクトの表示位置を動的に更新する、
    　請求項１に記載の表示制御装置。
  12. 　実空間における不可視光を表す不可視光画像をセンサから取得すること、
    　前記不可視光画像に基づいて前記実空間の形状を表す環境マップを作成すること、
    　前記不可視光画像に基づいて前記実空間内の不可視物質の状態に関する仮想オブジェクトを前記実空間に重畳するように表示部を制御すること、
    　を含む表示制御方法。
  13. 　実空間における不可視光を表す不可視光画像をセンサから取得し、
    　前記不可視光画像に基づいて前記実空間の形状を表す環境マップを作成し、
    　前記不可視光画像に基づいて前記実空間内の不可視物質の状態に関する仮想オブジェクトを前記実空間に重畳するように表示部を制御するための
    プログラムが記録されたコンピュータが読み取り可能な記録媒体。
PCT/JP2021/023689 2020-06-30 2021-06-22 表示制御装置、表示制御方法および記録媒体 WO2022004503A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/002,656 US20230237696A1 (en) 2020-06-30 2021-06-22 Display control apparatus, display control method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020113401 2020-06-30
JP2020-113401 2020-06-30

Publications (1)

Publication Number Publication Date
WO2022004503A1 true WO2022004503A1 (ja) 2022-01-06

Family

ID=79316193

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023689 WO2022004503A1 (ja) 2020-06-30 2021-06-22 表示制御装置、表示制御方法および記録媒体

Country Status (2)

Country Link
US (1) US20230237696A1 (ja)
WO (1) WO2022004503A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671216A (zh) * 2024-02-02 2024-03-08 腾讯科技（深圳）有限公司 一种显示方法和相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003263605A (ja) * 2002-01-17 2003-09-19 Hewlett Packard Co <Hp> 印刷文書を使用するシステムおよび方法
JP2015038696A (ja) * 2013-08-19 2015-02-26 国立大学法人佐賀大学 拡張現実装置、拡張現実方法及び拡張現実プログラム
JP2019153205A (ja) * 2018-03-06 2019-09-12 アルプスアルパイン株式会社 投影システムとその制御方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003263605A (ja) * 2002-01-17 2003-09-19 Hewlett Packard Co <Hp> 印刷文書を使用するシステムおよび方法
JP2015038696A (ja) * 2013-08-19 2015-02-26 国立大学法人佐賀大学 拡張現実装置、拡張現実方法及び拡張現実プログラム
JP2019153205A (ja) * 2018-03-06 2019-09-12 アルプスアルパイン株式会社 投影システムとその制御方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671216A (zh) * 2024-02-02 2024-03-08 腾讯科技（深圳）有限公司 一种显示方法和相关装置
CN117671216B (zh) * 2024-02-02 2024-05-28 腾讯科技（深圳）有限公司 一种显示方法和相关装置

Also Published As

Publication number Publication date
US20230237696A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
US20210295050A1 (en) Method and apparatus for 3-d auto tagging
US20130100140A1 (en) Human body and facial animation systems with 3d camera and method thereof
US8965741B2 (en) Context aware surface scanning and reconstruction
JP4262014B2 (ja) 画像撮影装置および画像処理方法
US9007422B1 (en) Method and system for mutual interaction using space based augmentation
JP4216824B2 (ja) ３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラム
JP2018535402A (ja) 異なる分解能を有するセンサーの出力を融合するシステム及び方法
TWI705417B (zh) 深度資料處理系統的操作方法
CN108141570A (zh) 校准装置、校准方法以及校准程序
KR20190016143A (ko) 모바일 디바이스에서의 slam
JP5407742B2 (ja) 形状認識方法及び形状認識装置
WO2022019975A1 (en) Systems and methods for reducing a search area for identifying correspondences between images
WO2022004503A1 (ja) 表示制御装置、表示制御方法および記録媒体
JP7173133B2 (ja) カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム
JP2007233971A (ja) 画像合成方法及び装置
TWI703348B (zh) 影像處理系統及影像處理方法
WO2016034709A1 (en) Depth map based perspective correction in digital photos
WO2022019976A1 (en) Systems and methods for updating continuous image alignment of separate cameras
TWI617195B (zh) 影像擷取裝置及其影像拼接方法
WO2021199913A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR101611427B1 (ko) 영상 처리 방법 및 이를 수행하는 영상 처리 장치
KR102059114B1 (ko) 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템
JP6257260B2 (ja) 撮像装置及びその制御方法
JP4902564B2 (ja) マーカ検出識別装置およびそのプログラム
EP3366037B1 (en) Electronic apparatus for providing panorama image and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21832672

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21832672

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP