WO2021145255A1 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
WO2021145255A1
WO2021145255A1 PCT/JP2021/000221 JP2021000221W WO2021145255A1 WO 2021145255 A1 WO2021145255 A1 WO 2021145255A1 JP 2021000221 W JP2021000221 W JP 2021000221W WO 2021145255 A1 WO2021145255 A1 WO 2021145255A1
Authority
WO
WIPO (PCT)
Prior art keywords
correction
coordinate correction
display device
steel frame
image
Prior art date
Application number
PCT/JP2021/000221
Other languages
English (en)
French (fr)
Inventor
健生 山▲崎▼
隆幸 田村
友貴 ▲高▼谷
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to CN202180008752.0A priority Critical patent/CN114945948A/zh
Priority to US17/758,607 priority patent/US20230039690A1/en
Priority to EP21741070.3A priority patent/EP4075393A4/en
Priority to JP2021571157A priority patent/JPWO2021145255A1/ja
Publication of WO2021145255A1 publication Critical patent/WO2021145255A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to an image display device using a mixed reality space (MR (Mixed Reality)).
  • MR Mated Reality
  • Patent Document 1 describes a superimposed depiction of a real space image and a virtual space image.
  • an object of the present invention to provide an image display device that can easily correct the misalignment that occurs when the user moves in the complex space.
  • the image display device of the present invention stores design data indicating the positional relationship of each part of the composite object in the image display device that synthesizes and displays a predetermined image with respect to the composite object in the real space.
  • a storage unit a display unit that generates and displays a composite image obtained by synthesizing a predetermined image with one part of the composite object as a reference position, the predetermined image generated by the movement of the user, and the predetermined image.
  • the correction unit includes a correction unit that corrects a deviation from the synthesis target object, and the correction unit uses the design data and the user's self-position with respect to the synthesis target object in the one portion of the synthesis target object.
  • a coordinate correction position that serves as a reference position for correction processing is acquired, and the composite position of the predetermined image is corrected based on the coordinate correction position.
  • the figure of the steel frame T which is the structure in this embodiment, and the figure which combined the image data G of a column with the steel frame T are shown. It is explanatory drawing about the coordinate correction position. It is explanatory drawing which shows the composition processing using the coordinate correction position. It is a block diagram which shows the functional structure of the image display device 100. It is a flowchart which shows the operation of the image display device 100. It is a flowchart which shows the detailed operation of process S101. It is a flowchart which shows the selection process of the self-position posture estimation result, and the detailed process of the correction process in the correction process unit 102. It is a flowchart which shows the selection process of the coordinate correction position to be used from the coordinate correction position candidate.
  • FIG. 1 shows a diagram of a steel frame T which is a structure in the present embodiment, and a diagram in which image data G of a decorative material indicating that it is a pillar is synthesized with the steel frame T.
  • FIG. 1 shows a diagram that can be seen by a user wearing MR goggles, which is an image display device of the present embodiment.
  • FIG. 1A is a diagram showing a steel frame T which is a structure existing in a real space before synthesizing image data G of a decorative material.
  • the steel frame T is composed of steel frames T to Tn.
  • up to the steel frame T9 is shown, but of course, up to the steel frame Tn (n is a natural number) may exist.
  • the columns are made of steel, but the columns are not limited to steel frames, and may be concrete columns or may be covered with a decorative material.
  • the image to be combined and displayed is not limited to the decorative material, but may be piping, wiring, furniture, or the like.
  • FIG. 1B is a diagram showing a state in which the actual steel frame T is covered with a decorative material for decorating the steel frame T, and is a diagram when image data G showing the decorative material is combined with the steel frame T in a mixed reality space.
  • the design data showing the positions and sizes of the steel frames T1 to Tn and the image data G1 to Gn of the decorative material are stored in advance.
  • the image data G is a three-dimensional image composed of the image data G1 to Gn.
  • the image data G1 to Gn of the plurality of decorative materials are associated in advance according to the positions of the steel frames T1 to Tn.
  • the correction corresponding part corresponding to the coordinate correction position described later is set in each image data Gn.
  • the image data G2 of the other decorative material is also aligned with the corresponding steel frame T2. ..
  • Image data Gn and the like of other decorative materials are similarly aligned with the corresponding steel frame Tn.
  • the alignment is performed by attaching an initial marker for the image data G1 to a predetermined position on the steel frame T1. Since the image data G2 and the like constitute the image data G whose positional relationship is fixed to each other, the other steel frames T2 and the like are also automatically aligned. Since the image data G is a three-dimensional image, the image data G is rotated according to the direction in which the user looks at the steel frame T. As a result, by aligning based on the initial marker, it is possible to align all the steel frames T1 to Tn with the image data G1 to Gn.
  • FIG. 2 describes the coordinate correction position.
  • the steel frame T1 has surfaces in each of the four directions.
  • the image data G1 of the decorative material is aligned with reference to one of the surfaces.
  • the coordinate correction position indicates a reference position for aligning the position of the steel frame T with the image data G of the decorative material.
  • FIG. 2A is a schematic view of the steel frame T as viewed from above.
  • the steel frame T is a prism whose center is the intersection C of the center of the passage, and its cross section is a quadrangle.
  • Coordinate correction positions S11 to S14 are set on each surface of the steel frame T1.
  • the steel frame T that is the reference for correction is specified by specifying the steel frame T closest to the user and the coordinate correction position S thereof.
  • FIG. 2B is a diagram showing the steel frame T2 closest to the user U and the coordinate correction positions S21 to S24 when the user U wearing the image display device 100, which is MR goggles, moves.
  • the image display device 100 can grasp the relative positional relationship between the user U and the steel frame T by using a known self-position estimation technique.
  • the user U looks at the steel frame T2, and the image display device 100 determines which of the coordinate correction positions S21 to S24 of the steel frame T2 closest to the user U is used as the correction reference.
  • the image display device 100 includes a vector in the opposite direction of the line-of-sight direction of the user U (here, corresponding to the shooting direction of the camera in the image display device) and a normal vector on the surface of the steel frame T. Selects the coordinate correction position S within a predetermined angle.
  • the actual coordinate correction position defined on the surface of the steel frame T is calculated based on the distance to the steel frame T measured by the depth sensor (FIG. 3 (b).
  • the depth sensor measures the steel frame T from the front. Therefore, the coordinate correction position is corrected to a predetermined position (for example, the central portion) on the surface of the steel frame T.
  • the image data G2 is associated with the correction corresponding portion information (position S22 in FIG. 3) associated with each coordinate correction position S and the relative position information in the image data G. That is, each surface of each image data G is associated with a reference position for aligning with the coordinate correction position set on each surface of each steel frame T.
  • the user U can visually recognize the state in which the steel frame T is covered with the image data G of the decorative material while moving.
  • the cross section of the steel frame T is a quadrangle, but the cross section is not limited to this. It may be a circle or another polygon, and it is sufficient that the coordinate correction position of the steel frame T and the correction corresponding portion of the image data G of the decorative material are associated with each other.
  • FIG. 4 is a block diagram showing a functional configuration of the image display device 100.
  • the image display device 100 includes a camera 101, a correction processing unit 102 (correction unit), a storage unit 103, a display unit 104, a depth sensor 105 (sensor unit), a calculation processing unit 106, and a self-position / orientation estimation unit. It is configured to include 107.
  • the image display device 100 is a device called MR goggles, which is a head-mounted display type device. By attaching the image display device 100 to the head, the user can view the image captured by the camera 101 through the display unit 104.
  • the user can see the image taken by the camera 101 through the display unit 104 by attaching the image display device 100 to the head.
  • the present embodiment is not limited to these embodiments, and can be similarly realized by an optical see-through type device (for example, looking at a steel frame through a glass).
  • the camera 101 is a part that captures the real space seen by the user.
  • the correction processing unit 102 is a part that synthesizes image data, which is a virtual space member, with the image captured by the camera 101 in the mixed reality space.
  • image data G indicating the decorative material into the steel frame T
  • correction process at the time of misalignment are performed.
  • the storage unit 103 is a part that stores design data of a structure such as a steel frame T and image data G indicating a decorative material for the structure.
  • the design data is information indicating the size of each steel frame T, the distance between them, and the like.
  • the image data G has information indicating a correspondence relationship with the steel frame T (particularly, the coordinate correction position and the like) in addition to the image of the decorative material.
  • the display unit 104 is a portion that displays an image captured by the camera 101.
  • the display unit 104 displays the combined image.
  • the depth sensor 105 is a sensor that measures the distance between the user U and the steel frame T.
  • the calculation processing unit 106 sets the initial position of the relative positional relationship of the image display device 100 with respect to the structure (steel frame T) and the steel frame T generated each time the user moves. This is a part for calculating the positional deviation between the image data G and the image data G.
  • the self-position / posture estimation unit 107 is a part that estimates a change in the position in the real space taken and displayed by the camera 101 and the posture of the image display device 100 based on the image taken by the camera 101.
  • the self-position / orientation estimation unit 107 is the direction in which the steel frame T is visually recognized from the captured image based on the initial position calculated by the calculation processing unit 106, the image of the initial marker at that time, and the steel frame T currently being photographed. By grasping and its relative distance, the relative current positional relationship (current position) with respect to the steel frame T can be estimated.
  • This self-position / posture estimation unit 107 is a known technique, and can be realized by, for example, SLAM (Simultaneous Localization and Mapping).
  • the self-position / posture estimation function is not limited to the above, and self-position estimation may be performed using GPS or other sensors.
  • FIG. 5 is a flowchart showing the operation.
  • the calculation processing unit 106 calculates the coordinate correction position S in each steel frame T based on the design data stored in the storage unit 103, and stores it in the storage unit 103 (S101).
  • the calculation processing unit 106 calculates the initial position of the self-position / posture estimation unit 107, and grasps the positional relationship of the steel frame T (S102).
  • the correction processing unit 102 selects a reference coordinate correction position from the coordinate correction position candidates based on the self position estimated by the self-position / orientation estimation unit 107. Then, the correction processing unit 102 corrects the position of the image data G of the decorative material based on the self-position estimation result (self-position) and the selected coordinate correction position (S105). These S103 to S106 are repeated until the program ends (S106).
  • FIG. 6 is a flowchart showing the detailed operation of the process S101.
  • the calculation processing unit 106 reads the design data of the building (steel frame T) with reference to the storage unit 103 (S201).
  • the calculation processing unit 106 calculates the coordinate correction position from the floor height information and the center center information (S202).
  • the floor height information indicates the number of floors of the building and its height.
  • the street core information is information indicating the center line of the steel frame, and indicates the coordinates in the building.
  • the coordinate correction position is a reference position for synthesizing the image data G of the decorative material, and here, 3 is obtained from the coordinates of the coordinate correction position defined at the intersection C of the center of the street and its height. Shows the coordinates of the dimension.
  • the calculation processing unit 106 sets the position where the coordinate correction position is Y-mail shifted in the height direction as the coordinate correction position (S203). This process is for adjusting to a position that matches the line of sight of a person.
  • the calculation processing unit 106 determines whether or not the final coordinate correction position is in the steel frame T such as a wall or a column (S204). For example, the coordinates of the intersection of the center of the street (coordinates in the horizontal direction) are determined to be inside the steel frame T. The same applies when the steel frame T is embedded in the wall. This information is determined based on the size of the steel frame T included in the design data and its arrangement.
  • the calculation processing unit 106 determines that the coordinate correction position is in the steel frame T, the calculation processing unit 106 divides the coordinate correction position in four directions centered on the intersection of the center of the grid, and divides the coordinate correction position in four directions, and the surface of the steel frame T on the design data. The intersections intersecting with each other are calculated and set as the coordinate correction positions (S205).
  • the calculation processing unit 106 stores the coordinate correction position calculated based on these processes in the storage unit 103 (S206).
  • the storage unit 103 corresponds to each of the steel frames T (steel frames T1 to Tn), the identification information of the decorative material associated therewith, the arrangement position (relative position information) of the cosmetic material, and the coordinate correction position set for each steel frame T.
  • the correction corresponding portion in the image data G of the decorative material and the image data G (image data G1 to Gn) of the decorative material are stored in association with each other. That is, the storage unit 103 stores various information so that which image data G (G1 to Gn) is combined is associated with each coordinate correction position of the steel frame T.
  • FIG. 7 is a flowchart showing the selection process of the self-position / posture estimation result and the detailed process of the correction process in the correction process unit 102.
  • the correction processing unit 102 selects a reference coordinate correction position from the coordinate correction position candidates stored in the storage unit 103 (S301). If there is a candidate, the correction processing unit 102 superimposes message information indicating that the coordinate correction position is based on the selected coordinate correction position, and the display unit 104 displays that fact (S303). ..
  • the correction processing unit 102 calculates the deviation of the coordinate correction position from the coordinates in the real space (S304). That is, the correction processing unit 102 calculates the positional deviation between the coordinate correction position on the designated steel frame T and the image data G of the decorative material to be synthesized. For example, in FIG. 3B, the depth sensor 105 measures the distance to the surface (coordinate correction position) of the steel frame T at a position where the height of the intersection C2 of the center of the grid is Y-shifted. The correction processing unit 102 calculates the actual position of the coordinate correction position based on the distance.
  • the correction processing unit 102 obtains the position of the image data G2 of the decorative material (the position to be aligned with the coordinate correction position, here, the correction corresponding part), and calculates the difference as a position deviation (error). do. Since the coordinate correction position is a Y-shifted position in the height direction and the center position of the thickness of the steel frame in the horizontal direction, the position may be calculated or the user input function of this device is used. It may be specified by the instruction of the user.
  • the correction processing unit 102 calculates a misalignment (such as a misalignment of a predetermined value or more) (S305: YES)
  • the correction processing unit 102 corrects the superposed position of the image data G according to the amount of the misalignment (S306).
  • FIG. 8 is a flowchart showing a process of selecting a coordinate correction position to be used from the coordinate correction position candidates.
  • the correction processing unit 102 reads the coordinate correction position in the steel frame T from the storage unit 103 (S401), and obtains the result of the self-position / posture estimation by the self-position / posture estimation unit 107 (self-position information relative to the steel frame T). Acquire (S402).
  • the correction processing unit 102 extracts a plurality of coordinate correction positions S in the vicinity (predetermined range) of the self position based on the self position / orientation estimation result (S403). Further, the correction processing unit 102 calculates the direction N1 in which the user is facing the steel frame T from the self-position / posture estimation result (S404). That is, the self-position / orientation estimation unit 107 calculates the angle formed by the direction vector of the normal line N2 on the surface of each steel frame T and the reverse direction vector of the direction N1.
  • the correction processing unit 102 excludes a surface having a coordinate correction position where this angle is ⁇ degrees or more. That is, when the user views the surface of the steel frame T from an oblique direction, the coordinate correction position on the surface of the steel frame T is excluded (S405).
  • the correction processing unit 102 determines whether or not the distance between the closest coordinate correction position S and the second closest coordinate correction position S is less than a predetermined distance (S406). If it is less than the predetermined distance, it is determined that there is no candidate (S408), and if it is more than the predetermined distance, the nearest coordinate correction position S is selected (S407).
  • the correction processing unit 102 selects one coordinate correction position S.
  • FIG. 9 is a flowchart showing a calculation process of the deviation of the coordinate correction position in the correction processing unit 102.
  • FIG. 9 shows a process using a reference marker for each portion of the steel frame T.
  • the correction processing unit 102 calculates the position P1 of the reference marker based on the self-position estimated by the self-position / orientation estimation unit 107 (S501, S502). ..
  • the correction processing unit 102 has information such as the shape and size of the reference marker in advance, and based on the image of the reference marker captured by the camera 101, it is possible to determine from what direction and from what distance. You can judge.
  • the correction processing unit 102 acquires the position P2 which is the correction corresponding part corresponding to the coordinate correction position of the steel frame T in the image data Gn of the currently displayed decorative material (S503).
  • the correction processing unit 102 grasps the correction corresponding portion corresponding to the coordinate correction position of the steel frame T in each image data Gn and the position thereof, and sets the vicinity of the position P1 to the coordinate correction position in the image data Gn to be synthesized.
  • Corresponding correction Acquires the position information of the corresponding part.
  • the correction processing unit 102 calculates the difference between the position P1 and the position P2 as an estimation error (S504).
  • the image data G is displaced from the steel frame T. This is because the image data G and the steel frame T are first aligned using the initial marker, but it is difficult to completely align the details, and the SLAM position / orientation estimation error moves. This is because it accumulates with it. Therefore, as the user moves, the deviation may increase.
  • the above process is a process for calculating the deviation.
  • FIG. 10 is a flowchart showing another process when calculating the positional deviation between the image data G and the steel frame T.
  • the depth sensor 105 When the depth sensor 105 receives the coordinate input of the coordinate correction position (S601: YES), the depth sensor 105 calculates the distance to the coordinate correction position on the steel frame T in the shooting direction (user's line-of-sight direction) of the camera 101, and calculates the position P1. (S602). Further, the correction processing unit 102 acquires the position P2, which is the correction corresponding position corresponding to the coordinate correction position of the steel frame T in the currently displayed image data G (S603). The correction processing unit 102 calculates the difference between the position P1 and the position P2 as an estimation error (S604).
  • the image display device 100 is an image taken by the camera 101 with respect to the steel frame T which is a synthetic object having the steel frames T1 to Tn which are a plurality of partial members in the user's field of view. It is a device that synthesizes and displays data G (including image data G1 to Gn).
  • the image display device 100 is based on a storage unit 103 that stores design data of the steel frame T, which is an object to be synthesized, and a reference position (reference marker or coordinate correction position) in one part of the steel frame T (for example, the steel frame T1 or the like).
  • the display unit 104 that generates and displays a composite image obtained by synthesizing the image data G indicating the predetermined decorative material, and the image data G and the steel frame T in the user's field of view generated by the movement of the user U.
  • a correction processing unit 102 that corrects the deviation when the deviation occurs is provided.
  • the correction processing unit 102 uses the design data stored in the storage unit 103 and the user U's own position with respect to the steel frame T to correct the coordinates from the steel frame T1 or the like, which is a partial member, to the reference position for the correction processing. Acquire the position S.
  • the correction processing unit 102 corrects the image data G by aligning the image data G based on the one coordinate correction position S.
  • the correction processing unit 102 when the correction processing unit 102 acquires the coordinate correction position serving as the reference position for the correction processing, the correction processing unit 102 acquires a plurality of coordinate correction positions and sets a predetermined condition for the user U's own position. Select one satisfied (for example, the closest) coordinate correction position from a plurality of coordinate correction positions.
  • the predetermined image data G indicates a decorative material (covering member) configured to cover the steel frame T which is the object to be synthesized.
  • the steel frame T is composed of a plurality of surfaces.
  • its cross section is quadrangular.
  • the coordinate correction position is defined on the plurality of faces. Then, when selecting one coordinate correction position S, the correction processing unit 102 has a predetermined angle from the self-position of the user U to the direction of each surface of the steel frame T among the surfaces of the plurality of steel frames T. Select the coordinate correction position defined on the face.
  • the correction processing unit 102 selects the coordinate correction position closest to the user U as one coordinate correction position. This makes it possible to select an appropriate coordinate correction position.
  • the image display device 100 further includes a depth sensor 105 that measures the distance to the steel frame T.
  • the correction processing unit 102 calculates the actual coordinate correction position using the distance measured by the depth sensor 105. Then, the correction processing unit 102 calculates the deviation between the actual coordinate correction position and the position corresponding to the coordinate correction position S in the image data G synthesized before the correction, and corrects based on the deviation.
  • the image display device 100 further includes a recognition unit (not shown) that recognizes a marker attached to the object to be synthesized.
  • the correction processing unit 102 calculates the actual coordinate correction position based on the position of the recognized marker. Then, the correction processing unit 102 calculates the deviation between the actual coordinate correction position and the position corresponding to the coordinate correction position in the image data G synthesized before the correction, and corrects based on this deviation.
  • each functional block may be realized by using one device that is physically or logically connected, or directly or indirectly (for example, by two or more devices that are physically or logically separated). , Wired, wireless, etc.) and may be realized using these plurality of devices.
  • the functional block may be realized by combining the software with the one device or the plurality of devices.
  • Functions include judgment, decision, judgment, calculation, calculation, processing, derivation, investigation, search, confirmation, reception, transmission, output, access, solution, selection, selection, establishment, comparison, assumption, expectation, and assumption.
  • broadcasting notifying, communicating, forwarding, configuring, reconfiguring, allocating, mapping, assigning, etc., but only these. I can't.
  • a functional block that functions transmission is called a transmitting unit (transmitting unit) or a transmitter (transmitter).
  • transmitting unit transmitting unit
  • transmitter transmitter
  • the image display device 100 may function as a computer that processes the image processing method of the present disclosure.
  • FIG. 11 is a diagram showing an example of the hardware configuration of the image display device 100 according to the embodiment of the present disclosure.
  • the image display device 100 described above may be physically configured as a computer device including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, and the like.
  • the word “device” can be read as a circuit, device, unit, etc.
  • the hardware configuration of the image display device 100 may be configured to include one or more of the devices shown in the figure, or may be configured not to include some of the devices.
  • the processor 1001 For each function in the image display device 100, by loading predetermined software (program) on hardware such as the processor 1001 and the memory 1002, the processor 1001 performs an calculation, controls communication by the communication device 1004, and controls the communication by the communication device 1004. It is realized by controlling at least one of reading and writing of data in the 1002 and the storage 1003.
  • predetermined software program
  • Processor 1001 operates, for example, an operating system to control the entire computer.
  • the processor 1001 may be configured by a central processing unit (CPU: Central Processing Unit) including an interface with a peripheral device, a control device, an arithmetic unit, a register, and the like.
  • CPU Central Processing Unit
  • the correction processing unit 102, the calculation processing unit 106, the self-position / orientation estimation unit 107, and the like described above may be realized by the processor 1001.
  • the processor 1001 reads a program (program code), a software module, data, etc. from at least one of the storage 1003 and the communication device 1004 into the memory 1002, and executes various processes according to these.
  • a program program that causes a computer to execute at least a part of the operations described in the above-described embodiment is used.
  • the correction processing unit 102 of the image display device 100 may be realized by a control program stored in the memory 1002 and operating in the processor 1001, and may be realized in the same manner for other functional blocks.
  • Processor 1001 may be implemented by one or more chips.
  • the program may be transmitted from the network via a telecommunication line.
  • the memory 1002 is a computer-readable recording medium, and is composed of at least one such as a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an EPROM (Electrically Erasable Programmable ROM), and a RAM (Random Access Memory). May be done.
  • the memory 1002 may be referred to as a register, a cache, a main memory (main storage device), or the like.
  • the memory 1002 can store a program (program code), a software module, or the like that can be executed to carry out the image processing method according to the embodiment of the present disclosure.
  • the storage 1003 is a computer-readable recording medium, and is, for example, an optical disk such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disk, an optical magnetic disk (for example, a compact disk, a digital versatile disk, or a Blu-ray). It may consist of at least one (registered trademark) disk), smart card, flash memory (eg, card, stick, key drive), floppy (registered trademark) disk, magnetic strip, and the like.
  • the storage 1003 may be referred to as an auxiliary storage device.
  • the storage medium described above may be, for example, a database, server or other suitable medium containing at least one of the memory 1002 and the storage 1003.
  • the communication device 1004 is hardware (transmission / reception device) for communicating between computers via at least one of a wired network and a wireless network, and is also referred to as, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the communication device 1004 includes, for example, a high frequency switch, a duplexer, a filter, a frequency synthesizer, and the like in order to realize at least one of frequency division duplex (FDD: Frequency Division Duplex) and time division duplex (TDD: Time Division Duplex). It may be composed of.
  • FDD Frequency Division Duplex
  • TDD Time Division Duplex
  • the input device 1005 is an input device (for example, a keyboard, a mouse, a microphone, a switch, a button, a sensor, etc.) that receives an input from the outside.
  • the output device 1006 is an output device (for example, a display, a speaker, an LED lamp, etc.) that outputs to the outside.
  • the input device 1005 and the output device 1006 may have an integrated configuration (for example, a touch panel).
  • each device such as the processor 1001 and the memory 1002 is connected by the bus 1007 for communicating information.
  • the bus 1007 may be configured by using a single bus, or may be configured by using a different bus for each device.
  • the image display device 100 includes hardware such as a microprocessor, a digital signal processor (DSP: Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). It may be configured by, and a part or all of each functional block may be realized by the hardware. For example, processor 1001 may be implemented using at least one of these hardware.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • the input / output information and the like may be stored in a specific location (for example, memory) or may be managed using a management table. Input / output information and the like can be overwritten, updated, or added. The output information and the like may be deleted. The input information or the like may be transmitted to another device.
  • the determination may be made by a value represented by 1 bit (0 or 1), by a true / false value (Boolean: true or false), or by comparing numerical values (for example, a predetermined value). It may be done by comparison with the value).
  • the notification of predetermined information (for example, the notification of "being X") is not limited to the explicit one, but is performed implicitly (for example, the notification of the predetermined information is not performed). May be good.
  • Software whether referred to as software, firmware, middleware, microcode, hardware description language, or by any other name, is an instruction, instruction set, code, code segment, program code, program, subprogram, software module.
  • Applications, software applications, software packages, routines, subroutines, objects, executable files, execution threads, procedures, features, etc. should be broadly interpreted.
  • software, instructions, information, etc. may be transmitted and received via a transmission medium.
  • a transmission medium For example, a website that uses at least one of wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL: Digital Subscriber Line), etc.) and wireless technology (infrared, microwave, etc.).
  • wired technology coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL: Digital Subscriber Line), etc.
  • wireless technology infrared, microwave, etc.
  • the information, signals, etc. described in this disclosure may be represented using any of a variety of different techniques.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description are voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may be represented by a combination of.
  • a channel and a symbol may be a signal (signaling).
  • the signal may be a message.
  • the component carrier CC: Component Carrier
  • CC Component Carrier
  • system and “network” used in this disclosure are used interchangeably.
  • the information, parameters, etc. described in the present disclosure may be expressed using absolute values, relative values from predetermined values, or using other corresponding information. It may be represented.
  • the radio resource may be one indicated by an index.
  • determining and “determining” used in this disclosure may include a wide variety of actions.
  • “Judgment” and “decision” are, for example, judgment (judging), calculation (calculating), calculation (computing), processing (processing), derivation (deriving), investigation (investigating), search (looking up, search, inquiry). (For example, searching in a table, database or another data structure), ascertaining may be regarded as “judgment” or “decision”.
  • judgment and “decision” are receiving (for example, receiving information), transmitting (for example, transmitting information), input (input), output (output), and access.
  • Accessing (for example, accessing data in memory) may be regarded as "judgment” or “decision”.
  • judgment and “decision” mean that the things such as solving, selecting, choosing, establishing, and comparing are regarded as “judgment” and “decision”. Can include. That is, “judgment” and “decision” may include considering some action as “judgment” and “decision”. Further, “judgment (decision)” may be read as “assuming”, “expecting”, “considering” and the like.
  • connection means any direct or indirect connection or connection between two or more elements, and each other. It can include the presence of one or more intermediate elements between two “connected” or “combined” elements.
  • the connection or connection between the elements may be physical, logical, or a combination thereof.
  • connection may be read as "access”.
  • the two elements use at least one of one or more wires, cables and printed electrical connections, and, as some non-limiting and non-comprehensive examples, the radio frequency domain. Can be considered to be “connected” or “coupled” to each other using electromagnetic energies having wavelengths in the microwave and light (both visible and invisible) regions.
  • the term "A and B are different” may mean “A and B are different from each other”.
  • the term may mean that "A and B are different from C”.
  • Terms such as “separate” and “combined” may be interpreted in the same way as “different”.
  • 100 image display device, 101 ... camera, 102 ... correction processing unit, 103 ... storage unit, 104 ... display unit, 105 ... depth sensor, 106 ... calculation processing unit, 107 ... self-position / orientation estimation unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

ユーザが移動して位置合わせにずれが生じてもその位置を簡単に補正することができる画像表示装置を提供すること。画像表示装置１００は、ユーザＵが移動することにより生じた前記ユーザの視界における画像データＧと鉄骨Ｔとにずれが生じると、当該ずれを補正する補正処理部１０２と、を備える。この補正処理部１０２は、記憶部１０３が記憶する設計データと鉄骨Ｔに対するユーザＵの自己位置とを用いて、部分部材である鉄骨Ｔ１等から、補正処理のための基準位置にとなる座標修正位置Ｓを取得する。補正処理部１０２は、当該一の座標修正位置Ｓに基づいて、画像データＧの位置合わせを行うことで、補正する。

Description

画像表示装置
　本発明は、複合現実空間（ＭＲ（Mixed Reality））を利用した画像表示装置に関する。
　ＭＲ技術を用いて、現実空間にある物体に、画像を合成することが一般的に知られている。例えば、特許文献１には、現実空間画像と仮想空間画像との重畳描写についての記載がある。
特開２００８－２９３２０９号公報
　近年、ＭＲ技術を用いて、建築物の施工段階において、骨組みだけ、梁だけなどの構造物に、化粧材などの画像データを合成することで、完成品の把握を容易にしようとすることが考えられている。
　しかしながら、構造物にその画像データの位置合わせをすることが困難な場合が多い。一般的には、構造物にマーカを添付することで、画像データの位置合わせをすることが考えられる。その場合、ＭＲゴーグルなどのＭＲ空間をみることができるゴーグルを装着したユーザが移動をして、そのマーカを添付した構造物から離れてしまうと、構造物と画像データとの間の位置合わせにずれが生じる。そのため、構造物の至る所に、その位置に応じたマーカを配置することも考えられるが、位置に応じたマーカを設定することおよびその配置に大変手間がかかる。
　そこで、上述の課題を解決するために、複合空間においてユーザが移動した際に生じる位置合わせのずれを簡単に補正することができる画像表示装置を提供することを目的とする。
　本発明の画像表示装置は、現実空間にある合成対象物に対して、所定の画像を合成して表示する画像表示装置において、前記合成対象物における各部分の位置関係を示す設計データを記憶する記憶部と、前記合成対象物の一の部分を基準位置として、所定の画像を合成した合成画像を生成して表示する表示部と、前記ユーザが移動することにより生じた前記所定の画像と前記合成対象物とのずれを補正する補正部と、を備え、前記補正部は、前記設計データと前記合成対象物に対する前記ユーザの自己位置とを用いて、前記合成対象物における前記一の部分における補正処理のための基準位置となる座標修正位置を取得し、当該座標修正位置に基づいて、前記所定の画像の合成位置を補正する。
　本発明によると、複合現実空間における位置合わせのずれを簡単に補正することができる。
本実施形態における構造物である鉄骨Ｔの図、およびその鉄骨Ｔに柱の画像データＧを合成した図を示す。 座標修正位置についての説明図である。 座標修正位置を用いた合成処理を示す説明図である。 画像表示装置１００の機能構成を示すブロック図である。 画像表示装置１００の動作を示すフローチャートである。 処理Ｓ１０１の詳細動作を示すフローチャートである。 補正処理部１０２における、自己位置姿勢推定結果の選定処理および補正処理の詳細処理を示すフローチャートである。 座標修正位置候補から利用する座標修正位置の選定処理を示すフローチャートである。 補正処理部１０２における座標修正位置のずれの算出処理を示すフローチャートである。 画像データＧと、鉄骨Ｔとの位置ずれを算出するときの別の処理を示すフローチャートである。 本開示の一実施の形態に係る画像表示装置１００のハードウェア構成の一例を示す図である。
　添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
　図１は、本実施形態における構造物である鉄骨Ｔの図、およびその鉄骨Ｔに、柱であることを示す化粧材の画像データＧを合成した図を示す。図１は、本実施形態の画像表示装置であるＭＲゴーグルを装着したユーザがみることができる図を示している。図１（ａ）は、化粧材の画像データＧの合成前の、現実空間に存在する構造物である鉄骨Ｔを示す図である。図１において、鉄骨Ｔは、鉄骨Ｔ～Ｔｎから構成されている。図１では、鉄骨Ｔ９まで示しているが、当然に鉄骨Ｔｎ（ｎは自然数）まで存在しても良い。画像データＧｎ（ｎは自然数、例えば、Ｇ１～Ｇ９）についても同様である。
　なお、本実施形態では、柱を鉄骨としているが、柱は鉄骨に限られるものではなく、コンクリート柱でも良いし化粧材で覆われた状態でも良い。合成して表示する画像として、化粧材に限られず配管、配線、または家具などとしてもよい。
　図１（ｂ）は、実際の鉄骨Ｔを装飾するための化粧材で覆った状態を示す図であり、複合現実空間において、その化粧材を示す画像データＧを鉄骨Ｔに合成したときの図である。鉄骨Ｔ１～Ｔｎの位置および大きさなどを示した設計データ、ならびに化粧材の画像データＧ１～Ｇｎは、予め記憶されている。画像データＧは画像データＧ１～Ｇｎで構成される３次元画像である。複数の化粧材の画像データＧ１～Ｇｎは、鉄骨Ｔ１～Ｔｎの位置に合わせて予め関連付けられている。
　後述する座標修正位置に対応する修正対応箇所が各画像データＧｎに設定されている。例えば、化粧材の画像データＧ１の修正対応箇所を、鉄骨Ｔ１に設定された座標修正位置に位置合わせして合成すると、他の化粧材の画像データＧ２も、対応する鉄骨Ｔ２に位置合わせされる。他の化粧材の画像データＧｎ等も、同様に、対応する鉄骨Ｔｎに位置合わせされる。ただし、画像データＧ２等の修正対応箇所と、鉄骨Ｔ２等に設定された座標修正位置との位置合わせには誤差が含まれている場合がある。
　鉄骨Ｔと化粧材の画像データＧとが最初に位置合わせされるときは、例えば、鉄骨Ｔ１の所定の場所に、画像データＧ１用の初期マーカが添付されることにより位置合わせが行われる。画像データＧ２等は、互いに位置関係が固定された画像データＧを構成していることから、他の鉄骨Ｔ２等についても自動的に位置合わせが行われることになる。なお、画像データＧは、３次元画像であることから、ユーザが鉄骨Ｔをみる方向に応じて、当該画像データＧが回転される。これによって、初期マーカに基づいて位置合わせすることで、全ての鉄骨Ｔ１～Ｔｎと、画像データＧ１～Ｇｎとの位置合わせが可能となる。
　位置合わせについて、さらに詳細に説明する。図２は、座標修正位置について説明する。図１においては、単に位置合わせをすることを説明した。図２に示されるとおり、鉄骨Ｔ１は、４方向にそれぞれ面を有する。化粧材の画像データＧ１は、その面の一つを基準にして、位置合わせが行われる。座標修正位置は、鉄骨Ｔの位置と、化粧材の画像データＧとの位置合わせのための基準位置を示す。
　図２（ａ）は、鉄骨Ｔの上面からみた概略図である。本実施形態においては、この鉄骨Ｔは、通り芯の交点Ｃをその中心においた角柱であり、その断面は４角形である。ここで鉄骨Ｔ１に着目する。鉄骨Ｔ１のそれぞれの面に、座標修正位置Ｓ１１～Ｓ１４が設定されている。
　ユーザは、鉄骨Ｔ１をみながら移動すると、他の鉄骨Ｔ２～Ｔ４（化粧材Ｋ２～Ｋ４）と、化粧材の画像データＧ２～Ｇ４との位置にずれが生ずる。そのため、ずれが生じた場合に、そのずれを修正する必要がある。すなわち、ユーザは、鉄骨Ｔ１をみながら移動すると、最初に設定した基準マーカが視界から消えることで、この基準マーカによる位置角度のトラッキングができなくなり、ＳＬＡＭによる自己位置姿勢推定によるトラッキングが行われる。この自己位置姿勢推定は移動によって推定誤差が発生する。
　本実施形態では、ユーザから一番近い鉄骨Ｔおよびその座標修正位置Ｓを特定することで、修正の基準となる鉄骨Ｔを特定する。
　図２（ｂ）は、ＭＲゴーグルである画像表示装置１００を装着したユーザＵが移動したときのユーザＵに一番近い鉄骨Ｔ２および座標修正位置Ｓ２１～Ｓ２４を示す図である。本実施形態においては、画像表示装置１００は、公知の自己位置推定技術を利用して、ユーザＵが鉄骨Ｔに対してどの位置にいるか、その相対的な位置関係を把握することができる。
　ユーザＵは鉄骨Ｔ２をみることで、画像表示装置１００は、ユーザＵが最も近い鉄骨Ｔ２の座標修正位置Ｓ２１～Ｓ２４のいずれを修正基準とするか、決定する。図３（ａ）に示すように、画像表示装置１００は、ユーザＵの視線方向（ここでは画像表示装置におけるカメラの撮影方向に相当）の逆方向ベクトルと、鉄骨Ｔの表面の法線ベクトルとが所定角度以内となる座標修正位置Ｓを選択する。
　さらに、デプスセンサで測定した鉄骨Ｔまでの距離に基づいて、鉄骨Ｔの面上に定義される実際の座標修正位置を算出する（図３（ｂ）。デプスセンサは、鉄骨Ｔに対して正面から測定するとは限らない。従って、鉄骨Ｔの表面の所定の位置（例えば中央部）に、座標修正位置を補正する。
　そして、その座標修正位置に基づいて画像データＧの修正対応箇所Ｓｈ２をずらす処理を行う（図３（ｃ））。画像データＧ２は、各座標修正位置Ｓに対応付けされた修正対応箇所情報（図３では位置Ｓ２２）および画像データＧにおける相対的な位置情報と関連付いている。すなわち、各画像データＧの各面は、各鉄骨Ｔの各面に設定された座標修正位置と位置合わせをするための基準位置と関連付けられている。この修正対応箇所Ｓｈ２を座標修正位置Ｓ１２に位置合わせすることで、画像データＧと鉄骨Ｔとの位置合わせを行うことができる。
　このような処理を行うことで、ユーザＵは、移動しながら鉄骨Ｔが化粧材の画像データＧで覆われた状態を視認することができる。なお、図２および図３においては、鉄骨Ｔの断面は四角形であるが、これに限るものではない。円形、そのほかの多角形であっても良く、鉄骨Ｔの座標修正位置と、化粧材の画像データＧの修正対応箇所とが対応付けられればよい。
　つぎに、本実施形態の画像表示装置１００の機能構成について説明する。図４は、画像表示装置１００の機能構成を示すブロック図である。図に示されるとおり、画像表示装置１００は、カメラ１０１、補正処理部１０２（補正部）、記憶部１０３、表示部１０４、デプスセンサ１０５（センサ部）、計算処理部１０６、および自己位置姿勢推定部１０７を含んで構成されている。この画像表示装置１００は、いわゆるＭＲゴーグルと呼ばれる装置であって、ヘッドマウントディスプレイ型の装置である。ユーザは、この画像表示装置１００を頭部に装着することで、カメラ１０１が撮影した映像を、表示部１０４を介してみることができる。ビデオシースルー型のヘッドマウントディスプレイでは、ユーザは、この画像表示装置１００を頭部に装着することで、カメラ１０１が撮影した映像を、表示部１０４を介してみることができる。また、本実施形態は、これら形態に限らず、光学シースルー型の装置（例えば、グラスを通して鉄骨をみる）でも同様に実現できる。
　カメラ１０１は、ユーザがみている現実空間を撮影する部分である。
　補正処理部１０２は、カメラ１０１が撮影した映像に対して、仮想空間部材である画像データを、複合現実空間において合成する部分である。ここでは、化粧材を示す画像データＧを、鉄骨Ｔに合成するための処理および位置ずれの際の補正処理を行う。
　記憶部１０３は、鉄骨Ｔなどの構造物の設計データおよび当該構造物に対する化粧材を示す画像データＧを記憶する部分である。設計データは、各鉄骨Ｔの大きさ、互いの間隔などを示した情報である。また、画像データＧは、化粧材の画像に加えて、鉄骨Ｔ（特に座標修正位置など）との対応関係を示す情報を有している。
　表示部１０４は、カメラ１０１が撮影した映像を表示する部分である。表示部１０４は、補正処理部１０２により鉄骨Ｔに対して画像データＧが合成された場合には、その合成した映像を表示する。
　デプスセンサ１０５は、ユーザＵと鉄骨Ｔとの距離を測定するセンサである。
　計算処理部１０６は、記憶部１０３に記憶されている設計データに基づいて、画像表示装置１００の構造物（鉄骨Ｔ）に対する相対的な位置関係の初期位置およびユーザが移動する度に生ずる鉄骨Ｔと画像データＧとの位置ずれを計算する部分である。
　自己位置姿勢推定部１０７は、カメラ１０１により撮影された映像に基づいて、カメラ１０１が撮影して表示した現実空間での位置と画像表示装置１００の姿勢の変化を推定する部分である。自己位置姿勢推定部１０７は、計算処理部１０６で計算した初期位置、そのときの初期マーカの画像、および現在撮影している鉄骨Ｔに基づいて、撮影した映像から鉄骨Ｔを視認している方向およびその相対距離を把握することで、鉄骨Ｔに対する相対的な現在の位置関係（現在位置）を推定することができる。この自己位置姿勢推定部１０７は、公知技術であり、例えばＳＬＡＭ（Simultaneous Localization and Mapping）により実現することができる。なお、自己位置姿勢推定機能として、上記に限るものではなく、ＧＰＳ、そのほかセンサを用いて、自己位置推定をしても良い。
　このように構成された画像表示装置１００の動作について説明する。図５は、その動作を示すフローチャートである。
　計算処理部１０６は、記憶部１０３に記憶されている設計データに基づいて、各鉄骨Ｔにおける座標修正位置Ｓを算出し、記憶部１０３に記憶する（Ｓ１０１）。
　つぎに、計算処理部１０６は、自己位置姿勢推定部１０７の初期位置の計算を行い、鉄骨Ｔの位置関係を把握する（Ｓ１０２）。
　ユーザが移動すると（Ｓ１０３）、自己位置姿勢推定に誤差が発生する（Ｓ１０４）。
　そして、補正処理部１０２は、自己位置姿勢推定部１０７が推定している自己位置に基づいて、座標修正位置候補から基準となる座標修正位置の選定を行う。そして、補正処理部１０２は、自己位置推定結果（自己位置）と、選定した座標修正位置とに基づいて、化粧材の画像データＧの位置を補正する（Ｓ１０５）。これらＳ１０３～Ｓ１０６をプログラムが終了するまで繰り返す（Ｓ１０６）。
　図６は、処理Ｓ１０１の詳細動作を示すフローチャートである。計算処理部１０６は、記憶部１０３を参照して建物（鉄骨Ｔ）の設計データを読み込む（Ｓ２０１）。計算処理部１０６は、階高情報と通り芯情報とから座標修正位置を算出する（Ｓ２０２）。ここで、階高情報とは、建物の階数およびその高さを示す。通り芯情報とは、鉄骨の中心線を示す情報であり、その建物内における座標を示す。座標修正位置とは、化粧材の画像データＧを合成するための基準となる位置であり、ここでは、通り芯の交点Ｃに定義された座標修正位置の座標とその高さとから求められた３次元の座標を示す。
　計算処理部１０６は、座標修正位置を高さ方向にＹメールシフトした位置を座標修正位置とする（Ｓ２０３）。この処理は、人の目線に合わせた位置に合わせるためである。
　計算処理部１０６は、最終的な座標修正位置が、壁または柱などの鉄骨Ｔの中にあるか否かを判断する（Ｓ２０４）。例えば、通り芯の交点の座標（水平方向における座標）は、鉄骨Ｔの内側にあると判断される。鉄骨Ｔが壁に埋め込まれている場合も同様である。これら情報は設計データに含まれている鉄骨Ｔの大きさおよびその配置に基づいて判断される。
　計算処理部１０６は、鉄骨Ｔの中に座標修正位置があると判断する場合には、通り芯の交点を中心とした４方向に座標修正位置を分裂して、設計データ上の鉄骨Ｔの表面に対して交わる交点を座標修正位置として計算して、設定する（Ｓ２０５）。
　計算処理部１０６は、これら処理に基づいて算出された座標修正位置を記憶部１０３に記憶する（Ｓ２０６）。記憶部１０３は、鉄骨Ｔ（鉄骨Ｔ１～Ｔｎ）ごとに、それに対応付ける化粧材の識別情報、化粧材の配置位置（相対的な位置情報）、鉄骨Ｔごとに設定された座標修正位置に対応する化粧材の画像データＧにおける修正対応箇所、および化粧材の画像データＧ（画像データＧ１～Ｇｎ）を対応付けて記憶する。すなわち、記憶部１０３は、鉄骨Ｔの各座標修正位置に対して、どの画像データＧ（Ｇ１～Ｇｎ）が合成されるか対応付けがされるように、各種情報を記憶している。
　つぎに、処理Ｓ１０５の詳細処理について説明する。図７は、補正処理部１０２における、自己位置姿勢推定結果の選定処理および補正処理の詳細処理を示すフローチャートである。
　補正処理部１０２は、記憶部１０３に記憶されている座標修正位置候補から基準となる座標修正位置の選定を行う（Ｓ３０１）。候補がある場合には、補正処理部１０２は、選定された座標修正位置に基づいて、座標修正位置であることを示すメッセージ情報を重畳し、表示部１０４は、その旨を表示する（Ｓ３０３）。
　補正処理部１０２は、座標修正位置の実空間での座標とのずれの計算を行う（Ｓ３０４）。すなわち、補正処理部１０２は、指定された鉄骨Ｔにおける座標修正位置と、合成対象である化粧材の画像データＧとの位置ずれを算出する。例えば、図３（ｂ）では、デプスセンサ１０５は、通り芯の交点Ｃ２の高さをＹシフトした位置における鉄骨Ｔの表面（座標修正位置）までの距離を計測する。補正処理部１０２は、その距離に基づいて座標修正位置の実際の位置を算出する。一方で、補正処理部１０２は、化粧材の画像データＧ２の位置（座標修正位置に位置合せされるべき位置、ここでは修正対応箇所とする）を求め、その差を位置ずれ（誤差）として算出する。座標修正位置は、高さ方向にはＹシフトした位置で、横方向には鉄骨の厚みの中心位置にあるため、その位置を計算で出しても良いし、本装置が持つユーザ入力機能を用いてユーザの指示により特定しても良い。
　補正処理部１０２は、位置ずれ（ずれが所定値以上であるなど）を算出した場合（Ｓ３０５：ＹＥＳ）、そのずれ量に応じて画像データＧの重畳位置を修正する（Ｓ３０６）。
　つぎに、図７における処理Ｓ３０１の詳細処理について説明する。図８は、座標修正位置候補から利用する座標修正位置の選定処理を示すフローチャートである。
　補正処理部１０２は、記憶部１０３から鉄骨Ｔにおける座標修正位置を読込み（Ｓ４０１）、また、自己位置姿勢推定部１０７による自己位置姿勢推定の結果（鉄骨Ｔに対する相対的な自己の位置情報）を取得する（Ｓ４０２）。
　補正処理部１０２は、自己位置姿勢推定結果に基づいて、自己位置の近傍（所定範囲）にある複数の座標修正位置Ｓを抽出する（Ｓ４０３）。また、補正処理部１０２は、自己位置姿勢推定結果からユーザが鉄骨Ｔに対して向いている方向Ｎ１を算出する（Ｓ４０４）。すなわち、自己位置姿勢推定部１０７は、各鉄骨Ｔの表面の法線Ｎ２の方向ベクトルと方向Ｎ１の逆方向ベクトルとのなす角度を算出する。
　補正処理部１０２は、この角度がφ度以上となる座標修正位置を有する面を除外する。すなわち、鉄骨Ｔの表面を、ユーザが斜め方向からみた場合に、それら鉄骨Ｔの表面における座標修正位置を除外する（Ｓ４０５）。
　補正処理部１０２は、最も近い座標修正位置Ｓと、二番目に近い座標修正位置Ｓとの距離が所定距離未満であるか否かを判断する（Ｓ４０６）。所定距離未満である場合には、候補無しと判断し（Ｓ４０８）、所定距離以上である場合には、最も近くにある座標修正位置Ｓを選択する（Ｓ４０７）。
　この処理によって、補正処理部１０２は、一の座標修正位置Ｓを選択する。
　つぎに、図７における処理Ｓ３０４についてその詳細処理を説明する。図９は、補正処理部１０２における座標修正位置のずれの算出処理を示すフローチャートである。図９は、鉄骨Ｔの各部分ごとに基準マーカを用いた処理を示す。
　補正処理部１０２は、カメラ１０１が撮影した画像に基準マーカが映っている場合に、自己位置姿勢推定部１０７により推定された自己位置に基づいて基準マーカの位置Ｐ１を計算する（Ｓ５０１、Ｓ５０２）。補正処理部１０２は、基準マーカの形状、大きさなどの情報を事前に有しており、カメラ１０１が撮影した基準マーカの映像に基づいて、どの方向から、どれぐらいの距離から撮影したのかを判断することができる。
　また、補正処理部１０２は、現在表示している化粧材の画像データＧｎにおける、鉄骨Ｔの座標修正位置に対応する修正対応箇所である位置Ｐ２を取得する（Ｓ５０３）。補正処理部１０２は、各画像データＧｎにおける、鉄骨Ｔの座標修正位置に対応する修正対応箇所およびその位置を把握しており、位置Ｐ１の近傍を合成予定とする画像データＧｎにおける座標修正位置に対応する修正対応箇所の位置情報を取得する。
　補正処理部１０２は、位置Ｐ１と位置Ｐ２との差分を推定誤差として計算する（Ｓ５０４）。
　ユーザが移動することに伴って、画像データＧは、鉄骨Ｔとの間にずれが生じる。これは、最初に画像データＧと鉄骨Ｔとを初期マーカを用いて位置合わせをするが、その細部まで完全に位置を合わせることが困難なためであり、またＳＬＡＭの位置姿勢推定誤差が移動に伴って蓄積されるためである。したがって、ユーザが移動することに伴って、ずれが大きくなる場合がある。上記処理は、そのずれを算出するときの処理である。
　上記図９は基準マーカを用いた処理であるが、これを利用しなくても良い。図１０は、画像データＧと、鉄骨Ｔとの位置ずれを算出するときの別の処理を示すフローチャートである。
　デプスセンサ１０５は、座標修正位置の座標入力を受け付けると（Ｓ６０１：ＹＥＳ）、カメラ１０１の撮影方向（ユーザの視線方向）にある鉄骨Ｔ上の座標修正位置までの距離を算出し、位置Ｐ１を算出する（Ｓ６０２）。また、補正処理部１０２は、現在表示している画像データＧにおける、鉄骨Ｔの座標修正位置に対応する修正対応箇所である位置Ｐ２を取得する（Ｓ６０３）。補正処理部１０２は、位置Ｐ１と位置Ｐ２との差分を推定誤差として計算する（Ｓ６０４）。
　これにより、基準マーカを用いることなく、位置Ｐ１を算出し、それに基づいた位置ずれを算出することができる。
　つぎに、本実施形態の一態様における作用効果について説明する。本実施形態の一態様における画像表示装置１００は、カメラ１０１が撮影して、ユーザの視界にある複数の部分部材である鉄骨Ｔ１～Ｔｎを有する合成対象物である鉄骨Ｔに対して所定の画像データＧ（画像データＧ１～Ｇｎを含む）を合成して表示する装置である。この画像表示装置１００は、合成対象物である鉄骨Ｔの設計データを記憶する記憶部１０３と、鉄骨Ｔの一の部分（例えば鉄骨Ｔ１等）における基準位置（基準マーカまたは座標修正位置）に基づいて、所定の化粧材を示した画像データＧを合成した合成画像を生成して、表示する表示部１０４と、ユーザＵが移動することにより生じた前記ユーザの視界における画像データＧと鉄骨Ｔとにずれが生じると、当該ずれを補正する補正処理部１０２と、を備える。
　この補正処理部１０２は、記憶部１０３が記憶する設計データと鉄骨Ｔに対するユーザＵの自己位置とを用いて、部分部材である鉄骨Ｔ１等から、補正処理のための基準位置にとなる座標修正位置Ｓを取得する。
　補正処理部１０２は、当該一の座標修正位置Ｓに基づいて、画像データＧの位置合わせを行うことで、補正する。
　この処理により、鉄骨Ｔの各部分（鉄骨Ｔ１～Ｔｎ）に応じたマーカを添付することなく、どの鉄骨Ｔｎであるかを特定することができ、その鉄骨Ｔｎに対応した化粧材を示す画像データＧｎを合成することができる。
　この画像表示装置１００において、補正処理部１０２は、補正処理のための基準位置となる座標修正位置を取得する際、複数の座標修正位置を取得し、ユーザＵの自己位置に対して所定条件を満たした（例えば、一番近い）一の座標修正位置を複数の座標修正位置から選択する。
　これにより、より適切な座標修正位置を選択することができる。
　また、本実施形態において、所定の画像データＧは、合成対象物である鉄骨Ｔを覆うよう構成された化粧材（被覆部材）を示す。
　これにより、鉄骨Ｔと画像データＧとの位置合わせをすることが可能となり、化粧材を含んだ建築物としてユーザは視認することができる。
　また、本実施形態において、鉄骨Ｔは、複数の面で構成される。例えば、その断面が４角形である。座標修正位置は、その複数の面に定義される。そして、補正処理部１０２は、一の座標修正位置Ｓを選択する際において、複数の鉄骨Ｔの表面のうち、ユーザＵの自己位置から鉄骨Ｔの各表面に対する向きに対して所定の角度を有する面に定義される座標修正位置を選択する。
　これにより、より適切な座標修正位置を選択することができ、よって画像データの合成を正確に行うことができる。
　また、この画像表示装置１００において、補正処理部１０２は、ユーザＵから最も近い座標修正位置を、一の座標修正位置として選択する。これにより、適切な座標修正位置を選択できる。
　また、この画像表示装置１００は、鉄骨Ｔまでの距離を計測するデプスセンサ１０５をさらに備える。補正処理部１０２は、デプスセンサ１０５により測定された距離を用いて、実際の座標修正位置を計算する。そして、補正処理部１０２は、当該実際の座標修正位置と、補正前において合成された画像データＧにおける座標修正位置Ｓに対応する位置とのずれを計算し、ずれに基づいて補正を行う。
　また、画像表示装置１００は、合成対象物に添付されたマーカを認識する認識部（図示せず）をさらに備える。補正処理部１０２は、認識されたマーカの位置に基づいて実際の座標修正位置を計算する。そして、補正処理部１０２は、実際の座標修正位置と、補正前において合成された画像データＧにおける座標修正位置に対応する位置とのずれを計算し、このずれに基づいて補正を行う。
　これらずれに基づいて補正を行うことが可能となる。
　上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
　機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting　unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
　例えば、本開示の一実施の形態における画像表示装置１００は、本開示の画像処理方法の処理を行うコンピュータとして機能してもよい。図１１は、本開示の一実施の形態に係る画像表示装置１００のハードウェア構成の一例を示す図である。上述の画像表示装置１００は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
　なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。画像表示装置１００のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
　画像表示装置１００における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）によって構成されてもよい。例えば、上述の補正処理部１０２、計算処理部１０６、自己位置姿勢推定部１０７などは、プロセッサ１００１によって実現されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、画像表示装置１００の補正処理部１０２は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る画像処理方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
　通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency　Division　Duplex）及び時分割複信（ＴＤＤ：Time　Division　Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
　また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
　また、画像表示装置１００は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。
　本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
　ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
　本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
　なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及びシンボルの少なくとも一方は信号（シグナリング）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ：Component　Carrier）は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。
　本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
　また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。
　上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。
　本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking　up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
　「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
　本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。
　本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
　本開示において、例えば、英語でのa,　an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
　本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
１００…画像表示装置、１０１…カメラ、１０２…補正処理部、１０３…記憶部、１０４…表示部、１０５…デプスセンサ、１０６…計算処理部、１０７…自己位置姿勢推定部。
 

Claims (7)

  1. 　現実空間にある合成対象物に対して、所定の画像を合成して表示する画像表示装置において、
    　前記合成対象物における各部分の位置関係を示す設計データを記憶する記憶部と、
    　前記合成対象物の一の部分を基準位置として、所定の画像を合成した合成画像を生成して表示する表示部と、
    　ユーザが移動することにより生じた前記所定の画像と前記合成対象物とのずれを補正する補正部と、
    を備え、
    　前記補正部は、
    　前記設計データと前記合成対象物に対する前記ユーザの自己位置とを用いて、前記合成対象物における前記一の部分における補正処理のための基準位置となる座標修正位置を取得し、
    　当該座標修正位置に基づいて、前記所定の画像の合成位置を補正する、
    画像表示装置。
  2. 　前記補正部は、補正処理のための基準位置となる座標修正位置を取得する際、複数の座標修正位置を取得し、
    　前記ユーザの自己位置に対して所定条件を満たした一の座標修正位置を前記複数の座標修正位置から選択する、
    請求項１に記載の画像表示装置。
  3. 　前記所定の画像は、前記合成対象物を覆うよう構成された被覆部材を示す、
    請求項１または２に記載の画像表示装置。
  4. 　前記補正部は、
    　前記一の座標修正位置を選択する際において、複数の合成対象物のうち、前記ユーザの自己位置から前記各合成対象物に対する向きに対して所定の角度を有する合成対象物に定義される座標修正位置を選択する、
    請求項２に記載の画像表示装置。
  5. 　前記補正部は、
    　前記ユーザから最も近い座標修正位置を、一の座標修正位置として選択する、
    請求項４に記載の画像表示装置。
  6. 　前記合成対象物までの距離を計測するセンサ部をさらに備え、
    　前記補正部は、
    　前記センサ部により測定された距離を用いて、実際の座標修正位置を計算し、
    　当該実際の座標修正位置と、補正前において合成された画像における前記座標修正位置に対応する部分とのずれを計算し、
    　前記ずれに基づいて補正を行う、
    請求項１～５のいずれか一項に記載の画像表示装置。
  7. 　合成対象物に添付されたマーカを認識する認識部をさらに備え、
    　前記補正部は、
    　前記認識されたマーカの位置に基づいて実際の座標修正位置を計算し、
    　当該実際の座標修正位置と、補正前において合成された画像における前記座標修正位置に対応する部分とのずれを計算し、
    　前記ずれに基づいて補正を行う、
    請求項１～５のいずれか一項に記載の画像表示装置。
     
     
PCT/JP2021/000221 2020-01-14 2021-01-06 画像表示装置 WO2021145255A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180008752.0A CN114945948A (zh) 2020-01-14 2021-01-06 图像显示装置
US17/758,607 US20230039690A1 (en) 2020-01-14 2021-01-06 Image display device
EP21741070.3A EP4075393A4 (en) 2020-01-14 2021-01-06 IMAGE DISPLAY DEVICE
JP2021571157A JPWO2021145255A1 (ja) 2020-01-14 2021-01-06

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020003639 2020-01-14
JP2020-003639 2020-02-26

Publications (1)

Publication Number Publication Date
WO2021145255A1 true WO2021145255A1 (ja) 2021-07-22

Family

ID=76864391

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000221 WO2021145255A1 (ja) 2020-01-14 2021-01-06 画像表示装置

Country Status (5)

Country Link
US (1) US20230039690A1 (ja)
EP (1) EP4075393A4 (ja)
JP (1) JPWO2021145255A1 (ja)
CN (1) CN114945948A (ja)
WO (1) WO2021145255A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293209A (ja) 2007-05-23 2008-12-04 Canon Inc 複合現実感提示装置及びその制御方法、コンピュータプログラム
JP2016009432A (ja) * 2014-06-26 2016-01-18 東日本旅客鉄道株式会社 画像形成装置、画像形成システム及び画像形成プログラム
JP2019066293A (ja) * 2017-09-29 2019-04-25 株式会社Ｎｔｔドコモ 映像表示システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017129904A (ja) * 2016-01-18 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293209A (ja) 2007-05-23 2008-12-04 Canon Inc 複合現実感提示装置及びその制御方法、コンピュータプログラム
JP2016009432A (ja) * 2014-06-26 2016-01-18 東日本旅客鉄道株式会社 画像形成装置、画像形成システム及び画像形成プログラム
JP2019066293A (ja) * 2017-09-29 2019-04-25 株式会社Ｎｔｔドコモ 映像表示システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4075393A4

Also Published As

Publication number Publication date
CN114945948A (zh) 2022-08-26
JPWO2021145255A1 (ja) 2021-07-22
US20230039690A1 (en) 2023-02-09
EP4075393A4 (en) 2023-05-17
EP4075393A1 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
US9459706B2 (en) Information display system, information display method, and recording medium
EP2895911B1 (en) Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US8121640B2 (en) Dual module portable devices
KR20200115173A (ko) 교차로를 드로잉하는 방법, 장치, 서버 및 저장 매체
US20150293739A1 (en) Computing apparatus, method for controlling computing apparatus thereof, and multi-display system
JPH03174191A (ja) 三次元表示装置
US11616699B2 (en) Obtaining location metadata for network devices using augmented reality
US9404751B2 (en) Apparatus and method for providing 3D map showing area of interest in real time
JP2020102232A (ja) 情報処理システム、その制御方法、及びプログラム、並びに、情報処理装置、その制御方法、及びプログラム
CN105511620A (zh) 中文三维输入装置、头戴式装置及中文三维输入方法
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
US10565786B1 (en) Sensor placement interface
WO2021145255A1 (ja) 画像表示装置
JP2017182500A (ja) 入力装置、入力プログラム、及び入力方法
CN104850383A (zh) 一种信息处理方法和电子设备
US20210314715A1 (en) Augmented Reality Based Simulation Apparatus For Integrated Electrical And Architectural Acoustics
WO2020217591A1 (ja) 治具の配置を示す映像処理システム
EP2942702B1 (en) Display apparatus and method of highlighting object on image displayed by a display apparatus
JP2019066293A (ja) 映像表示システム
JP2018128917A (ja) 入力システム
KR20220160279A (ko) 모바일 장치 및 차량
KR20180057240A (ko) 3d 영상 렌더링 방법 및 장치
WO2021141055A1 (ja) 測定装置
KR102443049B1 (ko) 전자 장치 및 그 동작 방법
JP2016192014A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21741070

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021571157

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021741070

Country of ref document: EP

Effective date: 20220713

NENP Non-entry into the national phase

Ref country code: DE