WO2022075683A1 - 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법 - Google Patents

모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법 Download PDF

Info

Publication number
WO2022075683A1
WO2022075683A1 PCT/KR2021/013583 KR2021013583W WO2022075683A1 WO 2022075683 A1 WO2022075683 A1 WO 2022075683A1 KR 2021013583 W KR2021013583 W KR 2021013583W WO 2022075683 A1 WO2022075683 A1 WO 2022075683A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinate system
augmented reality
object model
unit
model
Prior art date
Application number
PCT/KR2021/013583
Other languages
English (en)
French (fr)
Inventor
홍준표
Original Assignee
홍준표
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍준표 filed Critical 홍준표
Priority to US18/248,026 priority Critical patent/US20230410451A1/en
Publication of WO2022075683A1 publication Critical patent/WO2022075683A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Definitions

  • the present invention relates to augmented reality (AR) technology, and more particularly, by scaling an object model generated by image scan using a mobile device to fit the actual size, and implementing realistic augmented reality through the scaled object model. It relates to an apparatus and method for implementing augmented reality.
  • AR augmented reality
  • 3D scanning refers to a technology for generating a 3D model representing a 3D shape of an object using an image sensor.
  • the 3D scanning method there is a manual method in which a person picks up a scanner and scans various parts of the object while adjusting the position, and an automatic method in which the position of the scanner or the object is automatically adjusted by a robot and scans various parts of the object.
  • a three-dimensional object model may be generated using the scan data obtained through such three-dimensional scanning.
  • the relative size of each component constituting the 3D object model can be known, there is a problem in that it is difficult to ascertain the actual size of the corresponding object model.
  • the present invention generates a three-dimensional object model of an object using a camera provided in a general portable terminal possessed by a user, and measures the size of the object without using a three-dimensional scanner or photographing a separate marker (or grid) together. It is to provide an augmented reality implementation apparatus and method through mobile scan object model scaling that can provide realistic augmented reality to users by finding and implementing the corresponding 3D object model in the augmented reality as in actual size.
  • an augmented reality implementation method performed in an augmented reality implementation device through mobile scan object modeling, the method comprising: photographing a background image with a photographing unit; creating an AR space corresponding to the background image by an AR driving unit according to an augmented reality start command from a user, in which the background image is displayed in real time through the display unit; loading the object model selected by the user into the AR space; matching the AR coordinate system with respect to the AR space and the model coordinate system with respect to the object model; scaling the object model according to a matching result; and overlapping and displaying the scaled object model in the AR space.
  • the matching of the AR coordinate system and the model coordinate system may include: estimating positions of a plurality of first cameras in the AR coordinate system; estimating a plurality of second camera positions corresponding to the plurality of first camera positions in the model coordinate system; and calculating a scale factor for the model coordinate system so that the plurality of first camera positions and the plurality of second camera positions are matched, wherein in the object model scaling step, the scale factor is applied to the object model can be scaled.
  • the calculating of the scale factor may include calculating a ratio of a first unit length between the plurality of first camera positions and a second unit length between the plurality of second camera positions as the scale factor.
  • Calculating the scale factor may include: calculating a ratio of a distance between any two positions among the plurality of first camera positions and a distance between any two positions among the plurality of second camera positions as a partial scale factor; and an average value of a cluster having the largest distribution as a result of analyzing the numerical distribution of the partial scale factor may be set as the scale factor.
  • the first camera position may be estimated by a Simultaneous Localization and Mapping (SLAM) technique.
  • SLAM Simultaneous Localization and Mapping
  • the object model is a mobile scan object model scanned by a camera provided in a mobile device, and may be a 3D model in which a plurality of 2D images captured by the camera are generated by a photogrammetry technique.
  • a photographing unit for photographing an image serving as a background to implement augmented reality
  • a display unit for displaying the image captured by the photographing unit on a screen in real time
  • an AR driving unit that drives the image into the AR space according to a user command and loads the object model selected by the user into the AR space
  • a control unit for controlling the operation of the photographing unit, the display unit, and the AR driving unit, wherein the object model is a mobile scan object model scanned by a camera provided in a mobile device.
  • An augmented reality implementation device is provided.
  • the AR driving unit may include: an AR core unit that manages an AR coordinate system for the AR space; a model loading unit for loading the object model; and a coordinate system matching unit configured to match the model coordinate system included in the object model with the AR coordinate system and scale the object model to correspond to the AR space.
  • the coordinate system matching unit estimates a plurality of first camera positions in the AR coordinate system, estimates a plurality of second camera positions corresponding to the plurality of first camera positions in the model coordinate system, and the plurality of first camera positions and After calculating a scale factor for the model coordinate system so that the positions of the plurality of second cameras are matched, the object model may be scaled by applying the scale factor.
  • the coordinate system matching unit may calculate a ratio of a first unit length between the plurality of first camera positions and a second unit length between the plurality of second camera positions as the scale factor.
  • the coordinate system matching unit calculates a ratio of a distance between any two positions among the plurality of first camera positions and a distance between any two positions among the plurality of second camera positions as a partial scale factor, and a numerical distribution of the partial scale factor As a result of analyzing , the average value of the cluster having the largest distribution may be set as the scale factor.
  • the first camera position may be estimated by a SLAM technique.
  • a 3D object model of an object is generated using a camera provided in a general portable terminal possessed by a user, and without using a 3D scanner or photographing a separate marker (or grid) together.
  • a separate marker or grid
  • FIG. 1 is a block diagram of an augmented reality implementation apparatus through mobile scan object model scaling according to an embodiment of the present invention
  • FIG. 2 is a block diagram of an AR driving unit according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of a mobile scan object modeling apparatus according to an embodiment of the present invention.
  • FIG. 4 is a flowchart of an augmented reality implementation method through mobile scan object model scaling according to an embodiment of the present invention
  • FIG. 5 is a flowchart of a mobile scan object modeling method according to an embodiment of the present invention.
  • FIG. 7 and 8 are views for explaining a mobile scan object modeling method
  • FIG. 9 is a diagram illustrating an AR coordinate system and a model coordinate system.
  • FIG. 1 is a block diagram of an augmented reality implementation apparatus through mobile scan object model scaling according to an embodiment of the present invention
  • FIG. 2 is a structural block diagram of an AR driving unit according to an embodiment of the present invention
  • FIG. 3 is It is a block diagram of a mobile scan object modeling apparatus according to an embodiment of the present invention
  • FIG. 4 is a flowchart of an augmented reality implementation method through mobile scan object model scaling according to an embodiment of the present invention
  • FIG. 5 is the present invention is a flowchart of a mobile scan object modeling method according to an embodiment of the present invention
  • FIG. 6 is a detailed flowchart of the mobile scan object model scaling step
  • FIGS. 7 and 8 are diagrams for explaining a mobile scan object modeling method
  • FIG. It is a diagram showing the AR coordinate system and the model coordinate system.
  • Augmented reality implementation apparatus and method through mobile scan object model scaling is a general mobile device (eg, smartphone, tablet PC, etc.) possessed by a user without special 3D scanner equipment or marker (or grid) Even 3D models (object models, point cloud models) that are modeled in a shooting method (mobile scan) and have no absolute size information using the camera provided in the Therefore, it is characterized in that it is possible to provide the user with a sense of reality similar to that of a real object by using a virtual object.
  • 3D models object models, point cloud models
  • the augmented reality implementation apparatus 100 through mobile scan object model scaling may be implemented as a mobile terminal such as, for example, a smart phone or a tablet PC.
  • the augmented reality implementation apparatus 100 through mobile scan object model scaling is not limited thereto.
  • the augmented reality implementation apparatus 100 may be implemented as a separate device for performing the augmented reality implementation method through mobile scan object model scaling according to an embodiment of the present invention.
  • the augmented reality implementation device 100 through mobile scan object model scaling includes a photographing unit 110 , a display unit 120 , an input unit 130 , a measurement unit 140 , an AR driving unit 150 , a communication unit 160 , and a storage unit. 170 and a controller 180 may be included.
  • the photographing unit 110 captures an image of a place serving as a background to implement augmented reality.
  • the photographing unit 110 may include one or more of various types of cameras, such as a CCD camera, a CMOS camera, and an infrared camera.
  • the display unit 120 displays the image captured by the photographing unit 110 on the screen.
  • the display unit 120 may be implemented with various types of display devices such as LCD and OLED.
  • the input unit 130 receives a user command for controlling the operation of the device.
  • the input unit 130 may be implemented as a touch screen, a button, or a switch.
  • the user command may include an augmented reality start command, a model loading command, a model movement command, a model rotation command, and the like.
  • the augmented reality start command is a command to start shooting an image for a place serving as a background to implement augmented reality in the photographing unit 110 or to drive augmented reality during image shooting.
  • the model loading command is a command to load and display a virtual 3D model (object model) in an image (background image) captured by the photographing unit 110 and displayed through the display unit 120 .
  • the model movement command is a command to move the object model to another location in the 3D space of the background image while the object model is displayed at an arbitrary location (or a designated location).
  • the model rotation command is a command to rotate the object model while the object model is displayed.
  • the input unit 130 may receive a selection of an object model to be loaded into a 3D space in a background image to implement augmented reality from the user.
  • a list of object model(s) modeled by the mobile scan object modeling apparatus 200 to be described later is provided to the user through the screen of the display unit 120 , and the user selects the object model desired to be loaded through the input unit 130 . You can choose.
  • the measurement unit 140 measures data regarding the location, direction, posture, etc. of the augmented reality realizing apparatus 100 .
  • the measurement unit 140 may include one or more of a position measurement module, a direction measurement module, and a posture measurement module.
  • the location measurement module measures the location of the augmented reality implementation device 100 .
  • a GPS receiver that detects the current location by receiving a GPS satellite signal
  • an indoor wireless signal receiver that detects the current location by receiving a signal such as a WIFI base station or a beacon in a shaded area or indoors where GPS satellite signal reception is impossible
  • a signal such as a WIFI base station or a beacon in a shaded area or indoors where GPS satellite signal reception is impossible
  • the direction measurement module measures a direction (eg, azimuth) in which the photographing unit 110 of the augmented reality implementation apparatus 100 takes a photograph.
  • a direction eg, azimuth
  • a gyroscope sensor, a 3-axis acceleration sensor, etc. may be included in the direction measurement module.
  • the posture measurement module measures the posture (eg, tilt angle) of the augmented reality implementation apparatus 100 .
  • a tilting sensor may be included in the posture measurement module.
  • the pitch angle, yaw angle, and roll angle of the photographing unit 110 are calculated, so that the portion to be photographed by the photographing unit 110 in the three-dimensional space where the augmented reality implementation apparatus 100 is located is accurately determined. be able to comprehend
  • the AR driving unit 150 corresponds to a user input input through the input unit 130 in the three-dimensional space in the background image captured by the photographing unit 110 of the augmented reality realizing apparatus 100 and displayed through the display unit 120 .
  • the user loads and displays the desired virtual object model.
  • the AR driving unit 150 will be described in detail later with reference to related drawings.
  • the communication unit 160 communicates with an external server or database through a network.
  • An object model generated by the mobile scan object modeling apparatus 200 to be described later, an object model scanned by a 3D scanner, an object model designed by a modeling program, etc. are stored in an external server or database, and the AR driving unit 150 ), the communication unit 160 may request and receive a desired object model according to the loading request.
  • the storage unit 170 stores a program necessary to perform the augmented reality implementation method through mobile scan object model scaling, and data generated during the execution of the program.
  • the operation program of the augmented reality implementation device 100 is stored.
  • the controller 180 controls the operation of each component of the augmented reality implementation apparatus 100 .
  • the program stored in the storage unit 170 is executed, and the photographing unit 110 , the display unit 120 , the input unit 130 , the measurement unit 140 , the AR driving unit 150 , the communication unit 160 , the storage unit 170 ). You can control one or more of them.
  • the AR driving unit 150 may include an AR core unit 151 , a model loading unit 153 , and a coordinate system matching unit 155 .
  • the AR core unit 151 sets the AR coordinate system for the three-dimensional space in the background image, and manages the augmented reality implemented in the AR coordinate system as a whole.
  • Arbitrary coordinates (or predetermined coordinates) in the three-dimensional space that is the background of the augmented reality implementation may be set as the origin, and the AR coordinate system may be set by the X-axis, Y-axis, and Z-axis orthogonal to each other (FIG. 9) of (a)).
  • the actual size of the background image displayed through the display unit 120 may be reflected in the AR coordinate system. That is, the AR core unit 151 may estimate the position A of the camera corresponding to the photographing unit 110 based on the AR coordinate system.
  • SLAM Simultaneous Localization and Mapping
  • a distance sensor or a vision sensor may be used.
  • a distance sensor is a sensor that analyzes distance using ultrasonic waves, lasers, and sonar (SONAR).
  • the augmented reality implementation apparatus 100 may additionally include a distance sensor (not shown) for applying the SLAM algorithm in the AR driving unit 150 .
  • the vision sensor is a camera sensor, and it interprets images acquired from the camera. Accordingly, in the present embodiment, the photographing unit 110 may be used as a vision sensor.
  • a Kalman-Filter For the generation of an error due to the use of a sensor, a Kalman-Filter, a particle filter, a graph technique, etc., which are probabilistic techniques, are used, so that the error can be calibrated.
  • MSHC Multi-Scale Harris corner
  • RANSAC Random Sample Consensus
  • the center point of the object may be the center point of the closest surface.
  • the model loading unit 153 loads an object model desired by the user from an external server or database, and loads it into a three-dimensional space (AR space) in the background image managed by the AR core unit 151 .
  • AR space three-dimensional space
  • the object model to be loaded in this embodiment is a 3D model modeled by the mobile scan object modeling apparatus 200 .
  • 3D reconstruction which obtains a 3D (3D) modeling image through merging of 2D (two-dimensional) images, may be applied to the modeling of the object model.
  • the mobile scan object modeling apparatus 200 may be implemented as, for example, a mobile terminal such as a smart phone or a tablet PC. However, the mobile scan object modeling apparatus 200 is not limited thereto. The mobile scan object modeling apparatus 200 may be implemented as a separate device for performing the mobile scan object modeling method according to the present embodiment.
  • the mobile scan object modeling apparatus 200 may include a 2D image capturing unit 210 , a 3D model generating unit 220 , and a 3D model storage unit 230 .
  • the 2D image capturing unit 210 takes a plurality of 2D images in front, back, top and bottom, left and right directions for the object 10 to be modeled. Take a picture (step S410).
  • the 2D image capturing unit 210 may be a camera 20 basically provided in the portable terminal. That is, since the camera of a portable terminal, which is a general mobile device, is used, it corresponds to a mobile scan method.
  • the 3D model generator 220 generates a 3D model by combining a plurality of 2D images (step S420 ).
  • the photogrammetry technique is a one-step development of SfM (Structure from Motion), a technique for extracting feature points using pixel information of each image in a three-dimensional space and estimating the position of the camera using triangulation technique.
  • the feature points of each image are generated using a SIFT (Scale-Invariant Feature Transform) algorithm.
  • SIFT Scale-Invariant Feature Transform
  • the 3D model storage unit 230 stores the object model generated by the 3D model generation unit 220 in correspondence with the model coordinate system matched with the location information photographed by the 2D image photographing unit 210 (step S430). That is, the object model modeled by the mobile scan method includes the location information of the camera that captured the object model or there is a model coordinate system that can be estimated. Accordingly, when the object model is loaded, the corresponding model coordinate system may be loaded together.
  • the object model generated in this embodiment is a combination of a plurality of 2D images, and the surface texture of the target object obtained by the plurality of 2D images is also reflected on the surface of the 3D object model. Therefore, although it is a virtual object model, it is possible to provide a user with a high sense of reality by providing a surface texture like the real one. This is a differentiated part from the fact that when a 3D model is modeled based on design data, a virtual feeling is given by selecting from artificially set texture data when expressing the surface.
  • the size of the object model is relatively determined with respect to the camera.
  • information about the absolute size of the object model is not included.
  • the coordinate system matching unit 155 may cause the object model to be displayed overlapped in the 3D space in the background image. In this case, it is necessary to display the object model in the background image to correspond to the actual size.
  • the coordinate system matching unit 155 matches the AR coordinate system generated by the AR core unit 151 (see FIG. 9A ) with the model coordinate system for the object model (see FIG. 9B ).
  • the AR coordinate system is a coordinate system related to a three-dimensional space (AR space) of a background image for which augmented reality is to be implemented, and is obtained by the AR core unit 151 . Since it corresponds to the basic space that implements augmented reality, the AR coordinate system becomes the basic coordinate system. In the AR coordinate system, the position of the photographing unit 110 corresponding to the current AR space, that is, the camera position A may be estimated.
  • the model coordinate system is a coordinate system generated according to the positional correlation between the camera and the target object when the object model is generated by the mobile scan method.
  • the camera position B for displaying the corresponding object model as such may be estimated.
  • the coordinate system matching is made, and the object model is scaled to a size corresponding to the AR coordinate system and displayed in the augmented reality space.
  • Camera position A(A 1 ⁇ A n ) and camera position B(B 1 ⁇ B n ) are states in which the same camera position is expressed in different coordinate systems (AR coordinate system and model coordinate system).
  • the ratio of the distance (first unit length) between arbitrary two camera positions in the AR coordinate system to the distance (second unit length) between two corresponding camera positions in the model coordinate system is calculated as a partial scale factor (S 1 ⁇ S n-1) . ) can be calculated as
  • S 1 (A 2 -A 1 )/(B 2 -B 1 )
  • S 2 (A 3 -A 2 )/(B 3 -B 2 )
  • S n-1 (A n -A n-1 )/(B n -B n-1 )
  • partial scale factors S 1 to S n-1 may not have the same value. Accordingly, by obtaining the numerical distribution of the partial scale factors S 1 to S n-1 and obtaining the average value of the clusters having the largest distribution, the scale factor between the two coordinate systems can be estimated. This is a process of excluding parts that are judged as outliers due to errors.
  • the scale factor S when the scale factor S is estimated, when the object model is displayed in the AR space, the scale factor S may be applied to scale up or down to display the scaled object model in the AR space.
  • the object model displayed in the AR space is scaled to fit the size of the AR space, so that the target object can be displayed as if it were actually placed in the space.
  • FIG. 4 an augmented reality implementation method performed by the augmented reality implementation apparatus 100 through mobile scan object modeling according to the present embodiment is illustrated.
  • the photographing unit 110 of the augmented reality implementation device 100 which is a mobile device, starts capturing an image for a space in which augmented reality is to be implemented according to a user command (step S300).
  • augmented reality is driven through the AR driving unit 150 (step S310).
  • a model loading command to overlap and display a desired object model in the AR space may be input through the input unit 130 (step S320 ).
  • the model loading unit 153 loads the object model.
  • the object model is modeled by a mobile scan method, information about the actual size is omitted.
  • the coordinate system matching unit 155 performs an operation of matching the model coordinate system and the AR coordinate system (step S330).
  • Coordinate system matching is a process of matching the camera position A on the AR coordinate system with the camera position B on the model coordinate system.
  • step S500 In the state in which the augmented reality is driven (step S500), the camera position A on the AR coordinate system is estimated (step S510), and the camera position B on the model coordinate system is estimated (step S520). Then, the coordinate system matching is performed by comparing the camera positions A and B (step S530).
  • a partial scale factor that is a ratio of a distance between any two camera positions in the AR coordinate system and a distance between two corresponding camera positions in the model coordinate system may be a scale factor.
  • sensor errors may be included among the two camera positions, a plurality of partial scale factors are calculated, and the numerical distribution is analyzed to obtain the average value of the cluster having the largest distribution, thereby estimating the scale factor between the two coordinate systems. there is.
  • step S340 and S540 scaling is performed on the object model. That is, a scale factor can be applied to the 3D object model.
  • the scaled object model may be displayed overlaid at a designated position in the AR space (steps S350 and S550).
  • a position where the object model is to be displayed overlaid in the AR space may be marked with a specific marker in the real space.
  • an arbitrary position in the AR space selected through a user input may be set as a position at which the object model is to be displayed overlaid.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer-readable media may include computer storage media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • the above-described mobile scan object modeling method and augmented reality implementation method through mobile scan object modeling are to be executed by an application basically installed in the terminal (which may include a program included in the platform or operating system, etc. basically mounted in the terminal). Also, it may be executed by an application (ie, a program) installed directly in the master terminal by a user through an application providing server such as an application store server, an application, or a web server related to the corresponding service.
  • an application ie, program
  • the above-described mobile scan object modeling method and augmented reality implementation method through mobile scan object modeling are implemented as an application (ie, program) installed by default in a terminal or directly installed by a user, and can be read by a computer such as a terminal. It can be recorded on a recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Geometry (AREA)

Abstract

모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치에서 수행되는 증강현실 구현 방법은, 촬영부로 배경 영상을 촬영하는 단계; 상기 배경 영상이 표시부를 통해 실시간으로 표시되며, 사용자로부터의 증강현실 시작 명령에 따라 AR 구동부가 상기 배경 영상에 상응하는 AR 공간을 만드는 단계; 상기 사용자에 의해 선택된 객체 모델을 상기 AR 공간 내에 로딩하는 단계; 상기 AR 공간에 관한 AR 좌표계와 상기 객체 모델에 관한 모델 좌표계를 매칭하는 단계; 매칭 결과에 따라 상기 객체 모델을 스케일링하는 단계; 및 스케일링된 상기 객체 모델을 상기 AR 공간 내에 중첩 표시하는 단계를 포함할 수 있다.

Description

모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법
본 발명은 증강현실(AR) 기술에 관한 것으로, 보다 상세하게는 모바일 기기를 이용한 이미지 스캔으로 생성된 객체 모델을 실제 크기에 맞도록 스케일링하고, 스케일링된 객체 모델을 통해 현실감 있는 증강현실을 구현하는 증강현실 구현 장치 및 방법에 관한 것이다.
3차원 스캐닝은 이미지 센서를 이용하여 대상물의 3차원 형상을 나타내는 3차원 모델을 생성하는 기술을 말한다. 3차원 스캐닝 방식에는 사람이 스캐너를 들고 그 위치를 조정하면서 대상물의 여러 부위를 스캔하는 수동 방식과, 로봇 등에 의해 스캐너 혹은 대상물의 위치가 자동 조정되면서 대상물의 여러 부위를 스캔하는 자동 방식이 있다.
이러한 3차원 스캐닝을 통해 획득한 스캔 데이터를 이용하여 3차원 객체 모델을 생성할 수 있다. 이때 3차원 객체 모델을 구성하는 각 구성요소들의 상대적인 크기는 알 수 있지만, 해당 객체 모델의 실제 크기는 확인이 어려운 문제점이 있다.
실제 크기 확인을 위해서는 3차원 스캐너와 같은 특수 장비를 이용함으로써 스캐너와 대상물 간의 거리를 다른 경로를 통해 확인할 수 있도록 할 필요가 있다. 또는 대상물의 주변에 실제 길이를 알 수 있는 별도의 마커(혹은 그리드)를 함께 촬영함으로써, 대상물의 크기를 간접적으로 확인해야 하는 불편함이 있다.
본 발명은 사용자가 소지한 일반적인 휴대단말에 구비된 카메라를 이용해 대상물에 대한 3차원 객체 모델을 생성하고, 3차원 스캐너를 이용하거나 별도의 마커(혹은 그리드)를 함께 촬영하지 않고서도 대상물의 크기를 찾아내어 증강현실 내에 해당 3차원 객체 모델을 실제 크기와 같이 구현하여 사용자에게 현실감 있는 증강현실을 제공할 수 있는 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치에서 수행되는 증강현실 구현 방법으로서, 촬영부로 배경 영상을 촬영하는 단계; 상기 배경 영상이 표시부를 통해 실시간으로 표시되며, 사용자로부터의 증강현실 시작 명령에 따라 AR 구동부가 상기 배경 영상에 상응하는 AR 공간을 만드는 단계; 상기 사용자에 의해 선택된 객체 모델을 상기 AR 공간 내에 로딩하는 단계; 상기 AR 공간에 관한 AR 좌표계와 상기 객체 모델에 관한 모델 좌표계를 매칭하는 단계; 매칭 결과에 따라 상기 객체 모델을 스케일링하는 단계; 및 스케일링된 상기 객체 모델을 상기 AR 공간 내에 중첩 표시하는 단계를 포함하는 증강현실 구현 방법이 제공된다.
상기 AR 좌표계와 상기 모델 좌표계를 매칭하는 단계는, 상기 AR 좌표계에서 복수의 제1 카메라 위치를 추정하는 단계; 상기 모델 좌표계에서 상기 복수의 제1 카메라 위치에 대응되는 복수의 제2 카메라 위치를 추정하는 단계; 및 상기 복수의 제1 카메라 위치와 상기 복수의 제2 카메라 위치가 정합되도록 상기 모델 좌표계에 대한 스케일 팩터를 계산하는 단계를 포함하되, 상기 객체 모델 스케일링 단계에서는 상기 객체 모델에 상기 스케일 팩터를 적용하여 스케일링할 수 있다.
상기 스케일 팩터를 계산하는 단계는 상기 복수의 제1 카메라 위치 간의 제1 단위길이와 상기 복수의 제2 카메라 위치 간의 제2 단위길이의 비를 상기 스케일 팩터로 계산할 수 있다.
상기 스케일 팩터를 계산하는 단계는, 상기 복수의 제1 카메라 위치 중 임의의 두 위치 간의 거리와 상기 복수의 제2 카메라 위치 중 임의의 두 위치 간의 거리의 비를 부분 스케일 팩터로 계산하는 단계; 및 상기 부분 스케일 팩터의 수치 분포를 분석한 결과 가장 많은 분포를 가지는 군집의 평균값을 상기 스케일 팩터로 설정할 수 있다.
상기 제1 카메라 위치는 SLAM(Simultaneous Localization and Mapping) 기법에 의해 추정될 수 있다.
상기 객체 모델은 모바일 기기에 구비된 카메라에 의해 모바일 스캔된 모바일 스캔 객체 모델로서, 상기 카메라에 의해 촬영된 복수의 2D 이미지가 사진 측량 기법으로 생성된 3D 모델일 수 있다.
한편 본 발명의 다른 측면에 따르면, 증강현실을 구현하고자 하는 배경이 되는 영상을 촬영하는 촬영부; 상기 촬영부에 의해 촬영된 영상을 실시간으로 화면에 표시하는 표시부; 사용자 명령에 따라 상기 영상을 AR 공간으로 구동시키고, 사용자가 선택한 객체 모델을 AR 공간 내로 로딩하는 AR 구동부; 및 상기 촬영부, 상기 표시부, 상기 AR 구동부의 동작을 제어하는 제어부를 포함하되, 상기 객체 모델은 모바일 기기에 구비된 카메라에 의해 모바일 스캔된 모바일 스캔 객체 모델일 것을 특징으로 하는 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치가 제공된다.
상기 AR 구동부는, 상기 AR 공간에 대한 AR 좌표계를 관리하는 AR 코어부와; 상기 객체 모델을 로딩하는 모델 로딩부와; 상기 객체 모델에 포함된 모델 좌표계와 상기 AR 좌표계를 매칭하여, 상기 객체 모델을 상기 AR 공간에 상응하도록 스케일링하는 좌표계 매칭부를 포함할 수 있다.
상기 좌표계 매칭부는 상기 AR 좌표계에서 복수의 제1 카메라 위치를 추정하고, 상기 모델 좌표계에서 상기 복수의 제1 카메라 위치에 대응되는 복수의 제2 카메라 위치를 추정하며, 상기 복수의 제1 카메라 위치와 상기 복수의 제2 카메라 위치가 정합되도록 상기 모델 좌표계에 대한 스케일 팩터를 계산한 후 상기 객체 모델에 상기 스케일 팩터를 적용하여 스케일링할 수 있다.
상기 좌표계 매칭부는 상기 복수의 제1 카메라 위치 간의 제1 단위길이와 상기 복수의 제2 카메라 위치 간의 제2 단위길이의 비를 상기 스케일 팩터로 계산할 수 있다.
상기 좌표계 매칭부는 상기 복수의 제1 카메라 위치 중 임의의 두 위치 간의 거리와 상기 복수의 제2 카메라 위치 중 임의의 두 위치 간의 거리의 비를 부분 스케일 팩터로 계산하고, 상기 부분 스케일 팩터의 수치 분포를 분석한 결과 가장 많은 분포를 가지는 군집의 평균값을 상기 스케일 팩터로 설정할 수 있다.
상기 제1 카메라 위치는 SLAM 기법에 의해 추정될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 사용자가 소지한 일반적인 휴대단말에 구비된 카메라를 이용해 대상물에 대한 3차원 객체 모델을 생성하고, 3차원 스캐너를 이용하거나 별도의 마커(혹은 그리드)를 함께 촬영하지 않고서도 대상물의 크기를 찾아내어 증강현실 내에 해당 3차원 객체 모델을 실제 크기와 같이 구현하여 사용자에게 현실감 있는 증강현실을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치의 구성 블록도,
도 2는 본 발명의 일 실시예에 따른 AR 구동부의 구성 블록도,
도 3은 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델링 장치의 구성 블록도,
도 4는 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 방법의 순서도,
도 5는 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델링 방법의 순서도,
도 6은 모바일 스캔 객체 모델 스케일링 단계의 상세 순서도,
도 7 및 도 8은 모바일 스캔 객체 모델링 방법을 설명하기 위한 도면,
도 9는 AR 좌표계와 모델 좌표계를 나타낸 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 명세서에 기재된 "…부", "…유닛", "…모듈", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치의 구성 블록도이고, 도 2는 본 발명의 일 실시예에 따른 AR 구동부의 구성 블록도이며, 도 3은 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델링 장치의 구성 블록도이고, 도 4는 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 방법의 순서도이며, 도 5는 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델링 방법의 순서도이고, 도 6은 모바일 스캔 객체 모델 스케일링 단계의 상세 순서도이며, 도 7 및 도 8은 모바일 스캔 객체 모델링 방법을 설명하기 위한 도면이고, 도 9는 AR 좌표계와 모델 좌표계를 나타낸 도면이다.
본 발명의 일 실시예에 따른 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법은 특수 3D 스캐너 장비나 마커(혹은 그리드) 없이 사용자가 소지한 일반적인 모바일 기기(예컨대, 스마트폰, 태블릿 PC 등)에 구비된 카메라를 이용하여 촬영하는 방식(모바일 스캔)으로 모델링되어 절대 크기 정보가 없는 3D 모델(객체 모델, 포인트 클라우드 모델)에 대해서도 현재 구동 중인 증강현실 상에서 실제 크기에 맞도록 스케일링하여 표시해 줄 수 있어 가상 객체를 이용하여 사용자에게 실제 객체와 같은 현실감을 제공해 줄 수 있는 것을 특징으로 한다.
도 1을 참조하면, 본 실시예에 따른 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치(100)는 예를 들어 스마트폰, 태블릿 PC 등의 휴대 단말로 구현될 수 있다. 하지만, 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치(100)가 이에 한정되는 것은 아니다. 증강현실 구현 장치(100)는 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 방법을 수행하기 위한 별도의 장치로 구현될 수도 있다.
모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치(100)는 촬영부(110), 표시부(120), 입력부(130), 측정부(140), AR 구동부(150), 통신부(160), 저장부(170), 제어부(180)를 포함할 수 있다.
촬영부(110)는 증강현실을 구현하고자 하는 배경이 되는 장소에 대한 영상을 촬영한다. 촬영부(110)는 CCD 카메라, CMOS 카메라, 적외선 카메라 등 다양한 종류의 카메라 중 하나 이상을 포함할 수 있다.
표시부(120)는 촬영부(110)에 의해 촬영된 영상을 화면에 표시한다. 표시부(120)는 LCD, OLED 등 다양한 종류의 디스플레이 장치로 구현될 수 있다.
입력부(130)는 장치의 동작 제어를 위한 사용자 명령을 입력받는다. 입력부(130)는 터치스크린, 버튼 혹은 스위치 등으로 구현될 수 있다.
사용자 명령에는 증강현실 시작 명령, 모델 로딩 명령, 모델 이동 명령, 모델 회전 명령 등이 있을 수 있다. 증강현실 시작 명령은 촬영부(110)에서 증강현실을 구현하고자 하는 배경이 되는 장소에 대해 영상 촬영을 시작하거나 영상 촬영 중에 증강현실을 구동시키라는 명령이다. 모델 로딩 명령은 촬영부(110)에서 촬영되어 표시부(120)를 통해 표시되는 영상(배경 영상)에 가상의 3D 모델(객체 모델)을 로딩하여 표시하라는 명령이다. 모델 로딩 시에 모델 좌표계와 AR 좌표계를 매칭하고 매칭에 따라 결정된 스케일 팩터를 적용하여 모델 스케일링을 수행함으로써, 배경 영상의 3차원 공간에 상응하는 실제 크기의 객체 모델이 로딩되게 할 수 있다. 모델 이동 명령은 객체 모델이 임의의 위치(혹은 지정된 위치)에 표시된 상태에서 배경 영상의 3차원 공간 내에서 다른 위치로 객체 모델을 이동시키는 명령이다. 모델 회전 명령은 객체 모델이 표시된 상태에서 객체 모델을 회전시키는 명령이다.
또한, 입력부(130)는 사용자로부터 증강현실을 구현하고자 하는 배경 영상 내의 3차원 공간에 로딩하고자 하는 객체 모델에 대한 선택을 입력받을 수 있다. 후술할 모바일 스캔 객체 모델링 장치(200)에 의해 모델링된 객체 모델(들)의 리스트가 표시부(120)의 화면을 통해 사용자에게 제공되고, 사용자가 입력부(130)를 통해 로딩을 희망하는 객체 모델을 선택할 수 있다.
측정부(140)는 증강현실 구현 장치(100)의 위치, 방향, 자세 등에 관한 데이터를 측정한다.
측정부(140)는 위치 측정 모듈, 방향 측정 모듈, 자세 측정 모듈 중 하나 이상을 포함할 수 있다.
위치 측정 모듈은 증강현실 구현 장치(100)의 위치를 측정한다. 예를 들어, GPS 위성신호를 수신하여 현재 위치를 검출하는 GPS 수신기, 혹은 GPS 위성신호의 수신이 불가능한 음영지역이나 실내에서 WIFI 기지국 혹은 비콘 등의 신호를 수신하여 현재 위치를 검출하는 실내 무선 신호 수신기 중 하나 이상이 위치 측정 모듈에 포함될 수 있다.
방향 측정 모듈은 증강현실 구현 장치(100)의 촬영부(110)가 촬영하는 방향(예컨대, 방위각)을 측정한다. 예를 들어, 자이로스코프 센서, 3축 가속도 센서 등이 방향 측정 모듈에 포함될 수 있다.
자세 측정 모듈은 증강현실 구현 장치(100)의 자세(예컨대, 틸트각)를 측정한다. 예를 들어, 틸팅 센서가 자세 측정 모듈에 포함될 수 있다.
방향 데이터와 자세 데이터를 조합할 경우 촬영부(110)의 피치각, 요각, 롤각이 산출되어, 증강현실 구현 장치(100)가 위치한 3차원 공간 내에서 촬영부(110)가 촬영하는 부분을 정확히 파악할 수 있게 된다.
AR 구동부(150)는 증강현실 구현 장치(100)의 촬영부(110)에서 촬영되어 표시부(120)를 통해 표시되는 배경 영상 내의 3차원 공간에 입력부(130)를 통해 입력된 사용자 입력에 상응하여 사용자가 희망하는 가상의 객체 모델을 로딩하여 표시하도록 한다. AR 구동부(150)에 대해서는 이후 관련 도면을 참조하여 상세히 설명하기로 한다.
통신부(160)는 외부 서버 혹은 데이터베이스와 네트워크를 통해 통신 연결되게 한다. 외부 서버 혹은 데이터베이스에는 후술할 모바일 스캔 객체 모델링 장치(200)에 의해 생성된 객체 모델, 혹은 3차원 스캐너에 의해 스캐닝된 객체 모델, 모델링 프로그램에 의해 설계된 객체 모델 등이 저장되어 있으며, AR 구동부(150)에서의 로딩 요청에 따라 통신부(160)에서는 희망하는 객체 모델을 요청하고 수신할 수 있다.
저장부(170)는 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 방법을 수행하는데 필요한 프로그램과, 그 프로그램의 수행 중에 발생되는 데이터를 저장한다. 또한, 증강현실 구현 장치(100)의 운영 프로그램이 저장된다.
제어부(180)는 증강현실 구현 장치(100)의 각 구성요소의 동작을 제어한다. 저장부(170)에 저장된 프로그램을 실행하고, 촬영부(110), 표시부(120), 입력부(130), 측정부(140), AR 구동부(150), 통신부(160), 저장부(170) 중 하나 이상을 제어할 수 있다.
도 2를 참조하면, AR 구동부(150)의 상세 구성이 도시되어 있다. AR 구동부(150)는 AR 코어부(151), 모델 로딩부(153), 좌표계 매칭부(155)를 포함할 수 있다.
AR 코어부(151)는 배경 영상 내의 3차원 공간에 대한 AR 좌표계를 설정하고, AR 좌표계 내에서 구현되는 증강현실을 전체적으로 관리한다.
증강현실 구현의 배경이 되는 3차원 공간 내에서 임의의 좌표(혹은 미리 지정된 좌표)를 원점으로 설정하고, 서로 직교하는 X축, Y축, Z축에 의해 AR 좌표계가 설정될 수 있다(도 9의 (a) 참조).
AR 좌표계에는 표시부(120)를 통해 표시되는 배경 영상의 실제 크기가 반영될 수 있다. 즉, AR 코어부(151)는 AR 좌표계에 기초하여 촬영부(110)에 해당하는 카메라의 위치 A를 추정할 수 있다.
이 경우 카메라 위치 추정에는 SLAM(Simultaneous Localization and Mapping) 알고리즘이 적용될 수 있다. SLAM 알고리즘에 의하면, 3차원 공간 상에서 자신의 위치를 인식하고, 동시에 공간의 3차원 데이터를 생성하도록 할 수 있다.
SLAM 알고리즘의 적용을 위해서는 거리 센서 혹은 비전 센서가 사용될 수 있다. 거리 센서는 초음파, 레이저, 소나(SONAR) 등을 활용해 거리를 해석하는 센서이다. 본 실시예에서 증강현실 구현 장치(100)에는 AR 구동부(150)에서의 SLAM 알고리즘 적용을 위해 거리 센서(미도시)가 추가적으로 포함될 수도 있다. 비전 센서는 카메라 센서이며, 카메라에서 획득한 영상을 해석하게 된다. 따라서, 본 실시예에서는 촬영부(110)가 비전 센서로 활용될 수도 있다.
센서 사용에 의한 오차 발생에 대해서는 확률 기법인 칼만 필터(Kalman-Filter), 파티클 필터(Particle Filter), 그래프(Graph) 기법 등이 사용되어, 오차에 대한 캘리브레이션이 이루어질 수 있다.
SLAM 알고리즘의 경우 다음 단계들이 순차적으로 수행될 수 있다.
우선 카메라의 위치 혹은 회전에 의해서도 불변하는 공통점에 해당하는 MSHC(Multi-Scale Harris corner) 특징점과 SIFT 특징점을 추출한다. 이미지처리 분야에서 사용되는 라이브러리 형태로 제공이 되어, 이미지를 input으로 입력하면 자동으로 특징점의 위치 및 값이 output으로 출력될 수 있다.
그리고 RANSAC(Random Sample Consensus) 기법을 통해 물체를 인식한다. 추출된 특징점들의 상관관계를 추측하기 위해서는 각 특징점들의 위치 및 거리에 대한 여러가지 연산이 수행될 필요가 있다. 하지만, 특징점들의 수가 많아지면 각 특징점들의 상관관계를 해석하기 위해 막대한 연산시간이 필요하게 된다. 따라서, 빠른 연산 수행을 위해서는 랜덤으로 지정된 두 특징점에 대해 일정한 횟수만 연산하도록 할 필요가 있으며, 이러한 기법이 RANSAC 기법이다.
그리고 물체 인식이 이루어지면, 인식된 물체의 중심점까지의 정확한 거리 정보를 획득한다. 예를 들어, 물체의 중심점은 가장 근접한 표면의 중심점일 수 있다.
모델 로딩부(153)는 사용자가 희망하는 객체 모델을 외부 서버 혹은 데이터베이스로부터 불러와 AR 코어부(151)에 의해 관리되는 배경 영상 내의 3차원 공간(AR 공간) 내에 로딩한다.
본 실시예에서 로딩 대상이 되는 객체 모델은 모바일 스캔 객체 모델링 장치(200)에 의해 모델링된 3D 모델이다. 객체 모델의 모델링에는 2D(2차원) 이미지의 병합을 통해 3D(3차원) 모델링 이미지를 획득하는 3D 리컨스트럭션(3D Reconstruction)이 적용될 수 있다.
도 3을 참조하면, 모바일 스캔 객체 모델링 장치(200)는 예를 들어 스마트폰, 태블릿 PC 등의 휴대 단말로 구현될 수 있다. 하지만, 모바일 스캔 객체 모델링 장치(200)가 이에 한정되는 것은 아니다. 모바일 스캔 객체 모델링 장치(200)는 본 실시예에 따른 모바일 스캔 객체 모델링 방법을 수행하기 위한 별도의 장치로 구현될 수도 있다.
모바일 스캔 객체 모델링 장치(200)는 2D 이미지 촬영부(210), 3D 모델 생성부(220), 3D 모델 저장부(230)를 포함할 수 있다.
도 5 및 도 7을 참조하면, 객체 스캐닝이 시작되면(단계 S400), 2D 이미지 촬영부(210)는 모델링하고자 하는 객체(10)에 대해 전후, 상하, 좌우의 각 방향에서 복수의 2D 이미지를 촬영한다(단계 S410). 2D 이미지 촬영부(210)는 휴대 단말에 기본적으로 구비된 카메라(20)일 수 있다. 즉, 일반적인 모바일 기기인 휴대 단말의 카메라를 이용하게 되는 바, 모바일 스캔 방식에 해당한다.
3D 모델 생성부(220)가 복수의 2D 이미지를 조합하여 3D 모델을 생성한다(단계 S420).
도 8을 참조하면, 카메라가 P1, P2, P3 순으로 이동할 때, 각 위치에서 이미지 1, 이미지 2, 이미지 3에 해당하는 복수의 2D 이미지를 획득하게 된다. 복수의 2D 이미지 내에는 객체(10)의 동일한 지점에 해당하는 동일 특징점이 존재하게 된다. 따라서, 이러한 동일 특징점을 매칭시키는 방식으로 가상의 3D 객체 모델을 생성할 수 있다.
사진 측량(Photogrammetry) 기법은 3차원 공간에서 각 이미지의 픽셀 정보를 이용하여 특징점을 추출하고, 삼각측량 기법을 이용하여 카메라의 위치를 추정히는 기법인 SfM(Structure from Motion)이 한단계 발전된 것이다. 이 경우 각 이미지의 특징점은 SIFT(Scale-Invariant Feature Transform) 알고리즘을 사용하여 생성한다. SIFT는 이미지의 크기와 회전에 불변하는 특징을 추출하는 알고리즘이다.
서로 다른 두 2D 이미지에서 SIFT 특징점을 각각 추출한 다음 서로 가장 비슷한 특징점끼리 매칭해주면 두 2D 이미지에서 대응되는 부분을 찾을 수 있게 된다.
3D 모델 저장부(230)는 3D 모델 생성부(220)에서 생성된 객체 모델을 2D 이미지 촬영부(210)에서 촬영한 위치 정보와 매칭한 모델 좌표계에 대응시켜 저장한다(단계 S430). 즉, 모바일 스캔 방식으로 모델링된 객체 모델은 해당 객체 모델을 촬영한 카메라의 위치 정보가 포함되거나 추정할 수 있는 모델 좌표계가 존재한다. 따라서, 객체 모델의 로딩 시 대응되는 모델 좌표계가 함께 로딩될 수 있다.
본 실시예에서 생성된 객체 모델은 복수의 2D 이미지를 조합한 것으로, 복수의 2D 이미지로 획득한 대상 객체의 표면 질감이 3D 객체 모델의 표면에도 반영된다. 따라서, 가상의 객체 모델이지만 실제와 같은 표면 질감을 나타내어 사용자에게 높은 현실감을 제공해 줄 수 있다. 이는 설계 데이터에 기초하여 3D 모델을 모델링할 경우, 그 표면을 표현할 때 인위적으로 설정된 질감 데이터 중에서 선택하게 되어 가상의 느낌을 줄 수 밖에 없는 것과는 차별화되는 부분이다.
본 실시예에서 모바일 스캔 방식으로 대상 객체를 3차원 스캐닝하는 경우, 카메라를 기준으로 하여 객체 모델의 크기가 상대적으로 결정된다. 하지만, 객체 모델의 절대적 크기에 대한 정보는 포함되지 않는다.
다시 도 2를 참조하면, 모델 로딩부(153)에 의해 모바일 스캔 객체 모델이 로딩되면, 좌표계 매칭부(155)는 객체 모델이 배경 영상 내의 3차원 공간 내에 중첩 표시되게 할 수 있다. 이 경우 객체 모델이 실제 크기에 대응되도록 배경 영상 내에서 표시되게 할 필요가 있다.
따라서, 좌표계 매칭부(155)는 AR 코어부(151)에서 생성된 AR 좌표계(도 9의 (a) 참조)와 객체 모델에 대한 모델 좌표계(도 9의 (b) 참조)를 매칭시킨다.
AR 좌표계는 현재 증강현실을 구현하고자 하는 배경 영상의 3차원 공간(AR 공간)에 관한 좌표계로서, AR 코어부(151)에 의해 획득된다. 증강현실을 구현하는 기본 공간에 해당하므로, AR 좌표계가 기본 좌표계가 된다. AR 좌표계에서는 현재 AR 공간에 대응되는 촬영부(110)의 위치, 즉 카메라 위치 A를 추정할 수 있다.
모델 좌표계는 객체 모델을 모바일 스캔 방식으로 생성할 때 카메라와 대상 객체의 위치 상관관계에 따라 생성된 좌표계이다. 모델 좌표계의 경우 해당 객체 모델이 표시부(120)를 통해 표시될 때, 해당 객체 모델이 그렇게 표시되도록 하는 카메라 위치 B를 추정할 수 있다.
AR 좌표계에서의 카메라 위치 A와 모델 좌표계에서의 카메라 위치 B를 정합시킬 경우, 좌표계 매칭이 이루어지며, 객체 모델이 AR 좌표계에 대응되는 크기로 스케일링되어 증강현실 공간 내에 표시될 수 있을 것이다.
카메라 위치 A(A1~An)과 카메라 위치 B(B1~Bn)은 같은 카메라 위치를 다른 좌표계(AR 좌표계와 모델 좌표계)로 표현된 상태이다.
따라서, AR 좌표계에서 임의의 두 카메라 위치 사이의 거리(제1 단위길이)와 모델 좌표계에서 대응되는 두 카메라 위치 사이의 거리(제2 단위길이) 비를 부분 스케일 팩터(S1~Sn-1)로 계산할 수 있다.
S1 = (A2-A1)/(B2-B1), S2 = (A3-A2)/(B3-B2), …, Sn-1 = (An-An-1)/(Bn-Bn-1)
여기서, 모델 좌표계에서 추정한 카메라 위치 B는 센서에 의한 오차가 포함된 데이터이기 때문에, 부분 스케일 팩터 S1 ~ Sn-1이 동일한 값을 가지지 않을 수 있다. 따라서, 부분 스케일 팩터 S1 ~ Sn-1의 수치 분포를 구하여 가장 많은 분포를 가지는 군집의 평균값을 구하여, 두 좌표계 사이의 스케일 팩터를 추정할 수 있다. 이는 오차에 의해 이상점으로 판단되는 부분을 배제시키는 과정이다.
스케일 팩터 S가 추정되면, 객체 모델을 AR 공간에 표시할 때 스케일 팩터 S를 적용시켜 스케일 업 혹은 스케일 다운하여 스케일된 객체 모델이 AR 공간에 표시되게 할 수 있다.
이 경우 AR 공간에 표시되는 객체 모델은 AR 공간의 크기에 맞도록 스케일링되어 실제 그 대상 객체가 해당 공간 내에 놓여진 것과 같이 표시될 수 있게 된다.
도 4를 참조하면, 본 실시예에 따른 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치(100)에 의해 수행되는 증강현실 구현 방법이 도시되어 있다.
모바일 기기인 증강현실 구현 장치(100)의 촬영부(110)에서는 사용자 명령에 따라 증강현실을 구현하고자 하는 공간에 대한 영상 촬영을 시작한다(단계 S300).
표시부(120)를 통해 배경 영상이 실시간으로 표시될 때, 증강현실을 구현하고자 하는 부분에서 증강현실 시작 명령이 입력되면 AR 구동부(150)를 통해 증강현실이 구동된다(단계 S310).
AR 코어부(151)에 의해 AR 공간이 설정되면, 입력부(130)를 통해 AR 공간 내에 희망하는 객체 모델을 중첩 표시하고자 하는 모델 로딩 명령이 입력될 수 있다(단계 S320).
모델 로딩 명령에 상응하여, 모델 로딩부(153)가 객체 모델을 로딩한다. 다만, 본 실시예에서 객체 모델은 모바일 스캔 방식으로 모델링되었기에, 실제 크기에 관한 정보가 누락되어 있다.
따라서, 좌표계 매칭부(155)에서는 모델 좌표계와 AR 좌표계를 매칭시키는 작업을 수행한다(단계 S330). 좌표계 매칭은 AR 좌표계 상에서의 카메라 위치 A와 모델 좌표계 상에서의 카메라 위치 B를 정합시키는 과정이다.
증간현실이 구동된 상태(단계 S500)에서, AR 좌표계 상에서의 카메라 위치 A를 추정하고(단계 S510), 모델 좌표계 상에서의 카메라 위치 B를 추정한다(단계 S520). 그리고 카메라 위치 A 및 B를 비교하여 좌표계 매칭을 수행한다(단계 S530).
AR 좌표계에서 임의의 두 카메라 위치 간의 거리와 모델 좌표계에서 대응되는 두 카메라 위치 간의 거리의 비인 부분 스케일 팩터가 스케일 팩터가 될 수 있다. 다만, 두 카메라 위치 중에서 센서 오차가 포함될 수 있는 바, 복수의 부분 스케일 팩터를 산출하고, 그 수치 분포를 분석하여 가장 많은 분포를 가지는 군집의 평균값을 구하여, 두 좌표계 사이의 스케일 팩터를 추정할 수 있다.
스케일 팩터가 추정되면, 객체 모델에 대해 스케일링을 수행한다(단계 S340, S540). 즉, 3D 객체 모델에 대해 스케일 팩터를 적용시킬 수 있다.
스케일링된 객체 모델은 AR 공간 내에서 지정된 위치에 중첩 표시될 수 있다(단계 S350, S550). AR 공간 내에서 객체 모델을 중첩 표시할 위치는 실제 공간 내에 특정 마커로 표시되어 있을 수 있다. 또는 사용자 입력을 통해 선택된 AR 공간 내의 임의의 위치가 객체 모델을 중첩 표시할 위치로 설정될 수도 있다.
전술한 모바일 스캔 객체 모델링 방법 및 모바일 스캔 객체 모델링을 통한 증강현실 구현 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 모바일 스캔 객체 모델링 방법 및 모바일 스캔 객체 모델링을 통한 증강현실 구현 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 모바일 스캔 객체 모델링 방법 및 모바일 스캔 객체 모델링을 통한 증강현실 구현 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (12)

  1. 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치에서 수행되는 증강현실 구현 방법으로서,
    촬영부로 배경 영상을 촬영하는 단계;
    상기 배경 영상이 표시부를 통해 실시간으로 표시되며, 사용자로부터의 증강현실 시작 명령에 따라 AR 구동부가 상기 배경 영상에 상응하는 AR 공간을 만드는 단계;
    상기 사용자에 의해 선택된 객체 모델을 상기 AR 공간 내에 로딩하는 단계;
    상기 AR 공간에 관한 AR 좌표계와 상기 객체 모델에 관한 모델 좌표계를 매칭하는 단계;
    매칭 결과에 따라 상기 객체 모델을 스케일링하는 단계; 및
    스케일링된 상기 객체 모델을 상기 AR 공간 내에 중첩 표시하는 단계를 포함하는 증강현실 구현 방법.
  2. 제1항에 있어서,
    상기 AR 좌표계와 상기 모델 좌표계를 매칭하는 단계는,
    상기 AR 좌표계에서 복수의 제1 카메라 위치를 추정하는 단계;
    상기 모델 좌표계에서 상기 복수의 제1 카메라 위치에 대응되는 복수의 제2 카메라 위치를 추정하는 단계; 및
    상기 복수의 제1 카메라 위치와 상기 복수의 제2 카메라 위치가 정합되도록 상기 모델 좌표계에 대한 스케일 팩터를 계산하는 단계를 포함하되,
    상기 객체 모델 스케일링 단계에서는 상기 객체 모델에 상기 스케일 팩터를 적용하여 스케일링하는 것을 특징으로 하는 증강현실 구현 방법.
  3. 제2항에 있어서,
    상기 스케일 팩터를 계산하는 단계는 상기 복수의 제1 카메라 위치 간의 제1 단위길이와 상기 복수의 제2 카메라 위치 간의 제2 단위길이의 비를 상기 스케일 팩터로 계산하는 것을 특징으로 하는 증강현실 구현 방법.
  4. 제2항에 있어서,
    상기 스케일 팩터를 계산하는 단계는,
    상기 복수의 제1 카메라 위치 중 임의의 두 위치 간의 거리와 상기 복수의 제2 카메라 위치 중 임의의 두 위치 간의 거리의 비를 부분 스케일 팩터로 계산하는 단계; 및
    상기 부분 스케일 팩터의 수치 분포를 분석한 결과 가장 많은 분포를 가지는 군집의 평균값을 상기 스케일 팩터로 설정하는 단계를 포함하는 증강현실 구현 방법.
  5. 제2항에 있어서,
    상기 제1 카메라 위치는 SLAM(Simultaneous Localization and Mapping) 기법에 의해 추정되는 것을 특징으로 하는 증강현실 구현 방법.
  6. 제1항에 있어서,
    상기 객체 모델은 모바일 기기에 구비된 카메라에 의해 모바일 스캔된 모바일 스캔 객체 모델로서, 상기 카메라에 의해 촬영된 복수의 2D 이미지가 사진 측량 기법으로 생성된 3D 모델인 것을 특징으로 하는 증강현실 구현 방법.
  7. 증강현실을 구현하고자 하는 배경이 되는 영상을 촬영하는 촬영부;
    상기 촬영부에 의해 촬영된 영상을 실시간으로 화면에 표시하는 표시부;
    사용자 명령에 따라 상기 영상을 AR 공간으로 구동시키고, 사용자가 선택한 객체 모델을 AR 공간 내로 로딩하는 AR 구동부; 및
    상기 촬영부, 상기 표시부, 상기 AR 구동부의 동작을 제어하는 제어부를 포함하되,
    상기 객체 모델은 모바일 기기에 구비된 카메라에 의해 모바일 스캔된 모바일 스캔 객체 모델일 것을 특징으로 하는 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치.
  8. 제7항에 있어서,
    상기 AR 구동부는,
    상기 AR 공간에 대한 AR 좌표계를 관리하는 AR 코어부와;
    상기 객체 모델을 로딩하는 모델 로딩부와;
    상기 객체 모델에 포함된 모델 좌표계와 상기 AR 좌표계를 매칭하여, 상기 객체 모델을 상기 AR 공간에 상응하도록 스케일링하는 좌표계 매칭부를 포함하는 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치.
  9. 제8항에 있어서,
    상기 좌표계 매칭부는 상기 AR 좌표계에서 복수의 제1 카메라 위치를 추정하고, 상기 모델 좌표계에서 상기 복수의 제1 카메라 위치에 대응되는 복수의 제2 카메라 위치를 추정하며, 상기 복수의 제1 카메라 위치와 상기 복수의 제2 카메라 위치가 정합되도록 상기 모델 좌표계에 대한 스케일 팩터를 계산한 후 상기 객체 모델에 상기 스케일 팩터를 적용하여 스케일링하는 것을 특징으로 하는 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치.
  10. 제9항에 있어서,
    상기 좌표계 매칭부는 상기 복수의 제1 카메라 위치 간의 제1 단위길이와 상기 복수의 제2 카메라 위치 간의 제2 단위길이의 비를 상기 스케일 팩터로 계산하는 것을 특징으로 하는 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치.
  11. 제9항에 있어서,
    상기 좌표계 매칭부는 상기 복수의 제1 카메라 위치 중 임의의 두 위치 간의 거리와 상기 복수의 제2 카메라 위치 중 임의의 두 위치 간의 거리의 비를 부분 스케일 팩터로 계산하고, 상기 부분 스케일 팩터의 수치 분포를 분석한 결과 가장 많은 분포를 가지는 군집의 평균값을 상기 스케일 팩터로 설정하는 것을 특징으로 하는 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치.
  12. 제9항에 있어서,
    상기 제1 카메라 위치는 SLAM(Simultaneous Localization and Mapping) 기법에 의해 추정되는 것을 특징으로 하는 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치.
PCT/KR2021/013583 2020-10-05 2021-10-05 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법 WO2022075683A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/248,026 US20230410451A1 (en) 2020-10-05 2021-10-05 Augmented reality implement apparatus and method using mobile scanned object model scaling

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0128218 2020-10-05
KR1020200128218A KR102358950B1 (ko) 2020-10-05 2020-10-05 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2022075683A1 true WO2022075683A1 (ko) 2022-04-14

Family

ID=80253180

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/013583 WO2022075683A1 (ko) 2020-10-05 2021-10-05 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법

Country Status (3)

Country Link
US (1) US20230410451A1 (ko)
KR (1) KR102358950B1 (ko)
WO (1) WO2022075683A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120066233A (ko) * 2010-12-14 2012-06-22 삼성전자주식회사 다층 증강 현실 시스템 및 방법
US20140118339A1 (en) * 2012-10-31 2014-05-01 The Boeing Company Automated frame of reference calibration for augmented reality
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
KR20160068827A (ko) * 2013-09-30 2016-06-15 피씨엠에스 홀딩스, 인크. 증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공하기 위한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품
US20200279396A1 (en) * 2015-11-18 2020-09-03 Devar Entertainment Limited Method of influencing virtual objects of augmented reality

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101413393B1 (ko) 2014-02-25 2014-06-27 송승욱 3차원 모델링을 위한 촬상장치 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120066233A (ko) * 2010-12-14 2012-06-22 삼성전자주식회사 다층 증강 현실 시스템 및 방법
US20140118339A1 (en) * 2012-10-31 2014-05-01 The Boeing Company Automated frame of reference calibration for augmented reality
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
KR20160068827A (ko) * 2013-09-30 2016-06-15 피씨엠에스 홀딩스, 인크. 증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공하기 위한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품
US20200279396A1 (en) * 2015-11-18 2020-09-03 Devar Entertainment Limited Method of influencing virtual objects of augmented reality

Also Published As

Publication number Publication date
KR102358950B1 (ko) 2022-02-07
US20230410451A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
JP5093053B2 (ja) 電子カメラ
US7554575B2 (en) Fast imaging system calibration
US6031941A (en) Three-dimensional model data forming apparatus
JP5538667B2 (ja) 位置姿勢計測装置及びその制御方法
CN110458897B (zh) 多摄像头自动标定方法及系统、监控方法及系统
US20090237508A1 (en) Method and apparatus for providing immersive surveillance
JP4115117B2 (ja) 情報処理装置および方法
CN111145294B (zh) 二维户型图构建方法及装置、存储介质
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
CN108430032B (zh) 一种实现vr/ar设备位置共享的方法及设备
CN113426117A (zh) 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
CN115601496A (zh) Ar辅助三维地图尺度恢复的方法和系统
JP4227037B2 (ja) 撮像システム及び校正方法
JP2003296708A (ja) データ処理方法、データ処理プログラムおよび記録媒体
KR20220085150A (ko) 확장현실 기반 지능형 건설현장 관리 지원 시스템 서버 및 방법
CN112669392A (zh) 一种应用于室内视频监控系统的地图定位方法及系统
WO2022075683A1 (ko) 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법
JP2003346185A (ja) 情報表示システム及び携帯情報端末
JP3221384B2 (ja) 三次元座標計測装置
CN111581322B (zh) 视频中兴趣区域在地图窗口内显示的方法和装置及设备
KR102458559B1 (ko) 휴대용 단말기를 이용한 건설 분야 시공 관리 시스템 및 방법
CN116136408A (zh) 室内导航方法、服务器、装置和终端
CN111242107B (zh) 用于设置空间中的虚拟对象的方法和电子设备
CN113822936A (zh) 数据处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877935

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21877935

Country of ref document: EP

Kind code of ref document: A1