WO2020071849A1 - 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법 - Google Patents

실측 깊이정보를 이용한 정밀한 360 이미지 제작기법

Info

Publication number
WO2020071849A1
WO2020071849A1 PCT/KR2019/013030 KR2019013030W WO2020071849A1 WO 2020071849 A1 WO2020071849 A1 WO 2020071849A1 KR 2019013030 W KR2019013030 W KR 2019013030W WO 2020071849 A1 WO2020071849 A1 WO 2020071849A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
depth information
camera
pixel
Prior art date
Application number
PCT/KR2019/013030
Other languages
English (en)
French (fr)
Inventor
도락주
최형아
장범철
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to US16/638,224 priority Critical patent/US20200286205A1/en
Priority to KR1020217010004A priority patent/KR102467556B1/ko
Publication of WO2020071849A1 publication Critical patent/WO2020071849A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to a method and apparatus for constructing a more precise 360 image by simultaneously using depth information measured in a corresponding space in the process of generating multiple images acquired simultaneously using a plurality of cameras into a single 360 image. .
  • the 360 image has various forms such as a panoramic image using a two-dimensional coordinate system and a cube image using a three-dimensional coordinate system, and a specific diameter in a step of reconstructing a plurality of camera images into a single 360 image.
  • a simple geometric shape such as a sphere (see Fig. 2) or a cube, project the image captured by the individual camera into the geometric shape, and reproject the projected geometric information into a panoramic image or a cube image. It will create an image.
  • an image obtained by different cameras may not be accurately matched in a reconstructed image due to geometric inaccuracies in the projection step.
  • the present invention provides a method and apparatus for generating a more precise 360 image by simultaneously using terrain information acquired in the same space when attempting to generate a 360 image such as a panoramic image or a cube image from a plurality of camera images Want to provide.
  • the method for producing a 360 image using depth information is a method for producing a 360 image in a predetermined space, comprising: a plurality of camera images captured using at least one camera; Pose information, which is information about the position and orientation of the camera where the camera image is taken, location information, which is information about the origin position of the 360 image, and depth information, which is information about a point corresponding to a plurality of depth values measured in the space , A camera model representing a correspondence relationship between pixels included in the plurality of camera images and a point included in the depth information, and a 360 model representing a correspondence relationship between pixels included in the 360 images and a point included in the depth information.
  • An information receiving step of receiving 360 image production information including; An object selection step of using the location information, the 360 model, and the depth information to select a depth information point corresponding to a target pixel that is a pixel included in the 360 image among a plurality of points included in the depth information; An image pixel value acquisition step of acquiring a pixel value of a pixel of a camera image corresponding to the depth information point among the plurality of camera images using the pose information, the camera model, and the depth information; And a target pixel configuration step of constructing a pixel value of the target pixel using the acquired pixel value of the camera image.
  • a multiple correspondence confirmation step of checking whether the depth information point corresponds to a pixel of two or more camera images among the plurality of camera images is further provided.
  • a predetermined weight is assigned to each pixel of the two or more camera images to determine a pixel value of the target pixel. Can be configured.
  • the object selection step, the image pixel value acquisition step, the multiple correspondence check step, the target pixel configuration step is repeatedly applied to all pixels included in the 360 image to generate the 360 image to generate the 360 image It may further include a step.
  • a 3D map generating step of generating a 3D map of the virtual space corresponding to the space by projecting the generated 360 image on the terrain information based on the depth information may be further included.
  • the 3D map generating step is to select a 360 image representing an arbitrary field of view of the virtual space corresponding to the 3D map as a representative image, and to express a real field that cannot be expressed as the representative image.
  • a 360 image other than the representative image as a complementary image, and weighting the information of the representative image and the complementary image to generate a projection image corresponding to an arbitrary field of view and projecting it on the terrain information 3 You can create a dimensional map.
  • the apparatus for producing a 360 image using depth information includes a plurality of camera images photographed using at least one camera in an apparatus for producing a 360 image in a predetermined space, Pose information that is information about the position and orientation of the camera where the plurality of camera images are taken, location information that is information about the origin position of the 360 image, and information about a point corresponding to a plurality of depth values measured in the space Depth information, a camera model representing a correspondence relationship between pixels included in the plurality of camera images and points included in the depth information, and a correspondence relation between a pixel included in the 360 images and points included in the depth information.
  • a receiver configured to receive 360 image production information including a 360 model;
  • a selection unit for selecting a depth information point corresponding to a target pixel, which is a pixel included in the 360 image, from the plurality of points included in the depth information using the location information, the 360 model, and the depth information;
  • An acquisition unit that acquires a pixel value of a pixel of a camera image corresponding to the depth information point among the plurality of camera images using the pose information, the camera model, and the depth information;
  • a component configured to configure a pixel value of the target pixel using the acquired pixel value of the camera image.
  • the depth information point further includes a confirmation unit for confirming whether or not two or more of the plurality of camera images correspond to pixels of the camera image, and the configuration unit includes the depth information point of the two or more camera images.
  • a pixel value of the target pixel may be configured by giving a predetermined weight to each pixel of the two or more camera images.
  • the selection unit, the acquisition unit, the confirmation unit and the construction unit may further include a generation unit that repeatedly applies to all pixels included in the 360 image to generate the 360 image.
  • the generation unit may further generate a 3D map of the virtual space corresponding to the space by projecting the generated 360 image onto the terrain information based on the depth information.
  • the generating unit selects a 360 image representing an arbitrary field of view of the virtual space corresponding to the 3D map as a representative image, and other than the representative image in order to express a real field that cannot be expressed as the representative image.
  • the method and apparatus for generating an image according to an embodiment of the present invention for the mismatch that occurs when two or more cameras shoot the same point in the prior art and convert it into a 360 image as it is, depth data measured in the space By utilizing at the same time, it is possible to construct a clear image that is not distorted at the point where the mismatch occurs.
  • the 360 image generated through the method and apparatus for generating a 360 image is an image generated through terrain information, when projecting it on a corresponding terrain, the image and the terrain information are matched and virtual through this.
  • the image and the terrain information are matched and virtual through this.
  • a representative image that best expresses an arbitrary field of view and a complementary image are selected to express a field of vision that cannot be expressed with the representative image, and all of these images
  • all 360 images may be configured to match the terrain information through the image generating method and apparatus according to an embodiment of the present invention. Even when these are applied simultaneously, the consistency is maintained on the basis of topographical information, so there is an effect to realize a clearer 3D map.
  • FIG. 1 is a flowchart illustrating a method for manufacturing a precise 360 image using depth information according to an embodiment of the present invention.
  • 3 is a 360 panoramic image in which distortion is generated in an overlapped portion because images acquired by different cameras are not accurately matched.
  • FIG. 4 is an image showing a case where consistency of indoor structures is not maintained in a 3D map due to a mismatch between an image and a shape.
  • FIG. 5 is a view for explaining a case in which depth information is given according to an embodiment of the present invention.
  • FIG. 6 is a view for explaining a case where depth information according to the prior art is not provided.
  • FIG. 7 is a view for explaining a case where the depth information point according to an embodiment of the present invention is photographed by two or more cameras.
  • FIG. 8 is a flowchart illustrating a method of manufacturing a precise 360 image using depth information according to another embodiment of the present invention.
  • FIG. 9 is a block diagram illustrating a precise 360 image production apparatus using depth information according to an embodiment of the present invention.
  • first, second, A, and B can be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from other components.
  • first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may be referred to as a first component.
  • FIG. 1 is a flowchart illustrating a method for manufacturing a precise 360 image using depth information according to an embodiment of the present invention.
  • step S110 a plurality of camera images captured by at least one camera by the 360 image production apparatus, pose information, which is information about the positions and directions of cameras where the plurality of camera images are captured, and information about the origin position of the 360 images
  • pose information which is information about the positions and directions of cameras where the plurality of camera images are captured
  • depth information which is information about a point corresponding to a plurality of depth values measured in space
  • a camera model and 360 image indicating a correspondence between pixels included in the plurality of camera images and points included in the depth information 360 image production information including a 360 model representing a correspondence between a pixel included in and a point included in depth information is received.
  • the pose information of the origin of the camera may be three-dimensional pose information indicating the position and direction of the specific camera origin 11.
  • the location information of the origin of the 360 image may be 3D location information of the origin 12 of the 360 image.
  • the depth information may be a plurality of measured depth information 13-18 based on a specific coordinate system in a space photographed by the camera.
  • the camera image may be a camera image 19 photographed from the camera origin 11 photographed by the camera.
  • the camera model may be information capable of deriving a correspondence between a specific pixel value in the camera image 19 and depth information 13-18.
  • the 360 model may be a configuration model 21 constituting a correspondence relationship between pixel values and depth information in a 360 image.
  • the pose information of the camera origin may be expressed as a vector in three dimensions, or may be expressed through a polar coordinate system, a rotation matrix, a quaternion, or the like.
  • the measured depth information represents spatial topographic information obtained through a sensor, and is not limited to the type and expression form of the acquisition sensor.
  • the measured depth information can be expressed in the form of point cloud, mesh, depth image, etc., and can be acquired through various sensors.
  • Typical sensors include scannerless methods such as time-of-flight camera, scanning methods such as LiDAR and Velodyne, distance measuring sensors using lasers such as LiDAR, and 3D cameras using structured light such as Kinect, RealSense, and Structure Sensor.
  • depth information can be measured through 3D reconstruction using multiple images obtained by a single camera or multiple cameras.
  • the camera model can find the pixels 24 of the camera image 19 linked to this point by using ray-casting 20 techniques, etc. It is a model that allows the use, and in FIG. 5, although a linear model based on a pin-hole camera is expressed, different models may be used when a fish-eye or the like is used.
  • the configuration model 21 of the 360 image generally expresses space as a 3D sphere or cube, and when a specific pixel 22 of the 360 image is selected within the sphere or cube, the specific pixel 22 is linked It may be a model that allows the depth information in the space to be found using ray-casting (23) techniques. For example, in FIG. 5, a 3D cube is assumed, and the 360 image configuration model 21 is simulated based on its 2D projection, but is not specified in any arbitrary shape.
  • the pose information, the location information, and the depth information may be values described based on the global coordinate system.
  • the pose information and the location information may be used to convert the reference coordinate system of the depth information.
  • step S120 the 360 image production apparatus selects a depth information point corresponding to a target pixel included in a 360 image from among a plurality of points included in the depth information, using the location information, the 360 model, and the depth information.
  • the 360 image production apparatus uses the 360 model 21 and the depth information 13-18 at the same time when the target pixel 22 in the 360 image is specified, and the depth information point corresponding to the target pixel 22 ( 15) can be selected.
  • the 360 image production apparatus may change the coordinate system of the depth information to a reference coordinate system based on the origin position of the location information, using location information and depth information based on the global coordinate system.
  • step S130 the 360 image production apparatus acquires a pixel value of a pixel of a camera image corresponding to a depth information point among a plurality of camera images using the pose information, camera model, and depth information.
  • the 360 image production apparatus may detect a corresponding depth information point 15 through a raycasting 20 technique or the like using a camera model, and detect a corresponding camera image pixel value 24.
  • the 360 image production apparatus may change the coordinate system of the depth information to a reference coordinate system based on the position and direction of the camera included in the pose information, using pose information and depth information based on the global coordinate system.
  • step S140 the 360 image production apparatus configures the pixel value of the target pixel using the acquired pixel value of the camera image.
  • the target pixel (through the relationship 27 between the 360 image origin 12 and the 360 model 21) 22) is searched, and the corresponding image pixel value 26 is found.
  • a different image information value from the actual image pixel 24 is used, and thus there is a problem in that distortion between the image and the depth information occurs.
  • the 360 image production apparatus determines whether the depth information point corresponds to a pixel of two or more camera images among a plurality of camera images. Whether it is checked (multiple correspondence checking step), and if so, in the target pixel configuration step (step S140), a predetermined weight is assigned to each pixel of two or more camera images to configure a pixel value of the target pixel. .
  • the 360 image production apparatus additionally performs a multiple correspondence confirmation step of confirming that the depth information point 15 corresponds to camera image pixels 24 and 30 of a camera image by two or more different cameras in FIG. 7. can do.
  • the 360-image production apparatus raycasts the pixels 24 and 30 of the camera images 19 and 28 associated with the depth information point 15 in space in the camera model of each camera (20, 29). ) Can be found using techniques.
  • the 360 image production apparatus weights the plurality of camera image pixels 24 and 30 corresponding in the target pixel configuration step. By assigning it, the value of the target pixel 22 can be configured.
  • the 360 image production apparatus repeats the target selection step (S120), the image pixel value acquisition step (S130), the multiple correspondence confirmation step, and the target pixel configuration step (S140) for all pixels included in the 360 image. It can be applied to generate 360 images.
  • the 360 image production device repeatedly applies a target selection step (S120), an image pixel value acquisition step (S130), a plurality of correspondence confirmation steps, and a target pixel configuration step (S140) to all the pixels included in the 360 image.
  • a target selection step S120
  • an image pixel value acquisition step S130
  • a plurality of correspondence confirmation steps S 140
  • S140 target pixel configuration step
  • the 360 image production apparatus may generate the 3D map in the virtual space by projecting the generated 360 image onto the terrain information.
  • the 360 image production apparatus may generate the 3D map in the virtual space by projecting the generated 360 image onto the terrain information.
  • the 360 image production apparatus may generate a projection image using a representative image and a complementary image.
  • a 360 image that can best express the corresponding field of view for a random field of view in a virtual space having a 3D map may be selected as a representative image.
  • at least one 360 image other than the representative image may be designated as a complementary image in order to express the field of vision that the 360 image production apparatus cannot express with the representative image.
  • the 360 image production apparatus may generate a projection image corresponding to an arbitrary field of view by assigning weights to the information of the representative image and the complementary image.
  • FIG. 9 is a block diagram illustrating a precise 360 image production apparatus using depth information according to an embodiment of the present invention.
  • a precise 360 image production apparatus 900 using depth information includes a receiving unit 910, a selecting unit 920, an acquiring unit 930, and a configuration unit 940. It can contain. In addition, it may optionally further include a confirmation unit (not shown) and a generation unit (not shown).
  • the receiver 910 includes a plurality of camera images photographed using at least one camera, pose information that is information about the location and orientation of a camera where a plurality of camera images are photographed, location information that is information about the origin location of a 360 image, and space Depth information, which is information about a point corresponding to a plurality of depth values measured in, a camera model indicating a correspondence between a pixel included in a plurality of camera images and a point included in the depth information, and a pixel and depth included in a 360 image 360 image production information including a 360 model representing a correspondence between points included in the information is received.
  • the selection unit 920 selects a depth information point corresponding to a target pixel that is a pixel included in a 360 image from a plurality of points included in the depth information, using location information, 360 model, and depth information.
  • the acquisition unit 930 acquires a pixel value of a pixel of a camera image corresponding to a depth information point among a plurality of camera images using pose information, a camera model, and depth information.
  • the configuration unit 940 configures the pixel value of the target pixel using the acquired pixel value of the camera image.
  • the confirmation unit (not shown) checks whether the depth information point corresponds to pixels of two or more camera images among a plurality of camera images.
  • the configuration unit 940 may configure a pixel value of the target pixel by giving a predetermined weight to each pixel of the two or more camera images.
  • the generation unit (not shown) repeatedly generates the 360 image by repeatedly applying the selection unit 910, the acquisition unit 920, the confirmation unit (not shown), and the configuration unit 940 to all pixels included in the 360 image.
  • the generation unit may further generate a 3D map of the virtual space corresponding to the space by projecting the generated 360 image onto the terrain information based on the depth information.
  • the generator selects a 360 image representing an arbitrary field of view of a virtual space corresponding to a 3D map as a representative image, and expresses a real field that cannot be expressed as the representative image.
  • At least one 360 image other than the representative image is designated as a complementary image, and a weight is applied to the information of the representative image and the supplementary image to generate a projection image corresponding to an arbitrary field of view, and a 3D map is generated by projecting onto terrain information. can do.
  • the computer-readable recording medium includes a magnetic storage medium (eg, ROM, floppy disk, hard disk, etc.), an optical reading medium (eg, CD-ROM, DVD, etc.).
  • a magnetic storage medium eg, ROM, floppy disk, hard disk, etc.
  • an optical reading medium eg, CD-ROM, DVD, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

깊이정보를 이용한 360 이미지 제작 방법을 개시한다. 본 발명의 일 실시예에 따른 깊이정보를 이용한 360 이미지 제작 방법은 적어도 하나의 카메라를 이용해 촬영된 복수의 카메라 이미지, 상기 복수의 카메라 이미지가 촬영된 카메라의 위치 및 방향에 대한 정보인 포즈정보, 상기 360 이미지의 원점 위치에 대한 정보인 위치정보, 상기 공간에서 측정된 복수의 깊이값에 대응되는 지점에 관한 정보인 깊이정보, 상기 복수의 카메라 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 카메라 모델 및 상기 360 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 360 모델을 포함하는 360 이미지제작정보를 수신하는 정보수신단계; 상기 위치정보, 상기 360 모델 및 상기 깊이정보를 이용하여, 상기 깊이정보에 포함된 복수의 지점 중에서 상기 360 이미지에 포함된 픽셀인 대상픽셀에 대응되는 깊이정보지점을 선택하는 대상선택단계; 상기 포즈정보, 상기 카메라 모델 및 상기 깊이정보를 이용하여, 상기 복수의 카메라 이미지 중에서 상기 깊이정보지점에 대응되는 카메라 이미지의 픽셀의 픽셀값을 취득하는 이미지픽셀값취득단계; 및 상기 취득된 카메라 이미지의 픽셀값을 이용하여 상기 대상픽셀의 픽셀값을 구성하는 대상픽셀구성단계를 포함한다.

Description

실측 깊이정보를 이용한 정밀한 360 이미지 제작기법
본 발명은 복수의 카메라를 사용하여 동시에 취득된 여러 이미지들을 하나의 360 이미지로 생성하는 과정에서, 해당 공간에서 실측된 깊이정보를 동시에 활용하여, 보다 정밀한 360 이미지를 구성하는 방법 및 장치에 관한 것이다.
중첩영상을 재구성하는 기술은 360 이미지 제작에 다수 사용되어 왔다. 즉, 360 이미지를 제작함에 있어, 공간 내 소실된 구간 없이 촬영하기 위해 다수 카메라의 시야를 중첩시켜 각각의 이미지를 취득한 후, 이를 하나의 영상으로 재구성하는 기술은 널리 사용되어 왔다.
보다 구체적으로, 360 이미지는 2차원 좌표계를 사용하는 파노라믹 이미지와 3차원 좌표계를 사용하는 큐브 이미지 등의 여러 가지 형태가 있으며, 복수의 카메라 영상을 하나의 360 영상으로 재구성하는 단계에서 특정 지름을 가진 구(도 2 참조) 혹은 큐브등 단순한 기하형상을 가정하고, 개별 카메라에서 촬영된 영상을 기하형상에 투영하고, 투영된 기하형상의 정보를 파노라믹 이미지 혹은 큐브 이미지로 재투영하여 360 이미지를 생성하게 된다.
이때, 도 3를 참조하면, 상기의 투영단계에서 기하형상의 부정확성으로 인하여 상이한 카메라가 취득한 영상이 재구성된 영상에서 정확하게 정합되지 않는 현상이 발생할 수 있다.
따라서, 종래 기술에 의한 이미지 부정합 문제를 해결할 수 있는 깊이정보를 이용한 정밀한 360 이미지 제작 방법 및 장치의 필요성이 대두되고 있다.
본 발명은 복수의 카메라이미지로부터 파노라믹 이미지 혹은 큐브 이미지 등의 360 이미지를 생성하려고 하는 경우, 같은 공간에서 취득된 지형정보를 동시에 활용함을 통해 보다 정밀한 360 이미지를 생성하기 위한 방법 및 장치를 제공하고자 한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위해, 본 발명에서 제공하는 깊이정보를 이용한 360 이미지 제작 방법은 소정의 공간에 대하여 360 이미지를 제작하는 방법에 있어서, 적어도 하나의 카메라를 이용해 촬영된 복수의 카메라 이미지, 상기 복수의 카메라 이미지가 촬영된 카메라의 위치 및 방향에 대한 정보인 포즈정보, 상기 360 이미지의 원점 위치에 대한 정보인 위치정보, 상기 공간에서 측정된 복수의 깊이값에 대응되는 지점에 관한 정보인 깊이정보, 상기 복수의 카메라 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 카메라 모델 및 상기 360 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 360 모델을 포함하는 360 이미지제작정보를 수신하는 정보수신단계; 상기 위치정보, 상기 360 모델 및 상기 깊이정보를 이용하여, 상기 깊이정보에 포함된 복수의 지점 중에서 상기 360 이미지에 포함된 픽셀인 대상픽셀에 대응되는 깊이정보지점을 선택하는 대상선택단계; 상기 포즈정보, 상기 카메라 모델 및 상기 깊이정보를 이용하여, 상기 복수의 카메라 이미지 중에서 상기 깊이정보지점에 대응되는 카메라 이미지의 픽셀의 픽셀값을 취득하는 이미지픽셀값취득단계; 및 상기 취득된 카메라 이미지의 픽셀값을 이용하여 상기 대상픽셀의 픽셀값을 구성하는 대상픽셀구성단계를 포함한다.
바람직하게는, 상기 대상선택단계와 상기 이미지픽셀값취득단계의 사이에, 상기 깊이정보지점이 상기 복수의 카메라 이미지 중 2개 이상의 카메라 이미지의 픽셀에 대응되는지 여부를 확인하는 복수대응확인단계를 더 포함하고, 상기 대상픽셀구성단계는 상기 깊이정보지점이 상기 2개 이상의 카메라 이미지의 픽셀에 대응되는 경우, 상기 2개 이상의 카메라 이미지의 픽셀 각각에 소정의 가중치를 부여하여 상기 대상픽셀의 픽셀값을 구성할 수 있다.
바람직하게는, 상기 대상선택단계, 상기 이미지픽셀값취득단계, 상기 복수대응확인단계, 상기 대상픽셀구성단계를 상기 360 이미지에 포함된 모든 픽셀에 대해 반복 적용하여 상기 360 이미지를 생성하는 360이미지생성단계를 더 포함할 수 있다.
바람직하게는, 상기 생성된 360 이미지를 상기 깊이정보에 기반하는 지형정보에 투영하여 상기 공간에 대응되는 가상공간의 3차원 지도를 생성하는 3차원지도생성단계를 더 포함할 수 있다.
바람직하게는, 상기 3차원지도생성단계는 상기 3차원 지도에 대응되는 상기 가상공간의 임의의 시야를 대표하는 360 이미지를 대표이미지로 선정하고, 상기 대표이미지로 표현할 수 없는 유실시야를 표현하기 위해 상기 대표이미지 이외의 적어도 하나의 360 이미지를 보완이미지로 지정하고, 상기 대표이미지와 상기 보완이미지의 정보에 가중치를 부여하여 임의의 시야에 대응하는 투영이미지를 생성하여, 상기 지형정보에 투영함으로써 3차원 지도를 생성할 수 있다.
또한, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 깊이정보를 이용한 360 이미지 제작 장치는 소정의 공간에 대하여 360 이미지를 제작하는 장치에 있어서, 적어도 하나의 카메라를 이용해 촬영된 복수의 카메라 이미지, 상기 복수의 카메라 이미지가 촬영된 카메라의 위치 및 방향에 대한 정보인 포즈정보, 상기 360 이미지의 원점 위치에 대한 정보인 위치정보, 상기 공간에서 측정된 복수의 깊이값에 대응되는 지점에 관한 정보인 깊이정보, 상기 복수의 카메라 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 카메라 모델 및 상기 360 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 360 모델을 포함하는 360 이미지제작정보를 수신하는 수신부; 상기 위치정보, 상기 360 모델 및 상기 깊이정보를 이용하여, 상기 깊이정보에 포함된 복수의 지점 중에서 상기 360 이미지에 포함된 픽셀인 대상픽셀에 대응되는 깊이정보지점을 선택하는 선택부; 상기 포즈정보, 상기 카메라 모델 및 상기 깊이정보를 이용하여, 상기 복수의 카메라 이미지 중에서 상기 깊이정보지점에 대응되는 카메라 이미지의 픽셀의 픽셀값을 취득하는 취득부; 및 상기 취득된 카메라 이미지의 픽셀값을 이용하여 상기 대상픽셀의 픽셀값을 구성하는 구성부를 포함한다.
바람직하게는, 상기 깊이정보지점이 상기 복수의 카메라 이미지 중 2개 이상의 카메라 이미지의 픽셀에 대응되는지 여부를 확인하는 확인부를 더 포함하고, 상기 구성부는 상기 깊이정보지점이 상기 2개 이상의 카메라 이미지의 픽셀에 대응되는 경우, 상기 2개 이상의 카메라 이미지의 픽셀 각각에 소정의 가중치를 부여하여 상기 대상픽셀의 픽셀값을 구성할 수 있다.
바람직하게는, 상기 선택부, 상기 취득부, 상기 확인부 및 상기 구성부를 상기 360 이미지에 포함된 모든 픽셀에 대해 반복 적용하여 상기 360 이미지를 생성하는 생성부를 더 포함할 수 있다.
바람직하게는, 상기 생성부는 상기 생성된 360 이미지를 상기 깊이정보에 기반하는 지형정보에 투영하여 상기 공간에 대응되는 가상공간의 3차원 지도를 더 생성할 수 있다.
바람직하게는, 상기 생성부는 상기 3차원 지도에 대응되는 상기 가상공간의 임의의 시야를 대표하는 360 이미지를 대표이미지로 선정하고, 상기 대표이미지로 표현할 수 없는 유실시야를 표현하기 위해 상기 대표이미지 이외의 적어도 하나의 360 이미지를 보완이미지로 지정하고, 상기 대표이미지와 상기 보완이미지의 정보에 가중치를 부여하여 임의의 시야에 대응하는 투영이미지를 생성하여, 상기 지형정보에 투영함으로써 3차원 지도를 생성할 수 있다.
본 발명의 일 실시예에 따른 이미지 생성 방법 및 장치는, 종래 기술에서 두 대 이상의 카메라가 동일 지점을 촬영하고 이를 그대로 360 이미지로 변환할 때 발생하는 부정합에 대하여, 상기 공간에서 실측된 깊이데이터를 동시에 활용함으로써, 해당 부정합이 발생한 지점에서 왜곡되지 않은 선명한 이미지를 구성할 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따른 360 이미지 생성 방법 및 장치를 통해 생성된 360 이미지는 지형정보를 통해 생성된 이미지이므로, 이를 해당지형에 투영할 경우 이미지와 지형정보가 일치하게 되고 이를 통해 가상공간에서 3차원지도를 구현할 경우 이미지와 지형 간의 부정합으로 인한 왜곡이 발생하지 않는 효과가 있다.
특히, 3차원 지도내의 임의의 시야를 온전히 복원하기 위해, 임의의 시야를 가장 잘 표현하는 대표이미지와, 해당 대표이미지로는 표현할 수 없는 유실시야를 표현하기 위해 보완이미지를 선택하고, 이들 이미지 전체 혹은 일부 픽셀에 가중치를 부여하여 표현하는 방식을 구현할 경우, 본 발명의 일 실시예에 따른 이미지 생성 방법 및 장치를 통해 모든 360 이미지들이 지형정보와 일치되도록 구성할 수 있고, 이로 인해 다수의 360 이미지들이 동시에 적용되는 경우에도 지형정보 기준으로 일관성을 유지하게 되어 보다 선명한 3차원지도를 구현할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 깊이정보를 이용한 정밀한 360 이미지 제작 방법을 설명하기 위한 흐름도이다.
도 2는 구 형태의 기하형상에 투영된 360 이미지이다.
도 3은 상이한 카메라가 취득한 영상이 정확하게 정합되지 않아 중첩된 부분에 왜곡이 발생한 360 파노라믹 이미지이다.
도 4는 이미지와 형상의 불일치로 인해 3차원 지도에서 실내구성물의 일관성이 유지되지 않는 경우를 나타내는 이미지이다.
도 5는 본 발명의 일 실시예에 따른 깊이정보가 주어진 경우를 설명하기 위한 도면이다.
도 6은 종래 기술에 따른 깊이정보가 주어지지 않은 경우 경우를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 깊이정보지점이 두 대 이상의 카메라에 의해 촬영된 경우를 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 깊이정보를 이용한 정밀한 360 이미지 제작 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 깊이정보를 이용한 정밀한 360 이미지 제작 장치를 설명하기 위한 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 깊이정보를 이용한 정밀한 360 이미지 제작 방법을 설명하기 위한 흐름도이다.
단계 S110에서는, 360 이미지 제작 장치가 적어도 하나의 카메라를 이용해 촬영된 복수의 카메라 이미지, 그 복수의 카메라 이미지가 촬영된 카메라의 위치 및 방향에 대한 정보인 포즈정보, 360 이미지의 원점 위치에 대한 정보인 위치정보, 공간에서 측정된 복수의 깊이값에 대응되는 지점에 관한 정보인 깊이정보, 그 복수의 카메라 이미지에 포함된 픽셀과 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 카메라 모델 및 360 이미지에 포함된 픽셀과 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 360 모델을 포함하는 360 이미지제작정보를 수신한다.
이때, 도 5 내지 7을 참조하면, 카메라의 원점의 포즈정보는 특정 카메라 원점(11)에 대한 위치 및 방향을 나타내는 3차원 포즈(pose) 정보일 수 있다. 또한, 360 이미지 원점의 위치정보는 360 이미지의 원점(12)의 3차원 위치정보일 수 있다. 또한, 깊이정보는 카메라가 촬영한 공간에서 특정 좌표계를 기준으로 다수의 실측된 깊이정보(13-18)일 수 있다. 또한, 카메라 이미지는 카메라가 촬영한 카메라 원점(11)에서 촬영한 카메라 이미지(19)일 수 있다. 또한, 카메라 모델은 카메라 이미지(19)내 특정 픽셀값과 깊이정보(13-18) 사이의 대응관계를 도출할 수 있는 정보일 수 있다. 또한, 360 모델은 360 이미지 내 픽셀값과 깊이정보 사이의 대응관계를 구성하는 구성모델(21)일 수 있다.
한편, 카메라원점의 포즈 정보는 3차원에서의 벡터(vector)로 표현될 수도 있고, 폴라(polar)좌표계나 회전매트릭스(rotation matrix), 쿼터니언(Quaternion) 등을 통해서도 표현될 수 있다.
또한, 실측된 깊이정보는 센서를 통해 얻어진 공간 지형정보를 나타내며, 취득 센서의 종류 및 표현 형태에 한정되지 않는다.
보다 구체적으로, 실측된 깊이정보는 포인트클라우드, 메쉬, 깊이 이미지 등의 형태로 나타낼 수 있으며, 다양한 센서를 통해 취득 가능하다. 대표적인 센서로는 Time-of-flight camera와 같은 scannerless 방식, LiDAR, Velodyne과 같은 scanning 방식, LiDAR 등의 레이저를 이용한 거리측정 센서, Kinect, RealSense, Structure Sensor 등과 같은 structured light를 이용한 3D 카메라가 있다. 뿐만 아니라, 단일 카메라 또는 복수의 카메라로 얻은 여러 장의 이미지를 이용한 3D reconstruction 기법을 통해서도 깊이 정보를 측정할 수 있다.
또한, 카메라 모델은 공간내 깊이정보지점(15)이 주어진 경우 이 지점에 연계된 카메라 이미지(19)의 픽셀(24)을 레이케스팅(ray-casting)(20) 기법등을 활용하여 찾아낼 수 있도록 해주는 모델이며, 도 5에서는 핀홀카메라(pin-hole) 카메라 기준의 선형모델을 표현하였으나, 어안렌즈(fish-eye)등을 사용한 경우 각기 다른 모델을 사용할 수 있다.
또한, 360 이미지의 구성모델(21)은 일반적으로 공간을 3차원 구형이나 큐브 등으로 표현하고, 360 이미지의 특정픽셀(22)을 해당 구형이나 큐브 내에서 선택한 경우 해당 특정픽셀(22)이 연계된 공간 내 깊이정보를 레이캐스팅(ray-casting)(23) 기법 등을 활용하여 찾아낼 수 있도록 해주는 모델일 수 있다. 예컨대, 도 5에서는 3차원 큐브를 가정하고, 이의 2차원 투사도를 기반으로 360 이미지 구성모델(21)을 모사하였으나, 어떤 임의의 형상에 특정되지 않는다.
한편, 포즈정보, 위치정보, 깊이정보는 전역 좌표계(global coordinate system)를 기준으로 기술된 값일 수 있으며, 특히 포즈정보와 위치정보는 깊이정보의 기준좌표계를 변환하기 위해 이용될 수 있다.
단계 S120에서는, 360 이미지 제작 장치가 그 위치정보, 360 모델 및 깊이정보를 이용하여, 깊이정보에 포함된 복수의 지점 중에서 360 이미지에 포함된 픽셀인 대상픽셀에 대응되는 깊이정보지점을 선택한다.
즉, 360 이미지 제작 장치는 360 이미지 내 대상픽셀(22)을 특정한 경우에, 360 모델(21)과 깊이정보(13-18)을 동시에 이용하여 그 대상픽셀(22)에 대응되는 깊이정보지점(15)를 선택할 수 있다.
이때, 360 이미지 제작 장치는 전역 좌표계에 기반하는 위치정보와 깊이정보를 이용하여, 깊이정보의 좌표계를 위치정보의 원점 위치를 기준으로 하는 기준좌표계로 변경할 수 있다.
단계 S130에서는, 360 이미지 제작 장치가 그 포즈정보, 카메라 모델 및 깊이정보를 이용하여, 복수의 카메라 이미지 중에서 깊이정보지점에 대응되는 카메라 이미지의 픽셀의 픽셀값을 취득한다.
예컨대, 360 이미지 제작 장치는 카메라 모델을 이용하여 레이케스팅(20)기법 등을 통하여 대응되는 깊이정보지점(15)를 검출하고, 이에 대응되는 카메라이미지픽셀값(24)를 검출할 수 있다.
이때, 360 이미지 제작 장치는 전역 좌표계에 기반하는 포즈정보와 깊이정보를 이용하여, 깊이정보의 좌표계를 포즈정보에 포함된 카메라의 위치 및 방향을 기준으로 하는 기준좌표계로 변경할 수 있다.
마지막으로 단계 S140에서는, 360 이미지 제작 장치가 그 취득된 카메라 이미지의 픽셀값을 이용하여 대상픽셀의 픽셀값을 구성한다.
이때, 종래 기술과 같이 실측된 깊이정보를 이용하지 않는 경우, 도 6과 같이 360 모델(21)만을 사용하면 360 이미지 원점(12)과 360 모델(21)의 관계(27)를 통해 대상픽셀(22)이 찾고, 이에 대응되는 이미지픽셀값(26)을 찾게 되며, 이 경우 실제 이미지픽셀(24)과는 다른 영상정보값이 사용되게 되어 이미지와 깊이정보 간의 왜곡이 발생하게 되는 문제가 있다.
다른 실시예에서는, 360 이미지 제작 장치가 대상선택단계(단계 S120)와 이미지픽셀값취득단계(단계 S130)의 사이에, 깊이정보지점이 복수의 카메라 이미지 중 2개 이상의 카메라 이미지의 픽셀에 대응되는지 여부를 확인(복수대응확인단계)하고, 만일 대응되는 경우, 대상픽셀구성단계(단계 S140)에서 2개 이상의 카메라 이미지의 픽셀 각각에 소정의 가중치를 부여하여 대상픽셀의 픽셀값을 구성할 수 있다.
예컨대, 360 이미지 제작 장치는 도 7에서 깊이정보지점(15)이 서로 다른 두 대 이상의 카메라에 의한 카메라 이미지의 카메라이미지픽셀(24, 30)에 대응되는 것을 확인하는 복수대응확인단계를 추가로 실시할 수 있다.
이 경우, 360 이미지 제작 장치는 각 카메라의 카메라 모델에서 공간 내 깊이정보지점(15)에 대해 이 지점에 연계된 카메라 이미지(19, 28)의 픽셀(24,30)을 레이케스팅(20,29) 기법 등을 활용하여 찾아낼 수 있다.
또한, 360 이미지 제작 장치는 복수대응확인단계에서 2개의 카메라 이미지의 카메라이미지픽셀(24,30)이 대응되는 경우 대상픽셀구성단계에서 대응되는 복수의 카메리아미지픽셀(24,30)에 가중치를 부여하여 대상픽셀(22)의 값을 구성할 수 있다.
또 다른 실시예에서는, 360 이미지 제작 장치가 대상선택단계(S120), 이미지픽셀값취득단계(S130), 복수대응확인단계, 대상픽셀구성단계(S140)를 360 이미지에 포함된 모든 픽셀에 대해 반복 적용하여 360 이미지를 생성할 수 있다.
즉, 360 이미지 제작 장치가 360 이미지에 포함된 모든 픽셀에 대하여 대상선택단계(S120), 이미지픽셀값취득단계(S130), 복수대응확인단계, 대상픽셀구성단계(S140)를 반복 적용하여 360 이미지를 생성할 수 있다.
또 다른 실시예에서는, 360 이미지 제작 장치가 그 생성된 360 이미지를 지형정보에 투영하여 가상공간 내 3차원 지도를 생성할 수 있다.
즉, 360 이미지 제작 장치가 그 생성된 360 이미지를 지형정보에 투영하여 가상공간 내 3차원 지도를 생성할 수 있다.
또 다른 실시예에서는, 360 이미지 제작 장치가 대표이미지와 보완이미지를 이용하여 투영이미지를 생성할 수 있다.
즉, 360 이미지 제작 장치가 3차원 지도를 표현함에 있어서 3차원 지도가 있는 가상공간의 임의 시야에 대해 해당 시야를 가장 잘 표현할 수 있는 360이미지를 대표이미지로 선정할 수 있다. 그리고, 360 이미지 제작 장치가 그 대표이미지로 표현할 수 없는 유실시야를 표현하기 위해 대표이미지 이외의 적어도 하나의 360 이미지를 보완이미지로 지정할 수 있다. 또한, 360 이미지 제작 장치가 그 대표이미지와 보완이미지의 정보에 가중치를 부여하여 임의의 시야에 대응하는 투영이미지를 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따른 깊이정보를 이용한 정밀한 360 이미지 제작 장치를 설명하기 위한 블록도이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 깊이정보를 이용한 정밀한 360 이미지 제작 장치(900)는 수신부(910), 선택부(920), 취득부(930) 및 구성부(940)를 포함할 수 있다. 또한, 선택적으로 확인부(미도시) 및 생성부(미도시)를 더 포함할 수 있다.
수신부(910)는 적어도 하나의 카메라를 이용해 촬영된 복수의 카메라 이미지, 복수의 카메라 이미지가 촬영된 카메라의 위치 및 방향에 대한 정보인 포즈정보, 360 이미지의 원점 위치에 대한 정보인 위치정보, 공간에서 측정된 복수의 깊이값에 대응되는 지점에 관한 정보인 깊이정보, 복수의 카메라 이미지에 포함된 픽셀과 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 카메라 모델 및 360 이미지에 포함된 픽셀과 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 360 모델을 포함하는 360 이미지제작정보를 수신한다.
선택부(920)는 위치정보, 360 모델 및 깊이정보를 이용하여, 깊이정보에 포함된 복수의 지점 중에서 360 이미지에 포함된 픽셀인 대상픽셀에 대응되는 깊이정보지점을 선택한다.
취득부(930)는 포즈정보, 카메라 모델 및 깊이정보를 이용하여, 복수의 카메라 이미지 중에서 깊이정보지점에 대응되는 카메라 이미지의 픽셀의 픽셀값을 취득한다.
구성부(940)는 그 취득된 카메라 이미지의 픽셀값을 이용하여 대상픽셀의 픽셀값을 구성한다.
확인부(미도시)는 그 깊이정보지점이 복수의 카메라 이미지 중 2개 이상의 카메라 이미지의 픽셀에 대응되는지 여부를 확인한다.
이때, 구성부(940)는 그 깊이정보지점이 2개 이상의 카메라 이미지의 픽셀에 대응되는 경우, 2개 이상의 카메라 이미지의 픽셀 각각에 소정의 가중치를 부여하여 대상픽셀의 픽셀값을 구성할 수 있다.
생성부(미도시)는 선택부(910), 취득부(920), 확인부(미도시) 및 구성부(940)를 360 이미지에 포함된 모든 픽셀에 대해 반복 적용하여 360 이미지를 생성한다.
다른 실시예에서는, 생성부(미도시)는 생성된 360 이미지를 깊이정보에 기반하는 지형정보에 투영하여 공간에 대응되는 가상공간의 3차원 지도를 더 생성할 수 있다.
또 다른 실시예에서는, 생성부(미도시)는 3차원 지도에 대응되는 가상공간의 임의의 시야를 대표하는 360 이미지를 대표이미지로 선정하고, 그 대표이미지로 표현할 수 없는 유실시야를 표현하기 위해 대표이미지 이외의 적어도 하나의 360 이미지를 보완이미지로 지정하고, 대표이미지와 보완이미지의 정보에 가중치를 부여하여 임의의 시야에 대응하는 투영이미지를 생성하여, 지형정보에 투영함으로써 3차원 지도를 생성할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 소정의 공간에 대하여 360 이미지를 제작하는 방법에 있어서,
    적어도 하나의 카메라를 이용해 촬영된 복수의 카메라 이미지, 상기 복수의 카메라 이미지가 촬영된 카메라의 위치 및 방향에 대한 정보인 포즈정보, 상기 360 이미지의 원점 위치에 대한 정보인 위치정보, 상기 공간에서 측정된 복수의 깊이값에 대응되는 지점에 관한 정보인 깊이정보, 상기 복수의 카메라 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 카메라 모델 및 상기 360 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 360 모델을 포함하는 360 이미지제작정보를 수신하는 정보수신단계;
    상기 위치정보, 상기 360 모델 및 상기 깊이정보를 이용하여, 상기 깊이정보에 포함된 복수의 지점 중에서 상기 360 이미지에 포함된 픽셀인 대상픽셀에 대응되는 깊이정보지점을 선택하는 대상선택단계;
    상기 포즈정보, 상기 카메라 모델 및 상기 깊이정보를 이용하여, 상기 복수의 카메라 이미지 중에서 상기 깊이정보지점에 대응되는 카메라 이미지의 픽셀의 픽셀값을 취득하는 이미지픽셀값취득단계; 및
    상기 취득된 카메라 이미지의 픽셀값을 이용하여 상기 대상픽셀의 픽셀값을 구성하는 대상픽셀구성단계
    를 포함하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 방법.
  2. 제1항에 있어서,
    상기 대상선택단계와 상기 이미지픽셀값취득단계의 사이에,
    상기 깊이정보지점이 상기 복수의 카메라 이미지 중 2개 이상의 카메라 이미지의 픽셀에 대응되는지 여부를 확인하는 복수대응확인단계를 더 포함하고,
    상기 대상픽셀구성단계는
    상기 깊이정보지점이 상기 2개 이상의 카메라 이미지의 픽셀에 대응되는 경우, 상기 2개 이상의 카메라 이미지의 픽셀 각각에 소정의 가중치를 부여하여 상기 대상픽셀의 픽셀값을 구성하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 방법.
  3. 제2항에 있어서,
    상기 대상선택단계, 상기 이미지픽셀값취득단계, 상기 복수대응확인단계, 상기 대상픽셀구성단계를 상기 360 이미지에 포함된 모든 픽셀에 대해 반복 적용하여 상기 360 이미지를 생성하는 360이미지생성단계를 더 포함하는 것을 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 방법.
  4. 제3항에 있어서,
    상기 생성된 360 이미지를 상기 깊이정보에 기반하는 지형정보에 투영하여 상기 공간에 대응되는 가상공간의 3차원 지도를 생성하는 3차원지도생성단계를 더 포함하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 방법.
  5. 제4항에 있어서,
    상기 3차원지도생성단계는
    상기 3차원 지도에 대응되는 상기 가상공간의 임의의 시야를 대표하는 360 이미지를 대표이미지로 선정하고, 상기 대표이미지로 표현할 수 없는 유실시야를 표현하기 위해 상기 대표이미지 이외의 적어도 하나의 360 이미지를 보완이미지로 지정하고,
    상기 대표이미지와 상기 보완이미지의 정보에 가중치를 부여하여 임의의 시야에 대응하는 투영이미지를 생성하여, 상기 지형정보에 투영함으로써 3차원 지도를 생성하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 방법.
  6. 소정의 공간에 대하여 360 이미지를 제작하는 장치에 있어서,
    적어도 하나의 카메라를 이용해 촬영된 복수의 카메라 이미지, 상기 복수의 카메라 이미지가 촬영된 카메라의 위치 및 방향에 대한 정보인 포즈정보, 상기 360 이미지의 원점 위치에 대한 정보인 위치정보, 상기 공간에서 측정된 복수의 깊이값에 대응되는 지점에 관한 정보인 깊이정보, 상기 복수의 카메라 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 카메라 모델 및 상기 360 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 360 모델을 포함하는 360 이미지제작정보를 수신하는 수신부;
    상기 위치정보, 상기 360 모델 및 상기 깊이정보를 이용하여, 상기 깊이정보에 포함된 복수의 지점 중에서 상기 360 이미지에 포함된 픽셀인 대상픽셀에 대응되는 깊이정보지점을 선택하는 선택부;
    상기 포즈정보, 상기 카메라 모델 및 상기 깊이정보를 이용하여, 상기 복수의 카메라 이미지 중에서 상기 깊이정보지점에 대응되는 카메라 이미지의 픽셀의 픽셀값을 취득하는 취득부; 및
    상기 취득된 카메라 이미지의 픽셀값을 이용하여 상기 대상픽셀의 픽셀값을 구성하는 구성부
    를 포함하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 장치.
  7. 제6항에 있어서,
    상기 깊이정보지점이 상기 복수의 카메라 이미지 중 2개 이상의 카메라 이미지의 픽셀에 대응되는지 여부를 확인하는 확인부를 더 포함하고,
    상기 구성부는
    상기 깊이정보지점이 상기 2개 이상의 카메라 이미지의 픽셀에 대응되는 경우, 상기 2개 이상의 카메라 이미지의 픽셀 각각에 소정의 가중치를 부여하여 상기 대상픽셀의 픽셀값을 구성하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 장치.
  8. 제7항에 있어서,
    상기 선택부, 상기 취득부, 상기 확인부 및 상기 구성부를 상기 360 이미지에 포함된 모든 픽셀에 대해 반복 적용하여 상기 360 이미지를 생성하는 생성부를 더 포함하는 것을 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 장치.
  9. 제8항에 있어서,
    상기 생성부는
    상기 생성된 360 이미지를 상기 깊이정보에 기반하는 지형정보에 투영하여 상기 공간에 대응되는 가상공간의 3차원 지도를 더 생성하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 장치.
  10. 제9항에 있어서,
    상기 생성부는
    상기 3차원 지도에 대응되는 상기 가상공간의 임의의 시야를 대표하는 360 이미지를 대표이미지로 선정하고, 상기 대표이미지로 표현할 수 없는 유실시야를 표현하기 위해 상기 대표이미지 이외의 적어도 하나의 360 이미지를 보완이미지로 지정하고,
    상기 대표이미지와 상기 보완이미지의 정보에 가중치를 부여하여 임의의 시야에 대응하는 투영이미지를 생성하여, 상기 지형정보에 투영함으로써 3차원 지도를 생성하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 장치.
PCT/KR2019/013030 2018-10-04 2019-10-04 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법 WO2020071849A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/638,224 US20200286205A1 (en) 2018-10-04 2019-10-04 Precise 360-degree image producing method and apparatus using actual depth information
KR1020217010004A KR102467556B1 (ko) 2018-10-04 2019-10-04 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0118379 2018-10-04
KR20180118379 2018-10-04

Publications (1)

Publication Number Publication Date
WO2020071849A1 true WO2020071849A1 (ko) 2020-04-09

Family

ID=70054880

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/013030 WO2020071849A1 (ko) 2018-10-04 2019-10-04 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법

Country Status (3)

Country Link
US (1) US20200286205A1 (ko)
KR (1) KR102467556B1 (ko)
WO (1) WO2020071849A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102339472B1 (ko) * 2020-12-23 2021-12-16 고려대학교 산학협력단 3차원 공간 모델 생성 방법 및 장치
CN112883494B (zh) * 2021-03-17 2022-07-19 清华大学 自行车三维模型重建方法和装置
WO2023241782A1 (en) * 2022-06-13 2023-12-21 Telefonaktiebolaget Lm Ericsson (Publ) Determining real-world dimension(s) of a three-dimensional space

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110004267A (ko) * 2009-07-06 2011-01-13 삼성전자주식회사 깊이 맵 생성 장치 및 방법
KR20170007098A (ko) * 2015-07-08 2017-01-18 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
WO2017031117A1 (en) * 2015-08-17 2017-02-23 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9619691B2 (en) * 2014-03-07 2017-04-11 University Of Southern California Multi-view 3D object recognition from a point cloud and change detection
WO2017120506A1 (en) * 2016-01-06 2017-07-13 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879828B2 (en) * 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
US10127722B2 (en) * 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110004267A (ko) * 2009-07-06 2011-01-13 삼성전자주식회사 깊이 맵 생성 장치 및 방법
US9619691B2 (en) * 2014-03-07 2017-04-11 University Of Southern California Multi-view 3D object recognition from a point cloud and change detection
KR20170007098A (ko) * 2015-07-08 2017-01-18 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
WO2017031117A1 (en) * 2015-08-17 2017-02-23 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
WO2017120506A1 (en) * 2016-01-06 2017-07-13 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables

Also Published As

Publication number Publication date
KR20210046799A (ko) 2021-04-28
KR102467556B1 (ko) 2022-11-17
US20200286205A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
JP6951595B2 (ja) 住宅のデータ収集およびモデル生成方法
CN110427917B (zh) 用于检测关键点的方法和装置
WO2020071849A1 (ko) 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법
JP7059355B2 (ja) シーンの表現を生成するための装置及び方法
CN110874864A (zh) 获取对象三维模型的方法、装置、电子设备及系统
CN110728671B (zh) 基于视觉的无纹理场景的稠密重建方法
WO2012176945A1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
CN100417231C (zh) 立体视觉半实物仿真系统及方法
CN110675483B (zh) 基于稠密视觉slam的无人机三维地图快速重建方法
CN104634276A (zh) 三维测量系统、拍摄设备和方法、深度计算方法和设备
JP2020506487A (ja) シーンから深度情報を取得するための装置および方法
CN108020827A (zh) 移动成像平台校准
CN109559349A (zh) 一种用于标定的方法和装置
CN109658497B (zh) 一种三维模型重建方法及装置
CN106767526A (zh) 一种基于激光mems振镜投影的彩色多线激光三维测量方法
CN107067428A (zh) 增强现实投影装置及方法
CN110337674A (zh) 三维重建方法、装置、设备及存储介质
CN110675484A (zh) 一种基于复眼相机的具有时空一致性的动态三维数字场景构建方法
CN115457594A (zh) 一种三维人体姿态估计方法、系统、存储介质和电子设备
JP7241812B2 (ja) 情報可視化システム、情報可視化方法、及びプログラム
Martell et al. Benchmarking structure from motion algorithms of urban environments with applications to reconnaissance in search and rescue scenarios
CN107103141A (zh) 一种三维现场数据采集的系统
CN110619665A (zh) 虚拟仿真环境下双目相机的标定及验证方法
CN116051876A (zh) 三维数字化模型的相机阵列目标识别方法及系统
CN114463520A (zh) 一种实现虚拟现实vr漫游的方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19869818

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217010004

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19869818

Country of ref document: EP

Kind code of ref document: A1