KR102515405B1 - Providing Method of 3-dimension map for Augmented Reality contents used by Kinect devices and electronic device supporting the same - Google Patents
Providing Method of 3-dimension map for Augmented Reality contents used by Kinect devices and electronic device supporting the same Download PDFInfo
- Publication number
- KR102515405B1 KR102515405B1 KR1020210152942A KR20210152942A KR102515405B1 KR 102515405 B1 KR102515405 B1 KR 102515405B1 KR 1020210152942 A KR1020210152942 A KR 1020210152942A KR 20210152942 A KR20210152942 A KR 20210152942A KR 102515405 B1 KR102515405 B1 KR 102515405B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- kinet
- subject
- depth
- rgb image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000003190 augmentative effect Effects 0.000 title description 4
- 238000005259 measurement Methods 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 3D 공간 맵 지원에 관한 것으로서, 더욱 상세하게는 Kinect을 이용하여 AR 콘텐츠로 이용할 수 있는 3D 공간 맵을 제공할 수 있는 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치에 관한 것이다.The present invention relates to 3D space map support, and more particularly, to a 3D space map support method capable of providing a 3D space map usable as AR content using Kinect and an electronic device supporting the same.
가상현실(Virtual Reality: VR) 및 증강현실(Augmented Reality: AR)이 등장한 이후, 스마트폰 애플리케이션을 다양한 관심이 증가하는 가운데, 증강현실과 관련한 기술은 다양한 분야 예컨대, 교육 및 상업적으로 활용되고 있다. Since the advent of virtual reality (VR) and augmented reality (AR), various interests in smartphone applications have increased, and technology related to augmented reality has been utilized in various fields, such as education and commercial use.
한편, 증강 현실의 경우, 카메라가 촬영한 영상을 이용하여 AR 콘텐츠를 생성하기 때문에, 카메라가 촬영한 영상을 기반으로 정밀한 3D 공간 맵을 구축할 필요가 있다. 그리고 정밀한 3D 공간 맵을 구축하기 위해서는 거리 검출이 가능한 디바이스로 공간 스캔을 진행해야 한다. 현재 이런 정밀한 3D 공간 맵을 구축하기 위해서는, 라이다 센서나 레이저 스캐너 등, 정밀한 거리 검출이 가능한 장치가 필요하다. 그런데 이러한 장치들은 고가에 부피가 크고, 운용을 위해서 전문 지식이 필요하다. 또한, 해당 장비들의 설치와 운용에 있어서, 많은 시간과 노력이 필요하기 때문에, 가벼운 AR 콘텐츠 사용을 위한 일상 공간 지도 작성에는 적합하지 않다.On the other hand, in the case of augmented reality, since AR content is created using an image captured by a camera, it is necessary to build a precise 3D space map based on an image captured by a camera. In addition, in order to build a precise 3D space map, a spatial scan must be performed with a device capable of detecting a distance. Currently, in order to build such a precise 3D spatial map, a device capable of precise distance detection, such as a lidar sensor or a laser scanner, is required. However, these devices are expensive, bulky, and require specialized knowledge for operation. In addition, since a lot of time and effort are required in installing and operating the corresponding equipment, it is not suitable for creating a map of everyday space for light AR content use.
상술한 문제점을 해결하기 위하여, 본 발명은 AR 콘텐츠용 3D 공간 지도 작성을 위해 2대의 Kinect 장치들을 이용하여 쉽고 빠르게 공간 정보를 추출할 수 있도록 하는 Kinect 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치를 제공함에 있다.In order to solve the above problems, the present invention provides a method for supporting a 3D space map for AR content using Kinect devices that enables easy and quick extraction of spatial information using two Kinect devices to create a 3D space map for AR content, and It is to provide an electronic device supporting this.
한편, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.On the other hand, the object of the present invention is not limited to the above object, and other objects not mentioned will be clearly understood from the description below.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵을 지원하는 전자 장치는 제1 키넷 장치 및 제2 키넷 장치와 연결되는 카메라 인터페이스, 상기 제1 키넷 장치 및 상기 제2 키넷 장치가 전달하는 이미지들을 저장하는 메모리, 상기 카메라 인터페이스 및 상기 메모리와 기능적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 제1 키넷 장치로부터 피사체에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 획득하면서, 제2 키넷 장치를 이용하여 상기 피사체와 동일한 피사체에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 획득하고, 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 이용하여 상기 피사체에 대한 공간 정보를 추출하고, 상기 제1 Depth 이미지 및 상기 제2 Depth 이미지를 이용하여 상기 피사체에 대한 깊이 오차를 검출하고, 상기 검출된 깊이 오차를 이용하여 상기 공간 정보를 보정하여 상기 피사체에 대한 3D 공간 맵을 구성하여 상기 메모리에 저장하도록 설정된 것을 특징으로 한다. An electronic device supporting a 3D space map for AR content using the Kinet devices of the present invention to achieve the above object is a camera interface connected to a first Kinet device and a second Kinet device, the first Kinet device and the A memory for storing images transmitted by a second Kinet device, the camera interface, and a processor functionally connected to the memory, wherein the processor receives a first RGB image and a first depth image of a subject from the first Kinet device. While acquiring, a second RGB image and a second depth image of the same subject as the subject are obtained using a second Kinet device, and spatial information on the subject is obtained using the first RGB image and the second RGB image. , detecting a depth error for the subject using the first depth image and the second depth image, and correcting the spatial information using the detected depth error to obtain a 3D space map for the subject It is characterized in that it is set to configure and store in the memory.
여기서, 상기 프로세서는 상기 공간 정보를 추출하는 과정 중에 상기 제1 RGB 이미지와 상기 제2 RGB 이미지에 대한 노이즈 필터링을 수행하고, 상기 제1 RGB 이미지와 상기 제2 RGB 이미지를 이용하여 이미지 변화량을 산출하고, 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 대한 특징점을 추출하고, 이전 저장된 이미지와 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지들을 비교하여 특징점 매칭을 수행하고, 상기 특징점 매칭을 기반으로 상기 피사체에 대한 공간 정보를 추출하도록 설정된 것을 특징으로 한다.Here, the processor performs noise filtering on the first RGB image and the second RGB image during the process of extracting the spatial information, and calculates an image change amount using the first RGB image and the second RGB image. and extracts feature points for the first RGB image and the second RGB image, performs feature point matching by comparing previously stored images with the first RGB image and the second RGB image, and based on the feature point matching It is characterized in that it is set to extract spatial information about the subject.
추가로, 상기 프로세서는 상기 특징점을 추출하는 과정 중에 상기 이미지 변화량을 산출하는 단계에서 이미지 변화량이 지정된 크기 이상인 객체에 대한 특징점을 추출하도록 설정된 것을 특징으로 한다.In addition, the processor may be set to extract feature points for an object whose image change amount is greater than or equal to a designated size in the step of calculating the image change amount during the process of extracting the feature points.
또한, 상기 프로세서는 상기 특징점 매칭을 기반으로 상기 피사체의 움직임을 추적하고, 이전 이미지에서 추적된 움직임을 기반으로 실공간 위치를 산출하도록 설정될 수 있다.In addition, the processor may be configured to track the motion of the subject based on the feature point matching and to calculate a real-space position based on the motion tracked in a previous image.
추가로, 상기 프로세서는 상기 깊이 오차를 검출하는 과정에서 중에 상기 피사체 기준 수평 방향의 측정 오차와 상기 피사체 기준 수직 방향의 측정 오차를 산출하고, 상기 측정 오차들의 중간 값을 상기 오차에 대한 보정값으로 적용하도록 설정된 것을 특징으로 한다.Additionally, during the process of detecting the depth error, the processor calculates a measurement error in a horizontal direction relative to the subject and a measurement error in a vertical direction relative to the subject, and uses a median value of the measurement errors as a correction value for the error. It is characterized by being set to apply.
본 발명의 키넷(Kinect) 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법은, 제1 키넷 장치를 이용하여 피사체에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 획득하면서, 제2 키넷 장치를 이용하여 상기 피사체와 동일한 피사체에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 획득하는 단계, 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 이용하여 상기 피사체에 대한 공간 정보를 추출하는 단계, 상기 제1 Depth 이미지 및 상기 제2 Depth 이미지를 이용하여 상기 피사체에 대한 깊이 오차를 검출하는 단계, 상기 검출된 깊이 오차를 이용하여 상기 공간 정보를 보정하여 상기 피사체에 대한 3D 공간 맵을 구성하는 단계를 포함하는 것을 특징으로 한다.A method for supporting a 3D space map for AR content using Kinect devices of the present invention is a method for obtaining a first RGB image and a first depth image of a subject using a first Kinect device, and using a second Kinect device to obtain a first RGB image and a first depth image. Acquiring a second RGB image and a second depth image of a subject identical to the subject, extracting spatial information of the subject using the first RGB image and the second RGB image, and the first Depth image. Detecting a depth error of the subject using an image and the second depth image, and constructing a 3D space map of the subject by correcting the spatial information using the detected depth error. to be characterized
여기서, 상기 공간 정보를 추출하는 단계는 상기 제1 RGB 이미지와 상기 제2 RGB 이미지에 대한 노이즈 필터링을 수행하는 단계, 상기 제1 RGB 이미지와 상기 제2 RGB 이미지를 이용하여 이미지 변화량을 산출하는 단계, 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 대한 특징점을 추출하는 단계, 이전 저장된 이미지와 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지들을 비교하여 특징점 매칭을 수행하는 단계, 상기 특징점 매칭을 기반으로 상기 피사체에 대한 공간 정보를 추출하는 단계를 포함하는 것을 특징으로 한다.Here, the step of extracting the spatial information includes performing noise filtering on the first RGB image and the second RGB image, and calculating an image change amount using the first RGB image and the second RGB image. , Extracting feature points for the first RGB image and the second RGB image, performing feature point matching by comparing previously stored images with the first RGB image and the second RGB images, based on the feature point matching It is characterized in that it comprises the step of extracting spatial information on the subject as.
또한, 상기 특징점을 추출하는 단계는 상기 이미지 변화량을 산출하는 단계에서 이미지 변화량이 지정된 크기 이상인 객체에 대한 특징점을 추출하는 단계를 포함하는 것을 특징으로 한다.In addition, the step of extracting the feature points may include extracting feature points of an object having a size or more in which the amount of image change is specified in the step of calculating the amount of change in the image.
추가로, 상기 방법은 상기 특징점 매칭을 기반으로 상기 피사체의 움직임을 추적하고, 이전 이미지에서 추적된 움직임을 기반으로 실공간 위치를 산출하는 단계를 더 포함하는 것을 특징으로 한다.Additionally, the method may further include tracking a motion of the subject based on the feature point matching, and calculating a real-space position based on the motion tracked in a previous image.
한편, 상기 깊이 오차를 검출하는 단계는 상기 피사체 기준 수평 방향의 측정 오차와 상기 피사체 기준 수직 방향의 측정 오차를 산출하는 단계 및 상기 측정 오차들의 중간 값을 상기 오차에 대한 보정값으로 적용하는 단계를 포함하는 것을 특징으로 한다.Meanwhile, the detecting of the depth error includes calculating a measurement error in a horizontal direction relative to the subject and a measurement error in a vertical direction relative to the subject, and applying a median value of the measurement errors as a correction value for the error. It is characterized by including.
본 발명에 따르면, 본 발명은 여러 위치에 대한 깊이 카메라 출력 결과들의 오차들을 최소화 하는 알고리즘을 이용하여 평균 오차를 줄이고 Stereo 카메라의 중앙에 가상의 카메라 위치에서 검출한 깊이 정보처럼 2장의 Depth 이미지를 병합하여 카메라의 정밀 위치 및 그 위치에서의 깊이 정보를 통해 주변 공간에 대한 3D 공간 지도를 작성할 수 있도록 지원한다.According to the present invention, the present invention reduces the average error by using an algorithm that minimizes errors of depth camera output results for various positions and merges two depth images like depth information detected from a virtual camera position in the center of a stereo camera. It supports the creation of a 3D space map for the surrounding space through the precise location of the camera and the depth information at that location.
아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.In addition, various effects other than the above effects may be disclosed directly or implicitly in detailed descriptions according to embodiments of the present invention to be described later.
도 1은 본 발명의 실시 예에 따른 Kinect을 이용한 AR 콘텐츠용 3D 공간 맵 구성 환경의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 키넷 장치들 중 적어도 하나의 키넷 장치의 세부 구성의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 키넷 장치들을 통해 획득되는 이미지들의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 3D 공간 맵 구성을 위한 정보 처리의 한 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 전자 장치의 깊이 오차 검출을 설명하는 도면이다.
도 6은 본 발명의 실시 예에 따른 전자 장치의 깊이 오차 검출에 따른 오차 보정을 설명하는 도면이다.
도 7은 본 발명의 실시 예에 따른 AR 콘텐츠용 3D 공간 맵 구성 방법의 한 예를 나타낸 도면이다. 1 is a diagram showing an example of a 3D space map construction environment for AR content using Kinect according to an embodiment of the present invention.
2 is a diagram showing an example of a detailed configuration of at least one Kinet device among Kinet devices according to an embodiment of the present invention.
3 is a diagram showing an example of images acquired through Kinet devices according to an embodiment of the present invention.
4 is a diagram illustrating an example of information processing for constructing a 3D space map according to an embodiment of the present invention.
5 is a diagram illustrating depth error detection in an electronic device according to an embodiment of the present invention.
6 is a diagram illustrating error correction according to depth error detection of an electronic device according to an embodiment of the present invention.
7 is a diagram illustrating an example of a method of constructing a 3D space map for AR content according to an embodiment of the present invention.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.In order to clarify the characteristics and advantages of the problem solving means of the present invention, the present invention will be described in more detail with reference to specific embodiments of the present invention shown in the accompanying drawings.
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.However, detailed descriptions of well-known functions or configurations that may obscure the gist of the present invention will be omitted in the following description and accompanying drawings. In addition, it should be noted that the same components are indicated by the same reference numerals throughout the drawings as much as possible.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the following description and drawings should not be construed as being limited to a common or dictionary meaning, and the inventor may appropriately define the concept of terms for explaining his/her invention in the best way. It should be interpreted as a meaning and concept consistent with the technical idea of the present invention based on the principle that there is. Therefore, the embodiments described in this specification and the configurations shown in the drawings are only one of the most preferred embodiments of the present invention, and do not represent all of the technical ideas of the present invention. It should be understood that there may be equivalents and variations.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.In addition, terms including ordinal numbers, such as first and second, are used to describe various components, and are used only for the purpose of distinguishing one component from other components, and to limit the components. Not used. For example, a second element may be termed a first element, and similarly, a first element may be termed a second element, without departing from the scope of the present invention.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In addition, terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In addition, terms such as "include" or "having" described in this specification are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or the other It should be understood that the above does not preclude the possibility of the presence or addition of other features, numbers, steps, operations, components, parts, or combinations thereof.
또한, 명세서에 기재된 "부", "기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.In addition, terms such as “unit”, “unit”, and “module” described in the specification refer to a unit that processes at least one function or operation, and may be implemented as hardware or software or a combination of hardware and software. Also, "a or an", "one", "the" and similar related words in the context of describing the invention (particularly in the context of the claims below) Unless indicated or otherwise clearly contradicted by context, both the singular and the plural can be used.
상술한 용어들 이외에, 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.In addition to the above-mentioned terms, specific terms used in the following description are provided to aid understanding of the present invention, and the use of these specific terms may be changed in other forms without departing from the technical spirit of the present invention.
아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.In addition, embodiments within the scope of the present invention include computer-readable media having or conveying computer-executable instructions or data structures stored thereon. Such computer readable media can be any available media that can be accessed by a general purpose or special purpose computer system. By way of example, such computer readable media may be in the form of RAM, ROM, EPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage, or computer executable instructions, computer readable instructions or data structures. physical storage media such as, but not limited to, any other medium that can be used to store or convey any program code means in a computer system and which can be accessed by a general purpose or special purpose computer system. .
이하 설명에서 키넷 장치들은 예컨대, MS Kinect 장치들일 수 있다. MS 키넷 장치들은 RGB 카메라와 Depth 카메라가 합쳐진 형태로 자체 소프트웨어를 통해 두 종류의 카메라를 통해 얻은 정보를 동일한 스케일로 보정한 출력 이미지를 얻을 수 있다. 따라서 본 발명에서는, 2대의 Kinect를 이용하여 이미지 기반의 3D 위치 검출 알고리즘을 이용해 현재 카메라의 정밀 위치를 계산하고 2대의 Depth 카메라를 통해 얻은 깊이 값을 보정하여 해당 위치에서의 정밀 깊이 결과물로 합치는 기술을 제공한다.In the following description, Kinet devices may be, for example, MS Kinect devices. MS Kinet devices are a combination of an RGB camera and a depth camera, and through their own software, the output image obtained by correcting the information obtained through the two types of cameras to the same scale can be obtained. Therefore, in the present invention, the precise position of the current camera is calculated using an image-based 3D position detection algorithm using two Kinects, and the depth values obtained through the two depth cameras are corrected to combine them into a precise depth result at the corresponding position. provide technology.
이하, 각 도면들을 통하여, 본 발명을 구성하는 시스템과 장치 및 방법 등에 대해서 보다 상세히 설명하기로 한다.Hereinafter, the system, apparatus and method constituting the present invention will be described in more detail through each drawing.
도 1은 본 발명의 실시 예에 따른 Kinect을 이용한 AR 콘텐츠용 3D 공간 맵 구성 환경의 한 예를 나타낸 도면이다.1 is a diagram showing an example of a 3D space map construction environment for AR content using Kinect according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 AR 콘텐츠용 3D 공간 맵 구성 환경(10)은 피사체(11) 및 전자 장치(100)를 포함할 수 있다.Referring to FIG. 1 , a 3D space
상기 피사체(11)는 상기 전자 장치(100)에 의하여 촬영되고, AR 콘텐츠용으로 사용될 수 있는 물체나 배경, 인물, 동물, 구조물 등 다양한 실물 객체를 포함할 수 있다. 도시된 도면에서 피사체(11)는 의자 형상으로 예시하였으나, 본 발명이 이에 한정되는 것은 아니다. 또한, 본 발명의 피사체(11)는 하나의 실물 객체뿐만 아니라 복수개의 실물 객체를 포함할 수 있다. The subject 11 may include various real objects such as objects, backgrounds, people, animals, structures, etc. that are photographed by the
상기 전자 장치(100)는 상기 피사체(11)에 관한 영상을 획득하고, 획득된 영상에 대한 특징점 추출 및 좌표 산출을 수행하고, 이를 기반으로 적어도 피사체(11)를 포함하는 AR 콘텐츠용 3D 공간 맵을 구성할 수 있다. 이 과정에서 상기 전자 장치(100)는 피사체(11)에 관한 상대적으로 정밀한 3D 공간 맵을 구성하기 위하여 복수개의 키넷(Kinect) 장치들(121, 122)을 이용하여, 오차 보정을 수행할 수 있다. 이러한 전자 장치(100)는 예컨대, 제1 키넷 장치(121) 및 제2 키넷 장치(122), 카메라 인터페이스(120), 통신 인터페이스(), 디스플레이(130), 메모리(140) 및 프로세서(160)를 포함할 수 있다. 한편, 상기 전자 장치(100) 구성에서 상기 제1 키넷 장치(121)와 제2 키넷 장치(122)는 탈착 가능한 구성으로 마련되거나 또는 별도의 구성으로 마련될 수 있다. 이 경우, 상기 전자 장치(100) 구성은 상기 제1 키넷 장치(121) 및 상기 제2 키넷 장치(122)를 제외한 구성을 포함할 수도 있다. The
상기 제1 키넷 장치(121)는 적어도 피사체(11)를 포함하는 복수의 촬영 이미지를 획득할 수 있다. 상기 복수의 촬영 이미지는 예컨대, 상기 피사체(11)에 대한 RGB 이미지 및 상기 피사체(11)에 대한 깊이 정보를 포함하는 Depth 이미지를 포함할 수 있다. 상기 제1 키넷 장치(121)는 획득된 복수의 촬영 이미지들을 카메라 인터페이스(120)를 통하여 프로세서(160)에 전달할 수 있다. The
상기 제2 키넷 장치(122)는 지정된 위치(예: 제1 키넷 장치(121)가 피사체(11)를 촬영할 수 있는 제1 위치에 배치되는 경우, 상기 제1 위치와 일정 거리 이격된 지정된 제2 위치 또는 제1 위치에 인접된 위치)에 배치될 수 있다. 상기 제2 키넷 장치(122)는 상기 제1 키넷 장치(121)와 동일한 피사체(11)에 대한 복수의 촬영 이미지를 획득할 수 있다. 상기 제2 키넷 장치(122)는 상기 제1 키넷 장치(121)와 실질적으로 동일한 또는 유사한 카메라 모듈들을 포함할 수 있다. 이에 따라, 제2 키넷 장치(122)는 피사체(11)에 대한 RGB 이미지 및 Depth 이미지를 획득하고, 카메라 인터페이스(120)를 통하여 상기 프로세서(160)에 전달할 수 있다. The
상기 카메라 인터페이스(120)는 상기 제1 키넷 장치(121) 및 제2 키넷 장치(122)와 프로세서(160)를 연결하는 인터페이싱 역할을 수행할 수 있다. 또한, 카메라 인터페이스(120)는 프로세서(160)의 제어 신호를 제1 키넷 장치(121) 및 제2 키넷 장치(122)에 전달할 수 있다. 상기 카메라 인터페이스(120)는 상기 프로세서(160) 제어에 대응하여 제1 키넷 장치(121) 및 제2 키넷 장치(122)의 턴-온/턴-오프를 제어하고, 제1 키넷 장치(121) 및 제2 키넷 장치(122)의 동기화를 제어할 수 있다. The
상기 통신 인터페이스(110)는 상기 전자 장치(100)의 통신 기능을 지원할 수 있다. 예컨대, 상기 통신 인터페이스(110)는 상기 프로세서(160) 제어(또는 사용자 입력)에 대응하여 특정 서버 장치와 통신 채널을 형성할 수 있다. 상기 통신 인터페이스(110)는 프로세서(160) 제어에 대응하여 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 통해 획득한 이미지들을 기반으로 생성된 3D 공간 맵을 지정된 서버 장치 또는 다른 전자 장치에 전송할 수 있다. The
상기 디스플레이(130)는 상기 전자 장치(100)의 화면 표시 기능을 지원할 수 있다. 예컨대, 상기 디스플레이(130)는 상기 제1 키넷 장치(121) 및 상기 제2 키넷 장치(122)로부터 획득된 복수의 이미지들 중 적어도 일부를 출력할 수 있다. 또한, 상기 디스플레이(130)는 상기 복수의 이미지들을 기반으로 생성된 3D 공간 맵의 적어도 일부를 출력할 수 있다. 추가로, 상기 디스플레이(130)는 제1 키넷 장치(121) 및 제2 키넷 장치(122) 제어를 위한 제어 화면을 출력할 수 있다. 상기 디스플레이(130)는 출력된 제어 화면을 통해 사용자 입력을 수신할 수 있도록 터치스크린으로 형성될 수 있다. The
상기 메모리(140)는 상기 전자 장치(100) 운용과 관련한 데이터 및 프로그램을 저장할 수 있다. 예컨대, 상기 메모리(140)는 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 통해 획득된 복수의 이미지들을 기반으로 3D 공간 맵을 구성하는 알고리즘(또는 프로그램)을 저장할 수 있다. 특히, 본 발명의 메모리(140)는 상기 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 통해 획득된 복수의 이미지들 사이의 오차를 보정하는 보정 알고리즘(141)을 저장할 수 있다. 또한, 메모리(140)는 상기 보정 알고리즘(141)에 의해 보정된 보정 이미지(142)(예: 보정된 3D 공간 맵)를 저장할 수 있다. The
상기 프로세서(160)는 상기 전자 장치(100) 운용과 관련한 신호의 전달 또는 신호의 처리를 담당할 수 있다. 예컨대, 프로세서(160)는 사전 저장된 스케줄링 정보 또는 사용자 입력에 대응하여, 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 턴-온시키고, 제1 키넷 장치(121) 및 제2 키넷 장치(122)가 획득한 복수의 이미지들 중 적어도 일부를 수집하여 메모리(140)에 저장할 수 있다. 상기 프로세서(160)는 상기 복수의 이미지들에 대해 보정 알고리즘(141)을 적용하여 오차 보정을 수행하고, 오차 보정된 이미지들을 기반으로 3D 공간 맵을 구성할 수 있다. 상기 프로세서(160)는 3D 공간 맵을 지정된 서버 장치 또는 타 전자 장치에 전송하도록 제어할 수 있다. The
추가로, 상기 제1 키넷 장치(121) 및 제2 키넷 장치(122)가 오디오 장치(예: 마이크)를 포함하고, 피사체(11) 촬영 시 마이크를 이용하여 오디오 신호를 획득하여 전달하는 경우, 상기 프로세서(160)는 오디오 신호를 상기 3D 공간 맵에 매핑하여 함께 저장할 수 있다. 이후, 상기 3D 공간 맵 재생을 요청하는 입력에 대응하여 상기 3D 공간 맵을 디스플레이(130)에 출력하면서, 상기 오디오 신호를 스피커를 통해 출력할 수 있다. 이를 위하여 상기 전자 장치(100)는 상기 오디오 신호 출력을 위한 스피커를 더 포함할 수 있다. In addition, when the
도 2는 본 발명의 실시 예에 따른 키넷 장치들 중 적어도 하나의 키넷 장치의 세부 구성의 한 예를 나타낸 도면이다.2 is a diagram showing an example of a detailed configuration of at least one Kinet device among Kinet devices according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 실시 예에 따른 제1 키넷 장치(121)는 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b), 인쇄회로기판(121c), 연결 인터페이스(121d), 마이크 장치(121e) 및 케이스(121f)를 포함할 수 있다. 추가적으로 상기 제2 키넷 장치(122)는 상기 제1 키넷 장치(121)와 동일 또는 유사하게, 제2 RGB 카메라 및 제2 깊이 카메라, 인쇄회로기판, 연결 인터페이스, 마이크 장치 및 케이스를 포함할 수 있다. 상기 제2 RGB 카메라 및 상기 제2 깊이 카메라는 앞서 설명한 제1 키넷 장치(121)의 제1 RGB 카메라 및 제1 깊이 카메라와 실질적으로 동일한 특성을 가지는 카메라일 수 있다.Referring to FIG. 2 , the
상기 제1 RGB 카메라(121a)는 상기 제1 깊이 카메라(121b)에 인접되게 배치되고, 피사체(11)에 대한 RGB 이미지를 획득할 수 있다. 상기 제1 RGB 카메라(121a)는 제어에 대응하여 상기 제1 깊이 카메라(121b)와 동시 턴-온 및 동시 턴-오프될 수 있다. 상기 제1 RGB 카메라(121a)는 획득한 RGB 이미지를 카메라 인터페이스(120)를 통하여 전자 장치(100)에 전달할 수 있다. 상기 제1 RGB 카메라(121a)는 상기 제2 키넷 장치(122)의 제2 RGB 카메라와 동시 턴-온되고, 제2 RGB 카메라와 다른 위치 또는 다른 각도에서 피사체(11)에 대한 RGB 이미지를 획득할 수 있다. 이에 따라, 제1 RGB 카메라(121a)가 획득한 제1 RGB 이미지와 제2 키넷 장치(122)의 제2 RGB 카메라가 획득한 제2 RGB 이미지에서의 특정 피사체는 각도 차이 또는 위치 차이가 발생한다. The
상기 제1 깊이 카메라(121b)는 상기 제1 RGB 카메라(121a)에 인접되게 배치되고, 피사체(11)에 대한 깊이 정보(또는 Depth 이미지)를 획득할 수 있다. 상기 제1 깊이 카메라(121b)는 제어에 대응하여 상기 제1 RGB 카메라(121a)와 동시 턴-온 및 동시 턴-오프될 수 있다. 상기 제1 깊이 카메라(121b)는 획득한 Depth 이미지를 카메라 인터페이스(120)를 통하여 전자 장치(100)에 전달할 수 있다. 상기 제1 깊이 카메라(121b)는 상기 제2 키넷 장치(122)의 제2 깊이 카메라와 동시 턴-온되고, 제2 깊이 카메라와 다른 위치 또는 다른 각도에서 피사체(11)에 대한 Depth 이미지를 획득할 수 있다. 이에 따라, 제1 깊이 카메라(121b)가 획득한 제1 Depth 이미지와 제2 키넷 장치(122)의 제2 깊이 카메라가 획득한 제2 Depth 이미지에서의 특정 피사체와 깊이 차이가 발생한다. 한편, 상기 제1 RGB 카메라(121a), 제1 깊이 카메라(121b), 제2 RGB 카메라 및 제2 깊이 카메라는 3D 공간 맵 구성을 위해서 피사체(11)에 대한 영상을 촬영하는 과정에서 동기화되어, 동시 턴-온 및 동시 턴-오프될 수 있다. The
상기 인쇄회로기판(121c)은 상기 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b) 제어를 위한 다양한 회로 소자들이 실장될 수 있다. 상기 인쇄회로기판(121c) 일측에는 연결 인터페이스(121d)가 실장될 수 있다. 또한, 상기 인쇄회로기판(121c)은 상기 마이크 장치(121e) 구동을 위한 다양한 회로 소자들이 배치될 수 있다. Various circuit elements for controlling the
상기 연결 인터페이스(121d)는 상기 인쇄회로기판(121c) 일측에 실장되고, 케이블이나 무선 신호를 통해 전자 장치(100)의 카메라 인터페이스(120)와 연결될 수 있다. 상기 연결 인터페이스(121d)는 전자 장치(100)의 프로세서(160)가 전달하는 제어 신호를 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b)에 전달하고, 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b)가 획득한 제1 RGB 이미지 및 깊이 정보(또는 Depth 이미지)를 전자 장치(100)의 프로세서(160)에 전달할 수 있다. The
상기 마이크 장치(121e)는 상기 제1 키넷 장치(121)에서 생략될 수도 있다. 상기 마이크 장치(121e)는 사용자 설정에 따라 또는 프로세서(160) 제어에 대응하여 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b) 중 적어도 하나와 동기화되어 활성화되고, 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b)가 피사체(11)에 대한 영상을 촬영하는 동안 주변 오디오 신호를 수집할 수 있다. 상기 마이크 장치(121e)가 획득한 오디오 신호는 상기 제1 RGB 이미지 및 상기 제1 깊이 정보와 동기화되어 프로세서(160)에 전달될 수 있다. The
상기 케이스(121f)는 상기 제1 키넷 장치(121)의 외관 및 내관 중 적어도 일부를 형성할 수 있다. 상기 케이스(121f) 내에는 상기 인쇄회로기판(121c)과 마이크 장치(121e), 제1 RGB 카메라(121a)의 적어도 일부 및 제1 깊이 카메라(121b)의 적어도 일부가 안착될 수 있다. 상기 연결 인터페이스(121d)의 적어도 일부는 케이스(121f) 내에 배치되고, 연결 인터페이스(121d)의 다른 일부는 케이스(121f)의 개구된 일측을 통해 외부에 노출될 수 있다. 또는, 상기 연결 인터페이스(121d)가 무선 방식으로 전자 장치(100)와 연결되는 경우, 상기 연결 인터페이스(121d)(예: 연결 잭)는 상기 케이스(121f) 내에 별도의 노출 없이 배치될 수 있다. The
도 3은 본 발명의 실시 예에 따른 키넷 장치들을 통해 획득되는 이미지들의 한 예를 나타낸 도면이다.3 is a diagram showing an example of images acquired through Kinet devices according to an embodiment of the present invention.
도 3을 참조하면, 제1 키넷 장치(121)(또는 제2 키넷 장치(122))에 포함된 제1 RGB 카메라(121a)가 지정된 피사체에 대한 영상을 촬영할 경우, 301 이미지에서와 같이, 제1 RGB 이미지를 획득할 수 있다. 또한, 제1 키넷 장치(121)에 포함된 제1 깊이 카메라(121b)가 지정된 피사체에 대한 영상을 촬영할 경우, 302 이미지에서와 같이 제1 Depth 이미지(또는 제1 깊이 정보, 제1 깊이 이미지)를 획득할 수 있다. Referring to FIG. 3 , when the
303 이미지는 제1 깊이 이미지를 RGB 이미지로 변환한 이미지이며, 304 이미지는 제1 RGB 이미지를 Depth 이미지로 변환한 이미지이다. 이와 관련하여, 제1 키넷 장치(121)는 제1 Depth 이미지에 포함된 각 객체들의 깊이 정보를 추출하고, 추출된 깊이 정보를 제1 RGB 이미지에 포함된 각 객체들에 매핑하거나, 제1 RGB 이미지에 포함된 각 객체들의 색 정보(또는 RGB 정보)를 추출하고, 추출된 RGB 정보를 제1 Depth 이미지에 포함된 각 객체들에 매칭할 수 있다. 상기 제1 키넷 장치(121)는 도시된 바와 같이, 301 이미지 내지 304 이미지 중 적어도 하나를 전자 장치(100)의 프로세서(160)에 전달할 수 있다. 추가로, 제2 키넷 장치(122)가 제1 키넷 장치(121)와 동일한 피사체를 촬영하도록 설치 및 설정된 경우, 제2 키넷 장치(122)도 301 이미지 내지 304 이미지에 대응하는 이미지들 중 적어도 일부를 전자 장치(100)의 프로세서(160)에 전달할 수 있다.
도 4는 본 발명의 실시 예에 따른 3D 공간 맵 구성을 위한 정보 처리의 한 예를 나타낸 도면이다.4 is a diagram illustrating an example of information processing for constructing a 3D space map according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 실시 예에 따른 전자 장치(100)의 프로세서(160)는 401 단계에서, 제1 키넷 장치) 및 제2 키넷 장치(122)들로부터 피사체(11)에 대한 촬영 이미지들을 수집할 수 있다. 이와 관련하여, 프로세서(160)는 사용자 입력 또는 사전 설정된 프로그램의 스케줄링 정보에 대응하여 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 활성화하고, 활성화된 제1 키넷 장치(121) 및 제2 키넷 장치(122)로부터 촬영 이미지들을 수집할 수 있다. 이 과정에서 상기 프로세서(160)는 앞서 도 3에서 설명한 바와 같은 301 이미지 내지 304 이미지들 중 적어도 일부를 수집할 수 있다. 예컨대, 상기 프로세서(160)는 Stereo RGB 이미지들(예: 제1 키넷 장치(121)에서 획득한 301 이미지 및 제2 키넷 장치(122)에서 획득한 301 이미지)을 수집할 수 있다. Referring to FIG. 4 , in
402 단계에서, 프로세서(160)는 획득된 이미지들에서 노이즈 제거를 수행할 수 있다. 이와 관련하여, 전자 장치(100)는 노이즈 필터를 마련하고, 수집된 이미지들에 대한 노이즈 필터링을 수행할 수 있다. 다른 예시로서, 상기 401 단계 및 403 단계는 상기 키넷 장치들(121, 122)에서 처리될 수도 있다. In
403 단계에서, 프로세서(160)는 필터링된 RGB 이미지들에 대한 이미지 변화량을 계산할 수 있다. 404a 단계에서, 프로세서(160)는 이미지 변화량이 일정 값 이상인 객체들에 대하여, 특징점 추출을 수행할 수 있다. 또는, 프로세서(160)는 필터링된 RGB 이미지들에서, 배경과 피사체를 분리하고, 피사체에 해당하는 객체들 간의 이미지 변화량을 계산하고, 이미지 변화량이 일정 값 이상인 객체들을 기준으로 특징점 추출을 수행할 수도 있다. In
한편, 404b 단계에서, 프로세서(160)는 405 단계에서 특징점 매칭 작업을 위해 이전 이미지를 로딩할 수 있다. 이와 관련하여, 프로세서(160)는 메모리(140)에 이전 이미지를 저장할 수 있다. Meanwhile, in
405 단계에서, 프로세서(160)는 메모리(140)에 저장된 이전 이미지와 특징점 추출을 수행한 현재 이미지들 간의 특징점 매칭 작업을 수행할 수 있다. 이 과정에서, 상기 프로세서(160)는 최초 촬영된 이미지에서는 특징점 매칭 작업을 수행하지 않고, 이후 촬영된 이미지들에 대하여 직전 촬영한 이미지들과의 특징점 매칭을 수행할 수 있다. In
406a 단계에서, 프로세서(160)는 특징점 매칭을 통해 객체에 대한 공간 정보 추출을 수행할 수 있다. 또한, 406b 단계에서, 프로세서(160)는 특징점 매칭을 통해 객체에 대한 움직임 추적을 수행할 수 있다. In step 406a, the
407a 단계에서, 프로세서(160)는 추출된 공간 정보를 토대로 실공간 정보를 산출할 수 있다. 407b 단계에서, 프로세서(160)는 산출된 움직임 추적 정보를 이용하여 실공간 위치를 산출할 수 있다. 상기 프로세서(160)는 실공간 정보 및 실공간 위치를 이용하여 피사체(11)(또는 피사체(11)에 포함된 적어도 일부 객체, 예컨대 이미지 변화량이 일정 값 이상인 객체)의 공간 좌표를 산출할 수 있다. 또는, 프로세서(160)는 움직임 추적을 통한 실공간 위치 값을 이용하여 실공간 정보의 오차 보정을 수행할 수도 있다. 상기 공간 좌표(예: 제1 RGB 이미지에서의 객체의 공간 좌표, 제2 RGB 이미지에서의 객체의 공간 좌표)는 깊이 오차 보정에 있어서, 제1 키넷 장치(121)가 촬영한 물체의 위치 및 제2 키넷 장치(122)가 촬영한 물체의 위치 값으로 이용될 수 있다. In
한편, 상술한 스테레오 RGB 이미지들을 이용한 특징점 추출과 매칭 작업을 통한 공간 정보 추출과 움직임 추적 시, 키넷 장치들(121, 122)의 위치 차이로 인한 오차가 발생할 수 있다. 이와 관련하여, 전자 장치(100)의 프로세서(160)는 깊이 검출을 기반으로 오차 값 산출을 수행할 수 있다. Meanwhile, when spatial information is extracted and motion is tracked through feature point extraction and matching using the above-described stereo RGB images, an error may occur due to a positional difference between the
도 5는 본 발명의 실시 예에 따른 전자 장치의 깊이 오차 검출을 설명하는 도면이다.5 is a diagram illustrating depth error detection in an electronic device according to an embodiment of the present invention.
도 5를 참조하면, 501 상태에서와 같이, 제1 키넷 장치(121) 및 제2 키넷 장치(122)는 피사체(11)에 대한 영상을 수집하여 프로세서(160)에 전달할 수 있다. 이때, 제1 키넷 장치(121) 및 제2 키넷 장치(122)는 일정 거리 이내에 인접되게 배치되어 동일한 피사체(11)에 대한 영상을 수집할 수 있다. Referring to FIG. 5 , as in
영상이 수집되면, 503 상태에서와 같이, 프로세서(160)는 제1 키넷 장치(121) 및 제2 키넷 장치(122)가 촬영하여 전달한 이미지들 중 제1 키넷 장치(121)가 전달한 제1 Depth 이미지와 제2 키넷 장치(122)가 전달한 제2 Depth 이미지를 이용하여 깊이 오차 검출을 수행할 수 있다. 즉, 도시된 바와 같이, 물체의 실제 위치를 기준으로, 제1 위치에 배치된 제1 키넷 장치(121)가 피사체(11)에 대해 촬영한 제1 Depth 이미지는 물체의 실제 위치에서 제1 키넷 장치(121)에 가까운 위치에 형성될 수 있다. 또한, 제2 위치에 배치된 제2 키넷 장치(122)가 피사체(11)에 대해 촬영한 제2 Depth 이미지는 물체의 실제 위치에서 제2 키넷 장치(122)에 가까운 위치에 형성될 수 있다. 이에 따라, 물체의 실제 위치를 기준으로 키넷 장치들(121, 122)을 바라보는 방향으로의 측정 오차와 키넷 장치들(121, 122) 사이를 잇는 방향으로의 측정 오차가 발생할 수 있다. 상기 프로세서(160)는 제1 Depth 이미지 및 제2 Depth 이미지들을 비교하여 도시된 바와 같이 물체의 실제 위치를 기준으로 수평 방향 및 수직 방향의 측정 오차들을 검출할 수 있다. When the image is collected, as in
도 6은 본 발명의 실시 예에 따른 전자 장치의 깊이 오차 검출에 따른 오차 보정을 설명하는 도면이다.6 is a diagram illustrating error correction according to depth error detection of an electronic device according to an embodiment of the present invention.
도 6을 참조하면, 앞서 도 5에서 설명한 바와 같이, 제1 키넷 장치(121) 및 제2 키넷 장치(122)가 피사체(11)에 대한 Depth 이미지들을 프로세서(160)에 전달하면, 601 상태에서와 같이, 프로세서(160)는 물체의 실제 위치를 기준으로 제1 키넷 장치(121)가 측정한 위치 및 제2 키넷 장치(122)가 측정한 위치들 사이의 카메라 측정 오차들을 검출할 수 있다. Referring to FIG. 6 , as described above with reference to FIG. 5 , when the
상기 프로세서(160)는 603 상태에서와 같이, 카메라 측정 오차들을 최소화하는 방향으로 물체의 보정된 측정 위치를 산정할 수 있다. 보정된 측정 위치는, 제1 키넷 장치(121) 및 제2 키넷 장치(122)의 중간 가상의 지점에 위치한 새로운 키넷 장치에서 물체를 촬영한 위치가 될 수 있다. 또는, 상기 보정된 측정 위치는 상기 (수직 및 수평) 측정 오차들의 중간 값이 될 수 있다. As in
상술한 오차 보정을 통하여, 도시된 바와 같이, 제1 키넷 장치(121)에서 제공한 촬영 이미지와 물체의 실제 위치 값과의 차이 및 제2 키넷 장치(122)에서 제공한 촬영 이미지와 물체의 실제 위치 값과의 차이에 비하여, 보정된 측정 위치에서 물체의 실체 위치까지의 차이 값이 저감될 수 있다. 이를 기반으로, 프로세서(160)는 보다 정밀한 물체의 공간 정보를 추출하여, 이를 기반으로 물체에 대한 3D 공간 맵을 구성할 수 있다. Through the above-mentioned error correction, as shown, the difference between the captured image provided by the
도 7은 본 발명의 실시 예에 따른 AR 콘텐츠용 3D 공간 맵 구성 방법의 한 예를 나타낸 도면이다.7 is a diagram illustrating an example of a method of constructing a 3D space map for AR content according to an embodiment of the present invention.
도 7을 참조하면, 본 발명의 실시 예에 따른 AR 콘텐츠용 3D 공간 맵 구성 방법과 관련하여, 701 단계에서, 전자 장치(100)의 프로세서(160)는, 복수의 키넷 장치(예: 제1 키넷 장치(121) 및 제2 키넷 장치(122))를 이용한 복수의 이미지 수집을 수행할 수 있다. 이와 관련하여, 피사체(11)를 촬영하기 위하여 일정 거리 이내에 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 위치시키거나, 또는 일정 거리를 유지하도록 마련된 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 이용하여 피사체(11)에 대한 영상을 촬영하도록 제어할 수 있다. 이 과정에서, 프로세서(160)는 제1 키넷 장치(121) 및 제2 키넷 장치(122)에 대한 턴-온 동작을 제어할 수 있다. Referring to FIG. 7 , in relation to the method for constructing a 3D space map for AR content according to an embodiment of the present invention, in
703 단계에서, 전자 장치(100)의 프로세서(160)는, RGB 이미지들을 이용한 공간 정보 추출을 수행할 수 있다. 이와 관련하여, 제1 키넷 장치(121)는 피사체(11)에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 프로세서(160)에 전달하고, 제2 키넷 장치(122)는 동일한 피사체(11)에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 프로세서(160)에 전달할 수 있다. 상기 프로세서(160)는 제1 RGB 이미지 및 제2 RGB 이미지들에 대한 노이즈 필터링을 수행한 후, 제1 RGB 및 제2 RGB 이미지들 간의 이미지 변화량을 확인한 후, 이미지 변화량이 일정 값 이상인 객체에 대한 특징점 추출을 수행할 수 있다. 상기 프로세서(160)는 이전 촬영된 이미지들과 현재 이미지들 간의 특징점 매칭을 수행하고, 특징점 매칭 값을 이용하여 피사체(11)(또는 이미지에 포함된 적어도 일부 객체 또는 이미지 변화량이 일정 값 이상인 객체)에 대한 공간 정보 추출을 수행할 수 있다. 여기서, 상기 프로세서(160)는 제1 RGB 이미지 및 제2 RGB 이미지 각각에서 객체에 대한 공간 정보들을 추출할 수 있다. In
705 단계에서, 전자 장치(100)의 프로세서(160)는 Depth 이미지들을 이용한 깊이 오차 검출을 수행할 수 있다. 이와 관련하여, 상기 프로세서(160)는 제1 키넷 장치(121)가 제공한 제1 Depth 이미지 및 제2 키넷 장치(122)가 제공한 제2 Depth 이미지를 이용하여 실제 피사체(11)(또는 이미지 변화량이 일정 값 이상인 객체) 기준 깊이 오차 검출을 수행할 수 있다. In
707 단계에서, 전자 장치(100)의 프로세서(160)는 오차 보정 후 3D 지도(또는 3D 공간 맵) 생성을 수행할 수 있다. In
한편, 상술한 설명에서는, 703 단계 및 705 단계가 시계열적으로 처리되는 것을 나타내었으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 상기 703 단계와 상기 705 단계는 동시 시작할 수도 있다. Meanwhile, in the above description, it has been shown that
이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안 되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. As set forth above, this specification contains many specific implementation details, but these should not be construed as limiting on the scope of any invention or claimables, but rather may be specific to a particular embodiment of a particular invention. It should be understood as a description of the features in
또한, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안 되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.Further, while operations are depicted in the drawings in a specific order, it should not be understood that all illustrated operations must be performed or that those operations must be performed in the specific order shown or in sequential order to obtain desired results. In certain cases, multitasking and parallel processing can be advantageous. Further, the separation of various system components in the embodiments described above should not be understood as requiring such separation in all embodiments, and the described program components and systems are generally integrated together into a single software product or packaged into multiple software products. You have to understand that it can be.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 통상의 기술자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.The present description presents the best mode of the invention and provides examples to illustrate the invention and to enable those skilled in the art to make and use the invention. The specification thus prepared does not limit the invention to the specific terms presented. Therefore, although the present invention has been described in detail with reference to the above-described examples, a person skilled in the art may make alterations, changes, and modifications to the present examples without departing from the scope of the present invention.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.Therefore, the scope of the present invention should not be determined by the described embodiments, but by the claims.
10: 3D 공간 맵 구성 환경
100: 전자 장치 10: 3D space map construction environment
100: electronic device
Claims (10)
상기 제1 키넷 장치 및 상기 제2 키넷 장치가 전달하는 이미지들을 저장하는 메모리;
상기 카메라 인터페이스 및 상기 메모리와 기능적으로 연결되는 프로세서;를 포함하고,
상기 프로세서는
제1 키넷 장치로부터 피사체에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 획득하면서, 제2 키넷 장치를 이용하여 상기 피사체와 동일한 피사체에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 획득하고,
상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 이용하여 상기 피사체에 대한 공간 정보를 추출하고,
상기 제1 Depth 이미지 및 상기 제2 Depth 이미지를 이용하여 상기 피사체에 대한 깊이 오차를 검출하고,
상기 검출된 깊이 오차를 이용하여 상기 공간 정보를 보정하여 상기 피사체에 대한 3D 공간 맵을 구성하여 상기 메모리에 저장하도록 설정되고,
상기 프로세서는
상기 공간 정보를 추출하는 과정에서,
상기 제1 RGB 이미지와 상기 제2 RGB 이미지에 대한 노이즈 필터링을 수행하고,
상기 제1 RGB 이미지와 상기 제2 RGB 이미지를 이용하여 이미지 변화량을 산출하고,
상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 대한 특징점을 추출하고,
이전 저장된 이미지와 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지들을 비교하여 특징점 매칭을 수행하고,
상기 특징점 매칭을 기반으로 상기 피사체에 대한 공간 정보를 추출하도록 설정되며,
상기 프로세서는
상기 특징점을 추출하는 과정에서,
상기 이미지 변화량을 산출하는 단계에서 이미지 변화량이 지정된 크기 이상인 객체에 대한 특징점을 추출하도록 설정된 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵을 지원하는 전자 장치.a camera interface connected to the first Kinet device and the second Kinet device;
a memory for storing images transmitted by the first Kinet device and the second Kinet device;
A processor functionally connected to the camera interface and the memory;
The processor
acquiring a first RGB image and a first depth image of the subject from the first Kinet device, and acquiring a second RGB image and a second depth image of the subject identical to the subject by using a second Kinet device;
extracting spatial information about the subject using the first RGB image and the second RGB image;
Detecting a depth error with respect to the subject using the first depth image and the second depth image;
It is set to configure a 3D space map for the subject by correcting the spatial information using the detected depth error and store it in the memory,
The processor
In the process of extracting the spatial information,
performing noise filtering on the first RGB image and the second RGB image;
Calculating an image change amount using the first RGB image and the second RGB image;
extracting feature points for the first RGB image and the second RGB image;
Performing feature point matching by comparing a previously stored image with the first RGB image and the second RGB image;
It is set to extract spatial information about the subject based on the feature point matching,
The processor
In the process of extracting the feature points,
An electronic device supporting a 3D space map for AR content using Kinet devices, characterized in that in the step of calculating the amount of image change, it is set to extract a feature point for an object whose image change amount is equal to or greater than a specified size.
상기 프로세서는
상기 특징점 매칭을 기반으로 상기 피사체의 움직임을 추적하고, 이전 이미지에서 추적된 움직임을 기반으로 실공간 위치를 산출하도록 설정된 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵을 지원하는 전자 장치. According to claim 1,
The processor
An electronic device supporting a 3D space map for AR content using Kinet devices, characterized in that it is set to track the movement of the subject based on the feature point matching and calculate the real space location based on the movement tracked in the previous image.
상기 프로세서는
상기 깊이 오차를 검출하는 과정에서,
상기 피사체 기준 수평 방향의 측정 오차와 상기 피사체 기준 수직 방향의 측정 오차를 산출하고,
상기 측정 오차들의 중간 값을 상기 오차에 대한 보정값으로 적용하도록 설정된 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵을 지원하는 전자 장치.According to claim 1,
The processor
In the process of detecting the depth error,
calculating a measurement error in a horizontal direction relative to the subject and a measurement error in a vertical direction relative to the subject;
An electronic device supporting a 3D space map for AR content using Kinet devices, characterized in that it is set to apply a median value of the measurement errors as a correction value for the error.
제1 키넷 장치를 이용하여 피사체에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 획득하면서, 제2 키넷 장치를 이용하여 상기 피사체와 동일한 피사체에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 획득하는 단계;
상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 이용하여 상기 피사체에 대한 공간 정보를 추출하는 단계;
상기 제1 Depth 이미지 및 상기 제2 Depth 이미지를 이용하여 상기 피사체에 대한 깊이 오차를 검출하는 단계;
상기 검출된 깊이 오차를 이용하여 상기 공간 정보를 보정하여 상기 피사체에 대한 3D 공간 맵을 구성하는 단계;를 포함하되,
상기 공간 정보를 추출하는 단계는
상기 제1 RGB 이미지와 상기 제2 RGB 이미지에 대한 노이즈 필터링을 수행하는 단계;
상기 제1 RGB 이미지와 상기 제2 RGB 이미지를 이용하여 이미지 변화량을 산출하는 단계;
상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 대한 특징점을 추출하는 단계;
이전 저장된 이미지와 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지들을 비교하여 특징점 매칭을 수행하는 단계;
상기 특징점 매칭을 기반으로 상기 피사체에 대한 공간 정보를 추출하는 단계;를 포함하고,
상기 특징점을 추출하는 단계는
상기 이미지 변화량을 산출하는 단계에서 이미지 변화량이 지정된 크기 이상인 객체에 대한 특징점을 추출하는 단계;를 포함하는 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법.In the 3D space map support method for AR content using Kinect devices,
Acquiring a first RGB image and a first depth image of a subject using a first Kinet device, and acquiring a second RGB image and a second depth image of a subject identical to the subject using a second Kinet device. ;
extracting spatial information about the subject using the first RGB image and the second RGB image;
detecting a depth error of the subject using the first depth image and the second depth image;
Constructing a 3D spatial map for the subject by correcting the spatial information using the detected depth error;
The step of extracting the spatial information is
performing noise filtering on the first RGB image and the second RGB image;
calculating an image change amount using the first RGB image and the second RGB image;
extracting feature points for the first RGB image and the second RGB image;
performing feature point matching by comparing a previously stored image with the first RGB image and the second RGB image;
Extracting spatial information about the subject based on the feature point matching;
The step of extracting the feature points is
A method for supporting a 3D space map for AR content using Kinet devices, characterized in that it includes: extracting a feature point for an object whose image change amount is greater than or equal to a specified size in the step of calculating the image change amount.
상기 특징점 매칭을 기반으로 상기 피사체의 움직임을 추적하고, 이전 이미지에서 추적된 움직임을 기반으로 실공간 위치를 산출하는 단계;를 더 포함하는 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법. According to claim 6,
Tracking the movement of the subject based on the feature point matching and calculating a real space location based on the movement tracked in a previous image; 3D space map support for AR content using Kinet devices, characterized in that it further comprises method.
상기 깊이 오차를 검출하는 단계는
상기 피사체 기준 수평 방향의 측정 오차와 상기 피사체 기준 수직 방향의 측정 오차를 산출하는 단계;
상기 측정 오차들의 중간 값을 상기 오차에 대한 보정값으로 적용하는 단계;를 포함하는 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법. According to claim 6,
Detecting the depth error
calculating a measurement error in a horizontal direction relative to the subject and a measurement error in a vertical direction relative to the subject;
A method of supporting a 3D space map for AR content using Kinet devices, comprising: applying a median value of the measurement errors as a correction value for the error.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210152942A KR102515405B1 (en) | 2021-11-09 | 2021-11-09 | Providing Method of 3-dimension map for Augmented Reality contents used by Kinect devices and electronic device supporting the same |
PCT/KR2021/017528 WO2023085492A1 (en) | 2021-11-09 | 2021-11-25 | Method for supporting 3d space map for ar content using kinect devices, and electronic device supporting same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210152942A KR102515405B1 (en) | 2021-11-09 | 2021-11-09 | Providing Method of 3-dimension map for Augmented Reality contents used by Kinect devices and electronic device supporting the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102515405B1 true KR102515405B1 (en) | 2023-03-30 |
Family
ID=85985798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210152942A KR102515405B1 (en) | 2021-11-09 | 2021-11-09 | Providing Method of 3-dimension map for Augmented Reality contents used by Kinect devices and electronic device supporting the same |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102515405B1 (en) |
WO (1) | WO2023085492A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120062477A (en) * | 2010-12-06 | 2012-06-14 | 광주과학기술원 | Method and apparatus for generating multi-view depth map |
KR20140023329A (en) * | 2011-04-29 | 2014-02-26 | 마이크로소프트 코포레이션 | Inferring spatial object descriptions from spatial gestures |
KR20160034513A (en) * | 2014-09-19 | 2016-03-30 | 한국전자통신연구원 | Apparatus and method for implementing immersive augmented reality with RGB-D data |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101373718B1 (en) * | 2012-10-31 | 2014-03-14 | 성균관대학교산학협력단 | Stereo matching apparatus and method for depth estimation for three dimensional image, and three dimensional image transmission apparatus and rendering apparatus through said stereo matching |
WO2021066219A1 (en) * | 2019-10-01 | 2021-04-08 | 엘지전자 주식회사 | Mobile terminal |
-
2021
- 2021-11-09 KR KR1020210152942A patent/KR102515405B1/en active IP Right Grant
- 2021-11-25 WO PCT/KR2021/017528 patent/WO2023085492A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120062477A (en) * | 2010-12-06 | 2012-06-14 | 광주과학기술원 | Method and apparatus for generating multi-view depth map |
KR20140023329A (en) * | 2011-04-29 | 2014-02-26 | 마이크로소프트 코포레이션 | Inferring spatial object descriptions from spatial gestures |
KR20160034513A (en) * | 2014-09-19 | 2016-03-30 | 한국전자통신연구원 | Apparatus and method for implementing immersive augmented reality with RGB-D data |
Also Published As
Publication number | Publication date |
---|---|
WO2023085492A1 (en) | 2023-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7185434B2 (en) | Electronic device for capturing images using multiple cameras and image processing method using the same | |
JP6338595B2 (en) | Mobile device based text detection and tracking | |
KR102143456B1 (en) | Depth information acquisition method and apparatus, and image collection device | |
US8224069B2 (en) | Image processing apparatus, image matching method, and computer-readable recording medium | |
US10924718B2 (en) | Image processing device and method | |
KR102472156B1 (en) | Electronic Device and the Method for Generating Depth Information thereof | |
CN109247068A (en) | Method and apparatus for rolling shutter compensation | |
KR102383134B1 (en) | Electronic device for processing image based on priority and method for operating thefeof | |
CN108781268B (en) | Image processing apparatus and method | |
CN112085775A (en) | Image processing method, device, terminal and storage medium | |
WO2018216341A1 (en) | Information processing device, information processing method, and program | |
CN111742320A (en) | Method of providing text translation management data related to application and electronic device thereof | |
CN103500471A (en) | Method for realizing high-resolution augmented reality system | |
KR102515405B1 (en) | Providing Method of 3-dimension map for Augmented Reality contents used by Kinect devices and electronic device supporting the same | |
KR20190122692A (en) | Image processing apparatus and image processing method | |
KR20150000911A (en) | Auto mapping method and apparatus of screen and image | |
CN112291445A (en) | Image processing method, device, equipment and storage medium | |
KR102539827B1 (en) | Realtime collecting System for 3D Augmented Reality Object image and operating method thereof | |
CN113240602A (en) | Image defogging method and device, computer readable medium and electronic equipment | |
KR20180012889A (en) | 3d information acquisition system using practice of pitching and method for calculation of camera parameter | |
US20190058869A1 (en) | Stereoscopic image-capturing apparatus | |
WO2022050159A1 (en) | Stereography model generating system and stereography model generating method | |
JP2020191546A (en) | Image processing apparatus, image processing method, and program | |
KR20200097543A (en) | Augmented Reality-based performance video viewing system and performance image providing method using it | |
US11483470B2 (en) | Control apparatus, control method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |