WO2023085492A1 - Kinect 장치들을 이용한 ar 콘텐츠용 3d 공간 맵 지원 방법 및 이를 지원하는 전자 장치 - Google Patents

Kinect 장치들을 이용한 ar 콘텐츠용 3d 공간 맵 지원 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
WO2023085492A1
WO2023085492A1 PCT/KR2021/017528 KR2021017528W WO2023085492A1 WO 2023085492 A1 WO2023085492 A1 WO 2023085492A1 KR 2021017528 W KR2021017528 W KR 2021017528W WO 2023085492 A1 WO2023085492 A1 WO 2023085492A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
kinet
subject
rgb image
depth
Prior art date
Application number
PCT/KR2021/017528
Other languages
English (en)
French (fr)
Inventor
장준환
박우출
양진욱
윤상필
최민수
이준석
구본재
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of WO2023085492A1 publication Critical patent/WO2023085492A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present invention relates to 3D space map support, and more particularly, to a 3D space map support method capable of providing a 3D space map usable as AR content using Kinect and an electronic device supporting the same.
  • VR virtual reality
  • AR augmented reality
  • the present invention provides a method for supporting a 3D space map for AR content using Kinect devices that enables easy and quick extraction of spatial information using two Kinect devices to create a 3D space map for AR content, and It is to provide an electronic device supporting this.
  • the object of the present invention is not limited to the above object, and other objects not mentioned will be clearly understood from the description below.
  • An electronic device supporting a 3D space map for AR content using the Kinet devices of the present invention to achieve the above object is a camera interface connected to a first Kinet device and a second Kinet device, the first Kinet device and the A memory for storing images transmitted by a second Kinet device, the camera interface, and a processor functionally connected to the memory, wherein the processor receives a first RGB image and a first depth image of a subject from the first Kinet device. While acquiring, a second RGB image and a second depth image of the same subject as the subject are obtained using a second Kinet device, and spatial information on the subject is obtained using the first RGB image and the second RGB image. , detecting a depth error for the subject using the first depth image and the second depth image, and correcting the spatial information using the detected depth error to obtain a 3D space map for the subject It is characterized in that it is set to configure and store in the memory.
  • the processor performs noise filtering on the first RGB image and the second RGB image during the process of extracting the spatial information, and calculates an image change amount using the first RGB image and the second RGB image. and extracts feature points for the first RGB image and the second RGB image, performs feature point matching by comparing previously stored images with the first RGB image and the second RGB image, and based on the feature point matching It is characterized in that it is set to extract spatial information about the subject.
  • the processor may be set to extract feature points for an object whose image change amount is greater than or equal to a designated size in the step of calculating the image change amount during the process of extracting the feature points.
  • the processor may be configured to track the motion of the subject based on the feature point matching and to calculate a real-space position based on the motion tracked in a previous image.
  • the processor calculates a measurement error in a horizontal direction relative to the subject and a measurement error in a vertical direction relative to the subject, and uses a median value of the measurement errors as a correction value for the error. It is characterized by being set to apply.
  • a method for supporting a 3D space map for AR content using Kinect devices of the present invention is a method for obtaining a first RGB image and a first depth image of a subject using a first Kinect device, and using a second Kinect device to obtain a first RGB image and a first depth image.
  • the step of extracting the spatial information includes performing noise filtering on the first RGB image and the second RGB image, and calculating an image change amount using the first RGB image and the second RGB image. , Extracting feature points for the first RGB image and the second RGB image, performing feature point matching by comparing previously stored images with the first RGB image and the second RGB images, based on the feature point matching It is characterized in that it comprises the step of extracting spatial information on the subject as.
  • the step of extracting the feature points may include extracting feature points of an object having a size or more in which the amount of image change is specified in the step of calculating the amount of change in the image.
  • the method may further include tracking a motion of the subject based on the feature point matching, and calculating a real-space position based on the motion tracked in a previous image.
  • the detecting of the depth error includes calculating a measurement error in a horizontal direction relative to the subject and a measurement error in a vertical direction relative to the subject, and applying a median value of the measurement errors as a correction value for the error. It is characterized by including.
  • the present invention reduces the average error by using an algorithm that minimizes errors of depth camera output results for various positions and merges two depth images like depth information detected from a virtual camera position in the center of a stereo camera. It supports the creation of a 3D space map for the surrounding space through the precise location of the camera and the depth information at that location.
  • FIG. 1 is a diagram showing an example of a 3D space map construction environment for AR content using Kinect according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of a detailed configuration of at least one Kinet device among Kinet devices according to an embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of images acquired through Kinet devices according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of information processing for constructing a 3D space map according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating depth error detection in an electronic device according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating error correction according to depth error detection of an electronic device according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an example of a method of constructing a 3D space map for AR content according to an embodiment of the present invention.
  • first and second are used to describe various components, and are used only for the purpose of distinguishing one component from other components, and to limit the components. Not used. For example, a second element may be termed a first element, and similarly, a first element may be termed a second element, without departing from the scope of the present invention.
  • embodiments within the scope of the present invention include computer-readable media having or conveying computer-executable instructions or data structures stored thereon.
  • Such computer readable media can be any available media that can be accessed by a general purpose or special purpose computer system.
  • Such computer readable media may be in the form of RAM, ROM, EPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage, or computer executable instructions, computer readable instructions or data structures.
  • physical storage media such as, but not limited to, any other medium that can be used to store or convey any program code means in a computer system and which can be accessed by a general purpose or special purpose computer system. .
  • Kinet devices may be, for example, MS Kinect devices.
  • MS Kinet devices are a combination of an RGB camera and a depth camera, and through their own software, the output image obtained by correcting the information obtained through the two types of cameras to the same scale can be obtained. Therefore, in the present invention, the precise position of the current camera is calculated using an image-based 3D position detection algorithm using two Kinects, and the depth values obtained through the two depth cameras are corrected to combine them into a precise depth result at the corresponding position. provide technology.
  • FIG. 1 is a diagram showing an example of a 3D space map construction environment for AR content using Kinect according to an embodiment of the present invention.
  • a 3D space map construction environment 10 for AR content may include a subject 11 and an electronic device 100 .
  • the subject 11 may include various real objects such as objects, backgrounds, people, animals, structures, etc. that are photographed by the electronic device 100 and used for AR content.
  • the subject 11 is illustrated as a chair shape, but the present invention is not limited thereto.
  • the subject 11 of the present invention may include not only one real object but also a plurality of real objects.
  • the electronic device 100 acquires an image of the subject 11, extracts feature points and calculates coordinates for the acquired image, and based on this, creates a 3D space map for AR content including at least the subject 11. can be configured. In this process, the electronic device 100 may perform error correction using a plurality of Kinect devices 121 and 122 in order to construct a relatively precise 3D space map of the subject 11. .
  • the electronic device 100 includes, for example, a first Kinet device 121 and a second Kinet device 122, a camera interface 120, a communication interface ( ), a display 130, a memory 140, and a processor 160.
  • the first kinet device 121 and the second kinet device 122 may be detachable or provided separately.
  • the configuration of the electronic device 100 may include components other than the first Kinet device 121 and the second Kinet device 122.
  • the first Kinet device 121 may acquire a plurality of captured images including at least the subject 11 .
  • the plurality of captured images may include, for example, an RGB image of the subject 11 and a depth image including depth information of the subject 11 .
  • the first Kinet device 121 may transfer the obtained plurality of captured images to the processor 160 through the camera interface 120 .
  • the second Kinet device 122 is located at a designated location (eg, when the first Kinet device 121 is disposed at a first location capable of photographing the subject 11, the second Kinet device 122 is spaced apart from the first location by a predetermined distance). location or a location adjacent to the first location).
  • the second Kinet device 122 may obtain a plurality of captured images of the same subject 11 as the first Kinet device 121 .
  • the second Kinet device 122 may include camera modules substantially the same as or similar to those of the first Kinet device 121 . Accordingly, the second Kinet device 122 may obtain an RGB image and a depth image of the subject 11 and transmit them to the processor 160 through the camera interface 120 .
  • the camera interface 120 may perform an interfacing role of connecting the first Kinet device 121 and the second Kinet device 122 and the processor 160 . Also, the camera interface 120 may transmit a control signal of the processor 160 to the first Kinet device 121 and the second Kinet device 122 . The camera interface 120 controls turn-on/turn-off of the first Kinet device 121 and the second Kinet device 122 in response to the control of the processor 160, and the first Kinet device 121 and synchronization of the second Kinet device 122 can be controlled.
  • the communication interface 110 may support a communication function of the electronic device 100 .
  • the communication interface 110 may establish a communication channel with a specific server device in response to control of the processor 160 (or user input).
  • the communication interface 110 transmits a 3D space map generated based on images obtained through the first Kinet device 121 and the second Kinet device 122 in response to the control of the processor 160 to a designated server device or other electronic device. can be transmitted to the device.
  • the display 130 may support a screen display function of the electronic device 100 .
  • the display 130 may output at least some of a plurality of images obtained from the first Kinet device 121 and the second Kinet device 122 .
  • the display 130 may output at least a part of a 3D space map generated based on the plurality of images.
  • the display 130 can output a control screen for controlling the first Kinet device 121 and the second Kinet device 122 .
  • the display 130 may be formed as a touch screen to receive a user input through an output control screen.
  • the memory 140 may store data and programs related to the operation of the electronic device 100 .
  • the memory 140 may store an algorithm (or program) for constructing a 3D space map based on a plurality of images acquired through the first Kinet device 121 and the second Kinet device 122.
  • the memory 140 of the present invention may store a correction algorithm 141 for correcting errors between a plurality of images acquired through the first Kinet device 121 and the second Kinet device 122.
  • the memory 140 may store a corrected image 142 (eg, a corrected 3D space map) corrected by the correction algorithm 141 .
  • the processor 160 may be in charge of transmitting or processing signals related to the operation of the electronic device 100 .
  • the processor 160 turns on the first Kinet device 121 and the second Kinet device 122 in response to pre-stored scheduling information or user input, and turns on the first Kinet device 121 and the second Kinet device 121.
  • At least some of the plurality of images acquired by the device 122 may be collected and stored in the memory 140 .
  • the processor 160 may perform error correction by applying the correction algorithm 141 to the plurality of images, and construct a 3D space map based on the error-corrected images.
  • the processor 160 may control transmission of the 3D space map to a designated server device or other electronic device.
  • the first Kinet device 121 and the second Kinet device 122 include an audio device (e.g., a microphone), and an audio signal is obtained and transmitted using the microphone when photographing the subject 11,
  • the processor 160 may map the audio signal to the 3D spatial map and store the mapped data together. Thereafter, the audio signal may be output through a speaker while outputting the 3D space map to the display 130 in response to an input requesting reproduction of the 3D space map.
  • the electronic device 100 may further include a speaker for outputting the audio signal.
  • FIG. 2 is a diagram showing an example of a detailed configuration of at least one Kinet device among Kinet devices according to an embodiment of the present invention.
  • the first Kinet device 121 includes a first RGB camera 121a and a first depth camera 121b, a printed circuit board 121c, a connection interface 121d, A microphone device 121e and a case 121f may be included.
  • the second Kinet device 122 may include a second RGB camera, a second depth camera, a printed circuit board, a connection interface, a microphone device, and a case similarly or identically to the first Kinet device 121.
  • the second RGB camera and the second depth camera may have substantially the same characteristics as the first RGB camera and the first depth camera of the first Kinet device 121 described above.
  • the first RGB camera 121a may be disposed adjacent to the first depth camera 121b and obtain an RGB image of the subject 11 .
  • the first RGB camera 121a may be turned on and off simultaneously with the first depth camera 121b in response to the control.
  • the first RGB camera 121a may transfer the obtained RGB image to the electronic device 100 through the camera interface 120 .
  • the first RGB camera 121a is turned on at the same time as the second RGB camera of the second Kinet device 122, and acquires an RGB image of the subject 11 at a position different from that of the second RGB camera or at a different angle. can do. Accordingly, a difference in angle or position occurs between the first RGB image acquired by the first RGB camera 121a and the specific subject in the second RGB image obtained by the second RGB camera of the second Kinet device 122. .
  • the first depth camera 121b may be disposed adjacent to the first RGB camera 121a and obtain depth information (or depth image) of the subject 11 .
  • the first depth camera 121b may be turned on and off simultaneously with the first RGB camera 121a in response to the control.
  • the first depth camera 121b may transmit the acquired depth image to the electronic device 100 through the camera interface 120 .
  • the first depth camera 121b is turned on at the same time as the second depth camera of the second Kinet device 122, and obtains a depth image of the subject 11 at a position different from that of the second depth camera or at a different angle. can do.
  • the first RGB camera 121a, the first depth camera 121b, the second RGB camera, and the second depth camera are synchronized in the process of capturing an image of the subject 11 for constructing a 3D space map, It can be turned-on and turned-off simultaneously.
  • Various circuit elements for controlling the first RGB camera 121a and the first depth camera 121b may be mounted on the printed circuit board 121c.
  • a connection interface 121d may be mounted on one side of the printed circuit board 121c.
  • various circuit elements for driving the microphone device 121e may be disposed on the printed circuit board 121c.
  • connection interface 121d is mounted on one side of the printed circuit board 121c and may be connected to the camera interface 120 of the electronic device 100 through a cable or a wireless signal.
  • the connection interface 121d transfers a control signal transmitted by the processor 160 of the electronic device 100 to the first RGB camera 121a and the first depth camera 121b, and the first RGB camera 121a and The first RGB image and depth information (or depth image) obtained by the first depth camera 121b may be transmitted to the processor 160 of the electronic device 100 .
  • the microphone device 121e may be omitted from the first Kinet device 121.
  • the microphone device 121e is activated in synchronization with at least one of the first RGB camera 121a and the first depth camera 121b according to user settings or in response to the control of the processor 160, and the first RGB camera 121a ) and the first depth camera 121b may collect an ambient audio signal while capturing an image of the subject 11 .
  • the audio signal obtained by the microphone device 121e may be synchronized with the first RGB image and the first depth information and transmitted to the processor 160 .
  • the case 121f may form at least a part of an exterior and an interior tube of the first Kinet device 121 .
  • the printed circuit board 121c, the microphone device 121e, at least a part of the first RGB camera 121a, and at least a part of the first depth camera 121b may be seated in the case 121f.
  • At least a portion of the connection interface 121d may be disposed within the case 121f, and another portion of the connection interface 121d may be exposed to the outside through an open side of the case 121f.
  • the connection interface 121d eg, a connection jack
  • the connection interface 121d may be disposed within the case 121f without separate exposure.
  • FIG. 3 is a diagram showing an example of images acquired through Kinet devices according to an embodiment of the present invention.
  • first RGB camera 121a included in the first Kinet device 121 (or the second Kinet device 122) captures an image of a designated subject, as in the 301 image
  • 1 RGB image can be obtained.
  • first depth camera 121b included in the first Kinet device 121 captures an image of a designated subject
  • a first depth image (or first depth information, first depth image) as in image 302 can be obtained.
  • Image 303 is an image obtained by converting the first depth image into an RGB image
  • image 304 is an image obtained by converting the first RGB image into a depth image.
  • the first Kinet device 121 extracts depth information of each object included in the first depth image, maps the extracted depth information to each object included in the first RGB image, or Color information (or RGB information) of each object included in the image may be extracted, and the extracted RGB information may be matched to each object included in the first depth image.
  • the first Kinet device 121 may transfer at least one of images 301 to 304 to the processor 160 of the electronic device 100 .
  • the second Kinet device 122 when the second Kinet device 122 is installed and set to photograph the same subject as the first Kinet device 121, the second Kinet device 122 also has at least some of the images corresponding to images 301 to 304. may be delivered to the processor 160 of the electronic device 100.
  • FIG. 4 is a diagram illustrating an example of information processing for constructing a 3D space map according to an embodiment of the present invention.
  • the processor 160 of the electronic device 100 captures a subject 11 from the first Kinet device) and the second Kinet device 122. Images can be collected.
  • the processor 160 activates the first Kinet device 121 and the second Kinet device 122 in response to a user input or scheduling information of a preset program, and the activated first Kinet device 121 and Photographed images may be collected from the second Kinet device 122 .
  • the processor 160 may collect at least some of the images 301 to 304 as described above with reference to FIG. 3 .
  • the processor 160 may collect stereo RGB images (eg, a 301 image obtained from the first Kinet device 121 and a 301 image obtained from the second Kinet device 122).
  • the processor 160 may perform noise removal on the acquired images.
  • the electronic device 100 may provide a noise filter and perform noise filtering on collected images.
  • steps 401 and 403 may be processed by the Kinet devices 121 and 122 .
  • the processor 160 may calculate an image change amount for the filtered RGB images.
  • the processor 160 may perform feature point extraction on objects whose image variation is greater than or equal to a predetermined value.
  • the processor 160 may separate the background and the subject from the filtered RGB images, calculate the amount of image change between objects corresponding to the subject, and extract feature points based on objects whose image change amount is greater than or equal to a certain value. there is.
  • the processor 160 may load a previous image for feature point matching in step 405.
  • the processor 160 may store the previous image in the memory 140 .
  • the processor 160 may perform a feature point matching operation between a previous image stored in the memory 140 and current images from which feature point extraction has been performed. In this process, the processor 160 may not perform a feature point matching operation on the first captured image, but may perform feature point matching on subsequent captured images with the immediately captured images.
  • step 406a the processor 160 may perform spatial information extraction on the object through feature point matching. Also, in step 406b, the processor 160 may perform motion tracking of the object through feature point matching.
  • the processor 160 may calculate real space information based on the extracted space information.
  • the processor 160 may calculate a real space position using the calculated motion tracking information.
  • the processor 160 may calculate spatial coordinates of the subject 11 (or at least some objects included in the subject 11, for example, an object whose image variation is greater than or equal to a predetermined value) using the real space information and the real space location. .
  • the processor 160 may perform error correction of real space information using a real space position value through motion tracking.
  • the spatial coordinates (eg, the spatial coordinates of an object in the first RGB image and the spatial coordinates of an object in the second RGB image) are used to correct the depth error, and the position of the object photographed by the first Kinet device 121 and the 2 It can be used as the position value of the object photographed by the Kinet device 122.
  • an error may occur due to a positional difference between the Kinet devices 121 and 122 .
  • the processor 160 of the electronic device 100 may calculate an error value based on depth detection.
  • FIG. 5 is a diagram illustrating depth error detection in an electronic device according to an embodiment of the present invention.
  • the first Kinet device 121 and the second Kinet device 122 may collect images of the subject 11 and transmit them to the processor 160 .
  • the first Kinet device 121 and the second Kinet device 122 may be disposed adjacent to each other within a certain distance to collect images of the same subject 11 .
  • the processor 160 selects the first Depth delivered by the first Kinet device 121 among the images captured and delivered by the first Kinet device 121 and the second Kinet device 122. Depth error detection may be performed using the image and the second depth image delivered by the second Kinet device 122 . That is, as illustrated, the first depth image of the subject 11 captured by the first kinet device 121 disposed at the first position based on the actual position of the object is the first kinet image at the actual position of the object. It may be formed at a location close to device 121 .
  • the second depth image captured of the subject 11 by the second Kinet device 122 disposed at the second location may be formed at a location close to the second Kinet device 122 from the actual location of the object. Accordingly, a measurement error in a direction toward the Kinet devices 121 and 122 based on the actual position of the object and a measurement error in a direction connecting the Kinet devices 121 and 122 may occur.
  • the processor 160 compares the first depth image and the second depth image to detect horizontal and vertical measurement errors based on the actual position of the object.
  • FIG. 6 is a diagram illustrating error correction according to depth error detection of an electronic device according to an embodiment of the present invention.
  • the processor 160 may detect camera measurement errors between the positions measured by the first Kinet device 121 and the positions measured by the second Kinet device 122 based on the actual position of the object.
  • the processor 160 may calculate the corrected measurement position of the object in a direction that minimizes camera measurement errors.
  • the corrected measurement position may be a position where an object is photographed by a new Kinet device located at an imaginary intermediate point between the first Kinet device 121 and the second Kinet device 122 .
  • the corrected measurement position may be a median value of the (vertical and horizontal) measurement errors.
  • the processor 160 may extract more precise spatial information of the object and construct a 3D spatial map of the object based on the extracted spatial information.
  • FIG. 7 is a diagram illustrating an example of a method of constructing a 3D space map for AR content according to an embodiment of the present invention.
  • a plurality of Kinet devices eg, a first A plurality of images can be collected using the Kinet device 121 and the second Kinet device 122 .
  • the first kinet device 121 and the second kinet device 121 provided to place the first kinet device 121 and the second kinet device 122 within a certain distance or to maintain a certain distance in order to photograph the subject 11, and It can be controlled to capture an image of the subject 11 using the second Kinet device 122 .
  • the processor 160 may control the turn-on operation of the first Kinet device 121 and the second Kinet device 122 .
  • the processor 160 of the electronic device 100 may extract spatial information using RGB images.
  • the first Kinet device 121 transfers the first RGB image and the first depth image of the subject 11 to the processor 160
  • the second Kinet device 122 transmits the first RGB image and the first depth image of the subject 11 to the same subject 11.
  • the second RGB image and the second depth image may be transmitted to the processor 160.
  • the processor 160 performs noise filtering on the first RGB image and the second RGB images, checks the image change amount between the first RGB image and the second RGB image, and then determines the image change amount for an object having a predetermined value or more. Feature point extraction can be performed.
  • the processor 160 performs feature point matching between previously captured images and current images, and uses the feature point matching value to determine the subject 11 (or at least some objects included in the image or an object whose image variation is greater than a certain value). Spatial information can be extracted for Here, the processor 160 may extract spatial information about the object from each of the first RGB image and the second RGB image.
  • the processor 160 of the electronic device 100 may perform depth error detection using depth images.
  • the processor 160 uses the first depth image provided by the first Kinet device 121 and the second depth image provided by the second Kinet device 122 to display the real subject 11 (or image).
  • An object whose variation is greater than or equal to a predetermined value) Reference depth error detection may be performed.
  • the processor 160 of the electronic device 100 may generate a 3D map (or 3D space map) after error correction.
  • steps 703 and 705 are processed in time series, but the present invention is not limited thereto.
  • steps 703 and 705 may start simultaneously.

Abstract

본 발명은 제1 키넷 장치를 이용하여 피사체에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 획득하면서, 제2 키넷 장치를 이용하여 상기 피사체와 동일한 피사체에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 획득하는 단계, 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 이용하여 상기 피사체에 대한 공간 정보를 추출하는 단계, 상기 제1 Depth 이미지 및 상기 제2 Depth 이미지를 이용하여 상기 피사체에 대한 깊이 오차를 검출하는 단계, 상기 검출된 깊이 오차를 이용하여 상기 공간 정보를 보정하여 상기 피사체에 대한 3D 공간 맵을 구성하는 단계를 포함하는 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치를 개시한다.

Description

KINECT 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치
본 발명은 3D 공간 맵 지원에 관한 것으로서, 더욱 상세하게는 Kinect을 이용하여 AR 콘텐츠로 이용할 수 있는 3D 공간 맵을 제공할 수 있는 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치에 관한 것이다.
가상현실(Virtual Reality: VR) 및 증강현실(Augmented Reality: AR)이 등장한 이후, 스마트폰 애플리케이션을 다양한 관심이 증가하는 가운데, 증강현실과 관련한 기술은 다양한 분야 예컨대, 교육 및 상업적으로 활용되고 있다.
한편, 증강 현실의 경우, 카메라가 촬영한 영상을 이용하여 AR 콘텐츠를 생성하기 때문에, 카메라가 촬영한 영상을 기반으로 정밀한 3D 공간 맵을 구축할 필요가 있다. 그리고 정밀한 3D 공간 맵을 구축하기 위해서는 거리 검출이 가능한 디바이스로 공간 스캔을 진행해야 한다. 현재 이런 정밀한 3D 공간 맵을 구축하기 위해서는, 라이다 센서나 레이저 스캐너 등, 정밀한 거리 검출이 가능한 장치가 필요하다. 그런데 이러한 장치들은 고가에 부피가 크고, 운용을 위해서 전문 지식이 필요하다. 또한, 해당 장비들의 설치와 운용에 있어서, 많은 시간과 노력이 필요하기 때문에, 가벼운 AR 콘텐츠 사용을 위한 일상 공간 지도 작성에는 적합하지 않다.
상술한 문제점을 해결하기 위하여, 본 발명은 AR 콘텐츠용 3D 공간 지도 작성을 위해 2대의 Kinect 장치들을 이용하여 쉽고 빠르게 공간 정보를 추출할 수 있도록 하는 Kinect 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치를 제공함에 있다.
한편, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵을 지원하는 전자 장치는 제1 키넷 장치 및 제2 키넷 장치와 연결되는 카메라 인터페이스, 상기 제1 키넷 장치 및 상기 제2 키넷 장치가 전달하는 이미지들을 저장하는 메모리, 상기 카메라 인터페이스 및 상기 메모리와 기능적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 제1 키넷 장치로부터 피사체에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 획득하면서, 제2 키넷 장치를 이용하여 상기 피사체와 동일한 피사체에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 획득하고, 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 이용하여 상기 피사체에 대한 공간 정보를 추출하고, 상기 제1 Depth 이미지 및 상기 제2 Depth 이미지를 이용하여 상기 피사체에 대한 깊이 오차를 검출하고, 상기 검출된 깊이 오차를 이용하여 상기 공간 정보를 보정하여 상기 피사체에 대한 3D 공간 맵을 구성하여 상기 메모리에 저장하도록 설정된 것을 특징으로 한다.
여기서, 상기 프로세서는 상기 공간 정보를 추출하는 과정 중에 상기 제1 RGB 이미지와 상기 제2 RGB 이미지에 대한 노이즈 필터링을 수행하고, 상기 제1 RGB 이미지와 상기 제2 RGB 이미지를 이용하여 이미지 변화량을 산출하고, 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 대한 특징점을 추출하고, 이전 저장된 이미지와 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지들을 비교하여 특징점 매칭을 수행하고, 상기 특징점 매칭을 기반으로 상기 피사체에 대한 공간 정보를 추출하도록 설정된 것을 특징으로 한다.
추가로, 상기 프로세서는 상기 특징점을 추출하는 과정 중에 상기 이미지 변화량을 산출하는 단계에서 이미지 변화량이 지정된 크기 이상인 객체에 대한 특징점을 추출하도록 설정된 것을 특징으로 한다.
또한, 상기 프로세서는 상기 특징점 매칭을 기반으로 상기 피사체의 움직임을 추적하고, 이전 이미지에서 추적된 움직임을 기반으로 실공간 위치를 산출하도록 설정될 수 있다.
추가로, 상기 프로세서는 상기 깊이 오차를 검출하는 과정에서 중에 상기 피사체 기준 수평 방향의 측정 오차와 상기 피사체 기준 수직 방향의 측정 오차를 산출하고, 상기 측정 오차들의 중간 값을 상기 오차에 대한 보정값으로 적용하도록 설정된 것을 특징으로 한다.
본 발명의 키넷(Kinect) 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법은, 제1 키넷 장치를 이용하여 피사체에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 획득하면서, 제2 키넷 장치를 이용하여 상기 피사체와 동일한 피사체에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 획득하는 단계, 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 이용하여 상기 피사체에 대한 공간 정보를 추출하는 단계, 상기 제1 Depth 이미지 및 상기 제2 Depth 이미지를 이용하여 상기 피사체에 대한 깊이 오차를 검출하는 단계, 상기 검출된 깊이 오차를 이용하여 상기 공간 정보를 보정하여 상기 피사체에 대한 3D 공간 맵을 구성하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 공간 정보를 추출하는 단계는 상기 제1 RGB 이미지와 상기 제2 RGB 이미지에 대한 노이즈 필터링을 수행하는 단계, 상기 제1 RGB 이미지와 상기 제2 RGB 이미지를 이용하여 이미지 변화량을 산출하는 단계, 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 대한 특징점을 추출하는 단계, 이전 저장된 이미지와 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지들을 비교하여 특징점 매칭을 수행하는 단계, 상기 특징점 매칭을 기반으로 상기 피사체에 대한 공간 정보를 추출하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 특징점을 추출하는 단계는 상기 이미지 변화량을 산출하는 단계에서 이미지 변화량이 지정된 크기 이상인 객체에 대한 특징점을 추출하는 단계를 포함하는 것을 특징으로 한다.
추가로, 상기 방법은 상기 특징점 매칭을 기반으로 상기 피사체의 움직임을 추적하고, 이전 이미지에서 추적된 움직임을 기반으로 실공간 위치를 산출하는 단계를 더 포함하는 것을 특징으로 한다.
한편, 상기 깊이 오차를 검출하는 단계는 상기 피사체 기준 수평 방향의 측정 오차와 상기 피사체 기준 수직 방향의 측정 오차를 산출하는 단계 및 상기 측정 오차들의 중간 값을 상기 오차에 대한 보정값으로 적용하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 본 발명은 여러 위치에 대한 깊이 카메라 출력 결과들의 오차들을 최소화 하는 알고리즘을 이용하여 평균 오차를 줄이고 Stereo 카메라의 중앙에 가상의 카메라 위치에서 검출한 깊이 정보처럼 2장의 Depth 이미지를 병합하여 카메라의 정밀 위치 및 그 위치에서의 깊이 정보를 통해 주변 공간에 대한 3D 공간 지도를 작성할 수 있도록 지원한다.
아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.
도 1은 본 발명의 실시 예에 따른 Kinect을 이용한 AR 콘텐츠용 3D 공간 맵 구성 환경의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 키넷 장치들 중 적어도 하나의 키넷 장치의 세부 구성의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 키넷 장치들을 통해 획득되는 이미지들의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 3D 공간 맵 구성을 위한 정보 처리의 한 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 전자 장치의 깊이 오차 검출을 설명하는 도면이다.
도 6은 본 발명의 실시 예에 따른 전자 장치의 깊이 오차 검출에 따른 오차 보정을 설명하는 도면이다.
도 7은 본 발명의 실시 예에 따른 AR 콘텐츠용 3D 공간 맵 구성 방법의 한 예를 나타낸 도면이다.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "부", "기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
상술한 용어들 이외에, 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.
이하 설명에서 키넷 장치들은 예컨대, MS Kinect 장치들일 수 있다. MS 키넷 장치들은 RGB 카메라와 Depth 카메라가 합쳐진 형태로 자체 소프트웨어를 통해 두 종류의 카메라를 통해 얻은 정보를 동일한 스케일로 보정한 출력 이미지를 얻을 수 있다. 따라서 본 발명에서는, 2대의 Kinect를 이용하여 이미지 기반의 3D 위치 검출 알고리즘을 이용해 현재 카메라의 정밀 위치를 계산하고 2대의 Depth 카메라를 통해 얻은 깊이 값을 보정하여 해당 위치에서의 정밀 깊이 결과물로 합치는 기술을 제공한다.
이하, 각 도면들을 통하여, 본 발명을 구성하는 시스템과 장치 및 방법 등에 대해서 보다 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 Kinect을 이용한 AR 콘텐츠용 3D 공간 맵 구성 환경의 한 예를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 AR 콘텐츠용 3D 공간 맵 구성 환경(10)은 피사체(11) 및 전자 장치(100)를 포함할 수 있다.
상기 피사체(11)는 상기 전자 장치(100)에 의하여 촬영되고, AR 콘텐츠용으로 사용될 수 있는 물체나 배경, 인물, 동물, 구조물 등 다양한 실물 객체를 포함할 수 있다. 도시된 도면에서 피사체(11)는 의자 형상으로 예시하였으나, 본 발명이 이에 한정되는 것은 아니다. 또한, 본 발명의 피사체(11)는 하나의 실물 객체뿐만 아니라 복수개의 실물 객체를 포함할 수 있다.
상기 전자 장치(100)는 상기 피사체(11)에 관한 영상을 획득하고, 획득된 영상에 대한 특징점 추출 및 좌표 산출을 수행하고, 이를 기반으로 적어도 피사체(11)를 포함하는 AR 콘텐츠용 3D 공간 맵을 구성할 수 있다. 이 과정에서 상기 전자 장치(100)는 피사체(11)에 관한 상대적으로 정밀한 3D 공간 맵을 구성하기 위하여 복수개의 키넷(Kinect) 장치들(121, 122)을 이용하여, 오차 보정을 수행할 수 있다. 이러한 전자 장치(100)는 예컨대, 제1 키넷 장치(121) 및 제2 키넷 장치(122), 카메라 인터페이스(120), 통신 인터페이스(), 디스플레이(130), 메모리(140) 및 프로세서(160)를 포함할 수 있다. 한편, 상기 전자 장치(100) 구성에서 상기 제1 키넷 장치(121)와 제2 키넷 장치(122)는 탈착 가능한 구성으로 마련되거나 또는 별도의 구성으로 마련될 수 있다. 이 경우, 상기 전자 장치(100) 구성은 상기 제1 키넷 장치(121) 및 상기 제2 키넷 장치(122)를 제외한 구성을 포함할 수도 있다.
상기 제1 키넷 장치(121)는 적어도 피사체(11)를 포함하는 복수의 촬영 이미지를 획득할 수 있다. 상기 복수의 촬영 이미지는 예컨대, 상기 피사체(11)에 대한 RGB 이미지 및 상기 피사체(11)에 대한 깊이 정보를 포함하는 Depth 이미지를 포함할 수 있다. 상기 제1 키넷 장치(121)는 획득된 복수의 촬영 이미지들을 카메라 인터페이스(120)를 통하여 프로세서(160)에 전달할 수 있다.
상기 제2 키넷 장치(122)는 지정된 위치(예: 제1 키넷 장치(121)가 피사체(11)를 촬영할 수 있는 제1 위치에 배치되는 경우, 상기 제1 위치와 일정 거리 이격된 지정된 제2 위치 또는 제1 위치에 인접된 위치)에 배치될 수 있다. 상기 제2 키넷 장치(122)는 상기 제1 키넷 장치(121)와 동일한 피사체(11)에 대한 복수의 촬영 이미지를 획득할 수 있다. 상기 제2 키넷 장치(122)는 상기 제1 키넷 장치(121)와 실질적으로 동일한 또는 유사한 카메라 모듈들을 포함할 수 있다. 이에 따라, 제2 키넷 장치(122)는 피사체(11)에 대한 RGB 이미지 및 Depth 이미지를 획득하고, 카메라 인터페이스(120)를 통하여 상기 프로세서(160)에 전달할 수 있다.
상기 카메라 인터페이스(120)는 상기 제1 키넷 장치(121) 및 제2 키넷 장치(122)와 프로세서(160)를 연결하는 인터페이싱 역할을 수행할 수 있다. 또한, 카메라 인터페이스(120)는 프로세서(160)의 제어 신호를 제1 키넷 장치(121) 및 제2 키넷 장치(122)에 전달할 수 있다. 상기 카메라 인터페이스(120)는 상기 프로세서(160) 제어에 대응하여 제1 키넷 장치(121) 및 제2 키넷 장치(122)의 턴-온/턴-오프를 제어하고, 제1 키넷 장치(121) 및 제2 키넷 장치(122)의 동기화를 제어할 수 있다.
상기 통신 인터페이스(110)는 상기 전자 장치(100)의 통신 기능을 지원할 수 있다. 예컨대, 상기 통신 인터페이스(110)는 상기 프로세서(160) 제어(또는 사용자 입력)에 대응하여 특정 서버 장치와 통신 채널을 형성할 수 있다. 상기 통신 인터페이스(110)는 프로세서(160) 제어에 대응하여 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 통해 획득한 이미지들을 기반으로 생성된 3D 공간 맵을 지정된 서버 장치 또는 다른 전자 장치에 전송할 수 있다.
상기 디스플레이(130)는 상기 전자 장치(100)의 화면 표시 기능을 지원할 수 있다. 예컨대, 상기 디스플레이(130)는 상기 제1 키넷 장치(121) 및 상기 제2 키넷 장치(122)로부터 획득된 복수의 이미지들 중 적어도 일부를 출력할 수 있다. 또한, 상기 디스플레이(130)는 상기 복수의 이미지들을 기반으로 생성된 3D 공간 맵의 적어도 일부를 출력할 수 있다. 추가로, 상기 디스플레이(130)는 제1 키넷 장치(121) 및 제2 키넷 장치(122) 제어를 위한 제어 화면을 출력할 수 있다. 상기 디스플레이(130)는 출력된 제어 화면을 통해 사용자 입력을 수신할 수 있도록 터치스크린으로 형성될 수 있다.
상기 메모리(140)는 상기 전자 장치(100) 운용과 관련한 데이터 및 프로그램을 저장할 수 있다. 예컨대, 상기 메모리(140)는 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 통해 획득된 복수의 이미지들을 기반으로 3D 공간 맵을 구성하는 알고리즘(또는 프로그램)을 저장할 수 있다. 특히, 본 발명의 메모리(140)는 상기 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 통해 획득된 복수의 이미지들 사이의 오차를 보정하는 보정 알고리즘(141)을 저장할 수 있다. 또한, 메모리(140)는 상기 보정 알고리즘(141)에 의해 보정된 보정 이미지(142)(예: 보정된 3D 공간 맵)를 저장할 수 있다.
상기 프로세서(160)는 상기 전자 장치(100) 운용과 관련한 신호의 전달 또는 신호의 처리를 담당할 수 있다. 예컨대, 프로세서(160)는 사전 저장된 스케줄링 정보 또는 사용자 입력에 대응하여, 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 턴-온시키고, 제1 키넷 장치(121) 및 제2 키넷 장치(122)가 획득한 복수의 이미지들 중 적어도 일부를 수집하여 메모리(140)에 저장할 수 있다. 상기 프로세서(160)는 상기 복수의 이미지들에 대해 보정 알고리즘(141)을 적용하여 오차 보정을 수행하고, 오차 보정된 이미지들을 기반으로 3D 공간 맵을 구성할 수 있다. 상기 프로세서(160)는 3D 공간 맵을 지정된 서버 장치 또는 타 전자 장치에 전송하도록 제어할 수 있다.
추가로, 상기 제1 키넷 장치(121) 및 제2 키넷 장치(122)가 오디오 장치(예: 마이크)를 포함하고, 피사체(11) 촬영 시 마이크를 이용하여 오디오 신호를 획득하여 전달하는 경우, 상기 프로세서(160)는 오디오 신호를 상기 3D 공간 맵에 매핑하여 함께 저장할 수 있다. 이후, 상기 3D 공간 맵 재생을 요청하는 입력에 대응하여 상기 3D 공간 맵을 디스플레이(130)에 출력하면서, 상기 오디오 신호를 스피커를 통해 출력할 수 있다. 이를 위하여 상기 전자 장치(100)는 상기 오디오 신호 출력을 위한 스피커를 더 포함할 수 있다.
도 2는 본 발명의 실시 예에 따른 키넷 장치들 중 적어도 하나의 키넷 장치의 세부 구성의 한 예를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 제1 키넷 장치(121)는 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b), 인쇄회로기판(121c), 연결 인터페이스(121d), 마이크 장치(121e) 및 케이스(121f)를 포함할 수 있다. 추가적으로 상기 제2 키넷 장치(122)는 상기 제1 키넷 장치(121)와 동일 또는 유사하게, 제2 RGB 카메라 및 제2 깊이 카메라, 인쇄회로기판, 연결 인터페이스, 마이크 장치 및 케이스를 포함할 수 있다. 상기 제2 RGB 카메라 및 상기 제2 깊이 카메라는 앞서 설명한 제1 키넷 장치(121)의 제1 RGB 카메라 및 제1 깊이 카메라와 실질적으로 동일한 특성을 가지는 카메라일 수 있다.
상기 제1 RGB 카메라(121a)는 상기 제1 깊이 카메라(121b)에 인접되게 배치되고, 피사체(11)에 대한 RGB 이미지를 획득할 수 있다. 상기 제1 RGB 카메라(121a)는 제어에 대응하여 상기 제1 깊이 카메라(121b)와 동시 턴-온 및 동시 턴-오프될 수 있다. 상기 제1 RGB 카메라(121a)는 획득한 RGB 이미지를 카메라 인터페이스(120)를 통하여 전자 장치(100)에 전달할 수 있다. 상기 제1 RGB 카메라(121a)는 상기 제2 키넷 장치(122)의 제2 RGB 카메라와 동시 턴-온되고, 제2 RGB 카메라와 다른 위치 또는 다른 각도에서 피사체(11)에 대한 RGB 이미지를 획득할 수 있다. 이에 따라, 제1 RGB 카메라(121a)가 획득한 제1 RGB 이미지와 제2 키넷 장치(122)의 제2 RGB 카메라가 획득한 제2 RGB 이미지에서의 특정 피사체는 각도 차이 또는 위치 차이가 발생한다.
상기 제1 깊이 카메라(121b)는 상기 제1 RGB 카메라(121a)에 인접되게 배치되고, 피사체(11)에 대한 깊이 정보(또는 Depth 이미지)를 획득할 수 있다. 상기 제1 깊이 카메라(121b)는 제어에 대응하여 상기 제1 RGB 카메라(121a)와 동시 턴-온 및 동시 턴-오프될 수 있다. 상기 제1 깊이 카메라(121b)는 획득한 Depth 이미지를 카메라 인터페이스(120)를 통하여 전자 장치(100)에 전달할 수 있다. 상기 제1 깊이 카메라(121b)는 상기 제2 키넷 장치(122)의 제2 깊이 카메라와 동시 턴-온되고, 제2 깊이 카메라와 다른 위치 또는 다른 각도에서 피사체(11)에 대한 Depth 이미지를 획득할 수 있다. 이에 따라, 제1 깊이 카메라(121b)가 획득한 제1 Depth 이미지와 제2 키넷 장치(122)의 제2 깊이 카메라가 획득한 제2 Depth 이미지에서의 특정 피사체와 깊이 차이가 발생한다. 한편, 상기 제1 RGB 카메라(121a), 제1 깊이 카메라(121b), 제2 RGB 카메라 및 제2 깊이 카메라는 3D 공간 맵 구성을 위해서 피사체(11)에 대한 영상을 촬영하는 과정에서 동기화되어, 동시 턴-온 및 동시 턴-오프될 수 있다.
상기 인쇄회로기판(121c)은 상기 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b) 제어를 위한 다양한 회로 소자들이 실장될 수 있다. 상기 인쇄회로기판(121c) 일측에는 연결 인터페이스(121d)가 실장될 수 있다. 또한, 상기 인쇄회로기판(121c)은 상기 마이크 장치(121e) 구동을 위한 다양한 회로 소자들이 배치될 수 있다.
상기 연결 인터페이스(121d)는 상기 인쇄회로기판(121c) 일측에 실장되고, 케이블이나 무선 신호를 통해 전자 장치(100)의 카메라 인터페이스(120)와 연결될 수 있다. 상기 연결 인터페이스(121d)는 전자 장치(100)의 프로세서(160)가 전달하는 제어 신호를 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b)에 전달하고, 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b)가 획득한 제1 RGB 이미지 및 깊이 정보(또는 Depth 이미지)를 전자 장치(100)의 프로세서(160)에 전달할 수 있다.
상기 마이크 장치(121e)는 상기 제1 키넷 장치(121)에서 생략될 수도 있다. 상기 마이크 장치(121e)는 사용자 설정에 따라 또는 프로세서(160) 제어에 대응하여 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b) 중 적어도 하나와 동기화되어 활성화되고, 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b)가 피사체(11)에 대한 영상을 촬영하는 동안 주변 오디오 신호를 수집할 수 있다. 상기 마이크 장치(121e)가 획득한 오디오 신호는 상기 제1 RGB 이미지 및 상기 제1 깊이 정보와 동기화되어 프로세서(160)에 전달될 수 있다.
상기 케이스(121f)는 상기 제1 키넷 장치(121)의 외관 및 내관 중 적어도 일부를 형성할 수 있다. 상기 케이스(121f) 내에는 상기 인쇄회로기판(121c)과 마이크 장치(121e), 제1 RGB 카메라(121a)의 적어도 일부 및 제1 깊이 카메라(121b)의 적어도 일부가 안착될 수 있다. 상기 연결 인터페이스(121d)의 적어도 일부는 케이스(121f) 내에 배치되고, 연결 인터페이스(121d)의 다른 일부는 케이스(121f)의 개구된 일측을 통해 외부에 노출될 수 있다. 또는, 상기 연결 인터페이스(121d)가 무선 방식으로 전자 장치(100)와 연결되는 경우, 상기 연결 인터페이스(121d)(예: 연결 잭)는 상기 케이스(121f) 내에 별도의 노출 없이 배치될 수 있다.
도 3은 본 발명의 실시 예에 따른 키넷 장치들을 통해 획득되는 이미지들의 한 예를 나타낸 도면이다.
도 3을 참조하면, 제1 키넷 장치(121)(또는 제2 키넷 장치(122))에 포함된 제1 RGB 카메라(121a)가 지정된 피사체에 대한 영상을 촬영할 경우, 301 이미지에서와 같이, 제1 RGB 이미지를 획득할 수 있다. 또한, 제1 키넷 장치(121)에 포함된 제1 깊이 카메라(121b)가 지정된 피사체에 대한 영상을 촬영할 경우, 302 이미지에서와 같이 제1 Depth 이미지(또는 제1 깊이 정보, 제1 깊이 이미지)를 획득할 수 있다.
303 이미지는 제1 깊이 이미지를 RGB 이미지로 변환한 이미지이며, 304 이미지는 제1 RGB 이미지를 Depth 이미지로 변환한 이미지이다. 이와 관련하여, 제1 키넷 장치(121)는 제1 Depth 이미지에 포함된 각 객체들의 깊이 정보를 추출하고, 추출된 깊이 정보를 제1 RGB 이미지에 포함된 각 객체들에 매핑하거나, 제1 RGB 이미지에 포함된 각 객체들의 색 정보(또는 RGB 정보)를 추출하고, 추출된 RGB 정보를 제1 Depth 이미지에 포함된 각 객체들에 매칭할 수 있다. 상기 제1 키넷 장치(121)는 도시된 바와 같이, 301 이미지 내지 304 이미지 중 적어도 하나를 전자 장치(100)의 프로세서(160)에 전달할 수 있다. 추가로, 제2 키넷 장치(122)가 제1 키넷 장치(121)와 동일한 피사체를 촬영하도록 설치 및 설정된 경우, 제2 키넷 장치(122)도 301 이미지 내지 304 이미지에 대응하는 이미지들 중 적어도 일부를 전자 장치(100)의 프로세서(160)에 전달할 수 있다.
도 4는 본 발명의 실시 예에 따른 3D 공간 맵 구성을 위한 정보 처리의 한 예를 나타낸 도면이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 전자 장치(100)의 프로세서(160)는 401 단계에서, 제1 키넷 장치) 및 제2 키넷 장치(122)들로부터 피사체(11)에 대한 촬영 이미지들을 수집할 수 있다. 이와 관련하여, 프로세서(160)는 사용자 입력 또는 사전 설정된 프로그램의 스케줄링 정보에 대응하여 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 활성화하고, 활성화된 제1 키넷 장치(121) 및 제2 키넷 장치(122)로부터 촬영 이미지들을 수집할 수 있다. 이 과정에서 상기 프로세서(160)는 앞서 도 3에서 설명한 바와 같은 301 이미지 내지 304 이미지들 중 적어도 일부를 수집할 수 있다. 예컨대, 상기 프로세서(160)는 Stereo RGB 이미지들(예: 제1 키넷 장치(121)에서 획득한 301 이미지 및 제2 키넷 장치(122)에서 획득한 301 이미지)을 수집할 수 있다.
402 단계에서, 프로세서(160)는 획득된 이미지들에서 노이즈 제거를 수행할 수 있다. 이와 관련하여, 전자 장치(100)는 노이즈 필터를 마련하고, 수집된 이미지들에 대한 노이즈 필터링을 수행할 수 있다. 다른 예시로서, 상기 401 단계 및 403 단계는 상기 키넷 장치들(121, 122)에서 처리될 수도 있다.
403 단계에서, 프로세서(160)는 필터링된 RGB 이미지들에 대한 이미지 변화량을 계산할 수 있다. 404a 단계에서, 프로세서(160)는 이미지 변화량이 일정 값 이상인 객체들에 대하여, 특징점 추출을 수행할 수 있다. 또는, 프로세서(160)는 필터링된 RGB 이미지들에서, 배경과 피사체를 분리하고, 피사체에 해당하는 객체들 간의 이미지 변화량을 계산하고, 이미지 변화량이 일정 값 이상인 객체들을 기준으로 특징점 추출을 수행할 수도 있다.
한편, 404b 단계에서, 프로세서(160)는 405 단계에서 특징점 매칭 작업을 위해 이전 이미지를 로딩할 수 있다. 이와 관련하여, 프로세서(160)는 메모리(140)에 이전 이미지를 저장할 수 있다.
405 단계에서, 프로세서(160)는 메모리(140)에 저장된 이전 이미지와 특징점 추출을 수행한 현재 이미지들 간의 특징점 매칭 작업을 수행할 수 있다. 이 과정에서, 상기 프로세서(160)는 최초 촬영된 이미지에서는 특징점 매칭 작업을 수행하지 않고, 이후 촬영된 이미지들에 대하여 직전 촬영한 이미지들과의 특징점 매칭을 수행할 수 있다.
406a 단계에서, 프로세서(160)는 특징점 매칭을 통해 객체에 대한 공간 정보 추출을 수행할 수 있다. 또한, 406b 단계에서, 프로세서(160)는 특징점 매칭을 통해 객체에 대한 움직임 추적을 수행할 수 있다.
407a 단계에서, 프로세서(160)는 추출된 공간 정보를 토대로 실공간 정보를 산출할 수 있다. 407b 단계에서, 프로세서(160)는 산출된 움직임 추적 정보를 이용하여 실공간 위치를 산출할 수 있다. 상기 프로세서(160)는 실공간 정보 및 실공간 위치를 이용하여 피사체(11)(또는 피사체(11)에 포함된 적어도 일부 객체, 예컨대 이미지 변화량이 일정 값 이상인 객체)의 공간 좌표를 산출할 수 있다. 또는, 프로세서(160)는 움직임 추적을 통한 실공간 위치 값을 이용하여 실공간 정보의 오차 보정을 수행할 수도 있다. 상기 공간 좌표(예: 제1 RGB 이미지에서의 객체의 공간 좌표, 제2 RGB 이미지에서의 객체의 공간 좌표)는 깊이 오차 보정에 있어서, 제1 키넷 장치(121)가 촬영한 물체의 위치 및 제2 키넷 장치(122)가 촬영한 물체의 위치 값으로 이용될 수 있다.
한편, 상술한 스테레오 RGB 이미지들을 이용한 특징점 추출과 매칭 작업을 통한 공간 정보 추출과 움직임 추적 시, 키넷 장치들(121, 122)의 위치 차이로 인한 오차가 발생할 수 있다. 이와 관련하여, 전자 장치(100)의 프로세서(160)는 깊이 검출을 기반으로 오차 값 산출을 수행할 수 있다.
도 5는 본 발명의 실시 예에 따른 전자 장치의 깊이 오차 검출을 설명하는 도면이다.
도 5를 참조하면, 501 상태에서와 같이, 제1 키넷 장치(121) 및 제2 키넷 장치(122)는 피사체(11)에 대한 영상을 수집하여 프로세서(160)에 전달할 수 있다. 이때, 제1 키넷 장치(121) 및 제2 키넷 장치(122)는 일정 거리 이내에 인접되게 배치되어 동일한 피사체(11)에 대한 영상을 수집할 수 있다.
영상이 수집되면, 503 상태에서와 같이, 프로세서(160)는 제1 키넷 장치(121) 및 제2 키넷 장치(122)가 촬영하여 전달한 이미지들 중 제1 키넷 장치(121)가 전달한 제1 Depth 이미지와 제2 키넷 장치(122)가 전달한 제2 Depth 이미지를 이용하여 깊이 오차 검출을 수행할 수 있다. 즉, 도시된 바와 같이, 물체의 실제 위치를 기준으로, 제1 위치에 배치된 제1 키넷 장치(121)가 피사체(11)에 대해 촬영한 제1 Depth 이미지는 물체의 실제 위치에서 제1 키넷 장치(121)에 가까운 위치에 형성될 수 있다. 또한, 제2 위치에 배치된 제2 키넷 장치(122)가 피사체(11)에 대해 촬영한 제2 Depth 이미지는 물체의 실제 위치에서 제2 키넷 장치(122)에 가까운 위치에 형성될 수 있다. 이에 따라, 물체의 실제 위치를 기준으로 키넷 장치들(121, 122)을 바라보는 방향으로의 측정 오차와 키넷 장치들(121, 122) 사이를 잇는 방향으로의 측정 오차가 발생할 수 있다. 상기 프로세서(160)는 제1 Depth 이미지 및 제2 Depth 이미지들을 비교하여 도시된 바와 같이 물체의 실제 위치를 기준으로 수평 방향 및 수직 방향의 측정 오차들을 검출할 수 있다.
도 6은 본 발명의 실시 예에 따른 전자 장치의 깊이 오차 검출에 따른 오차 보정을 설명하는 도면이다.
도 6을 참조하면, 앞서 도 5에서 설명한 바와 같이, 제1 키넷 장치(121) 및 제2 키넷 장치(122)가 피사체(11)에 대한 Depth 이미지들을 프로세서(160)에 전달하면, 601 상태에서와 같이, 프로세서(160)는 물체의 실제 위치를 기준으로 제1 키넷 장치(121)가 측정한 위치 및 제2 키넷 장치(122)가 측정한 위치들 사이의 카메라 측정 오차들을 검출할 수 있다.
상기 프로세서(160)는 603 상태에서와 같이, 카메라 측정 오차들을 최소화하는 방향으로 물체의 보정된 측정 위치를 산정할 수 있다. 보정된 측정 위치는, 제1 키넷 장치(121) 및 제2 키넷 장치(122)의 중간 가상의 지점에 위치한 새로운 키넷 장치에서 물체를 촬영한 위치가 될 수 있다. 또는, 상기 보정된 측정 위치는 상기 (수직 및 수평) 측정 오차들의 중간 값이 될 수 있다.
상술한 오차 보정을 통하여, 도시된 바와 같이, 제1 키넷 장치(121)에서 제공한 촬영 이미지와 물체의 실제 위치 값과의 차이 및 제2 키넷 장치(122)에서 제공한 촬영 이미지와 물체의 실제 위치 값과의 차이에 비하여, 보정된 측정 위치에서 물체의 실체 위치까지의 차이 값이 저감될 수 있다. 이를 기반으로, 프로세서(160)는 보다 정밀한 물체의 공간 정보를 추출하여, 이를 기반으로 물체에 대한 3D 공간 맵을 구성할 수 있다.
도 7은 본 발명의 실시 예에 따른 AR 콘텐츠용 3D 공간 맵 구성 방법의 한 예를 나타낸 도면이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 AR 콘텐츠용 3D 공간 맵 구성 방법과 관련하여, 701 단계에서, 전자 장치(100)의 프로세서(160)는, 복수의 키넷 장치(예: 제1 키넷 장치(121) 및 제2 키넷 장치(122))를 이용한 복수의 이미지 수집을 수행할 수 있다. 이와 관련하여, 피사체(11)를 촬영하기 위하여 일정 거리 이내에 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 위치시키거나, 또는 일정 거리를 유지하도록 마련된 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 이용하여 피사체(11)에 대한 영상을 촬영하도록 제어할 수 있다. 이 과정에서, 프로세서(160)는 제1 키넷 장치(121) 및 제2 키넷 장치(122)에 대한 턴-온 동작을 제어할 수 있다.
703 단계에서, 전자 장치(100)의 프로세서(160)는, RGB 이미지들을 이용한 공간 정보 추출을 수행할 수 있다. 이와 관련하여, 제1 키넷 장치(121)는 피사체(11)에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 프로세서(160)에 전달하고, 제2 키넷 장치(122)는 동일한 피사체(11)에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 프로세서(160)에 전달할 수 있다. 상기 프로세서(160)는 제1 RGB 이미지 및 제2 RGB 이미지들에 대한 노이즈 필터링을 수행한 후, 제1 RGB 및 제2 RGB 이미지들 간의 이미지 변화량을 확인한 후, 이미지 변화량이 일정 값 이상인 객체에 대한 특징점 추출을 수행할 수 있다. 상기 프로세서(160)는 이전 촬영된 이미지들과 현재 이미지들 간의 특징점 매칭을 수행하고, 특징점 매칭 값을 이용하여 피사체(11)(또는 이미지에 포함된 적어도 일부 객체 또는 이미지 변화량이 일정 값 이상인 객체)에 대한 공간 정보 추출을 수행할 수 있다. 여기서, 상기 프로세서(160)는 제1 RGB 이미지 및 제2 RGB 이미지 각각에서 객체에 대한 공간 정보들을 추출할 수 있다.
705 단계에서, 전자 장치(100)의 프로세서(160)는 Depth 이미지들을 이용한 깊이 오차 검출을 수행할 수 있다. 이와 관련하여, 상기 프로세서(160)는 제1 키넷 장치(121)가 제공한 제1 Depth 이미지 및 제2 키넷 장치(122)가 제공한 제2 Depth 이미지를 이용하여 실제 피사체(11)(또는 이미지 변화량이 일정 값 이상인 객체) 기준 깊이 오차 검출을 수행할 수 있다.
707 단계에서, 전자 장치(100)의 프로세서(160)는 오차 보정 후 3D 지도(또는 3D 공간 맵) 생성을 수행할 수 있다.
한편, 상술한 설명에서는, 703 단계 및 705 단계가 시계열적으로 처리되는 것을 나타내었으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 상기 703 단계와 상기 705 단계는 동시 시작할 수도 있다.
이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안 되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다.
또한, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안 되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 통상의 기술자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

Claims (10)

  1. 제1 키넷 장치 및 제2 키넷 장치와 연결되는 카메라 인터페이스;
    상기 제1 키넷 장치 및 상기 제2 키넷 장치가 전달하는 이미지들을 저장하는 메모리;
    상기 카메라 인터페이스 및 상기 메모리와 기능적으로 연결되는 프로세서;를 포함하고,
    상기 프로세서는
    제1 키넷 장치로부터 피사체에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 획득하면서, 제2 키넷 장치를 이용하여 상기 피사체와 동일한 피사체에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 획득하고,
    상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 이용하여 상기 피사체에 대한 공간 정보를 추출하고,
    상기 제1 Depth 이미지 및 상기 제2 Depth 이미지를 이용하여 상기 피사체에 대한 깊이 오차를 검출하고,
    상기 검출된 깊이 오차를 이용하여 상기 공간 정보를 보정하여 상기 피사체에 대한 3D 공간 맵을 구성하여 상기 메모리에 저장하도록 설정된 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵을 지원하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는
    상기 공간 정보를 추출하는 과정에서,
    상기 제1 RGB 이미지와 상기 제2 RGB 이미지에 대한 노이즈 필터링을 수행하고,
    상기 제1 RGB 이미지와 상기 제2 RGB 이미지를 이용하여 이미지 변화량을 산출하고,
    상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 대한 특징점을 추출하고,
    이전 저장된 이미지와 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지들을 비교하여 특징점 매칭을 수행하고,
    상기 특징점 매칭을 기반으로 상기 피사체에 대한 공간 정보를 추출하도록 설정된 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵을 지원하는 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는
    상기 특징점을 추출하는 과정에서,
    상기 이미지 변화량을 산출하는 단계에서 이미지 변화량이 지정된 크기 이상인 객체에 대한 특징점을 추출하도록 설정된 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵을 지원하는 전자 장치.
  4. 제2항에 있어서,
    상기 프로세서는
    상기 특징점 매칭을 기반으로 상기 피사체의 움직임을 추적하고, 이전 이미지에서 추적된 움직임을 기반으로 실공간 위치를 산출하도록 설정된 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵을 지원하는 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는
    상기 깊이 오차를 검출하는 과정에서,
    상기 피사체 기준 수평 방향의 측정 오차와 상기 피사체 기준 수직 방향의 측정 오차를 산출하고,
    상기 측정 오차들의 중간 값을 상기 오차에 대한 보정값으로 적용하도록 설정된 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵을 지원하는 전자 장치.
  6. 키넷(Kinect) 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법에 있어서,
    제1 키넷 장치를 이용하여 피사체에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 획득하면서, 제2 키넷 장치를 이용하여 상기 피사체와 동일한 피사체에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 획득하는 단계;
    상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 이용하여 상기 피사체에 대한 공간 정보를 추출하는 단계;
    상기 제1 Depth 이미지 및 상기 제2 Depth 이미지를 이용하여 상기 피사체에 대한 깊이 오차를 검출하는 단계;
    상기 검출된 깊이 오차를 이용하여 상기 공간 정보를 보정하여 상기 피사체에 대한 3D 공간 맵을 구성하는 단계;를 포함하는 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법.
  7. 제6항에 있어서,
    상기 공간 정보를 추출하는 단계는
    상기 제1 RGB 이미지와 상기 제2 RGB 이미지에 대한 노이즈 필터링을 수행하는 단계;
    상기 제1 RGB 이미지와 상기 제2 RGB 이미지를 이용하여 이미지 변화량을 산출하는 단계;
    상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 대한 특징점을 추출하는 단계;
    이전 저장된 이미지와 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지들을 비교하여 특징점 매칭을 수행하는 단계;
    상기 특징점 매칭을 기반으로 상기 피사체에 대한 공간 정보를 추출하는 단계;를 포함하는 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법.
  8. 제7항에 있어서,
    상기 특징점을 추출하는 단계는
    상기 이미지 변화량을 산출하는 단계에서 이미지 변화량이 지정된 크기 이상인 객체에 대한 특징점을 추출하는 단계;를 포함하는 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법.
  9. 제7항에 있어서,
    상기 특징점 매칭을 기반으로 상기 피사체의 움직임을 추적하고, 이전 이미지에서 추적된 움직임을 기반으로 실공간 위치를 산출하는 단계;를 더 포함하는 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법.
  10. 제6항에 있어서,
    상기 깊이 오차를 검출하는 단계는
    상기 피사체 기준 수평 방향의 측정 오차와 상기 피사체 기준 수직 방향의 측정 오차를 산출하는 단계;
    상기 측정 오차들의 중간 값을 상기 오차에 대한 보정값으로 적용하는 단계;를 포함하는 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법.
PCT/KR2021/017528 2021-11-09 2021-11-25 Kinect 장치들을 이용한 ar 콘텐츠용 3d 공간 맵 지원 방법 및 이를 지원하는 전자 장치 WO2023085492A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210152942A KR102515405B1 (ko) 2021-11-09 2021-11-09 Kinect 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치
KR10-2021-0152942 2021-11-09

Publications (1)

Publication Number Publication Date
WO2023085492A1 true WO2023085492A1 (ko) 2023-05-19

Family

ID=85985798

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/017528 WO2023085492A1 (ko) 2021-11-09 2021-11-25 Kinect 장치들을 이용한 ar 콘텐츠용 3d 공간 맵 지원 방법 및 이를 지원하는 전자 장치

Country Status (2)

Country Link
KR (1) KR102515405B1 (ko)
WO (1) WO2023085492A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120062477A (ko) * 2010-12-06 2012-06-14 광주과학기술원 다시점 깊이 영상 생성 방법 및 장치
KR20140023329A (ko) * 2011-04-29 2014-02-26 마이크로소프트 코포레이션 공간 제스처로부터의 공간 객체 설명 추론
KR101373718B1 (ko) * 2012-10-31 2014-03-14 성균관대학교산학협력단 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치
KR20160034513A (ko) * 2014-09-19 2016-03-30 한국전자통신연구원 Rgb-d 영상을 이용한 실감형 증강현실 구현 장치 및 방법
WO2021066219A1 (ko) * 2019-10-01 2021-04-08 엘지전자 주식회사 이동단말기

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120062477A (ko) * 2010-12-06 2012-06-14 광주과학기술원 다시점 깊이 영상 생성 방법 및 장치
KR20140023329A (ko) * 2011-04-29 2014-02-26 마이크로소프트 코포레이션 공간 제스처로부터의 공간 객체 설명 추론
KR101373718B1 (ko) * 2012-10-31 2014-03-14 성균관대학교산학협력단 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치
KR20160034513A (ko) * 2014-09-19 2016-03-30 한국전자통신연구원 Rgb-d 영상을 이용한 실감형 증강현실 구현 장치 및 방법
WO2021066219A1 (ko) * 2019-10-01 2021-04-08 엘지전자 주식회사 이동단말기

Also Published As

Publication number Publication date
KR102515405B1 (ko) 2023-03-30

Similar Documents

Publication Publication Date Title
WO2016027930A1 (en) Portable device and method for controlling the same
WO2020218717A1 (ko) 어라운드 뷰 장치
JP3302214B2 (ja) 画像入力装置
WO2018070672A1 (en) Electronic device and method for controlling the electronic device
WO2015160052A1 (ko) 광각 렌즈 이미지 보정 방법 및 그 장치
EP3039476A1 (en) Head mounted display device and method for controlling the same
WO2017195965A1 (ko) 차량 속도에 따른 영상 처리 장치 및 방법
WO2021172833A1 (ko) 물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2017195984A1 (ko) 3차원 스캐닝 장치 및 방법
WO2019139404A1 (ko) 전자 장치 및 그의 영상 처리 방법
WO2023085492A1 (ko) Kinect 장치들을 이용한 ar 콘텐츠용 3d 공간 맵 지원 방법 및 이를 지원하는 전자 장치
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2021137555A1 (en) Electronic device comprising image sensor and method of operation thereof
EP3750093A1 (en) Method for generating plural information using camera to sense plural wave bandwidth and apparatus thereof
WO2014035050A1 (ko) 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
WO2020246710A1 (ko) 뎁스 맵 결정 방법 및 그 방법을 적용한 전자 장치
WO2012165718A1 (ko) 아이 트래킹을 이용한 컨버전스 자동 조절 장치 및 그 방법
WO2017086522A1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법
WO2014058234A1 (ko) 편광 차분 카메라를 이용한 영상처리 시스템
WO2019098729A1 (ko) 차량용 모니터링 방법 및 장치
WO2011040653A1 (ko) 3차원 객체를 제공하는 사진 장치 및 그 제공방법
WO2021235837A1 (ko) 이미지 보정을 수행하는 전자 장치
WO2023074999A1 (ko) 3d ar 객체 영상 실시간 획득 시스템 및 이의 운용 방법
WO2019083068A1 (ko) 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
WO2011007970A1 (en) Method and apparatus for processing image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21964201

Country of ref document: EP

Kind code of ref document: A1