WO2019139441A1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
WO2019139441A1
WO2019139441A1 PCT/KR2019/000549 KR2019000549W WO2019139441A1 WO 2019139441 A1 WO2019139441 A1 WO 2019139441A1 KR 2019000549 W KR2019000549 W KR 2019000549W WO 2019139441 A1 WO2019139441 A1 WO 2019139441A1
Authority
WO
WIPO (PCT)
Prior art keywords
boundary
image
depth map
error
pixel value
Prior art date
Application number
PCT/KR2019/000549
Other languages
English (en)
French (fr)
Inventor
유성열
강동진
김규헌
이의상
Original Assignee
삼성전자 주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사, 경희대학교 산학협력단 filed Critical 삼성전자 주식회사
Publication of WO2019139441A1 publication Critical patent/WO2019139441A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present disclosure relates to an image processing apparatus and method for correcting the depth of an image.
  • the image captured by the camera may be limited in viewing angle depending on the characteristics (angle of view, brightness, etc.) of the lens provided in the camera.
  • the viewpoint may be limited as the camera is taken at a fixed position.
  • a computer vision technique using camera parameters, image depth information, and the like is being developed.
  • Computer vision technology for example, is developing a depth map generation technique that represents information about the perspective (depth) between objects in a two-dimensional image.
  • Depth maps are essential for medium-view creation.
  • the mid-view may be created when there is a portion of the plurality of images that does not fit in the case of stitching a plurality of images to produce one large image. That is, the mid-view generation means generating an image corresponding to a portion where a plurality of images are not connected.
  • a depth map can be generated using an image corresponding to a point adjacent to a specific object or using an information extraction camera.
  • the generated depth map may contain errors in depth corresponding to each object and background in the image due to light, calculation error and the like. Errors in depth maps affect the accuracy of mid-view generation.
  • an image processing apparatus and method for correcting an error in a boundary image of a depth map based on a boundary image of a real image can be provided.
  • an image processing apparatus and method for correcting a depth of a boundary image pixel value included in an area of a boundary image of a depth map to match a boundary image pixel value included in an area of a boundary image of a real image Can be provided.
  • a method of correcting an error of a depth map in an electronic device includes generating a first boundary image representing a boundary of one or more objects included in the real image from a real image, Generating a second boundary image representing a boundary of the one or a plurality of objects included in the depth map from a depth map corresponding to a real image based on the first boundary image and the second boundary image; And correcting the second boundary image in consideration of the degree of error in the error boundary area; and extracting the depth map corresponding to the error boundary area based on the corrected second boundary image, And a correction process.
  • An electronic device for correcting errors in a depth map includes at least one processor,
  • the at least one processor is configured to generate a first boundary image representing a boundary of one or more objects included in the real image from a real image and extract a first boundary image representing a boundary of one or more objects included in the depth map from the depth map corresponding to the real image, Or a second boundary image representing a boundary of a plurality of objects, and acquiring an error boundary region based on the first boundary image and the second boundary image, And corrects the depth map corresponding to the error boundary area based on the corrected second boundary image.
  • 1 is a view showing a live view image and a depth map.
  • FIG. 2 is a diagram showing a procedure for correcting an error of a depth map according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram showing a configuration of an apparatus for correcting an error of a depth map according to an embodiment of the present disclosure.
  • 4A is a diagram showing the correction of the depth map error in a one-dimensional environment according to an embodiment of the present disclosure.
  • 4B is a diagram showing the depth map after error correction in a one-dimensional environment according to an embodiment of the present disclosure.
  • Figure 5 is a diagram illustrating error correction of a depth map in a two-dimensional environment in accordance with an embodiment of the present disclosure.
  • Computer program instructions may also be stored on a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible for the instructions to perform the processing equipment to provide steps for executing the functions described in the flowchart block (s).
  • each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s).
  • the functions mentioned in the blocks may occur out of order. For example, two blocks shown in succession may actually be executed substantially concurrently, or the blocks may sometimes be performed in reverse order according to the corresponding function.
  • " part " used in the present embodiment means a hardware component such as software or an FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit) Lt; / RTI >
  • &Quot; to &quot may be configured to reside on an addressable storage medium and may be configured to play one or more processors.
  • 'parts' may refer to components such as software components, object-oriented software components, class components and task components, and processes, functions, , Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • the functions provided in the components and components may be further combined with a smaller number of components and components or further components and components.
  • the components and components may be implemented to play back one or more central processing units (CPUs) within a device or a secure multimedia card.
  • CPUs central processing units
  • 1 is a view showing a live view image and a depth map.
  • a real image 110 is an image of objects and a background.
  • the depth map 160 contains information about each object in the real image 110 and the distance between the background and the camera that captured the real image 110.
  • the depth map 160 may be generated using an infrared camera. In this case, an error due to the distance information may occur in the depth map 160 due to light.
  • a bowling pin is positioned in front of a bowling ball, and no other object exists between the bowling ball and the bowling pin.
  • a third object 162 exists between the bowling ball and the bowling pin have.
  • An error in which the first area 161 of the depth map 160 appears as a third object between the bowling hole and the bowling pin may occur due to the light because the boundary between the bowling ball and the bowling pin is recognized as another object . That is, in the depth map 160, a bowling ball may be mapped to a single value, and an error may be caused to be mapped to a plurality of values.
  • FIG. 2 is a diagram showing a procedure for correcting an error of a depth map according to an embodiment of the present disclosure.
  • the electronic device acquires a live-view image photographed from a camera (210).
  • the real image may include an object, a background, and the like.
  • the camera may be included in the electronic device, or may be a separate camera not included in the electronic device.
  • the electronic device acquires a depth map corresponding to the real image (220).
  • the depth map may be obtained by photographing with a camera.
  • the depth map has the same viewpoint as the live view image, and may include the same object and background as the live view image. That is, the real image and the depth map correspond to each other. Also, the depth map may be obtained by image processing of the real image.
  • the electronic device can process a real image to acquire a boundary image of the real image (230).
  • a boundary image obtained from the real image is referred to as a 'first boundary image'.
  • the first boundary image is an image representing a boundary of an object and a background in a real image.
  • the boundary appearing in the first boundary image can be represented, for example, as a discontinuity point in which the brightness of the image changes abruptly.
  • the boundary at the first boundary image can be a reference for distinguishing objects, backgrounds, and the like in the real image.
  • the electronic device processes the depth map to obtain a boundary image of the depth map (240).
  • the boundary image acquired from the depth map by the image processing will be referred to as a " second boundary image ".
  • a depth map has the same or similar depth information for an object or background.
  • the second boundary image may represent the boundary of the object and the background area in the depth map.
  • the boundary in the second boundary image can be represented as a discontinuity point in which the brightness of the image changes abruptly.
  • the boundary in the second boundary image can be a reference for distinguishing objects, backgrounds, and the like in the depth map.
  • the electronic device detects an error of the depth map based on the first boundary image, which is the boundary image of the real image, and the second boundary image, which is the boundary image of the depth map (250).
  • the electronic device detects an area where the boundary included in the first boundary image and the boundary included in the second boundary image do not coincide with each other.
  • the electronic device calculates the difference between the pixel value of the boundary included in the first boundary image and the boundary included in the second boundary image that are not coincident with each other and identifies the area of the second boundary image corresponding to the difference as an error have.
  • the electronic device can correct errors in the depth map based on the errors identified above (260).
  • the electronic device matches the pixel value included in the region of the second boundary image identified as the error with the pixel value of the first boundary image corresponding to the region. That is, the electronic device can correct the pixel value of the second boundary image based on the pixel value of the first boundary image.
  • the image pixel value of the depth map corresponding to the region identified as the error can be corrected based on the corrected pixel value of the second boundary image.
  • the pixel values of the first and second boundary images and the image pixel values of the depth map may be values of a real image such as a color value and a brightness value.
  • the pixel values of the first and second boundary images and the image pixel values of the depth map are not limited to color values, brightness values, and the like.
  • Fig. 3 is a diagram showing a configuration of an image processing apparatus for correcting an error of a depth map in an electronic device according to an embodiment of the present disclosure.
  • the electronic device 300 includes a camera 310, a transceiver 320, and at least one control unit 330.
  • the camera 310 may be included in the electronic device or may be separately configured.
  • the camera 310 photographs a real image including an object, a background, and the like.
  • the camera 310 can take a depth map corresponding to the real image.
  • the transceiver 320 may receive a real image photographed from a camera other than the camera 310 and a depth map corresponding to the real image.
  • the control unit 330 may process the real image to generate a depth map.
  • the control unit 330 may perform image processing for obtaining boundary images from the real image and the depth map, respectively.
  • the control unit 330 can detect an error of the depth map based on the first boundary image obtained from the real image and the second boundary image obtained from the depth map.
  • the control unit 330 may perform image processing for correcting the error of the depth map based on the detected error.
  • 4A is a diagram showing the correction of the depth map error in a one-dimensional environment according to an embodiment of the present disclosure.
  • the graph represents a boundary image pixel value 410 of a real image and a boundary image pixel value 460 of a depth map.
  • the x-axis of the graph means the index of the pixel corresponding to the x-axis coordinate when the real image and the depth map are observed in one dimension
  • the y-axis means the boundary image pixel value.
  • the first boundary region 411, the second boundary region 412, and the first boundary region 461 and the second boundary region 462 of the depth map of the real image are sharply changed in comparison with the indexes of other pixels, Pixel value.
  • the first boundary region 411 of the real image matches the first boundary region 461 of the depth map but the second boundary region 412 of the real image and the second boundary region 462 of the depth map are different can see. Therefore, the boundary image pixel value of the depth map corresponding to the pixel index value between the second boundary area 412 of the real image and the second boundary area 462 of the depth map is detected as an error.
  • 4B is a view after correction of depth map errors in a one-dimensional environment according to an embodiment of the present disclosure.
  • the error boundary image pixel value is corrected by matching the boundary image pixel value in the second boundary region 412 of the real image to the boundary image pixel value in the second boundary region 462 of the depth map .
  • the erroneous boundary image pixel value may be defined, for example, by the pixel value in the second boundary region 412 of the real image and the error value of the pixel value in the second boundary region 462 of the depth map .
  • the second boundary region 412 of the real image and the second boundary region 462 of the depth map coincide by correcting the boundary image pixel value of the depth map corresponding to the pixel index value.
  • the image pixel values of the depth map corresponding to the second boundary region 462 of the depth map may be corrected based on the boundary image pixel values of the corrected depth map. Accordingly, the error of the depth map can be corrected.
  • Figure 5 is a diagram illustrating error correction of a depth map in a two-dimensional environment in accordance with an embodiment of the present disclosure.
  • a graph represents a boundary image pixel value 510 of a real image and a boundary image pixel value 560 of a depth map.
  • the X axis of the graph means the index of the pixel corresponding to the x axis coordinate
  • the y axis means the pixel index corresponding to the y axis coordinate.
  • the boundary image pixel values of the first boundary area 511 of the real image and the first boundary area 561 of the depth map are different from each other. Thus, it can be detected that an error has occurred in the first boundary area 561 of the depth map. Accordingly, it is necessary to correct the boundary image pixel value of the first boundary area 561 of the depth map. For example, the boundary image pixel value of the first boundary area 561 of the depth map can be corrected to match the boundary image pixel value of the first boundary area 511 of the real image.
  • the boundary pixel values of the first boundary region 561 of the depth map are corrected based on the boundary image pixel values of the first boundary region 561 of the depth map
  • the image pixel value of the corresponding depth map can be corrected.
  • boundary image pixel values of the second boundary area 512 of the real image and the second boundary area 562 of the depth map are different from each other. Thus, it can be detected that an error has occurred in the second boundary area 562 of the depth map. Accordingly, it is necessary to correct the boundary image pixel values of the second boundary area 562 of the depth map. For example, the boundary image pixel value of the second boundary area 562 of the depth map may be corrected to match the boundary image pixel value of the second boundary area 512 of the real image.
  • the boundary pixel value of the second boundary region 562 of the depth map is corrected based on the boundary image pixel value of the depth map 562
  • the image pixel value of the corresponding depth map can be corrected.
  • Various embodiments of the present disclosure may in particular be embodied as computer readable code in a computer readable recording medium.
  • the computer readable recording medium is any data storage device capable of storing data that can be read by a computer system. Examples of computer readable recording media include read only memory (ROM), random access memory (RAM), compact disk-read only memory (CD-ROMs), magnetic tapes, floppy disks, optical data storage devices, and carrier waves (such as data transmission over the Internet) .
  • the computer readable recording medium may also be distributed over networked computer systems, and thus the computer readable codes are stored and executed in a distributed manner.
  • functional programs, code, and code segments for accomplishing the various embodiments of the present disclosure may be readily interpreted by those skilled in the art to which the embodiments of the present disclosure apply.
  • Such software may be, for example, a volatile or nonvolatile storage device such as a storage device such as ROM, whether removable or rewritable, or a memory such as, for example, a RAM, memory chip,
  • a storage medium readable by a machine e.g., a computer
  • a machine e.g., a computer
  • CD compact disk
  • DVD digital versatile disk
  • magnetic disk magnetic tape
  • the method according to various embodiments of the present disclosure may be implemented by a computer or a mobile terminal including a controller and a memory, which memory stores programs or programs containing instructions embodying the embodiments of the present disclosure It will be appreciated that this is an example of a suitable machine readable storage medium.
  • embodiments of the present disclosure include a program including code for implementing the apparatus or method recited in the claims, and a storage medium readable by a machine (such as a computer) for storing such a program.
  • a machine such as a computer
  • such a program may be electronically transported through any medium, such as a communication signal carried over a wired or wireless connection, and embodiments of the present disclosure suitably include equivalents thereof
  • an apparatus may receive and store a program from a program providing apparatus connected by wire or wirelessly.
  • the program providing apparatus includes a memory for storing a program including instructions for causing a program processing apparatus to perform a predetermined content protection method, information necessary for a content protection method, and the like, and a program for executing a wired or wireless communication with the graphics processing apparatus A communication unit, and a control unit for requesting the graphic processing apparatus or automatically transmitting the program to the transmission / reception apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 개시는 영상처리 장치 및 방법에 관한 것이다. 영상 처리 방법은 실사 영상으로부터 실사 영상에 포함된 하나 또는 다수의 물체들의 경계를 나타내는 제1 경계 영상을 생성하는 과정과, 실사 영상에 대응하는 깊이 지도로부터 깊이 지도에 포함된 하나 또는 다수의 물체들의 경계를 나타내는 제2 경계 영상을 생성하는 과정과, 제1 경계 영상과 제2 경계 영상을 기반으로 오류 경계 영역을 획득하는 과정과, 오류 경계 영역에서의 오류 정도를 고려하여 제2 경계 영상을 보정하는 과정과, 보정된 제2 경계 영상을 기초로 오류 경계 영역에 대응하는 깊이 지도를 보정하는 과정을 포함한다.

Description

영상 처리 장치 및 방법
본 개시는 영상의 심도를 보정하는 영상 처리 장치 및 방법에 관한 것이다.
일반적으로 카메라에 의해 촬영되는 영상은 상기 카메라에 구비된 렌즈의 특성 (화각, 밝기 등)에 따라 시야각이 제한될 수 있다. 또한 카메라에 의한 촬영은 고정된 위치에서 이루어짐에 따라 시점 (view point)이 제한될 수도 있다. 이러한 시야각, 시점 등의 제한 사항을 극복하고, 희망하는 품질의 영상을 얻기 위하여, 카메라 파라미터, 영상의 깊이 (심도, depth) 정보 등을 이용한 컴퓨터 비전 기술이 개발되고 있다.
컴퓨터 비전 기술은, 예를 들어, 2차원의 영상 내에서 물체들 간의 원근 (심도)에 대한 정보를 나타내는 깊이 지도 생성 기술이 개발되고 있다. 깊이 지도는 중간-뷰 생성에 필수적으로 사용된다. 중간-뷰는 하나의 큰 영상을 생성하기 위하여 복수의 영상들을 스티칭(stitching)하는 경우, 상기 복수의 영상들 중에 이어지지 않는 부분이 존재할 때 생성될 수 있다. 즉, 중간-뷰 생성은 복수의 영상들이 이어지지 않는 부분에 대응하는 영상을 생성하는 것을 의미한다.
일반적으로 깊이 지도는 특정 물체에 인접한 시점에 대응하는 이미지를 이용하여 생성하거나 정보 추출 카메라를 이용하여 생성할 수 있다. 이렇게 생성된 깊이 지도는 빛, 계산 오차 등으로 인하여 영상 내 각 물체 및 배경에 상응한 심도에 오류를 포함할 수 있다. 깊이 지도의 오류는 중간-뷰 생성의 정확도에 영향을 미친다.
본 개시의 한 실시 예에 따르면, 실사 영상의 경계 영상을 기초로 깊이 지도의 경계 영상에서의 오류를 보정하는 영상 처리 장치 및 방법을 제공할 수 있다.
본 개시의 한 실시 예에 따르면, 깊이 지도의 경계 영상의 영역에 포함된 경계 영상 픽셀 값을 실사 영상의 경계 영상의 영역에 포함된 경계 영상 픽셀 값과 일치하도록 심도를 보정하는 영상 처리 장치 및 방법을 제공할 수 있다.
본 개시의 일 실시예에 따른 전자 장치에서 깊이 지도의 오류를 보정하는 방법은, 실사 영상으로부터 상기 실사 영상에 포함된 하나 또는 다수의 물체들의 경계를 나타내는 제1 경계 영상을 생성하는 과정과, 상기 실사 영상에 대응하는 깊이 지도로부터 상기 깊이 지도에 포함된 상기 하나 또는 다수의 물체들의 경계를 나타내는 제2 경계 영상을 생성하는 과정과, 상기 제1 경계 영상과 상기 제2 경계 영상을 기반으로 오류 경계 영역을 획득하는 과정과, 상기 오류 경계 영역에서의 오류 정도를 고려하여 상기 제2 경계 영상을 보정하는 과정과, 상기 보정된 제2 경계 영상을 기초로 상기 오류 경계 영역에 대응하는 상기 깊이 지도를 보정하는 과정을 포함할 수 있다.
본 개시의 일 실시예에 따른 깊이 지도의 오류를 보정하는 전자 장치는, 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는, 실사 영상으로부터 상기 실사 영상에 포함된 하나 또는 다수의 물체들의 경계를 나타내는 제1 경계 영상을 생성하고, 상기 실사 영상에 대응하는 깊이 지도로부터 상기 깊이 지도에 포함된 상기 하나 또는 다수의 물체들의 경계를 나타내는 제2 경계 영상을 생성하고, 상기 제1 경계 영상과 상기 제2 경계 영상을 기반으로 오류 경계 영역을 획득하고, 상기 오류 경계 영역에서의 오류 정도를 고려하여 상기 제2 경계 영상을 보정하고, 상기 보정된 제2 경계 영상을 기초로 상기 오류 경계 영역에 대응하는 상기 깊이 지도를 보정하는 것을 특징으로 한다.
본 개시의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 실사 영상과 깊이 지도를 도시한 도면이다.
도 2는 본 개시의 실시예에 따른 깊이 지도의 오류를 보정하는 순서를 도시한 도면이다.
도 3은 본 개시의 실시예에 따른 깊이 지도의 오류를 보정하는 장치의 구성을 도시한 도면이다.
도 4a는 본 개시의 실시예에 따라 1차원 환경에서 깊이 지도의 오류를 보정하기 전을 도시한 도면이다.
도 4b는 본 개시의 실시예에 따라 1차원 환경에서 깊이 지도의 오류 보정한 후를 도시한 도면이다.
도 5는 본 개시의 실시예에 따라 2차원 환경에서 깊이 지도의 오류 보정을 도시한 도면이다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.
이하, 본 개시의 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
실시예들을 설명함에 있어서 본 개시의 실시예들이 속하는 기술 분야에 익히 알려져 있고 본 개시의 실시예들과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 개시의 실시예들의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 개시의 실시예들에 의한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 본 개시의 실시예들은 이하에서 개시되는 것들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 개시의 실시예들은 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시의 청구하고자 하는 바는 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU(central processing unit)들을 재생시키도록 구현될 수도 있다.
본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.
도 1은 실사 영상과 깊이 지도를 도시한 도면이다.
도 1을 참조하면, 실사 영상(110)은 물체들 및 배경을 촬영한 영상이다. 깊이 지도(160)는 실사 영상(110) 내 각 물체들 및 배경과 실사 영상(110)을 촬영한 카메라 사이의 거리에 관한 정보를 담고 있다. 상기 깊이 지도(160)는 적외선 카메라를 사용하여 생성할 수 있다. 이 경우, 상기 깊이 지도(160)에는 빛에 의해 거리 정보로 인한 오류가 발생할 수 있다.
예를 들어, 실사 영상(110)의 제1 영역(111)은 볼링 공 앞에 볼링 핀이 위치하고, 상기 볼링 공과 상기 볼링 핀 사이에 다른 물체가 존재하지 않는다. 이에 반해, 상기 실사 영상(110)의 제1 영역(111)에 대응하는 깊이 지도(160)의 제1 영역(161)에서는 볼링 공과 볼링 핀 사이에 제3의 물체(162)가 존재하는 것으로 나타나 있다. 깊이 지도(160)의 제1 영역(161)이 볼링 공과 볼링 핀 사이에 제3의 물체가 존재하는 것으로 나타나는 오류는 빛에 의해 볼링 공과 볼링 핀의 경계 부분이 또 다른 물체로 인식되어 발생할 수 있다. 즉, 깊이 지도(160)에서 볼링 공은 하나의 값으로 맵핑되어야 하는데 복수의 값으로 맵핑되는 오류가 발생할 수 있다.
도 2는 본 개시의 실시예에 따른 깊이 지도의 오류를 보정하는 순서를 도시한 도면이다.
도 2를 참조하면, 전자 장치는 카메라로부터 촬영된 실사 영상을 획득한다(210).
이 때, 실사 영상은 물체 및 배경 등을 포함할 수 있다. 상기 카메라는 상기 전자 장치에 포함되어 있을 수 있고, 전자 장치에 포함되지 않은 별도의 카메라일 수 있다.
전자 장치는 상기 실사 영상에 대응하는 깊이 지도를 획득한다(220).
깊이 지도는 카메라에 의한 촬영에 의해 획득할 수도 있다. 깊이 지도는 실사 영상과 동일한 시점을 가지며, 상기 실사 영상과 동일한 물체 및 배경 등을 포함할 수 있다. 즉, 실사 영상과 깊이 지도는 서로 대응된다. 또한, 깊이 지도는 실사 영상을 영상 처리하여 획득될 수도 있다.
전자 장치는 실사 영상을 영상 처리하여 실사 영상의 경계 영상을 획득할 수 있다(230). 이하 상기 실사 영상으로부터 획득한 경계 영상을 '제1 경계 영상'이라 한다.
제1 경계 영상은 실사 영상 내 물체, 배경의 경계를 나타내는 영상이다. 제1 경계 영상에 나타난 경계는, 예를 들어, 영상 밝기가 급격하게 변화하는 불연속점으로 나타낼 수 있다. 제1 경계 영상에서의 경계는 실사 영상 내 물체, 배경 등을 구분하는 기준이 될 수 있다.
전자 장치는 깊이 지도를 영상 처리하여 깊이 지도의 경계 영상을 획득한다(240). 이하 상기 영상 처리에 의해 깊이 지도로부터 획득한 경계 영상을 '제2 경계 영상'이라 한다. 깊이 지도는 하나의 물체 혹은 배경에 대해서 동일하거나 유사한 깊이 정보를 가진다. 제2 경계 영상은 깊이 지도 내 물체, 배경 영역의 경계를 나타낼 수 있다. 제2 경계 영상에서의 경계는 영상 밝기가 급격하게 변화하는 불연속점으로 나타낼 수 있다. 제2 경계 영상에서의 경계는 깊이 지도 내 물체, 배경 등을 구분하는 기준이 될 수 있다.
전자 장치는 실사 영상의 경계 영상인 제1 경계 영상 및 깊이 지도의 경계 영상인 제2 경계 영상을 기초로 깊이 지도의 오류를 검출한다(250).
구체적으로, 전자 장치는 제1 경계 영상에 포함된 경계와 제2 경계 영상에 포함된 경계가 일치하지 않은 영역을 검출한다. 전자 장치는 서로 일치하지 않은 제1 경계 영상에 포함된 경계와 제2 경계 영상에 포함된 경계의 픽셀 값의 차이를 계산하고, 상기 차이에 대응하는 제2 경계 영상의 영역을 오류로 식별할 수 있다.
전자 장치는 앞서 식별한 오류를 기반으로 깊이 지도의 오류를 보정할 수 있다(260).
구체적으로, 전자 장치는 오류로 식별된 제2 경계 영상의 영역에 포함된 픽셀 값을 상기 영역에 대응하는 제1 경계 영상의 픽셀 값과 일치시킨다. 즉, 전자 장치는 제1 경계 영상의 픽셀 값을 기준으로 제2 경계 영상의 픽셀 값을 보정할 수 있다. 보정된 상기 제2 경계 영상의 픽셀 값을 기준으로 상기 오류로 식별된 영역에 대응하는 깊이 지도의 영상 픽셀 값을 보정할 수 있다. 여기서, 제1 및 제2 경계 영상의 픽셀 값과 깊이 지도의 영상 픽셀 값은 색상 값, 밝기 값 등 실사 영상이 갖고 있는 값일 수 있다. 하지만 제1 및 제2 경계 영상의 픽셀 값과 깊이 지도의 영상 픽셀 값이 색상 값, 밝기 값 등으로 한정되지는 않는다.
도 3은 본 개시의 실시예에 따른 전자 장치에서 깊이 지도의 오류를 보정하는 영상 처리 장치의 구성을 도시한 도면이다.
도 3을 참조하면, 전자 장치(300)은 카메라(310), 송수신부(320) 및 적어도 하나의 제어부(330)를 포함한다. 상기 카메라(310)는 전자 장치에 포함되거나 별도로 구성될 수도 있다.
카메라(310)는 물체 및 배경 등을 포함하는 실사 영상을 촬영한다. 또한, 카메라(310)는 상기 실사 영상에 대응하는 깊이 지도를 촬영할 수 있다.
송수신부(320)는 상기 카메라(310)가 아닌 별도의 카메라로부터 촬영된 실사 영상 및 상기 실사 영상에 대응하는 깊이 지도를 수신할 수 있다.
제어부(330)는 실사 영상을 영상 처리하여 깊이 지도를 생성할 수 있다. 제어부(330)는 실사 영상 및 깊이 지도 각각으로부터 경계 영상을 획득하기 위한 영상 처리를 수행할 수 있다. 제어부(330)는 실사 영상으로부터 획득한 제1 경계 영상 및 깊이 지도로부터 획득한 제2 경계 영상을 기초로 깊이 지도의 오류를 검출할 수 있다. 제어부(330)는 검출한 오류를 기반으로 깊이 지도의 오류를 보정하기 위한 영상 처리를 수행할 수 있다.
도 4a는 본 개시의 실시예에 따라 1차원 환경에서 깊이 지도의 오류를 보정하기 전을 도시한 도면이다.
도 4a를 참조하면, 그래프는 실사 영상의 경계 영상 픽셀 값(410) 및 깊이 지도의 경계 영상 픽셀 값(460)을 나타낸다. 이 때, 그래프의 x축은 실사 영상 및 깊이 지도를 1차원으로 관찰하였을 때의 x축 좌표에 대응하는 픽셀의 인덱스를 의미하며, y축은 경계 영상 픽셀 값을 의미한다.
실사 영상의 제1 경계 영역(411), 제2 경계 영역(412) 및 깊이 지도의 제1 경계 영역(461), 제2 경계 영역(462)은 다른 픽셀의 인덱스에 비해 급격하게 변화하는 경계 영상 픽셀 값을 갖는다.
실사 영상의 제1 경계 영역(411)과 깊이 지도의 제1 경계 영역(461)은 일치하지만, 실사 영상의 제2 경계 영역(412) 및 깊이 지도의 제2 경계 영역(462)은 상이함을 볼 수 있다. 따라서, 실사 영상의 제2 경계 영역(412) 및 깊이 지도의 제2 경계 영역(462) 사이의 픽셀 인덱스 값에 대응하는 깊이 지도의 경계 영상 픽셀 값은 오류로 검출된다.
도 4b는 본 개시의 실시예에 따라 1차원 환경에서 깊이 지도의 오류를 보정한 후를 도시한 도면이다.
도 4b를 참조하면, 오류 경계 영상 픽셀 값은 실사 영상의 제2 경계 영역(412)에서의 경계 영상 픽셀 값을 깊이 지도의 제2 경계 영역(462)에서의 경계 영상 픽셀 값에 일치시킴으로써 보정할 수 있다. 상기 오류 경계 영상 픽셀 값은, 예를 들어, 실사 영상의 제2 경계 영역(412)에서의 픽셀 값과 깊이 지도의 제2 경계 영역(462)에서의 픽셀 값의 오차 값에 의해 정의될 수 있다.
상기 픽셀 인덱스 값에 대응하는 깊이 지도의 경계 영상 픽셀 값을 보정함으로써, 실사 영상의 제2 경계 영역(412) 및 깊이 지도의 제2 경계 영역(462)은 일치하게 된다. 보정된 깊이 지도의 경계 영상 픽셀 값을 기초로 깊이 지도의 제2 경계 영역(462)에 해당하는 깊이 지도의 영상 픽셀 값은 보정될 수 있다. 이에 따라 깊이 지도의 오류가 보정될 수 있다.
도 5는 본 개시의 실시예에 따라 2차원 환경에서 깊이 지도의 오류 보정을 도시한 도면이다.
도 5를 참조하면, 그래프는 실사 영상의 경계 영상 픽셀 값(510) 및 깊이 지도의 경계 영상 픽셀 값(560)을 나타낸다. 실사 영상 및 깊이 지도를 2차원으로 관찰하였을 때, 그래프의 X축은 x축 좌표에 대응하는 픽셀의 인덱스를 의미하며, y축은 y축 좌표에 대응하는 픽셀 인덱스를 의미한다.
실사 영상의 제1 경계 영역(511) 및 깊이 지도의 제1 경계 영역(561)의 경계 영상 픽셀 값은 서로 상이하다. 따라서, 깊이 지도의 제1 경계 영역(561)에서 오류가 발생하였음을 검출할 수 있다. 이에 따라, 깊이 지도의 제1 경계 영역 (561)의 경계 영상 픽셀 값에 대한 보정을 수행하여야 할 것이다. 예컨대, 실사 영상의 제1 경계 영역(511)의 경계 영상 픽셀 값과 일치하도록 깊이 지도의 제1 경계 영역 (561)의 경계 영상 픽셀 값을 보정할 수 있다. 깊이 지도의 제1 경계 영역(561)의 경계 영상 픽셀 값을 보정 한 후, 상기 깊이 지도의 제1 경계 영역(561)의 경계 영상 픽셀 값을 기준으로 깊이 지도의 제1 경계 영역 (561)에 해당하는 깊이 지도의 영상 픽셀 값을 보정할 수 있다.
또한, 실사 영상의 제2 경계 영역(512) 및 깊이 지도의 제2 경계 영역(562)의 경계 영상 픽셀 값은 서로 상이하다. 따라서, 깊이 지도의 제2 경계 영역(562)에서 오류가 발생하였음을 검출할 수 있다. 이에 따라, 깊이 지도의 제2 경계 영역 (562)의 경계 영상 픽셀 값에 대한 보정을 수행하여야 할 것이다. 예컨대, 실사 영상의 제2 경계 영역(512)의 경계 영상 픽셀 값과 일치하도록 깊이 지도의 제2 경계 영역 (562)의 경계 영상 픽셀 값을 보정할 수 있다. 깊이 지도의 제2 경계 영역(562)의 경계 영상 픽셀 값을 보정 한 후, 상기 깊이 지도의 제2 경계 영역(562)의 경계 영상 픽셀 값을 기준으로 깊이 지도의 제2 경계 영역 (562)에 해당하는 깊이 지도의 영상 픽셀 값을 보정할 수 있다.
본 개시의 다양한 실시예들은 특정 관점에서 컴퓨터 리드 가능 기록 매체 (computer readable recording medium)에서 컴퓨터 리드 가능 코드 (computer readable code)로서 구현될 수 있다. 컴퓨터 리드 가능 기록 매체는 컴퓨터 시스템에 의해 리드될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 컴퓨터 리드 가능 기록 매체의 예들은 읽기 전용 메모리 (read only memory: ROM: ROM)와, 랜덤-접속 메모리 (random access memory: RAM: 'RAM)와, 컴팩트 디스크- 리드 온니 메모리 (compact disk-read only memory: CD-ROM)들과, 마그네틱 테이프 (magnetic tape)들과, 플로피 디스크 (floppy disk)들과, 광 데이터 저장 디바이스들, 및 캐리어 웨이브 (carrier wave)들(인터넷을 통한 데이터 송신 등)을 포함할 수 있다. 컴퓨터 리드 가능 기록 매체는 또한 네트워크 연결된 컴퓨터 시스템들을 통해 분산될 수 있고, 따라서 컴퓨터 리드 가능 코드는 분산 방식으로 저장 및 실행된다. 또한, 본 개시의 다양한 실시예들을 성취하기 위한 기능적 프로그램들, 코드, 및 코드 세그먼트 (segment)들은 본 개시의 실시예들이 적용되는 분야에서 숙련된 프로그래머들에 의해 쉽게 해석될 수 있다.
또한 본 개시의 다양한 실시예들에 따른 장치 및 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 콤팩트 디스크 (compact disk: CD), DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계 (예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 개시의 다양한 실시예들에 따른 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 이러한 메모리는 본 개시의 실시예들을 구현하는 명령들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다.
따라서, 본 개시의 실시예들은 본 명세서의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 개시의 실시예들은 이와 균등한 것을 적절하게 포함한다
또한 본 개시의 다양한 실시예들에 따른 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 프로그램을 수신하여 저장할 수 있다. 프로그램 제공 장치는 프로그램 처리 장치가 기 설정된 콘텐트 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 콘텐트 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 그래픽 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 그래픽 처리 장치의 요청 또는 자동으로 해당 프로그램을 송수신 장치로 전송하는 제어부를 포함할 수 있다.
본 명세서와 도면에 개시된 본 개시의 실시 예들은 기술 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 청구하고자 하는 범위를 한정하고자 하는 것은 아니다. 또한 앞서 설명된 본 개시에 따른 실시예들은 예시적인 것에 불과하며, 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시에 따른 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.

Claims (10)

  1. 전자 장치에서 깊이 지도의 오류를 보정하는 방법에 있어서,
    실사 영상으로부터 상기 실사 영상에 포함된 하나 또는 다수의 물체들의 경계를 나타내는 제1 경계 영상을 생성하는 과정과,
    상기 실사 영상에 대응하는 깊이 지도로부터 상기 깊이 지도에 포함된 상기 하나 또는 다수의 물체들의 경계를 나타내는 제2 경계 영상을 생성하는 과정과,
    상기 제1 경계 영상과 상기 제2 경계 영상을 기반으로 오류 경계 영역을 획득하는 과정과,
    상기 오류 경계 영역에서의 오류 정도를 고려하여 상기 제2 경계 영상을 보정하는 과정과,
    상기 보정된 제2 경계 영상을 기초로 상기 오류 경계 영역에 대응하는 상기 깊이 지도를 보정하는 과정을 포함하는 깊이 지도의 오류 보정 방법.
  2. 제1항에 있어서,
    상기 오류 경계 영역을 획득하는 과정은,
    상기 오류 경계 영역에 대응하는 상기 제1 경계 영상에 포함된 경계의 픽셀 값과 상기 오류 경계 영역에 대응하는 상기 제2 경계 영상에 포함된 경계의 픽셀 값을 비교하는 과정과,
    상기 픽셀 값이 서로 다른 영역을 상기 오류 경계 영역으로 식별하는 과정을 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 제2 경계 영상을 보정하는 과정은,
    상기 오류 경계 영역에 대응하는 상기 제2 경계 영상의 픽셀 값을 상기 오류 경계 영역에 대응하는 상기 제1 경계 영상의 픽셀 값과 일치하도록 보정하는 과정임을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 깊이 지도의 영역을 보정하는 과정은,
    상기 일치된 제2 경계 영상의 픽셀 값을 기초로 상기 오류 경계 영역에 대응하는 상기 깊이 지도의 영상 픽셀 값을 보정하는 과정임을 특징으로 하는 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 제1 경계 영상의 픽셀 값, 상기 제2 경계 영상의 픽셀 값 및 상기 깊이 지도의 영상 픽셀 값은 각 픽셀에 대한 색상 값 또는 밝기 값인 것을 특징으로 하는 방법.
  6. 깊이 지도의 오류를 보정하는 전자 장치에 있어서,
    적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    실사 영상으로부터 상기 실사 영상에 포함된 하나 또는 다수의 물체들의 경계를 나타내는 제1 경계 영상을 생성하고,
    상기 실사 영상에 대응하는 깊이 지도로부터 상기 깊이 지도에 포함된 상기 하나 또는 다수의 물체들의 경계를 나타내는 제2 경계 영상을 생성하고,
    상기 제1 경계 영상과 상기 제2 경계 영상을 기반으로 오류 경계 영역을 획득하고,
    상기 오류 경계 영역에서의 오류 정도를 고려하여 상기 제2 경계 영상을 보정하고,
    상기 보정된 제2 경계 영상을 기초로 상기 오류 경계 영역에 대응하는 상기 깊이 지도를 보정하는 것을 특징으로 하는 전자 장치.
  7. 제6항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 오류 경계 영역에 대응하는 상기 제1 경계 영상에 포함된 경계의 픽셀 값과 상기 오류 경계 영역에 대응하는 상기 제2 경계 영상에 포함된 경계의 픽셀 값을 비교하고,
    상기 픽셀 값이 서로 다른 영역을 상기 오류 경계 영역으로 식별하는 것을 특징으로 하는 전자 장치.
  8. 제6항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 오류 경계 영역에 대응하는 상기 제2 경계 영상의 픽셀 값을 상기 오류 경계 영역에 대응하는 상기 제1 경계 영상의 픽셀 값과 일치하도록 보정하는 것을 특징으로 하는 장치.
  9. 제6항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 일치된 제2 경계 영상의 픽셀 값을 기초로 상기 오류 경계 영역에 대응하는 상기 깊이 지도의 영상 픽셀 값을 보정하는 것을 특징으로 하는 전자 장치.
  10. 제8항 또는 제9항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 경계 영상의 픽셀 값, 상기 제2 경계 영상의 픽셀 값 및 상기 깊이 지도의 영상 픽셀 값은 각 픽셀에 대한 색상 값 또는 밝기 값인 것을 특징으로 하는 전자 장치.
PCT/KR2019/000549 2018-01-12 2019-01-14 영상 처리 장치 및 방법 WO2019139441A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180004703A KR20190086320A (ko) 2018-01-12 2018-01-12 영상 처리 장치 및 방법
KR10-2018-0004703 2018-01-12

Publications (1)

Publication Number Publication Date
WO2019139441A1 true WO2019139441A1 (ko) 2019-07-18

Family

ID=67219118

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/000549 WO2019139441A1 (ko) 2018-01-12 2019-01-14 영상 처리 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20190086320A (ko)
WO (1) WO2019139441A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2576434A (en) * 2013-06-25 2020-02-19 Synopsys Inc Image Processing Method
WO2022222515A1 (zh) * 2021-04-20 2022-10-27 梅卡曼德（北京）机器人科技有限公司 基于机器人视觉的物品表面涂胶方法、装置、设备和介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220085481A (ko) 2020-12-15 2022-06-22 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130092157A (ko) * 2012-02-10 2013-08-20 에스케이플래닛 주식회사 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR20130122419A (ko) * 2012-04-30 2013-11-07 삼성전자주식회사 깊이 에지를 사용한 영상 합성 장치 및 방법
KR101655036B1 (ko) * 2015-06-19 2016-09-07 인하대학교 산학협력단 애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템
KR20170049042A (ko) * 2015-10-28 2017-05-10 성균관대학교산학협력단 깊이 지도 보정 방법 및 그 장치
KR101797035B1 (ko) * 2010-02-09 2017-11-13 삼성전자주식회사 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101797035B1 (ko) * 2010-02-09 2017-11-13 삼성전자주식회사 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
KR20130092157A (ko) * 2012-02-10 2013-08-20 에스케이플래닛 주식회사 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR20130122419A (ko) * 2012-04-30 2013-11-07 삼성전자주식회사 깊이 에지를 사용한 영상 합성 장치 및 방법
KR101655036B1 (ko) * 2015-06-19 2016-09-07 인하대학교 산학협력단 애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템
KR20170049042A (ko) * 2015-10-28 2017-05-10 성균관대학교산학협력단 깊이 지도 보정 방법 및 그 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2576434A (en) * 2013-06-25 2020-02-19 Synopsys Inc Image Processing Method
GB2576434B (en) * 2013-06-25 2020-09-16 Synopsys Inc Image Processing Method
WO2022222515A1 (zh) * 2021-04-20 2022-10-27 梅卡曼德（北京）机器人科技有限公司 基于机器人视觉的物品表面涂胶方法、装置、设备和介质

Also Published As

Publication number Publication date
KR20190086320A (ko) 2019-07-22

Similar Documents

Publication Publication Date Title
US11503275B2 (en) Camera calibration system, target, and process
CN110427917B (zh) 用于检测关键点的方法和装置
WO2019139441A1 (ko) 영상 처리 장치 및 방법
WO2016153100A1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN111179358A (zh) 标定方法、装置、设备及存储介质
CN107239252A (zh) 一种led显示屏自动连屏方法
KR101165415B1 (ko) 이미지내 생체 얼굴 인식 방법 및 인식 장치
CN110619662A (zh) 一种基于单目视觉的多行人目标空间连续定位方法及系统
CN112802081B (zh) 一种深度检测方法、装置、电子设备及存储介质
US20200364900A1 (en) Point marking using virtual fiducial elements
CN113870350A (zh) 图像样本标注方法、装置、终端设备和图像标注系统
EP3066508A1 (en) Method and system for creating a camera refocus effect
CN113763466A (zh) 一种回环检测方法、装置、电子设备和存储介质
CN111160233A (zh) 基于三维成像辅助的人脸活体检测方法、介质及系统
US20200351488A1 (en) Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
CN112950709B (zh) 一种位姿预测方法、位姿预测装置及机器人
CN112233164B (zh) 一种视差图错误点识别与校正方法
CN111223139B (zh) 目标定位方法及终端设备
WO2022184928A1 (en) Calibration method of a portable electronic device
WO2019124750A1 (ko) 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법 및 이를 위한 장치
JP2002135807A (ja) ３次元入力のためのキャリブレーション方法および装置
US11336803B2 (en) Information processing apparatus, information processing method, program, and interchangeable lens
CN211794627U (zh) 一种足型扫描定位板及足型扫描系统
WO2021096152A1 (en) Asymmetric normalized correlation layer for deep neural network feature matching

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19738126

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19738126

Country of ref document: EP

Kind code of ref document: A1