KR101904170B1 - Coding Device and Method for Depth Information Compensation by Sphere Surface Modeling - Google Patents
Coding Device and Method for Depth Information Compensation by Sphere Surface Modeling Download PDFInfo
- Publication number
- KR101904170B1 KR101904170B1 KR1020160184473A KR20160184473A KR101904170B1 KR 101904170 B1 KR101904170 B1 KR 101904170B1 KR 1020160184473 A KR1020160184473 A KR 1020160184473A KR 20160184473 A KR20160184473 A KR 20160184473A KR 101904170 B1 KR101904170 B1 KR 101904170B1
- Authority
- KR
- South Korea
- Prior art keywords
- depth
- value
- pixel
- parameter
- depth value
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명의 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화방법은, 깊이 영상을 복수개의 블록으로 분할하는 단계; 상기 복수개의 블록 중 참조 블록 내의 구면의 객체 정보를 검출하는 단계; 상기 복수개의 블록 중 대상 블록 내의 화소의 깊이 값을 상기 구면의 객체 정보에 기초하여 예측하는 단계; 및 상기 대상 블록 내의 화소의 예측된 깊이 값에 기초하여 상기 대상 블록을 부호화하는 단계;를 포함하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수 있다.A method of coding a depth image through spherical modeling according to an embodiment of the present invention includes: dividing a depth image into a plurality of blocks; Detecting object information of a spherical surface in a reference block among the plurality of blocks; Predicting a depth value of a pixel in a target block among the plurality of blocks based on object information of the spherical surface; And encoding the target block based on a predicted depth value of a pixel in the target block.
Description
본 발명의 구면 모델링을 통한 깊이 영상 내의 깊이 정보의 보정 및 부호화 방법과 부호화장치에 관한 것이다. 보다 상세하게는 깊이 영상 내의 구면의 정보를 검출하고 구면의 정보를 모델링함으로써 깊이 영상 내의 깊이 정보를 보정하고, 보정된 깊이 정보에 기초하여 부호화하는 부호화장치에 관한 것이다. The present invention relates to a method and apparatus for correcting and encoding depth information in a depth image through spherical modeling. And more particularly to an encoding apparatus for detecting information of a spherical surface in a depth image and modeling information of the spherical surface to thereby correct depth information in the depth image and to perform coding based on the corrected depth information.
영상 내 화소의 거리 정보를 나타내는 깊이 정보를 구성 화소 요소로 가지는 깊이 영상을 이용하여 영상 처리에 응용하는 방법에 대한 연구가 활발하게 진행되고 있다. 이 때, 깊이 영상을 이용하여 기존 색상 영상에서는 얻을 수 없었던, 객체의 위치 정보와 거리 정보를 획득하여, 이를 통한 새로운 객체의 정보를 획득할 수 있다. 이러한 깊이 영상의 특성으로 인해 깊이 영상을 이용한 새로운 응용분야에 대한 연구가 확대되고 있다. There has been actively studied a method of applying the depth image having the depth information indicating the distance information of the pixels in the image to the image processing. At this time, it is possible to acquire the position information and the distance information of the object, which can not be obtained in the existing color image, using the depth image, and acquire the information of the new object through the acquiring. Due to the characteristics of depth images, new applications using depth images are being studied.
색상 영상에서의 환경에 민감하고, 객체내의 여러 다른 색상 정보가 존재한다는 단점을 깊이 카메라를 통해 극복하여 좀 더 정확한 객체 검출을 수행하는 연구가 이루어졌다. 깊이 영상의 거리를 이용하여 깊이 영상 내의 특정한 정보를 이용하여 이를 통해 영상의 왜곡과 잡음을 제거하는 연구도 이루어졌다. 또한 깊이 영상의 거리정보를 이용하여 배경영역에 터치를 인식하는 연구와, 이를 이용하여 여러 이벤트를 제공하는 연구가 이루어졌다. 이뿐만 아니라 인물의 형태를 인식하여 사람의 얼굴을 인식하는 연구도 여러 이루어졌다. In this paper, we propose a new method to detect objects in a color image by using depth camera. Using the distance information of the depth image, we used the specific information in the depth image to remove image distortion and noise. In addition, we study the recognition of the touch in the background area using the distance information of the depth image and the research that provides various events using it. In addition to this, several studies have been carried out to recognize the face of a person by recognizing the shape of the person.
이러한 깊이 영상의 응용분야의 확대로 인해 깊이 영상의 부호화에 대한 필요성이 증가되었다. 먼저 깊이 룩업 테이블(Depth Lookup Table)를 이용하여 깊이 영상을 부호화하는 방법이 연구되었다. 또한 객체의 경계 정보를 깊이 영상 부호화에 이용하는 방법이 제안되었다. 깊이 영상을 히스토그램기반으로 분석하여 깊이 영상을 부호화 하는 방법도 제안되었다. 이처럼 깊이 영상에 나타나는 특징을 이용하여 영상 부호화 효율을 높이는 연구가 많이 이루어졌다. 하지만 지금까지 이루어진 깊이 영상 부호화 연구는 대체로 색상 영상 부호화에 대해 보조적으로 이루어지거나, 색상 영상과 연계하여 깊이 영상을 부호화하는 방법에 한정되어 있었다. Due to the increased application of depth images, the need for depth image coding has increased. First, a method of coding a depth image using a depth lookup table has been studied. Also, a method of using the boundary information of the object for depth image coding has been proposed. A method of coding the depth image by analyzing the depth image based on the histogram has also been proposed. Many studies have been carried out to improve the image coding efficiency by using the feature of depth image. However, the depth image coding study so far has been limited to the method of encoding the depth image in cooperation with the color image, or as a supplementary to the color image coding.
또한 깊이를 측정할 때, 측정 오차로 인해 잡음을 포함하는 깊이 영상이 촬영된다. 이 잡음은 깊이를 이용한 정보 처리에 있어서 정확도를 저하시키는 요인이 된다. 깊이를 이용한 정보 처리에서 정확도를 향상시키기 위해서는 깊이 영상의 잡음을 제거하는 과정이 필수적이다.Also, when measuring the depth, a depth image including noise due to measurement error is taken. This noise degrades the accuracy in information processing using depth. In order to improve the accuracy of information processing using depth, it is essential to remove the noise of the depth image.
깊이 영상을 이용한 기존 보정 방법은 평면 모델에서 나타나는 잡음 모델을 이용하여 잡음을 제거하는 방법이 연구되었다. 또한 색상 영상과 정합을 통해 깊이 오차를 제거하는 방법도 제안되었다. 하지만 잡음 모델을 이용한 방법은 깊이 카메라의 깊이 측정 방법에 따라 잡음 모델이 달라지기 때문에 범용적으로 이용하기엔 무리가 있다. 또한 색상 영상을 이용하여 깊이를 보정하는 방법은 환경에 영향을 받는 색상 영상의 특성상 정확한 깊이 보정을 기대하긴 어려운 한계가 있다.The existing correction method using the depth image has been studied to remove the noise using the noise model in the plane model. Also, a method to remove the depth error by matching with the color image was proposed. However, the method using the noise model is not suitable for general use because the noise model varies depending on the depth measurement method of the depth camera. In addition, the method of correcting the depth using the color image has a limitation that it is difficult to expect an accurate depth correction due to the characteristics of the color image affected by the environment.
또한 일반 영상의 경우 사람이 시청하는 영상이므로 좋은 색상과 좋은 화질이 요구되는 제한 내에서 적절한 압축이 필요하나, 깊이 영상의 경우 객체의 검출이나 모션 인식 등과 같은 정보 처리를 위하여 적절한 압축이 필요하다는 점에서 일반 영상의 압축 기술과는 다른 새로운 압축 기술이 필요하다.In addition, since the image is viewed by a human being in the case of a general image, it is necessary to appropriately compress the image within a constraint requiring good color and good image quality. However, in the case of a depth image, appropriate compression is required for information processing such as object detection or motion recognition A new compression technique that is different from the compression technique of general image is needed.
본 발명의 목적은 구면 모델링을 통한 깊이 정보를 보정하여 깊이 값의 정확도를 향상시킬 수 있는 구면 모델링을 통한 깊이 정보 보정 방법을 제공함에 있다.It is an object of the present invention to provide a depth information correction method using spherical modeling which can improve the accuracy of depth values by correcting depth information through spherical modeling.
또한 본 발명은 깊이 영상 내의 구면 영역에 대한 정보를 추출하여 깊이 값을 예측할 수 있는 장치 및 구면 모델링을 통한 깊이 영상의 보정 방법을 제공할 수 있다.Also, the present invention can provide a device capable of extracting information on a spherical region in a depth image to predict a depth value, and a method of correcting a depth image through spherical modeling.
또한 본 발명은 깊이 영상 내의 구면을 가진 객체를 효과적으로 검출하여 부호화할 수 있는 새로운 부호화 방법 및 부호화 장치를 제공할 수 있다.The present invention also provides a new encoding method and an encoding apparatus capable of efficiently detecting and encoding an object having a spherical surface in a depth image.
또한 본 발명은 깊이 영상의 특성을 고려하여 깊이 영상의 품질을 유지하면서도 압축율을 높일 수 있는 부호화 장치 및 구면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수 있다.In addition, the present invention can provide a coding apparatus capable of increasing the compression ratio while maintaining the quality of the depth image, and a method of coding the depth image through spherical modeling in consideration of the characteristics of the depth image.
본 발명의 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화방법은, 깊이 영상을 복수개의 블록으로 분할하는 단계; 상기 복수개의 블록 중 참조 블록 내의 구면의 객체 정보를 검출하는 단계; 상기 복수개의 블록 중 대상 블록 내의 화소의 깊이 값을 상기 구면의 객체 정보에 기초하여 예측하는 단계; 및 상기 대상 블록 내의 화소의 예측된 깊이 값에 기초하여 상기 대상 블록을 부호화하는 단계;를 포함하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수 있다.A method of coding a depth image through spherical modeling according to an embodiment of the present invention includes: dividing a depth image into a plurality of blocks; Detecting object information of a spherical surface in a reference block among the plurality of blocks; Predicting a depth value of a pixel in a target block among the plurality of blocks based on object information of the spherical surface; And encoding the target block based on a predicted depth value of a pixel in the target block.
또한 본 발명의 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화방법의 상기 구면의 객체 정보는 상기 참조 블록 내의 화소의 상기 구면의 객체 정보로부터 결정된 깊이 값과 측정된 깊이 값의 오차가 최소가 되도록 하는 구면으로부터 검출되는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.The object information of the spherical surface of the depth image coding method using spherical modeling according to another embodiment of the present invention has a minimum difference between the depth value determined from the object information of the spherical surface of the pixel in the reference block and the measured depth value The method of the present invention can be applied to a method of encoding a depth image through spherical modeling.
또한 본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화방법은 상기 대상 블록 내의 화소의 예측된 깊이 값과 상기 대상 블록 내의 화소의 깊이 값의 오차를 부호화하는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.According to another aspect of the present invention, there is provided a method of coding a depth image through spherical modeling, the method comprising: encoding an error between a predicted depth value of a pixel in the target block and a depth value of a pixel in the target block; The depth image may be encoded by using the depth information.
또한 본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화방법은 3차원 공간 상의 객체의 좌표 값 중 깊이 좌표 값이 화소의 측정된 깊이 값으로 투영되는 깊이 영상을 생성하는 단계; 상기 깊이 영상을 복수개의 블록으로 분할하는 단계; 상기 분할된 블록 중 참조 블록 내의 객체를 제1 미결정매개변수로 표현된 제1 구의 방정식으로 모델링하는 단계; 상기 참조 블록 내의 제1 화소의 제1 미결정깊이변수와 측정된 제1 화소의 깊이 값에 기초하여 상기 제1 미결정매개변수의 값을 결정하여 제1 결정매개변수를 생성하는 단계; 상기 제1 결정매개변수로부터 상기 분할된 블록 중 대상 블록 내의 제2 화소의 깊이 값을 예측한 예측깊이값을 생성하는 단계; 및 상기 예측깊이값에 기초하여 상기 대상 블록을 부호화하는 단계;를 포함하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.According to another aspect of the present invention, there is provided a depth image coding method using spherical modeling, comprising the steps of: generating a depth image in which a depth coordinate value of a coordinate value of an object on a three-dimensional space is projected to a measured depth value of a pixel; Dividing the depth image into a plurality of blocks; Modeling an object in a reference block of the divided blocks into an equation of a first sphere represented by a first undetermined parameter; Determining a value of the first undetermined parameter based on a first undetermined depth parameter of the first pixel in the reference block and a measured depth value of the first pixel to generate a first determination parameter; Generating a prediction depth value by predicting a depth value of a second pixel in a target block among the divided blocks from the first determination parameter; And encoding the target block based on the predicted depth value. The present invention also provides a method of encoding a depth image using spherical modeling.
또한 본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화방법은 상기 제1 결정매개변수로부터 상기 제1 미결정깊이변수의 값을 결정하여 제1 결정깊이값을 생성하는 단계; 및 상기 제1 화소의 측정된 깊이 값을 상기 제1 결정깊이값으로 보정하는 단계;를 더 포함하는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.According to still another aspect of the present invention, there is provided a method of coding a depth image through spherical modeling, the method comprising: generating a first depth value by determining a value of the first undetermined depth parameter from the first determination parameter; And correcting the measured depth value of the first pixel to the first determined depth value. The present invention also provides a method of encoding a depth image using spherical modeling.
또한 본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화방법은 상기 대상 블록 내의 객체를 제2 미결정매개변수로 표현된 제2 구의 방정식으로 모델링하는 단계; 상기 제2 화소의 제2 미결정깊이변수와 측정된 제2 화소의 깊이 값에 기초하여 상기 제2 미결정매개변수의 값을 결정하여 제2 결정매개변수를 생성하는 단계; 상기 제2 결정매개변수로부터 상기 제2 미결정깊이변수의 값을 결정하여 제2 결정깊이값을 생성하는 단계; 및 상기 제2 화소의 측정된 깊이 값을 상기 제2 결정깊이값으로 보정하는 단계;를 더 포함하는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.According to another aspect of the present invention, there is provided a method of coding a depth image through spherical modeling, the method comprising: modeling an object in the object block into an equation of a second sphere expressed by a second undetermined parameter; Determining a value of the second undetermined parameter based on a second undetermined depth parameter of the second pixel and a measured depth value of the second pixel to generate a second determination parameter; Determining a value of the second uncertainty depth variable from the second decision parameter to generate a second crystal depth value; And correcting the measured depth value of the second pixel to the second determined depth value. The present invention also provides a method of encoding a depth image using spherical modeling.
또한 본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화방법의 상기 예측깊이값에 기초하여 상기 대상 블록을 부호화하는 단계는, 상기 예측깊이값과 상기 제2 화소의 보정된 깊이 값에 기초하여 상기 대상 블록을 부호화하는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.The step of encoding the target block based on the predicted depth value of the method of coding a depth image through spherical modeling according to another embodiment of the present invention may further include the step of calculating the predicted depth value and the corrected depth value of the second pixel And the object block is encoded based on the motion vector of the current block.
또한 본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화방법의 상기 예측깊이값에 기초하여 상기 대상 블록을 부호화하는 단계는, 상기 예측깊이값과 상기 제2 화소의 측정된 깊이 값에 기초하여 상기 대상 블록을 부호화하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.The encoding of the target block based on the predicted depth value of the method of encoding the depth image through spherical modeling according to another embodiment of the present invention may include encoding the predicted depth value and the measured depth value of the second pixel The depth image may be encoded using spherical modeling to encode the object block.
또한 본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화방법은 상기 참조 블록 내의 제1 화소의 제1 미결정깊이변수와 측정된 제1 화소의 깊이 값의 오차가 최소가 되도록 하는 상기 제1 미결정매개변수의 값을 결정하여 제1 결정매개변수를 생성하는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.According to still another aspect of the present invention, there is provided a method of coding a depth image through spherical modeling, the method comprising the steps of: determining an error between a first microcrystalline depth parameter of a first pixel in a reference block and a depth value of a measured first pixel, And determining a value of a first undetermined parameter to generate a first determination parameter. The method may further include a step of providing a depth image encoding method using spherical modeling.
또한 본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화방법은 최소자승법을 적용하여 상기 오차가 최소가 되도록 하는 상기 제1 미결정매개변수의 값을 결정하는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.According to still another aspect of the present invention, there is provided a method of coding a depth image through spherical modeling, wherein a value of the first uncertain parameter is determined by applying a least squares method to minimize the error. Thereby providing a depth image encoding method.
또한 본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화방법의 상기 예측깊이값을 생성하는 단계는, 상기 제1 결정매개변수와 상기 제2 화소의 좌표 값 그리고 초점거리에 기초하여 생성하는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.The step of generating the predicted depth value of the depth image coding method using spherical modeling according to another embodiment of the present invention may further include a step of calculating a predicted depth value based on the first determination parameter, the coordinate value of the second pixel, And generating a depth image by using the spherical surface modeling method.
본 발명에 따른 실시예는 카메라의 종류에 상관없이 깊이 영상을 보정할 수 있다.The embodiment according to the present invention can correct the depth image irrespective of the type of the camera.
또한 본 발명의 실시예는 깊이 영상 내의 구면 정보를 블록내의 깊이 값을 이용하여 찾아내어 구면을 포함하는 깊이 영상의 깊이 값을 예측하여 깊이 정보를 정확히 보정할 수 있다.Also, the embodiment of the present invention can accurately correct the depth information by finding the spherical information in the depth image using the depth value in the block and estimating the depth value of the depth image including the spherical surface.
또한 본 발명의 실시예는 구면을 촬영한 영상뿐만 아니라 복잡한 깊이 값을 가지는 영상에 대해서도 깊이 값의 보정의 정확도를 향상시킬 수 있다.In addition, the embodiment of the present invention can improve the accuracy of correction of the depth value not only for an image of a spherical surface but also for an image having a complex depth value.
또한 본 발명의 실시예는 정확한 깊이 값을 찾아내어 좀 더 정밀한 깊이 정보를 통한 제스처 인식이나 촬영 영역에 대한 모델링 정보를 획득할 수 있다.In addition, the embodiment of the present invention can acquire gesture recognition or modeling information for a shooting region by finding accurate depth values and using more accurate depth information.
또한 본 발명의 실시예는 원 깊이 영상에 포함된 중요한 정보는 보존하면서 기타 정보를 다소 제거하여 원 깊이 영상의 품질을 잃지 않으면서도 가능한 한 적은 디지털 부호량으로 깊이 영상을 표현할 수 있다.Also, in the embodiment of the present invention, depth information can be expressed with as little digital code amount as possible without losing the quality of the original depth image, while preserving important information included in the original depth image while removing other information.
또한 본 발명의 실시예는 깊이 영상 내의 구면 정보를 블록내의 깊이 값을 이용하여 찾아내어 구면을 포함하는 깊이 영상의 깊이 값을 보정할 수 있고, 구면 참조블록으로부터 예측된 대상블록의 깊이 값과 보정된 깊이 값의 오차를 이용하여 깊이 영상의 부호화를 수행할 수 있다.In addition, the embodiment of the present invention can find the spherical information in the depth image using the depth value in the block, correct the depth value of the depth image including the spherical surface, correct the depth value of the target block predicted from the spherical reference block, The depth image can be encoded using the error of the depth value.
도 1a는 본 발명의 일 실시예에 따른 부호화장치와 이를 구성하는 구성들의 블록도이다.
도 1b는 본 발명의 다른 실시예에 따른 부호화장치와 이를 구성하는 구성들의 블록도이다.
도 2는 본 발명의 실시예에서 적용되는 깊이의 개념을 설명하기 위한 개념도이다.
도 3은 구가 세계 좌표계 상에 표시되었을 때 영상 평면 상에 투영되는 구의 한 점에 대한 개념도이다.
도 4는 X, Z 축에 따른 임의의 한 점과 2차원 영상 평면의 한 점을 나타낸 직각 좌표계로써, 도 3의 구를 Y축과 수직한 평면으로 절단하여 구를 원으로 나타낸 도면이다.
도 5는 깊이정보보정부를 구성하는 구성들의 블록도이다.
도 6은 부호화부를 구성하는 구성들의 블록도이다.
도 7 내지 도 9는 본 발명의 실시예에 따른 구면 모델링을 통한 깊이 영상의 보정과 부호화 방법을 나타낸 흐름도이다.FIG. 1A is a block diagram of an encoding apparatus according to an embodiment of the present invention and constructions thereof.
1B is a block diagram of an encoding apparatus according to another embodiment of the present invention, and a configuration thereof.
2 is a conceptual diagram for explaining the concept of depth applied in the embodiment of the present invention.
3 is a conceptual diagram of a point of a sphere projected on an image plane when the sphere is displayed on the world coordinate system.
FIG. 4 is a rectangular coordinate system showing an arbitrary point along the X and Z axes and a point of the 2D image plane. FIG. 4 is a circle showing a sphere formed by cutting the sphere of FIG. 3 into a plane perpendicular to the Y axis.
5 is a block diagram of the constructions constituting the depth information correction section.
6 is a block diagram of the constructions constituting the encoding unit.
7 to 9 are flowcharts illustrating a method of correcting and encoding a depth image through spherical modeling according to an embodiment of the present invention.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. The effects and features of the present invention and methods of achieving them will be apparent with reference to the embodiments described in detail below with reference to the drawings. However, the present invention is not limited to the embodiments described below, but may be implemented in various forms. In the following embodiments, the terms first, second, and the like are used for the purpose of distinguishing one element from another element, not the limitative meaning. Also, the singular expressions include plural expressions unless the context clearly dictates otherwise. Also, the terms include, including, etc. mean that there is a feature, or element, recited in the specification and does not preclude the possibility that one or more other features or components may be added. Also, in the drawings, for convenience of explanation, the components may be exaggerated or reduced in size. For example, the size and thickness of each component shown in the drawings are arbitrarily shown for convenience of explanation, and thus the present invention is not necessarily limited to those shown in the drawings.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or corresponding components throughout the drawings, and a duplicate description thereof will be omitted .
<부호화장치><Encoder>
도 1a는 본 발명의 일 실시예에 따른 부호화장치와 이를 구성하는 구성들의 블록도이며, 도 1b는 본 발명의 다른 실시예에 따른 부호화장치와 이를 구성하는 구성들의 블록도이다. 그리고 도 2는 본 발명의 실시예에서 적용되는 깊이의 개념을 설명하기 위한 개념도이다.FIG. 1A is a block diagram of an encoding apparatus according to an embodiment of the present invention, and FIG. 1B is a block diagram of an encoding apparatus and a configuration of the encoding apparatus according to another embodiment of the present invention. 2 is a conceptual diagram for explaining the concept of depth applied in the embodiment of the present invention.
도 1a 및 도 1b 각각에 따른 실시예를 설명함에 있어서 동일한 구성에 대해서는 동일한 도면 번호를 부여하고 기능과 효과면에서 중복된 설명은 생략한다.1A and 1B, the same reference numerals are assigned to the same components, and redundant explanations of functions and effects are omitted.
또한 각 구성들 각각의 블록은 설명의 편의를 위하여 구분한 것으로 하나의 구성으로 통합될 수도 있다.Also, each block of each structure is classified for convenience of description and may be integrated into one configuration.
도 1 a를 참조하면, 본 발명의 실시예에 따른 부호화장치(10)는 깊이측정부(100), 깊이정보보정부(200), 제어부(300) 및 부호화부(400)를 포함할 수 있다.An
또한 도 1b를 참조하면, 본 발명의 다른 실시예에 따른 부호화장치(10)는 깊이측정부(100), 깊이정보보정부(200), 제어부(300), 부호화부(400) 및 블록분할부(600)를 포함할 수 있다. 1B, an
본 발명의 실시예을 구성하는 깊이측정부(100)는 3차원 공간을 촬영할 수 있는 카메라를 구비할 수 있다. The
또한 깊이측정부(100)가 촬영한 영상의 화소는 RGB의 색상 정보가 아닌 일 예로 mm 단위(이에 한정하는 것은 아님)의 정수로 된 깊이 정보가 될 수 있다.In addition, the pixels of the image captured by the
또한 깊이측정부(100)는 3차원 공간을 촬영하여 깊이 영상을 생성할 수 있다. 그리고 여기서의 깊이 영상은 일 예로 그레이 레벨(grey level)로 표현될 수 있으나 이에 한정하는 것은 아니다. 또한 깊이 영상에 속한 각각의 화소는 깊이 값을 가질 수 있으며, 깊이 값은 카메라가 촬영한 장면의 해당 화소에 대응되는 지점에서 카메라까지의 거리를 의미할 수 있다.Also, the
<깊이 측정 방식><Depth measurement method>
또한 깊이측정부(100)는 3차원 공간 상에 광을 조사하고 3차원 공간 상의 물체로부터 반사되어 되돌아오는 반사광을 수신할 수 있다. 그리고 광의 출사 후 반사광의 수신 시점까지의 시간 정보를 이용하여 물체의 깊이 정보를 검출할 수 있다. 보다 상세하게는 깊이측정부(100)는 TOF(Time Of Flight) 카메라를 구비하고, TOF의 카메라는 in phase receptor와 out phase receptor로 구성된 이미지센서와 광을 출사하는 발광다이오드로 구성될 수 있다. 또한 발광다이오드로부터 모듈레이션(modulation)되며 출사된 광에 동기하여 이미지센서가 활성화되는데, 발광다이오드가 턴온된 상태에서는 in phase receptor가 활성화되고, 발광다이오드가 턴오프된 상태에서는 out phase receptor가 활성화 될 수 있다. 그리고 in phase receptor와 out phase receptor 들은 시간차를 두고 서로 다른 시점에 활성화되므로 물체와의 거리에 따라서 수신되는(누적되는) 광량에 차이가 발생하게 되고 이러한 광량에 차이를 비교하여 물체와의 거리를 측정할 수 있다.In addition, the
전술한 바에 따른 깊이 측정과는 달리 깊이측정부(100)는 카메라와 구조광을 출력하는 프로젝터로 구성되어 깊이를 얻고자 하는 객체를 향해 좁은 밴드의 빛을 비추고 다른 시점에서 볼 때에는 왜곡으로 나타날 수 있는 빛에 의한 선들, 즉 광 패턴을 촬영하여 이로부터 객체가 존재하는 3차원 공간 상의 깊이 정보를 검출할 수도 있고, 이와 달리 스테레오 카메라를 구비하여 좌, 우 영상 상호간의 정합점을 찾아내고 정합점간의 차이를 이용하여 3차원 깊이 정보를 추출할 수도 있다. Unlike the depth measurement described above, the
다만, 깊이측정부(100)의 깊이 검출 방식이 전술한 바에 한정하는 것은 아니고 3차원 깊이 정보를 추출할 수 있는 장치라면 어떠한 장치라도 가능하다.However, the depth detection method of the
<깊이의 개념><The concept of depth>
또한 도 2를 참조하여 깊이 영상에서의 깊이(depth)에 대한 개념을 보다 상세하게 설명하면, 깊이측정부(100)의 카메라와 영상이 높여 있는 3차원 공간을 3차원 좌표계인 세계 좌표계(world coordinate system)로 표현할 수 있고, 카메라 역시 3차원 좌표계인 카메라 좌표계(camera coordinate system)를 가진다. 그리고 카메라는 시계 좌표계의 어느 한 점인 카메라 중심(camera center)에 위치할 수 있다. 또한 카메라의 X, Y, Z 축은 각각 수직축(Vertical axis), 수평축(Horizontal axis), 광축(optical axis)이라고 부르고 광축은 카메라의 빛(ray)의 직진 방향으로써 주축(principal axis)라 한다. 광축과 영상 평면이 만나는 점은 2차원 영상 평면(Image plane) 안의 한 점으로써 주점(principal point)이라고 하며, 카메라 중심으로부터 주점까지의 거리가 카메라의 초점거리(focal length)이다. 그리고 카메라의 투영(projection)에 의해서 촬영하고자 하는 3차원 장면의 각 점은 2차원 영상 평면(Image plane)으로 투영된다. 즉, 깊이측정부(100)의 위치는 3차원 카메라 좌표계의 원점을 나타내고 Z축(optical axis, principal axis)은 눈이 바라보는 방향과 일직선이 된다. 그리고 세계 좌표계의 임의의 한 점 P=(X, Y, Z)는 Z축에 수직인 2차원 영상 평면(image plane)의 임의의 한 점 p=(x, y)로 투영될 수 있다.Referring to FIG. 2, the concept of the depth in the depth image will be described in more detail. A three-dimensional space in which the camera and the image of the
이 때 3차원 장면의 각점 p=(x, y)은 3차원 좌표계의 P=(X, Y, Z)의 Z값으로 표현될 수 있고 이 때의 2차원 영상 평면은 깊이 영상을 의미할 수 있다.In this case, each point p = (x, y) of the 3D scene can be expressed as the Z value of P = (X, Y, Z) of the 3D coordinate system, have.
한편 본 발명을 설명함에 있어 세계 좌표계와 카메라 좌표계는 서로 일치된 것으로 가정할 수 있다.In describing the present invention, it can be assumed that the world coordinate system and the camera coordinate system coincide with each other.
<깊이 정보의 개념><Concept of depth information>
전술한 바에 기초하여 깊이 영상을 다시 정의하면, 깊이측정부(100)를 기준으로 깊이측정부(100)의 위치와 실물 간의 거리를 상대적인 값으로 수치화한 정보들의 집합이라고 할 수 있고, 이는 영상 단위, 슬라이스 단위 등으로 표현될 수 있으며, 깊이 영상 내에서의 깊이 정보는 픽셀 단위로 표현될 수 있다.If the depth image is redefined based on the above description, it can be said to be a set of information obtained by digitizing the distance between the position of the
또한 하나의 프레임 내에 있는 화소 값은 그 주변 화소값과 상관 관계가 존재하기 때문에 이러한 상관 관계를 이용하여 깊이 정보를 보정할 수 있다. 따라서 깊이 정보를 보정하고자 하는 프레임 내의 어떤 범위에 있는 여러 개의 화소를 모아서 화소 블록을 구성할 수 있다. Also, since the pixel values in one frame have a correlation with the neighboring pixel values, the depth information can be corrected using this correlation. Therefore, a pixel block can be constructed by collecting a plurality of pixels in a certain range within a frame in which depth information is to be corrected.
보다 상세하게는 블록분할부(600)는 수신한 깊이 영상을 제어부(300)에 의해 결정된 사이즈에 따라 각 복수의 블록으로 분할하여 분할된 블록을 출력할 수 있다.More specifically, the
또한 복수의 블록 각각은 M*N(M, N은 자연수) 화소로 이루어진 영역으로 정의할 수 있다. 예를 들어 M*N은 16*16화로소 이루어진 영역으로 정의할 수 있고 해상도가 증가하면 기본 단위는 32*32나 64*64 화소로 이루어진 영역으로 정의할 수도 있다.Each of the plurality of blocks may be defined as an area consisting of M * N (M, N is a natural number) pixels. For example, M * N can be defined as an area consisting of 16 * 16 pixels. When the resolution is increased, the basic unit can be defined as an area consisting of 32 * 32 pixels or 64 * 64 pixels.
또한 깊이정보보정부(200)는 구면 모델링 보정에 따라 깊이 정보를 보정할 수 있다. 구면 모델링 보정이란 깊이 영상에서 구형 객체에 대해 객체의 표면을 이루는 구면을 추측하는 것으로 한 프레임 내, 또는 한 프레임 내의 특정 영역 또는 한 프레임을 M*N 크기로 분할할 한 블록 내의 보정된 깊이 정보를 통해 해당 블록의 깊이 정보로 표현되는 표면과 제일 근접한 구면을 모델링하여 깊이 정보를 보정하는 것이다.Also, the depth
또한 부호화부(400)는 블록분할부(600)로부터 출력된 분할된 블록들 각각을 제어부(300)에 의해 결정된 부호화 모드에 따라서 부호화할 수 있다. The
또한 여기서의 부호화 모드는 구면 모델링 부호화 모드를 포함할 수 있다.Also, The encoding mode may include a spherical modeling encoding mode.
구면 모델링 부호화 모드란 깊이 영상에서 구형 객체에 대해 객체의 표면을 이루는 구면을 추측하는 것으로 M*N 크기로 분할된 깊이 영상에서 한 블록 내의 깊이 정보를 통해 해당 블록의 깊이 정보로 표현되는 표면과 제일 근접한 구면을 모델링하는 것이다.The spherical modeling coding mode is a method of estimating the spherical surface forming the surface of the object with respect to the spherical object in the depth image. In the depth image segmented by M * N size, the surface represented by the depth information of the corresponding block, It is to model the adjacent spheres.
또한 제어부(300)는 분할된 블록들 각각의 화소들의 깊이 값에 기초하여 분할된 블록들 중에서 구면 모델링 모드를 통해 부호화할 블록을 결정할 수 있다. 예를 들어 분할된 블록 내의 화소들 중에서 임의의 화소를 중심으로 상기 임의의 화소에서 멀어지는 주변 화소 영역으로 갈수록 점진적으로 깊이 값이 증가 또는 감소하는 경우 해당 블록 내에는 구면 영역이 포함된 것으로 예측할 수 있고, 이렇게 구면 영역이 포함된 것으로 예측된 블록들을 구분하여 구분된 블록들의 정보를 저장할 수 있다.Also, the
<구면 모델링을 통한 보정><Calibration through spherical modeling>
도 3은 구가 세계 좌표계 상에 표시되었을 때 영상 평면 상에 투영되는 구의 한 점에 대한 개념도이고, 도 4는 X, Z 축에 따른 임의의 한 점과 2차원 영상 평면의 한 점을 나타낸 직각 좌표계로써, 도 3의 구를 Y축과 수직한 평면으로 절단하여 구를 원으로 나타낸 도면이다.FIG. 3 is a conceptual view of a point of a sphere projected on an image plane when a sphere is displayed on a world coordinate system, and FIG. 4 is a diagram illustrating a point of an arbitrary point along the X, 3 as a coordinate system, the sphere being cut in a plane perpendicular to the Y-axis and being a circle.
도 3 및 도 4를 참조하면, 깊이정보보정부(200)는 보정 대상 화소의 주변 화소들 n개의 화소의 좌표 및 깊이 값에 기초하여 보정된 깊이 값을 생성할 수 있고, 여기서의 n의 값은 3차원 공간의 객체의 정보에 기초하여 조절될 수 있다. 예를 들어 3차원 공간 상에 구면을 가진 객체가 존재하지 않는 경우의 n값은 3차원 공간 상에 구면을 가진 객체가 존재하는 경우 n값보다 클 수 있다.Referring to FIGS. 3 and 4, the depth
또한 깊이 영상 내 구형 객체의 표면은 Z축이 카메라의 광축으로 나타내는 3차원 카메라 좌표계에서 수학식 1로 모델링 될 수 있다. 이러한 구 표면은 깊이검출부(100)를 통해 카메라 초점 거리 f에 위치하는 가상의 영상 평면(h, w) 좌표에 위치한 화소에 깊이 값 d가 투영될 수 있다. 그리고 이 화소로 투영된 3차원 공간 상의 좌표는 카메라와 영상 평면이 이루는 삼각형과, 카메라와 촬영된 구면 객체 상의 한점을 지나고 X축과 평행한 직선이 이루는 삼각형의 닮은 관계는 수학식 2를 충족할 수 있다.In addition, the surface of the spherical object in the depth image can be modeled as Equation 1 in the 3D camera coordinate system in which the Z axis is represented by the optical axis of the camera. Such a spherical surface may be projected through a
[수학식 1] [Equation 1]
수학식 1에서의 (x, y, z)는 구면 객체의 한 점의 좌표이고, a, b, c는 구의 중심이고, r은 구의 반지름이다. 그리고 구의 방정식의 매개변수인 a, b, c, r은 값이 결정되지 않은 미결정매개변수로 정의할 수 있다.In Equation 1, (x, y, z) is a coordinate of a point of the spherical object, a, b, and c are centers of the sphere, and r is the radius of the sphere. And a, b, c, and r, which are parameters of the sphere equation, can be defined as undetermined parameters whose values are not determined.
[수학식 2]&Quot; (2) "
수학식 2에서의 f는 초점거리이다.In Equation (2), f is the focal length.
[수학식 3]&Quot; (3) "
수학식 3에서 height는 깊이검출부(100)의 카메라가 구비한 이미지센서의 유효 센서의 수직 방향의 크기를 의미하고, width는 유효센서의 수평 방향의 크기를 의미한다. 또한 는 수직 방향의 화각을 의미하고, 는 수평방향의 화각을 의미한다.In Equation (3), height denotes the vertical size of the effective sensor of the image sensor provided in the camera of the
구면을 나타내는 식인 수학식 1을 화소 좌표계의 좌표 (h, w)로 나타낸 식은 수학식 4를 충족(수학식 1에 수학식 2를 대입 정리)하고, 이 경우 이 식은 깊이 d의 2차식으로 정리할 수 있다.The equation represented by the equation (1) representing the spherical surface expressed by the coordinates (h, w) of the pixel coordinate system meets the equation (4) (equation (2) is substituted into equation (2)). .
[수학식 4]&Quot; (4) "
또한 d의 이차식으로 나타난 수학식 4의 근을 구하면, d는 수학식 5를 충족할 수 있다.Further, if the root of Equation (4) expressed by the quadratic expression of d is found, d can satisfy Equation (5).
[수학식 5]&Quot; (5) "
이 경우 수학식 5에서의 d는 수학식 1로 나타나는 구면의 매개변수 a, b, c, r이 주어졌을 때의 깊이 값으로 이상적인 깊이 값으로 볼 수 있다. In this case, d in Equation (5) can be regarded as an ideal depth value when the parameters a, b, c, and r of the spherical surface represented by Equation (1) are given.
또한 수학식 5에서의 이상적인 깊이 값 d는 값이 결정되지 않은 미결정깊이변수로 정의할 수 있다.Also, the ideal depth value d in Equation (5) can be defined as a pending depth variable whose value is not determined.
이상적인 깊이 값 d(미결정깊이변수)와 (h, w)에서 실제로 측정된 깊이 값 의 차이가 제일 작을 때의 a, b, c, r(값이 결정된 매개변수: 결정매개변수)를 구함으로써 대상 블록에서 최적의 구의 방정식을 구하여 이상적인 깊이 값을 결정할 수 있다. 이 때 모델링된 표면의 (h, w)에서의 근사된 구면의 미결정깊이변수와 실제로 측정된 깊이의 오차 가 최소가 되도록 인자를 결정하기 위해 최소자승법을 적용할 수 있다. 이 때 e는 매개변수에 대해 비선형식으로 나타나므로 가우스-뉴턴법을 적용할 수 있다.The ideal depth value d (undetermined depth variable) and the depth value actually measured (h, w) The ideal depth value can be determined by obtaining the optimal sphere equation in the target block by obtaining a, b, c, and r (the parameter whose value is determined: the decision parameter) when the difference is smallest. At this time, the microcrystalline depth parameter of the approximated spherical surface at (h, w) of the modeled surface and the error of actually measured depth The least squares method can be applied to determine the factor to be the minimum. In this case, e is nonlinear with respect to the parameter, so the Gauss-Newton method can be applied.
가우스-뉴턴 법에서 n단계에서 대상 블록 내 각 화소에서의 d(미결정깊이변수)와 실제 측정된 깊이 값 의 차로 이루어진 행렬 과 에서의 자코비안 행렬 , 미결정매개변수 값을 나타내는 은 수학식 6을 충족한다.In the Gauss-Newton method, d (uncertainty depth variable) and actual measured depth value A matrix consisting of and Jacobian procession in , Indicating the value of the indeterminate parameter Satisfies Equation (6).
[수학식 6]&Quot; (6) "
, , , ,
또한 가우스-뉴턴법을 적용하여 수학식 7과 같이 다음 단계의 인자 값인 을 구할 수 있다.Also, by applying the Gauss-Newton method, as shown in Equation 7, Can be obtained.
[수학식 7]&Quot; (7) "
이를 P회 반복하여 주어진 깊이 값으로 이루어진 표면과 제일 근접한 구면을 구하고 구의 방정식의 미결정매개변수의 값을 결정할 수 있다. 그리고 값이 결정된 결정매개변수와 보정 대상 화소의 좌표 값 그리고 초점거리(f)를 수학식 5에 대입 연산함에 따라 보정 대상 화소의 이상적인 깊이 값 d(값이 결정된 미결정깊이값= 결정깊이값)를 결정함으로써 보정 대상 화소의 깊이 값을 이상적인 깊이 값(결정깊이값)으로 보정할 수 있다.This is repeated P times to obtain the spherical surface closest to the surface with a given depth value and to determine the value of the uncertainty parameter of the equation of the sphere. Then, by substituting the determined parameter, the coordinate value of the correction target pixel, and the focal length f into the equation (5), the correction target pixel The depth value of the correction target pixel can be corrected to the ideal depth value (crystal depth value) by determining the ideal depth value d (the undetermined depth value = the determined depth value).
이 때 초기 매개변수 를 정함에 있어 과 값은 블록 중심의 좌표인 와 를 수학식 2에 대입하여 구할 수 있고, 은 임의의 초기값 를 대입한다. 은 블록 중심의 깊이 값 에서 을 더한 수치를 초기 값으로 할 수 있다.At this time, In determining and The value is the coordinate of the block center Wow Can be obtained by substituting in Equation (2) Lt; RTI ID = 0.0 > . Is the depth value of the block center in Can be used as an initial value.
또한 부호화부(400)는 구해진 매개변수(결정매개변수)를 토대로 대상 블록 내 각 화소 에서의 와 구면 모델링 과정을 수행하여 찾은 매개변수에 따른 깊이 값 (결정깊이값)의 차이를 이용하여 각 화소를 부호화할 수 있고, 그 후 각 대상 블록에서의 블록 내 부호화된 화소와 함께 구의 매개변수 값(결정매개변수)도 부호화하여 전체 영상을 부호화할 수 있다. 다만 이에 한정하는 것은 아니고, 후술하는 참조블록의 구면으로부터 대상블록의 화소의 깊이 값을 예측하고, 예측된 예측깊이값과 대상블록의 화소의 측정된 또는 보정된 깊이 값의 오차를 부호화할 수도 있다. 이에 대한 상세한 설명은 후술한다.Also, the
<구면 모델링 부호화 모드를 통한 깊이 영상의 부호화 방법>≪ Coding method of depth image through spherical modeling coding mode >
도 5는 깊이정보보정부를 구성하는 구성들의 블록도이고, 도 6은 부호화부를 구성하는 구성들의 블록도이다.FIG. 5 is a block diagram of the constructions constituting the depth information correction unit, and FIG. 6 is a block diagram of constructions constituting the encoder.
도 5 및 도 6을 참조하면, 본 발명의 실시예에 따른 깊이정보보정부(200)는 깊이영상 구면모델링부(210), 매개변수연산부(220), 보정깊이정보연산부(230)를 포함할 수 있다.5 and 6, the depth
깊이영상 구면모델링부(210)는 깊이 영상 내에 포함된 구면 객체를 수학식 1과 같은 구의 방정식으로 모델링할 수 있다.The depth image
또한 매개변수연산부(220)는 깊이 영상 내의 화소들의 깊이 값과 좌표 값이 구의 방정식을 충족하도록, 구의 방정식의 매개변수(결정매개변수)를 전술한 수학식 2 내지 6에 따라 결정할 수 있다.Further, the
또한 보정깊이정보연산부(230)는 매개변수연산부(220)로부터 결정된 구의 방정식의 매개변수(결정매개변수)를 이용하여 전술한 수학식 5에 따른 깊이 영상 내의 화소들의 이상적인 깊이 값(결정깊이값)을 결정할 수 있다.The correction depth
한편 깊이영상 구면모델링부(210)는 복수개로 분할된 블록 중에서 참조 블록(또는 대상 블록)내의 구면 객체를 구의 방정식으로 모델링할 수 있다. 이 경우 매개변수연산부(220)는 참조블록(또는 대상 블록) 내의 화소들의 깊이 값과 좌표 값이 구의 방정식을 충족하도록 구의 방정식의 결정매개변수를 구할 수도 있다. 그리고 보정깊이정보연산부(230)는 참조블록(또는 대상 블록) 내의 화소들의 결정깊이값을 구할 수 있다.Meanwhile, the depth image
또한 부호화부(400)는 대상블록 구면모델링부(401) 및 대상블록 부호화부(402)를 포함할 수 있다.The
대상블록 구면모델링부(401)는 매개변수연산부(220)로부터 결정된 참조블록 내의 구면 객체에 대한 구의 방정식의 매개변수를 수신하고, 수신된 매개변수와 대상 블록 내의 화소들의 좌표 정보 그리고 초점거리정보에 기초하여 대상 블록 내의 화소들의 깊이 값을 예측하여 예측깊이값을 구할 수 있다. 즉, 대상 블록에 포함된 구면 객체에 대한 구의 방정식의 매개변수가 아닌 참조 블록에 포함된 구면 객체에 대한 구의 방정식의 매개변수를 이용하여 대상 블록의 화소의 깊이 값을 예측할 수 있다.The target block
한편 여기서의 참조 블록은 부호화가 끝난 화소가 될 수 있으나 이에 한정하는 것은 아니다. 또한 여기서의 참조 블록은 대상 블록의 위쪽과 좌측과 맞닿은 화소로 구성될 수 있으나 반드시 이에 한정하는 것은 아니다.Here, the reference block may be a coded pixel, but is not limited thereto. Here, the reference block may be composed of pixels that are in contact with the upper and left sides of the target block, but the present invention is not limited thereto.
또한 대상블록 부호화부(403)는 대상블록 구면모델링부(402)로부터 수신한 대상 블록 내의 각 화소의 예측된 깊이 값과 대상 블록 내의 각 화소의 측정된 깊이 값의 오차를 부호화하여 대상 블록을 부호화 할 수 있다. The object block coding unit 403 encodes the error between the predicted depth value of each pixel in the target block received from the target block
또는 이와 달리 대상블록 부호화부(403)는 대상블록 구면모델링부(402)로부터 수신한 대상 블록 내의 각 화소의 예측된 깊이 값과 깊이정보보정부(200)로부터 수신한 대상 블록의 보정된 깊이 값의 오차를 부호화하여 대상 블록을 부호화할 수 있다.The target block coding unit 403 may calculate the predicted depth value of each pixel in the target block received from the target block
또한 전술한 과정을 모든 대상 블록들 각각에 대해서 적용하여 대상 블록들을 차례로 부호화하여 전체 영상을 부호화할 수 있다.In addition, the above process may be applied to all of the target blocks to sequentially encode the target blocks to encode the entire image.
도 7 내지 도 9는 본 발명의 실시예에 따른 구면 모델링을 통한 깊이 영상의 보정과 부호화 방법을 나타낸 흐름도이다.7 to 9 are flowcharts illustrating a method of correcting and encoding a depth image through spherical modeling according to an embodiment of the present invention.
도 7을 참조하면, 본 발명의 실시예에 따른 구면 모델링을 통한 깊이 영상의 보정 및 부호화 방법은 3차원 공간 상의 객체의 좌표 값 중 깊이 좌표 값이 화소의 측정된 깊이 값으로 투영되는 깊이 영상을 생성하는 단계(S100), 상기 깊이 영상을 복수개의 블록으로 분할하는 단계(S200), 상기 분할된 블록 중 참조 블록 내의 객체를 전술한 수학식 1의 형태를 가지고 제1 미결정매개변수로 표현된 제1 구의 방정식으로 모델링하는 단계(S310), 상기 참조 블록 내의 제1 화소의 제1 미결정깊이변수와 측정된 제1 화소의 깊이 값에 기초하여 상기 제1 미결정매개변수의 값을 결정하여 제1 결정매개변수를 생성하는 단계(S320), 상기 제1 결정매개변수로부터 상기 분할된 블록 중 대상 블록 내의 제2 화소의 깊이 값을 예측한 예측깊이값을 생성하는 단계(S500) 및 상기 예측깊이값에 기초하여 상기 대상 블록을 부호화하는 단계(S600)를 포함할 수 있다.Referring to FIG. 7, a method of correcting and encoding a depth image through spherical modeling according to an embodiment of the present invention is a method of interpolating a depth image in which a depth coordinate value of an object on a three-dimensional space is projected to a measured depth value of a pixel (S200) of dividing the depth image into a plurality of blocks (S200). In the step S200, the object in the reference block among the divided blocks is transformed into a block represented by the first undetermined parameter (S310), determining a value of the first undetermined parameter based on a first undetermined depth parameter of the first pixel in the reference block and a measured depth value of the first pixel, (S500) of generating a prediction depth value by predicting a depth value of a second pixel in a target block among the divided blocks from the first determination parameter (S320) It can be the basis of this value to a step (S600) for encoding the current block.
또한 실시예는 상기 제1 결정매개변수로부터 상기 제1 미결정깊이변수의 값을 결정하여 제1 결정깊이값을 생성하는 단계(S330) 및 상기 제1 화소의 측정된 깊이 값을 상기 제1 결정깊이값으로 보정하는 단계(S340)를 더 포함할 수 있다.The embodiment further includes a step of determining a value of the first microcrystalline depth variable from the first determination parameter to generate a first crystal depth value (S330), and a step of comparing the measured depth value of the first pixel with the first decision depth (S340). ≪ / RTI >
또한 실시예는 상기 대상 블록 내의 객체를 제2 미결정매개변수로 표현된 제2 구의 방정식으로 모델링하는 단계(S410), 상기 제2 화소의 제2 미결정깊이변수와 측정된 제2 화소의 깊이 값에 기초하여 상기 제2 미결정매개변수의 값을 결정하여 제2 결정매개변수를 생성하는 단계(S420), 상기 제2 결정매개변수로부터 상기 제2 미결정깊이변수의 값을 결정하여 제2 결정깊이값을 생성하는 단계(S430) 및 상기 제2 화소의 측정된 깊이 값을 상기 제2 결정깊이값으로 보정하는 단계(S440)를 더 포함할 수 있다.The embodiment may further include the steps of modeling an object in the object block into an equation of a second sphere expressed by a second undetermined parameter (S410), calculating a second undetermined depth variable of the second pixel and a depth value of the measured second pixel Determining a value of the second microcrystalline parameter based on the second determination parameter to generate a second determination parameter (S420); determining a value of the second microcrystalline depth variable from the second determination parameter, And correcting the measured depth value of the second pixel to the second determined depth value (S440).
또한 상기 예측깊이값에 기초하여 상기 대상 블록을 부호화하는 단계(S600)에서, 상기 예측깊이값과 상기 제2 화소의 보정된 깊이 값에 기초하여 상기 대상 블록을 부호화할 수 있다. In addition, in step S600 of encoding the target block based on the predicted depth value, the target block may be encoded based on the predicted depth value and the corrected depth value of the second pixel.
또한 상기 예측깊이값에 기초하여 상기 대상 블록을 부호화하는 단계(S600)에서, 상기 예측깊이값과 상기 제2 화소의 측정된 깊이 값에 기초하여 상기 대상 블록을 부호화할 수도 있다.In addition, in step S600 of encoding the target block based on the predicted depth value, the target block may be encoded based on the predicted depth value and the measured depth value of the second pixel.
또한 제1 결정매개변수를 생성하는 단계(S320)에서 상기 참조 블록 내의 제1 화소의 제1 미결정깊이변수와 측정된 제1 화소의 깊이 값의 오차가 최소가 되도록 하는 상기 제1 미결정매개변수의 값을 결정하여 제1 결정매개변수를 생성할 수도 있다. 보다 상세하게는 최소자승법을 적용하여 상기 오차가 최소가 되도록 하는 상기 제1 미결정매개변수의 값을 결정할 수도 있다. In addition, the step of generating the first decision parameter (S320) may be such that the error of the depth value of the first pixel measured and the first undetermined depth variable of the first pixel in the reference block is minimized Value to generate a first determination parameter. More specifically, the least squares method may be applied to determine the value of the first undetermined parameter to minimize the error.
또한 상기 예측깊이값을 생성하는 단계(S500)는, 상기 제1 결정매개변수와 상기 제2 화소의 좌표 값 그리고 초점거리에 기초하여 생성할 수 있다.The step of generating the predicted depth value (S500) may be based on the first determination parameter, the coordinate value of the second pixel, and the focal length.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specifically designed and configured for the present invention or may be those known and used by those skilled in the computer software arts. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROM and DVD, magneto-optical media such as floptical disks, medium, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code, such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be modified into one or more software modules for performing the processing according to the present invention, and vice versa.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific acts described in the present invention are, by way of example, not intended to limit the scope of the invention in any way. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of such systems may be omitted. Also, the connections or connecting members of the lines between the components shown in the figures are illustrative of functional connections and / or physical or circuit connections, which may be replaced or additionally provided by a variety of functional connections, physical Connection, or circuit connections. Also, unless explicitly mentioned, such as " essential ", " importantly ", etc., it may not be a necessary component for application of the present invention.
또한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.Although the preferred embodiments of the present invention have been disclosed for illustrative purposes, those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. It will be understood that the invention can be variously modified and changed without departing from the technical scope thereof. Therefore, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.
10: 부호화장치
100: 깊이검출부
200: 깊이정보검출부
210: 깊이영상 구면모델링부
220: 매개변수연산부
230: 보정깊이정보연산부
300: 제어부
400: 부호화부
401: 대상블록 구면모델링부
402: 대상블록 부호화부
600: 블록분할부10: Encoding device
100: depth detector
200: Depth information detector
210: Depth image spherical modeling unit
220: Parameter operation unit
230: correction depth information calculating section
300:
400:
401: Object block spherical modeling unit
402: object block coding unit
600: Block division
Claims (11)
상기 깊이 영상을 M*N(M, N은 자연수) 화소로 이루어진 영역으로 결정된 사이즈를 가진 복수개의 블록으로 분할하는 단계;
상기 분할된 블록 중 참조 블록 내의 객체를 제1 미결정매개변수로 표현된 제1 구의 방정식으로 모델링하는 단계;
상기 참조 블록 내의 제1 화소의 제1 미결정깊이변수와 측정된 제1 화소의 깊이 값에 기초하여 상기 제1 미결정매개변수의 값을 결정하여 제1 결정매개변수를 생성하는 단계;
상기 제1 결정매개변수로부터 상기 분할된 블록 중 상기 참조 블록과 다른 대상 블록 내의 제2 화소의 깊이 값을 예측한 예측깊이값을 생성하는 단계; 및
상기 예측깊이값과 상기 제2 화소의 측정된 깊이 값의 오차를 부호화하여 상기 대상 블록을 부호화하는 단계;를 포함하고,
상기 예측깊이값을 생성하는 단계는,
상기 제1 결정매개변수와 상기 제2 화소의 좌표 값 그리고 초점거리에 기초하여 생성하고,
상기 참조 블록 내의 제1 화소의 제1 미결정깊이변수와 측정된 제1 화소의 깊이 값의 오차가 최소가 되도록 하는 상기 제1 미결정매개변수의 값을 결정하여 상기 제1 결정매개변수를 생성하는
구면 모델링을 통한 깊이 영상의 부호화방법.Generating a depth image in which a depth coordinate value of a coordinate value of an object on a three-dimensional space is projected to a measured depth value of the pixel;
Dividing the depth image into a plurality of blocks having a size determined as an area made up of M * N (M, N is a natural number) pixels;
Modeling an object in a reference block of the divided blocks into an equation of a first sphere represented by a first undetermined parameter;
Determining a value of the first undetermined parameter based on a first undetermined depth parameter of the first pixel in the reference block and a measured depth value of the first pixel to generate a first determination parameter;
Generating a prediction depth value by predicting a depth value of a second pixel in a target block different from the reference block among the divided blocks from the first determination parameter; And
And encoding the error between the predicted depth value and the measured depth value of the second pixel to encode the target block,
Wherein generating the predicted depth value comprises:
Based on the first determination parameter, the coordinate value of the second pixel, and the focal length,
Determining a value of the first undetermined parameter such that an error between the first undetermined depth parameter of the first pixel in the reference block and the measured depth value of the first pixel is minimized to generate the first determination parameter
A method of coding a depth image through spherical modeling.
상기 제1 결정매개변수로부터 상기 제1 미결정깊이변수의 값을 결정하여 제1 결정깊이값을 생성하는 단계; 및
상기 제1 화소의 측정된 깊이 값을 상기 제1 결정깊이값으로 보정하는 단계;를 더 포함하는 것을 특징으로 하는
구면 모델링을 통한 깊이 영상의 부호화방법.5. The method of claim 4,
Determining a value of the first microcrystalline depth variable from the first determination parameter to generate a first crystal depth value; And
And correcting the measured depth value of the first pixel to the first determined depth value
A method of coding a depth image through spherical modeling.
상기 대상 블록 내의 객체를 제2 미결정매개변수로 표현된 제2 구의 방정식으로 모델링하는 단계;
상기 제2 화소의 제2 미결정깊이변수와 측정된 제2 화소의 깊이 값에 기초하여 상기 제2 미결정매개변수의 값을 결정하여 제2 결정매개변수를 생성하는 단계;
상기 제2 결정매개변수로부터 상기 제2 미결정깊이변수의 값을 결정하여 제2 결정깊이값을 생성하는 단계; 및
상기 제2 화소의 측정된 깊이 값을 상기 제2 결정깊이값으로 보정하는 단계;를 더 포함하는 것을 특징으로 하는
구면 모델링을 통한 깊이 영상의 부호화방법.5. The method of claim 4,
Modeling an object in the object block into an equation of a second sphere represented by a second undetermined parameter;
Determining a value of the second undetermined parameter based on a second undetermined depth parameter of the second pixel and a measured depth value of the second pixel to generate a second determination parameter;
Determining a value of the second uncertainty depth variable from the second decision parameter to generate a second crystal depth value; And
And correcting the measured depth value of the second pixel to the second determined depth value
A method of coding a depth image through spherical modeling.
상기 대상 블록을 부호화하는 단계는,
상기 예측깊이값과 상기 제2 화소의 보정된 깊이 값에 기초하여 상기 대상 블록을 부호화하는 것을 특징으로 하는
구면 모델링을 통한 깊이 영상의 부호화방법.The method according to claim 6,
Wherein the encoding of the target block comprises:
And the target block is encoded based on the predicted depth value and the corrected depth value of the second pixel
A method of coding a depth image through spherical modeling.
최소자승법을 적용하여 상기 오차가 최소가 되도록 하는 상기 제1 미결정매개변수의 값을 결정하는 것을 특징으로 하는
구면 모델링을 통한 깊이 영상의 부호화방법.5. The method of claim 4,
Determining a value of the first uncertain parameter that minimizes the error by applying a least squares method
A method of coding a depth image through spherical modeling.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160184473A KR101904170B1 (en) | 2016-12-30 | 2016-12-30 | Coding Device and Method for Depth Information Compensation by Sphere Surface Modeling |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160184473A KR101904170B1 (en) | 2016-12-30 | 2016-12-30 | Coding Device and Method for Depth Information Compensation by Sphere Surface Modeling |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180079089A KR20180079089A (en) | 2018-07-10 |
KR101904170B1 true KR101904170B1 (en) | 2018-10-04 |
Family
ID=62916292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160184473A KR101904170B1 (en) | 2016-12-30 | 2016-12-30 | Coding Device and Method for Depth Information Compensation by Sphere Surface Modeling |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101904170B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102262030B1 (en) * | 2019-11-15 | 2021-06-07 | 동의대학교 산학협력단 | VIDEO PROCESSING Device and Method For Depth Video by Spherical Modeling, and Non-Transitory COMPUTER READABLE RECORDING MEDIUM |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013092407A (en) * | 2011-10-25 | 2013-05-16 | Kddi Corp | Three-dimensional coordinate acquisition device, camera attitude estimation device, and program |
JP2016540401A (en) * | 2013-10-14 | 2016-12-22 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Remapping depth maps for 3D display |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150043226A (en) * | 2013-10-14 | 2015-04-22 | 삼성전자주식회사 | Method and apparatus for depth intra encoding and method and apparatus for depth intra decoding |
-
2016
- 2016-12-30 KR KR1020160184473A patent/KR101904170B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013092407A (en) * | 2011-10-25 | 2013-05-16 | Kddi Corp | Three-dimensional coordinate acquisition device, camera attitude estimation device, and program |
JP2016540401A (en) * | 2013-10-14 | 2016-12-22 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Remapping depth maps for 3D display |
Also Published As
Publication number | Publication date |
---|---|
KR20180079089A (en) | 2018-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6244407B2 (en) | Improved depth measurement quality | |
US8837812B2 (en) | Image processing device, image processing method, and program | |
JP4349367B2 (en) | Estimation system, estimation method, and estimation program for estimating the position and orientation of an object | |
KR101817140B1 (en) | Coding Method and Device for Depth Video Plane Modeling | |
US20120176478A1 (en) | Forming range maps using periodic illumination patterns | |
US20120176380A1 (en) | Forming 3d models using periodic illumination patterns | |
CN105526882A (en) | Turnout wear detection system and detection method based on structured light measurement | |
KR101787542B1 (en) | Estimation system and method of slope stability using 3d model and soil classification | |
KR101681095B1 (en) | Apparatus and method for generating depth image that have same viewpoint and same resolution with color image | |
KR20190030456A (en) | Mehtod and apparatus for stereo matching | |
KR102416523B1 (en) | A 3D skeleton generation method using calibration based on joints acquired from multi-view camera | |
KR20090062440A (en) | Multi-view matching method and device using foreground/background separation | |
KR101853215B1 (en) | Coding Device and Method and Depth Information Compensation by Plane Modeling | |
JPWO2019107180A1 (en) | Encoding device, coding method, decoding device, and decoding method | |
JP6285686B2 (en) | Parallax image generation device | |
KR101904170B1 (en) | Coding Device and Method for Depth Information Compensation by Sphere Surface Modeling | |
KR101907057B1 (en) | Device and Method for Depth Information Compensation by Sphere Surface Modeling | |
JP6456084B2 (en) | Image processing apparatus, image processing method, and program | |
KR101846311B1 (en) | Sand Table System Based on Spatial Augmented Reality | |
KR101866107B1 (en) | Coding Device, Device and Method and Depth Information Compensation by Plane Modeling | |
KR101828710B1 (en) | Apparatus and method for object occlusion detection | |
KR101904128B1 (en) | Coding Method and Device Depth Video by Spherical Surface Modeling | |
KR101866106B1 (en) | Method and Device of Inter-frame Plane Prediction for Depth Video | |
KR101865821B1 (en) | Noise Removing Method and Device for Depth Image, Coding Method and Device through Noise Remove | |
KR101817137B1 (en) | Coding Method and Coding Device for Depth Video through Depth Average in Block |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |