KR101817140B1 - Coding Method and Device for Depth Video Plane Modeling - Google Patents
Coding Method and Device for Depth Video Plane Modeling Download PDFInfo
- Publication number
- KR101817140B1 KR101817140B1 KR1020160184332A KR20160184332A KR101817140B1 KR 101817140 B1 KR101817140 B1 KR 101817140B1 KR 1020160184332 A KR1020160184332 A KR 1020160184332A KR 20160184332 A KR20160184332 A KR 20160184332A KR 101817140 B1 KR101817140 B1 KR 101817140B1
- Authority
- KR
- South Korea
- Prior art keywords
- depth
- plane
- equation
- depth value
- pixels
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
본 발명은 평면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치에 관한 것이다.The present invention relates to a method and apparatus for coding a depth image through plane modeling.
디지털 시대가 도래된 이래로 다양한 멀티미디어 기술들이 급속히 발전하고 있으며 이를 바탕으로 디지털 콘텐츠 시장도 해마다 그 규모가 급속도로 성장하고 있다. 또한 인터넷과 같은 다양한 통신 수단과 전송 기술의 발달은 다양한 멀티미디어 콘텐츠 산업의 활성화를 이끌고 있다. 이러한 흐름 속에서 최근에는 사용자들의 요구가 단순 소비 형태의 콘텐츠 이용에서 대화형 콘텐츠, 실감 콘텐츠의 이용을 요구하는 수준으로 변화하고 있다. 디지털 영상 분야의 경우 과거의 흑백 아날로그 TV에서부터 최근의 UHD 디지털 TV까지 관련 기술이 끊임없이 발전하고 있으며 최근에는 3차원 영상에 대한 관심이 높아지면서 3차원 입체 영상 제작을 위해 다양한 깊이 카메라가 개발되었고, 이와 더불어 고품질의 3차원 입체 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다.Since the advent of the digital age, various multimedia technologies have been rapidly developing, and the digital content market is growing rapidly every year. In addition, the development of various communication means and transmission technology such as the Internet is leading the activation of various multimedia content industries. In recent years, the demand of users has changed from using simple consumption type to using interactive contents and realistic contents. In the field of digital imaging, related technologies from past black-and-white analog TV to recent UHD digital TV are constantly evolving. Recently, interest in 3D images has increased and various depth cameras have been developed for 3D stereoscopic image production. In addition, the demand for
이와 같이 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다. 따라서, 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우에는, 정보의 전송 비용과 저장 비용이 증가하게 된다. 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고 재생하기 위해 고효율의 깊이 영상 압축 기술이 요구되고 있다.As such, the demand for high resolution, high quality images is increasing in various applications. However, as the image has high resolution and high quality, the amount of information about the image also increases. Therefore, when image information is transmitted using a medium such as a conventional wired / wireless broadband line, or image information is stored using an existing storage medium, information transmission cost and storage cost are increased. There is a demand for a highly efficient depth image compression technique for effectively transmitting, storing and reproducing information of high resolution and high quality images.
또한 일반 영상의 경우 사람이 시청하는 영상이므로 좋은 색상과 좋은 화질이 요구되는 제한 내에서 적절한 압축이 필요하나, 깊이 영상의 경우 객체의 검출이나 모션 인식 등과 같은 정보 처리를 위하여 적절한 압축이 필요하다는 점에서 일반 영상의 압축 기술과는 다른 새로운 압축 기술이 필요하다.In addition, since the image is viewed by a human being in the case of a general image, it is necessary to appropriately compress the image within a constraint requiring good color and good image quality. However, in the case of a depth image, appropriate compression is required for information processing such as object detection or motion recognition A new compression technique that is different from the compression technique of general image is needed.
본 발명은 깊이 영상의 특성을 고려하여 깊이 영상의 품질을 유지하면서도 압축율을 높일 수 있는 평면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치를 제공할 수 있다.The present invention can provide a depth image encoding method and an encoding device by plane modeling that can improve the compression rate while maintaining the quality of the depth image considering the characteristics of the depth image.
또한 본 발명의 깊이 영상 내의 평면 영역에 대한 정보를 추출하여 깊이 값을 예측할 수 있는 평면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치를 제공할 수 있다.Also, it is possible to provide a method and a device for encoding a depth image through plane modeling, which can extract information on a planar area in a depth image of the present invention and predict a depth value.
본 발명의 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법은 3차원 공간을 촬영하여 깊이 영상을 생성하는 단계; 상기 깊이 영상을 기 설정된 사이즈로 블록화하여 분할된 블록을 생성하는 단계; 상기 분할된 블록 중 대상 블록과 인접한 참조 블록의 화소의 위치 좌표와 깊이 값에 따른 상기 참조 블록 내의 평면의 정보를 참조하여 상기 대상 블록의 각 화소의 깊이 값을 예측하여 예측 깊이 값을 생성하는 단계; 및 상기 대상 블록의 각 화소의 깊이 값과 상기 예측 깊이 값에 기초하여 상기 대상 블록을 부호화하는 단계;를 포함하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수 있다.A method of coding a depth image through plane modeling according to an embodiment of the present invention includes: generating a depth image by capturing a three-dimensional space; Generating a divided block by blocking the depth image with a predetermined size; Generating a prediction depth value by predicting a depth value of each pixel of the target block with reference to information of a plane in the reference block according to a position coordinate and a depth value of a pixel of the reference block adjacent to the target block among the divided blocks; ; And encoding the target block based on the depth value of each pixel of the target block and the predicted depth value.
또한 본 발명의 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법은 상기 분할된 블록들 각각의 화소들의 깊이 값에 기초하여 상기 분할된 블록들 중에서 평면을 포함하는 상기 대상 블록을 선택하는 단계;를 더 포함하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수도 있다.According to another aspect of the present invention, there is provided a method of coding a depth image through plane modeling, the method comprising: selecting a target block including a plane from among the divided blocks based on depth values of pixels of the divided blocks; The depth image may be encoded using the plane modeling.
또한 본 발명의 또 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법의 상기 예측 깊이 값을 생성하는 단계는, 카메라 좌표계 상의 임의의 위치 좌표를 포함하는 평면의 방정식을 결정하는 단계; 상기 참조 블록의 화소의 위치 좌표 및 깊이 값을 이용하여 상기 평면의 방정식을 이루는 매개변수를 결정하는 단계; 및 결정된 매개변수를 이용하여 표현된 평면의 방정식에 상기 대상 블록의 각 화소의 위치 좌표 및 초점 길이를 이용하여 상기 예측 깊이 값을 생성하는 단계;를 포함하는 것을 특징으로 하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수도 있다.According to another aspect of the present invention, the step of generating the predicted depth value of the depth image encoding method using plane modeling includes: determining an equation of a plane including arbitrary position coordinates on a camera coordinate system; Determining parameters constituting the equation of the plane using the position coordinates and depth values of the pixels of the reference block; And generating the predicted depth value using the position coordinates and the focal length of each pixel of the target block in a plane equation expressed using the determined parameters. May be provided.
또한 본 발명의 또 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법의 상기 참조 블록은 이미 부호화가 끝난 화소를 포함하는 것을 특징으로 하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수도 있다.Also, the reference block of the depth image coding method using plane modeling according to another embodiment of the present invention may provide a method of encoding a depth image through plane modeling, wherein the reference block includes already encoded pixels .
또한 본 발명의 또 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법의 상기 참조 블록의 화소는 상기 대상 블록과 맞닿은 화소인 것을 특징으로 하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수도 있다.According to still another aspect of the present invention, there is provided a method of coding a depth image through plane modeling, wherein a pixel of the reference block is a pixel in contact with the target block, have.
또한 본 발명의 또 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법의 상기 참조 블록의 화소의 위치 좌표는 깊이 값을 포함하는 것을 특징으로 하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수도 있다.In another aspect of the present invention, there is provided a method of coding a depth image through plane modeling, the method comprising the steps of: It is possible.
또한 본 발명의 또 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법의 상기 참조 블록의 화소의 위치 좌표 및 깊이 값을 이용하여 상기 평면의 방정식을 이루는 매개변수를 결정하는 단계는, 아래의 수학식 2에 상기 참조 블록 내의 화소들의 위치 좌표 및 깊이 값을 대입하고 최소자승법을 적용하여 상기 매개변수를 결정하는 단계;를 포함하는 것을 특징으로 하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수도 있다.According to another aspect of the present invention, there is provided a method of coding a depth image through plane modeling, the step of determining a parameter constituting the equation of the plane using a position coordinate and a depth value of a pixel of the reference block, And a step of assigning a position coordinate and a depth value of pixels in the reference block and determining the parameter by applying a least squares method to Equation (2). It is possible.
[수학식 1][Equation 1]
[수학식 2]&Quot; (2) "
수학식 1 및 2에서의 x, y는 참조 블록 내의 화소들의 위치 좌표 값이고, f는 초점 길이이고, tx, ty, tf는 3차원 공간 상의 좌표이다.In Equations (1) and (2), x, y are position coordinate values of pixels in a reference block, f is a focal length, and tx, ty, and tf are coordinates on a three-dimensional space.
또한 수학식 2는 수학식 1을 충족하는 구의 방정식의 매개변수를 이용하여 표현된 것이다.Equation (2) is expressed by using a parameter of an equation of a sphere satisfying Equation (1).
또한 본 발명의 또 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법의 상기 결정된 매개변수를 이용하여 표현된 평면의 방정식에 상기 대상 블록의 각 화소의 위치 좌표 및 초점 길이를 이용하여 상기 예측 깊이 값을 생성하는 단계는, 상기 결정된 매개변수를 이용하여 표현된 아래의 수학식 3을 충족하는 평면의 방정식에 상기 대상 블록의 화소들의 위치 좌표 및 초점 길이를 대입하여 수학식 1의 t 값을 결정하는 단계; 및 상기 t 및 초점 길이에 기초하여 상기 예측 깊이 값을 생성하는 단계;를 포함하는 것을 특징으로 하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수도 있다.Further, according to another embodiment of the present invention, the position coordinates and the focal length of each pixel of the target block are used for the prediction of the plane represented by the determined parameters of the depth image coding method using the plane modeling, The step of generating the depth value may be performed by substituting the position coordinates and the focal length of the pixels of the target block into an equation of a plane satisfying the following equation (3) expressed by using the determined parameters, Determining; And generating the predicted depth value based on the t and the focal length. The present invention also provides a method of encoding a depth image through plane modeling.
[수학식 3] &Quot; (3) "
또한 본 발명의 또 다른 실시예에 따른 부호화장치는 3차원 공간을 촬영하여 깊이 영상을 생성하는 깊이측정부; 상기 깊이 영상을 기 설정된 사이즈로 블록화하여 분할된 블록을 생성하는 블록분할부; 및 상기 분할된 블록 중 대상 블록과 인접한 참조 블록의 화소의 위치 좌표와 깊이 값에 따른 상기 참조 블록 내의 평면의 정보를 참조하여 상기 대상 블록의 각 화소의 깊이 값을 예측하여 예측 깊이 값을 생성하고, 상기 대상 블록의 각 화소의 깊이 값과 상기 예측 깊이 값에 기초하여 상기 대상 블록을 부호화하는 부호화부;를 포함하는 부호화장치를 제공할 수도 있다.According to another aspect of the present invention, there is provided an encoding apparatus including: a depth measurement unit that captures a three-dimensional space to generate a depth image; A block dividing unit for dividing the depth image into a predetermined size to generate divided blocks; And generating a prediction depth value by predicting a depth value of each pixel of the target block with reference to information of a plane in the reference block according to a position coordinate and a depth value of a pixel of the reference block adjacent to the target block among the divided blocks And an encoding unit encoding the target block based on a depth value of each pixel of the target block and the predicted depth value.
또한 본 발명의 또 다른 실시예에 따른 부호화장치는 상기 분할된 블록들 각각의 화소들의 깊이 값에 기초하여 상기 분할된 블록들 중에서 평면을 포함하는 상기 대상 블록을 선택하는 부호화 제어부;를 더 포함하는 부호화장치를 제공할 수도 있다.According to still another aspect of the present invention, there is provided an encoding apparatus for encoding an image, the apparatus comprising: an encoding controller for selecting a target block including a plane among the divided blocks based on depth values of pixels of the divided blocks; An encoding apparatus may be provided.
또한 본 발명의 또 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화방법은, 3차원 공간 상의 객체의 좌표 값 중 깊이 좌표 값이 화소의 측정된 깊이 값으로 투영되는 깊이 영상을 생성하는 단계; 상기 깊이 영상을 복수개의 블록으로 분할하는 단계; 상기 분할된 블록 중 참조 블록 내의 객체를 미결정매개변수로 표현된 제1 평면의 방정식으로 모델링하는 단계; 상기 미결정매개변수와 상기 참조 블록 내의 제1 화소들 위치좌표 및 상기 제1 화소들의 측정된 깊이 값에 기초하여 상기 미결정매개변수의 값을 결정하여 결정매개변수를 생성하는 단계; 상기 결정매개변수로부터 상기 분할된 블록 중 대상 블록 내의 제2 화소들의 깊이 값을 예측한 예측깊이값을 생성하는 단계; 및 상기 예측깊이값에 기초하여 상기 대상 블록을 부호화하는 단계;를 포함하는 부호화방법을 제공할 수도 있다.According to another aspect of the present invention, there is provided a method of coding a depth image through plane modeling, the method comprising: generating a depth image in which a depth coordinate value of a coordinate value of an object in a three-dimensional space is projected to a measured depth value of the pixel; Dividing the depth image into a plurality of blocks; Modeling an object in a reference block of the divided blocks into an equation of a first plane represented by an undetermined parameter; Determining a value of the undetermined parameter based on the undetermined parameter, the location coordinates of the first pixels in the reference block, and the measured depth value of the first pixels to generate a decision parameter; Generating a prediction depth value by predicting a depth value of second pixels in a target block among the divided blocks from the determination parameter; And encoding the target block based on the predicted depth value.
또한 상기 예측깊이값에 기초하여 상기 대상 블록을 부호화하는 단계는, 상기 예측깊이값과 상기 제2 화소들의 측정된 깊이 값의 차이를 부호화하여 상기 대상 블록을 부호화할 수 있다.The encoding of the target block based on the predicted depth value may encode the target block by encoding the difference between the predicted depth value and the measured depth value of the second pixels.
본 발명의 실시예는 원 깊이 영상에 포함된 중요한 정보는 보존하면서 기타 정보를 다소 제거하여 원 깊이 영상의 품질을 잃지 않으면서도 가능한 한 적은 디지털 부호량으로 깊이 영상을 표현할 수 있다.In the embodiment of the present invention, depth information can be represented with a digital code amount as small as possible without losing the quality of the original depth image, while preserving important information included in the original depth image while removing other information.
또한 본 발명의 실시예는 깊이 영상 내의 평면 정보를 블록내의 깊이 값을 이용하여 찾아내어 평면을 포함하는 깊이 영상의 깊이 값을 예측할 수 있고, 예측된 값과 측정된 깊이 값의 오차를 이용한 깊이 영상의 부호화를 수행할 수 있다.In addition, the embodiment of the present invention can estimate the depth value of the depth image including the plane by finding the plane information in the depth image using the depth value in the block, and calculate the depth image using the error between the predicted value and the measured depth value Can be performed.
도 1a는 본 발명의 실시예에 따른 부호화장치와 이를 구성하는 구성들의 블록도이다.
도 1b는 부호화부를 구성하는 구성들의 블록도이다
도 2는 본 발명의 실시예에서 적용되는 깊이의 개념을 설명하기 위한 개념도이다.
도 3은 구가 세계 좌표계 상에 표시되었을 때 영상 평면 상에 투영되는 구의 한 점에 대한 개념도이다.
도 4는 X, Z 축에 따른 2차원 상의 세계 좌표계의 임의의 한 점과 2차원 영상 평면의 한 점을 나타낸 직각 좌표계이다.
도 5 및 도 6은 평면 모델링을 통한 깊이 영상의 부호화 방법에 대한 흐름도이다.FIG. 1A is a block diagram of an encoding apparatus according to an embodiment of the present invention and constructions thereof.
1B is a block diagram of the constructions constituting the encoding unit
2 is a conceptual diagram for explaining the concept of depth applied in the embodiment of the present invention.
3 is a conceptual diagram of a point of a sphere projected on an image plane when the sphere is displayed on the world coordinate system.
Fig. 4 is a rectangular coordinate system showing an arbitrary point of a two-dimensional world coordinate system along the X and Z axes and a point of a two-dimensional image plane.
5 and 6 are flowcharts illustrating a method of coding a depth image through plane modeling.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. The effects and features of the present invention and methods of achieving them will be apparent with reference to the embodiments described in detail below with reference to the drawings. However, the present invention is not limited to the embodiments described below, but may be implemented in various forms. In the following embodiments, the terms first, second, and the like are used for the purpose of distinguishing one element from another element, not the limitative meaning. Also, the singular expressions include plural expressions unless the context clearly dictates otherwise. Also, the terms include, including, etc. mean that there is a feature, or element, recited in the specification and does not preclude the possibility that one or more other features or components may be added. Also, in the drawings, for convenience of explanation, the components may be exaggerated or reduced in size. For example, the size and thickness of each component shown in the drawings are arbitrarily shown for convenience of explanation, and thus the present invention is not necessarily limited to those shown in the drawings.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or corresponding components throughout the drawings, and a duplicate description thereof will be omitted .
<부호화장치><Encoder>
도 1a는 본 발명의 실시예에 따른 부호화장치와 이를 구성하는 구성들의 블록도이고, 도 1b는 부호화부를 구성하는 구성들의 블록도이다. 그리고 도 2는 본 발명의 실시예에서 적용되는 깊이의 개념을 설명하기 위한 개념도이다.FIG. 1A is a block diagram of an encoding apparatus according to an embodiment of the present invention, and FIG. 1B is a block diagram of the encoding unit. Referring to FIG. 2 is a conceptual diagram for explaining the concept of depth applied in the embodiment of the present invention.
도 1a를 참조하면, 본 발명의 실시예에 따른 부호화장치(10)는 깊이측정부(100), 블록분할부(200), 부호화제어부(300), 부호화부(400) 및 메모리(500)를 포함할 수 있다.1A, an
또한 도 1b를 참조하면, 본 발명의 실시예의 일 구성 요소인 부호화부(400)는 참조블록 평면모델링부(401), 대상블록 평면모델링부(402) 및 대상블록 부호화부(403)를 포함할 수 있다.1B, an
다만, 전술한 참조블록 평면모델링부(401) 및 대상블록 평면모델링부(402) 중 적어도 하나는 부호화부(400)가 아닌 부호화제어부(300)에 포함된 구성이 될 수 있으므로 도면의 도시된 바에 한정하는 것은 아니다.However, since at least one of the reference block
본 발명의 실시예을 구성하는 깊이측정부(100)는 3차원 공간을 촬영할 수 있는 카메라를 구비할 수 있다. The
또한 깊이측정부(100)가 촬영한 영상의 화소는 RGB의 색상 정보가 아닌 일 예로 mm 단위의 정수로 된 깊이 정보가 될 수 있다.In addition, the pixels of the image taken by the
또한 깊이측정부(100)는 3차원 공간을 촬영하여 깊이 영상을 생성할 수 있다. 그리고 여기서의 깊이 영상은 일 예로 그레이 레벨(grey level)로 표현될 수 있으나 이에 한정하는 것은 아니다. 또한 깊이 영상에 속한 각각의 화소는 깊이 값을 가질 수 있으며, 깊이 값은 카메라가 촬영한 장면의 해당 화소에 대응되는 지점에서 카메라까지의 거리를 의미할 수 있다.Also, the
<깊이 측정 방식><Depth measurement method>
또한 깊이측정부(100)는 3차원 공간 상에 광을 조사하고 3차원 공간 상의 물체로부터 반사되어 되돌아오는 반사광을 수신할 수 있다. 그리고 광의 출사 후 반사광의 수신 시점까지의 시간 정보를 이용하여 물체의 깊이 정보를 검출할 수 있다. 보다 상세하게는 깊이측정부(100)는 TOF(Time Of Flight) 카메라를 구비하고, TOF의 카메라는 in phase receptor와 out phase receptor로 구성된 이미지센서와 광을 출사하는 발광다이오드로 구성될 수 있다. 또한 발광다이오드로부터 모듈레이션(modulation)되며 출사된 광에 동기하여 이미지센서가 활성화되는데, 발광다이오드가 턴온된 상태에서는 in phase receptor가 활성화되고, 발광다이오드가 턴오프된 상태에서는 out phase receptor가 활성화 될 수 있다. 그리고 in phase receptor와 out phase receptor 들은 시간차를 두고 서로 다른 시점에 활성화되므로 물체와의 거리에 따라서 수신되는(누적되는) 광량에 차이가 발생하게 되고 이러한 광량에 차이를 비교하여 물체와의 거리를 측정할 수 있다.In addition, the
전술한 바에 따른 깊이 측정과는 달리 깊이측정부(100)는 카메라와 구조광을 출력하는 프로젝터로 구성되어 깊이를 얻고자 하는 객체를 향해 좁은 밴드의 빛을 비추고 다른 시점에서 볼 때에는 왜곡으로 나타날 수 있는 빛에 의한 선들, 즉 광 패턴을 촬영하여 이로부터 객체가 존재하는 3차원 공간 상의 깊이 정보를 검출할 수도 있고, 이와 달리 스테레오 카메라를 구비하여 좌, 우 영상 상호간의 정합점을 찾아내고 정합점간의 차이를 이용하여 3차원 깊이 정보를 추출할 수도 있다.Unlike the depth measurement described above, the
다만, 깊이측정부(100)의 깊이 검출 방식이 전술한 바에 한정하는 것은 아니고 3차원 깊이 정보를 추출할 수 있는 장치라면 어떠한 장치라도 가능하나 본 발명을 설명함에 있어 깊이측정부(100)는 3차원 공간의 깊이 정보 만을 검출하는 장치로 정의하고 설명한다.However, the
<깊이의 개념><The concept of depth>
또한 도 2를 참조하여 깊이 영상에서의 깊이(depth)에 대한 개념을 보다 상세하게 설명하면, 깊이측정부(100)의 카메라와 영상이 높여 있는 3차원 공간을 3차원 좌표계인 세계 좌표계(world coordinate system)로 표현할 수 있고, 카메라 역시 3차원 좌표계인 카메라 좌표계(camera coordinate system)를 가진다. 그리고 카메라는 시계 좌표계의 어느 한 점인 카메라 중심(camera center)에 위치할 수 있다. 또한 카메라의 X, Y, Z 축은 각각 수직축(Vertical axis), 수평축(Horizontal axis), 광축(optical axis)이라고 부르고 광축은 카메라의 빛(ray)의 직진 방향으로써 주축(principal axis)라 한다. 광축과 영상 평면이 만나는 점은 2차원 영상 평면(Image plane) 안의 한 점으로써 주점(principal point)이라고 하며, 카메라 중심으로부터 주점까지의 거리가 카메라의 초점거리(focal length)이다. 그리고 카메라의 투영(projection)에 의해서 촬영하고자 하는 3차원 장면의 각 점은 2차원 영상 평면(Image plane)으로 투영된다. 즉, 깊이측정부(100)의 위치는 3차원 카메라 좌표계의 원점을 나타내고 Z축(optical axis, principal axis)은 눈이 바라보는 방향과 일직선이 된다. 그리고 세계 좌표계의 임의의 한 점 P=(X, Y, Z)는 Z축에 수직인 2차원 영상 평면(image plane)의 임의의 한 점 p=(x, y)로 투영될 수 있다.Referring to FIG. 2, the concept of the depth in the depth image will be described in more detail. A three-dimensional space in which the camera and the image of the
이 때 3차원 장면의 각점 p=(x, y)은 3차원 좌표계의 P=(X, Y, Z)의 Z값으로 표현될 수 있고 이 때의 2차원 영상 평면은 깊이 영상을 의미할 수 있다.In this case, each point p = (x, y) of the 3D scene can be expressed as the Z value of P = (X, Y, Z) of the 3D coordinate system, have.
<깊이 정보의 개념><Concept of depth information>
전술한 바에 기초하여 깊이 영상을 다시 정의하면, 깊이측정부(100)를 기준으로 깊이측정부(100)의 위치와 실물 간의 거리를 상대적인 값으로 수치화한 정보들의 집합이라고 할 수 있고, 이는 영상 단위, 슬라이스 단위 등으로 표현될 수 있으며, 깊이 영상 내에서의 깊이 정보는 픽셀 단위로 표현될 수 있다.If the depth image is redefined based on the above description, it can be said to be a set of information obtained by digitizing the distance between the position of the
또한 하나의 프레임 내에 있는 화소 값은 그 주변 화소값과 상관 관계가 존재하기 때문에 이러한 상관 관계를 이용하여 부호화를 수행할 수 있다. 따라서 부호화를 수행하고자 하는 프레임 내의 어떤 범위에 있는 여러 개의 화소를 모아서 화소 블록을 구성할 수 있다. In addition, since a pixel value within one frame has a correlation with its neighboring pixel values, encoding can be performed using this correlation. Therefore, a pixel block can be formed by collecting a plurality of pixels in a certain range within a frame to be encoded.
보다 상세하게는 블록분할부(200)는 수신한 깊이 영상을 부호화 제어부(300)의 의해 결정된 사이즈에 따라 각 복수의 블록으로 분할하여 분할된 블록을 출력할 수 있다.More specifically, the
또한 복수의 블록 각각은 M*N(M, N은 자연수) 화소로 이루어진 영역으로 정의할 수 있다. 예를 들어 M*N은 16*16화로소 이루어진 영역으로 정의할 수 있고 해상도가 증가하면 기본 단위는 32*32나 64*64 화소로 이루어진 영역으로 정의할 수도 있다.Each of the plurality of blocks may be defined as an area consisting of M * N (M, N is a natural number) pixels. For example, M * N can be defined as an area consisting of 16 * 16 pixels. When the resolution is increased, the basic unit can be defined as an area consisting of 32 * 32 pixels or 64 * 64 pixels.
부호화부(400)는 블록분할부(200)로부터 출력된 분할된 블록들 각각을 부호화 제어부(300)에 의해 결정된 부호화 모드에 따라서 부호화할 수 있다. The
또한 여기서의 부호화 모드는 평면 모델링 모드를 포함할 수 있다.Also, The encoding mode may include a plane modeling mode.
또한 부호화 제어부(300)는 분할된 블록들 각각의 화소들의 깊이 값에 기초하여 분할된 블록들 중에서 평면 모델링 모드를 통해 부호화할 블록을 결정할 수 있다. 예를 들어 분할된 블록 내의 화소들 중에서 임의의 화소를 중심으로 상기 임의의 화소에서 멀어지는 주변 화소 영역으로 갈수록 기 설정치 이내의 깊이 값의 차이만이 발생하는 경우 해당 블록 내에는 평면 영역이 포함된 것으로 예측할 수 있고, 이렇게 평면 영역이 포함된 것으로 예측된 블록들을 구분하여 구분된 블록들의 정보를 저장할 수 있다.Also, the
<평면 <Plane 모델링modelling 모드mode >>
도 3은 평면이 세계 좌표계 상에 표시되었을 때 영상 평면 상에 투영되는 평면의 한 점에 대한 개념도이고, 도 4는 X, Z 축에 따른 2차원 상의 세계 좌표계의 임의의 한 점과 2차원 영상 평면의 한 점을 나타낸 직각 좌표계이다.Fig. 3 is a conceptual view of one point of a plane projected on the image plane when the plane is displayed on the world coordinate system, Fig. 4 is a conceptual view of a point on the world coordinate system on the two- It is a Cartesian coordinate system that represents a point on the plane.
도 3 및 도 4를 참조하면, 분할된 블록들 중 하나인 대상 블록 내 화소의 위치 (x, y)에 투영되는 3차원 공간 상의 좌표를 포함하는 평면을 도입하고 해당 평면을 가지는 평면의 방정식은 수학식 1을 충족한다. 또한 3차원 공간 상의 좌표는 삼각형의 닮음비에 따라 P=(tx, ty, tf)로 표현될 수 있다.3 and 4, a plane including coordinates on a three-dimensional space projected at a position (x, y) of a pixel in a target block, which is one of the divided blocks, is introduced and a plane equation having the plane Equation (1) is satisfied. Also, the coordinates on the three-dimensional space can be expressed as P = (tx, ty, tf) according to the similarity ratio of the triangle.
[수학식 1][Equation 1]
이 경우 tf는 투영된 점의 Z축의 좌표이므로 곧 해당 화소에서의 깊이 값이된다.In this case, tf is the coordinate of the Z-axis of the projected point, so it is the depth value in the corresponding pixel.
또한 수학식 1을 표현하는 매개변수(미결정매개변수)들을 정리하여 행렬식으로 나타내면 행렬식은 수학식 2를 충족한다.Also, when the parameters (undetermined parameters) expressing the equation (1) are summarized and expressed as a matrix, the determinant satisfies the equation (2).
[수학식 2]&Quot; (2) "
또한 수학식 2에 블록내의 모든 화소의 좌표 값 및 깊이 값을 대입한 다음, 맨 좌측 행렬을 유사 역행렬을 이용하면 최소자승법을 적용할 수 있고, 이를 통해 블록 내의 모든 화소들의 위치 좌표와 깊이 값의 분포를 하나의 평면으로 추정하여 표현할 수 있으며 표현된 평면을 이루는 매개변수(결정매개변수)를 구할 수 있고 구한 결정매개변수를 이용하여 대상 블록 내의 화소들의 깊이 값(d)을 예측할 수 있다.In addition, the coordinate value and the depth value of all the pixels in the block are substituted into the equation (2), and the least squares method can be applied using the pseudo inverse matrix of the leftmost matrix. The distribution can be expressed by estimating one plane, (Decision parameter) can be obtained and the depth value d of the pixels in the target block can be predicted using the determined decision parameters.
상세하게 대상 블록을 부호화하는 방법을 설명하면, 부호화부(400)는 부호화 제어부(300)에서 결정된 평면 영역이 포함된 블록에 대한 정보를 수신하고 수신된 정보에 기초하여 블록을 부호화할 수 있다. 이 경우 부호화 대상의 블록을 대상 블록으로 정의한다. 그리고 부호화부(400)의 참조블록 평면모델링부(401)는 대상 블록과 인접한 참조 블록의 화소를 메모리(500)로부터 읽어드린 수학식 2의 행렬식에 대입하고 최소자승법을 적용하여 평면 방정식의 식의 매개변수 를 구할 수 있다. 여기서의 참조 블록은 부호화가 끝난 화소가 될 수 있으나 이에 한정하는 것은 아니다. 또한 여기서의 참조 블록은 대상 블록의 위쪽과 좌측과 맞닿은 화소로 구성될 수 있으나 반드시 이에 한정하는 것은 아니다.The
또한 대상블록 평면모델링부(402)는 참조블록 평면모델링부(401)에서 결정한 참조블록의 매개변수 (결정매개변수)를 메모리(500)로부터 읽어드린 수학식 1의 평면의 방정식에 대입하여 평면의 방정식을 재구성하고, 부호화 대상 화소의 (x, y) 좌표 값과 깊이 영상의 초점 길이(f)를 재구성된 평면의 방정식에 대입하여 t를 결정할 수 있고, 결정된 tf 값으로부터 대상 블록내의 해당 화소의 예측된 깊이 값을 구할 수 있다. 따라서 대상 블록 내의 각 화소의 깊이 값(tf)을 예측할 수 있다.In addition, the target block
보다 상세하게는 참조블록 평면모델링부(401)는 참조 블록 내의 객체를 미결정매개변수로 표현된 수학식 1과 같은 제1 평면의 방정식으로 모델링하고, 미결정매개변수와 참조 블록 내의 제1 화소들의 위치 좌표 그리고 제1 화소들의 깊이 값으로 표현된 수학식 2에 최소자승법을 적용한 연산을 수행하여 미결정매개변수의 값을 결정함으로써 결정매개변수를 생성할 수 있다. 그리고 대상블록 평면모델링부(402)는 결정매개변수로 이루어진 수학식 1과 같은 형태의 제2 평면의 방정식을 모델링하고 제2 평면의 방정식에 대상 블록 내의 제2 화소들의 깊이 값 그리고 초점거리를 대입 연산함으로써 제2 화소들의 예측깊이값을 생성할 수 있다. More specifically, the reference block
또한 대상블록 부호화부(403)는 대상블록 평면모델링부(402)로부터 수신한 대상 블록 내의 각 화소의 예측된 깊이 값과 대상 블록의 측정된 깊이 값의 오차를 부호화하여 대상 블록을 부호화할 수 있다.The target
또한 전술한 과정을 모든 대상 블록들 각각에 대해서 적용하여 대상 블록들을 차례로 부호화하여 전체 영상을 부호화할 수 있다.In addition, the above process may be applied to all of the target blocks to sequentially encode the target blocks to encode the entire image.
<평면 모델링을 통한 깊이 영상의 부호화 방법><Coding method of depth image through plane modeling>
도 5 및 도 6은 평면 모델링을 통한 깊이 영상의 부호화 방법에 대한 흐름도이다.5 and 6 are flowcharts illustrating a method of coding a depth image through plane modeling.
도 5를 참조하면, 본 발명의 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법은 깊이검출부(100)를 이용하여 3차원 공간을 촬영하여 깊이 영상을 생성하는 단계(S100), 블록분할부(200)가 부호화제어부(300)에 의해 결정된 사이즈로 깊이 영상을 기 설정된 사이즈로 블록화하여 분할된 블록을 생성하는 단계(S200), 부호화부(400)가 상기 분할된 블록 중 대상 블록과 인접한 참조 블록의 화소의 위치 좌표와 깊이 값에 따른 상기 참조 블록 내의 평면의 정보를 참조하여 상기 대상 블록의 각 화소의 깊이 값을 예측하여 예측 깊이 값을 생성하는 단계(S400) 및 부호화부(400)가 상기 대상 블록의 각 화소의 깊이 값과 상기 예측 깊이 값에 기초하여 상기 대상 블록을 부호화하는 단계(S500)를 포함할 수 있다. 또한 여기서의 참조 블록은 이미 부호화가 끝난 화소를 포함할 수 있고, 참조 블록의 화소는 대상 블록과 맞닿은 화소가 될 수 있으며 참조 블록의 화소들 각각은 깊이 값에 대한 정보를 가질 수 있다.Referring to FIG. 5, a method of coding a depth image through plane modeling according to an embodiment of the present invention includes a step of generating a depth image by photographing a three-dimensional space using the depth detector 100 (S100) (S200), the encoding unit (200) blocks the depth image at a size determined by the encoding control unit (300) and generates a divided block (S200). When the encoding unit (400) (S400) of generating a prediction depth value by predicting a depth value of each pixel of the target block with reference to information of a plane in the reference block according to a position coordinate and a depth value of the pixel of the block, And encoding the target block based on the depth value of each pixel of the target block and the predicted depth value (S500). Also, the reference block herein may include already coded pixels, and the pixels of the reference block may be pixels that are in contact with the target block, and each of the pixels of the reference block may have information on the depth value.
또한 본 발명의 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법은 상기 분할된 블록들 각각의 화소들의 깊이 값에 기초하여 상기 분할된 블록들 중에서 평면을 포함하는 상기 대상 블록을 선택하는 단계(S300)를 더 포함할 수 있다. According to another aspect of the present invention, there is provided a method of coding a depth image through plane modeling, the method comprising: selecting the target block including a plane among the divided blocks based on depth values of pixels of the divided blocks S300).
또한 상기 예측 깊이 값을 생성하는 단계(S400)는, 카메라 좌표계 상의 임의의 위치 좌표를 포함하는 평면의 방정식을 결정하는 단계(S410), 상기 참조 블록의 화소의 위치 좌표 및 깊이 값을 이용하여 상기 평면의 방정식을 이루는 매개변수를 결정하는 단계(S420) 및 결정된 매개변수를 이용하여 표현된 평면의 방정식에 상기 대상 블록의 각 화소의 위치 좌표 및 초점 길이를 이용하여 상기 예측 깊이 값을 생성하는 단계(S430)를 포함 할 수 있다.In addition, the step of generating the predicted depth value (S400) may include: determining an equation of a plane including an arbitrary position coordinate on the camera coordinate system (S410); calculating a predicted depth value using the position coordinates and the depth value of the pixel of the reference block A step S420 of determining a parameter forming an equation of a plane and a step of generating the predicted depth value using the coordinates and the focal length of each pixel of the target block in an equation of a plane expressed by using the determined parameter (S430).
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specifically designed and configured for the present invention or may be those known and used by those skilled in the computer software arts. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROM and DVD, magneto-optical media such as floptical disks, medium, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code, such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be modified into one or more software modules for performing the processing according to the present invention, and vice versa.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific acts described in the present invention are, by way of example, not intended to limit the scope of the invention in any way. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of such systems may be omitted. Also, the connections or connecting members of the lines between the components shown in the figures are illustrative of functional connections and / or physical or circuit connections, which may be replaced or additionally provided by a variety of functional connections, physical Connection, or circuit connections. Also, unless explicitly mentioned, such as " essential ", " importantly ", etc., it may not be a necessary component for application of the present invention.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.
10: 부호화장치
100: 깊이검출부
200: 블록분할부
300: 부호화 제어부
400: 부호화부
401: 참조블록 평면모델링부
402: 대상블록 평면모델링부
403: 대상블록 부호화부
500: 메모리부10: Encoding device
100: depth detector
200: block dividers
300:
400:
401: reference block plane modeling unit
402: Target block plane modeling unit
403: Object block coding unit
500: memory unit
Claims (11)
상기 깊이 영상을 기 설정된 사이즈로 블록화하여 분할된 블록을 생성하는 단계;
상기 분할된 블록 중 대상 블록과 인접한 참조 블록의 화소의 위치 좌표와 깊이 값에 따른 상기 참조 블록 내의 평면의 정보를 참조하여 상기 대상 블록의 각 화소의 깊이 값을 예측하여 예측 깊이 값을 생성하는 단계; 및
상기 대상 블록의 각 화소의 깊이 값과 상기 예측 깊이 값에 기초하여 상기 대상 블록을 부호화하는 단계;를 포함하고,
상기 예측 깊이 값을 생성하는 단계는,
카메라 좌표계 상의 임의의 위치 좌표를 포함하는 평면의 방정식을 결정하는 단계;
상기 참조 블록의 화소의 위치 좌표 및 깊이 값을 이용하여 상기 평면의 방정식을 이루는 매개변수를 결정하는 단계; 및
결정된 매개변수를 이용하여 표현된 평면의 방정식에 상기 대상 블록의 각 화소의 위치 좌표 및 초점 길이를 이용하여 상기 예측 깊이 값을 생성하는 단계;를 포함하는 것을 특징으로 하는
평면 모델링을 통한 깊이 영상의 부호화 방법. Capturing a three-dimensional space to generate a depth image;
Generating a divided block by blocking the depth image with a predetermined size;
Generating a prediction depth value by predicting a depth value of each pixel of the target block with reference to information of a plane in the reference block according to a position coordinate and a depth value of a pixel of the reference block adjacent to the target block among the divided blocks; ; And
And encoding the target block based on a depth value of each pixel of the target block and the predicted depth value,
Wherein generating the predicted depth value comprises:
Determining an equation of a plane including any positional coordinates on the camera coordinate system;
Determining parameters constituting the equation of the plane using the position coordinates and depth values of the pixels of the reference block; And
And generating the predicted depth value using the position coordinates and the focal length of each pixel of the target block in a plane equation expressed using the determined parameters
A method of coding a depth image by plane modeling.
상기 분할된 블록들 각각의 화소들의 깊이 값에 기초하여 상기 분할된 블록들 중에서 평면을 포함하는 상기 대상 블록을 선택하는 단계;를 더 포함하는
평면 모델링을 통한 깊이 영상의 부호화 방법.The method according to claim 1,
And selecting the target block including a plane from among the divided blocks based on depth values of pixels of each of the divided blocks
A method of coding a depth image by plane modeling.
상기 참조 블록은 이미 부호화가 끝난 화소를 포함하는 것을 특징으로 하는
평면 모델링을 통한 깊이 영상의 부호화 방법.The method according to claim 1,
Characterized in that the reference block includes already coded pixels
A method of coding a depth image by plane modeling.
상기 참조 블록의 화소는 상기 대상 블록과 맞닿은 화소인 것을 특징으로 하는
평면 모델링을 통한 깊이 영상의 부호화 방법.The method according to claim 1,
And the pixel of the reference block is a pixel that is in contact with the target block
A method of coding a depth image by plane modeling.
상기 참조 블록의 화소의 위치 좌표는 깊이 값을 포함하는 것을 특징으로 하는
평면 모델링을 통한 깊이 영상의 부호화 방법.The method according to claim 1,
Wherein a position coordinate of a pixel of the reference block includes a depth value.
A method of coding a depth image by plane modeling.
상기 참조 블록의 화소의 위치 좌표 및 깊이 값을 이용하여 상기 평면의 방정식을 이루는 매개변수를 결정하는 단계는,
아래의 수학식 2에 상기 참조 블록 내의 화소들의 위치 좌표 및 깊이 값을 대입하고 최소자승법을 적용하여 상기 매개변수를 결정하는 단계;를 포함하는 것을 특징으로 하는
평면 모델링을 통한 깊이 영상의 부호화 방법.
[수학식 1]
[수학식 2]
수학식 1 및 2에서의 x, y는 참조 블록 내의 화소들의 위치 좌표 값이고, f는 초점 길이이고, tx, ty, tf는 3차원 공간 상의 좌표이다.
또한 수학식 2는 수학식 1을 충족하는 구의 방정식의 매개변수를 이용하여 표현된 것이다.The method according to claim 1,
Wherein the step of determining parameters constituting the equation of the plane using the position coordinates and depth values of the pixels of the reference block comprises:
And determining the parameter by substituting the position coordinates and the depth value of the pixels in the reference block and applying a least squares method to Equation (2) below
A method of coding a depth image by plane modeling.
[Equation 1]
&Quot; (2) "
In Equations (1) and (2), x, y are position coordinate values of pixels in a reference block, f is a focal length, and tx, ty, and tf are coordinates on a three-dimensional space.
Equation (2) is expressed by using a parameter of an equation of a sphere satisfying Equation (1).
상기 결정된 매개변수를 이용하여 표현된 평면의 방정식에 상기 대상 블록의 각 화소의 위치 좌표 및 초점 길이를 이용하여 상기 예측 깊이 값을 생성하는 단계는,
상기 결정된 매개변수를 이용하여 표현된 아래의 수학식 3을 충족하는 평면의 방정식에 상기 대상 블록의 화소들의 위치 좌표 및 초점 길이를 대입하여 수학식 1의 t 값을 결정하는 단계; 및
상기 t 및 초점 길이에 기초하여 상기 예측 깊이 값을 생성하는 단계;를 포함하는 것을 특징으로 하는
평면 모델링을 통한 깊이 영상의 부호화 방법.
[수학식 3]
8. The method of claim 7,
Wherein the step of generating the predicted depth value using a position coordinate and a focal length of each pixel of the target block in an equation of a plane expressed by using the determined parameter,
Determining a t value of Equation (1) by substituting the position coordinates and the focal length of the pixels of the target block into an equation of a plane satisfying Equation (3) expressed using the determined parameters; And
And generating the predicted depth value based on the t and the focal length.
A method of coding a depth image by plane modeling.
&Quot; (3) "
상기 깊이 영상을 복수개의 블록으로 분할하는 블록분할부;
상기 분할된 블록 중 참조 블록 내의 객체를 미결정매개변수로 표현된 제1 평면의 방정식으로 모델링하고, 상기 미결정매개변수와 상기 참조 블록 내의 제1 화소들 위치좌표 및 상기 제1 화소들의 측정된 깊이 값에 기초하여 상기 미결정매개변수의 값을 결정하여 결정매개변수를 생성하고, 상기 결정매개변수로부터 상기 분할된 블록 중 대상 블록 내의 제2 화소들의 깊이 값을 예측한 예측깊이값을 생성하며,
상기 예측깊이값에 기초하여 상기 대상 블록을 부호화하는 부호화부;를 포함하는
부호화장치. A depth measurement unit for generating a depth image in which a depth coordinate value of a coordinate value of an object on a three-dimensional space is projected to a measured depth value of a pixel;
A block dividing unit dividing the depth image into a plurality of blocks;
Modeling an object in a reference block among the divided blocks into an equation of a first plane represented by a preexisting parameter and calculating a position coordinate of the first pixels in the reference block and a measured depth value of the first pixels Generates a predictive depth value by predicting the depth value of the second pixels in the target block of the divided block from the determination parameter,
And an encoding unit encoding the target block based on the predicted depth value
Encoding apparatus.
상기 분할된 블록들 각각의 화소들의 깊이 값에 기초하여 상기 분할된 블록들 중에서 평면을 포함하는 상기 대상 블록을 선택하는 부호화 제어부;를 더 포함하는
부호화장치.10. The method of claim 9,
And a coding control unit for selecting the target block including a plane from among the divided blocks based on depth values of pixels of each of the divided blocks
Encoding apparatus.
상기 깊이 영상을 복수개의 블록으로 분할하는 단계;
상기 분할된 블록 중 참조 블록 내의 객체를 미결정매개변수로 표현된 제1 평면의 방정식으로 모델링하는 단계;
상기 미결정매개변수와 상기 참조 블록 내의 제1 화소들 위치좌표 및 상기 제1 화소들의 측정된 깊이 값에 기초하여 상기 미결정매개변수의 값을 결정하여 결정매개변수를 생성하는 단계;
상기 결정매개변수로부터 상기 분할된 블록 중 대상 블록 내의 제2 화소들의 깊이 값을 예측한 예측깊이값을 생성하는 단계; 및
상기 예측깊이값에 기초하여 상기 대상 블록을 부호화하는 단계;를 포함하는
평면 모델링을 통한 깊이 영상의 부호화방법.Generating a depth image in which a depth coordinate value of a coordinate value of an object on a three-dimensional space is projected to a measured depth value of the pixel;
Dividing the depth image into a plurality of blocks;
Modeling an object in a reference block of the divided blocks into an equation of a first plane represented by an undetermined parameter;
Determining a value of the undetermined parameter based on the undetermined parameter, the location coordinates of the first pixels in the reference block, and the measured depth value of the first pixels to generate a decision parameter;
Generating a prediction depth value by predicting a depth value of second pixels in a target block among the divided blocks from the determination parameter; And
And encoding the target block based on the predicted depth value
A method of coding a depth image by plane modeling.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160184332A KR101817140B1 (en) | 2016-12-30 | 2016-12-30 | Coding Method and Device for Depth Video Plane Modeling |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160184332A KR101817140B1 (en) | 2016-12-30 | 2016-12-30 | Coding Method and Device for Depth Video Plane Modeling |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101817140B1 true KR101817140B1 (en) | 2018-01-10 |
Family
ID=60998659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160184332A KR101817140B1 (en) | 2016-12-30 | 2016-12-30 | Coding Method and Device for Depth Video Plane Modeling |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101817140B1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102074929B1 (en) * | 2018-10-05 | 2020-02-07 | 동의대학교 산학협력단 | METHOD AND DEVICE FOR DETECTING PLANE AREA USING DEPTH IMAGE, and Non-Transitory COMPUTER READABLE RECORDING MEDIUM |
KR102224321B1 (en) | 2019-09-03 | 2021-03-05 | 동의대학교 산학협력단 | Coding Method and Device for Depth Video Plane Modeling |
KR20210059406A (en) | 2019-11-15 | 2021-05-25 | 동의대학교 산학협력단 | VIDEO PROCESSING Device and Method For Depth Video by Spherical Modeling, and Non-Transitory COMPUTER READABLE RECORDING MEDIUM |
KR20210108265A (en) | 2020-02-25 | 2021-09-02 | 동의대학교 산학협력단 | Method, Device And Non-Transitory Computer Readable Recording Medium For Depth Picture Encoding Using Plane Modeling Coefficient Prediction |
WO2021256642A1 (en) * | 2019-12-10 | 2021-12-23 | 한국전자기술연구원 | Method and system for estimating depth image by using planar information |
CN116485634A (en) * | 2023-04-10 | 2023-07-25 | 北京城市网邻信息技术有限公司 | Point cloud display diagram generation method and device, electronic equipment and storage medium |
-
2016
- 2016-12-30 KR KR1020160184332A patent/KR101817140B1/en active IP Right Grant
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102074929B1 (en) * | 2018-10-05 | 2020-02-07 | 동의대학교 산학협력단 | METHOD AND DEVICE FOR DETECTING PLANE AREA USING DEPTH IMAGE, and Non-Transitory COMPUTER READABLE RECORDING MEDIUM |
KR102224321B1 (en) | 2019-09-03 | 2021-03-05 | 동의대학교 산학협력단 | Coding Method and Device for Depth Video Plane Modeling |
KR20210059406A (en) | 2019-11-15 | 2021-05-25 | 동의대학교 산학협력단 | VIDEO PROCESSING Device and Method For Depth Video by Spherical Modeling, and Non-Transitory COMPUTER READABLE RECORDING MEDIUM |
WO2021256642A1 (en) * | 2019-12-10 | 2021-12-23 | 한국전자기술연구원 | Method and system for estimating depth image by using planar information |
KR20210108265A (en) | 2020-02-25 | 2021-09-02 | 동의대학교 산학협력단 | Method, Device And Non-Transitory Computer Readable Recording Medium For Depth Picture Encoding Using Plane Modeling Coefficient Prediction |
KR102329383B1 (en) * | 2020-02-25 | 2021-11-19 | 동의대학교 산학협력단 | Method, Device And Non-Transitory Computer Readable Recording Medium For Depth Picture Encoding Using Plane Modeling Coefficient Prediction |
CN116485634A (en) * | 2023-04-10 | 2023-07-25 | 北京城市网邻信息技术有限公司 | Point cloud display diagram generation method and device, electronic equipment and storage medium |
CN116485634B (en) * | 2023-04-10 | 2024-04-02 | 北京城市网邻信息技术有限公司 | Point cloud display diagram generation method and device, electronic equipment and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101817140B1 (en) | Coding Method and Device for Depth Video Plane Modeling | |
KR102402494B1 (en) | Motion compensation of geometric information | |
KR102431117B1 (en) | point cloud mapping | |
US11902577B2 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
JP7277372B2 (en) | 3D model encoding device, 3D model decoding device, 3D model encoding method, and 3D model decoding method | |
US8433157B2 (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
JP6669063B2 (en) | Image processing apparatus and method | |
US11212507B2 (en) | Method and apparatus for processing three-dimensional images | |
WO2019031259A1 (en) | Image processing device and method | |
CN107452034B (en) | Image processing method and device | |
US20220385721A1 (en) | 3d mesh generation on a server | |
KR102080694B1 (en) | Method and Device of Motion Estimation for Depth Video Coding by curved surface Modeling, and NON-TRANSITORY COMPUTER READABLE RECORDING MEDIUM | |
KR101853215B1 (en) | Coding Device and Method and Depth Information Compensation by Plane Modeling | |
CN112119432A (en) | Method and apparatus for processing 3D scene | |
KR102074929B1 (en) | METHOD AND DEVICE FOR DETECTING PLANE AREA USING DEPTH IMAGE, and Non-Transitory COMPUTER READABLE RECORDING MEDIUM | |
KR102098322B1 (en) | Method and Device of Motion Estimation for Depth Video Coding by Plane Modeling, and NON-TRANSITORY COMPUTER READABLE RECORDING MEDIUM | |
KR101866106B1 (en) | Method and Device of Inter-frame Plane Prediction for Depth Video | |
KR101904170B1 (en) | Coding Device and Method for Depth Information Compensation by Sphere Surface Modeling | |
JP6595878B2 (en) | Element image group generation apparatus and program thereof | |
KR101865821B1 (en) | Noise Removing Method and Device for Depth Image, Coding Method and Device through Noise Remove | |
KR101817137B1 (en) | Coding Method and Coding Device for Depth Video through Depth Average in Block | |
JP2006527945A (en) | Representation method of picture sequence using 3D model, corresponding signal, and corresponding apparatus | |
KR101907057B1 (en) | Device and Method for Depth Information Compensation by Sphere Surface Modeling | |
KR101866107B1 (en) | Coding Device, Device and Method and Depth Information Compensation by Plane Modeling | |
KR101904128B1 (en) | Coding Method and Device Depth Video by Spherical Surface Modeling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |