KR101817140B1 - Coding Method and Device for Depth Video Plane Modeling - Google Patents

Coding Method and Device for Depth Video Plane Modeling Download PDF

Info

Publication number
KR101817140B1
KR101817140B1 KR1020160184332A KR20160184332A KR101817140B1 KR 101817140 B1 KR101817140 B1 KR 101817140B1 KR 1020160184332 A KR1020160184332 A KR 1020160184332A KR 20160184332 A KR20160184332 A KR 20160184332A KR 101817140 B1 KR101817140 B1 KR 101817140B1
Authority
KR
South Korea
Prior art keywords
depth
plane
equation
depth value
pixels
Prior art date
Application number
KR1020160184332A
Other languages
Korean (ko)
Inventor
권순각
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020160184332A priority Critical patent/KR101817140B1/en
Application granted granted Critical
Publication of KR101817140B1 publication Critical patent/KR101817140B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

A method for coding a depth video through plane modeling according to an embodiment of the present invention includes a step of generating a depth video by photographing a three-dimensional space; a step of generating divided blocks by putting the depth video into blocks with a predetermined size; a step of generating a predicted depth value by predicting the depth value of each pixel of a target block with reference to the information of a plane in a reference block according to the position coordinate and the depth value of the pixel of the reference block adjacent to the target block among the divided blocks; and a step of encoding the target block based on the depth value of each pixel of the target block and the predicted depth value. It is possible to increase a compression rate while maintaining the quality of the depth video.

Description

평면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치{Coding Method and Device for Depth Video Plane Modeling}Technical Field [0001] The present invention relates to a method and apparatus for encoding a depth image using a plane modeling method,

본 발명은 평면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치에 관한 것이다.The present invention relates to a method and apparatus for coding a depth image through plane modeling.

디지털 시대가 도래된 이래로 다양한 멀티미디어 기술들이 급속히 발전하고 있으며 이를 바탕으로 디지털 콘텐츠 시장도 해마다 그 규모가 급속도로 성장하고 있다. 또한 인터넷과 같은 다양한 통신 수단과 전송 기술의 발달은 다양한 멀티미디어 콘텐츠 산업의 활성화를 이끌고 있다. 이러한 흐름 속에서 최근에는 사용자들의 요구가 단순 소비 형태의 콘텐츠 이용에서 대화형 콘텐츠, 실감 콘텐츠의 이용을 요구하는 수준으로 변화하고 있다. 디지털 영상 분야의 경우 과거의 흑백 아날로그 TV에서부터 최근의 UHD 디지털 TV까지 관련 기술이 끊임없이 발전하고 있으며 최근에는 3차원 영상에 대한 관심이 높아지면서 3차원 입체 영상 제작을 위해 다양한 깊이 카메라가 개발되었고, 이와 더불어 고품질의 3차원 입체 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다.Since the advent of the digital age, various multimedia technologies have been rapidly developing, and the digital content market is growing rapidly every year. In addition, the development of various communication means and transmission technology such as the Internet is leading the activation of various multimedia content industries. In recent years, the demand of users has changed from using simple consumption type to using interactive contents and realistic contents. In the field of digital imaging, related technologies from past black-and-white analog TV to recent UHD digital TV are constantly evolving. Recently, interest in 3D images has increased and various depth cameras have been developed for 3D stereoscopic image production. In addition, the demand for high quality 3D stereoscopic images is increasing in various applications.

이와 같이 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다. 따라서, 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우에는, 정보의 전송 비용과 저장 비용이 증가하게 된다. 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고 재생하기 위해 고효율의 깊이 영상 압축 기술이 요구되고 있다.As such, the demand for high resolution, high quality images is increasing in various applications. However, as the image has high resolution and high quality, the amount of information about the image also increases. Therefore, when image information is transmitted using a medium such as a conventional wired / wireless broadband line, or image information is stored using an existing storage medium, information transmission cost and storage cost are increased. There is a demand for a highly efficient depth image compression technique for effectively transmitting, storing and reproducing information of high resolution and high quality images.

또한 일반 영상의 경우 사람이 시청하는 영상이므로 좋은 색상과 좋은 화질이 요구되는 제한 내에서 적절한 압축이 필요하나, 깊이 영상의 경우 객체의 검출이나 모션 인식 등과 같은 정보 처리를 위하여 적절한 압축이 필요하다는 점에서 일반 영상의 압축 기술과는 다른 새로운 압축 기술이 필요하다.In addition, since the image is viewed by a human being in the case of a general image, it is necessary to appropriately compress the image within a constraint requiring good color and good image quality. However, in the case of a depth image, appropriate compression is required for information processing such as object detection or motion recognition A new compression technique that is different from the compression technique of general image is needed.

대한민국특허공개공보 10-2011-0032485Korean Patent Publication No. 10-2011-0032485

본 발명은 깊이 영상의 특성을 고려하여 깊이 영상의 품질을 유지하면서도 압축율을 높일 수 있는 평면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치를 제공할 수 있다.The present invention can provide a depth image encoding method and an encoding device by plane modeling that can improve the compression rate while maintaining the quality of the depth image considering the characteristics of the depth image.

또한 본 발명의 깊이 영상 내의 평면 영역에 대한 정보를 추출하여 깊이 값을 예측할 수 있는 평면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치를 제공할 수 있다.Also, it is possible to provide a method and a device for encoding a depth image through plane modeling, which can extract information on a planar area in a depth image of the present invention and predict a depth value.

본 발명의 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법은 3차원 공간을 촬영하여 깊이 영상을 생성하는 단계; 상기 깊이 영상을 기 설정된 사이즈로 블록화하여 분할된 블록을 생성하는 단계; 상기 분할된 블록 중 대상 블록과 인접한 참조 블록의 화소의 위치 좌표와 깊이 값에 따른 상기 참조 블록 내의 평면의 정보를 참조하여 상기 대상 블록의 각 화소의 깊이 값을 예측하여 예측 깊이 값을 생성하는 단계; 및 상기 대상 블록의 각 화소의 깊이 값과 상기 예측 깊이 값에 기초하여 상기 대상 블록을 부호화하는 단계;를 포함하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수 있다.A method of coding a depth image through plane modeling according to an embodiment of the present invention includes: generating a depth image by capturing a three-dimensional space; Generating a divided block by blocking the depth image with a predetermined size; Generating a prediction depth value by predicting a depth value of each pixel of the target block with reference to information of a plane in the reference block according to a position coordinate and a depth value of a pixel of the reference block adjacent to the target block among the divided blocks; ; And encoding the target block based on the depth value of each pixel of the target block and the predicted depth value.

또한 본 발명의 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법은 상기 분할된 블록들 각각의 화소들의 깊이 값에 기초하여 상기 분할된 블록들 중에서 평면을 포함하는 상기 대상 블록을 선택하는 단계;를 더 포함하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수도 있다.According to another aspect of the present invention, there is provided a method of coding a depth image through plane modeling, the method comprising: selecting a target block including a plane from among the divided blocks based on depth values of pixels of the divided blocks; The depth image may be encoded using the plane modeling.

또한 본 발명의 또 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법의 상기 예측 깊이 값을 생성하는 단계는, 카메라 좌표계 상의 임의의 위치 좌표를 포함하는 평면의 방정식을 결정하는 단계; 상기 참조 블록의 화소의 위치 좌표 및 깊이 값을 이용하여 상기 평면의 방정식을 이루는 매개변수를 결정하는 단계; 및 결정된 매개변수를 이용하여 표현된 평면의 방정식에 상기 대상 블록의 각 화소의 위치 좌표 및 초점 길이를 이용하여 상기 예측 깊이 값을 생성하는 단계;를 포함하는 것을 특징으로 하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수도 있다.According to another aspect of the present invention, the step of generating the predicted depth value of the depth image encoding method using plane modeling includes: determining an equation of a plane including arbitrary position coordinates on a camera coordinate system; Determining parameters constituting the equation of the plane using the position coordinates and depth values of the pixels of the reference block; And generating the predicted depth value using the position coordinates and the focal length of each pixel of the target block in a plane equation expressed using the determined parameters. May be provided.

또한 본 발명의 또 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법의 상기 참조 블록은 이미 부호화가 끝난 화소를 포함하는 것을 특징으로 하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수도 있다.Also, the reference block of the depth image coding method using plane modeling according to another embodiment of the present invention may provide a method of encoding a depth image through plane modeling, wherein the reference block includes already encoded pixels .

또한 본 발명의 또 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법의 상기 참조 블록의 화소는 상기 대상 블록과 맞닿은 화소인 것을 특징으로 하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수도 있다.According to still another aspect of the present invention, there is provided a method of coding a depth image through plane modeling, wherein a pixel of the reference block is a pixel in contact with the target block, have.

또한 본 발명의 또 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법의 상기 참조 블록의 화소의 위치 좌표는 깊이 값을 포함하는 것을 특징으로 하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수도 있다.In another aspect of the present invention, there is provided a method of coding a depth image through plane modeling, the method comprising the steps of: It is possible.

또한 본 발명의 또 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법의 상기 참조 블록의 화소의 위치 좌표 및 깊이 값을 이용하여 상기 평면의 방정식을 이루는 매개변수를 결정하는 단계는, 아래의 수학식 2에 상기 참조 블록 내의 화소들의 위치 좌표 및 깊이 값을 대입하고 최소자승법을 적용하여 상기 매개변수를 결정하는 단계;를 포함하는 것을 특징으로 하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수도 있다.According to another aspect of the present invention, there is provided a method of coding a depth image through plane modeling, the step of determining a parameter constituting the equation of the plane using a position coordinate and a depth value of a pixel of the reference block, And a step of assigning a position coordinate and a depth value of pixels in the reference block and determining the parameter by applying a least squares method to Equation (2). It is possible.

[수학식 1][Equation 1]

Figure 112016129798502-pat00001
Figure 112016129798502-pat00001

[수학식 2]&Quot; (2) "

Figure 112016129798502-pat00002
Figure 112016129798502-pat00002

수학식 1 및 2에서의 x, y는 참조 블록 내의 화소들의 위치 좌표 값이고, f는 초점 길이이고, tx, ty, tf는 3차원 공간 상의 좌표이다.In Equations (1) and (2), x, y are position coordinate values of pixels in a reference block, f is a focal length, and tx, ty, and tf are coordinates on a three-dimensional space.

또한 수학식 2는 수학식 1을 충족하는 구의 방정식의 매개변수를 이용하여 표현된 것이다.Equation (2) is expressed by using a parameter of an equation of a sphere satisfying Equation (1).

또한 본 발명의 또 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법의 상기 결정된 매개변수를 이용하여 표현된 평면의 방정식에 상기 대상 블록의 각 화소의 위치 좌표 및 초점 길이를 이용하여 상기 예측 깊이 값을 생성하는 단계는, 상기 결정된 매개변수를 이용하여 표현된 아래의 수학식 3을 충족하는 평면의 방정식에 상기 대상 블록의 화소들의 위치 좌표 및 초점 길이를 대입하여 수학식 1의 t 값을 결정하는 단계; 및 상기 t 및 초점 길이에 기초하여 상기 예측 깊이 값을 생성하는 단계;를 포함하는 것을 특징으로 하는 평면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수도 있다.Further, according to another embodiment of the present invention, the position coordinates and the focal length of each pixel of the target block are used for the prediction of the plane represented by the determined parameters of the depth image coding method using the plane modeling, The step of generating the depth value may be performed by substituting the position coordinates and the focal length of the pixels of the target block into an equation of a plane satisfying the following equation (3) expressed by using the determined parameters, Determining; And generating the predicted depth value based on the t and the focal length. The present invention also provides a method of encoding a depth image through plane modeling.

[수학식 3] &Quot; (3) "

Figure 112016129798502-pat00003
Figure 112016129798502-pat00003

또한 본 발명의 또 다른 실시예에 따른 부호화장치는 3차원 공간을 촬영하여 깊이 영상을 생성하는 깊이측정부; 상기 깊이 영상을 기 설정된 사이즈로 블록화하여 분할된 블록을 생성하는 블록분할부; 및 상기 분할된 블록 중 대상 블록과 인접한 참조 블록의 화소의 위치 좌표와 깊이 값에 따른 상기 참조 블록 내의 평면의 정보를 참조하여 상기 대상 블록의 각 화소의 깊이 값을 예측하여 예측 깊이 값을 생성하고, 상기 대상 블록의 각 화소의 깊이 값과 상기 예측 깊이 값에 기초하여 상기 대상 블록을 부호화하는 부호화부;를 포함하는 부호화장치를 제공할 수도 있다.According to another aspect of the present invention, there is provided an encoding apparatus including: a depth measurement unit that captures a three-dimensional space to generate a depth image; A block dividing unit for dividing the depth image into a predetermined size to generate divided blocks; And generating a prediction depth value by predicting a depth value of each pixel of the target block with reference to information of a plane in the reference block according to a position coordinate and a depth value of a pixel of the reference block adjacent to the target block among the divided blocks And an encoding unit encoding the target block based on a depth value of each pixel of the target block and the predicted depth value.

또한 본 발명의 또 다른 실시예에 따른 부호화장치는 상기 분할된 블록들 각각의 화소들의 깊이 값에 기초하여 상기 분할된 블록들 중에서 평면을 포함하는 상기 대상 블록을 선택하는 부호화 제어부;를 더 포함하는 부호화장치를 제공할 수도 있다.According to still another aspect of the present invention, there is provided an encoding apparatus for encoding an image, the apparatus comprising: an encoding controller for selecting a target block including a plane among the divided blocks based on depth values of pixels of the divided blocks; An encoding apparatus may be provided.

또한 본 발명의 또 다른 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화방법은, 3차원 공간 상의 객체의 좌표 값 중 깊이 좌표 값이 화소의 측정된 깊이 값으로 투영되는 깊이 영상을 생성하는 단계; 상기 깊이 영상을 복수개의 블록으로 분할하는 단계; 상기 분할된 블록 중 참조 블록 내의 객체를 미결정매개변수로 표현된 제1 평면의 방정식으로 모델링하는 단계; 상기 미결정매개변수와 상기 참조 블록 내의 제1 화소들 위치좌표 및 상기 제1 화소들의 측정된 깊이 값에 기초하여 상기 미결정매개변수의 값을 결정하여 결정매개변수를 생성하는 단계; 상기 결정매개변수로부터 상기 분할된 블록 중 대상 블록 내의 제2 화소들의 깊이 값을 예측한 예측깊이값을 생성하는 단계; 및 상기 예측깊이값에 기초하여 상기 대상 블록을 부호화하는 단계;를 포함하는 부호화방법을 제공할 수도 있다.According to another aspect of the present invention, there is provided a method of coding a depth image through plane modeling, the method comprising: generating a depth image in which a depth coordinate value of a coordinate value of an object in a three-dimensional space is projected to a measured depth value of the pixel; Dividing the depth image into a plurality of blocks; Modeling an object in a reference block of the divided blocks into an equation of a first plane represented by an undetermined parameter; Determining a value of the undetermined parameter based on the undetermined parameter, the location coordinates of the first pixels in the reference block, and the measured depth value of the first pixels to generate a decision parameter; Generating a prediction depth value by predicting a depth value of second pixels in a target block among the divided blocks from the determination parameter; And encoding the target block based on the predicted depth value.

또한 상기 예측깊이값에 기초하여 상기 대상 블록을 부호화하는 단계는, 상기 예측깊이값과 상기 제2 화소들의 측정된 깊이 값의 차이를 부호화하여 상기 대상 블록을 부호화할 수 있다.The encoding of the target block based on the predicted depth value may encode the target block by encoding the difference between the predicted depth value and the measured depth value of the second pixels.

본 발명의 실시예는 원 깊이 영상에 포함된 중요한 정보는 보존하면서 기타 정보를 다소 제거하여 원 깊이 영상의 품질을 잃지 않으면서도 가능한 한 적은 디지털 부호량으로 깊이 영상을 표현할 수 있다.In the embodiment of the present invention, depth information can be represented with a digital code amount as small as possible without losing the quality of the original depth image, while preserving important information included in the original depth image while removing other information.

또한 본 발명의 실시예는 깊이 영상 내의 평면 정보를 블록내의 깊이 값을 이용하여 찾아내어 평면을 포함하는 깊이 영상의 깊이 값을 예측할 수 있고, 예측된 값과 측정된 깊이 값의 오차를 이용한 깊이 영상의 부호화를 수행할 수 있다.In addition, the embodiment of the present invention can estimate the depth value of the depth image including the plane by finding the plane information in the depth image using the depth value in the block, and calculate the depth image using the error between the predicted value and the measured depth value Can be performed.

도 1a는 본 발명의 실시예에 따른 부호화장치와 이를 구성하는 구성들의 블록도이다.
도 1b는 부호화부를 구성하는 구성들의 블록도이다
도 2는 본 발명의 실시예에서 적용되는 깊이의 개념을 설명하기 위한 개념도이다.
도 3은 구가 세계 좌표계 상에 표시되었을 때 영상 평면 상에 투영되는 구의 한 점에 대한 개념도이다.
도 4는 X, Z 축에 따른 2차원 상의 세계 좌표계의 임의의 한 점과 2차원 영상 평면의 한 점을 나타낸 직각 좌표계이다.
도 5 및 도 6은 평면 모델링을 통한 깊이 영상의 부호화 방법에 대한 흐름도이다.
FIG. 1A is a block diagram of an encoding apparatus according to an embodiment of the present invention and constructions thereof.
1B is a block diagram of the constructions constituting the encoding unit
2 is a conceptual diagram for explaining the concept of depth applied in the embodiment of the present invention.
3 is a conceptual diagram of a point of a sphere projected on an image plane when the sphere is displayed on the world coordinate system.
Fig. 4 is a rectangular coordinate system showing an arbitrary point of a two-dimensional world coordinate system along the X and Z axes and a point of a two-dimensional image plane.
5 and 6 are flowcharts illustrating a method of coding a depth image through plane modeling.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. The effects and features of the present invention and methods of achieving them will be apparent with reference to the embodiments described in detail below with reference to the drawings. However, the present invention is not limited to the embodiments described below, but may be implemented in various forms. In the following embodiments, the terms first, second, and the like are used for the purpose of distinguishing one element from another element, not the limitative meaning. Also, the singular expressions include plural expressions unless the context clearly dictates otherwise. Also, the terms include, including, etc. mean that there is a feature, or element, recited in the specification and does not preclude the possibility that one or more other features or components may be added. Also, in the drawings, for convenience of explanation, the components may be exaggerated or reduced in size. For example, the size and thickness of each component shown in the drawings are arbitrarily shown for convenience of explanation, and thus the present invention is not necessarily limited to those shown in the drawings.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or corresponding components throughout the drawings, and a duplicate description thereof will be omitted .

<부호화장치><Encoder>

도 1a는 본 발명의 실시예에 따른 부호화장치와 이를 구성하는 구성들의 블록도이고, 도 1b는 부호화부를 구성하는 구성들의 블록도이다. 그리고 도 2는 본 발명의 실시예에서 적용되는 깊이의 개념을 설명하기 위한 개념도이다.FIG. 1A is a block diagram of an encoding apparatus according to an embodiment of the present invention, and FIG. 1B is a block diagram of the encoding unit. Referring to FIG. 2 is a conceptual diagram for explaining the concept of depth applied in the embodiment of the present invention.

도 1a를 참조하면, 본 발명의 실시예에 따른 부호화장치(10)는 깊이측정부(100), 블록분할부(200), 부호화제어부(300), 부호화부(400) 및 메모리(500)를 포함할 수 있다.1A, an encoding apparatus 10 according to an embodiment of the present invention includes a depth measuring unit 100, a block dividing unit 200, a coding control unit 300, an encoding unit 400, and a memory 500 .

또한 도 1b를 참조하면, 본 발명의 실시예의 일 구성 요소인 부호화부(400)는 참조블록 평면모델링부(401), 대상블록 평면모델링부(402) 및 대상블록 부호화부(403)를 포함할 수 있다.1B, an encoding unit 400, which is a component of an embodiment of the present invention, includes a reference block plane modeling unit 401, a target block plane modeling unit 402, and a target block encoding unit 403 .

다만, 전술한 참조블록 평면모델링부(401) 및 대상블록 평면모델링부(402) 중 적어도 하나는 부호화부(400)가 아닌 부호화제어부(300)에 포함된 구성이 될 수 있으므로 도면의 도시된 바에 한정하는 것은 아니다.However, since at least one of the reference block plane modeling unit 401 and the object block plane modeling unit 402 may be included in the encoding control unit 300, not the encoding unit 400, But is not limited to.

본 발명의 실시예을 구성하는 깊이측정부(100)는 3차원 공간을 촬영할 수 있는 카메라를 구비할 수 있다. The depth measuring unit 100 constituting the embodiment of the present invention may include a camera capable of photographing a three-dimensional space.

또한 깊이측정부(100)가 촬영한 영상의 화소는 RGB의 색상 정보가 아닌 일 예로 mm 단위의 정수로 된 깊이 정보가 될 수 있다.In addition, the pixels of the image taken by the depth measuring unit 100 may be depth information of an integer of mm, for example, not the RGB color information.

또한 깊이측정부(100)는 3차원 공간을 촬영하여 깊이 영상을 생성할 수 있다. 그리고 여기서의 깊이 영상은 일 예로 그레이 레벨(grey level)로 표현될 수 있으나 이에 한정하는 것은 아니다. 또한 깊이 영상에 속한 각각의 화소는 깊이 값을 가질 수 있으며, 깊이 값은 카메라가 촬영한 장면의 해당 화소에 대응되는 지점에서 카메라까지의 거리를 의미할 수 있다.Also, the depth measuring unit 100 can capture a three-dimensional space and generate a depth image. Here, the depth image can be represented by, for example, a gray level, but is not limited thereto. Also, each pixel belonging to the depth image may have a depth value, and the depth value may mean the distance from the point corresponding to the corresponding pixel of the scene shot by the camera to the camera.

<깊이 측정 방식><Depth measurement method>

또한 깊이측정부(100)는 3차원 공간 상에 광을 조사하고 3차원 공간 상의 물체로부터 반사되어 되돌아오는 반사광을 수신할 수 있다. 그리고 광의 출사 후 반사광의 수신 시점까지의 시간 정보를 이용하여 물체의 깊이 정보를 검출할 수 있다. 보다 상세하게는 깊이측정부(100)는 TOF(Time Of Flight) 카메라를 구비하고, TOF의 카메라는 in phase receptor와 out phase receptor로 구성된 이미지센서와 광을 출사하는 발광다이오드로 구성될 수 있다. 또한 발광다이오드로부터 모듈레이션(modulation)되며 출사된 광에 동기하여 이미지센서가 활성화되는데, 발광다이오드가 턴온된 상태에서는 in phase receptor가 활성화되고, 발광다이오드가 턴오프된 상태에서는 out phase receptor가 활성화 될 수 있다. 그리고 in phase receptor와 out phase receptor 들은 시간차를 두고 서로 다른 시점에 활성화되므로 물체와의 거리에 따라서 수신되는(누적되는) 광량에 차이가 발생하게 되고 이러한 광량에 차이를 비교하여 물체와의 거리를 측정할 수 있다.In addition, the depth measuring unit 100 can irradiate light onto the three-dimensional space and receive reflected light reflected from the object in the three-dimensional space. And depth information of the object can be detected using the time information from the output of light to the point of time of receiving the reflected light. More specifically, the depth measuring unit 100 may include a TOF (Time Of Flight) camera. The TOF camera may include an image sensor including an in-phase receptor and an out-phase receptor, and a light emitting diode that emits light. In addition, the image sensor is activated in synchronization with the emitted light by being modulated from the light emitting diode. When the light emitting diode is turned on, the in-phase receptor is activated and when the light emitting diode is turned off, have. Since the in phase receptors and the out phase receptors are activated at different points of time with a time difference, there is a difference in the amount of light received (accumulated) depending on the distance to the object, and the distance to the object is measured can do.

전술한 바에 따른 깊이 측정과는 달리 깊이측정부(100)는 카메라와 구조광을 출력하는 프로젝터로 구성되어 깊이를 얻고자 하는 객체를 향해 좁은 밴드의 빛을 비추고 다른 시점에서 볼 때에는 왜곡으로 나타날 수 있는 빛에 의한 선들, 즉 광 패턴을 촬영하여 이로부터 객체가 존재하는 3차원 공간 상의 깊이 정보를 검출할 수도 있고, 이와 달리 스테레오 카메라를 구비하여 좌, 우 영상 상호간의 정합점을 찾아내고 정합점간의 차이를 이용하여 3차원 깊이 정보를 추출할 수도 있다.Unlike the depth measurement described above, the depth measuring unit 100 is composed of a camera and a projector that outputs structured light, and it is possible to display a narrow band light toward an object to obtain a depth, Dimensional space in which an object exists, by photographing the lines of light, i.e., a light pattern, by using a stereo camera, and by finding a matching point between the left and right images by using a stereo camera, Dimensional depth information can be extracted using the difference between the three-dimensional depth information.

다만, 깊이측정부(100)의 깊이 검출 방식이 전술한 바에 한정하는 것은 아니고 3차원 깊이 정보를 추출할 수 있는 장치라면 어떠한 장치라도 가능하나 본 발명을 설명함에 있어 깊이측정부(100)는 3차원 공간의 깊이 정보 만을 검출하는 장치로 정의하고 설명한다.However, the depth measuring unit 100 is not limited to the above-described one, and any device capable of extracting three-dimensional depth information may be used. However, in explaining the present invention, Dimensional space is detected and explained.

<깊이의 개념><The concept of depth>

또한 도 2를 참조하여 깊이 영상에서의 깊이(depth)에 대한 개념을 보다 상세하게 설명하면, 깊이측정부(100)의 카메라와 영상이 높여 있는 3차원 공간을 3차원 좌표계인 세계 좌표계(world coordinate system)로 표현할 수 있고, 카메라 역시 3차원 좌표계인 카메라 좌표계(camera coordinate system)를 가진다. 그리고 카메라는 시계 좌표계의 어느 한 점인 카메라 중심(camera center)에 위치할 수 있다. 또한 카메라의 X, Y, Z 축은 각각 수직축(Vertical axis), 수평축(Horizontal axis), 광축(optical axis)이라고 부르고 광축은 카메라의 빛(ray)의 직진 방향으로써 주축(principal axis)라 한다. 광축과 영상 평면이 만나는 점은 2차원 영상 평면(Image plane) 안의 한 점으로써 주점(principal point)이라고 하며, 카메라 중심으로부터 주점까지의 거리가 카메라의 초점거리(focal length)이다. 그리고 카메라의 투영(projection)에 의해서 촬영하고자 하는 3차원 장면의 각 점은 2차원 영상 평면(Image plane)으로 투영된다. 즉, 깊이측정부(100)의 위치는 3차원 카메라 좌표계의 원점을 나타내고 Z축(optical axis, principal axis)은 눈이 바라보는 방향과 일직선이 된다. 그리고 세계 좌표계의 임의의 한 점 P=(X, Y, Z)는 Z축에 수직인 2차원 영상 평면(image plane)의 임의의 한 점 p=(x, y)로 투영될 수 있다.Referring to FIG. 2, the concept of the depth in the depth image will be described in more detail. A three-dimensional space in which the camera and the image of the depth measuring unit 100 are elevated is referred to as a world coordinate system, and the camera also has a camera coordinate system, which is a three-dimensional coordinate system. The camera may be located at a camera center, which is a point in the clock coordinate system. The X, Y, and Z axes of the camera are referred to as a vertical axis, a horizontal axis, and an optical axis, respectively, and the optical axis is referred to as a principal axis in the direction of a straight line of a camera ray. The point at which the optical axis meets the image plane is called a principal point as a point in the image plane and the distance from the center of the camera to the principal point is the focal length of the camera. Then, each point of the three-dimensional scene to be photographed by projection of the camera is projected onto a two-dimensional image plane. That is, the position of the depth measuring unit 100 represents the origin of the three-dimensional camera coordinate system, and the Z axis (optical axis, principal axis) is in line with the direction of the eye. And an arbitrary point P = (X, Y, Z) in the world coordinate system can be projected to an arbitrary point p = (x, y) of a two-dimensional image plane perpendicular to the Z axis.

이 때 3차원 장면의 각점 p=(x, y)은 3차원 좌표계의 P=(X, Y, Z)의 Z값으로 표현될 수 있고 이 때의 2차원 영상 평면은 깊이 영상을 의미할 수 있다.In this case, each point p = (x, y) of the 3D scene can be expressed as the Z value of P = (X, Y, Z) of the 3D coordinate system, have.

<깊이 정보의 개념><Concept of depth information>

전술한 바에 기초하여 깊이 영상을 다시 정의하면, 깊이측정부(100)를 기준으로 깊이측정부(100)의 위치와 실물 간의 거리를 상대적인 값으로 수치화한 정보들의 집합이라고 할 수 있고, 이는 영상 단위, 슬라이스 단위 등으로 표현될 수 있으며, 깊이 영상 내에서의 깊이 정보는 픽셀 단위로 표현될 수 있다.If the depth image is redefined based on the above description, it can be said to be a set of information obtained by digitizing the distance between the position of the depth measuring unit 100 and the real object relative to the depth measuring unit 100, , A slice unit, or the like, and the depth information in the depth image can be expressed in pixel units.

또한 하나의 프레임 내에 있는 화소 값은 그 주변 화소값과 상관 관계가 존재하기 때문에 이러한 상관 관계를 이용하여 부호화를 수행할 수 있다. 따라서 부호화를 수행하고자 하는 프레임 내의 어떤 범위에 있는 여러 개의 화소를 모아서 화소 블록을 구성할 수 있다. In addition, since a pixel value within one frame has a correlation with its neighboring pixel values, encoding can be performed using this correlation. Therefore, a pixel block can be formed by collecting a plurality of pixels in a certain range within a frame to be encoded.

보다 상세하게는 블록분할부(200)는 수신한 깊이 영상을 부호화 제어부(300)의 의해 결정된 사이즈에 따라 각 복수의 블록으로 분할하여 분할된 블록을 출력할 수 있다.More specifically, the block dividing unit 200 divides the received depth image into a plurality of blocks according to a size determined by the encoding control unit 300, and outputs the divided blocks.

또한 복수의 블록 각각은 M*N(M, N은 자연수) 화소로 이루어진 영역으로 정의할 수 있다. 예를 들어 M*N은 16*16화로소 이루어진 영역으로 정의할 수 있고 해상도가 증가하면 기본 단위는 32*32나 64*64 화소로 이루어진 영역으로 정의할 수도 있다.Each of the plurality of blocks may be defined as an area consisting of M * N (M, N is a natural number) pixels. For example, M * N can be defined as an area consisting of 16 * 16 pixels. When the resolution is increased, the basic unit can be defined as an area consisting of 32 * 32 pixels or 64 * 64 pixels.

부호화부(400)는 블록분할부(200)로부터 출력된 분할된 블록들 각각을 부호화 제어부(300)에 의해 결정된 부호화 모드에 따라서 부호화할 수 있다. The encoding unit 400 may encode each of the divided blocks output from the block dividing unit 200 according to the encoding mode determined by the encoding control unit 300. [

또한 여기서의 부호화 모드는 평면 모델링 모드를 포함할 수 있다.Also, The encoding mode may include a plane modeling mode.

또한 부호화 제어부(300)는 분할된 블록들 각각의 화소들의 깊이 값에 기초하여 분할된 블록들 중에서 평면 모델링 모드를 통해 부호화할 블록을 결정할 수 있다. 예를 들어 분할된 블록 내의 화소들 중에서 임의의 화소를 중심으로 상기 임의의 화소에서 멀어지는 주변 화소 영역으로 갈수록 기 설정치 이내의 깊이 값의 차이만이 발생하는 경우 해당 블록 내에는 평면 영역이 포함된 것으로 예측할 수 있고, 이렇게 평면 영역이 포함된 것으로 예측된 블록들을 구분하여 구분된 블록들의 정보를 저장할 수 있다.Also, the encoding control unit 300 can determine a block to be encoded through the plane modeling mode among the divided blocks based on the depth values of the pixels of the divided blocks. For example, if only a difference in depth value within a preset value occurs from an arbitrary pixel among pixels within a divided block to an adjacent pixel area away from the arbitrary pixel, a planar region is included in the corresponding block And can store information of the blocks classified by dividing the blocks predicted to include the planar region.

<평면 <Plane 모델링modelling 모드mode >>

도 3은 평면이 세계 좌표계 상에 표시되었을 때 영상 평면 상에 투영되는 평면의 한 점에 대한 개념도이고, 도 4는 X, Z 축에 따른 2차원 상의 세계 좌표계의 임의의 한 점과 2차원 영상 평면의 한 점을 나타낸 직각 좌표계이다.Fig. 3 is a conceptual view of one point of a plane projected on the image plane when the plane is displayed on the world coordinate system, Fig. 4 is a conceptual view of a point on the world coordinate system on the two- It is a Cartesian coordinate system that represents a point on the plane.

도 3 및 도 4를 참조하면, 분할된 블록들 중 하나인 대상 블록 내 화소의 위치 (x, y)에 투영되는 3차원 공간 상의 좌표를 포함하는 평면을 도입하고 해당 평면을 가지는 평면의 방정식은 수학식 1을 충족한다. 또한 3차원 공간 상의 좌표는 삼각형의 닮음비에 따라 P=(tx, ty, tf)로 표현될 수 있다.3 and 4, a plane including coordinates on a three-dimensional space projected at a position (x, y) of a pixel in a target block, which is one of the divided blocks, is introduced and a plane equation having the plane Equation (1) is satisfied. Also, the coordinates on the three-dimensional space can be expressed as P = (tx, ty, tf) according to the similarity ratio of the triangle.

[수학식 1][Equation 1]

Figure 112016129798502-pat00004
Figure 112016129798502-pat00004

이 경우 tf는 투영된 점의 Z축의 좌표이므로 곧 해당 화소에서의 깊이 값이된다.In this case, tf is the coordinate of the Z-axis of the projected point, so it is the depth value in the corresponding pixel.

또한 수학식 1을 표현하는 매개변수(미결정매개변수)들을 정리하여 행렬식으로 나타내면 행렬식은 수학식 2를 충족한다.Also, when the parameters (undetermined parameters) expressing the equation (1) are summarized and expressed as a matrix, the determinant satisfies the equation (2).

[수학식 2]&Quot; (2) &quot;

Figure 112016129798502-pat00005
Figure 112016129798502-pat00005

또한 수학식 2에 블록내의 모든 화소의 좌표 값 및 깊이 값을 대입한 다음, 맨 좌측 행렬을 유사 역행렬을 이용하면 최소자승법을 적용할 수 있고, 이를 통해 블록 내의 모든 화소들의 위치 좌표와 깊이 값의 분포를 하나의 평면으로 추정하여 표현할 수 있으며 표현된 평면을 이루는 매개변수

Figure 112016129798502-pat00006
(결정매개변수)를 구할 수 있고 구한 결정매개변수를 이용하여 대상 블록 내의 화소들의 깊이 값(d)을 예측할 수 있다.In addition, the coordinate value and the depth value of all the pixels in the block are substituted into the equation (2), and the least squares method can be applied using the pseudo inverse matrix of the leftmost matrix. The distribution can be expressed by estimating one plane,
Figure 112016129798502-pat00006
(Decision parameter) can be obtained and the depth value d of the pixels in the target block can be predicted using the determined decision parameters.

상세하게 대상 블록을 부호화하는 방법을 설명하면, 부호화부(400)는 부호화 제어부(300)에서 결정된 평면 영역이 포함된 블록에 대한 정보를 수신하고 수신된 정보에 기초하여 블록을 부호화할 수 있다. 이 경우 부호화 대상의 블록을 대상 블록으로 정의한다. 그리고 부호화부(400)의 참조블록 평면모델링부(401)는 대상 블록과 인접한 참조 블록의 화소를 메모리(500)로부터 읽어드린 수학식 2의 행렬식에 대입하고 최소자승법을 적용하여 평면 방정식의 식의 매개변수

Figure 112016129798502-pat00007
를 구할 수 있다. 여기서의 참조 블록은 부호화가 끝난 화소가 될 수 있으나 이에 한정하는 것은 아니다. 또한 여기서의 참조 블록은 대상 블록의 위쪽과 좌측과 맞닿은 화소로 구성될 수 있으나 반드시 이에 한정하는 것은 아니다.The encoding unit 400 may receive information on a block including the plane region determined by the encoding control unit 300 and encode the block based on the received information. In this case, a block to be coded is defined as a target block. Then, the reference block plane modeling unit 401 of the encoding unit 400 substitutes the matrix of the equation (2) read from the memory 500 for the pixels of the reference block adjacent to the target block and applies the least squares method to the equation parameter
Figure 112016129798502-pat00007
Can be obtained. Here, the reference block may be a coded pixel, but the present invention is not limited thereto. Here, the reference block may be composed of pixels that are in contact with the upper and left sides of the target block, but the present invention is not limited thereto.

또한 대상블록 평면모델링부(402)는 참조블록 평면모델링부(401)에서 결정한 참조블록의 매개변수

Figure 112016129798502-pat00008
(결정매개변수)를 메모리(500)로부터 읽어드린 수학식 1의 평면의 방정식에 대입하여 평면의 방정식을 재구성하고, 부호화 대상 화소의 (x, y) 좌표 값과 깊이 영상의 초점 길이(f)를 재구성된 평면의 방정식에 대입하여 t를 결정할 수 있고, 결정된 tf 값으로부터 대상 블록내의 해당 화소의 예측된 깊이 값을 구할 수 있다. 따라서 대상 블록 내의 각 화소의 깊이 값(tf)을 예측할 수 있다.In addition, the target block plane modeling unit 402 uses the parameters of the reference block determined by the reference block plane modeling unit 401
Figure 112016129798502-pat00008
(X, y) coordinate value of the pixel to be coded and the focal length f of the depth image is calculated by substituting the equation (planar equation) into the equation of the plane of equation (1) read from the memory 500, Can be substituted into the reconstructed plane equation to determine t, and the predicted depth value of the corresponding pixel in the target block can be determined from the determined tf value. Therefore, the depth value (tf) of each pixel in the target block can be predicted.

보다 상세하게는 참조블록 평면모델링부(401)는 참조 블록 내의 객체를 미결정매개변수로 표현된 수학식 1과 같은 제1 평면의 방정식으로 모델링하고, 미결정매개변수와 참조 블록 내의 제1 화소들의 위치 좌표 그리고 제1 화소들의 깊이 값으로 표현된 수학식 2에 최소자승법을 적용한 연산을 수행하여 미결정매개변수의 값을 결정함으로써 결정매개변수를 생성할 수 있다. 그리고 대상블록 평면모델링부(402)는 결정매개변수로 이루어진 수학식 1과 같은 형태의 제2 평면의 방정식을 모델링하고 제2 평면의 방정식에 대상 블록 내의 제2 화소들의 깊이 값 그리고 초점거리를 대입 연산함으로써 제2 화소들의 예측깊이값을 생성할 수 있다. More specifically, the reference block plane modeling unit 401 models an object in a reference block into an equation of a first plane, which is expressed by an undetermined parameter, as shown in Equation (1), and determines the positions of the first pixels in the reference block Coordinates, and depth values of the first pixels, and determining a value of the undetermined parameter by performing an operation using a least squares method in Equation (2) expressed by the depth value of the first pixels. Then, the object block plane modeling unit 402 models the equation of the second plane having the form of Equation 1, which is made up of the decision parameters, assigns the depth values and the focal lengths of the second pixels in the object block to the equation of the second plane The predicted depth value of the second pixels can be generated.

또한 대상블록 부호화부(403)는 대상블록 평면모델링부(402)로부터 수신한 대상 블록 내의 각 화소의 예측된 깊이 값과 대상 블록의 측정된 깊이 값의 오차를 부호화하여 대상 블록을 부호화할 수 있다.The target block coding unit 403 can encode the target block by coding the error between the predicted depth value of each pixel in the target block received from the target block plane modeling unit 402 and the measured depth value of the target block .

또한 전술한 과정을 모든 대상 블록들 각각에 대해서 적용하여 대상 블록들을 차례로 부호화하여 전체 영상을 부호화할 수 있다.In addition, the above process may be applied to all of the target blocks to sequentially encode the target blocks to encode the entire image.

<평면 모델링을 통한 깊이 영상의 부호화 방법><Coding method of depth image through plane modeling>

도 5 및 도 6은 평면 모델링을 통한 깊이 영상의 부호화 방법에 대한 흐름도이다.5 and 6 are flowcharts illustrating a method of coding a depth image through plane modeling.

도 5를 참조하면, 본 발명의 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법은 깊이검출부(100)를 이용하여 3차원 공간을 촬영하여 깊이 영상을 생성하는 단계(S100), 블록분할부(200)가 부호화제어부(300)에 의해 결정된 사이즈로 깊이 영상을 기 설정된 사이즈로 블록화하여 분할된 블록을 생성하는 단계(S200), 부호화부(400)가 상기 분할된 블록 중 대상 블록과 인접한 참조 블록의 화소의 위치 좌표와 깊이 값에 따른 상기 참조 블록 내의 평면의 정보를 참조하여 상기 대상 블록의 각 화소의 깊이 값을 예측하여 예측 깊이 값을 생성하는 단계(S400) 및 부호화부(400)가 상기 대상 블록의 각 화소의 깊이 값과 상기 예측 깊이 값에 기초하여 상기 대상 블록을 부호화하는 단계(S500)를 포함할 수 있다. 또한 여기서의 참조 블록은 이미 부호화가 끝난 화소를 포함할 수 있고, 참조 블록의 화소는 대상 블록과 맞닿은 화소가 될 수 있으며 참조 블록의 화소들 각각은 깊이 값에 대한 정보를 가질 수 있다.Referring to FIG. 5, a method of coding a depth image through plane modeling according to an embodiment of the present invention includes a step of generating a depth image by photographing a three-dimensional space using the depth detector 100 (S100) (S200), the encoding unit (200) blocks the depth image at a size determined by the encoding control unit (300) and generates a divided block (S200). When the encoding unit (400) (S400) of generating a prediction depth value by predicting a depth value of each pixel of the target block with reference to information of a plane in the reference block according to a position coordinate and a depth value of the pixel of the block, And encoding the target block based on the depth value of each pixel of the target block and the predicted depth value (S500). Also, the reference block herein may include already coded pixels, and the pixels of the reference block may be pixels that are in contact with the target block, and each of the pixels of the reference block may have information on the depth value.

또한 본 발명의 실시예에 따른 평면 모델링을 통한 깊이 영상의 부호화 방법은 상기 분할된 블록들 각각의 화소들의 깊이 값에 기초하여 상기 분할된 블록들 중에서 평면을 포함하는 상기 대상 블록을 선택하는 단계(S300)를 더 포함할 수 있다. According to another aspect of the present invention, there is provided a method of coding a depth image through plane modeling, the method comprising: selecting the target block including a plane among the divided blocks based on depth values of pixels of the divided blocks S300).

또한 상기 예측 깊이 값을 생성하는 단계(S400)는, 카메라 좌표계 상의 임의의 위치 좌표를 포함하는 평면의 방정식을 결정하는 단계(S410), 상기 참조 블록의 화소의 위치 좌표 및 깊이 값을 이용하여 상기 평면의 방정식을 이루는 매개변수를 결정하는 단계(S420) 및 결정된 매개변수를 이용하여 표현된 평면의 방정식에 상기 대상 블록의 각 화소의 위치 좌표 및 초점 길이를 이용하여 상기 예측 깊이 값을 생성하는 단계(S430)를 포함 할 수 있다.In addition, the step of generating the predicted depth value (S400) may include: determining an equation of a plane including an arbitrary position coordinate on the camera coordinate system (S410); calculating a predicted depth value using the position coordinates and the depth value of the pixel of the reference block A step S420 of determining a parameter forming an equation of a plane and a step of generating the predicted depth value using the coordinates and the focal length of each pixel of the target block in an equation of a plane expressed by using the determined parameter (S430).

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specifically designed and configured for the present invention or may be those known and used by those skilled in the computer software arts. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROM and DVD, magneto-optical media such as floptical disks, medium, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code, such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be modified into one or more software modules for performing the processing according to the present invention, and vice versa.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific acts described in the present invention are, by way of example, not intended to limit the scope of the invention in any way. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of such systems may be omitted. Also, the connections or connecting members of the lines between the components shown in the figures are illustrative of functional connections and / or physical or circuit connections, which may be replaced or additionally provided by a variety of functional connections, physical Connection, or circuit connections. Also, unless explicitly mentioned, such as &quot; essential &quot;, &quot; importantly &quot;, etc., it may not be a necessary component for application of the present invention.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.

10: 부호화장치
100: 깊이검출부
200: 블록분할부
300: 부호화 제어부
400: 부호화부
401: 참조블록 평면모델링부
402: 대상블록 평면모델링부
403: 대상블록 부호화부
500: 메모리부
10: Encoding device
100: depth detector
200: block dividers
300:
400:
401: reference block plane modeling unit
402: Target block plane modeling unit
403: Object block coding unit
500: memory unit

Claims (11)

3차원 공간을 촬영하여 깊이 영상을 생성하는 단계;
상기 깊이 영상을 기 설정된 사이즈로 블록화하여 분할된 블록을 생성하는 단계;
상기 분할된 블록 중 대상 블록과 인접한 참조 블록의 화소의 위치 좌표와 깊이 값에 따른 상기 참조 블록 내의 평면의 정보를 참조하여 상기 대상 블록의 각 화소의 깊이 값을 예측하여 예측 깊이 값을 생성하는 단계; 및
상기 대상 블록의 각 화소의 깊이 값과 상기 예측 깊이 값에 기초하여 상기 대상 블록을 부호화하는 단계;를 포함하고,
상기 예측 깊이 값을 생성하는 단계는,
카메라 좌표계 상의 임의의 위치 좌표를 포함하는 평면의 방정식을 결정하는 단계;
상기 참조 블록의 화소의 위치 좌표 및 깊이 값을 이용하여 상기 평면의 방정식을 이루는 매개변수를 결정하는 단계; 및
결정된 매개변수를 이용하여 표현된 평면의 방정식에 상기 대상 블록의 각 화소의 위치 좌표 및 초점 길이를 이용하여 상기 예측 깊이 값을 생성하는 단계;를 포함하는 것을 특징으로 하는
평면 모델링을 통한 깊이 영상의 부호화 방법.
Capturing a three-dimensional space to generate a depth image;
Generating a divided block by blocking the depth image with a predetermined size;
Generating a prediction depth value by predicting a depth value of each pixel of the target block with reference to information of a plane in the reference block according to a position coordinate and a depth value of a pixel of the reference block adjacent to the target block among the divided blocks; ; And
And encoding the target block based on a depth value of each pixel of the target block and the predicted depth value,
Wherein generating the predicted depth value comprises:
Determining an equation of a plane including any positional coordinates on the camera coordinate system;
Determining parameters constituting the equation of the plane using the position coordinates and depth values of the pixels of the reference block; And
And generating the predicted depth value using the position coordinates and the focal length of each pixel of the target block in a plane equation expressed using the determined parameters
A method of coding a depth image by plane modeling.
제1 항에 있어서,
상기 분할된 블록들 각각의 화소들의 깊이 값에 기초하여 상기 분할된 블록들 중에서 평면을 포함하는 상기 대상 블록을 선택하는 단계;를 더 포함하는
평면 모델링을 통한 깊이 영상의 부호화 방법.
The method according to claim 1,
And selecting the target block including a plane from among the divided blocks based on depth values of pixels of each of the divided blocks
A method of coding a depth image by plane modeling.
삭제delete 제1 항에 있어서,
상기 참조 블록은 이미 부호화가 끝난 화소를 포함하는 것을 특징으로 하는
평면 모델링을 통한 깊이 영상의 부호화 방법.
The method according to claim 1,
Characterized in that the reference block includes already coded pixels
A method of coding a depth image by plane modeling.
제1 항에 있어서,
상기 참조 블록의 화소는 상기 대상 블록과 맞닿은 화소인 것을 특징으로 하는
평면 모델링을 통한 깊이 영상의 부호화 방법.
The method according to claim 1,
And the pixel of the reference block is a pixel that is in contact with the target block
A method of coding a depth image by plane modeling.
제1 항에 있어서,
상기 참조 블록의 화소의 위치 좌표는 깊이 값을 포함하는 것을 특징으로 하는
평면 모델링을 통한 깊이 영상의 부호화 방법.
The method according to claim 1,
Wherein a position coordinate of a pixel of the reference block includes a depth value.
A method of coding a depth image by plane modeling.
제1 항에 있어서,
상기 참조 블록의 화소의 위치 좌표 및 깊이 값을 이용하여 상기 평면의 방정식을 이루는 매개변수를 결정하는 단계는,
아래의 수학식 2에 상기 참조 블록 내의 화소들의 위치 좌표 및 깊이 값을 대입하고 최소자승법을 적용하여 상기 매개변수를 결정하는 단계;를 포함하는 것을 특징으로 하는
평면 모델링을 통한 깊이 영상의 부호화 방법.
[수학식 1]
Figure 112017093907224-pat00009

[수학식 2]
Figure 112017093907224-pat00010

수학식 1 및 2에서의 x, y는 참조 블록 내의 화소들의 위치 좌표 값이고, f는 초점 길이이고, tx, ty, tf는 3차원 공간 상의 좌표이다.
또한 수학식 2는 수학식 1을 충족하는 구의 방정식의 매개변수를 이용하여 표현된 것이다.
The method according to claim 1,
Wherein the step of determining parameters constituting the equation of the plane using the position coordinates and depth values of the pixels of the reference block comprises:
And determining the parameter by substituting the position coordinates and the depth value of the pixels in the reference block and applying a least squares method to Equation (2) below
A method of coding a depth image by plane modeling.
[Equation 1]
Figure 112017093907224-pat00009

&Quot; (2) &quot;
Figure 112017093907224-pat00010

In Equations (1) and (2), x, y are position coordinate values of pixels in a reference block, f is a focal length, and tx, ty, and tf are coordinates on a three-dimensional space.
Equation (2) is expressed by using a parameter of an equation of a sphere satisfying Equation (1).
제7 항에 있어서,
상기 결정된 매개변수를 이용하여 표현된 평면의 방정식에 상기 대상 블록의 각 화소의 위치 좌표 및 초점 길이를 이용하여 상기 예측 깊이 값을 생성하는 단계는,
상기 결정된 매개변수를 이용하여 표현된 아래의 수학식 3을 충족하는 평면의 방정식에 상기 대상 블록의 화소들의 위치 좌표 및 초점 길이를 대입하여 수학식 1의 t 값을 결정하는 단계; 및
상기 t 및 초점 길이에 기초하여 상기 예측 깊이 값을 생성하는 단계;를 포함하는 것을 특징으로 하는
평면 모델링을 통한 깊이 영상의 부호화 방법.
[수학식 3]
Figure 112016129798502-pat00011
8. The method of claim 7,
Wherein the step of generating the predicted depth value using a position coordinate and a focal length of each pixel of the target block in an equation of a plane expressed by using the determined parameter,
Determining a t value of Equation (1) by substituting the position coordinates and the focal length of the pixels of the target block into an equation of a plane satisfying Equation (3) expressed using the determined parameters; And
And generating the predicted depth value based on the t and the focal length.
A method of coding a depth image by plane modeling.
&Quot; (3) &quot;
Figure 112016129798502-pat00011
3차원 공간 상의 객체의 좌표 값 중 깊이 좌표 값이 화소의 측정된 깊이 값으로 투영되는 깊이 영상을 생성하는 깊이측정부;
상기 깊이 영상을 복수개의 블록으로 분할하는 블록분할부;
상기 분할된 블록 중 참조 블록 내의 객체를 미결정매개변수로 표현된 제1 평면의 방정식으로 모델링하고, 상기 미결정매개변수와 상기 참조 블록 내의 제1 화소들 위치좌표 및 상기 제1 화소들의 측정된 깊이 값에 기초하여 상기 미결정매개변수의 값을 결정하여 결정매개변수를 생성하고, 상기 결정매개변수로부터 상기 분할된 블록 중 대상 블록 내의 제2 화소들의 깊이 값을 예측한 예측깊이값을 생성하며,
상기 예측깊이값에 기초하여 상기 대상 블록을 부호화하는 부호화부;를 포함하는
부호화장치.
A depth measurement unit for generating a depth image in which a depth coordinate value of a coordinate value of an object on a three-dimensional space is projected to a measured depth value of a pixel;
A block dividing unit dividing the depth image into a plurality of blocks;
Modeling an object in a reference block among the divided blocks into an equation of a first plane represented by a preexisting parameter and calculating a position coordinate of the first pixels in the reference block and a measured depth value of the first pixels Generates a predictive depth value by predicting the depth value of the second pixels in the target block of the divided block from the determination parameter,
And an encoding unit encoding the target block based on the predicted depth value
Encoding apparatus.
제9 항에 있어서,
상기 분할된 블록들 각각의 화소들의 깊이 값에 기초하여 상기 분할된 블록들 중에서 평면을 포함하는 상기 대상 블록을 선택하는 부호화 제어부;를 더 포함하는
부호화장치.
10. The method of claim 9,
And a coding control unit for selecting the target block including a plane from among the divided blocks based on depth values of pixels of each of the divided blocks
Encoding apparatus.
3차원 공간 상의 객체의 좌표 값 중 깊이 좌표 값이 화소의 측정된 깊이 값으로 투영되는 깊이 영상을 생성하는 단계;
상기 깊이 영상을 복수개의 블록으로 분할하는 단계;
상기 분할된 블록 중 참조 블록 내의 객체를 미결정매개변수로 표현된 제1 평면의 방정식으로 모델링하는 단계;
상기 미결정매개변수와 상기 참조 블록 내의 제1 화소들 위치좌표 및 상기 제1 화소들의 측정된 깊이 값에 기초하여 상기 미결정매개변수의 값을 결정하여 결정매개변수를 생성하는 단계;
상기 결정매개변수로부터 상기 분할된 블록 중 대상 블록 내의 제2 화소들의 깊이 값을 예측한 예측깊이값을 생성하는 단계; 및
상기 예측깊이값에 기초하여 상기 대상 블록을 부호화하는 단계;를 포함하는
평면 모델링을 통한 깊이 영상의 부호화방법.
Generating a depth image in which a depth coordinate value of a coordinate value of an object on a three-dimensional space is projected to a measured depth value of the pixel;
Dividing the depth image into a plurality of blocks;
Modeling an object in a reference block of the divided blocks into an equation of a first plane represented by an undetermined parameter;
Determining a value of the undetermined parameter based on the undetermined parameter, the location coordinates of the first pixels in the reference block, and the measured depth value of the first pixels to generate a decision parameter;
Generating a prediction depth value by predicting a depth value of second pixels in a target block among the divided blocks from the determination parameter; And
And encoding the target block based on the predicted depth value
A method of coding a depth image by plane modeling.
KR1020160184332A 2016-12-30 2016-12-30 Coding Method and Device for Depth Video Plane Modeling KR101817140B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160184332A KR101817140B1 (en) 2016-12-30 2016-12-30 Coding Method and Device for Depth Video Plane Modeling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160184332A KR101817140B1 (en) 2016-12-30 2016-12-30 Coding Method and Device for Depth Video Plane Modeling

Publications (1)

Publication Number Publication Date
KR101817140B1 true KR101817140B1 (en) 2018-01-10

Family

ID=60998659

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160184332A KR101817140B1 (en) 2016-12-30 2016-12-30 Coding Method and Device for Depth Video Plane Modeling

Country Status (1)

Country Link
KR (1) KR101817140B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102074929B1 (en) * 2018-10-05 2020-02-07 동의대학교 산학협력단 METHOD AND DEVICE FOR DETECTING PLANE AREA USING DEPTH IMAGE, and Non-Transitory COMPUTER READABLE RECORDING MEDIUM
KR102224321B1 (en) 2019-09-03 2021-03-05 동의대학교 산학협력단 Coding Method and Device for Depth Video Plane Modeling
KR20210059406A (en) 2019-11-15 2021-05-25 동의대학교 산학협력단 VIDEO PROCESSING Device and Method For Depth Video by Spherical Modeling, and Non-Transitory COMPUTER READABLE RECORDING MEDIUM
KR20210108265A (en) 2020-02-25 2021-09-02 동의대학교 산학협력단 Method, Device And Non-Transitory Computer Readable Recording Medium For Depth Picture Encoding Using Plane Modeling Coefficient Prediction
WO2021256642A1 (en) * 2019-12-10 2021-12-23 한국전자기술연구원 Method and system for estimating depth image by using planar information
CN116485634A (en) * 2023-04-10 2023-07-25 北京城市网邻信息技术有限公司 Point cloud display diagram generation method and device, electronic equipment and storage medium

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102074929B1 (en) * 2018-10-05 2020-02-07 동의대학교 산학협력단 METHOD AND DEVICE FOR DETECTING PLANE AREA USING DEPTH IMAGE, and Non-Transitory COMPUTER READABLE RECORDING MEDIUM
KR102224321B1 (en) 2019-09-03 2021-03-05 동의대학교 산학협력단 Coding Method and Device for Depth Video Plane Modeling
KR20210059406A (en) 2019-11-15 2021-05-25 동의대학교 산학협력단 VIDEO PROCESSING Device and Method For Depth Video by Spherical Modeling, and Non-Transitory COMPUTER READABLE RECORDING MEDIUM
WO2021256642A1 (en) * 2019-12-10 2021-12-23 한국전자기술연구원 Method and system for estimating depth image by using planar information
KR20210108265A (en) 2020-02-25 2021-09-02 동의대학교 산학협력단 Method, Device And Non-Transitory Computer Readable Recording Medium For Depth Picture Encoding Using Plane Modeling Coefficient Prediction
KR102329383B1 (en) * 2020-02-25 2021-11-19 동의대학교 산학협력단 Method, Device And Non-Transitory Computer Readable Recording Medium For Depth Picture Encoding Using Plane Modeling Coefficient Prediction
CN116485634A (en) * 2023-04-10 2023-07-25 北京城市网邻信息技术有限公司 Point cloud display diagram generation method and device, electronic equipment and storage medium
CN116485634B (en) * 2023-04-10 2024-04-02 北京城市网邻信息技术有限公司 Point cloud display diagram generation method and device, electronic equipment and storage medium

Similar Documents

Publication Publication Date Title
KR101817140B1 (en) Coding Method and Device for Depth Video Plane Modeling
KR102402494B1 (en) Motion compensation of geometric information
KR102431117B1 (en) point cloud mapping
US11902577B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
JP7277372B2 (en) 3D model encoding device, 3D model decoding device, 3D model encoding method, and 3D model decoding method
US8433157B2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
JP6669063B2 (en) Image processing apparatus and method
US11212507B2 (en) Method and apparatus for processing three-dimensional images
WO2019031259A1 (en) Image processing device and method
CN107452034B (en) Image processing method and device
US20220385721A1 (en) 3d mesh generation on a server
KR102080694B1 (en) Method and Device of Motion Estimation for Depth Video Coding by curved surface Modeling, and NON-TRANSITORY COMPUTER READABLE RECORDING MEDIUM
KR101853215B1 (en) Coding Device and Method and Depth Information Compensation by Plane Modeling
CN112119432A (en) Method and apparatus for processing 3D scene
KR102074929B1 (en) METHOD AND DEVICE FOR DETECTING PLANE AREA USING DEPTH IMAGE, and Non-Transitory COMPUTER READABLE RECORDING MEDIUM
KR102098322B1 (en) Method and Device of Motion Estimation for Depth Video Coding by Plane Modeling, and NON-TRANSITORY COMPUTER READABLE RECORDING MEDIUM
KR101866106B1 (en) Method and Device of Inter-frame Plane Prediction for Depth Video
KR101904170B1 (en) Coding Device and Method for Depth Information Compensation by Sphere Surface Modeling
JP6595878B2 (en) Element image group generation apparatus and program thereof
KR101865821B1 (en) Noise Removing Method and Device for Depth Image, Coding Method and Device through Noise Remove
KR101817137B1 (en) Coding Method and Coding Device for Depth Video through Depth Average in Block
JP2006527945A (en) Representation method of picture sequence using 3D model, corresponding signal, and corresponding apparatus
KR101907057B1 (en) Device and Method for Depth Information Compensation by Sphere Surface Modeling
KR101866107B1 (en) Coding Device, Device and Method and Depth Information Compensation by Plane Modeling
KR101904128B1 (en) Coding Method and Device Depth Video by Spherical Surface Modeling

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant