KR101865826B1 - 깊이 영상의 화면 내 예측 부호화 방법 및 장치 - Google Patents

깊이 영상의 화면 내 예측 부호화 방법 및 장치 Download PDF

Info

Publication number
KR101865826B1
KR101865826B1 KR1020170064060A KR20170064060A KR101865826B1 KR 101865826 B1 KR101865826 B1 KR 101865826B1 KR 1020170064060 A KR1020170064060 A KR 1020170064060A KR 20170064060 A KR20170064060 A KR 20170064060A KR 101865826 B1 KR101865826 B1 KR 101865826B1
Authority
KR
South Korea
Prior art keywords
depth
equation
value
depth value
coordinate
Prior art date
Application number
KR1020170064060A
Other languages
English (en)
Inventor
권순각
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020170064060A priority Critical patent/KR101865826B1/ko
Application granted granted Critical
Publication of KR101865826B1 publication Critical patent/KR101865826B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 실시예에 따른 깊이 영상의 화면 내 예측 부호화 방법은 깊이 영상을 복수의 블록으로 분할하는 단계, 상기 복수의 블록 중 대상 블록 내의 화소들의 깊이 값에 기초하여 객체의 형상 정보를 검출하는 단계, 상기 객체의 형상 정보에 기초한 복수의 객체 형상 모델링 부호화 모드 각각을 적용하여 상기 대상 블록의 화소에 대한 예측깊이값을 생성하는 단계, 상기 예측깊이값에 기초하여 상기 복수의 객체 형상 모델링 부호화 모드 각각에 대한 부호화 효율을 측정하는 단계 및 상기 부호화 효율에 기초하여 상기 대상 블록을 부호화 하는 단계를 포함할 수 있다.

Description

깊이 영상의 화면 내 예측 부호화 방법 및 장치{Intra Prediction Coding Method and Device for Depth Image}
본 발명은 깊이 영상의 화면 내 예측 부호화 방법 및 장치에 관한 것이다. 보다 상세하게는 깊이 영상 내의 객체의 형상 정보를 검출하고 객체의 형상 정보에 기초하여 깊이 영상을 부호화할 수 있는 방법 및 장치에 관한 것이다.
영상 내 화소의 거리 정보를 나타내는 깊이 정보를 구성 화소 요소로 가지는 깊이 영상을 이용하여 영상 처리에 응용하는 방법에 대한 연구가 활발하게 연구되고 있다. 이 때, 깊이 영상을 이용하여 기존 색상 영상에서는 얻을 수 없었던, 객체의 위치 정보와 거리 정보를 획득하여, 이를 통한 새로운 객체의 정보를 획득할 수 있다. 이러한 깊이 영상의 특성으로 인해 깊이 영상을 이용한 새로운 응용분야에 대한 연구가 확대되고 있다.
색상 영상에서의 환경에 민감하고, 객체내의 여러 다른 색상 정보가 존재한다는 단점을 깊이 카메라를 통해 극복하여 좀 더 정확한 객체 검출을 수행하는 연구가 이루어졌다. 깊이 영상의 거리를 이용하여 평면의 정보를 이용하여 이를 통해 영상의 왜곡과 잡음을 제거하는 연구도 이루어졌다. 또한, 깊이 영상의 거리정보를 이용하여 배경영역에 터치를 인식하는 연구와, 이를 이용하여 여러 이벤트를 제공하는 연구가 이루어졌다. 이뿐만 아니라 인물의 형태를 인식하여 사람의 얼굴을 인식하는 연구도 여러 이루어졌다.
이러한 깊이 영상의 응용분야의 확대로 인해 깊이 영상의 부호화에 대한 필요성이 증가되었다. 먼저 깊이 룩업 테이블(Depth Lookup Table)를 이용하여 깊이 영상을 부호화하는 방법이 연구되었다. 또한, 객체의 경계 정보를 깊이 영상 부호화에 이용하는 방법이 제안되었다. 깊이 영상을 히스토그램기반으로 분석하여 깊이 영상을 부호화 하는 방법도 제안되었다. 이처럼 깊이 영상에 나타나는 특징을 이용하여 영상 부호화 효율을 높이는 연구가 많이 이루어졌다. 하지만 지금까지 이루어진 깊이 영상 부호화 연구는 대체로 색상 영상 부호화에 대해 보조적으로 이루어지거나, 색상 영상과 연계하여 깊이 영상을 부호화하는 방법에 한정되었다.
대한민국특허공개공보 10-2011-0121003 A1
본 발명은 깊이 영상 내의 객체의 형상 정보를 검출하여 깊이 영상을 부호화할 수 있는 방법 및 장치를 제공할 수 있다.
또한, 본 발명은 깊이 영상의 특성을 고려하여 깊이 영상의 품질을 유지하면서도 압축율을 높일 수 있는 방법 및 장치를 제공할 수 있다.
또한, 본 발명은 깊이 영상 내의 평면, 구면, 오목면 그리고 타원면 형상을 가지는 영역에 대한 정보를 추출하여 깊이 값을 예측할 수 있는 방법 및 장치를 제공할 수 있다.
또한, 본 발명의 실시예는 부호화 효율이 가장 좋은 부호화 모드에 따라 깊이 영상을 부호화할 수 있는 방법 및 장치를 제공할 수 있다.
본 발명의 실시예에 따른 깊이 영상의 화면 내 예측 부호화 방법은 깊이 영상을 복수의 블록으로 분할하는 단계; 상기 복수의 블록 중 대상 블록 내의 화소들의 깊이 값에 기초하여 객체의 형상 정보를 검출하는 단계; 상기 객체의 형상 정보에 기초한 복수의 객체 형상 모델링 부호화 모드 각각을 적용하여 상기 대상 블록의 화소에 대한 예측깊이값을 생성하는 단계; 상기 예측깊이값에 기초하여 상기 복수의 객체 형상 모델링 부호화 모드 각각에 대한 부호화 효율을 측정하는 단계; 및 상기 부호화 효율에 기초하여 상기 대상 블록을 부호화 하는 단계;를 포함할 수 있다.
다른 측면에서의 깊이 영상의 화면 내 예측 부호화 방법의 상기 예측깊이값을 생성하는 단계는, 상기 객체의 형상 정보에 기초하여 카메라 좌표계 상의 제1 좌표와 매개변수로 이루어진 제1 방정식을 모델링하는 단계; 상기 제1 방정식을 상기 제1 좌표가 투영된 영상 평면의 좌표계 상의 제2 좌표와 상기 매개변수 및 예측깊이변수로 이루어진 제2 방정식으로 변환하는 단계; 상기 예측깊이변수와 상기 제2 좌표에 대응하는 깊이 영상의 화소의 측정깊이값에 기초하여 상기 매개변수의 값을 결정하고 상기 제1 방정식의 인자를 생성하는 단계; 및 상기 인자 그리고 상기 깊이 영상의 화소의 위치 정보와 측정깊이값에 기초하여 상기 예측깊이변수의 값을 결정하고 예측깊이값을 생성하는 단계;를 포함할 수 있다.
또 다른 측면에서의 깊이 영상의 화면 내 예측 부호화 방법은 상기 예측깊이값과 상기 측정깊이값의 차이에 기초하여 상기 깊이 영상을 부호화하는 단계;를 더 포함할 수 있다.
또 다른 측면에서의 깊이 영상의 화면 내 예측 부호화 방법은 상기 인자, 상기 예측깊이값과 상기 측정깊이값의 차이에 기초하여 상기 깊이 영상을 부호화하는 단계;를 더 포함할 수도 있다.
또 다른 측면에서의 깊이 영상의 화면 내 예측 부호화 방법의 상기 예측깊이변수와 상기 제2 좌표에 대응하는 깊이 영상의 화소의 측정깊이값에 기초하여 상기 매개변수의 값을 결정하고 상기 제1 방정식의 인자를 생성하는 단계는, 상기 예측깊이변수와 상기 측정깊이값의 차이가 최소가 되도록 하는 상기 매개변수의 값을 결정할 수 있다.
또 다른 측면에서의 깊이 영상의 화면 내 예측 부호화 방법의 상기 제1 및 제2 방정식은 수학식 1 내지 4 중 어느 하나일 수 있다.
[수학식 1]
제1 방정식:
Figure 112017049515488-pat00001
제2 방정식:
Figure 112017049515488-pat00002
[수학식 2]
제1 방정식:
Figure 112017049515488-pat00003
제2 방정식:
Figure 112017049515488-pat00004
[수학식 3]
제1 방정식:
Figure 112017049515488-pat00005
제2 방정식:
Figure 112017049515488-pat00006
[수학식 4]
제1 방정식:
Figure 112017049515488-pat00007
제2 방정식:
Figure 112017049515488-pat00008
(X, Y, Z)는 제1 좌표이고, h, w는 영상 평면의 수직, 수평 좌표이고, α,β,γ, a, b, c, r, A, B, C는 각 방정식의 매개변수이고, f는 초점거리이며, d는 예측깊이변수이다.
또 다른 측면에서의 비일시적 컴퓨터 판독가능 매체는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은 적어도 하나의 프로세서로 하여금 동작들을 수행하게 하기 위해 상기 프로세서에 의해 실행가능하고, 상기 동작들은: 깊이 영상을 복수의 블록으로 분할하고, 상기 복수의 블록 중 대상 블록 내의 화소들의 깊이 값에 기초하여 객체의 형상 정보를 검출하고, 상기 객체의 형상 정보에 기초한 복수의 객체 형상 모델링 부호화 모드 각각을 적용하여 상기 대상 블록의 화소에 대한 예측깊이값을 생성하고, 상기 예측깊이값에 기초하여 상기 복수의 객체 형상 모델링 부호화 모드 각각에 대한 부호화 효율을 측정하며, 상기 부호화 효율에 기초하여 상기 대상 블록을 부호화 하는 것을 포함할 수도 있다.
또 다른 측면에서의 비일시적 컴퓨터 판독가능 매체의 상기 예측깊이값을 생성하는 동작은, 상기 객체의 형상 정보에 기초하여 카메라 좌표계 상의 제1 좌표와 매개변수로 이루어진 제1 방정식을 모델링하고; 상기 제1 방정식을 상기 제1 좌표가 투영된 영상 평면의 좌표계 상의 제2 좌표와 상기 매개변수 및 예측깊이변수로 이루어진 제2 방정식으로 변환하고, 상기 예측깊이변수와 상기 제2 좌표에 대응하는 깊이 영상의 화소의 측정깊이값에 기초하여 상기 매개변수의 값을 결정하고 상기 제1 방정식의 인자를 생성하며, 상기 인자 그리고 상기 깊이 영상의 화소의 위치 정보와 측정깊이값에 기초하여 상기 예측깊이변수의 값을 결정하고 예측깊이값을 생성하는 것을 포함할 수도 있다.
또 다른 측면에서의 깊이 영상의 화면 내 예측 부호화 장치는 적어도 하나의 메모리; 및 적어도 하나의 프로세서;를 포함하고, 상기 적어도 하나의 프로세서는 깊이 영상을 복수의 블록으로 분할하고, 상기 복수의 블록 중 대상 블록 내의 화소들의 깊이 값에 기초하여 객체의 형상 정보를 검출하고, 상기 객체의 형상 정보에 기초한 복수의 객체 형상 모델링 부호화 모드 각각을 적용하여 상기 대상 블록의 화소에 대한 예측깊이값을 생성하고, 상기 예측깊이값에 기초하여 상기 복수의 객체 형상 모델링 부호화 모드 각각에 대한 부호화 효율을 측정하며, 상기 부호화 효율에 기초하여 상기 대상 블록을 부호화 하도록 구성될 수도 있다.
또 다른 측면에서의 깊이 영상의 화면 내 예측 부호화 장치의 상기 프로세서는, 상기 객체의 형상 정보에 기초하여 카메라 좌표계 상의 제1 좌표와 매개변수로 이루어진 제1 방정식을 모델링하고; 상기 제1 방정식을 상기 제1 좌표가 투영된 영상 평면의 좌표계 상의 제2 좌표와 상기 매개변수 및 예측깊이변수로 이루어진 제2 방정식으로 변환하고, 상기 예측깊이변수와 상기 제2 좌표에 대응하는 깊이 영상의 화소의 측정깊이값에 기초하여 상기 매개변수의 값을 결정하고 상기 제1 방정식의 인자를 생성하며, 상기 인자 그리고 상기 깊이 영상의 화소의 위치 정보와 측정깊이값에 기초하여 상기 예측깊이변수의 값을 결정하고 예측깊이값을 생성하도록 구성될 수도 있다.
본 발명의 실시예는 원 깊이 영상에 포함된 중요한 정보는 보존하면서 기타 정보를 다소 제거하여 원 깊이 영상의 품질을 잃지 않으면서도 가능한 한 적은 디지털 부호량으로 깊이 영상을 표현할 수 있다.
또한, 본 발명의 실시예는 블록내의 깊이 값을 이용하여 깊이 영상 내의 객체의 형상 정보를 검출하고, 객체의 형상의 특징을 이용하여 깊이 영상의 깊이 값을 예측할 수 있으며, 예측된 값과 측정된 깊이 값의 오차를 이용하여 깊이 영상을 부호화할 수 있다.
또한, 본 발명의 실시예에 따라 다양한 형상의 객체를 부호화할 때 기존 부호화 방법에 비해 높은 부호화 효율을 보이는 효과가 있다.
또한, 본 발명의 실시예는 부호화 효율이 가장 좋은 부호화 모드를 적용하여 깊이 영상을 부호화할 수 있다.
도 1은 본 발명의 실시예에 따른 깊이 영상을 영상 처리 할 수 있도록 구성된 깊이영상처리장치를 도시하는 블록도이다.
도 2는 실시예에 따른 깊이 영상의 화면 내 예측 부호화 방법의 예시적인 다이어그램이다.
도 3은 예측깊이값을 생성하는 방법에 대한 예시적인 다이어그램이다.
도 4는 평면 모델링 부호화 모드를 설명하기 위한 카메라 좌표계 상의 제1 좌표와 영상 평면의 제2 좌표의 관계를 나타낸 일 예시도이다.
도 5는 곡면 모델링 부호화 모드를 설명하기 위한 카메라 좌표계 상의 제1 좌표와 영상 평면의 제2 좌표의 관계를 나타낸 일 예시도이다.
도 6은 오목면 모델링 부호화 모드를 설명하기 위한 카메라 좌표계 상의 제1 좌표와 영상 평면의 제2 좌표의 관계를 나타낸 일 예시도이다.
도 7은 타원면 모델링 부호화 모드를 설명하기 위한 카메라 좌표계 상의 제1 좌표와 영상 평면의 제2 좌표의 관계를 나타낸 일 예시도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 깊이 영상을 영상 처리 할 수 있도록 구성된 깊이영상처리장치를 도시하는 블록도이다.
깊이영상처리장치(100)는 영상 데이터를 데이터수신장치(200)로 제공할 수 있다.
깊이영상처리장치(100)와 데이터수신장치(200)는 데스크톱 컴퓨터들, 노트북 (즉, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱 박스들, 이른바 "스마트" 폰들과 같은 전화기 핸드셋들, 이른바 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스 등을 포함한 매우 다양한 디바이스들 중 임의의 것을 포함할 수도 있다.
일부 구현예에서는, 깊이영상처리장치(100)와 데이터수신장치(200)는 무선 통신을 위한 구성(10)이 갖추어질 수 있다.
또한, 데이터수신장치(200)는 영상 처리된 영상 데이터를 컴퓨터 판독 가능 매체를 통해 수신할 수도 있다.
컴퓨터 판독 가능 매체는 깊이영상처리장치(100)로부터 영상처리된 영상 데이터를 데이터수신장치(200)로 이동시킬 수 있는 임의 유형의 매체 또는 디바이스를 포함할 수 있다. 일 예로, 컴퓨터 판독 가능 매체는 깊이영상처리장치(100)가 영상 데이터를 데이터수신장치(200)로 직접 실시간으로 송신하는 것을 가능하게 하는 통신 매체, 이를테면 송신 채널을 포함할 수 있다.
영상 처리된 영상 데이터는 통신 표준, 이를테면 무선 통신 프로토콜에 따라 변조되고 데이터수신장치(200)로 송신될 수도 있다. 통신 매체는 임의의 무선 또는 유선 통신 매체, 이를테면 라디오 주파수 스펙트럼 또는 하나 이상의 물리적 송신 라인들을 포함할 수도 있다. 통신 매체는 패킷 기반 네트워크, 이를테면 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 깊이영상처리장치(100)로부터 데이터수신장치(200)로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다. 몇몇 예들에서 영상 처리된 영상 데이터가 출력 인터페이스(130)로부터 컴퓨터 판독 가능 저장 매체, 이를 테면 비일시적(non-transitory) 컴퓨터 판독가능 저장 매체, 즉, 데이터 저장 디바이스로 출력될 수도 있다. 마찬가지로 영상 데이터는 데이터수신장치(200)의 입력 인터페이스(230)에 의해 저장 디바이스로부터 엑세스될 수도 있다. 저장 디바이스는 하드 드라이브, 블루-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 영상 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산형 또는 국부적으로 액세스되는 비일시적 데이터 저장 매체들 중 임의의 것을 포함할 수도 있다. 추가의 예에서, 저장 디바이스는 깊이영상처리장치(100)에 의해 생성된 영상 데이터를 저장할 수도 있는 파일 서버 또는 다른 중간 저장 디바이스에 해당할 수도 있다.
데이터수신장치(200)는 저장 디바이스로부터의 저장된 영상 데이터에 스트리밍 또는 다운로드를 통해 액세스할 수도 있다.
도 1의 예에서 깊이영상처리장치(100)는 영상 소스(110) 및 영상처리부(120)를 포함할 수 있다. 또한, 깊이영상처리장치(100)는 출력 인터페이스(130)를 더 포함할 수 있다.
데이터수신장치(200)는 입력 인터페이스(230) 및 데이터처리부(220)를 포함할 수 있다. 또한, 데이터수신장치(200)는 디스플레이 디바이스(210)를 더 포함할 수 있다.
다른 예에서 깊이영상처리장치(100)와 데이터처리부(220)는 다른 컴포넌트들을 포함할 수 있다.
예를 들어 깊이영상처리장치(100)는 외부 비디오 소스, 이를테면 외부 카메라로부터 영상을 수신할 수 있고, 외부 카메라는 깊이 영상(depth image)을 생성하는 깊이 영상 촬영 디바이스가 될 수 있다. 마찬가지로, 데이터수신장치(200)는 통합형 디스플레이 디바이스(210)를 구비하기 보다는 외부 디스플레이 디바이스(210)와 인터페이싱할 수도 있다.
깊이영상처리장치(100)의 영상 소스(110)는 깊이 영상 촬영 디바이스, 이를테면 카메라, 이전에 촬영된 깊이 영상을 포함하는 아카이브 (archive), 및/또는 깊이 영상 콘텐츠 제공자로부터의 깊이 영상을 수신하는 인터페이스를 포함할 수도 있다.
일부 구현예에서 깊이 영상 촬영 디바이스는 장면의 깊이 정보를 256 단계의 8비트 영상 등으로 표현한 깊이 영상을 제공할 수 있다. 깊이 영상의 한 픽셀을 표현하기 위한 비트수는 8비트가 아니라 변경될 수 있다. 깊이 영상 촬영 디바이스는 적외선 등을 이용하여 깊이 영상 촬영 디바이스로부터 객체 및 배경까지의 거리를 측정하여 거리에 비례 또는 반비례하는 값을 갖는 깊이 영상을 제공할 수 있다.
깊이 영상의 화소 값은 예를 들어, RGB의 색상 정보가 아닌 일 예로 mm 단위(이에 한정하는 것은 아님)의 정수로 된 깊이 정보가 될 수 있다.
깊이영상처리장치(100)와 데이터수신장치(200) 각각은 하나 이상의 메모리와 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적회로들 (ASIC들), 필드 프로그램가능 게이트 어레이들 (FPGA들), 개별 로직 회로, 소프트웨어, 하드웨어, 펌웨어 또는 그것들의 임의의 조합과 같은 다양한 형태로 구성될 수 있다.
메모리는 컴퓨터 판독가능 명령들 또는 프로세서 판독가능 명령들과 같은 명령들(예를 들어, 실행가능 명령들)을 포함한다. 명령들은 하나 이상의 프로세서들 각각에 의해서와 같이 컴퓨터에 의해 실행가능한 하나 이상의 명령어들을 포함할 수도 있다.
예를 들어 하나 이상의 명령들은 하나 이상의 프로세서들로 하여금 깊이 영상을 부호화하기 위해 깊이 영상을 프로세싱하는 것을 포함하는 동작들을 수행하기 위해 하나 이상의 프로세서들에 의해 실행가능 할 수도 있다.
상세하게는, 영상처리부(120)는 명령어들을 저장하는 하나 이상의 메모리(121)와 상기 명령어들을 실행하는 적어도 하나의 프로세서(122)를 포함할 수 있다.
일부 구현예에서는, 영상처리부(120)의 프로세서(122)는 깊이 영상을 부호화하기 위한 기법들이 적용되도록 구성될 수 있다.
데이터처리부(220)는 영상처리부(120)로부터의 영상 데이터를 외부 장치로 전송, 디스플레이, 분석 등을 수행할 수 있도록 구성될 수 있다.
일부 구현예에서는, 데이터처리부(220)는 영상처리부(120)로부터의 부호화된 영상 데이터를 복호화할 수 있도록 구성될 수도 있다.
도 1에 도시되지 않았지만, 몇몇 실시예에서, 깊이영상처리장치(100)와 데이터처리장치는 통합된 장치가 될 수 있다. 이를테면 깊이영상처리장치(100)는 깊이 영상을 부호화하고, 부호화된 영상 데이터를 복호화할 수 있도록 구성될 수도 있다.
도 2는 실시예에 따른 깊이 영상의 화면 내 예측 부호화 방법의 예시적인 다이어그램이다.
도 2를 참조하면, 본 발명의 실시예에 따른 깊이 영상의 화면 내 예측 부호화 방법은 깊이 영상을 복수의 블록으로 분할하는 단계(S100), 복수의 블록 중 대상 블록 내의 화소들의 깊이 값에 기초하여 객체의 형상 정보를 검출하는 단계(S200), 객체의 형상 정보에 기초한 복수의 객체 형상 모델링 부호화 모드 각각을 적용하여 대상 블록의 화소에 대한 예측깊이값을 생성하는 단계(S300), 예측깊이값에 기초하여 복수의 객체 형상 모델링 부호화 모드 각각에 대한 부호화 효율을 측정하는 단계(S400), 부호화 효율에 기초하여 대상 블록을 부호화 하는 단계(S500) 및 부호화된 모든 블록을 합쳐 깊이 영상을 부호화하는 단계(S600)를 포함할 수 있다.
이하 각 단계별로 상술한다.
프로세서(122)는 깊이 영상을 기 설정된 블록 단위로 분할할 수 있다(S100).
예를 들어 깊이 영상은 m*n의 블록 단위로 분할될 수 있다. 복수의 블록 각각은 m*n(m, n은 자연수) 화소로 이루어진 영역으로 정의할 수 있다.
이를테면 m*n의 블록은 8*8화소나 16*16화소로 이루어진 영역으로 정의할 수 있고 해상도가 증가하면 기본 단위는 32*32나 64*64 화소로 이루어진 영역으로 정의할 수도 있다. 다만 이에 한정하는 것은 아니고, 프로세서(122)는 깊이 영상을 분할하지 않고, 깊이 영상 내의 깊이 값을 부호화할 수도 있다.
프로세서(122)는 복수의 블록 중 대상 블록 내의 화소들의 깊이 값에 기초하여 객체의 형상 정보를 검출할 수 있다(S200).
예를 들어 프로세서(122)는 대상 블록 내의 화소와 해당 화소의 인접 화소들의 깊이 값에 기초하여 객체의 형상 정보를 검출할 수 있다. 화소들 각각은 깊이 값을 가지고, 화소들간의 상대적인 깊이 차이 및/또는 기준 화소와 기준 화소 주변의 화소들의 깊이 값의 분포에 기초하여 객체의 형상 정보를 검출할 수 있다.
프로세서(122)는 각 블록내의 화소 값에 기초하여 객체의 형상이 평면, 구면, 곡면, 타원면 중 어느 하나의 형상을 가지는 것으로 판단할 수 있으나 이에 한정하는 것은 아니다.
예를 들어, 카메라 좌표계 상에서 객체의 임의의 한 점은 (X, Y, Z) 좌표를 가지고, 여기서 (X, Y)는 영상 평면의 (w, h) 좌표를 가진 점으로 투영되고, Z 값은 (w, h) 좌표에서의 이상적인 깊이 값이 되며, 해당 이상적인 깊이 값은 각 화소 단위로 표현될 수 있다.
일 예로 객체의 영역 중에서 대상 블록에 대응하는 영역이 평면 형상을 가지는 경우, 대상 블록 내의 임의의 화소를 기준으로 주변 화소들 간의 깊이 값의 차이가 기 설정치 이하(그 외 잡음에 따른 일부 화소의 깊이 값이 주변 화소의 깊이 값과 비교하여 큰 차이가 있는 경우라도 특정한 깊이 값을 기준으로 정규 분포를 그리는 경우 등)가 될 수 있다.
또 다른 예로 객체의 영역 중에서 대상 블록에 대응하는 영역이 구면, 곡면, 오목면, 타원면 등 형상을 가지는 경우, 대상 블록내의 임의의 화소에서 주변 화소로 갈수록 깊이 값인 Z 값이 점진적으로 증가 또는 감소 및/또는 임의의 화소에서 주변 화소로 갈수록 깊이 값의 증감 정도가 커지거나 작아지는 경우 등의 분포를 보일 수 있다.
따라서 프로세서(122)는 대상 블록 내의 화소들 각자의 깊이 값에 기초하여 객체의 형상 정보를 검출할 수 있다.
프로세서(122)는 객체의 형상 정보에 기초한 복수의 객체 형상 모델링 부호화 모드 각각을 적용하여 대상 블록의 화소에 대한 예측깊이값을 생성할 수 있다(S300).
복수의 객체 형상 모델링 부호화 모드는 평면 모델링 부호화 모드, 구면 모델링 부호화 모드, 곡면 모델링 부호화 모드, 오목면 모델링 부호화 모드, 타원면 모델링 부호화 모드 중 적어도 하나를 포함할 수 있다.
프로세서(122)는 복수의 객체 형상 모델링 부호화 모드들 각각에 기초하여 대상 블록의 화소들의 예측깊이값을 생성할 수 있다.
프로세서(122)는 예측깊이값에 기초하여 복수의 객체 형상 모델링 부호화 모드 각각에 대한 부호화 효율을 측정할 수 있다(S400).
프로세서(122)는 일 예로 복수의 객체 형상 모델링 부호화 모드 각각에 따라 부호화한 깊이 영상과 엔트로피 파워를 수학식 1을 통해 측정하고, 부호화 모드별로 효율을 서로 비교할 수 있다. 다만 이에 한정하는 것은 아니고, 부호화 효율을 측정할 수 있는 어떠한 방법이라도 적용될 수 있다.
[수학식 1]
Figure 112017049515488-pat00009
엔트로피 파워는 같은 엔트로피 환경을 가지는 환경에서 모든 신호의 빈도가 동일한 백색잡음의 출력으로 정의된다. 부호화 에서는 측정 대상과 동일한 신호 개수를 가지고, 각 신호의 개수가 모두 동일할 때, 한 신호 종류의 세기로 볼 수 있다. 그리고 수학식 1에서 fi는 신호 i의 확률이다.
또한, 프로세서(122)는 복수의 객체 형상 모델링 부호화 모드뿐만 아니라 일 예로 H.264/AVC 부호화 모드를 적용하여 대상 블록을 부호화하였을 때의 부호화 효율도 측정할 수 있다. 그리고, 프로세서(122)는 복수의 객체 형상 모델링 부호화 모드와 H.264/AVC 부호화 모드에서 가장 부호화 효율이 높은 모드를 이용하여 깊이 영상을 부호화할 수도 있다.
H.264/AVC 부호화 모드는 블록 내 평균을 이용하여 해당 블록을 부호화 하거나 주변의 이미 부호화를 마친 블록을 이용하여 방향 성분을 부여하고 블록을 부호화 하는 것으로써, 본 발명에서의 부호화 모드가 전술한 예시적인 부호화 모드에 한정되는 것은 아니다.
프로세서(122)는 각 부호화 모드 별로 측정된 부호화 효율 중 가장 높은 효율을 보이는 부호화 모드에 따라 생성한 예측깊이값에 기초하여 대상 블록을 부호화할 수 있다(S500).
예를 들어 프로세서(122)는 예측깊이값과 측정깊이값의 차이를 이용하여 대상 블록내 각 화소를 부호화할 수 있다. 그 후 각 대상 블록에서의 블록 내 부호화된 화소와 함께 타원의 매개변수 값을 부호화하여 전체 깊이 영상을 부호화할 수 있다.
또한, 프로세서(122)는 부호화된 모든 블록을 합쳐 깊이 영상을 부호화할 수 있다(S600).
도 3은 예측깊이값을 생성하는 방법에 대한 예시적인 다이어그램이다.
이하 도 2의 S300 단계에서의 객체 형상 모델링 부호화 모드들 각각에 따라 예측깊이값을 생성하는 과정을 상세하게 설명한다.
도 3을 참조하면, 예측깊이값을 생성하는 단계(S300)는 객체의 형상 정보에 기초하여 카메라 좌표계 상의 제1 좌표와 매개변수로 이루어진 제1 방정식을 모델링하는 단계(S310), 제1 방정식을 제1 좌표가 투영된 영상 평면의 좌표계 상의 제2 좌표와 매개변수 및 예측깊이변수로 이루어진 제2 방정식으로 변환하는 단계(S320), 예측깊이변수와 제2 좌표에 대응하는 깊이 영상의 화소의 측정깊이값에 기초하여 매개변수의 값을 결정하고 제1 방정식의 인자를 생성하는 단계(S330) 및 인자 그리고 깊이 영상의 화소의 위치 정보와 측정깊이값에 기초하여 예측깊이변수의 값을 결정하고 예측깊이값을 생성하는 단계(S340)를 포함할 수 있다.
한편 S310에서 설명한 단계를 수행하기에 앞서 3차원 좌표계인 세계 좌표계(world coordinate system)와 3차원 좌표계인 카메라 좌표계(camera coordinate system)가 서로 불일치한 경우라면, 세계 좌표계를 3차원 좌표계로 변환하는 좌표 변환이 수행될 수도 있다.
또한, S320에서 설명한 단계를 수행하기에 앞서 카메라 좌표계와 영상 평면 좌표계의 중심이 일치하지 않는 경우 중심의 위치를 일치 시키기 위한 좌표 변환이 수행될 수도 있다.
또한, 전술한 제1 및 제2 방정식은 객체의 형상 모델링 부호화 모드들 각각에 따라 달라질 수 있다.
- 평면 모델링 부호화 모드
도 4는 평면 모델링 부호화 모드를 설명하기 위한 카메라 좌표계 상의 제1 좌표와 영상 평면의 제2 좌표의 관계를 나타낸 일 예시도이다.
도 3 및 도 4를 참조하면, 프로세서(122)는 카메라 좌표계 상의 제1 좌표와 매개변수로 이루어진 수학식 2의 제1 평면의 방정식을 모델링할 수 있다(S310).
[수학식 2]
Figure 112017049515488-pat00010
제1 좌표는 (X, Y, Z)로 표현될 수 있고, Z는 화소에서의 이상적인 깊이 값(예측깊이값)이 된다. 그리고
Figure 112017049515488-pat00011
는 제1 평면의 방정식의 매개변수이다.
제1 좌표는 (X, Y, Z)는 영상 평면의 (w, h) 좌표로 투영될 수 있고, 제1 좌표는 삼각형의 닮음비에 따라 (tw, th, tf)로 표현될 수 있으며, tf는 투영된 점의 Z축의 좌표이므로 곧 해당 화소에서의 이상적인 깊이 값(예측깊이값)이 된다. 따라서 프로세서(122)는 제1 평면의 방정식을 제1 좌표가 투영된 영상 평면의 좌표계 상의 제2 좌표와 매개변수 및 예측깊이변수로 이루어진 수학식 3을 충족하는 제2 평면의 방정식으로 변환할 수 있다(S320).
[수학식 3]
Figure 112017049515488-pat00012
수학식 3에서의 h, w는 영상 평면의 수직, 수평 좌표이고, f는 초점거리이다.
또한, 영상 평면 내의 각 화소들의 좌표(wn, hn)와 각 화소들의 이상적인 깊이 값(예측 깊이값) dn을 이용하여 수학식 3을 수학식 4의 행렬식으로 표현할 수 있다.
[수학식 4]
Figure 112017049515488-pat00013
프로세서(122)는 수학식 4에 대상 블록내의 모든 화소의 좌표 값 및 측정된 깊이 값을 대입한 다음, 맨 좌측 행렬을 유사 역행렬을 이용하여 최소자승법을 적용한다. 그리고 이를 통해 대상 블록 내의 모든 화소들의 위치 좌표와 측정된 깊이 값의 분포를 하나의 평면으로 추정하여 표현할 수 있으며 표현된 평면을 이루는 매개변수 α,β,γ,c의 값을 결정함으로써, 제1 평면의 방정식의 인자를 구할 수 있다(S330).
또한, 프로세서(122)는 부호화 대상 화소의 (w, h) 좌표 값과 깊이 영상의 초점 길이(f)를 값이 결정된 인자로 이루어진 제2 평면의 방정식에 대입 연산하여 t를 결정할 수 있다. 그리고 결정된 tf 값으로부터 대상 블록내의 각 화소의 예측깊이변수의 값을 결정할 수 있다. 따라서 대상 블록 내의 각 화소의 예측깊이값(tf)을 생성할 수 있다(S340).
- 곡면 모델링 부호화 모드
도 5는 곡면 모델링 부호화 모드를 설명하기 위한 카메라 좌표계 상의 제1 좌표와 영상 평면의 제2 좌표의 관계를 나타낸 일 예시도이다.
도 3 및 도 5를 참조하면, 프로세서(122)는 카메라 좌표계 상의 제1 좌표와 매개변수로 이루어진 제1 원의 방정식(수학식 5)을 모델링할 수 있다(S310).
[수학식 5]
Figure 112017049515488-pat00014
수학식 5에서의 제1 좌표는 (X, Y, X)이고, a, b, c는 구의 중심이고, r은 구의 반지름이다. 그리고 a, b, c, r은 구의 방정식의 매개변수이다.
제1 좌표(X, Y, Z)는 영상 평면의 (h, w)좌표로 투영될 수 있고, 제1 좌표는 삼각형의 닮음비에 따라 (dh/f, dw/f)로 표현될 수 있으며, d는 투영된 점의 Z축의 좌표이므로 곧 해당 화소에서의 이상적인 깊이 값(예측깊이값)된다. 따라서 프로세서(122)는 제1 원의 방정식을 수학식 6을 충족하는 제2 원의 방정식으로 변환할 수 있다(S320).
[수학식 6]
Figure 112017049515488-pat00015
수학식 6에서의 h, w는 영상 평면의 수직, 수평 좌표이고, f는 초점거리이다.
또한, 수학식 6은 d의 2차식인 수학식 7로 정리할 수 있다.
[수학식 7]
Figure 112017049515488-pat00016
또한, d의 이차식으로 나타난 수학식 7의 근을 구하면, d는 수학식 8을 충족할 수 있다.
[수학식 8]
Figure 112017049515488-pat00017
이 경우 수학식 8에서의 d는 수학식 6의 구의 매개변수 a, b, c, r이 주어졌을 때의 깊이 값으로 이상적인 깊이 값으로 볼 수 있다.
또한, 수학식 8에서의 이상적인 깊이 값 d는 값이 결정되지 않은 예측깊이변수이다.
프로세서(122)는 예측깊이변수 d와 영상 평면의 화소 (h, w)에서 실제로 측정된 깊이 값
Figure 112017049515488-pat00018
의 차이가 제일 작을 때의 매개변수 a, b, c, r를 구함으로써 대상 블록에서 최적의 구의 방정식의 인자를 결정할 수 있다(S330). 그리고 프로세서(122)는 인자와 대상 블록 화소 내의 좌표 값 그리고 초점거리(f)를 수학식 6에 대입하고 연산함에 따라 대상 블록 내의 화소
Figure 112017049515488-pat00019
의 예측깊이변수 d(예측깊이값)의 값을 결정할 수 있어 프로세서(122)는 예측깊이값을 생성할 수 있다(S340).
이 때 프로세서(122)는 모델링된 표면의 (h, w)에서의 근사된 구면의 예측깊이변수와 실제로 측정된 깊이의 오차
Figure 112017049515488-pat00020
가 최소가 되도록 인자를 결정하기 위해 최소자승법을 적용할 수 있다. 이 때
Figure 112017049515488-pat00021
는 매개변수에 대해 비선형식으로 나타나므로 가우스-뉴턴법을 적용할 수 있다.
가우스-뉴턴 법에서 n단계에서 대상 블록 내 각 화소에서의 예측깊이변수 d와 실제 측정된 깊이 값
Figure 112017049515488-pat00022
의 차로 이루어진 행렬
Figure 112017049515488-pat00023
과
Figure 112017049515488-pat00024
에서의 자코비안 행렬
Figure 112017049515488-pat00025
, 예측깊이변수 값을 나타내는
Figure 112017049515488-pat00026
은 수학식 9를 충족한다.
[수학식 9]
Figure 112017049515488-pat00027
,
Figure 112017049515488-pat00028
,
Figure 112017049515488-pat00029
Figure 112017049515488-pat00030
Figure 112017049515488-pat00031
Figure 112017049515488-pat00032
Figure 112017049515488-pat00033
또한, 가우스-뉴턴법을 적용하여 수학식 10과 같이 다음 단계의 인자 값인
Figure 112017049515488-pat00034
을 구할 수 있다.
[수학식 10]
Figure 112017049515488-pat00035
프로세서(122)는 수학식 10에 따른 연산을 P회 반복하여 주어진 깊이 값으로 이루어진 표면과 제일 근접한 구면을 구하고 구의 방정식의 매개변수의 값을 결정할 수 있다(S330). 그리고 구의 인자와 대상 블록의 화소의 좌표 값 그리고 초점거리(f)를 수학식 6에 대입하고 연산함에 따라 대상 블록의 화소
Figure 112017049515488-pat00036
의 예측깊이변수 d의 값을 결정할 수 있다. 따라서 프로세서(122)는 화소의 이상적인 깊이 값을 생성할 수 있다(S340).
이 때 초기 매개변수
Figure 112017049515488-pat00037
를 정함에 있어
Figure 112017049515488-pat00038
과
Figure 112017049515488-pat00039
값은 블록 중심의 좌표인
Figure 112017049515488-pat00040
와
Figure 112017049515488-pat00041
를 수학식 5에 대입하여 구할 수 있고,
Figure 112017049515488-pat00042
은 임의의 초기값
Figure 112017049515488-pat00043
를 대입한다.
Figure 112017049515488-pat00044
은 블록 중심의 깊이 값
Figure 112017049515488-pat00045
에서
Figure 112017049515488-pat00046
을 더한 수치를 초기 값으로 할 수 있다.
- 오목면 모델링 부호화 모드
도 6은 오목면 모델링 부호화 모드를 설명하기 위한 카메라 좌표계 상의 제1 좌표와 영상 평면의 제2 좌표의 관계를 나타낸 일 예시도이다.
도 3 및 도 6을 참조하면, 프로세서(122)는 카메라 좌표계 상의 제1 좌표(X, Y, Z)와 매개변수(a, b)로 이루어진 수학식 11의 제1 오목면의 방정식을 모델링할 수 있다(S310).
[수학식 11]
Figure 112017049515488-pat00047
X, Y, Z는 3차원 공간의 카메라 좌표계 상의 임의의 점인 제1 좌표이고, a, b는 매개변수 제1 오목면의 방정식을 이루는 매개변수이다.
또한, 프로세서(122)는 수학식 11의 제1 오목면의 방정식을 제1 좌표(X, Y, Z)가 투영된 영상 평면의 좌표계 상의 제2 좌표(h, w)와 매개변수(a, b) 및 예측깊이변수(d)로 이루어진 제2 오목면의 방정식(수학식 12)으로 변환할 수 있다(S320).
[수학식 12]
Figure 112017049515488-pat00048
h, w는 영상 평면의 수직, 수평 좌표이고, f는 초점거리이며, d는 예측깊이변수이다.
또한, 프로세서(122)는 예측깊이변수(d)와 제2 좌표(h, w)에 대응하는 대상 블록의 화소의 측정깊이값에 기초하여 매개변수(a, b)의 값을 결정할 수 있다. 따라서 프로세서(122)는 오목 곡면의 인자(값이 결정된 a, b)를 생성할 수 있다(S330).
일 예로 프로세서(122)는 수학식 13에 따른 예측깊이변수(d)와 측정깊이값
Figure 112017049515488-pat00049
의 차이(수학식 14에 따라)가 최소가 되도록 하는 매개변수(a, b)의 값을 결정할 수 있다.
[수학식 13]
Figure 112017049515488-pat00050
수학식 13에서의 d는 예측깊이변수로써 수학식 12의 제2 오목면의 방정식의 매개변수 a, b의 값이 결정되었을 때 영상 평면의 제2 좌표별로 대응하는 화소들의 이상적인 깊이 값이 된다.
[수학식 14]
Figure 112017049515488-pat00051
수학식 14에서 표시된 바와 같이 예측깊이변수 d와 (h, w)에서 실제로 측정된 깊이 값
Figure 112017049515488-pat00052
의 차이(
Figure 112017049515488-pat00053
은 오차)가 제일 작을 때의 a, b(값이 결정된 매개변수: 인자)를 구함으로써 대상 블록에서 최적의 오목 곡면의 방정식을 구하고 예측깊이변수 d의 값을 결정할 수 있다. 이 때 모델링된 표면의 (h, w)에서의 근사된 오목 곡면의 예측깊이변수 d와 실제로 측정된 깊이
Figure 112017049515488-pat00054
의 오차
Figure 112017049515488-pat00055
가 최소가 되도록 인자를 결정하기 위해 최소자승법을 적용할 수 있다. 그리고
Figure 112017049515488-pat00056
는 매개변수에 대해 비선형식으로 나타나므로 가우스-뉴턴법을 적용할 수 있다.
가우스-뉴턴 법에서 n단계에서 대상 블록내 각 화소에서의 d와 실제 측정된 깊이 값
Figure 112017049515488-pat00057
의 차로 이루어진 행렬
Figure 112017049515488-pat00058
과
Figure 112017049515488-pat00059
에서의 자코비안 행렬
Figure 112017049515488-pat00060
, 미결정매개변수 값을 나타내는
Figure 112017049515488-pat00061
은 수학식 15를 충족한다.
[수학식 15]
Figure 112017049515488-pat00062
Figure 112017049515488-pat00063
Figure 112017049515488-pat00064
또한, 가우스-뉴턴법을 적용하여 수학식 16과 같이 다음 단계의 인자 값인
Figure 112017049515488-pat00065
을 구할 수 있다.
[수학식 16]
Figure 112017049515488-pat00066
프로세서(122)는 전술한 동작을 P회 반복하여 주어진 깊이 값으로 이루어진 오목면과 제일 근접한 오목면을 구하고 제1 오목면의 방정식의 매개변수의 값을 결정할 수 있다. 그리고 프로세서(122)는 값이 결정된 인자와 대상 블록 화소 내의 좌표 값 그리고 초점거리(f)를 수학식 12에 대입하여 연산한다. 그리고 프로세서(122)는 대상 블록 내의 화소
Figure 112017049515488-pat00067
의 이상적인 깊이 값 d(예측깊이값)를 결정할 수 있다(S340).
- 타원면 모델링 부호화 모드
도 7은 타원면 모델링 부호화 모드를 설명하기 위한 카메라 좌표계 상의 제1 좌표와 영상 평면의 제2 좌표의 관계를 나타낸 일 예시도이다.
도 3 및 도 7을 참조하면, 프로세서(122)는 카메라 좌표계 상의 제1 좌표(X, Y, Z)와 매개변수(a, b, c, A, B, C)로 이루어진 제1 타원의 방정식을 모델링할 수 있다(S310). 일 예로 제1 타원의 방정식은 수학식 17과 같은 타원의 방정식이 될 수 있다.
[수학식 17]
Figure 112017049515488-pat00068
X, Y, Z는 3차원 공간의 카메라 좌표계 상의 임의의 점인 제1 좌표이고, a, b, c, A, B, C는 매개변수 제1 타원의 방정식을 이루는 매개변수이다.
또한, 프로세서(122)는 수학식 17의 제1 타원의 방정식을 제1 좌표(X, Y, Z)가 투영된 영상 평면의 좌표계 상의 제2 좌표(h, w)와 매개변수(a, b, c, A, B, C) 및 예측깊이변수(d)로 이루어진 제2 타원의 방정식(수학식 18)으로 변환할 수 있다(S320).
[수학식 18]
Figure 112017049515488-pat00069
h, w는 영상 평면의 수직, 수평 좌표이고, f는 초점거리이며, d는 예측깊이변수이다.
또한, 프로세서(122)는 예측깊이변수(d)와 제2 좌표(h, w)에 대응하는 대상 블록 내 화소의 측정깊이값에 기초하여 매개변수(a, b)의 값을 결정할 수 있다. 따라서 프로세서(122)는 타원의 인자(값이 결정된 a, b, c, A, B, C)를 생성할 수 있다(S330).
일 예로 프로세서(122)는 수학식 19에 따른 예측깊이변수(d)와 측정깊이값
Figure 112017049515488-pat00070
의 차이(수학식 20에 따라)가 최소가 되도록 하는 매개변수(a, b, c, A, B, C)의 값을 결정할 수 있다.
[수학식 19]
Figure 112017049515488-pat00071
Figure 112017049515488-pat00072
Figure 112017049515488-pat00073
Figure 112017049515488-pat00074
Figure 112017049515488-pat00075
Figure 112017049515488-pat00076
Figure 112017049515488-pat00077
Figure 112017049515488-pat00078
수학식 19에서의 d는 예측깊이변수로써 수학식 18의 제2 타원의 방정식의 매개변수 a, b, c, A, B, C의 값이 결정되었을 때, 영상 평면의 제2 좌표별로 대응하는 화소들의 이상적인 깊이 값이 될 수 있다. 다만, 현 단계에서 d의 값은 결정되지 않았으므로 예측깊이변수가 된다.
[수학식 20]
Figure 112017049515488-pat00079
수학식 20에서 표시된 바와 같이 예측깊이변수 d와 (h, w)에서 실제로 측정된 깊이 값
Figure 112017049515488-pat00080
의 차이(
Figure 112017049515488-pat00081
은 오차)가 제일 작을 때의 a, b, c, A, B, C(값이 결정된 매개변수: 인자)를 구함으로써 대상 블록에서 최적의 타원의 방정식을 구하고 예측깊이변수 d의 값을 결정할 수 있다. 이 때 모델링된 표면의 (h, w)에서의 근사된 타원의 예측깊이변수 d와 실제로 측정된 깊이
Figure 112017049515488-pat00082
의 오차
Figure 112017049515488-pat00083
가 최소가 되도록 인자를 결정하기 위해 최소자승법을 적용할 수 있다. 그리고
Figure 112017049515488-pat00084
는 매개변수에 대해 비선형식으로 나타나므로 가우스-뉴턴법을 적용할 수 있다.
가우스-뉴턴 법에서 n단계에서 대상 블록내 각 화소에서의 d와 실제 측정된 깊이 값
Figure 112017049515488-pat00085
의 차로 이루어진 행렬
Figure 112017049515488-pat00086
과
Figure 112017049515488-pat00087
에서의 자코비안 행렬
Figure 112017049515488-pat00088
, 미결정매개변수 값을 나타내는
Figure 112017049515488-pat00089
은 수학식 21를 충족한다.
[수학식 21]
Figure 112017049515488-pat00090
Figure 112017049515488-pat00091
Figure 112017049515488-pat00092
또한, 가우스-뉴턴법을 적용하여 수학식 22와 같이 다음 단계의 인자 값인
Figure 112017049515488-pat00093
을 구할 수 있다.
[수학식 22]
Figure 112017049515488-pat00094
프로세서(122)는 전술한 동작을 P회 반복하여 주어진 깊이 값으로 이루어진 타원의 객체와 제일 근접한 타원을 구하고 제1 타원의 방정식의 매개변수의 값을 결정할 수 있다. 그리고 프로세서(122)는 값이 결정된 인자와 대상 블록 화소 내의 좌표 값 그리고 초점거리(f)를 수학식 18에 대입 연산한다. 따라서 프로세서(122)는 대상 블록 내의 화소
Figure 112017049515488-pat00095
의 이상적인 깊이 값 d(예측깊이값)를 결정할 수 있다(S340).
실시예는 종래의 DPCM(Differential Pulse Code Modulation)을 통해 부호화를 한 경우에 비해 엔트로피 파워가 줄어들어 부호화 효율이 높아지는 효과를 가진다.
또한, 실시예는 객체의 형상의 특징을 분석하고, 이에 기초하여 가장 부호화 효율이 좋은 부호화 모드에 따라 깊이 영상을 부호화할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한, 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
100: 깊이영상처리장치
110: 영상 소스
120: 영상처리부
121: 메모리
122: 프로세서
130: 출력인터페이스
200: 데이터수신장치
210: 디스플레이 다비이스
220: 데이터 처리부
230: 입력 인터페이스

Claims (10)

  1. 깊이 영상을 복수의 블록으로 분할하는 단계;
    상기 복수의 블록 중 대상 블록 내의 화소들의 깊이 값에 기초하여 객체의 형상 정보를 검출하는 단계;
    상기 객체의 형상 정보에 기초한 복수의 객체 형상 모델링 부호화 모드 각각을 적용하여 상기 대상 블록의 화소에 대한 예측깊이값을 생성하는 단계;
    상기 예측깊이값에 기초하여 상기 복수의 객체 형상 모델링 부호화 모드 각각에 대한 부호화 효율을 측정하는 단계; 및
    상기 부호화 효율에 기초하여 상기 대상 블록을 부호화 하는 단계;를 포함하고,
    상기 예측깊이값을 생성하는 단계는,
    상기 객체의 형상 정보에 기초하여 카메라 좌표계 상의 제1 좌표와 매개변수로 이루어진 제1 방정식을 모델링하는 단계;
    상기 제1 방정식을 상기 제1 좌표가 투영된 영상 평면의 좌표계 상의 제2 좌표와 상기 매개변수 및 예측깊이변수로 이루어진 제2 방정식으로 변환하는 단계;
    상기 예측깊이변수와 상기 제2 좌표에 대응하는 깊이 영상의 화소의 측정깊이값에 기초하여 상기 매개변수의 값을 결정하고 상기 제1 방정식의 인자를 생성하는 단계; 및
    상기 인자 그리고 상기 깊이 영상의 화소의 위치 정보와 측정깊이값에 기초하여 상기 예측깊이변수의 값을 결정하고 예측깊이값을 생성하는 단계;를 포함하는
    깊이 영상의 화면 내 예측 부호화 방법.
  2. 삭제
  3. 제1 항에 있어서,
    상기 예측깊이값과 상기 측정깊이값의 차이에 기초하여 상기 깊이 영상을 부호화하는 단계;를 더 포함하는
    깊이 영상의 화면 내 예측 부호화 방법.
  4. 제1 항에 있어서,
    상기 인자, 상기 예측깊이값과 상기 측정깊이값의 차이에 기초하여 상기 깊이 영상을 부호화하는 단계;를 더 포함하는
    깊이 영상의 화면 내 예측 부호화 방법.
  5. 제1 항에 있어서,
    상기 예측깊이변수와 상기 제2 좌표에 대응하는 깊이 영상의 화소의 측정깊이값에 기초하여 상기 매개변수의 값을 결정하고 상기 제1 방정식의 인자를 생성하는 단계는,
    상기 예측깊이변수와 상기 측정깊이값의 차이가 최소가 되도록 하는 상기 매개변수의 값을 결정하는
    깊이 영상의 화면 내 예측 부호화 방법.
  6. 제1 항에 있어서,
    상기 제1 및 제2 방정식은 수학식 1 내지 4 중 어느 하나인
    깊이 영상의 화면 내 예측 부호화 방법.
    [수학식 1]
    제1 방정식:
    Figure 112018019682379-pat00096

    제2 방정식:
    Figure 112018019682379-pat00097

    [수학식 2]
    제1 방정식:
    Figure 112018019682379-pat00098

    제2 방정식:
    Figure 112018019682379-pat00099

    [수학식 3]
    제1 방정식:
    Figure 112018019682379-pat00100

    제2 방정식:
    Figure 112018019682379-pat00101

    [수학식 4]
    제1 방정식:
    Figure 112018019682379-pat00102

    제2 방정식:
    Figure 112018019682379-pat00103

    (X, Y, Z)는 제1 좌표이고, h, w는 영상 평면의 수직, 수평 좌표이고, α,β,γ, a, b, c, r, A, B, C는 각 방정식의 매개변수이고, f는 초점거리이며, d는 예측깊이변수이다.
  7. 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령어들은 적어도 하나의 프로세서로 하여금 동작들을 수행하게 하기 위해 상기 프로세서에 의해 실행가능하고,
    상기 동작들은:
    깊이 영상을 복수의 블록으로 분할하고,
    상기 복수의 블록 중 대상 블록 내의 화소들의 깊이 값에 기초하여 객체의 형상 정보를 검출하고,
    상기 객체의 형상 정보에 기초한 복수의 객체 형상 모델링 부호화 모드 각각을 적용하여 상기 대상 블록의 화소에 대한 예측깊이값을 생성하고,
    상기 예측깊이값에 기초하여 상기 복수의 객체 형상 모델링 부호화 모드 각각에 대한 부호화 효율을 측정하며,
    상기 부호화 효율에 기초하여 상기 대상 블록을 부호화 하는
    것을 포함하고,
    상기 예측깊이값을 생성하는 동작은,
    상기 객체의 형상 정보에 기초하여 카메라 좌표계 상의 제1 좌표와 매개변수로 이루어진 제1 방정식을 모델링하고;
    상기 제1 방정식을 상기 제1 좌표가 투영된 영상 평면의 좌표계 상의 제2 좌표와 상기 매개변수 및 예측깊이변수로 이루어진 제2 방정식으로 변환하고,
    상기 예측깊이변수와 상기 제2 좌표에 대응하는 깊이 영상의 화소의 측정깊이값에 기초하여 상기 매개변수의 값을 결정하고 상기 제1 방정식의 인자를 생성하며,
    상기 인자 그리고 상기 깊이 영상의 화소의 위치 정보와 측정깊이값에 기초하여 상기 예측깊이변수의 값을 결정하고 예측깊이값을 생성하는 것을 포함하는
    비일시적 컴퓨터 판독가능 매체.
  8. 삭제
  9. 적어도 하나의 메모리; 및
    적어도 하나의 프로세서;를 포함하고,
    상기 적어도 하나의 프로세서는
    깊이 영상을 복수의 블록으로 분할하고,
    상기 복수의 블록 중 대상 블록 내의 화소들의 깊이 값에 기초하여 객체의 형상 정보를 검출하고,
    상기 객체의 형상 정보에 기초한 복수의 객체 형상 모델링 부호화 모드 각각을 적용하여 상기 대상 블록의 화소에 대한 예측깊이값을 생성하고,
    상기 예측깊이값에 기초하여 상기 복수의 객체 형상 모델링 부호화 모드 각각에 대한 부호화 효율을 측정하며,
    상기 부호화 효율에 기초하여 상기 대상 블록을 부호화 하도록 구성되고,
    상기 프로세서는,
    상기 객체의 형상 정보에 기초하여 카메라 좌표계 상의 제1 좌표와 매개변수로 이루어진 제1 방정식을 모델링하고;
    상기 제1 방정식을 상기 제1 좌표가 투영된 영상 평면의 좌표계 상의 제2 좌표와 상기 매개변수 및 예측깊이변수로 이루어진 제2 방정식으로 변환하고,
    상기 예측깊이변수와 상기 제2 좌표에 대응하는 깊이 영상의 화소의 측정깊이값에 기초하여 상기 매개변수의 값을 결정하고 상기 제1 방정식의 인자를 생성하며,
    상기 인자 그리고 상기 깊이 영상의 화소의 위치 정보와 측정깊이값에 기초하여 상기 예측깊이변수의 값을 결정하고 예측깊이값을 생성하도록 구성되는
    깊이 영상의 화면 내 예측 부호화 장치.
  10. 삭제
KR1020170064060A 2017-05-24 2017-05-24 깊이 영상의 화면 내 예측 부호화 방법 및 장치 KR101865826B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170064060A KR101865826B1 (ko) 2017-05-24 2017-05-24 깊이 영상의 화면 내 예측 부호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170064060A KR101865826B1 (ko) 2017-05-24 2017-05-24 깊이 영상의 화면 내 예측 부호화 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101865826B1 true KR101865826B1 (ko) 2018-06-08

Family

ID=62599838

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170064060A KR101865826B1 (ko) 2017-05-24 2017-05-24 깊이 영상의 화면 내 예측 부호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101865826B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102224315B1 (ko) 2019-09-03 2021-03-05 동의대학교 산학협력단 깊이 영상의 화면 내 예측 부호화 방법 및 장치
KR102224321B1 (ko) * 2019-09-03 2021-03-05 동의대학교 산학협력단 평면 모델링을 통한 깊이 영상 부호화 방법 및 장치
KR20210027768A (ko) * 2019-09-03 2021-03-11 동의대학교 산학협력단 표면 모델링을 통한 깊이 영상의 처리 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
KR20210059406A (ko) * 2019-11-15 2021-05-25 동의대학교 산학협력단 구면 모델링을 통한 깊이 영상의 처리 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032485A (ko) * 2009-09-23 2011-03-30 삼성전자주식회사 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치
KR20110121003A (ko) 2010-04-30 2011-11-07 한국표준과학연구원 흙막이 공사현장의 붕괴 안전성 평가 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032485A (ko) * 2009-09-23 2011-03-30 삼성전자주식회사 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치
KR20110121003A (ko) 2010-04-30 2011-11-07 한국표준과학연구원 흙막이 공사현장의 붕괴 안전성 평가 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102224315B1 (ko) 2019-09-03 2021-03-05 동의대학교 산학협력단 깊이 영상의 화면 내 예측 부호화 방법 및 장치
KR102224321B1 (ko) * 2019-09-03 2021-03-05 동의대학교 산학협력단 평면 모델링을 통한 깊이 영상 부호화 방법 및 장치
KR20210027768A (ko) * 2019-09-03 2021-03-11 동의대학교 산학협력단 표면 모델링을 통한 깊이 영상의 처리 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
KR102231759B1 (ko) * 2019-09-03 2021-03-23 동의대학교 산학협력단 표면 모델링을 통한 깊이 영상의 처리 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
KR20210059406A (ko) * 2019-11-15 2021-05-25 동의대학교 산학협력단 구면 모델링을 통한 깊이 영상의 처리 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
KR102262030B1 (ko) * 2019-11-15 2021-06-07 동의대학교 산학협력단 구면 모델링을 통한 깊이 영상의 처리 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체

Similar Documents

Publication Publication Date Title
KR101865826B1 (ko) 깊이 영상의 화면 내 예측 부호화 방법 및 장치
US9558543B2 (en) Image fusion method and image processing apparatus
KR102080694B1 (ko) 곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법 및 장치와 비일시적 컴퓨터 판독가능 기록매체
KR20170031033A (ko) 과노출 정정을 위한 방법, 시스템 및 장치
KR101904120B1 (ko) 타원면 모델링을 통한 깊이 영상의 처리 방법 및 장치
Zhang et al. Fine-grained quality assessment for compressed images
US10531082B2 (en) Predictive light-field compression
CA2674149A1 (en) Banding artifact detection in digital video content
KR101817140B1 (ko) 평면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치
JP2017515188A (ja) ピクチャを処理する方法及びデバイス
KR101904125B1 (ko) 오목면 모델링을 통한 깊이 영상의 처리 방법 및 장치
KR102122905B1 (ko) 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체
KR101906173B1 (ko) 깊이 영상에서 신축을 이용한 움직임 추정 방법 및 장치
KR102074929B1 (ko) 깊이 영상을 통한 평면 검출 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
KR101904108B1 (ko) 평면 모델링을 통한 깊이 영상의 가변적 블록 부호화 방법 및 장치
JP6138706B2 (ja) 電子透かし埋め込み方法または電子透かし検出方法
KR102098322B1 (ko) 평면모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법 및 장치와 비일시적 컴퓨터 판독가능 기록매체
CN111243046A (zh) 图像质量检测方法、装置、电子设备及存储介质
US12035033B2 (en) DNN assisted object detection and image optimization
KR102224315B1 (ko) 깊이 영상의 화면 내 예측 부호화 방법 및 장치
KR102224321B1 (ko) 평면 모델링을 통한 깊이 영상 부호화 방법 및 장치
KR102262030B1 (ko) 구면 모델링을 통한 깊이 영상의 처리 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
KR102231759B1 (ko) 표면 모델링을 통한 깊이 영상의 처리 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
CN110383295B (zh) 图像处理装置、图像处理方法以及计算机能读取的存储介质
KR102329383B1 (ko) 평면 모델링 인자 예측을 통한 깊이 화면 부호화 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant