KR20130081004A - 깊이 영상 처리 장치 및 방법 - Google Patents

깊이 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20130081004A
KR20130081004A KR1020120001938A KR20120001938A KR20130081004A KR 20130081004 A KR20130081004 A KR 20130081004A KR 1020120001938 A KR1020120001938 A KR 1020120001938A KR 20120001938 A KR20120001938 A KR 20120001938A KR 20130081004 A KR20130081004 A KR 20130081004A
Authority
KR
South Korea
Prior art keywords
depth image
compressed
filter
image processing
kernel value
Prior art date
Application number
KR1020120001938A
Other languages
English (en)
Inventor
임일순
위호천
이재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120001938A priority Critical patent/KR20130081004A/ko
Publication of KR20130081004A publication Critical patent/KR20130081004A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

깊이 영상 처리 장치 및 그 동작 방법이 개시된다. 본 발명의 일실시예에 따른 깊이 영상 처리 장치는, 압축 깊이 영상 및 압축 색상 영상을 입력 받는 입력부; 상기 압축 깊이 영상을 이용하여 제1 커널(Kernel) 값을 연산하고, 상기 압축 색상 영상을 이용하여 제2 커널 값을 연산하는 연산부; 및 상기 제1 커널 값 및 상기 제2 커널 값에 기반하여 상기 압축 깊이 영상에 대하여 레인즈 필터 연산을 수행하여 복원 깊이 영상을 생성하는 처리부를 포함할 수 있다.

Description

깊이 영상 처리 장치 및 방법{Apparatus and Method for Processing Depth Image}
본 발명의 실시예들은 깊이 영상 처리 장치 및 그 동작 방법에 관한 것이다.
입체 영상 압축 시스템은 색상 영상(color video)과 깊이 영상(depth video, depth map)을 압축하는 시스템이다. 한편, 색상 영상에 대한 압축은 H.264/AVC, H.264/MVC, HEVC와 같은 방법으로 효율적으로 압축할 수 있지만, 깊이 영상은 영상 특성이 색상 영상과 확연히 다르다.
깊이 영상은 보는 사람과 물체 사이의 공간적인 거리를 그레이 레벨(gray level)로 표현한 데이터로서, 대부분의 평탄 영역(smooth region)과 소수의 불연속적인 윤곽선으로 구성된 특징이 있다. 따라서 깊이 영상에 대한 새로운 압축 방법이 필요한 실정이다.
종래에는 압축으로 인한 깊이 영상의 화질 열화를 개선하기 위하여 전처리 과정(pre-processing)으로서 깊이영상에 대하여 LPF(Low Pass Filter)를 수행한 후에 압축 시스템으로 입력 하여 깊이 영상을 압축시키는 방법이 있었다. 이 방법은 깊이 영상을 전체적으로 블러(blur) 시킴으로서 깊이 영상의 압축률을 향상시키는 장점이 있지만, 영상의 화질에 큰 영향을 미치는 불연속적인 윤곽선 부분까지 블러시키는 문제가 있다.
본 발명의 일실시예에 따른 깊이 영상 처리 장치는, 압축 깊이 영상 및 압축 색상 영상을 입력 받는 입력부; 상기 압축 깊이 영상을 이용하여 제1 커널(Kernel) 값을 연산하고, 상기 압축 색상 영상을 이용하여 제2 커널 값을 연산하는 연산부; 및 상기 제1 커널 값 및 상기 제2 커널 값에 기반하여 상기 압축 깊이 영상에 대하여 레인즈 필터 연산을 수행하여 복원 깊이 영상을 생성하는 처리부를 포함할 수 있다.
본 발명의 일실시예에 따른 깊이 영상 처리 장치는, 압축 깊이 영상 및 압축 색상 영상을 입력 받는 입력부; 및 (1) 상기 압축 깊이 영상만을 이용하여 레인즈 필터(Range Filter) 연산 또는 트라이래트럴 필터(Trilateral Filter) 연산을 수행하는 방식 및 (2) 상기 압축 깊이 영상 및 상기 압축 색상 영상을 이용하여 레인즈 필터 연산을 수행하는 방식 중 어느 하나의 필터 방식을 상기 압축 깊이 영상에 대하여 적용하여 복원 깊이 영상을 생성하는 처리부를 포함할 수 있다.
본 발명의 일실시예에 따른 깊이 영상 처리 장치의 동작 방법은, 압축 깊이 영상 및 압축 색상 영상을 입력 받는 단계; 상기 압축 깊이 영상을 이용하여 제1 커널(Kernel) 값을 연산하는 단계; 상기 압축 색상 영상을 이용하여 제2 커널 값을 연산하는 단계; 상기 제1 커널 값 및 상기 제2 커널 값에 기반하여 상기 압축 깊이 영상에 대하여 레인즈 필터 연산을 수행하여 복원 깊이 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 깊이 영상 처리 장치의 동작 방법은, 압축 깊이 영상 및 압축 색상 영상을 입력 받는 단계; 및 (1) 상기 압축 깊이 영상만을 이용하여 레인즈 필터(Range Filter) 연산 또는 트라이래트럴 필터(Trilateral Filter) 연산을 수행하는 방식 및 (2) 상기 압축 깊이 영상 및 상기 압축 색상 영상을 이용하여 레인즈 필터 연산을 수행하는 방식 중 어느 하나의 필터 방식을 상기 압축 깊이 영상에 대하여 적용하여 복원 깊이 영상을 생성하는 단계를 포함할 수 있다.
압축 깊이 영상에 대하여 필터 연산을 수행하여 복원 깊이 영상을 생성함으로써, 3차원 압축 시스템에서 깊이 영상의 화질을 향상시키고 압축율을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 깊이 영상 처리 장치의 동작 방법을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 깊이 영상 처리 장치의 구성을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 깊이 영상 처리 장치가 압축 시스템의 부호화기에 인-루프 위치에 적용되는 루프 필터로 구현되는 실시예를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 깊이 영상 처리 장치가 압축 시스템의 복호화기에 인-루프 위치에 적용되는 루프 필터로 구현되는 실시예를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 깊이 영상 처리 장치가 압축 시스템의 부호화기의 후단(Post)에 적용되는 포스트 필터(Post Filter)로 구현되는 실시예를 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 깊이 영상 처리 장치가 압축 시스템의 복호화기의 후단(Post)에 적용되는 포스트 필터(Post Filter)로 구현되는 실시예를 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 깊이 영상 처리 장치의 동작 방법을 나타내는 흐름도이다.
도 8은 본 발명의 또 다른 일실시예에 따른 깊이 영상 처리 장치의 동작을 나타내는 흐름도이다.
이하에서, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 깊이 영상 처리 장치의 동작 방법을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 깊이 영상 처리 장치는 압축 깊이 영상(101)에 대한 복원 깊이 영상(103)을 생성할 수 있다.
이 때, 깊이 영상 처리 장치는 압축 깊이 영상(101)을 이용하여 제1 커널(Kr) 값을 연산하고(110), 압축 색상 영상(102)을 이용하여 제2 커널(Kc) 값을 연산할 수 있다(120). 또한, 깊이 영상 처리 장치는 연산된 제1 커널 및 제2 커널 값을 이용한 필터 연산을 수행하여 복원 깊이 영상(103)을 생성할 수 있다(130).
이하, 도 2를 참조하여, 깊이 영상 처리 장치의 세부 구성에 대해서 자세히 설명한다.
도 2는 본 발명의 일실시예에 따른 깊이 영상 처리 장치의 구성을 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 깊이 영상 처리 장치(200)는 입력부(210), 연산부(220) 및 처리부(230)를 포함할 수 있다.
입력부(210)는 압축 깊이 영상(240) 및 압축 색상 영상(250)을 입력 받을 수 있다.
연산부(220)는 입력 받은 압축 깊이 영상(240)을 이용하여 제1 커널(Kernel) 값을 연산할 수 있다.
본 발명의 일측에 따르면, 제1 커널 값을 연산하기 위하여, 연산부(220)는 압축 깊이 영상(240)의 현재 픽셀(241)과 현재 픽셀(241)로부터 기준 범위 내에 있는 이웃 픽셀(242, 243) 사이의 차이를 연산할 수 있다. 또한, 연산부(220)는 연산된 차이를 이용하여 현재 픽셀(241)에 대한 가중치를 연산할 수 있다. 또한, 연산부(220)는 연산된 가중치에 기반하여 제1 커널 값을 연산할 수 있다. 이상 설명한 제1 커널 값을 연산하기 위한 연산부(220)의 연산 동작을 수식으로 표현하면, 수식 1과 같이 나타낼 수 있다.
수식 1
Figure pat00001
이 때, Kd는 제1 커널(레인지 커널), Id는 깊이 영상, wd는 제1 커널(레인지 커널)의 요소,
Figure pat00002
는 제1 커널(레인지 커널)의 필터 파라미터,
Figure pat00003
는 절대값 연산 기호, e는 지수함수를 나타낸다.
연산부(220)는 입력 받은 압축 색상 영상(250)을 이용하여 제2 커널 값을 연산할 수 있다.
본 발명의 일측에 따르면, 제2 커널 값을 연산하기 위하여, 연산부(220)는 압축 색상 영상(250)의 현재 픽셀(251)을 포함하는 현재 템플릿(252)과 현재 픽셀(251)로부터 기준 범위 내에 있는 이웃 템플릿(253, 254) 사이의 유사도를 연산할 수 있다. 또한, 연산부(220)는 연산된 유사도를 이용하여 현재 픽셀(251)에 대한 가중치를 연산할 수 있다. 또한, 연산부(220)는 연산된 가중치에 기반하여 제2 커널 값을 연산할 수 있다. 이상 설명한 제2 커널 값을 연산하기 위한 연산부(220)의 연산 동작을 수식으로 표현하면, 수식 2와 같이 나타낼 수 있다.
수식 2
Figure pat00004
이 때, Kc는 제2 커널(넌로컬(Non-Local) 커널), Ic는 색상 영상, wc는 제2 커널(넌로컬 커널)의 요소, h는 제1 커널(레인지 커널)의 필터 파라미터,
Figure pat00005
는 놈(norm) 연산 기호, e는 지수함수를 나타낸다. 특히,
Figure pat00006
는 분산이 a인 2-놈(norm)연산의 거듭제곱을 나타낸다. My는 y가 중심인 인접 픽셀의 집합, v는
Figure pat00007
함수를 나타낸다.
처리부(230)는 연산된 제1 커널 값 및 제2 커널 값에 기반하여 압축 깊이 영상(240)에 대하여 레인즈 필터(Range Filter) 연산을 수행하여 복원 깊이 영상(260)을 생성할 수 있다.
본 발명의 일측에 따르면, 압축 깊이 영상(240)에 대하여 레인즈 필터 연산을 수행하기 위하여, 처리부(230)는 레인즈 필터에 대한 필터 강도 파라미터를 결정할 수 있다. 필터 성능을 결정하는 주요한 필터 강도 파라미터로는
Figure pat00008
(제1 필터 강도 파라미터 1)과 h(제2 필터 강도 파라미터)를 포함할 수 있다. 실시예에 따라서는, 처리부(230)는 전수 검색 방법 및 최적화 방법 중 어느 하나를 이용하여 필터 강도 파라미터를 결정할 수 있다. 수식 3은 일실시예에 따른 최적화 방법을 나타내는 수식을 나타낸다.
수식 3
Figure pat00009
이 때,
Figure pat00010
는 최적의
Figure pat00011
, D는 왜곡함수를 나타낸다.
본 발명의 일측에 따르면, 깊이 영상 처리 장치(200)가 압축 시스템의 부호화기에 모듈의 형태로 삽입되어 동작할 때, 처리부(230)는 필터 강도 파라미터를 결정하면, 압축 깊이 영상(240)에 대한 비트 스트림(Bit Stream)에 결정된 필터 강도 파라미터를 기록할 수 있다. 따라서, 압축 시스템의 복호화기는 비트 스트림을 전송 받고, 전송 받은 비트 스트림으로부터 필터 강도 파라미터를 획득할 수 있다.
필터 강도 파라미터를 결정하면, 처리부(230)는 필터 강도 파라미터를 이용하여 제1 커널 값과 제2 커널 값을 컨볼루션할 수 있다. 수식 4는 처리부(230)가 제1 커널 값과 제2 커널 값을 컨볼루션하는 것을 나타낸다.
수식 4
Figure pat00012
이 때, N(x)는 x 주변에 위치한 픽셀들의 집합, y는 N(x)의 원소, C는 정규화 상수, Id는 입력 깊이 영상,
Figure pat00013
은 제1 커널과 제2 커널을 이용한 출력 깊이 영상을 나타낸다.
컨볼루션 연산이 완료되면, 처리부(230)는 압축 깊이 영상(240)에 컨볼류션된 값을 적용하여 레인즈 필터 연산을 수행할 수 있다. 따라서 처리부(230)는 레인즈 필터 연산을 수행함으로써, 복원 깊이 영상(260)을 생성할 수 있다.
본 발명의 일측에 따르면, 도 2를 참조하여 이상 설명한 깊이 영상 처리 장치(200)의 레인즈 필터 연산을 수행하는 동작은 압축 깊이 영상(240)의 모든 프레임(Frame)에 적용될 수도 있고, 또는 압축 깊이 영상(240)의 복수 개의 프레임에 대하여 선택적으로 적용될 수도 있다. 즉, 압축 깊이 영상(240)의 복수 개의 프레임 중 일부에 대해서는 레인즈 필터 연산을 수행할 수 있고, 다른 일부에 대해서는 레인즈 필터 연산을 수행하지 않을 수 있다.
따라서, 복수 개의 프레임 중 일부에 대해서만 선택적으로 레인즈 필터 연산을 수행하는 경우, 처리부(230)는 복수 개의 프레임 각각에 대하여 해당 프레임에 레인즈 필터 연산을 수행하였는지 여부를 나타내는 프레임 플래그(Frame Flag)(예를 들어, 1 또는 0)를 압축 깊이 영상(240)에 대한 비트 스트림에 기록할 수 있다.
이상 깊이 영상 처리 장치(200)가 입력 받은 i) 압축 깊이 영상(240) 및 ii) 압축 색상 영상(250)을 이용하여 압축 깊이 영상(240)에 대하여 필터 연산을 수행함으로써 복원 깊이 영상(260)을 생성하는 동작에 대하여 설명하였다.
본 발명의 일측에 따르면, 깊이 영상 처리 장치(200)는 압축 깊이 영상(240)만을 이용하여 필터 연산을 수행함으로써 복원 깊이 영상(260)을 생성할 수도 있다.
즉, 깊이 영상 처리 장치(200)는 입력 받은 i) 압축 깊이 영상(240)만을 이용하여 필터 연산을 수행할 수도 있고, ii) 압축 깊이 영상(240) 및 압축 색상 영상(250)을 모두 이용하여 필터 연산을 수행할 수도 있다.
이 때, 처리부(230)는 (1) 압축 깊이 영상(240)만을 이용하여 레인즈 필터(Range Filter) 연산 또는 트라이래트럴 필터(Trilateral Filter) 연산을 수행하는 방식 및 (2) 압축 깊이 영상(240) 및 압축 색상 영상(250)을 이용하여 레인즈 필터 연산을 수행하는 방식 중 어느 하나의 필터 방식을 압축 깊이 영상(240)에 대하여 적용하여 복원 깊이 영상(260)을 생성할 수 있다.
수식 5는 처리부(230)가 압축 깊이 영상(240)만을 이용하여 레인즈 필터 연산을 수행하는 동작을 나타내는 수식이다.
수식 5
Figure pat00014
이 때, Id는 입력 깊이 영상,
Figure pat00015
은 레인즈 필터 연산을 수행한 출력 깊이 영상을 의미한다.
또한, 수식 6은 처리부(230)가 압축 깊이 영상(240)만을 이용하여 트라이래트럴 필터 연산을 수행하는 동작을 나타내는 수식이다.
수식 6
Figure pat00016
이 때, Id는 입력 깊이 영상,
Figure pat00017
은 트라이래트럴 필터 연산을 수행한 출력 깊이 영상을 의미한다.
일실시예에 따른 처리부(230)는 압축 깊이 영상(240)에 대하여 어느 필터 방식을 적용하였는지를 나타내는 필터방식 플래그를 압축 깊이 영상(240)에 대한 비트 스트림에 기록할 수 있다.
이상 설명한 것과 같이, 일실시예에 따른 깊이 영상 처리 장치(200)의 처리부(230)는 압축 깊이 영상(240)에 대한 적용 필터방식, 프레임에 필터 연산을 적용하였는지 여부, 필터 강도 파라미터 등의 부가 정보를 압축 깊이 영상(240)에 대한 비트 스트림에 기록할 수 있다. 이 때, 표 1은 처리부(230)가 비트 스트림에 기록하는 부가 정보에 대한 신택스(Syntax)를 나타내는 표이다.
표 1
Figure pat00018

이상 설명한 깊이 영상 처리 장치는 압축 시스템의 부호화기 및 복호화기에 모듈의 형태로 삽입될 수 있다. 실시예에 따라서는, 깊이 영상 처리 장치는 압축 시스템의 부호화기 및 복호화기에 인-루프(In-Loop) 위치에 적용되는 루프 필터(Loop Filter)로 구현될 수 있다. 또한, 깊이 영상 처리 장치는 압축 시스템의 부호화기 및 복호화기의 후단(Post)에 적용되는 포스트 필터(Post Filter)로 구현될 수 있다.
도 3은 본 발명의 일실시예에 따른 깊이 영상 처리 장치가 압축 시스템의 부호화기에 인-루프 위치에 적용되는 루프 필터로 구현되는 실시예를 나타내는 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 깊이 영상 처리 장치는 압축 시스템의 부호화기에 루프 필터(300)로서 포함될 수 있다.
압축 시스템의 부호화기는 인트라 예측부(301), 움직임 추정 및 보상부(302), 제1차분기(303), 변환 및 양자화부(304), 엔트로피 코딩부(307), 역양자화 및 역변환부(305), 제2차분기(306), 루프 필터(300) 및 픽처 버퍼(308)를 포함할 수 있다.
압축 시스템의 부호화기는 입력되는 압축 깊이 영상에 대하여 레인즈 필터 연산을 적용하고, 복원된 깊이 영상은 픽처 버퍼(308)로 저장할 수 있다. 압축 시스템의 부호화기에서 결정한 부가 정보는 비트 스트림에 기록되어 압축 시스템의 복호화기로 전송될 수 있다.
도 4는 본 발명의 일실시예에 따른 깊이 영상 처리 장치가 압축 시스템의 복호화기에 인-루프 위치에 적용되는 루프 필터로 구현되는 실시예를 나타내는 도면이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 깊이 영상 처리 장치는 루프 필터(400)의 형태로 압축 시스템의 복호화기에 포함될 수 있다.
압축 시스템의 복호화 장치는 엔트로피 디코딩부(401), 역양자화 및 역변환부(402), 움직임 추정 및 보상부(403), 가산부(404), 루프 필터(400) 및 픽처 버퍼(405)를 포함할 수 있다.
압축 시스템의 복호화기는 압축 시스템의 부호화기로부터 전송되는 비트 스트림을 수신하고, 수신된 비트 스트림으로부터 부가 정보를 획득할 수 있다. 또한, 압축 시스템의 복호화기는 부가 정보를 이용하여 깊이 영상을 복원할 수 있고, 복원된 깊이 영상은 픽처 버퍼(405)에 저장할 수 있다.
도 5는 본 발명의 일실시예에 따른 깊이 영상 처리 장치가 압축 시스템의 부호화기의 후단(Post)에 적용되는 포스트 필터(Post Filter)로 구현되는 실시예를 나타내는 도면이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 깊이 영상 처리 장치는 압축 시스템의 부호화기에 포스트 필터(520)로서 포함될 수 있다.
압축 시스템의 부호화기는 인트라 예측부(501), 움직임 추정 및 보상부(502), 제1차분기(503), 변환 및 양자화부(504), 엔트로피 코딩부(507), 역양자화 및 역변환부(505), 제2차분기(506), 포스트 필터(520) 및 픽처 버퍼(508)를 포함할 수 있다.
압축 시스템의 부호화기는 입력되는 압축 깊이 영상에 대하여 레인즈 필터 연산을 적용하고, 복원된 깊이 영상은 픽처 버퍼(508)로 저장할 수 있다. 압축 시스템의 부호화기에서 결정한 부가 정보는 비트 스트림에 기록되어 압축 시스템의 복호화기로 전송될 수 있다.
도 6은 본 발명의 일실시예에 따른 깊이 영상 처리 장치가 압축 시스템의 복호화기의 후단(Post)에 적용되는 포스트 필터(Post Filter)로 구현되는 실시예를 나타내는 도면이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 깊이 영상 처리 장치는 포스트 필터(620)의 형태로 압축 시스템의 복호화기에 포함될 수 있다.
압축 시스템의 복호화 장치는 엔트로피 디코딩부(601), 역양자화 및 역변환부(602), 움직임 추정 및 보상부(603), 가산부(604), 포스트 필터(620) 및 픽처 버퍼(605)를 포함할 수 있다.
압축 시스템의 복호화기는 압축 시스템의 부호화기로부터 전송되는 비트 스트림을 수신하고, 수신된 비트 스트림으로부터 부가 정보를 획득할 수 있다. 또한, 압축 시스템의 복호화기는 부가 정보를 이용하여 깊이 영상을 복원할 수 있고, 복원된 깊이 영상은 픽처 버퍼(605)에 저장할 수 있다.
도 7은 본 발명의 일실시예에 따른 깊이 영상 처리 장치의 동작 방법을 나타내는 흐름도이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 깊이 영상 처리 장치의 동작 방법은 압축 깊이 영상 및 압축 색상 영상을 입력 받을 수 있다(710).
깊이 영상 처리 장치의 동작 방법은 입력 받은 압축 깊이 영상을 이용하여 제1 커널(Kernel) 값을 연산할 수 있다(720).
본 발명의 일측에 따르면, 제1 커널 값을 연산하기 위하여, 깊이 영상 처리 장치의 동작 방법은 압축 깊이 영상의 현재 픽셀과 현재 픽셀로부터 기준 범위 내에 있는 이웃 픽셀 사이의 차이를 연산할 수 있다. 또한, 깊이 영상 처리 장치의 동작 방법은 연산된 차이를 이용하여 현재 픽셀에 대한 가중치를 연산할 수 있다. 또한, 깊이 영상 처리 장치의 동작 방법은 연산된 가중치에 기반하여 제1 커널 값을 연산할 수 있다.
깊이 영상 처리 장치의 동작 방법은 입력 받은 압축 색상 영상을 이용하여 제2 커널 값을 연산할 수 있다(730).
본 발명의 일측에 따르면, 제2 커널 값을 연산하기 위하여, 깊이 영상 처리 장치의 동작 방법은 압축 색상 영상의 현재 픽셀을 포함하는 현재 템플릿과 현재 픽셀로부터 기준 범위 내에 있는 이웃 템플릿 사이의 유사도를 연산할 수 있다. 또한, 깊이 영상 처리 장치의 동작 방법은 연산된 유사도를 이용하여 현재 픽셀에 대한 가중치를 연산할 수 있다. 또한, 깊이 영상 처리 장치의 동작 방법은 연산된 가중치에 기반하여 제2 커널 값을 연산할 수 있다.
깊이 영상 처리 장치의 동작 방법은 연산된 제1 커널 값 및 제2 커널 값에 기반하여 압축 깊이 영상에 대하여 레인즈 필터(Range Filter) 연산을 수행하여 복원 깊이 영상을 생성할 수 있다(740).
본 발명의 일측에 따르면, 압축 깊이 영상에 대하여 레인즈 필터 연산을 수행하기 위하여, 깊이 영상 처리 장치의 동작 방법은 레인즈 필터에 대한 필터 강도 파라미터를 결정할 수 있다. 필터 성능을 결정하는 주요한 필터 강도 파라미터로는
Figure pat00019
(제1 필터 강도 파라미터 1)과 h(제2 필터 강도 파라미터)를 포함할 수 있다. 실시예에 따라서는, 깊이 영상 처리 장치의 동작 방법은 전수 검색 방법 및 최적화 방법 중 어느 하나를 이용하여 필터 강도 파라미터를 결정할 수 있다.
본 발명의 일측에 따르면, 깊이 영상 처리 장치가 압축 시스템의 부호화기에 모듈의 형태로 삽입되어 동작할 때, 깊이 영상 처리 장치의 동작 방법은 필터 강도 파라미터를 결정하면, 압축 깊이 영상에 대한 비트 스트림(Bit Stream)에 결정된 필터 강도 파라미터를 기록할 수 있다. 따라서, 압축 시스템의 복호화기는 비트 스트림을 전송 받고, 전송 받은 비트 스트림으로부터 필터 강도 파라미터를 획득할 수 있다.
필터 강도 파라미터를 결정하면, 깊이 영상 처리 장치의 동작 방법은 필터 강도 파라미터를 이용하여 제1 커널 값과 제2 커널 값을 컨볼루션할 수 있다.
컨볼루션 연산이 완료되면, 깊이 영상 처리 장치의 동작 방법은 압축 깊이 영상에 컨볼류션된 값을 적용하여 레인즈 필터 연산을 수행할 수 있다. 따라서 깊이 영상 처리 장치의 동작 방법은 레인즈 필터 연산을 수행함으로써, 복원 깊이 영상을 생성할 수 있다.
이상 설명한 깊이 영상 처리 장치의 동작 방법의 레인즈 필터 연산을 수행하는 동작은 압축 깊이 영상의 모든 프레임(Frame)에 적용될 수도 있고, 또는 압축 깊이 영상의 복수 개의 프레임에 대하여 선택적으로 적용될 수도 있다. 즉, 압축 깊이 영상의 복수 개의 프레임 중 일부에 대해서는 레인즈 필터 연산을 수행할 수 있고, 다른 일부에 대해서는 레인즈 필터 연산을 수행하지 않을 수 있다.
따라서, 복수 개의 프레임 중 일부에 대해서만 선택적으로 레인즈 필터 연산을 수행하는 경우, 깊이 영상 처리 장치의 동작 방법은 복수 개의 프레임 각각에 대하여 해당 프레임에 레인즈 필터 연산을 수행하였는지 여부를 나타내는 프레임 플래그(Frame Flag)(예를 들어, 1 또는 0)를 압축 깊이 영상에 대한 비트 스트림에 기록할 수 있다.
이상 깊이 영상 처리 장치의 동작 방법이 입력 받은 i) 압축 깊이 영상 및 ii) 압축 색상 영상을 이용하여 압축 깊이 영상에 대하여 필터 연산을 수행함으로써 복원 깊이 영상을 생성하는 동작에 대하여 설명하였다.
본 발명의 일측에 따르면, 깊이 영상 처리 장치의 동작 방법은 압축 깊이 영상만을 이용하여 필터 연산을 수행함으로써 복원 깊이 영상을 생성할 수도 있다.
즉, 깊이 영상 처리 장치의 동작 방법은 입력 받은 i) 압축 깊이 영상만을 이용하여 필터 연산을 수행할 수도 있고, ii) 압축 깊이 영상 및 압축 색상 영상을 모두 이용하여 필터 연산을 수행할 수도 있다.
도 8은 본 발명의 또 다른 일실시예에 따른 깊이 영상 처리 장치의 동작을 나타내는 흐름도이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 깊이 영상 처리 장치의 동작 방법은 압축 깊이 영상 및 압축 색상 영상을 입력 받을 수 있다(810).
또한, 깊이 영상 처리 장치의 동작 방법은 (1) 압축 깊이 영상만을 이용하여 레인즈 필터(Range Filter) 연산 또는 트라이래트럴 필터(Trilateral Filter) 연산을 수행하는 방식(820) 및 (2) 압축 깊이 영상 및 압축 색상 영상을 이용하여 레인즈 필터 연산을 수행하는 방식(830) 중 어느 하나의 필터 방식을 압축 깊이 영상에 대하여 적용하여 복원 깊이 영상을 생성할 수 있다(840).
일실시예에 따른 깊이 영상 처리 장치의 동작 방법은 압축 깊이 영상에 대하여 어느 필터 방식을 적용하였는지를 나타내는 필터방식 플래그를 압축 깊이 영상에 대한 비트 스트림에 기록할 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
200: 깊이 영상 처리 장치
210: 입력부
220: 연산부
230: 처리부

Claims (12)

  1. 압축 깊이 영상 및 압축 색상 영상을 입력 받는 입력부;
    상기 압축 깊이 영상을 이용하여 제1 커널(Kernel) 값을 연산하고, 상기 압축 색상 영상을 이용하여 제2 커널 값을 연산하는 연산부; 및
    상기 제1 커널 값 및 상기 제2 커널 값에 기반하여 상기 압축 깊이 영상에 대하여 레인즈 필터 연산을 수행하여 복원 깊이 영상을 생성하는 처리부
    를 포함하는 깊이 영상 처리 장치.
  2. 제1항에 있어서,
    상기 연산부는
    상기 압축 깊이 영상의 현재 픽셀과 상기 현재 픽셀로부터 기준 범위 내에 있는 이웃 픽셀 사이의 차이를 연산하고,
    상기 연산된 차이를 이용하여 상기 현재 픽셀에 대한 가중치를 연산하며,
    상기 연산된 가중치에 기반하여 상기 제1 커널 값을 연산하는
    깊이 영상 처리 장치.
  3. 제1항에 있어서,
    상기 연산부는
    상기 압축 색상 영상의 현재 픽셀을 포함하는 현재 템플릿과 상기 현재 픽셀로부터 기준 범위 내에 있는 이웃 템플릿 사이의 유사도를 연산하고,
    상기 연산된 유사도를 이용하여 상기 현재 픽셀에 대한 가중치를 연산하며,
    상기 연산된 가중치에 기반하여 상기 제2 커널 값을 연산하는
    깊이 영상 처리 장치.
  4. 제1항에 있어서,
    상기 처리부는
    레인즈 필터에 대한 필터 강도 파라미터를 결정하고,
    상기 필터 강도 파라미터를 이용하여 상기 제1 커널 값과 상기 제2 커널 값을 컨볼루션하며,
    상기 압축 깊이 영상에 상기 컨볼류션된 값을 적용하여 상기 레인즈 필터 연산을 수행하는
    깊이 영상 처리 장치.
  5. 제4항에 있어서,
    상기 처리부는
    전수 검색 방법 및 최적화 방법 중 어느 하나를 이용하여 상기 필터 강도 파라미터를 결정하는
    깊이 영상 처리 장치.
  6. 제4항에 있어서,
    상기 처리부는
    상기 압축 깊이 영상에 대한 비트 스트림에 상기 필터 강도 파라미터를 기록하는
    깊이 영상 처리 장치.
  7. 제1항에 있어서,
    상기 처리부는
    상기 압축 깊이 영상의 복수 개의 프레임 중 일부 프레임에 대하여 선택적으로 상기 레인즈 필터 연산을 수행하고,
    상기 복수 개의 프레임 각각에 대하여 상기 레인즈 필터 연산을 수행하였는지 여부를 나타내는 프레임 플래그(Frame Flag)를 상기 압축 깊이 영상에 대한 비트 스트림에 기록하는
    깊이 영상 처리 장치.
  8. 압축 깊이 영상 및 압축 색상 영상을 입력 받는 입력부; 및
    (1) 상기 압축 깊이 영상만을 이용하여 레인즈 필터(Range Filter) 연산 또는 트라이래트럴 필터(Trilateral Filter) 연산을 수행하는 방식 및 (2) 상기 압축 깊이 영상 및 상기 압축 색상 영상을 이용하여 레인즈 필터 연산을 수행하는 방식 중 어느 하나의 필터 방식을 상기 압축 깊이 영상에 대하여 적용하여 복원 깊이 영상을 생성하는 처리부
    를 포함하는 깊이 영상 처리 장치.
  9. 제8항에 있어서,
    상기 처리부는
    상기 압축 깊이 영상에 대하여 어느 필터 방식을 적용하였는지를 나타내는 필터방식 플래그를 상기 압축 깊이 영상에 대한 비트 스트림에 기록하는
    깊이 영상 처리 장치.
  10. 압축 깊이 영상 및 압축 색상 영상을 입력 받는 단계;
    상기 압축 깊이 영상을 이용하여 제1 커널(Kernel) 값을 연산하는 단계;
    상기 압축 색상 영상을 이용하여 제2 커널 값을 연산하는 단계;
    상기 제1 커널 값 및 상기 제2 커널 값에 기반하여 상기 압축 깊이 영상에 대하여 레인즈 필터 연산을 수행하여 복원 깊이 영상을 생성하는 단계
    를 포함하는 깊이 영상 처리 장치의 동작 방법.
  11. 압축 깊이 영상 및 압축 색상 영상을 입력 받는 단계; 및
    (1) 상기 압축 깊이 영상만을 이용하여 레인즈 필터(Range Filter) 연산 또는 트라이래트럴 필터(Trilateral Filter) 연산을 수행하는 방식 및 (2) 상기 압축 깊이 영상 및 상기 압축 색상 영상을 이용하여 레인즈 필터 연산을 수행하는 방식 중 어느 하나의 필터 방식을 상기 압축 깊이 영상에 대하여 적용하여 복원 깊이 영상을 생성하는 단계
    를 포함하는 깊이 영상 처리 장치의 동작 방법.
  12. 제11항의 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020120001938A 2012-01-06 2012-01-06 깊이 영상 처리 장치 및 방법 KR20130081004A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120001938A KR20130081004A (ko) 2012-01-06 2012-01-06 깊이 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120001938A KR20130081004A (ko) 2012-01-06 2012-01-06 깊이 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130081004A true KR20130081004A (ko) 2013-07-16

Family

ID=48992882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120001938A KR20130081004A (ko) 2012-01-06 2012-01-06 깊이 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20130081004A (ko)

Similar Documents

Publication Publication Date Title
TWI669939B (zh) 用於立方體面圖框的選擇性濾波的方法和裝置
CN114363612B (zh) 用于双向光流的比特宽度控制的方法和设备
US20150189276A1 (en) Video encoding method and apparatus, video decoding method and apparatus, and programs therefor
KR20120000485A (ko) 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
JP6042899B2 (ja) 映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体
US20150365698A1 (en) Method and Apparatus for Prediction Value Derivation in Intra Coding
CN115486068A (zh) 用于视频编码中基于深度神经网络的帧间预测的方法和设备
CN110495178B (zh) 3d视频编码的装置和方法
CN107113426B (zh) 使用广义图形参数执行基于图形的变换的方法和设备
US10911779B2 (en) Moving image encoding and decoding method, and non-transitory computer-readable media that code moving image for each of prediction regions that are obtained by dividing coding target region while performing prediction between different views
US11006147B2 (en) Devices and methods for 3D video coding
US20140079138A1 (en) Simplifiication of pic_order_cnt_lsb calculation in hm8
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP6200220B2 (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
KR20130081004A (ko) 깊이 영상 처리 장치 및 방법
JP6016488B2 (ja) 映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラム
CN114175659A (zh) 用于双向光流的比特宽度控制的装置和方法
CN109906610B (zh) 使用滤波和子空间投影的视频编译的恢复
EP2981082A1 (en) Method for encoding a plurality of input images and storage medium and device for storing program
CN116325727A (zh) 一种帧内预测方法、编码器、解码器及存储介质
KR102072204B1 (ko) 영상의 화질을 개선하는 장치 및 방법
Shen et al. Efficient depth coding in 3D video to minimize coding bitrate and complexity
US20230044603A1 (en) Apparatus and method for applying artificial intelligence-based filtering to image
JP2013157950A (ja) 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム
JP2012054618A (ja) 動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application