KR102224299B1 - 깊이 영상의 계층적 부호화, 복호화 방법 및 장치 - Google Patents

깊이 영상의 계층적 부호화, 복호화 방법 및 장치 Download PDF

Info

Publication number
KR102224299B1
KR102224299B1 KR1020180020529A KR20180020529A KR102224299B1 KR 102224299 B1 KR102224299 B1 KR 102224299B1 KR 1020180020529 A KR1020180020529 A KR 1020180020529A KR 20180020529 A KR20180020529 A KR 20180020529A KR 102224299 B1 KR102224299 B1 KR 102224299B1
Authority
KR
South Korea
Prior art keywords
image
depth image
order
depth
generating
Prior art date
Application number
KR1020180020529A
Other languages
English (en)
Other versions
KR20190100677A (ko
Inventor
권순각
이동석
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020180020529A priority Critical patent/KR102224299B1/ko
Publication of KR20190100677A publication Critical patent/KR20190100677A/ko
Application granted granted Critical
Publication of KR102224299B1 publication Critical patent/KR102224299B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

실시예는, 원본 깊이 영상을 생성하는 단계; P차 축소 깊이 영상을 생성하는 단계; 송신측 P-1차 확대 깊이 영상을 생성하는 단계; K차 축소 깊이 영상과 송신측 K차 확대 깊이 영상의 감산을 통해 P-1차 차영상을 생성하는 단계; 및 상기 P차 축소 깊이 영상과 상기 P-1차 차영상을 복호화를 수행하는 데이터수신장치로 전송하는 단계;를 포함하는, 깊이 영상의 계층적 부호화 및 복호화 방법을 제공할 수 있다.

Description

깊이 영상의 계층적 부호화, 복호화 방법 및 장치{Hierarchical Coding/decoding Method and device for Depth Video}
본 발명은 깊이 영상의 계층적 부호화, 복호화 방법 및 장치에 관한 것이다.
디지털 시대가 도래된 이래로 다양한 멀티미디어 기술들이 급속히 발전하고 있으며 이를 바탕으로 디지털 콘텐츠 시장도 해마다 그 규모가 급속도로 성장하고 있다. 또한 인터넷과 같은 다양한 통신 수단과 전송 기술의 발달은 다양한 멀티미디어 콘텐츠 산업의 활성화를 이끌고 있다. 이러한 흐름 속에서 최근에는 사용자들의 요구가 단순 소비 형태의 콘텐츠 이용에서 대화형 콘텐츠, 실감 콘텐츠의 이용을 요구하는 수준으로 변화하고 있다. 디지털 영상 분야의 경우 과거의 흑백 아날로그 TV에서부터 최근의 UHD 디지털 TV까지 관련 기술이 끊임없이 발전하고 있으며 최근에는 3차원 영상에 대한 관심이 높아지면서 3차원 입체 영상 제작을 위해 다양한 깊이 카메라가 개발되었고, 이와 더불어 고품질의 3차원 입체 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다.
이와 같이 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다. 따라서, 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우에는, 정보의 전송 비용과 저장 비용이 증가하게 된다. 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고 재생하기 위해 고효율의 깊이 영상 압축 기술과 영상을 재생하는 장치가 요구하는 품질에 적합한 형태로 부호화 영상을 복원하는 기술이 요구되고 있다.
KR 10-2004-0086154 A1
본 발명은 깊이 영상을 계층적으로 부호화하고 복호화할 수 있는 방법 및 장치를 제공하는데 목적이 있다.
또한, 본 발명은 요구되는 품질의 깊이 영상을 효율적으로 복호화할 수 있도록 하는 방법 및 장치를 제공하는데 목적이 있다.
실시예는, 원본 깊이 영상을 생성하는 단계; P차 축소 깊이 영상을 생성하는 단계; 송신측 P-1차 확대 깊이 영상을 생성하는 단계; K차 축소 깊이 영상과 송신측 K차 확대 깊이 영상의 감산을 통해 P-1차 차영상을 생성하는 단계; 및 상기 P차 축소 깊이 영상과 상기 P-1차 차영상을 복호화를 수행하는 데이터수신장치로 전송하는 단계;를 포함하는, 깊이 영상의 계층적 부호화 및 복호화 방법을 제공할 수 있다. 여기서의 P-(N-1)차 축소 깊이 영상은 P-N차 축소 깊이 영상을 축소한 영상이고, P>=N+1이고, P는 2이상의 자연수이며 N은 자연수이고, 송신측 P-M차 확대 깊이 영상은 송신측 P-(M-1)차 축소 깊이 영상을 확대한 영상이고, P>=M이고, P는 1이상의 자연수이며 M은 0 이상의 정수이고, K는 P-1이고, K가 0일 때의 0차 축소 깊이 영상은 원본 깊이 영상이다.
다른 측면에서, 상기 P-N차 축소 깊이 영상 내의 기 설정된 블록에 대응하는 상기 P-(N-1)차 축소 깊이 영상 내의 화소값은 상기 블록 화소들의 대표값인 것을 특징으로 하는 깊이 영상의 계층적 부호화 및 복호화 방법을 제공할 수 있다.
다른 측면에서, 상기 대표 값은 상기 블록 내의 화소들의 평균값, 최소값, 최대값 및 중간값 중 어느 하나인 것을 특징으로 하는 깊이 영상의 계층적 부호화 및 복호화 방법을 제공할 수 있다.
다른 측면에서, 상기 송신측 P-M차 확대 깊이 영상은 상기 송신측 P-(M-1)차 축소 깊이 영상에 보간법을 적용하여 생성된 것을 특징으로 하는 깊이 영상의 계층적 부호화 및 복호화 방법을 제공할 수 있다.
다른 측면에서, 수신된 상기 P차 축소 깊이 영상을 확대한 수신측 P-1차 확대 깊이 영상을 생성하는 단계; 상기 P-1차 차영상을 상기 수신측 P-1차 확대 깊이 영상과 결합하여 P-1차 결합 영상을 생성하는 단계; 및 상기 P-1차 결합 영상이 기 설정된 영상 품질에 해당하는지 판단하는 단계;를 포함하는 깊이 영상의 계층적 부호화 및 복호화 방법을 제공할 수 있다.
다른 측면에서, 상기 P-1차 결합 영상이 기 설정된 영상 품질에 해당하지 않는 경우, 상기 P-1차 결합 영상을 확대한 수신측 P-2차 확대 깊이 영상을 생성하는 단계; 상기 P-2차 차영상을 상기 수신측 P-2차 확대 깊이 영상과 결합하여 P-2차 결합 영상을 생성하는 단계; 및 상기 P-2차 결합 영상이 기 설정된 영상 품질에 해당하는지 판단하는 단계;를 더 포함하는 깊이 영상의 계층적 부호화 및 복호화 방법을 제공할 수 있다.
다른 측면에서, 상기 데이터수신장치로부터 수신된 영상품질정보에 기초하여 상기 P값이 결정되는 것을 특징으로 하는 깊이 영상의 계층적 부호화 및 복호화 방법을 제공할 수 있다.
다른 측면에서, 상기 데이터수신장치가 요구하는 영상의 품질은 상기 P-1차 축소 깊이 영상의 해상도와 크기가 일치하는 것을 특징으로 하는 깊이 영상의 계층적 부호화 및 복호화 방법을 제공할 수 있다.
다른 측면에서, 전술한 단계를 수행하기 위한 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체를 제공할 수 있다.
본 발명은 깊이 영상의 계층적 부호화라는 새로운 방식의 부호화 기법을 제공하여 깊이 영상을 효율적으로 부호화할 수 있다.
또한, 본 발명은 요구되는 영상 품질에 적합하게 깊이 영상을 복호화할 수 있는 기법을 제공하는 복호화 효율이 향상된 복호화 방법 및 장치를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 깊이 영상의 계층적 부호화 장치와 복호화 기능을 수행할 수 있는 데이터수신장치를 도시하는 블록도이다.
도 2는 본 발명의 실시예에 따른 깊이 영상의 계층적 부호화 방법에 대한 흐름도이다.
도 3은 계측정 부호화에 대한 이해를 돕기 위한 예시적으로 평균을 이용한 깊이 영상의 계층적 부호화 방법의 개념도이다.
도 4는 원본 깊이 영상과 원본 깊이 영상이 계층적 부호화를 통해 각 단계별로 전송되는 영상에 대한 예시도이다.
도 5는 본 발명의 실시예에 따른 깊이 영상의 계층적 복호화 방법에 대한 흐름도이다.
도 6은 영상을 단계별로 복원한 영상에 대한 예시도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 깊이 영상의 계층적 부호화 장치(이하, 부호화 장치)와 복호화 기능을 수행할 수 있는 데이터수신장치(이하, 데이터수신장치)를 도시하는 블록도이다.
부호화 장치(100)는 영상 데이터를 데이터수신장치(200)로 제공할 수 있다.
부호화 장치(100)와 데이터수신장치(200)는 데스크톱 컴퓨터들, 노트북 (즉, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱 박스들, 이른바 "스마트" 폰들과 같은 전화기 핸드셋들, 이른바 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스 등을 포함한 매우 다양한 디바이스들 중 임의의 것을 포함할 수도 있다.
일부 구현예에서는, 부호화 장치(100)와 데이터수신장치(200)는 무선 통신을 위한 구성(10)이 갖추어질 수 있다.
또한, 데이터수신장치(200)는 영상 처리된 영상 데이터를 컴퓨터 판독 가능 매체를 통해 수신할 수도 있다.
컴퓨터 판독 가능 매체는 부호화 장치(100)로부터 영상처리된 영상 데이터를 데이터수신장치(200)로 이동시킬 수 있는 임의 유형의 매체 또는 디바이스를 포함할 수 있다. 일 예로, 컴퓨터 판독 가능 매체는 부호화 장치(100)가 영상 데이터를 데이터수신장치(200)로 직접 실시간으로 송신하는 것을 가능하게 하는 통신 매체, 이를테면 송신 채널을 포함할 수 있다.
영상 처리된 영상 데이터는 통신 표준, 이를테면 무선 통신 프로토콜에 따라 변조되고 데이터수신장치(200)로 송신될 수도 있다. 통신 매체는 임의의 무선 또는 유선 통신 매체, 이를테면 라디오 주파수 스펙트럼 또는 하나 이상의 물리적 송신 라인들을 포함할 수도 있다. 통신 매체는 패킷 기반 네트워크, 이를테면 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 부호화 장치(100)로부터 데이터수신장치(200)로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다. 몇몇 예들에서 영상 처리된 영상 데이터가 출력 인터페이스(130)로부터 컴퓨터 판독 가능 저장 매체, 이를 테면 비일시적(non-transitory) 컴퓨터 판독가능 저장 매체, 즉, 데이터 저장 디바이스로 출력될 수도 있다. 마찬가지로 영상 데이터는 데이터수신장치(200)의 입력 인터페이스(230)에 의해 저장 디바이스로부터 엑세스될 수도 있다. 저장 디바이스는 하드 드라이브, 블루-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 영상 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산형 또는 국부적으로 액세스되는 비일시적 데이터 저장 매체들 중 임의의 것을 포함할 수도 있다. 추가의 예에서, 저장 디바이스는 부호화 장치(100)에 의해 생성된 영상 데이터를 저장할 수도 있는 파일 서버 또는 다른 중간 저장 디바이스에 해당할 수도 있다.
데이터수신장치(200)는 저장 디바이스로부터의 저장된 영상 데이터에 스트리밍 또는 다운로드를 통해 액세스할 수도 있다.
도 1의 예에서 부호화 장치(100)는 영상 소스(110) 및 영상처리부(120)를 포함할 수 있다. 또한, 부호화 장치(100)는 출력 인터페이스(130)를 더 포함할 수 있다.
데이터수신장치(200)는 입력 인터페이스(230) 및 데이터처리부(220)를 포함할 수 있다. 또한, 데이터수신장치(200)는 디스플레이 디바이스(210)를 더 포함할 수 있으나 이에 제한되는 것은 아니다.
다른 예에서 부호화 장치(100)와 데이터수신장치(200)는 다른 컴포넌트들을 포함할 수 있다.
예를 들어 부호화 장치(100)는 외부 비디오 소스, 이를테면 외부 카메라로부터 영상을 수신할 수 있고, 외부 카메라는 깊이 영상(depth image)을 생성하는 깊이 영상 촬영 디바이스가 될 수 있다. 마찬가지로, 데이터수신장치(200)는 통합형 디스플레이 디바이스(210)를 구비하기 보다는 외부 디스플레이 디바이스(210)와 인터페이싱 할 수도 있다.
부호화 장치(100)의 영상 소스(110)는 깊이 영상 촬영 디바이스, 이를테면 카메라, 이전에 촬영된 깊이 영상을 포함하는 아카이브 (archive), 및/또는 깊이 영상 콘텐츠 제공자로부터의 깊이 영상을 수신하는 인터페이스를 포함할 수도 있다.
일부 구현예에서 깊이 영상 촬영 디바이스는 장면의 깊이 정보를 256 단계의 8비트 영상 등으로 표현한 깊이 영상을 제공할 수 있다. 깊이 영상의 한 픽셀을 표현하기 위한 비트수는 8비트가 아니라 변경될 수 있다. 깊이 영상 촬영 디바이스는 적외선 등을 이용하여 깊이 영상 촬영 디바이스로부터 객체 및 배경까지의 거리를 측정하여 거리에 비례 또는 반비례하는 값을 갖는 깊이 영상을 제공할 수 있다.
깊이 영상의 화소 값은 예를 들어, RGB의 색상 정보가 아닌 일 예로 mm 단위(이에 한정하는 것은 아님)의 정수로 된 깊이 정보가 될 수 있다.
부호화 장치(100)와 데이터수신장치(200) 각각은 하나 이상의 메모리와 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적회로들 (ASIC들), 필드 프로그램가능 게이트 어레이들 (FPGA들), 개별 로직 회로, 소프트웨어, 하드웨어, 펌웨어 또는 그것들의 임의의 조합과 같은 다양한 형태로 구성될 수 있다.
메모리는 컴퓨터 판독가능 명령들 또는 프로세서 판독가능 명령들과 같은 명령들(예를 들어, 실행가능 명령들)을 포함한다. 명령들은 하나 이상의 프로세서들 각각에 의해서와 같이 컴퓨터에 의해 실행가능한 하나 이상의 명령어들을 포함할 수도 있다.
예를 들어, 부호화 장치(100)에 있어서, 하나 이상의 명령들은 하나 이상의 프로세서들로 하여금 깊이 영상을 부호화하기 위해 깊이 영상을 프로세싱하는 것을 포함하는 동작들을 수행하기 위해 하나 이상의 프로세서들에 의해 실행가능 할 수도 있다.
또한, 예를 들어, 데이터수신장치(200)에 있어서, 하나 이상의 명령들은 하나 이상의 프로세서들로 하여금 깊이 영상을 복호화하기 위해 수신한 영상 데이터를 프로세싱하는 것을 포함하는 동작들을 수행하기 위해 하나 이상의 프로세서들에 의해 실행가능 할 수도 있다.
상세하게는, 영상처리부(120)는 명령어들을 저장하는 하나 이상의 제1 메모리(121)와 상기 명령어들을 실행하는 적어도 하나의 제1 프로세서(122)를 포함할 수 있다.
영상처리부(120)의 제1 프로세서(122)는 깊이 영상의 품질을 변환 및 차영상을 생성하는 기법들이 적용되도록 구성될 수 있다.
일부 구현예에서는, 영상처리부(120)의 제1 프로세서(122)는 깊이 화면을 부호화하기 위한 기법들이 적용되도록 구성될 수 있다.
다른 구현예에서는 영상처리부(120)의 프로세서(122)는 깊이 화면을 부호화 및 복호화하는 기법이 적용되도록 구성될 수도 있다.
데이터처리부(220)는 명령어들을 저장하는 하나 이상의 제2 메모리(221)와 상기 명령어들을 실행하는 적어도 하나의 제2 프로세서(222)를 포함할 수 있다.
데이터처리부(220)의 제2 프로세서(222)는 영상처리부(120)로부터의 깊이 화면 데이터를 외부 장치로 전송, 디스플레이, 분석 등을 수행할 수 있도록 구성될 수 있다.
일부 구현예에서는, 데이터처리부(220)의 제2 프로세서(222)는 영상처리부(120)로부터의 부호화된 영상 데이터를 복호화할 수 있도록 구성될 수도 있다.
도 1에 도시되지 않았지만, 몇몇 실시예에서, 부호화장치(100)와 데이터처리장치(200)는 통합된 장치가 될 수 있다. 이를테면 부호화장치(100)는 깊이 화면을 부호화하고, 부호화된 깊이 화면을 복호화할 수 있도록 구성될 수도 있다.
도 2는 본 발명의 실시예에 따른 깊이 영상의 계층적 부호화 방법에 대한 흐름도이고, 도 3은 계측정 부호화에 대한 이해를 돕기 위한 예시적으로 평균을 이용한 깊이 영상의 계층적 부호화 방법의 개념도이다. 그리고 도 4는 원본 깊이 영상과 원본 깊이 영상이 계층적 부호화를 통해 각 단계별로 전송되는 영상에 대한 예시도이다.
도 2 및 도 3을 참조하면, 깊이 영상의 계층적 부호화 방법(S100)은 깊이 영상 생성 단계(S110), 축소 깊이 영상 생성 단계(S120), 송신측 확대 깊이 영상 생성 단계(S130), 차영상 생성 단계(S140) 및 영상 데이터 전송 단계(S150)를 포함할 수 있다.
상세하게는, 깊이 영상의 계층적 부호화 방법(S100)은 원본 깊이 영상을 생성하는 단계(S110), P차 축소 깊이 영상을 생성하는 단계(S120), 송신측 P-1차 확대 깊이 영상을 생성하는 단계(S130), K차 축소 깊이 영상과 송신측 K차 확대 깊이 영상의 감산을 통해 P-1차 차영상을 생성하는 단계(S140) 및 P차 축소 깊이 영상과 P-1차 차영상을 데이터수신장치로 전송하는 단계(S150)를 포함할 수 있다.
부호화 방법(S100)을 설명함에 있어서, 0차 축소 깊이 영상은 원본 깊이 영상이다. 그리고, P-(N-1)차 축소 깊이 영상은 P-N차 축소 깊이 영상을 축소한 영상이고, P>=N+1이고, P는 2이상의 자연수이며 N은 자연수이다. 그리고, 송신측 P-M차 확대 깊이 영상은 송신측 P-(M-1)차 축소 깊이 영상을 확대한 영상이고, P>=M이고, P는 1 이상의 자연수이며 M은 0 이상의 정수이다. 또한, K는 P-1이다.
각 단계별로 보다 상세하게 설명한다.
원본 깊이 영상을 생성하는 단계(S110)에 있어서, 부호화장치(100)는 깊이 영상을 생성하거나 외부 소스로부터 깊이 영상을 수신할 수 있다. 여기서의 깊이 영상은 원본 깊이 영상으로 정의한다.
P차 축소 깊이 영상을 생성하는 단계(S120)에 있어서, 부호화장치(100)는 깊이 영상을 가로 방향으로 1/m 그리고 세로 방향으로 1/n 만큼 축소시켜 품질을 저하시킨 영상을 생성할 수 있다. 이는 각 단계별로 진행되고 전단계의 영상에 대해 가로 방향으로 1/m 그리고 세로 방향으로 1/n 만큼 축소시켜 품질을 저하시켜 현 단계 깊이 영상을 생성하고, 현재 깊이 영상에 대해 가로 방향으로 1/m 그리고 세로 방향으로 1/n 만큼 축소시켜 품질을 저하시켜 다음 단계의 깊이 영상을 생성할 수 있다. 예를 들어, m*n 원본 깊이 영상에 대해 각 단계별로 1/2 * 1/2 만큼 축소한다고 가정하면 이에 대한 개념도는 도 3과 같이 원본 깊이 영상인 0단계 깊이 영상으로 정의되는 0차 깊이 영상에서 2*2 크기의 영역(원본 블록)의 화소들의 대표 값을 구하여 다음 단계인 1단계 깊이 영상으로 정의되는 1차 축소 깊이 영상에서 상기 2*2 크기에 대응하는 사이즈가 축소된 영역 내의 화소의 화소 값을 상기 대표 값으로 할 수 있다.
이렇게 생성된 화소들로 이루어진 1차 축소 깊이 영상은 전 단계인 0차 깊이 영상에 비해 해상도가 가로 세로 각각 1/2 만큼 줄어든다. 그리고 이러한 과정을 P단계까지 반복하여 최종적으로 P차 축소 깊이 영상을 생성할 수 있다.
한편, 여기서의 대표 값은 원본 블록 화소값들의 평균값, 최소값, 최대값, 중간값 중 어느 하나를 선택하여 이용할 수 있다. 다만, 대표 값을 설정하는 방식은 전술한 바에 제한되는 것은 아니다.
송신측 P-1차 확대 깊이 영상을 생성하는 단계(S130)에 있어서, 부호화장치(100)는 P차 축소 깊이 영상을 확대하여 P-1차 축소 깊이 영상의 해상도와 크기가 일치하는 송신측 P-1차 확대 깊이 영상을 생성할 수 있다. 그리고 P-1차 축소 깊이 영상을 확대하여 P-2차 축소 깊이 영상의 해상도와 크기가 일치하는 송신측 P-2차 확대 깊이 영상을 생성할 수 있다. 그리고 이러한 과정을 반복하여 부호화장치(100)는 송신측 P-1차 확대 깊이 영상을 생성할 수 있다. 그리고 여기서의 0차 확대 깊이 영상은 원본 깊이 영상의 해상도와 크기가 일치한다.
한편, 보간법을 적용하여 축소 깊이 영상을 확대하여 송신측 확대 깊이 영상을 생성할 수 있다.
K차 축소 깊이 영상과 송신측 K차 확대 깊이 영상의 감산을 통해 P-1차 차영상을 생성하는 단계(S140)에 있어서, 부호화장치(100)는 동일 차수의 축소 깊이 영상과 송신측 확대 깊이 영상의 감산을 통해 차영상을 생성할 수 있다. 예를 들어, 0차 축소 깊이 영상과 송신측 0차 확대 깊이 영상의 감산을 통해 0차 차영상을 생성하고, 1차 축소 깊이 영상과 송신측 1차 확대 깊이 영상의 감산을 통해 1차 차영상을 생성하고, 이를 단계별로 진행하며, P-1차 축소 깊이 영상과 송신측 P-1차 확대 깊이 영상의 감산을 통해 P-1차 차영상을 생성함으로써 P-1차 차영상을 생성할 수 있다. 그리고 여기서의 K는 P-1이 된다.
P차 축소 깊이 영상과 P-1차 차영상을 데이터수신장치로 전송하는 단계(S150)에 있어서, 부호화장치(100)는 P단계의 깊이 영상인 P차 축소 깊이 영상을 그대로 데이터수신장치(200)로 전송함과 아울러, P-1차 차영상을 데이터수신장치(200)로 전송할 수 있다.
전술한 부호화 방법을 통해 깊이 영상을 계측적으로 부호화할 수 있다.
이러한 부호화 과정 후 데이터수신장치(200)로 전송되는 각 단계별 전송 영상은 도 4에 예시한 바와 같다.
도 5는 본 발명의 실시예에 따른 깊이 영상의 계층적 복호화 방법에 대한 흐름도이고, 도 6은 영상을 단계별로 복원한 영상에 대한 예시도이다.
도 5를 참조하면, 본 발명의 실시예에 따른 깊이 영상의 계층적 복호화 방법(S200)은 수신측 확대 깊이 영상 생성 단계(S210), 결합 영상 생성 단계(S220), 결합 영상의 영상 품질 확인 단계(S230), 다음 단계의 수신측 확대 깊이 영상 생성 단계(S240), 다음 단계의 결합 영상 생성 단계(S250) 및 다음 단계의 결합 영상에 대한 영상 품질 확인 단계(S230)를 포함할 수 있다.
보다 상세하게는, 본 발명의 실시예에 따른 깊이 영상의 계층적 복호화 방법(S200)은 수신된 상기 P차 축소 깊이 영상을 확대한 수신측 P-1차 확대 깊이 영상을 생성하는 단계(S210), P-1차 차영상을 수신측 P-1차 확대 깊이 영상과 결합하여 P-1차 결합 영상을 생성하는 단계(S220) 및 P-1차 결합 영상이 기 설정된 영상 품질에 해당하는지 판단하는 단계(S230)를 포함할 수 있다.
또한, 본 발명의 실시예에 따른 깊이 영상의 계층적 복호화 방법(S200)은 P-1차 결합 영상을 확대한 수신측 P-2차 확대 깊이 영상을 생성하는 단계(S240), P-2차 차영상을 수신측 P-2차 확대 깊이 영상과 결합하여 P-2차 결합 영상을 생성하는 단계(S250) 및 P-2차 결합 영상이 기 설정된 영상 품질에 해당하는지 판단하는 단계(S230)를 포함할 수 있다.
각 단계별로 보다 상세하게 설명한다.
수신된 상기 P차 축소 깊이 영상을 확대한 수신측 P-1차 확대 깊이 영상을 생성하는 단계(S210)에 있어서, 데이터수신장치(200)는 부호화장치(100)로부터 수신한 P차 축소 깊이 영상의 해상도를 보간을 통해 영상을 확대하여 수신측 P-1차 확대 깊이 영상을 생성할 수 있다. 여기서의 수신측 P-1차 확대 깊이 영상은 P-1차 축소 깊이 영상과 동일한 크기를 가지는 영상이 될 수 있다.
P-1차 차영상을 수신측 P-1차 확대 깊이 영상과 결합하여 P-1차 결합 영상을 생성하는 단계(S220)에 있어서, 데이터수신장치(200)는 부호화장치(100)로부터 수신한 P-1차 차영상과 생성한 수신측 P-1차 확대 깊이 영상을 합쳐 P-1차 결합 영상을 생성할 수 있다.
결합 영상의 영상 품질 확인 단계(S230)에 있어서, 데이터수신장치(200)는 생성한 P-1차 결합 영상이 원하는 품질의 영상에 해당하는지 판단할 수 있다. 예를 들어, 디스플레이 디바이스(210)에서 디스플레이되기 위한 해상도를 가진 품질의 영상에 해당하는지를 판단할 수 있다. 또한, 결합 영상이 깊이 영상 내의 객체를 검출하기에 적합한 정도의 해상도와 크기의 품질의 영상에 해당하는지를 판단할 수도 있다. 다만, 이에 제한되는 것은 아니다.
또한, P-1차 결합 영상이 기 설정된 영상 품질에 해당하지 않는 경우에는, P-1차 결합 영상의 해상도를 보간을 통해 영상을 확대하여 수신측 P-2차 확대 깊이 영상을 생성(S250)할 수 있다. 여기서의 수신측 P-2차 확대 깊이 영상은 P-2차 축소 깊이 영상과 동일한 크기를 가지는 영상이 될 수 있다. 그리고, 데이터수신장치(200)는 부호화장치(100)로부터 수신한 P-2차 차영상과 생성한 수신측 P-12 확대 깊이 영상을 합쳐 P-2차 결합 영상을 생성할 수 있다. 그리고 데이터수신장치(200)는 생성한 P-2차 결합 영상이 기 설정된 영상 품질에 해당하는지 여부를 판단할 수 있다. 그리고, 만약 결합 영상이 기 설정된 영상 품질을 충족하지 않는 경우, 다음 단계의 영상에 대해서도 전술한 과정을 적용하여 0차 결합 영상까지 생성할 수도 있다.
다른 측면에서, 부호화 장치(100)는 데이터수신장치(200)로부터 영상품질정보를 수신할 수 있다. 그리고 부호화장치(100)는 수신된 영상품질정보에 기초하여 전술한 P 값을 결정할 수 있다. 즉, 부호화장치(100)는 데이터수신장치(200)에서 요구하는 영상 품질 정보를 고려하여 축소 깊이 영상의 생성 개수를 조절함으로써 데이터 처리 속도를 적절 수준이 되도록 하고, 부호화 효율을 향상시킬 수 있다.
또한, 실시예에 대한 전술한 바에 따르면, 데이터수신장치(200)가 요구하는 영상의 품질은 P-1차 축소 깊이 영상의 해상도와 크기가 일치하는 영상이 가진 품질에 해당할 수 있다.
즉, 데이터수신장치(200)에서 요구되는 영상의 품질이 P-1차 축소 깊이 영상의 해상도와 크기가 일치하는 경우, 데이터수신장치(200)는 수신측 P-1차 확대 깊이 영상을 생성하기 위하여 부호화장치(100)로부터 P차 축소 깊이 영상을 수신할 필요가 있기 때문이다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
100: 부호화장치
110: 영상 소스
120: 영상처리부
121: 메모리
122: 프로세서
130: 출력인터페이스
200: 데이터수신장치
210: 디스플레이 디바이스
220: 데이터 처리부
230: 입력 인터페이스

Claims (9)

  1. 부호화장치가 화소의 값이 정수의 깊이 정보로 이루어진 원본 깊이 영상을 생성하는 단계;
    상기 부호화장치가 P-N(N은 0<N=<P를 충족하는 정수, P는 2이상의 자연수, 0차 축소 깊이 영상=원본 깊이 영상)차 축소 깊이 영상을 가로 방향으로 1/m 그리고 세로 방향으로 1/n 만큼 축소시켜 P-(N-1)차 축소 깊이 영상을 생성하는 단계;
    상기 부호화장치가 P-N차 축소 깊이 영상의 해상도 및 크기와 서로 일치하도록 송신측 P-(N-1)차 축소 깊이 영상을 확대하여 송신측 P-N차 확대 깊이 영상을 생성하는 단계;
    상기 부호화장치가 P-1차 축소 깊이 영상과 송신측 P-1차 확대 깊이 영상의 감산을 통해 P-1차 차영상을 생성하고, 상기 부호화장치가 P-2차 축소 깊이 영상과 송신측 P-2차 확대 깊이 영상의 감산을 통해 P-2차 차영상을 생성하는 단계;
    상기 부호화장치가 P차 축소 깊이 영상과 상기 P-1차 차영상 및 상기 P-2차 차영상에 기초하여 복호화를 수행하여 복호화된 영상을 생성하는 데이터수신장치로 전송하는 단계;
    상기 데이터수신장치는 상기 P-1차 축소 깊이 영상의 크기와 서로 일치하도록 상기 P차 축소 깊이 영상을 확대하여 수신측 P-1차 확대 깊이 영상을 생성하는 단계;
    상기 데이터수신장치는 상기 P-1차 차영상을 상기 수신측 P-1차 확대 깊이 영상과 결합하여 P-1차 결합 영상을 생성하는 단계;
    상기 P-1차 결합 영상 내에서 객체를 검출하기에 적합한 해상도와 크기의 영상에 해당하는지 및 디스플레이 디바이스에서 디스플레이되기 위한 해상도에 해당하는지에 관한 기 설정된 영상 품질에 해당하는지를 판단하는 단계;
    상기 P-1차 결합 영상이 기 설정된 영상 품질에 해당하지 않는 경우, 상기 P-1차 결합 영상을 확대한 수신측 P-2차 확대 깊이 영상을 생성하는 단계;
    상기 P-2차 차영상을 상기 수신측 P-2차 확대 깊이 영상과 결합하여 P-2차 결합 영상을 생성하는 단계; 및
    상기 P-2차 결합 영상이 기 설정된 영상 품질에 해당하는지 판단하는 단계;를 포함하고는,
    상기 부호화장치는 상기 데이터수신장치로부터 수신한 영상품질정보에 기초하여 상기 P값을 결정하여 축소 깊이 영상의 생성 개수를 조절하는
    깊이 영상의 계층적 부호화 및 복호화 방법.
  2. 제1 항에 있어서,
    상기 P-N차 축소 깊이 영상 내의 기 설정된 블록에 대응하는 상기 P-(N-1)차 축소 깊이 영상 내의 화소값은 상기 P-N차 축소 깊이 영상 내의 기 설정된 블록의 화소들의 대표값인 것을 특징으로 하는
    깊이 영상의 계층적 부호화 및 복호화 방법.
  3. 제2 항에 있어서,
    상기 대표값은 상기 블록 내의 화소들의 평균값, 최소값, 최대값 및 중간값 중 어느 하나인 것을 특징으로 하는
    깊이 영상의 계층적 부호화 및 복호화 방법.
  4. 제1 항에 있어서,
    상기 송신측 P-N차 확대 깊이 영상은 상기 송신측 P-(N-1)차 축소 깊이 영상에 보간법을 적용하여 생성된 것을 특징으로 하는
    깊이 영상의 계층적 부호화 및 복호화 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
KR1020180020529A 2018-02-21 2018-02-21 깊이 영상의 계층적 부호화, 복호화 방법 및 장치 KR102224299B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180020529A KR102224299B1 (ko) 2018-02-21 2018-02-21 깊이 영상의 계층적 부호화, 복호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180020529A KR102224299B1 (ko) 2018-02-21 2018-02-21 깊이 영상의 계층적 부호화, 복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190100677A KR20190100677A (ko) 2019-08-29
KR102224299B1 true KR102224299B1 (ko) 2021-03-05

Family

ID=67775935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180020529A KR102224299B1 (ko) 2018-02-21 2018-02-21 깊이 영상의 계층적 부호화, 복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102224299B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3830549B2 (ja) * 1994-12-28 2006-10-04 ソニー株式会社 ディジタル画像信号の階層符号化装置および方法
JP2003280694A (ja) 2002-03-26 2003-10-02 Nec Corp 階層ロスレス符号化復号方法、階層ロスレス符号化方法、階層ロスレス復号方法及びその装置並びにプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
권순각 et al. 구형 객체의 깊이 영상 부호화 방법. 한국산업정보학회논문집, 2016.12.*
배성준 et al. 스케일러블 비디오 코딩을 이용한 환경적응형 미디어 시스템. 대한임베디드공학회 논문집, 2008.12.

Also Published As

Publication number Publication date
KR20190100677A (ko) 2019-08-29

Similar Documents

Publication Publication Date Title
JP7011031B2 (ja) クロマ予測方法及びデバイス
RU2714103C1 (ru) Способы кодирования, декодирования и представления изображений высокого динамического диапазона
EP3266208B1 (en) Content-adaptive perceptual quantization for high dynamic range images
CN110460745B (zh) 显示装置
KR20170020288A (ko) Hdr 대 hdr 인버스 톤 맵핑을 위한 방법들, 시스템들 및 장치들
KR102617258B1 (ko) 이미지 프로세싱 방법 및 장치
RU2697387C1 (ru) Преобразование динамических метаданных для поддержки альтернативного тоновоспроизведения
CN108513134B (zh) 根据解码后的图像数据重建图像数据的方法和设备
US10741211B2 (en) Information processing device, information recording medium, and information processing method
US10284810B1 (en) Using low-resolution frames to increase frame rate of high-resolution frames
KR102537393B1 (ko) Hdr 이미지를 재구성하기 위한 방법 및 디바이스
US20190141332A1 (en) Use of synthetic frames in video coding
TWI740830B (zh) 圖框之編碼方法和裝置及其解碼方法和裝置，電腦程式製品和處理器可讀式媒體，以及非暫態儲存媒體
KR101904120B1 (ko) 타원면 모델링을 통한 깊이 영상의 처리 방법 및 장치
CN110891195B (zh) 花屏图像的生成方法、装置、设备和存储介质
KR102224299B1 (ko) 깊이 영상의 계층적 부호화, 복호화 방법 및 장치
CN113228665A (zh) 用于处理配置数据的方法、设备、计算机程序和计算机可读介质
KR101904108B1 (ko) 평면 모델링을 통한 깊이 영상의 가변적 블록 부호화 방법 및 장치
JP2019165434A (ja) 減少したクリップ領域を有するｈｄｒイメージを生成する方法及び装置
JP7434554B2 (ja) カスケード予測
Pouli et al. Hdr content creation: creative and technical challenges
CN113542806A (zh) 视频编辑设备和视频编辑方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant