KR102212442B1

KR102212442B1 - 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법

Info

Publication number: KR102212442B1
Application number: KR1020180161365A
Authority: KR
Inventors: 신재섭; 류성걸; 손세훈; 김형덕; 김효성
Original assignee: 주식회사 픽스트리
Priority date: 2018-12-13
Filing date: 2018-12-13
Publication date: 2021-02-04
Also published as: US11943454B2; KR20200073078A; WO2020122478A3; WO2020122478A2; US20220086462A1

Abstract

본 발명은 기계 학습을 통해 학습된 파라미터를 인코딩 시 압축 과정에서 발생하는 영상의 품질 저하를 보상하는 기술적 사상에 관한 것으로서, 일실시예에 따른 영상 처리 장치는 입력된 원본 프레임을 저장하는 입력 프레임 버퍼, 상기 저장된 원본 프레임에 대한 인코딩을 처리하는 인코딩 처리부, 상기 인코딩된 원본 프레임을 다중화를 위해 출력 스트림으로서 출력하는 출력 스트림 버퍼, 상기 출력 스트림을 다중화하여 송출하도록 제어하는 다중화 처리부, 상기 출력 스트림 버퍼로부터 상기 출력 스트림을 전달 받아 디코딩 처리하여 복원 프레임을 출력하는 로컬 디코딩 처리부, 상기 출력된 복원 프레임을 저장하는 복원 프레임 버퍼, 및 상기 입력된 원본 프레임과, 상기 출력된 복원 프레임을 수집하고, 상기 수집된 원본 프레임 및 상기 수집된 복원 프레임을 이용한 기계 학습에 기초하여 파라미터를 출력하고, 상기 출력된 파라미터가 디코딩 측에 전달되도록 상기 다중화 처리부를 제어하는 기계 학습 처리부를 포함할 수 있다.

Description

기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법{Image processing device of learning parameter based on machine Learning and method of the same}

본 발명은 코덱 밖에서 수행되는 기계 학습을 기반으로 학습된 파라미터를 사용하여 부호화 과정에서 발생하는 영상의 품질 저하를 보상하는 기술적 사상에 관한 것이다.

영상, 이미지 또는 소리 데이터를 생성할 때, 원래의 데이터양을 줄이기 위하여 데이터를 코드화하고 압축하는 것을 인코딩이라고 한다.

인코딩 기술은 영상을 원격지로 송출하는 등의 과정에서 수행될 수 있고, 원격지에서는 인코딩된 데이터를 디코딩하여 복원한다.

대부분의 인코딩 과정에서는 압축에 의해서 정보의 손실이 발생한다. 따라서, 이러한 손실에 의해 디코딩되는 영상은 원본 프레임의 품질보다 저하된 품질을 갖는다.

손실에 의한 품질 저하를 방지하기 위한 취지에서 현재에는 영상을 원본 수준으로 디코딩하려는 다양한 방식이 제시되고 있다.

그럼에도 불구하고, 영상의 인코딩이나 디코딩 시간을 크게 늘리지 않으면서 원본 프레임에 가까운 품질로 디코딩하는 기술은 부족한 실정이다. 최근 TV의 해상도가 높아지고 양질의 컨텐츠가 유통됨에 따라 인코딩과 디코딩에 따른 품질 열화를 줄이려는 니즈 역시 증가되는 추세이다.

한국등록특허 제10-1803471호 "컨볼루션 신경망 기반의 영상 패턴화를 이용한 딥러닝 시스템 및 이를 이용한 영상 학습방법" 한국등록특허 제10-1906796호 "딥러닝 기반 영상 분석 장치 및 영상 분석 방법" 한국공개특허 제10-2017-0070715호 "딥러닝 기반 영상 처리 장치 및 방법, 학습 장치"

본 발명은 인코딩 과정에서 손실되는 이미지의 품질을 코덱 밖에서 수행되는 기계 학습에 기반하여 학습된 파라미터를 통해 보완하는 것을 목적으로 한다.

본 발명은 인코딩과 디코딩 중에 코덱 밖에서 수행되는 기계 학습을 통해 파라미터를 학습하는 것을 목적으로 한다.

일실시예에 따른 영상 처리 장치는 입력된 원본 프레임을 저장하는 입력 프레임 버퍼, 상기 저장된 원본 프레임에 대한 인코딩을 처리하는 인코딩 처리부, 상기 인코딩된 원본 프레임을 다중화를 위해 출력 스트림으로서 출력하는 출력 스트림 버퍼, 상기 출력 스트림을 다중화하여 송출하도록 제어하는 다중화 처리부, 상기 출력 스트림 버퍼로부터 상기 출력 스트림을 전달 받아 디코딩 처리하여 복원 프레임을 출력하는 로컬 디코딩 처리부, 상기 출력된 복원 프레임을 저장하는 복원 프레임 버퍼, 및 상기 입력된 원본 프레임과, 상기 출력된 복원 프레임을 수집하고, 상기 수집된 원본 프레임 및 상기 수집된 복원 프레임을 이용한 기계 학습에 기초하여 파라미터를 출력하고, 상기 출력된 파라미터가 디코딩 측에 전달되도록 상기 다중화 처리부를 제어하는 기계 학습 처리부를 포함할 수 있다.

일실시예에 따른 상기 다중화 처리부는, 상기 출력된 파라미터와 상기 다중화된 출력 스트림을 서로 연관지어 디코딩 측으로 전송되도록 처리할 수 있다.

일실시예에 따른 상기 기계 학습 처리부는, 상기 출력된 복원 프레임을 기 학습된 파라미터로 초기화 하여 기계 학습 추론하는 기계 학습 추론부, 상기 기계 학습 추론된 상기 복원 프레임과 상기 입력된 원본 프레임을 비교하여 오류값을 산출하고, 미리 설정된 기준에 따라 상기 산출된 오류값을 상기 기계 학습 추론부로 역전파하여 상기 기계 학습 추론을 다시 수행 하여 상기 기 학습된 파라미터를 업데이트 하도록 상기 기계 학습 추론부에 요청하고, 상기 업데이트된 파라미터를 출력하는 오류 역전파부, 및 상기 출력된 파라미터를 상기 다중화 모듈로 송출하는 파라미터 송출부를 포함할 수 있다.

일실시예에 따른 상기 파라미터 송출부는, 상기 기 학습된 파라미터와 상기 업데이트 후 출력되는 파라미터의 차이값을 인코딩하여 상기 다중화 모듈로 송출할 수 있다.

일실시예에 따른 상기 기계 학습 처리부는, 상기 복원 프레임 및 상기 원본 프레임 중에서 적어도 하나를 복수의 부영상으로 분할하는 학습 부영상 분할부를 더 포함하고, 상기 기계 학습 추론부는 상기 복원 프레임에서 분할된 복수의 부영상을 상기 기 학습된 파라미터로 각각 초기화 하여 기계 학습 추론하고, 상기 오류 역전파부는 상기 원본 프레임에서 분할된 복수의 부영상과 상기 복원 프레임에서 분할된 복수의 부영상을 비교하여 오류값을 산출할 수 있다.

일실시예에 따른 영상 처리 장치는, 인코딩 장치로부터 수신된 입력 스트림을 역다중화 처리하여 입력 스트림 및 파라미터 정보를 추출하는 역다중화 처리부, 상기 추출된 입력 스트림을 저장하는 입력 스트림 버퍼, 상기 저장된 입력 스트림을 디코딩하여 복원 프레임을 생성하는 디코딩 처리부, 상기 생성된 복원 프레임을 저장하는 복원 프레임 버퍼, 상기 추출된 파라미터 정보를 상기 복원 프레임에 적용해서 화질 개선 처리된 출력 프레임을 생성하는 기계 학습 화질개선 처리부, 및 상기 생성된 출력 프레임을 저장하는 출력 프레임 버퍼를 포함하고, 상기 인코딩 장치는, 입력된 원본 프레임과, 로컬 디코더를 통해 상기 원본 프레임으로부터 복원된 프레임 간 오류에 기초하는 기계 학습을 이용해서 파라미터를 업데이트 하고, 상기 입력 스트림과 함께 상기 업데이트된 파라미터에 상응하는 상기 파라미터 정보를 전송할 수 있다.

일실시예에 따른 상기 파라미터 정보는, 기 학습된 파라미터와 상기 업데이트된 파라미터 간 차이에 대한 정보를 포함할 수 있다.

일실시예에 따른 영상 처리 장치는 상기 생성된 복원 프레임과 상기 복원 프레임에 대한 화질 개선의 처리를 수행한 출력 프레임을 비교하여 하나의 프레임을 선택하고, 상기 선택된 프레임을 출력 프레임 버퍼로 저장하도록 제어하는 프레임 선택부를 더 포함할 수 있다.

일실시예에 따른 상기 기계 학습 화질개선 처리부는, 상기 파라미터 정보를 디코딩하여 파라미터를 추출하는 파라미터 정보 디코딩 처리부, 상기 추출된 파라미터와, 기 학습된 파라미터의 차이를 고려하여 파라미터를 업데이트 하는 파라미터 결정부, 및 상기 복원 프레임 버퍼에 저장된 복원 프레임에 상기 업데이트된 파라미터를 적용해서 상기 복원 프레임에 대한 화질을 개선하도록 처리하는 기계 학습 추론부를 포함할 수 있다.

일실시예에 따른 영상 처리 장치의 동작 방법은 입력 프레임 버퍼에서, 입력된 원본 프레임을 저장하는 단계, 인코딩 처리부에서, 상기 저장된 원본 프레임에 대한 인코딩을 처리하는 단계, 출력 스트림 버퍼에서, 상기 인코딩된 원본 프레임을 다중화를 위해 출력 스트림으로서 출력하는 단계, 다중화 처리부에서, 상기 출력 스트림을 다중화하여 송출하도록 제어하는 단계, 로컬 디코딩 처리부에서, 상기 출력 스트림 버퍼로부터 상기 출력 스트림을 전달 받아 디코딩 처리하여 복원 프레임을 출력하는 단계, 복원 프레임 버퍼에서, 상기 출력된 복원 프레임을 저장하는 단계, 및 기계 학습 처리부에서, 상기 입력된 원본 프레임과, 상기 출력된 복원 프레임을 수집하고, 상기 수집된 원본 프레임 및 상기 수집된 복원 프레임을 이용한 기계 학습에 기초하여 파라미터를 출력하고, 상기 출력된 파라미터가 디코딩 측에 전달되도록 상기 다중화 처리부를 제어하는 단계를 포함할 수 있다.

일실시예에 따른 상기 출력 스트림을 다중화하여 송출하도록 제어하는 단계는, 상기 출력된 파라미터와 상기 다중화된 출력 스트림을 서로 연관지어 디코딩 측으로 전송되도록 처리하는 단계를 포함할 수 있다.

일실시예에 따른 상기 출력된 파라미터가 디코딩 측에 전달되도록 상기 다중화 처리부를 제어하는 단계는, 상기 출력된 복원 프레임을 기 학습된 파라미터로 초기화 하여 기계 학습 추론하는 단계, 상기 기계 학습 추론된 상기 복원 프레임과 상기 입력된 원본 프레임을 비교하여 오류값을 산출하는 단계, 미리 설정된 기준에 따라 상기 산출된 오류값을 역전파하여 상기 기계 학습 추론을 다시 수행 하여 상기 기 학습된 파라미터를 업데이트 하도록 요청하는 단계, 상기 업데이트된 파라미터를 출력하는 단계, 및 상기 출력된 파라미터를 상기 다중화 모듈로 송출하는 단계를 포함할 수 있다.

일실시예에 따른 상기 출력된 파라미터를 상기 다중화 모듈로 송출하는 단계는, 상기 기 학습된 파라미터와 상기 업데이트 후 출력되는 파라미터의 차이값을 인코딩하여 상기 다중화 모듈로 송출하는 단계를 포함할 수 있다.

일실시예에 따른 영상 처리 장치의 동작 방법은 역다중화 처리부에서, 인코딩 장치로부터 수신된 입력 스트림을 역다중화 처리하여 입력 스트림 및 파라미터 정보를 추출하는 단계, 입력 스트림 버퍼에서, 상기 추출된 입력 스트림을 저장하는 단계, 디코딩 처리부에서, 상기 저장된 입력 스트림을 디코딩하여 복원 프레임을 생성하는 단계, 복원 프레임 버퍼에서, 상기 생성된 복원 프레임을 저장하는 단계, 기계 학습 화질개선 처리부에서, 상기 추출된 파라미터 정보를 상기 복원 프레임에 적용해서 화질 개선 처리된 출력 프레임을 생성하는 단계, 및 출력 프레임 버퍼에서, 상기 생성된 출력 프레임을 저장하는 단계를 포함하고, 상기 인코딩 장치는, 입력된 원본 프레임과, 로컬 디코더를 통해 상기 원본 프레임으로부터 복원된 프레임 간 오류에 기초하는 기계 학습을 이용해서 파라미터를 업데이트 하고, 상기 입력 스트림과 함께 상기 업데이트된 파라미터에 상응하는 상기 파라미터 정보를 전송할 수 있다.

일실시예에 따른 영상 처리 장치의 동작 방법은 상기 생성된 복원 프레임과 상기 복원 프레임에 대한 화질 개선의 처리를 수행한 출력 프레임을 비교하여 하나의 프레임을 선택하는 단계, 및 상기 선택된 프레임을 출력 프레임 버퍼로 저장하도록 제어하는 단계를 더 포함할 수 있다.

일실시예에 따른 상기 화질 개선 처리된 출력 프레임을 생성하는 단계는, 상기 파라미터 정보를 디코딩하여 파라미터를 추출하는 단계, 상기 추출된 파라미터와, 기 학습된 파라미터의 차이를 고려하여 파라미터를 업데이트 하는 단계, 및 상기 저장된 복원 프레임에 상기 업데이트된 파라미터를 적용해서 상기 복원 프레임에 대한 화질을 개선하도록 처리하는 단계를 포함할 수 있다.

일실시예에 따르면, 인코딩 과정에서 손실되는 이미지의 품질을 기계 학습에 기반하여 학습된 파라미터를 통해 보완할 수 있다.

일실시예에 따르면, 인코딩과 디코딩 중에 기계 학습을 통해 파라미터를 학습할 수 있다.

도 1은 일실시예에 따른 영상 처리 장치 중에서 인코딩 측 시스템을 설명하는 도면이다.
도 2는 일실시예에 따른 기계 학습 처리부를 구체적으로 설명하는 도면이다.
도 3은 기계 학습을 통해 파라미터를 트레이닝 하는 실시예를 설명하는 도면이다.
도 4 및 5는 코덱 외부에서 수행되는 기계 학습을 통해 영상의 화질을 향상 시키는 응용 예를 설명한다.
도 6은 일실시예에 따른 영상 처리 장치 중에서 디코딩 측 시스템을 설명하는 도면이다.
도 7은 다른 일실시예에 따른 영상 처리 장치 중에서 디코딩 측 시스템을 설명하는 도면이다.
도 8은 일실시예에 따른 기계 학습 화질개선 처리부를 구체적으로 설명하는 도면이다.
도 9는 일실시예에 따른 영상 처리 장치의 동작 방법 중에서 인코딩 측 동작 방법을 설명하는 도면이다.
도 10은 일실시예에 따른 영상 처리 장치의 동작 방법 중에서 디코딩 측 동작 방법을 설명하는 도면이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

본 명세서에서는 통상적인 기계 학습에 기반하여 본 발명의 컨셉을 설명하지만, 이는 딥러닝 또는 컨볼루션 뉴럴 네트워크 등의 다양한 학습 기술로 해석될 수 있다.

도 1은 일실시예에 따른 영상 처리 장치 중에서 인코딩 측 시스템을 설명하는 도면이다.

일실시예에 따른 영상 처리 장치(100)는 인코딩 과정에서 손실되는 이미지의 품질을 기계 학습에 기반하여 학습된 파라미터를 통해 보완할 수 있다. 또한, 인코딩과 디코딩 중에 기계 학습을 통해 파라미터를 학습할 수 있다.

이를 위해, 일실시예에 따른 영상 처리 장치(100)는 제어 시스템(101)의 통제하에 동작하는 입력 제어부(102), 입력 프레임 버퍼(103), 인코딩 처리부(104), 출력 스트림 버퍼(105), 다중화 처리부 (106), 로컬 디코딩 처리부(108), 복원 프레임 버퍼(109), 및 기계 학습 처리부(110) 중에서 적어도 일부의 구성요소들을 포함할 수 있다.

먼저, 일실시예에 따른 입력 제어부(102)는 입력되는 원본 프레임을 제어하여 입력 프레임 버퍼(103)에 저장할 수 있다.

다음으로, 인코딩 처리부(104)는 저장된 원본 프레임에 대한 인코딩을 처리할 수 있다. 인코딩 과정에서는 일반적으로 널리 사용되는 인코딩 알고리즘들이 다양하게 적용될 수 있다.

다음으로, 출력 스트림 버퍼(105)는 인코딩된 원본 프레임을 저장하고 출력 전 다중화를 위해 다중화 처리부(106)로 인코딩된 원본 프레임을 제공할 수 있다.

다중화 처리부(106)에서는 인코딩된 음성 정보, 영상 정보, 메타 정보 등을 다중화 처리하고, 출력 포맷팅 처리부(107)는 다중화 처리된 정보들을 출력을 위한 포맷으로 가공 처리하여 출력을 준비할 수 있다.

한편, 출력 스트림 버퍼(105)에 저장된 인코딩된 원본 프레임은 로컬에 위치하는 로컬 디코딩 처리부(108)를 통해 디코딩될 수 있다. 로컬 디코딩 처리부(108)는 프레임의 인코딩 시 인접한 프레임을 참조하기 위해 인코딩 측에 위치하는 로컬 디코더의 기능도 수행할 수 있다.

로컬 디코딩 처리부(108)는 인코딩 후 출력 스트림 버퍼(105)에 저장되어 있던 원본 프레임을 디코딩 하여 복원 프레임을 생성할 수 있다.

복원 프레임 버퍼(109)는 생성한 복원 프레임을 저장하고, 필요 시 기계 학습 처리부(110)의 입력으로 제공할 수 있다.

일실시예에 따른 기계 학습 처리부(110)는 입력 프레임 버퍼(103)로부터 저장되어 있는 원본 프레임을 수집하고, 복원 프레임 버퍼(109)에 저장되어 있는 복원 프레임을 수집할 수 있다.

또한, 기계 학습 처리부(110)는 수집된 원본 프레임과 수집된 복원 프레임을 활용하여 기계 학습을 수행하고, 기계 학습 결과를 활용하여 디코딩 과정에서 원본 프레임 수준으로 프레임을 복원할 수 있는 학습 파라미터를 생성하여 다중화 처리부(106)로 제공할 수 있다.

이를 위해, 기계 학습 처리부(110)는 수집된 원본 프레임 및 수집된 복원 프레임을 이용한 기계 학습에 기초하여 업데이트된 파라미터를 출력하고, 출력된 파라미터가 디코딩 측에 전달되도록 다중화 처리부(106)를 제어할 수 있다. 이 과정에서, 다중화 처리부(106)는 출력된 파라미터와 다중화된 출력 스트림을 서로 연관지어 디코딩 측으로 전송되도록 출력 포맷팅 처리부(107)에 요청할 수 있다.

보다 구체적으로, 기계 학습 처리부(110)는 업데이트된 파라미터를 출력하기 위해, 복원 프레임과 입력된 원본 프레임을 비교하여 오류를 산출하고, 산출된 오류에 기초하여 기계 학습 추론을 미리 정해놓은 기준에 따라 반복할 수 있다.

기계 학습 처리부(110)의 동작에 대해서는 이하 도 2를 통해 보다 구체적으로 설명한다.

도 2는 일실시예에 따른 기계 학습 처리부(200)를 구체적으로 설명하는 도면이다.

일실시예에 따른 기계 학습 처리부(200)는 기계 학습 추론부(202), 오류 역전파부(203), 및 파라미터 송출부(204)를 포함할 수 있다.

또한, 일실시예에 따른 기계 학습 처리부(200)는 입력된 복원 프레임의 크기를 고려하여 복수의 부분으로 분할 할 수 있는 학습 부영상 분할부(201)를 선택적으로 포함할 수도 있다.

일실시예에 따른 기계 학습 처리부(200)는 복원 프레임과 대비되는 원본 프레임도 수집해야 하는데, 마찬가지로 원본 프레임의 크기를 고려하여 복수의 부분으로 분할 할 수도 있으므로, 프레임을 여러 부분으로 분할할 수 있는 학습 부영상 분할부(205)를 선택적으로 포함할 수 있다.

먼저, 일실시예에 따른 기계 학습 추론부(202)는 출력된 복원 프레임을 기 학습된 파라미터로 초기화 하여 기계 학습 추론할 수 있다.

다음으로, 일실시예에 따른 오류 역전파부(203)는 기계 학습 추론된 복원 프레임과 입력된 원본 프레임을 비교하여 오류값을 산출할 수 있다. 또한, 미리 설정된 기준에 따라 산출된 오류값을 기계 학습 추론부(202)로 역전파하여 기계 학습 추론을 다시 수행 하도록 기계 학습 추론부(202)에 요청할 수 있다. 이렇게 역전파에 의해 기계 학습이 반복되는 경우 기 학습된 파라미터가 업데이트될 수 있다. 오류 역전파부(203)는 업데이트된 파라미터를 출력하여 파라미터 송출부를 통해 파라미터 정보로써 다중화 처리부로 제공할 수 있다.

통상적인 기계 학습에서 오류 역전파부의 오류는 '학습 데이터의 오류'로서, 일반화 성능을 높이기 위해 설계된 regularization term이나 설계자의 의도를 반영하기 위한 additional term 등이 포함될 수 있다. 또한 일실시예에 따른 오류 역전파부(203)는 산출된 오류값의 크기 여부와는 상관없이 반복적으로 오류 역전파를 수행할 수 있다.

또한, '학습의 종료시점을 결정하기 위한 오류'는 '검증 데이터의 오류'로서, 최종적인 성능을 측정하기 위한 MSE, PSNR, SSIM 등이 사용될 수 있다.

예를 들어, GOP 단위로 학습 데이터를 전송하는 경우, GOP 내에서 학습에 사용된 일부의 프레임은 '학습 데이터'가 될 수 있으며, 학습에 사용되지 않은 나머지 프레임들은 '검증 데이터'가 될 수 있다. 이는 일실시예에 불과할 뿐 GOP내의 모든 프레임을 학습 데이터로 사용하는 응용 예도 가능하다.

일실시예에 따른 기계 학습 추론부(202)는 복원 프레임을 수집하는 경우에 복원 프레임에 대한 학습 파라미터를 기 설정된 파라미터로 초기화할 수 있다.

또한, 오류 역전파부(203)에서 요청되는 기계 학습 추론에 의해서 기 설정된 파라미터가 업데이트 될 수 있다.

일실시예에 따른 파라미터 송출부(204)는 기 학습된 파라미터와 업데이트 후 출력되는 파라미터의 차이값만을 인코딩하여 파라미터 정보로서 출력할 수 있다.

경우에 따라서는 파라미터의 데이터 양이 무시할 수 없는 수준이다. 또한, 디코딩 측에서는 인코딩 측에서와 같이 기 학습된 파라미터를 동일하게 갖고 있는데, 이를 고려하여 파라미터가 업데이트된 정도만을 디코딩 측에 전송함으로써 처리가 가능하다.

도 3은 기계 학습을 통해 파라미터를 트레이닝 하는 실시예(300)를 설명하는 도면이다.

도 3의 실시예(300)는 레이어 블록(310)과 두 번째의 레이어 블록(320)을 통해 초기화된 필터 커널 값을 적용해서 원본 프레임과 복원 프레임이 얼마나 차이가 나는지를 비교하고, 이 결과에 대한 에러를 계산해서, 에러의 역전파를 해 나가면서 파라미터를 업데이트 해 나가는 구조이다.

도 3의 실시예(300)에서는, 기계 학습 기술로써 딥 뉴럴 네트워크가 사용될 때의 응용 예에 해당한다. 즉, 도 3의 실시예(300)에서는 전체 파라미터를 업데이트하는 대신에 기 학습된 파라미터로 초기화된 상태에서 뒷 단에 위치한 일부 레이어 블록(320)만을 업데이트하는 fine-tuning 과정을 통해 학습 연산 부담을 줄일 수 있다.

도 3의 실시예를 살펴보면, 계층구조는 고정되어 있고, 계층 구조 내에 특정 파라미터들이 트레이닝의 결과로 세팅될 수 있다. 즉, 계층 구조 내의 각각의 계수 값들이 파라미터이며, 이는 영상 부호화 및 복호화 과정을 통해 왜곡된 영상의 정보를 복원하는데 필요한 정보로 해석될 수 있다.

따라서, 레이어 구조의 파라미터 값을 스트림을 생성할 때 특정 위치에 메타 데이터처럼 넣어서 출력할 수 있다.

디코딩 측에서는 인코딩 측으로부터 전달되는 스트림을 수신하여 디코딩 하고, 인코더에서 전송한 파라미터를 이용해서 뉴럴 네트워크 모듈을 구동하여 원본 영상에 근접한 영상으로 복원할 수 있다.

압축에 의한 손실은 업데이트된 파라미터를 이용해서 보완할 수 있는데, 일반적인 기계 학습으로 처리하는 경우 인코딩 중에 실시간으로 수행되기가 어렵고, 디코더에서도 디코딩 중에 실시간으로 처리되기 무리가 따른다.

도 3의 실시예(300)에서 보는 바와 같이, 기계 학습을 통해 파라미터를 트레이닝할 수 있다. 본 발명에 따른 영상 처리 장치는 인코딩 과정(310)에서 기계 학습 추론 모듈과 오류 역전파 모듈 간의 반복적인 기계 학습을 통해 파라미터를 트레이닝할 수 있다.

도 3의 실시예(300)를 살펴보면, 인코딩을 위해 프레임 단위, GOP(group of picture) 단위, 한 씬 컷 단위, 블록 단위, 영상 시퀀스 전체 단위 (예: 해리포터 3편용 파라미터) 등의 형태로 파라미터를 보낼 수 있다.

본 발명은 코덱의 외부에서의 결과를 파라미터로 보내는 컨셉에 해당하며, 실시예(300)에서 순차적으로 연결된 각각의 단위 블록은 기계 학습을 수행하기 위해 구분되는 각각의 레이어로 해석될 수 있다.

기계 학습을 위해서는 정해진 커널이 아닌, 학습에 의해서 변화될 수 있는 커널 계수값들이 있으며, 커널 계수값들을 통해서 3x3, 5x5와 같은 필터 사이즈가 네트워크 디자인에 의해서 미리 정해질 수 있다.

도 3의 실시예(300)에서는 컨볼루션 커널을 통과하고, 기계 학습을 통해 피쳐를 추출할 수 있다. 컨볼루션 커널은 이전 레이어가 다음 번 레이어에 맵핑될 수 있는 커널로 해석될 수 있으며, 컨볼루션 연산을 통해 입력된 프레임이 진행이 되면서, 변환된 맵핑이 이상적인 아웃풋에 맵핑이 될 수 있도록 파라미터들이 학습될 수 있다.

도 3의 실시예(300)에서는 사이즈가 x32에서 x64, x128과 같이 줄이는 이유는 영상의 스케일 마다 뽑아낼 수 있는 피쳐들이 다양하기 때문에, 다양한 스케일의 영상으로부터 피쳐들을 추출하여 영상을 분석하기 위함이다. 또한, 중간의 과정에서 맥스풀링이라는 과정을 거쳐, 가로 1/2, 세로 1/2의 스케일로 다운 스케일링 할 수 있다. 이 과정에서, 프레임의 사이즈를 한 번 줄여서 매핑되는 위치에 대한 피쳐들을 찾을 수 있다. 인코딩 과정에서는 공간적인 정보들을 잃어버리기 때문에 원래 정보들을 가져와 잃어버린 정보들을 보완할 수 있다.

도 3의 실시예(300)에는 영상의 아티팩트를 줄이기 위한 구조로서, 3x3커널이 적용되어, 3x3커널 32개가 첫 번째 레이어에서 학습될 수 있다. 또한, 3x3 커널에서 32개의 파라미터가 다시 한 번 학습이 됨으로써, 두 번째 레이어에서 32개의 맵 전체에 3x3 커널을 적용하여 파라미터를 학습할 수 있다.

만약, 처음 입력으로 들어온 프레임이, y 채널 하나만 갖고 있다고 가정한다면 이미지가 하나만 있을 수 있고, 여기에 3x3 커널을 적용해서 하나의 피쳐맵이 생성될 수 있다. 또한, 이러한 과정을 총 32번 적용하여 32개의 피쳐맵이 생성될 수 있다.

즉, 첫 번째 레이어(310)에서는 최종적으로는 32개의 피쳐맵을 만들려고 하는 것인데, 32개의 채널 모두에 3x3 커널을 적용해서 피쳐맵을 만들 수 있다.

도 3의 실시예(300)는 첫 번째 레이어(310)와 두 번째 레이어(320)를 통해 랜덤으로 초기화된 필터 커널 값을 적용해서 얼마나 차이가 나는지를 비교하고, 이 결과에 대한 에러를 계산해서, 에러의 그래디언트를 역전파를 해 나가면서 파라미터를 업데이트 해 나가는 구조이다.

기 설정된 필터 커널 값을 적용하면, 연산양이 더 줄어들 수 있는데, 이는 에러를 전파하는 과정을 굉장히 많이 해야지 원하는 파라미터가 생성될 수 있다.

즉, 기 설정된 파라미터를 활용하는 경우에 학습에 필요한 시간을 줄이고, 훨씬 정교한 결과를 얻을 수 있다.

이하, 도 4 및 5에서는 코덱 외부에서 수행되는 기계 학습을 통해 영상의 화질을 향상 시키는 응용 예를 설명한다.

도 4는 일실시예에 따른 영상 처리 장치 중에서 서로 다른 레벨의 프레임들을 이용하는 실시예 설명하는 도면이다.

일실시예에 따른 영상 처리 장치(400)는 영상 처리 장치(100)가 서로 다른 레벨별로 입력된 원본 프레임을 인코딩하고, 인접한 레벨에서의 원본 프레임 및 복원 프레임을 전달 받아 기계 학습하는 특징을 갖는다.

이를 위해, 인접한 레벨로부터 프레임을 전달받기 위한 구조를 제외하고 입력 제어부(401), 입력 프레임 버퍼(402), 인코딩 처리부(403), 출력 스트림 버퍼(404), 다중화 처리부(405), 출력 포맷팅 처리부(406)는 도 1의 해당 구성요소들과 기본적인 동작들이 동일하다.

다만, 일실시예에 따른 영상 처리 장치(400)는 인접한 다른 레벨의 출력 스트림 버퍼로부터의 복원 프레임을 수집하여 디코딩 처리하는 디코딩 처리부와, 디코딩 처리된 복원 프레임을 저장하는 복원 프레임 버퍼를 하나의 세트로 하는 처리 블록(407), 저장된 복원 프레임과 인접한 레벨에서의 복원 프레임을 기계 학습하여 필터 파라미터를 생성하여 출력하는 기계 학습 처리부(408)를 더 포함할 수 있다.

기계 학습 처리부(408)는 계층적 구조를 통해 하위 복원 프레임 정보를 상위 복원 프레임 정보 수준으로 개선하는 기계 학습된 파라미터 정보를 제공할 수 있다.

처리 블록(407)과 기계 학습 처리부(408)는 각 레벨에 따라 출력 스트림 버퍼들 사이에 배치되어 인접한 레벨들로부터의 정보를 수집하여 필터 파라미터를 출력 후 다중화 처리부의 입력으로 제공할 수 있다.

즉, 출력 스트림에 대한 복원 프레임을 입력되는 원본 프레임 정보 수준으로 개선하는 기계 학습된 파라미터 를 제공할 수 있다.

영상의 스케일 마다 추출할 수 있는 피쳐들이 다양하기 때문에, 다양한 스케일의 영상으로부터 피쳐들을 추출하여 영상을 분석하는 경우에 화질 개선의 효과가 향상될 수 있다.

일실시예에 따른 기계 학습 처리부(408)는 출력된 복원 프레임을 기 학습된 파라미터로 초기화 하여 딥러닝 추론할 수 있다. 또한, 기계 학습된 복원 프레임과 입력된 원본 프레임을 비교하여 오류값을 산출한 후 오류값에 대한 결과로 생성되는 역전파 요청에 따라 기계 학습을 반복하여 다시 수행할 수 있다. 이렇게 역전파에 의해 기계 학습이 반복되는 경우 기 학습된 필터 파라미터가 업데이트될 수 있다. 업데이트된 필터 파라미터는 출력되어 다중화 처리부(405)로 제공될 수 있다.

일실시예에 따른 출력 포맷팅 처리부(406)는 기 학습된 필터 파라미터와 업데이트 후 출력되는 필터 파라미터의 차이값만을 인코딩하여 파라미터 정보로서 출력할 수 있다.

경우에 따라서는 필터 파라미터의 데이터 양이 무시할 수 없는 수준이다. 또한, 디코딩 측에서는 인코딩 측에서와 같이 기 학습된 파라미터를 동일하게 갖고 있는데, 이를 고려하여 파라미터가 업데이트된 정도만을 디코딩 측에 전송함으로써 실시간 처리가 가능하다.

도 5는 기계 학습 처리부가 선택적으로 사이즈가 조절된 입력 프레임을 수신하여 기계 학습하는 실시예를 설명하는 도면이다.

일실시예에 따른 영상 처리 장치(500)는 입력 프레임의 사이즈를 조절하여 기계 학습 처리부(508)의 입력으로 제공할 수 있다.

이를 위한 구성요소로서, 입력 프레임의 리사이즈를 위한 구성요소를 제외하고, 입력 제어부(501), 입력 프레임 버퍼(502), 인코딩 처리부(503), 출력 스트림 버퍼(504), 다중화 처리부(505), 출력 포맷팅 처리부(506)는 도 3의 해당 구성요소들과 기본적인 동작들이 동일하다.

일실시예에 따른 기계 학습 처리부(508)는 입력 프레임 버퍼(502)로부터 원본 프레임을 더 수집할 수 있다. 즉, 기계 학습 처리부(508)는 수집된 원본 프레임, 인접한 레벨에서 저장된 복원 프레임, 및 인접한 레벨에서의 복원 프레임을 기계 학습하여 필터 파라미터를 생성하여 출력할 수 있다.

일례로, 일실시예에 따른 기계 학습 처리부(508)는 원본 프레임을 수집하되, 리사이징부(509)를 통해 사이즈가 조절된 원본 프레임을 수집할 수 있다.

이에, 기계 학습 처리부(508)는 리사이징부(509)에 의해 조절된 사이즈의 원본 프레임, 저장된 복원 프레임, 및 인접한 레벨에서의 복원 프레임을 기계 학습하여 필터 파라미터를 생성하여 출력할 수 있다.

도 6은 일실시예에 따른 영상 처리 장치(600) 중에서 디코딩 측 시스템을 설명하는 도면이다.

일실시예에 따른 영상 처리 장치(600)는 인코딩 과정에서 손실되는 이미지의 품질을 기계 학습에 기반하여 학습된 파라미터를 통해 보완할 수 있고, 인코딩과 디코딩 중에 기계 학습을 통해 파라미터를 학습할 수 있다.

이를 위해, 일실시예에 따른 영상 처리 장치(600)는 제어 시스템(601)의 통제하에 동작하는 입력 제어부(602), 역다중화 처리부(603), 입력 스트림 버퍼(604), 디코딩 처리부(605), 복원 프레임 버퍼(606), 기계 학습 화질개선 처리부(607), 출력 프레임 버퍼(608), 출력 제어부(609) 중에서 적어도 일부의 구성요소들을 포함할 수 있다.

먼저, 일실시예에 따른 입력 제어부(602)는 인코더로부터 전달되는 입력 스트림을 제어하여 역다중화 처리부(603)의 입력을 전달할 수 있다.

역다중화 처리부(603)는 인코딩 장치로부터 수신된 입력 스트림을 역다중화 처리하여 입력 스트림 및 파라미터 정보를 추출할 수 있다.

파라미터 정보는 업데이트된 파라미터 또는 기 학습된 파라미터와 업데이트된 파라미터의 차이값을 포함할 수도 있다.

다음으로, 입력 스트림 버퍼(604)는 추출된 입력 스트림을 저장할 수 있다.

또한, 디코딩 처리부(605)는 저장된 입력 스트림을 디코딩하여 복원 프레임을 생성하여 복원 프레임 버퍼(606)에 저장할 수 있다.

일실시예에 따른 기계 학습 화질개선 처리부(607)는 추출된 파라미터 정보를 복원 프레임에 적용해서 화질 개선 처리된 출력 프레임을 생성할 수 있다. 또한, 출력 프레임 버퍼(608)는 화질 개선 처리된 출력 프레임을 저장하고, 출력 제어부(609)를 통해 출력되도록 제공할 수 있다.

인코딩 장치는, 입력된 원본 프레임과, 로컬 디코더를 통해 원본 프레임으로부터 복원된 프레임 간 오류에 기초하는 기계 학습을 이용해서 파라미터를 업데이트 하고, 입력 스트림과 함께 업데이트된 파라미터에 상응하는 파라미터 정보를 전송했다.

이에 일실시예에 따른 기계 학습 화질개선 처리부(607)는 추출된 파라미터와, 기 학습된 파라미터의 차이를 고려하여 파라미터를 업데이트하여 복원 프레임의 화질을 개선할 수 있다.

기계 학습 화질개선 처리부(607)의 구체적인 동작에 대해서는 이하 도 6을 통해 보다 구체적으로 설명한다.

도 7은 다른 일실시예에 따른 영상 처리 장치(700) 중에서 디코딩 측 시스템을 설명하는 도면이다.

일실시예에 따른 영상 처리 장치(700)는 영상 처리 장치(600)에서 프레임 선택부(708)를 더 포함하는 구조이다. 즉, 제어 시스템(701)의 통제하에 동작하는 입력 제어부(702), 역다중화 처리부(703), 입력 스트림 버퍼(704), 디코딩 처리부(705), 복원 프레임 버퍼(706), 기계 학습 화질개선 처리부(707), 출력 프레임 버퍼(709), 출력 제어부(710)는 도 6의 해당 구성요소들과 동일한 동작을 수행한다.

다만, 프레임 선택부(708)는 복원 프레임 버퍼(706)에 기록되어 있는 복원 프레임과 기계 학습 화질개선 처리부(707)의 출력 프레임을 비교하여 선택하여 출력할 수 있다.

즉, 프레임 선택부(708)는 생성된 복원 프레임과 복원 프레임에 대한 화질 개선의 처리를 수행한 출력 프레임을 비교하여 하나의 프레임을 선택하고, 선택된 프레임을 출력 프레임 버퍼로 저장하도록 제어할 수 있다.

도 8은 일실시예에 따른 기계 학습 화질개선 처리부(800)를 구체적으로 설명하는 도면이다.

일실시예에 따른 기계 학습 화질개선 처리부(800)는 복원 프레임과, 파라미터 정보, 기 학습된 파라미터를 입력으로 하여 화질 개선된 복원 프레임을 출력할 수 있다.

이를 위해, 일실시예에 따른 기계 학습 화질개선 처리부(800)는 파라미터 정보 디코딩 처리부(810), 파라미터 결정부(820), 및 기계 학습 추론부(830)를 포함할 수 있다.

파라미터 정보 디코딩 처리부(810)는 파라미터 정보를 디코딩하여 파라미터를 추출할 수 있다.

파라미터 결정부(820)는 추출된 파라미터와, 기 학습된 파라미터의 차이를 고려하여 파라미터를 업데이트할 수 있다.

기계 학습 추론부(830)는 복원 프레임 버퍼에 저장된 복원 프레임에 업데이트된 파라미터를 적용해서 복원 프레임에 대한 화질을 개선하도록 처리할 수 있다. 이 과정에서 기계 학습 추론부(830)는 추론과 역전파를 반복하여 수행하면서 복원 프레임에 대한 화질을 개선할 수 있다.

도 9는 일실시예에 따른 영상 처리 장치의 동작 방법 중에서 인코딩 측 동작 방법을 설명하는 도면이다.

일실시예에 따른 영상 처리 장치의 동작 방법을 살펴보면, 입력된 원본 프레임을 저장하고, 저장된 원본 프레임에 대한 인코딩을 수행할 수 있다(단계 901).

다음으로, 일실시예에 따른 영상 처리 장치의 동작 방법은 인코딩된 원본 프레임을 다중화를 위해 출력 스트림으로서 출력하고(단계 902), 출력 스트림을 다중화하여 송출하도록 제어할 수 있다(단계 903).

한편, 일실시예에 따른 영상 처리 장치의 동작 방법은 출력 스트림을 전달 받아 디코딩 처리하여 복원 프레임을 출력하고(단계 904), 출력된 복원 프레임을 저장할 수 있다(단계 905).

또한, 일실시예에 따른 영상 처리 장치의 동작 방법은 입력된 원본 프레임과, 출력된 복원 프레임을 수집하고(단계 906), 기계 학습에 기초하여 파라미터를 출력할 수 있다(단계 907). 이 과정에서, 영상 처리 장치의 동작 방법은 출력된 복원 프레임을 기 학습된 파라미터로 초기화 하여 기계 학습 추론할 수 있다. 또한, 기계 학습 추론된 복원 프레임과 입력된 원본 프레임을 비교하여 오류값을 산출하고, 미리 설정된 기준에 따라 산출된 오류값을 역전파하여 기계 학습 추론을 다시 수행 하여 기 학습된 파라미터를 업데이트 하도록 요청할 수 있다.

영상 처리 장치의 동작 방법은 출력된 파라미터가 디코딩 측에 전달되도록 다중화 처리부를 제어할 수 있다(단계 908).

일실시예에 따른 영상 처리 장치의 동작 방법은 출력된 파라미터를 다중화 모듈로 송출하기 위해, 기 학습된 파라미터와 업데이트 후 출력되는 파라미터의 차이값을 인코딩하여 다중화 모듈로 송출할 수 있다.

도 10은 일실시예에 따른 영상 처리 장치의 동작 방법 중에서 디코딩 측 동작 방법을 설명하는 도면이다.

일실시예에 따른 영상 처리 장치의 동작 방법은 인코딩 장치로부터 수신된 입력 스트림을 역다중화 처리하여 입력 스트림 및 파라미터 정보를 추출할 수 있다(단계 1001).

또한, 일실시예에 따른 영상 처리 장치의 동작 방법은 추출된 입력 스트림을 저장하고(단계 1002), 저장된 입력 스트림을 디코딩하여 복원 프레임을 생성하고(단계 1003), 생성된 복원 프레임을 저장할 수 있다(단계 1004).

다음으로, 일실시예에 따른 영상 처리 장치의 동작 방법은 추출된 파라미터 정보를 복원 프레임에 적용해서 화질 개선 처리된 출력 프레임을 생성할 수 있다. 또한, 일실시예에 따른 영상 처리 장치의 동작 방법은 출력 프레임 버퍼에 생성된 출력 프레임을 저장할 수 있다(단계 1006).

저장되는 출력 프레임은 디스플레이 장치를 통해 출력될 수 있다.

결국, 본 발명을 이용하는 경우 인코딩 과정에서 손실되는 이미지의 품질을 기계 학습에 기반하여 학습된 파라미터를 통해 보완할 수 있다. 뿐만 아니라, 인코딩과 디코딩 중에 기계 학습을 통해 파라미터를 학습할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

입력된 원본 프레임을 저장하는 입력 프레임 버퍼;
상기 저장된 원본 프레임에 대한 인코딩을 처리하는 인코딩 처리부;
상기 인코딩된 원본 프레임을 다중화를 위해 출력 스트림으로서 출력하는 출력 스트림 버퍼;
상기 출력 스트림을 다중화하여 송출하도록 제어하는 다중화 처리부;
상기 출력 스트림 버퍼로부터 상기 출력 스트림을 전달 받아 디코딩 처리하여 복원 프레임을 출력하는 로컬 디코딩 처리부;
상기 출력된 복원 프레임을 저장하는 복원 프레임 버퍼; 및
상기 입력된 원본 프레임과, 상기 로컬 디코딩 처리부에서 디코딩 처리되어 상기 복원 프레임 버퍼에 저장된 복원 프레임을 수집하고, 상기 수집된 원본 프레임 및 상기 수집된 복원 프레임을 이용한 기계 학습에 기초하여 파라미터를 출력하고, 상기 출력된 파라미터가 디코딩 측에 전달되도록 상기 다중화 처리부를 제어하는 기계 학습 처리부를 포함하고,
인접한 다른 레벨의 출력 스트림 버퍼로부터의 복원 프레임을 수집하여 디코딩 처리하는 디코딩 처리부;
상기 디코딩 처리된 복원 프레임을 저장하는 제2 복원 프레임 버퍼;
상기 저장된 복원 프레임과 인접한 레벨에서의 복원 프레임을 기계 학습하여 필터 파라미터를 생성하여 출력하는 기계 학습 화질개선 처리부를 더 포함하는 영상 처리 장치.
제1항에 있어서,
상기 다중화 처리부는,
상기 출력된 파라미터와 상기 다중화된 출력 스트림을 서로 연관지어 디코딩 측으로 전송되도록 처리하는 영상 처리 장치.
제1항에 있어서,
상기 기계 학습 처리부는,
상기 출력된 복원 프레임을 기 학습된 파라미터로 초기화 하여 기계 학습 추론하는 기계 학습 추론부;
상기 기계 학습 추론된 상기 복원 프레임과 상기 입력된 원본 프레임을 비교하여 오류값을 산출하고, 미리 설정된 기준에 따라 상기 산출된 오류값을 상기 기계 학습 추론부로 역전파하여 상기 기계 학습 추론을 다시 수행 하여 상기 기 학습된 파라미터를 업데이트 하도록 상기 기계 학습 추론부에 요청하고, 상기 업데이트된 파라미터를 출력하는 오류 역전파부; 및
상기 출력된 파라미터를 상기 다중화 처리부로 송출하는 파라미터 송출부
를 포함하는 영상 처리 장치.
제3항에 있어서,
상기 파라미터 송출부는,
상기 기 학습된 파라미터와 상기 업데이트 후 출력되는 파라미터의 차이값을 인코딩하여 상기 다중화 처리부로 송출하는 영상 처리 장치.
제3항에 있어서,
상기 기계 학습 처리부는,
상기 복원 프레임 및 상기 원본 프레임 중에서 적어도 하나를 복수의 부영상으로 분할하는 학습 부영상 분할부
를 더 포함하고,
상기 기계 학습 추론부는 상기 복원 프레임에서 분할된 복수의 부영상을 상기 기 학습된 파라미터로 각각 초기화 하여 기계 학습 추론하고,
상기 오류 역전파부는 상기 원본 프레임에서 분할된 복수의 부영상과 상기 복원 프레임에서 분할된 복수의 부영상을 비교하여 오류값을 산출하는 영상 처리 장치.
제1항에 있어서,
상기 기계 학습 처리부는,
상기 기계 학습에 기초하여 파라미터를 출력하되, 상기 기계 학습 과정에서 전체의 파라미터를 업데이트하여 출력하지 않고, 기 학습된 파라미터로 초기화된 상태에서 일부 레이어 블록만을 업데이트하는 fine-tuning 과정을 통해 일부 레이어 블록만을 업데이트하여 출력하는 영상 처리 장치.
삭제
제1항에 있어서,
상기 다중화 처리부에서는 인접한 레벨에서의 필터 파라미터와 상기 인접한 다른 레벨에서의 필터 파라미터를 다중화하여 출력하는 영상 처리 장치.
제1항에 있어서,
상기 기계 학습 화질개선 처리부는,
원본 프레임을 더 수집하고, 상기 원본 프레임, 상기 저장된 복원 프레임, 및 상기 인접한 레벨에서의 복원 프레임을 기계 학습하여 필터 파라미터를 생성하여 출력하는 영상 처리 장치.
제9항에 있어서,
상기 원본 프레임에 대한 사이즈를 조절하는 리사이징부
를 더 포함하고,
상기 기계 학습 처리부는, 상기 리사이징부에 의해 조절된 사이즈의 원본 프레임, 상기 저장된 복원 프레임, 및 상기 인접한 레벨에서의 복원 프레임을 기계 학습하여 필터 파라미터를 생성하여 출력하는 영상 처리 장치.
인코딩 장치로부터 수신된 입력 스트림을 역다중화 처리하여 입력 스트림 및 파라미터 정보를 추출하는 역다중화 처리부;
상기 추출된 입력 스트림을 저장하는 입력 스트림 버퍼;
상기 저장된 입력 스트림을 디코딩하여 복원 프레임을 생성하는 디코딩 처리부;
상기 생성된 복원 프레임을 저장하는 복원 프레임 버퍼;
상기 추출된 파라미터 정보를 상기 복원 프레임에 적용해서 화질 개선 처리된 출력 프레임을 생성하는 기계 학습 화질개선 처리부;
상기 생성된 출력 프레임을 저장하는 출력 프레임 버퍼; 및
상기 생성된 복원 프레임과 상기 복원 프레임에 대한 화질 개선의 처리를 수행한 출력 프레임을 비교하여 하나의 프레임을 선택하고, 상기 선택된 프레임을 상기 출력 프레임 버퍼로 저장하도록 제어하는 프레임 선택부를 포함하고,
상기 인코딩 장치는,
입력된 원본 프레임과, 상기 디코딩 처리부에서 디코딩 처리되어 상기 복원 프레임 버퍼에 저장된 복원된 프레임 간 오류에 기초하는 기계 학습을 이용해서 파라미터를 업데이트 하고, 상기 입력 스트림과 함께 상기 업데이트된 파라미터에 상응하는 상기 파라미터 정보를 전송하는 것을 특징으로 하는 영상 처리 장치.
제11항에 있어서,
상기 파라미터 정보는,
기 학습된 파라미터와 상기 업데이트된 파라미터 간 차이에 대한 정보인 것을 특징으로 하는 영상 처리 장치.
삭제
제11항에 있어서,
상기 기계 학습 화질개선 처리부는,
상기 파라미터 정보를 디코딩하여 파라미터를 추출하는 파라미터 정보 디코딩 처리부;
상기 추출된 파라미터와, 기 학습된 파라미터의 차이를 고려하여 파라미터를 업데이트 하는 파라미터 결정부; 및
상기 복원 프레임 버퍼에 저장된 복원 프레임에 상기 업데이트된 파라미터를 적용해서 상기 복원 프레임에 대한 화질을 개선하도록 처리하는 기계 학습 추론부
를 포함하는 영상 처리 장치.
입력된 원본 프레임을 저장하는 입력 프레임 버퍼;
상기 저장된 원본 프레임에 대한 인코딩을 처리하는 인코딩 처리부;
상기 인코딩된 원본 프레임을 다중화를 위해 출력 스트림으로서 출력하는 출력 스트림 버퍼;
상기 출력 스트림을 다중화하여 저장매체에 기록하도록 제어하는 다중화 처리부;
상기 출력 스트림 버퍼로부터 상기 출력 스트림을 전달 받아 디코딩 처리하여 복원 프레임을 출력하는 로컬 디코딩 처리부;
상기 출력된 복원 프레임을 저장하는 복원 프레임 버퍼; 및
상기 입력된 원본 프레임과, 상기 로컬 디코딩 처리부에서 디코딩 처리되어 상기 복원 프레임 버퍼에 저장된 복원 프레임을 수집하고, 상기 수집된 원본 프레임 및 상기 수집된 복원 프레임을 이용한 기계 학습에 기초하여 파라미터를 출력하고, 상기 출력된 파라미터가 상기 저장매체에 전달되도록 상기 다중화 처리부를 제어하는 기계 학습 처리부를 포함하고,
인접한 다른 레벨의 출력 스트림 버퍼로부터의 복원 프레임을 수집하여 디코딩 처리하는 디코딩 처리부;
상기 디코딩 처리된 복원 프레임을 저장하는 제2 복원 프레임 버퍼;
상기 저장된 복원 프레임과 인접한 레벨에서의 복원 프레임을 기계 학습하여 필터 파라미터를 생성하여 출력하는 기계 학습 화질개선 처리부를 더 포함하고,
상기 저장매체는,
저장요청된 입력 스트림을 역다중화 처리하여 입력 스트림 및 파라미터 정보를 추출하고, 상기 추출된 입력 스트림을 디코딩하여 복원 프레임을 생성하고, 상기 추출된 파라미터 정보를 상기 복원 프레임에 적용해서 화질 개선 처리된 출력 프레임을 생성하여 저장하는 것을 특징으로 하는 영상 처리 장치.
입력 프레임 버퍼에서, 입력된 원본 프레임을 저장하는 단계;
인코딩 처리부에서, 상기 저장된 원본 프레임에 대한 인코딩을 처리하는 단계;
출력 스트림 버퍼에서, 상기 인코딩된 원본 프레임을 다중화를 위해 출력 스트림으로서 출력하는 단계;
다중화 처리부에서, 상기 출력 스트림을 다중화하여 송출하도록 제어하는 단계;
로컬 디코딩 처리부에서, 상기 출력 스트림 버퍼로부터 상기 출력 스트림을 전달 받아 디코딩 처리하여 복원 프레임을 출력하는 단계;
복원 프레임 버퍼에서, 상기 출력된 복원 프레임을 저장하는 단계;
기계 학습 처리부에서, 상기 입력된 원본 프레임과, 상기 로컬 디코딩 처리부에서 디코딩 처리되어 상기 복원 프레임 버퍼에 저장된 복원 프레임을 수집하고, 상기 수집된 원본 프레임 및 상기 수집된 복원 프레임을 이용한 기계 학습에 기초하여 파라미터를 출력하고, 상기 출력된 파라미터가 디코딩 측에 전달되도록 상기 다중화 처리부를 제어하는 단계;
디코딩 처리부에서, 인접한 다른 레벨의 출력 스트림 버퍼로부터의 복원 프레임을 수집하여 디코딩 처리하는 단계;
제2 복원 프레임 버퍼에서, 상기 디코딩 처리된 복원 프레임을 저장하는 단계; 및
기계 학습 화질개선 처리부에서, 상기 저장된 복원 프레임과 인접한 레벨에서의 복원 프레임을 기계 학습하여 필터 파라미터를 생성하여 출력하는 단계를 포함하는 영상 처리 장치의 동작 방법.
제16항에 있어서,
상기 출력 스트림을 다중화하여 송출하도록 제어하는 단계는,
상기 출력된 파라미터와 상기 다중화된 출력 스트림을 서로 연관지어 디코딩 측으로 전송되도록 처리하는 단계
를 포함하는 영상 처리 장치의 동작 방법.
제16항에 있어서,
상기 출력된 파라미터가 디코딩 측에 전달되도록 상기 다중화 처리부를 제어하는 단계는,
상기 출력된 복원 프레임을 기 학습된 파라미터로 초기화 하여 기계 학습 추론하는 단계;
상기 기계 학습 추론된 상기 복원 프레임과 상기 입력된 원본 프레임을 비교하여 오류값을 산출하는 단계;
미리 설정된 기준에 따라 상기 산출된 오류값을 역전파하여 상기 기계 학습 추론을 다시 수행 하여 상기 기 학습된 파라미터를 업데이트 하도록 요청하는 단계;
상기 업데이트된 파라미터를 출력하는 단계; 및
상기 출력된 파라미터를 상기 다중화 처리부로 송출하는 단계
를 포함하는 영상 처리 장치의 동작 방법.
제18항에 있어서,
상기 출력된 파라미터를 상기 다중화 처리부로 송출하는 단계는,
상기 기 학습된 파라미터와 상기 업데이트 후 출력되는 파라미터의 차이값을 인코딩하여 상기 다중화 처리부로 송출하는 단계
를 포함하는 영상 처리 장치의 동작 방법.
역다중화 처리부에서, 인코딩 장치로부터 수신된 입력 스트림을 역다중화 처리하여 입력 스트림 및 파라미터 정보를 추출하는 단계;
입력 스트림 버퍼에서, 상기 추출된 입력 스트림을 저장하는 단계;
디코딩 처리부에서, 상기 저장된 입력 스트림을 디코딩하여 복원 프레임을 생성하는 단계;
복원 프레임 버퍼에서, 상기 생성된 복원 프레임을 저장하는 단계;
기계 학습 화질개선 처리부에서, 상기 추출된 파라미터 정보를 상기 복원 프레임에 적용해서 화질 개선 처리된 출력 프레임을 생성하는 단계; 및
상기 생성된 복원 프레임과 상기 복원 프레임에 대한 화질 개선의 처리를 수행한 출력 프레임을 비교하여 하나의 프레임을 선택하는 단계; 및
상기 선택된 프레임을 출력 프레임 버퍼로 저장하도록 제어하여, 상기 출력 프레임 버퍼에서, 상기 생성된 출력 프레임을 저장하는 단계를 포함하고,
상기 인코딩 장치는,
입력된 원본 프레임과, 상기 디코딩 처리부에서 디코딩 처리되어 상기 복원 프레임 버퍼에 저장된 복원 프레임 간 오류에 기초하는 기계 학습을 이용해서 파라미터를 업데이트 하고, 상기 입력 스트림과 함께 상기 업데이트된 파라미터에 상응하는 상기 파라미터 정보를 전송하는 것을 특징으로 하는 영상 처리 장치의 동작 방법.
삭제
제20항에 있어서,
상기 화질 개선 처리된 출력 프레임을 생성하는 단계는,
상기 파라미터 정보를 디코딩하여 파라미터를 추출하는 단계;
상기 추출된 파라미터와, 기 학습된 파라미터의 차이를 고려하여 파라미터를 업데이트 하는 단계; 및
상기 저장된 복원 프레임에 상기 업데이트된 파라미터를 적용해서 상기 복원 프레임에 대한 화질을 개선하도록 처리하는 단계
를 포함하는 영상 처리 장치의 동작 방법.