KR20230071633A

KR20230071633A - 영상에서 인지적 노이즈를 제거하는 영상 처리 방법 및 장치

Info

Publication number: KR20230071633A
Application number: KR1020210158044A
Authority: KR
Inventors: 김문희; 김봉조; 김상훈
Original assignee: 삼성전자주식회사
Priority date: 2021-11-16
Filing date: 2021-11-16
Publication date: 2023-05-23
Also published as: WO2023090819A1

Abstract

본 개시는 영상에서 인지적 노이즈를 제거하는 영상 처리 방법 및 장치에 관한 것이다. 개시되는 영상 처리 방법은, 영상으로부터, 노이즈가 제거된 영상을 획득하는 단계; 상기 영상과 상기 노이즈가 제거된 영상의 차이로부터, 제거된 노이즈를 획득하는 단계; 상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징을 획득하는 단계; 상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지에 관한 노이즈 특성을 판단하는 단계; 및 상기 화소의 노이즈 특성에 기초하여 상기 영상에서 인지적 노이즈를 제거하는 처리를 수행하는 단계;를 포함한다.

Description

영상에서 인지적 노이즈를 제거하는 영상 처리 방법 및 장치 {METHOD AND APPARATUS FOR REMOVING COGNITIVE NOISE FROM IMAGE}

본 개시는 영상 처리 방법 및 장치에 대한 것이며, 보다 상세하게는, 영상에서 인지적 노이즈를 검출 및 제거하는 방법 및 장치에 관한 것이다.

최근 디스플레이 및 통신 기술의 발달로 인해, 보다 높은 화질의 영상에 대한 수요가 증가하고 있다. 이에 노이즈 등의 아티팩트(artifact)가 포함된 영상에서 아티팩트를 효율적으로 제거하기 위한 다양한 방법들이 사용되고 있다.

일 실시예에서, 영상 처리 장치는 소정의 규칙에 따라 영상을 분석하여 영상 내의 노이즈를 검출하고, 영상에 필터를 적용하여 노이즈를 제거할 수 있다. 그러나 이러한 방법에 따르면, 인간의 시각 체계에 의해서는 인지적 디테일(cognitive detail)로 인식되는 특징까지 규칙에 따라 일괄적으로 제거되어, 영상의 디테일이 훼손될 수 있다. 일 실시예에서, 영상 처리 장치는 학습 데이터베이스(DB)를 통해 학습된 인공지능 모델을 영상에 적용하여 영상의 노이즈를 제거할 수 있다. 그러나 이러한 방법에 따르면, 인공지능 모델이 학습한 DB와 노이즈를 제거할 영상의 노이즈 특성이 서로 다를 경우, 인공지능 모델은 영상의 노이즈와 디테일의 구분에 있어서 인간 시각 체계의 판단과 다른 판단을 내릴 수 있다. 따라서, 노이즈가 오히려 증가(boost)되거나, 또는 인지적 디테일로 인식되는 특징이 제거되어 영상의 디테일이 훼손되는 문제가 발생할 수 있다.

따라서, 상기한 문제점을 해결하면서, 인간의 시각 체계를 고려한 영상의 인지적 특성을 반영하여 노이즈를 검출하고 제거하는 기술이 요구된다.

본 발명이 해결하고자 하는 기술적 과제는, 인간의 시각 체계를 고려한 영상의 인지적 특성을 반영하여, 영상의 디테일 훼손을 억제하면서 노이즈를 검출하고 제거하는 개선된 방법 및 장치를 제공하는 데 있다.

또한 본 개시의 다양한 실시예들은, 영상에서 인지적 노이즈를 검출하고 제거하는 방법 및 장치를 제공할 수 있다.

또한 본 개시의 다양한 실시예들은, 영상의 인지적 노이즈 및 인지적 디테일을 처리하기 위한 인공지능 모델을 학습시키는 방법 및 장치를 제공할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 영상 처리 방법은, 영상으로부터, 노이즈가 제거된 영상을 획득하는 단계, 상기 영상과 상기 노이즈가 제거된 영상의 차이로부터, 제거된 노이즈를 획득하는 단계; 상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징을 획득하는 단계; 상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지에 관한 노이즈 특성을 판단하는 단계; 및 상기 화소의 노이즈 특성에 기초하여 상기 영상에서 인지적 노이즈를 제거하는 처리를 수행하는 단계;를 포함할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 인공지능 모델 학습 방법은, 고화질 영상으로부터 저화질 영상을 획득하는 단계; 상기 고화질 영상과 상기 저화질 영상의 차이로부터, 노이즈를 획득하는 단계; 상기 고화질 영상의 통계적 특징 및 상기 노이즈의 통계적 특징을 획득하는 단계; 상기 고화질 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지에 관한 노이즈 특성을 판단하는 단계; 상기 저화질 영상 내의 화소들의 평균적인 노이즈 특성에 기초하여, 상기 고화질 영상 및 상기 저화질 영상으로 구성된 영상 쌍을 인지적 노이즈 데이터 또는 인지적 디테일 데이터로 분류하는 단계; 상기 인지적 노이즈 데이터로 분류된 영상 쌍을 이용하여, 인지적 노이즈를 처리하기 위한 제1 인공지능 모델을 학습시키는 단계; 및 상기 인지적 디테일 데이터로 분류된 영상 쌍을 이용하여, 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 학습시키는 단계를 포함할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 영상 처리 장치는, 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 하나 이상의 인스트럭션을 실행하도록 설정되는 적어도 하나의 프로세서;를 포함하고, 상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 원본 영상으로부터, 노이즈가 제거된 영상을 획득하고, 상기 영상과 상기 노이즈가 제거된 영상의 차이로부터, 제거된 노이즈를 획득하고, 상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징을 획득하고, 상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지에 관한 노이즈 특성을 판단하고, 상기 화소의 노이즈 특성에 기초하여 상기 원본 영상에서 인지적 노이즈를 제거하는 처리를 수행하도록 설정될 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 인공지능 모델 학습 장치는, 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 하나 이상의 인스트럭션을 실행하도록 설정되는 적어도 하나의 프로세서;를 포함하고, 상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 고화질 영상으로부터 저화질 영상을 획득하고, 상기 고화질 영상과 상기 저화질 영상의 차이로부터, 노이즈를 획득하고, 상기 고화질 영상의 통계적 특징 및 상기 노이즈의 통계적 특징을 획득하고, 상기 고화질 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지에 관한 노이즈 특성을 판단하고, 상기 저화질 영상 내의 화소들의 평균적인 노이즈 특성에 기초하여, 상기 고화질 영상 및 상기 저화질 영상으로 구성된 영상 쌍을 인지적 노이즈 데이터 또는 인지적 디테일 데이터로 분류하고, 상기 인지적 노이즈 데이터로 분류된 영상 쌍을 이용하여, 인지적 노이즈를 처리하기 위한 제1 인공지능 모델을 학습시키고, 상기 인지적 디테일 데이터로 분류된 영상 쌍을 이용하여, 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 학습시키도록 설정될 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 컴퓨터로 읽을 수 있는 기록매체는 개시된 방법의 실시예들 중에서 적어도 하나를 컴퓨터에서 수행하도록 하는 프로그램이 저장된 것일 수 있다.

다양한 실시예들에 따른 영상 처리 방법에 따르면, 인간의 시각 체계를 고려한 영상의 인지적 특성을 반영하여 인지적 노이즈를 검출 및 제거함으로써, 영상의 디테일 훼손을 억제하면서 노이즈를 제거할 수 있다.

다양한 실시예들에 따른 인공지능 모델 학습 방법에 따르면, 영상의 인지적 특성을 반영하여 학습 DB를 생성하고 인공지능 모델을 학습시킴으로써, 영상의 인지적 노이즈 및 인지적 디테일을 처리하기 위한 인공지능 모델을 생성할 수 있다.

도 1은 일 실시예에 따른, 인지적 노이즈를 제거하는 영상 처리 장치의 동작을 나타내는 도면이다.
도 2는 일 실시예에 따른, 인지적 노이즈를 제거하는 영상 처리 방법의 흐름도이다.
도 3은 일 실시예에 따른, 규칙 기반으로 노이즈를 제거하는 동작을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른, 인공지능 모델을 이용하여 노이즈를 제거하는 동작을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른, 노이즈 특성을 판단하는 동작을 설명하기 위한 도면이다.
도 6a 내지 도 6d는 노이즈 특성을 판단하는 동작의 다양한 실시예들을 설명하기 위한 도면들이다.
도 7은 일 실시예에 따른, 노이즈 특성에 기초하여 인지적 노이즈를 제거하는 동작을 나타내는 도면이다.
도 8은 일 실시예에 따른, 영상 합성에 의해 인지적 노이즈를 제거하는 동작을 나타내는 도면이다.
도 9는 일 실시예에 따른, 인공지능 모델을 이용하여 인지적 노이즈를 제거하는 동작을 나타내는 도면이다.
도 10은 다른 실시예에 따른, 인공지능 모델을 이용하여 인지적 노이즈를 제거하는 동작을 나타내는 도면이다.
도 11은 일 실시예에 따른, 영상의 인지적 노이즈 및 인지적 디테일을 처리하기 위한 인공지능 모델을 학습시키는 인공지능 모델 학습 장치의 동작을 나타내는 도면이다.
도 12는 일 실시예에 따른, 영상의 인지적 노이즈 및 인지적 디테일을 처리하기 위한 인공지능 모델을 학습시키는 인공지능 모델 학습 방법의 흐름도이다.
도 13은 일 실시예에 따른, 인공지능 모델을 이용하여 영상의 인지적 노이즈를 제거하는 영상 처리 시스템을 나타내는 도면이다.
도 14는 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 15는 일 실시예에 따른 인공지능 모델 학습 장치의 블록도이다.

이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 문서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.

어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어(hardware)적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU(central processing unit) 또는 AP(application processor))를 의미할 수 있다.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.

본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예들에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.

어떤 실시 예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.

다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, 위성 항법 시스템(GNSS, global navigation satellite system), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.

어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다.

다양한 실시 예들에서 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 장치를 포함할 수 있다.

인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.

인공지능 기술은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘을 이용하는 기계학습(딥러닝) 기술 및 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성된다.

기계학습은 입력 데이터의 특징을 스스로 분류/학습하는 알고리즘 기술이다. 요소 기술들은, 예로, 인간의 언어/문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론/예측 기술, 인간의 경험 정보를 지식데이터로 처리하는 지식 표현 기술 및 차량의 자율 주행, 로봇의 움직임을 제어하는 동작 제어 기술 중 적어도 하나를 포함할 수 있다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계번역, 대화 시스템, 질의 응답, 음성 인식/합성 등을 포함한다.

본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작될 수 있다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.

기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.

인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.

도 1은 일 실시예에 따른, 인지적 노이즈를 제거하는 영상 처리 장치(1000)의 동작을 나타내는 도면이다.

영상에 포함된 노이즈는 위치에 따라서는 노이즈로 인지되지 않고, 영상에서 나타내는 물체의 디테일로 인지되기도 한다. 그 이유는 인간의 시각 체계에서 시각 영역의 여러 정보를 인식할 때 모든 정보를 동일하게 인지하는 대신 통계적 정보를 인지하게 되기 때문이다. 즉, 노이즈가 주변 영역의 통계적 특징과 비슷한 특징을 가진다면, 인지적으로 노이즈가 아니라 디테일로 보이게 된다.

따라서, 본 개시의 다양한 실시예들에 따르면, 영상에서 노이즈의 통계적 특징과 주변 영역의 통계적 특징을 분석하여, 양자가 유사한 경우에는 노이즈를 인지적 디테일(cognitive detail)로 분류하고, 양자가 다른 경우 노이즈를 인지적 노이즈(cognitive detail)로 분류할 수 있다. 인지적 디테일로 분류된 노이즈는 제거하지 않고 인지적 노이즈로 분류된 노이즈만을 제거함으로써, 효과적으로 영상의 디테일 훼손을 억제하면서 노이즈가 제거된 영상을 획득할 수 있다.

도 1을 참조하면, 영상 처리 장치(1000)는 원본 영상(110)으로부터 노이즈가 제거된 영상(120)을 획득할 수 있다. 일 실시예에서, 영상 처리 장치(1000)는 소정의 규칙에 기초하여 원본 영상(110)을 필터링함으로써 노이즈가 제거된 영상(120)을 획득할 수 있다. 다른 실시예에서, 영상 처리 장치(1000)는 원본 영상(110)에 소정의 인공지능 모델을 적용하여 노이즈가 제거된 영상(120)을 획득할 수 있다.

영상 처리 장치(1000)는 원본 영상(110)과 노이즈가 제거된 영상(120)의 차이로부터 제거된 노이즈(130)를 획득할 수 있다.

영상 처리 장치(1000)는 노이즈가 제거된 영상(120) 및 제거된 노이즈(130)로부터 영상의 통계적 특징(140)을 획득할 수 있다. 다양한 실시예들에서, 영상 처리 장치(1000)는 노이즈가 제거된 영상(120)의 통계적 특징 및 제거된 노이즈(130)의 통계적 특징을 각각 획득할 수 있다. 예를 들어, 영상 처리 장치(1000)는 노이즈가 제거된 영상(120)의 분산과 제거된 노이즈(130)의 분산을 각각 획득할 수 있다. 일 실시예에서, 영상 처리 장치(1000)는 노이즈가 제거된 영상(120)과 제거된 노이즈(130)를 주파수 변환하고, 주파수 변환된 영상들의 통계적 특징을 분석할 수 있다.

영상 처리 장치(1000)는 영상의 통계적 특징(140)에 기초하여, 원본 영상(110)에서 제거된 노이즈(130)가 인지적 노이즈인지 또는 인지적 디테일인지를 나타내는 노이즈 특성(150)을 판단할 수 있다. 일 실시예에서, 노이즈 특성(150)은 각 화소의 제거된 노이즈(130)가 인지적 노이즈인지 또는 인지적 디테일인지 여부를 나타내는 것일 수 있다. 다른 실시예에서, 노이즈 특성(150)은 각 화소의 제거된 노이즈(130)가 인지적 노이즈에 해당하는 정도 또는 인지적 디테일에 해당하는 정도를 나타내는 특성 파라미터일 수 있다.

영상 처리 장치(1000)는 노이즈 특성(150)에 기초하여 인지적 노이즈를 제거하는 처리를 수행함으로써, 인지적 노이즈 제거 영상(160)을 획득할 수 있다. 일 실시예에서, 영상 처리 장치(1000)는 노이즈 특성(150)이 인지적 노이즈로 판단되는 경우 노이즈가 제거된 영상(120)을 이용하고, 노이즈 특성(150)이 인지적 디테일로 판단되는 경우 원본 영상(110)을 이용하여 인지적 노이즈 제거 영상(160)을 획득할 수 있다. 다른 실시예에서, 영상 처리 장치(1000)는 특성 파라미터에 기초하여, 원본 영상(110)과 노이즈가 제거된 영상(120)을 합성하여 인지적 노이즈 제거 영상(160)을 획득할 수 있다.

다양한 실시예들에서, 영상 처리 장치(1000)는 인공지능 모델을 이용하여 인지적 노이즈를 제거하는 처리를 수행할 수 있다. 다양한 실시예들에서, 영상 처리 장치(1000)는 인지적 노이즈를 처리하기 위한 제1 인공지능 모델과, 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 이용하여, 인지적 노이즈를 제거하는 처리를 수행할 수 있다. 상기 제1 인공지능 모델 및 상기 제2 인공지능 모델은, 각각 인지적 노이즈 영상을 포함하는 학습 데이터베이스(DB)와 인지적 디테일 영상을 포함하는 학습 DB를 통하여 학습된 것일 수 있다. 상기 학습 DB는 본 개시의 다양한 실시예들에 따른 노이즈 특성 판단 방법에 의하여 생성된 것일 수 있다.

일 실시예에서, 영상 처리 장치(1000)는 노이즈 특성(150)이 인지적 노이즈로 판단되는 경우, 원본 영상(110)에 제1 인공지능 모델을 적용하고, 노이즈 특성(150)이 인지적 디테일로 판단되는 경우, 원본 영상(110)에 제2 인공지능 모델을 적용하여, 인지적 노이즈 제거 영상(160)을 획득할 수 있다. 다른 실시예에서, 영상 처리 장치(1000)는 원본 영상(110)에 제1 인공지능 모델 및 제2 인공지능 모델을 각각 적용하여 제1 수정 영상 및 제2 수정 영상을 획득하고, 노이즈 특성(150)을 나타내는 특성 파라미터에 기초하여 제1 수정 영상과 제2 수정 영상을 합성하여 인지적 노이즈 제거 영상(160)을 획득할 수 있다.

도 2는 일 실시예에 따른, 인지적 노이즈를 제거하는 영상 처리 방법의 흐름도이다. 이러한 동작은 도 1에 도시된 영상 처리 장치(1000), 도 13에 도시된 영상 처리 장치(1000), 또는 도 14에 도시된 영상 처리 장치(1000) 또는 영상 처리 장치(1000)의 프로세서(1300)에 의해 수행될 수 있다.

도 2를 참조하면, 동작 S210에서, 영상 처리 장치(1000)는 영상으로부터 노이즈가 제거된 영상을 획득할 수 있다.

일 실시예에서, 영상 처리 장치(1000)는 소정의 규칙에 기초하여 영상을 필터링함으로써 노이즈가 제거된 영상을 획득할 수 있다. 다른 실시예에서, 영상 처리 장치(1000)는 영상에 소정의 인공지능 모델을 적용하여 노이즈가 제거된 영상을 획득할 수 있다. 영상으로부터 노이즈를 제거하는 방법의 예시들이 도 3 및 도 4를 참조하여 보다 상세히 설명된다. 물론, 영상으로부터 노이즈를 제거하는 방법은 상기 예시에 제한되지 않으며, 영상으로부터 노이즈를 제거하기 위하여, 기존에 알려진 임의의 방법들이 사용될 수 있다.

동작 S220에서, 영상 처리 장치(1000)는 영상과 노이즈가 제거된 영상의 차이로부터 제거된 노이즈를 획득할 수 있다.

동작 S230에서, 영상 처리 장치(1000)는, 노이즈가 제거된 영상의 통계적 특징 및 노이즈의 통계적 특징을 획득할 수 있다.

일 실시예에서, 영상 처리 장치(1000)는 노이즈가 제거된 영상의 통계적 특징을 획득할 수 있다. 예를 들어, 영상 처리 장치는 노이즈가 제거된 영상에서 화소들의 분산을 계산할 수 있다. 또한 영상 처리 장치(1000)는 제거된 노이즈의 통계적 특징을 획득할 수 있다. 예를 들어, 영상 처리 장치는 제거된 노이즈에서 화소들의 분산을 계산할 수 있다. 일 실시예에서, 영상 처리 장치(1000)는 노이즈가 제거된 영상과 제거된 노이즈를 주파수 변환하고, 주파수 변환된 결과의 통계적 특징을 분석할 수 있다.

일 실시예에서, 영상 처리 장치(1000)는, 영상에서 노이즈 특성을 분석할 화소를 결정하고, 노이즈가 제거된 영상 및 제거된 노이즈에서 상기 화소의 위치를 포함하는 영역을 각각 결정할 수 있다. 영상 처리 장치(1000)는 상기 노이즈가 제거된 영상 내 영역의 통계적 특징 및 상기 제거된 노이즈 내 영역의 통계적 특징을 획득할 수 있다. 영역을 결정하는 방법 및 영역의 통계적 특징을 획득하는 방법의 예시가 도 5를 참조하여 보다 상세히 설명된다.

동작 S240에서, 영상 처리 장치(1000)는 상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 상기 화소의 노이즈 특성을 판단할 수 있다. 이 때 상기 화소의 노이즈 특성이란, 상기 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지에 관련된 정보이다.

일 실시예에서, 화소의 노이즈 특성은 상기 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지 여부를 나타내는 것일 수 있다. 예를 들어, 영상 처리 장치(1000)는 노이즈가 제거된 영상의 통계적 특징과 제거된 노이즈의 통계적 특징의 차이가 소정 범위 이내인 경우, 화소의 노이즈 특성을 인지적 디테일로 판단하고, 상기 노이즈가 제거된 영상의 통계적 특징과 상기 제거된 노이즈의 통계적 특징의 차이가 소정 범위를 벗어나는 경우, 상기 화소의 노이즈 특성을 인지적 노이즈로 판단할 수 있다. 예를 들어, 화소의 노이즈 특성은 상기 화소의 노이즈가 인지적 노이즈에 해당되는 경우 1, 상기 화소의 노이즈가 인지적 디테일에 해당되는 경우 0으로 표현될 수 있다.

다른 실시예에서, 화소의 노이즈 특성은 상기 화소의 노이즈가 인지적 노이즈에 해당하는 정도 또는 인지적 디테일에 해당하는 정도를 나타내는 특성 파라미터일 수 있다. 예를 들어, 영상 처리 장치(1000)는 노이즈가 제거된 영상의 통계적 특징과 제거된 노이즈의 통계적 특징에 기초하여, 상기 화소의 노이즈가 인지적 노이즈일 확률 또는 가능도를 계산할 수 있다. 예를 들어, 화소의 노이즈 특성은 0과 1 사이의 값으로 표현될 수 있다. 상기 값이 1에 가까울수록 상기 화소의 노이즈가 인지적 노이즈에 해당되고, 상기 값이 0에 가까울수록 상기 화소의 노이즈가 인지적 디테일에 해당됨을 나타낼 수 있다.

화소의 노이즈 특성을 판단하는 방법의 다양한 예시들은 도 6a 내지 도 6d를 참조하여 보다 상세히 설명된다.

동작 S250에서, 영상 처리 장치(1000)는 화소의 노이즈 특성에 기초하여 영상에서 인지적 노이즈를 제거하는 처리를 수행할 수 있다.

일 실시예에서, 영상 처리 장치(1000)는 화소의 노이즈 특성이 인지적 디테일로 판단되는 경우, 상기 화소를 원본 영상(110)의 화소 그대로 유지할 수 있다. 또한, 영상 처리 장치(1000)는 상기 화소의 노이즈 특성이 인지적 노이즈로 판단되는 경우, 상기 화소를 노이즈가 제거된 영상(120)의 대응되는 화소로 치환할 수 있다.

다른 실시예에서, 영상 처리 장치(1000)는 화소의 특성 파라미터에 기초하여, 원본 영상과 노이즈가 제거된 영상을 합성하여 인지적 노이즈를 제거할 수 있다. 예를 들어, 화소의 특성 파라미터는 원본 영상과 노이즈가 제거된 영상을 가중 평균하기 위한 가중치로 이용될 수 있다.

다양한 실시예들에서, 영상 처리 장치(1000)는 인공지능 모델을 이용하여 인지적 노이즈를 제거하는 처리를 수행할 수 있다. 다양한 실시예들에서, 영상 처리 장치(1000)는 인지적 노이즈를 처리하기 위한 제1 인공지능 모델과, 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 이용하여, 인지적 노이즈를 제거하는 처리를 수행할 수 있다. 상기 제1 인공지능 모델 및 상기 제2 인공지능 모델은, 각각 인지적 노이즈 영상을 포함하는 학습 데이터베이스(DB)와 인지적 디테일 영상을 포함하는 학습 DB를 통하여 학습된 것일 수 있다. 상기 학습 DB는 본 개시의 다양한 실시예들에 따른 노이즈 특성 판단 방법에 의하여 구축된 것일 수 있다. 상기 학습 DB의 구축 및 상기 인공지능 모델들의 학습에 관한 구체적인 내용은 도 11을 참조하여 상세히 설명된다.

다양한 실시예들에서, 영상 처리 장치(1000)는 원본 영상에 인지적 노이즈를 처리하기 위한 제1 인공지능 모델을 적용하여 제1 수정 영상을 획득하고, 원본 영상에 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 적용하여 제2 수정 영상을 획득할 수 있다. 일 실시예에서, 영상 처리 장치(1000)는 화소의 노이즈 특성이 인지적 노이즈로 판단되는 경우, 상기 화소의 값을 제1 수정 영상의 값으로 치환하고, 상기 화소의 노이즈 특성이 인지적 디테일로 판단되는 경우, 상기 화소의 값을 제2 수정 영상의 값으로 치환할 수 있다.

다른 실시예에서, 영상 처리 장치(1000)는 화소의 특성 파라미터에 기초하여, 제1 수정 영상과 제2 수정 영상을 합성하여 인지적 노이즈가 제거된 영상을 획득할 수 있다. 예를 들어, 화소의 특성 파라미터는 제1 수정 영상과 제2 수정 영상을 가중 평균하기 위한 가중치로 이용될 수 있다.

영상에서 인지적 노이즈를 제거하는 방법의 다양한 예시들은 도 7 내지 도 10을 참조하여 보다 상세히 설명된다.

도 3은 일 실시예에 따른, 규칙 기반으로 노이즈를 제거하는 동작을 설명하기 위한 도면이다. 도 3을 참조하면, 원본 영상(110)으로부터 소정의 규칙에 기반하여 필터를 적용하여 노이즈를 제거함으로써, 1차적으로 노이즈가 제거된 영상(120)이 획득된다.

일 실시예에서, 영상 처리 장치(1000)는 원본 영상(110)의 고주파수 성분을 노이즈로 판단할 수 있다. 영상 처리 장치(1000)는 원본 영상(110)을 주파수 변환하고, 주파수 변환된 영상에 고주파수 성분을 제거하는 필터를 적용하고, 필터링된 영상을 역변환함으로써 노이즈가 제거된 영상(120)을 획득할 수 있다.

다른 실시예에서, 영상 처리 장치(1000)는 화소의 값이 주변 화소의 값과 소정의 기준 이상 차이가 나는 경우 노이즈로 판단할 수 있다. 영상 처리 장치는 원본 영상(110)의 각 화소의 값을 주변 화소값을 이용하여 변경하는 필터를 적용함으로써 노이즈가 제거된 영상(120)을 획득할 수 있다.

소정의 규칙에 기반하여 노이즈를 제거하는 방법에 의하면, 인간의 시각 체계에 의해서는 인지적 디테일로 인식되는 특징까지 일괄적으로 노이즈로 판단되어 제거될 수도 있다. 이 경우, 규칙 기반으로 생성된 노이즈가 제거된 영상(120)은 디테일이 제거된 결과를 포함하고 있을 수 있다. 따라서, 인지적 디테일을 복원하기 위하여, 본 개시의 다양한 실시예들에 따른 인지적 노이즈 검출 및 제거가 이어서 수행된다.

도 4는 일 실시예에 따른, 인공지능 모델을 이용하여 노이즈를 제거하는 동작을 설명하기 위한 도면이다.

도 4를 참조하면, 원본 영상(110)에 노이즈 제거를 위한 인공지능 모델(410)을 적용함으로써, 1차적으로 노이즈가 제거된 영상(120)이 획득된다. 일 실시예에서, 인공지능 모델(410)은 학습 데이터베이스(DB)에 의해 미리 학습된 것일 수 있다. 일 실시예에서, 상기 학습 DB는 원본 HQ 영상과, 원본 HQ 영상을 열화시켜 획득한 LQ 영상의 쌍으로 구성된 것일 수 있다.

상기 인공지능 모델(410)이 학습한 학습 DB의 특성과, 원본 영상(110)의 특성이 다를 경우, 인공지능 모델(410)은 원본 영상(110)에 포함된 노이즈와 디테일의 구분에 있어서 인간 시각 체계의 판단과 다른 판단을 내릴 수 있다. 예를 들어, 인공지능 모델(410)은 원본 영상(110)에서 인지적 노이즈로 판단되는 부분을 노이즈로 판단하지 않거나, 인지적 디테일로 판단되는 부분을 디테일로 판단할 수 있다. 이 경우, 인공지능 모델(410)에 의해 생성된 노이즈가 제거된 영상(120)은, 원본 영상(110)의 노이즈가 오히려 증가되거나, 또는 디테일이 제거되는 결과를 포함하고 있을 수 있다. 따라서, 인지적 노이즈를 제거하고 인지적 디테일을 복원하기 위하여, 본 개시의 다양한 실시예들에 따른 인지적 노이즈 검출 및 제거가 이어서 수행된다.

도 5는 일 실시예에 따른, 노이즈 특성을 판단하는 동작을 설명하기 위한 도면이다.

도 5를 참조하면, 일 실시예에서, 영상 처리 장치(1000)는 원본 영상(110)에서, 노이즈 특성을 분석할 화소를 결정할 수 있다. 영상 처리 장치(1000)는 원본 영상(110)의 각 화소에 대하여, 본 개시의 다양한 실시예들에 따라 노이즈 특성을 분석하는 동작을 반복할 수 있다.

일 실시예에서, 영상 처리 장치(1000)는 원본 영상(110)으로부터 노이즈가 제거된 영상(120)을 획득할 수 있다. 또한 일 실시예에서, 영상 처리 장치(1000)는 원본 영상(110)과 노이즈가 제거된 영상(120)의 차이로부터, 제거된 노이즈(130)를 획득할 수 있다.

일 실시예에서, 영상 처리 장치(1000)는 노이즈가 제거된 영상(120) 및 제거된 노이즈(130)의 통계적 특징을 판단하기 위해, 노이즈가 제거된 영상(120) 및 제거된 노이즈(130)에서 상기 화소의 위치에 대응되는 영역을 각각 결정할 수 있다. 일 실시예에서, 영상 처리 장치(1000)는 노이즈가 제거된 영상(120)에서, 원본 영상(110)의 화소(x, y)에 대응되는 제1 영역(510)을 결정할 수 있다. 제1 영역(510)은 노이즈가 제거된 영상의 통계적 특징을 판단하기 위한 영역일 수 있다. 또한 일 실시예에서, 영상 처리 장치(1000)는 제거된 노이즈(130)에서, 원본 영상(110)의 화소의 위치 (x, y)에 대응되는 제2 영역(520)을 결정할 수 있다. 제2 영역(520)은 제거된 노이즈의 통계적 특징을 판단하기 위한 영역일 수 있다. 제1 영역(510)과 제2 영역(520)의 위치 및 크기는 동일하게 설정될 수 있다.

영역의 크기가 클 수록, 화소에 대응되는 영역의 통계적 특성이 인접 화소에 대응되는 영역의 통계적 특성과 유사하게 분석되어, 인접 화소들간에 급격한 변화 없이 노이즈 특성이 판단될 수 있다. 반면, 영역의 크기가 작을수록, 각 화소의 노이즈 특성이 정밀하게 판단될 수 있다. 따라서, 전반적으로 노이즈가 분포된 영상의 경우, 화소의 노이즈 크기를 판단하기 위한 영역을 넓게 결정하고, 부분적으로 노이즈가 분포된 영상의 경우, 화소의 노이즈 크기를 판단하기 위한 영역을 좁게 결정하는 것이 유리할 수 있다.

일 실시예에서, 상기 제1 영역(510) 및 상기 제2 영역(520)의 형태 및 크기는 미리 결정된 것일 수 있다. 예를 들어, 상기 제1 영역(510) 및 상기 제2 영역(520)은 노이즈 특성을 분석할 화소의 위치를 중심으로 한 NxN 화소 (N은 소정의 자연수) 크기의 영역일 수 있다.

다른 실시예에서, 상기 제1 영역(510) 및 상기 제2 영역(520)의 형태 및 크기는 영상의 특성 또는 화소의 주변 영역의 특성에 따라 적응적으로 결정될 수 있다. 예를 들어, 영상 처리 장치(1000)는 영상의 크기, 색상 정보, 움직임 정보, 분류, 태그, 인코딩 방식, 또는 저장 방식 등의 속성에 기초하여, 상기 영역의 형태 및 크기를 결정할 수 있다. 다른 예를 들어, 영상 처리 장치(1000)는 영상 또는 화소의 주변 영역의 평균, 분산, 변화량 등의 통계적 특징을 분석하여, 상기 영역의 형태 및 크기를 결정할 수 있다.

다른 실시예에서, 상기 제1 영역(510) 및 상기 제2 영역(520)의 형태 및 크기는 영상 처리 장치(1000)의 사용자에 의해 설정될 수 있다. 예를 들어, 영상 처리 장치(1000)는 사용자로부터 상기 영역의 크기 및 형태를 직접 설정하는 입력을 수신할 수 있다. 다른 예를 들어, 영상 처리 장치(1000)는 인지적 노이즈를 검출 및 제거하는 민감도, 정밀도, 또는 강도를 설정하는 사용자 입력을 수신하고, 상기 사용자 입력에 기초하여 상기 영역의 크기 및 형태를 결정할 수 있다.

일 실시예에서, 영상 처리 장치(1000)는 제1 영역(510)에 포함된 화소값들의 통계적 특징을 노이즈가 제거된 영상(120)의 통계적 특징으로서 획득하고, 제2 영역(520)에 포함된 통계적 특징을 제거된 노이즈(130)의 통계적 특징으로서 획득할 수 있다.

일 실시예에서, 영상 처리 장치(1000)는 제1 영역(510)과 제2 영역(520)에 포함된 화소값들의 통계적 특징을 분석하여, 상기 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지에 관한 노이즈 특성(150)을 판단(540)할 수 있다.

일 실시예에서, 상기 화소의 노이즈 특성은 소정의 값으로 표현될 수 있다. 예를 들어, 상기 화소의 노이즈 특성은 상기 화소의 노이즈가 인지적 노이즈에 해당되는 경우 1, 상기 화소의 노이즈가 인지적 디테일에 해당되는 경우 0으로 표현될 수 있다. 다른 예를 들어, 상기 화소의 노이즈 특성은 0과 1 사이의 값으로 표현되고, 상기 값이 1에 가까울수록 상기 화소의 노이즈가 인지적 노이즈에 해당되고, 상기 값이 0에 가까울수록 상기 화소의 노이즈가 인지적 디테일에 해당됨을 나타낼 수 있다.

일 실시예에서, 영상 처리 장치(1000)는 원본 영상(110)의 각 화소 (x, y)에 대하여 화소의 노이즈 특성을 나타내는 값 P(x, y)를 획득할 수 있다. 그 결과, 제거된 노이즈(130)의 노이즈 특성(150)은 각 화소 (x, y)에 대한 P(x, y)를 나타내는 노이즈 특성 맵으로 나타날 수 있다.

일 실시예에서, 영상 처리 장치(1000)는 노이즈 특성(150)을 나타내는 맵, 원본 영상(110), 및 노이즈가 제거된 영상(120)에 기초하여 인지적 노이즈가 제거된 영상을 획득할 수 있다. 일 실시예에서, 영상 처리 장치(1000)는 노이즈 특성(150)을 나타내는 맵을 가중치로 사용하여 원본 영상(110)과 노이즈가 제거된 영상(120)를 합성할 수 있다.

도 6a 내지 도 6d는 노이즈 특성을 판단하는 동작의 다양한 실시예들을 설명하기 위한 도면들이다.

도 6a를 참조하면, 노이즈가 제거된 영상(120)의 통계적 특성과 제거된 노이즈(130)의 통계적 특성에 기초하여 노이즈 특성(150)을 판단하는 일 실시예가 도시된다. 도 6a에 도시된 동작들은 도 5에 도시된 인지적 노이즈 판단(540) 동작에 상응할 수 있다.

동작 610에서, 영상 처리 장치(1000)는 노이즈가 제거된 영상(120)의 통계적 특징을 분석할 수 있다. 일 실시예에서, 상기 노이즈가 제거된 영상(120)의 통계적 특징은 도 5에 도시된 제1 영역(510)의 통계적 특징일 수 있다. 동작 620에서, 영상 처리 장치(1000)는 제거된 노이즈(130)의 통계적 특징을 분석(620)할 수 있다. 일 실시예에서, 상기 제거된 노이즈(130)의 통계적 특징은 도 5에 도시된 제2 영역(520)의 통계적 특징일 수 있다.

예를 들어, 영상 처리 장치(1000)는 노이즈가 제거된 영상(120)의 분산과 제거된 노이즈(130)의 분산을 각각 획득할 수 있다. 동작 630에서, 영상 처리 장치(1000)는 노이즈가 제거된 영상(120)과 제거된 노이즈(130)의 통계적 특징에 기초하여, 노이즈 특성(150)을 판단할 수 있다.

일 실시예에서, 영상 처리 장치(1000)는 노이즈가 제거된 영상의 통계적 특징과 제거된 노이즈의 통계적 특징에 기초하여, 상기 화소에 대한 노이즈의 시인성을 나타내는 노이즈 시인성 함수(noise visibility function, NVF)을 계산할 수 있다.

일 실시예에서, NVF는 다음 수학식 1에 의하여 계산될 수 있다. 계산된 NVF는 0과 1 사이의 값을 가지며, 1에 가까울수록 노이즈가 잘 보이고, 0에 가까울수록 노이즈가 잘 보이지 않음을 나타낼 수 있다.

이 때 σ_S는 노이즈가 제거된 영상(120)의 분산, σ_N은 제거된 노이즈(130)의 분산을 의미하고, W_N은 미리 설정된 상수이다. W_N은 인지적 노이즈 판단의 민감도 또는 강도를 조절하기 위한 상수로써, 인지적 노이즈로 판단되는 기준을 높이고 싶을수록 W_N은 큰 값으로 설정될 수 있다.

다만, 상기 수학식 1에 의해 계산된 NVF는 값이 균일하지 않아 인지적 노이즈 판단을 위해 사용하기에 어려움이 있을 수 있다. 따라서, NVF를 인지적 노이즈 분석에 적용하기 위하여 다음과 같이 수식을 수정할 수 있다.

C는 NVF의 균일하지 않은 결과를 균일하게 만들기 위한, 미리 설정된 상수이다. 일 실시예에서, C는 영상의 자료형 또는 비트수에 따라 결정될 수 있다.

영상 처리 장치(1000)는 계산된 NVF의 값에 기초하여 상기 화소의 노이즈 특성을 판단할 수 있다. 일 실시예에서, 영상 처리 장치(1000)는 화소의 NVF가 1에 가까운 경우 상기 화소의 노이즈 특성을 인지적 노이즈로 판단하고, 상기 화소의 NVF가 0에 가까운 경우 상기 화소의 노이즈 특성을 인지적 디테일로 판단할 수 있다. 예를 들어, 영상 처리 장치(1000)는 화소의 NVF 값이 소정의 문턱값 이상인 경우 상기 화소의 노이즈 특성을 인지적 노이즈로 판단하고, 상기 화소의 NVF 값이 상기 소정의 문턱값 미만인 경우 상기 화소의 노이즈 특성을 인지적 디테일로 판단할 수 있다. 상기 소정의 문턱값은, 예를 들어, 0.1로 설정될 수 있다. 물론 상기 예시에 제한되지 않는다. 일 실시예에서, 상기 소정의 문턱값은 인지적 노이즈 판단의 민감도 또는 강도에 따라 설정될 수 있다.

다른 실시예에서, 영상 처리 장치(1000)는 화소의 NVF의 값에 기초하여, 상기 화소의 노이즈가 인지적 노이즈에 해당하는 정도 또는 인지적 디테일에 해당하는 정도를 나타내는 특성 파라미터를 결정할 수 있다. 예를 들어, 영상 처리 장치(1000)는 화소의 NVF 값을 상기 화소의 노이즈가 인지적 디테일에 해당하는 정도를 나타내는 특성 파라미터로 결정할 수 있다. 반대로, 영상 처리 장치(1000)는 1에서 상기 화소의 NVF 값을 뺀 값을 상기 화소의 노이즈가 인지적 노이즈에 해당하는 정도를 나타내는 특성 파라미터로 결정할 수 있다.

도 6b를 참조하면, 도 6a와 비교할 때, 추가로 엣지 맵(map)에 기초하여 노이즈 특성(150)을 판단하는 일 실시예가 도시된다. 도 6b에 도시된 동작들은 도 5에 도시된 인지적 노이즈 판단(540) 동작에 상응할 수 있다. 도 6b의 동작 610 및 620은 도 6a의 동작 610 및 620에 상응할 수 있으므로, 중복되는 설명은 생략한다.

일 실시예에 따르면, 동작 650에서, 영상 처리 장치(1000)는 화소가 엣지에 해당하는지 여부를 영상의 엣지 맵(edge map)(640)에 기초하여 판단할 수 있다. 엣지 맵(640)은 영상의 각 화소가 영상에 표현된 객체의 경계선에 해당하는 부분인지 여부를 나타낸다. 상기 엣지 맵(640)은 임의의 알려진 방법을 이용하여 영상 처리 장치(1000)에 의해 생성된 것일 수 있다. 또는, 상기 엣지 맵(640)은 별도의 소스로부터 영상과 함께 획득된 것일 수 있다.

동작 660에서, 영상 처리 장치(1000)는 노이즈가 제거된 영상(120)의 통계적 특징 및 제거된 노이즈(130)의 통계적 특징에 더하여, 화소가 엣지에 해당하는지 여부에 더 기초하여 상기 화소의 노이즈 특성을 판단할 수 있다. 영상을 크게 플랫(flat), 엣지, 디테일(detail) 영역으로 나눌 때, 플랫 영역 및 엣지 영역에서는 상대적으로 노이즈가 잘 시인될 수 있다. 반면, 디테일 영역에서는 상대적으로 노이즈가 잘 시인되지 않을 수 있다. 따라서, 일 실시예에서, 영상 처리 장치(1000)는 화소가 엣지에 해당할 경우, 상기 화소의 노이즈 특성을 인지적 디테일로 판단할 수 있다.

일 실시예에서, NVF는 화소가 엣지에 해당하는지 여부의 판단을 반영하여, 다음 수학식 3에 의하여 계산될 수 있다.

이 때 is_edge는 화소가 엣지에 해당할 경우 1, 그렇지 않을 경우 0의 값을 가진다.

수학식 1 또는 수학식 2에 따르면, 엣지 영역에서는 인지적으로 노이즈가 잘 시인됨에도 불구하고, NVF가 0에 가까운 값을 가지게 되어 인지적 디테일로 구분될 수 있다. 반면, 수학식 3에 따르면, 엣지에 해당하는 화소에서는 항상 NVF가 1의 값을 가지므로, 인지적 노이즈로 구분된다.

도 6c를 참조하면, 도 6b와 비교할 때, 추가로 영상 시청 환경에 기초하여 노이즈 특성(150)을 판단하는 일 실시예가 도시된다. 도 6c에 도시된 동작들은 도 5에 도시된 인지적 노이즈 판단(540) 동작에 상응할 수 있다. 도 6c의 동작 610, 620, 및 650은 도 6b의 동작 610, 620, 및 650에 상응할 수 있으므로, 중복되는 설명은 생략한다.

일 실시예에 따르면, 동작 670에서, 영상 처리 장치(1000)는 영상의 시청 환경을 분석할 수 있다. 예를 들어, 영상 처리 장치(1000)는 영상이 재생되는 화면의 크기, 영상이 재생되는 화면의 밝기, 영상의 시청 거리 등의 영상 시청 환경을 분석할 수 있다.

일 실시예에서, 영상의 시청 환경은 영상 재생 장치로부터 획득되는 것일 수 있다. 예를 들어, 영상 처리 장치(1000)는 영상 재생 장치로부터 영상이 재생되는 화면의 크기 및 밝기에 관한 정보를 획득할 수 있다. 예를 들어, 영상 처리 장치(1000)는 영상 재생 장치로부터 적정 시청 거리에 대한 정보를 얻거나, 또는 영상 재생 장치의 센서로부터 측정된 시청 거리에 대한 정보를 획득할 수 있다.

다른 실시예에서, 영상의 시청 환경은 영상 처리 장치(1000)의 사용자에 의해 설정될 수 있다. 예를 들어, 영상 처리 장치(1000)의 사용자는 영상에서 인지적 노이즈를 제거하기 위해, 특정 화면 크기, 특정 화면 밝기, 및/또는 특정 시청 거리에서 영상이 재생된다는 것을 가정할 수 있다.

일 실시예에서, 영상의 시청 환경은 영상의 재생 중에 실시간으로 분석될 수 있다. 예를 들어, 영상 재생 중에 영상의 크기 또는 밝기가 조정되거나, 영상 시청 거리가 변한다면, 영상 처리 장치(1000)는 영상 재생 장치로부터 변화한 영상 시청 환경에 대한 정보를 실시간으로 획득할 수 있다.

동작 680에서, 영상 처리 장치(1000)는 분석된 영상 시청 환경에 기초하여 화소의 노이즈 특성을 판단할 수 있다. 영상이 재생되는 화면의 크기가 커지면 노이즈의 시인성이 커질 수 있다. 영상이 재생되는 화면의 밝기가 밝아지면 밝기 포화를 방지하기 위해 영상이 보정되어 픽셀 간 차이가 줄어들기 때문에 노이즈의 시인성은 작아질 수 있다. 영상을 시청하는 거리가 멀어지면 노이즈의 시인성이 작아질 수 있다. 따라서, 영상 처리 장치(1000)는, 영상이 재생되는 화면의 크기가 클수록, 영상이 재생되는 화면의 밝기가 어두울수록, 영상을 시청하는 거리가 가까울수록 노이즈 특성을 인지적 노이즈에 해당한다고 판단할 수 있다.

일 실시예에서, NVF는 영상의 시청 환경을 반영하여, 다음 수학식 4에 의하여 계산될 수 있다.

이 때 size는 영상이 재생되는 화면의 크기, brightness는 영상이 재생되는 화면의 밝기, distance는 영상을 시청하는 거리를 나타낸다.

수학식 4에 따르면, 영상이 재생되는 화면의 크기가 클수록, 영상이 재생되는 화면의 밝기가 어두울수록, 영상을 시청하는 거리가 가까울수록 NVF가 1에 가까운 값을 가지게 되므로, 인지적 노이즈로 판단될 경향성이 커진다.

도 6d를 참조하면, 도 6c와 비교할 때, 엣지 맵 대신 방향성(directionality)에 기초하여 노이즈 특성(150)을 판단하는 일 실시예가 도시된다. 도 6d에 도시된 동작들은 도 5에 도시된 인지적 노이즈 판단(540) 동작에 상응할 수 있다. 도 6d의 동작 610, 620, 및 670은 도 6c의 동작 610, 620, 및 670에 상응할 수 있으므로, 중복되는 설명은 생략한다.

일 실시예에 따르면, 동작 690에서, 영상 처리 장치(1000)는 노이즈가 제거된 영상(120)으로부터 화소의 방향성을 분석할 수 있다. 화소의 방향성이란, 상기 화소 및 상기 화소의 주변 영역의 값이 특정 방향으로 향하는 정도를 의미한다.

일 실시예에서, 영상 처리 장치(1000)는 화소의 그래디언트(gradient)에 기초하여 상기 화소의 방향성을 계산할 수 있다. 일 실시예에서, 영상 처리 장치(1000)는 화소와 주변 화소들에 대하여 각각의 방향성을 구하고, 방향성의 분포에 기초하여 상기 화소의 방향성을 계산할 수 있다. 예를 들어, 방향성의 분포가 균등하면 텍스처(texture)로 판단될 수 있고, 분포가 어느 범위에 몰려 있으면 방향성이 있는 엣지로 판단될 수 있다. 화소의 방향성을 구하는 방법은 상기 예시에 제한되지 않으며, 영상 처리 장치(1000)는 그 밖의 임의의 알려진 방법에 의하여 화소의 방향성을 구할 수 있다.

동작 695에서, 영상 처리 장치(1000)는 노이즈가 제거된 영상(120)의 통계적 특징 및 제거된 노이즈(130)의 통계적 특징에 더하여, 화소의 방향성에 더 기초하여 상기 화소의 노이즈 특성을 판단할 수 있다. 노이즈는 특정 방향성을 갖지 않지만, 엣지는 특정 방향으로 존재하기 때문에, 방향성을 갖는 영역에서는 노이즈의 시인성이 커질 수 있다. 따라서, 영상 처리 장치(1000)는 화소의 방향성이 클수록 노이즈 특성을 인지적 노이즈에 해당한다고 판단할 수 있다.

일 실시예에서, NVF는 화소의 방향성을 반영하여, 다음 수학식 5에 의하여 계산될 수 있다.

이 때 directionality는 화소의 방향성을 나타낸다.

엣지 맵을 이용하는 수학식 2에 의하면, 화소가 엣지에 해당한다고 판단되는 경우 무조건 인지적 노이즈로 분류하기 때문에, 엣지 맵이 잘못 구해진 경우 인지적 노이즈도 오분류될 수 있다. 반면 화소의 방향성은 상기 화소가 엣지에 해당하는 정도를 나타낼 수 있기 때문에, 수학식 5에 따르면 방향성이 큰 영역에 있는 화소에 대하여 인지적 노이즈로 판단할 수 있다.

도 7은 일 실시예에 따른, 노이즈 특성에 기초하여 인지적 노이즈를 제거하는 동작을 나타내는 도면이다.

도 7을 참조하면, 노이즈 특성(150)에 의하여 원본 영상(110)과 노이즈가 제거된 영상(120) 중 하나를 선택함으로써 인지적 노이즈 제거 영상을 획득하는 일 실시예가 도시된다. 본 개시의 다양한 실시예들에 따른 인지적 노이즈 판단(540) 방법에 의하면, 해당 화소의 노이즈가 인지적 노이즈인지, 아니면 인지적 디테일인지 여부를 나타내는 노이즈 특성(150)이 획득될 수 있다. 예를 들어, 영상 처리 장치는 화소의 NVF를 계산하고, 계산된 NVF 값이 소정의 문턱값 이상인 경우 상기 화소의 노이즈 특성을 인지적 노이즈로 판단하고, 그 미만인 경우 인지적 디테일로 판단할 수 있다. 예를 들어, 화소의 노이즈 특성은 상기 화소의 노이즈가 인지적 노이즈에 해당되는 경우 1, 상기 화소의 노이즈가 인지적 디테일에 해당되는 경우 0으로 표현될 수 있다.

일 실시예에서, 영상 처리 장치(1000)는 상기 화소의 노이즈 특성이 인지적 디테일로 판단되는 경우, 상기 화소를 원본 영상(110)의 화소 그대로 유지할 수 있다. 또한, 영상 처리 장치(1000)는 화소의 노이즈 특성이 인지적 노이즈로 판단되는 경우, 상기 화소를 노이즈가 제거된 영상(120)의 대응되는 화소로 치환할 수 있다. 영상 처리 장치(1000)는 영상의 각 화소에 대하여, 노이즈 특성(150)을 판단하고, 인지적 노이즈로 판단된 화소에 대하여만 노이즈가 제거된 영상(120)의 화소로 치환하는 처리를 수행하여, 인지적 노이즈 제거 영상(160)을 획득할 수 있다.

도 8은 일 실시예에 따른, 영상 합성에 의해 인지적 노이즈를 제거하는 동작을 나타내는 도면이다.

도 8을 참조하면, 특성 파라미터(810)에 의하여 원본 영상(110)과 노이즈가 제거된 영상(120)을 합성함으로써 인지적 노이즈 제거 영상을 획득하는 일 실시예가 도시된다. 본 개시의 다양한 실시예들에 따른 인지적 노이즈 판단(540) 방법에 의하면, 화소의 노이즈가 인지적 노이즈에 해당하는 정도 또는 인지적 디테일에 해당하는 정도를 나타내는 특성 파라미터를 결정할 수 있다. 예를 들어, 영상 처리 장치(1000)는 화소의 NVF 값을 상기 화소의 노이즈가 인지적 디테일에 해당하는 정도를 나타내는 특성 파라미터로 결정할 수 있다. 예를 들어, 화소의 특성 파라미터는 0과 1 사이의 값으로 표현될 수 있다. 특성 파라미터가 1에 가까울수록 화소의 노이즈가 인지적 노이즈에 해당되고, 0에 가까울수록 상기 화소의 노이즈가 인지적 디테일에 해당됨을 나타낼 수 있다.

일 실시예에서, 영상 처리 장치(1000)는 화소의 특성 파라미터(810)에 기초하여, 원본 영상(110)과 노이즈가 제거된 영상(120)을 합성하여 인지적 노이즈를 제거할 수 있다. 예를 들어, 화소의 특성 파라미터(810)는 원본 영상(110)과 노이즈가 제거된 영상(120)을 가중 평균하기 위한 가중치로 이용될 수 있다. 영상 처리 장치(1000)는 영상의 각 화소에 대하여, 특성 파라미터(810)를 획득하고, 특성 파라미터(810)의 비율에 따라 원본 영상(110)의 화소와 노이즈가 제거된 영상(120)의 화소를 혼합하는 처리를 수행하여 인지적 노이즈 제거 영상(160)을 획득할 수 있다.

일 실시예에서, 인지적 노이즈 제거 영상(160)의 각 화소값은 다음 수학식에 의해 획득될 수 있다.

V_O(x, y)는 원본 영상(110)의 (x, y) 좌표에 위치하는 화소값, V_S(x, y)는 노이즈가 제거된 영상(120)의 (x, y) 좌표에 위치하는 화소값, V_P(x, y)는 인지적 노이즈 제거 영상(160)의 (x, y) 좌표에 위치하는 화소값을 의미한다. P(x, y)는 (x, y)의 0과 1 사이의 값을 가지고, 1에 가까울수록 화소의 노이즈가 인지적 노이즈에 해당되고, 0에 가까울수록 상기 화소의 노이즈가 인지적 디테일에 해당됨을 나타내는 특성 파라미터(810)이다.

도 9는 일 실시예에 따른, 인공지능 모델을 이용하여 인지적 노이즈를 제거하는 동작을 나타내는 도면이다.

도 9를 참조하면, 인지적 노이즈를 처리하기 위한 인지적 노이즈 처리 모델(910)과, 인지적 디테일을 처리하기 위한 인지적 디테일 처리 모델(920)을 이용하여, 인지적 노이즈를 제거하는 처리를 수행하는 일 실시예가 도시된다. 인지적 노이즈 처리 모델(910)은 인지적 노이즈 영상을 포함하는 학습 데이터베이스(DB)와 학습 DB를 통하여 학습된 인공지능 모델일 수 있다. 인지적 디테일 처리 모델(920)은 인지적 디테일 영상을 포함하는 학습 DB를 통하여 학습된 인공지능 모델일 수 있다. 상기 학습 DB는 본 개시의 다양한 실시예들에 따른 인지적 노이즈 판단(540) 방법에 의하여 구축된 것일 수 있다.

다양한 실시예들에서, 영상 처리 장치(1000)는 원본 영상(110)에 인지적 노이즈 처리 모델(910)을 적용하여 제1 수정 영상(930)을 획득하고, 원본 영상(110)에 인지적 디테일 처리 모델(920)을 적용하여 제2 수정 영상(940)을 획득할 수 있다.

본 개시의 다양한 실시예들에 따른 인지적 노이즈 판단(540) 방법에 의하면, 해당 화소의 노이즈가 인지적 노이즈인지, 아니면 인지적 디테일인지 여부를 나타내는 노이즈 특성(150)이 획득될 수 있다. 일 실시예에서, 영상 처리 장치(1000)는 화소의 노이즈 특성(150)이 인지적 노이즈로 판단되는 경우, 상기 화소의 값을 제1 수정 영상(930)의 값으로 치환하고, 상기 화소의 노이즈 특성(150)이 인지적 디테일로 판단되는 경우, 상기 화소의 값을 제2 수정 영상(940)의 값으로 치환할 수 있다. 영상 처리 장치(1000)는 영상의 각 화소에 대하여, 노이즈 특성(150)을 판단하고, 노이즈 특성에 따라 화소를 제1 수정 영상(930) 또는 제2 수정 영상(940)의 화소로 치환하는 처리를 수행하여, 인지적 노이즈 제거 영상(160)을 획득할 수 있다.

도 10은 다른 실시예에 따른, 인공지능 모델을 이용하여 인지적 노이즈를 제거하는 동작을 나타내는 도면이다.

도 10를 참조하면, 인지적 노이즈를 처리하기 위한 인지적 노이즈 처리 모델(910)과, 인지적 디테일을 처리하기 위한 인지적 디테일 처리 모델(920)을 이용하여, 인지적 노이즈를 제거하는 처리를 수행하는 다른 실시예가 도시된다. 도 9에 도시된 실시예와 마찬가지로, 영상 처리 장치(1000)는 원본 영상(110)에 인지적 노이즈 처리 모델(910)을 적용하여 제1 수정 영상(930)을 획득하고, 원본 영상(110)에 인지적 디테일 처리 모델(920)을 적용하여 제2 수정 영상(940)을 획득할 수 있다.

본 개시의 다양한 실시예들에 따른 인지적 노이즈 판단(540) 방법에 의하면, 화소의 노이즈가 인지적 노이즈에 해당하는 정도 또는 인지적 디테일에 해당하는 정도를 나타내는 특성 파라미터를 결정할 수 있다. 일 실시예에서, 영상 처리 장치(1000)는 화소의 특성 파라미터(810)에 기초하여, 제1 수정 영상(930)과 제2 수정 영상(940)을 합성하여 인지적 노이즈를 제거할 수 있다. 예를 들어, 화소의 특성 파라미터(810)는 제1 수정 영상(930)과 제2 수정 영상(940)을 가중 평균하기 위한 가중치로 이용될 수 있다. 영상 처리 장치(1000)는 영상의 각 화소에 대하여, 특성 파라미터(810)를 획득하고, 특성 파라미터(810)의 비율에 따라 제1 수정 영상(930)의 화소와 제2 수정 영상(940)의 화소를 혼합하는 처리를 수행하여 인지적 노이즈 제거 영상(160)을 획득할 수 있다.

V₁(x, y)은 인지적 노이즈 처리 모델(910)에 의해 획득된 제1 수정 영상(930)의 (x, y) 좌표에 위치하는 화소값을 의미한다. V₂(x, y)는 인지적 디테일 처리 모델(920)에 의해 획득된 제2 수정 영상(940)의 (x, y) 좌표에 위치하는 화소값을 의미한다. V_P(x, y)는 인지적 노이즈 제거 영상(160)의 (x, y) 좌표에 위치하는 화소값을 의미한다. P(x, y)는 (x, y)의 0과 1 사이의 값을 가지고, 1에 가까울수록 화소의 노이즈가 인지적 노이즈에 해당되고, 0에 가까울수록 상기 화소의 노이즈가 인지적 디테일에 해당됨을 나타내는 특성 파라미터(810)이다.

도 11은 일 실시예에 따른, 영상의 인지적 노이즈 및 인지적 디테일을 처리하기 위한 인공지능 모델을 학습시키는 인공지능 모델 학습 장치의 동작을 나타내는 도면이다.

도 11을 참조하면, 인공지능 모델 학습 장치(2000)는 임의의 고화질(HQ) 영상(1110)을 열화시켜 저화질(LQ) 영상(1120)을 생성할 수 있다. 일 실시예에서, 인공지능 모델 학습 장치(2000)는 HQ 영상(1110)과 LQ 영상(1120)을 각각 소정의 크기를 가지는 패치들로 나눌 수 있다. 이는 학습 DB를 동일한 크기의 영상들로 구성하여 인공지능 모델의 학습을 용이하게 하고 일관성 있는 학습 결과를 얻기 위해서이다.

동작 1130에서, 인공지능 모델 학습 장치(2000)는 HQ 영상의 패치(1111)와, 상기 HQ 영상의 패치(1111)에 대응되는 LQ 영상의 패치(1121)에 기초하여, 해당 패치의 노이즈 특성을 판단할 수 있다. 이 때 패치의 노이즈 특성을 판단하기 위하여, 본 개시의 다양한 실시예들에 따른 인지적 노이즈 판단 방법이 사용될 수 있다. 예를 들어, 인공지능 모델 학습 장치(2000)는 LQ 영상의 패치(1121)를 원본 영상으로 간주하고, 이에 대응되는 HQ 영상의 패치(1111)를 노이즈가 제거된 영상으로 간주하여 본 개시의 다양한 실시예들에 따른 인지적 노이즈 판단 방법을 사용할 수 있다.

다양한 실시예들에서, 인공지능 모델 학습 장치(2000)는 HQ 영상의 패치(1111)와 LQ 영상의 패치(1121)의 차이로부터, 제거된 노이즈를 획득할 수 있다. 다양한 실시예들에서, 인공지능 모델 학습 장치(2000)는 HQ 영상의 패치(1111)의 통계적 특징 및 제거된 노이즈의 통계적 특징을 각각 획득할 수 있다. 다양한 실시예들에서, 인공지능 모델 학습 장치(2000)는 획득한 통계적 특징에 기초하여, 제거된 노이즈가 인지적 노이즈인지 인지적 디테일인지를 나타내는 노이즈 특성을 판단할 수 있다. 일 실시예에서, 인공지능 모델 학습 장치(2000)는 본 개시의 다양한 실시예들에 따른 NVF를 계산하고, 계산된 NVF 값에 기초하여 화소의 노이즈 특성을 판단할 수 있다.

동작 1140에서, 인공지능 모델 학습 장치(2000)는 LQ 영상의 패치(1121)의 평균 노이즈 특성을 획득할 수 있다. 일 실시예에서, 인공지능 모델 학습 장치(2000)는 LQ 영상의 패치(1121)의 각 화소에 대하여 계산된 NVF 값을 평균하여, LQ 영상의 패치(1121)의 평균 노이즈 특성을 획득할 수 있다. 예를 들어, 인공지능 모델 학습 장치(2000)는, LQ 영상의 패치(1121)의 평균 NVF 값이 소정의 문턱값 이상인 경우, LQ 영상의 패치(1121)의 평균 노이즈 특성을 인지적 노이즈로 판단하고, 상기 평균 NVF 값이 상기 문턱값 미만인 경우, 평균 노이즈 특성을 인지적 디테일로 판단할 수 있다. 상기 소정의 문턱값은, 예를 들어, 0.1로 설정될 수 있다. 물론 상기 예시에 제한되지 않는다. 일 실시예에서, 상기 소정의 문턱값은 인지적 노이즈 판단의 민감도 또는 강도에 따라 설정될 수 있다.

인공지능 모델 학습 장치(2000)는 획득된 평균 노이즈 특성에 따라, HQ 영상의 패치(1111)와 LQ 영상의 패치(1121)를 인지적 노이즈 DB 또는 인지적 디테일 DB로 분류하여 학습 DB(3000)에 저장할 수 있다. 학습 DB(3000)는 인지적 노이즈 HQ DB(3110)와, 이에 대응되는 인지적 노이즈 LQ DB(3120) 및 인지적 디테일 HQ DB(3210)와, 이에 대응되는 인지적 디테일 LQ DB(3220)로 구성될 수 있다. 평균 노이즈 특성이 인지적 노이즈로 판단된 경우, 인공지능 모델 학습 장치(2000)는 HQ 영상의 패치(1111)를 인지적 노이즈 HQ DB(3110)에 저장하고, LQ 영상의 패치(1121)를 인지적 노이즈 LQ DB(3120)에 저장할 수 있다. 평균 노이즈 특성이 인지적 디테일로 판단된 경우, 인공지능 모델 학습 장치(2000)는 HQ 영상의 패치(1111)를 인지적 디테일 HQ DB(3210)에 저장하고, LQ 영상의 패치(1121)를 인지적 디테일 LQ DB(3220)에 저장할 수 있다.

동작 1150에서, 인공지능 모델 학습 장치(2000)는 인지적 노이즈 HQ DB(3110)와, 이에 대응되는 인지적 노이즈 LQ DB(3120)를 이용하여 인지적 노이즈 처리 모델(910)을 학습시킬 수 있다. 인지적 노이즈 처리 모델(910)은, 인지적 노이즈 LQ DB(3120)에 포함된 LQ 영상을 입력하였을 때, 해당 LQ 영상에 대응되는 인지적 노이즈 HQ DB(3110)에 포함된 HQ 영상을 출력하도록 학습될 수 있다.

동작 1160에서, 인공지능 모델 학습 장치(2000)는 인지적 디테일 HQ DB(3210)와, 이에 대응되는 인지적 디테일 LQ DB(3220)를 이용하여 인지적 디테일 처리 모델(920)을 학습시킬 수 있다. 인지적 디테일 처리 모델(920)은, 인지적 디테일 LQ DB(3220)에 포함된 LQ 영상을 입력하였을 때, 해당 LQ 영상에 대응되는 인지적 디테일 HQ DB(3210)에 포함된 HQ 영상을 출력하도록 학습될 수 있다.

인공지능 모델 학습 장치(2000)에 의하여 학습된 인지적 노이즈 처리 모델(910) 및 인지적 디테일 처리 모델(920)은, 본 개시의 다양한 실시예들에 따라, 영상 처리 장치(1000)에 의하여 영상의 인지적 노이즈 및 인지적 디테일을 처리하기 위하여 사용될 수 있다.

도 12는 일 실시예에 따른, 영상의 인지적 노이즈 및 인지적 디테일을 처리하기 위한 인공지능 모델을 학습시키는 인공지능 모델 학습 방법의 흐름도이다. 이러한 동작은 도 13에 도시된 인공지능 모델 학습 장치(2000), 또는 도 15에 도시된 인공지능 모델 학습 장치(2000) 또는 인공지능 모델 학습 장치(2000)의 프로세서(2300)에 의해 수행될 수 있다.

도 12를 참조하면, 동작 S1210에서, 인공지능 모델 학습 장치(2000)는 고화질 영상으로부터 저화질 영상을 획득할 수 있다. 일 실시예에서, 인공지능 모델 학습 장치(2000)는 고화질 영상을 열화시켜 저화질 영상을 획득할 수 있다. 일 실시예에서, 인공지능 모델 학습 장치(2000)는 고화질 영상과 저화질 영상을 각각 소정의 크기를 가지는 패치들로 나누고, 이후의 동작들을 각 패치에 대하여 수행할 수 있다.

동작 S1220에서, 인공지능 모델 학습 장치(2000)는 고화질 영상과 저화질 영상의 차이로부터, 노이즈를 획득할 수 있다.

동작 S1230에서, 인공지능 모델 학습 장치(2000)는 상기 영역에 대하여, 고화질 영상의 통계적 특징 및 노이즈의 통계적 특징을 획득할 수 있다.

일 실시예에서, 인공지능 모델 학습 장치(2000)는 고화질 영상의 통계적 특징을 획득할 수 있다. 예를 들어, 영상 처리 장치는 고화질 영상에서 화소들의 분산을 계산할 수 있다. 또한 인공지능 모델 학습 장치(2000)는 노이즈의 통계적 특징을 획득할 수 있다. 예를 들어, 인공지능 모델 학습 장치(2000)는 노이즈에서 화소들의 분산을 계산할 수 있다. 일 실시예에서, 영상 처리 장치(1000)는 고화질 영상과 노이즈를주파수 변환하고, 주파수 변환된 결과의 통계적 특징을 분석할 수 있다.

일 실시예에서, 인공지능 모델 학습 장치(2000)는, 저화질 영상에서 노이즈 특성을 분석할 화소를 결정하고, 고화질 영상 및 노이즈에서 상기 화소의 위치를 포함하는 영역을 각각 결정할 수 있다. 영상 처리 장치(1000)는 상기 고화질 영상 내 영역의 통계적 특징 및 상기 노이즈 내 영역의 통계적 특징을 획득할 수 있다.

일 실시예에서, 상기 영역의 형태 및 크기는 미리 결정된 것일 수 있다. 예를 들어, 상기 영역은 화소의 위치를 중심으로 한 NxN (N은 소정의 자연수) 크기의 영역일 수 있다.

다른 실시예에서, 상기 영역의 형태 및 크기는 영상의 특성 또는 화소의 주변 영역의 특성에 따라 적응적으로 결정될 수 있다. 예를 들어, 인공지능 모델 학습 장치(2000)는 영상의 크기, 색상 정보, 움직임 정보, 분류, 태그, 인코딩 방식, 또는 저장 방식 등의 속성에 기초하여, 상기 영역의 형태 및 크기를 결정할 수 있다. 다른 예를 들어, 인공지능 모델 학습 장치(2000)는 영상 또는 화소의 주변 영역의 평균, 분산, 변화량 등의 통계적 특징을 분석하여, 상기 영역의 형태 및 크기를 결정할 수 있다.

다른 실시예에서, 상기 영역의 형태 및 크기는 인공지능 모델 학습 장치(2000)의 사용자에 의해 설정될 수 있다. 예를 들어, 인공지능 모델 학습 장치(2000)는 사용자로부터 상기 영역의 크기 및 형태를 직접 설정하는 입력을 수신할 수 있다. 다른 예를 들어, 인공지능 모델 학습 장치(2000)는 인지적 노이즈를 검출 및 제거하는 민감도, 정밀도, 또는 강도를 설정하는 사용자 입력을 수신하고, 상기 사용자 입력에 기초하여 상기 영역의 크기 및 형태를 결정할 수 있다.

동작 S1240에서, 인공지능 모델 학습 장치(2000)는 상기 고화질 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 상기 화소의 노이즈 특성을 판단할 수 있다.

일 실시예에서, 화소의 노이즈 특성은 상기 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지 여부를 나타내는 것일 수 있다. 예를 들어, 인공지능 모델 학습 장치(2000)는 고화질 영상의 통계적 특징과 노이즈의 통계적 특징의 차이가 소정 범위 이내인 경우, 화소의 노이즈 특성을 인지적 디테일로 판단하고, 상기 고화질 영상의 통계적 특징과 상기 노이즈의 통계적 특징의 차이가 소정 범위를 벗어나는 경우, 상기 화소의 노이즈 특성을 인지적 노이즈로 판단할 수 있다. 예를 들어, 화소의 노이즈 특성은 상기 화소의 노이즈가 인지적 노이즈에 해당되는 경우 1, 상기 화소의 노이즈가 인지적 디테일에 해당되는 경우 0으로 표현될 수 있다.

다른 실시예에서, 화소의 노이즈 특성은 상기 화소의 노이즈가 인지적 노이즈에 해당하는 정도 또는 인지적 디테일에 해당하는 정도를 나타내는 특성 파라미터일 수 있다. 예를 들어, 인공지능 모델 학습 장치(2000)는 고화질 영상의 통계적 특징과 노이즈의 통계적 특징에 기초하여, 상기 화소의 노이즈가 인지적 노이즈일 확률 또는 가능도를 계산할 수 있다. 예를 들어, 화소의 노이즈 특성은 0과 1 사이의 값으로 표현될 수 있다. 상기 값이 1에 가까울수록 상기 화소의 노이즈가 인지적 노이즈에 해당되고, 상기 값이 0에 가까울수록 상기 화소의 노이즈가 인지적 디테일에 해당됨을 나타낼 수 있다.

일 실시예에서, 인공지능 모델 학습 장치(2000)는 본 개시의 다양한 실시예들에 따라, 고화질 영상의 통계적 특징과 노이즈의 통계적 특징에 기초하여, 상기 화소에 대한 노이즈의 시인성을 나타내는 노이즈 시인성 함수(noise visibility function, NVF)을 계산할 수 있다. 일 실시예에서, 인공지능 모델 학습 장치(2000)는 계산된 NVF의 값에 기초하여 상기 화소의 노이즈 특성을 판단할 수 있다.

동작 S1250에서, 인공지능 모델 학습 장치(2000)는 저화질 영상 내의 화소들의 평균적인 노이즈 특성에 기초하여, 상기 고화질 영상 및 상기 저화질 영상으로 구성된 영상 쌍을 인지적 노이즈 데이터 또는 인지적 디테일 데이터로 분류할 수 있다.

일 실시예에서, 인공지능 모델 학습 장치(2000)는 저화질 영상 내의 화소들의 노이즈 특성을 평균하여, 저화질 영상의 평균적인 노이즈 특성을 획득할 수 있다. 일 실시예에서, 인공지능 모델 학습 장치는 저화질 영상의 각 화소에 대하여 계산된 NVF 값을 평균하여, 저화질 영상의 평균적인 노이즈 특성을 획득할 수 있다. 예를 들어, 인공지능 모델 학습 장치는, 저화질 영상의 평균 NVF 값이 소정의 문턱값 이상인 경우, 저화질 영상의 평균적인 노이즈 특성을 인지적 노이즈로 판단하고, 상기 평균 NVF 값이 상기 문턱값 미만인 경우, 평균적인 노이즈 특성을 인지적 디테일로 판단할 수 있다. 상기 소정의 문턱값은, 예를 들어, 0.1로 설정될 수 있다. 물론 상기 예시에 제한되지 않는다. 일 실시예에서, 상기 소정의 문턱값은 인지적 노이즈 판단의 민감도 또는 강도에 따라 설정될 수 있다.

일 실시예에서, 인공지능 모델 학습 장치(2000)는 저화질 영상의 평균적인 노이즈 특성에 기초하여, 상기 고화질 영상 및 상기 저화질 영상으로 구성된 영상 쌍을 인지적 노이즈 데이터 또는 인지적 디테일 데이터로 분류할 수 있다. 평균적인 노이즈 특성이 인지적 노이즈로 판단된 경우, 인공지능 모델 학습 장치(2000)는 상기 영상 쌍을 인지적 노이즈 데이터로 분류하여 저장할 수 있다. 평균적인 노이즈 특성이 인지적 디테일로 판단된 경우, 인공지능 모델 학습 장치(2000)는 상기 영상 쌍을 인지적 디테일 데이터로 분류하여 저장할 수 있다.

동작 S1260에서, 인공지능 모델 학습 장치(2000)는 상기 인지적 노이즈 데이터로 분류된 영상 쌍을 이용하여, 인지적 노이즈를 처리하기 위한 제1 인공지능 모델을 학습시킬 수 있다. 제1 인공지능 모델은, 상기 인지적 노이즈 데이터로 분류된 영상 쌍에 포함된 저화질 영상을 입력하였을 때, 상기 인지적 노이즈 데이터로 분류된 영상 쌍에 포함된 고화질 영상을 출력하도록 학습될 수 있다.

동작 S1270에서, 인공지능 모델 학습 장치(2000)는 상기 인지적 디테일 데이터로 분류된 영상 쌍을 이용하여, 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 학습시킬 수 있다. 제2 인공지능 모델은, 상기 인지적 디테일 데이터로 분류된 영상 쌍에 포함된 저화질 영상을 입력하였을 때, 상기 인지적 디테일 데이터로 분류된 영상 쌍에 포함된 고화질 영상을 출력하도록 학습될 수 있다.

도 13은 일 실시예에 따른, 인공지능 모델을 이용하여 영상의 인지적 노이즈를 제거하는 영상 처리 시스템을 나타내는 도면이다.

도 13을 참조하면, 인지적 노이즈 처리 모델(910) 및 인지적 디테일 처리 모델(920)을 사용하여 인지적 노이즈를 검출 및 제거하는 영상 처리 장치(1000)와, 학습 DB(3000)에 기초하여 인지적 노이즈 처리 모델(910) 및 인지적 디테일 처리 모델(920)을 학습시키는 인공지능 모델 학습 장치(2000)가 도시된다.

영상 처리 장치(1000)는 인지적 노이즈 처리 모델(910) 및 인지적 디테일 처리 모델(920)을 사용하여, 원본 영상(110)으로부터 인지적 노이즈를 제거한 인지적 노이즈 제거 영상(160)을 생성할 수 있다. 상기 인지적 노이즈 처리 모델(910) 및 인지적 디테일 처리 모델(920)은 인공지능 모델 학습 장치(2000)에 의해 미리 학습된 것일 수 있다. 영상 처리 장치(1000)가 인공지능 모델을 이용하여 인지적 노이즈를 제거하는 구체적인 방법에 관한 다양한 실시예들이 도 9 및 도 10을 참조하여 설명되었다.

인공지능 모델 학습 장치(2000)는 임의의 고화질 영상을 열화시켜 대응되는 저화질 영상을 생성하고, 상기 고화질 영상과 저화질 영상으로 구성된 영상 쌍을 인지적 노이즈 데이터 또는 인지적 디테일 데이터로 분류하여 학습 DB(3000)를 생성할 수 있다. 인공지능 모델 학습 장치(2000)는 상기 학습 DB(3000)를 이용하여, 인지적 노이즈 처리 모델(910) 및 인지적 디테일 처리 모델(920)을 학습시킬 수 있다. 인공지능 모델 학습 장치(2000)가 인공지능 모델을 학습시키는 구체적인 방법에 관한 다양한 실시예들이 도 11 및 도 12를 참조하여 설명되었다.

일 실시예에 따르면, 영상 처리 장치(1000)는, 원본 영상(110)과 인지적 노이즈 제거 영상(160)으로 구성된 영상 쌍을 학습 DB(3000)에 업데이트할 수 있다. 영상 처리 장치(1000)는 원본 영상(110)을 저화질 영상에, 인지적 노이즈 제거 영상(160)을 고화질 영상에 대응하여 학습 DB(3000)를 업데이트할 수 있다.

일 실시예에서, 영상 처리 장치(1000)는 원본 영상(110)과 인지적 노이즈 제거 영상(160)을 각각 소정의 크기를 가지는 패치들로 나누고, 각 패치의 평균 노이즈 특성을 판단할 수 있다. 패치의 평균 노이즈 특성이 인지적 노이즈인 경우, 영상 처리 장치(1000)는 원본 영상(110)의 패치와 대응되는 인지적 노이즈 제거 영상(160)의 패치로 구성된 영상 쌍을 학습 DB(3000)에 포함된 인지적 노이즈 DB에 업데이트할 수 있다. 패치의 평균 노이즈 특성이 인지적 디테일인 경우, 영상 처리 장치(1000)는 원본 영상(110)의 패치와 대응되는 인지적 노이즈 제거 영상(160)의 패치로 구성된 영상 쌍을 학습 DB(3000)에 포함된 인지적 디테일 DB에 업데이트할 수 있다.

일 실시예에 따르면, 인공지능 모델 학습 장치(2000)는, 업데이트된 학습 DB(3000)를 이용하여 인지적 노이즈 처리 모델(910) 및 인지적 디테일 처리 모델(920)을 업데이트 할 수 있다.

도 14는 일 실시예에 따른 영상 처리 장치의 블록도이다.

도 14에 도시된 바와 같이, 일부 실시예들에 따른 영상 처리 장치(1000)는, 사용자 입력부(1100), 출력부(1200), 프로세서(1300), 센싱부(1400), 통신부(1500), A/V 입력부(1600), 및 메모리(1700)를 포함할 수 있다. 그러나, 도 14에 도시된 구성 요소 모두가 영상 처리 장치(1000)의 필수 구성 요소인 것은 아니다. 도 14에 도시된 구성 요소보다 많은 구성 요소에 의해 영상 처리 장치(1000)가 구현될 수도 있고, 도 14에 도시된 구성 요소보다 적은 구성 요소에 의해 영상 처리 장치(1000)가 구현될 수도 있다. 영상 처리 장치(1000)는 처리된 영상을 디스플레이에 표시하는 측면에서 영상 표시 장치로 언급될 수도 있다.

사용자 입력부(1100)는, 사용자가 영상 처리 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.

출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다.

디스플레이부(1210)는 영상 처리 장치(1000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(1210)는, 복수의 데이터베이스들에 대한 사용자의 질의(query) 입력을 수신하기 위한 인터페이스를 표시할 수 있다.

한편, 디스플레이부(1210)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1210)는 출력 장치 이외에 입력 장치로도 사용될 수 있다.

일 실시예에 따르면, 디스플레이부(1210)는 본 개시의 다양한 실시예들에 따라 영상에서 인지적 노이즈가 제거 처리된 영상을 표시할 수 있다.

음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1220)는 영상 처리 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(1220)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

진동 모터(1230)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(1230)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(1230)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.

프로세서(1300)는, 통상적으로 영상 처리 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다. 프로세서(1300)는, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 제어함으로써, 본 명세서에서의 영상 처리 장치(1000)의 동작을 제어할 수 있다.

구체적으로, 프로세서(1300)는, 영상으로부터, 노이즈가 제거된 영상을 획득하고, 상기 영상과 상기 노이즈가 제거된 영상의 차이로부터, 제거된 노이즈를 획득하고, 상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징을 획득하고, 상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지에 관한 노이즈 특성을 판단하고, 상기 화소의 노이즈 특성에 기초하여 상기 영상에서 인지적 노이즈를 제거하는 처리를 수행할 수 있다.

다양한 실시예들에서, 프로세서(1300)는, 상기 영상을 소정의 규칙에 기초하여 필터링하여, 상기 노이즈가 제거된 영상을 획득할 수 있다.

다양한 실시예들에서, 프로세서(1300)는, 상기 영상에 노이즈 제거를 위한 인공지능 모델을 적용하여, 상기 노이즈가 제거된 영상을 획득할 수 있다.

다양한 실시예들에서, 프로세서(1300)는, 상기 영상에서 노이즈 특성을 분석할 화소를 결정하고, 상기 노이즈가 제거된 영상 및 상기 제거된 노이즈에서, 상기 화소의 위치에 대응되는 영역을 각각 결정하고, 상기 노이즈가 제거된 영상 내 영역의 통계적 특징 및 상기 제거된 노이즈 내 영역의 통계적 특징을 획득할 수 있다.

다양한 실시예들에서, 프로세서(1300)는, 상기 노이즈가 제거된 영상의 통계적 특징과 상기 노이즈의 통계적 특징의 차이가 소정 범위 이내인 경우, 상기 화소의 노이즈 특성을 인지적 디테일로 판단하고, 상기 노이즈가 제거된 영상의 통계적 특징과 상기 노이즈의 통계적 특징의 차이가 소정 범위를 벗어나는 경우, 상기 화소의 노이즈 특성을 인지적 노이즈로 판단할 수 있다.

다양한 실시예들에서, 프로세서(1300)는, 상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 상기 화소의 노이즈 특성이 인지적 노이즈인 정도 또는 인지적 디테일인 정도를 나타내는 특성 파라미터를 획득할 수 있다.

다양한 실시예들에서, 프로세서(1300)는, 상기 영상의 엣지 맵(edge map)에 기초하여, 상기 화소가 엣지(edge)에 해당하는지 여부를 판단하고, 상기 화소가 엣지에 해당하는 경우, 상기 화소의 노이즈 특성을 인지적 디테일로 판단할 수 있다.

다양한 실시예들에서, 프로세서(1300)는, 상기 영상이 재생되는 화면의 크기, 상기 영상이 재생되는 화면의 밝기, 또는 상기 영상의 시청 거리 중 적어도 하나에 기초하여 상기 노이즈 특성을 판단할 수 있다.

다양한 실시예들에서, 프로세서(1300)는, 상기 영역을 분석하여 상기 화소의 방향성을 획득하고, 상기 화소의 방향성에 기초하여 상기 노이즈 특성을 판단할 수 있다.

다양한 실시예들에서, 프로세서(1300)는, 상기 화소의 노이즈 특성이 인지적 노이즈로 판단되는 경우, 상기 화소를 상기 노이즈가 제거된 영상의 대응되는 화소로 치환하고, 상기 화소의 노이즈 특성이 인지적 디테일로 판단되는 경우, 상기 화소를 유지할 수 있다.

다양한 실시예들에서, 프로세서(1300)는, 상기 인지적 노이즈를 제거하는 처리를 수행하는 단계는, 상기 화소의 특성 파라미터에 기초하여, 상기 영상과 상기 노이즈가 제거된 영상을 합성할 수 있다.

다양한 실시예들에서, 프로세서(1300)는, 상기 화소의 노이즈 특성이 인지적 노이즈로 판단되는 경우, 상기 화소에 인지적 노이즈를 처리하기 위한 제1 인공지능 모델을 적용하고, 상기 화소의 노이즈 특성이 인지적 디테일로 판단되는 경우, 상기 화소에 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 적용할 수 있다.

다양한 실시예들에서, 프로세서(1300)는, 상기 영상에 인지적 노이즈를 처리하기 위한 제1 인공지능 모델을 적용하여 제1 수정 영상을 획득하고, 상기 영상에 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 적용하여 제2 수정 영상을 획득하고, 상기 화소의 특성 파라미터에 기초하여, 상기 제1 수정 영상과 상기 제2 수정 영상을 합성할 수 있다.

센싱부(1400)는, 영상 처리 장치(1000)의 상태 또는 영상 처리 장치(1000) 주변의 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다.

센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

통신부(1500)는, 외부 장치와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.

근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 영상 처리 장치(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.

A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.

카메라(1610)에서 처리된 화상 프레임은 메모리(1700)에 저장되거나 통신부(1500)를 통하여 외부로 전송될 수 있다. 카메라(1610)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.

마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.

메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 영상 처리 장치(1000)로 입력되거나 영상 처리 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다.

메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.

UI 모듈(1710)은, 애플리케이션 별로 영상 처리 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1300)로 전달할 수 있다. 일부 실시예들에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.

알림 모듈(1730)은 영상 처리 장치(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 알림 모듈(1730)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.

다양한 실시예들에서, 메모리(1700)는 본 개시의 다양한 실시예들에 따른 영상 처리 방법을 수행하기 위한 하나 이상의 프로그램 모듈을 포함할 수 있다. 다양한 실시예들에서, 메모리(1700)는 하나 이상의 인스트럭션을 저장하고, 상기 하나 이상의 인스트럭션은 프로세서(1300)에 의해 실행되었을 때, 프로세서(1300)로 하여금 본 개시의 다양한 실시예들에 따른 영상 처리 방법을 수행하도록 설정될 수 있다.

다양한 실시예들에서, 메모리(1700)는 인지적 노이즈를 처리하기 위한 제1 인공지능 모델 및 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 저장할 수 있다. 상기 제1 인공지능 모델 및 상기 제2 인공지능 모델은 도 15의 인공지능 모델 학습 장치(2000), 서버, 또는 그 밖의 외부 장치로부터 통신부(1500)를 통해 수신된 것일 수 있다.

도 15는 일 실시예에 따른 인공지능 모델 학습 장치의 블록도이다.

도 15에 도시된 바와 같이, 일 실시예에 따른 인공지능 모델 학습 장치(2000)는, 통신부(2100), 메모리(2200), 프로세서(2300), 입력부(2400), 및 출력부(2500)를 포함할 수 있다. 그러나, 도 15에 도시된 구성 요소 모두가 인공지능 모델 학습 장치(2000)의 필수 구성 요소인 것은 아니며, 도 15에 도시된 구성 요소보다 많거나 또는 적은 구성 요소에 의해 인공지능 모델 학습 장치(2000)가 구현될 수도 있다. 일 실시예에서, 도 15의 인공지능 모델 학습 장치(2000)는 서버에 구현될 수 있다. 일 실시예에서, 도 15의 인공지능 모델 학습 장치(2000)는 도 14의 영상 처리 장치(1000)의 일부로 구현될 수 있다.

통신부(2100)는, 외부 장치와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(2100)는, 근거리 통신부, 이동 통신부, 및 방송 수신부를 포함할 수 있다.

메모리(2200)는, 프로세서(2300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 인공지능 모델 학습 장치(2000)로 입력되거나 인공지능 모델 학습 장치(2000)로부터 출력되는 데이터를 저장할 수 있다.

다양한 실시예들에서, 메모리(2200)는 본 개시의 다양한 실시예들에 따른 영상 처리 방법을 수행하기 위한 하나 이상의 프로그램 모듈을 포함할 수 있다. 다양한 실시예들에서, 메모리(2200)는 하나 이상의 인스트럭션을 저장하고, 상기 하나 이상의 인스트럭션들은 프로세서(2300)에 의해 실행되었을 때, 프로세서(2300)로 하여금 본 개시의 다양한 실시예들에 따른 영상 처리 방법을 수행하도록 설정될 수 있다.

다양한 실시예들에서, 메모리(2200)는 학습 데이터베이스(DB)를 저장하고 있을 수 있다. 학습 DB는 인지적 노이즈 DB와 인지적 디테일 DB를 포함할 수 있다. 다양한 실시예들에서, 인지적 노이즈 DB는 고화질(HQ) 영상과 저화질(LQ) 영상으로 구성된 영상 쌍을 포함할 수 있다. 인지적 노이즈 DB는 인지적 노이즈 HQ DB와, 이에 대응되는 인지적 노이즈 LQ DB로 구성될 수 있다. 다양한 실시예들에서, 인지적 디테일 DB는 HQ 영상과 LQ 영상으로 구성된 영상 쌍을 포함할 수 있다. 인지적 디테일 DB는 인지적 디테일 HQ DB와, 이에 대응되는 인지적 디테일 LQ DB로 구성될 수 있다.

다양한 실시예들에서, 메모리(2200)는 인지적 노이즈를 처리하기 위한 제1 인공지능 모델 및 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 저장할 수 있다.

프로세서(2300)는, 통상적으로 인공지능 모델 학습 장치(2000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(2300)는, 메모리(2200)에 저장된 프로그램들을 실행함으로써, 통신부(2100), 메모리(2200), 입력부(2400), 출력부(2500) 등을 전반적으로 제어할 수 있다. 프로세서(2300)는, 통신부(2100), 메모리(2200), 입력부(2400), 출력부(2500) 등을 제어함으로써, 본 개시에서의 인공지능 모델 학습 장치(2000)의 동작을 제어할 수 있다.

구체적으로, 프로세서(2300)는, 고화질 영상으로부터 저화질 영상을 획득하고, 상기 고화질 영상과 상기 저화질 영상의 차이로부터, 노이즈를 획득하고, 상기 고화질 영상의 통계적 특징 및 상기 노이즈의 통계적 특징을 획득하고, 상기 고화질 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지에 관한 노이즈 특성을 판단하고, 상기 저화질 영상 내의 화소들의 평균적인 노이즈 특성에 기초하여, 상기 고화질 영상 및 상기 저화질 영상으로 구성된 영상 쌍을 인지적 노이즈 데이터 또는 인지적 디테일 데이터로 분류하고, 상기 인지적 노이즈 데이터로 분류된 영상 쌍을 이용하여, 인지적 노이즈를 처리하기 위한 제1 인공지능 모델을 학습시키고, 상기 인지적 디테일 데이터로 분류된 영상 쌍을 이용하여, 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 학습시킬 수 있다.

다양한 실시예들에서, 프로세서(2300)는, 상기 고화질 영상을 열화시켜 상기 저화질 영상을 획득할 수 있다.

다양한 실시예들에서, 프로세서(2300)는, 상기 고화질 영상과 상기 저화질 영상을 소정의 크기를 가지는 패치로 나눌 수 있다.

다양한 실시예들에서, 프로세서(2300)는, 상기 인지적 노이즈 데이터로 분류된 영상 쌍에 포함된 저화질 영상을 상기 제1 인공지능 모델에 입력하였을 때, 상기 인지적 노이즈 데이터로 분류된 영상 쌍에 포함된 고화질 영상을 출력하도록 상기 제1 인공지능 모델을 학습시키고, 상기 인지적 디테일 데이터로 분류된 영상 쌍에 포함된 저화질 영상을 상기 제2 인공지능 모델에 입력하였을 때, 상기 인지적 디테일 데이터로 분류된 영상 쌍에 포함된 고화질 영상을 출력하도록 상기 제2 인공지능 모델을 학습시킬 수 있다.

다양한 실시예들에서, 프로세서(2300)는, 학습된 제1인공지능 모델 및 제2인공지능 모델을 통신부(2100)를 통해 영상 처리 장치(1000)로 제공할 수 있다.

입력부(2400)는, 사용자가 프로세서(2300)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 입력부(2400)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.

출력부(2500)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(2500)는 디스플레이부 및 음향 출력부를 포함할 수 있다.

기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims

영상으로부터, 노이즈가 제거된 영상을 획득하는 단계;
상기 영상과 상기 노이즈가 제거된 영상의 차이로부터, 제거된 노이즈를 획득하는 단계;상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징을 획득하는 단계;
상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지에 관한 노이즈 특성을 판단하는 단계; 및
상기 화소의 노이즈 특성에 기초하여, 상기 영상에서 인지적 노이즈를 제거하는 처리를 수행하는 단계;
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 노이즈가 제거된 영상을 획득하는 단계는,
상기 영상을 소정의 규칙에 기초하여 필터링하여, 상기 노이즈가 제거된 영상을 획득하는 단계를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 노이즈가 제거된 영상을 획득하는 단계는,
상기 영상에 노이즈 제거를 위한 인공지능 모델을 적용하여, 상기 노이즈가 제거된 영상을 획득하는 단계를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징을 획득하는 단계는,
상기 영상에서 노이즈 특성을 분석할 화소를 결정하는 단계;
상기 노이즈가 제거된 영상 및 상기 제거된 노이즈에서, 상기 화소의 위치에 대응되는 영역을 각각 결정하는 단계; 및
상기 노이즈가 제거된 영상 내 영역의 통계적 특징 및 상기 제거된 노이즈 내 영역의 통계적 특징을 획득하는 단계;
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 노이즈 특성을 판단하는 단계는,
상기 노이즈가 제거된 영상의 통계적 특징과 상기 노이즈의 통계적 특징의 차이가 소정 범위 이내인 경우, 상기 화소의 노이즈 특성을 인지적 디테일로 판단하는 단계; 및
상기 노이즈가 제거된 영상의 통계적 특징과 상기 노이즈의 통계적 특징의 차이가 소정 범위를 벗어나는 경우, 상기 화소의 노이즈 특성을 인지적 노이즈로 판단하는 단계;
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 노이즈 특성을 판단하는 단계는,
상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 상기 화소의 노이즈 특성이 인지적 노이즈인 정도 또는 인지적 디테일인 정도를 나타내는 특성 파라미터를 획득하는 단계;
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 노이즈 특성을 판단하는 단계는,
상기 영상의 엣지 맵(edge map)에 기초하여, 상기 화소가 엣지(edge)에 해당하는지 여부를 판단하는 단계; 및
상기 화소가 엣지에 해당하는 경우, 상기 화소의 노이즈 특성을 인지적 디테일로 판단하는 단계;
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 노이즈 특성을 판단하는 단계는,
상기 영상이 재생되는 화면의 크기, 상기 영상이 재생되는 화면의 밝기, 또는 상기 영상의 시청 거리 중 적어도 하나에 기초하여 상기 노이즈 특성을 판단하는 단계;
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 노이즈 특성을 획득하는 단계는,
상기 영역을 분석하여 상기 화소의 방향성을 획득하는 단계; 및
상기 화소의 방향성에 기초하여 상기 노이즈 특성을 판단하는 단계;
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 인지적 노이즈를 제거하는 처리를 수행하는 단계는,
상기 화소의 노이즈 특성이 인지적 노이즈로 판단되는 경우, 상기 화소를 상기 노이즈가 제거된 영상의 대응되는 화소로 치환하는 단계; 및
상기 화소의 노이즈 특성이 인지적 디테일로 판단되는 경우, 상기 화소를 유지하는 단계;
를 포함하는, 영상 처리 방법.
제6항에 있어서,
상기 인지적 노이즈를 제거하는 처리를 수행하는 단계는,
상기 화소의 특성 파라미터에 기초하여, 상기 영상과 상기 노이즈가 제거된 영상을 합성하는 단계;
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 인지적 노이즈를 제거하는 처리를 수행하는 단계는,
상기 화소의 노이즈 특성이 인지적 노이즈로 판단되는 경우, 상기 화소에 인지적 노이즈를 처리하기 위한 제1 인공지능 모델을 적용하는 단계; 및
상기 화소의 노이즈 특성이 인지적 디테일로 판단되는 경우, 상기 화소에 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 적용하는 단계;
를 포함하는, 영상 처리 방법.
제6항에 있어서,
상기 인지적 노이즈를 제거하는 처리를 수행하는 단계는,
상기 영상에 인지적 노이즈를 처리하기 위한 제1 인공지능 모델을 적용하여 제1 수정 영상을 획득하는 단계;
상기 영상에 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 적용하여 제2 수정 영상을 획득하는 단계;
상기 화소의 특성 파라미터에 기초하여, 상기 제1 수정 영상과 상기 제2 수정 영상을 합성하는 단계;
를 포함하는, 영상 처리 방법.
고화질 영상으로부터 저화질 영상을 획득하는 단계;
상기 고화질 영상과 상기 저화질 영상의 차이로부터, 노이즈를 획득하는 단계;
상기 고화질 영상의 통계적 특징 및 상기 노이즈의 통계적 특징을 획득하는 단계;
상기 고화질 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지에 관한 노이즈 특성을 판단하는 단계;
상기 저화질 영상 내의 화소들의 평균적인 노이즈 특성에 기초하여, 상기 고화질 영상 및 상기 저화질 영상으로 구성된 영상 쌍을 인지적 노이즈 데이터 또는 인지적 디테일 데이터로 분류하는 단계;
상기 인지적 노이즈 데이터로 분류된 영상 쌍을 이용하여, 인지적 노이즈를 처리하기 위한 제1 인공지능 모델을 학습시키는 단계; 및
상기 인지적 디테일 데이터로 분류된 영상 쌍을 이용하여, 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 학습시키는 단계;
를 포함하는, 인공지능 모델 학습 방법.
제 14항에 있어서,
상기 고화질 영상으로부터 상기 저화질 영상을 획득하는 단계는,
상기 고화질 영상을 열화시켜 상기 저화질 영상을 획득하는 단계를 포함하는, 인공지능 모델 학습 방법.
제 14항에 있어서,
상기 고화질 영상으로부터 상기 저화질 영상을 획득하는 단계는,
상기 고화질 영상과 상기 저화질 영상을 소정의 크기를 가지는 패치로 나누는 단계를 포함하는, 인공지능 모델 학습 방법.
제 14항에 있어서,
상기 제1 인공지능 모델을 학습시키는 단계는,
상기 인지적 노이즈 데이터로 분류된 영상 쌍에 포함된 상기 저화질 영상을 상기 제1 인공지능 모델에 입력하였을 때, 상기 인지적 노이즈 데이터로 분류된 영상 쌍에 포함된 상기 고화질 영상을 출력하도록 상기 제1 인공지능 모델을 학습시키는 단계를 포함하고,
상기 제2 인공지능 모델을 학습시키는 단계는,
상기 인지적 디테일 데이터로 분류된 영상 쌍에 포함된 저화질 영상을 상기 제2 인공지능 모델에 입력하였을 때, 상기 인지적 디테일 데이터로 분류된 영상 쌍에 포함된 고화질 영상을 출력하도록 상기 제2 인공지능 모델을 학습시키는 단계를 포함하는,
인공지능 모델 학습 방법.
하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 하나 이상의 인스트럭션을 실행하도록 설정되는 적어도 하나의 프로세서;를 포함하고,
상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
원본 영상으로부터, 노이즈가 제거된 영상을 획득하고,
상기 영상과 상기 노이즈가 제거된 영상의 차이로부터, 제거된 노이즈를 획득하고,
상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징을 획득하고,
상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지에 관한 노이즈 특성을 판단하고,
상기 화소의 노이즈 특성에 기초하여 상기 원본 영상에서 인지적 노이즈를 제거하는 처리를 수행하도록 설정되는,
영상 처리 장치.
하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 하나 이상의 인스트럭션을 실행하도록 설정되는 적어도 하나의 프로세서;를 포함하고,
상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
고화질 영상으로부터 저화질 영상을 획득하고,
상기 고화질 영상과 상기 저화질 영상의 차이로부터, 노이즈를 획득하고,
상기 고화질 영상의 통계적 특징 및 상기 노이즈의 통계적 특징을 획득하고,
상기 고화질 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지에 관한 노이즈 특성을 판단하고,
상기 저화질 영상 내의 화소들의 평균적인 노이즈 특성에 기초하여, 상기 고화질 영상 및 상기 저화질 영상으로 구성된 영상 쌍을 인지적 노이즈 데이터 또는 인지적 디테일 데이터로 분류하고,
상기 인지적 노이즈 데이터로 분류된 영상 쌍을 이용하여, 인지적 노이즈를 처리하기 위한 제1 인공지능 모델을 학습시키고,
상기 인지적 디테일 데이터로 분류된 영상 쌍을 이용하여, 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 학습시키도록 설정되는
인공지능 모델 학습 장치.
영상으로부터, 노이즈가 제거된 영상을 획득하는 단계;
상기 영상과 상기 노이즈가 제거된 영상의 차이로부터, 제거된 노이즈를 획득하는 단계;
상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징을 획득하는 단계;
상기 노이즈가 제거된 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지에 관한 노이즈 특성을 판단하는 단계; 및
상기 화소의 노이즈 특성에 기초하여 상기 영상에서 인지적 노이즈를 제거하는 처리를 수행하는 단계;
를 포함하는, 영상 처리 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
고화질 영상으로부터 저화질 영상을 획득하는 단계;
상기 고화질 영상과 상기 저화질 영상의 차이로부터, 노이즈를 획득하는 단계;
상기 고화질 영상의 통계적 특징 및 상기 노이즈의 통계적 특징을 획득하는 단계;
상기 고화질 영상의 통계적 특징 및 상기 노이즈의 통계적 특징에 기초하여, 화소의 노이즈가 인지적 노이즈인지 또는 인지적 디테일인지에 관한 노이즈 특성을 판단하는 단계;
상기 저화질 영상 내의 화소들의 평균적인 노이즈 특성에 기초하여, 상기 고화질 영상 및 상기 저화질 영상으로 구성된 영상 쌍을 인지적 노이즈 데이터 또는 인지적 디테일 데이터로 분류하는 단계;
상기 인지적 노이즈 데이터로 분류된 영상 쌍을 이용하여, 인지적 노이즈를 처리하기 위한 제1 인공지능 모델을 학습시키는 단계; 및
상기 인지적 디테일 데이터로 분류된 영상 쌍을 이용하여, 인지적 디테일을 처리하기 위한 제2 인공지능 모델을 학습시키는 단계;
를 포함하는, 인공지능 모델 학습 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.