KR20220158540A - 영상 처리 장치 및 그 동작방법 - Google Patents
영상 처리 장치 및 그 동작방법 Download PDFInfo
- Publication number
- KR20220158540A KR20220158540A KR1020210066492A KR20210066492A KR20220158540A KR 20220158540 A KR20220158540 A KR 20220158540A KR 1020210066492 A KR1020210066492 A KR 1020210066492A KR 20210066492 A KR20210066492 A KR 20210066492A KR 20220158540 A KR20220158540 A KR 20220158540A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- map
- original
- attribute
- value
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 178
- 238000011017 operating method Methods 0.000 title description 3
- 230000008859 change Effects 0.000 claims abstract description 42
- 230000002093 peripheral effect Effects 0.000 claims abstract description 36
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 42
- 238000003672 processing method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 25
- 238000006243 chemical reaction Methods 0.000 description 18
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
원본 영상 중 객체 영역과 주변 영역을 구분하여 설정된 정보인 원본 영상에 대한 제 1 속성 관련 정보를 기초로, 원본 영상 내의 원본 픽셀들에 대한 스케일 가중치를 결정하고, 제 1 속성 관련 정보 및 인접 픽셀들의 픽셀값들 간의 변화량에 기초한 정보인 원본 영상에 대한 제 2 속성 관련 정보를 기초로 주변 영역 내의 원본 픽셀들에 대한 추가 가중치를 결정하고, 스케일 가중치 및 추가 가중치를 원본 영상 내의 원본 픽셀들에 적용하여, 원본 영상으로부터 크기가 변경된 변환 영상을 획득하는 적어도 하나의 프로세서를 포함하고, 변환 영상 내 변환 픽셀들 중 하나의 변환 픽셀에 대한 픽셀값을 산출하기 위해 이용되는 적어도 하나의 원본 픽셀에 대한 적어도 하나의 스케일 가중치의 합은 소정의 값인 영상 처리 장치가 개시된다.
Description
다양한 실시예들은 영상의 크기를 변경하는 영상 처리 장치 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 선별적으로 주변 영역에 대한 크기 변경 시 발생하는 주변 영역의 왜곡 현상을 감소시키는 영상 처리 장치 및 그 동작 방법에 관한 것이다.
최근, IoT 기술 발전으로 인해 영상 정보의 전송이 용이해졌으며, 다양한 화면 비율(aspect ratio; 또는 종횡비)을 가지는 다양한 디스플레이 장치들에서 출력될 수 있다. 이때, 원본 영상의 화면 비율과 영상 정보를 출력하는 디스플레이 장치의 화면 비율이 변경되는 경우, 영상 정보에 포함되는 객체 영역에 대한 왜곡이 발생할 수 있으며, 이에 따라, 부자연스러운 영상이 출력될 수 있다.
예를 들어, 디스플레이 장치의 화면 비율에 맞추기 위하여, 원본 영상의 상, 하 영역 또는 좌, 우 영역에 흑백 영상을 삽입하는 방식(Letterboxing 기반) 또는, 원본 영상을 선형적으로 확대하거나 축소하는 방식(Linear scaling 기반)으로 영상을 변형하는 경우, 영상에 왜곡이 발생할 수 있다.
따라서, 영상에 포함되는 객체나 배경의 중요도(saliency)에 따라 선별적으로 영상을 재구성(image retargeting)하는 방법이 필요하다.
다양한 실시예들은, 영상의 크기를 변경할 때, 원본 영상의 속성 관련 정보에 기초하여, 적응적으로 원본 영상을 재구성함으로써, 주변 영역(예를 들어, 배경 부분)의 왜곡 현상을 감소시키면서 객체 영역을 보존할 수 있는 영상 처리 장치 및 그 동작방법을 제공할 수 있다.
일 실시예에 따른 영상 처리 장치는 하나 이상의 인스트럭션들을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 상기 프로세서는, 원본 영상 중 객체 영역과 주변 영역을 구분하여 설정된 정보인 원본 영상에 대한 제 1 속성 관련 정보를 기초로, 상기 원본 영상 내의 원본 픽셀들에 대한 스케일 가중치를 결정하고, 상기 제 1 속성 관련 정보 및 인접 픽셀들의 픽셀값들 간의 변화량에 기초한 정보인 상기 원본 영상에 대한 제 2 속성 관련 정보를 기초로, 주변 영역 내의 원본 픽셀들에 대한 추가 가중치를 결정하고, 상기 스케일 가중치 및 상기 추가 가중치를 상기 원본 영상 내의 원본 픽셀들에 적용하여, 상기 원본 영상으로부터 크기가 변경된 변환 영상을 획득할 수 있다. 이때, 상기 변환 영상 내 변환 픽셀들 중 하나의 변환 픽셀에 대한 픽셀 값을 산출하기 위해 이용되는 적어도 하나의 원본 픽셀에 대한 적어도 하나의 스케일 가중치의 합은 소정의 값일 수 있다.
상기 프로세서는 상기 스케일 가중치 및 상기 추가 가중치를 상기 원본 영상의 원본 픽셀들에 적용할 때, 상기 스케일 가중치 및 상기 추가 가중치를 반영한 가중치에 기초하여 상기 원본 픽셀들의 가중합을 산출하고,
상기 변환 영상의 변환 픽셀의 픽셀값은, 상기 가중치에 기초하여 산출된 원본 픽셀들과의 가중합에 대응될 수 있다.
상기 프로세서는 상기 원본 영상에 대한 제 1 속성 관련 정보에 상응하는 제 1 속성 기반 맵을 생성하고, 상기 제 1 속성 기반 맵을 기초로 상기 원본 픽셀들에 대한 스케일 가중치를 결정하고,
상기 원본 영상에 대한 제 2 속성 관련 정보에 상응하는 제 2 속성 기반 맵을 생성하고, 상기 제 1 속성 기반 맵 및 상기 제 2 속성 기반 맵을 기초로 상기 주변 영역에 대한 추가 가중치를 포함하는 가이드 맵을 결정할 수 있다.
상기 제 1 속성 기반 맵은 상기 원본 영상에 대한 중요도 맵(saliency map) 또는 상기 원본 영상에 대한 뎁스 맵을 포함하고, 상기 제 2 속성 기반 맵은 상기 원본 픽셀들의 픽셀값들의 차이값에 대한 변화율에 기초한 텍스처 맵을 포함할 수 있다.
상기 가이드 맵은, 상기 중요도 맵의 인버스 맵(inverse map)과 상기 텍스처 맵을 결합한 중요도 가이던스 맵(saliency guidance map)일 수 있다.
상기 제 1 속성 기반 맵에 기초하여 산출된 상기 스케일 가중치는, 상기 변환 영상이 상기 원본 영상보다 크기가 큰 경우, 상기 객체 영역에 대해서는 소정의 제 1 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 1 값보다 큰 값으로 결정되고,
상기 제 1 속성 기반 맵에 기초하여 상기 스케일 가중치는, 상기 변환 영상이 상기 원본 영상보다 크기가 작은 경우, 상기 객체 영역에 대해서는 소정의 제 1 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 1 값보다 작은 값으로 결정될 수 있다.
엔트로피 기반으로 상기 제 1 속성 기반 맵의 밀집도가 산출되고, 상기 산출된 밀집도를 기초로 수직 방향 및 수평 방향의 변경 비율이 산출되고,
상기 수직 방향 및 상기 수평 방향의 변경 비율을 기초로, 상기 원본 영상의 크기가 변경된 변환 영상은 수직 방향으로 상기 원본 영상의 높이가 변경되면서, 수평 방향으로 상기 원본 영상의 너비가 변경될 수 있다.
상기 프로세서가 상기 스케일 가중치 및 상기 추가 가중치를 원본 픽셀들에 적용하여, 상기 원본 영상으로부터 크기가 변경된 변환 영상을 획득할 때, 상기 변환 영상의 주변 영역에 포함된 변환 픽셀들의 픽셀값들 간의 제1 차이값은, 상기 추가 가중치가 아닌, 상기 스케일 가중치를 기초로 결정된 상기 주변 영역에 포함된 변환 픽셀들의 픽셀값들 간의 제2 차이값보다 크게 획득될 수 있다.
일 실시예에 따른 영상 처리 방법은, 원본 영상 중 객체 영역과 주변 영역을 구분하여 설정된 정보인 원본 영상에 대한 제 1 속성 관련 정보를 기초로, 원본 영상 내의 원본 픽셀들에 대한 스케일 가중치를 결정하는 단계; 상기 제 1 속성 관련 정보 및 인접 픽셀들의 픽셀값들 간의 변화량에 기초한 정보인 상기 원본 영상에 대한 제 2 속성 관련 정보를 기초로, 주변 영역 내의 원본 픽셀들에 대한 추가 가중치를 결정하는 단계; 및 상기 스케일 가중치 및 상기 추가 가중치를 상기 원본 영상 내의 원본 픽셀들에 적용하여, 상기 원본 영상으로부터 크기가 변경된 변환 영상을 획득하는 단계를 포함할 수 있다. 이때, 상기 변환 영상 내 변환 픽셀들 중 하나의 픽셀 변환에 대한 픽셀값을 산출하기 위해 이용되는 적어도 하나의 원본 픽셀에 대한 적어도 하나의 스케일 가중치의 합은 소정의 값일 수 있다.
상기 변환 영상을 획득하는 단계는,
상기 스케일 가중치 및 상기 추가 가중치를 반영한 가중치에 기초하여 상기 원본 픽셀들의 가중합을 산출하고,
상기 변환 영상의 변환 픽셀의 픽셀값은 상기 가중치에 기초하여 산출된 원본 픽셀들과의 가중합에 대응될 수 있다.
상기 스케일 가중치를 결정하는 단계는,
상기 원본 영상에 대한 제 1 속성 관련 정보에 상응하는 제 1 속성 기반 맵을 생성하는 단계; 및
상기 제 1 속성 기반 맵을 기초로, 상기 원본 픽셀들에 대한 스케일 가중치를 결정하는 단계를 포함하고,
상기 추가 가중치를 결정하는 단계는,
상기 원본 영상에 대한 제 2 속성 관련 정보에 상응하는 제 2 속성 기반 맵을 생성하는 단계; 및
상기 제 1 속성 기반 맵 및 상기 제 2 속성 기반 맵을 기초로 상기 주변 영역에 대한 추가 가중치를 포함하는 가이드 맵을 결정하는 단계를 포함할 수 있다.
상기 가이드 맵은, 중요도 맵의 인버스 맵과 텍스처 맵을 결합한 중요도 가이던스 맵(saliency guidance map)일 수 있다.
상기 중요도 맵에 기초하여 산출된 상기 스케일 가중치는 상기 변환 영상은 상기 원본 영상보다 크기가 큰 경우, 상기 객체 영역에 대해서는 소정의 제 1 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 1 값보다 큰 값으로 결정되고
상기 변환 영상은 상기 원본 영상보다 크기가 작은 경우, 상기 중요도 맵에 기초하여 상기 스케일 가중치는 상기 객체 영역에 대해서는 소정의 제 1 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 1 값보다 작은 값으로 결정될 수 있다.
엔트로피 기반으로 상기 제 1 속성 기반 맵의 밀집도가 산출되고, 상기 산출된 밀집도를 기초로 수직 방향 및 수평 방향의 변경 비율이 산출되고,
상기 수직 방향 및 상기 수평 방향의 변경 비율을 기초로, 상기 원본 영상의 크기가 변경된 변환 영상은 수직 방향으로 상기 원본 영상의 높이가 변경되면서, 수평 방향으로 상기 원본 영상의 너비가 변경될 수 있다.
상기 변환 영상을 획득하는 단계는,
상기 스케일 가중치 및 상기 추가 가중치를 원본 픽셀들에 적용하여 획득된, 상기 변환 영상의 주변 영역에 포함된 변환 픽셀들의 픽셀값들 간의 제1 차이값을
상기 추가 가중치가 아닌, 상기 스케일 가중치를 기초로 결정된 상기 주변 영역에 포함된 변환 픽셀들의 픽셀값들 간의 제2 차이값보다 크게 획득할 수 있다.
일 실시예에 따른 컴퓨터로 판독 가능한 기록매체는 상기 영상 처리 방법을 구현하기 위한 프로그램이 기록될 수 있다.
일 실시예에 따른 영상 처리 장치는, 영상에 포함되는 배경이나 객체를 왜곡시키지 않고 다양한 화면 비율을 가지는 영상들을 생성할 수 있다.
도 1은 일 실시예에 따른 영상 처리 장치(100)의 구성을 도시하는 도면이다.
도 2는 영상 처리 장치(100)에 의한 원본 영상의 처리 과정을 구체적으로 설명하기 위한 도면이다.
도 3은 영상 처리 장치(100)가 엔트로피 기반 중요도 밀집도를 고려하여 원본 영상을 양방향으로 스케일하는 과정을 구체적으로 설명하기 위한 도면이다.
도 4a는 본 개시의 일 실시예에 따라, 영상 처리 장치가 중요도 맵에 기초한 스케일 가중치를 이용하여 크기가 변경된 변환 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 4b는 본 개시의 일 실시예에 따른 영상 처리 장치가 리사이징을 수행하는 경우, 픽셀 그리드가 확장되는 과정을 설명하기 위한 도면이다.
도 4c는 본 개시의 일 실시예에 따른, 단방향(1-direction) 변환 및 양방향(bi-direction) 변환을 설명하기 위한 도면이다.
도 5a는 본 개시의 일 실시예에 따른 영상 처리 장치가 엔트로피 기반 중요도의 밀집도 분석을 통해 영상의 비율을 조정하는 과정을 설명하기 위한 도면이다.
도 5b-5c는 본 개시의 일 실시예에 따른 영상 처리 장치가 엔트로피 기반 중요도의 밀집도 분석을 통해 영상의 비율을 조정하는 구체적인 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따라, 영상 처리 장치가 중요도 가이던스 맵을 생성하여 주변 영역의 화질을 개선하면서, 선별적으로 화면 비율을 조정하는 과정을 설명하기 위한 도면이다.
도 7a는 본 개시의 일 실시예에 따라 영상 처리 장치가 텍스처 맵을 추출하는 과정을 설명하기 위한 도면이다.
도 7b는 본 개시의 일 실시예에 따라 영상 처리 장치가 텍스처 맵을 이용하여 중요도 가이던스 맵을 추출하는 과정을 설명하기 위한 도면이다.
도 8a는 본 개시의 일 실시예에 따른 수평 업스케일 케이스에서의 수도코드를 도시한다.
도 8b는 도 8a의 수평 업스케일 케이스에서의 수도코드에 따라 (추가 가중치 기초로) 생성된 변환 픽셀값과 추가 가중치 없이 생성된 변환 픽셀값의 차이를 설명하기 위한 도면이다.
도 9a는 본 개시의 일 실시예에 따른 수평 다운 스케일 케이스에서의 수도코드를 도시한다.
도 9b를 참조하면, 영상 처리 장치(100)는 도 9a의 수평 업스케일 케이스에서의 수도코드를 행마다 처리함으로써, 입력 영상으로부터 출력 영상(변환 영상)을 획득할 수 있다.
도 10은 본 개시의 일 실시예에 따라, 영상 처리 장치(100)가 원본 영상이 복수의 객체 영역을 포함하는 경우, 변환 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 영상 처리 장치의 영상 처리 방법의 흐름도이다.
도 2는 영상 처리 장치(100)에 의한 원본 영상의 처리 과정을 구체적으로 설명하기 위한 도면이다.
도 3은 영상 처리 장치(100)가 엔트로피 기반 중요도 밀집도를 고려하여 원본 영상을 양방향으로 스케일하는 과정을 구체적으로 설명하기 위한 도면이다.
도 4a는 본 개시의 일 실시예에 따라, 영상 처리 장치가 중요도 맵에 기초한 스케일 가중치를 이용하여 크기가 변경된 변환 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 4b는 본 개시의 일 실시예에 따른 영상 처리 장치가 리사이징을 수행하는 경우, 픽셀 그리드가 확장되는 과정을 설명하기 위한 도면이다.
도 4c는 본 개시의 일 실시예에 따른, 단방향(1-direction) 변환 및 양방향(bi-direction) 변환을 설명하기 위한 도면이다.
도 5a는 본 개시의 일 실시예에 따른 영상 처리 장치가 엔트로피 기반 중요도의 밀집도 분석을 통해 영상의 비율을 조정하는 과정을 설명하기 위한 도면이다.
도 5b-5c는 본 개시의 일 실시예에 따른 영상 처리 장치가 엔트로피 기반 중요도의 밀집도 분석을 통해 영상의 비율을 조정하는 구체적인 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따라, 영상 처리 장치가 중요도 가이던스 맵을 생성하여 주변 영역의 화질을 개선하면서, 선별적으로 화면 비율을 조정하는 과정을 설명하기 위한 도면이다.
도 7a는 본 개시의 일 실시예에 따라 영상 처리 장치가 텍스처 맵을 추출하는 과정을 설명하기 위한 도면이다.
도 7b는 본 개시의 일 실시예에 따라 영상 처리 장치가 텍스처 맵을 이용하여 중요도 가이던스 맵을 추출하는 과정을 설명하기 위한 도면이다.
도 8a는 본 개시의 일 실시예에 따른 수평 업스케일 케이스에서의 수도코드를 도시한다.
도 8b는 도 8a의 수평 업스케일 케이스에서의 수도코드에 따라 (추가 가중치 기초로) 생성된 변환 픽셀값과 추가 가중치 없이 생성된 변환 픽셀값의 차이를 설명하기 위한 도면이다.
도 9a는 본 개시의 일 실시예에 따른 수평 다운 스케일 케이스에서의 수도코드를 도시한다.
도 9b를 참조하면, 영상 처리 장치(100)는 도 9a의 수평 업스케일 케이스에서의 수도코드를 행마다 처리함으로써, 입력 영상으로부터 출력 영상(변환 영상)을 획득할 수 있다.
도 10은 본 개시의 일 실시예에 따라, 영상 처리 장치(100)가 원본 영상이 복수의 객체 영역을 포함하는 경우, 변환 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 영상 처리 장치의 영상 처리 방법의 흐름도이다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 실시예의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.
본 명세서에서, '중요도 맵(Saliency map)'은 영상의 객체 영역과 주변 영역을 구별하기 위한 중요도 값(Saliency value)을 포함하는 맵을 의미할 수 있다. 이때, 중요도 맵은 영상에서‘눈에 띄는 정도'를 픽셀별로 나타낼 수 있다. 이에 따라, 사용자가 영상을 볼 때, 주로 보는 영역 또는 관심을 두고 있는 영역은, 중요도 맵에서, 큰 픽셀 값을 가질 수 있다. 영상 처리 장치(100)는 중요도 맵에 기초하여, 스케일 펙터(스케일 가중치)를 결정할 수 있다. 영상 처리 장치(100)는 뉴럴 네트워크(neural network)를 이용하여, 중요도 맵을 생성할 수 있으나, 이에 제한되지 않는다. 예를 들어, 중요도 맵은 푸리에 변환을 이용하여 생성(스펙트럴 중요도 맵)될 수 있다.
본 명세서에서, '스케일 펙터(또는 스케일 가중치)'는 영상의 크기를 조절하기 위해 원본 영상의 원본 픽셀에 적용되는 가중치로, 이를 기초로 스케일된 영상(또는 변환 영상)의 픽셀 값이 결정될 수 있다. 스케일된 영상의 하나의 픽셀 값은 원본 영상의 적어도 하나의 원본 픽셀 값 및 적어도 하나의 원본 픽셀에 대한 가중치를 기초로 하는 가중합으로 결정되는데, 이때, 스케일된 영상의 하나의 픽셀 값을 산출하기 위해 이용되는 적어도 하나의 원본 픽셀에 대응하는 가중치의 총 합은 소정의 값(예를 들어, 1)이 되어야 한다.
예를 들어, 영상 처리 장치(100)는 x좌표가 동일한 픽셀 값들을 더한 값을 해당 x 좌표에 대응하는, 스케일 팩터로 결정할 수 있다. 또는, 영상 처리 장치(100)는 중요도 맵에서 x 좌표가 동일한 픽셀 값들의 평균값, 최대값, 최소값 등의 값을 해당 x 좌표에 대응하는, 스케일 팩터로 결정할 수 있다. 이에 따라, 스케일 팩터는, 픽셀의 x좌표를 입력 변수로 갖는 함수로 나타낼 수 있다. 다만, 이에 한정되는 것은 아니고, y좌표를 입력변수로 갖는 함수로도 나타낼 수 있다.
또한, 본 명세서에서 '뉴럴 네트워크(neural network)'은 뇌 신경을 모사한 인공지능 모델의 예시로서, 특정 알고리즘을 사용한 신경망 모델로 한정되지 않는다.
또한, 본 명세서에서 '파라미터'는 신경망을 이루는 각 레이어의 연산 과정에서 이용되는 값으로서 예를 들어, 입력 값을 소정 연산식에 적용할 때 이용되는 가중치를 포함할 수 있다. 파라미터는 매트릭스 형태로 표현될 수 있다. 파라미터는 훈련의 결과로 설정되는 값으로서, 필요에 따라 별도의 훈련 데이터(training data)를 통해 갱신될 수 있다.
본 명세서에서, '객체 영역'은 영상 내 관심 대상이 되는 객체를 포함하는 영역으로, 중요도 값(또는 뎁스 값)이 소정의 임계값보다 높은(또는 낮은) 영역을 의미할 수 있다. '주변 영역'은 영상 내 관심 대상이 아닌 영역, 예를 들어 배경과 같은 부분을 포함하는 영역으로, 중요도 값(또는 뎁스 값)이 소정의 임계값보다 낮은(또는 높은) 영역을 의미할 수 있다. 다만, 소정의 임계값에 기초하는 것에 제한되지 않고, 다양한 기법에 의해 '객체 영역'과 '주변 영역'이 구분될 수 있다.
본 명세서에서, '원본 영상'은 영상 처리 장치(100)에 입력되어 영상 처리의 대상이 되는 영상(입력 영상)을 의미할 수 있다
본 명세서에서, '변환 영상'은 영상 처리 장치(100)에 의해 원본 영상을 영상 처리하여 생성된 영상(출력 영상)을 의미하고, 원본 영상으로부터 크기가 변경된 영상을 의미할 수 있다. 원본 영상의 크기가 변경될 때, 객체 영역의 크기는 최대한 유지하되, 주변 영역의 크기가 변경될 수 있다. 주변 영역은 크기의 변경으로 인하여 왜곡 현상이 발생할 수 있다. 이때, 주변 영역에 대한 영상 처리를 통해 주변 영역의 화질이 개선될 수 있다. 구체적으로, 원본 영상으로부터 변하지 않는 속성 관련 정보를 기초(예를 들어, 에지 변화도에 기초한 텍스처 맵)로, 주변 영역의 텍스처 에지 등의 선명도를 높임으로써 화질이 개선될 수 있다.
또한, 본 명세서에서, '텍스처 맵'은 영상 내 텍스처 에지의 변화율을 나타내는 맵으로, 예를 들어, 원본 영상 내 픽셀의 다양한 방향에 대한 2차 미분에 기초하여 도출될 수 있다. '텍스처 맵'은 텍스처 에지의 선명도를 높이기 위하여 가중치로써 이용될 수 있다. 예를 들어, 픽셀값의 변화량(1차 변화량)의 변화량(즉, 2차 변화량)이 양의 값을 갖는 경우, 양의 추가 가중치를 픽셀값에 부가하고, 음의 값을 갖는 경우, 음의 추가 가중치를 픽셀값에 부가하여, 픽셀들 간의 차이값이 커지게 함으로써 텍스처 에지 등의 선명도를 높일 수 있다.
또한, 본 명세서에서, '영상'은 정지 영상 또는 동영상(또는 비디오) 그 자체일 수 있다. 예를 들어, '영상'은 동영상(또는 비디오)를 구성하는 정지 영상을 포함할 수 있다.
또한, 본 명세서에서, '샘플'은 원본 영상 또는 원본 영상 속성 관련 정보(맵)의 샘플링 위치에 할당된 데이터로서 프로세싱 대상이 되는 데이터를 의미한다. 예를 들어, 공간 영역의 프레임에서 픽셀, 변환 영역 상의 변환 계수들이 샘플들일 수 있다. 따라서, 공간 영역의 프레임에서 픽셀 값은 샘플 값일 수 있다. 이러한 적어도 하나의 샘플들을 포함하는 단위를 블록이라고 정의할 수 있다.
이하, 본 개시의 기술적 사상에 의한 실시예들을 차례로 상세히 설명한다.
도 1은 일 실시예에 따른 영상 처리 장치(100)의 구성을 도시하는 도면이다.
영상 처리 장치(100)는 메모리(110) 및 프로세서(130)를 포함한다. 영상 처리 장치(100)는 서버, TV, 카메라, 휴대폰, 태블릿 PC, 노트북 등 영상 처리가 가능한 기기로 구현될 수 있다.
도 1에는 메모리(110) 및 프로세서(130)가 개별적으로 도시되어 있으나, 메모리(110) 및 프로세서(130)는 하나의 하드웨어 모듈(예를 들어, 칩)을 통해 구현될 수 있다.
프로세서(130)는 신경망 기반의 영상 처리를 위한 전용 프로세서로 구현될 수 있다. 또는, 프로세서(130)는 AP(application processor), CPU(central processing unit) 또는 GPU(graphic processing unit)와 같은 범용 프로세서와 소프트웨어의 조합을 통해 구현될 수도 있다. 전용 프로세서의 경우, 본 개시의 실시예를 구현하기 위한 메모리를 포함하거나, 외부 메모리를 이용하기 위한 메모리 처리부를 포함할 수 있다
프로세서(130)는 복수의 프로세서로 구성될 수도 있다. 이 경우, 전용 프로세서들의 조합으로 구현될 수도 있고, AP, CPU 또는 GPU와 같은 다수의 범용 프로세서들과 소프트웨어의 조합을 통해 구현될 수도 있다.
메모리(110)는 영상 처리를 위한 하나 이상의 인스트럭션을 저장할 수 있다. 일 실시예에서, 메모리(110)는 중요도 맵의 생성에 이용되는 신경망을 저장할 수 있다. 신경망이 인공 지능을 위한 전용 하드웨어 칩 형태로 구현되거나, 기존의 범용 프로세서(예를 들어, CPU 또는 애플리케이션 프로세서) 또는 그래픽 전용 프로세서(예를 들어, GPU)의 일부로 구현되는 경우에는, 신경망이 메모리(110)에 저장되지 않을 수 있다. 신경망은 외부 장치(예를 들어, 서버)에 의해 구현될 수 있고, 이 경우, 영상 처리 장치(100)는 외부 장치에 중요도 맵의 생성을 요청하고, 외부 장치로부터 중요도 맵을 수신할 수 있다.
프로세서(130)는 메모리(110)에 저장된 인스트럭션에 따라 연속된 프레임들을 순차적으로 처리하여 연속된 복원 프레임들을 획득한다. 연속된 프레임은 동영상을 구성하는 프레임들을 의미할 수 있다. 그러나, 본 개시에서 연속된 프레임이 반드시 동영상을 구성할 필요는 없다. 다시 말하면, 서로 개별적으로 촬영된 정지 영상들이 미리 결정된 순서, 임의의 순서 또는 사용자가 설정한 순서에 따라 영상 처리 장치(100)에 의해 처리될 수 있다.
도 1에 도시된 것과 같이, 영상 처리 장치(100)는 원본 영상에 대한 영상 처리(구체적으로, 필터 처리)를 통해 영상의 크기가 변경된 변환 영상을 출력할 수 있다. 이때, 영상 내 주변 영역에 대한 화질 개선이 영상 크기 변경과 함께 이루어질 수 있다.
영상 처리 장치(100)는 객체 영역과 주변 영역을 포함하는 원본 영상에 대한 제 1 속성 관련 정보를 생성할 수 있다. 제 1 속성 관련 정보는 원본 영상의 객체 영역과 주변 영역 간에 구별되는 정보를 포함할 수 있다. 제 1 속성 관련 정보는 원본 영상에 대한 제 1 속성 관련 정보에 상응하는 제 1 속성 기반 맵을 포함할 수 있다. 예를 들어, 제 1 속성 기반 맵은 원본 영상에 대한 중요도 맵(Saliency Map) 또는 원본 영상에 대한 뎁스 맵(Depth Map)을 포함할 수 있다. 영상 처리 장치(100)는 원본 영상의 크기를 변경하기 위해, 제 1 속성 관련 정보를 기초로 원본 영상의 원본 픽셀들에 대한 (필터의) 스케일 가중치를 결정할 수 있다. 이때, 변경될 영상의 크기가 먼저 결정되고, 변경될 영상의 크기 및 제 1 속성 관련 정보를 기초로, 원본 픽셀들에 대한 스케일 가중치가 결정될 수 있다.
영상 처리 장치(100)는 원본 영상에 대한 제 1 속성 관련 정보 및 제 2 속성 관련 정보를 기초로 주변 영역의 화질을 개선하기 위한 주변 영역의 원본 영상 내의 원본 픽셀들에 대한 추가 가중치를 결정할 수 있다.
예를 들어, 영상 처리 장치(100)는 원본 영상에 대한 제 2 속성 관련 정보에 상응하는 제 2 속성 기반 맵을 생성할 수 있다. 여기서 원본 영상에 대한 제 2 속성 기반 맵은 인접 픽셀들의 픽셀값들 간의 변화량에 기초한 정보일 수 있다. 제 2 속성 기반 맵은 텍스처 맵을 포함할 수 있다. 텍스처 맵은 원본 영상의 픽셀들 값들의 차이값(1차 변화율)에 대한 변화율(2차 변화율)에 기초한 맵일 수 있다. 영상 처리 장치(100)는 제 1 속성 기반 맵과 제 2 속성 맵을 기초로 가이드 맵을 생성할 수 있다. 이때, 가이드 맵은 추가 가중치를 포함할 수 있다.
예를 들어, 가이드 맵은 중요도 맵과 텍스처 맵에 기초하여 생성된 맵일 수 있다. 구체적으로, 가이드 맵은 중요도 맵의 인버스 맵과 텍스처 맵을 결합한 중요도 가이던스 맵(saliency guidance map)일 수 있다. 중요도 가이던스 맵에 포함된 추가 가중치는 객체 영역에서 0이거나 0에 가까울 수 있고(0 근처 소정의 범위 내일 수 있고), 주변 영역에서 -1부터 1 사이의 값(0이 아니거나, 0에 가까운 값(0 근처 소정의 범위 내의 값)이 아닌 값)을 가질 수 있다. 텍스처 맵 및 중요도 가이던스 맵의 생성과 관련하여, 도 7a 내지 7b를 참조하여 후술하겠다.
영상 처리 장치(100)는 스케일 가중치 및 추가 가중치를 원본 영상의 원본 픽셀들에 적용하여 원본 영상으로부터 크기가 변경된 변환 영상을 획득할 수 있다. 스케일 가중치 및 추가 가중치를 원본 영상의 원본 픽셀들에 적용하는 것은 원본 영상에 필터를 이용하여 필터 처리를 수행하는 것에 대응될 수 있다. 이때, 필터는 스케일 가중치 및 추가 가중치를 포함할 수 있다.
이때, 변환 영상 내의 변환 픽셀들 중 하나의 변환 픽셀의 픽셀값을 산출하기 위해 이용되는 적어도 하나의 원본 픽셀에 대한 적어도 하나의 스케일 가중치의 합은 소정의 값(예를 들어, 1)일 수 있다. 이때, 원본 픽셀과 이에 대응하는 스케일 가중치는 1:1 대응관계를 가질 수 있다. 따라서, 복수개의 원본 픽셀의 각각에 대응하는 스케일 가중치 각각이 결정될 수 있다.
영상 처리 장치(100)는 스케일 가중치 및 추가 가중치를 원본 영상의 픽셀들에 적용할 때, 스케일 가중치 및 추가 가중치에 기초하여 원본 영상에 포함된 픽셀들의 가중합을 산출할 수 있다. 이때, 변환 영상의 변환 픽셀들의 픽셀값은 원본 영상에 포함된 픽셀들과의 가중합에 대응될 수 있다. 구체적으로, 영상 처리 장치(100)가 필터를 원본 영상의 픽셀들에 적용하는 과정에 대하여 도 8a 내지 9b를 참조하여 후술하겠다.
영상 처리 장치(100)는 스케일 가중치 및 추가 가중치를 원본 픽셀들에 적용하여, 원본 영상으로부터 크기가 변경된 변환 영상을 획득할 때, 변환 영상의 변환 픽셀들의 픽셀값들 간의 제 1 차이값을, 필터의 추가 가중치가 아닌 필터의 스케일 가중치를 기초로(즉, 스케일 가중치만을 기초로) 결정된 주변 영역에 포함된 변환 픽셀들의 픽셀값들 간의 제 2 차이값보다 크게 획득할 수 있다. 즉, 주변 영역의 텍스처 에지와 같은 부분을 선명하게 함으로써, 주변 영역의 화질 개선이 이루어질 수 있다. 제 1 차이값이 제 2 차이값보다 크게 획득되는 것과 관련하여, 도 8b 또는 도 9b를 참조하여 후술하겠다.
영상 처리 장치(100)는 중요도 맵에 기초하여, 객체 영역에 대해서는 스케일 가중치를 소정 값의 제 1 가중치로 결정하고, 주변 영역에 대한 스케일 가중치의 값은 제 1 가중치의 값보다 큰 값으로 결정할 수 있다. 이때 소정의 제 1 가중치의 값은 1일 수 있으나, 이에 제한되지 않는다. 이 경우, 상기 스케일 가중치에 기초하여 획득된 변환 영상은 원본 영상보다 크기가 큰 영상일 수 있다.
한편, 영상 처리 장치(100)는 제 1 속성 기반 맵에 기초하여, 객체 영역에 대해서는 스케일 가중치를 소정 값의 제 1 가중치로 결정하고, 주변 영역에 대해서는 소정 값의 제 1 가중치보다 작은 값으로 결정할 수 있다. 이때 소정 값은 1일 수 있으나, 이에 제한되지 않는다. 이 경우, 상기 스케일 가중치에 기초하여 획득된 변환 영상은 원본 영상보다 크기가 작은 영상일 수 있다.
원본 영상의 객체 영역 및 주변 영역을 고려하여, 원본 영상의 크기가 변경된 변환 영상은 수직 방향으로 원본 영상의 높이가 변경되면서, 수평 방향으로 원본 영상의 너비가 변경될 수 있다. 즉, 원본 영상의 객체 영역 및 주변 영역을 고려하여, 원본 영상의 크기가 수직 방향 및 수평 방향의 양방향으로 크기가 변경될 수 있다. 이때, 수직 방향으로의 변경 비율과 수직 방향으로의 변경 비율은 원본 영상의 객체 영역 및 주변 영역을 고려하여 결정될 수 있다.
구체적으로, 영상 처리 장치(100)는 엔트로피 기반으로, 제 1 속성기반 맵의 밀집도를 산출하고, 밀집도를 기초로 수직 방향 및 수평 방향의 변경 비율을 산출할 수 있다. 수직 방향 및 수평 방향의 변경 비율을 기초로, 변경될 원본 영상의 높이 및 너비가 산출되고, 변경될 원본 영상의 높이 및 너비를 기초로, 스케일 가중치가 결정될 수 있다. 이때, 스케일 가중치는 중요도 맵(또는 뎁스 맵)에 기초하여 결정될 수 있다. 엔트로피 기반으로 양방향으로 원본 영상의 크기를 변경하는 내용과 관련하여, 도 5a 내지 5c를 참조하여 후술하겠다.
도 1에는 도시되어 있지는 않지만, 영상 처리 장치(100)는 디스플레이를 더 포함하거나, 별도의 디스플레이 장치와 연결될 수 있다. 영상 처리 장치(100)에 의해 생성된 영상은 디스플레이 또는 디스플레이 장치에서 재생될 수 있다. 필요한 경우, 영상 처리 장치(100)에 의해 생성된 영상은 후처리된 후 디스플레이 또는 디스플레이 장치에서 재생될 수도 있다.
구현예에 따라, 영상 처리 장치(100)는 변환(transformation)을 이용한 영상 압축 방법을 통해 영상을 부호화할 수 있다. 주파수 변환을 이용한 영상 압축 방법은 복원 프레임을 예측하여 예측 데이터를 생성하는 과정, 복원 프레임과 예측 데이터 사이의 차이에 해당하는 잔차 데이터를 생성하는 과정, 공간 영역(spatial domain) 성분인 잔차 데이터를 변환 영역(transformation domain) 성분으로 변환하는 과정, 변환 영역 성분으로 변환된 잔차 데이터를 양자화(quantization)하는 과정 및 양자화된 잔차 데이터를 엔트로피 부호화하는 과정 등을 포함할 수 있다. 이와 같은 영상 압축 방법은 MPEG-2, H.264 AVC(Advanced Video Coding), MPEG-4, HEVC(High Efficiency Video Coding), VC-1, VP8, VP9 및 AV1(AOMedia Video 1) 등 변환을 이용한 영상 압축 방법들 중 하나를 통해 구현될 수 있다.
복원 영상의 부호화를 통해 생성된 부호화 데이터는 네트워크를 통해 외부 기기로 전달되거나, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium) 등의 데이터 저장 매체에 저장될 수 있다.
이하에서는, 도 2를 참조하여, 영상 처리 장치(100)에 의한 원본 영상의 처리 과정을 구체적으로 설명한다.
영상 처리 장치(100)는 원본 영상(200)을 입력으로 하여, 중요도 맵(210)을 생성(215)할 수 있다. 중요도 맵(210)은 주변 영역(220)과 객체 영역(225)이 구별되는 맵으로, 영상 처리 장치(100)는 중요도 맵(210)을 기초로 각 영역에 대한 스케일 가중치를 적응적으로 결정(230)할 수 있다. 주변 영역(220)에 대한 스케일 가중치를 기초로 주변 영역(220)의 스케일이 이루어질 수 있다. 한편, 객체 영역(225)에 대한 스케일 가중치는 1로 설정될 수 있고, 따라서, 객체 영역(225)에 대한 스케일은 이루어지지 않을 수 있으나, 이에 제한되지 않고, 객체 영역(225)에 대한 가중치는 중요도 맵(210)을 기초로 1이 아닌 다른 값으로 결정될 수 있다.
영상 처리 장치(100)는 적응적으로 스케일 가중치를 결정함으로써 발생되는 주변 영역(220)의 왜곡 현상을 최소화하기 위해 원본 영상의 속성 관련 맵을 생성(240)하고, 원본 영상의 속성 관련 맵과 중요도 맵을 기초로 중요도 가이던스 맵을 생성(250)할 수 있다. 이때, 중요도 가이던스 맵은 원본 영상(200)의 속성을 기초로 주변 영역(220)에 대한 추가 가중치를 갖고, 객체 영역(225)에 대한 추가 가중치는 갖지 않을 수 있다. 따라서, 주변 영역(220)에 대한 추가 가중치를 기초로 주변 영역(220)에 대한 화질 개선이 이루어질 수 있다. 예를 들어, 원본 영상의 속성 관련 맵은 텍스처 맵일 수 있으나, 이에 제한되지 않는다.
영상 처리 장치(100)는 스케일 가중치 S(m,n) 및 주변 영역(220)에 대한 추가 가중치 g(m,n)를 포함하는 필터를 원본 영상(200)에 적용(260)하여, 주변 영역(220)의 스케일 및 화질 개선이 이루어질 수 있다. 즉, 변환 영상(270)은 원본 영상(200)으로부터 크기가 변경된 영상일 수 있고, 전술한 바와 같이, 주변 영역(220)에 대한 추가 가중치로 인하여, 주변 영역(220)에 대한 화질 개선이 이루어질 수 있다.
한편, 주변 영역(220)에 대하여 스케일 및 화질 개선이 수행되는지에 대한 내용만을 상술하였으나, 이에 제한되지 않고, 주변 영역(220)의 필터 처리와 유사하게, 객체 영역(225)에 대한 필터 처리가 수행될 수 있다. 이때, 주변 영역(220)에 비하여 객체 영역(225)의 스케일 가중치 및 추가 가중치는 작게 결정될 수 있다.
예를 들어, 보정 계수(0~1 사이의 값)를 추가 가중치에 곱하여 보정된 추가 가중치가 결정될 수 있다. 보정 계수는 스케일 가중치에 기초하여 결정될 수 있다.
이하에서는, 도 3을 참조하여, 영상 처리 장치(100)가 엔트로피 기반 중요도 밀집도를 고려하여 원본 영상을 양방향으로 스케일하는 과정을 구체적으로 설명한다.
영상 처리 장치(100)는 주변 영역 및 객체 영역이 구별된 중요도 맵을 생성(310)할 수 있다. 영상 처리 장치(100)는 중요도 맵 A(m,n)의 중요도 값을 기초로, 엔트로피 기반 중요도 밀집도를 산출(320)할 수 있다. 이때, 수평 방향 및 수직 방향으로 엔트로피 기반 중요도 밀집도 H(x) 및 H(y)가 산출될 수 있다.
영상 처리 장치(100)는 엔트로피 기반 중요도 밀집도 H(x) 및 H(y)를 기초로 수평방향 및 수직 방향의 변경 비율 R(x) 및 R(y)를 산출(330)할 수 있다. 즉, 중요도 밀집도 H(x) 및 H(y)를 기초로 어느 방향으로 중요한 객체 영역 대비 주변 영역을 많이 포함하고 있는지를 식별하고, 수평 방향으로의 스케일이 자유로운지, 수직방향의 스케일이 자유로운지를 식별하고, 보다 자유로운 방향의 변경 비율을 높게 산출할 수 있다. 여기서 스케일이 자유롭다함은 스케일 가능한 스케일 영역의 범위가 큼을 의미한다. 따라서, 보다 자유로운 방향으로 스케일하는 경우, 스케일 가능한 스케일 영역의 범위가 넓으므로, 변경 비율이 보다 크게 결정될 수 있다.
영상 처리 장치(100)는 변경 비율을 기초로 변경 높이 및 변경 너비를 산출(340)할 수 있고, 중요도 맵과 변경 높이 및 변경 너비를 기반으로, 스케일 가중치를 결정할 수 있고, 스케일 가중치를 기초로 원본 영상으로부터 크기가 변경된 변환 영상(350)을 획득할 수 있다. 이때, 양방향으로 스케일이 수행되기 때문에, 단방향으로 스케일이 수행될 때보다 다양한 방향으로 조정하되, 중요도 맵을 기반으로 각 방향의 변경 비율을 결정함으로써, 객체 영역의 왜곡을 최소화할 수 있다.
영상 처리 장치(100)가 엔트로피 기반 중요도 밀집도를 고려하여 원본 영상을 양방향으로 스케일하는 보다 구체적인 과정은 도 5a 내지 5c를 참조하여 후술하기로 한다.
도 4a는 본 개시의 일 실시예에 따라, 영상 처리 장치가 중요도 맵에 기초한 스케일 가중치를 이용하여 크기가 변경된 변환 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 4a를 참조하면, 영상 처리 장치(100)는 원본 영상(410)을 입력으로 하여 선별적인 리사이징(Resizing)을 통해 화면 비율(aspect ratio)을 조정하고, 변환 영상(440)을 출력할 수 있다. 이때, 중요도 맵(420)을 기반으로 스케일 가중치(430)가 생성될 수 있다. 중요도 맵(420)은 객체 영역과 주변 영역이 구분되어 설정되어 있고, 따라서, 중요도 맵(420)을 기초로 생성된 스케일 가중치(430)도 객체 영역(450) 및 주변 영역(460)이 구분되어 설정될 수 있다. 다만, 이에 제한되지 않고, 중요도 맵(420)에서 객체 영역과 주변 영역이 명확하게 구분되어 설정되지 않고, 중요도 값이 연속적인 값을 가질 수 있으나, 다양한 기법에 의하여, 영상 처리 장치(100)는 중요도 맵(420)을 기초로 객체 영역과 주변 영역을 구분할 수 있다. 이는 스케일 가중치(430)나 중요도 맵을 대체할 수 있는 뎁스 맵 등에서도 마찬가지이다.
이때, 객체 영역(450)에 대한 스케일 가중치(430)는 1 또는 1을 포함하는 소정의 범위 내 값일 수 있고, 따라서, 객체 영역(450)에 대한 스케일은 수행되지 않거나, 거의 수행되지 않고, 객체 영역(450)은 변환 영상(440)에서도 보존될 수 있다. 한편, 주변 영역(460)에 대한 스케일 가중치(430)는 1보다 큰 값이거나, 1을 포함하는 소정의 범위를 벗어난 값일 수 있다. 또는 주변 픽셀의 중요도 값의 변화도 또는 스케일 가중치(430)의 변화도(또는 예를 들어, 변화도의 절대값)가 소정의 값보다 크거나 같은지 여부에 기초하여 객체 영역(450)과 주변 영역(460)이 구분되어 설정될 수 있다. 이때, 변화도는 1차 변화도에 제한되지 않고, 2차 변화도일 수 있고, 이때, 객체 영역(450) 및 주변 영역(4650)의 경계에서의 스케일 가중치(430)는 1보다 큰 값일 수 있다. 이에 제한되지 않고, 스케일 가중치(430)는 객체 영역(450)에 대하여 소정의 값(예를 들어, 1)을 갖도록 리파인(refine)될 수 있다.
주변 영역(460)에 대한 업스케일이 수행되고, 주변 영역(460)의 크기는 변경될 수 있다. 즉, 영상 처리 장치(100)는 중요도 맵을 기초로 선별적인 리사이징을 통해 화면 비율을 조정함으로써, 사용자가 주목하는 부분(객체 영역)을 보존하되, 주목하지 않는 나머지 부분(주변 영역)에 대한 리사이징을 통해 주변 영역에 왜곡이 발생하더라도, 사용자가 왜곡에 따른 화질 열화를 크게 느끼지 않을 수 있다.
도 4a를 참조하여, 영상 처리 장치(100)가 중요도 맵(420)을 이용하여 선별적인 리사이징을 수행하는 것을 설명하였으나, 이에 제한되지 않고, 객체 영역(450) 및 주변 영역(460)이 구분되어 설정된 다양한 속성 맵 정보가 이용될 수 있다. 예를 들어, 원본 영상(410)에 대한 뎁스 맵(Depth map)이 이용될 수 있다.
또한, 도 4a를 참조하여, 설명의 편의상 영상 처리 장치(100)가 수평 방향으로 업스케일하는 내용을 설명하였으나, 이에 제한되지 않고, 수직 방향으로 업스케일을 수행할 수 있다. 또한, 영상 처리 장치(100)가 업스케일을 수행하는 내용을 설명하였으나, 이에 제한되지 않고, 다운스케일을 수행할 수 있다. 이때, 주변 영역(460)의 가중치는 1보다 작을 수 있다.
도 4b는 본 개시의 일 실시예에 따른 영상 처리 장치가 리사이징을 수행하는 경우, 픽셀 그리드가 확장되는 과정을 설명하기 위한 도면이다.
도 4b를 참조하면, 영상 처리 장치(100)는 중요도 맵을 이용하여 선별적인 리사이징을 수행하는 경우, 원본 영상(410)의 객체 영역(450)의 원본 영상 픽셀 그리드를 확장하지 않을 수 있다. 즉, 원본 픽셀과 변환 픽셀의 좌표가 1:1 맵핑됨으로써, 객체 영역(450)이 보존될 수 있다.
한편, 영상 처리 장치(100)는 원본 영상(410)의 주변 영역(460)의 원본 영상 픽셀 그리드를 확장할 수 있다. 즉, 원본 픽셀과 변환 픽셀의 좌표가 1 대 다 맵핑됨으로써, 주변 영역(460)이 보존되지 않고 커질 수 있다. 1 대 다 맵핑될 때, 변환 영상(440) 내 하나의 변환 픽셀의 픽셀값은 적어도 하나의 원본 픽셀의 픽셀값의 가중합으로 표현될 수 있다. 이때, 가중치는 스케일 가중치(430) 및 추가 가중치일 수 있다.
도 4b를 참조하여, 영상 처리 장치(100)가 업스케일을 수행하는 내용을 설명하였으나, 이에 제한되지 않고, 다운스케일을 수행할 수 있다. 이때, 주변 영역(460)의 가중치는 1보다 작을 수 있고, 따라서, 픽셀 그리드가 축소되고, 원본 픽셀과 변환 픽셀의 좌표가 다 대 1 맵핑됨으로써, 주변 영역(460)이 보존되지 않고, 작아질 수 있다.
다 대 1 맵핑될 때, 하나의 변환 픽셀의 픽셀값은 복수의 원본 픽셀들의 픽셀값들의 가중합으로 표현될 수 있다.
도 4c는 본 개시의 일 실시예에 따른, 단방향(1-direction) 변환 및 양방향(bi-direction) 변환을 설명하기 위한 도면이다.
영상 처리 장치(100)는 중요도 맵을 이용하여 수평 방향 또는 수직 방향으로 단방향 변환을 수행할 수 있다. 예를 들어, 도 4c를 참조하면, 영상의 비율을 소정의 비율로 조정하기 위해, 영상 처리 장치(100)는 중요도 맵을 이용하여 원본 영상(410)을 가로로 확장함으로써 원본 영상(410)보다 너비가 커진 제 1 변환 영상(470)을 획득할 수 있다. 단방향 변환이 수행되는 경우, 한쪽 방향으로만의 변환 제한으로 인하여, 영상에서 왜곡이 크게 발생할 수 있다.
따라서, 영상 처리 장치(100)는 단방향 변환에 제한되지 않고, 양방향 변환을 수행할 수 있다. 즉, 영상의 비율을 소정의 비율로 조정하기 위해, 영상 처리 장치(100)는 중요도 맵을 이용하여 원본 영상(410)을 가로로 확장할 뿐 아니라, 세로로 축소함으로써, 원본 영상(410)보다 너비가 커지고, 높이가 작아진 제 2 변환 영상(480)을 획득할 수 있다. 양방향 변환이 수행되는 경우, 단방향 변환에 비해 변환 방향의 제한이 적기 때문에 영상에서 왜곡이 작게 발생할 수 있다.
도 5a는 본 개시의 일 실시예에 따른 영상 처리 장치가 엔트로피 기반 중요도의 밀집도 분석을 통해 영상의 비율을 조정하는 과정을 설명하기 위한 도면이다.
영상 처리 장치(100)는 원본 영상(500)을 기초로 원본 영상(500)에 대한 중요도 A(x,y)를 결정할 수 있다. 이때, 영상 처리 장치(100)는 중요도 A(x,y)를 기초로 수평 방향의 중요도 A(x) 및 수직 방향의 중요도 A(y)를 결정할 수 있다. 예를 들어, A(m)는 A(m,y)(y는 '0'부터 '영상의 높이 - 1' 사이의 값)의 값의 평균값일 수 있으나, 이에 제한되지 않고, 다양한 값일 수 있다.
영상 처리 장치(100)는 다음 수학식에 따라 수평 방향의 중요도 A(x) 및 A(y)를 기초로, 수평 방향의 조정 비율 Rhor 및 수직 방향의 조정 비율 Rver을 결정할 수 있다.
[수학식]
이때, H()는 시그널 엔트로피를 의미할 수 있다. 엔트로피 값 H는 값의 분포가 넓게 분포할수록 높은 값이 도출될 수 있고, 분포가 좁게 분포할수록 낮은 값이 도출될 수 있다. 예를 들어, H(A(x))는 중요도 A(xi)가 넓게 분포되어 있을수록 높은 값이 도출될 수 있고, 좁게 분포할수록 낮은 값이 도출될 수 있다.
예를 들어, 도 5a를 참조하면, A(x)의 분포는 좁게 분포되어 있고, A(y)의 분포는 넓게 분포되어 있을 수 있고, 이 경우, 수직 방향으로의 자유도는 작고, 수평방향의 자유도는 높을 수 있다. 영상 처리 장치(100)는 자유도가 높은 방향으로 조정 비율을 높게 설정할 수 있다.
따라서, 영상 처리 장치(100)는 최소한의 영상의 왜곡 발생을 위해, 엔트로피 기반 중요도의 밀집도 분석을 통해 양방향으로 영상의 비율을 조정(변환)할 수 있다.
도 5b-5c는 본 개시의 일 실시예에 따른 영상 처리 장치가 엔트로피 기반 중요도의 밀집도 분석을 통해 영상의 비율을 조정하는 구체적인 과정을 설명하기 위한 도면이다.
도 5b를 참조하면, 영상 처리 장치(100)는 원본 영상(500)을 기초로, 중요도 A(x,y)를 획득할 수 있다. 이때, 도 5c를 참조하면, 원본 영상(500)의 해상도는 2520x1080이고, 비율은 21:9일 수 있다. 영상 처리 장치(100)는 영상의 비율을 16:9로 조정하기 위해, 중요도 A(x,y)를 기초로 A(x) 및 A(y)를 결정하고, A(x) 및 A(y)를 기초로, H(A(x)) 및 H(A(y))를 결정할 수 있다. 영상 처리 장치(100)는 H(A(x)) 및 H(A(y))를 기초로 수평 방향의 조정 비율 Rhor 및 수직 방향의 조정 비율 Rver을 결정할 수 있다. 예를 들어, Rhor=0.648 및 Rver= 0.352일 수 있다.
영상 처리 장치(100)는 Rhor 및 Rver를 기초로 양방향으로 영상의 비율을 조정할 수 있다.
도 5c를 참조하면, 만약, 가로방향만 조정되는 경우, 영상의 비율을 16:9로 조정하기 위해, 가로방향으로 600 픽셀만큼 영상의 크기가 축소되어 제 1 변환 영상(510)이 생성될 수 있다.
영상 처리 장치(100)는 단방향만 조정하는 경우에 감소되는 픽셀의 개수를 기초로 Rhor 및 Rver 중 큰 값을 이용하여 한쪽 방향의 조정 픽셀의 개수를 결정할 수 있다. 예를 들어, 도 5c를 참조하면, 영상 처리 장치(100)는 가로방향으로 600 픽셀* Rhor = 377 픽셀만큼 영상의 크기를 축소(2132 픽셀)할 수 있다.
영상 처리 장치(100)는 영상의 비율을 맞추기 위해, 나머지 방향의 조정 픽셀의 개수를 결정할 수 있다. 예를 들어, 도 5c를 참조하면, 영상 처리 장치(100)는 영상의 비율을 16:9로 조정하기 위해, 세로방향으로 119픽셀만큼 영상의 크기를 확장(1199 pixel)할 수 있다. 따라서, 영상 처리 장치(1100)는 영상의 비율이 16:9이고, 영상의 해상도가 2132x1199인 제 2 변환 영상(520)을 생성하여 출력할 수 있다.
도 6은 본 개시의 일 실시예에 따라, 영상 처리 장치가 중요도 가이던스 맵을 생성하여 주변 영역의 화질을 개선하면서, 선별적으로 화면 비율을 조정하는 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 영상 처리 장치(100)는 원본 영상(600)을 기초로 중요도 맵(610)을 생성할 수 있다.
또한, 영상 처리 장치(100)는 원본 영상(600)을 기초로 텍스처 맵(620)을 생성할 수 있다. 텍스처 맵(620)은 다양한 방향의 텍스처 에지 등의 변화도에 관한 값을 포함하고 있고, 텍스처 맵(620)을 통해 영상의 선명도를 높일 수 있는 추가 가중치가 결정될 수 있다.
영상 처리 장치(100)는 중요도 맵(610)을 기초로 중요도 맵의 인버스 맵(615) (Inverse map)을 생성할 수 있다. 인버스 맵을 생성하는 이유는 바로 아래에서 설명한다.
중요도 맵에서 객체 영역의 중요도 값이 크고, 주변 영역의 중요도 값이 작아, 이를 텍스처 맵(620)과 결합(예를 들어, 곱셈 연산)하여 중요도 가이던스 맵(630)을 생성하는 경우, 객체 영역에서의 값이 크고, 주변 영역의 값이 작게 된다. 그 값을 추가 가중치로 이용하게 되면, 객체 영역에서의 선명도 개선으로 인하여, 오버-샤프닝(over-sharpening) 현상이 발생할 수 있기 때문이다. 이 현상으로 인하여, 객체 영역에 왜곡이 발생할 수 있다. 즉, 객체 영역은 도 4a를 참조하여 설명한 선별적인 변환에 의하여 업스케일 또는 다운스케일되지 않고, 보존되는 영역이기 때문에, 변환에 의하더라도, 화질 열화가 거의 없는 상태이고, 그러한 상태에서 선명도를 개선함으로써 오버-샤프닝 현상이 발생할 수 있다.
그리고, 주변 영역의 값이 작기 때문에, 그 값을 추가 가중치로 이용하게 되면, 선명도 개선이 객체 영역보다 상대적으로 적게 될 수 있다. 따라서, 도 4a를 참조하여 설명한 선별적인 변환에 의하여 업스케일되거나 다운스케일된 주변 영역에는 왜곡이 발생하나, 이에 대한 화질 개선이 적게 되기 때문에 영상 처리 장치(100)는 중요도 맵의 인버스 맵을 생성할 수 있다.
영상 처리 장치(100)는 인버스 맵(615)과 텍스처 맵(620)을 결합하여 중요도 가이던스 맵(630)을 생성할 수 있다. 예를 들어, 영상 처리 장치(100)는 인버스 맵(615)의 픽셀 값과 텍스처 맵(620)의 픽셀 값을 곱하여 중요도 가이던스 맵(630)의 픽셀 값을 생성할 수 있다. 하지만, 이에 제한되지 않고, 다양한 방법으로, 인버스 맵(615)과 텍스처 맵(620)을 기초로 중요도 가이던스 맵(630)이 생성될 수 있다. 중요도 가이던스 맵(630)은 화질 개선을 위한 추가 가중치를 포함할 수 있다.
한편, 영상 처리 장치(100)는 중요도 맵(610)을 이용하여 스케일 가중치 맵(640)을 생성할 수 있다. 영상 처리 장치(100)는 스케일 가중치 맵(640)의 스케일 가중치와 중요도 가이던스 맵(630)의 추가 가중치를 기초로 변환 영상(650)을 출력할 수 있다.
도 7a는 본 개시의 일 실시예에 따라 영상 처리 장치가 텍스처 맵을 추출하는 과정을 설명하기 위한 도면이다.
영상 처리 장치(100)는 원본 영상(700)에 필터 커널(710)을 적용하여 다양한 방향의 에지 등의 변화도를 결정할 수 있다. 이때, 필터 커널(710)의 적용은 원본 영상의 행렬과 필터 커널의 행렬의 컨볼루션 연산에 대응될 수 있다.
이때, 필터 커널은 다양한 방향의 2차 도함수(미분) 커널로, 그 모양은 도 7a에 도시된 바와 같을 수 있으나, 그 계수는 달라질 수 있다. 특히, 필터의 커널의 크기는 연산량을 고려하여 도 7a에 도시된 바와 같이, 3x3 또는 5x5일 수 있으나, 이에 제한되지 않고, 다양한 크기를 가질 수 있다. 예를 들어, 커널은 라플라시안 커널이나 다른 심플한 2차 도함수 커널이 이용될 수 있다. 2차 도함수 커널의 전체 계수의 합은 0일 수 있다.
구체적으로, 영상 처리 장치(100)는 필터 커널을 기초로 각 방향의 (2차) 미분 값을 획득할 수 있다. 예를 들어, 영상 처리 장치(100)는 다음 수학식을 기초로 네 가지 방향의 2차 미분 값을 획득할 수 있다.
[수학식 ]
여기서, (m,n)이 공간 도메인 좌표이고, I는 원본 영상의 그레이 스케일 영상일 수 있다. 
, 
는 수평 및 수직 방향의 미분값일 수 있고, 
, 
는 -45도 및 45도 방향의 미분값일 수 있다. 한편, 미분값은 -1에서 1 사이의 범위에 있지 않기 때문에, 각 방향의 에지 가이던스 맵은 다음 수학식과 같이 시그모이드 함수S()를 기초로 획득될 수 있다.
[수학식 ]
또한, 영상 처리 장치(100)는 다음의 수학식을 기초로 텍스처 맵 E(m,n)(720)을 생성할 수 있다.
[수학식 ]
이때, 텍스처 맵 E(m,n)의 픽셀 값은 -1에서 1사이의 값일 수 있다. 해당 값은 각 방향의 에지의 변화도에 기초한 값으로, 특히, 텍스처 에지 등의 처음과 끝 부분의 변화도에 기초한 값이기 때문에, 에지 부근에서 픽셀값에 변화에 따른 추가 가중치를 크게 부여함으로써, 텍스처 에지 등의 선명도를 개선할 수 있다.
도 7b는 본 개시의 일 실시예에 따라 영상 처리 장치가 텍스처 맵을 이용하여 중요도 가이던스 맵을 추출하는 과정을 설명하기 위한 도면이다.
도 7b를 참조하면, 영상 처리 장치(100)는 원본 영상(700)을 이용하여 중요도 맵 A(m,n)을 획득할 수 있다. 영상 처리 장치(100)는 중요도 맵 A(m,n)을 기초로 인버스 맵 1-A(m,n)을 획득할 수 있다. 영상 처리 장치(100)는 인버스 맵 1-A(m,n) 및 텍스처 맵 E(m,n)을 결합하여, 중요도 가이던스 맵 g(m,n)을 획득할 수 있다. 예를 들어, 영상 처리 장치(100)는 수학식: g(m,n) = (1 - A(m,n))E(m,n)에 기초하여 중요도 가이던스 맵 g(m,n)을 획득할 수 있다.
영상 처리 장치(100)는 주변 영역(730)의 왜곡에 의하여 변환 영상(740)에 발생한 화질 열화를 개선하기 위해, 중요도 가이던스 맵 g(m,n)을 추가 가중치로 이용할 수 있다. 변환 영상(740)에 중요도 가이던스 맵을 적용하여 주변 영역(730)의 화질을 개선할 수 있으나, 이에 제한되지 않고, 원본 영상(700)으로부터 스케일 가중치에 의한 스케일시에 중요도 가이던스 맵 g(m,n)의 값을 추가 가중치를 적용하여 스케일과 함께 주변 영역(730)의 화질을 개선할 수 있다.
도 8a는 본 개시의 일 실시예에 따른 수평 업스케일 케이스에서의 수도코드를 도시한다.
도 8a를 참조하면, 영상 처리 장치(100)는 변수 i(열 번호)가 1부터 타겟 영상 너비 Wout이 될 때까지 for 문 내의 동작을 수행할 수 있다. 영상 처리 장치(100)는 n번째 행, j번째 열에 위치하는 픽셀의 x좌표 mj에서의 스케일 가중치 S(mj)가 1보다 큰 경우, 타겟 영상(변환 영상) 내 타겟 픽셀(변환 픽셀)의 픽셀값 T(mi,n)을 (1 + g(mj,n))* I(mj,n)으로 결정하고, 스케일 가중치 S(mj)에서 1을 차감할 수 있다. 즉, 입력 영상(원본 영상) 내 원본 픽셀의 스케일 가중치가 1보다 크다면, 하나의 변환 픽셀을 생성하기 위해 스케일 가중치를 1로 하고, 추가 가중치 g(mj,n)으로 하여, T(mi,n)을 산출하고, i의 값을 1 증가시킬 수 있다. (j의 값은 그대로)
이때, 입력 영상(원본 영상) 내 원본 픽셀의 스케일 가중치 S(mj)가 1보다 크다면, 이전과 동일한 동작을 통해, T(mi,n)을 산출할 수 있다. 이때, S(mj)가 추가적으로 1 감소할 수 있다. 한편, 입력 영상(원본 영상) 내 원본 픽셀의 스케일 가중치 S(mj)가 1보다 작아진다면, 스케일 가중치 S(mj), 추가 가중치 g(mj, n) 및 입력 픽셀값 I(mj, n)과 추가 가중치 g(mj+1, n) 및 입력 픽셀값 I(mj+1, n)을 이용하여 T(mi, n)를 산출할 수 있다. 이때, 스케일 가중치 S(mj+1)는 S(mj+1) - (1- S(mj))로 결정될 수 있다. 이때, j의 값은 1 증가할 수 있다.
즉, 정리하면, 영상 처리 장치(100)는 현재 변환 픽셀의 픽셀값을 결정하기 위해, 원본 픽셀에 대한 스케일 가중치가 1보다 큰 경우, 1을 이용하여 원본 픽셀과 곱하고, 스케일 가중치를 1 차감하고 나머지 스케일 가중치를 이용하여, 그 다음 변환 픽셀의 픽셀값을 결정할 수 있다. 이때, 그 다음 변환 픽셀의 픽셀값을 결정하기 위해, 이전과 동일한 원본 픽셀의 스케일 가중치(1 차감하고 나머지 스케일 가중치) 및 추가 가중치가 이용될 수 있다. 즉, 스케일 가중치가 1보다 작아질 때까지는 스케일 가중치를 1로 하여 해당 원본 픽셀의 픽셀값을 이용하여 적어도 하나의 변환 픽셀의 픽셀값을 결정할 수 있다. 다만, 스케일 가중치가 1보다 작아지면, 해당 원본 픽셀(제1 원본 픽셀)의 스케일 가중치만으로 스케일 가중치의 합이 1이 되지 않기 때문에, 바로 인접한 다음 열의 원본 픽셀(제2 원본 픽셀)의 스케일 가중치를 이용할 수 있다. 이제 더 이상 이용할 제1 원본 픽셀의 스케일 가중치는 없기 때문에, 제2 원본 픽셀의 스케일 가중치를 이용하여 그 다음 변환 픽셀의 픽셀값을 결정할 수 있다.
이와 같은 동작을 현재 열이 Wout이 될 때까지 반복함으로써, 변환 영상을 출력할 수 있다. 이하에서는, 간단한 예를 들어, 상기 동작을 설명하기로 한다.
예를 들어, n=160, S(1)=1.5, S(2)=1.5이고, Wout이 3이라면,
영상 처리 장치(100)는 T(1,160)을 (1+g(1,160))*I(1,160)로 결정할 수 있다.
그러고, S(1)은 1.5-1=0.5가 되고, 영상 처리 장치(100)는 T(2,160)을 (0.5+g(1,160))*I(1,160) + (0.5+g(2,160))*I(2,160)으로 결정할 수 있다. 이때, (0.5+g(2,160))의 0.5는 S(2)의 값 중 일부이고, T(2,160) 결정 후, S(2)=1.5-0.5=1이 된다.
영상 처리 장치(100)은 T(3,160)을 (1+g(2,160))*I(2,160)으로 결정할 수 있다. 이후, S(2)=1-1=0가 되고, 더 이상의 동작이 수행되지 않을 수 있다. 결국, T(1~3,160)의 변환 영상 내 변환 픽셀 값이 결정될 수 있다. 즉, 기존의 I(1~2,160)에서 너비가 1.5 배 확장된 변환 영상이 획득될 수 있다.
도 8b는 도 8a의 수평 업스케일 케이스에서의 수도코드에 따라 (추가 가중치 기초로) 생성된 변환 픽셀값과 추가 가중치 없이 생성된 변환 픽셀값의 차이를 설명하기 위한 도면이다.
도 8b를 참조하면, 영상 처리 장치(100)는 도 8a의 수평 업스케일 케이스에서의 수도코드를 행마다 처리함으로써, 입력 영상으로부터 출력 영상(변환 영상)을 획득할 수 있다.
이하에서는, 설명의 편의를 위하여 영상 처리 장치(100)가 160번째 행을 처리함으로써 출력 영상 내 160번째 행의 픽셀값을 획득하는 내용만을 설명하겠다. 따라서, 이하 설명되는 모든 정보는 160번째 행의 정보에 제한됨에 유의한다.
영상 처리 장치(100)는 입력 영상을 기초로 텍스처 맵 E(m,160)을 획득할 수 있다. 영상 처리 장치(100)는 텍스처 맵 E(m,160)을 기초로 중요도 가이던스 맵 g(m,160)을 획득할 수 있다. 중요도 가이던스 맵 g(m,160)의 객체 영역 내 값은 0에 가까울 수 있다. 즉, 추가 가중치는 0에 가까운 값일 수 있다.
영상 처리 장치(100)는 화소값 I(m,160), 스케일 가중치 S(m) 및 중요도 가이던스 맵 g(m,160)을 기초로 화소값 T(m',160)을 생성할 수 있다.
한편, 영상 처리 장치(100)는 중요도 가이던스 맵 g(m,160)을 이용하지 않고, 화소값 I(m,160) 및 스케일 가중치 S(m)을 기초로, 화소값 T'(m',160)을 생성할 수 있다.
이때, 주변 영역(810)과 같이 픽셀의 그리드가 확장되는 부분의 화소값의 변동폭은 중요도 가이던스 맵에 기반한 것이 기반하지 않은 것보다 큼을 확인할 수 있고, 화소값의 변동 폭이 커짐으로 인하여, 텍스처 에지 등이 보다 강조됨으로써 화질 개선이 이루어질 수 있다.
도 9a는 본 개시의 일 실시예에 따른 수평 다운 스케일 케이스에서의 수도코드를 도시한다.
도 9a를 참조하면, 영상 처리 장치(100)는 변수 i(열 번호)가 1부터 타겟 영상 너비 Wout이 될 때까지 for 문 내의 동작을 수행할 수 있다. 영상 처리 장치(100)는 for 문 내에서 temp_S가 1보다 작을 때에만, while 문 내의 동작을 반복적으로 수행할 수 있다.
영상 처리 장치(100)는 n번째 행, j번째 열에 위치하는 픽셀의 x좌표 mj에서의 스케일 가중치 S(mj)를 변수 temp_S로 설정하고, temp_S가 1보다 작고, temp_S와 S(mj+1)의 합이 1보다 크다면, 타겟 영상(변환 영상) 내 타겟 픽셀(변환 픽셀)의 픽셀값 T(mi,n)의 값을 그 전에 결정된 T(mi,n)과 (1 - temp_S) * (1 + g(mj+1,n))* I(mj+1,n)을 합하여 결정하고, S(mj+1)을 이전 S(mj+1)에서 1- temp_S만큼 뺀 값으로 결정할 수 있다. 그러고 나서, break를 통해 while 문의 동작을 더 이상 수행하지 않는다.
한편, 영상 처리 장치(100)는 temp_S와 S(mj+1)의 합이 1보다 작거나 같다면, 타겟 영상 내 타겟 픽셀의 픽셀값 T(mi,n)의 값을 그 전에 결정된 T(mi,n)과 S(mj+1)* (1 + g(mj+1,n))* I(mj+1,n)을 합하여 결정하고, temp_S의 값을 이전 temp_S에 S(mj+1)만큼 더한 값으로 결정하고, j의 값을 1 증가시킬 수 있다.
즉, 정리하면, 영상 처리 장치(100)는 현재 변환 픽셀의 픽셀값을 결정하기 위해, 현재 원본 픽셀의 가중치 및 추가 가중치와 현재 원본 픽셀(제 1 원본 픽셀)의 픽셀값을 기초로 T(mi,n)를 먼저 결정하고, 그 다음 원본 픽셀(제 2 원본 픽셀)의 스케일 가중치와 현재 원본 픽셀(제 1 원본 픽셀)의 스케일 가중치의 합이 1보다 작다면, 이전에 결정된 T(mi,n)에 그 다음 원본 픽셀(제 2 원본 픽셀)의 가중치 전부와 추가 가중치 및 그 다음 원본 픽셀(제 2 원본 픽셀)의 픽셀값을 합하여 새로운 T(mi,n)을 결정할 수 있다. 이때, 스케일 가중치 합이 1이 될때까지 그 다음 원본 픽셀의 가중치 및 추가 가중치 및 픽셀값을 이용하여 최종 T(mi,n)을 결정할 수 있다. 이때, 최종 T(mi,n)이 결정된 후의 원본 픽셀의 가중치가 0이 아니라면, 해당 원본 픽셀의 가중치, 추가 가중치 및 픽셀값을 기초로 T(mi+1,n)을 결정할 수 있다.
이와 같은 동작을 현재 열이 Wout이 될때까지 반복함으로써, 변환 영상을 출력할 수 있다. 이하에서는, 간단한 예를 들어, 상기 동작을 설명하기로 한다.
예를 들어, n=90, S(1)=0.7, S(2)=0.2, S(3)= 0.9, S(4)=0.2이고, Wout이 2이라면,
먼저, 영상 처리 장치(100)는 첫번째 T(1,90)을 (0.7+g(1,90))*I(1,90)로 결정할 수 있다. 그러고 나서, 두번째 T(1,90)을 첫번째 T(1,90)+ (0.2+g(2,90))*I(2,90)으로 결정하고, temp_S를 0.7+0,2로 결정할 수 있다. temp_S가 1보다 작으므로, 최종 T(1,90)을 두번째 T(1,90)+(0.1+g(3,90)*I(3,90)으로 결정하고, S(3)의 값을 0.9-0.1=0.8로 결정할 수 있다. 그러고 나서 그 다음 변환 픽셀의 T(2,90)의 값을 결정할 수 있다.
영상 처리 장치(100)는 첫번째 T(2,90)을 (0.8+g(3,90))*I(3,90)로 결정할 수 있다. 그러고 나서, 두번째 T(2,90)을 첫번째 T(2,90)+ (0.2+g(4,90))*I(4,90)으로 결정할 수 있다. 이후 더 이상의 동작은 수행되지 않을 수 있다.
결국, T(1~2,90)의 변환 영상 내 변환 픽셀 값이 결정될 수 있다. 즉, 기존의 I(1~4,90)에서 너비가 절반으로 축소된 변환 영상이 획득될 수 있다.
도 9b는 도 9a의 수평 다운 스케일 케이스에서의 수도코드에 따라 (추가 가중치 기초로) 생성된 변환 픽셀값과 추가 가중치 없이 생성된 변환 픽셀값의 차이를 설명하기 위한 도면이다.
도 9b를 참조하면, 영상 처리 장치(100)는 도 9a의 수평 다운 스케일 케이스에서의 수도코드를 행마다 처리함으로써, 입력 영상으로부터 출력 영상(변환 영상)을 획득할 수 있다.
이하에서는, 설명의 편의를 위하여 영상 처리 장치(100)가 90번째 행을 처리함으로써 출력 영상 내 90번째 행의 픽셀값을 획득하는 내용만을 설명하겠다. 따라서, 이하 설명되는 모든 정보는 90번째 행의 정보에 제한됨에 유의한다.
영상 처리 장치(100)는 입력 영상을 기초로 텍스처 맵 E(m,90)을 획득할 수 있다. 영상 처리 장치(100)는 텍스처 맵 E(m,90)을 기초로 중요도 가이던스 맵 g(m,90)을 획득할 수 있다. 중요도 가이던스 맵 g(m,90)의 객체 영역 내 값은 0에 가까울 수 있다. 즉, 추가 가중치는 0에 가까운 값일 수 있다.
영상 처리 장치(100)는 화소값 I(m,90), 스케일 가중치 S(m) 및 중요도 가이던스 맵 g(m,90)을 기초로 화소값 T(m',90)을 생성할 수 있다.
한편, 영상 처리 장치(100)는 중요도 가이던스 맵 g(m,90)을 이용하지 않고, 화소값 I(m,90) 및 스케일 가중치 S(m)을 기초로, 화소값 T'(m',90)을 생성할 수 있다.
이때, 주변 영역(820)과 같이 픽셀의 그리드가 확장되는 부분의 화소값의 변동폭은 중요도 가이던스 맵에 기반한 것이 기반하지 않은 것보다 큼을 확인할 수 있고, 화소값의 변동 폭이 커짐으로 인하여, 텍스처 에지 등이 보다 강조됨으로써 화질 개선이 이루어질 수 있다.
도 10은 본 개시의 일 실시예에 따라, 영상 처리 장치(100)가 원본 영상이 복수의 객체 영역을 포함하는 경우, 변환 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 10을 참조하면, 원본 영상(1000)은 복수의 객체 영역(1010,1020)을 포함할 수 있다. 영상 처리 장치(100)는 복수의 객체 영역(1010,1020)과 그 주변 영역(1030)이 구분되어 설정된 중요도 맵을 획득하고, 전술한 바와 같이, 중요도 맵을 기초로 스케일 가중치 및 추가 가중치를 결정하고, 스케일 가중치 및 추가 가중치와 원본 픽셀의 픽셀값을 이용하여 변환 영상 내 변환 픽셀의 픽셀값을 결정할 수 있다. 이때, 스케일 가중치에 기초하여 복수의 객체 영역(1010,1020)을 보존하되, 주변 영역(1030)의 픽셀 그리드를 확장 또는 축소(업스케일 또는 다운스케일)함으로써, 변환 영상을 획득할 수 있다. 특히, 추가 가중치에 기초하여 주변 영역(1030)의 픽셀 그리드 확장 또는 축소로 인한 화질 열화 현상을 개선할 수 있다. 즉, 도 10 전까지는, 하나의 객체 영역을 포함하는 원본 영상을 입력 영상으로 하여 영상 처리하는 내용을 설명하였으나, 이에 제한되지 않고, 도 10을 참조하여 설명한 바와 같이, 원본 영상이 복수의 객체 영역을 포함하더라도, 해당 원본 영상을 영상 처리함으로써 동일한 기술적 효과를 달성할 수 있음을 당업자는 충분히 이해할 수 있다.
도 11은 본 개시의 일 실시예에 따른 영상 처리 장치의 영상 처리 방법의 흐름도이다.
S1110 단계에서, 영상 처리 장치(100)은 원본 영상에 대한 제 1 속성 관련 정보를 기초로, 원본 영상 내 원본 픽셀들에 대한 스케일 가중치를 결정할 수 있다. 스케일 가중치는 픽셀 그리드 확장/축소를 위한 가중치로, 변환 영상 내 하나의 변환 픽셀을 산출하기 위해 이용되는 적어도 하나의 원본 픽셀에 대한 적어도 하나의 스케일 가중치의 합은 소정의 값일 수 있다. 소정의 값은 바람직하게는 1일 수 있으나, 이에 제한되지 않는다.여기서 제 1 속성 관련 정보는, 원본 영상 중 객체 영역과 주변 영역을 구분하여 설정된 정보일 수 있다. 일 예로, 제 1 속성 관련 정보는 제 1 속성 기반 맵일 수 있고, 제 1 속성 기반 맵은 원본 영상에 대한 중요도 맵 또는 뎁스 맵일 수 있다. 이때, 객체 영역은 사용자의 관심도(중요도)가 높거나, 가까이에 위치하는 영역으로, 왜곡없이 보존될 수 있고, 따라서, 객체 영역은 스케일 가중치가 1 또는 1을 포함하는 소정의 범위 내의 값일 수 있다. 한편, 주변 영역은 사용자의 관심도(중요도)가 낮거나, 멀리 위치하는 배경 영역과 같은 영역으로, 원본 영상의 높이 또는 너비가 커진다면 스케일 가중치의 값이 1보다 클 수 있고, 원본 영상의 높이 또는 너비가 작아진다면 스케일 가중치의 값이 1보다 작을 수 있다. 이에 제한되지 않고, 1을 포함하는 소정의 범위 외의 값일 수 있다.
S1120 단계에서, 영상 처리 장치(100)는 원본 영상에 대한 제 1 속성 관련 정보 및 제 2 속성 관련 정보를 기초로, 주변 영역 내 원본 픽셀들에 대한 추가 가중치를 결정할 수 있다. 이때, 추가 가중치는 스케일로 인하여 영상의 왜곡되는 부분의 화질을 개선하기 위해 이용되는 가중치로, 적어도 하나의 방향으로의 에지 주변에서의 변화도에 기초하여 산출된 가중치일 수 있다. 즉, 추가 가중치에 기초하여 에지 주변에서의 변화도가 큰 부분에서 인접 픽셀 간의 픽셀값의 차이를 크게 할 수 있고, 따라서, 에지가 선명해짐으로써, 에지를 포함하는 영역의 선명도를 높일 수 있다.
제 2 속성 정보는 인접 픽셀들의 픽셀값들 간의 변화량에 기초한 정보일 수 있다. 예를 들어, 제 2 속성 정보에 상응하는 제 2 속성 기반 맵은 원본 픽셀들의 픽셀값들의 차이값에 대한 변화율에 기초한 텍스처 맵을 포함할 수 있다.
영상 처리 장치(100)는 제 2 속성 기반 맵을 기초로 가이드 맵을 생성할 수 있다. 가이드 맵은 추가 가중치를 포함할 수 있고, 가이드 맵은 중요도 맵과 텍스처 맵에 기초하여 생성된 맵을 포함할 수 있다. 즉, 가이드 맵은 객체 영역과 주변 영역이 구분되어 설정된 맵으로, 객체 영역에 대한 추가 가중치는 0일 수 있으나, 이에 제한되지 않고, 0을 포함하는 소정의 범위 내일 수 있다. 주변 영역에 대한 추가 가중치는 -1보다 크거나 같고, 1보다 작거나 같은 값일 수 있다. 이때, 주변 영역에 대한 추가 가중치는 0 또는 0을 포함하는 소정의 범위 외의 값일 수 있다.
가이드 맵은, 중요도 맵의 인버스 맵(inverse map)과 텍스처 맵을 결합한 중요도 가이던스 맵(saliency guidance map)일 수 있다. 한편, 중요도 맵에 기초하는 내용을 설명하였으나, 이에 제한되지 않고, 객체 영역과 주변 영역을 구분하여 설정된 뎁스 맵 또는 스케일 가중치 맵 등으로 대체될 수 있음을 당업자는 이해할 수 있다.
S1130 단계에서, 영상 처리 장치(100)는 스케일 가중치 및 추가 가중치를 원본 영상 내의 원본 픽셀들에 적용하여 원본 영상으로부터 크기가 변경된 변환 영상을 획득할 수 있다. 이때, 변환 영상 내 변환 픽셀들 중 하나의 픽셀 변환에 대한 픽셀값을 산출하기 위해 이용되는 적어도 하나의 원본 픽셀에 대한 적어도 하나의 스케일 가중치의 합은 소정의 값일 수 있다. 소정의 값은 1일 수 있으나, 이에 제한되지 않는다.
본 개시에 다양한 실시예에 의하면, 영상 처리 장치(100)는 스케일 가중치를 기초로 객체 영역을 보존하면서, 주변 영역에 대한 스케일을 수행함으로써 주변 영역의 화질 열화를 방지할 수 있다. 즉, 영상의 비율과 다양한 디스플레이 장치(예를 들어, 스마트폰)의 디스플레이 비율이 일치하지 않는 경우, 꽉찬 화면 제공을 위해, 영상의 스케일이 필요하다. 이때, 본 개시의 다양한 실시예에 따른 변환(스케일)을 수행함으로써, 객체 영역이 보존되면서, 주변 영역의 화질 열화를 최소화할 수 있다. 또한, 사용자가 꽉찬 화면의 영상을 경험할 수 있다.
예를 들어, TV 영상의 비율은 16:9이나, 스마트폰의 디스플레이의 비율이 18.5:9인 경우, TV 영상을 스마트폰의 디스플레이의 비율에 맞게 스케일함으로써, 사용자가 꽉찬 화면의 TV 영상을 경험할 수 있고, 따라서, 사용자는 보다 영상에 몰입할 수 있다.
또한, 영상 처리 장치(100)는 스케일 가중치를 기초로 객체 영역을 보존하면서, 주변 영역에 대한 스케일(변환 또는 리사이징)을 수행함으로써 뷰를 변환한 효과의 영상을 생성할 수 있고, 이를 3D/라이트 필드 영상 분야에서 이용할 수 있다. 특히, 3D/라이트 필드 영상 분야에서 이용되는 딥 뉴럴 네트워크의 훈련 데이터 베이스를 구축할 때, 원본 영상으로부터 뷰를 변환한 효과의 변환 영상을 생성하고, 원본 영상 및 변환 영상을 훈련 데이터 베이스에 포함시킬 수 있다. 즉, 기존의 데이터를 이용해 인위적인 데이터를 만드는 데이터 베이스 어그멘테이션이 가능하게 된다.
또한, 영상 처리 장치(100)는 엔트로피 기반 중요도의 밀집도 분석을 통해 양방향으로 영상의 비율을 조정(스케일)함으로써, 영상의 왜곡을 최소화할 수 있다.
또한, 영상 처리 장치(100)는 텍스처 맵과 같이, 영상의 화질을 개선할 수 있는 원본 영상의 속성 데이터를 이용하여, 주변 영역의 리사이징으로 인하여 발생된 왜곡 현상에 따른 화질 열화를 개선할 수 있다. 이때, 중요도 맵과 같이, 객체 영역과 주변 영역이 구분되어 설정된 원본 영상의 속성 데이터를 함께 이용하여 리사이징으로 인하여 왜곡이 발생한 주변 영역에 선별적으로 화질을 개선할 수 있다.
특히, 영상 처리 장치(100)는 스케일 가중치와 추가 가중치를 원본 영상에 한번에 적용함으로써 객체 영역이 보존될 뿐 아니라, 스케일된 주변 영역의 화질 열화를 개선할 수 있다. 스케일 가중치 및 추가 가중치는 일종의 후처리 필터의 계수이기 때문에, 다양한 방법으로 획득된 원본 영상에 스케일 가중치와 추가 가중치를 적용함으로써, 종횡비의 비율이 디스플레이 장치에 맞게 스케일되면서, 화질의 열화가 적은 영상을 디스플레이 장치에서 재생할 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
Claims (16)
- 영상 처리 장치에 있어서,
하나 이상의 인스트럭션들을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고,
상기 프로세서는,
원본 영상 중 객체 영역과 주변 영역을 구분하여 설정된 정보인 원본 영상에 대한 제 1 속성 관련 정보를 기초로, 상기 원본 영상 내의 원본 픽셀들에 대한 스케일 가중치를 결정하고,
상기 제 1 속성 관련 정보 및 인접 픽셀들의 픽셀값들 간의 변화량에 기초한 정보인 상기 원본 영상에 대한 제 2 속성 관련 정보를 기초로, 주변 영역 내의 원본 픽셀들에 대한 추가 가중치를 결정하고,
상기 스케일 가중치 및 상기 추가 가중치를 상기 원본 영상 내의 원본 픽셀들에 적용하여, 상기 원본 영상으로부터 크기가 변경된 변환 영상을 획득하고,
상기 변환 영상 내 변환 픽셀들 중 하나의 변환 픽셀에 대한 픽셀 값을 산출하기 위해 이용되는 적어도 하나의 원본 픽셀에 대한 적어도 하나의 스케일 가중치의 합은 소정의 값인 것을 특징으로 하는 영상 처리 장치.
- 제 1 항에 있어서,
상기 프로세서는 상기 스케일 가중치 및 상기 추가 가중치를 상기 원본 영상의 원본 픽셀들에 적용할 때, 상기 스케일 가중치 및 상기 추가 가중치를 반영한 가중치에 기초하여 상기 원본 픽셀들의 가중합을 산출하고,
상기 변환 영상의 변환 픽셀의 픽셀값은, 상기 가중치에 기초하여 산출된 원본 픽셀들과의 가중합에 대응되는 것을 특징으로 하는 영상 처리 장치.
- 제 1 항에 있어서, 상기 프로세서는,
상기 원본 영상에 대한 제 1 속성 관련 정보에 상응하는 제 1 속성 기반 맵을 생성하고, 상기 제 1 속성 기반 맵을 기초로 상기 원본 픽셀들에 대한 스케일 가중치를 결정하고,
상기 원본 영상에 대한 제 2 속성 관련 정보에 상응하는 제 2 속성 기반 맵을 생성하고, 상기 제 1 속성 기반 맵 및 상기 제 2 속성 기반 맵을 기초로 상기 주변 영역에 대한 추가 가중치를 포함하는 가이드 맵을 결정하는 것을 특징으로 하는 영상 처리 장치.
- 제 3 항에 있어서,
상기 제 1 속성 기반 맵은 상기 원본 영상에 대한 중요도 맵(saliency map) 또는 상기 원본 영상에 대한 뎁스 맵을 포함하고,
상기 제 2 속성 기반 맵은 상기 원본 픽셀들의 픽셀값들의 차이값에 대한 변화율에 기초한 텍스처 맵을 포함하는 것을 특징으로 하는 영상 처리 장치.
- 제 4 항에 있어서,
상기 가이드 맵은, 상기 중요도 맵의 인버스 맵(inverse map)과 상기 텍스처 맵을 결합한 중요도 가이던스 맵(saliency guidance map)인 것을 특징으로 하는 영상 처리 장치.
- 제 3 항에 있어서,
상기 제 1 속성 기반 맵에 기초하여 산출된 상기 스케일 가중치는, 상기 변환 영상이 상기 원본 영상보다 크기가 큰 경우, 상기 객체 영역에 대해서는 소정의 제 1 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 1 값보다 큰 값으로 결정되고,
상기 제 1 속성 기반 맵에 기초하여 상기 스케일 가중치는, 상기 변환 영상이 상기 원본 영상보다 크기가 작은 경우, 상기 객체 영역에 대해서는 소정의 제 1 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 1 값보다 작은 값으로 결정되는 것을 특징으로 하는 영상 처리 장치.
- 제 3 항에 있어서,
엔트로피 기반으로 상기 제 1 속성 기반 맵의 밀집도가 산출되고, 상기 산출된 밀집도를 기초로 수직 방향 및 수평 방향의 변경 비율이 산출되고,
상기 수직 방향 및 상기 수평 방향의 변경 비율을 기초로, 상기 원본 영상의 크기가 변경된 변환 영상은 수직 방향으로 상기 원본 영상의 높이가 변경되면서, 수평 방향으로 상기 원본 영상의 너비가 변경되는 것을 특징으로 하는 영상 처리 장치.
- 제 1 항에 있어서,
상기 프로세서가 상기 스케일 가중치 및 상기 추가 가중치를 원본 픽셀들에 적용하여, 상기 원본 영상으로부터 크기가 변경된 변환 영상을 획득할 때, 상기 변환 영상의 주변 영역에 포함된 변환 픽셀들의 픽셀값들 간의 제1 차이값은, 상기 추가 가중치가 아닌, 상기 스케일 가중치를 기초로 결정된 상기 주변 영역에 포함된 변환 픽셀들의 픽셀값들 간의 제2 차이값보다 크게 획득되는 것을 특징으로 하는 영상 처리 장치.
- 영상 처리 방법에 있어서,
원본 영상 중 객체 영역과 주변 영역을 구분하여 설정된 정보인 원본 영상에 대한 제 1 속성 관련 정보를 기초로, 원본 영상 내의 원본 픽셀들에 대한 스케일 가중치를 결정하는 단계;
상기 제 1 속성 관련 정보 및 인접 픽셀들의 픽셀값들 간의 변화량에 기초한 정보인 상기 원본 영상에 대한 제 2 속성 관련 정보를 기초로, 주변 영역 내의 원본 픽셀들에 대한 추가 가중치를 결정하는 단계; 및
상기 스케일 가중치 및 상기 추가 가중치를 상기 원본 영상 내의 원본 픽셀들에 적용하여, 상기 원본 영상으로부터 크기가 변경된 변환 영상을 획득하는 단계를 포함하고,
상기 변환 영상 내 변환 픽셀들 중 하나의 픽셀 변환에 대한 픽셀값을 산출하기 위해 이용되는 적어도 하나의 원본 픽셀에 대한 적어도 하나의 스케일 가중치의 합은 소정의 값인 것을 특징으로 하는 영상 처리 방법.
- 제 9 항에 있어서,
상기 변환 영상을 획득하는 단계는,
상기 스케일 가중치 및 상기 추가 가중치를 반영한 가중치에 기초하여 상기 원본 픽셀들의 가중합을 산출하고,
상기 변환 영상의 변환 픽셀의 픽셀값은 상기 가중치에 기초하여 산출된 원본 픽셀들과의 가중합에 대응되는 것을 특징으로 하는 영상 처리 방법.
- 제 9 항에 있어서,
상기 스케일 가중치를 결정하는 단계는,
상기 원본 영상에 대한 제 1 속성 관련 정보에 상응하는 제 1 속성 기반 맵을 생성하는 단계; 및
상기 제 1 속성 기반 맵을 기초로, 상기 원본 픽셀들에 대한 스케일 가중치를 결정하는 단계를 포함하고,
상기 추가 가중치를 결정하는 단계는,
상기 원본 영상에 대한 제 2 속성 관련 정보에 상응하는 제 2 속성 기반 맵을 생성하는 단계; 및
상기 제 1 속성 기반 맵 및 상기 제 2 속성 기반 맵을 기초로 상기 주변 영역에 대한 추가 가중치를 포함하는 가이드 맵을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
- 제 11 항에 있어서,
상기 가이드 맵은, 중요도 맵의 인버스 맵과 텍스처 맵을 결합한 중요도 가이던스 맵(saliency guidance map)인 것을 특징으로 하는 영상 처리 방법.
- 제 12 항에 있어서,
상기 중요도 맵에 기초하여 산출된 상기 스케일 가중치는 상기 변환 영상은 상기 원본 영상보다 크기가 큰 경우, 상기 객체 영역에 대해서는 소정의 제 1 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 1 값보다 큰 값으로 결정되고
상기 변환 영상은 상기 원본 영상보다 크기가 작은 경우, 상기 중요도 맵에 기초하여 상기 스케일 가중치는 상기 객체 영역에 대해서는 소정의 제 1 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 1 값보다 작은 값으로 결정되는 것을 특징으로 하는 영상 처리 방법.
- 제 12 항에 있어서,
엔트로피 기반으로 상기 제 1 속성 기반 맵의 밀집도가 산출되고, 상기 산출된 밀집도를 기초로 수직 방향 및 수평 방향의 변경 비율이 산출되고,
상기 수직 방향 및 상기 수평 방향의 변경 비율을 기초로, 상기 원본 영상의 크기가 변경된 변환 영상은 수직 방향으로 상기 원본 영상의 높이가 변경되면서, 수평 방향으로 상기 원본 영상의 너비가 변경되는 것을 특징으로 하는 영상 처리 방법.
- 제 9 항에 있어서,
상기 변환 영상을 획득하는 단계는,
상기 스케일 가중치 및 상기 추가 가중치를 원본 픽셀들에 적용하여 획득된, 상기 변환 영상의 주변 영역에 포함된 변환 픽셀들의 픽셀값들 간의 제1 차이값을
상기 추가 가중치가 아닌, 상기 스케일 가중치를 기초로 결정된 상기 주변 영역에 포함된 변환 픽셀들의 픽셀값들 간의 제2 차이값보다 크게 획득하는 것을 특징으로 하는 영상 처리 방법.
- 제 9 항의 영상 처리 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210066492A KR20220158540A (ko) | 2021-05-24 | 2021-05-24 | 영상 처리 장치 및 그 동작방법 |
| PCT/KR2022/007304 WO2022250402A1 (ko) | 2021-05-24 | 2022-05-23 | 영상 처리 장치 및 그 동작방법 |
| EP22811595.2A EP4318377A1 (en) | 2021-05-24 | 2022-05-23 | Image processing device and operating method therefor |
| US17/752,603 US20220383450A1 (en) | 2021-05-24 | 2022-05-24 | Image processing apparatus and operating method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210066492A KR20220158540A (ko) | 2021-05-24 | 2021-05-24 | 영상 처리 장치 및 그 동작방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220158540A true KR20220158540A (ko) | 2022-12-01 |
Family
ID=84229032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210066492A KR20220158540A (ko) | 2021-05-24 | 2021-05-24 | 영상 처리 장치 및 그 동작방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20220158540A (ko) |
| WO (1) | WO2022250402A1 (ko) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100988380B1 (ko) * | 2008-12-24 | 2010-10-18 | 포항공과대학교 산학협력단 | 중요도 확산을 이용한 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 |
| US9202258B2 (en) * | 2012-06-20 | 2015-12-01 | Disney Enterprises, Inc. | Video retargeting using content-dependent scaling vectors |
| KR101544156B1 (ko) * | 2014-01-29 | 2015-08-12 | 강원대학교산학협력단 | 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치 |
| KR20200079697A (ko) * | 2018-12-26 | 2020-07-06 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
-
2021
- 2021-05-24 KR KR1020210066492A patent/KR20220158540A/ko unknown
-
2022
- 2022-05-23 WO PCT/KR2022/007304 patent/WO2022250402A1/ko active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022250402A1 (ko) | 2022-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Bilateral guided upsampling | |
| US10825140B1 (en) | Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image | |
| US9202258B2 (en) | Video retargeting using content-dependent scaling vectors | |
| Xie et al. | Joint super resolution and denoising from a single depth image | |
| US8867858B2 (en) | Method and system for generating an output image of increased pixel resolution from an input image | |
| Xie et al. | Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering | |
| Baghaie et al. | Structure tensor based image interpolation method | |
| KR20160019387A (ko) | 데이터 처리 시스템 | |
| JP2018527687A (ja) | 知覚的な縮小方法を用いて画像を縮小するための画像処理システム | |
| KR101987079B1 (ko) | 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법 | |
| US10475229B2 (en) | Information processing apparatus and information processing method | |
| Sajjad et al. | Multi-kernel based adaptive interpolation for image super-resolution | |
| WO2021123072A1 (en) | Coding scheme for video data using down-sampling/up-sampling and non-linear filter for depth map | |
| Damkat | Single image super-resolution using self-examples and texture synthesis | |
| JP2012058773A (ja) | 画像処理装置 | |
| Vishnukumar et al. | Single image super-resolution based on compressive sensing and improved TV minimization sparse recovery | |
| Greisen et al. | Algorithm and VLSI architecture for real-time 1080p60 video retargeting | |
| Pan et al. | Optimal O (1) bilateral filter with arbitrary spatial and range kernels using sparse approximation | |
| WO2024032331A9 (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| US20220012897A1 (en) | Image processing apparatus and operating method thereof | |
| Hong et al. | Image interpolation using interpolative classified vector quantization | |
| KR20220158540A (ko) | 영상 처리 장치 및 그 동작방법 | |
| EP4318377A1 (en) | Image processing device and operating method therefor | |
| CN115375539A (zh) | 图像分辨率增强、多帧图像超分辨率系统和方法 | |
| KR101619327B1 (ko) | 적응적 결합 양측 깊이 맵 업샘플링 |