KR20220112211A - 카테고리컬 맵들의 업샘플링에 대한 방법 및 시스템 - Google Patents

카테고리컬 맵들의 업샘플링에 대한 방법 및 시스템 Download PDF

Info

Publication number
KR20220112211A
KR20220112211A KR1020220014475A KR20220014475A KR20220112211A KR 20220112211 A KR20220112211 A KR 20220112211A KR 1020220014475 A KR1020220014475 A KR 1020220014475A KR 20220014475 A KR20220014475 A KR 20220014475A KR 20220112211 A KR20220112211 A KR 20220112211A
Authority
KR
South Korea
Prior art keywords
pixel
category
neighboring
confidence
pixels
Prior art date
Application number
KR1020220014475A
Other languages
English (en)
Inventor
라마 미씰리 바달리
마이우란 위제이
올레그 세르게예비치 코루지히
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20220112211A publication Critical patent/KR20220112211A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Abstract

본 개시의 예시적 실시예에 따른 방법은, 이미지의 제1 픽셀의 카테고리를 결정하는 단계, 및 결정된 카테고리에 기초하여 이미지를 처리하는 단계를 포함하고, 제1 픽셀은, 복수의 주변 픽셀들(neighboring pixels)을 갖고, 주변 픽셀들 각각은, 카테고리를 갖고, 결정하는 단계는, 주변 픽셀들 각각에 대한 컨피던스 웨이티드 메트릭(confidence weighted metric)을 계산하는 단계, 주변 픽셀들 각각의 컨피던스 웨이티드 메트릭 및 주변 픽셀들 중 어느 하나의 카테고리에 기초하여 제1 픽셀의 카테고리를 결정하는 단계를 포함하고, 컨피던스 웨이티드 메트릭은, 각각의 주변 픽셀들 간의 최대 컨피던스 값에 기초한 것인 방법일 수 있다.

Description

카테고리컬 맵들의 업샘플링에 대한 방법 및 시스템{A METHOD AND SYSTEM FOR UPSAMPLING OF CATEGORICAL MAPS}
본 개시의 기술적 사상은 카테고리컬 맵 생성에 관한 것이며, 보다 상세하게는 업샘플링된 카테고리컬 맵들의 생성에 관한 것이다.
본 개시는 2021년 2월 3일에 출원된 미국 가출원 제63/145,193호 및 2021년 8월 18일에 출원된 미국 가출원 제63/234,649호의 이익을 주장하며, 전문이 참조로 통합된다.
이미지들을 처리하고 카테고리컬 맵들을 생성하는 시스템 및 방법에서, 업샘플링은 O(N*C)(즉, N*C 차수)의 복잡성으로 계산상 부담이 있을 수 있다. 여기서 N은 픽셀들의 수이고, C는 카테고리컬 데이터의 관계 수(cardinality)를 의미한다. 더욱이, 업샘플링 관련 기술의 복잡성이 낮을 수도 있지만, 이러한 경우, 품질이 또한 낮을 수 있으며, 예를 들어, 엣지(edge)에서 재깅 아티팩트(jagging artifacts)의 영향을 받을 수 있다.
따라서, 카테고리컬 맵들의 업샘플링에 대한 개선된 시스템 및 방법이 필요하다.
본 개시의 기술적 사상은, 전술된 문제들 및 단점들을 해소하기 위한 방법 및 시스템을 제공한다.
본 개시의 예시적 실시예에 따른 방법은, 이미지의 제1 픽셀의 카테고리를 결정하는 단계 및 상기 결정된 카테고리에 기초하여 상기 이미지를 처리하는 단계를 포함하고, 상기 제1 픽셀은, 복수의 주변 픽셀들(neighboring pixels)을 갖고, 상기 주변 픽셀들 각각은, 카테고리를 갖고, 상기 결정하는 단계는, 상기 주변 픽셀들 각각에 대한 컨피던스 웨이티드 메트릭(confidence weighted metric)을 계산하는 단계, 상기 주변 픽셀들 각각의 상기 컨피던스 웨이티드 메트릭 및 상기 주변 픽셀들 중 어느 하나의 카테고리에 기초하여 상기 제1 픽셀의 카테고리를 결정하는 단계를 포함하고, 상기 컨피던스 웨이티드 메트릭은, 각각의 상기 주변 픽셀들 간의 최대 컨피던스 값에 기초한 것일 수 있다.
본 개시의 예시적 실시예에 따른 방법은, 상기 컨피던스 웨이티드 메트릭은, 공간 필터 함수(spatial filter function)에 기초한 것인 방법일 수 있다.
본 개시의 예시적 실시예에 따른 방법은, 상기 공간 필터 함수는, 제1 주변 픽셀에 대해 제2 주변 픽셀보다 큰 값을 갖고, 상기 제1 픽셀은, 상기 제2 주변 픽셀보다 상기 제1 주변 픽셀에 더 가까운 방법일 수 있다.
본 개시의 예시적 실시예에 따른 방법은, 상기 공간 필터 함수는, (x2 - x) (y2 - y) / ((x2 - x1) (y2 - y1))의 30%이내이고, 상기 x1 및 상기 y1은 상기 제1 주변 픽셀의 좌표이고, 상기 x2 및 상기 y2는 상기 제2 주변 픽셀의 좌표이고, 상기 x 및 상기 y는 상기 제1 픽셀의 좌표인 방법일 수 있다.
본 개시의 예시적 실시예에 따른 방법은, 상기 공간 필터 함수는, 상기 주변 픽셀들 각각에 대해, 상기 제1 픽셀 및 상기 주변 픽셀 사이의 좌표 차이에 대한 가우시안 함수(gaussian function)의 30% 이내인 방법일 수 있다.
본 개시의 예시적 실시예에 따른 방법은, 상기 컨피던스 웨이티드 메트릭은, 레인지 필터 함수(range filter function)에 기초한 것인 방법일 수 있다.
본 개시의 예시적 실시예에 따른 방법은, 상기 레인지 필터 함수는, 제1 주변 픽셀에 대해 제2 주변 픽셀보다 큰 값을 갖고, 상기 제1 픽셀은, 인텐서티(intensity)가 상기 제2 주변 픽셀보다 상기 제1 주변 픽셀에 더 가까운 방법일 수 있다.
본 개시의 예시적 실시예에 따른 방법은, 상기 컨피던스 웨이티드 메트릭은, 공간 필터 함수에 기초한 것인 방법일 수 있다.
본 개시의 예시적 실시예에 따른 방법은, 상기 제1 픽셀의 카테고리를 결정하는 단계는, 상기 주변 픽셀들 중 상기 컨피던스 웨이티드 메트릭이 가장 큰 픽셀의 카테고리를 상기 제1 픽셀의 카테고리로 결정하는 단계를 포함하는 방법일 수 있다.
본 개시의 예시적 실시예에 따른 방법은, 상기 제1 픽셀의 카테고리를 결정하는 단계는, 모든 주변 픽셀들에 대한 컨피던스 웨이티드 메트릭의 합이 가장 크도록 하는 카테고리를 상기 제1 픽셀의 카테고리로 결정하는 단계를 포함하는 방법일 수 있다.
본 개시의 예시적 실시예에 따른 프로세싱 회로를 포함하는 시스템은, 상기 프로세싱 회로는, 이미지의 제1 픽셀의 카테고리를 결정하고, 상기 결정된 카테고리에 기초하여 상기 이미지를 처리하도록 구성되고, 상기 제1 픽셀은, 복수의 주변 픽셀들(neighboring pixels)을 갖고, 상기 주변 픽셀들 각각은, 카테고리를 갖고, 상기 프로세싱 회로는, 상기 주변 픽셀들 각각에 대한 컨피던스 웨이티드 메트릭(confidence weighted metric)을 계산하고, 상기 주변 픽셀들 각각의 상기 컨피던스 웨이티드 메트릭 및 상기 주변 픽셀들 중 어느 하나의 카테고리에 기초하여 상기 제1 픽셀의 카테고리를 결정하도록 구성되는 시스템일 수 있다.
본 개시의 예시적 실시예에 따른 시스템은, 상기 컨피던스 웨이티드 메트릭은, 공간 필터 함수(spatial filter function)에 기초한 것인 시스템일 수 있다.
본 개시의 예시적 실시예에 따른 시스템은, 상기 공간 필터 함수는, 제1 주변 픽셀에 대해 제2 주변 픽셀보다 큰 값을 갖고, 상기 제1 픽셀은, 상기 제2 주변 픽셀보다 상기 제1 주변 픽셀에 더 가까운 시스템일 수 있다.
본 개시의 예시적 실시예에 따른 시스템은, 상기 공간 필터 함수는, (x2 - x) (y2 - y) / ((x2 - x1) (y2 - y1))의 30%이내이고, 상기 x1 및 상기 y1은 상기 제1 주변 픽셀의 좌표이고, 상기 x2 및 상기 y2는 상기 제2 주변 픽셀의 좌표이고, 상기 x 및 상기 y는 상기 제1 픽셀의 좌표인 시스템일 수 있다.
본 개시의 예시적 실시예에 따른 시스템은, 상기 공간 필터 함수는, 상기 주변 픽셀들 각각에 대해, 상기 제1 픽셀 및 상기 주변 픽셀 사이의 좌표 차이에 대한 가우시안 함수(gaussian function)의 30% 이내인 시스템일 수 있다.
본 개시의 예시적 실시예에 따른 시스템은, 상기 컨피던스 웨이티드 메트릭은, 레인지 필터 함수(range filter function)에 기초한 것인 시스템일 수 있다.
본 개시의 예시적 실시예에 따른 시스템은, 상기 레인지 필터 함수는, 제1 주변 픽셀에 대해 제2 주변 픽셀보다 큰 값을 갖고, 상기 제1 픽셀은, 인텐서티(intensity)가 상기 제2 주변 픽셀보다 상기 제1 주변 픽셀에 더 가까운 시스템일 수 있다.
본 개시의 예시적 실시예에 따른 시스템은, 상기 컨피던스 웨이티드 메트릭은, 공간 필터 함수에 기초한 것인 시스템일 수 있다.
본 개시의 예시적 실시예에 따른 시스템은, 상기 프로세싱 회로는, 상기 주변 픽셀들 중 상기 컨피던스 웨이티드 메트릭이 가장 큰 픽셀의 카테고리를 상기 제1 픽셀의 카테고리로 결정하도록 구성된 시스템일 수 있다.
본 개시의 예시적 실시예에 따른 프로세싱 수단을 포함하는 시스템은, 상기 프로세싱 수단은, 이미지의 제1 픽셀의 카테고리를 결정하고, 상기 결정된 카테고리에 기초하여 상기 이미지를 처리하도록 구성되고, 상기 제1 픽셀은, 복수의 주변 픽셀들(neighboring pixels)을 갖고, 상기 주변 픽셀들 각각은, 카테고리를 갖고, 상기 프로세싱 수단은, 상기 주변 픽셀들 각각에 대한 컨피던스 웨이티드 메트릭(confidence weighted metric)을 계산하고, 상기 주변 픽셀들 각각의 상기 컨피던스 웨이티드 메트릭 및 상기 주변 픽셀들 중 어느 하나의 카테고리에 기초하여 상기 제1 픽셀의 카테고리를 결정하도록 구성된 시스템일 수 있다.
도 1a는 이미지들을 분석하는 시스템에 관한 블록도이다.
도 1b는 이미지들을 분석하는 시스템에 관한 블록도이다.
도 2는 본 개시의 예시적 실시예에 따른 업샘플링 회로(upsampling circuit)의 인풋들 및 아웃풋들을 나타내는 블록도이다.
도 3은 본 개시의 예시적 실시예에 따른 업샘플된 픽셀 및 4개의 주변 픽셀들을 나타내는 도면이다.
도 4는 본 개시의 예시적 실시예에 따른 이미지들을 분석하는 시스템에 관한 블록도이다.
도 5a는 본 개시의 예시적 실시예에 따른 이미지 분석에 대한 파이프라인의 블록도이다.
도 5b는 본 개시의 예시적 실시예에 따른 이미지 분석에 대한 파이프라인의 블록도이다.
도 5c는 본 개시의 예시적 실시예에 따른 이미지 분석에 대한 파이프라인의 블록도이다.
도 6은 본 개시의 예시적 실시예에 따라 처리된 이미지에 관한 도면이다.
도 7a은 본 개시의 예시적 실시예에 따라 처리된 이미지의 일부를 확대한 도면이다.
도 7b은 본 개시의 예시적 실시예에 따라 처리된 이미지의 일부를 확대한 도면이다.
도 7c은 본 개시의 예시적 실시예에 따라 처리된 이미지의 일부를 확대한 도면이다.
도 8은 본 개시의 예시적 실시예에 따른 방법의 순서도이다.
이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세히 설명한다.
첨부된 도면과 관련하여 아래에 설명된 상세한 설명은 본 개시의 내용에 따라 제공되는 카테고리컬 맵들(categorical maps)의 업샘플링(upsampling)하는 시스템 및 방법의 예시적인 실시예의 설명으로 의도되며, 구체적인 구성들 및 구성요소들과 같은 구체적인 내용은 본 개시의 예시적 실시예에 대한 전체적인 이해를 돕기 위한 것일 뿐이다. 따라서, 본 개시의 범위를 벗어나지 않으면서 본 개시에 기재된 실시예에 대한 다양한 변경 및 수정이 가능함은 당업자에게 자명하다. 동일한 구성요소에 대해서는 다른 도면으로 나타내더라도 동일한 참조부호가 사용될 수 있다.
컴퓨터 비전(computer vision) 및 이미지 처리 분야에서, 저해상도 이미지나 맵에서 고해상도로의 2차원 보간(interpolation) 즉, 업샘플링(upsampling)을 하는 것은 일반적이다. 컴퓨터 비전에 딥 러닝(deep learning) 애플리케이션이 등장하면서 픽셀 레벨(pixel-level)의 카테고리컬 데이터(categorical data)를 예측하는 신경망(neural network)이 중요해졌다. 이러한 신경망은 이미지를 수신하고, 카테고리컬 맵(categorical map)을 생성할 수 있다. 예를 들어, 배경 앞에 있는 식물 이미지의 경우(예를 들어, 아래에서 논의되는 도 6 및 도 7a 내지 도 7c에서와 같이), 카테고리컬 맵은 각 픽셀에 카테고리가 할당된 맵일 수 있다. 예를 들어, 픽셀이 배경의 일부로 분류되는 경우는 0이고, 픽셀이 식물의 일부인 경우 1일 수 있다. 고양이, 개, 식물이 배경 앞에 있는 이미지에서, 카테고리컬 맵의 각 픽셀은 4개의 해당 카테고리들 중 하나로 분류될 수 있다. 이러한 카테고리컬 맵을 생성하는 신경망에서, 신경망의 중간 특징 맵(intermediate feature map)은 4개의 채널들을 포함하는 컨피던스 볼륨(confidence volume)을 포함할 수 있으며, 4개의 채널들은, 각 픽셀에 대하여, 픽셀이 개의 일부일 확률을 나타내는 컨피던스 볼륨의 제1 채널, 픽셀이 고양이의 일부일 확률을 나타내는 컨피던스 볼륨의 제2 채널, 픽셀이 식물의 일부일 확률을 나타내는 컨피던스 볼륨의 제3 채널, 픽셀이 배경의 일부일 확률을 나타내는 컨피던스 볼륨의 제4 채널을 포함할 수 있다.
신경망 관련 기술에서 신경망은, 신경망의 대부분의 계층에 대해 입력 해상도보다 낮은 해상도에서 동작할 수 있다. 신경망의 출력에서 입력 해상도의 카테고리컬 맵(즉, 입력 이미지와 동일한 해상도의 출력 맵)을 얻기 위해, 최종 레이어에서 바이리니어(bilinear) 업샘플링을 사용될 수 있다. 이러한 신경망은 도 1a에 도시되어 있다. 도 1a는 특징 추출 및 인코딩 회로(105)(이 회로의 테이퍼(taper)에 의해 예시된 바와 같이 특징 맵 크기가 상당히 감소됨), 디코더(110)(특징 맵 크기가 다소 증가됨), 바이리니어 업샘플링 회로(115)(특징 맵 크기가 더욱 증가됨) 및 카테고리컬 맵을 생성하는 argmax 회로(120)를 포함한다. 바이리니어 업샘플링 회로(115)의 출력은 C 채널들로 구성된 컨피던스 볼륨일 수 있으며, 여기서 C는 카테고리의 수이고, 컨피던스 볼륨의 각 채널은 입력 이미지와 동일한 해상도(H x W)의 맵을 포함한다. argmax 회로는 출력 특징 맵(output feature map)의 각 픽셀에 컨피던스(즉, 카테고리에 대응하는 채널에서 픽셀에 대한 컨피던스)가 가장 큰 카테고리를 할당할 수 있다.
도 1a의 실시예에서, 로짓(logit)의 볼륨을 업샘플링하는 것은 O(N*C)의 시간 복잡도(time complexity)를 갖는 상당한 계산을 필요로 하며, 여기서 N은 픽셀의 수이고 C는 카테고리컬 데이터의 관계 수(cardinality)(즉, 카테고리 또는 채널의 수)를 의미할 수 있다. 이러한 계산 부담으로 인해 이 접근 방식은 일부 실시간 응용 프로그램에 적합하지 않을 수 있다.
이에 반해, 2차원 카테고리컬 맵을 저해상도에서 먼저 추론한 후 카테고리컬 맵만 업샘플링하는 것은 O(N)의 복잡도를 가질 수 있다. 그러나, 카테고리컬 데이터에 대한 효과적이고 빠른 업샘플링 방법의 부족은 이러한 최적화에 장애물이 될 수 있다. 카테고리컬 값들은 어떠한 순서나 서로간의 관계를 따른 것이 아닐 수 있다. 따라서, 바이리니어 보간 또는 다항식 보간과 같은 보간 방법은 직접적으로 적용되지 않을 수 있다. 도 1b에 도시된 바와 같이, 카테고리컬 데이터의 업샘플링을 위해 최근린 보간법(nearest neighbor interpolation)이 대신 사용될 수 있다. 도 1b의 실시예에서, 디코더(110)의 출력은, 컨피던스 볼륨의 C 저해상도(H/s x W/s) 채널들을 수신하고 그들로부터 단일 저해상도(H/s x W/s) 카테고리컬 맵을 생성하는 argmax 회로(120)의 입력이다. 이 저해상도 카테고리컬 맵은, 예를 들어, 최근린 업샘플링(nearest-neighbor upsampling) 회로(125)를 사용하여, 전체 해상도(H x W) 카테고리컬 맵으로 업샘플링될 수 있다.
그러나, 최근린 업샘플링은, 서로 다른 카테고리에 해당하는 영역의 경계에 해당하는 엣지(edge)에서 픽셀 지원이 부족하기 때문에, 앨리어싱(aliasing)을 유발할 수 있다. 이러한 앨리어싱은, 바람직하지 않은 계단 형태 및 엣지에서의 재깅 아티팩트(jagging artifacts)의 형태로 나타날 수 있다(도 7b와 관련하여 아래에서 논의됨).
일부 실시예에서, 이러한 문제는 계산 관점에서 과도하게 부담되지 않는 업샘플링을 사용하여 완화된다. 업샘플링은 컨피던스 웨이티드 메트릭(confidence weighted metric)을 기반으로 하는 방법을 사용하여 고해상도 카테고리컬 맵(타겟 카테고리컬 맵 T로 지칭될 수 있음)을 결정한다. 각 타겟 픽셀에 대해 대응하는 주변 픽셀은 저해상도 카테고리컬 맵(소스 카테고리컬 맵(source categorical map), S로 지칭될 수 있음)으로 정의될 수 있다. 컨피던스 웨이티드 메트릭은 각각의 주변 소스 픽셀에 대해 계산될 수 있다. 타겟 픽셀 값은 (i) 가장 높은 컨피던스 웨이티드 메트릭을 갖는 주변 소스 픽셀의 카테고리 값, 또는 (ii) 모든 주변 픽셀에 대한 컨피던스 웨이티드 메트릭의 합이 가장 크도록 하는 카테고리와 동일하게 설정될 수 있다.
프로세스는 도 2에 그림으로 도시되어 있다. 카테고리컬 업샘플링 회로(205)(프로세싱 회로일 수 있거나 포함할 수 있음)에 대한 입력은 저해상도 카테고리컬 맵(210), 저해상도 컨피던스 맵(215), 및 고해상도 가이드 이미지(220)(그레이스케일(grayscale) 이미지로 표시되지만 컬러 이미지일 수 있음)를 포함할 수 있다. 또한, 카테고리컬 업샘플링 회로(205)의 출력은 고해상도 카테고리컬 맵(225)일 수 있다. 아래에서 더 상세히 논의되는 바와 같이, 신경망은 채널당 컨피던스 볼륨의 하나의 저해상도 채널을 생성할 수 있고, 컨피던스 맵(215)은 각 픽셀에서 컨피던스 볼륨의 채널들의 해당 픽셀에 대한 최대값을 포함할 수 있다.
도 3은 저해상도 카테고리컬 맵(210) 및 저해상도 컨피던스 맵(215)에서, 타겟 고해상도 카테고리컬 맵의 픽셀(p) 및 그 주변 픽셀중 4개의 픽셀들(q11, q12, q21, 및 q22)의 위치를 나타낸 도면이며, 타겟 픽셀 중 하나만 표시되어 있다. 모든 타겟 픽셀이 도시되는 경우, 일부 실시예에서 4개의 주변 픽셀들(q11, q12, q21, 및 q22) 사이에 다수의 타겟 픽셀 존재할 수 있다. 일부 실시예에서, 4개보다 많은 주변 픽셀(예를 들어, 정사각형 또는 준원형 모양의 주변에 배열되거나, 정사각형의 모서리 부근에서 일부 픽셀들을 생략할 수 있는, 9개 이상의 픽셀들)이 사용될 수 있다.
일부 실시예에서, 컨피던스 웨이티드 메트릭은 (i) 컨피던스 맵 (ii) 가장 가까운 주변에 대한 기하학적 근접도의 척도, 및 (iii) 고해상도 가이드 이미지의 측광(photometry)(즉, 인텐서티(intensity) 또는 색상(color))의 함수로서 계산될 수 있다. 타겟 고해상도 카테고리컬 맵의 각 픽셀의 카테고리는 픽셀의 주변 픽셀의 컨피던스 웨이티드 메트릭에 기초하여 결정될 수 있다(아래에서 더 자세히 논의됨). 도 4는 그러한 실시예에 대한 블록도이다. 도 4에 도시된 바와 같이, 디코더(110)의 출력은 카테고리 맵(카테고리 맵의 각 요소는, 채널에 대해, argmax 회로(405)의 입력에서 컨피던스 볼륨의 채널들의 argmax임)을 생성하는 argmax 회로(405) 및 컨피던스 맵(컨피던스 맵의 각 요소는, 채널에 대해, 맥스 회로(407)의 입력에서 컨피던스 볼륨의 채널들의 최대임)을 생성하는 맥스 회로(407)로 각각 저해상도로 공급된다. 그리고, 컨피던스 에이디드 업샘플링 회로(confidence aided upsampling circuit)는 저해상도 카테고리컬 맵(210), 저해상도 컨피던스 맵(215), 및 고해상도 가이드 이미지(220)를 사용하여(도 2에 도시된 바와 같이) 타겟 고해상도 카테고리컬 맵을 생성한다. 컨피던스 웨이티드 메트릭을 사용하면 복잡성이 거의 없을 수 있으므로 일반적으로 실시간 분석에 매우 적합하며, 가장 최근린 업샘플링에 의해 나타날 수 있는 계단이나 재깅 아티팩트를 완화할 수 있다.
일부 실시예에서, 컨피던스 웨이티드 메트릭은 다음과 같이 정의될 수 있다.
Figure pat00001
여기서,
Figure pat00002
는
Figure pat00003
에서 타겟 픽셀(
Figure pat00004
)의 주변을 나타내고,
Figure pat00005
는
Figure pat00006
에서의 컨피던스 값이고,
Figure pat00007
는 고해상도 가이드 이미지이고,
Figure pat00008
는 공간 필터 함수(spatial filter function)이고,
Figure pat00009
는
Figure pat00010
의 이미지 값을 중심으로 하는 레인지 필터 함수(range filter function)이다.
Figure pat00011
인 경우,
Figure pat00012
는
Figure pat00013
의 해당 고해상도 좌표를 나타낸다.
공간 필터 함수
Figure pat00014
는
Figure pat00015
에 대한
Figure pat00016
의 근접성을 고려하는 임의의 적절한 함수, 예를 들어, 일반적으로 타겟 픽셀에서 더 멀리 떨어져 있는 주변 픽셀보다 타겟 픽셀에 더 가까운 주변 픽셀에 더 큰 가중치(weight)를 주는 임의의 함수일 수 있다. 예를 들어, 공간 필터 함수는 거리가 감소함에 따라 단조롭게 증가하는 함수일 수 있다. 일부 실시예에서, 공간 필터 함수는 픽셀 q11의 가중치가 다음과 같이 계산되는 바이리니어 가중치를 사용할 수 있다.
f = (x2 - x) (y2 - y) / ((x2 - x1) (y2 - y1))
x1 및 y1은 픽셀 q11의 좌표이고, x2 및 y2는 픽셀 q22의 좌표이고, x 및 y는 픽셀 p의 좌표이다.
다른 실시예에서, 공간 필터 함수는
Figure pat00017
를 중심으로 하는 가우시안 함수(gaussian function)일 수 있다. 예를 들어, 픽셀 q11의 가중치는 exp(-((x - x1)2 + (y - y1)2)/w2)와 같거나 비례할 수 있다. 여기서 w는 가우스 함수의 너비이다. 일부 실시예에서, 공간 필터 함수는 이러한 함수와 대략적으로 동일하며, 예를 들어, 이러한 함수의 30% 이내일 수 있다.
레인지 필터 함수
Figure pat00018
는, 고해상도 가이드 이미지에서 픽셀
Figure pat00019
과 픽셀
Figure pat00020
사이의 측광(인텐서티 또는 색상)의 근접도를 측정할 수 있다. 레인지 필터 함수의 선택은 애플리케이션에 따라 다를 수 있다. 레인지 필터 함수는 가이드 이미지의
Figure pat00021
및
Figure pat00022
에서 픽셀 값의 유사성을 고려하는 임의의 적절한 함수, 예를 들어, 일반적으로 타겟 픽셀의 값(예를 들어, 인텐서티 또는 색상)과 유사한 값을 갖는 주변 픽셀들에 타겟 픽셀의 값과 더 차이 나는 값을 갖는 주변 픽셀보다 더 크게 가중하는 함수일 수 있다. 예를 들어, 범위 필터 함수는 타겟 픽셀이 제2 주변 픽셀보다 제1 주변 픽셀에 인텐서티가 더 가까울 때 제2 주변 픽셀보다 제1 주변 픽셀에 대해 더 큰 값을 가질 수 있다. 본 개시에서 사용된 바와 같이, 제1 픽셀이 제2 픽셀보다 타겟 픽셀에 "인텐서티가 더 가깝다"는 것은, 제1 픽셀의 인텐서티와 타겟 픽셀의 인텐서티의 차이가 제2 픽셀의 인텐서티와 타겟 픽셀의 인텐서티 차이보다 작다는 것을 의미한다. 일부 실시예에서, 레인지 필터 함수는
Figure pat00023
에 중심을 둔 가우시안 함수일 수 있으며, 예를 들어, 픽셀 q11에 대해 exp(-((
Figure pat00024
-
Figure pat00025
)2 / w2)와 같거나 비례할 수 있다. 여기서
Figure pat00026
는 타겟 픽셀
Figure pat00027
와 동일한 좌표를 갖는, 가이드 이미지의 픽셀 인텐서티고,
Figure pat00028
는 주변 픽셀 q11과 동일한 좌표를 갖는, 가이드 이미지의 픽셀 인텐서티이고, w는 가우시안 함수의 폭이다. 다른 실시예에서, 레인지 필터 함수는 가이드 이미지 해당 픽셀들의 색상 컴포넌트(component) 간의 벡터 차이(예를 들어, 적녹청(RGB) 벡터들 간의 차이)의 함수(예를 들어, 가우시안 함수)이거나, 또는 휘도와 색차(YUV) 컴포넌트들 간의 차이의 함수일 수 있다. 일부 실시예에서, 레인지 필터 함수는 이러한 함수와 대략적으로 동일하며, 예를 들어, 이러한 함수의 30% 이내일 수 있다. 본 개시에서 사용된 바와 같이, "레인지 필터 함수"는 디스플레이 값들(예를 들어, 인텐서티, 또는 디스플레이된 색상 측면)이 2개의 픽셀에 대해 동일한 정도를 계산하는 함수일 수 있다.
일부 실시예에서, 3개의 팩터(factor)
Figure pat00029
,
Figure pat00030
, 및
Figure pat00031
모두가 컨피던스 웨이티드 메트릭을 계산하는 데 사용되는 표현식에 존재하는 것은 아니다. 예를 들어, 공간 필터 함수
Figure pat00032
를 1로 설정하여 공간 성분을 무시하거나, 레인지 필터 함수
Figure pat00033
를 1로 설정하여 측광 컴포넌트를 무시할 수 있다(또는 둘 다 1로 설정할 수 있음).
컨피던스 웨이티드 메트릭이 주변 픽셀들 각각에 대해 계산되면, 타겟 픽셀의 카테고리는 주변 픽셀들 각각의 컨피던스 웨이티드 메트릭 및 주변 픽셀들 중 어느 하나(또는 그 이상)의 카테고리에 기초하여 결정될 수 있다. 예를 들어,
Figure pat00034
에서 보간된 값은, (i) argmax 연산을 사용할 때 가장 높은 컨피던스 웨이티드 메트릭
Figure pat00035
를 갖는
Figure pat00036
에서 주변 픽셀의 카테고리 값과 동일하게 설정되거나, (ii) 카테고리 값에 대한 가중된 히스토그램(weighted histogram) 또는 "모드 필터(mode filter)"라고 할 수 있는 방법에 기초하여 설정될 수 있다.
argmax 연산이 사용되면
Figure pat00037
의 카테고리 값, 즉,
Figure pat00038
는 다음과 같이 할당될 수 있다.
Figure pat00039
여기서,
Figure pat00040
이다.
이 연산은 타겟 픽셀의 카테고리를 가장 높은 컨피던스 웨이티드 메트릭을 갖는 주변 픽셀의 카테고리와 동일하게 설정한다.
만약 모드 필터가 사용되는 경우, 가중 히스토그램에 대해 모드가 계산될 수 있다.
Figure pat00041
여기서,
Figure pat00042
Figure pat00043
,
Figure pat00044
은 가능한 카테고리 갑들의 집합을 나타내고,
Figure pat00045
는 주변
Figure pat00046
에서
Figure pat00047
에 대해 계산된 가중 히스토그램이다.
이 연산은 타겟 픽셀의 카테고리를, 카테고리의 모든 주변 픽셀들에 대한 컨피던스 웨이티드 메트릭들의 합이 가장 큰 카테고리와 동일하게 설정한다. 모드 필터는 통계 모드(statistical mode)의 변형이다. 컨피던스 웨이티드 메트릭이 모든 주변 픽셀들에 대해 동일한 경우 모드 필터에 의해 반환된 카테고리는 주변 픽셀들의 카테고리들의 집합의 통계 모드이다.
도 5a 내지 도 5c는 3가지 프로세싱 방법들에 대한 관련 파이프라인들을 도시한 도면이다. 이 도면들에 도시된 이미지 치수들은 예시일 뿐이며, 애플리케이션 요구 사항에 따라 달라질 수 있다. 로짓(logit)의 바이리니어 업샘플링(도 1a에 대응)을 위한 파이프라인을 보여주는 도 5a의 실시예에서, 입력 이미지(505)는 리사이즈된 이미지(515)를 생성하기 위해 바이리니어 리사이징(resizing) 회로(510)에 의해 처리되고, 리사이즈된 이미지(515)는 로짓의 제1 어레이(array)(525)를 생성하는 신경망(520)에 의하여 처리된다. 엣지 어웨어 업샘플링(edge aware upsampling) 회로(530)는 로짓의 제2 어레이(535)를 형성하기 위해 입력 이미지(505)를 가이드 이미지로 사용하여 로짓의 제1 어레이(525)를 업샘플링한다. 바이리니어 업샘플링 회로(540)는 다음으로 로짓의 제2 어레이(535)로부터 로짓의 제3 어레이(545)를 생성하고, argmax 회로(550) 로짓의 제3 어레이(545)로부터 고해상도 카테고리컬 맵(555)(또는, 세그멘테이션(segmentation)의 경우, 세그멘테이션 맵(segmentation map))을 생성하고, 맥스 회로(560)는 로짓의 제3 어레이(545)로부터 고해상도 컨피던스 맵(565)을 생성한다.
세그멘테이션 맵(도 1b에 대응)의 최근린 업샘플링(nearest neighbor upsampling)을 위한 파이프라인을 도시하는 도 5b의 실시예에서, 로짓의 제2 어레이(535)는 도 5a에서와 동일한 방식으로 생성된다. argmax 회로(550)는 로짓의 제2 어레이(535)로부터 저해상도 세그멘테이션 맵(552)을 생성하며, 이는 최근린 업샘플링 회로(554)에 의해 고해상도 카테고리컬 맵(555)으로 변환되고, 맥스 회로(560)는 저해상도 컨피던스 맵(562)(도 2의 컨피던스 맵(215)과 동일할 수 있음)을 생성하고, 바이리니어 리사이징 회로(564)는 저해상도 컨피던스 맵(562)를 리사이징하여 고해상도 컨피던스 맵(565) 형성한다.
컨피던스 가중(도 4에 대응)에 의해 지원되는 카테고리컬 맵의 최근린 업샘플링을 위한 파이프라인을 도시한 도 5c의 실시예에서, 저해상도 세그멘테이션 맵(552) 및 저해상도 컨피던스 맵(562)은 도 5b에서와 같은 방식으로 생성된다. 컨피던스 에이디드 업샘플링(confidence aided upsampling) 회로(570)는 입력 이미지(505)를 가이드 이미지로 사용하여, 저해상도 컨피던스 맵(562)에 기초하여 저해상도 세그멘테이션 맵(552)의 업샘플링을 수행하고, 고해상도 카테고리컬 맵(555)을 형성한다. 컨피던스 에이디드 업샘플링 회로(570)는, 타겟 픽셀의 복수의 주변 픽셀들 각각에 대한 컨피던스 웨이티드 메트릭을 계산하고 타겟 픽셀에 카테고리를 할당하는 것을 포함하는, 여기에 설명된 방법들 중 하나 이상을 수행할 수 있다(예를 들어, argmax 방법이나 모드 필터 방법을 사용).
도 6은 도 4 및 도 5c의 실시예에 의해 처리된 컬러 이미지의 그레이스케일 버전으로서, 세그멘테이션 알고리즘이 이미지에 도시된 식물에 대응하는 것으로 식별한 영역들을 나타내는 회색 오버레이 형태들(gray overlaid shapes)을 도시한다. 도 7a 내지 도 7c는 (i) 도 1a 및 도 5a, (ii) 도 1b 및 도 5b, (iii) 도 4 및 도 5c의 3가지 각각의 세그멘테이션 알고리즘으로 이미지를 처리한 결과를 보여주는 이미지의 일부(도 6에서 점선 직사각형 부분)의 확대도이다. 계단형 및 재깅 아티팩트들은 도 7b에서 특히 명백히 나타난다.
도 8은 본 개시의 예시적 실시예에 따른 방법의 순서도이다. 본 방법은, 이미지의 제1 픽셀의 카테고리를 결정하는 단계(805) 및 결정된 카테고리에 기초하여 이미지를 처리하는 단계(810)을 포함하며, 제1 픽셀은 복수의 주변 픽셀들을 갖고, 주변 픽셀들 각각은 카테고리를 가질 수 있다. 이미지는 고해상도 입력 이미지(505)(가이드 이미지로도 사용될 수 있음)일 수 있고, 고해상도 세그멘테이션 맵(555)의 생성은 고해상도 입력 이미지의 각 픽셀에 대한 카테고리를 결정하는 것에 대응할 수 있다. 이미지(505)를 처리하는 단계(810)는, 예를 들어, 이미지의 상이한 부분들(상이한 카테고리에 대응하는)을 상이하게 처리하는 단계를 포함할 수 있고, 예를 들어, 배경으로 분류된 픽셀들의 영역을 블러링(blurring)하는 단계, 또는 하나의 카테고리에 해당하는 영역을 밝게 하는 단계(brightening) 및 다른 카테고리에 해당하는 영역을 어둡게 하는 단계(darkening)를 포함할 수 있다. 본 개시에서 사용된 바와 같이, "이미지 처리"는 이미지를 직접적으로 처리하거나, 이미지에 기초하여 수행되는 다른 처리 단계의 임의의 프로덕트(product)를 처리하는 것을 의미할 수 있다. 이와 같이, 이미지를 처리하는 단계는, 다른 처리 단계들에서, 고해상도 세그멘테이션 맵(555)을 사용하는 단계를 포함할 수 있으며(또는, 구성될 수 있으며), 다른 처리 단계들은, 예를 들어, 차량의 머신 비전(machine-vision) 기반 네비게이션(navigation)에 대한 알고리즘에서, 카메라의 시야에 있는 물체들을 다른 카테고리들(예를 들어, 다른 차량들, 건물들, 거리 표지판들 또는 보행자들)로 분류하는 단계일 수 있다.
본 개시에서 사용된 바와 같이, 어떤 것의 "일부"는 대상의 "적어도 일부"를 의미할 수 있고, 그 자체로 대상의 전부 또는 전부 미만을 의미할 수 있다. 이와 같이, "일부"는 특별한 경우로서 전체를 포함할 수 있다. 즉, 전체는 대상의 일부의 예일 수 있다. 본 개시에서 사용된 바와 같이, 제2 양(quantity)이 제1 양 X의 "Y 이내"인 경우, 이는 제2 양이 적어도 X-Y이고, 제2 양은 최대 X+Y임을 의미한다. 본 개시에서 사용된 바와 같이, 제2 숫자(number)가 제1 숫자의 "Y% 이내"인 경우, 이는 제2 숫자가 제1 숫자의 최소 (1-Y/100)배이고, 제2 숫자가 제1 숫자의 최대 (1+Y/100)배임을 의미한다. 본 개시에서 사용된 바와 같이, 용어 "또는"은 "및/또는"으로 해석되어야 하며, 예를 들어, "A 또는 B"는 "A" 또는 "B", 또는 "A 및 B" 중 어느 하나를 의미한다.
"프로세싱 회로" 및 "프로세싱 수단"이라는 용어 각각은, 데이터 또는 디지털 신호를 처리하는 데 사용되는 하드웨어, 펌웨어 및 소프트웨어의 임의의 조합을 의미하는 것으로 사용될 수 있다. 프로세싱 회로 하드웨어는, 예를 들어, ASICs(Application Specific Integrated Circuits), 일반적 또는 특수한 목적의 CPUs(Central Processing Units), DSPs(Digital Signal Processors), GPUs(Graphics Processing Units), 및 FPGAs(Field Programmable Gate Arrays)와 같은 프로그램 가능한 논리 장치를 포함할 수 있다. 본 개시에서 사용된 프로세싱 회로에서, 각각의 기능은 그 기능을 수행하도록 구성된 하드웨어에 의해 수행되거나(즉, 하드웨어에 내장되어), 비일시적 저장 매체(non-transitory storage medium)에 저장된 명령을 실행하도록 구성된 CPU와 같은 보다 범용 하드웨어에 의해 수행될 수 있다. 프로세싱 회로는 단일 PCB(Printed Circuit Board) 위에 제조되거나, 상호 연결된 여러 PCB들에 분산되어 있을 수 있다. 프로세싱 회로는 다른 프로세싱 회로를 포함할 수 있다. 예를 들어, 프로세싱 회로는 PCB에서 상호 연결된, 두 개의 프로세싱 회로, FPGA 및 CPU를 포함할 수 있다.
본 개시에서 사용되는 바와 같이, 용어 "어레이(array)"는 어떻게 저장되는지(예를 들어, 연속적인 메모리 위치에 저장되는지, 또는 연결된 리스트에 저장되는지 여부)에 관계없이 정렬된 숫자들의 세트를 지칭할 수 있다. 본 개시에서 사용된 바와 같이, 방법(예를 들어, 조정) 또는 제1 양(quantity)(예를 들어, 제1 변수)이 제2 양(예를 들어, 제2 변수)에 "기초하는(기반으로 하는)(based on)" 것으로 언급되는 경우, 이는 제2 양은 방법에 대한 입력 또는 제1 양에 영향을 미친다는 것을 의미할 수 있다. 예를 들어, 제2 양은 제1 양을 계산하는 함수에 대한 입력(예를 들어, 유일한 입력 또는 여러 입력 중 하나)이거나, 제1 양은 제2 양과 동일할 수 있다(예를 들어, 메모리 내의 동일한 위치 또는 위치들에 저장됨). 본 개시에 사용된 바와 같이, "~에 기초하여(based on)"는 "~에 적어도 부분적으로 기초하여"를 의미하며, 즉, 제2 양에 기초하는 것으로 기술된 제1 양은 또한 제3 양에 기초할 수 있다.
용어 "제1", "제2", "제3" 등은 다양한 요소들(elements), 컴포넌트들, 영역들(regions), 레이어들(layers) 및/또는 섹션들(sections)을 설명하기 위해 본 개시에서 사용될 수 있지만, 이러한 요소들, 컴포넌트들, 영역들, 레이어들 및/또는 섹션들은 이러한 용어로 제한되어서는 안 된다. 이러한 용어는 하나의 요소, 컴포넌트, 영역, 레이어 또는 섹션을 다른 요소, 컴포넌트, 영역, 레이어 또는 섹션과 구별하는 데만 사용된다. 따라서, 본 개시에서 논의되는 제1 요소, 컴포넌트, 영역, 레이어 또는 섹션은 본 발명의 사상 및 범위를 벗어나지 않으면서 제2 요소, 컴포넌트, 영역, 레이어 또는 섹션으로 명명될 수 있다.
본 개시에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 여기에서 사용된 용어 "실질적으로(substantially)", "약(about)" 및 유사한 용어는 정도가 아닌 근사치의 용어로 사용되며, 당해 분야의 통상의 기술의 측정 또는 계산된 값의 고유 편차를 설명하기 위한 것이다.
본 개시에 사용된 바와 같이, 단수 형태은 문맥상 명백하게 달리 나타내지 않는 한, 복수 형태도 포함하는 것으로 의도된다. 본 개시에서 "포함하다" 또는 "가지다"라는 용어는 특징, 숫자, 단계, 동작, 구조적 요소, 부분 또는 이들의 조합의 존재를 의미하는 것으로 이해되어야 하며, 하나 이상의 다른 특징, 숫자, 단계, 작업, 구조적 요소, 부품 또는 이들의 조합의 존재나 추가될 가능성을 배제하지 아니하는 것으로 이해되어야 한다. 본 개시에 사용된 바와 같이, "및/또는"이라는 용어는 관련된 나열된 항목 중 하나 이상의 임의의 모든 조합을 포함한다. 본 개시에 사용된 바와 같이, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나" 그리고 "A, B, 또는 C 중 적어도 하나"와 같은 문구 각각은, 해당 문구에 함께 열거된 항목들의 가능한 모든 조합을 포함할 수 있다. 또한, 본 발명의 실시예를 설명할 때 "~할 수 있다"의 사용은 "본 발명의 하나 이상의 실시 예"를 의미한다. 또한, "예시적인"이라는 용어는 예시 또는 실시예를 지칭하기 위한 것이다. 본 개시에서 사용된 바와 같이, 용어 "사용하다", "사용하는" 및 "사용된"은 각각 용어 "활용하다", "이용하다" 및 "이용하다"와 동의어로 간주될 수 있다.
여기에 인용된 임의의 수치 범위는 인용된 범위 내에 포함된 동일한 수치 정밀도의 모든 하위 범위를 포함하도록 의도된다. 예를 들어, "1.0에서 10.0" 또는 "1.0과 10.0 사이"의 범위는 인용된 최소값 1.0과 인용된 최대값 10.0 사이의 모든 하위 범위를 포함하도록 의도된다(예를 들어, 2.4 내지 7.6). 유사하게, "10의 35% 이내"로 기술된 범위는 인용된 최소값 6.5(즉, (1 - 35/100) 곱하기 10)와 인용된 최대값 13.5(즉, (1 + 35/100) 곱하기 10) 사이의 모든 하위 범위를 포함하기 위한 것이다. 즉, "10의 35% 이내"로 기술된 범위는 6.5 이상의 최소값 및 13.5 이하의 최대값, 예를 들어, 7.4 내지 10.6을 가질 수 있다. 여기에 인용된 임의의 최대 수치 제한은 그 안에 포함된 모든 더 낮은 수치 제한을 포함하도록 의도되고 본 명세서에 인용된 임의의 최소 수치 제한은 그 안에 포함된 모든 더 높은 수치 제한을 포함하도록 의도된다.
카테고리컬 맵의 업샘플링에 대한 시스템 및 방법의 예시적인 실시예가 본개시에서 구체적으로 설명되고 예시되었지만, 많은 수정 및 변형이 당업자에게 명백할 것이다. 따라서, 본 개시의 원리에 따라 구성된 카테고리컬 맵의 업샘플링에 대한 시스템 및 방법은 여기에 구체적으로 설명된 것과는 다르게 구현될 수 있음을 이해해야 한다. 본 개시의 범위는 설명된 실시예들에만 기초하여 결정되어서는 아니되며, 첨부된 청구항들 및 그 균등물들에 기초하여 결정되어야 한다.

Claims (20)

  1. 이미지의 제1 픽셀의 카테고리를 결정하는 단계; 및
    상기 결정된 카테고리에 기초하여 상기 이미지를 처리하는 단계;를 포함하고,
    상기 제1 픽셀은, 복수의 주변 픽셀들(neighboring pixels)을 갖고,
    상기 주변 픽셀들 각각은, 카테고리를 갖고,
    상기 결정하는 단계는,
    상기 주변 픽셀들 각각에 대한 컨피던스 웨이티드 메트릭(confidence weighted metric)을 계산하는 단계;
    상기 주변 픽셀들 각각의 상기 컨피던스 웨이티드 메트릭 및 상기 주변 픽셀들 중 어느 하나의 카테고리에 기초하여 상기 제1 픽셀의 카테고리를 결정하는 단계;를 포함하고,
    상기 컨피던스 웨이티드 메트릭은, 각각의 상기 주변 픽셀들 간의 최대 컨피던스 값에 기초한 것인 방법.
  2. 제1항에 있어서,
    상기 컨피던스 웨이티드 메트릭은, 공간 필터 함수(spatial filter function)에 기초한 것인 방법.
  3. 제2항에 있어서,
    상기 공간 필터 함수는, 제1 주변 픽셀에 대해 제2 주변 픽셀보다 큰 값을 갖고,
    상기 제1 픽셀은, 상기 제2 주변 픽셀보다 상기 제1 주변 픽셀에 더 가까운 방법.
  4. 제3항에 있어서,
    상기 공간 필터 함수는,
    (x2 - x) (y2 - y) / ((x2 - x1) (y2 - y1))의 30%이내이고,
    상기 x1 및 상기 y1은 상기 제1 주변 픽셀의 좌표이고,
    상기 x2 및 상기 y2는 상기 제2 주변 픽셀의 좌표이고,
    상기 x 및 상기 y는 상기 제1 픽셀의 좌표인 방법.
  5. 제4항에 있어서,
    상기 공간 필터 함수는,
    상기 주변 픽셀들 각각에 대해, 상기 제1 픽셀 및 상기 주변 픽셀 사이의 좌표 차이에 대한 가우시안 함수(gaussian function)의 30% 이내인 방법.
  6. 제1항에 있어서,
    상기 컨피던스 웨이티드 메트릭은, 레인지 필터 함수(range filter function)에 기초한 것인 방법.
  7. 제6항에 있어서,
    상기 레인지 필터 함수는, 제1 주변 픽셀에 대해 제2 주변 픽셀보다 큰 값을 갖고,
    상기 제1 픽셀은, 인텐서티(intensity)가 상기 제2 주변 픽셀보다 상기 제1 주변 픽셀에 더 가까운 방법.
  8. 제6항에 있어서,
    상기 컨피던스 웨이티드 메트릭은, 공간 필터 함수에 기초한 것인 방법.
  9. 제1항에 있어서,
    상기 제1 픽셀의 카테고리를 결정하는 단계는,
    상기 주변 픽셀들 중 상기 컨피던스 웨이티드 메트릭이 가장 큰 픽셀의 카테고리를 상기 제1 픽셀의 카테고리로 결정하는 단계;를 포함하는 방법.
  10. 제1항에 있어서,
    상기 제1 픽셀의 카테고리를 결정하는 단계는,
    모든 주변 픽셀들에 대한 컨피던스 웨이티드 메트릭의 합이 가장 크도록 하는 카테고리를 상기 제1 픽셀의 카테고리로 결정하는 단계;를 포함하는 방법.
  11. 프로세싱 회로를 포함하는 시스템에 있어서,
    상기 프로세싱 회로는, 이미지의 제1 픽셀의 카테고리를 결정하고, 상기 결정된 카테고리에 기초하여 상기 이미지를 처리하도록 구성되고,
    상기 제1 픽셀은, 복수의 주변 픽셀들(neighboring pixels)을 갖고,
    상기 주변 픽셀들 각각은, 카테고리를 갖고,
    상기 프로세싱 회로는,
    상기 주변 픽셀들 각각에 대한 컨피던스 웨이티드 메트릭(confidence weighted metric)을 계산하고,
    상기 주변 픽셀들 각각의 상기 컨피던스 웨이티드 메트릭 및 상기 주변 픽셀들 중 어느 하나의 카테고리에 기초하여 상기 제1 픽셀의 카테고리를 결정하도록 구성된 시스템.
  12. 제11항에 있어서,
    상기 컨피던스 웨이티드 메트릭은, 공간 필터 함수(spatial filter function)에 기초한 것인 시스템.
  13. 제12항에 있어서,
    상기 공간 필터 함수는, 제1 주변 픽셀에 대해 제2 주변 픽셀보다 큰 값을 갖고,
    상기 제1 픽셀은, 상기 제2 주변 픽셀보다 상기 제1 주변 픽셀에 더 가까운 시스템.
  14. 제13항에 있어서,
    상기 공간 필터 함수는,
    (x2 - x) (y2 - y) / ((x2 - x1) (y2 - y1))의 30%이내이고,
    상기 x1 및 상기 y1은 상기 제1 주변 픽셀의 좌표이고,
    상기 x2 및 상기 y2는 상기 제2 주변 픽셀의 좌표이고,
    상기 x 및 상기 y는 상기 제1 픽셀의 좌표인 시스템.
  15. 제14항에 있어서,
    상기 공간 필터 함수는,
    상기 주변 픽셀들 각각에 대해, 상기 제1 픽셀 및 상기 주변 픽셀 사이의 좌표 차이에 대한 가우시안 함수(gaussian function)의 30% 이내인 시스템.
  16. 제11항에 있어서,
    상기 컨피던스 웨이티드 메트릭은, 레인지 필터 함수(range filter function)에 기초한 것인 시스템.
  17. 제16항에 있어서,
    상기 레인지 필터 함수는, 제1 주변 픽셀에 대해 제2 주변 픽셀보다 큰 값을 갖고,
    상기 제1 픽셀은, 인텐서티(intensity)가 상기 제2 주변 픽셀보다 상기 제1 주변 픽셀에 더 가까운 시스템.
  18. 제16항에 있어서,
    상기 컨피던스 웨이티드 메트릭은, 공간 필터 함수에 기초한 것인 시스템.
  19. 제11항에 있어서,
    상기 프로세싱 회로는,
    상기 주변 픽셀들 중 상기 컨피던스 웨이티드 메트릭이 가장 큰 픽셀의 카테고리를 상기 제1 픽셀의 카테고리로 결정하도록 구성된 시스템.
  20. 프로세싱 수단을 포함하는 시스템에 있어서,
    상기 프로세싱 수단은, 이미지의 제1 픽셀의 카테고리를 결정하고, 상기 결정된 카테고리에 기초하여 상기 이미지를 처리하도록 구성되고,
    상기 제1 픽셀은, 복수의 주변 픽셀들(neighboring pixels)을 갖고,
    상기 주변 픽셀들 각각은, 카테고리를 갖고,
    상기 프로세싱 수단은,
    상기 주변 픽셀들 각각에 대한 컨피던스 웨이티드 메트릭(confidence weighted metric)을 계산하고,
    상기 주변 픽셀들 각각의 상기 컨피던스 웨이티드 메트릭 및 상기 주변 픽셀들 중 어느 하나의 카테고리에 기초하여 상기 제1 픽셀의 카테고리를 결정하도록 구성된 시스템.



KR1020220014475A 2021-02-03 2022-02-03 카테고리컬 맵들의 업샘플링에 대한 방법 및 시스템 KR20220112211A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202163145193P 2021-02-03 2021-02-03
US63/145,193 2021-02-03
US202163234649P 2021-08-18 2021-08-18
US63/234,649 2021-08-18
US17/503,121 2021-10-15
US17/503,121 US20220245407A1 (en) 2021-02-03 2021-10-15 Confidence aided upsampling of categorical maps

Publications (1)

Publication Number Publication Date
KR20220112211A true KR20220112211A (ko) 2022-08-10

Family

ID=82403216

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220014475A KR20220112211A (ko) 2021-02-03 2022-02-03 카테고리컬 맵들의 업샘플링에 대한 방법 및 시스템

Country Status (5)

Country Link
US (1) US20220245407A1 (ko)
KR (1) KR20220112211A (ko)
CN (1) CN114862752A (ko)
DE (1) DE102022102541A1 (ko)
TW (1) TW202303518A (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471932B2 (en) * 2010-09-30 2013-06-25 Apple Inc. Spatial filtering for image signal processing
WO2017004803A1 (en) * 2015-07-08 2017-01-12 Xiaoou Tang An apparatus and a method for semantic image labeling
US11017504B2 (en) * 2016-01-29 2021-05-25 Intuitive Surgical Operations, Inc. Light level adaptive filter and method
US11895409B2 (en) * 2020-08-20 2024-02-06 Qualcomm Incorporated Image processing based on object categorization

Also Published As

Publication number Publication date
US20220245407A1 (en) 2022-08-04
DE102022102541A1 (de) 2022-08-04
TW202303518A (zh) 2023-01-16
CN114862752A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
US11610082B2 (en) Method and apparatus for training neural network model used for image processing, and storage medium
US7359576B1 (en) Using difference kernels for image filtering
US11030715B2 (en) Image processing method and apparatus
CN107133914B (zh) 用于生成三维彩色图像的装置和用于生成三维彩色图像的方法
US11687775B2 (en) Neural network data processing apparatus and method
US7796191B1 (en) Edge-preserving vertical interpolation
US7612784B2 (en) Image processor and method, computer program, and recording medium
JP6623832B2 (ja) 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
CN106204441B (zh) 一种图像局部放大的方法及装置
US10997691B2 (en) Method and device for interpolating image
CN113935934A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US9269164B2 (en) Image interpolation method with decision mixing
US8472756B2 (en) Method for producing high resolution image
EP2966613A1 (en) Method and apparatus for generating a super-resolved image from an input image
US20160314615A1 (en) Graphic processing device and method for processing graphic images
KR20220112211A (ko) 카테고리컬 맵들의 업샘플링에 대한 방법 및 시스템
KR102470242B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
CN113989114A (zh) 一种图像缩小处理方法和装置
CN113570531A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP4265363B2 (ja) 画像処理装置
US8503823B2 (en) Method, device and display system for converting an image according to detected word areas
JP4453202B2 (ja) 画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体
JP2017126885A (ja) 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
WO2020000333A1 (en) Image processing method and apparatus
KR20170000869A (ko) 영상 처리 방법, 영상 처리 방법을 수행하는 영상 처리 장치, 및 영상 처리 장치를 포함하는 표시 장치