KR101914415B1 - 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법 - Google Patents

반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법 Download PDF

Info

Publication number
KR101914415B1
KR101914415B1 KR1020180053045A KR20180053045A KR101914415B1 KR 101914415 B1 KR101914415 B1 KR 101914415B1 KR 1020180053045 A KR1020180053045 A KR 1020180053045A KR 20180053045 A KR20180053045 A KR 20180053045A KR 101914415 B1 KR101914415 B1 KR 101914415B1
Authority
KR
South Korea
Prior art keywords
map
protrusion
calculating
protrusion map
cluster
Prior art date
Application number
KR1020180053045A
Other languages
English (en)
Inventor
오일석
오강한
Original Assignee
전북대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전북대학교산학협력단 filed Critical 전북대학교산학협력단
Priority to KR1020180053045A priority Critical patent/KR101914415B1/ko
Application granted granted Critical
Publication of KR101914415B1 publication Critical patent/KR101914415B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법 에 관한 것으로, 본 발명에 따르면, (a) 영상을 분할 맵으로 추출하는 다중 레벨 클러스터 생성 단계; (b) 추출된 각각의 분할 맵에서 각각의 클러스터에 대한 돌출 점수를 계산하여 돌출 맵을 얻는 돌출 계산 단계; (c) 얻어진 다수개의 돌출 맵을 결합하여 기준 돌출 맵을 획득하는 1차 돌출 맵 결합 단계; (d) 기준 돌출 맵을 기준으로 각 돌출 맵의 유사도를 계산하여 이상 클러스터를 제거하는 이상 클러스터 제거 단계 및 (e) 이상 클러스터가 제거된 돌출 맵을 다시 결합하여 기준 돌출 맵을 갱신하는 2차 돌출 맵 결합 단계를 포함하되, 갱신된 기준 돌출 맵이 이전 기준 돌출 맵과 비교하여 차이가 있을 경우 차이가 없을 때까지, 갱신된 기준 돌출 맵으로 상기 (d) 및 (e) 단계를 반복 수행하는 것을 특징으로 하는 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법을 제공할 수 있다.

Description

반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법{Visual Saliency Map Detection method using Iterative Outlier Cluster Elimination}
본 발명은 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법에 관한 것으로, 더욱 자세하게는 반복적 이상 클러스터 제거를 이용하여 계산 복잡도 및 성능 손실이 낮아 최종적으로 얻어지는 돌출 맵이 개선된 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법에 관한 것이다.
인간 시각 체계(human visual system)는 실제 바라본 장면에서 중요한 시각 정보를 쉽고 빠르게 인지할 수 있다.
이러한 인간 시각 체계의 선택적 인지 특성을 모방하여, 컴퓨터와 같은 장치가 촬영한 영상에서 중요한 영역을 검출하거나 영상의 각 화소 또는 일정 블럭 별로 중요도 값을 계산하여 돌출 맵(saliency map)을 생성하는 것을 돌출 검출(saliency detection)이라고 한다.
최근에 이러한 돌출 검출 모델로는 콘트라스트(Contrast) 기반의 돌출 모델들이 제안되었다.
이러한 콘트라스트 기반의 돌출 모델들에서 객체 돌출은 다양한 클러스터링 기술을 사용하는 균일한 영역 레벨 콘트라스트 단서로부터 설명될 수 있다.
그러나, 상기와 같은 콘트라스트 기반의 돌출 모델은 인간 시각 체계를 표현하기에는 불충분하고, 객체의 픽셀 내부 속성 사이에 큰 차이가 있을 때 기술적으로 한계가 있었다.
이를 해결하기 위하여 HS 돌출 모델이 제안되었고, 이러한 HS 돌출 모델은 콘트라스트 특성에 의존하기보다는 하드 분할 영역을 기반으로 하여 공간 단서가 객관성 측면에서 잘 표현될 수 있었다.
그러나, 이러한 모델에는 경험적 최적화와 계산 집약적 프로세스에 한계가 있는 문제가 있었다.
또한, 이전의 돌출 검출 방법에서는 중심 이동 알고리즘과 돌출 맵 결합 단계에서 필수적인 커널 크기 선택의 측면에 한계가 있었다.
즉, 커널 크기 선택에서 데이터 분배를 고려하지 않고 휴리스틱 커널 크기가 사용되어, 결과적으로 배경 검출이 이상 커널에서 파생된 이상 분할 맵으로 인하여 실패하는 경향이 있었다.
또한, 이전의 돌출 검출 방법은 분할 맵을 사용하긴 하였으나, 별도의 처리 과정 없이 단순 연산을 통해서 단서들을 결합하는 방식을 사용하고 매우 계산 집약적인 연산을 활용하여, 품질이 좋지 못한 분할 맵을 생성하게 되는 문제점이 있었다.
상기와 같은 문제점을 해결하고자, 본 발명은 반복적 이상 클러스터 제거를 이용하여 계산 복잡성이 낮아 성능 손실이 거의 없어, 최종적으로 얻어지는 돌출 맵이 개선될 수 있는 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법을 제공하는데 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 실시예에 따른 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법은 본 발명의 실시예에 따른 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법은 (a) 영상을 분할 맵으로 추출하는 다중 레벨 클러스터 생성 단계; (b) 추출된 각각의 분할 맵에서 각각의 클러스터에 대한 돌출 점수를 계산하여 돌출 맵을 얻는 돌출 계산 단계; (c) 얻어진 다수개의 돌출 맵을 결합하여 기준 돌출 맵을 획득하는 1차 돌출 맵 결합 단계; (d) 기준 돌출 맵을 기준으로 각 돌출 맵의 유사도를 계산하여 이상 클러스터를 제거하는 이상 클러스터 제거 단계 및 (e) 이상 클러스터가 제거된 돌출 맵을 다시 결합하여 기준 돌출 맵을 갱신하는 2차 돌출 맵 결합 단계를 포함하되, 갱신된 기준 돌출 맵이 이전 기준 돌출 맵과 비교하여 차이가 있을 경우 차이가 없을 때까지, 갱신된 기준 돌출 맵으로 상기 (d) 및 (e) 단계를 반복 수행하는 것을 특징으로 하는 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법을 제공할 수 있다.
또한, 상기 (a) 단계는 영상을 슈퍼 픽셀로 분할시키는 단계; 각 슈퍼 픽셀에서 컬러 특징을 추출하는 단계; 추출된 컬러 특징들을 기반으로 대조 값을 계산하는 단계 및 상기 컬러 특징 및 대조 값을 기반으로 슈퍼 픽셀을 중심 이동(Mean-shift) 알고리즘을 이용하여 클러스터를 생성하고 분할 맵을 추출하는 단계를 포함할 수 있다.
또한, 상기 대조 값을 계산하는 단계는 하기 수학식 1을 통해 전역 대조를 계산하고, 하기 수학식 2를 통해 배경 대조를 계산하는 것을 특징으로 한다.
[수학식 1]
Figure 112018045472050-pat00001
[수학식 2]
Figure 112018045472050-pat00002
(여기서, Sk는 슈퍼 픽셀, Si는 인접한 모든 슈퍼 픽셀, ωgc(Si)는 슈퍼 픽셀 크기에 대한 가중치, D(Sk, Si)는 두 슈퍼 픽셀간의 색 거리, Ibnd는 영상 외관에 있는 슈퍼 픽셀 집합, ωbc(Si)는 영상 외곽Ibnd에 슈퍼 픽셀Si가 차지하는 비율이다)
또한, 상기 분할 맵을 추출하는 단계는 상기 중심 이동(Mean-shift) 알고리즘에서 사용되는 커널 크기는 AMISE를 사용하여 계산되는 것을 특징으로 한다.
또한, 상기 (b) 단계는 각 분할 맵 전체에서 각각의 클러스터가 차지하는 비율을 계산하는 단계; 각 분할 맵 외곽에서 각각의 클러스터가 차지하는 비율을 계산하는 단계 및 전체에서 차지하는 비율 및 외곽에서 차지하는 비율을 통해 각 분할 맵의 돌출점수를 계산하여 돌출 맵으로 생성하는 단계를 포함할 수 있다.
또한, 각 분할 맵 전체에서 각각의 클러스터가 차지하는 비율을 계산하는 단계는 하기 수학식 3을 통해 계산되는 것을 특징으로 한다.
[수학식 3]
Figure 112018045472050-pat00003
(여기서,
Figure 112018045472050-pat00004
는 클러스터 R에 포함된 슈퍼 픽셀 개수,
Figure 112018045472050-pat00005
는 전체 슈퍼 픽셀 개수이다)
또한, 각 분할 맵 외곽에서 각각의 클러스터가 차지하는 비율을 계산하는 단계는 하기 수학식 4를 통해 계산되는 것을 특징으로 한다.
[수학식 4]
Figure 112018045472050-pat00006
(여기서,
Figure 112018045472050-pat00007
는 클러스터 내부에서 외곽에 연결된 슈퍼 픽셀 개수,
Figure 112018045472050-pat00008
는 외곽 전체 슈퍼 픽셀 개수이다)
또한, 상기 돌출 맵으로 생성하는 단계는 상기 돌출 점수를 하기 수학식 5를 통해 계산하는 것을 특징으로 한다.
[수학식 5]
Figure 112018045472050-pat00009
또한, 상기 (c) 단계는 다수개의 돌출 맵을 하기 수학식 6 및 7을 통해 결합하여 기준 돌출 맵을 획득하는 것을 특징으로 한다.
[수학식 6]
Figure 112018045472050-pat00010
[수학식 7]
Figure 112018045472050-pat00011
(여기서, Fi, Bi은 각각 전경 및 배경 가중치, ωij는 공간적 평활화, N은 슈퍼 픽셀, a는 곡선 기울기, μ는 기준 돌출 맵의 고조파 평균값이다)
또한, 상기 (d) 단계는 상기 기준 돌출 맵과 각 돌출 맵의 유사도를 계산하는 단계; 계산된 각 돌출 맵의 유사도의 평균 값을 구하는 단계 및 상기 유사도의 평균 값보다 유사도가 미만인 돌출 맵에 대응하는 이상 클러스터를 삭제하는 단계를 포함할 수 있다.
또한, 상기 유사도를 계산하는 단계는 상기 기준 돌출 맵과 각 돌출 맵의 유사도를 하기 수학식 8을 통해 계산하는 것을 특징으로 한다.
[수학식 8]
Figure 112018045472050-pat00012
(여기서, cs는 기준 돌출 맵, ms는 각 돌출 맵이다)
상기와 같은 본 발명의 실시예에 따른 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법은 반복적 이상 클러스터 제거를 이용하여 계산 복잡성이 낮아 성능 손실이 거의 없을 수 있다.
이에 따라, 최종적으로 얻어지는 돌출 맵이 개선될 수 있다.
또한, 본 발명은 커널 크기를 AMISE를 사용하여 계산함으로써, 경험적 커널 크기 값을 사용하는 기존 방법과는 다르게 적응적 커널 크기를 추정할 수 있다.
도 1은 본 발명의 실시예에 따른 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법을 개략적으로 나타낸 흐름도.
도 2는 도 1의 S100 단계를 순차적으로 도시한 흐름도.
도 3은 도 1의 S200 단계를 순차적으로 도시한 흐름도.
도 4의 (a) 및 (b)는 예시 영상 및 예시 영상의 분할 맵의 각 클러스터 돌출 점수를 계산한 예시.
도 5는 도 1의 S400 단계를 순차적으로 도시한 흐름도.
도 6의 (a) 및 (b)는 S430 단계에서 이상 클러스터가 제거되는 과정을 시각화한 사진, S400 단계 및 S500 단계를 반복 수행하여 갱신된 기준 돌출 맵을 도시한 사진.
도 7은 본 발명의 실시예에 따른 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법으로 갱신되는 기준 돌출 맵을 도시한 예시도.
도 8은 본 발명의 실시예(Our), RRFC, RFC, CHS, SO, RC를 이용하여 검출된 돌출 맵의 성능 비교 F-measure curve, AUC 및 MAE 결과.
도 9는 본 발명의 실시예(Our), RRFC, RFC, CHS, SO, RC를 이용하여 검출된 돌출 맵을 나타낸 시각적 측면.
이하, 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 또한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하의 설명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.
본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 실시 예를 첨부한 도 1 내지 도 9를 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법을 개략적으로 나타낸 흐름도이다.
도 2는 도 1의 S100 단계를 순차적으로 도시한 흐름도이다.
도 3은 도 1의 S200 단계를 순차적으로 도시한 흐름도이다.
도 4의 (a) 및 (b)는 예시 영상 및 예시 영상의 분할 맵의 각 클러스터 돌출 점수를 계산한 예시이다.
도 5는 도 1의 S400 단계를 순차적으로 도시한 흐름도이다.
도 6의 (a) 및 (b)는 S430 단계에서 이상 클러스터가 제거되는 과정을 시각화한 사진, S400 단계 및 S500 단계를 반복 수행하여 갱신된 기준 돌출 맵을 도시한 사진이다.
도 7은 본 발명의 실시예에 따른 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법으로 갱신되는 기준 돌출 맵을 도시한 예시도이다.
본 발명은 2D static 영상에서 가장 두드러진 객체에 큰 “강도” 값을 부여하기 위한 것으로, 반복적으로 성능 저하를 일으키는 이상 클러스터 제거하고 계산 복잡성이 낮아 성능 손실이 거의 없어 개선된 돌출 맵을 얻을 수 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법을 제공할 수 있다.
도 1을 참조하면, 본 발명의 실시예에 따른 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법은 다중 레벨 클러스터 생성 단계(S100), 돌출 계산 단계(S200), 1차 돌출 맵 결합 단계(S300), 이상 클러스터 제거 단계(S400) 및 2차 돌출 맵 결합 단계(S500)를 포함할 수 있다.
더욱 구체적으로, 다중 레벨 클러스터 생성 단계(S100)는 영상을 분할 맵으로 추출하는 단계로, 통계적 일치성을 유지하기 위하여 여러 개의 분할 맵을 생성하는 단계이다.
이와 같이 분할 맵을 생성할 때 작은 클러스터를 가지는 분할 맵은 큰 객체를 검출하는데 유리하며, 큰 클러스터를 가지는 분할 맵은 작은 객체를 검출하는데 유리하다.
S100 단계는 도 2와 같이, 영상을 슈퍼 픽셀로 분할시키는 단계(S110), 컬러 특징을 추출하는 단계(S120) 및 분할 맵을 추출하는 단계(S130)를 포함할 수 있다.
먼저, 슈퍼 픽셀로 분할시키는 단계(S110)는 영상을 슈퍼 픽셀로 분할시키는 것으로, 영상의 모든 픽셀을 그대로 사용할 경우 많은 계산 시간이 필요하기 때문에 슈퍼 픽셀 단위로 분할하는 것이다.
S110 단계는 슈퍼 픽셀(Super-pixel) 알고리즘을 적용하여 입력된 영상을 색과 평면 공간에서의 위치 차이를 기반으로 조밀하고 균일하게 군집화하여 슈퍼 픽셀로 분할시킬 수 있다.
여기서, 슈퍼 픽셀(Super-pixel) 알고리즘은 SLIC 기법으로, 이미지의 색과 평면 공간에서의 위치 차이를 기반으로 조밀하고 균일하게 군집화하는 기법이다.
컬러 특징을 추출하는 단계(S120)는 S110 단계에서 분할된 각 슈퍼 픽셀에서 컬러 특징을 추출할 수 있다.
이와 같은 S120 단계는 슈퍼 픽셀에서 평균 RGB, CIELAB, HSV 컬러 특징들을 추출하는 것인데, 각 슈퍼 픽셀로부터 평균 컬러 값을 계산하는 하는 것으로 컬러 특징을 추출하는 것이다.
즉, 슈퍼 픽셀은 “영역”이고 각각의 컬러 값들은 “픽셀 단위”로 되어 있어 각 슈퍼 픽셀에 대응하는 컬러 값들을 구하기 위하여 평균을 계산하여 컬러 특징으로 사용한다.
분할 맵을 추출하는 단계(S130)는 추출된 컬러 특징들을 기반으로 대조 값을 계산하는 단계로, 전역 대조(Global contrast) 및 배경 대조(Background contrast)를 계산할 수 있다.
여기서 대조 값인 전역 대조 및 배경 대조는 하기 수학식 1 및 수학식 2로 각각 계산하여 구할 수 있다.
Figure 112018045472050-pat00013
Figure 112018045472050-pat00014
여기서, Sk는 슈퍼 픽셀, Si는 인접한 모든 슈퍼 픽셀, ωgc(Si)는 슈퍼 픽셀 크기에 대한 가중치, D(Sk, Si)는 두 슈퍼 픽셀간의 색 거리, Ibnd는 영상 외관에 있는 슈퍼 픽셀 집합, ωbc(Si)는 영상 외곽 Ibnd에 슈퍼 픽셀Si가 차지하는 비율이다.
이와 같이 구해진 컬러 특징과 대조 값들은 S130 단계에서 생성되는 클러스터의 클러스터링 과정에서 좀 더 유사한 값들끼리 동질 영역으로 그룹화시킬 수 있도록 도움을 줄 수 있어 클러스터링 결과가 더욱 향상될 수 있다.
분할 맵을 추출하는 단계(S130)은 컬러 특징 및 대조 값을 기반으로 슈퍼 픽셀을 중심 이동(Mean-shift) 알고리즘을 이용하여 클러스터를 생성하는 것으로 분할 맵을 추출할 수 있다.
여기서 중심 이동(Mean-shift) 알고리즘은 일반적으로 데이터 집합의 밀도분포(특징점, 코너, 색상)를 기반으로 관심영역(ROI: Region Of Interest) 객체를 고속으로 추적하는 알고리즘이며, 초기의 검색 영역의 크기와 위치를 지정하면 반복되는 색 분할 계산에 의해서 색상 클러스터가 발생되고 초기 지정한 색 영역에 기반하여 경계를 결정하여 관심 물체를 추출할 수 있는 것이다.
즉, S130 단계는 컬러 특징 및 대조 값을 기반으로 중심 이동(Mean-shift) 알고리즘을 이용하여 클러스터링을 하는 것으로, 슈퍼 픽셀을 동질 영역으로 그룹화시켜 분할할 수 있다. 이때 클러스터가 생성되는 것이다.
또한, S130 단계에서는 통계적 의미를 얻기 위하여 중심 이동(Mean-shift) 알고리즘의 커널 크기를 조절하여 여러 커널 크기를 적용하는 것으로, 다중 결과(분할 맵)를 얻을 수 있다.
이때 커널 크기는 경험적인 값을 사용하는 기존 방식과는 다르게 AMISE를 사용하여 계산될 수 있어, 중심 이동(Mean-shift) 알고리즘에서 적응적인 커널 크기를 사용할 수 있다. 즉, 구해진 컬러 특징 및 대조 값과 같은 데이터 분포를 충분히 고려하여 조절된 적응적인 커널 크기를 사용할 수 있는 것이다.
상기와 같은 과정을 통해 다중 분할 맵을 추출할 수 있다.
Asymptotic mean integrated squared error(AMISE)는 커널 밀도 추정(kernel density estimation) 알고리즘으로 커널 크기를 추정할 때 사용되는 기본적인 알고리즘이다.
돌출 계산 단계(S200)는 추출된 각각의 분할 맵에서 각각의 클러스터에 대한 돌출 점수를 계산하여 돌출 맵을 얻을 수 있는 단계이다.
이러한 S200 단계는 도 3과 같이, 각 분할 맵 전체에서 각각의 클러스터가 차지하는 비율을 계산하는 단계(S210), 각 분할 맵 외곽에서 각각의 클러스터가 차지하는 비율을 계산하는 단계(S220) 및 각 분할 맵의 돌출점수를 계산하여 돌출 맵으로 생성하는 단계(S230)를 포함할 수 있다.
S200 단계에서 사용되는 수학식들은 두 가지 정의를 기반으로 구성된다.
두 가지 정의는 '첫째, 객체는 배경보다 분산이 작다. 둘째, 객체는 배경보다 영상 외곽에 대한 영향력이 작다.'이다.
먼저, 각 분할 맵 전체에서 각각의 클러스터가 차지하는 비율을 계산하는 단계(S210)는 하기 수학식 3을 통해 하나의 분할 맵 전체에서 각 클러스터가 차지하는 비율을 계산할 수 있다.
Figure 112018045472050-pat00015
여기서,
Figure 112018045472050-pat00016
는 클러스터 R에 포함된 슈퍼 픽셀 개수,
Figure 112018045472050-pat00017
는 전체 슈퍼 픽셀 개수이다.
각 분할 맵 외곽에서 각각의 클러스터가 차지하는 비율을 계산하는 단계(S220)는 하기 수학식 4를 통해 하나의 분할 맵 외곽에서 각 클러스터가 차지하는 비율(연결 강도)를 계산할 수 있다.
Figure 112018045472050-pat00018
여기서,
Figure 112018045472050-pat00019
는 클러스터 내부에서 외곽에 연결된 슈퍼 픽셀 개수,
Figure 112018045472050-pat00020
는 외곽 전체 슈퍼 픽셀 개수이다
각 분할 맵의 돌출점수를 계산하여 돌출 맵으로 생성하는 단계(S230)는 S210 단계에서 구해진 각 클러스터가 전체에서 차지하는 비율 및 S220 단계에서 구해진 각 클러스터가 외곽에서 차지하는 비율을 이용하여 각 분할 맵의 각 클러스터의 돌출점수를 계산할 수 있다.
여기서 돌출점수는 하기 수학식 5를 통해 계산할 수 있다.
Figure 112018045472050-pat00021
도 4를 예시로 더욱 구체적으로 설명하자면, 도 4의 (a)는 예시 사진이고, 도 4의 (b)는 돌출 점수 계산 결과로, 예시 사진으로 S100 단계 및 S200 단계를 거쳐 도 4의 (b)와 같은 돌출 맵을 얻을 수 있다.
도 4의 (b)를 보면 알 수 있듯이, 4개의 클러스터를 가지며, 전경 및 배경의 클러스터가 쉽게 식별될 수 있다.
또한, 검은 소의 경우 전체 면적의 15%를 차지하며 영상 외곽에서 약 9.6%를 점유하고 있는데, 돌출 점수가 6.0213으로 배경보다 높은 값을 지니는 것을 확인할 수 있다.
즉, 여기서 배경일수록 돌출 점수가 낮은 값을 지니고, 객체일수록 돌출 점수가 높은 값을 지니는 것을 알 수 있다.
상기와 같은 과정을 통해 돌출 맵을 얻을 수 있다.
1차 돌출 맵 결합 단계(S300)는 S200 단계에서 얻어진 다수개의 돌출 맵을 결합하여 기준 돌출 맵을 획득할 수 있다.
S300 단계는 다수개의 돌출 맵을 하기 수학식 6 및 7을 통해 결합하여 기준 돌출 맵을 획득할 수 있다.
Figure 112018045472050-pat00022
Figure 112018045472050-pat00023
여기서, Fi, Bi은 각각 전경 및 배경 가중치, ωij는 공간적 평활화, N은 슈퍼 픽셀, a는 곡선 기울기, μ는 기준 돌출 맵의 고조파 평균값이다.
상기의 수학식 6은 Weighted least square 방법론으로, 가중 최소 자승(WLS) 방법론은 만일 관측값의 신뢰도(중요도)가 서로 다를 경우에는 각각의 오차 제곱에 가중치를 곱해서 최소화시키는 방법이다.
이러한 S300 단계에서는 선형으로 합쳐진 돌출 맵들이 수학식 7에 의해 background Bi 와 foreground Fi 가중치 맵을 얻을 수 있다.
또한, 수학식 6은 에러를 최소화 시키는 값을 최종 si로 사용하는 것으로, 더욱 구체적으로 설명하면, 수학식 6을 s로 편미분 하면
Figure 112018045472050-pat00024
형태이며, si가 최종적으로 추정될 수 있다.
이상 클러스터 제거 단계(S400)는 기준 돌출 맵을 기준으로 각 돌출 맵의 유사도를 계산하여 이상 클러스터를 제거하는 단계로, 최종적인 기준 돌출 맵의 성능을 저하시키는 이상 클러스터를 제거하여 최종적인 기준 돌출 맵의 품질을 높일 수 있다.
이러한 S400 단계는 도 5와 같이, 기준 돌출 맵과 각 돌출 맵의 유사도를 계산하는 단계(S410), 계산된 각 돌출 맵의 유사도의 평균 값을 구하는 단계(S420) 및 유사도의 평균 값보다 유사도가 미만인 돌출 맵에 대응하는 이상 클러스터를 삭제하는 단계(S430)를 포함할 수 있다.
먼저, 기준 돌출 맵과 각 돌출 맵의 유사도를 계산하는 단계(S410)는 결합된 기준 돌출 맵과 각 돌출 맵 사이의 유사도를 하기 수학식 8을 사용하여 계산할 수 있다.
Figure 112018045472050-pat00025
여기서, cm는 기준 돌출 맵, ms는 각 돌출 맵이고, x, y는 좌표값, 즉 거리값을 이용하여 유사도를 구할 수 있는 것이다.
계산된 각 돌출 맵의 유사도의 평균 값을 구하는 단계(S420)는 S410 단계에서 계산된 각 돌출 맵의 유사도의 평균 값을 구할 수 있다.
유사도의 평균 값보다 유사도가 미만인 돌출 맵에 대응하는 이상 클러스터를 삭제하는 단계(S430)는 S420 단계에서 구한 평균 값보다 유사도가 미만인 돌출 맵에 대응하는 클러스터를 제거할 수 있다.
즉, 이와 같은 과정으로 이상 클러스터를 제거하는 것이다.
2차 돌출 맵 결합 단계(S500)는 이상 클러스터가 제거된 돌출 맵을 다시 결합하여 기준 돌출 맵을 갱신할 수 있다. S500 단계는 S300 단계와 동일한 방법으로 돌출 맵을 결합할 수 있다.
이러한 과정을 거친 다음 S500 단계에서 갱신된 기준 돌출 맵과 S400 단계에서 기준으로 사용한 기준 돌출 맵(이전 기준 돌출 맵)을 비교하여(S600) 갱신된 기준 돌출 맵과 이전 기준 돌출 맵이 차이가 있을 경우 차이가 없을 때까지 S400 단계 및 S500 단계를 반복 수행하여 최종적으로 최적화된 기준 돌출 맵을 검출할 수 있다.
이와 같은 반복 수행은 갱신된 기준 돌출 맵을 가지고 수행될 수 있다.
이와 같이 반복 수행으로, 도 6의 (a)와 같이 S430 단계에서 이상 클러스터가 제거될 수 있고, 도 6의 (b)와 같이 반복 1, 반복 2, 반복 3을 통해 S500 단계에서 기준 돌출 맵이 갱신될 수 있다.
즉, 이러한 반복 수행으로 도 7과 같이 반복 수행으로 점차 기준 돌출 맵이 향상되고 최종적으로 최적화된 기준 돌출 맵을 검출할 수 있다.
이하 본 발명의 내용을 실시예, 비교예 및 시험예를 통하여 구체적으로 설명한다.
< 실험예 1>
다양한 방법으로 검출된 돌출 맵을 비교하기 위해 본 발명의 실시예(Our), RRFC, RFC, CHS, SO, RC를 이용하여 검출된 돌출 맵의 성능 및 시각적 측면을 평가하였다.
이때, 4개의 벤치 마크, 즉 MSRA-ASD, 10K, ECSSD 및 MSOD를 사용하여 F-점수곡선, AUC 및 MAE 평가를 실시하였고, 그 결과는 도 8과 같다(위에서 아래로 F-점수곡선, AUC 및 MAE의 결과).
또한, 본 발명의 실시예(Our), RRFC, RFC, CHS, SO, RC를 이용하여 검출된 돌출 맵을 시각적 측면으로 비교하였고, 시각적 측면은 도 9와 같다.
도 8을 보면 알 수 있듯이, 본 발명의 실시예(Our)는 도 8의 F-점수곡선에서 임계값 변경 및 안정성에 대한 민감도가 낮은 것을 볼 수 있고, AUC에서 높은 성능을 보였으며, MAE 결과 평균 절대 오차가 낮은 것을 확인할 수 있어 전체 대상 영역을 균일하게 강조할 수 있다고 판단될 수 있다.
따라서, RRFC, RFC, CHS, SO, RC들과 비교하여 본 발명의 실시예(Our)가 우수한 성능을 가지는 것을 확인할 수 있다.
도 9의 (a)는 원본 영상(Original), (b)는 CHS, (c)는 RC, (d)는 RFC, (e)는 SO, (f)는 실시예(Our), (g)는 실측자료(정답이미지)이다. 여기서, RRFC는 RFC와 큰 차이가 없어 생략하였다.
도 9를 보면 알 수 있듯이, RRFC, RFC, CHS, SO, RC들과 비교하여 본 발명의 실시예(Our)가 실측자료에 더 가깝게 검출되었고, 더 깔끔하게 배경을 제거하여 객체를 정확하고 균일하게 강조하는 것을 확인할 수 있다.
< 실험예 2>
본 발명의 실시예에 따른 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법을 통해 갱신된 기준 돌출 맵을 반복 수행 횟수에 따라 증가된 성능 변화와 계산 시간을 측정하였고, 그 결과를 하기 표 1에 나타내었다.
Figure 112018045472050-pat00026
상기 표 1에서 “A”는 이전 기준 돌출 맵과 갱신된 기준 돌출 맵을 비교하여 큰 차이가 없을 때 종료시켰을 때의 결과이다.
표 1을 보면 알 수 있듯이, 반복 수행할수록 성능이 증가하는 것을 확일할 수 있었고, 반복 횟수가 증가함에 따라 일정 수치에 수렴하는 것을 확인할 수 있었다.
또한, 걸리는 계산 시간도 짧고 다소 일정한 것을 확인할 수 있었다.
상기에서 설명한 바와 같이, 본 발명의 실시예에 따른 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법은 반복적 이상 클러스터 제거를 이용하여 계산 복잡성이 낮아 성능 손실이 거의 없을 수 있다.
이에 따라, 최종적으로 얻어지는 돌출 맵이 개선될 수 있다.
또한, 본 발명은 커널 크기를 AMISE를 사용하여 계산함으로써, 경험적 커널 크기 값을 사용하는 기존 방법과는 다르게 적응적 커널 크기를 추정할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (11)

  1. (a) 영상을 분할 맵으로 추출하는 다중 레벨 클러스터 생성 단계;
    (b) 추출된 각각의 분할 맵에서 각각의 클러스터에 대한 돌출 점수를 계산하여 돌출 맵을 얻는 돌출 계산 단계;
    (c) 얻어진 다수개의 돌출 맵을 결합하여 기준 돌출 맵을 획득하는 1차 돌출 맵 결합 단계;
    (d) 기준 돌출 맵을 기준으로 각 돌출 맵의 유사도를 계산하여 이상 클러스터를 제거하는 이상 클러스터 제거 단계 및
    (e) 이상 클러스터가 제거된 돌출 맵을 다시 결합하여 기준 돌출 맵을 갱신하는 2차 돌출 맵 결합 단계를 포함하되,
    갱신된 기준 돌출 맵이 이전 기준 돌출 맵과 비교하여 차이가 있을 경우 차이가 없을 때까지, 갱신된 기준 돌출 맵으로 상기 (d) 및 (e) 단계를 반복 수행하고,
    상기 (a) 단계는,
    영상을 슈퍼 픽셀로 분할시키는 단계;
    각 슈퍼 픽셀에서 컬러 특징을 추출하는 단계;
    추출된 컬러 특징들을 기반으로 대조 값을 계산하는 단계 및
    상기 컬러 특징 및 대조 값을 기반으로 슈퍼 픽셀을 중심 이동(Mean-shift) 알고리즘을 이용하여 클러스터를 생성하고 분할 맵을 추출하는 단계를 포함하는 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 대조 값을 계산하는 단계는,
    하기 수학식 1을 통해 전역 대조를 계산하고, 하기 수학식 2를 통해 배경 대조를 계산하는 것을 특징으로 하는 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법.
    [수학식 1]
    Figure 112018075547630-pat00027

    [수학식 2]
    Figure 112018075547630-pat00028

    (여기서, Sk는 슈퍼 픽셀, Si는 인접한 모든 슈퍼 픽셀, ωgc(Si)는 슈퍼 픽셀 크기에 대한 가중치, D(Sk, Si)는 두 슈퍼 픽셀간의 색 거리, Ibnd는 영상 외관에 있는 슈퍼 픽셀 집합, ωbc(Si)는 영상 외곽Ibnd에 슈퍼 픽셀Si가 차지하는 비율이다)
  4. 제1항에 있어서,
    상기 분할 맵을 추출하는 단계는,
    상기 중심 이동(Mean-shift) 알고리즘에서 사용되는 커널 크기는 AMISE를 사용하여 계산되는 것을 특징으로 하는 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법.
  5. (a) 영상을 분할 맵으로 추출하는 다중 레벨 클러스터 생성 단계;
    (b) 추출된 각각의 분할 맵에서 각각의 클러스터에 대한 돌출 점수를 계산하여 돌출 맵을 얻는 돌출 계산 단계;
    (c) 얻어진 다수개의 돌출 맵을 결합하여 기준 돌출 맵을 획득하는 1차 돌출 맵 결합 단계;
    (d) 기준 돌출 맵을 기준으로 각 돌출 맵의 유사도를 계산하여 이상 클러스터를 제거하는 이상 클러스터 제거 단계 및
    (e) 이상 클러스터가 제거된 돌출 맵을 다시 결합하여 기준 돌출 맵을 갱신하는 2차 돌출 맵 결합 단계를 포함하되,
    갱신된 기준 돌출 맵이 이전 기준 돌출 맵과 비교하여 차이가 있을 경우 차이가 없을 때까지, 갱신된 기준 돌출 맵으로 상기 (d) 및 (e) 단계를 반복 수행하고,
    상기 (b) 단계는,
    각 분할 맵 전체에서 각각의 클러스터가 차지하는 비율을 계산하는 단계;
    각 분할 맵 외곽에서 각각의 클러스터가 차지하는 비율을 계산하는 단계 및
    전체에서 차지하는 비율 및 외곽에서 차지하는 비율을 통해 각 분할 맵의 돌출점수를 계산하여 돌출 맵으로 생성하는 단계를 포함하는 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법.
  6. 제5항에 있어서,
    각 분할 맵 전체에서 각각의 클러스터가 차지하는 비율을 계산하는 단계는,
    하기 수학식 3을 통해 계산되는 것을 특징으로 하는 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법.
    [수학식 3]
    Figure 112018045472050-pat00029

    (여기서,
    Figure 112018045472050-pat00030
    는 클러스터 R에 포함된 슈퍼 픽셀 개수,
    Figure 112018045472050-pat00031
    는 전체 슈퍼 픽셀 개수이다)
  7. 제6항에 있어서,
    각 분할 맵 외곽에서 각각의 클러스터가 차지하는 비율을 계산하는 단계는,
    하기 수학식 4를 통해 계산되는 것을 특징으로 하는 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법.
    [수학식 4]
    Figure 112018045472050-pat00032

    (여기서,
    Figure 112018045472050-pat00033
    는 클러스터 내부에서 외곽에 연결된 슈퍼 픽셀 개수,
    Figure 112018045472050-pat00034
    는 외곽 전체 슈퍼 픽셀 개수이다)
  8. 제7항에 있어서,
    상기 돌출 맵으로 생성하는 단계는,
    상기 돌출 점수를 하기 수학식 5를 통해 계산하는 것을 특징으로 하는 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법.
    [수학식 5]
    Figure 112018045472050-pat00035

  9. (a) 영상을 분할 맵으로 추출하는 다중 레벨 클러스터 생성 단계;
    (b) 추출된 각각의 분할 맵에서 각각의 클러스터에 대한 돌출 점수를 계산하여 돌출 맵을 얻는 돌출 계산 단계;
    (c) 얻어진 다수개의 돌출 맵을 결합하여 기준 돌출 맵을 획득하는 1차 돌출 맵 결합 단계;
    (d) 기준 돌출 맵을 기준으로 각 돌출 맵의 유사도를 계산하여 이상 클러스터를 제거하는 이상 클러스터 제거 단계 및
    (e) 이상 클러스터가 제거된 돌출 맵을 다시 결합하여 기준 돌출 맵을 갱신하는 2차 돌출 맵 결합 단계를 포함하되,
    갱신된 기준 돌출 맵이 이전 기준 돌출 맵과 비교하여 차이가 있을 경우 차이가 없을 때까지, 갱신된 기준 돌출 맵으로 상기 (d) 및 (e) 단계를 반복 수행하고,
    상기 (c) 단계는,
    다수개의 돌출 맵을 하기 수학식 6 및 7을 통해 결합하여 기준 돌출 맵을 획득하는 것을 특징으로 하는 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법.
    [수학식 6]
    Figure 112018075547630-pat00036

    [수학식 7]
    Figure 112018075547630-pat00037

    (여기서, Fi, Bi은 각각 전경 및 배경 가중치, ωij는 공간적 평활화, N은 슈퍼 픽셀, a는 곡선 기울기, μ는 기준 돌출 맵의 고조파 평균값이다)
  10. (a) 영상을 분할 맵으로 추출하는 다중 레벨 클러스터 생성 단계;
    (b) 추출된 각각의 분할 맵에서 각각의 클러스터에 대한 돌출 점수를 계산하여 돌출 맵을 얻는 돌출 계산 단계;
    (c) 얻어진 다수개의 돌출 맵을 결합하여 기준 돌출 맵을 획득하는 1차 돌출 맵 결합 단계;
    (d) 기준 돌출 맵을 기준으로 각 돌출 맵의 유사도를 계산하여 이상 클러스터를 제거하는 이상 클러스터 제거 단계 및
    (e) 이상 클러스터가 제거된 돌출 맵을 다시 결합하여 기준 돌출 맵을 갱신하는 2차 돌출 맵 결합 단계를 포함하되,
    갱신된 기준 돌출 맵이 이전 기준 돌출 맵과 비교하여 차이가 있을 경우 차이가 없을 때까지, 갱신된 기준 돌출 맵으로 상기 (d) 및 (e) 단계를 반복 수행하고,
    상기 (d) 단계는,
    상기 기준 돌출 맵과 각 돌출 맵의 유사도를 계산하는 단계;
    계산된 각 돌출 맵의 유사도의 평균 값을 구하는 단계 및
    상기 유사도의 평균 값보다 유사도가 미만인 돌출 맵에 대응하는 이상 클러스터를 삭제하는 단계를 포함하는 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법.
  11. 삭제
KR1020180053045A 2018-05-09 2018-05-09 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법 KR101914415B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180053045A KR101914415B1 (ko) 2018-05-09 2018-05-09 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180053045A KR101914415B1 (ko) 2018-05-09 2018-05-09 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법

Publications (1)

Publication Number Publication Date
KR101914415B1 true KR101914415B1 (ko) 2018-11-01

Family

ID=64398359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180053045A KR101914415B1 (ko) 2018-05-09 2018-05-09 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법

Country Status (1)

Country Link
KR (1) KR101914415B1 (ko)

Similar Documents

Publication Publication Date Title
US9483835B2 (en) Depth value restoration method and system
KR101143218B1 (ko) 컬러 세그먼테이션 기반 스테레오 3ｄ 재구성 시스템 및프로세스
US20190347767A1 (en) Image processing method and device
EP2927873B1 (en) Image processing apparatus and image processing method
US10165248B2 (en) Optimization method of image depth information and image processing apparatus
US8818126B2 (en) Method and apparatus for block-based image denoising
US10748023B2 (en) Region-of-interest detection apparatus, region-of-interest detection method, and recording medium
CN114240989A (zh) 图像分割方法、装置、电子设备及计算机存储介质
CN105513064A (zh) 一种基于图像分割和自适应权重的立体匹配方法
JP2011034178A (ja) 画像処理装置および画像処理方法、並びにプログラム
CN109977952B (zh) 基于局部最大值的候选目标检测方法
KR102472004B1 (ko) 복수의 센서간 캘리브레이션 방법 및 장치
CN110147816B (zh) 一种彩色深度图像的获取方法、设备、计算机存储介质
US10708505B2 (en) Image processing apparatus, method, and storage medium
CN109345536B (zh) 一种图像超像素分割方法及其装置
KR20110133416A (ko) 멀티 스레드 방식을 기반으로 하는 3ｄ 디스플레이를 위한 비디오 처리 방법
JP7014005B2 (ja) 画像処理装置及び方法、電子機器
KR101914415B1 (ko) 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법
CN111445411A (zh) 图像去噪方法、装置、计算机设备和存储介质
JP6546385B2 (ja) 画像処理装置及びその制御方法、プログラム
KR102119138B1 (ko) 카메라를 위한 베이지안 기반 영상 복원 방법
CN111476821B (zh) 基于在线学习的目标跟踪方法
CN106296800B (zh) 信息处理方法及电子设备
US20230169708A1 (en) Image and video matting
JP2020198132A (ja) シーン推定装置及び方法、コンピュータプログラム並びに記録媒体

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant