KR102416867B1 - 비전 문제의 솔루션 제공 방법 및 그 장치 - Google Patents

비전 문제의 솔루션 제공 방법 및 그 장치 Download PDF

Info

Publication number
KR102416867B1
KR102416867B1 KR1020170028951A KR20170028951A KR102416867B1 KR 102416867 B1 KR102416867 B1 KR 102416867B1 KR 1020170028951 A KR1020170028951 A KR 1020170028951A KR 20170028951 A KR20170028951 A KR 20170028951A KR 102416867 B1 KR102416867 B1 KR 102416867B1
Authority
KR
South Korea
Prior art keywords
equation
here
following
function
command
Prior art date
Application number
KR1020170028951A
Other languages
English (en)
Other versions
KR20180102385A (ko
Inventor
홍병우
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020170028951A priority Critical patent/KR102416867B1/ko
Publication of KR20180102385A publication Critical patent/KR20180102385A/ko
Application granted granted Critical
Publication of KR102416867B1 publication Critical patent/KR102416867B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

비전 문제의 솔루션 제공 방법 및 그 장치가 개시된다.
본 발명의 실시예에 따른 비전 문제의 솔루션 제공 방법은, (a) 에너지 함수를 설정하는 단계; (b) 상기 에너지 함수를 라그랑지안(Lagrangian) 함수로 설정하는 단계; (c) 상기 라그랑지안 함수에 ADMM 알고리즘을 적용하여 u, z 및 y를 업데이트 하는 단계; (d) 상기 u, 상기 z 및 상기 y의 업데이트에 따라 상기
Figure 112017022772248-pat00404
를 업데이트 하는 단계; 및 (e) 상기 u가 미리 설정된 임계값 이하로 수렴할 때까지 상기 (c) 단계 및 상기 (d) 단계를 반복하여 실시하고, 상기 임계값 이하로 수렴된 u를 솔루션으로 선정하는 단계를 포함할 수 있다.

Description

비전 문제의 솔루션 제공 방법 및 그 장치 {Method and its Apparatus for offering solution of vision problem}
본 발명은 솔루션 제공 방법 및 그 장치에 대한 것으로 보다 상세하게는, 컴퓨터 비전 문제(vision problem)의 솔루션(solution)을 제공하는 방법 및 그 장치에 대한 것이다.
다양한 컴퓨터 비전 문제들은, 에너지 함수가 공식화되고 최소 에너지가 해당 문제의 해결책으로 이르는 곳인 가변 프레임워크(variational frame work)에서 에너지 최소화 문제로 바뀔 수 있다.
에너지 함수에 대한 한가지 기본적인 분류는 컨벡스(convex) 또는 넌컨벡스(non-convex) 이다.
여러 개의 지역적인 최소점을 가질 수 있는 넌컨벡스 에너지(non-convex energy)와는 대조적으로 컨벡스 에너지의 장점은 초기 조건에 상관없이 고유한 글로벌 솔루션을 얻을 수 있다는 점이다.
비록 넌컨벡스 공식화(non-convex formulation)가 가끔씩 보다 현실적인 이미징 모델을 설명해주기는 하나, 컨벡스 공식화(convex formulations)의 바람직한 연산 특성은 효율적인 최적화 알고리즘 분야에 최근 진보를 가져오게 하였다.
이러한 컨벡스(convex) 최적화 기술은 이미지의 노이즈제거(denosing), 세그멘테이션(segmentation) 및 모션 추정(motion estimation)과 같은 수많은 컴퓨터 비전 문제에 적용되어 왔다.
변분 접근법(variational approach)에서 그와 같은 문제들에 대한 컨벡스(convex) 최적화는 일반적으로 데이터 정확도 구성(data fidelity term)과 정규화 구성(regularization term)의 조합으로 구성된다.
데이터 정확도 구성(data fidelity term)은 모델과 측정치간의 오차를 측정하며, 정규화 구성(regularization term)은 솔루션에 대한 선험적인 정보(a-priori information)를 포함한다.
모델 적합성과 정규화도 간의 트레이드 오프(trade-off)는 스태틱 퍼지티브 웨잇(static positive weight)에 의해 제어된다.
이 변수는 가끔씩 솔루션의 퀄리티(quality)에 중대한 관계를 가진다.
가변 프레임워크(variational framework)에서 적절한 제어 파라미터들(control parameters)을 결정하는 공통 기준 중 하나는 광범위한 육안 검사에 의한 수동 선택 또는 훈련 과정을 통한 특정 품질 측정에 대한 철저한 조사이다.
최적의 제어 변수를 선택하는 어려움 및 예민함에 추가하여, 데이터 정확도 및 정규화간의 정적 밸런싱(static balancing)은 데이터 정확도와 정규화에너지가 균형을 위해 계속 변화하는 최적화 과정에서의 두 개의 구성간의 밸런싱의 대안을 적용하여 보다 나은 최종 솔루션으로 이끌어지는 중간 솔루션(intermediate solution)에 적합하지 않다는 문제점이 있다.
예를 들어, 일정한 전역 정규화 파라미터는 모션 추정 응용 프로그램에서 상이한 속도를 가지는 여러 객체들을 처리하는데 효과적이지 않다는 문제점이 있다.
유사하게, 일정한 전역 규칙성은 종종 이미지의 노이즈 제거 또는 세그멘테이션(segmentation) 문제에서 공간적으로 변하는 잡음을 처리하지 못한다는 문제점이 있다.
한국등록특허 제10-1524944호(2015.5.26. 공고)
본 발명은 최적화 과정의 각 반복에서 중간 솔루션에 의해 결정되는 밸런싱 파라미터에 대한 새로운 알고리즘을 적용하는, 비전문제의 솔루션 제공 방법 및 그 장치를 제공하고자 한다.
또한, 데이터 정확도와 정규화 간의 밸런싱 파라미터의 반복적인 적용으로 보다 정확한 결과물을 얻는 최적화 프로세서를 가능하게 하는, 비전문제의 솔루션 제공 방법 및 그 장치를 제공하고자 한다.
또한, 모델과 관측 사이의 공간적으로 변화할 수 있는 통계적 불일치를 다루기 위해, 국소 잔여 성분(local residual)을 고려하여 정규화 정도를 적응형으로 결정하는, 비전문제의 솔루션 제공 방법 및 그 장치를 제공하고자 한다.
본 발명의 일 측면에 따르면, 솔루션 제공 장치가 비전 문제(vision problem)의 솔루션을 제공하는 방법에 있어서, (a) 하기의 <수학식A>형태로 에너지 함수를 설정하는 단계; (b) 상기 에너지 함수를 하기 <수학식 B>에 따른 라그랑지안(Lagrangian) 함수로 설정하는 단계; (c) 상기 라그랑지안 함수에 하기의 <수학식 C>에 따른 ADMM(alternating direction method of multipliers) 알고리즘을 적용하여 u, z 및 y를 업데이트 하는 단계; (d) 상기 u, 상기 z 및 상기 y의 업데이트에 따라 하기의 <수학식 D>를 이용하여 상기
Figure 112017022772248-pat00001
를 업데이트 하는 단계; 및 (e) 상기 u가 미리 설정된 임계값 이하로 수렴할 때까지 상기 (c) 단계 및 상기 (d) 단계를 반복하여 실시하고, 상기 임계값 이하로 수렴된 u를 솔루션(solution)으로 선정하는 단계를 포함하는, 비전 문제의 솔루션 제공 방법이 제공될 수 있다.
<수학식 A>
Figure 112017022772248-pat00002
여기서,
Figure 112017022772248-pat00003
와
Figure 112017022772248-pat00004
는 인너 프러덕트(inner product)
Figure 112017022772248-pat00005
와 유도되는 놈(induced norm)
Figure 112017022772248-pat00006
을 가지는 유한 차원의 실수 벡터 공간이고,
Figure 112017022772248-pat00007
는 수학식
Figure 112017022772248-pat00008
에 따른 놈(norm)을 가지는 연속적인 선형 연산자이고,
Figure 112017022772248-pat00009
와
Figure 112017022772248-pat00010
은 닫혀있고(closed) 고유하며(proper) 컨벡스(convex)인 함수이며,
Figure 112017022772248-pat00011
은
Figure 112017022772248-pat00012
와
Figure 112017022772248-pat00013
의 두 구성요소 간의 전반적인 트레이드 오프(trade off)를 결정하는 제어 파라미터임.
<수학식 B>
Figure 112017022772248-pat00014
여기서,
Figure 112017022772248-pat00015
는 0보다 큰 스칼라 확대 파라미터이고, y는 u 및 z와 연관된 라그랑지안 승수이며,
Figure 112017022772248-pat00016
와
Figure 112017022772248-pat00017
는 상기 에너지 함수의 데이터 정확도(data fidelity)와 정규화(regularization) 구성임.
<수학식 C>
Figure 112017022772248-pat00018
Figure 112017022772248-pat00019
Figure 112017022772248-pat00020
<수학식 D>
Figure 112017022772248-pat00021
여기서, 파라미터
Figure 112017022772248-pat00022
은
Figure 112017022772248-pat00023
범위에 한정되어 있는
Figure 112017022772248-pat00024
에서 값들의 분포에 관련된 값임.
또한, 상기 (b)단계는
(b1) 상기 에너지 함수를 하기의 <수학식 E>에 따른 객관적 함수
Figure 112017022772248-pat00025
로 정리하는 단계; 및 (b2) 새로운 변수
Figure 112017022772248-pat00026
를 도입하여, 상기 객관적 함수
Figure 112017022772248-pat00027
의 최적화 문제를 하기의 <수학식 F>로 변환하는 단계를 포함할 수 있다.
<수학식 E>
Figure 112017022772248-pat00028
여기서,
Figure 112017022772248-pat00029
는 알려지지 않은 변수 u의 도메인임.
<수학식 F>
Figure 112017022772248-pat00030
또한, 상기 비전 문제가 이미지의 노이즈 제거인 경우, 상기 (b1)단계의 <수학식 E>를 하기의 <수학식 G>로 재구성하는 단계를 포함할 수 있다.
<수학식 G>
Figure 112017022772248-pat00031
여기서,
Figure 112017022772248-pat00032
는 노이즈가 있는 입력 이미지임.
또한, 상기 비전 문제가 이미지의 세그멘테이션(segmentation)인 경우, 상기 (b1)단계의 <수학식 E>를 하기의 <수학식 H>로 재구성하는 단계를 포함할 수 있다.
<수학식 H>
Figure 112017022772248-pat00033
여기서,
Figure 112017022772248-pat00034
는 입력 이미지이고, c1 및 c2는 각각 세그멘테이션 경계의 내부 및 외부의 측정치임.
또한, 상기 비전 문제가 모션 추정인 경우, 상기 (b1)단계의 <수학식 E>를 하기의 <수학식 I>로 재구성하는 단계를 포함할 수 있다.
<수학식 I>
Figure 112017022772248-pat00035
여기서,
Figure 112017022772248-pat00036
이며,
Figure 112017022772248-pat00037
는 이미지 도메인이며,
Figure 112017022772248-pat00038
는 두 개의 다른 경우에서 획득한 이미지로, 밝기 항상성 가정(brightness consistency assumption)에 기초한 옵티컬 플로우(optical flow)를 고려하여,
Figure 112017022772248-pat00039
이며, 연력적인 솔루션 v0 를 v에 가깝도록 첫 번째 구성을
Figure 112017022772248-pat00040
와 같이 선형화 할 수 있음.
본 발명의 다른 측면에 의하면, 비전 문제(vision problem)의 솔루션을 제공하는 장치에 있어서, 디스플레이; 입력부; 하나 이상의 프로세스들; 메모리; 및 상기 메모리에 저장되고 상기 하나 이상의 프로세스들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은, 하기의 <수학식 K >형태로 에너지 함수를 설정하는 명령어; 상기 에너지 함수를 하기 <수학식 L>에 따른 라그랑지안(Lagrangian) 함수로 설정하는 명령어; 상기 라그랑지안 함수에 하기의 <수학식 M>에 따른 ADMM(alternating direction method of multipliers) 알고리즘을 적용하여 u, z 및 y를 업데이트 하는 명령어; 상기 u, 상기 z 및 상기 y의 업데이트에 따라 하기의 <수학식 N>를 이용하여 상기
Figure 112017022772248-pat00041
를 업데이트 하는 명령어; 및 상기 u가 미리 설정된 임계값 이하로 수렴할 때까지 상기 u, z 및 y를 업데이트 하는 명령어 및 상기
Figure 112017022772248-pat00042
를 업데이트 하는 명령어를 반복 수행하고, 상기 임계값 이하로 수렴된 u를 솔루션(solution)으로 선정하는 명령어를 포함하는, 솔루션 제공 장치가 제공될 수 있다.
<수학식 K>
Figure 112017022772248-pat00043
여기서,
Figure 112017022772248-pat00044
와
Figure 112017022772248-pat00045
는 인너 프러덕트(inner product)
Figure 112017022772248-pat00046
와 유도되는 놈(induced norm)
Figure 112017022772248-pat00047
을 가지는 유한 차원의 실수 벡터 공간이고,
Figure 112017022772248-pat00048
는 수학식
Figure 112017022772248-pat00049
에 따른 놈(norm)을 가지는 연속적인 선형 연산자이고,
Figure 112017022772248-pat00050
와
Figure 112017022772248-pat00051
은 닫혀있고(closed) 고유하며(proper) 컨벡스(convex)인 함수이며,
Figure 112017022772248-pat00052
은
Figure 112017022772248-pat00053
와
Figure 112017022772248-pat00054
의 두 구성요소 간의 전반적인 트레이드 오프(trade off)를 결정하는 제어 파라미터임.
<수학식 L>
Figure 112017022772248-pat00055
여기서,
Figure 112017022772248-pat00056
는 0보다 큰 스칼라 확대 파라미터이고, y는 u 및 z와 연관된 라그랑지안 승수이며,
Figure 112017022772248-pat00057
와
Figure 112017022772248-pat00058
는 상기 에너지 함수의 데이터 정확도(data fidelity)와 정규화(regularization) 구성임.
<수학식 M>
Figure 112017022772248-pat00059
Figure 112017022772248-pat00060
Figure 112017022772248-pat00061
<수학식 N>
Figure 112017022772248-pat00062
여기서, 파라미터
Figure 112017022772248-pat00063
은
Figure 112017022772248-pat00064
범위에 한정되어 있는
Figure 112017022772248-pat00065
에서 값들의 분포에 관련된 값임.
또한, 상기 라그랑지안(Lagrangian) 함수로 설정하는 명령어는,
상기 에너지 함수를 하기의 <수학식 O>에 따른 객관적 함수
Figure 112017022772248-pat00066
로 정리하는 명령어; 및 새로운 변수
Figure 112017022772248-pat00067
를 도입하여, 상기 객관적 함수
Figure 112017022772248-pat00068
의 최적화 문제를 하기의 <수학식 P>로 변환하는 명령어를 포함할 수 있다.
<수학식 O>
Figure 112017022772248-pat00069
여기서,
Figure 112017022772248-pat00070
는 알려지지 않은 변수 u의 도메인임.
<수학식 P>
Figure 112017022772248-pat00071
또한, 상기 비전 문제가 이미지의 노이즈 제거인 경우, 상기 <수학식 O>를 하기의 <수학식 Q>로 재구성하는 명령어를 포함할 수 있다.
<수학식 Q>
Figure 112017022772248-pat00072
여기서,
Figure 112017022772248-pat00073
는 노이즈가 있는 입력 이미지임.
또한, 상기 비전 문제가 이미지의 세그멘테이션(segmentation)인 경우, 상기 <수학식 O>를 하기의 <수학식 R>로 재구성하는 명령어를 포함할 수 있다.
<수학식 R>
Figure 112017022772248-pat00074
여기서,
Figure 112017022772248-pat00075
는 입력 이미지이고, c1 및 c2는 각각 세그멘테이션 경계의 내부 및 외부의 측정치임.
또한, 상기 비전 문제가 모션 추정인 경우, <수학식 O>를 하기의 <수학식 S>로 재구성하는 명령어를 포함할 수 있다.
<수학식 S>
Figure 112017022772248-pat00076
여기서,
Figure 112017022772248-pat00077
이며,
Figure 112017022772248-pat00078
는 이미지 도메인이며,
Figure 112017022772248-pat00079
는 두 개의 다른 경우에서 획득한 이미지로, 밝기 항상성 가정(brightness consistency assumption)에 기초한 옵티컬 플로우(optical flow)를 고려하여,
Figure 112017022772248-pat00080
이며, 연력적인 솔루션 v0 를 v에 가깝도록 첫 번째 구성을
Figure 112017022772248-pat00081
와 같이 선형화 할 수 있음.
본 발명의 또 다른 측면에 의하면, 상술한 어느 하나의 솔루션 제공 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
본 발명의 실시예에 따른 비전문제의 솔루션 제공 방법 및 그 장치는 최적화 과정의 각 반복에서 중간 솔루션에 의해 결정되는 밸런싱 파라미터에 대한 새로운 알고리즘을 적용한다는 장점이 있다.
또한, 데이터 정확도와 정규화 간의 밸런싱 파라미터의 반복적인 적용으로 보다 정확한 결과물을 얻는 최적화 프로세서가 가능하다는 장점이 있다.
또한, 모델과 관측 사이의 공간적으로 변화할 수 있는 통계적 불일치를 다루기 위해, 국소 잔여 성분(local residual)을 고려하여 정규화 정도를 적응형으로 결정한다는 장점이 있다.
도 1은 본 발명의 실시예에 따른 솔루션 제공 방법의 순서도.
도 2는 본 발명의 실시예에 따른 솔루션 제공장치의 내부 구성을 예시한 도면.
도 3은 최상의 PSNR로 이미지의 노이즈를 제거한 결과를 예시한 결과.
도 4는 본 발명의 실시예에 따라 적응형 정규화 파라미터를 사용한 경우 측정된 오차를 예시한 그래프.
도 5는 최상의 F-측정으로 시각화한 세그멘테이션 결과들.
도 6은 F-측정에 기초한 세그멘테이션의 정량적 평가.
도 7은
Figure 112017022772248-pat00082
과
Figure 112017022772248-pat00083
에 대한 각각의 종점 오차와 각 오차를 예시한 그래프.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하나 이상의 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있음을 의미한다.
이하, 본 발명의 실시예에 따라 솔루션 제공장치가 비전 문제(vision problem)의 솔루션을 제공하는 방법의 이론적인 부분을 상세히 설명한 후, 도면을 참고하여 해당 방법 및 장치에 대해서 설명한다.
이하, 본 명세서에서
Figure 112017022772248-pat00084
와
Figure 112017022772248-pat00085
는 인너 프로덕트(inner product)
Figure 112017022772248-pat00086
와, 유도되는 놈(induced norm)
Figure 112017022772248-pat00087
을 가지는 유한 차원의 실수 벡터 공간이라고 가정한다.
그리고,
Figure 112017022772248-pat00088
는 하기의 수학식(1)에 따른 놈(norm)을 가지는 연속적인 선형 연산자로 가정한다.
Figure 112017022772248-pat00089
(1)
본 실시예에서, 솔루션 제공 장치가 관심을 가지는 문제는 하기의 수학식(2)에 따른 컨벡스 최적화 공식의 솔루션을 제공하는 것이다.
Figure 112017022772248-pat00090
(2)
여기서,
Figure 112017022772248-pat00091
은
Figure 112017022772248-pat00092
와
Figure 112017022772248-pat00093
의 두 구성요소 간의 전반적인 트레이드 오프(trade off)를 결정하는 제어 파라미터이며. 함수
Figure 112017022772248-pat00094
와
Figure 112017022772248-pat00095
은 닫혀있고(closed), 고유하며(proper) 컨벡스(convex)인 것으로 가정한다.
제어 파라미터
Figure 112017022772248-pat00096
는 함수
Figure 112017022772248-pat00097
가 일반적으로 데이터 정확도에 대응되고, 함수
Figure 112017022772248-pat00098
이 정규화에 해당하는 목표 함수에서 두 구성요소간의 상대적인 가중치를 결정한다.
대부분의 경우,
Figure 112017022772248-pat00099
는 알려지지 않은 함수
Figure 112017022772248-pat00100
의 전체 도메인에 대해 일정한 값을 가지므로, 데이터 정확도와 정규화간의 전체적인 가중치를 고려할 수 있다. 그러나, 종래기수에서와 같이 상수 제어 파라미터는 두 구성요소간의 국부적인 균형을 고려하지 않으므로, 공간적으로 변화하는 이미지 저하를 초래할 수 있다. 따라서, 본 실시예에서는 모델에 대한 데이터의 국부적인 적합성을 기반으로 상대적인 가중치를 자동으로 결정하는 공간 적응형 밸런싱 파라미터를 적용하여 솔루션 제공하는 방법을 제안한다.
본 실시예에서 데이터 정확도
Figure 112017022772248-pat00101
와 정규화
Figure 112017022772248-pat00102
와 공간 적응형 가중치 파라미터
Figure 112017022772248-pat00103
로 구성되는 객관적 함수
Figure 112017022772248-pat00104
를 고려할 수 있다.
Figure 112017022772248-pat00105
(3)
여기서,
Figure 112017022772248-pat00106
는 알려지지 않은 변수
Figure 112017022772248-pat00107
의 도메인을 나타내며, 파라미터
Figure 112017022772248-pat00108
은
Figure 112017022772248-pat00109
범위에 한정되어 있는
Figure 112017022772248-pat00110
에서 값들의 분포에 관련되어 있다.
적응형 가중치 파라미터
Figure 112017022772248-pat00111
는 잔여 성분(residual)
Figure 112017022772248-pat00112
의 차수가 작아서 정규화
Figure 112017022772248-pat00113
가 덜 부과되는 데이터 정확도 지점에 더 높은 가중치를 사용하도록 설계되었다. 반면에, 잔여 성분(residual)
Figure 112017022772248-pat00114
의 차수가 높아서 정규화
Figure 112017022772248-pat00115
가 더욱 부과되는 데이터 정확도 지점에는 더 낮은 가중치를 사용하도록 설계되었다.
하기에서 볼 수 있듯이, 수학식(3)은
Figure 112017022772248-pat00116
를 달성하기 위한 특정한 편향(bias)를 가지므로, 일부 애플리케이션에서는 다음 모델을 사용하는 것이 좋을 수 있다.
Figure 112017022772248-pat00117
(4)
Figure 112017022772248-pat00118
가 실제로 영보다 크도록
Figure 112017022772248-pat00119
가 충분히 작아지면, 0이 아닌 정규화가 존재하기 때문에, 정립이 잘 된다. 또한, 밸런싱 파라미터에서 평탄화를 촉진하기 위해, 예를 들어 분산이 작은 가우시안(Gaussian)과 같은 커널 G(kernel G)로 추가 컨벌루션(convolution)이 적용될 수 있다.
여기서, 원래의 수학식(3)은
Figure 112017022772248-pat00120
인 특수한 경우이고,
Figure 112017022772248-pat00121
는 수학식 (4)에서 디락 델타(Dirac delta)임을 알 수 있다.
여기서, 본 실시예에서 고정된
Figure 112017022772248-pat00122
에 대하여
Figure 112017022772248-pat00123
를 최소화하는 것을 찾는 것은,
Figure 112017022772248-pat00124
에 대하여
Figure 112017022772248-pat00125
를 공동으로 최소화하는 것이 아님을 의미한다. 이 최소화 절차는 수학식 (3) 및 수학식 (4)의 수학적 구조 상 자연 부동점 맵 (natural fixed-point map)
Figure 112017022772248-pat00126
으로 간주될 수 있다. 이 점에 대해서는, 이후 부동점 문제(fixed-point problem) 프레임워크를 사용하여, 그것의 수치적 솔루션 뿐만 아니라 수학적 분석을 설명한다.
수학식 (3)의 최적
Figure 112017022772248-pat00127
계산에서, ADMM(alternating direction method of multipliers)알고리즘 의 프레임워크에서 최적화 스킴(scheme)을 적용할 수 있다.
ADMM 알고리즘은 [Boyd,S., Parikh, N., E Chu, B.P., Eckstein, J. : Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers. Foundations and Trends in Machine Learning 3(1) (2010) 1-122]에 공지되어 있으므로, 본 명세서에서 상세한 설명은 생략한다.
수학식(3)의 목적 함수
Figure 112017022772248-pat00128
의 최적화 문제는 새로운 변수
Figure 112017022772248-pat00129
와 함께 하기와 같이 변수로 표현할 수 있다.
Figure 112017022772248-pat00130
여기서,
Figure 112017022772248-pat00131
,
Figure 112017022772248-pat00132
(5)
여기서,
Figure 112017022772248-pat00133
는 연속적인 선형 연산자이고,
Figure 112017022772248-pat00134
는 영보다 큰 스칼라(scalar) 파라미터이다.
ADMM 알고리즘의 기준형태(scaled form)인 수학식 (5)의 관련 확장된 라그랑지안(Lagrangian)은 다음과 같이 주어질 수 있다.
Figure 112017022772248-pat00135
(6)
본 실시예에서는, 수학식(5)에서 목표값을 풀기 위한 ADMM 업데이트로 하기의 <알고리즘 1>을 이용할 수 있다.
Figure 112017022772248-pat00136
(7)
Figure 112017022772248-pat00137
(8)
Figure 112017022772248-pat00138
(9)
Figure 112017022772248-pat00139
(10)
여기서,
Figure 112017022772248-pat00140
는 0보다 큰 스칼라 확대 파라미터이고, y는 u 및 z와 연관된 라그랑지안(lagrangian) 승수이다.
ADMM 알고리즘은 초기 변수 u 및 z에 대해 수학식 (6)에서 확장된 라그랑지안(lagrangian)을 최소화하고, 이중 변수 y에 대해 기울기 상승 스킴(gradient ascend scheme)을 적용하는 대안적 최소화 스킴(alternative minimization scheme)이다.
적응형 밸런싱 파라미터
Figure 112017022772248-pat00141
의 업데이트는 변수 u, z 및 y의 업데이트에 따른다.
ADMM 알고리즘을 사용하는 최적화 절차는 <알고리즘 1>에 나와 있으며, 여기서 k는 반복 카운터이다.
수학식 (7)에서 초기 변수 uk+1 갱신의 최적 조건은 다음과 같은 추가적인 2차 규칙성과 결합하여 uk 주변에 테일러 확장(Taylor expansion)을 이용하는 2차 정규화 구성(regularization term)의 선형화에 의해 간단해질 수 있다.
Figure 112017022772248-pat00142
(11)
여기서,
Figure 112017022772248-pat00143
는
Figure 112017022772248-pat00144
의 수반연산자(adjoint operator)이고,
Figure 112017022772248-pat00145
는 영보다 큰 스칼라 규칙 파라미터(scalar regularity parameter)이다. 그리고, 초기 변수 uk+1과 zk+1의 업데이트에 대한 최적조건은 다음과 같이 나타낼 수 있다.
Figure 112017022772248-pat00146
(12)
Figure 112017022772248-pat00147
(13)
여기서,
Figure 112017022772248-pat00148
는 하위구분의 연산자(subdifferential operator)이다. 수학식(12)에서 u와 수학식 (13)에서 z의 업데이트하는 솔루션은 근접 연산자(proximal operator)이다.
Figure 112017022772248-pat00149
(14)
Figure 112017022772248-pat00150
(15)
여기서, 근접 연산자는 하기와 같이 정의된다.
Figure 112017022772248-pat00151
(16)
여기서,
Figure 112017022772248-pat00152
는 영보다 큰 웨이팅 파라미터(weighting parameter)이다.
Figure 112017022772248-pat00153
일 때, 근접 연산자
Figure 112017022772248-pat00154
의 솔루션(solution)은 문턱값(threshold)
Figure 112017022772248-pat00155
를 가지는 소프트 쉬링키지 연산자(soft shrinkage operator)
Figure 112017022772248-pat00156
로 획득된다.
Figure 112017022772248-pat00157
(17)
이하에서, 수학식 (3)과 수학식(4) 모델 각각에 대한 수학적인 구조에 대해서 설명한다.
정보 이론적 관점(information-theoretic perspective)에서 데이터 구성에 몇가지 동기 부여를 한다.
여기서,
Figure 112017022772248-pat00158
형태의 모델에서 몇가지 최적 파라미터
Figure 112017022772248-pat00159
을 선택하길 원한다고 가정하자. 여기서,
Figure 112017022772248-pat00160
이 주어진 정규화 함수이다.
그 다음, 근사치인 엔트로피
Figure 112017022772248-pat00161
을 최대화하는 파라미터를 찾을 수 있는데, 이것은 정보 내용을 극대화하는 것과 관련이 있다. 주어진 엔트로피 근사치 측정을 가공하면(본 실시예에서, 음의 엔트로피를 최소화한다), 하기의 식을 도출할 수 있다.
Figure 112017022772248-pat00162
여기서,
Figure 112017022772248-pat00163
는 양의 스칼라 파라미터이다.
추가적인 엔트로피 구성의 또 다른 해석은
Figure 112017022772248-pat00164
와 상수 파라미터의 Kullback-Leibler 발산은 1과 같다는, 즉 다시 말해 큰
Figure 112017022772248-pat00165
로 상수 파라미터에 대해서 임의적인 국부 변화를 처리할 수 있다.
상술한 최소화 과정에서 최소화 인자
Figure 112017022772248-pat00166
가 수학식 (3)의 그것과 같음을 보는 것은 직관적이다.
Figure 112017022772248-pat00167
= 0에서 수학식 (4) 모델의 움직임을 설명하는 첫번째 일반적인 속성은 하기와 같다.
<렘마(lemma) 1>
Figure 112017022772248-pat00168
를 만족하는
Figure 112017022772248-pat00169
가 존재하는 것으로 가정하면,
Figure 112017022772248-pat00170
는
Figure 112017022772248-pat00171
=0 인 경우 수학식(3) 및 수학식 (4)의 부동점(fixed point)이다.
<증명>
여기서, 고정 소수점 논쟁을 하기와 같이 제공한다. 여기서, 이용되는 토폴로지(topology)는
Figure 112017022772248-pat00172
Figure 112017022772248-pat00173
Figure 112017022772248-pat00174
에서
Figure 112017022772248-pat00175
의 강한 수렴이며, 이 공간상에 셀프맵(self-map)을 만든다. 그러면,
Figure 112017022772248-pat00176
에 대한 맵은 연속이다. 커널 G(Kernel G)의 수렴 속성으로 인하여, 맵
Figure 112017022772248-pat00177
은 연속이며, 컴팩트(compact)하다
게다가, 맵
Figure 112017022772248-pat00178
도 연속이다.
최종적으로 가변 문제(variational problem)에서 표준 연속 의존 주장(standard continuous dependence argument)을 볼 수 있다.
Figure 112017022772248-pat00179
가 연속이고, 연속적으로
Figure 112017022772248-pat00180
을
Figure 112017022772248-pat00181
에 포함시키는 것은, 최종적으로 이러한 공간의 연속성(continuity)과 컴팩트니스(compactness)와 부동점 연산자(fixed point operator)를 암시한다. 샤유더의 부동점 정리(Schauder's fixedpoint theorem)를 적용하고, 부동점(fixed-point)의 존재를 결론내리기 위해, 어떤 한정된 세트가 그 자신으로 매핑되는 것을 보여주어야 한다.
이를 위하여,
Figure 112017022772248-pat00182
로 두고, c를 선택하면, 하기와 같이 기재할 수 있다.
Figure 112017022772248-pat00183
이를 만족하는 c의 존재는
Figure 112017022772248-pat00184
가 충분히 클 경우 보장된다.
이제.
Figure 112017022772248-pat00185
라고 하면, 컨볼루션(convolution)의 표준 추정(standard estimate)과 지수 함수의 단조성(monotonicity)을 획득할 수 있어서, 하기와 같이 기재할 수 있다.
Figure 112017022772248-pat00186
게다가. 상수
Figure 112017022772248-pat00187
가 존재하고,
Figure 112017022772248-pat00188
로 기재할 수 있다.
이런 이유로,
Figure 112017022772248-pat00189
를 최소화 하는
Figure 112017022772248-pat00190
는 하기의 수학식을 만족하게 된다.
Figure 112017022772248-pat00191
이러한 연유로, 닫힌 집합
Figure 112017022772248-pat00192
및
Figure 112017022772248-pat00193
를 이용하면,
Figure 112017022772248-pat00194
이고,
Figure 112017022772248-pat00195
이다. 따라서, 부동점 연산자(fixed-point operator)의 셀프매핑(self-mapping)을 획득할 수 있다.
<증명 끝>
노이즈 제거와 같은 몇가지의 경우에, 이 속성은 바람직하지 못할 수 있다. 왜냐하면,
Figure 112017022772248-pat00196
> 0가 필수적인 최소 정규화를 유도하기 때문에, 노이즈가 있는 이미지와 동일한
Figure 112017022772248-pat00197
을 선택하는 것은 솔루션을 항상 구하지 못하게 된다.
낱개의 일정한 이미지 모델에 기초한 세그멘테이션 문제와 같은 다른 예제에서, 이러한 속성은 유용한 것으로 보여진다. 왜냐하면 그것은 낱개의 일정한 입력 이미지로부터 정확한 세그멘테이션 솔루션을 유도해낼 수 있다.
다른 한편으로, 국부 변형을 가진 이미지
Figure 112017022772248-pat00198
는 어디에서나 사라질 수 없기 때문에, 즉각적인 정규화를 얻을 수 있다.
이하, 하기의 제안하는 모델에 대한 간략하고 잘 꾸며진 분석을 제공한다. 이것을 위해서,
Figure 112017022772248-pat00199
=
Figure 112017022772248-pat00200
이고, 경계있는 도메인
Figure 112017022772248-pat00201
에서
Figure 112017022772248-pat00202
로 최소화되는 공간을 가지는 적절한 경우를 전문적으로 다룬다.
정규화 함수의 수학적으로 정확한 정의는 하기와 같이 주어진다.
Figure 112017022772248-pat00203
여기서, 고려하는 문제는 하기의 수학식 (18)을 최소화하는 것이다.
Figure 112017022772248-pat00204
(18)
기술적인 문제를 피하기 위하여, 본 실시예에서는
Figure 112017022772248-pat00205
로 표시되는 평균이 0이고 경계가 있는 편차를 가지는 함수
Figure 112017022772248-pat00206
의 공간을 최소화하는 것을 고려한다.
본 실시예의 모델에 대한 솔루션의 존재를 검증하기 위해, 부동점(fixed point) 지도
Figure 112017022772248-pat00207
를 고려하는 것이 자연스러우며, 그것으로부터 하기의 결과를 유도해낼 수 있다.
양의 수
Figure 112017022772248-pat00208
가 임의의 수이고, 양의 수
Figure 112017022772248-pat00209
가 충분히 크다고 가정하자.
Figure 112017022772248-pat00210
가 경계가 있고, 적분이 가능하며, 경계가 있고 적분이 가능한 그래디언트(gradient)로 연속적으로 미분이 가능한 것으로 가정하자. 게다가,
Figure 112017022772248-pat00211
는 연속적이고, 음이 아니며, 컨벡스 함수(convex functional)이어서,
Figure 112017022772248-pat00212
를 최소화하는 인자는 모든
Figure 112017022772248-pat00213
에 대해 유일하다고 가정하자. 그러면, 수학식 (18)에서
Figure 112017022772248-pat00214
인 부동점(fixed point)이 존재한다.
최종적으로 만일
Figure 112017022772248-pat00215
가 엄격하게 컨벡스(convex)이면, 고정된
Figure 112017022772248-pat00216
에 대해서 수학식 (18)에서
Figure 112017022772248-pat00217
의 유일함은 보장될 수 있다
이하, 이미지의 노이즈 제거, 이미지의 세그멘테이션과 모션 추정의 적용에 적응형 밸런싱 파라미터를 통합하여 제안하는 변화 모델의 효용성과 견고함에 대해서 설명한다.
<이미지 노이즈 제거>
이하, 본 실시예에서 비전문제가 노이즈 제거인 경우를 설명한다.
본 실시예에서 이미지의 노이즈 제거 문제를 한정된 전체 변화 최소화 모델과 같이 간주한다.
Figure 112017022772248-pat00218
는 노이즈가 있는 입력 이미지 이며,
Figure 112017022772248-pat00219
는 하기의 에너지 함수에 기초하여 재구성된다.
Figure 112017022772248-pat00220
(19)
여기서,
Figure 112017022772248-pat00221
는 데이터 정확도 구성에 기초하여 결정되는 적응형 밸런싱 파라미터이고, 양의
Figure 112017022772248-pat00222
는 스칼라 파라미터이다.
적응형 밸런싱 파라미터
Figure 112017022772248-pat00223
는 측정
Figure 112017022772248-pat00224
와 재구성
Figure 112017022772248-pat00225
간의 불일치를 측정하는 국소 잔여 성분(the local residual)을 고려한다. 이러한 적응성은 특히 노이즈가 존재한다는 등과 같이 공간적으로 편향된 비하 요소가 존재할 때, 바람직한 해결책을 유도할 수 있다.
증가율 파라미터
Figure 112017022772248-pat00226
에 관련하여 증가된 라그랑지안(Lagrangian)을 기준형태로 변수를 나열하면 하기의 수학식과 같다.
Figure 112017022772248-pat00227
여기서, y는
Figure 112017022772248-pat00228
및
Figure 112017022772248-pat00229
와 관련된 라그랑지안 승수(Lagrangian multiplier)이다.
Figure 112017022772248-pat00230
주변에서 선형화(lineraisation)를 통해 초기 변수
Figure 112017022772248-pat00231
의 업데이트에 대한 최적화 조건은 하기와 같이 기재할 수 있다.
Figure 112017022772248-pat00232
여기서,
Figure 112017022772248-pat00233
는 디스크리트 다이버전스 오퍼레이터(discrete divergence operator)이다. 그런 다음, u의 업데이트에 대한 솔루션은 하기의 수학식에 의해 획득된다.
Figure 112017022772248-pat00234
Figure 112017022772248-pat00235
변수의 업데이트를 위한 최적 조건은 하기의 수학식으로 기재할 수 있다.
Figure 112017022772248-pat00236
그러면, z의 업데이트는 하기의 수학식 의해 획득 될 수 있다.
Figure 112017022772248-pat00237
<이미지 세그멘테이션>
이하, 본 실시예에서 비전문제가 이미지 세그멘테이션인 경우를 설명한다.
본 실시예에서 일정한 낱개의 일정한 이미지에 기초한 이미지 세그멘테이션 문제를 고려할 수 있다.
Figure 112017022772248-pat00238
는 입력 이미지라고 가정하자.
제안되는 적응형 밸런싱 파라미터
Figure 112017022772248-pat00239
를 가지는 양분할 문제에 대한 컨벡스 에너지 공식(convex energy formulation)은 하기와 같이 유도해낼 수 있다.
Figure 112017022772248-pat00240
(20)
여기서, c1 및 c2는 각각 세그멘테이션 경계의 내부 및 외부의 측정치이다.
매끄러운 함수
Figure 112017022772248-pat00241
는 파라미터
Figure 112017022772248-pat00242
로 임계값을 설정하여 영역1과 영역 2를 결정하는 분할 인터페이스를 나타낸다.
Figure 112017022772248-pat00243
(21)
적응형 밸런싱 파라미터
Figure 112017022772248-pat00244
는 데이터 정확도 구성에 의해 결정된다.
Figure 112017022772248-pat00245
(22)
여기서, 양의
Figure 112017022772248-pat00246
는 스칼라(scalar) 파라미터이다.
목표 함수에 대하여 컨벡스 세트(convex set)
Figure 112017022772248-pat00247
상의 지표 함수(indicator function)
Figure 112017022772248-pat00248
가 추가되는 방식으로,
Figure 112017022772248-pat00249
가 한정될 수 있다.
Figure 112017022772248-pat00250
(23)
그러면, 한정되지 않는 목표 함수는 다음과 같이 유도되며,
Figure 112017022772248-pat00251
그리고, 이것은 하기와 같이 축소된다.
Figure 112017022772248-pat00252
(24)
여기서,
Figure 112017022772248-pat00253
이고,
Figure 112017022772248-pat00254
이다.
밸런싱 파라미터
Figure 112017022772248-pat00255
는 잔여 성분(residual)
Figure 112017022772248-pat00256
에 따라 적응적으로 규칙성을 선택하도록 설계된다.
잔여 성분(residual)의 차수가 높을수록 불균일성을 효과적으로 처리하도록 보다 많은 규칙성을 허용한다. 마찬가지로, 잔여 성분(residual)의 차수가 낮을수록 더 높은 규칙성을 부여하므로, 복잡한 형태가 전역 정규화 상수(global constant regularity)로 인하여 불필요하게 흐려짐에도 불구하고 정확한 세그멘테이션 경계가 획득될 수 있다.
고정된
Figure 112017022772248-pat00257
및
Figure 112017022772248-pat00258
로 주어지는
Figure 112017022772248-pat00259
에 대해서 대안적 최소화(alternative minimization)가 수행되고, 이후
Figure 112017022772248-pat00260
로 주어지는
Figure 112017022772248-pat00261
및
Figure 112017022772248-pat00262
에 대하여 대안적 최소화가 수행된다.
고정된
Figure 112017022772248-pat00263
에 대해서, 최상의
Figure 112017022772248-pat00264
및
Figure 112017022772248-pat00265
는 하기의 수학식에 의하여 획득된다.
Figure 112017022772248-pat00266
증가율 파라미터
Figure 112017022772248-pat00267
에 관련하여 증가된 라그랑지안(Lagrangian)을 기준형태로 변수를 나열하면 하기의 수학식과 같다
Figure 112017022772248-pat00268
여기서, y는
Figure 112017022772248-pat00269
및
Figure 112017022772248-pat00270
와 관련된 라그랑지안 승수(Lagrangian multiplier)이다.
Figure 112017022772248-pat00271
주변에서 선형화(lineraisation)를 통해 초기 변수
Figure 112017022772248-pat00272
의 업데이트에 대한 최적화 조건은 하기와 같이 기재할 수 있다.
Figure 112017022772248-pat00273
여기서,
Figure 112017022772248-pat00274
이다.
따라서,
Figure 112017022772248-pat00275
의 업데이트에 대한 솔루션은 하기의 수학식에 의해 획득된다.
Figure 112017022772248-pat00276
여기서, 프로젝션 연산자 (projection operator)는 하기와 같이 기재할 수 있다.
Figure 112017022772248-pat00277
변수
Figure 112017022772248-pat00278
의 업데이트에 대한 최적 조건은 하기의 수학식을 따른다.
Figure 112017022772248-pat00279
따라서, z의 업데이트에 대한 솔루션은 하기의 수학식에 의해 구해질 수 있다.
Figure 112017022772248-pat00280
<모션 추정>
이하, 본 실시예에서 비전문제가 모션 추정인 경우를 설명한다.
모션 추정 문제에 대해서는,
Figure 112017022772248-pat00281
는 두개의 다른 경우에서 획득한 이미지로,
Figure 112017022772248-pat00282
는 이미지 도메인으로 가정한다. 여기서, 밝기 항상성 가정(brightness consistency assumption)에 기초한 옵티컬 플로우(optical flow)를 고려한다.
Figure 112017022772248-pat00283
상술한 공식의 비선형성으로 인해, 어떤 연역적인 솔루션 v0 를 v에 가깝도록 첫번째 구성을 하기와 같이 선형화할 수 있다.
Figure 112017022772248-pat00284
선형화된 밝기 항상성 가정(brightness consistency assumption)은 하기의 컨벡스 에너지 공식으로 유도되는 속력필드의 양 구성요소에 대한 전체 가변 정규화와 함께 데이터 정확도 구성으로 이용될 수 있다.
Figure 112017022772248-pat00285
(25)
여기서,
Figure 112017022772248-pat00286
는 제안되는 적응형 밸런싱 파라미터이다.
Figure 112017022772248-pat00287
(26)
여기서, 양의
Figure 112017022772248-pat00288
는
Figure 112017022772248-pat00289
의 전반적인 분포와 관련된 스칼라 파라미터이다.
왜냐하면, 옵티컬 플로우(optical flow) 는 작은 모션에는 유효하므로, 여기서, 피라미드의 각 레벨에서의 워핑(warping)을 포함하는 콜스 투 파인(coarse to fine) 접근법을 고려한다.
수학식 (26)에 표시한 바와 같이, 밸런싱 파라미터는 데이터 정확도와 정규화간의 균형을 자동으로 제어하며, 예를 들어 폐색과 같이 불일치가 일어나는 곳에는 높은 규칙성을 부여한다. 다른 한편으로 완벽한 일치가 이루어지는 속도에 대해서는 규칙성을 부과할 필요는 없다.
증가율 파라미터
Figure 112017022772248-pat00290
에 관련하여 증가된 라그랑지안(Lagrangian)을 기준형태로 변수를 나열하면 하기의 수학식과 같다
Figure 112017022772248-pat00291
여기서, p는
Figure 112017022772248-pat00292
및
Figure 112017022772248-pat00293
와 관련하여, q는
Figure 112017022772248-pat00294
및
Figure 112017022772248-pat00295
와 관련하여, r은
Figure 112017022772248-pat00296
및
Figure 112017022772248-pat00297
와 관련하여, 라그랑지안 승수(Lagrangian multiplier)이다.
Figure 112017022772248-pat00298
및
Figure 112017022772248-pat00299
근처에서의 선형화와 함께
Figure 112017022772248-pat00300
및
Figure 112017022772248-pat00301
의 초기화 변수의 업데이트에 대한 최적 조건은 하기의 수학식을 따른다.
Figure 112017022772248-pat00302
변수
Figure 112017022772248-pat00303
,
Figure 112017022772248-pat00304
및
Figure 112017022772248-pat00305
의 업데이트에 대한 최적 조건 및 솔루션은 하기의 수학식을 따른다.
Figure 112017022772248-pat00306
지금까지 본 발명의 실시예에 따라 비전문제의 솔루션 제공방법에 대한 이론적 근거에 대해서 설명하였다.
이하. 필요 도면을 참고하여 본 발명의 실시예에 따른 비전문제의 솔루션 제공방법에 대해서 설명한다.
도 1은 본 발명의 실시예에 따른 비전 문제의 솔루션 제공 방법의 순서도이다.
이하, 본 발명의 실시예에 따른 솔루션 제공 방법의 요지를 명확하게 하기 위하여, 앞서 상술한 수학식 및 이론적 근거에 대한 중복 설명은 생략한다.
도 1을 참고하면, 솔루션 제공장치는 단계 S102 에서 컨벡스 에너지 함수를 설정할 수 있다. 이 점에 대해서는 수학식 (2) 내지 수학식 (4)에서 설명하였다.
이어서, 단계 S104에서 솔루션 제공장치는 에너지 함수에 기초하여 라그랑지안(Lagrangian)함수를 설정할 수 있다. 이 점에 대해서는, 앞서 수학식 (6)에 대해서 설명하였다.
이어서, 단계 S106에서 솔루션 제공장치는 라그랑지안 함수에 ADMM 알고리즘을 적용하여 u, z 및 y를 업데이트 할 수 있으며, 알고리즘에 대해서는 수학식 (7) 내지 (9)에서 설명하였다.
이어서, 단계 S108에서 파라미터
Figure 112017022772248-pat00307
를 업데이트 할 수 있다. 이 점에 대해서는 앞서 수학식 (10)에서 설명하였다.
이어서, 단계 S110에서 u가 미리 설정된 임계값 이하로 수렴하는 지를 판단하고, 수렴할 때까지 단계 S106 및 단계 S108을 반복 실시할 수 있다.
그리고, 최종적으로 단계 S112에서 미리 설정된 임계값 이하로 수렴한 u를 솔루션으로 제공할 수 있다.
도 1에는 본 발명의 이해와 설명의 편의를 도모하기 위해 가장 간단한 실시예가 도시되어 있다. 그러나 본 발명은 이에 한정되지 아니하고 본 발명이 적용되는 환경에 따라 다양하게 수정변경될 수 있다.
예를 들어, 단계 S102에서 에너지 함수는 이미지의 노이즈를 제거하는 경우 수학식 (19)로, 이미지를 세그멘테이션(segmentation)하는 경우에는 수학식 (20)으로, 모션 추정하는 경우에는 수학식 (25)로 재구성할 수 있으며, 이 점에 대해서는 앞서 설명하였다. 또한 각각의 경우에서 있어서 라그랑지안 함수가 수정될 수 있으며, 그에 다른 ADMM 알고리점 적용시 업데이트 또한 변경될 수 있음도 앞서 설명하였다.
도 2는 본 발명의 실시예에 따른 솔루션 제공장치의 내부 구성을 예시한 도면이다.
도 2를 참고하면 본 발명의 실시예에 다른 솔루션 제공장치(200)는 디스플레이(202), 입력부(204), 하나 이상의 프로세스(206) 및 메모리(208)를 포함할 수 있다.
여기서, 디스플레이(202) 및 입력부(204)는 본 발명의 출원시 공지된 구성으로, 상세한 설명은 생략한다.
또한, 도 2에는 본 발명의 실시예에 따른 솔루션 제공 방법을 수행하는 장치가 독립적으로 구비되는 경우를 가정하여 디스플레이(202) 및 입력부(204)가 구비되는 경우를 가정하여 예시하였으나, 상술한 바와 같이 디스플레이(202) 및 입력부(204)는 일반 전자기기에 구비되는 구성을 이용하고, 프로세서(206) 및 메모리(208)가 하나 이상의 칩(chip) 형태로 구비될 수도 있다.
본 발명의 실시예에 따른 메모리(208)에는 하나 이상의 프로그램 또는 명령어가 저장될 수 있고, 저장된 프로그램 또는 명령어는 프로세서(206) 들에 의해 선택적으로 실행될 수 있다.
또한, 본 발명의 실시예에 따라 메모리(208)에 저장되는 하나 이상의 프로그램 또는 명령어는 앞서 도 1을 참고하여 설명한 본 발명의 실시예에 따른 세그멘테이션 방법의 각 단계의 일부 또는 하나 이상의 단계를 수행하는 명령어를 포함할 수 있다. 여기서, 명령어가 수행할 수 있는 솔루션 제공방법의 각 단계에 대해서는 앞서 도 1을 참고하여 상세히 설명하였으므로, 중복된 설명은 생략한다.
지금까지 도 2을 참고하여 본 발명의 실시예에 따른 솔루션 제공장치(200)의 내부 구성에 대해서 설명하였다.
이하, 본 실시예에 따른 솔루션 제공방법의 적용 예 및 그 효과에 대해서 설명한다.
이하, 본 명세서에서 본 실시예에 따른 이미지의 노이즈제거, 이미지 세그멘테이션(segmentation) 및 모션 추정에 제안되는 적응형 밸런싱 계획을 적용한 결과 제안되는 적응형 밸런싱 스킴(scheme)의 강건함과 효율성을 설명한다.
본 실시예는 종래의 정적인 방법보다 적응형 밸런싱 스킴(scheme)을 적용하여 솔루션을 제공하는 이점을 제시하는 것이다.
따라서, 이하에서 각각의 비전 문제에 대한 고전적 모델을 사용하고, 정적인 방법을 사용한 것에 비하여 본 실시예에 따라 적응형 밸런싱 스킴(scheme)을 사용한 솔루션 제공 방법의 성능을 비교한다.
본 실시예에 따른 적응형 밸런싱 스킴(scheme)은 정규화 파라미터를 적응형 밸런싱 파라미터로 단순히 대체하여도 최신의 정교한 모델에 통합될 수 있다.
실험에서, 종래의 정적인 밸런싱에 대한 제어 파라미터로
Figure 112017022772248-pat00308
로 표기하고, 수학식 (3)에서 본 실시예에 따른 적응형 밸런싱 파라미터는
Figure 112017022772248-pat00309
로 표기한다.
또한 실험에서, ADMM 최적화에서 공통 파라미터에 대한 동일 값으로는,
Figure 112017022772248-pat00310
= 1이고,
Figure 112017022772248-pat00311
= 8인 경우로 가정했으나, 본 발명이 이에 한정되는 것은 아니다.
<이미지의 노이즈 제거>
이하, 컴퓨터 비전 문제가 이미지의 노이즈 제거인 경우의 실험 결과를 설명한다.
본 실험에서 상이한 노이즈 레벨들을 가지는 공간적으로 편향된 가우시안 노이즈들을 가지는 이미지들의 복원을 위해 수학식(19)을 풀었다.
정량적 평가를 위해, 본 실시예에서 구조적 유사성(SSIM, Structural similarity) (SSIM) 지수와 피크 신호 대 잡음비(PSNR)를 측정하였다.
도 3은 최상의 PSNR(peak signal-to-noise ratio)로 이미지의 노이즈를 제거한 결과를 예시한 결과이다. 보다 상세하게는, 상단(top)은 상이한 표준편차를 가지는 공간적으로 편향된 가우시안 노이즈를 가지는 입력 이미지들이며, 중단(middle)은 종래으 기술과 같이 일정한 정규화도로 최적한 결과이며, 하단(bottom)은 본 발명의 실시예에 따라 적응형 정규화도로 최적화한 결과이다.
도 3을 참고하면, 일정한 정규화 파라미터를 가지는 경우의 결과물은, 국부적으로 존재하는 가장 높은 잡음 레벨을 처리하기 위해 바람직하지 않은 과도한 평탄화(smoothing)가 전역적으로 적용될 수 있음을 알 수 있다.
반면에, 본 발명의 실시예에 따라 적응형 정규화도로 최적화하여 비전 문제의 솔루션을 제공한 경우의 결과물은 평탄화(smoothing)의 정도가 공간적으로 변화하는 노이즈 레벨에 따라 국부적으로 결정될 수 있음을 알 수 있다.
도 4는 본 발명의 실시예에 따라 적응형 정규화 파라미터를 사용한 경우 측정된 오차를 예시한 그래프이다. 보다 상세하게는, (a)는 PSNR, (B)는 SSIM, 여기서, 하단의 x축은 일정한 정규화도
Figure 112017022772248-pat00312
를 나타내며, 상단의 x축은 적응형 정규화도
Figure 112017022772248-pat00313
이며, (c)는 변화하는 노이즈 표준 편차(x축)에 대하여 좌측 y축은 PSNR, 우측 y축은 SSIM을 도시한 그래프이다.
도 4를 참고하면, 비전 문제가 노이즈 제거인 경우, 본 발명의 실시예에 따라 적응형 정규화 파라미터를 사용하는 경우 측정된 성능이 종래의 기술에 따른 파라미터의 전체 범위에 걸쳐서 상수값을 가지는 경우 측정된 성능보다 지속적으로 더 나은 것으로 나타난다.
또한, 도 4의 (c)를 참고하면, 전체 오류(overall errors), PSNR(좌측 y축) 그리고 SSIM(우측 y축)를 참고하면, 본 발명의 실시예에 따라 적응형 정규화 파라미터를 사용하여 노이즈 제거 문제의 솔루션을 산출한 경우가, 종래의 기술에 따라 일정한 상수를 정규화 파라미터로 사용한 경우보다 모든 노이즈 레벨에 대해서 우수한 점을 알 수 있다.
<이미지 세그멘테이션>
이하, 비전 문제가 이미지의 세그멘테이션인 경우의 실험 결과를 설명한다.
본 실시예에서는, 바이파티셔닝 세그멘테이션 모델(bi- partitioning segmentation model)에 적합한 이미지가 선택된 버클리 세그멘테이션 데이터세트[Martin, D., Fowlkes, C., Tal, D., Malik, J.: A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics. In: Proc. 8th Int'l Conf. Computer Vision. Volume 2. (July2001) 416 - 423]을 사용하여, 상이한 레벨로 공간적으로 편향된 가우시안 노이즈를 가지는 이미지의 세그멘테이션에 대해서는 수학식 (20)의 솔루션을 선정하였다.
본 실시예에서는 세그멘테이션의 정량적 평가를 위해 F-측정(F-measure)를 사용하나, 이에 한정되는 것은 아니다.
도 5는 최상의 F-측정(F-measure)으로 시각화한 세그멘테이션 결과들이다. 보다 상세하게는, 여기서, 노란선은 참값(ground truth)이며, 상단(top)은 상이한 표준편차로서 공간적으로 편향된 가우시안 노이즈를 가지는 입력 이미지를 나타내며, 중단(middle)은 종래의 기술에 따라 일정한 정규화도를 이용한 솔루션을 파란색으로 표시하였으며, 하단(bottom)은 본 실시예에 따라 적응형 정규화도를 이용한 솔루션을 빨간색으로 예시하였다.
도 5를 참고하면, 종래 기술에 따라 상수 정규화 파라미터를 이용한 세그멘테이션 방법(middle)은, 국부적으로 존재하는 높은 노이즈 레벨 때문에 큰 정규화가 낮은 노이즈 레벨을 가지는 세그멘테이션 경계를 과도하게 흐리게 하고, 같은 이유로 국부적으로 존재하는 낮은 노이즈 레벨 때문에 적은 정규화가 불필요하게 바람직하지 않은 소소한 상세부분을 포착 하여, 공간적으로 변화하는 노이즈 레벨 때문에 힘들어하는 것을 보여준다
도 6은 F-측정에 기초한 세그멘테이션의 정량적 평가이다. 보다 상세하게는, (a) 변화하는 정규화 파라미터 관점에서, (즉, 상수 정규화 파라미터
Figure 112017022772248-pat00314
(하단 X축), 적응형 정규화 파라미터
Figure 112017022772248-pat00315
), (b) 데이터 세트에 있는 바이파티셔닝(bi-partitioning)에 적합한 예제 이미지를 이용한 상이한 노이즈 레벨
Figure 112017022772248-pat00316
관점에서, F-측정에 기초한 세그멘테이션의 정량적 평가가 예시되어 있다.
본 실시예에 따라 적응형 정규화 파라미터를 사용하여 세그멘테이션 문제의 솔루션을 선정한 경우, 파라미터의 전체 범위와 모든 노이즈 레벨에 대해 상수 정규화 파라미터를 이용한 경우보다 성능이 뛰어난 것을 알 수 있다.
입력 자료의 국부적 특성에 대하여 본 실시예에 따른 적응형 정규화의 시간적 조정은 (c)에 예시되어 있으며, (c)에는 본 실시예에 따라 세그멘테이션 문제의 솔루션 제공시, 사용한 적응형 파라미터 의 평균 및 표준 편차가 최적화 반복을 통해 표시되어 있다.
도 6의 (c)를 참고하면, 솔루션의 초기화가 입력 이미지로 이루어지기 때문에, 적응형 파라미터
Figure 112017022772248-pat00317
의 평균은 감속하고, 표준편차는 반복할수록 수렴할 때까지 점차적으로 증가함을 알 수 있다.
<모션 추정>
이하, 비전 문제가 모션 추정인 경우의 실험 결과를 설명한다.
모션 추정에 대한 알고리즘의 정량적 평가는 각도 오차(AE)[Barron, J.L., Fleet, D.J., Beauchemin, S.S.: Performance of optical ow techniques. International journal of computer vision 12(1) (1994) 43-77]와, 절대 종점오차(EE)[ Otte, M., Nagel, H.H.: Optical ow estimation: advances and comparisons. In: Computer VisionECCV'94. Springer (1994) 49-60]를 이용하여 수행될 수 있다.
여기서, 절대종점오차(absolute endpoint error)는 계산된 모션 영역과 주어진 참값(ground truth) 벡터장(vector field)간의 유클리드 거리이다. 각도 오차에 대해서는, 먼저 참값(ground truth)과 계산된 벡터장(vector field)은 3차원 공간으로 투영된다. 그리고, 두 필드 사이의 평균 각도가 계산된다.
미들 버리 옵티컬 플로우(Middle-bury optical flow) 데이터베이스[Baker, S., Scharstein, D., Lewis, J., Roth, S., Black, M.J., Szeliski, R.: A database and evaluation methodology for optical ow. International Journal of Computer Vision 92(1) (2011) 1 - 31]에서 주어진 참값 플로우(ground truth flow)를 가지는 흑백값의 이미지 세트가 정적 정규화 파라미터에 대해 제안되는 적응형 파라미터 전략을 정량평가하기 위해 사용되었다.
도 7은
Figure 112017022772248-pat00318
(파란색)과
Figure 112017022772248-pat00319
(빨간색)에 대한 각각의 종점 오차(Endpoint error)(좌측)와 각 오차(angular error)(우측)를 예시한 그래프이다. 여기서, 본 그래프를 위해 Dimetrodon (실선), Grove2(점선) 그리고, Hydrangea(쇄선) 데이터세트가 이용되었다.
도 7을 참고하면, 종래의 기술에 따라 넓은 범위에서 일정한 정규화 파라미터
Figure 112017022772248-pat00320
를 이용한 경우와, 본 발명의 실시예에 따라 적응형 전략에 대한 가중치
Figure 112017022772248-pat00321
를 이용한 경우에 대하여 절대 종점 및 각도 오차가 예시되어 있다.
도 7을 참고하면,
Figure 112017022772248-pat00322
가 매우 작은 경우를 제외하고, 본 발명의 실시예에 따른 적응형 전략의 강건함을 알 수 있다.
지금까지, 에너지 함수가 데이터 정확도와 정규화 구성으로 구성되는 가변 프레임워크 상에서, 본 발명의 실시예에 따라 적응형 밸런싱 파라미터를 이용하여 솔루션을 제공하는 전략을 설명하였다.
에너지 최적화 과정에서, 데이터 정확도와 정규화간의 트레이드 오프(trade-off)는, 관측된 데이터가 설계된 데이터에 얼마나 잘 맞는지를 측정하는 데이터 정확도에 기초하여 결정된다
본 실시예에 따라 적응형 파라미터 밸런싱을 이용하여 솔루션을 제공하는 방법은, 높은 차수의 잔여 성분(higer residual) 이 보다 유연한 정규화를 허용하고, 낮은 차수의 잔여 성분(lower residual)이 보다 엄격한 정규화를 부여하는 방식으로, 잔여 성분(residual)에 근거하여 국부적 정규화(local regularity)의 정도를 결정할 수 있다는 장점이 있다.
본 실시예에서, 이미지의 노이즈 제거, 세그멘테이션 및 모션 추정을 포함하는 고전적인 이미징 문제에 적응형 파라미터 밸런싱 스킴(scheme)을 적용했으며, 승수 방법의 방향을 전환하는 방법(alternating direction method of multipliers method)을 기반으로 최적화 알고리즘을 제시할 수 있다.
적응형 밸런싱 파라미터는 노이즈와 같은 저하 요인의 분포가 공간적으로 편향되었을 때 더욱 효과적인 것으로 나타났다.
적응형 파라미터 밸런싱 스킴(scheme)에 관련된 파라미터는 민감하고 종종 솔루션의 품질에 중요하게 작용하는 상수 밸런싱 파라미터와는 대조적으로 견고한 것으로 나타났다.
벤치마크 데이터를 기반으로 각 이미징 작업에 대하여 실험 결과가 얻어졌으며, 해당 실험결과는 고전적인 에너지 함수에서 상수 밸런싱 파라미터를 본 실시예에 따른 적응형 밸런싱 파라미터로 대체하는 것만으로도 각각의 이미징 작업에 대해 높은 정확도가 획득될 수 있음을 보여준다.
본 실시예에 따른 적응형 밸런싱 파라미터 스킴(scheme)은 복합 컨벡스 에너지(convex energy)에 의해 공식화 될 수 있는 다른 문제와 자연스럽게 통합될 수 있다.
상술한 본 발명의 실시예에 따른 솔루션 제공 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.
200 : 솔루션 제공장치 202 : 디스플레이
204 : 입력부 206 : 프로세서
208 : 메모리

Claims (11)

  1. 삭제
  2. 삭제
  3. 솔루션 제공 장치가 비전 문제(vision problem)의 솔루션을 제공하는 방법에 있어서,
    (a) 하기의 <수학식A>형태로 에너지 함수를 설정하는 단계;
    <수학식 A>
    Figure 112021137572136-pat00412

    여기서,
    Figure 112021137572136-pat00413
    와
    Figure 112021137572136-pat00414
    는 인너 프러덕트(inner product)
    Figure 112021137572136-pat00415
    와 유도되는 놈(induced norm)
    Figure 112021137572136-pat00416
    을 가지는 유한 차원의 실수 벡터 공간이고,
    Figure 112021137572136-pat00417
    는 수학식
    Figure 112021137572136-pat00418
    에 따른 놈(norm)을 가지는 연속적인 선형 연산자이고,
    Figure 112021137572136-pat00419
    와
    Figure 112021137572136-pat00420
    은 닫혀있고(closed) 고유하며(proper) 컨벡스(convex)인 함수이며,
    Figure 112021137572136-pat00421
    은
    Figure 112021137572136-pat00422
    와
    Figure 112021137572136-pat00423
    의 두 구성요소 간의 전반적인 트레이드 오프(trade off)를 결정하는 제어 파라미터임.
    (b) 상기 에너지 함수를 하기 <수학식 B>에 따른 라그랑지안(Lagrangian) 함수로 설정하는 단계;
    <수학식 B>
    Figure 112021137572136-pat00424

    여기서,
    Figure 112021137572136-pat00425
    는 0보다 큰 스칼라 확대 파라미터이고, y는 u 및 z와 연관된 라그랑지안 승수이며,
    Figure 112021137572136-pat00426
    와
    Figure 112021137572136-pat00427
    는 상기 에너지 함수의 데이터 정확도(data fidelity)와 정규화(regularization) 구성임.
    (c) 상기 라그랑지안 함수에 하기의 <수학식 C>에 따른 ADMM(alternating direction method of multipliers) 알고리즘을 적용하여 u, z 및 y를 업데이트 하는 단계;
    <수학식 C>
    Figure 112021137572136-pat00428

    Figure 112021137572136-pat00429

    Figure 112021137572136-pat00430

    (d) 상기 u, 상기 z 및 상기 y의 업데이트에 따라 하기의 <수학식 D>를 이용하여 상기
    Figure 112021137572136-pat00431
    를 업데이트 하는 단계; 및
    <수학식 D>
    Figure 112021137572136-pat00432

    여기서, 파라미터
    Figure 112021137572136-pat00433
    은
    Figure 112021137572136-pat00434
    범위에 한정되어 있는
    Figure 112021137572136-pat00435
    에서 값들의 분포에 관련된 값임.
    (e) 상기 u가 미리 설정된 임계값 이하로 수렴할 때까지 상기 (c) 단계 및 상기 (d) 단계를 반복하여 실시하고, 상기 임계값 이하로 수렴된 u를 솔루션(solution)으로 선정하는 단계를 포함하고,
    상기 (b)단계는
    (b1) 상기 에너지 함수를 하기의 <수학식 E>에 따른 객관적 함수
    Figure 112021137572136-pat00436
    로 정리하는 단계; 및
    <수학식 E>
    Figure 112021137572136-pat00437

    여기서,
    Figure 112021137572136-pat00438
    는 알려지지 않은 변수 u의 도메인임.
    (b2) 새로운 변수
    Figure 112021137572136-pat00439
    를 도입하여, 상기 객관적 함수
    Figure 112021137572136-pat00440
    의 최적화 문제를 하기의 <수학식 F>로 변환하는 단계를 포함하며,
    <수학식 F>
    Figure 112021137572136-pat00441

    상기 비전 문제가 이미지의 노이즈 제거인 경우, 상기 (b1)단계의 <수학식 E>를 하기의 <수학식 G>로 재구성하는 단계를 포함하는, 비전 문제의 솔루션 제공 방법.
    <수학식 G>
    Figure 112021137572136-pat00353

    여기서,
    Figure 112021137572136-pat00354
    는 노이즈가 있는 입력 이미지임.
  4. 솔루션 제공 장치가 비전 문제(vision problem)의 솔루션을 제공하는 방법에 있어서,
    (a) 하기의 <수학식A>형태로 에너지 함수를 설정하는 단계;
    <수학식 A>
    Figure 112021137572136-pat00442

    여기서,
    Figure 112021137572136-pat00443
    와
    Figure 112021137572136-pat00444
    는 인너 프러덕트(inner product)
    Figure 112021137572136-pat00445
    와 유도되는 놈(induced norm)
    Figure 112021137572136-pat00446
    을 가지는 유한 차원의 실수 벡터 공간이고,
    Figure 112021137572136-pat00447
    는 수학식
    Figure 112021137572136-pat00448
    에 따른 놈(norm)을 가지는 연속적인 선형 연산자이고,
    Figure 112021137572136-pat00449
    와
    Figure 112021137572136-pat00450
    은 닫혀있고(closed) 고유하며(proper) 컨벡스(convex)인 함수이며,
    Figure 112021137572136-pat00451
    은
    Figure 112021137572136-pat00452
    와
    Figure 112021137572136-pat00453
    의 두 구성요소 간의 전반적인 트레이드 오프(trade off)를 결정하는 제어 파라미터임.
    (b) 상기 에너지 함수를 하기 <수학식 B>에 따른 라그랑지안(Lagrangian) 함수로 설정하는 단계;
    <수학식 B>
    Figure 112021137572136-pat00454

    여기서,
    Figure 112021137572136-pat00455
    는 0보다 큰 스칼라 확대 파라미터이고, y는 u 및 z와 연관된 라그랑지안 승수이며,
    Figure 112021137572136-pat00456
    와
    Figure 112021137572136-pat00457
    는 상기 에너지 함수의 데이터 정확도(data fidelity)와 정규화(regularization) 구성임.
    (c) 상기 라그랑지안 함수에 하기의 <수학식 C>에 따른 ADMM(alternating direction method of multipliers) 알고리즘을 적용하여 u, z 및 y를 업데이트 하는 단계;
    <수학식 C>
    Figure 112021137572136-pat00458

    Figure 112021137572136-pat00459

    Figure 112021137572136-pat00460

    (d) 상기 u, 상기 z 및 상기 y의 업데이트에 따라 하기의 <수학식 D>를 이용하여 상기
    Figure 112021137572136-pat00461
    를 업데이트 하는 단계; 및
    <수학식 D>
    Figure 112021137572136-pat00462

    여기서, 파라미터
    Figure 112021137572136-pat00463
    은
    Figure 112021137572136-pat00464
    범위에 한정되어 있는
    Figure 112021137572136-pat00465
    에서 값들의 분포에 관련된 값임.
    (e) 상기 u가 미리 설정된 임계값 이하로 수렴할 때까지 상기 (c) 단계 및 상기 (d) 단계를 반복하여 실시하고, 상기 임계값 이하로 수렴된 u를 솔루션(solution)으로 선정하는 단계를 포함하고,
    상기 (b)단계는
    (b1) 상기 에너지 함수를 하기의 <수학식 E>에 따른 객관적 함수
    Figure 112021137572136-pat00466
    로 정리하는 단계; 및
    <수학식 E>
    Figure 112021137572136-pat00467

    여기서,
    Figure 112021137572136-pat00468
    는 알려지지 않은 변수 u의 도메인임.
    (b2) 새로운 변수
    Figure 112021137572136-pat00469
    를 도입하여, 상기 객관적 함수
    Figure 112021137572136-pat00470
    의 최적화 문제를 하기의 <수학식 F>로 변환하는 단계를 포함하며,
    <수학식 F>
    Figure 112021137572136-pat00471

    상기 비전 문제가 이미지의 세그멘테이션(segmentation)인 경우, 상기 (b1)단계의 <수학식 E>를 하기의 <수학식 H>로 재구성하는 단계를 포함하는, 비전 문제의 솔루션 제공 방법.
    <수학식 H>
    Figure 112021137572136-pat00355

    여기서,
    Figure 112021137572136-pat00356
    는 입력 이미지이고, c1 및 c2는 각각 세그멘테이션 경계의 내부 및 외부의 측정치임.
  5. 솔루션 제공 장치가 비전 문제(vision problem)의 솔루션을 제공하는 방법에 있어서,
    (a) 하기의 <수학식A>형태로 에너지 함수를 설정하는 단계;
    <수학식 A>
    Figure 112021137572136-pat00472

    여기서,
    Figure 112021137572136-pat00473
    와
    Figure 112021137572136-pat00474
    는 인너 프러덕트(inner product)
    Figure 112021137572136-pat00475
    와 유도되는 놈(induced norm)
    Figure 112021137572136-pat00476
    을 가지는 유한 차원의 실수 벡터 공간이고,
    Figure 112021137572136-pat00477
    는 수학식
    Figure 112021137572136-pat00478
    에 따른 놈(norm)을 가지는 연속적인 선형 연산자이고,
    Figure 112021137572136-pat00479
    와
    Figure 112021137572136-pat00480
    은 닫혀있고(closed) 고유하며(proper) 컨벡스(convex)인 함수이며,
    Figure 112021137572136-pat00481
    은
    Figure 112021137572136-pat00482
    와
    Figure 112021137572136-pat00483
    의 두 구성요소 간의 전반적인 트레이드 오프(trade off)를 결정하는 제어 파라미터임.
    (b) 상기 에너지 함수를 하기 <수학식 B>에 따른 라그랑지안(Lagrangian) 함수로 설정하는 단계;
    <수학식 B>
    Figure 112021137572136-pat00484

    여기서,
    Figure 112021137572136-pat00485
    는 0보다 큰 스칼라 확대 파라미터이고, y는 u 및 z와 연관된 라그랑지안 승수이며,
    Figure 112021137572136-pat00486
    와
    Figure 112021137572136-pat00487
    는 상기 에너지 함수의 데이터 정확도(data fidelity)와 정규화(regularization) 구성임.
    (c) 상기 라그랑지안 함수에 하기의 <수학식 C>에 따른 ADMM(alternating direction method of multipliers) 알고리즘을 적용하여 u, z 및 y를 업데이트 하는 단계;
    <수학식 C>
    Figure 112021137572136-pat00488

    Figure 112021137572136-pat00489

    Figure 112021137572136-pat00490

    (d) 상기 u, 상기 z 및 상기 y의 업데이트에 따라 하기의 <수학식 D>를 이용하여 상기
    Figure 112021137572136-pat00491
    를 업데이트 하는 단계; 및
    <수학식 D>
    Figure 112021137572136-pat00492

    여기서, 파라미터
    Figure 112021137572136-pat00493
    은
    Figure 112021137572136-pat00494
    범위에 한정되어 있는
    Figure 112021137572136-pat00495
    에서 값들의 분포에 관련된 값임.
    (e) 상기 u가 미리 설정된 임계값 이하로 수렴할 때까지 상기 (c) 단계 및 상기 (d) 단계를 반복하여 실시하고, 상기 임계값 이하로 수렴된 u를 솔루션(solution)으로 선정하는 단계를 포함하고,
    상기 (b)단계는
    (b1) 상기 에너지 함수를 하기의 <수학식 E>에 따른 객관적 함수
    Figure 112021137572136-pat00496
    로 정리하는 단계; 및
    <수학식 E>
    Figure 112021137572136-pat00497

    여기서,
    Figure 112021137572136-pat00498
    는 알려지지 않은 변수 u의 도메인임.
    (b2) 새로운 변수
    Figure 112021137572136-pat00499
    를 도입하여, 상기 객관적 함수
    Figure 112021137572136-pat00500
    의 최적화 문제를 하기의 <수학식 F>로 변환하는 단계를 포함하며,
    <수학식 F>
    Figure 112021137572136-pat00501

    상기 비전 문제가 모션 추정인 경우, 상기 (b1)단계의 <수학식 E>를 하기의 <수학식 I>로 재구성하는 단계를 포함하는, 비전 문제의 솔루션 제공 방법.
    <수학식 I>
    Figure 112021137572136-pat00357

    여기서,
    Figure 112021137572136-pat00358
    이며,
    Figure 112021137572136-pat00359
    는 이미지 도메인이며,
    Figure 112021137572136-pat00360
    는 두 개의 다른 경우에서 획득한 이미지로, 밝기 항상성 가정(brightness consistency assumption)에 기초한 옵티컬 플로우(optical flow)를 고려하여,
    Figure 112021137572136-pat00361
    이며, 연력적인 솔루션 v0 를 v에 가깝도록 첫 번째 구성을
    Figure 112021137572136-pat00362
    와 같이 선형화 할 수 있음.
  6. 삭제
  7. 삭제
  8. 비전 문제(vision problem)의 솔루션을 제공하는 장치에 있어서,
    디스플레이;
    입력부;
    하나 이상의 프로세스들;
    메모리; 및
    상기 메모리에 저장되고 상기 하나 이상의 프로세스들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하며,
    상기 하나 이상의 프로그램들은,
    하기의 <수학식 K >형태로 에너지 함수를 설정하는 명령어;
    <수학식 K>
    Figure 112021137572136-pat00502

    여기서,
    Figure 112021137572136-pat00503
    와
    Figure 112021137572136-pat00504
    는 인너 프러덕트(inner product)
    Figure 112021137572136-pat00505
    와 유도되는 놈(induced norm)
    Figure 112021137572136-pat00506
    을 가지는 유한 차원의 실수 벡터 공간이고,
    Figure 112021137572136-pat00507
    는 수학식
    Figure 112021137572136-pat00508
    에 따른 놈(norm)을 가지는 연속적인 선형 연산자이고,
    Figure 112021137572136-pat00509
    와
    Figure 112021137572136-pat00510
    은 닫혀있고(closed) 고유하며(proper) 컨벡스(convex)인 함수이며,
    Figure 112021137572136-pat00511
    은
    Figure 112021137572136-pat00512
    와
    Figure 112021137572136-pat00513
    의 두 구성요소 간의 전반적인 트레이드 오프(trade off)를 결정하는 제어 파라미터임.
    상기 에너지 함수를 하기 <수학식 L>에 따른 라그랑지안(Lagrangian) 함수로 설정하는 명령어;
    <수학식 L>
    Figure 112021137572136-pat00514

    여기서,
    Figure 112021137572136-pat00515
    는 0보다 큰 스칼라 확대 파라미터이고, y는 u 및 z와 연관된 라그랑지안 승수이며,
    Figure 112021137572136-pat00516
    와
    Figure 112021137572136-pat00517
    는 상기 에너지 함수의 데이터 정확도(data fidelity)와 정규화(regularization) 구성임.
    상기 라그랑지안 함수에 하기의 <수학식 M>에 따른 ADMM(alternating direction method of multipliers) 알고리즘을 적용하여 u, z 및 y를 업데이트 하는 명령어;
    <수학식 M>
    Figure 112021137572136-pat00518

    Figure 112021137572136-pat00519

    Figure 112021137572136-pat00520

    상기 u, 상기 z 및 상기 y의 업데이트에 따라 하기의 <수학식 N>를 이용하여 상기
    Figure 112021137572136-pat00521
    를 업데이트 하는 명령어; 및
    <수학식 N>
    Figure 112021137572136-pat00522

    여기서, 파라미터
    Figure 112021137572136-pat00523
    은
    Figure 112021137572136-pat00524
    범위에 한정되어 있는
    Figure 112021137572136-pat00525
    에서 값들의 분포에 관련된 값임.
    상기 u가 미리 설정된 임계값 이하로 수렴할 때까지 상기 u, z 및 y를 업데이트 하는 명령어 및 상기
    Figure 112021137572136-pat00526
    를 업데이트 하는 명령어를 반복 수행하고, 상기 임계값 이하로 수렴된 u를 솔루션(solution)으로 선정하는 명령어를 포함하고,
    상기 라그랑지안(Lagrangian) 함수로 설정하는 명령어는,
    상기 에너지 함수를 하기의 <수학식 O>에 따른 객관적 함수
    Figure 112021137572136-pat00527
    로 정리하는 명령어; 및
    <수학식 O>
    Figure 112021137572136-pat00528

    여기서,
    Figure 112021137572136-pat00529
    는 알려지지 않은 변수 u의 도메인임.
    새로운 변수
    Figure 112021137572136-pat00530
    를 도입하여, 상기 객관적 함수
    Figure 112021137572136-pat00531
    의 최적화 문제를 하기의 <수학식 P>로 변환하는 명령어를 포함하며,
    <수학식 P>
    Figure 112021137572136-pat00532

    상기 비전 문제가 이미지의 노이즈 제거인 경우, 상기 <수학식 O>를 하기의 <수학식 Q>로 재구성하는 명령어를 포함하는, 솔루션 제공 장치.
    <수학식 Q>
    Figure 112021137572136-pat00394

    여기서,
    Figure 112021137572136-pat00395
    는 노이즈가 있는 입력 이미지임.
  9. 비전 문제(vision problem)의 솔루션을 제공하는 장치에 있어서,
    디스플레이;
    입력부;
    하나 이상의 프로세스들;
    메모리; 및
    상기 메모리에 저장되고 상기 하나 이상의 프로세스들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하며,
    상기 하나 이상의 프로그램들은,
    하기의 <수학식 K >형태로 에너지 함수를 설정하는 명령어;
    <수학식 K>
    Figure 112021137572136-pat00533

    여기서,
    Figure 112021137572136-pat00534
    와
    Figure 112021137572136-pat00535
    는 인너 프러덕트(inner product)
    Figure 112021137572136-pat00536
    와 유도되는 놈(induced norm)
    Figure 112021137572136-pat00537
    을 가지는 유한 차원의 실수 벡터 공간이고,
    Figure 112021137572136-pat00538
    는 수학식
    Figure 112021137572136-pat00539
    에 따른 놈(norm)을 가지는 연속적인 선형 연산자이고,
    Figure 112021137572136-pat00540
    와
    Figure 112021137572136-pat00541
    은 닫혀있고(closed) 고유하며(proper) 컨벡스(convex)인 함수이며,
    Figure 112021137572136-pat00542
    은
    Figure 112021137572136-pat00543
    와
    Figure 112021137572136-pat00544
    의 두 구성요소 간의 전반적인 트레이드 오프(trade off)를 결정하는 제어 파라미터임.
    상기 에너지 함수를 하기 <수학식 L>에 따른 라그랑지안(Lagrangian) 함수로 설정하는 명령어;
    <수학식 L>
    Figure 112021137572136-pat00545

    여기서,
    Figure 112021137572136-pat00546
    는 0보다 큰 스칼라 확대 파라미터이고, y는 u 및 z와 연관된 라그랑지안 승수이며,
    Figure 112021137572136-pat00547
    와
    Figure 112021137572136-pat00548
    는 상기 에너지 함수의 데이터 정확도(data fidelity)와 정규화(regularization) 구성임.
    상기 라그랑지안 함수에 하기의 <수학식 M>에 따른 ADMM(alternating direction method of multipliers) 알고리즘을 적용하여 u, z 및 y를 업데이트 하는 명령어;
    <수학식 M>
    Figure 112021137572136-pat00549

    Figure 112021137572136-pat00550

    Figure 112021137572136-pat00551

    상기 u, 상기 z 및 상기 y의 업데이트에 따라 하기의 <수학식 N>를 이용하여 상기
    Figure 112021137572136-pat00552
    를 업데이트 하는 명령어; 및
    <수학식 N>
    Figure 112021137572136-pat00553

    여기서, 파라미터
    Figure 112021137572136-pat00554
    은
    Figure 112021137572136-pat00555
    범위에 한정되어 있는
    Figure 112021137572136-pat00556
    에서 값들의 분포에 관련된 값임.
    상기 u가 미리 설정된 임계값 이하로 수렴할 때까지 상기 u, z 및 y를 업데이트 하는 명령어 및 상기
    Figure 112021137572136-pat00557
    를 업데이트 하는 명령어를 반복 수행하고, 상기 임계값 이하로 수렴된 u를 솔루션(solution)으로 선정하는 명령어를 포함하고,
    상기 라그랑지안(Lagrangian) 함수로 설정하는 명령어는,
    상기 에너지 함수를 하기의 <수학식 O>에 따른 객관적 함수
    Figure 112021137572136-pat00558
    로 정리하는 명령어; 및
    <수학식 O>
    Figure 112021137572136-pat00559

    여기서,
    Figure 112021137572136-pat00560
    는 알려지지 않은 변수 u의 도메인임.
    새로운 변수
    Figure 112021137572136-pat00561
    를 도입하여, 상기 객관적 함수
    Figure 112021137572136-pat00562
    의 최적화 문제를 하기의 <수학식 P>로 변환하는 명령어를 포함하며,
    <수학식 P>
    Figure 112021137572136-pat00563

    상기 비전 문제가 이미지의 세그멘테이션(segmentation)인 경우, 상기 <수학식 O>를 하기의 <수학식 R>로 재구성하는 명령어를 포함하는, 솔루션 제공 장치.
    <수학식 R>
    Figure 112021137572136-pat00396

    여기서,
    Figure 112021137572136-pat00397
    는 입력 이미지이고, c1 및 c2는 각각 세그멘테이션 경계의 내부 및 외부의 측정치임.
  10. 비전 문제(vision problem)의 솔루션을 제공하는 장치에 있어서,
    디스플레이;
    입력부;
    하나 이상의 프로세스들;
    메모리; 및
    상기 메모리에 저장되고 상기 하나 이상의 프로세스들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하며,
    상기 하나 이상의 프로그램들은,
    하기의 <수학식 K >형태로 에너지 함수를 설정하는 명령어;
    <수학식 K>
    Figure 112021137572136-pat00564

    여기서,
    Figure 112021137572136-pat00565
    와
    Figure 112021137572136-pat00566
    는 인너 프러덕트(inner product)
    Figure 112021137572136-pat00567
    와 유도되는 놈(induced norm)
    Figure 112021137572136-pat00568
    을 가지는 유한 차원의 실수 벡터 공간이고,
    Figure 112021137572136-pat00569
    는 수학식
    Figure 112021137572136-pat00570
    에 따른 놈(norm)을 가지는 연속적인 선형 연산자이고,
    Figure 112021137572136-pat00571
    와
    Figure 112021137572136-pat00572
    은 닫혀있고(closed) 고유하며(proper) 컨벡스(convex)인 함수이며,
    Figure 112021137572136-pat00573
    은
    Figure 112021137572136-pat00574
    와
    Figure 112021137572136-pat00575
    의 두 구성요소 간의 전반적인 트레이드 오프(trade off)를 결정하는 제어 파라미터임.
    상기 에너지 함수를 하기 <수학식 L>에 따른 라그랑지안(Lagrangian) 함수로 설정하는 명령어;
    <수학식 L>
    Figure 112021137572136-pat00576

    여기서,
    Figure 112021137572136-pat00577
    는 0보다 큰 스칼라 확대 파라미터이고, y는 u 및 z와 연관된 라그랑지안 승수이며,
    Figure 112021137572136-pat00578
    와
    Figure 112021137572136-pat00579
    는 상기 에너지 함수의 데이터 정확도(data fidelity)와 정규화(regularization) 구성임.
    상기 라그랑지안 함수에 하기의 <수학식 M>에 따른 ADMM(alternating direction method of multipliers) 알고리즘을 적용하여 u, z 및 y를 업데이트 하는 명령어;
    <수학식 M>
    Figure 112021137572136-pat00580

    Figure 112021137572136-pat00581

    Figure 112021137572136-pat00582

    상기 u, 상기 z 및 상기 y의 업데이트에 따라 하기의 <수학식 N>를 이용하여 상기
    Figure 112021137572136-pat00583
    를 업데이트 하는 명령어; 및
    <수학식 N>
    Figure 112021137572136-pat00584

    여기서, 파라미터
    Figure 112021137572136-pat00585
    은
    Figure 112021137572136-pat00586
    범위에 한정되어 있는
    Figure 112021137572136-pat00587
    에서 값들의 분포에 관련된 값임.
    상기 u가 미리 설정된 임계값 이하로 수렴할 때까지 상기 u, z 및 y를 업데이트 하는 명령어 및 상기
    Figure 112021137572136-pat00588
    를 업데이트 하는 명령어를 반복 수행하고, 상기 임계값 이하로 수렴된 u를 솔루션(solution)으로 선정하는 명령어를 포함하고,
    상기 라그랑지안(Lagrangian) 함수로 설정하는 명령어는,
    상기 에너지 함수를 하기의 <수학식 O>에 따른 객관적 함수
    Figure 112021137572136-pat00589
    로 정리하는 명령어; 및
    <수학식 O>
    Figure 112021137572136-pat00590

    여기서,
    Figure 112021137572136-pat00591
    는 알려지지 않은 변수 u의 도메인임.
    새로운 변수
    Figure 112021137572136-pat00592
    를 도입하여, 상기 객관적 함수
    Figure 112021137572136-pat00593
    의 최적화 문제를 하기의 <수학식 P>로 변환하는 명령어를 포함하며,
    <수학식 P>
    Figure 112021137572136-pat00594

    상기 비전 문제가 모션 추정인 경우, <수학식 O>를 하기의 <수학식 S>로 재구성하는 명령어를 포함하는, 솔루션 제공 장치.
    <수학식 S>
    Figure 112021137572136-pat00398

    여기서,
    Figure 112021137572136-pat00399
    이며,
    Figure 112021137572136-pat00400
    는 이미지 도메인이며,
    Figure 112021137572136-pat00401
    는 두 개의 다른 경우에서 획득한 이미지로, 밝기 항상성 가정(brightness consistency assumption)에 기초한 옵티컬 플로우(optical flow)를 고려하여,
    Figure 112021137572136-pat00402
    이며, 연력적인 솔루션 v0 를 v에 가깝도록 첫 번째 구성을
    Figure 112021137572136-pat00403
    와 같이 선형화 할 수 있음.
  11. 제3항 내지 제5항 중 어느 하나의 솔루션 제공 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020170028951A 2017-03-07 2017-03-07 비전 문제의 솔루션 제공 방법 및 그 장치 KR102416867B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170028951A KR102416867B1 (ko) 2017-03-07 2017-03-07 비전 문제의 솔루션 제공 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170028951A KR102416867B1 (ko) 2017-03-07 2017-03-07 비전 문제의 솔루션 제공 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20180102385A KR20180102385A (ko) 2018-09-17
KR102416867B1 true KR102416867B1 (ko) 2022-07-05

Family

ID=63722021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170028951A KR102416867B1 (ko) 2017-03-07 2017-03-07 비전 문제의 솔루션 제공 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102416867B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101524944B1 (ko) 2013-11-27 2015-06-02 중앙대학교 산학협력단 다중 영역 영상 분할 방법 및 그 장치
WO2015128295A1 (en) * 2014-02-26 2015-09-03 Thomson Licensing Method and apparatus for encoding and decoding hdr images
CN105469363B (zh) * 2014-09-05 2018-05-18 华为技术有限公司 基于模糊图像生成清晰图像的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Daniele Graziani외2-"ADMM algorithm for demosaicking deblurring denoising", HAL, pp1-15,(2013.10.18.)*

Also Published As

Publication number Publication date
KR20180102385A (ko) 2018-09-17

Similar Documents

Publication Publication Date Title
JP6692464B2 (ja) 点を有する入力点群を処理するシステム及び方法
Jenke et al. Bayesian point cloud reconstruction
Hu et al. Feature graph learning for 3D point cloud denoising
CN102609904B (zh) 双变量非局部平均滤波x射线图像消噪方法
Langer Automated parameter selection for total variation minimization in image restoration
US20190304180A1 (en) Method and System for Generating a Mesh
Holt Total nuclear variation and jacobian extensions of total variation for vector fields
Mandal et al. Noise adaptive super-resolution from single image via non-local mean and sparse representation
Jung et al. Efficient nonsmooth nonconvex optimization for image restoration and segmentation
Mahmoudi et al. Sparse representations for range data restoration
Liu et al. Adaptive sparse coding on PCA dictionary for image denoising
Kang et al. Total generalized variation based denoising models for ultrasound images
Denis et al. Joint regularization of phase and amplitude of InSAR data: Application to 3-D reconstruction
Hong et al. Adaptive regularization of some inverse problems in image analysis
Zhang et al. Image restoration method based on fractional variable order differential
Rajabi et al. A Modified adaptive hysteresis smoothing approach for image denoising based on spatial domain redundancy
CN102810202A (zh) 基于分数阶差分加权的图像多步残差反馈迭代滤波方法
Hong et al. Adaptive regularization in convex composite optimization for variational imaging problems
Shahdoosti et al. A new compressive sensing based image denoising method using block-matching and sparse representations over learned dictionaries
US7103229B2 (en) Image simplification using a robust reconstruction filter
KR102416867B1 (ko) 비전 문제의 솔루션 제공 방법 및 그 장치
Mittal et al. Automatic parameter prediction for image denoising algorithms using perceptual quality features
Zhang et al. Multi-resolution depth image restoration
Suneetha et al. An Improved Denoising of Medical Images Based on Hybrid Filter Approach and Assess Quality Metrics
CN113506212A (zh) 一种改进的基于pocs的高光谱图像超分辨率重建方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant