KR20180102385A - 비전 문제의 솔루션 제공 방법 및 그 장치 - Google Patents

비전 문제의 솔루션 제공 방법 및 그 장치 Download PDF

Info

Publication number
KR20180102385A
KR20180102385A KR1020170028951A KR20170028951A KR20180102385A KR 20180102385 A KR20180102385 A KR 20180102385A KR 1020170028951 A KR1020170028951 A KR 1020170028951A KR 20170028951 A KR20170028951 A KR 20170028951A KR 20180102385 A KR20180102385 A KR 20180102385A
Authority
KR
South Korea
Prior art keywords
equation
solution
here
emi
function
Prior art date
Application number
KR1020170028951A
Other languages
English (en)
Other versions
KR102416867B1 (ko
Inventor
홍병우
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020170028951A priority Critical patent/KR102416867B1/ko
Publication of KR20180102385A publication Critical patent/KR20180102385A/ko
Application granted granted Critical
Publication of KR102416867B1 publication Critical patent/KR102416867B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

비전 문제의 솔루션 제공 방법 및 그 장치가 개시된다.
본 발명의 실시예에 따른 비전 문제의 솔루션 제공 방법은, (a) 에너지 함수를 설정하는 단계; (b) 상기 에너지 함수를 라그랑지안(Lagrangian) 함수로 설정하는 단계; (c) 상기 라그랑지안 함수에 ADMM 알고리즘을 적용하여 u, z 및 y를 업데이트 하는 단계; (d) 상기 u, 상기 z 및 상기 y의 업데이트에 따라 상기
Figure pat00404
를 업데이트 하는 단계; 및 (e) 상기 u가 미리 설정된 임계값 이하로 수렴할 때까지 상기 (c) 단계 및 상기 (d) 단계를 반복하여 실시하고, 상기 임계값 이하로 수렴된 u를 솔루션으로 선정하는 단계를 포함할 수 있다.

Description

비전 문제의 솔루션 제공 방법 및 그 장치 {Method and its Apparatus for offering solution of vision problem}
본 발명은 솔루션 제공 방법 및 그 장치에 대한 것으로 보다 상세하게는, 컴퓨터 비전 문제(vision problem)의 솔루션(solution)을 제공하는 방법 및 그 장치에 대한 것이다.
다양한 컴퓨터 비전 문제들은, 에너지 함수가 공식화되고 최소 에너지가 해당 문제의 해결책으로 이르는 곳인 가변 프레임워크(variational frame work)에서 에너지 최소화 문제로 바뀔 수 있다.
에너지 함수에 대한 한가지 기본적인 분류는 컨벡스(convex) 또는 넌컨벡스(non-convex) 이다.
여러 개의 지역적인 최소점을 가질 수 있는 넌컨벡스 에너지(non-convex energy)와는 대조적으로 컨벡스 에너지의 장점은 초기 조건에 상관없이 고유한 글로벌 솔루션을 얻을 수 있다는 점이다.
비록 넌컨벡스 공식화(non-convex formulation)가 가끔씩 보다 현실적인 이미징 모델을 설명해주기는 하나, 컨벡스 공식화(convex formulations)의 바람직한 연산 특성은 효율적인 최적화 알고리즘 분야에 최근 진보를 가져오게 하였다.
이러한 컨벡스(convex) 최적화 기술은 이미지의 노이즈제거(denosing), 세그멘테이션(segmentation) 및 모션 추정(motion estimation)과 같은 수많은 컴퓨터 비전 문제에 적용되어 왔다.
변분 접근법(variational approach)에서 그와 같은 문제들에 대한 컨벡스(convex) 최적화는 일반적으로 데이터 정확도 구성(data fidelity term)과 정규화 구성(regularization term)의 조합으로 구성된다.
데이터 정확도 구성(data fidelity term)은 모델과 측정치간의 오차를 측정하며, 정규화 구성(regularization term)은 솔루션에 대한 선험적인 정보(a-priori information)를 포함한다.
모델 적합성과 정규화도 간의 트레이드 오프(trade-off)는 스태틱 퍼지티브 웨잇(static positive weight)에 의해 제어된다.
이 변수는 가끔씩 솔루션의 퀄리티(quality)에 중대한 관계를 가진다.
가변 프레임워크(variational framework)에서 적절한 제어 파라미터들(control parameters)을 결정하는 공통 기준 중 하나는 광범위한 육안 검사에 의한 수동 선택 또는 훈련 과정을 통한 특정 품질 측정에 대한 철저한 조사이다.
최적의 제어 변수를 선택하는 어려움 및 예민함에 추가하여, 데이터 정확도 및 정규화간의 정적 밸런싱(static balancing)은 데이터 정확도와 정규화에너지가 균형을 위해 계속 변화하는 최적화 과정에서의 두 개의 구성간의 밸런싱의 대안을 적용하여 보다 나은 최종 솔루션으로 이끌어지는 중간 솔루션(intermediate solution)에 적합하지 않다는 문제점이 있다.
예를 들어, 일정한 전역 정규화 파라미터는 모션 추정 응용 프로그램에서 상이한 속도를 가지는 여러 객체들을 처리하는데 효과적이지 않다는 문제점이 있다.
유사하게, 일정한 전역 규칙성은 종종 이미지의 노이즈 제거 또는 세그멘테이션(segmentation) 문제에서 공간적으로 변하는 잡음을 처리하지 못한다는 문제점이 있다.
한국등록특허 제10-1524944호(2015.5.26. 공고)
본 발명은 최적화 과정의 각 반복에서 중간 솔루션에 의해 결정되는 밸런싱 파라미터에 대한 새로운 알고리즘을 적용하는, 비전문제의 솔루션 제공 방법 및 그 장치를 제공하고자 한다.
또한, 데이터 정확도와 정규화 간의 밸런싱 파라미터의 반복적인 적용으로 보다 정확한 결과물을 얻는 최적화 프로세서를 가능하게 하는, 비전문제의 솔루션 제공 방법 및 그 장치를 제공하고자 한다.
또한, 모델과 관측 사이의 공간적으로 변화할 수 있는 통계적 불일치를 다루기 위해, 국소 잔여 성분(local residual)을 고려하여 정규화 정도를 적응형으로 결정하는, 비전문제의 솔루션 제공 방법 및 그 장치를 제공하고자 한다.
본 발명의 일 측면에 따르면, 솔루션 제공 장치가 비전 문제(vision problem)의 솔루션을 제공하는 방법에 있어서, (a) 하기의 <수학식A>형태로 에너지 함수를 설정하는 단계; (b) 상기 에너지 함수를 하기 <수학식 B>에 따른 라그랑지안(Lagrangian) 함수로 설정하는 단계; (c) 상기 라그랑지안 함수에 하기의 <수학식 C>에 따른 ADMM(alternating direction method of multipliers) 알고리즘을 적용하여 u, z 및 y를 업데이트 하는 단계; (d) 상기 u, 상기 z 및 상기 y의 업데이트에 따라 하기의 <수학식 D>를 이용하여 상기
Figure pat00001
를 업데이트 하는 단계; 및 (e) 상기 u가 미리 설정된 임계값 이하로 수렴할 때까지 상기 (c) 단계 및 상기 (d) 단계를 반복하여 실시하고, 상기 임계값 이하로 수렴된 u를 솔루션(solution)으로 선정하는 단계를 포함하는, 비전 문제의 솔루션 제공 방법이 제공될 수 있다.
<수학식 A>
Figure pat00002
여기서,
Figure pat00003
와
Figure pat00004
는 인너 프러덕트(inner product)
Figure pat00005
와 유도되는 놈(induced norm)
Figure pat00006
을 가지는 유한 차원의 실수 벡터 공간이고,
Figure pat00007
는 수학식
Figure pat00008
에 따른 놈(norm)을 가지는 연속적인 선형 연산자이고,
Figure pat00009
와
Figure pat00010
은 닫혀있고(closed) 고유하며(proper) 컨벡스(convex)인 함수이며,
Figure pat00011
은
Figure pat00012
와
Figure pat00013
의 두 구성요소 간의 전반적인 트레이드 오프(trade off)를 결정하는 제어 파라미터임.
<수학식 B>
Figure pat00014
여기서,
Figure pat00015
는 0보다 큰 스칼라 확대 파라미터이고, y는 u 및 z와 연관된 라그랑지안 승수이며,
Figure pat00016
와
Figure pat00017
는 상기 에너지 함수의 데이터 정확도(data fidelity)와 정규화(regularization) 구성임.
<수학식 C>
Figure pat00018
Figure pat00019
Figure pat00020
<수학식 D>
Figure pat00021
여기서, 파라미터
Figure pat00022
은
Figure pat00023
범위에 한정되어 있는
Figure pat00024
에서 값들의 분포에 관련된 값임.
또한, 상기 (b)단계는
(b1) 상기 에너지 함수를 하기의 <수학식 E>에 따른 객관적 함수
Figure pat00025
로 정리하는 단계; 및 (b2) 새로운 변수
Figure pat00026
를 도입하여, 상기 객관적 함수
Figure pat00027
의 최적화 문제를 하기의 <수학식 F>로 변환하는 단계를 포함할 수 있다.
<수학식 E>
Figure pat00028
여기서,
Figure pat00029
는 알려지지 않은 변수 u의 도메인임.
<수학식 F>
Figure pat00030
또한, 상기 비전 문제가 이미지의 노이즈 제거인 경우, 상기 (b1)단계의 <수학식 E>를 하기의 <수학식 G>로 재구성하는 단계를 포함할 수 있다.
<수학식 G>
Figure pat00031
여기서,
Figure pat00032
는 노이즈가 있는 입력 이미지임.
또한, 상기 비전 문제가 이미지의 세그멘테이션(segmentation)인 경우, 상기 (b1)단계의 <수학식 E>를 하기의 <수학식 H>로 재구성하는 단계를 포함할 수 있다.
<수학식 H>
Figure pat00033
여기서,
Figure pat00034
는 입력 이미지이고, c1 및 c2는 각각 세그멘테이션 경계의 내부 및 외부의 측정치임.
또한, 상기 비전 문제가 모션 추정인 경우, 상기 (b1)단계의 <수학식 E>를 하기의 <수학식 I>로 재구성하는 단계를 포함할 수 있다.
<수학식 I>
Figure pat00035
여기서,
Figure pat00036
이며,
Figure pat00037
는 이미지 도메인이며,
Figure pat00038
는 두 개의 다른 경우에서 획득한 이미지로, 밝기 항상성 가정(brightness consistency assumption)에 기초한 옵티컬 플로우(optical flow)를 고려하여,
Figure pat00039
이며, 연력적인 솔루션 v0 를 v에 가깝도록 첫 번째 구성을
Figure pat00040
와 같이 선형화 할 수 있음.
본 발명의 다른 측면에 의하면, 비전 문제(vision problem)의 솔루션을 제공하는 장치에 있어서, 디스플레이; 입력부; 하나 이상의 프로세스들; 메모리; 및 상기 메모리에 저장되고 상기 하나 이상의 프로세스들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은, 하기의 <수학식 K >형태로 에너지 함수를 설정하는 명령어; 상기 에너지 함수를 하기 <수학식 L>에 따른 라그랑지안(Lagrangian) 함수로 설정하는 명령어; 상기 라그랑지안 함수에 하기의 <수학식 M>에 따른 ADMM(alternating direction method of multipliers) 알고리즘을 적용하여 u, z 및 y를 업데이트 하는 명령어; 상기 u, 상기 z 및 상기 y의 업데이트에 따라 하기의 <수학식 N>를 이용하여 상기
Figure pat00041
를 업데이트 하는 명령어; 및 상기 u가 미리 설정된 임계값 이하로 수렴할 때까지 상기 u, z 및 y를 업데이트 하는 명령어 및 상기
Figure pat00042
를 업데이트 하는 명령어를 반복 수행하고, 상기 임계값 이하로 수렴된 u를 솔루션(solution)으로 선정하는 명령어를 포함하는, 솔루션 제공 장치가 제공될 수 있다.
<수학식 K>
Figure pat00043
여기서,
Figure pat00044
와
Figure pat00045
는 인너 프러덕트(inner product)
Figure pat00046
와 유도되는 놈(induced norm)
Figure pat00047
을 가지는 유한 차원의 실수 벡터 공간이고,
Figure pat00048
는 수학식
Figure pat00049
에 따른 놈(norm)을 가지는 연속적인 선형 연산자이고,
Figure pat00050
와
Figure pat00051
은 닫혀있고(closed) 고유하며(proper) 컨벡스(convex)인 함수이며,
Figure pat00052
은
Figure pat00053
와
Figure pat00054
의 두 구성요소 간의 전반적인 트레이드 오프(trade off)를 결정하는 제어 파라미터임.
<수학식 L>
Figure pat00055
여기서,
Figure pat00056
는 0보다 큰 스칼라 확대 파라미터이고, y는 u 및 z와 연관된 라그랑지안 승수이며,
Figure pat00057
와
Figure pat00058
는 상기 에너지 함수의 데이터 정확도(data fidelity)와 정규화(regularization) 구성임.
<수학식 M>
Figure pat00059
Figure pat00060
Figure pat00061
<수학식 N>
Figure pat00062
여기서, 파라미터
Figure pat00063
은
Figure pat00064
범위에 한정되어 있는
Figure pat00065
에서 값들의 분포에 관련된 값임.
또한, 상기 라그랑지안(Lagrangian) 함수로 설정하는 명령어는,
상기 에너지 함수를 하기의 <수학식 O>에 따른 객관적 함수
Figure pat00066
로 정리하는 명령어; 및 새로운 변수
Figure pat00067
를 도입하여, 상기 객관적 함수
Figure pat00068
의 최적화 문제를 하기의 <수학식 P>로 변환하는 명령어를 포함할 수 있다.
<수학식 O>
Figure pat00069
여기서,
Figure pat00070
는 알려지지 않은 변수 u의 도메인임.
<수학식 P>
Figure pat00071
또한, 상기 비전 문제가 이미지의 노이즈 제거인 경우, 상기 <수학식 O>를 하기의 <수학식 Q>로 재구성하는 명령어를 포함할 수 있다.
<수학식 Q>
Figure pat00072
여기서,
Figure pat00073
는 노이즈가 있는 입력 이미지임.
또한, 상기 비전 문제가 이미지의 세그멘테이션(segmentation)인 경우, 상기 <수학식 O>를 하기의 <수학식 R>로 재구성하는 명령어를 포함할 수 있다.
<수학식 R>
Figure pat00074
여기서,
Figure pat00075
는 입력 이미지이고, c1 및 c2는 각각 세그멘테이션 경계의 내부 및 외부의 측정치임.
또한, 상기 비전 문제가 모션 추정인 경우, <수학식 O>를 하기의 <수학식 S>로 재구성하는 명령어를 포함할 수 있다.
<수학식 S>
Figure pat00076
여기서,
Figure pat00077
이며,
Figure pat00078
는 이미지 도메인이며,
Figure pat00079
는 두 개의 다른 경우에서 획득한 이미지로, 밝기 항상성 가정(brightness consistency assumption)에 기초한 옵티컬 플로우(optical flow)를 고려하여,
Figure pat00080
이며, 연력적인 솔루션 v0 를 v에 가깝도록 첫 번째 구성을
Figure pat00081
와 같이 선형화 할 수 있음.
본 발명의 또 다른 측면에 의하면, 상술한 어느 하나의 솔루션 제공 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
본 발명의 실시예에 따른 비전문제의 솔루션 제공 방법 및 그 장치는 최적화 과정의 각 반복에서 중간 솔루션에 의해 결정되는 밸런싱 파라미터에 대한 새로운 알고리즘을 적용한다는 장점이 있다.
또한, 데이터 정확도와 정규화 간의 밸런싱 파라미터의 반복적인 적용으로 보다 정확한 결과물을 얻는 최적화 프로세서가 가능하다는 장점이 있다.
또한, 모델과 관측 사이의 공간적으로 변화할 수 있는 통계적 불일치를 다루기 위해, 국소 잔여 성분(local residual)을 고려하여 정규화 정도를 적응형으로 결정한다는 장점이 있다.
도 1은 본 발명의 실시예에 따른 솔루션 제공 방법의 순서도.
도 2는 본 발명의 실시예에 따른 솔루션 제공장치의 내부 구성을 예시한 도면.
도 3은 최상의 PSNR로 이미지의 노이즈를 제거한 결과를 예시한 결과.
도 4는 본 발명의 실시예에 따라 적응형 정규화 파라미터를 사용한 경우 측정된 오차를 예시한 그래프.
도 5는 최상의 F-측정으로 시각화한 세그멘테이션 결과들.
도 6은 F-측정에 기초한 세그멘테이션의 정량적 평가.
도 7은
Figure pat00082
과
Figure pat00083
에 대한 각각의 종점 오차와 각 오차를 예시한 그래프.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하나 이상의 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있음을 의미한다.
이하, 본 발명의 실시예에 따라 솔루션 제공장치가 비전 문제(vision problem)의 솔루션을 제공하는 방법의 이론적인 부분을 상세히 설명한 후, 도면을 참고하여 해당 방법 및 장치에 대해서 설명한다.
이하, 본 명세서에서
Figure pat00084
와
Figure pat00085
는 인너 프로덕트(inner product)
Figure pat00086
와, 유도되는 놈(induced norm)
Figure pat00087
을 가지는 유한 차원의 실수 벡터 공간이라고 가정한다.
그리고,
Figure pat00088
는 하기의 수학식(1)에 따른 놈(norm)을 가지는 연속적인 선형 연산자로 가정한다.
Figure pat00089
(1)
본 실시예에서, 솔루션 제공 장치가 관심을 가지는 문제는 하기의 수학식(2)에 따른 컨벡스 최적화 공식의 솔루션을 제공하는 것이다.
Figure pat00090
(2)
여기서,
Figure pat00091
은
Figure pat00092
와
Figure pat00093
의 두 구성요소 간의 전반적인 트레이드 오프(trade off)를 결정하는 제어 파라미터이며. 함수
Figure pat00094
와
Figure pat00095
은 닫혀있고(closed), 고유하며(proper) 컨벡스(convex)인 것으로 가정한다.
제어 파라미터
Figure pat00096
는 함수
Figure pat00097
가 일반적으로 데이터 정확도에 대응되고, 함수
Figure pat00098
이 정규화에 해당하는 목표 함수에서 두 구성요소간의 상대적인 가중치를 결정한다.
대부분의 경우,
Figure pat00099
는 알려지지 않은 함수
Figure pat00100
의 전체 도메인에 대해 일정한 값을 가지므로, 데이터 정확도와 정규화간의 전체적인 가중치를 고려할 수 있다. 그러나, 종래기수에서와 같이 상수 제어 파라미터는 두 구성요소간의 국부적인 균형을 고려하지 않으므로, 공간적으로 변화하는 이미지 저하를 초래할 수 있다. 따라서, 본 실시예에서는 모델에 대한 데이터의 국부적인 적합성을 기반으로 상대적인 가중치를 자동으로 결정하는 공간 적응형 밸런싱 파라미터를 적용하여 솔루션 제공하는 방법을 제안한다.
본 실시예에서 데이터 정확도
Figure pat00101
와 정규화
Figure pat00102
와 공간 적응형 가중치 파라미터
Figure pat00103
로 구성되는 객관적 함수
Figure pat00104
를 고려할 수 있다.
Figure pat00105
(3)
여기서,
Figure pat00106
는 알려지지 않은 변수
Figure pat00107
의 도메인을 나타내며, 파라미터
Figure pat00108
은
Figure pat00109
범위에 한정되어 있는
Figure pat00110
에서 값들의 분포에 관련되어 있다.
적응형 가중치 파라미터
Figure pat00111
는 잔여 성분(residual)
Figure pat00112
의 차수가 작아서 정규화
Figure pat00113
가 덜 부과되는 데이터 정확도 지점에 더 높은 가중치를 사용하도록 설계되었다. 반면에, 잔여 성분(residual)
Figure pat00114
의 차수가 높아서 정규화
Figure pat00115
가 더욱 부과되는 데이터 정확도 지점에는 더 낮은 가중치를 사용하도록 설계되었다.
하기에서 볼 수 있듯이, 수학식(3)은
Figure pat00116
를 달성하기 위한 특정한 편향(bias)를 가지므로, 일부 애플리케이션에서는 다음 모델을 사용하는 것이 좋을 수 있다.
Figure pat00117
(4)
Figure pat00118
가 실제로 영보다 크도록
Figure pat00119
가 충분히 작아지면, 0이 아닌 정규화가 존재하기 때문에, 정립이 잘 된다. 또한, 밸런싱 파라미터에서 평탄화를 촉진하기 위해, 예를 들어 분산이 작은 가우시안(Gaussian)과 같은 커널 G(kernel G)로 추가 컨벌루션(convolution)이 적용될 수 있다.
여기서, 원래의 수학식(3)은
Figure pat00120
인 특수한 경우이고,
Figure pat00121
는 수학식 (4)에서 디락 델타(Dirac delta)임을 알 수 있다.
여기서, 본 실시예에서 고정된
Figure pat00122
에 대하여
Figure pat00123
를 최소화하는 것을 찾는 것은,
Figure pat00124
에 대하여
Figure pat00125
를 공동으로 최소화하는 것이 아님을 의미한다. 이 최소화 절차는 수학식 (3) 및 수학식 (4)의 수학적 구조 상 자연 부동점 맵 (natural fixed-point map)
Figure pat00126
으로 간주될 수 있다. 이 점에 대해서는, 이후 부동점 문제(fixed-point problem) 프레임워크를 사용하여, 그것의 수치적 솔루션 뿐만 아니라 수학적 분석을 설명한다.
수학식 (3)의 최적
Figure pat00127
계산에서, ADMM(alternating direction method of multipliers)알고리즘 의 프레임워크에서 최적화 스킴(scheme)을 적용할 수 있다.
ADMM 알고리즘은 [Boyd,S., Parikh, N., E Chu, B.P., Eckstein, J. : Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers. Foundations and Trends in Machine Learning 3(1) (2010) 1-122]에 공지되어 있으므로, 본 명세서에서 상세한 설명은 생략한다.
수학식(3)의 목적 함수
Figure pat00128
의 최적화 문제는 새로운 변수
Figure pat00129
와 함께 하기와 같이 변수로 표현할 수 있다.
Figure pat00130
여기서,
Figure pat00131
,
Figure pat00132
(5)
여기서,
Figure pat00133
는 연속적인 선형 연산자이고,
Figure pat00134
는 영보다 큰 스칼라(scalar) 파라미터이다.
ADMM 알고리즘의 기준형태(scaled form)인 수학식 (5)의 관련 확장된 라그랑지안(Lagrangian)은 다음과 같이 주어질 수 있다.
Figure pat00135
(6)
본 실시예에서는, 수학식(5)에서 목표값을 풀기 위한 ADMM 업데이트로 하기의 <알고리즘 1>을 이용할 수 있다.
Figure pat00136
(7)
Figure pat00137
(8)
Figure pat00138
(9)
Figure pat00139
(10)
여기서,
Figure pat00140
는 0보다 큰 스칼라 확대 파라미터이고, y는 u 및 z와 연관된 라그랑지안(lagrangian) 승수이다.
ADMM 알고리즘은 초기 변수 u 및 z에 대해 수학식 (6)에서 확장된 라그랑지안(lagrangian)을 최소화하고, 이중 변수 y에 대해 기울기 상승 스킴(gradient ascend scheme)을 적용하는 대안적 최소화 스킴(alternative minimization scheme)이다.
적응형 밸런싱 파라미터
Figure pat00141
의 업데이트는 변수 u, z 및 y의 업데이트에 따른다.
ADMM 알고리즘을 사용하는 최적화 절차는 <알고리즘 1>에 나와 있으며, 여기서 k는 반복 카운터이다.
수학식 (7)에서 초기 변수 uk+1 갱신의 최적 조건은 다음과 같은 추가적인 2차 규칙성과 결합하여 uk 주변에 테일러 확장(Taylor expansion)을 이용하는 2차 정규화 구성(regularization term)의 선형화에 의해 간단해질 수 있다.
Figure pat00142
(11)
여기서,
Figure pat00143
는
Figure pat00144
의 수반연산자(adjoint operator)이고,
Figure pat00145
는 영보다 큰 스칼라 규칙 파라미터(scalar regularity parameter)이다. 그리고, 초기 변수 uk+1과 zk+1의 업데이트에 대한 최적조건은 다음과 같이 나타낼 수 있다.
Figure pat00146
(12)
Figure pat00147
(13)
여기서,
Figure pat00148
는 하위구분의 연산자(subdifferential operator)이다. 수학식(12)에서 u와 수학식 (13)에서 z의 업데이트하는 솔루션은 근접 연산자(proximal operator)이다.
(14)
Figure pat00150
(15)
여기서, 근접 연산자는 하기와 같이 정의된다.
Figure pat00151
(16)
여기서,
Figure pat00152
는 영보다 큰 웨이팅 파라미터(weighting parameter)이다.
Figure pat00153
일 때, 근접 연산자
Figure pat00154
의 솔루션(solution)은 문턱값(threshold)
Figure pat00155
를 가지는 소프트 쉬링키지 연산자(soft shrinkage operator)
Figure pat00156
로 획득된다.
Figure pat00157
(17)
이하에서, 수학식 (3)과 수학식(4) 모델 각각에 대한 수학적인 구조에 대해서 설명한다.
정보 이론적 관점(information-theoretic perspective)에서 데이터 구성에 몇가지 동기 부여를 한다.
여기서,
Figure pat00158
형태의 모델에서 몇가지 최적 파라미터
Figure pat00159
을 선택하길 원한다고 가정하자. 여기서,
Figure pat00160
이 주어진 정규화 함수이다.
그 다음, 근사치인 엔트로피
Figure pat00161
을 최대화하는 파라미터를 찾을 수 있는데, 이것은 정보 내용을 극대화하는 것과 관련이 있다. 주어진 엔트로피 근사치 측정을 가공하면(본 실시예에서, 음의 엔트로피를 최소화한다), 하기의 식을 도출할 수 있다.
Figure pat00162
여기서,
Figure pat00163
는 양의 스칼라 파라미터이다.
추가적인 엔트로피 구성의 또 다른 해석은
Figure pat00164
와 상수 파라미터의 Kullback-Leibler 발산은 1과 같다는, 즉 다시 말해 큰
Figure pat00165
로 상수 파라미터에 대해서 임의적인 국부 변화를 처리할 수 있다.
상술한 최소화 과정에서 최소화 인자
Figure pat00166
가 수학식 (3)의 그것과 같음을 보는 것은 직관적이다.
Figure pat00167
= 0에서 수학식 (4) 모델의 움직임을 설명하는 첫번째 일반적인 속성은 하기와 같다.
<렘마(lemma) 1>
Figure pat00168
를 만족하는
Figure pat00169
가 존재하는 것으로 가정하면,
Figure pat00170
는
Figure pat00171
=0 인 경우 수학식(3) 및 수학식 (4)의 부동점(fixed point)이다.
<증명>
여기서, 고정 소수점 논쟁을 하기와 같이 제공한다. 여기서, 이용되는 토폴로지(topology)는
Figure pat00172
Figure pat00173
Figure pat00174
에서
Figure pat00175
의 강한 수렴이며, 이 공간상에 셀프맵(self-map)을 만든다. 그러면,
Figure pat00176
에 대한 맵은 연속이다. 커널 G(Kernel G)의 수렴 속성으로 인하여, 맵
Figure pat00177
은 연속이며, 컴팩트(compact)하다
게다가, 맵
Figure pat00178
도 연속이다.
최종적으로 가변 문제(variational problem)에서 표준 연속 의존 주장(standard continuous dependence argument)을 볼 수 있다.
Figure pat00179
가 연속이고, 연속적으로
Figure pat00180
을
Figure pat00181
에 포함시키는 것은, 최종적으로 이러한 공간의 연속성(continuity)과 컴팩트니스(compactness)와 부동점 연산자(fixed point operator)를 암시한다. 샤유더의 부동점 정리(Schauder's fixedpoint theorem)를 적용하고, 부동점(fixed-point)의 존재를 결론내리기 위해, 어떤 한정된 세트가 그 자신으로 매핑되는 것을 보여주어야 한다.
이를 위하여,
Figure pat00182
로 두고, c를 선택하면, 하기와 같이 기재할 수 있다.
Figure pat00183
이를 만족하는 c의 존재는
Figure pat00184
가 충분히 클 경우 보장된다.
이제.
Figure pat00185
라고 하면, 컨볼루션(convolution)의 표준 추정(standard estimate)과 지수 함수의 단조성(monotonicity)을 획득할 수 있어서, 하기와 같이 기재할 수 있다.
Figure pat00186
게다가. 상수
Figure pat00187
가 존재하고,
Figure pat00188
로 기재할 수 있다.
이런 이유로,
Figure pat00189
를 최소화 하는
Figure pat00190
는 하기의 수학식을 만족하게 된다.
Figure pat00191
이러한 연유로, 닫힌 집합
Figure pat00192
및
Figure pat00193
를 이용하면,
Figure pat00194
이고,
Figure pat00195
이다. 따라서, 부동점 연산자(fixed-point operator)의 셀프매핑(self-mapping)을 획득할 수 있다.
<증명 끝>
노이즈 제거와 같은 몇가지의 경우에, 이 속성은 바람직하지 못할 수 있다. 왜냐하면,
Figure pat00196
> 0가 필수적인 최소 정규화를 유도하기 때문에, 노이즈가 있는 이미지와 동일한
Figure pat00197
을 선택하는 것은 솔루션을 항상 구하지 못하게 된다.
낱개의 일정한 이미지 모델에 기초한 세그멘테이션 문제와 같은 다른 예제에서, 이러한 속성은 유용한 것으로 보여진다. 왜냐하면 그것은 낱개의 일정한 입력 이미지로부터 정확한 세그멘테이션 솔루션을 유도해낼 수 있다.
다른 한편으로, 국부 변형을 가진 이미지
Figure pat00198
는 어디에서나 사라질 수 없기 때문에, 즉각적인 정규화를 얻을 수 있다.
이하, 하기의 제안하는 모델에 대한 간략하고 잘 꾸며진 분석을 제공한다. 이것을 위해서,
Figure pat00199
=
Figure pat00200
이고, 경계있는 도메인
Figure pat00201
에서
Figure pat00202
로 최소화되는 공간을 가지는 적절한 경우를 전문적으로 다룬다.
정규화 함수의 수학적으로 정확한 정의는 하기와 같이 주어진다.
Figure pat00203
여기서, 고려하는 문제는 하기의 수학식 (18)을 최소화하는 것이다.
Figure pat00204
(18)
기술적인 문제를 피하기 위하여, 본 실시예에서는
Figure pat00205
로 표시되는 평균이 0이고 경계가 있는 편차를 가지는 함수
Figure pat00206
의 공간을 최소화하는 것을 고려한다.
본 실시예의 모델에 대한 솔루션의 존재를 검증하기 위해, 부동점(fixed point) 지도
Figure pat00207
를 고려하는 것이 자연스러우며, 그것으로부터 하기의 결과를 유도해낼 수 있다.
양의 수
Figure pat00208
가 임의의 수이고, 양의 수
Figure pat00209
가 충분히 크다고 가정하자.
Figure pat00210
가 경계가 있고, 적분이 가능하며, 경계가 있고 적분이 가능한 그래디언트(gradient)로 연속적으로 미분이 가능한 것으로 가정하자. 게다가,
Figure pat00211
는 연속적이고, 음이 아니며, 컨벡스 함수(convex functional)이어서,
Figure pat00212
를 최소화하는 인자는 모든
Figure pat00213
에 대해 유일하다고 가정하자. 그러면, 수학식 (18)에서
Figure pat00214
인 부동점(fixed point)이 존재한다.
최종적으로 만일
Figure pat00215
가 엄격하게 컨벡스(convex)이면, 고정된
Figure pat00216
에 대해서 수학식 (18)에서
Figure pat00217
의 유일함은 보장될 수 있다
이하, 이미지의 노이즈 제거, 이미지의 세그멘테이션과 모션 추정의 적용에 적응형 밸런싱 파라미터를 통합하여 제안하는 변화 모델의 효용성과 견고함에 대해서 설명한다.
<이미지 노이즈 제거>
이하, 본 실시예에서 비전문제가 노이즈 제거인 경우를 설명한다.
본 실시예에서 이미지의 노이즈 제거 문제를 한정된 전체 변화 최소화 모델과 같이 간주한다.
Figure pat00218
는 노이즈가 있는 입력 이미지 이며,
Figure pat00219
는 하기의 에너지 함수에 기초하여 재구성된다.
Figure pat00220
(19)
여기서,
Figure pat00221
는 데이터 정확도 구성에 기초하여 결정되는 적응형 밸런싱 파라미터이고, 양의
Figure pat00222
는 스칼라 파라미터이다.
적응형 밸런싱 파라미터
Figure pat00223
는 측정
Figure pat00224
와 재구성
Figure pat00225
간의 불일치를 측정하는 국소 잔여 성분(the local residual)을 고려한다. 이러한 적응성은 특히 노이즈가 존재한다는 등과 같이 공간적으로 편향된 비하 요소가 존재할 때, 바람직한 해결책을 유도할 수 있다.
증가율 파라미터
Figure pat00226
에 관련하여 증가된 라그랑지안(Lagrangian)을 기준형태로 변수를 나열하면 하기의 수학식과 같다.
Figure pat00227
여기서, y는
Figure pat00228
및
Figure pat00229
와 관련된 라그랑지안 승수(Lagrangian multiplier)이다.
Figure pat00230
주변에서 선형화(lineraisation)를 통해 초기 변수
Figure pat00231
의 업데이트에 대한 최적화 조건은 하기와 같이 기재할 수 있다.
Figure pat00232
여기서,
Figure pat00233
는 디스크리트 다이버전스 오퍼레이터(discrete divergence operator)이다. 그런 다음, u의 업데이트에 대한 솔루션은 하기의 수학식에 의해 획득된다.
Figure pat00234
Figure pat00235
변수의 업데이트를 위한 최적 조건은 하기의 수학식으로 기재할 수 있다.
Figure pat00236
그러면, z의 업데이트는 하기의 수학식 의해 획득 될 수 있다.
Figure pat00237
<이미지 세그멘테이션>
이하, 본 실시예에서 비전문제가 이미지 세그멘테이션인 경우를 설명한다.
본 실시예에서 일정한 낱개의 일정한 이미지에 기초한 이미지 세그멘테이션 문제를 고려할 수 있다.
Figure pat00238
는 입력 이미지라고 가정하자.
제안되는 적응형 밸런싱 파라미터
Figure pat00239
를 가지는 양분할 문제에 대한 컨벡스 에너지 공식(convex energy formulation)은 하기와 같이 유도해낼 수 있다.
Figure pat00240
(20)
여기서, c1 및 c2는 각각 세그멘테이션 경계의 내부 및 외부의 측정치이다.
매끄러운 함수
Figure pat00241
는 파라미터
Figure pat00242
로 임계값을 설정하여 영역1과 영역 2를 결정하는 분할 인터페이스를 나타낸다.
Figure pat00243
(21)
적응형 밸런싱 파라미터
Figure pat00244
는 데이터 정확도 구성에 의해 결정된다.
Figure pat00245
(22)
여기서, 양의
Figure pat00246
는 스칼라(scalar) 파라미터이다.
목표 함수에 대하여 컨벡스 세트(convex set)
Figure pat00247
상의 지표 함수(indicator function)
Figure pat00248
가 추가되는 방식으로,
Figure pat00249
가 한정될 수 있다.
Figure pat00250
(23)
그러면, 한정되지 않는 목표 함수는 다음과 같이 유도되며,
Figure pat00251
그리고, 이것은 하기와 같이 축소된다.
Figure pat00252
(24)
여기서,
Figure pat00253
이고,
Figure pat00254
이다.
밸런싱 파라미터
Figure pat00255
는 잔여 성분(residual)
Figure pat00256
에 따라 적응적으로 규칙성을 선택하도록 설계된다.
잔여 성분(residual)의 차수가 높을수록 불균일성을 효과적으로 처리하도록 보다 많은 규칙성을 허용한다. 마찬가지로, 잔여 성분(residual)의 차수가 낮을수록 더 높은 규칙성을 부여하므로, 복잡한 형태가 전역 정규화 상수(global constant regularity)로 인하여 불필요하게 흐려짐에도 불구하고 정확한 세그멘테이션 경계가 획득될 수 있다.
고정된
Figure pat00257
및
Figure pat00258
로 주어지는
Figure pat00259
에 대해서 대안적 최소화(alternative minimization)가 수행되고, 이후
Figure pat00260
로 주어지는
Figure pat00261
및
Figure pat00262
에 대하여 대안적 최소화가 수행된다.
고정된
Figure pat00263
에 대해서, 최상의
Figure pat00264
및
Figure pat00265
는 하기의 수학식에 의하여 획득된다.
Figure pat00266
증가율 파라미터
Figure pat00267
에 관련하여 증가된 라그랑지안(Lagrangian)을 기준형태로 변수를 나열하면 하기의 수학식과 같다
Figure pat00268
여기서, y는
Figure pat00269
및
Figure pat00270
와 관련된 라그랑지안 승수(Lagrangian multiplier)이다.
Figure pat00271
주변에서 선형화(lineraisation)를 통해 초기 변수
Figure pat00272
의 업데이트에 대한 최적화 조건은 하기와 같이 기재할 수 있다.
Figure pat00273
여기서,
Figure pat00274
이다.
따라서,
Figure pat00275
의 업데이트에 대한 솔루션은 하기의 수학식에 의해 획득된다.
Figure pat00276
여기서, 프로젝션 연산자 (projection operator)는 하기와 같이 기재할 수 있다.
Figure pat00277
변수
Figure pat00278
의 업데이트에 대한 최적 조건은 하기의 수학식을 따른다.
Figure pat00279
따라서, z의 업데이트에 대한 솔루션은 하기의 수학식에 의해 구해질 수 있다.
Figure pat00280
<모션 추정>
이하, 본 실시예에서 비전문제가 모션 추정인 경우를 설명한다.
모션 추정 문제에 대해서는,
Figure pat00281
는 두개의 다른 경우에서 획득한 이미지로,
Figure pat00282
는 이미지 도메인으로 가정한다. 여기서, 밝기 항상성 가정(brightness consistency assumption)에 기초한 옵티컬 플로우(optical flow)를 고려한다.
Figure pat00283
상술한 공식의 비선형성으로 인해, 어떤 연역적인 솔루션 v0 를 v에 가깝도록 첫번째 구성을 하기와 같이 선형화할 수 있다.
Figure pat00284
선형화된 밝기 항상성 가정(brightness consistency assumption)은 하기의 컨벡스 에너지 공식으로 유도되는 속력필드의 양 구성요소에 대한 전체 가변 정규화와 함께 데이터 정확도 구성으로 이용될 수 있다.
Figure pat00285
(25)
여기서,
Figure pat00286
는 제안되는 적응형 밸런싱 파라미터이다.
Figure pat00287
(26)
여기서, 양의
Figure pat00288
는
Figure pat00289
의 전반적인 분포와 관련된 스칼라 파라미터이다.
왜냐하면, 옵티컬 플로우(optical flow) 는 작은 모션에는 유효하므로, 여기서, 피라미드의 각 레벨에서의 워핑(warping)을 포함하는 콜스 투 파인(coarse to fine) 접근법을 고려한다.
수학식 (26)에 표시한 바와 같이, 밸런싱 파라미터는 데이터 정확도와 정규화간의 균형을 자동으로 제어하며, 예를 들어 폐색과 같이 불일치가 일어나는 곳에는 높은 규칙성을 부여한다. 다른 한편으로 완벽한 일치가 이루어지는 속도에 대해서는 규칙성을 부과할 필요는 없다.
증가율 파라미터
Figure pat00290
에 관련하여 증가된 라그랑지안(Lagrangian)을 기준형태로 변수를 나열하면 하기의 수학식과 같다
Figure pat00291
여기서, p는
Figure pat00292
및
Figure pat00293
와 관련하여, q는
Figure pat00294
및
Figure pat00295
와 관련하여, r은
Figure pat00296
및
Figure pat00297
와 관련하여, 라그랑지안 승수(Lagrangian multiplier)이다.
Figure pat00298
및
Figure pat00299
근처에서의 선형화와 함께
Figure pat00300
및
Figure pat00301
의 초기화 변수의 업데이트에 대한 최적 조건은 하기의 수학식을 따른다.
Figure pat00302
변수
Figure pat00303
,
Figure pat00304
및
Figure pat00305
의 업데이트에 대한 최적 조건 및 솔루션은 하기의 수학식을 따른다.
Figure pat00306
지금까지 본 발명의 실시예에 따라 비전문제의 솔루션 제공방법에 대한 이론적 근거에 대해서 설명하였다.
이하. 필요 도면을 참고하여 본 발명의 실시예에 따른 비전문제의 솔루션 제공방법에 대해서 설명한다.
도 1은 본 발명의 실시예에 따른 비전 문제의 솔루션 제공 방법의 순서도이다.
이하, 본 발명의 실시예에 따른 솔루션 제공 방법의 요지를 명확하게 하기 위하여, 앞서 상술한 수학식 및 이론적 근거에 대한 중복 설명은 생략한다.
도 1을 참고하면, 솔루션 제공장치는 단계 S102 에서 컨벡스 에너지 함수를 설정할 수 있다. 이 점에 대해서는 수학식 (2) 내지 수학식 (4)에서 설명하였다.
이어서, 단계 S104에서 솔루션 제공장치는 에너지 함수에 기초하여 라그랑지안(Lagrangian)함수를 설정할 수 있다. 이 점에 대해서는, 앞서 수학식 (6)에 대해서 설명하였다.
이어서, 단계 S106에서 솔루션 제공장치는 라그랑지안 함수에 ADMM 알고리즘을 적용하여 u, z 및 y를 업데이트 할 수 있으며, 알고리즘에 대해서는 수학식 (7) 내지 (9)에서 설명하였다.
이어서, 단계 S108에서 파라미터
Figure pat00307
를 업데이트 할 수 있다. 이 점에 대해서는 앞서 수학식 (10)에서 설명하였다.
이어서, 단계 S110에서 u가 미리 설정된 임계값 이하로 수렴하는 지를 판단하고, 수렴할 때까지 단계 S106 및 단계 S108을 반복 실시할 수 있다.
그리고, 최종적으로 단계 S112에서 미리 설정된 임계값 이하로 수렴한 u를 솔루션으로 제공할 수 있다.
도 1에는 본 발명의 이해와 설명의 편의를 도모하기 위해 가장 간단한 실시예가 도시되어 있다. 그러나 본 발명은 이에 한정되지 아니하고 본 발명이 적용되는 환경에 따라 다양하게 수정변경될 수 있다.
예를 들어, 단계 S102에서 에너지 함수는 이미지의 노이즈를 제거하는 경우 수학식 (19)로, 이미지를 세그멘테이션(segmentation)하는 경우에는 수학식 (20)으로, 모션 추정하는 경우에는 수학식 (25)로 재구성할 수 있으며, 이 점에 대해서는 앞서 설명하였다. 또한 각각의 경우에서 있어서 라그랑지안 함수가 수정될 수 있으며, 그에 다른 ADMM 알고리점 적용시 업데이트 또한 변경될 수 있음도 앞서 설명하였다.
도 2는 본 발명의 실시예에 따른 솔루션 제공장치의 내부 구성을 예시한 도면이다.
도 2를 참고하면 본 발명의 실시예에 다른 솔루션 제공장치(200)는 디스플레이(202), 입력부(204), 하나 이상의 프로세스(206) 및 메모리(208)를 포함할 수 있다.
여기서, 디스플레이(202) 및 입력부(204)는 본 발명의 출원시 공지된 구성으로, 상세한 설명은 생략한다.
또한, 도 2에는 본 발명의 실시예에 따른 솔루션 제공 방법을 수행하는 장치가 독립적으로 구비되는 경우를 가정하여 디스플레이(202) 및 입력부(204)가 구비되는 경우를 가정하여 예시하였으나, 상술한 바와 같이 디스플레이(202) 및 입력부(204)는 일반 전자기기에 구비되는 구성을 이용하고, 프로세서(206) 및 메모리(208)가 하나 이상의 칩(chip) 형태로 구비될 수도 있다.
본 발명의 실시예에 따른 메모리(208)에는 하나 이상의 프로그램 또는 명령어가 저장될 수 있고, 저장된 프로그램 또는 명령어는 프로세서(206) 들에 의해 선택적으로 실행될 수 있다.
또한, 본 발명의 실시예에 따라 메모리(208)에 저장되는 하나 이상의 프로그램 또는 명령어는 앞서 도 1을 참고하여 설명한 본 발명의 실시예에 따른 세그멘테이션 방법의 각 단계의 일부 또는 하나 이상의 단계를 수행하는 명령어를 포함할 수 있다. 여기서, 명령어가 수행할 수 있는 솔루션 제공방법의 각 단계에 대해서는 앞서 도 1을 참고하여 상세히 설명하였으므로, 중복된 설명은 생략한다.
지금까지 도 2을 참고하여 본 발명의 실시예에 따른 솔루션 제공장치(200)의 내부 구성에 대해서 설명하였다.
이하, 본 실시예에 따른 솔루션 제공방법의 적용 예 및 그 효과에 대해서 설명한다.
이하, 본 명세서에서 본 실시예에 따른 이미지의 노이즈제거, 이미지 세그멘테이션(segmentation) 및 모션 추정에 제안되는 적응형 밸런싱 계획을 적용한 결과 제안되는 적응형 밸런싱 스킴(scheme)의 강건함과 효율성을 설명한다.
본 실시예는 종래의 정적인 방법보다 적응형 밸런싱 스킴(scheme)을 적용하여 솔루션을 제공하는 이점을 제시하는 것이다.
따라서, 이하에서 각각의 비전 문제에 대한 고전적 모델을 사용하고, 정적인 방법을 사용한 것에 비하여 본 실시예에 따라 적응형 밸런싱 스킴(scheme)을 사용한 솔루션 제공 방법의 성능을 비교한다.
본 실시예에 따른 적응형 밸런싱 스킴(scheme)은 정규화 파라미터를 적응형 밸런싱 파라미터로 단순히 대체하여도 최신의 정교한 모델에 통합될 수 있다.
실험에서, 종래의 정적인 밸런싱에 대한 제어 파라미터로
Figure pat00308
로 표기하고, 수학식 (3)에서 본 실시예에 따른 적응형 밸런싱 파라미터는
Figure pat00309
로 표기한다.
또한 실험에서, ADMM 최적화에서 공통 파라미터에 대한 동일 값으로는,
Figure pat00310
= 1이고,
Figure pat00311
= 8인 경우로 가정했으나, 본 발명이 이에 한정되는 것은 아니다.
<이미지의 노이즈 제거>
이하, 컴퓨터 비전 문제가 이미지의 노이즈 제거인 경우의 실험 결과를 설명한다.
본 실험에서 상이한 노이즈 레벨들을 가지는 공간적으로 편향된 가우시안 노이즈들을 가지는 이미지들의 복원을 위해 수학식(19)을 풀었다.
정량적 평가를 위해, 본 실시예에서 구조적 유사성(SSIM, Structural similarity) (SSIM) 지수와 피크 신호 대 잡음비(PSNR)를 측정하였다.
도 3은 최상의 PSNR(peak signal-to-noise ratio)로 이미지의 노이즈를 제거한 결과를 예시한 결과이다. 보다 상세하게는, 상단(top)은 상이한 표준편차를 가지는 공간적으로 편향된 가우시안 노이즈를 가지는 입력 이미지들이며, 중단(middle)은 종래으 기술과 같이 일정한 정규화도로 최적한 결과이며, 하단(bottom)은 본 발명의 실시예에 따라 적응형 정규화도로 최적화한 결과이다.
도 3을 참고하면, 일정한 정규화 파라미터를 가지는 경우의 결과물은, 국부적으로 존재하는 가장 높은 잡음 레벨을 처리하기 위해 바람직하지 않은 과도한 평탄화(smoothing)가 전역적으로 적용될 수 있음을 알 수 있다.
반면에, 본 발명의 실시예에 따라 적응형 정규화도로 최적화하여 비전 문제의 솔루션을 제공한 경우의 결과물은 평탄화(smoothing)의 정도가 공간적으로 변화하는 노이즈 레벨에 따라 국부적으로 결정될 수 있음을 알 수 있다.
도 4는 본 발명의 실시예에 따라 적응형 정규화 파라미터를 사용한 경우 측정된 오차를 예시한 그래프이다. 보다 상세하게는, (a)는 PSNR, (B)는 SSIM, 여기서, 하단의 x축은 일정한 정규화도
Figure pat00312
를 나타내며, 상단의 x축은 적응형 정규화도
Figure pat00313
이며, (c)는 변화하는 노이즈 표준 편차(x축)에 대하여 좌측 y축은 PSNR, 우측 y축은 SSIM을 도시한 그래프이다.
도 4를 참고하면, 비전 문제가 노이즈 제거인 경우, 본 발명의 실시예에 따라 적응형 정규화 파라미터를 사용하는 경우 측정된 성능이 종래의 기술에 따른 파라미터의 전체 범위에 걸쳐서 상수값을 가지는 경우 측정된 성능보다 지속적으로 더 나은 것으로 나타난다.
또한, 도 4의 (c)를 참고하면, 전체 오류(overall errors), PSNR(좌측 y축) 그리고 SSIM(우측 y축)를 참고하면, 본 발명의 실시예에 따라 적응형 정규화 파라미터를 사용하여 노이즈 제거 문제의 솔루션을 산출한 경우가, 종래의 기술에 따라 일정한 상수를 정규화 파라미터로 사용한 경우보다 모든 노이즈 레벨에 대해서 우수한 점을 알 수 있다.
<이미지 세그멘테이션>
이하, 비전 문제가 이미지의 세그멘테이션인 경우의 실험 결과를 설명한다.
본 실시예에서는, 바이파티셔닝 세그멘테이션 모델(bi- partitioning segmentation model)에 적합한 이미지가 선택된 버클리 세그멘테이션 데이터세트[Martin, D., Fowlkes, C., Tal, D., Malik, J.: A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics. In: Proc. 8th Int'l Conf. Computer Vision. Volume 2. (July2001) 416 - 423]을 사용하여, 상이한 레벨로 공간적으로 편향된 가우시안 노이즈를 가지는 이미지의 세그멘테이션에 대해서는 수학식 (20)의 솔루션을 선정하였다.
본 실시예에서는 세그멘테이션의 정량적 평가를 위해 F-측정(F-measure)를 사용하나, 이에 한정되는 것은 아니다.
도 5는 최상의 F-측정(F-measure)으로 시각화한 세그멘테이션 결과들이다. 보다 상세하게는, 여기서, 노란선은 참값(ground truth)이며, 상단(top)은 상이한 표준편차로서 공간적으로 편향된 가우시안 노이즈를 가지는 입력 이미지를 나타내며, 중단(middle)은 종래의 기술에 따라 일정한 정규화도를 이용한 솔루션을 파란색으로 표시하였으며, 하단(bottom)은 본 실시예에 따라 적응형 정규화도를 이용한 솔루션을 빨간색으로 예시하였다.
도 5를 참고하면, 종래 기술에 따라 상수 정규화 파라미터를 이용한 세그멘테이션 방법(middle)은, 국부적으로 존재하는 높은 노이즈 레벨 때문에 큰 정규화가 낮은 노이즈 레벨을 가지는 세그멘테이션 경계를 과도하게 흐리게 하고, 같은 이유로 국부적으로 존재하는 낮은 노이즈 레벨 때문에 적은 정규화가 불필요하게 바람직하지 않은 소소한 상세부분을 포착 하여, 공간적으로 변화하는 노이즈 레벨 때문에 힘들어하는 것을 보여준다
도 6은 F-측정에 기초한 세그멘테이션의 정량적 평가이다. 보다 상세하게는, (a) 변화하는 정규화 파라미터 관점에서, (즉, 상수 정규화 파라미터
Figure pat00314
(하단 X축), 적응형 정규화 파라미터
Figure pat00315
), (b) 데이터 세트에 있는 바이파티셔닝(bi-partitioning)에 적합한 예제 이미지를 이용한 상이한 노이즈 레벨
Figure pat00316
관점에서, F-측정에 기초한 세그멘테이션의 정량적 평가가 예시되어 있다.
본 실시예에 따라 적응형 정규화 파라미터를 사용하여 세그멘테이션 문제의 솔루션을 선정한 경우, 파라미터의 전체 범위와 모든 노이즈 레벨에 대해 상수 정규화 파라미터를 이용한 경우보다 성능이 뛰어난 것을 알 수 있다.
입력 자료의 국부적 특성에 대하여 본 실시예에 따른 적응형 정규화의 시간적 조정은 (c)에 예시되어 있으며, (c)에는 본 실시예에 따라 세그멘테이션 문제의 솔루션 제공시, 사용한 적응형 파라미터 의 평균 및 표준 편차가 최적화 반복을 통해 표시되어 있다.
도 6의 (c)를 참고하면, 솔루션의 초기화가 입력 이미지로 이루어지기 때문에, 적응형 파라미터
Figure pat00317
의 평균은 감속하고, 표준편차는 반복할수록 수렴할 때까지 점차적으로 증가함을 알 수 있다.
<모션 추정>
이하, 비전 문제가 모션 추정인 경우의 실험 결과를 설명한다.
모션 추정에 대한 알고리즘의 정량적 평가는 각도 오차(AE)[Barron, J.L., Fleet, D.J., Beauchemin, S.S.: Performance of optical ow techniques. International journal of computer vision 12(1) (1994) 43-77]와, 절대 종점오차(EE)[ Otte, M., Nagel, H.H.: Optical ow estimation: advances and comparisons. In: Computer VisionECCV'94. Springer (1994) 49-60]를 이용하여 수행될 수 있다.
여기서, 절대종점오차(absolute endpoint error)는 계산된 모션 영역과 주어진 참값(ground truth) 벡터장(vector field)간의 유클리드 거리이다. 각도 오차에 대해서는, 먼저 참값(ground truth)과 계산된 벡터장(vector field)은 3차원 공간으로 투영된다. 그리고, 두 필드 사이의 평균 각도가 계산된다.
미들 버리 옵티컬 플로우(Middle-bury optical flow) 데이터베이스[Baker, S., Scharstein, D., Lewis, J., Roth, S., Black, M.J., Szeliski, R.: A database and evaluation methodology for optical ow. International Journal of Computer Vision 92(1) (2011) 1 - 31]에서 주어진 참값 플로우(ground truth flow)를 가지는 흑백값의 이미지 세트가 정적 정규화 파라미터에 대해 제안되는 적응형 파라미터 전략을 정량평가하기 위해 사용되었다.
도 7은
Figure pat00318
(파란색)과
Figure pat00319
(빨간색)에 대한 각각의 종점 오차(Endpoint error)(좌측)와 각 오차(angular error)(우측)를 예시한 그래프이다. 여기서, 본 그래프를 위해 Dimetrodon (실선), Grove2(점선) 그리고, Hydrangea(쇄선) 데이터세트가 이용되었다.
도 7을 참고하면, 종래의 기술에 따라 넓은 범위에서 일정한 정규화 파라미터
Figure pat00320
를 이용한 경우와, 본 발명의 실시예에 따라 적응형 전략에 대한 가중치
Figure pat00321
를 이용한 경우에 대하여 절대 종점 및 각도 오차가 예시되어 있다.
도 7을 참고하면,
Figure pat00322
가 매우 작은 경우를 제외하고, 본 발명의 실시예에 따른 적응형 전략의 강건함을 알 수 있다.
지금까지, 에너지 함수가 데이터 정확도와 정규화 구성으로 구성되는 가변 프레임워크 상에서, 본 발명의 실시예에 따라 적응형 밸런싱 파라미터를 이용하여 솔루션을 제공하는 전략을 설명하였다.
에너지 최적화 과정에서, 데이터 정확도와 정규화간의 트레이드 오프(trade-off)는, 관측된 데이터가 설계된 데이터에 얼마나 잘 맞는지를 측정하는 데이터 정확도에 기초하여 결정된다
본 실시예에 따라 적응형 파라미터 밸런싱을 이용하여 솔루션을 제공하는 방법은, 높은 차수의 잔여 성분(higer residual) 이 보다 유연한 정규화를 허용하고, 낮은 차수의 잔여 성분(lower residual)이 보다 엄격한 정규화를 부여하는 방식으로, 잔여 성분(residual)에 근거하여 국부적 정규화(local regularity)의 정도를 결정할 수 있다는 장점이 있다.
본 실시예에서, 이미지의 노이즈 제거, 세그멘테이션 및 모션 추정을 포함하는 고전적인 이미징 문제에 적응형 파라미터 밸런싱 스킴(scheme)을 적용했으며, 승수 방법의 방향을 전환하는 방법(alternating direction method of multipliers method)을 기반으로 최적화 알고리즘을 제시할 수 있다.
적응형 밸런싱 파라미터는 노이즈와 같은 저하 요인의 분포가 공간적으로 편향되었을 때 더욱 효과적인 것으로 나타났다.
적응형 파라미터 밸런싱 스킴(scheme)에 관련된 파라미터는 민감하고 종종 솔루션의 품질에 중요하게 작용하는 상수 밸런싱 파라미터와는 대조적으로 견고한 것으로 나타났다.
벤치마크 데이터를 기반으로 각 이미징 작업에 대하여 실험 결과가 얻어졌으며, 해당 실험결과는 고전적인 에너지 함수에서 상수 밸런싱 파라미터를 본 실시예에 따른 적응형 밸런싱 파라미터로 대체하는 것만으로도 각각의 이미징 작업에 대해 높은 정확도가 획득될 수 있음을 보여준다.
본 실시예에 따른 적응형 밸런싱 파라미터 스킴(scheme)은 복합 컨벡스 에너지(convex energy)에 의해 공식화 될 수 있는 다른 문제와 자연스럽게 통합될 수 있다.
상술한 본 발명의 실시예에 따른 솔루션 제공 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.
200 : 솔루션 제공장치 202 : 디스플레이
204 : 입력부 206 : 프로세서
208 : 메모리

Claims (11)

  1. 솔루션 제공 장치가 비전 문제(vision problem)의 솔루션을 제공하는 방법에 있어서,
    (a) 하기의 <수학식A>형태로 에너지 함수를 설정하는 단계;
    <수학식 A>
    Figure pat00323

    여기서,
    Figure pat00324
    와
    Figure pat00325
    는 인너 프러덕트(inner product)
    Figure pat00326
    와 유도되는 놈(induced norm)
    Figure pat00327
    을 가지는 유한 차원의 실수 벡터 공간이고,
    Figure pat00328
    는 수학식
    Figure pat00329
    에 따른 놈(norm)을 가지는 연속적인 선형 연산자이고,
    Figure pat00330
    와
    Figure pat00331
    은 닫혀있고(closed) 고유하며(proper) 컨벡스(convex)인 함수이며,
    Figure pat00332
    은
    Figure pat00333
    와
    Figure pat00334
    의 두 구성요소 간의 전반적인 트레이드 오프(trade off)를 결정하는 제어 파라미터임.
    (b) 상기 에너지 함수를 하기 <수학식 B>에 따른 라그랑지안(Lagrangian) 함수로 설정하는 단계;
    <수학식 B>
    Figure pat00335

    여기서,
    Figure pat00336
    는 0보다 큰 스칼라 확대 파라미터이고, y는 u 및 z와 연관된 라그랑지안 승수이며,
    Figure pat00337
    와
    Figure pat00338
    는 상기 에너지 함수의 데이터 정확도(data fidelity)와 정규화(regularization) 구성임.
    (c) 상기 라그랑지안 함수에 하기의 <수학식 C>에 따른 ADMM(alternating direction method of multipliers) 알고리즘을 적용하여 u, z 및 y를 업데이트 하는 단계;
    <수학식 C>
    Figure pat00339

    Figure pat00340

    Figure pat00341

    (d) 상기 u, 상기 z 및 상기 y의 업데이트에 따라 하기의 <수학식 D>를 이용하여 상기
    Figure pat00342
    를 업데이트 하는 단계; 및
    <수학식 D>
    Figure pat00343

    여기서, 파라미터
    Figure pat00344
    은
    Figure pat00345
    범위에 한정되어 있는
    Figure pat00346
    에서 값들의 분포에 관련된 값임.
    (e) 상기 u가 미리 설정된 임계값 이하로 수렴할 때까지 상기 (c) 단계 및 상기 (d) 단계를 반복하여 실시하고, 상기 임계값 이하로 수렴된 u를 솔루션(solution)으로 선정하는 단계를 포함하는, 비전 문제의 솔루션 제공 방법.
  2. 제1항에 있어서, 상기 (b)단계는
    (b1) 상기 에너지 함수를 하기의 <수학식 E>에 따른 객관적 함수
    Figure pat00347
    로 정리하는 단계; 및
    <수학식 E>
    Figure pat00348

    여기서,
    Figure pat00349
    는 알려지지 않은 변수 u의 도메인임.
    (b2) 새로운 변수
    Figure pat00350
    를 도입하여, 상기 객관적 함수
    Figure pat00351
    의 최적화 문제를 하기의 <수학식 F>로 변환하는 단계를 포함하는, 비전 문제의 솔루션 제공 방법.
    <수학식 F>
    Figure pat00352

  3. 제2항에 있어서,
    상기 비전 문제가 이미지의 노이즈 제거인 경우, 상기 (b1)단계의 <수학식 E>를 하기의 <수학식 G>로 재구성하는 단계를 포함하는, 비전 문제의 솔루션 제공 방법.
    <수학식 G>
    Figure pat00353

    여기서,
    Figure pat00354
    는 노이즈가 있는 입력 이미지임.
  4. 제2항에 있어서,
    상기 비전 문제가 이미지의 세그멘테이션(segmentation)인 경우, 상기 (b1)단계의 <수학식 E>를 하기의 <수학식 H>로 재구성하는 단계를 포함하는, 비전 문제의 솔루션 제공 방법.
    <수학식 H>
    Figure pat00355

    여기서,
    Figure pat00356
    는 입력 이미지이고, c1 및 c2는 각각 세그멘테이션 경계의 내부 및 외부의 측정치임.
  5. 제2항에 있어서,
    상기 비전 문제가 모션 추정인 경우, 상기 (b1)단계의 <수학식 E>를 하기의 <수학식 I>로 재구성하는 단계를 포함하는, 비전 문제의 솔루션 제공 방법.
    <수학식 I>
    Figure pat00357

    여기서,
    Figure pat00358
    이며,
    Figure pat00359
    는 이미지 도메인이며,
    Figure pat00360
    는 두 개의 다른 경우에서 획득한 이미지로, 밝기 항상성 가정(brightness consistency assumption)에 기초한 옵티컬 플로우(optical flow)를 고려하여,
    Figure pat00361
    이며, 연력적인 솔루션 v0 를 v에 가깝도록 첫 번째 구성을
    Figure pat00362
    와 같이 선형화 할 수 있음.
  6. 비전 문제(vision problem)의 솔루션을 제공하는 장치에 있어서,
    디스플레이;
    입력부;
    하나 이상의 프로세스들;
    메모리; 및
    상기 메모리에 저장되고 상기 하나 이상의 프로세스들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하며,
    상기 하나 이상의 프로그램들은,
    하기의 <수학식 K >형태로 에너지 함수를 설정하는 명령어;
    <수학식 K>
    Figure pat00363

    여기서,
    Figure pat00364
    와
    Figure pat00365
    는 인너 프러덕트(inner product)
    Figure pat00366
    와 유도되는 놈(induced norm)
    Figure pat00367
    을 가지는 유한 차원의 실수 벡터 공간이고,
    Figure pat00368
    는 수학식
    Figure pat00369
    에 따른 놈(norm)을 가지는 연속적인 선형 연산자이고,
    Figure pat00370
    와 은 닫혀있고(closed) 고유하며(proper) 컨벡스(convex)인 함수이며,
    Figure pat00372
    은
    Figure pat00373
    와
    Figure pat00374
    의 두 구성요소 간의 전반적인 트레이드 오프(trade off)를 결정하는 제어 파라미터임.
    상기 에너지 함수를 하기 <수학식 L>에 따른 라그랑지안(Lagrangian) 함수로 설정하는 명령어;
    <수학식 L>
    Figure pat00375

    여기서,
    Figure pat00376
    는 0보다 큰 스칼라 확대 파라미터이고, y는 u 및 z와 연관된 라그랑지안 승수이며,
    Figure pat00377
    와
    Figure pat00378
    는 상기 에너지 함수의 데이터 정확도(data fidelity)와 정규화(regularization) 구성임.
    상기 라그랑지안 함수에 하기의 <수학식 M>에 따른 ADMM(alternating direction method of multipliers) 알고리즘을 적용하여 u, z 및 y를 업데이트 하는 명령어;
    <수학식 M>
    Figure pat00379

    Figure pat00380

    Figure pat00381

    상기 u, 상기 z 및 상기 y의 업데이트에 따라 하기의 <수학식 N>를 이용하여 상기
    Figure pat00382
    를 업데이트 하는 명령어; 및
    <수학식 N>
    Figure pat00383

    여기서, 파라미터
    Figure pat00384
    은
    Figure pat00385
    범위에 한정되어 있는
    Figure pat00386
    에서 값들의 분포에 관련된 값임.
    상기 u가 미리 설정된 임계값 이하로 수렴할 때까지 상기 u, z 및 y를 업데이트 하는 명령어 및 상기
    Figure pat00387
    를 업데이트 하는 명령어를 반복 수행하고, 상기 임계값 이하로 수렴된 u를 솔루션(solution)으로 선정하는 명령어를 포함하는, 솔루션 제공 장치.
  7. 제6항에 있어서,
    상기 라그랑지안(Lagrangian) 함수로 설정하는 명령어는,
    상기 에너지 함수를 하기의 <수학식 O>에 따른 객관적 함수
    Figure pat00388
    로 정리하는 명령어; 및
    <수학식 O>
    Figure pat00389

    여기서,
    Figure pat00390
    는 알려지지 않은 변수 u의 도메인임.
    새로운 변수
    Figure pat00391
    를 도입하여, 상기 객관적 함수
    Figure pat00392
    의 최적화 문제를 하기의 <수학식 P>로 변환하는 명령어를 포함하는, 솔루션 제공 장치.
    <수학식 P>
    Figure pat00393

  8. 제7항에 있어서,
    상기 비전 문제가 이미지의 노이즈 제거인 경우, 상기 <수학식 O>를 하기의 <수학식 Q>로 재구성하는 명령어를 포함하는, 솔루션 제공 장치.
    <수학식 Q>
    Figure pat00394

    여기서,
    Figure pat00395
    는 노이즈가 있는 입력 이미지임.
  9. 제7항에 있어서,
    상기 비전 문제가 이미지의 세그멘테이션(segmentation)인 경우, 상기 <수학식 O>를 하기의 <수학식 R>로 재구성하는 명령어를 포함하는, 솔루션 제공 장치.
    <수학식 R>
    Figure pat00396

    여기서,
    Figure pat00397
    는 입력 이미지이고, c1 및 c2는 각각 세그멘테이션 경계의 내부 및 외부의 측정치임.
  10. 제7항에 있어서,
    상기 비전 문제가 모션 추정인 경우, <수학식 O>를 하기의 <수학식 S>로 재구성하는 명령어를 포함하는, 솔루션 제공 장치.
    <수학식 S>
    Figure pat00398

    여기서,
    Figure pat00399
    이며,
    Figure pat00400
    는 이미지 도메인이며,
    Figure pat00401
    는 두 개의 다른 경우에서 획득한 이미지로, 밝기 항상성 가정(brightness consistency assumption)에 기초한 옵티컬 플로우(optical flow)를 고려하여,
    Figure pat00402
    이며, 연력적인 솔루션 v0 를 v에 가깝도록 첫 번째 구성을
    Figure pat00403
    와 같이 선형화 할 수 있음.
  11. 제1항 내지 제5항 중 어느 하나의 솔루션 제공 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020170028951A 2017-03-07 2017-03-07 비전 문제의 솔루션 제공 방법 및 그 장치 KR102416867B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170028951A KR102416867B1 (ko) 2017-03-07 2017-03-07 비전 문제의 솔루션 제공 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170028951A KR102416867B1 (ko) 2017-03-07 2017-03-07 비전 문제의 솔루션 제공 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20180102385A true KR20180102385A (ko) 2018-09-17
KR102416867B1 KR102416867B1 (ko) 2022-07-05

Family

ID=63722021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170028951A KR102416867B1 (ko) 2017-03-07 2017-03-07 비전 문제의 솔루션 제공 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102416867B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101524944B1 (ko) 2013-11-27 2015-06-02 중앙대학교 산학협력단 다중 영역 영상 분할 방법 및 그 장치
KR20160029668A (ko) * 2014-09-05 2016-03-15 후아웨이 테크놀러지 컴퍼니 리미티드 흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 방법 및 이미지 생성 장치
KR20160125399A (ko) * 2014-02-26 2016-10-31 톰슨 라이센싱 Hdr 이미지들을 인코딩 및 디코딩하기 위한 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101524944B1 (ko) 2013-11-27 2015-06-02 중앙대학교 산학협력단 다중 영역 영상 분할 방법 및 그 장치
KR20160125399A (ko) * 2014-02-26 2016-10-31 톰슨 라이센싱 Hdr 이미지들을 인코딩 및 디코딩하기 위한 방법 및 장치
KR20160029668A (ko) * 2014-09-05 2016-03-15 후아웨이 테크놀러지 컴퍼니 리미티드 흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 방법 및 이미지 생성 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Daniele Graziani et al-"ADMM algorithm for demosaicking deblurring denoising", HAL, pp1-15,(2013.10.18.)* *

Also Published As

Publication number Publication date
KR102416867B1 (ko) 2022-07-05

Similar Documents

Publication Publication Date Title
JP6692464B2 (ja) 点を有する入力点群を処理するシステム及び方法
Hu et al. Feature graph learning for 3D point cloud denoising
Jenke et al. Bayesian point cloud reconstruction
Langer Automated parameter selection for total variation minimization in image restoration
Xiong et al. Sparse-to-dense depth completion revisited: Sampling strategy and graph construction
US7890308B2 (en) System, method, and program product for re-parameterizing three dimensional models represented as catmull-clark subdivision surfaces
Giraudot et al. Noise‐adaptive shape reconstruction from raw point sets
Jordt et al. Direct model-based tracking of 3d object deformations in depth and color video
Liu et al. Adaptive sparse coding on PCA dictionary for image denoising
Potamias et al. Revisiting point cloud simplification: A learnable feature preserving approach
Kang et al. Total generalized variation based denoising models for ultrasound images
Ebrahimi et al. B-spline curve fitting by diagonal approximation BFGS methods
Hong et al. Adaptive regularization in convex composite optimization for variational imaging problems
Hong et al. Adaptive regularization of some inverse problems in image analysis
CN102810202A (zh) 基于分数阶差分加权的图像多步残差反馈迭代滤波方法
Ma et al. Adaptive image denoising method based on diffusion equation and deep learning
KR20180102385A (ko) 비전 문제의 솔루션 제공 방법 및 그 장치
Calderon et al. Surface–normal estimation with neighborhood reorganization for 3d reconstruction
CN110232401B (zh) 基于图片转换的病灶判断方法、装置、计算机设备
KR102031620B1 (ko) 영상 정합 방법
Azzabou et al. Image reconstruction using particle filters and multiple hypotheses testing
Aizinger et al. Comparison of two local discontinuous Galerkin formulations for the subjective surfaces problem
Brown et al. Curve and surface fitting techniques in computer vision
Keeling et al. Geometric multigrid for high-order regularizations of early vision problems
Bode et al. Locally-guided neural denoising

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant