KR20200093970A - 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법 - Google Patents

양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법 Download PDF

Info

Publication number
KR20200093970A
KR20200093970A KR1020190011369A KR20190011369A KR20200093970A KR 20200093970 A KR20200093970 A KR 20200093970A KR 1020190011369 A KR1020190011369 A KR 1020190011369A KR 20190011369 A KR20190011369 A KR 20190011369A KR 20200093970 A KR20200093970 A KR 20200093970A
Authority
KR
South Korea
Prior art keywords
matrix
spd
positive definite
log
manifold
Prior art date
Application number
KR1020190011369A
Other languages
English (en)
Other versions
KR102225586B1 (ko
Inventor
권준석
박성우
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020190011369A priority Critical patent/KR102225586B1/ko
Publication of KR20200093970A publication Critical patent/KR20200093970A/ko
Application granted granted Critical
Publication of KR102225586B1 publication Critical patent/KR102225586B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 양의 정부호 행렬(SPD matrix)의 노말 좌표계(Normal coordinate)위에서 선형변환을 하여 비선형적인 제약을 제거하여 훈련시에 속도와 정확도를 향상시킬 수 있도록 한 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법에 관한 것으로,SPD(Symmetric Positive Definite) 행렬로 표현된 데이터를 탄젠트 공간(tangent space)에 맵핑을 하는 탄젠트 공간 맵핑부;탄젠트 공간 맵핑부에서 맵핑된 점들을 유클리디안 점(Euclidean point)(RD)로 표현하는 유클리디안 포인트 처리부;파라미터 W를 통하여 (RK)인 서브공간(subspace)으로 맵핑을 하는 서브공간 맵핑부;Expm(matrix exponential)을 통하여 탄젠트 공간(Tangent space)에서 SPD(n)으로 다시 재맵핑을 하여, 목적함수(objective function)를 이용하여 같은 클래스의 점들은 거리를 줄이고, 다른 클래스의 점들은 거리를 늘려 메트릭 러닝을 하는 재맵핑부;를 포함하는 것이다.

Description

양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법{System and Merhod for Log Euclidean Metric Learning using Riemannian Submanifold Framework on Symmetric Positive Definite Manifolds}
본 발명은 로그 유클리디안 메트릭 러닝에 관한 것으로, 구체적으로 양의 정부호 행렬(SPD matrix)의 노말 좌표계(Normal coordinate)위에서 선형변환을 하여 비선형적인 제약을 제거하여 훈련시에 속도와 정확도를 향상시킬 수 있도록 한 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법에 관한 것이다.
이미지 분류는 컴퓨터비전에서 중점적으로 연구되는 분야중 하나로서 인공신경망을 기반으로한 ResNet, DenseNet등 여러 가지 고성능의 네트워크들이 있다.
이런 이미지 분류 신경망을 기반으로한 여러 가지 응용 방법이 존재한다.
최근 SPD(Symmetric Positive Definite) 매니 폴드는 데이터 표현에서 상당한 성공을 거두었으며, 이미지 세트 분류, 얼굴 인식 및 행동 인식과 같은 여러 문제에 널리 적용되어 왔다.
한편, SPD 매니 폴드는 LEML(log-Euclidean metric learning) 방법에 성공적으로 통합되고, 이 방법에서는 변환 행렬을 최적화의 용이성을 위해 rank-k SPD 행렬로 변경한다.
도 1은 일반적인 LEML 방법을 나타낸 구성도이다.
LEML은 원래의 탄젠트 공간(즉, 크기 n × n의 Symmetric 행렬의 집합, Sym(n))을 변환 행렬을 통해 새로운 탄젠트 공간(즉, Sym(m), 여기서 m < n)으로 구분한다.
그러나 이 변환 행렬은 변환된 점을 낮은 차원 탄젠트 공간인 Sym(m)에 놓도록 강제하는 rank-k SPD 행렬이어야 하며, 이는 능력과 유연성을 제한한다.
반면, α-CML(α-based covariance like metric learning)은 표본 변환 매트릭스를 제공하여 데이터 표현 능력을 향상시킨다.
α-CML은 해당 고유 벡터를 사용하여 고유 값의 지수로 각 데이터 포인트를 매개 변수화하고 샘플 별 변환 행렬을 구성한다.
그러나 이 방법은 총 고유 값 수가 제한된다는 단점이 있다.
예를 들어,이 방법이 n × n SPD 행렬을 분해 할 때, 최대 n 개의 고유치를 가질 수있다.
따라서, α-CML은 LEML과 유사한 제한된 능력 및 유연성 문제를 갖는다.
이와 같이 종래 기술에서 사용한 방법은 메트릭 러닝을 하기 위해 이미지 데이터를 양의 정부호 행렬(SPD matrix)로 표현하고 정보를 많이 함유하는 공간으로 매핑하기 위해서 스티펠 다양체(Stiefel manifold)상의 행렬을 앞서 표현된 SPD matrix에 Bilinear하게 작용시킨다.
하지만, 이 변환은 기하학적 제약이 많이 부과되어 시스템을 훈련할 때 속도가 줄어 들며 입력 데이터의 차원에 따라서 변환 행렬의 차원이 결정되기 때문에 큰 차원의 데이터에서는 속도와 정확도가 저하 된다.
따라서, 비선형적인 제약을 제거하여 훈련시에 속도와 정확도를 향상시킬 수 있도록 한 새로운 메트릭 러닝 기술의 개발이 요구되고 있다.
대한민국 등록특허 제10-1914717호 대한민국 공개특허 제10-2018-0020376호
본 발명은 종래 기술의 메트릭 러닝 기술의 문제점을 해결하기 위한 것으로, 양의 정부호 행렬(SPD matrix)의 노말 좌표계(Normal coordinate)위에서 선형변환을 하여 비선형적인 제약을 제거하여 훈련시에 속도와 정확도를 향상시킬 수 있도록 한 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 이미지의 픽셀기반이 아닌 이미지가 가지고 있는 통계학적인 물리량의 표현인 SPD matrix(양의 정부호 행렬)으로 이미지의 정보를 압축하여 이 정보를 통해 네트워크를 훈련시키고 이미지 분류를 하여 훈련시에 빠른 속도와 정확도를 향상시킬수 있도록 한 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 양의 정부호 행렬(SPD matrix)의 노말 좌표계(Normal coordinate)위에서 선형변환을 하여 비선형적인 제약을 제거하여 훈련시에 속도와 정확도를 향상시킬 수 있도록 하여 확장성이 뛰어나기 때문에 추후에 계층적으로 설계하여 더욱 집적된 네트워크로 확장이 가능하도록 한 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 SPD 매니폴드에서 로그 유클리디안(log-Euclidean) 메트릭 학습을위한 새로운 RS(Riemannian submanifold) 프레임 워크를 제시하고, 원래의 탄젠트 공간을 변경하지 않고 최적의 RS를 찾을 수 있도록 한 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 로그 유클리디안 메트릭의 기하학적 특성을 사용하여 정확하게 계산된 거리 함수의 유클리드 도함수의 분석적인 간단한 형태를 제공할 수 있도록 한 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 변환 행렬의 유형에 따라, 제안된 방법의 여러 가지 다른 버전, 즉 RS-LEML(RS-Euclidean), RS-St(RS-Stiefel), RS-GL(RS-General Linear Group), RS-DR-Euc(RS-Dimensional-Reduction Euc)를 제공하여 능력과 유연성을 극대화하는 특정 제약 조건을 충족하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치는 SPD(Symmetric Positive Definite) 행렬로 표현된 데이터를 탄젠트 공간(tangent space)에 맵핑을 하는 탄젠트 공간 맵핑부;탄젠트 공간 맵핑부에서 맵핑된 점들을 유클리디안 점(Euclidean point)(RD)로 표현하는 유클리디안 포인트 처리부;파라미터 W를 통하여 (RK)인 서브공간(subspace)으로 맵핑을 하는 서브공간 맵핑부;Expm(matrix exponential)을 통하여 탄젠트 공간(Tangent space)에서 SPD(n)으로 다시 재맵핑을 하여, 목적함수(objective function)를 이용하여 같은 클래스의 점들은 거리를 줄이고, 다른 클래스의 점들은 거리를 늘려 메트릭 러닝을 하는 재맵핑부;를 포함하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 방법은 SPD(Symmetric Positive Definite) 행렬로 표현된 데이터를 탄젠트 공간(tangent space)에 맵핑을 하는 탄젠트 공간 맵핑 단계;탄젠트 공간 맵핑 단계에서 맵핑된 점들을 유클리디안 점(Euclidean point)(RD)로 표현하는 유클리디안 포인트 처리 단계;파라미터 W를 통하여 (RK)인 서브공간(subspace)으로 맵핑을 하는 서브공간 맵핑 단계;Expm(matrix exponential)을 통하여 탄젠트 공간(Tangent space)에서 SPD(n)으로 다시 재맵핑을 하여, 목적함수(objective function)를 이용하여 같은 클래스의 점들은 거리를 줄이고, 다른 클래스의 점들은 거리를 늘려 메트릭 러닝을 하는 재맵핑 단계;를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 양의 정부호 행렬(SPD matrix)의 노말 좌표계(Normal coordinate)위에서 선형변환을 하여 비선형적인 제약을 제거하여 훈련시에 속도와 정확도를 향상시킬 수 있도록 한다.
둘째, 이미지의 픽셀기반이 아닌 이미지가 가지고 있는 통계학적인 물리량의 표현인 SPD matrix(양의 정부호 행렬)으로 이미지의 정보를 압축하여 이 정보를 통해 네트워크를 훈련시키고 이미지 분류를 하여 훈련시에 빠른 속도와 정확도를 향상시킬수 있도록 한다.
셋째, 비선형적인 제약을 제거하여 훈련시에 속도와 정확도를 향상시킬 수 있도록 하여 확장성이 뛰어나기 때문에 추후에 계층적으로 설계하여 더욱 집적된 네트워크로 확장이 가능하도록 한다.
넷째, SPD 매니폴드에서 로그 유클리디안(log-Euclidean) 메트릭 학습을위한 새로운 RS(Riemannian submanifold) 프레임 워크를 제시하고, 원래의 탄젠트 공간을 변경하지 않고 최적의 RS를 찾을 수 있도록 한다.
다섯째, 로그 유클리디안 메트릭의 기하학적 특성을 사용하여 정확하게 계산된 거리 함수의 유클리드 도함수의 분석적인 간단한 형태를 제공할 수 있도록 한다.
여섯째, 변환 행렬의 유형에 따라, 제안 된 방법의 여러 가지 다른 버전, 즉 RS-LEML(RS-Euclidean), RS-St(RS-Stiefel), RS-GL(RS-General Linear Group), RS-DR-Euc(RS-Dimensional-Reduction Euc)를 제공하여 능력과 유연성을 극대화하는 특정 제약 조건을 충족할 수 있다.
도 1은 일반적인 LEML 방법을 나타낸 구성도
도 2는 본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 개념을 나타낸 구성도
도 3은 본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치의 구성도
도 4는 본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 방법을 나타낸 플로우 차트
도 5는 점 μ을 다른 점 T에 연결하는 geodesic
Figure pat00001
의 매개 변수로서의
Figure pat00002
의 해석을 나타낸 구성도
도 6은 RS-DR-LEML의 정확도 대 차원 비교 그래프
도 7은 UIUC 재료 데이터 세트의 예를 나타낸 구성도
이하, 본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 2는 본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 개념을 나타낸 구성도이다.
본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법은 양의 정부호 행렬(SPD matrix)의 노말 좌표계(Normal coordinate)위에서 선형변환을 하여 비선형적인 제약을 제거하여 훈련시에 속도와 정확도를 향상시킬 수 있도록 한 것이다.
이를 위하여, 이미지의 픽셀기반이 아닌 이미지가 가지고 있는 통계학적인 물리량의 표현인 SPD matrix(양의 정부호 행렬)으로 이미지의 정보를 압축하여 이 정보를 통해 네트워크를 훈련시키는 구성을 포함할 수 있다.
본 발명은 SPD 매니폴드에서 로그 유클리디안(log-Euclidean) 메트릭 학습을위한 새로운 RS(Riemannian submanifold) 프레임 워크를 제시하고, 원래의 탄젠트 공간을 변경하지 않고 최적의 RS를 찾을 수 있도록 하는 구성을 포함할 수 있다.
본 발명은 로그 유클리디안 메트릭의 기하학적 특성을 사용하여 정확하게 계산된 거리 함수의 유클리드 도함수의 분석적인 간단한 형태를 제공하기 위한 구성을 포함할 수 있다.
본 발명은, 이미지가 가지고 있는 통계학적인 물리량의 표현인 SPD matrix(양의 정부호 행렬)로 이미지의 정보를 압축하는 단계;압축된 정보를 통해 네트워크를 훈련시키고 이미지 분류를 하는 단계;를 포함하고, 양의 정부호 행렬(SPD matrix)의 노말 좌표계(Normal coordinate)위에서 선형변환을 하여 비선형적인 제약을 제거하여 리만 매니폴드의 차원을 축소시키지 않고 리만 서브매니폴드(submanifold)를 정의하여 원본 매니폴드에서 로그 유클리디안 메트릭 러닝을 하는 것이다.
이를 위하여 도 2에서와 같이, 먼저, SPD 행렬로 표현된 데이터를 Logm(matrix logarithm)을 통해서 탄젠트 공간(tangent space)에 맵핑을 한다.(Step 1)
이어, 맵핑된 점들을 유클리디안 점(Euclidean point)( RD)로 표현한다.(Step 2)
그리고 파라미터 W를 통하여 (RK)인 서브공간(subspace)으로 맵핑을 한다.(Step 3)
이어, Expm(matrix exponential)을 통하여 탄젠트 공간(Tangent space)에서 SPD(n)으로 다시 재맵핑을 한다.(Step 4)
이를 위한 본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치를 구체적으로 설명하면 다음과 같다.
도 3은 본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치의 구성도이다.
도 3에서와 같이, SPD 행렬로 표현된 데이터를 Logm(matrix logarithm)을 통해서 탄젠트 공간(tangent space)에 맵핑을 하는 탄젠트 공간 맵핑부(10)와, 탄젠트 공간 맵핑부(10)에서 맵핑된 점들을 유클리디안 점(Euclidean point)( RD)로 표현하는 유클리디안 포인트 처리부(20)와, 파라미터 W를 통하여 (RK)인 서브공간(subspace)으로 맵핑을 하는 서브공간 맵핑부(30)와, Expm(matrix exponential)을 통하여 탄젠트 공간(Tangent space)에서 SPD(n)으로 다시 재맵핑을 하여, 목적함수(objective function)을 이용하여 같은 클래스의 점들은 거리를 줄이고, 다른 클래스의 점들은 거리를 늘려 메트릭 러닝을 하는 재맵핑부(40)를 포함한다.
이와 같은 구성을 갖는 본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치는 다음과 같은 사항을 고려한다.
Figure pat00003
을 실수와 포지티브 행렬의 집합
Figure pat00004
매니폴드의 공간이라 하면, 이진연산
Figure pat00005
과 두 점
Figure pat00006
의 정의에 의해 수학식 1에서와 같이 정의된다.
Figure pat00007
여기서,
Figure pat00008
은 아이덴티티 I를 갖는 아벨리안 리 그룹(abelian Lie groups)으로 해석될 수 있다.
아벨리안 리 그룹은
Figure pat00009
에 대한 이중 불변 메트릭(bi-invariant metric)을 충족하고 다음과 같이 정의된다.
Figure pat00010
여기서,
Figure pat00011
은 크기 n × n의 대칭 행렬을 구성하는 탄젠트 공간을 나타낸다.
수학식 2에서
Figure pat00012
는 방향
Figure pat00013
을 따라 점
Figure pat00014
Figure pat00015
에서 로그의 프레셰 방향 도함수(Frechet directional derivative)이다.
(정의 1)
Figure pat00016
에 관한 내부 제품의 정의에 따라, 로그 유클리디안 메트릭에 의해 유도된
Figure pat00017
의 두 점 X1, X2 사이의 측지선 거리는 다음과 같이 정의된다.
Figure pat00018
여기서,
Figure pat00019
는 행렬 A의 프로베니우스 놈(Frobenius norm)을 나타낸다.
(정의 2)SPD 행렬의 집합인 {X1, ..., XN}과 μ, 이들 SPD 행렬의 프레셰 평균,
Figure pat00020
의 로그 유클리디안 메트릭과 연관된 리만 지수(Riemannian exponential) 및 로그 맵(logarithm maps)이 각각 다음과 같이 주어진다.
Figure pat00021
여기서,
Figure pat00022
는
Figure pat00023
을 SPD 매니폴드에 맵핑하고,
Figure pat00024
는
Figure pat00025
을 탄젠트 공간에 맵핑한다.
Figure pat00026
를 (i,j) 번째 엔트리가 1 인 n × n 행렬로 놓고, 나머지는 모두 0이다. 수학식 4에서 μ는 앵커 포인트 역할을 한다.
Figure pat00027
의 기초가 되는 집합은 수학식 5에서와 같이 정의된다.
Figure pat00028
여기서,
Figure pat00029
와
Figure pat00030
는 i = 1, ..., D이다.
카디널리티 V는 다음과 같이 정의된다.
Figure pat00031
본 발명에 따른 RS-LEML(Riemannian submanifold-LEML)에 관하여 설명하면 다음과 같다.
먼저, 포인트를 기본 집합으로 투영하여 벡터로 SPD 매니폴드의 점을 특성화하기 위한 새로운 프레임 워크 및 변환 행렬 W를 최적화하는 방법을 설명한다.
리만 서브매니폴드(Riemannian Submanifold)에 관하여 설명한다.
수학식 3을 사용하여 계산된 프레셰(Frechet) 평균으로, SPD 행렬은 탄젠트 공간(즉, SPD(n) → Sym(n))에 매핑된다.
본 발명은 탄젠트 공간으로 점을 매핑한 후 Sym(n)의 직교 기저에 사상된 점을 투영함으로써, 탄젠트 공간의 각 점을 특징 짓는 매개 변수 벡터 x = (x 1 , ..., x D ) T 를 찾는다.
Sym(n)에 유클리디안 메트릭이 부여되면, Sym(n)의 기본 집합 V는 직교 기저이고, 내부 제품과 접하는 탄젠트 공간을 설명할 수 있다.
Figure pat00032
를 유클리디안 공간에서 D 차원 벡터라 하면,
Figure pat00033
는 E(x)으로 특징되고 이는 수학식 7에서와 같다.
Figure pat00034
그리고
Figure pat00035
는 수학식 5에서 정의되고, SPD 행렬
Figure pat00036
는
Figure pat00037
으로 특징되고, 이는 수학식 8에서와 같다.
Figure pat00038
Figure pat00039
는 수학식 4에서와 같다. RS는 주위 매니폴드(즉, 로그 유클리디안 메트릭)로부터 리만(Riemannian) 메트릭을 상속하기 때문에, 수학식 3의 거리 함수는 다음과 같이 x 및 x'에 대해 재구성될 수 있다.
(명제 1)
Figure pat00040
SPD(n)에서 두 점 X, X'를 증명하면, x와 x'는 X와 X'를 특성화하는 해당 매개 변수 즉, X = H(x),X' = H(x')이다.
Figure pat00041
여기서, 첫 번째와 두 번째 평형은 각각 수학식 3과 수학식 8에 의해 유지된다.
매개 변수 x를 얻는 방법을 설명하면 다음과 같다.
매개 변수화 과정에서, 탄젠트 - 탄젠트 프레임 워크에서 변환 행렬 W는 탄젠트 공간에서 SPD 매니폴드 점의 로그에 대한 투영 연산자 역할을 한다.
기존 프레임 워크에서 W는 원본 탄젠트 공간을 한 쌍의 데이터 포인트가 특정 조건을 충족시켜야하는 더 작은 SPD 매니폴드 중 하나로 축소한다.
본 발명에 따른 RS-LEML 방법은 탄젠트 공간을 변형하는 대신에, 원래의 탄젠트 공간에서 최적의 RS 공간을 찾는데, 이는 매개 변수화로부터 얻은 다중 기본에 의한 것이다.
RS-LEML은 각 데이터 포인트에 대한 매개 변수 x에 대한 변환 맵핑 W를 찾는다.
데이터 포인트
Figure pat00042
의 매개 변수 x는 Y의 위쪽 삼각형 부분을 벡터화하여 구한다.
더 구체적으로 매개 변수 x는 다음과 같이 정의된다.
Figure pat00043
여기서, vec는 벡터화를 나타낸다.
결과적으로 x는 Sym(n)과 동일한 차원을 가지며
Figure pat00044
이다.
본 발명에서는 트레이닝 데이터 포인트와 테스트 데이터 포인트를 동일한 차원의 매개 변수로 매개 변수화하고 SPD(n)의 데이터 포인트를 직접 사용하는 대신 사용한다.
거리 메트릭 러닝(Distance Metric Learning)에 관하여 설명하면 다음과 같다.
RS에 SPD 행렬을 투영하려면,
Figure pat00045
를 낮은 차원 K < D을 갖는
Figure pat00046
으로 맵핑하여 변환 행렬
Figure pat00047
를 찾아야 한다.
본 발명은 RS에서 V = {v 1 , ..., v D } 대신에 V의 서브 집합 {v 1 , ..., v K }의 부분 집합을 사용하는데, 여기서, K < D이다.
이하, V는 RS에서 설정된 새로운 베이시스를 나타내고, v i 는 새로운 베이시스 세트에서의 i 번째 베이시스이다.
그러면 수학식 9로부터 두 개의 맵핑 된 점 사이의 거리가 다음과 같이 직접 유도된다.
Figure pat00048
여기서,
Figure pat00049
는 두 매개 변수의 차이이다.
Figure pat00050
를 삼중 항의 집합이라 한다.
여기서, c i = {same, diff}는 삼중 항의 레이블을 나타낸다.
두 개의 매개 변수가 동일한 레이블을 공유하는 경우 양수 쌍, c i = same, d라하고, 그렇지 않으면 음수 쌍, c i = diff 이라 한다.
수학식 11에서 정의된 로그 손실 함수(logistic loss function)를 따른다.
Figure pat00051
여기서,
Figure pat00052
는 수학식 12를 사용하여 x와 x'사이의 거리를 측정한다.
수학식 13에서, 첫 번째 항은 양의 쌍에 대한 거리를 최소화하고 두 번째 항은 음의 쌍에 대해 작은 거리에 제약을 주는 것이다.
마지막 항은 변환 행렬 W를 희소하게 적용하는 정규화 항이고, δ는 가중치 매개 변수이다.
그리고 행렬 매니폴드의 최적화는 최적의 변환 행렬
Figure pat00053
를 찾는 것이다.
수학식 13으로부터 손실 함수
Figure pat00054
를 최소화하면 다음과 같다.
Figure pat00055
최적화를 위해 무작위로 W를 초기화하고, W에 대한 기울기를 경사 하강법(gradient descent method)을 사용하여 계산하여 더 나은 W'를 찾는다.
(명제 2) W의 a번째 행과 b번째 열에 있는 원소를
Figure pat00056
라 하면,
Figure pat00057
에 대한
Figure pat00058
의 유클리디안 도함수(Euclidean derivative)는 다음과 같이 계산된다.
Figure pat00059
여기서,
Figure pat00060
는 수학식 12에서 정의되고
Figure pat00061
는 T에서의 x와 x'의 차 벡터의 b 번째 요소이다.
W1과 W2는 다음과 같이 정의된다.
Figure pat00062
여기서,
Figure pat00063
는 b번째 기저 행렬이고 μ는
Figure pat00064
의 프레셰(Frechet) 평균이다.
Figure pat00065
SPD 메트릭 학습 문제의 가장 중요한 부분은 손실 함수를 최소화하는 최적의 솔루션을 찾는 것이다.
이를 위해 W에 정의된 거리 함수의 도함수를 정확하게 계산해야 한다.
하지만, 이를 정확하게 계산하는 것은 용이하지 않다.
예를 들어, 어느 하나의 방법에서는 도함수의 분석 형태는 알려지지 않았기 때문에 거리 함수는 행렬 형태의 테일러 확장을 사용하여
Figure pat00066
Figure pat00067
로 근사화된다.
다른 방법에서는 도함수의 분석 형태를 발견했으나솔루션 공간은 SPD 매니폴드에 정의되어야 했다.
본 발명은 로그 유클리디안 메트릭의 기하학적 특성을 이용하여 도함수의 분석 형태를 결정할 수 있다.
또한, 임의의 매니폴드에 정의된 모든 형태의 W를 정의할 수 있다.
표 1의 알고리즘 1은 RS-LEML의 알고리즘을 설명하는 것이다.
본 발명은 해당 기울기(gradient)가 있는 여러 형태의 W를 제시한다.
RS-Euc(RS-LEML) : 유클리드 설정에서
Figure pat00068
는 유클리드 벡터와 동일할 수 있다.
유클리드 벡터로 W를 인식함으로써, 최적화 문제는 간단한 기울기 하강,
Figure pat00069
에 의해 쉽게 해결될 수 있고, α는 학습 매개 변수이다.
Figure pat00070
여기서,
Figure pat00071
는 수학식 13에서 정의된 것이다.
General Linear Group : 소스 공간이 타겟서브공간과 동일한 차원을 갖는다면(즉, D = K), W는 GL (D)에서 일대일 가역 행렬 W로 인식할 수 있다.
GL (D)에서 오른쪽 불변 메트릭(right-invariant metric)이 있으면 리만 기울기는
Figure pat00072
으로 정의된다.
GL에 대한 리만 활용 방법(Riemannian conjugate methods)은 개발되지 않았으므로, 자연 경사 하강법을 사용하여
Figure pat00073
로 정의 된 GL에 대한 최적 솔루션을 찾는다.이 솔루션을 RS-GL이라 한다.
RS-St :
Figure pat00074
인 경우
Figure pat00075
의 대응하는 서브매니폴드를 스티펠 매니폴드(Stiefel manifold)라 한다.
스티펠 매니폴드 차원은 유클리드 매니폴드의 차원(
Figure pat00076
)보다 훨씬 작아 성능을 저하시킬 수 있다.
RS-DR-Euc : RS-LEML에서 사용된 변환 행렬은 다른 접근법에서 사용된 변환 행렬보다 훨씬 크다. 이 경우 작은 데이터 세트에서 초과 적용이 발생할 수 있다.
따라서, 본 발명에서는 타겟 서브공간으로 변형된 x의 성분을 제한한다.
본 발명에서는 D 차원 벡터 x를 x의 첫 번째 u 성분과 벡터
Figure pat00077
를 갖는 벡터
Figure pat00078
로 나눈다.
그런 다음
Figure pat00079
만이
Figure pat00080
에 의해 다른 벡터로 변형되고,
Figure pat00081
는 원본 데이터 점을 완전하게 나타내기 위해 변경되지 않는다.
수학식 12의 거리 함수는 다음과 같이 한정된다.
Figure pat00082
여기서,
Figure pat00083
및
Figure pat00084
는 각각
Figure pat00085
및
Figure pat00086
에 대한 차분 기저 행렬(different basis matrices)상에 정의된다
RS-LEML에 관한 분석을 설명하면 다음과 같다.
수학식 15에서
Figure pat00087
를 구별하는 계산 비용은 타겟 서브공간의 크기에 크게 영향을 받는다.
수학식 15에서 b = 1,...,D에 대한
Figure pat00088
는 D회 계산해야 하고,
Figure pat00089
는 a = 1,...,K에 대하여 K회 계산을 하여야 한다.
특히,
Figure pat00090
를 계산하는 것은
Figure pat00091
를 계산하는 것보다 훨씬 많은 시간이 걸리는 작업이다.
소스 서브공간 D의 차원을 약간의 비용으로 늘릴 수 있으나, K의 크기를 제한없이 증가시킬 수는 없다.
본 발명에서는 이 문제를 완화하기 위해 타겟 서브공간의 기저를 수정한다.
K개의 기저들을 L개의 기저들로 병합하고, 정규화된 j = 1,...,L에 대해
Figure pat00092
를 얻는다.
병합된 기저는 직교 특성을 만족하고 탄젠트 공간 Sym(n)에 걸쳐 있다는 점에 유의해야 한다.
본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법에 의한 표현 능력을 설명하면 다음과 같다.
수학식 12 및 수학식 15에서 앵커 포인트μ에 단위 행렬 I를 할당하면, 리만로그 맵은 행렬 로그 맵과 동일하며, 방향성 도함수는 항등 사상(identity map)으로 변경되어 결과적으로 최적화의 전체 비용을 크게 줄일 수 있다.
그러나 이 경우 변환 매트릭스의 표현 능력을 최대한 활용할 수는 없다.
(추론 1)
Figure pat00093
에서의 거리 함수를 변형하면, 수학식 12 및 수학식 15를 다음과 같이 재공식화할 수 있다.
Figure pat00094
대각선 행렬 I에서의 방향 도함수는 항등성이므로, Y∈ Sym(n)에 대해 dlog (I, Y) = Y으로 증명될 수 있다.
이 문제를 자세히 설명하기 위해 거리 함수의 도함수를 보다 유익한 형태로 분해하면 다음과 같다.
Figure pat00095
여기서,
Figure pat00096
는 W의 j번째 행을 나타낸다. 따라서,
Figure pat00097
는 스칼라이다.
일부 j에 대해
Figure pat00098
가 0이면 해당
Figure pat00099
는 수학식 20에서 도함수에 기여하지 않으므로 W가 덜 유용하다.
낮은 계산 비용과 높은 표현 능력을 고려하여 앵커 포인트로 μ와 I를 모두 채택하여 더 나은 결과를 산출한다.
본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법에서의 물리적 해석을 설명하면 다음과 같다.
물리적인 관점에서, 거리 함수의 도함수를 끌개(attractor)로 해석할 수 있다.
수학식 12 및 수학식 19에서 두 매개 변수 x 및 x '사이의 거리가 가까워 질 때(즉, Δx → 0), 도함수 값은 더 작아진다.(즉,
Figure pat00100
)
특히, 타겟 서브공간의 거리는 소스 공간의 거리와 선형 관계가 있다.
로그 유클리디안 메트릭의 기하학적 특성은 거리함수가 수학식 12 및 수학식 19에서와 같이 프레셰 방향 도함수에 의해 재구성될 수 있기 때문에 이러한 현상을 일으킬 수 있다고 주장할 수 있다.
수학식 15에서
Figure pat00101
에 대한
Figure pat00102
의 도함수가 물리적 관점에서 의미하는 것을 설명하면 다음과 같다.
Figure pat00103
는 점 μ을 다른 점에 연결하는 SPD 매니폴드에서 측지선
Figure pat00104
의 매개 변수로 간주될 수 있다.
Figure pat00105
에 대한
Figure pat00106
의 도함수는 측지선
Figure pat00107
의 도함수와 동일하고 일정 속도가 된다.
Figure pat00108
여기서,
Figure pat00109
일부 α∈R에 대해 탄젠트 공간 전체에
Figure pat00110
을 정의한다.
도 5는 점 μ을 다른 점 T에 연결하는 geodesic
Figure pat00111
의 매개 변수로서의
Figure pat00112
의 해석을 나타낸 구성도이다.
이상에서 설명한 바와 같이, 본 발명은 LEML(Log-Eucliden Metric Learning)에 관한 것으로, LEML의 목적은 SPD matrix로 표현된 이미지의 특징 (SPD(n))을 잘 분별할 수 있는 작은 차원의 SPD matrix(SPD(m), m<n) 로의 맵핑을 찾는 것이다.
본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 방법을 구체적으로 설명하면 다음과 같다.
도 4는 본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 방법을 나타낸 플로우 차트이다.
먼저, SPD 행렬로 표현된 데이터를 Logm(matrix logarithm)을 통해서 탄젠트 공간(tangent space)에 맵핑을 하는 탄젠트 공간 맵핑 단계를 수행한다.(S401)
이어, 탄젠트 공간 맵핑 단계에서 맵핑된 점들을 유클리디안 점(Euclidean point)( RD)로 표현하는 유클리디안 포인트 처리 단계를 수행한다.(S402)
그리고 파라미터 W를 통하여 (RK)인 서브공간(subspace)으로 맵핑을 하는 서브공간 맵핑 단계를 수행한다.(S403)
이어, Expm(matrix exponential)을 통하여 탄젠트 공간(Tangent space)에서 SPD(n)으로 다시 재맵핑을 하여, 목적함수(objective function)을 이용하여 같은 클래스의 점들은 거리를 줄이고, 다른 클래스의 점들은 거리를 늘려 메트릭 러닝을 하는 재맵핑 단계를 수행한다.(S404)
이상에서 설명한 본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법의 효율성에 관하여 설명하면 다음과 같다.
RS-LEML 방법의 효율성을 입증하기 위해 합성 예, 물질 분류 및 행동 인식에 관한 세 번의 실험을 수행했다.
RS-LEML과 다른 알고리즘을 비교하기 위해 탄젠트 프레임 워크, SPDML 및 LEML에서의 탄젠트 기반으로 두 가지 Log Euclidean 메트릭 학습 알고리즘을 구현한다.
SPDML의 경우 Log-Euclidean 메트릭 기반 알고리즘을 비교하기 위해 SPDML (SPDML-LEM)의 Log-Euclidean 메트릭을 사용한다.
최적화 알고리즘의 최대 반복 횟수가 50이고, 파라미터
Figure pat00113
는 각 클래스의 최소 수에 고정되고,
Figure pat00114
는
Figure pat00115
의 절반으로 설정된다.
LEML의 경우 각 매개 변수 η, ξ는 [0.1, 1, 10, 100, 500] 및 [0.1, 0.3, 0.9]의 범위에서 조정되고, 정지 공차는 0.01로 설정된다.
RS-LEML의 경우, 모든 실험에서 규칙 수식으로 2- 놈(morm)을 사용하였고 조정 계수 δ는 0.05로 설정된다.
표 2는 합성 예에서 메트릭 러닝 정확도를 나타낸 것으로, 숫자는 RS-St 및 RS-LEML의 경우 K = 16 / K = 80이고, RS-GL의 경우 K = 136 인 경우의 정확도를 나타낸 것이다.
Figure pat00116
표 2에서와 같이, 본 발명에 의한 RS-GL, RS-St 및 RS-LEML의 모든 변형이 LEML 및 SPDML보다 우수한 결과를 나타내는 것을 확인할 수 있다.
타겟 서브공간의 차원이 16에서 80으로 증가함에 따라, 본 발명에 의한 방법이 보다 정확한 결과를 산출했는데, 이는 더 많은 차원에서 더 높은 용량과 유연성을 가지고 있음을 시사한다.
탄젠트 - 탄젠트 기반 알고리즘은 변환 행렬의 용량이 낮아 최적의 공간을 찾지 못했지만 RS-LEML은 최적의 학습 공간을 충실히 찾는 것을 확인할 수 있다.
도 6은 RS-DR-LEML의 정확도 대 차원 비교 그래프이고, 도 7은 UIUC 재료 데이터 세트의 예를 나타낸 구성도이다.
표 3은 물질 분류의 메트릭 러닝 정확도를 나타낸 것으로,트레이닝 데이터와 테스트 데이터를 사용하여 여러 알고리즘을 평가한 것이다.
Figure pat00117
표 4는 행동 인식에서의 메트릭 러닝 정확도를 나타낸 것으로,트레이닝 데이터와 테스트 데이터를 사용하여 여러 알고리즘을 평가한 것이다.
Figure pat00118
본 발명에서는 SPD(Symmetric Positive Definite) 매니폴드에서 로그 유클리디안 메트릭 러닝(log Euclidean metric learning)을 위한 리만 서브 매니폴드(Riemann submanifold) 프레임 워크에 기반한 새로운 메트릭 학습 방법을 제시한 것이다.
본 발명에 의한 방법(RS-LEML)은 원래 SPD 매니폴드를 다른 SPD 매니폴드로 변경하지 않으며 여러 베이스에 걸친 Riemannian 하위 매니폴드를 찾는 것에 의해 RS-LEML은 데이터를 보다 정확하게 나타낼 수 있다.
본 발명에서 사용되는 변환 행렬은 기존 행렬에 비해 더 많은 차원을 가지며 어떤 형태로든 사용할 수 있고, 다양한 형태의 변환 행렬을 사용하여 RS-LEML 방법의 여러 변형을 개발할 수 있다.
실험 결과는 RS-LEML과 그 변형이 이전의 메트릭 학습 방법보다 우수한 것으로 확인된다.
이상에서 설명한 본 발명에 따른 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법은 양의 정부호 행렬(SPD matrix)의 노말 좌표계(Normal coordinate)위에서 선형변환을 하여 비선형적인 제약을 제거하여 훈련시에 속도와 정확도를 향상시킬 수 있도록 하여 확장성이 뛰어나기 때문에 추후에 계층적으로 설계하여 더욱 집적된 네트워크로 확장이 가능하도록 한 것이다.
본 발명은 변환 행렬의 유형에 따라, 제안 된 방법의 여러 가지 다른 버전, 즉 RS-LEML(RS-Euclidean), RS-St(RS-Stiefel), RS-GL(RS-General Linear Group), RS-DR-Euc(RS-Dimensional-Reduction Euc)를 제공하여 능력과 유연성을 극대화하는 특정 제약 조건을 충족할 수 있다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10. 탄젠트 공간 맵핑부
20. 유클리디안 포인트 처리부
30. 서브공간 맵핑부
40. 재맵핑부

Claims (19)

  1. SPD(Symmetric Positive Definite) 행렬로 표현된 데이터를 탄젠트 공간(tangent space)에 맵핑을 하는 탄젠트 공간 맵핑부;
    탄젠트 공간 맵핑부에서 맵핑된 점들을 유클리디안 점(Euclidean point)(RD)로 표현하는 유클리디안 포인트 처리부;
    파라미터 W를 통하여 (RK)인 서브공간(subspace)으로 맵핑을 하는 서브공간 맵핑부;
    Expm(matrix exponential)을 통하여 탄젠트 공간(Tangent space)에서 SPD(n)으로 다시 재맵핑을 하여, 목적함수(objective function)를 이용하여 같은 클래스의 점들은 거리를 줄이고, 다른 클래스의 점들은 거리를 늘려 메트릭 러닝을 하는 재맵핑부;를 포함하는 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  2. 제 1 항에 있어서, 이미지가 가지고 있는 통계학적인 물리량의 표현인 SPD matrix(양의 정부호 행렬)으로 이미지의 정보를 압축하여 이 정보를 통해 네트워크를 훈련시키는 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  3. 제 1 항에 있어서, SPD 매니폴드에서 로그 유클리디안(log-Euclidean) 메트릭 학습을 위한 RS(Riemannian submanifold) 프레임 워크를 이용하여 원래의 탄젠트 공간을 변경하지 않고 최적의 RS를 찾는 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  4. 제 1 항에 있어서, 양의 정부호 행렬(SPD matrix)의 노말 좌표계(Normal coordinate)위에서 선형변환을 하여 비선형적인 제약을 제거하여,
    리만 매니폴드의 차원을 축소시키지 않고 리만 서브매니폴드(submanifold)를 정의하여 원본 매니폴드에서 로그 유클리디안 메트릭 러닝을 하는 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  5. 제 4 항에 있어서, 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝을 위하여,
    Figure pat00119
    을 실수와 포지티브 행렬의 집합
    Figure pat00120
    매니폴드의 공간이라 하면, 이진연산
    Figure pat00121
    과 두 점
    Figure pat00122
    의 정의에 의해,
    Figure pat00123
    으로 정의하고,
    여기서,
    Figure pat00124
    은 아이덴티티 I를 갖는 아벨리안 리 그룹(abelian Lie groups)으로 해석되는 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  6. 제 5 항에 있어서,아벨리안 리 그룹은
    Figure pat00125
    에 대한 이중 불변 메트릭(bi-invariant metric)을 충족하고,
    Figure pat00126
    으로 정의되고,
    여기서,
    Figure pat00127
    은 크기 n × n의 대칭 행렬을 구성하는 탄젠트 공간이고,
    Figure pat00128
    는 방향
    Figure pat00129
    을 따라 점
    Figure pat00130
    Figure pat00131
    에서 로그의 프레셰 방향 도함수(Frechet directional derivative)인 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  7. 제 6 항에 있어서,
    Figure pat00132
    에 관하여 로그 유클리디안 메트릭에 의해 유도된
    Figure pat00133
    의 두 점 X1, X2 사이의 측지선 거리는
    Figure pat00134
    으로 정의되고,
    여기서,
    Figure pat00135
    는 행렬 A의 프로베니우스 놈(Frobenius norm)을 나타내는 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  8. 제 7 항에 있어서, SPD 행렬의 집합인 {X1, ..., XN}과 μ, 이들 SPD 행렬의 프레셰 평균,
    Figure pat00136
    의 로그 유클리디안 메트릭과 연관된 리만 지수(Riemannian exponential) 및 로그 맵(logarithm maps)이 각각,
    Figure pat00137
    으로 주어지고,
    여기서,
    Figure pat00138
    는
    Figure pat00139
    을 SPD 매니폴드에 맵핑하고,
    Figure pat00140
    는
    Figure pat00141
    을 탄젠트 공간에 맵핑하고,
    Figure pat00142
    를 (i,j) 번째 엔트리가 1 인 n × n 행렬로 놓고, 나머지는 모두 0이고, μ는 앵커 포인트 역할을 하는 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  9. 제 8 항에 있어서,
    Figure pat00143
    의 기초가 되는 집합은,
    Figure pat00144
    으로 정의되고,
    여기서,
    Figure pat00145
    와
    Figure pat00146
    는 i = 1, ..., D이고,
    카디널리티 V는
    Figure pat00147
    으로 정의되는 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  10. 제 8 항에 있어서, 포인트를 기본 집합으로 투영하여 벡터로 SPD 매니폴드의 점을 특성화하고, 변환 행렬 W를 최적화하기 위하여,
    계산된 프레셰(Frechet) 평균으로, SPD 행렬은 탄젠트 공간(즉, SPD(n) → Sym(n))에 매핑되고, 탄젠트 공간으로 점을 매핑한 후 Sym(n)의 직교 기저에 사상된 점을 투영함으로써, 탄젠트 공간의 각 점을 특징 짓는 매개 변수 벡터 x = (x 1 , ..., x D ) T 를 찾는 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  11. 제 10 항에 있어서, Sym(n)에 유클리디안 메트릭이 부여되면, Sym(n)의 기본 집합 V는 직교 기저이고,
    Figure pat00148
    를 유클리디안 공간에서 D 차원 벡터라 하면,
    Figure pat00149
    는 E(x)으로 특징되고 이는
    Figure pat00150
    으로 정의되는 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  12. 제 11 항에 있어서, SPD 행렬
    Figure pat00151
    는
    Figure pat00152
    으로 특징되고,
    Figure pat00153
    으로 정의되고,
    거리 함수를 x 및 x'에 대해,
    Figure pat00154
    으로 재구성하고,
    SPD(n)에서 두 점 X, X'를 증명하면, x와 x'는 X와 X'를 특성화하는 해당 매개 변수 즉, X = H(x),X' = H(x')이고,
    Figure pat00155

    인 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  13. 제 12 항에 있어서, 매개 변수 x를 얻기 위하여 각 데이터 포인트에 대한 매개 변수 x에 대한 변환 맵핑 W를 찾고,
    데이터 포인트
    Figure pat00156
    의 매개 변수 x는 Y의 위쪽 삼각형 부분을 벡터화하여 구하고,
    매개 변수 x는
    Figure pat00157
    으로 정의되고,
    여기서, vec는 벡터화를 나타내고, x는 Sym(n)과 동일한 차원을 가지며
    Figure pat00158
    인 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  14. 제 13 항에 있어서, RS(Riemannian submanifold)에 SPD(Symmetric Positive Definite)행렬을 투영하기 위하여,
    Figure pat00159
    를 낮은 차원 K < D을 갖는
    Figure pat00160
    으로 맵핑하여 변환 행렬
    Figure pat00161
    를 찾고,
    RS에서 V = {v 1 , ..., v D } 대신에 V의 서브 집합 {v 1 , ..., v K }의 부분 집합을 사용하고, 여기서, K < D이고,
    두 개의 맵핑 된 점 사이의 거리가
    Figure pat00162
    으로 유되고,
    Figure pat00163
    는 두 매개 변수의 차이인 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  15. 제 14 항에 있어서, 로그 손실 함수(logistic loss function)는
    Figure pat00164
    으로 정의되고,
    여기서,
    Figure pat00165
    이고, 첫 번째 항은 양의 쌍에 대한 거리를 최소화하고, 두 번째 항은 음의 쌍에 대해 작은 거리에 제약을 주는 것이고, 마지막 항은 변환 행렬 W를 희소하게 적용하는 정규화 항이고, δ는 가중치 매개 변수인 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  16. 제 15 항에 있어서, 행렬 매니폴드의 최적화를 위하여 최적의 변환 행렬
    Figure pat00166
    를 찾고,
    손실 함수
    Figure pat00167
    를 최소화는
    Figure pat00168
    으로 정의되고,
    최적화를 위해 무작위로 W를 초기화하고, W에 대한 기울기를 경사 하강법(gradient descent method)을 사용하여 계산하여 더 나은 W'를 찾는 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  17. 제 16 항에 있어서, W의 a번째 행과 b번째 열에 있는 원소를
    Figure pat00169
    라 하면,
    Figure pat00170
    에 대한
    Figure pat00171
    의 유클리디안 도함수(Euclidean derivative)는,
    Figure pat00172
    으로 계산되고,
    Figure pat00173
    는 T에서의 x와 x'의 차 벡터의 b 번째 요소이고,
    W1과 W2는
    Figure pat00174
    으로 정의되고, 여기서,
    Figure pat00175
    는 b번째 기저 행렬이고 μ는
    Figure pat00176
    의 프레셰(Frechet) 평균인 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치.
  18. SPD(Symmetric Positive Definite) 행렬로 표현된 데이터를 탄젠트 공간(tangent space)에 맵핑을 하는 탄젠트 공간 맵핑 단계;
    탄젠트 공간 맵핑 단계에서 맵핑된 점들을 유클리디안 점(Euclidean point)(RD)로 표현하는 유클리디안 포인트 처리 단계;
    파라미터 W를 통하여 (RK)인 서브공간(subspace)으로 맵핑을 하는 서브공간 맵핑 단계;
    Expm(matrix exponential)을 통하여 탄젠트 공간(Tangent space)에서 SPD(n)으로 다시 재맵핑을 하여, 목적함수(objective function)를 이용하여 같은 클래스의 점들은 거리를 줄이고, 다른 클래스의 점들은 거리를 늘려 메트릭 러닝을 하는 재맵핑 단계;를 포함하는 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 방법.
  19. 제 18 항에 있어서, 이미지가 가지고 있는 통계학적인 물리량의 표현인 SPD matrix(양의 정부호 행렬)로 이미지의 정보를 압축하고, 압축된 정보를 통해 네트워크를 훈련시키고 이미지 분류를 하고,
    양의 정부호 행렬(SPD matrix)의 노말 좌표계(Normal coordinate)위에서 선형변환을 하여 비선형적인 제약을 제거하여 리만 매니폴드의 차원을 축소시키지 않고 리만 서브매니폴드(submanifold)를 정의하여 원본 매니폴드에서 로그 유클리디안 메트릭 러닝을 하는 것을 특징으로 하는 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 방법.
KR1020190011369A 2019-01-29 2019-01-29 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법 KR102225586B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190011369A KR102225586B1 (ko) 2019-01-29 2019-01-29 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190011369A KR102225586B1 (ko) 2019-01-29 2019-01-29 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200093970A true KR20200093970A (ko) 2020-08-06
KR102225586B1 KR102225586B1 (ko) 2021-03-09

Family

ID=72040092

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190011369A KR102225586B1 (ko) 2019-01-29 2019-01-29 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102225586B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561888A (zh) * 2020-12-18 2021-03-26 中国科学院深圳先进技术研究院 基于流形优化的用于磁共振动态成像的深度学习方法
CN113989907A (zh) * 2021-11-29 2022-01-28 江苏科技大学 一种基于非对称性特征和黎曼流形结构的人脸识别方法
CN114863548A (zh) * 2022-03-22 2022-08-05 天津大学 基于人体运动姿态非线性空间特征的情绪识别方法及装置
CN116131891A (zh) * 2023-03-16 2023-05-16 西安电子科技大学 基于黎曼流形的分层码本设计方法
CN116687406A (zh) * 2023-05-06 2023-09-05 粤港澳大湾区精准医学研究院(广州) 情绪识别方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180020376A (ko) 2016-08-18 2018-02-28 고려대학교 산학협력단 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법
KR101914717B1 (ko) 2017-09-28 2018-11-02 전남대학교산학협력단 대칭 양정치 행렬의 곱 다양체에 대해 재생 커널 힐버트 공간을 이용한 인간 행동 인식 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180020376A (ko) 2016-08-18 2018-02-28 고려대학교 산학협력단 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법
KR101914717B1 (ko) 2017-09-28 2018-11-02 전남대학교산학협력단 대칭 양정치 행렬의 곱 다양체에 대해 재생 커널 힐버트 공간을 이용한 인간 행동 인식 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Log-Euclidean Metric Learning on Symmetric Positive Definite Manifold with Application to Image Set Classification", Proceedings of the 32nd International Conference on Machine Learning, 2015.* *
"Low Rank Representation on SPD matrices with Log-Euclidean metric", Pattern Recognition 76(pp. 623-634), 2018. *
"Riemannian Metric Learning for Symmetric Positive Definite Matrices", arXiv:1501.02393v1 [cs.CV], 10 Jan 2015. *
"Visual Tracking Via Incremental Log-Euclidean Riemannian Subspace Learning", IEEE, 2008 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561888A (zh) * 2020-12-18 2021-03-26 中国科学院深圳先进技术研究院 基于流形优化的用于磁共振动态成像的深度学习方法
CN112561888B (zh) * 2020-12-18 2024-04-16 中国科学院深圳先进技术研究院 基于流形优化的用于磁共振动态成像的深度学习方法
CN113989907A (zh) * 2021-11-29 2022-01-28 江苏科技大学 一种基于非对称性特征和黎曼流形结构的人脸识别方法
CN114863548A (zh) * 2022-03-22 2022-08-05 天津大学 基于人体运动姿态非线性空间特征的情绪识别方法及装置
CN114863548B (zh) * 2022-03-22 2024-05-31 天津大学 基于人体运动姿态非线性空间特征的情绪识别方法及装置
CN116131891A (zh) * 2023-03-16 2023-05-16 西安电子科技大学 基于黎曼流形的分层码本设计方法
CN116687406A (zh) * 2023-05-06 2023-09-05 粤港澳大湾区精准医学研究院(广州) 情绪识别方法、装置、电子设备及存储介质
CN116687406B (zh) * 2023-05-06 2024-01-02 粤港澳大湾区精准医学研究院(广州) 情绪识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR102225586B1 (ko) 2021-03-09

Similar Documents

Publication Publication Date Title
KR102225586B1 (ko) 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법
Besserve et al. Counterfactuals uncover the modular structure of deep generative models
Tenenbaum et al. Separating style and content with bilinear models
Patle et al. SVM kernel functions for classification
Chazal et al. The density of expected persistence diagrams and its kernel based estimation
JP2925435B2 (ja) 入力分類方法、トレーニング方法、調整方法、及び装置
WO2018149133A1 (zh) 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统
EP4094201A1 (en) Method of training an image classification model
CN103093235B (zh) 一种基于改进距离核主成分分析的手写体数字识别方法
Huang et al. Quadratic regularization projected Barzilai–Borwein method for nonnegative matrix factorization
CN108681721A (zh) 基于图像分割二维双向数据线性相关组合的人脸识别方法
Girshick et al. Discriminatively activated sparselets
Hathaway et al. Kernelized non-Euclidean relational fuzzy c-means algorithm
CN113971735A (zh) 一种深度图像聚类方法、系统、设备、介质及终端
CN104598925A (zh) 一种基于ELM的多类Adaboost集成学习方法
CN109978064A (zh) 基于图像集的李群字典学习分类方法
Alzate et al. A weighted kernel PCA formulation with out-of-sample extensions for spectral clustering methods
CN115995011A (zh) 基于图正则化的非线性正交非负矩阵分解图像聚类方法
CN112966735A (zh) 一种基于谱重建的监督多集相关特征融合方法
CN117312447A (zh) 一种实时产业链大数据分布式处理方法及系统
Yamashita et al. A new biplot procedure with joint classification of objects and variables by fuzzy c-means clustering
Zheng et al. Minimal support vector machine
Sánchez et al. Diatom classification including morphological adaptations using CNNs
Zdunek et al. Image classification with nonnegative matrix factorization based on spectral projected gradient
CN111461255A (zh) 一种基于间隔分布的Siamese网络图像识别方法及系统

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190129

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200811

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210218

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210303

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210304

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20231227

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20241223

Start annual number: 5

End annual number: 5