KR100343533B1 - 등화된 직교사상을 통한 다차원 데이타의 시각화 및자기조직화 시스템 및 방법 - Google Patents

등화된 직교사상을 통한 다차원 데이타의 시각화 및자기조직화 시스템 및 방법 Download PDF

Info

Publication number
KR100343533B1
KR100343533B1 KR1020007006564A KR20007006564A KR100343533B1 KR 100343533 B1 KR100343533 B1 KR 100343533B1 KR 1020007006564 A KR1020007006564 A KR 1020007006564A KR 20007006564 A KR20007006564 A KR 20007006564A KR 100343533 B1 KR100343533 B1 KR 100343533B1
Authority
KR
South Korea
Prior art keywords
output
layer
node
data pattern
neural network
Prior art date
Application number
KR1020007006564A
Other languages
English (en)
Other versions
KR20010033181A (ko
Inventor
파오요한
멩주오
Original Assignee
컴퓨터 어소우시에이트스 씽크 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 컴퓨터 어소우시에이트스 씽크 인코포레이티드 filed Critical 컴퓨터 어소우시에이트스 씽크 인코포레이티드
Publication of KR20010033181A publication Critical patent/KR20010033181A/ko
Application granted granted Critical
Publication of KR100343533B1 publication Critical patent/KR100343533B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G06F18/21355—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis nonlinear criteria, e.g. embedding a manifold in a Euclidean space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Generation (AREA)
  • Complex Calculations (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Feedback Control In General (AREA)

Abstract

종속 시스템은 패턴 데이타의 축소차원 사상을 제공한다. 사상은 비선형 신경이 있는 종래 단일-은폐층 전방공급 신경망을 통하여 적용된다. 본 발명의 한가지 면에 따라서, 시스템 함수는 출력신호의 공분산 매트릭스를 대각선 매트릭스 또는 일정배수 항등매트릭스의 형태로 축소함으로써 저차원 출력신호를 등화하고 직교화한다. 본 발명은 상대적으로 "기하학적 교정" 저차원 어림의 복잡한 다차원 데이타의 큰 집단의 시각화를 가능하게 하여, 유사한 목적의 다른 방법과 관련한 무질서를 줄이고, 동시에 계산상으로 효과적인 사상을 유지할 수 있다.

Description

등화된 직교사상을 통한 다차원 데이타의 시각화 및 자기조직화 시스템 및 방법{VISUALIZATION AND SELF-ORGANIZATION OF MULTIDIMENSIONAL DATA THROUGH EQUALIZED ORTHOGONAL MAPPING}
본 발명은 인공지능의 기술에 관한 것이며, 더 구체적으로, 특징을 이해하기 용이하도록 패턴 데이타를 조직화하기 위하여 그 큰집단을 조직화하는 시스템에 관한 것이다.
상기 종속하는 시스템은 화학적 특성 정보와 같은 필요한 분석, 실험 데이타에 구체적 적용을 가지므로, 그것을 참고하여 다음에 구체적 설명을 할 것이다. 그러나, 종속하는 시스템의 연속하는 요소의 시각화 및 이해를 돕기 위하여 임의의 관련데이타의 분석으로 상기 종속하는 시스템을 적합하게 개조한다.
다특성 패턴 데이타의 큰 집단을 이해하는 것은 어려운 일이다. 실제로, 데이타체는 클 필요가 없고; 심지어 6 특성 각각 400 패턴의 집합은 상당히 "이해"하기 어려울 것이다. 자기조직화의 개념은 상황별 상기 유형과 관계가 있고, 그 과제로의 2 주요 접근에 의해 이해될 수 있다. 한 경우에 있어서, 끈질긴 노력으로 데이타가 패턴공간에 어떻게 분포하는지를 발견하였고, 이해하는 바와 같이, 패턴의 큰 집단을 기술하는 목적은 다차원 클러스터 또는 어떤 다른 분포에 의해 더 단순하다. 이것은 적합한 공진이론(adaptive resonance theory, ART)과 다른 클러스터 분석접근에 근거하는 지배적인 관심이다.
나머지의 경우에 있어서, 노력을 차원축소에 기울인다. 대응하는 아이디어는 다수의 특성을 가지는 원래 표현은 그 표현에 있어 과다하고, 몇가지 특징은 서로 거의 중복한다. 그러한 상황에서, 차원축소에 의해 수반하는 주요 특성 추출은 각각의 그리고 모든 패턴의 기술을 단순화 할 수 있다. 밀집화를 차원축소 공간에서 적합하게 계속해서 달성할 수 있다. 카르휴넌-로에베(Karhunen-Loeve, K-L)변환, K-L변환의 신경망 완성 및 자동관련 사상 접근(mapping approach)은, 모두 주요성분 분석(PCA), 특성추출 및 차원축소로 이어진다.
실제로, 활동의 2 스트림은 완전히 독립적인 것은 아니다. 예컨대, ART접근은 그 클러스터 형성에 있어, 강한 "위너-테이크-올(winner-take-all)" 매카니즘을 가진다. 주요 프로토타입을 "추출"하여 이들 소수 주요 프로토타입에 의하여 축소형용을 형성하여 적합하게 나타낸다. 특성 사상접근은 곁자극억제(lateral excitation inhibition)를 통하여 유사한 패턴를 함께 모으는 것을 목적으로 하여, 유사한 특징을 가진 패턴를 축소차원 특성 사상의 연속적인 영역 내에 사상한다. 상기 방법은 차원을 집단화 및 축소한다. 공통목표는 데이타를 더 간단한 표현으로 조직화하도록 하는 것이다.
자기조직화의 이 공통과제로의 새로운 접근은 다음에 설명한다. 상기 아이디어는 원래 표현으로부터 축소차원의 하나로 데이타를 비선형 사상하려는 것이다. 그러한 사상은 다층 전방공급 신경망을 적합하게 이행하게 한다. 망 파라미터는 상기 패턴의 형용에서 총분산의 보존의 원리에 근거한 비관리방법에서 가능하게 된다.
차원축소의 개념은 그 자체로 볼때 다소 낯설다. 패턴 데이타체의 축소차원 표현이 원래 데이타체를 표현하도록 한다. 대응하는 해답은 선형의 경우에 있어 알려져 있지만, 일반 비선형의 경우에 더 상세히 설명하기는 어렵다.
종속의 발명을 이끌어낸 전개의 시작은 카르후넌-로에베(K-L) 형태에 기초한 주성분 분석(PCA)의 개념에 주목함으로써 전개할 수 있었다. 데이타 공분산 매트릭스의 고유벡터는 관련된 데이타의 비상관표현에 대한 기초를 제공한다. 주성분은, 더 큰 고유값, 즉 패턴에서 패턴로 크게 변화하는 고유벡터의 특성(변형된 표현에서)을 가지는 고유벡터이다. 소수의 고유값이 크기만 한다면, 그 때 축소차원 표현은 그들 소수의 대응하는 고유벡터에 의하여 적합한 경향을 가지고, 데이타의 거의 모든 정보를 여전히 보유한다. PCA 목적에 있어 카르휴넌-로에베 변환의 실용화는 많은 까다로운 문제를 다루는데 가지가 있음이 밝혀졌었다. 그러나. 패턴 인식에 있어서, 보유되는 것이 내부분류 구별에 항상 도움이 되는 것이 아니라는 정도에 있어서는 정애를 가진다.
연속하고 다소 관련된 전개는 PCA, K-L변환 및 선형 신경망의 개념을 연결하고자 하였다. 그러한 노력은 신경망 계산을 통하여 선형 K-L변환을 완성하고자 하며, 웨이트를 얻을 수 있는 역전파(backpropagation) 알고리즘을 가진 다층 전방공급망을 완전히 연결하거나, 일반화된 헤비안 기능 알고리즘(Hebbian Learning algorithm)을 이용하여 완성한다. 주어진 바른 목적함수가 주어지면서, 임의의 은폐층 노드로의 선형 링크에 있어 웨이트는 공분산매트릭스의 고유벡터의 성분이 되는 것을 주목할 수 있다. 초기 연구는 또한 주성분을 연속적으로 발견할 수 있는 방법과, 그 접근이 가능한 매우 큰 공분산매트릭스의 모든 요소를 구하는 지루한 일을 피할 수 있는 방법을 기술하였다.
초기 연구는 망의 신경이 또한 비선형이 되게 한다면 성공할 수 있는지의 의심을 제기했다. 다른 노력은 그 의심을 어드레스하고자 했다. 하나의 경우에 있어서, 원래 데이타패턴 벡터는, 그 하나가 비선형 내층 노드를 가지는 다층 전방공급망의 변형의 다층에 종속된다. 그러한 망의 출력층은 입력층으로서 노드의 동수를 가지고, 목적은 네트를 연결하여 출력층이 모든 입력층에 있어 입력을 감소할 수 있다. 이것은 소위 자동-관련 기능구성을 공급한다. 내층의 하나는 병목층으로서 기능하면서, 노드의 극심하게 축소된 수를 가진다. 다음에, 상기 노드의 축소수로부터의 출력이 입력을 빽빽히 재발생할 수 있기 때문에, 모든 경우에서, 병목층의 노드는 일련의 주성분으로 간주할 수 있다. 그러한 기능에서 얻어진 해는 유일하지 않고, 초기조건과 데이타패턴가 기능상에 나타내어지는 배열에 근본적으로 의존하는 것과 구별되는 것을 제외하고, 상기한 것은 수용할 수 있는 관점이라는 것을 증명한다. 결과가 흥미로울지라도, 주성분의 유일집합은 없다.
다른 초기 특성 사상접근에 있어서, 차원축소는 그럼에도 다른 방법으로 얻어진다. 축소차원 공간은 2차원으로서 적합하게 정의된다. 그리고, 축소차원 공간은 포인트의 격자로 확대되고, 패턴벡터는 그들 격자 포인트에 첨부된다. 이들 패턴벡터는 동일패턴 공간으로부터 문제의 패턴벡터로서 랜덤하게 선택될 수 있다. 그리고, 격자에 첨부된 기준벡터와의 유사성에 기초하여, 축소차원 공간의 격자포인트에 문제의 패턴벡터를 배정한다. 이것은 절차의 측면이 고무된 생물학, 즉 곁자극-억제의 생물학을 만들어 낸다. 패턴벡터가 격자포인트에 배정될 때, 상기 격자포인트가패턴벡터와 가장 유사한 기준벡터를 가지게 되기 때문에, 처음에, 필수적으로 랜덤하게 될 것이다. 그러나, 배정이 한번 이루어져서, 기준벡터가 입력 패턴벡터의 기준벡터와 같이 더 변경되면, 근방의 가까운 격자포인트의 모든 기준벡터는 또한 입력패턴와 더 유사하게 되도록 변경된다. 이러한 방법에서, 원래 벡터공간에서 유사한 패턴가 축소차원 공간에서 함께 효과적으로 집단화하는 기회가 더 이상 남지 않는다는 문제가 있다. 기회에 따라, 물체가 경미하게 다르게 발전한다면 연속적인 영역에 분류되었었던 패턴에 있어, 때때로 2개 이상의 다른 지역을 만들 수 있다. 다른 한편, 성질의 결과는 계산상의 과정의 목적에 손상을 주지 않을 수 있다.
MAX-NET가 클러스터를 만드는 위너-테이크-올(winner-take-all)을 이행하기 때문에 데이타 자기 조직화로의 ART 접근을 다음 항목에서 설명할 수 있고, 클러스터 공간의 클러스터 사이의 거리와 관련이 없을지라도 사실상 곁가지 억제가 있다. 데이타 압축은 있지만 차원축소는 없다.
본 발명은 1995년 9월 29일 함께 제출한 미국출원 No.08/536,059의 연속파트(Continuation-In-Part, CIP)이다.
도 1은 본 종속발명의 바람직한 실시예로 채택된 차원축소의 종속 비선형 분산-보존(NLVC) 사상에 관한 종래의 자동-관련 망를 나타낸다.
도 2는 81포인트로 작도된 나선형의 두 주기의 3차원 그래프를 나타낸다.
도 3은 나선형의 카르휴넌-로에베(K-L) 변환의 2차원 표현을 나타낸다.
도 4는 자동-관련 사상으로 나선형의 2차원 표현을 나타낸다.
도 5는 비선형 분산-보존 사상으로 2차원 표현을 나타낸다.
도 6은 비선형 분산-보존 사상으로 가솔린혼합 데이타의 2차원 표현을 나타낸다.
도 7은 아이소패네탄, 크랙된 캣 및 재형성의 항목 레벨에 대하여 혼합위치의 민감도를 나타낸다.
도 8은 비선형 분산-보존 사상으로 센서 데이타의 2차원 표현을 나타낸다.
도 9는 "무장애"에서 "장애"까지를 모니터하는 연속적인 센서 프로파일의 자취를 나타낸다.
도 10은 비선형 분산 보존 사상으로 밴드 갭 데이타의 2차원 표현을 제공한다.
도 11은 기준 가솔린 혼합데이타의 테이블을 나타낸다.
도 12는 시간에 따른 센서 데이타 프로파일을 나타낸다.
도 13은 반도체 크리스탈 구조 파라미터와 대역갭의 표를 나타낸다.
도 14는 등화된 직교 사상(EOM)의 망구조를 나타낸다.
도 15는 2 고유 차원으로 5차원 함수용 해를 제공하는 식에 있어서 이론적 2차원 사상을 나타낸다.
도 16A-16D은 자기조직 사상(SOM)에 의해 얻은, 2 고유 차원으로 5-D 함수용축소된 차원 사상을 나타낸다.
도 17A-17D는 비선형 분산 보존(NLVC) 사상에 의해 얻은, 동일 5-D 함수용 축소 차원 사상을 나타낸다.
도 18A-18D는 등화된 직교 사상(EOM)에 의해 얻은, 동일 5-D함수용 축소된 차원 사상을 나타낸다.
도 19A-19D는 SOM에 의해 얻은 것처럼, 도 11에서 나타낸 가솔린 혼합데이타용 축소된 차원 사상을 나타낸다.
도 20A-20D은 NLVC에 의해 얻은 것처럼, 도 11에 나타낸 가솔린 혼합데이타용 축소된 차원 사상을 나타낸다.
도 21A-21D는 EOM에 의해 얻은 것처럼, 도 11에 나타낸 가솔린 혼합데이타용 축소된 차원 사상을 나타낸다.
도 22A는 EOM에 의해 얻은 6패턴의 축소된 차원 사상을 나타낸다.
도 22B는 도 22A에 나타낸 영역의 모델값을 나타낸다.
(도면의 주요 부분에 대한 부호의 설명)
(10,100) ‥‥‥ 신경망 (12,102) ‥‥‥ 입력층
(14) ‥‥‥ 출력층 (30,32,34,36,38) ‥‥‥ 노드
(40) ‥‥‥ 내부층 (110,112,114,116,118) ‥‥‥ 입력신경
(132,134) ‥‥‥ 제1 및 제2 신경
본 발명의 제1 국면에 의하면, 상기한 문제와 다른 것들은 패턴 차원 데이타의 자동적인 축소에 있어 시스템을 거의 명확한, 매우 효과적인 시스템을 이용하는 2차워 표현으로 제공하도록 어드레스 된다.
공학상의 많은 일은 비조직화된 무질서한 데이타로부터 유용한 정보를 추출하는 과정을 수반한다. 그러나, 상기한 바와 같이, 도전하는 일은 다차원 데이타의 큰 집합 중에서 이해하는 것이다. 주요한 어려운 일은 내부패턴 관계가 즉시 납득될 수 없다는 사실이 있다는 것이다. 시각적 디스플레이는 이러한 종류의 분석을 안내하기 위하여 가장 유용한 도구의 하나였다.
상기한 바와 같이, 원래 데이타의 복잡성을 그 의미를 이해하기 위하여 축소되어야만 한다. 일반적으로, 접근의 큰 2 카테고리를 이 문제를 풀기위해 사용한다. 제1 카테고리에서, 집단화, 또는 코호넌(Kohonen's)의 자기조직화 사상(SOM)과 같은 방법을 사용하여, 데이타패턴이 어떻게 다차원 공간에 분포되는지를 추론하는데 유클리딘(Euclidean) 거리와 같은 정보를 이용한다. 이들 방법의 중요성은 클러스터 속성 또는 다소 다른 분포를 가지는 데이타패턴의 커다란 양을 더 간결하게 설명하는 것이다.
접근의 제2 카테고리는 차원의 축소를 강조하는 것이다. 즉, 특성의 수의 축소가 각각 그리고 모든 데이타패턴에 필수적이다. 상기 아이디어는 원래 데이타공간의 차원을 추측하는 것은 서로 전혀 무관하지 않다는 것이다. 즉, 이들 차원은 그들 알려진 중에서 비록 반드시 필요한 것은 아니지만 몇가지 무관한 고유차원의 다소 복잡한 함수일 수 있다. 따라서, 상기 목적은 패턴을 설명하기 위하여 이 축소차원공간을 이용하는 것이다. 카르유넌-로에베(K-L) 변환, PCA의신경망, 자동관련 사상접근 및 비선형 분산-보존(NLVC)사상을 통하여, 실현 이 카테고리에 속하는 어떤 방법은 선형 주성분 분석(PCA)이다. 이들 방법은 일반적으로 더 낮은 것으로 고차원공간을 사상하는 것이다. 반대로 하는 방법도 또한 존재한다. 그 예는 C.M.Bishop,M.Svensen 및 C.K.I Williams의 논문 "GTM: 생성적 기하학 사상(GTM)"에 기술된, 생성적 기하학 사상(GTM)이다.
그러나, 상기한 두 카테고리는 전부 구별되는 것은 아니라는 점을 이해해야 한다. 집단화는 데이타의 이해를 더 돕기 위하여, 축소차원 공간에 연속적으로 이용될 수 있다. 상기 SOM접근은 축소차원 특성사상의 곁자극억제를 통하여 함께 유사패턴을 모은다. 그래서, SOM은 차원을 집단화하고 축소한다.
이미 그 선형성에 의해 한정된 선형 PCA 방법을 제외하고, 상기한 다른 방법은 저차원공간의 격자포인트를 구별하도록 고차원 데이타를 사상하거나, 또는 사상 파라미터의 초기(보통 임의)선택에 저차원 사상의 외형이 의존하거나 또는 두가지 모두를 사상한다. 데이타 포인트의 정확한 상대위치가 사상에 근접하여 남아있는 원래 데이타에 포인트를 가능한 한 가까이 하는 것이 매우 중요하지 않은 엔코딩 및 집단화와 같은 적용에 격자포인트는 일반적으로 유용하다. 예를 들면, GTM접근은 저차원의 격자포인트와 비선형 기본함수의 집합으로 시작하고, 그 기본함수는 저차원공간에 고르게 분포된 가우시안(Gaussians)이 반경으로 대칭이도록 가정된다. 저차원으로부터 더 높은 차원으로의 격자포인트의 사상은 그들 기본함수의 선형웨이트된 합이라고 가정한다. 그리고, 더 높은 차원의 가능한 밀도는 더 높은 차원으로만 사상된 그들 격자포인트 상 중심에 있는 반경으로 대칭인 가우시안에 의해 형성되도록 하려고 한다. GTM에 대한 비숍(Bishop)의 연구에서, 사상을 인버트하고 더 높은 차원공간의 분포로 각 격자포인트의 응답성을 측정하는데 베이에(Bayes)의 법칙을 이용할 수 있다. 최적화에 의해, 공지된 더 높은 차원의 데이타포인트의 분포, 사상의 웨이트 파라미터 및 얻어진 밀도분포를 형성하는 가우시안의 폭 파라미터의 반복적 기능과정이 이루어진다. 시각적 데이타 포인트의 저차원 사상을 기능의 수렴상의 응답성 정보에 의해 발생시킨다. 사상함수가 매끄럽고 연속적이라면, 저차원의 인접포인트는 고차원의 인접포인트로 사상될 것이다. 그러나, 격자포인트 상에 가우시안의 고차원 응답성의 주어진 데이타 포인트에 있어, 사상함수에 의해 생긴 매니폴드(manifold)의 형상으로 인해 다모드일 수 있기 때문에, 그 반대는 반드시 필요한 것은 아니다. 하나 이상의 인접 격자포인트의 응답성이 있는 대신에, 데이타 포인트는 저차원 사상 위에 다소의 거리가 있는 격자포인트의 응답성이 있을수 있다. 그러한 사상이 어떤 분류화 또는 유사목적에 여전히 유용할 수 있을지라도, 그러한 사상 위에 격자포인트 사이에 보간을 행하기가 어렵기 때문에, 최적화에 대한 이 종류의 사상을 이용하는 것을 인식할 수 없을 것이다. SOM에 의해 얻어지는 것들과 같은 다른 격자포인트 사상은, 또한 격자포인트 사이에 보간을 할 때 곤란함이 있는 동일 타입을 가진다.
자동관련 사상 또는 NLVC와 같은 비선형 PCA 타입 사상이 보간의 곤란을 가지지 않을 지라도, 저차원 사상의 외형은 일반적으로 초기 파라미터의 선택에 의존한다. 이 의존성을 실시예를 통하여 NLVC를 이용하여 하기에 설명한다. 데이타포인트의 좋은 분포를 가진 사상을 얻기 위하여, 시도의 수는 만족할 만한 해를 얻을수 있을 때까지 필요할 수 있다.
본 발명의 제2 국면에 의하면, 다른 문제 뿐만 아니라 상기 축소의 복잡성 문제가 어드레스 된다. 이에 관하여, 등화된 직교 사상(equalized orthogonal mapping, EOM)이라는 접근을 하기에 설명한다. 이 접근은 제2 카테고리에 속하고, 보간 가능성에 대한 개념과 마음 속에 초기 파라미터에 의존하는 축소로 전개된다.
EOM 접근은 역전파 기능과정을 통하여 실시할 수 있다. 이 과정에 있어 상세한 식을 유도하고 하기에 설명한다. 축소차원을 구할 때 EOM을 이용하는 실시예와 SOM 및 NLVC접근과의 비교를 또한 하기에 설명한다. 또한, 결과는 두 상황으로 주어진다. 하나의 경우에서, 입력데이타는 5차원이자만, 실제로 성질은 2-D이다. 다른 경우에서, 사상은 가솔린혼합 데이타체에 적용되고, 최적화룰 위한 결과적 사상의 잠재적 이용이 실험된다.
본 발명의 다음 설명이 축소차원 표현이 2-D인 경우의 사상에 정해져서, 상기 표현이 쉽게 시각화되는 동안, 본 발명은 다른 차원에도 잘 맞는다.
본 발명에 따라서, 다차원패턴 데이타를 신경망을 포함하는 차원적 표현으로 조직화하는 시스템을 제공한다. 신경망은 신경노드의 층으로 이루어진다. 이들 층은 입력층과 출력층 및 그 사이에 배치한 하나 이사의 은폐층을 포함한다. 상기 출력층은 공통 내부망 표현을 공유하는 제1 및 제2 비선형 노드로 이루어진다. 다차원패턴데이타는 신경망의 입력층 내에 수신된다. 상기 시스템은 신경망의 출력층에서 출력신호를 발생하고, 출력신호는 수신된 다차원패턴과 대응한다.
본 발명의 다른 국면에 따라서, 다차원 패턴 데이타를 2차원표현으로 조직화하는데 신경망의 웨이트의 관리기능을 완성하는 시스템을 더 구비하도록 제공된다.
본 발명의 다른 국면에 따라서, 다차원 패턴 데이타를 2차원 표현으로 조직화하는 방법을 제공하며, 그 방법은 다차원 데이타를 신경망 내에 수신하는 단계, 역전파에 의해 연관되었던 신경망을 통하여, 출력신호를 출력하는 단계를 포함한다. 출력신호는 공통 내부망 표현을 공유하는 제1 및 제2 비선형노드로 이루어지는 출력층에 의해 발생한다.
종속발명의 방법의 더 한정된 면에 따라서, 상기를 수행하도록 신경망의 연관을 완성하는 단계를 제공한다.
본 발명의 또 다른 국면에 따라서, 다차원 패턴 데이타의 차원축소 사상으로의 새로운 접근을 제공한다. 이 접근은 비선형 신경을 가진 종래의 단일-은폐층 전방공급 신경망을 통하여 사상을 적용하지만, 대각선 매트릭스 또는 일정배의 항등매트릭스의 형태로 출력의 공분산 매트릭스를 축소함으로써 기능평가에 이용된 종래의 망에 출력이 있는 것을 명세서화한 것보다 더 저차원출력을 등화하고 직교화하는 다른 목적함수이다. 분산되는 정보는 이 사상에 이용되지 않기 때문에, 그것은 기본적으로 비관리된 기능과정이다. 그러한 사상의 상세한 역전파 기능과정을 하기에 설명한다.
본 발명의 다른 국면에 따라서, 다차원 데이타의 큰 집단을 상대적으로 "기하학적으로 교정한" 저차원 어림으로 시각화 하는 방법을 제공하여, 유사목적의 다른 방법과 관련되 무질서를 줄이고 동시에 계산상으로 효과적인 사상을 계속한다. 의미있는 2-D사상을 구하여, 자기조직화 사상(SOM) 및 비선형 분산-보존(NLVC) 사상 접근과 비교하는 이러한 접근을 이용하는 실시예를 하기에 설명한다.
본 발명의 장점은 패턴 데이타의 2차원 표현의 자동적인 창출을 할 수 있게 하는 신경망을 공급한다는 것이다.
본 발명의 다른 장점은 특징은 인간이 볼 수 있게 하고 특성을 카탈로그화하도록 분명한 경향의 패턴 데이타 내에 배치된 관련 특성을 고립시키는 패턴 데이타의 2차원 표현의 창출이다.
본 발명의 또 다른 장점은 종래의 하드웨어를 처리하면서 실시한 계산을 할수 있도록 효과적으로 패턴데이타를 조직화하는 신경망을 제공하는 것이다.
본 발명의 또 다른 장점은 분산을 제어함으로써 패턴데이타의 차원을 축소하는 시스템을 제공하는 것이다.
본 발명의 또 다른 장점은 대각선 매트릭스, 또는 일정배수 항등매트릭스의 형태로, 출력의 공분산 매트릭스를 축소함으로써 패턴데이타의 차원을 축소하는 시스템을 제공하는 것이다.
또한, 본 발명의 장점과 이점은 다음의 상세한 설명을 읽고 이해하면서 통상의 기술지식을 가진 사람들에게 명확해 질 것이다.
본 발명은 하기 명세서에 상세히 설명하고, 그 일부분인 첨부도면에 나타내는 바람직한 실시예와 방법을, 특정 부분 및 그 부분의 배열로 물리식화 했다.
본 발명을 한정하기 위한 것이 아니며, 단지 본 발명의 바람직한 실시예를나타내기 위한 도면을 참조하면, 도 1에서, 자동-관련 접근을 (a)에 나타내고, (b)에는 바람직한 실시예로서 제공되는 바와 같이 차원 축소로 비선형 분산-보존 사상을 나타낸다. 상기 두 도면을 독립적으로 기술하고자 한다. 초기 시도의 접근(a)과 종속하는, 바람직한 실시예의 구조 사이에 구조상 장점과 특징에 대하여 설명이 나란히 있다.
(a)부분에서, 신경망(10)은 입력층(12)과 출력층(14)을 가진다. (a)부분의 설명에 있어서, 상기 입력층(12)은 각각 관련된 입력이 있는 5 노드(20,22,24,26)로 이루어져 있다. 상기 출력층(14)은 또한 5 노드(30,32,34,36,38)로 이루어진 것으로 나타내어져 있다. 입력층(12)과 출력층(14)의 가각에 나타낸 노드의 수는 5개로 한정되지 않는다. 이들 층에는 임의의 복수개가 선택될 수 있다. 특정수의 노드는 매우 구체적 적용이다. 신경망(10) 내에 배치된 임의의 내부층(40)은 두 내부노드(42,44)에 부족하다. 상기 설명으로부터, 도시된 층(40)에 의해 제공되는 모든 패턴데이타의 퓨널 또는 넥킹이 있는 것을 따라서 이해할 수 있을 것이다.
바람직한 실시예의 (b)부분 바로 옆으로 돌면, 신경망(100)은 입력층(102)을 포함한다. 단지 도시할 목적으로, 입력층(102)은 5 입력 신경(110,112,114,116,118)으로서 형성된 복수의 입력으로 이루어져 있음을 주목한다. 신경망(100)의 공개된 구조는 (a)부분에 의해 제공된 내부영역(40)과 유사한 내부영역을 포함하지 않는다.
(b)의 구조는 제1 및 제2 신경(132,134)으로 이루어진 출력층(130)을 제공한다. 두 신경은 바람직한 실시패턴의 예를 통하여 출력층(30)에서 선택된다. 이 선택은 두 2-차원 실현과 패턴데이타의 시각화를 허용한다. 하기로부터 바람직한 실시패턴의 출력층은 공통 내부 망 표현을 공유하는 비선형으로 전체적으로 이루어짐을 이해할 것이다. (a)의 표현과 같이, 입력층(102)을 형성하는 많은 노드는 특별히 응용과 하드웨어 선택에 따라 선택됨을 알 수 있다.
다음에, 5에서 2로의 차원축소는 도시할 목적으로 고려된다. 자동-관련 접근에 있어서, 도 1(a)에 나타낸 바와 같은 네트가 이용되고, 연관되어 네트는 동일 작동자로서 이용된다. 네트의 출력벡터는 항상 입력패턴 벡터와 거의 같게 된다. 데이타의 본질적 차원성이 이때 2-D이상이라면, 네트는 동일 작동기와 상당히 다르게 될 것이다. 상기 네트는 때때로 자기관리 방식으로 불리는 것으로 조정된다.
상기 본 새로운 접근에 이용되는 상기 네트는 덜 복잡하다. 본 목적은 5 대신에 2-D 표현으로 가능한 많은 데이타 정보를 보존하는 것이다. 2-D 표현을 계산하는 상기 네트는 도 1(b)에 간단히 나타내어, 2-D표현의 분산이 5-D표현의 분산과 거의 같은 표준에 따라 조정된다. 이 접근에 있어서, 출력노드는 비선형이고 이들 출력노드는 공통 내부 망 표현을 공유한다.
데이타패턴 벡터의 집합을 {XP}, P=1,2,...,P라 하고, 여기서, P는 양의정수로 정의되고, 데이타패턴 벡터의 집합은,
(식 1)
로 구한 총분산을 가진다.
여기서, 기본적으로, 차원 S=5이다.
< >표기는 각 표시된 성분에 대해 상기 입력 데이타패턴의 집합을 넘겨받는 평균 또는 중간값을 의미하고(즉, <xi는 데이타패턴 벡터의 집합에 대해 구한 xip의 중간값을 의미한다), xip는 xp의 i번째 성분, 데이타 패턴 벡터 집합의 p번째 항이다.
총분산의 "크기(measure)"는 총분산의 선형 또는 비선형함수임을 인지해야만 한다.
동일 데이타패턴 벡터의 집합에 대하여, 축소 차원 표현으로 계산된 분산이 가능한 한 V와 가깝게 되도록, 도 1b에 나타낸 망은 이제 조절된다.
조절하는 역전파 알고리즘을 이용하여, 출력노드에 대해 점진적으로 변하는 표현은 평소와 같다:
(식 2)
여기서, 모든 기호는 일반적인 종래 의미를 가진다. 이 점에서, Opj는 p번째 데이타 패턴으로 인해 출력층에 앞선 층의 j번째 노드로부터의 출력신호이고, η는 진폭을 피하고 효과적인 수렴을 제공하도록 선택된 일정한 적당값이며, δpk는 p번째 입력데이타 패턴에 대해 출력층의 k번째 노드의 출력에 의해 오차부여에 비례하는 값이다(즉, 분산도의 측정).
본 경우와 중성-망 계산의 표준 관리 러닝 태스크 사이의 차는, 이 경우(즉,시그모니달)
(식 3)
에 의해 구해지는 δpk에 대한 식으로 된다.
식 (3)에서, V는 상기 조절하는 입력 데이타패턴의 집합에 대해 계산된 분산이고, 사각형 브라켓 내에 이중합은 출력, 축소차원, 동일 데이타의 표현에 대한 분산을 얻는다. 기능과정의 효과는 상기 원래 분산과 축소차원 분산 사이의 차이를 가능한 한 많이 최소하는 동안 델타값을 줄이고자 하는 것이다.
도 1의 표현으로부터, 감춰진 노드가 망(100)의 영역(150)에 나타남을 상기할 것이다. 상기한 바와 같이, 감춰진 층 노드에 있어서, 그들 노드에 있어서 중량을 점진적으로 향상하는 표현은:
(식 4A)
또는,
(식 4B),
여기서, Opi는 입력 데이타 패턴의 j번째 층 이전에 i번째 노드의 층의 입력신호이다.
"감춰진 층"은 함수적 링크, 반경 기초 함수 구조물과 같은 비선형 함수의변형일 수 있음을 인지해야만 한다.
상기 데이타 패턴은 패턴공간의 벡터로 간주될 수 있고, 그들 성분은 그들을 기술하는데 이용된 좌표 시스템, 또는 동일하게, 그 공간을 확장하는데 이용된 기본벡터에 따라서 값이 변화하였다.
데이타 공분산 매트릭스의 자취는 패턴 공간에 걸치는 기본벡터의 선형변형에 대하여 일정하다. 상기 접근은 변형이 비선형을 허용하지만 그럼에도 불구하고 총분산은 유지하려고 한다.
식 (3) 및 (4A,4B)로 기술된 기능과정에서 다소의 간소화가 이루어질 수 있다. 관심이 다양한 패턴의 상대적 위치에 있기 때문에, 원래 최고차원 표현의 각 특징의 평균값은 중요하지 않다. 이들 값은 식 (3)에서 0 으로 설정될 수 있다. 이것은 하나의 강체로서 패턴 벡터 전체 분포의 구체추이가 되고, 상대적 위치정보를 잃지 않는다.
유사하게, 식 (3)에서, 패턴벡터의 축소차원 분포가 제로 평균의 하나가 될 때에 앞서 결정되는 것이 적합하다. 이로인해 기능과정으로서 변경하는 평균을 계산하는 다소 성가신 단계가 제거된다. 기능의 상태로서 상기 평균을 설정하는 것은 상대분포의 구체추이를 발휘하게 된다.
분산 제약은 실지로 신호강도 제약이 되는 것과 같이, 식 (3)은 계속 사용된다. 가능한 한 제로에 가깝게 축소차원 공간에 각 특징값을 만들고자 하는 것과 그럼에도 총 신호강도, 또는 동일하게, (제로 평균)분산을 유지하면서, 같은 방식으로 모든 패턴 벡터를 사상할 집합의 단일 웨이트연관으로 이루어진다.
또한, 이론적 연구는 아직 진행중이지만, 본 실시예는 이론에 의해서 보다 오히려 결과에 의해 더 유도되고 정당화되는 것으로 여겨져야만 한다. 몇몇의 대표적인 결과를 다음과 다음 논의의 연이은 단락에서 나타낸다.
축소차원 자기조직화로의 세가지 다른 접근 결과를 이번 단락에서 3-D 데이타의 2-D 축소에 대해 나타낸다. 물론, 상기 데이타가 내재적으로 3-D라면, 이것은 추구하기에 생소한 작업이다. 다른 한편, 상기 내재적 차원은 일반적으로 대부분의 경우에 알려지지 않고, 이 단순하고 잘 제어된 연관은, 무엇이 발생하는지, 새로운 표현의 차원성이 내재적 차원성보다 언제 더 적어지는 가에 관하여 약간의 통찰을 제공할 수 있다.
3차원 나선형을 따라 있는 포인트를 "자기조직화" 2-D표현으로 나타내면, 그 표현은 어떤 모양을 할 것인가? 즉, 어떤 정보가 버려지고, 무엇이 보존되는가?
3차원 나선형을 따라 있는 데이타포인트는 도 2에 나타낸다. 자동-관련 사상으로 얻은 상기 데이타의 2-D 자기조직화 K-L 묘사는 도 3에 나타내고, 다음의 접근으로 얻은 2-D 표현은 도 5에 나타낸다.
최소한 이 구체적인 경우에 있어서, 다음 본 비선형 분산 보존(NLVC) 방법으로 얻은 축소-차원 표현은 자동관련 방법으로 얻은 축소-차원 표현보다 보다 덜 불명확하다.
본 작업은 내-패턴 차이에 관하여 가능한 한 많은 정보를 보존하면서 차원-축소를 제공한다. 상기 K-L, 자동관련 및 비선형 분산보존 방법의 장점과 단점은 다음과 같다.
(K-L 변환방법)
장점 - 잘 이해되는 이론적 기초.
단점 - 공분산 매트릭스의 긴 계산; 차원축소가 클 때 선형제약은 정보손실을 가져온다.
(자동관련 방법)
장점 - 개념적으로 확실한 이론적 기초;원한다면 비선형.
단점 - 긴 연관시간, 연관이 과도하기 쉬워서 실수의 사상을 만든다.
(비선형 분산-제약 방법)
장점 - 비뚤어짐 없이 개념적으로 명확하고, 계산적으로 매우 효과적이고, 의미있는 차원축소.
단점 - 추가의 이론적 연구는 접근을 일반화하고, 사상이 "기하학적으로" 바르다는 의미를 나타내는데 도움이 될 것이다;계산적인 결과 모두는 순서가 다소 비시도방법으로 유지됨을 제안하지만, 이 점에서 상기보다 더 정확하기는 어렵다.
의미 그대로, 다양한 연구가 그들의 밀집 또는 분류과정의 효율을 부과하는데 이용되는 가솔린혼합 데이타의 입체가 있다. 그러한 데이타의 예는 도 11에 나타내고, 각 가솔린혼합을 5 요소의 총합과, 또한, 옥탄가 조사(Research Octane Number)에 의해 설명한다. 상기 5-차원 데이타의 입체는 본 NLVC를 이용하여 2-차원 공간상에 사상되었다. 최종 데이타 입체는 이제 용이하게 나타내어지고, 도 6에 나타내는 바와 같이 2차원으로 보여지며, 데이타가 의미하는 것을 이해하는데 적지않은 것을 얻는다.
도 6의 선의 작도에 의해 나타내는 바와 같이, 그러한 플롯은 분류규칙 공식화 장치 뿐만 아니라 메모리로서 역할을 적합하게 할 것이며, 그 선은 저옥탄선으로부터 고옥탄혼합을 분리하는 선이다. 또한, 그러한 플롯에서, 3개의 상기 혼합은 제안된 "규칙"에 적합함이 쉽게 인식된다. 규칙의 유사한 위반이 K-L과 자동-관련 방법으로 얻은 사상에서 관찰되었다는 것이 흥미롭다.
원래 5차원 공간의 변화시키는 2차원공간의 포인트 위치의 민감도를 쉽게 탐색할 수 있고, 그 다소의 표시가 도 7에 묘사되어 있다. 그러한 정보는 다른 향상된 혼합을 다른 다양한 혼합영역에 공식화될 수 있다.
본 NLVC 차원-축소 시스템은 또한 복잡한 시간 의존 센서 출력프로파일을 2차원 공간으로 사상하는데 이용하면 적합하다. 또한, 프로파일 본성의 변화를 축소차원 공간에 그 점의 운동으로서 검색할 수 있다.
어떤 산업 설치에 있어서, 공정의 상태는 센서에 의해 모니터되었고, 작동이 "장애(fault)"상태인지 또는 그에 가까운지에 관하여 시간-의존 센서 출력 프로파일을 정보를 제공하는데 이용할 수 있다. 이 연구에서, 표 2에 나타낸 목록과 같이, 하나의 센서로부터의 프로파일은 각 5 특징의 패턴으로 축소되었다. 통역모드를 연관하는 하나와 통역체계의 유용성을 테스트하는 다른 하나인 상기 두 데이타체를 준비하였다.
NLVC 사상을 이용하면, 각각의 프로파일 패턴은 2-D 포인트로 축소되고, 세트 프로파일 연관의 전 세트를 도 8에 나타내는 바와 같이, 단일 2-D플롯에 나타낼 수 있다.
센서 출력 프로파일을 나타내는 상기 포인트가 "장애"상태와 관련되는지, 또는 "무장애(non-fault)"상태와 관련되는지를, 소위 "연관" 동작은 2차원 공간의 알려진 각 포인트가 어떠한지를 나타내게 된다.
프로파일이 실지로 "장애" 또는 "무장애" 상태를 나타내는, 처리된 데이타에 대해서 증명한다. 도 8의 플롯에서, 프로파일의 2형태를 나타내는 포인트는 사실 선형적이지는 않지만 완전히 분리된다. 그러한 환경이 주어지면, "장애" 또는 "무장애"로서 새로운 프로파일을 분류하는 규칙을 용이하게 공식화할 수 있다. 도 9에 나타낸 바와 같이, 그러한 규칙을 테스트 프로파일의 세트에서 포인트로 잘 확인하였다.
4 대표적인 크리스탈구조 파라미터의 값을 다수의 반도체 물질에 대해 표 3에 목록으로 나타낸다(도 13). 모든 목록은 그러한 물질의 전기대역(electronic band)에 "대역-갭(band-gap)"의 값이다.
4-특성 크리스탈구조 패턴의 NLVC 사상은 도 9에 나타낸 사상을 산출했다. 저대역-갭 물질은 사상의 상부 왼쪽부분을 향하여 놓일 것이며, 그 분포의 연구는 크리스탈 구조의 연관이 저대역-갭과 관련되는 것에 관하여 다소의 힌트를 줄 수 있다.
2차원 디스플레이를 특히 쉽게 이해하면서, 상기 종속 시스템을 그 2차원 디스플레이 상에 특별히 강조하여 개시한다. 3차원 디스플레이는 인간과 아주 잘 조화된다. 그러나, 모든 그 이상의 차원 디스플레이는 시각화와 "이해"에 분명치 않다.
이 새로운 방법은 계산상으로 매우 유용하다. 실험적 결과는 다소 강력하고 매력있는 방법에 있어 "기하학적으로 바르다"는 것을 나타낸다.
상기 종속시스템은 축소차원 공간으로 비선형 사상을 실행하면서, 모든 원래 분산을 보존하고자 한다. 상기 방법에서 얻은 사상은 다양한 임무에 대해 사용하기 적합하고, 시각적 관련메모리로서 이용될 수 있으며, 관련 방법에서 물체와 물체 전개의 시간역사의 유사 표현을 저장하가에 적합해서, 메모리 영역 내에 새로운 물체의 사상은 다른 문제 하나를 떠올리게 하는 것에 관하여 힌트를 줄 것이다.
분산을 기초한 접근에 있어서, 많은 데이타의 분산이 유지되고, 새로운 표현의 데이타 패턴 벡터의 성분이 가능한 한 많이 서로 무관한, 데이타의 축소-차원 사상을 구하는 것이 목적이다.
흥미로운 방법에서, 이 접근은 특징사상 방법의 접근과 유사한 결과를 산출한다. 유사 조사 옥탄비율을 가지는 패턴이 2-D 축소 차원사상의 연속하는 영역 내에 자동적으로 사상된다. 클러스터(cluster)의 개념은 없다. 대신에 오히려 일반적 카테고리 동일화 규칙을 용이하게 공식화할 수 있다. 그러나, 축소차원 사상은 향상된 혼합의 공식을 향하여 안내해 준다.
"무장애"를 나타내는 패턴과 구별되어, 장애상태를 나타내는 패턴이 2-D사상의 자기조직화된 영역에 확실히 위치하는 것을, 복잡한 센서 데이타에 상기 방법의 적용은 다시 한번 나타낸다.
상기 경우에 있어서, 카테고리 또는 특성값은 패턴 묘사와 강하게 관련되어 있음이 분명하다. 축소차원 사상은, 단지 환경이 더 명백할 수록 더 쉽게 시각화된다는 것을 이루게 한다. 그러나 다른 경우에 있어서, 이와 같은 접근이 빈약한 데이타체에 적용되었고, 그 빈약한 데이타체로서는 많은 예를 가지고 있지 않을 뿐만 아니라 다수 특징값을 손실하여 사실상 특징의 작은 부분집합은 이 연관에 이용할 수 있다는 의미이다. 데이타는 반도체를 위한 크리스탈 구조 파라미터체에 대한 것이고, 크리스탈구조 "공간"의 특정 영역이 저대역갭과 관련되는지를 보는 것에 관심이 있다. 축소 2-D 사상은 영역이 다른 탐구에 대해 충분할 것인가에 관하여 힌트를 주었다.
본 발명의 제2 측면인 등화된 직교 사상(EOM)은 도 14 - 도 22를 참조하여 다음에 설명할 것이다. 상기 EOM의 목적은 이 데이타 패턴 사이에 내부패턴 관계를 발견하고 나타내는 것이며, 사상은 가능한 한 많은 데이타의 기하를 보존한다. 이것은 기능과정 동안 출력의 공분산 매트릭스의 요소값 제약을 통하여 성취한다. 연관의 후부에, 출력의 공분산 매트릭스는 일정시간 항등매트릭스의 패턴로 축소된다. 이것은 축소차원은 등등하게 중요하고 서로 직교하다는 것을 보장한다.
도 14에 나타낸 바와 같이, 한 숨은층을 가지는 종래의 3층 피드퍼워드(feedforward) 망(N)로 EOM접근을 달성할 수 있다. 망 N은 입력층, 숨은층 및 출력층을 포함하는 등화된 직교사상을 위한 망 구조를 나타낸다. 노드사이의 선은 인접층의 노드 사이에 "연결(links)"을 나타낸다. 주지한 바와 같이, 기능연결은 반경기초 조성물에 실행될 정도로, "숨은층"은 비선형 기능적 변환층일 수 있다.
망(N)을 역전파를 이용하여 연관한다. 시작에 있어서, 망의 웨이트는 구간[-W,W]에 임의로 발생된다. 이들 웨이트는 연관과정을 통하여 반복하여 조정된다.
S차원의 입력 데이타패턴 벡터의 집합을 {xp}, p=1,2,...,P로 한다. 이들 데이타 패턴벡터의 모든 차원의 평균분산은:
(식 5)
로 구한다.
여기서, "<>"는 각 나타낸 성분에 대해 모든 입력 데이타 패턴벡터를 이어받은 평균(average 또는 mean)을 나타내고(즉, <xi는 데이타 패턴벡터 세트 이상 평가된 의 평균값을 나타낸다), xip은 xp의 i번째 성분, 데이타 패턴벡터 집합의 p번째 항이다.
논의의 일반성을 유지하기 위하여, 축소차원 표현에 K차원이 있다고 가정한다. 그래서, 출력의 공분산 매트릭스는 K×K매트릭스이다. 출력(출력신호)의 공분산 매트릭스의 각 요소는:
(식 6)
여기서:
p=1,2,....,P;
Ok1p는 p번째 입력 데이타 패턴벡터에 대해 출력층의 k1번째 노드의 출력신호이다;
Ok2p는 p번째 입력 데이타 패턴벡터에 대해 출력층의 k2번째 노드의 출력신호이다;
<Ok1은 입력 데이타 패턴벡터 세트 이상으로 평가된 Ok1p의 평균이다.
<Ok2는 입력 데이타 패턴벡터 세트 이상으로 평가된 Ok2p의 평균이다.
k1=1에서 K;
k2=1에서 K;
K는 축소차원 표현의 차원수이고;
< >는 각 나타낸 성분에 있어 상기 입력데이타 패턴벡터 집합에 대해 구한 평균을 나타낸다.
공분산 매트릭스의 균형으로 인해, 매트릭스의 상부삼각형의 항만이 고려될 필요가 있다. 상기 목적은;
(식 7)
에 의해 구한 오차 E를 최소화하는 것이다.
여기서, Ek1K2는 요소가 주대각선(main diagonal)에 있는지 없는지에 따라 다음에 의해 구해진다.
(식 8)
rkk는 기능속도를 증가하는 효과를 가지는 양수이고, rk1k2는 기능속도를 증가하는 효과를 가지는 양수임을 인식해야만 한다. 또한, 상기 오차함수를 최소화함으로써, 출력의 공분산 매트릭스는 일정배(constant times) 대각매트릭스의 요구되는 형태로 될 것이며, 일정배수 항등매트릭스는 실제 옵션임을 인식해야만 한다.
상수 Vout,kk는 평균입력 분산 Vin비례하는 것을 목표로 한다. 식 (8)의 상수 r은 보통 1(unity) 보다 더 적은 완화인자(relaxtion factor)이다. 각 차원의 출력분산을 줄임으로써 연관을 더 가속화하게 된다. 2차항으로부터의 정보로 거의 이루어지는 분산은 또한 시스템의 에너지와 공통점이 있으며, 각 차원에 있어서 에너지 필요량을 완화하는데 따른 분산을 축소한다. 요구되는 오차허용도을 달성하는 망에 있어 반복회수를 이것으로 줄인다. 입력분산에 비례하는 각 출력차원의 분산을만드는 것에 의해서, 분산 또한 데이타의 내부패턴 관계를 포착하기 때문에, 이 방법은 가능한 한 많은 상대위치 정보를 보존하려고 한다. 이 분모는 표준화 목적에 있어 유도되어 특정된 오차목표는 입력분산의 값과 무관할 것이다.
반복하여 웨이트를 업데이트하는 표현을 그 표현에 관하여 오차 E의 미분을 시행함으로써 구할 수 있다. k번째와 j번째층 사이에 웨이트에 있어서, 숨은(j번째)층 및 출력(k번째)층 모두에 있어 S자형 신경을 이용하여,
(식 9)
에 의해 구한다.
여기서, Δwkj,1은 대각선 항으로부터의 기여이고, Δwkj,2는 k번째행의 오프-대각선항으로부터의 기여이며, Δwkj,3은 k번째 열에서 오프-대각선 항으로부터의 기여이다. 세항의 표현은 다음과 같다.:
(식 10)
(식 11)
(식 12)
여기서, δkp는 p번째 입력데이타 패턴벡터에 있어서 k번째 노드의 출력에 의해 오차 E로의 기여에 비례하는 값이고, δkp,1, δkp,2및 δkp,3는 δkp의 성분이다. δkp,1, δkp,2및 δkp,3(S자형 함수)는:
(식 13)
(식 14)
(식 15)
에 의해 구하며, 여기서, Okp는 p번째 입력데이타 패턴벡터에 있어서 출력측의 k번째 노드로부터의 출력신호이고, <Okp는 상기 입력데이타의 집합에 대해 평가된 Okp의 평균이며, p번째 입력데이타 패턴벡터에 있어서 출력층에 연이은 층에서 출력신호 형태 i번째 노드이다.
표시를 간단히 하기 위하여, (13),(14) 및 (15)를 연관하고,
(식 16)
으로 나타낸다.
이 때, 식 (7)을 더 친숙한 일반화된 델타 규칙형태로 쓸 수 있다.
(식 17)
또한, j번째 및 i번째층 사이의 중량으로 오차의 뒤전파(backpropagation)는 종래의 망에서와 동일하게 되고, 표현은:
(식 18)
여기서, δjp는:
에 의해 구해진다.
EOM 접근은 NLVC 사상접근에서 전개된다. NLVC사상에서, 기능의 목적은 데이타패턴 표현의 총분산을 보존하는 것이다. 즉, 망의 웨이트는 출력의 총분산과 입력의 총분산 사이의 차이가 특정 상기한 제한 내에 있을 정도로 된다. 즉, NLVC의오차함수는 간단히:
(식 20)
이다. 여기서, Vout은:
(식 21)
에 의해 구하고, Vin은 식 (5)와 동일하다. 정확한 동일 네트 구조, 역전파 연관 알고리즘을 이용하여, 파라니터 δkp는:
(식 22)
로 구한다.
망 웨이트를 반복하여 업데이트하는 공식은 식 (17)~(19)와 같은 식이다.
NLVC접근은 계산상으로 매우 효과적이고, 결과적인 축소-차원 사상은 분류화, 카테고리화, 모니터링, 최적화와 같은 적용에 유용함을 나타내었다.
NLVC접근의 고효율에 있어 한가지 이유는 분산보존 제약이 오히려 느슨하다는 것이다. 사실상, 식 (22)에서 얻은 상기 제약은 식 (13) 하나만에서 제약보다 더 약하다. 그러나, 또한 이것은 부가 효과가 있다. 다른 임의의 수 시드(seed)를 통하여 망에 있어 다른 일련의 임의로 발생하는 초기 웨이트가 주어진다면, 동일입력에 있어 결과적인 사상은 상당히 다르게 되고, 사상에서의 포인트 분포는 축소차원 사이에 강한 상호작용으로 고르지 못하다. 포인트의 분포가 고르지 못한 사상으로부터 고른 어떤 성상정보를 얻는 것이 여전히 가능할지라도, 포인트의 좋은 분포를 가지는 사상을 얻도록 다소의 시도를 하는 것이 필요하다.
축소차원 사이에 상관관계를 줄이는 좋은 방법은 사상을 기능하는 동안 망의 출력을 직교화하는 것이다. 이 목표를 달성하기 위하여, 시작하는 원점은 망의 출력의 공분산의 요소값을 제약하게 된다. 모든 오프-대각선 엔트리가 사라진다면, 상기 출력은 서로 직교한다. 모든 오프-대각선 항이 제로로 축소됨으로서, 값을 같게하도록 공분산 매트릭스의 주대각선 상의 모든 요소를 설정함으로써 동일하게 모든 축소차원은 우세하게 되기 쉽다. 이것은 공분산 매트릭스이 각 축소차원의 같은 고유값과 분산을 가지도록 하여 같아지게 된다. 사상하는 동안 기하정보를 가능한 한 많이 보존하기 위하여, 주대각선의 각 요소는 완화성분을 통하여 모든 입력차원에 있어서 입력분산의 평균에 관계된 값으로 할당될 수 있다. 이것은 EOM접근이 하는 것과 동일하다.
NLVC접근와 비교하여, 다음 현재 접근은 기능과정에 더 강한 제약을 두게 된다. 그럼에도 효율성의 희생은 오히려 작다. 예를 들면, 축소차원이 2-D, 즉 시각적 표시에 매우 유용한 K=2일 때, 출력의 공분산 매트릭스는 2×2매트릭스이고, 두 접근에 의해 계산되어야만 하는 2 대각선 항과 비교하여 계산될 필요가 있는 오프-대각선 항이 하나만 있다. 연관의 각 반복에 있어서, NLVC를 이용하는 때와 비교하여 EOM을 이용하여 Δwkj의 계산에서 거의 총50% 이끌어낸다. ΔwjI에 대한 계산은 두 접근에 있어서 동일하다.
SOM 및 NLVC의 접근과 비교하여 EOM을 이용하는 실시예를 도 15~22를 참조하여 다음에 설명한다. EOM 및 NLVC에 있어서, S자형 신경을 두 숨은층 및 출력층에 이용하였다. 결과적인 사상을 시각화하기 위하여, 출력신경의 수를 2로 선택하였다. 리얼다차원 데이타에 있어서, 고유차원은 임의의 물리량에 맞지 않을 수 있고, 데이타의 상대위치만이 관심거리이기 때문에, 두 축소차원의 절대크기는 중요하지 않다. 따라서, 상기 출력은 512×512화소의 이미지에 선형적으로 사상되었고, 두 축에 대하여 레이블되지 않는다.
2 고유차원을 가지는 다음 단일 5-D함수는, 이론적 해가
(식 23)
로서 알려져 있기 때문에, 제1 테스트로서 이용된다.
식 (23)에서, 5변수는 모두 독립적이지는 않고, 다음 방법으로 관련된다.
여기서, t1및 t2는 함수의 2고유 차원을 나타내고 구간[0,1] 내에 있다. 100 데이타 패턴은 주어진 범위에서 랜덤하게 발생하였고, 거친 데이타 세트로서 기능하였다.
t1과 2축으로서 t2를 이용하여, 분석학적으로 발생한 2-D사상을 도 15에 나타낸다. 각 레이블 사각형 내부에 나타낸 그래이(gray) 레벨은 대응하는 한 쌍의 (t1,t2)의 z값을 반영한다. 이들 데이타포인트의 z값의 범위는 흰색은 최소, 검은색은 최대를 나타내는 256 그래이 레벨로 선형적으로 사상된다.
도 16-도 18은 SOM, NLVC 접근 및 EOM 접근의 사상의 결과를 나타낸다. 4사상은 동일 4 임의수 시드(seeds)로 구한다. SOM에 있어서, 20×20 격자를 이용하였고, 가우시안 함수를 이웃(곁자극)함수로서 이용하였다. 사상이 기능하는 동안, 기능률(learning-rate) 인자 α(t)는 0.9에서 0까지 선형적으로 줄어들고, 인접 영공간 σ(t)의 폭은 사상의 측면 길이의 1/2에서 격자포인트 사이의 1유닛 길이까지 선형적으로 줄어든다.
NLVC 및 EOM에 있어서, 은폐신경의 수는 15이다. 초기 망 웨이트 파라미터는 이들 두 방법에 대해 동일하다. EOM사상에 대해, 완화요소 r은 0.1로 선택된다.
도 16a, 16b, 16c 및 16d는 SOM에 의해 구한 식 (23)에 나타낸 함수에 대해 축소된 사상을 나타낸다. 여기서, 각각 시드=7; 시드=8, 시드=4; 및 시드=3이다. "시드"는 초기 기준벡터를 생성하는데 사용되는 파라미터임을 이해해야만 한다.
도 17a, 17b,17c 및 17d는 NLVC에 의해 구한 식 (23)에 나타낸 함수에 대해 축소된 사상을 나타낸다. 여기서, 각각 시드=7; 시드=8, 시드=4; 및 시드=3이다. "시드"는 초기 기준벡터를 생성하는데 사용되는 파라미터임을 이해해야만 한다.
도 18a, 18b, 18c 및 18d는 EOM에 의해 구한 식 (23)에 나타낸 함수에 대해축소된 사상을 나타낸다. 여기서, 각각 시드=7; 시드=8, 시드=4; 및 시드=3이다. "시드"는 초기 기준벡터를 생성하는데 사용되는 파라미터임을 이해해야만 한다.
어두운포인트와 밝은포인트는 SOM에 의해 구한 사상에서 분리하려는 경향을 가지지만, 그들은 이론적 사상과 거의 같지 않고 서로가 닮지도 않았다. 데이타 포인트는 사상의 격자포인트 상에 제한되기 때문에, 분석학적으로 발생된 사상 상에 나타낸 바와 같이 데이타 포인트의 정밀한 상대위치 상의 정보를 잃는다. 다른 랜덤수 시드는 또한 결과의 사상이 다르게 보이게 한다. 그러나, SOM사상은 일반적으로 그 사상이 격자포인트에 제한될지라도 사상영역의 양호한 커버리지(coverage)를 준다.
NLVC접근으로 구한 4사상의 명확한 차이는 초기 웨이트의 선택과 사상의 결과 사이의 강한 의존성이 있다는 것을 나타낸다. 그러나, 각 4사상과 분석학적으로 발생된 사상 사이에서 자세히 비교해 보면, 4 사상의 명확한 차이에도 불구하고 4사상은 모두 회전, 경사 및 압축의 혼합에 의해 분석적으로 발생된 사상으로부터 변환될 수 있다. 즉, 다음과 같다. 데이타포인트 전체로서의 분포가 분석적으로 발생된 것과 비교할 때 이들 사상에 다른 정도로 떨어지는데도 불구하고, 데이타포인트의 상대위치는 그들 안에 보존될 것이다. 즉, 데이타포인트의 기하는 다소의 국부방법의 이들 사상에 보존될 것이다. 그러나, 분포의 대각선 벨트형상은 도 17b,17c 및 17d의 사상에 나타내었고, 도 17a에는 더 적은 정도로 나타내며, 두 축소차원 사이의 강한 관계를 암시한다. 결과적으로, 이들 사상은 축소차원의 전용량을 이용할 수 없다. 이들 사상이 데이타포인트의 상대위치에 의하여 기하적으로 바로잡을 지라도, 도 17d의 사상은 효과적으로 무용하고, 도 17b와 도 17c의 사상은 데이타포인트의 다소의 질적설명을 이용할 수만 있다. 도 17a의 사상만이 최적화와 같은 양적 일에 사용될 수 있는 데이타포인트의 상대적으로 양호한 분포를 나타낸다. 이들 4사상은 기하적으로 교정한 사상을 유지할 뿐만 아니라 사상의 무질서를 줄이고 축소된 차원을 완전히 이용하는 더 좋은 사상접근을 위한 필요를 설명하는 좋은 예로서 기능한다.
한편, EOM접근으로 얻은 4사상은 서로 그리고 분석학적으로 발생한 것에 주목할 만큼 유사성을 나타낸다. 회전, 경사 및 자동적으로 이미지를 맞춰진 스케일링의 차이는 별도로 하고, 모든 4 사상은 기본적으로 분석학저긍로 발생된 것과 동일하다. 이것은 다른 초기 조건을 조정할 때, EOM접근의 탄탄성을 나타낸다. 하나 상세하게 설명하면, 이들 사상의 회전각은 둘레 45도 또는 0도이다. 이론적으로 데이타 포인트의 분포는 사각형 영역을 형성하고, 이들 두 각에 있는 사각형은 두 차원 동일하게 우세하게 만들기 때문에, 이 관찰은 EOM접근이 축소차원을 완전히 이용하는 목표를 달성하는 것을 재보장한다.
계산상 효능에 대해서, 임의수 시드로서 이용되는 7의 경우는 엠프리컬(emprical) 비교를 위한 예이다. EOM의 접근은 178반복에서 수렴하는데 6초이하 걸렸다. NLVC접근은 12반복으로 수렴하는데 2초이하 걸렸고, SOM접근은 100반복에 대해 117초 걸렸다.
문자상에서의 가솔린 혼합데이타체는 도 11의 표에 주어진다. 이 데이타의 집합은 자기조직화를 두 거의 특징적인 영역에 나타내 보였다. 그 패턴은 옥탄비가100보다 더 높고, 자동관련 접근과 NLVC접근을 이용하여 2-D로 차원축소까지 100이하였다.
도 19a-19d는 도 11의 표에 나타낸 가솔린 혼합데이타에 대한 축소차원 사상을 나타낸다. 도 11의 표는 SOM에 의해 얻어지며, 각각 시드=7;시드=8;시드=4; 및 시드=3이다. 도 20a-20d는 NLVC에 의해 얻어지며, 각각 시드=7;시드=8;시드=4; 및 시드=3인 도 11의 표에 나타낸 가솔린혼합 데이타에 대한 축소차원 사상을 나타낸다. 도 21a-21d는 EOM에 의해 얻어지며, 각각 시드=7;시드=8;시드=4; 및 시드=3인 도 11의 표에 나타낸 가솔린혼합 데이타에 대한 축소차원 사상을 나타낸다. 도 22a 및 22b는 고옥탄비율의 6가솔린 혼합데이타 패턴에 기초한 축소차원 사상을 나타낸다. 도 22A는 EOM접근에 의해 구한 6패턴의 사상을 나타내고, 도 22b는 이 영역의 모델값을 나타낸다.
SOM에 대해서, 10×10 격자를 사용하였고, 선택 α(t) 및 σ(t)의 선택는 상기와 동일하다.
SOM사상은 최고의 결과를 제공하는 도 19A의 사상에 대해 어느정도로 옥탄가를 기초한 데이타 포인트의 분리를 나타낸다. 초기 파라미터에 대한 의존성은 사상이 매우 다르기 때문에 다시 증명한다.
NLVC사상은 다시 관련의 존재를 나타내는 데이타포인트의 벨트형상 분포를 나타낸다. 그러나, 그럼에도 불구하고, 사상을 유용하게 만들도록, 질적 논의에 대한 최소한, 모든 4 사상은 사상의 합리적인 영역을 나타낸다. 레이벨 사각형의 그래이 레벨을 시험함으로써, 밝은 그림자 포인트와 어두운 그림지 포인트 사이에 어느 정도의 분리를 나타낸다. 다른 사상을 이용하여, 상기는 이전 NLVC결과와 동일하다.
수학적인 실시예는 EOM접근이 기본적으로 두 고유차원이 이쓴 데이타에 대한 사상 비다양성을 유지하고 다른 초기 웨이트로부터 얻은사상의 회전 및 경사를 제외한 어떤 변화가 데이타의 고유차원이 사상의 차원보다 더 높음을 지시함을 증명한다. 그러나, 다소의 변화를 증명하더라도, 이들 변화가 완전히 우세하지 않다면 결과의 사상은 무용하다. 많은 정보를 여전히 모을 수 있다. 그 이유는 데이타집합의 다른 고유차원이 똑같이 중요하지 않기 때문이다. 이것은 가솔린 혼합데이타에 대한 경우와 똑같다. EOM접근에 의해 구한 4사상과 비교할 때, 패턴2, 3, 13, 14, 16 및 22로 나타내어 질 수 있다. 또한, 패턴 13을 제외한 모든 상기 패턴은 사상의 가장자리에 한 번 이상으로 나타낸다.
이들 6패턴은 나머지 집합과 고립되고, EOM 사상은 그들에 있어 발생했다. 이를 도 22a에 나타낸다. 옥탄범위로의 집중의 독립적인 사상으로 인해, 6패턴의 정확한 어두움은 도 21의 그들과 다르다. 실지로 사상은 패턴 13이 다른 5 패턴에 의해 둘러쌓인다.
2차원 함수의 모델은 함수적 연결망의 임의 벡터버전을 이용하여 기능했다. 이 모델은 도 22a에 나타낸 영역의 옥탄비율을 프리딕트(predict)하는데 이용되었다. 그 결과를 도 22b에 나타내었다. 이 수자는 더 높은 옥탄비의 포인트가:
d1= 85,51, d2= 173.5
에 위치함을 나타낸다.
대응하는 예측된 옥탄비는:
z = 102.4
이다.
다른 임의 벡터 함수적 링크망을 가지는 원래 5-D 공간내에 (d1,d2)를 역사상할 수 있다.
그 결과는:
x1=0.0226 , x2=0.096, x3=0.085, x4=0.022, x5=0.599 이다.
망모델을 구축할 때, 이용할 수 있는 패턴의 제한된 수로 인해, 상기 겨과는 정확한 예측을 주는 것보다 장차 공식화를 안내해 줌으로써 더 고려할만 하다는 것을 주목해야만 한다.
본 발명은 다차원 데이타패턴을 도울 수 있는 기하학적으로 바로잡은 축소차원 사상을 얻을 수 있는 새로운 그리고 유일한 접근을 제공한다. 이 접근은 유사 목적의 다른 접근의 증명과 마찬가지로, 초기 망 웨이트의 선택의 차이로 인해 결과적인 사상의 무질서를 줄일 수 있다는 것이 증명된다. 또한, 원래 데이타 집합이 다른 초기 웨이트를 선택함으로써 축소차원 사상을 이용하여 만족스럽게 이 접근을 설명할 수 있다. 이 접근에 얻어진 사상은 모든 사상영역을 이용할 수 있고, 다양한 적용으로 유사목적의 다른 접근을 이용하여 얻어진 대체사상에 이용될 수 있다.
바람직한 실시예를 참조하여 본 발명을 설명하였다. 본 명세서를 읽고 이해하면서 분명히 변경과 개조가 다른 이들에게 있을 수 있다. 변경과 개조가 첨부된 클레임의 범위 내에 또는 그것과 동일하다면 그 변경과 개조는 모두는 여기에 포함된다.

Claims (29)

  1. 복수의 입력노드를 구비한 입력층, 은폐층 및 입력노드의 수보다 적은 수의 출력층을 포함하는 복수층의 노드로 구성된 신경망;
    신경망의 입력층 내에 다차원패턴 데이타를 수신하는 수신수단;
    수신된 다차원패턴 데이타에 대응하는 신경망의 출력층의 각 출력노드에 있어 출력신호를 발생시키는 출력수단; 및
    신경망의 연관을 완성하고, 출력신호의 공분산 매트릭스를 대각선 매트릭스의 형태로 축소함으로써 출력노드의 출력신호를 등화 및 직교화하는 수단을 포함하는 연관수단으로 이루어지고,
    상기 복수층은 복수의 입력노드를 구비한 입력층,
    은폐층 및
    복수의 비선형 출력노드를 구비하고, 그 수가 입력노드의 수보다 적은 출력층을 포함하는 것을 특징으로 하는 다차원패턴 데이타를 축소-차원 표현으로 조직화하는 시스템.
  2. 제1항에 있어서, 상기 연관수단은 인접층의 노드 사이의 링크에 대해 웨이트를 반복적으로 갱신하도록 역전파를 이용하는 것을 특징으로 하는 시스템.
  3. 제2항에 있어서, 상기 웨이트는 구간(W,-W) 사이에 랜덤하게 발생되는 것을것을 특징으로 하는 시스템.
  4. 제3항에 있어서, 다차원패턴 데이타의 모든 차원의 평균분산은:
    이고, 출력노드의 출력신호의 공분산매트릭스의 요소는:
    로 정의되고,
    여기서, p=1,2,...,P;
    Ok1p는 p번째 입력 데이타패턴 벡터에 대해 출력층의 k1번째 노드의 출력신호이며;
    Ok2p는 p번째 입력 데이타패턴 벡터에 대해 출력층의 k2번째 노드의 출력신호이고;
    <Ok1는 입력 데이타패턴 벡터의 집합에 대해 구한 Ok1p의 평균이며,
    <Ok2는 입력 데이타패턴 벡터의 집합에 대해 구한 Ok2p의 평균이고,
    k1=1에서 K;
    k2=1에서 K;
    K는 축소-차원 표현의 차원의 수이고;
    < >는 각 나타낸 성분에 대한 입력 데이타패턴 벡터의 집합에 대해 구한 평균을 나타내는 것을 특징으로 하는 시스템.
  5. 제4항에 있어서, 은폐층 및 출력층 사이의 웨이트 Δwkj는 다음 식
    에 따라 반복하여 갱신되고,
    여기서, η는 효과적인 수렴을 제공하고 진동을 피하도록 선택된 적당값의 상수이며,
    Ojp는 p번째 입력 데이타패턴 벡터에 기인한 출력층 이전 층의 j번째 노드로부터의 출력신호이고;
    E는 하기식으로 표현되는 오차이며,
    여기서, k1= k2= k; k=1,...,K이고; rkk는 연관속도를 증가시키는 효과를 가지는 양의 상수이고,
    여기서, k2k1; k1= 1,....,K-1; k2= k1+1,...,K이고; rk1k2는 연관속도를 증가시키는 효과를 가지는 양의 상수이며,
    δkp=δkp,1+δkp,2+δkp,3, 여기서 δkp는 p번째 입력 데이타패턴 벡터에 있어서, 출력층의 k번째 노드의 출력에 의한 오차 E에의 기여에 비례하는 값이고, δkp,1, δkp,2및 δkp,3은 δkp의 성분인 것을 특징으로 하는 시스템.
  6. 제5항에 있어서,
    여기서, Δwkj,1는 출력의 공분산 매트릭스의 대각선항으로부터의 기여이고,
    Δwkj,2는 k번째 행의 오프-대각선항으로부터의 기여이며,
    Δwkj,3는 k번째 열의 오프-대각선항으로부터의 기여이고,
    Ojp는 p번째 입력 데이타패턴 벡터에 있어 출력층 이전 층의 j번째 노드로부터의 출력신호인 것을 특징으로 하는 시스템.
  7. 제6항에 있어서,
    여기서, Okp는 p번째 입력 데이타패턴 벡터에 대한 출력층의 k번째 노드로부터의 출력신호이고,
    <Okp는 입력 데이타패턴 벡터의 집합에 대해 구한 Okp의 평균인 것을 특징으로 하는 시스템.
  8. 제5항에 있어서, 한 층의 노드의 j번째 노드와 그 이전 층의 i번째 노드 사이의 웨이트 Δwji에의 오차의 역전파는,
    이고, 여기서, δjp는:
    로 구하는 것을 특징으로 하는 시스템.
  9. 복수의 입력노드를 구비한 입력층, 은폐층, 그리고 입력노드의 수보다 적은 수의 복수의 비선형 출력노드를 구비한 출력층을 가지는 신경망을 이용하여, 다차원패턴 데이타를 축소차원 표현으로 조직화하는 방법에 있어서:
    다차원패턴 데이타를 신경망의 입력층 내에 수신하는 단계;
    수신한 다차원패턴 데이타에 대응하는 신경망의 각 출력노드에 대해 출력신호를 발생하는 단계; 및
    출력신호의 공분산매트릭스를 대각선 매트릭스의 형태로 축소함으로써 출력노드의 출력신호를 등화 및 직교화하여 신경망을 연관하는 단계로 이루어지는 것을 특징으로 하는 방법.
  10. 제9항에 있어서, 상기 연관단계는 인접층 노드 사이의 링크에 대해 웨이트를 반복하여 갱신하도록 역전파를 포함하는 것을 특징으로 하는 방법.
  11. 제10항에 있어서, 상기 웨이트는 구간(W,-W)에서 랜덤하게 발생되는 것을 특징으로 하는 방법.
  12. 제11항에 있어서, 다차원패턴 데이타의 모든 차원의 평균분산은:
    이고, 출력노드의 출력신호의 공분산매트릭스의 요소는:
    이고,
    여기서 p=1,2,...,P;
    Ok1p는 p번째 입력 데이타패턴 벡터에 있어 출력층의 k1번째 노드의 출력신호이며;
    Ok2p는 p번째 입력 데이타패턴 벡터에 있어 출력층의 k2번째 노드의 출력신호이고;
    <Ok1는 입력 데이타패턴 벡터의 집합에 대해 구한 Ok1p의 평균이며,
    <Ok2는 입력 데이타패턴 벡터의 집합에 대해 구한 Ok2p의 평균이고,
    k1=1에서 K;
    k2=1에서 K;
    K는 축소-차원표현에서 차원의 수이고;
    < >는 각 나타낸 성분에 있어 입력 데이타패턴 벡터의 집합에 대해 구한 평균을 나타내는 것을 특징으로 하는 시스템.
  13. 제12항에 있어서, 은폐층 및 출력층 사이의 웨이트 Δwkj는 다음 식
    에 따라 반복하여 갱신되고,
    여기서, η는 효과적인 수렴을 제공하고 진동을 피하도록 선택된 적당값의 상수이며,
    Ojp는 p번째 입력 데이타패턴 벡터로 인해 출력층 이전 층의 j번째 노드로부터의 출력신호이고;
    E는 하기식으로 표현되는 오차이며,
    여기서, k1= k2= k; k=1,...,K이고; rkk는 연관속도를 증가시키는 효과를 가지는 양의 상수이고,
    여기서, k2k1; k1= 1,....,K-1; k2= k1+1,...,K이고; rk1k2는 연관속도를 증가시키는 효과를 가지는 양의 상수이며,
    δkp=δkp,1+δkp,2+δkp,3, 여기서 δkp는 p번째 입력 데이타패턴 벡터에 있어서, 출력층의 k번째 노드의 출력에 의한 오차 E에의 기여에 비례하는 값이고, δkp,1, δkp,2및 δkp,3은 δkp의 성분인 것을 특징으로 하는 방법.
  14. 제13항에 있어서,
    여기서, Δwkj,1는 출력의 공분산 매트릭스의 대각선항으로부터의 기여이고,
    Δwkj,2는 k번째 행의 오프-대각선항으로부터의 기여이며,
    Δwkj,3는 k번째 열의 오프-대각선항으로부터의 기여인 것을 특징으로 하는 방법.
  15. 제13항에 있어서, δkp,1, δkp,2및 δkp,3은
    에 의해 구하고:
    여기서, Okp는 p번째 입력 데이타패턴 벡터에 대한 출력층 이전 층의 k번째 노드로부터의 출력신호이고,
    <Okp는 입력 데이타패턴 벡터의 집합에 대해 구한 Okp의 평균인 것을 특징으로 하는 방법.
  16. 제13항에 있어서, 한 층의 노드의 j번째 노드와 그 이전 층의 i번째 노드 사이 웨이트 Δwji에의 오차의 역전파는,
    이고, 여기서, δjp는:
    로 구하는 것을 특징으로 하는 방법
  17. 복수의 입력노드를 구비한 입력층과, 입력노드의 수보다 적은 수의 복수의 비선형 출력노드를 구비하는 출력층을 포함하는 노드의 복수층을 구비한 신경망:
    신경망의 입력층 내에 다차원패턴 데이타를 수신하는 수신수단:
    수신된 다차원패턴 데이타에 대응하는 신경망의 출력층의 각 출력노드에 있어 출력신호를 발생시키는 출력수단: 및
    신경망의 연관을 완성하는 연관수단으로 이루어지고,
    상기 연관수단은 출력노드의 총분산의 측정을 보존하고, 출력노드의 총분산은:
    로 정의되며,
    여기서, {xp}는 데이타패턴 벡터의 집합이고;
    p=1,2,...,P;
    P는 양의 정수로 정의되며;
    <xi는 데이타패턴 벡터의 집합에 대해 구한 xip의 평균값을 나타내고;
    S는 차원의 수이며;
    xip는 xp의 i번째 성분, 데이타패턴 벡터 집합의 p번째 항인 것을 특징으로 하는 다차원패턴 데이타를 축소-차원 표현으로 조직화하는 시스템.
  18. 제17항에 있어서, 상기 연관수단은 출력노드에 있어 웨이트를 점진적으로 변화시키는 역전파를 통하여 신경망의 연관을 완성하는 것을 특징으로 하는 시스템.
  19. 제18항에 있어서, 상기 연관수단은,
    식에 따라 신경망의 출력층에서 웨이트 wkj를 점진적으로 변화시킴으로써 역전파에 의해 신경망을 연관하는 수단을 더 구비하고,
    여기서, Opj는 p번째 데이타패턴로 인한 출력층 이전 층의 j번째 노드로부터의 출력신호이고,
    η는 효과적인 수렴을 제공하고 진동을 피하도록 선택된 적당값의 상수이며,
    δpk는 p번째 입력 데이타패턴에 있어 출력층의 k번째 노드의 출력에 의한 오차 E에의 기여에 비례하는 값인 것을 특징으로 하는 시스템.
  20. 제19항에 있어서, δpk는
    으로 구해지는 것을 특징으로 하는 시스템.
  21. 제19항에 있어서, 상기 신경망은 은폐노드를 포함한 하나 이상의 은폐층을 더 구비하고, 각 은폐노드에 대해 적합한 웨이트 wji는,
    에 따라서 점진적으로 향상되고,
    여기서, Opi는 p번째 입력 데이타패턴의 j번째 층의 이전 층의 i번째 노드에 대해 출력신호인 것을 특징으로 하는 시스템.
  22. 제21항에 있어서, δpj는,
    에 의해 구해지는 것을 특징으로 하는 시스템.
  23. 복수의 입력노드를 구비한 입력층, 은폐층 및 입력노드의 수보다 적은 수의 복수의 비선형 출력노드를 구비한 출력층을 가지는 신경망을 이용하여, 다차원패턴 데이타를 축소차원 표현으로 조직화하는 방법에 있어서:
    데이타패턴 벡터의 집합 {xp}를 신경망의 입력층 내에 수신하는 단계;
    역전파에 의해 신경망을 연관하는 단계; 및
    신경망의 출력층으로부터의 다차원 출력신호를 디스플레이하는 단계로 이루어지며,
    상기 수신하는 단계에 있어서, p=1,2,...,P이고, P는 양의 정수로 정의되며, 데이타패턴 벡터의 집합은,
    으로 정의된 총분산을 가지며,
    여기서, {xp}는 데이타패턴 벡터의 집합이고;
    p=1,2,...,P이며;
    P는 양의 정수로 정의되고;
    <xi는 데이타패턴 벡터의 집합에 대해 구한 xip의 평균값을 나타내며;
    S는 차원의 수이며;
    xip는 xp의 i번째 성분, 데이타패턴 벡터집합의 p번째 항인 것을 특징으로 하는 다차원패턴 데이타를 축소-차원 표현으로 조직화하는 방법.
  24. 제23항에 있어서, 역전파에 의해 신경망을 연관하는 상기 단계는,
    에 따라서 신경망의 출력층에서 웨이트 wkj를 점진적으로 변화시키는 단계를 포함하고,
    여기서, Opj는 p번째 데이타패턴로 인한 출력층 이전 층의 j번째 노드로부터의 출력신호이고,
    η는 효과적인 수렴을 제공하고 진동을 피하도록 선택된 적당값의 상수이며,
    δpk는 p번째 입력 데이타패턴에 있어 출력층의 k번째 노드의 출력에 의한 오차 E에의 기여에 비례하는 값인 것을 특징으로 하는 방법.
  25. 제24항에 있어서, δpk는
    에 의해 구해지는 것을 특징으로 하는 방법.
  26. 제23항에 있어서, 상기 신경망은 상기 신경망은 은폐노드를 포함한 하나 이상의 은폐층을 더 구비하고, 각 은폐노드에 있어 적합한 웨이트 wji는,
    에 따라서 점진적으로 향상되고,
    여기서, Opi는 p번째 입력 데이타패턴의 j번째 층의 이전 층의 i번째 노드에 대한 출력신호인 것을 특징으로 하는 방법.
  27. 제26항에 있어서, δpj는
    에 의해 구해지는 것을 특징으로 하는 방법.
  28. 제23항에 있어서, 상기 다차원 출력신호는 2차원 출력신호인 것을 특징으로 하는 방법.
  29. 제23항에 있어서, 상기 2차원 출력신호는 2차원축에 관련한 데이타 포인트 플롯팅을 포함하는 것을 특징으로 하는 방법.
KR1020007006564A 1997-12-15 1998-12-14 등화된 직교사상을 통한 다차원 데이타의 시각화 및자기조직화 시스템 및 방법 KR100343533B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US08/991,031 US6134537A (en) 1995-09-29 1997-12-15 Visualization and self organization of multidimensional data through equalized orthogonal mapping
US8/991,031 1997-12-15
US08/991,031 1997-12-15
PCT/US1998/026477 WO1999031624A1 (en) 1997-12-15 1998-12-14 Visualization and self-organization of multidimensional data through equalized orthogonal mapping

Publications (2)

Publication Number Publication Date
KR20010033181A KR20010033181A (ko) 2001-04-25
KR100343533B1 true KR100343533B1 (ko) 2002-07-20

Family

ID=25536780

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007006564A KR100343533B1 (ko) 1997-12-15 1998-12-14 등화된 직교사상을 통한 다차원 데이타의 시각화 및자기조직화 시스템 및 방법

Country Status (12)

Country Link
US (3) US6134537A (ko)
EP (1) EP1038261B1 (ko)
JP (1) JP3520048B2 (ko)
KR (1) KR100343533B1 (ko)
CN (1) CN1165869C (ko)
AT (1) ATE368904T1 (ko)
AU (1) AU737276B2 (ko)
BR (1) BR9813585A (ko)
CA (1) CA2312902C (ko)
DE (1) DE69838181T2 (ko)
IL (1) IL136524A (ko)
WO (1) WO1999031624A1 (ko)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134537A (en) * 1995-09-29 2000-10-17 Ai Ware, Inc. Visualization and self organization of multidimensional data through equalized orthogonal mapping
US6993186B1 (en) * 1997-12-29 2006-01-31 Glickman Jeff B Energy minimization for classification, pattern recognition, sensor fusion, data compression, network reconstruction and signal processing
US6526168B1 (en) * 1998-03-19 2003-02-25 The Regents Of The University Of California Visual neural classifier
US6717589B1 (en) * 1999-03-17 2004-04-06 Palm Source, Inc. Computerized help system with modal and non-modal modes
US6671661B1 (en) * 1999-05-19 2003-12-30 Microsoft Corporation Bayesian principal component analysis
US6606624B1 (en) * 1999-08-13 2003-08-12 The Regents Of The University Of California Apparatus and method for recommending to an individual selective information contained within a computer network
US6556960B1 (en) * 1999-09-01 2003-04-29 Microsoft Corporation Variational inference engine for probabilistic graphical models
US7039621B2 (en) * 2000-03-22 2006-05-02 Johnson & Johnson Pharmaceutical Research & Development, L.L.C. System, method, and computer program product for representing object relationships in a multidimensional space
US6694301B1 (en) * 2000-03-31 2004-02-17 Microsoft Corporation Goal-oriented clustering
US6989843B2 (en) * 2000-06-29 2006-01-24 Sun Microsystems, Inc. Graphics system with an improved filtering adder tree
SE519507C2 (sv) * 2000-10-31 2003-03-04 Goesta Granlund Metod och apparat för träning av associativa nät för artificiellt seende
US20020099702A1 (en) * 2001-01-19 2002-07-25 Oddo Anthony Scott Method and apparatus for data clustering
US7308417B1 (en) 2001-03-12 2007-12-11 Novell, Inc. Method for creating and displaying a multi-dimensional business model comparative static
WO2002093810A2 (en) * 2001-05-14 2002-11-21 Ramot University Authority For Applied Research & Industrial Development Ltd. Method of and apparatus for quantum clustering
GB0113212D0 (en) * 2001-05-31 2001-07-25 Oxford Biosignals Ltd Patient condition display
US20030093162A1 (en) * 2001-11-13 2003-05-15 Koninklijke Philips Electronics N.V. Classifiers using eigen networks for recognition and classification of objects
FI20020414A (fi) * 2002-03-04 2003-09-05 Nokia Oyj Mekanismi valvomatonta klusterointia varten
KR100442434B1 (ko) * 2002-03-07 2004-07-30 엘지전자 주식회사 학습된 신경망 설계를 위한 어레이 구조 연산 방법
GB0205336D0 (en) * 2002-03-07 2002-04-24 Univ Manchester Data dimension reduction
US7444310B2 (en) * 2002-04-19 2008-10-28 Computer Associates Think, Inc. Automatic model maintenance through local nets
EP1504412B1 (en) 2002-04-19 2018-04-11 CA, Inc. Processing mixed numeric and/or non-numeric data
US7777743B2 (en) * 2002-04-19 2010-08-17 Computer Associates Think, Inc. Viewing multi-dimensional data through hierarchical visualization
US7483868B2 (en) * 2002-04-19 2009-01-27 Computer Associates Think, Inc. Automatic neural-net model generation and maintenance
US20040052412A1 (en) * 2002-05-10 2004-03-18 Large Scale Biology Corporation Satellite image enhancement and feature identification using information theory radial-basis bio-marker filter
US7046247B2 (en) * 2002-05-15 2006-05-16 Hewlett-Packard Development Company, L.P. Method for visualizing graphical data sets having a non-uniform graphical density for display
US20040119712A1 (en) * 2002-12-19 2004-06-24 Kenknight Bruce H. System and method for representing multi-dimensional patient health
US7496546B2 (en) * 2003-03-24 2009-02-24 Riken Interconnecting neural network system, interconnecting neural network structure construction method, self-organizing neural network structure construction method, and construction programs therefor
US7313279B2 (en) 2003-07-08 2007-12-25 Computer Associates Think, Inc. Hierarchical determination of feature relevancy
EP1636738A2 (en) * 2003-05-23 2006-03-22 Computer Associates Think, Inc. Adaptive learning enhancement to auotmated model maintenance
EP1494127A1 (en) * 2003-07-01 2005-01-05 Semeion Method, computer program and computer readable means for projecting data from a multidimensional space into a space having less dimensions and to carry out a cognitive analysis on said data.
GB2403636A (en) * 2003-07-02 2005-01-05 Sony Uk Ltd Information retrieval using an array of nodes
EP1649627A4 (en) * 2003-07-11 2010-07-07 Computer Ass Think Inc PROCESS AND DEVICE FOR PLAN PRODUCTION
JP4074564B2 (ja) * 2003-07-30 2008-04-09 インターナショナル・ビジネス・マシーンズ・コーポレーション コンピュータ実行可能な次元削減方法、該次元削減方法を実行させるためのプログラム、次元削減装置および該次元削減装置を使用した検索エンジン装置
US20060003204A1 (en) * 2004-07-01 2006-01-05 Callahan Christopher W Controlling fuel cell fuel purge in response to recycle fuel blower operating conditions
WO2006094055A2 (en) * 2005-03-02 2006-09-08 Spacelabs Medical Trending display of patient wellness
US8956292B2 (en) * 2005-03-02 2015-02-17 Spacelabs Healthcare Llc Trending display of patient wellness
US20080270529A1 (en) * 2005-03-11 2008-10-30 France Telecom Method for the Transmission of Content Visualization Data Between a Server and at Least One Client Terminal, Corresponding Terminal and Computer Program
US8768664B2 (en) * 2005-03-18 2014-07-01 CMC Solutions, LLC. Predictive emissions monitoring using a statistical hybrid model
US7421348B2 (en) * 2005-03-18 2008-09-02 Swanson Brian G Predictive emissions monitoring method
JP4646681B2 (ja) * 2005-04-13 2011-03-09 キヤノン株式会社 色処理装置及びその方法
US20060247798A1 (en) * 2005-04-28 2006-11-02 Subbu Rajesh V Method and system for performing multi-objective predictive modeling, monitoring, and update for an asset
US7536364B2 (en) * 2005-04-28 2009-05-19 General Electric Company Method and system for performing model-based multi-objective asset optimization and decision-making
US20070030287A1 (en) * 2005-08-04 2007-02-08 Honeywell International Inc. Visual comparison of data set with data subset
US8301576B2 (en) * 2005-10-27 2012-10-30 Ca, Inc. Weighted pattern learning for neural networks
KR100908121B1 (ko) 2006-12-15 2009-07-16 삼성전자주식회사 음성 특징 벡터 변환 방법 및 장치
DE102007001026B4 (de) * 2007-01-02 2008-09-04 Siemens Ag Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
US20080221930A1 (en) 2007-03-09 2008-09-11 Spacelabs Medical, Inc. Health data collection tool
US8117183B2 (en) * 2008-05-28 2012-02-14 Xerox Corporation Accurate content-based indexing and retrieval system
US20100067800A1 (en) * 2008-09-17 2010-03-18 Microsoft Corporation Multi-class transform for discriminant subspace analysis
US9604020B2 (en) 2009-10-16 2017-03-28 Spacelabs Healthcare Llc Integrated, extendable anesthesia system
IN2012DN03108A (ko) 2009-10-16 2015-09-18 Spacelabs Healthcare Llc
US20110175905A1 (en) * 2010-01-15 2011-07-21 American Propertunity, LLC. Infoshape: displaying multidimensional information
WO2011119512A1 (en) 2010-03-21 2011-09-29 Spacelabs Healthcare, Llc Multi-display bedside monitoring system
US9047747B2 (en) 2010-11-19 2015-06-02 Spacelabs Healthcare Llc Dual serial bus interface
US9629566B2 (en) 2011-03-11 2017-04-25 Spacelabs Healthcare Llc Methods and systems to determine multi-parameter managed alarm hierarchy during patient monitoring
US8874498B2 (en) 2011-09-16 2014-10-28 International Business Machines Corporation Unsupervised, supervised, and reinforced learning via spiking computation
US8738554B2 (en) 2011-09-16 2014-05-27 International Business Machines Corporation Event-driven universal neural network circuit
US8626684B2 (en) 2011-12-14 2014-01-07 International Business Machines Corporation Multi-modal neural network for universal, online learning
US10037121B2 (en) 2012-10-09 2018-07-31 Paypal, Inc. Visual mining of user behavior patterns
CN103793713B (zh) * 2012-10-31 2017-09-15 中国科学院沈阳自动化研究所 低秩约束的在线自监督学习的场景分类方法
WO2014144103A1 (en) * 2013-03-15 2014-09-18 Sony Corporation Characterizing pathology images with statistical analysis of local neural network responses
US10987026B2 (en) 2013-05-30 2021-04-27 Spacelabs Healthcare Llc Capnography module with automatic switching between mainstream and sidestream monitoring
CN106462772B (zh) 2014-02-19 2019-12-13 河谷控股Ip有限责任公司 对象识别特征的基于不变量的维数缩减、系统和方法
EP3872716A1 (en) 2015-01-28 2021-09-01 Google LLC Image classification neural network system with batch normalization layers
CN107924484A (zh) 2015-07-23 2018-04-17 丰田汽车欧洲股份有限公司 用于在环境背景下模拟类人控制行为的系统和基于计算机的方法
US10503580B2 (en) 2017-06-15 2019-12-10 Microsoft Technology Licensing, Llc Determining a likelihood of a resource experiencing a problem based on telemetry data
US10805317B2 (en) * 2017-06-15 2020-10-13 Microsoft Technology Licensing, Llc Implementing network security measures in response to a detected cyber attack
US11062226B2 (en) 2017-06-15 2021-07-13 Microsoft Technology Licensing, Llc Determining a likelihood of a user interaction with a content element
US10922627B2 (en) 2017-06-15 2021-02-16 Microsoft Technology Licensing, Llc Determining a course of action based on aggregated data
US20190272466A1 (en) * 2018-03-02 2019-09-05 University Of Southern California Expert-driven, technology-facilitated intervention system for improving interpersonal relationships
JP6778708B2 (ja) * 2018-03-14 2020-11-04 日本電信電話株式会社 解析装置、方法、及びプログラム
CN114897154A (zh) * 2022-03-23 2022-08-12 阿里巴巴（中国）有限公司 数据预测方法及装置
CN114994547B (zh) 2022-08-05 2022-11-18 中汽研新能源汽车检验中心(天津)有限公司 基于深度学习和一致性检测的电池包安全状态评估方法
CN117574244B (zh) * 2024-01-15 2024-04-02 成都秦川物联网科技股份有限公司 基于物联网的超声波水表故障预测方法、装置及设备

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5003490A (en) 1988-10-07 1991-03-26 Hughes Aircraft Company Neural network signal processor
US5255342A (en) * 1988-12-20 1993-10-19 Kabushiki Kaisha Toshiba Pattern recognition system and method using neural network
EP0448890B1 (en) * 1990-03-30 1997-12-29 Koninklijke Philips Electronics N.V. Method of processing signal data on the basis of prinicipal component transform, apparatus for performing the method
US5113483A (en) 1990-06-15 1992-05-12 Microelectronics And Computer Technology Corporation Neural network with semi-localized non-linear mapping of the input space
US5218529A (en) 1990-07-30 1993-06-08 University Of Georgia Research Foundation, Inc. Neural network system and methods for analysis of organic materials and structures using spectral data
JP3329806B2 (ja) 1990-11-09 2002-09-30 株式会社日立製作所 ニューラルネット構築装置
US5634087A (en) * 1991-02-28 1997-05-27 Rutgers University Rapidly trainable neural tree network
JP2979711B2 (ja) * 1991-04-24 1999-11-15 日本電気株式会社 パターン認識方式および標準パターン学習方式
US5263120A (en) * 1991-04-29 1993-11-16 Bickel Michael A Adaptive fast fuzzy clustering system
IL98622A (en) 1991-06-25 1996-10-31 Scitex Corp Ltd Method and device for using neural networks in figure work
US5293456A (en) 1991-06-28 1994-03-08 E. I. Du Pont De Nemours And Company Object recognition system employing a sparse comparison neural network
US5335291A (en) 1991-09-20 1994-08-02 Massachusetts Institute Of Technology Method and apparatus for pattern mapping system with self-reliability check
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5903454A (en) * 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
WO1993020530A1 (de) 1992-04-06 1993-10-14 Siemens Aktiengesellschaft Strukturierung von neuronalen netzen durch regelbasiertes wissen
US5311600A (en) * 1992-09-29 1994-05-10 The Board Of Trustees Of The Leland Stanford Junior University Method of edge detection in optical images using neural network classifier
US5432864A (en) * 1992-10-05 1995-07-11 Daozheng Lu Identification card verification system
US5337372A (en) * 1992-10-13 1994-08-09 At&T Bell Laboratories Method and apparatus for symbol recognition using multidimensional preprocessing at multiple resolutions
DE4243882C1 (de) * 1992-12-23 1994-01-05 Baleanu Michael Alin Verfahren und Einrichtung zur Überwachung eines technischen Prozesses
US5963929A (en) * 1993-05-28 1999-10-05 Maryland Technology Corporation Recursive neural filters
US5649065A (en) * 1993-05-28 1997-07-15 Maryland Technology Corporation Optimal filtering by neural networks with range extenders and/or reducers
DE9320530U1 (de) * 1993-09-16 1994-10-13 Rottefella As, Klokkarstua Langlauf- oder Tourenskibindung für Langlaufskischuhe
US5619709A (en) * 1993-09-20 1997-04-08 Hnc, Inc. System and method of context vector generation and retrieval
JP2690027B2 (ja) * 1994-10-05 1997-12-10 株式会社エイ・ティ・アール音声翻訳通信研究所 パターン認識方法及び装置
US5812992A (en) * 1995-05-24 1998-09-22 David Sarnoff Research Center Inc. Method and system for training a neural network with adaptive weight updating and adaptive pruning in principal component space
US5642431A (en) * 1995-06-07 1997-06-24 Massachusetts Institute Of Technology Network-based system and method for detection of faces and the like
US5687082A (en) * 1995-08-22 1997-11-11 The Ohio State University Methods and apparatus for performing combustion analysis in an internal combustion engine utilizing ignition voltage analysis
US6134537A (en) * 1995-09-29 2000-10-17 Ai Ware, Inc. Visualization and self organization of multidimensional data through equalized orthogonal mapping
US5734796A (en) * 1995-09-29 1998-03-31 Ai Ware, Inc. Self-organization of pattern data with dimension reduction through learning of non-linear variance-constrained mapping
CA2216224A1 (en) * 1997-09-19 1999-03-19 Peter R. Stubley Block algorithm for pattern recognition
US5967995A (en) * 1998-04-28 1999-10-19 University Of Pittsburgh Of The Commonwealth System Of Higher Education System for prediction of life-threatening cardiac arrhythmias

Also Published As

Publication number Publication date
CA2312902C (en) 2005-02-08
US6907412B2 (en) 2005-06-14
ATE368904T1 (de) 2007-08-15
JP2002509303A (ja) 2002-03-26
AU737276B2 (en) 2001-08-16
CN1282435A (zh) 2001-01-31
JP3520048B2 (ja) 2004-04-19
WO1999031624A1 (en) 1999-06-24
DE69838181T2 (de) 2008-04-30
CN1165869C (zh) 2004-09-08
IL136524A (en) 2004-06-01
US6212509B1 (en) 2001-04-03
BR9813585A (pt) 2001-12-26
US20010032198A1 (en) 2001-10-18
US6134537A (en) 2000-10-17
KR20010033181A (ko) 2001-04-25
EP1038261A1 (en) 2000-09-27
IL136524A0 (en) 2001-06-14
AU1912699A (en) 1999-07-05
EP1038261B1 (en) 2007-08-01
DE69838181D1 (de) 2007-09-13
CA2312902A1 (en) 1999-06-24

Similar Documents

Publication Publication Date Title
KR100343533B1 (ko) 등화된 직교사상을 통한 다차원 데이타의 시각화 및자기조직화 시스템 및 방법
Demartines et al. Curvilinear component analysis: A self-organizing neural network for nonlinear mapping of data sets
US5734796A (en) Self-organization of pattern data with dimension reduction through learning of non-linear variance-constrained mapping
Lowe et al. Feed-forward neural networks and topographic mappings for exploratory data analysis
Uriarte et al. Topology preservation in SOM
Mao et al. Artificial neural networks for feature extraction and multivariate data projection
Stone Learning perceptually salient visual parameters using spatiotemporal smoothness constraints
Khotanzad et al. Feature selection for texture recognition based on image synthesis
Koskela et al. Time series prediction using recurrent SOM with local linear models
Dersch et al. Asymptotic level density in topological feature maps
Koua et al. Alternative visualization of large geospatial datasets
Polzlbauer et al. A visualization technique for self-organizing maps with vector fields to obtain the cluster structure at desired levels of detail
Lampinen et al. Generative probability density model in the self-organizing map
Pao et al. Visualization of pattern data through learning of non-linear variance-conserving dimension-reduction mapping
Canales et al. Modification of the growing neural gas algorithm for cluster analysis
Demartines Organization measures and representations of Kohonen maps
Diallo et al. Elliptical ordinal embedding
Goncalves et al. A neural architecture for the classification of remote sensing imagery with advanced learning algorithms
Abonyi et al. Fuzzy self-organizing map based on regularized fuzzy c-means clustering
Kasabov et al. The Application of Hybrid Evolving Connectionist Systems to Image Classification.
Yen Self-Organizing Maps
Jokinen Dynamically capacity allocating neural networks for continuous learning using sequential processing of data
German Neural network classifiers for GIS data: improved search strategies
Yusof Multilevel learning in Kohonen SOM network for classification problems
Jia et al. Self-organizing sparse codes

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20050627

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee