KR102178654B1 - 정보 예측을 위한 시스템, 방법 및 프로그램 - Google Patents

Abstract

시스템은, 학습 대상을 기억하는 학습 대상 기억부, 학습 결과를 기억하는 학습 결과 기억부 및, 입력부에 연결된 제어부를 구비한다. 제어부는, 상기 입력부에 의해 지정된 처리 대상의 제1 특징 벡터의 주성분 계수 벡터를 산출하고, 상기 학습 결과 기억부에 기억된 상기 주성분 기저 벡터를 이용하여 제2 특징 벡터의 주성분 계수 벡터를 산출하고, 상기 제2 특징 벡터의 주성분 계수 벡터를 이용하여 상기 처리 대상의 제 2 특징 벡터를 산출한다.

Description

정보 예측을 위한 시스템, 방법 및 프로그램{SYSTEM, METHOD, AND PROGRAM FOR PREDICTING INFORMATION}

본 발명은 제1 특징 벡터를 기초로 제2 특징 벡터를 예측하기 위한 시스템, 방법 및 프로그램에 관한 것이다.

2개의 정보들 사이의 관계를 학습하고, 상기 학습 결과를 이용하여 처리되는 정보와 관련된 새로운 정보가 예측될 수 있다. 예를 들면, 초해상 기술에 있어서, 낮은 해상도의 원 이미지로부터 고해상도 이미지를 생성한다. 상기 초해상 기술은 디스플레이 장치의 고해상도화에 따라 주목받고 있으며, 각종 기기 등에 사용되고 있다. 상기 초해상 기술에서는 손실된 고주파 성분이 유추된다. 예를 들어, 이미지 데이터의 픽셀 크기를 종횡으로 확대할 경우, 인접한 2개의 픽셀의 중간값을 산출하여 해당 중간값의 픽셀로 해당 픽셀들 사이를 채운다. 상기 산출 방법에서는 손실된 고주파 성분이 재현되지 않고 확대 이미지의 경계선이 모호하다. 한편, 초해상 기술에서는, 픽셀의 패턴을 분석하여 적절하다고 생각되는 픽셀을 산출하고, 산출한 픽셀로 원본 이미지의 인접 픽셀들 사이를 메우는 것으로 고주파 성분을 유추한다.

초해상 기술에서 있어서, 패치 초해상 및 고주파 성분 예측이 결합(예를 들면, 비특허 문헌1 참조)된다. 이 문헌에 기재된 기술은 저주파 성분으로부터 고주파 성분을 예측하는 방법으로, PCA(주성분 분석)을 통하여 저주파 및 고주파의 차원을 줄여 고해상도 이미지를 회귀 분석을 통하여 예측한다. 이 경우, 포스트 처리를 위하여 바이래터럴 필터를 이용하고 있다.

또한, 적은 양의 하드웨어 리소스를 고속으로 처리하는 기술도 검토되고 있다(예를 들면, 특허 문헌1 참조). 이 문헌에 기재된 기술은 우선, 처리 대상으로 하는 이미지를 장면(scene)으로 나눈다. 이미지에 충족하는 딕셔너리 테이블을 이용하는 딕셔너리에 대한 트리 검색을 통하여 손실된 고주파 성분을 유추한다. 딕셔너리 테이블 검색을 고속화하기 위하여, 주성분 분석을 이용하여 검색 키로서 사용하는 인덱스 비트맵을 스칼라 값인 제1 주성분 및 제2 주성분으로 변환함과 동시에 제1 주성분과 제2 주성분으로 그룹핑을 행하고, 그 평균값을 산출한다.

선행기술문헌

특허문헌

특허문헌 1: 일본특개2013-26659호 공보

비특허문헌

비특허문헌 1: Ｃｏｌｕｍｂｉａ　Ｕｎｉｖｅｒｓｉｔｙ，Ｗｅｉ　Ｌｉｕ１，他「Ｈａｌｌｕｃｉｎａｔｉｎｇ　Ｆａｃｅｓ：ＴｅｎｓｏｒＰａｔｃｈ　Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ　ａｎｄ　Ｃｏｕｐｌｅｄ　Ｒｅｓｉｄｕｅ　Ｃｏｍｐｅｎｓａｔｉｏｎ」、［ｏｎｌｉｎｅ］、Ｃｏｌｕｍｂｉａ　Ｕｎｉｖｅｒｓｉｔｙ、［2014년 9월 23일 검색 ］、インタ?ネット＜ｈｔｔｐ：／／ｗｗｗ．ｅｅ．ｃｏｌｕｍｂｉａ．ｅｄｕ／??ｗｌｉｕ／ＣＶＰＲ０５＿ＬｉｕＷｅｉ１．ｐｄｆ＞

상술한 바와 같이, 초해상 기술에서 고속화, 고화질화를 위한 다양한 시도가 이루어지고 있다. 그러나, 비특허문헌 1에 기재된 기술에서는 주성분 분석이 행해지고 있지만, 고해상도 이미지는 회귀 분석에 의해 예측하고 있다. 이 경우 저해상도와 고해상도 사이의 관계를 주성분 계수 각각마다 독립적으로 회귀 학습함에 따라, 우수한 정확도의 주성분 계수와 낮은 정확도의 주성분 계수가 혼재하기 때문에 전체적으로 정확도에 관한 문제가 발생할 수 있다.

또한, 특허문헌 1에 기재된 기술에서는, 딕셔너리 데이터의 데이터량 감소 및 검색 속도의 증대를 위한 주성분 분석을 행하고 있지만, 주성분 계수의 분산은 고려되지 않았다.

본 발명의 목적은 제1 정보, 즉 특징 벡터를 기반으로 제2 정보, 즉 특징 벡터를 효율적으로 예측하기 위한 시스템, 방법 및 프로그램을 제공하는 데 있다.

본 발명의 한 형태는 정보를 예측하는 시스템을 제공한다. 상기 시스템은 학습 대상을 기억하는 학습 대상 기억부와 학습 결과를 기억하는 학습 결과 기억부와 입력부에 접속된 제어부를 구비한다. 상기 제어부는 상기 학습 대상 기억부에 기억된 학습 대상별로 제1 특징 벡터 및 제2 특징 벡터를 산출하고, 상기 제1 특징 벡터의 주성분 계수 벡터와 제2 특징 벡터의 주성분 계수 벡터를, 상기 주성분 계수 벡터와의 분산을 나타내는 지표로 나눔으로써 행 벡터를 생성하고 모든 학습 대상의 상기 행 벡터를 이용하여 주성분 분석을 실시함으로써 제1 특징 벡터의 주성분 계수 벡터 및 제2 특징 벡터의 주성분 계수 벡터로부터 주성분 기저 벡터를 생성하고, 상기 주성분 기저 벡터를 상기 제1 특징 벡터의 평균 벡터 및 제2 특징 벡터의 평균 벡터와 함께 상기 학습 결과 기억부에 기억하는 학습 처리를 실행한다. 또한, 상기 제어부는 상기 입력부에 의해 지정된 처리 대상의 제1 특징 벡터의 주성분 계수 벡터를 산출하고, 상기 학습 결과 기억부에 기억된 상기 주성분 기저 벡터를 이용하여 제2 특징 벡터의 주성분 계수 벡터를 산출하고, 상기 제2 특징 벡터의 주성분 계수 벡터를 이용하여 상기 처리 대상의 제2 특징 벡터를 산출하는 예측 처리를 실행한다. 이를 통해 효율적이고 정확하게 제2 특징 벡터를 예측할 수 있다.

일 실시예에서, 상기 제어부는 상기 주성분 기저 벡터와 상기 제1 특징 벡터의 성분과 직교화하여 상기 학습 결과 기억부에 기억될 수 있다. 이는 직교 화를 이용하여 계산을 신속하게 할 수 있다.

일 실시예에서, 상기 제어부는 계산된 고해상도 정보(제2 특징 벡터)를 압축하고 압축한 고해상도 정보 및 상기 처리 대상의 저해상도 정보(제1 특징 벡터)와의 차분을 산출하고, 상기 차분을 기준치와 비교하여 상기 차분이 상기 기준치보다 큰 경우 상기 차분을 확대하여 확대한 차분을 상기 고해상도 정보로부터 제하는 포스트 작업을 수행할 수 있다. 이를 통해 예측시에 생긴 오차를 보정할 수 있다.

일 실시예에 있어서, 상기 차분을 나타내는 지표는 상기 주성분 계수 벡터의 표준 편차로 할 수 있다. 그러면 각 계수의 스케일이 동일하게 되어 주성분 분석의 장점을 살릴 수 있다.

또 다른 측면으로는, 상기 시스템을 이용하여 정보를 예측하는 방법을 제공한다.

또 다른 형태로는, 상기 시스템을 이용하여 정보를 예측하기 위한 프로그램이 저장되는 비일시적인 컴퓨터 판독 가능한 기억 매체를 제공한다.

본 발명에 의하면, 제1 특징 벡터를 기반으로 제2 특징 벡터를 효율적으로 예측할 수 있다.

도１은 본 실시 형태의 화상 처리 시스템의 설명도이다.
도 2는 도 1의 시스템의 처리 절차에 대한 설명도로서, (a)는 제1 학습 처리의 설명도이며, (b)는 제2 학습 처리의 설명도이다.
도 3은 도 1의 시스템의 처리 절차에 대한 설명도이다.
도 4는 도 1의 시스템의 처리 절차에 대한 설명도이다.
도 5는 도 1의 시스템의 초해상 처리의 처리 절차 개요의 설명도이다.
도 6은 도 1의 시스템의 처리 절차의 설명도이다.
도 7은 도 1의 시스템의 처리 절차의 설명도이다.
도 8은 도 1의 시스템의 처리 절차의 설명도이다.
도 9는 도 1의 시스템의 처리 절차의 설명도이다.
도 １0은 도 1의 시스템의 장점에 대한 설명도이다.
도 １1은 도 1의 시스템의 장점에 대한 설명도이다.
도 １2는 도 1의 시스템의 장점에 대한 설명도이다.
도 １3은 도 1의 시스템의 장점에 대한 설명도이다.
도 １4는 도 1의 시스템의 장점에 대한 설명도이다.

이하, 본 발명을 구체화한 시스템의 실시예를 도 1 내지 도 14를 참고로 하여 설명한다. 본 실시예에 있어서, 얼굴 이미지의 해상도를 높이는 초해상 기술에 적용하는 경우를 설명한다.

도 1에 도시된 바와 같이, 본 실시예에서 있어서, 화상 처리 시스템(20)을 사용한다. 상기 화상 처리 시스템(20)에는, 입력부(10) 및 출력부(15)가 연결되어 있다. 입력부(10)은 키보드와 포인팅 장치로 구성되어 담당자가 입력한 정보를 얻을 수 있다. 출력부(15)는 디스플레이로 구성되어 각종 정보를 출력한다.

상기 화상 처리 시스템(20)은 초해상 처리를 위한 컴퓨터 시스템이다. 이 화상 처리 시스템(20)은 제어부(21), 학습 대상 저장부로서의 얼굴 이미지 저장부(22) 및 학습 결과 기억부(23)을 구비하고 있다.

제어부(21)은, 제어 수단(CPU, RAM, ROM 등)을 구비하고, 후술하는 처리(학습 단계, 초해상 단계, 제1 예측 단계, 제2 예측 단계, 포스트 처리 단계, 특징점 추출 단계, 메쉬 분할 단계, 표준화 단계, 특징 화상 추출 단계, 주성분 분석 단계 등 각 처리 등)를 수행한다. 따라서 도 1과 같이, 프로그램을 실행하여 제어부(21)는 학습부(210), 초해상부(215), 제1 예측부(216), 제2 예측부(217), 포스트 처리부(218), 특징점 추출부(21a), 메쉬 분할부(21b), 정규화부(21c), 특징 화상 추출부(21d), 주성분 분석부(21e)로 기능한다.

학습부(210)는 고해상도 이미지 및 고해상도 이미지에 대응한 저해상도 이미지를 이용하여 초해상 처리에 필요한 정보를 생성하는 처리를 실행한다.

초해상부(215)는 처리 대상 이미지(입력 이미지)의 해상도를 높이기 위한 초해상 처리를 실행한다. 초해상부(215)는 처리 대상 이미지 및 계산 도중의 이미지를 기억하는 메모리를 구비한다.

주성분 벡터가 직교화된 경우, 제1 예측부(216)는 고해상도 패치의 최적해를 산출하는 처리를 실행한다.

주성분 벡터가 직교화되어 있지 않은 경우, 제2 예측부(217)는 고해상도 패치의 최적해을 검색하는 작업을 수행한다. 제2 예측부(217)는, 주성분 계수의 최적해를 검색할 때 미세하게 이동하는 진동 폭에 대한 데이터를 보유하고 있다.

포스트 처리부(218)는 생성된 초고해상도 이미지를 사용하여 오차를 조정하는 작업을 수행한다. 본 실시예에 있어서, 반복 역투사(iterative back projection; IBP) 방법이 사용된다. 상기 포스트 처리부(218)는 초해상 결과의 타당성을 판정하기 위한 역치에 대한 데이터를 보유하고 있다.

특징점 추출부(21a)는 처리 대상 이미지에서 특징점을 추출하는 작업을 수행한다. 본 실시예에 있어서, 패턴 인식에 의하여 얼굴 이미지를 대표하는 특징점(예를 들어, 얼굴의 윤곽과 얼굴 부분 위치)을 추출한다.

메쉬 분할부(21b)는 추출된 특징점을 근거로 해서 처리 대상 화상을 소정 형상의 메쉬로 분할하는 작업을 수행한다. 본 실시 형태에서는 들로네(Delaunay) 법을 이용하여 삼각형 모양의 메쉬를 생성한다. 상기 들로네(Delaunay)법은 공간 내의 점을 연결하여 삼각형의 그룹을 생성함으로써 그 삼각형의 모든 코너에 대한 최소 각도가 최대가 되도록 하는 방법이다.

정규화부(21c)는, 처리 대상 화상의 특징점이 미리 정해진 위치에 배치되도록 메쉬를 변형하는 작업을 수행한다. 본 실시예에 있어서, 미리 평균 얼굴의 배치를 소정 위치로 이용한다. 따라서 정규화부(21c)는 평균 얼굴의 배치 패턴에 관한 데이터를 미리 보유하고 있다. 또한, 정규화부(21c)는 변형 메쉬를 최초 형태로 회복시키는 처리를 수행한다. 따라서 정규화부(21c)는 정규화를 위한 변형시 변환 정보를 저장한다.

특징 화상 추출부(21d)는 정규화 처리 대상 이미지로부터 초고해상도 이미지를 생성하는 데 필요한 특징량을 추출하는 작업을 수행한다. 본 실시 형태에서는 특징량으로서, 이미지의 고주파 성분을 이용한다. 또한, 후술하는 바와 같이 처리 대상 이미지 자체(원본 이미지)를 특징량으로 이용하는 것도 가능하다.

주성분 분석부(21e)는 여러 데이터에서 분산이 큰 방향 순으로 직교 벡터를 구하는 주성분 분석 처리를 수행한다. 주성분 분석부(21e)는 주성분 분석 처리하여 고유치과 고유 벡터(기저 벡터)를 산출한다. 여기서 고유치는 분산을 나타낸다. 또한 기저 벡터는 분산이 큰 방향 순으로 정렬된다. 하위의 주성분일수록 정보가 적기 때문에, 누적 기여율이 특정 누적 기여율(정규화 고유치의 누적)에 도달하는 시점에서, 이후의 벡터를 삭제, 즉 고려에서 제외함으로써 차원을 한정하여 계산 부하를 경감할 수 있다.

다음은 각 기억부가 기억하는 정보를 설명한다.

얼굴 화상 저장부(22)는 학습에 이용하는 얼굴 이미지(학습 대상)에 관한 학습용 화상 데이터를 저장한다. 상기 학습 화상 데이터는 초해상 처리를 위한 학습에 이용하는 데이터가 등록된 경우에, 기억된다. 상기 얼굴 화상 데이터에 있어서, 데이터 번호와 관련된 복수의 얼굴 이미지가 저장되어 있다.

학습 결과 기억부(23)는 커플링 학습에 의해 생성된 주성분 기저 벡터와 평균 벡터를 기억한다. 여기서, i번째 결합 패치 벡터의 평균 벡터는 다음과 같이 표현할 수 있다.

[수1]

i번째 결합 패치 벡터의 평균 벡터

또한 i 번째 결합 패치 벡터의, n 번째 주성분의 주성분 기저 벡터는 다음과 같이 표현할 수 있다.

[수2]

i 번째 결합 패치 벡터의 n 번째 주성분의 주성분 기저 벡터

이하, 상기 화상 처리 시스템(20)에서 초고해상도 이미지를 생성하는 경우의 처리를 설명한다. 이 과정은 학습 과정과 초해상 처리로 구성된다.

(학습 처리)

우선, 도 2를 이용하여 학습 처리를 설명한다. 이 학습 과정은 제1 학습 처리 및 제2 학습 과정을 포함한다. 제1 학습 처리에서는 크기와 얼굴 파트의 위치를 맞추도록 정규화된 고해상도와 저해상도의 얼굴 이미지 페어를 생성한다. 제2 학습 과정에서는 고해상도와 저해상도의 얼굴 이미지 페어를 각각 소정 형상(예를 들어, 사각형)의 요소(패치)로 분할한다. 패치 단위로 "저해상도, 고해상도"의 관계를 주성분 분석을 통해 커플링 학습한다.

(제1 학습 처리)

우선, 도 2(a)를 이용하여 제1 학습 과정을 설명한다.

여기서, 화상 처리 시스템(20)의 제어부(21)는 얼굴 이미지 저장부(22)에 기억된 얼굴 이미지 데이터에서 순차적으로 처리할 데이터를 확인하고 다음 작업을 반복한다.

우선, 제어부(21)는 특징점 추출 처리를 실행한다(단계 S1-1). 구체적으로는, 제어부(21)의 학습부(210)는 특징점 추출부(21a)를 이용하여 얼굴의 윤곽과 얼굴 부분의 특징들을 확인한다. 본 실시 형태에서는 얼굴 표정 추적 및 얼굴 인식 등에 주로 사용되는 능동적 외양 모델(Active Appearance Models; AAM)에 의한 자동 추출을 이용한다. 상기 능동적 외양 모델법은, 대상 물체(사람의 얼굴)을 유한 개의 정점으로 모델링하고 이 모델을 입력 이미지에 피팅하여 대상 물체의 특징점을 추출한다.

이어서, 제어부(21)는 메쉬 분할 처리를 실행한다(단계 S1-2). 구체적으로는 학습부(210)는 메쉬 분할부(21b)를 이용하여 추출된 특징점이 배치된 얼굴 이미지를 메쉬 분할한다.

다음은, 제어부(21)는 정규화 처리를 실행한다(스텝 S1-3). 구체적으로는 학습부(210)는 정규화부(21c)를 이용하여 각 메쉬 그리드를 미리 정해진 메쉬 위치 (예: 평균 얼굴)로 이동시켜 메쉬로 구성된 삼각형을 변형시킨다. 그러면 모든 얼굴 이미지 특징점의 위치가 정렬된 얼굴 이미지 데이터를 생성할 수 있다.

이상, 얼굴 화상 기억부(22)에 기억된 모든 얼굴 이미지 데이터에 대해 완료될 때까지 반복한다.

(제2 학습 처리)

다음은, 도 2(b)를 이용하여 제2 학습 과정을 설명한다.

여기서, 우선, 제어부(21)는 처리 대상의 해상도(저해상도, 고해상도)를 특정하고 해상도마다 다음 작업을 반복한다.

여기서, 얼굴 화상 기억부(22)에 기억된 얼굴 이미지 데이터에서 순차적으로 처리할 데이터를 확인하고 다음 작업을 반복한다.

우선, 제어부(21)는 타겟 이미지에 리사이징 처리를 수행한다(단계 S2-1). 구체적으로는, 제어부(21)는 후술하는 커플링 학습에 사용할 이미지 크기 (저해상도 이미지와 고해상도 이미지)로 변환한다.

다음은, 제어부(21)는 특징량 추출 처리를 실행한다(단계 S2-2). 구체적으로는 학습부(210)는 특징 화상 추출부(21d)에 의하여, 정규화된 대상 이미지로부터 초해상에 필요한 특징량을 추출한다. 이 처리의 자세한 내용은 후술한다.

다음은 제어부(21)는 패치 분할 처리를 실행한다(단계 S2-3). 구체적으로는 학습부(210)는 대상 이미지를 미리 정해진 수(소정의 수)의 패치로 분할한다. 본 실시 형태에서는, 예를 들면, (25 * 25) 화소의 패치를 생성한다.

다음은, 제어부(21)는 처리 대상의 패치를 확인하고 패치마다 다음 작업을 반복한다.

여기에서, 제어부(21)는 행렬의 생성 처리를 실행한다(단계 S2-4). 구체적으로는 학습부(210)는 처리 대상의 패치에 대해 2차원 패치 데이터를 생성한다. 여기에서는 처리 대상 패치의 RGB 값을 화소마다 늘어 놓은 2차원 패치 데이터를 생성한다. 학습부(210)는, 생성된 2차원 패치 데이터를 1차원 행 패치 벡터(pij)로 변환한다. 여기서, "i"는 패치 위치를, "j"는 얼굴 이미지 데이터를 특정하는 변수이다. 학습부(210)는 1차원 행 패치 벡터(pij)을 행렬 Di에 저장한다.

여기에서, 저해상도 패치에 대한 데이터 행렬 D_li는 다음과 같이 표현할 수 있다.

[수 3]

또한, 고해상도 패치에 대한 데이터 행렬 D_hi는 다음과 같이 표현할 수 있다.

[수 4]

처리 대상의 얼굴 이미지 데이터의 모든 패치에 대한 처리를 완료할 때까지 반복한다.

이상을 모든 얼굴 이미지 데이터에 대한 처리를 완료 할 때까지 반복한다.

다음은, 제어부(21)는 주성분 분석 처리를 수행한다(단계 S2-5). 구체적으로는 학습부(210)는 주성분 분석부(21e)를 이용하여 패치마다 데이터 매트릭스(Dli, 데이터 행렬 D_hi)를 이용하여, 주성분 분석을 행한다.

이 경우, 저해상도에 관하여, 다음의 주성분 계수, 주성분 기저 벡터가 산출된다.

[수 5]

데이터 번호 j의 i번째 저해상 패치 벡터의 n번째 주성분 계수

[수 6]

i번째 저해상 패치 벡터의 n번째 주성분 기저 벡터

또한, 고해상도에 관하여, 다음의 주성분 계수, 주성분 기저 벡터가 산출된다.

[수 7]

데이터 번호 j의 i번째 고해상 패치 벡터의 n번째 주성분 계수

[수 8]

i번째 고해상 패치 벡터의 n번째 주성분 기저 벡터

여기서, 패치 벡터의 평균 벡터를 다음과 같이 표현한다.

[수 9]

i번째 저해상 패치 벡터의 평균 벡터

[수 10]

i번째 고해상 패치 벡터의 평균 벡터

이 경우, 저해상도의 얼굴 이미지 데이터 "j"의 "i"번째 패치 벡터는 다음과 같이 표현할 수 있다.

[수 11]

또한, 고해상도 얼굴 영상 데이터 "j"의 "i"번째 패치 벡터는 다음과 같이 표현할 수 있다.

[수 12]

또한, nmax(i)가 누적 기여율 98% 정도의 주성분으로 제한됨으로써, 차원수를 100 정도로 감소될 수 있다.

모든 해상도(저해상도 이미지와 고해상도 이미지)에 대한 처리를 완료할 때까지 반복한다.

이어서, 제어부(21)는 커플링 학습 처리를 실행한다(단계 S2-6). 구체적으로는 학습부(210)는 저해상도 패치와 고해상도 패치의 주성분 계수를 병합한 벡터에 대해서 다시 패치마다 주성분 분석을 수행함으로써 상관 관계를 학습한다. 이 처리의 자세한 내용은 후술한다.

(특징량 추출 처리)

다음으로, 도 3을 이용하여 특징량 추출 처리(단계 S2-2)을 설명한다.

우선, 제어부(21)는 원이미지의 축소 처리를 실행한다(단계 S3-1). 구체적으로는, 제어부(21)의 특징 화상 추출부(21d)는 처리 대상의 얼굴 이미지를 압축하여 크기를 압축한다. 이렇게 하면 얼굴 이미지의 고주파 성분이 삭제된다.

다음은 제어부(21)는 저주파 성분의 산출 처리를 실행한다(단계 S3-2). 구체적으로는, 특징 화상 추출부(21d)는 축소된 얼굴 이미지 데이터를 원래 크기로 확대한다. 이 경우 원래 크기로 저주파 성분으로 이루어진 이미지 데이터(저주파 성분 이미지)가 생성된다.

다음은, 제어부(21)는 고주파 성분의 산출 처리를 실행한다(스텝 S3-3). 구체적으로는, 특징 화상 추출부(21d)는 원 얼굴 이미지에서 저주파 성분 이미지를 공제함으로써 고주파 성분을 추출한다.

(커플링 학습 처리)

다음은, 도 4를 이용하여 커플링 학습 과정을 설명한다. 여기에서는 저해상도 패치의 주성분 계수와 고해상도 패치의 주성분 계수를 결합하여 하나의 행 벡터(1차원 벡터)를 생성한다. 생성된 행 벡터를 행렬로 저장하고 다시 주성분 분석을 행한다. 저해상도 패치 정보와 고해상도 패치 정보를 결합하여 주성분 분석을 행하는 것으로, 저해상도 패치와 고해상도 패치 사이의 관계를 학습한다.

우선, 제어부(21)는 행 벡터의 생성 처리를 실행한다(단계 S4-1). 구체적으로는 학습부(210)는 저해상도 패치의 주성분 계수와 고해상도 패치의 주성분 계수를 결합한 벡터 P (m) ij를 생성한다.

[수 13]

여기서, [S_in]은 다음의 스케일링 벡터에 있다.

[수 14]

i번째 저해상 패치 벡터의 n번째 주성분 계수의 스케일링 벡터

[수 15]

i번째 고해상 패치 벡터의 n번째 주성분 계수의 스케일링 벡터

이 스케일링 팩터 S_in에는, i번째 저해상도 패치 벡터의 n번째 주성분 계수 Cijn의 표준 편차를 이용한다.

다음은, 제어부(21)는 행렬의 생성 처리를 실행한다(단계 S4-2). 구체적으로는 학습부(210)는 1차원 행 패치 벡터 P_ij를 이용하여 결합 패치 벡터 데이터 행렬 D_mi를 생성한다. 이 데이터 행렬 D_mi는 다음과 같이 표현할 수 있다.

[수 16]

다음은, 제어부(21)는 패치마다의 주성분 분석 처리를 수행한다(단계 S4-3). 구체적으로는, 제어부(21)의 주성분 분석부(21e)는 데이터 행렬 D_mi을 이용하여 주성분 분석을 행한다.

이 경우 다음의 주성분 계수 주성분 기저 벡터가 산출된다.

[수 17]

데이터 번호 j의 i번째 결합 패치 벡터의 n번째 주성분 계수

[수 18]

i번째 결합 패치 벡터의 n번째 주성분 기저 벡터

여기서, 주성분 기저 벡터 U_in은 다음과 같이 표현할 수 있다.

[수 19]

[수 20]

중 전반의 저해상 부분

[수 21]

중 후반의 고해상 부분

다음은, 제어부(21)는 직교화 처리를 수행한다(단계 S4-4). 구체적으로는 학습부(210)는 그람 슈미트 법에서 저해상 성분([수 20])을 직교화한다. 이 경우 고해상 성분([수 21])도 저해상 성분의 직교화 계수를 이용하여 변환한다.

다음은, 제어부(21)는 직교화 벡터를 사용할 수 있는지 여부에 대한 판정 처리를 실행한다(단계 S4-5). 구체적으로는, 학습부(210)는 직교화하여 주성분 벡터의 수를 「nmax (l, i)」개로 제한해도 정확성에 문제가 없는지를 확인한다. 구체적으로는 주성분 벡터의 수를 「nmax (l, i)」개로 제한한 경우에 있어서, 고해상 주성분 벡터의 누적 기여율을 산출한다. 이 누적 기여율이 소정값(예: 98 %)에 도달하는 경우는 직교화 벡터를 이용 가능한 것으로 판정한다.

정확도에 문제가 없고, 직교화 벡터를 이용 가능한 것으로 판정한 경우(단계 S4-5에서 "예"의 경우), 제어부(21)는 직교화된 결합 벡터, 평균 벡터의 기억 처리를 실행한다.(단계 S4-6). 구체적으로는 학습부(210)는 직교화된 결합 벡터, 평균 벡터를 학습 결과 기억부(23)에 저장한다.

한편, 정확도에 문제가 직교된 벡터를 사용할 수 없는 것으로 판정된 경우 (단계 S4-5에서 "아니오"의 경우), 제어부(21)는 원 결합 벡터, 평균 벡터의 기억 처리를 실행한다(단계 S4-7). 구체적으로는 학습부(210)는 원래의 결합 벡터, 평균 벡터를 학습 결과 기억부(23)에 저장한다.

여기에서 결합 패치 벡터의 평균 벡터를 다음과 같이 표현한다.

[수 22]

i번째 결합 패치 벡터의 평균 벡터

이 경우 데이터 "j"의 "i"번째 1 차원 행 패치 벡터 Pij는 다음과 같이 표현할 수 있다.

[수 23]

[수 24]

(초해상 처리)

다음은, 도 5 내지 도 9를 이용하여 초해상 처리를 설명한다.

먼저, 도 5를 이용하여 초해상 처리의 개요를 설명한다.

입력 영상에서 저해상 패치의 주성분 계수로 이루어진 패치 벡터 V10을 취득한다. 학습 결과 기억부(23)로부터 결합 패치 벡터의 주성분 기저 벡터의 저해상부분(V21)와 결합 패치 벡터의 평균 벡터의 저해상부분 (V22)을 취득한다. 패치 벡터(V10)을 평균 벡터의 저해상부분(V22), 주성분 기저 벡터의 저해상부분(V21)으로 표현하는 주성분 계수(Cij)를 산출한다.

학습 결과 기억부(23)에서 결합 패치 벡터의 주성분 기저 벡터의 고해상부분(V31)과 결합 패치 벡터의 평균 벡터의 고해상부분(V32)을 얻을 수 있다. 산출한 주성분 계수(Cij) 주성분 기저 벡터의 고해상부분(V31), 평균 벡터의 고해상부분(V32)을 이용하여 입력 이미지의 초고해상을 생성한다.

다음은, 도 6을 이용하여 구체적으로 초해상 처리를 설명한다.

우선, 제어부(21)는 얼굴 화상 입력 처리를 실행한다(단계 S5-1). 구체적으로는, 제어부(21)의 초해상부(215)는 입력부(10)에 의해 지정된 입력 이미지를 얻을 수 있다.

다음은, 제어부(21)는 얼굴 특징점 추출 처리를 실행한다(단계 S5-2). 구체적으로는 초해상부(215)는 특징 화상 추출부(21d)를 이용하여 단계 S1-1와 마찬가지로 특징점을 추출한다.

다음은, 제어부(21)는 메쉬 분할 처리를 실행한다(단계 S5-3). 구체적으로는, 초해상부(215)는 메쉬 분할부(21b)를 이용하여, 단계 S1-2와 마찬가지로 얼굴 이미지를 메쉬 분할한다.

다음은, 제어부(21)는 정규화 처리를 실행한다(단계 S5-4). 구체적으로는 초해상부(215)는 단계 S1-3와 마찬가지로 각 메쉬 그리드를 미리 정해진 메쉬 위치 (예: 평균 얼굴)로 이동시켜 메쉬로 구성된 삼각형을 변형된다.

다음은, 제어부(21)는 특징량 추출 처리를 실행한다(단계 S5-5). 구체적으로는 초해상부(215)는 특징 화상 추출부(21d) 통해 단계 S2-2와 마찬가지로, 정규 된 입력 이미지에서 초해상에 필요한 특징량을 추출한다.

다음은, 제어부(21)는 패치 분할 처리를 실행한다(단계 S5-6). 구체적으로는 초해상부(215) 단계 S2-3와 마찬가지로, 미리 정해진 수 (소정 수) 패치로 분할한다.

다음은, 제어부(21)는 처리 대상의 패치를 확인하고 패치마다 다음 작업을 반복한다.

여기에서는, 제어부(21)는 초고해상도 패치 예측 처리를 실행한다(단계 S5-7). 구체적으로는 초해상부(215)는 초고해상도 패치 제1 예측 처리 또는 제2 예측 처리를 행한다. 여기에서는, 주성분 벡터가 직교화 되는 경우에는 제1 예측 과정을, 주성분 벡터가 직교화 되어 있지 않은 경우에는 제2 예측 처리를 행한다. 이 처리의 자세한 내용은 후술한다.

이상, 처리 대상 이미지의 모든 패치의 처리를 종료할 때까지 반복한다.

다음은, 제어부(21)는 포스트 처리를 수행한다(단계 S5-8). 이 처리의 자세한 내용은 후술한다.

다음은, 제어부(21)는 정규화 이미지를 원래 이미지의 형상으로 복원 처리를 실행한다(단계 S5-9). 구체적으로는, 초해상부(215)는 각 메쉬 그리드를 단계 S5-4의 이동 방향과 역방향으로 이동시킴으로써 각 메쉬 그리드의 배치를 복원한다.

(제 1 예측 처리)

도 7을 사용하여 초고해상도 패치 제1 예측 처리를 설명한다. 이 처리는, 주성분 벡터가 직교화 되고 있어 보다 고속으로 처리하는 경우에 행해진다.

우선, 제어부(21)는 내적 처리를 실행한다(단계 S6-1). 구체적으로는, 제어부(21)의 제1 예측부(216)는 다음의 식을 이용하여 내적을 산출한다.

[수 25]

여기서, Uin, Pit은 다음과 같다.

[수 26]

직교화된 결합 주성분 벡터의 저해상 부분

[수 27]

입력으로부터 구해진 저해상 패치 계수 벡터

다음은, 제어부(21)는 고해상도 패치의 계산 처리를 실행한다(단계 S6-2). 구체적으로는 제1 예측부(216)는 다음의 식을 이용하여 각 패치에 고해상 패치 계수 벡터를 생성하고 초해상부(215)의 메모리에 저장한다.

[수 28]

(제2 예측 처리)

도 8을 사용하여 초고해상도 패치 제2 예측 처리를 설명한다. 이 작업은 주성분 벡터가 직교화되어 있지 않거나 nmax (l, i) 이상의 주성분 벡터를 고려하고 싶을 경우에 행해진다.

우선, 주성분 분석에 의한 저해상도 패치 계수 벡터의 계산 처리를 실행한다 (단계 S7-1). 구체적으로는 초해상부(215)는 주성분 분석부(21e)를 이용하여 저해상도 패치 계수 벡터를 산출한다.

[수 29]

입력으로부터 구해진 저해상 패치 계수 벡터

다음은, 제어부(21)는 주성분 계수의 가설정 처리를 실행한다(단계 S7-2). 구체적으로는, 제어부(21)의 제2 예측부(217) 단계 S6-1와 마찬가지로 내적을 계산하여 입력 이미지 (데이터 번호: t)의 주성분 계수 Ci, t n을 산출한다. 또한 주성분 벡터가 직교화되어 있지 않기 때문에, 산출한 주성분 계수 Ci, t n을 초기값으로 임시 설정하고 후술하는 최적해 검색을 행한다.

다음은, 제어부(21)는 가설정된 주성분 계수에 의한 저해상도 패치 계수 벡터의 계산 처리를 실행한다(단계 S7-3). 구체적으로는 제2 예측부(217)는 학습 결과 기억부(23)에서 다음의 평균 벡터, 주성분 기저 벡터를 취득한다.

[수 30]

중 전반의 저해상 부분

[수 31]

중 전반의 저해상 부분

이 경우, 입력 이미지 (데이터 번호: t)의 저해상도 이미지의 각 패치의 결합 벡터의 저해상도 성분(저해상도 패치 계수 벡터)은 임시 설정된 주성분 계수 Ci, t n을 이용하여 다음과 같이 표현된다.

[수 32]

[수 33]

저해상도 패치의 주성분 계수 및 고해상도 패치의 주성분 계수를 결합한 벡터 중, 전반의 저해상 부분

다음은 제어부(21)는 차분 산출 처리를 실행한다(단계 S7-4). 구체적으로는 제2 예측부(217) 단계 S7-1에서 산출한 저해상도 패치 계수 벡터와 단계 S7-3에서 산출한 저해상도 패치 계수 벡터와의 차이를 다음의 식을 이용하여 산출한다.

[수 34]

제2 예측부(217)는 산출한 차분을 임시 설정한 저해상도 패치 계수 벡터에 연결하여, 메모리에 임시 저장한다.

다음은, 제어부(21)는 반복 종료 여부에 대한 판정 처리를 실행한다(단계 S7-5). 구체적으로는 제2 예측부(217)는 차분이 최소치가 나왔을 경우, 반복 종료로 판정한다.

차분이 여전히 감소되는 경향이고, 반복이 종료되지 않았다고 판정된 경우(단계 S7-5에서 "아니오"의 경우), 제어부(21)는 임시 설정된 주성분 계수를 낮은 기울기 방향으로 미세한 진동 폭에서 위치 이동시키고, 단계 S7-3 이후의 처리를 반복한다.

한편, 차분이 증가 경향으로 반전하고, 반복 종료 판정한 경우(단계 S7-5에서 "예"의 경우), 제어부(21)는 차분의 최소치의 주성분 계수의 특정 작업을 수행한다 (단계 S7-6). 구체적으로는 제2 예측부(217)은 차분이 최소치인 주성분 계수를 특정한다.

다음은, 제어부(21)는 고해상도 패치의 계산 처리를 실행한다(단계 S7-7). 구체적으로는, 제2 예측부(217)는 학습 결과 기억부(23)에서 다음의 평균 벡터, 주성분 기저 벡터를 취득한다.

[수 35]

중 전반의 고해상 부분

[수 36]

중 후반의 고해상 부분

제2 예측부(217)은, 최소 차분을 갖는 주성분 계수를 하기 식에 적용하여 고해상도 패치 계수 벡터를 산출하고, 초해상부(215)의 메모리에 저장한다.

[수 37]

(포스트 처리)

도 9를 이용하여 포스트 처리를 설명한다. 여기에서는 반복 역투사 (iterative back projection; IBP) 법을 이용하여 산출한 초고해상도를 입력 이미지의 크기로 축소한 경우의 이미지와 입력 이미지와의 오차를 작게 한다.

우선, 제어부(21)는 초해상 결과의 취득 처리를 실행한다(단계 S8-1). 구체적으로는 초해상부(215)는 포스트 처리부(218)를 통해 초해상부(215)의 메모리에 기억된 고해상도 패치 계수 벡터로 이루어진 이미지를 호출한다.

다음은, 제어부(21)는 초해상 결과의 축소 처리를 실행한다(단계 S8-2). 구체적으로는, 제어부(21)의 포스트 처리부(218)는 호출한 초고해상도 이미지를 입력 이미지의 크기로 축소한 압축 이미지를 생성한다.

다음은, 제어부(21)는 원본과의 차분의 산출 처리를 실행한다(단계 S8-3). 구체적으로는, 포스트 처리부(218)는 압축 이미지를 입력 이미지와 비교하여 차분을 산출한다.

다음은, 제어부(21)는 차분이 임계치 이하 여부에 대한 판정 처리를 실행한다(단계 S8-4). 구체적으로는, 포스트 처리부(218)는 계산된 차분과 허용 한계치와 비교한다.

차분이 임계치 이하로 판정된 경우(단계 S8-4에서 "예"의 경우), 제어부 (21)는 초해상 결과 출력 처리를 실행한다(단계 S8-5). 구체적으로는 포스트 처리부(218)는 메모리에 기억된 초고해상도 영상을 초해상 처리 결과로 출력한다.

한편, 차분이 임계치 이하가 아니라고 판정한 경우(단계 S8-4에서 "아니오"의 경우), 제어부(21)는 차등 확대 처리를 실행한다(단계 S8-6). 구체적으로는 포스트 처리부(218)는 산출한 차분을 초고해상도 이미지 해상도로 확대 차등 이미지를 생성한다.

다음은, 제어부(21)는 초해상 결과의 보정 처리를 실행한다(단계 S8-7). 구체적으로는 포스트 처리부(218)는 메모리에 기억된 이미지에서 차등 이미지를 추출한 이미지를 생성하여 메모리에 저장하고 업데이트한다.

제어부(21)는 초해상 결과의 축소 처리(단계 S8-2) 이후의 처리를 반복한다.

이상, 본 실시 형태에 의하면 다음과 같은 이점을 얻을 수 있다.

(1) 본 실시 형태에서는 저해상도 이미지와 고해상도 이미지를 이용하여 주성분 분석에 의한 커플링 학습을 행한다. 저해상도와 고해상도 사이의 관계를 주성분 계수마다 독립적으로 회귀 분석을 통해 학습한 경우에는 우수한 정확도의 주성분 계수와 낮은 정확도의 주성분 계수와 혼합해 버리기 때문에 전반적인 정확도에 문제가 발생할 수 있다. 한편, 본 실시 형태에서는 계수 벡터 단위로 학습하기 때문에, 주성분 계수 전체의 정확도가 일치하고, 전반적인 정확도의 향상을 도모할 수 있다.

이미지 데이터베이스 검색을 행하는 방법과 비교할때, 낮은 누적 기여율을 갖는 주성분 벡터를 제거하여 차원을 작게 함으로써 고속으로 고해상 이미지를 생성할 수 있다. 또한, 이미지 데이터베이스 검색을 행하는 방식보다 데이터 용량을 크게 줄일 수 있다. 또한 여러 장의 사진을 이용하여 학습 처리를 위한 고화질의 고해상도 이미지를 생성할 수 있다.

도 10에 도시된 바와 같이, 입력 이미지를 확대하면 재기(Jaggy) 현상이 발생하고 있지만, 본 실시 형태의 초해상 처리를 행한 초해상 결과는 고해상도를 재현할 수 있다. 저해상도의 입력 이미지의 원본 이미지(고해상도)인 '정해'에 가까운 해상도를 실현할 수 있다.

(2) 본 실시 형태에서는, 제어부(21)는 특징량 추출 처리를 실행한다(단계 S2-2). 여기에서는 고주파 성분을 이용하여 특징량을 산출하고 비교적 양호한 초고해상도를 구현할 수 있다.

도 11에 나타낸 바와 같이, 특징량을 추출하는 경우 "원화상"를 이용한 경우와 「고주파 성분」을 이용한 경우를 비교한다. "원화상"를 이용한 경우에는 저해상도 특징량, 고해상 특징량의 산출에 있어서 어디든지 윤곽 부분에 블록 노이즈가 발생하고 있다. 한편, "고주파성분"을 이용한 경우에는 저해상도 특징량, 고해상 특징량의 산출에 있어서 모두 양호한 초해상을 실현할 수 있다.

(3) 본 실시 형태에서는, 스케일링 팩터 Sin에 i번째 저해상도 패치 벡터의 n번째 주성분 계수 Cijn의 표준 편차를 이용한다. 일반적으로, 두 가지의 정보(특징 벡터)를 합성하여 주성분 분석을 행하는 경우, 합성 이전의 2개의 특징 벡터 사이의 차원의 차이(스케일의 차이)를 많이 흡수하기 때문에 하나의 특징 벡터에 스케일링 팩터를 곱한다. 여기서, 고정치인 스케일링 팩터를 이용하여 주성분 분석을 시행하면 큰 수의 고주파 성분의 주성분 계수 Cijn은 작은 수의 저주파 성분의 주성분 계수 Cijn의 분산에 의하여 소멸된다. 한편, 표준 편차로 나눈 후 주성분 분석을 실시함으로써 각 주성분 계수의 스케일이 동등하게 되어 주성분 분석의 장점을 살릴 수 있다.

도 12에 나타낸 바와 같이, 스케일링 팩터를 이용하지 않는 종래의 방법으로는 초고해상도 이미지 저하가 발생하고 있지만, 본 실시 형태에서는 양호한 초해상도를 구현할 수 있다.

(4) 본 실시 형태에서는, 제어부(21)는 초고해상도 패치 제1 예측 처리 또는 제2 예측 처리를 실행한다. 이는 직교화의 상황에 따라 2개의 예측 처리를 구사할 수 있다.

도 13은 제1 예측 처리(최적해 검색)를 이용한 경우와 제2 예측 처리(직교 화)를 이용한 경우를 비교예로 나타낸다. 양쪽에 있어서 정해 이미지와 초고해상도 이미지의 차이는 거의 발생하지 않는다. 한편, 계산 시간은 직교화에 의해 단축되고 회귀 분석과 동등한 고속 처리를 실현할 수 있다.

(5) 본 실시 형태에서는, 제어부(21)는 포스트 처리를 실행한다. 이렇게 하면 오차를 억제할 수 있다.

도 14와 같이 블록 노이즈가 발생하는 경우에도 포스트 처리에 의해 영향을 작게 할 수 있다.

또한, 상기 실시 형태는 다음의 형태로 변경 될 수 있다.

· 상기 실시 형태에서는 제1 특징 벡터로 저해상도 벡터, 제2 특징 벡터로 고해상도 벡터를 이용하여 얼굴 이미지의 초해상 처리를 행한다. 초해상 처리 대상은 얼굴 이미지에 한정되는 것이 아니라 형상의 패턴을 갖는 물체를 고화질로 변환하는 초해상에 적용할 수 있다. 이 경우에는 특정 패턴을 갖는 저해상도 이미지와 고해상도 이미지를 이용하여 학습 처리를 행한다.

또한, 본 발명의 방법은 초해상 뿐만 아니라 제1 벡터 데이터에서 제2 벡터 데이터를 추정하는 각종 용도에 적용 할 수 있다. 예를 들어, 분할(segmentation)에서는 표면화된 정보에서 잠재화된 정보를 추출한다.

2차원 이미지 특징점 인식에 있어서, 제1 특징 벡터로서 대상 2차원 이미지를, 제2 특징 벡터로서 대상 이미지의 특징점을 사용한다.

2차원 이미지의 분할에 있어서, 제1 특징 벡터로서 대상 2차원 이미지와 제2 특징 벡터로서 대상 이미지의 분할(segmentation)을 이용한다.

3차원 영상 특징점 인식에 있어서는, 제1 특징 벡터로서 대상 3차원 이미지를, 제2 특징 벡터로서 대상 이미지의 특징점을 사용한다.

3차원 이미지의 분할(segmentation)에서는, 제1 특징 벡터로서 대상 3차원 이미지, 제 2의 특징 벡터로서 대상 이미지의 분할(segmentation)을 이용한다.

이하, 정보 예측의 구체적인 예를 든다.

예를 들어, 이미지의 블러 보케(Blur Bokeh)제거에서는 제1 특징 벡터로서 「블러 보케(Blur Bokeh)를 포함한 이미지 벡터」, 제2 특징 벡터로서 「블러 보케(Blur Bokeh)를 제거한 이미지 벡터」를 사용한다.

또한 보안 카메라 비디오 분석(동작 예측)에서는 제1 특징 벡터로서 「예측 시작할 때까지의 시계열적 인물 액션 데이터」, 제2 특징 벡터로서 「예측 시작 후 인물의 시계열적 액션 데이터」를 사용한다.

또한 사진 이외의 정보 예측에도 응용할 수 있다.

예를 들어, 음성의 고음질화에 있어서는 제1 특징 벡터로서 「저음질의 소리 신호」, 제2 특징 벡터로 「고음질의 소리 신호」를 사용한다. 여기에서는 소리 신호의 신호 자체 혹은 고주파 성분을 요소로 하는 벡터를 사용한다.

또한 기상 예측에 있어서는 제1 특징 벡터로 「예측 시작할 때까지의 시계열적 기상 데이터」, 제2 특징 벡터로 「예측 시작 후 시계열적 기상 데이터」를 사용한다. 여기에서는 각종 기상 데이터(날씨, 기압, 기온, 습도, 풍향, 풍속 등)를 요소로 하는 벡터를 사용한다.

또한 경제 예측에 있어서는 제1 특징 벡터로 「예측 시작할 때까지의 시계열적 주가 · 경제 지표 데이터」, 제 2 특징 벡터로 「예측 시작 후 시계열적 주가 · 경제 지표 데이터」를 사용한다. 여기에서는 주가 · 경제 지표 데이터 (각종 주가, 금리, 경기 고용 통계, 물가 상승률, 무역 등)를 요소로 하는 벡터를 사용한다.

또한 건강 예측에 있어서는 제 1 특징 벡터로 「예측 시작할 때까지의 시계열적 생체 지표 데이터」, 제 2 특징 벡터로 「예측 시작 후 시계열적 생체 지표 데이터」를 사용한다. 여기에서는 각종 생체 지표(체중, 신장, 각 건강 진단 값 속도 등)를 요소로 하는 벡터를 사용한다.

또한 교통량 예측에 있어서는 제1 특징 벡터로 「예측 시작할 때까지의 시계열적 교통량에 관한 지표 데이터」, 제 2 특징 벡터로 「예측 시작 후 시계열적 교통량 데이터」를 사용한다. 여기에서는 각 교통량 데이터(측정 지역 차량 번호, 차종, 차량 속도, 행선지 등)를 요소로 하는 벡터를 사용한다.

또한 소비자 행동 예측에 있어서는 제1 특징 벡터로 「예측 시작할 때까지의 시계열적 소비 행동 데이터」, 제2 특징 벡터로 「예측 시작 후 사람의 시계열적 소비 행동 데이터」를 사용한다. 여기에서는 인물 액션 데이터(품명, 소비, 각종 경제 지표 등)를 요소로 하는 벡터를 사용한다.

· 상기 실시 형태에서는 선형 주성분 분석을 행하지만, 비선형 커널 주성분 분석을 실시하는 것도 가능하다.

· 상기 실시 형태에서는 스케일링 팩터 Sin는 i번째 저해상도 패치 벡터의 n 번째 주성분 계수 Cijn의 표준 편차를 이용한다. 스케일링 팩터 Sin 표준 편차에 한정되는 것이 아니라, 주성분 계수 Cijn의 차이를 나타내는 지표를 이용하는 것이 가능하다.

· 상기 실시 형태에서는 스케일링 팩터 Sin는 i번째 저해상도 패치 벡터의 n 번째 주성분 계수 Cijn의 표준 편차를 이용한다. 여기에서 스케일링 팩터 Sin 표준 편차에 한정되는 것이 아니라, 주성분 계수 Cijn의 분산을 나타내는 통계적 변수를 사용하는 것이 가능하다.

Claims (6)

1. 정보를 예측하는 시스템으로, 학습 대상을 기억하는 학습 대상 기억부, 학습 결과를 기억하는 학습 결과 기억부 및, 입력부에 연결된 제어부를 포함하고,
   상기 제어부는,
   상기 학습 대상 기억부에 기억된 각 학습 대상에 있어서, 예측 시작시까지의 정보의 특징 벡터 및 예측 시작후의 정보의 특징 벡터를 산출하고,
   상기 예측 시작시까지의 정보의 특징 벡터 및 상기 예측 시작후의 정보의 특징 벡터를 결합함으로써 결합 벡터를 생성하고,
   모든 학습 대상에 대한 상기 결합 벡터를 학습 데이터로 이용하여, 기저 벡터를 생성하고,
   상기 기저 벡터를 상기 학습 결과 기억부에 기억하는 학습 처리와,
   상기 입력부에 의해 지정된 처리 대상을 예측 시작시까지의 정보로하는 특징 벡터를 산출하고, 상기 예측 시작시까지의 정보의 특징 벡터의 결합 계수를 산출하고,
   상기 결합 계수와, 상기 학습 결과 기억부에 기억된 상기 기저 벡터를 이용하여, 상기 처리 대상의 예측 시작후의 정보의 특징 벡터를 산출하는 예측 처리를 실행하도록 구성되며,
   상기 제어부는,
   상기 예측 시작시까지의 정보를 제1 기저 벡터로 표현한 제1 계수를, 상기 예측 시작시까지의 정보의 분산을 나타내는 지표로 나누어서 예측 시작시까지의 정보의 특징 벡터를 생성하고,
   상기 예측 시작후의 정보의 제2 기저 벡터로 표현한 제2 계수를, 상기 예측 시작후의 정보의 분산을 나타내는 지표로 나누어서 예측 시작후의 정보의 특징 벡터를 생성하도록 구성된 정보를 예측하는 시스템.
2. 삭제
3. 제1항에 있어서, 상기 예측 시작시까지의 정보의 특징 벡터의 분산을 표시하는 지표는, 상기 예측 시작시까지의 정보의 특징 벡터의 결합 계수의 표준 편차이고, 상기 예측 시작후의 정보의 특징 벡터의 분산을 표시하는 지표는, 상기 예측 시작후의 정보의 특징 벡터의 결합 계수의 표준 편차인 것을 특징으로 하는 정보를 예측하는 시스템.
4. 정보를 예측하는 시스템으로, 학습 대상을 기억하는 학습 대상 기억부, 학습 결과를 기억하는 학습 결과 기억부 및, 입력부에 연결된 제어부를 포함하고,
   상기 제어부는,
   상기 학습 대상 기억부에 기억된 각 학습 대상에 있어서, 예측 시작시까지의 정보의 특징 벡터 및 예측 시작후의 정보의 특징 벡터를 산출하고,
   상기 예측 시작시까지의 정보의 특징 벡터 및 상기 예측 시작후의 정보의 특징 벡터를 결합함으로써 결합 벡터를 생성하고,
   모든 학습 대상에 대한 상기 결합 벡터를 학습 데이터로 이용하여, 기저 벡터를 생성하고,
   상기 기저 벡터를 상기 학습 결과 기억부에 기억하는 학습 처리와,
   상기 입력부에 의해 지정된 처리 대상을 예측 시작시까지의 정보로하는 특징 벡터를 산출하고, 상기 예측 시작시까지의 정보의 특징 벡터의 결합 계수를 산출하고,
   상기 결합 계수와, 상기 학습 결과 기억부에 기억된 상기 기저 벡터를 이용하여, 상기 처리 대상의 예측 시작후의 정보의 특징 벡터를 산출하는 예측 처리를 실행하도록 구성되며,
   상기 제어부는,
   산출된 상기 예측 시작후의 정보의 특징 벡터를 변환하고,
   변환된 상기 예측 시작후의 정보의 특징 벡터 및 상기 처리 대상와의 차분을 산출하고,
   상기 차분을 기준치와 비교하여,
   상기 차분이 상기 기준치보다 큰 경우, 상기 차분을 변환하여, 변환된 차분을 상기 예측 시작후의 정보의 특징 벡터로부터 제하여, 포스트 처리를 수행하도록 더 구성된 정보를 예측하는 시스템.
5. 학습 대상을 기억하는 학습 대상 기억부와, 학습 결과를 기억하는 학습 결과 기억부와, 입력부에 연결된 제어부를 구비한 시스템을 이용하여 정보를 예측하기 위한 방법에 있어서,
   상기 제어부가,
   상기 학습 대상 기억부에 기억된 각 학습 대상에 있어서, 예측 시작시까지의 정보의 특징 벡터 및 예측 시작후의 정보의 특징 벡터를 산출하고,
   상기 예측 시작시까지의 정보의 특징 벡터 및 상기 예측 시작후의 정보의 특징 벡터를 결합함으로써 결합 벡터를 생성하고,
   모든 학습 대상에 대한 상기 결합 벡터를 학습 데이터로 이용하여, 기저 벡터를 생성하고,
   상기 기저 벡터를 상기 학습 결과 기억부에 기억하는 학습 처리와,
   상기 입력부에 의해 지정된 처리 대상을 예측 시작시까지의 정보로하는 특징 벡터를 산출하고, 상기 예측 시작시까지의 정보의 특징 벡터의 결합 계수를 산출하고,
   상기 결합 계수와, 상기 학습 결과 기억부에 기억된 상기 기저 벡터를 이용하여, 상기 처리 대상의 예측 시작후의 정보의 특징 벡터를 산출하여 예측 처리를 실행하는 것을 포함하고,
   상기 제어부는,
   상기 예측 시작시까지의 정보를 제1 기저 벡터로 표현한 제1 계수를, 상기 예측 시작시까지의 정보의 분산을 나타내는 지표로 나누어서 예측 시작시까지의 정보의 특징 벡터를 생성하고,
   상기 예측 시작후의 정보의 제2 기저 벡터로 표현한 제2 계수를, 상기 예측 시작후의 정보의 분산을 나타내는 지표로 나누어서 예측 시작후의 정보의 특징 벡터를 생성하는 것을 더 구비하는 정보를 예측하기 위한 방법.
6. 학습 대상을 기억하는 학습 대상 기억부와, 학습 결과를 기억하는 학습 결과 기억부와, 입력부에 연결된 제어부를 구비한 시스템을 이용하여 정보를 예측하기 위한 프로그램이 기억된 비일시적 컴퓨터 가독 기록 매체에 있어서,
   상기 프로그램이 실행될 때, 상기 제어부가,
   상기 학습 대상 기억부에 기억된 각 학습 대상에 있어서, 예측 시작시까지의 정보의 특징 벡터 및 예측 시작후의 정보의 특징 벡터를 산출하고,
   상기 예측 시작시까지의 정보의 특징 벡터 및 상기 예측 시작후의 정보의 특징 벡터를 결합함으로써 결합 벡터를 생성하고,
   모든 학습 대상에 대한 상기 결합 벡터를 학습 데이터로 이용하여, 기저 벡터를 생성하고,
   상기 기저 벡터를 상기 학습 결과 기억부에 기억하는 학습 처리와,
   상기 입력부에 의해 지정된 처리 대상을 예측 시작시까지의 정보로하는 특징 벡터를 산출하고, 상기 예측 시작시까지의 정보의 특징 벡터의 결합 계수를 산출하고,
   상기 결합 계수와, 상기 학습 결과 기억부에 기억된 상기 기저 벡터를 이용하여, 상기 처리 대상의 예측 시작후의 정보의 특징 벡터를 산출하여 예측 처리를 실행하도록 구성되고,
   상기 제어부는, 상기 프로그램이 실행될 때,
   상기 예측 시작시까지의 정보를 제1 기저 벡터로 표현한 제1 계수를, 상기 예측 시작시까지의 정보의 분산을 나타내는 지표로 나누어서 예측 시작시까지의 정보의 특징 벡터를 생성하고,
   상기 예측 시작후의 정보의 제2 기저 벡터로 표현한 제2 계수를, 상기 예측 시작후의 정보의 분산을 나타내는 지표로 나누어서 예측 시작후의 정보의 특징 벡터를 생성하도록 구성되어 있는 정보를 예측하기 위한 프로그램이 기억된 비일시적 컴퓨터 가독 기록 매체.

Images