JP3736564B2 - データ処理装置 - Google Patents
データ処理装置 Download PDFInfo
- Publication number
- JP3736564B2 JP3736564B2 JP2004155839A JP2004155839A JP3736564B2 JP 3736564 B2 JP3736564 B2 JP 3736564B2 JP 2004155839 A JP2004155839 A JP 2004155839A JP 2004155839 A JP2004155839 A JP 2004155839A JP 3736564 B2 JP3736564 B2 JP 3736564B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- information
- data
- keyword
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
予測値を容易に求めることができ、情報をユーザーに必要な評価値が精度高く取り出すことができるという作用を持つ。
以下、本発明の第一の実施の形態について、図面を参照しながら説明する。図1は本発明の実施の形態1の情報フィルタ装置の構成を示すブロック図であり、図2はその構成と動作を分かりやすくするために機能単位にまとめたブロック図である。
51を介して入力することにより、インタフェースユニット51では、当該教師信号を受け取り、当該「情報」とその教師信号を学習ユニット52に送る。なお、このユーザーによる教師信号の入力は、学習ユニット52の学習能力をより高めるために実施するものであり、学習ユニット52の学習能力(ユーザーがどんな「情報」を過去に必要としたかという履歴の学習能力)が既に十分に高ければ行う必要はない。
SY=ΣΣMij・Vi・Vj
ij
と計算する。
まず、情報データ入力端子100から情報データDが入力され、キーワード数信号入力端子101から情報データに付けられたキーワードの個数を表すキーワード数信号nofKsが入力され、キーワード信号入力端子102から複数のキーワードであるキーワード群信号Ks=(K[1],K[2],・・・,K[nofKs])が入力される。
ベクトル生成部1の動作を図3に示すフローチャートを参照しながら説明する。まず、キーワード数信号nofKsとキーワード群信号Ksを受けると(図3ステップ(イ))、内部のベクトル信号V=(V[1],V[2],・・・,V[nofDic])を(0,0,・・・,0)に、キーワードカウンタ信号iを1にセットする(同図ステップ(ロ)、(ハ))。次に、辞書カウンタ信号jを0セットした後辞書カウンタ信号jを1だけ増やす(同図ステップ(ニ))。
この目的のために、肯定信号計算部31は、前記ベクトル信号Vを受けて、肯定メトリック記憶部5から肯定メトリック信号MYを読み出し、肯定信号SYを
信号MNを読み出し、否定信号SNを
N=SY−C・SN
と計算し、信頼性信号Rを
R=C・SY+SN
と計算する。
URD[i+1]=URD[i] i=i1,・・・,nofURD
と置き換え(同図ステップ(ヘ)〜(リ))、その後、i1番目の未読データURD[i1]を
N[i1] =N
R[i1] =R
nofKs[i1] =nofKs
Ks[i1] =Ks
D[i1] =D
と前記必要性信号N等で置き換える(同図ステップ(ヌ))。この置き換えが終了すると、未読データ部指示端子110から出力する未読データ部指示信号WIを0に戻し(同図ステップ(ル))、処理を終了する。
TD[i]=TD[i−1], i=2,・・・,nofTD
と置き換え(同図ステップ(ル))、1番目の教師データTD[1]を前記教師信号Tと前記未読データのキーワード数信号nofKs[1]とキーワード群信号Ks[1]とを用いて
T[1] =T
TnofKs[1] =nofKs[1]
TKs[1] =Ks[1]
と置き換え(同図ステップ(ル)、(ヲ))、前記未読データ記憶部10の未読データURDを
URD[i]=URD[i+1], i=1,・・・,(nofURD−1)とし(同図ステップ(ワ)、(カ))、nofURD番目の未読データの必要性信号を
N[nofURD]=(最小値Vmin)
とする(同図ステップ(ヨ)、(タ)、(レ))。
MY[i][j]=MY[i][j]+LV[i]・LV[j]
(ここで、i,j=1〜nofDiC)
と修正する(同図ステップ(チ))。
データDについていたキーワード信号(複数)に対して大きな値を持つようになる。その結果、前述の肯定信号SYが、ユーザーが必要とする情報データDに対して大きくなるようになる。否定メトリック信号MNも以下のように同様の処理がなされる。
MN[i][j]=MN[i][j]+LV[i]・LV[j]
(ここで、i,j=1〜nofDiC)
と修正する(同図ステップ(リ))。
c=c+1
と1だけ増やす(同図ステップ(ヌ))。
c]がT[c]=−1になるかまたはc=nofTDとなるまで繰り返す。T[c]=−1またはc=nofTDとなると(同図ステップ(ヲ))、メトリック学習の処理を終了し、メトリック学習制御信号MLCを学習制御部14に送る。
c=c+1
と1だけ増やす(同図ステップ(チ))。
学習制御部14は、判定面学習部21から判定面学習制御信号PLCを受け、学習制御部
指示信号は待機中を示す値にし、処理を終了する。
MY[i][j]=α・MY[i][j]+LV[i]・LV[j]
MN[i][j]=β・MN[i][j]+LV[i]・LV[j]
を用いてもよい結果が得られる。(ここで、αとβとは、1より小さい正の数)
さらに、文献「情報処理学会技術報告、自然言語処理101−8(1994.5.27)」などに記載された文書からキーワード群信号とキーワード数信号を生成するキーワード生成部を付加する構成をとれば、キーワードが与えられていない情報に対しても適用できる情報フィルタ装置を構成することができる。
以下、本発明の第2の実施の形態について、図面を参照しながら説明する。実施の形態2は、実施の形態1の構成に辞書学習部を付加し、辞書記憶部2に記憶された符号辞書信号DCKが使用者に適応するように更新し、かつ肯定メトリック信号MYと否定メトリック信号MNを単純な頻度分布に対応するキーワードの自己相関行列から、情報が必要/不要の出現するキーワードの確率分布を考慮したものへと改良したものである。
Nを0、適応符号辞書に対応して、符号辞書の文字列も全てブランクとした状態である。
))。
NN/(NY+NN)
と比較して、文字列W[j]が付いている情報データDが使用者にとって不要である場合の確率
PN[j]/(PY[j]+PN[j])
が大きく異なる場合に、大きくなるようなものであれば、文字列W[j]は、情報データDが使用者にとって不要と判定する上で有効である。同様に、使用者の必要な情報データDが出現する確率
NY/(NY+NN)
と比較して、文字列W[j]が付いている情報データDが使用者にとって必要である場合の確率
PY[j]/(PY[j]+PN[j])
が大きく異なる場合に、大きくなるようものであれば、文字列W[j]は、情報データDが使用者にとって必要と判定する上で有効である。
PY[j]+PN[j]≒1
を満たす適応符号辞書信号FDCK[j]のキーワードコスト信号を過大評価する等不適切な場合がある。これを回避する好ましい実施の形態の一つは、キーワードコスト信号を
M[i][j]=MY1[C[i]][C[j]], i,j=1、・・nofDCKその他の場合は、i=jの場合は、
M[i][i]=PY[C[i]], i,=1、・・nofDCK
i≠jの場合は、
M[i][j]=0, i,j=1、・・nofDCK
とした上で、
MY1[i][j]=M[i][j]、i,j=1、・・nofDCK
と1次肯定メトリック信号MY1の置き換えを行う。1次否定メトリック信号MN1に対しても、同様の置き換えを行う(同図ステップ(ム))。
と置き換える。
肯定メトリック記憶部26から1次肯定メトリック信号MY1を、1次否定メトリック記憶部27から1次否定メトリック信号MN1をそれぞれ読み出す。
MY1[i][j]=MY1[i][j]+LV[i]・LV[j]
(ここで、i,j=1〜nofDiC)
と修正する。前記教師データTD[c]の教師信号T[c]がT=0である場合には、1次否定メトリック信号MN1を
MN1[i][j]=MN1[i][j]+LV[i]・LV[j]
(ここで、i,j=1〜nofDiC)
と修正する。教師データカウンタの値を
c=c+1
と1だけ増やす。
NN/(NY+NN)
と比較して、文字列W[j]が付いている情報データDが使用者にとって不要である場合の確率
PN[j]/(PY[j]+PN[j])
が大きく異なる場合に、大きくなるようなものであり、使用者の必要な情報データDが出現する確率
NY/(NY+NN)
と比較して、文字列W[j]が付いている情報データDが使用者にとって必要である場合の確率
PY[j]/(PY[j]+PN[j])
が大きく異なる場合に、大きくなるようなものであるといった性質を持っていれば、なんでもよい。これを満たす好ましいのは、肯定メトリック信号MYを
て構成されるコスト関数を最大にする判定面パラメータCをニュートン法、挟み撃ち法などで求める方法であってもよい。さらに、簡便な方法として、
C=tanθi
ここで、
θi=0.5・π(i/90) i=1,・・・,90
の中から、T[c]=1である情報とT[c]=0である情報をもっともよく分離できるCを選ぶと言う方法も考えることができる。
MY1[i][j]=α・MY1[i][j]+LV[i]・LV[j]
MN1[i][j]=α・MN1[i][j]+LV[i]・LV[j]を用いてもよい結果が得られる。(ここで、αは、1より小さい正の数)
もしくは、MY1[i][j]またはMN1[i][j]のいずれかが一定値を越えた場合に、
MY1[i][j]=MY1[i][j]/2
MN1[i][j]=MN1[i][j]/2
として、信号のオーバーフローを防ぐように構成することは、実施上好ましい。これは、適応符号辞書信号FDCK[j]の肯定回数PY[j]と否定回数PN[j]、および全肯定回数信号NYと全否定回数NNについても同様である。
2 辞書記憶部
3 スコア計算部
5 肯定メトリック記憶部
6 否定メトリック記憶部
7 必要性計算部
8 判定パラメータ記憶部
9 未読データ書き込み制御部
10 未読データ記憶部
11 未読データ出力制御部
12 教師データ制御部
13 教師データ記憶部
14 学習制御部
16 スイッチ
17 スイッチ
18 スイッチ
19 メトリック学習部
20 学習用ベクトル生成部
21 判定面学習部
22 スコア計算部
23 辞書学習部
24 適応符号辞書記憶部
25 回数記憶部
26 1次肯定メトリック記憶部
27 1次否定メトリック記憶部
28 KDメトリック学習部
30 キーワード評価部
31 キーワード評価信号ソート部
32 キーワード検索式生成部
50 情報フィルタリングユニット
51 インタフェースユニット
52 学習ユニット
100 情報入力端子
101 キーワード数信号入力端子
102 キーワード信号入力端子
103 データ読み出し開始信号入力端子
104 データ表示端子
105 教師信号入力端子
106 学習開始信号入力端子
107 学習制御部指示信号出力端子
110 未読データ部指示端子
111 キーワード検索式生成開始信号入力端子
112 キーワード検索式方法切り替え信号入力端子
113 キーワード検索式信号出力端子
114 項数信号入力端子
Claims (6)
- 情報は情報データと一つ以上のキーワードを含むものであって、
未読情報を入力する手段と、
情報データと一つ以上のキーワードから成る一つ以上の情報に対して必要か不要かを示す教師信号との組を教師データとして予め準備し、
前記新たに入力された未読情報に付される一つ以上のキーワードと前記キーワードと教師信号の組とから未読情報に付された前記キーワードに対する必要とする教師信号の組が多ければ大きな値を、不要とする教師信号の組が多ければ小さな値を持つ前記未読情報に対するユーザーの必要性を予測する必要性信号として求める必要性計算手段と、
前記必要性信号が大きな未読情報から未読情報の情報データを優先的に未読データ記憶手段に記憶する書き込み制御手段と、
を有するデータ処理装置。 - 前記書き込む書き込み制御手段は、未読データ記憶手段に前記必要性信号の大きな未読情報から未読情報の情報データから優先的に有限個を書き込む請求項1記載のデータ処理装置。
- 前記情報データに付される一つ以上のキーワードと前記情報が必要か不要かを示す教師信号との組は、教師データとして記憶する記憶手段をさらに有することを特徴とする請求項1または2記載のデータ処理装置。
- 前記教師データは、情報データをユーザーに提示し、前記提示された情報データが必要か不要かを入力することにより、前記情報データに付される一つ以上のキーワードと前記情報が必要か不要かを示す教師信号との組を教師データとして記憶することを特徴とする請求項3記載のデータ処理装置。
- 前記キーワード毎にユーザーの必要性を予測する必要性予測値は、前記キーワードが付けられた情報に対してユーザーが必要とした頻度(肯定回数)と、不要とした頻度(否定回数)から、キーワード毎にユーザーの必要性を予測する必要性予測値を計算することを特徴とする請求項1乃至4のいずれかに記載のデータ処理装置。
- 前記キーワード毎にユーザーの必要性を予測する必要性予測値は、前記提示された情報に対してユーザーが必要とした頻度(全肯定回数信号)と、不要とした頻度(全否定回数信号)と、前記キーワードが付けられた情報に対してユーザーが必要とした頻度(肯定回数)と、不要とした頻度(否定回数)から計算されることを特徴とする請求項1乃至4のいずれかに記載のデータ処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004155839A JP3736564B2 (ja) | 1995-09-04 | 2004-05-26 | データ処理装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22617295 | 1995-09-04 | ||
JP3154796 | 1996-02-20 | ||
JP2004155839A JP3736564B2 (ja) | 1995-09-04 | 2004-05-26 | データ処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000341564A Division JP3622668B2 (ja) | 1995-09-04 | 2000-11-09 | 情報フィルタ装置及び情報フィルタリング方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004295912A JP2004295912A (ja) | 2004-10-21 |
JP3736564B2 true JP3736564B2 (ja) | 2006-01-18 |
Family
ID=33424580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004155839A Expired - Lifetime JP3736564B2 (ja) | 1995-09-04 | 2004-05-26 | データ処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3736564B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102346109B1 (ko) * | 2017-07-31 | 2022-01-03 | 한국전자통신연구원 | 부하분산 장치 및 방법 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3244084B2 (ja) * | 1995-09-04 | 2002-01-07 | 松下電器産業株式会社 | キーワード検索式生成装置及びキーワード検索式生成方法 |
JP3244005B2 (ja) * | 1995-09-04 | 2002-01-07 | 松下電器産業株式会社 | 情報フィルタ装置及び情報フィルタリング方法 |
JP3156703B1 (ja) * | 1995-09-04 | 2001-04-16 | 松下電器産業株式会社 | メトリック学習装置及びメトリック学習方法 |
JP3622668B2 (ja) * | 1995-09-04 | 2005-02-23 | 松下電器産業株式会社 | 情報フィルタ装置及び情報フィルタリング方法 |
JP3244083B2 (ja) * | 1995-09-04 | 2002-01-07 | 松下電器産業株式会社 | 適応辞書装置及び適応辞書方法 |
-
2004
- 2004-05-26 JP JP2004155839A patent/JP3736564B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2004295912A (ja) | 2004-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102054514B1 (ko) | 인공지능(ai)을 통한 딥러닝훈련모듈과, 순위화프레임워크모듈을 활용하여, 법률전문가에게 최적화된 모범답안을 제시하는 한편, 법률정보를 의미 벡터로 변환하여, 데이터베이스에 저장하고, 이에 대한 문자열 사전모듈을 활용한 온라인 법률정보사전을 제공하는 시스템 및 그 방법 | |
JP3244005B2 (ja) | 情報フィルタ装置及び情報フィルタリング方法 | |
CN100565670C (zh) | 用于用户模型化以增强对命名实体识别的系统和方法 | |
CN109299245B (zh) | 知识点召回的方法和装置 | |
CN117235281B (zh) | 基于知识图谱技术的多元数据管理方法及系统 | |
CN111553159B (zh) | 一种问句生成方法及系统 | |
CN109918555A (zh) | 用于提供搜索建议的方法、装置、设备和介质 | |
CN114358657B (zh) | 一种基于模型融合的岗位推荐方法及装置 | |
CN115861995A (zh) | 一种视觉问答方法、装置及电子设备和存储介质 | |
JP3344953B2 (ja) | 情報フィルタ装置及び情報フィルタリング方法 | |
JP2007148118A (ja) | 音声対話システム | |
JP3469302B2 (ja) | テキスト選定装置 | |
JP3260093B2 (ja) | 情報フィルタ装置とデータベース再構築装置及び情報フィルタリング方法と初期化方法 | |
JP3736564B2 (ja) | データ処理装置 | |
JP3622668B2 (ja) | 情報フィルタ装置及び情報フィルタリング方法 | |
JP3244084B2 (ja) | キーワード検索式生成装置及びキーワード検索式生成方法 | |
JP3244083B2 (ja) | 適応辞書装置及び適応辞書方法 | |
CN116340641A (zh) | 基于显式和隐式兴趣特征的智能新闻推荐方法和系统 | |
CN116975403A (zh) | 内容检索模型及内容检索处理方法、装置和计算机设备 | |
JP3156703B1 (ja) | メトリック学習装置及びメトリック学習方法 | |
JPH11143900A (ja) | 情報フィルタ装置及び情報フィルタリング方法 | |
JP3203203B2 (ja) | 情報フィルタ装置及び情報フィルタリング方法 | |
CN111680151B (zh) | 一种基于层次化transformer的个性化商品评论摘要生成方法 | |
Kaur et al. | Conversational natural language processing for automated customer support services | |
CN110162617A (zh) | 提取摘要信息的方法、装置、语言处理引擎和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050315 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050510 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051017 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091104 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091104 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101104 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111104 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131104 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |