JP5227146B2 - クラスタリング結果表示装置、その方法及びプログラム - Google Patents
クラスタリング結果表示装置、その方法及びプログラム Download PDFInfo
- Publication number
- JP5227146B2 JP5227146B2 JP2008302507A JP2008302507A JP5227146B2 JP 5227146 B2 JP5227146 B2 JP 5227146B2 JP 2008302507 A JP2008302507 A JP 2008302507A JP 2008302507 A JP2008302507 A JP 2008302507A JP 5227146 B2 JP5227146 B2 JP 5227146B2
- Authority
- JP
- Japan
- Prior art keywords
- cluster
- result display
- representative
- score
- clustering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 48
- 238000012800 visualization Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 19
- 241000282324 Felis Species 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 241000282372 Panthera onca Species 0.000 description 3
- 241000282373 Panthera pardus Species 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241000282323 Felidae Species 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
。この例は、100の文書からなる文書集合が、5つのクラスタに分類された場合である。従来のサービスによると、図20(a)に示すようなクラスタリング結果が表示される際
には、図20(b)に示すように、単にクラスタを構成する文書数の順番で並べ替えて、各
クラスタ毎に適宜抽出された代表語をそのまま当該クラスタのインデックスとして表示される。そのため、以下のような問題が生じうる。
通常、クラスタの表示順は、そのクラスタに含まれる文書数などユーザ個々の興味や嗜好等とは無関係な尺度により定められ、誰にでも同じように表示される。そのため、ユーザがマイナーな話題や専門的な話題を求めている場合、ユーザが求める話題が多く含まれるクラスタがその文書数の少なさから表示が下位になってしまい、探索に手間がかかる。また、不適当な(自らが求めるクラスタと異なる)クラスタを選択してしまうことも多くなると考えられ、そのような場合、手戻りや再入力といった余分な検索コストが発生してしまう。以上のような問題は、クラスタリングを行った結果生まれたクラスタの数が多い場合に特に顕著である。
各クラスタは、各クラスタに属する文書を代表する代表語をインデックスとして表示される。この代表語がユーザにとって未知語である場合、ユーザはクラスタの内容を推定できず、自らが求めるクラスタを選択することが困難となる。
図1は、本発明のクラスタリング結果表示装置10の機能構成例を示す図であり、図2はその処理フロー例である。クラスタリング結果表示装置10は、検索部11とクラスタリング部12と興味情報蓄積部13と演算部14と可視化出力部15とを備える。
CnとRn,iを出力する(S2)。クラスタ代表要素としては、例えば代表語や代表U
RLなどが考えられるが、そのクラスタの内容や特徴を表現するインデックスとなりうる要素であればいかなる要素を用いても構わない。抽出するクラスタ代表要素の個数は、代表要素という性質上、数個程度とすることが望ましい。また例えば、後述するクラスタ代表要素スコアが、任意に設定したしきい値の以上であるものを抽出することとしてもよい。
(R2,1=ネコ科、R2,2=ヒョウ)。
uはユーザ番号又はユーザuに対応するプロファイル番号、jは興味要素番号)を、その興味要素スコアSAu,jとともに、予め蓄積しておく。ここで、興味要素の種別は、ク
ラスタ代表要素の種別と同じにする。例えば、代表要素を代表語とした場合には興味語とし、代表URLとした場合は興味URLとする。
〔参考文献1〕徳永健伸著、「情報検索と言語処理」、言語と計算5、東京大学出版会、1999年11月、p.27−33
X」と「ジョブズ」、C4については「プロレス」であることから、これらの要素を抽出する。次にクラスタCn毎の当該合致している各要素の興味要素スコアSA1,jの合計
は、クラスタC1については0.1(車)、C3については0.7(=0.5(MacOS X)+0.2(ジョブズ))、C4については0.6(プロレス)であることから、
これらをそれぞれクラスタスコアSC1,1、SC1、3、SC1,4とする。なお、クラスタC2とC5については合致している要素が無いため、SC1、2とSC1、5は0とする。そして、図4の例は、興味の大小をスコアの大小として表現したものであることから、SCu,nを数値の大きいものから順位付けをすれば、各クラスタCnに対し、興味
の度合が大きい順に順位Puが付与されたことになる。図5の例では、SC1、3>SC1,4>SC1,1>SC1、2=SC1、5であることから、この順番に各クラスタCnに順位Puを付与すればよい。なお、C2とC5のように同順位となるものについては、例えばクラスタを構成する文書数の大小関係によるなど、適宜ルールを定めて順位付けをすればよい。
nについて順位Puを可視化して出力する(S4)。上記の例では、クラスタ順位PuはC3、C4、C1、C2、C5の順となることから、例えば図6に示すように、各クラスタの代表要素番号iが1の代表要素をインデックスとして、それらを単純にクラスタ順位に従い、「MacOS X→プロレス→車→ネコ科→Atari(登録商標)」と並べる
ことでクラスタの順位Puを可視化することができる。また、並べ方によらずタグクラウド的に、表示フォントをクラスタの順位Puに応じて相違させることで可視化してもよい。図7は、従来のようにクラスタに含まれる文書数が多い順に各クラスタのインデックスを並べつつ、本発明の方法により求めたクラスタの順位Puをフォントの大小によって可視化した例である。
の興味の度合の相違を提示することができる。また、年齢層別に興味語スコアが得られていた場合には、年齢層ごとにスコアを正規化してそれぞれの割合を求めることで、図8(b)に示すようにその興味語に対する各年齢層の興味の度合の相違を提示することができる
。このような参考情報をユーザに提供することで、ユーザが検索を行う際の利便性を向上することができる。
第1実施形態では、各クラスタに該当する興味要素スコアのみにより各クラスタのクラスタスコアを求めて各クラスタに順位を付与した。これに対し、第2実施形態では、更にクラスタ代表要素スコアを加味してクラスタスコアを求め、そのスコアに従い各クラスタに順位を付与する。
要素ごとにクラスタ代表要素スコアSRn,iを付与し、CnとRn,iとSRn,iとを
出力する(S5)。
におけるクラスタ代表要素Rn,iの含有度合を示す値であるが、このような性質を満た
すものであれば、いかなる手法を用いて求めても構わない。例えば、クラスタリング手法と同様、STCを用いて求めてもよいし、単純に、あるクラスタ代表要素がそのクラスタを構成する複数の文書のうち、どの程度の数の文書に含まれるかという比率によって求めてもよい。
、「要素の含まれる文書数÷クラスタ全文書数」により求めたクラスタ代表要素スコアSRn,iをそれぞれ付与した例を示す。例えば、クラスタ2については、クラスタ代表要
素(代表語)R2,1「ネコ科」のクラスタ代表要素スコアSR2,1は1.0であることから、この場合、「ネコ科」という語句はクラスタ2の全文書に含まれていることになる。また、R2,2「ヒョウ」のクラスタ代表要素スコアSR2,2は0.6であることから、「ヒョウ」という語句はクラスタ2の全文書の6割に含まれていることになる。
てのクラスタCnのクラスタスコアSCu,nとし、このように求めたクラスタスコアに
従い各クラスタに順位Puを付与し、順位Puを出力する(S6)。
C4についてはプロレスであることから、これらを抽出する。次に合致している各要素のクラスタ代表要素スコアSRn,iと興味要素スコアSAu,jとを乗算し、代表要素スコアSARu,j,n,iを求める。具体的には、「車」については0.1(=1.0×0.
1)、「MacOS X」については0.5(=1.0×0.5)、「ジョブズ」につい
ては0.08(=0.4×0.2)、「プロレス」については0.6(=1.0×0.6)となる。そして、クラスタCn毎に代表要素スコアの合計を求める。具体的には、クラスタC1については0.1(車)、C3については0.58(=0.5(MacOS X
)+0.08(ジョブズ))、C4については0.6(プロレス)であることから、これらをそれぞれクラスタスコアSC1,1、SC1、3、SC1,4とする。なお、クラスタC2とC5については合致している要素が無く、代表要素スコアは共に0であるため、SC1、2とSC1、5も共に0となる。その結果、SC1、4>SC1,3>SC1,1>SC1、2=SC1、5であることから、この順番に各クラスタCnに順位P1を付与すればよい。
第2実施形態は、クラスタスコアを求めるのにあたり、各クラスタに該当する興味要素スコアに加え、各クラスタ代表要素のスコアを加味することにより、ユーザが求める話題の絶対量が多いクラスタが上位に表示されやすくするものである。第3実施形態は、各クラスタスコアに対して、更に各クラスタに含まれる文書数に応じて重み付けをして、その重み付け後のスコアによりクラスタの順位を決定するものである。
れた各スコアSBCu,nに従い各クラスタに順位Puを付与し、順位Puを出力する(
S8)。
C1,1=4(=0.1×40)、SBC1,2=0、SBC1,3=12.18(=0.
58×21)、SBC1,4=6(=0.6×10)、SBC1,5=0となる。その結果、SBC1、3>SBC1,4>SBC1,1>SBC1、2=SBC1、5となることから、この順番に各クラスタCnに順位P1を付与すればよい。
各クラスタは、それぞれのクラスタにおける、クラスタ代表要素のいずれかをインデックスとして表示される。しかし、クラスタ代表要素がユーザにとって未知の語句等であった場合、ユーザはクラスタの内容を推定できず、求めるクラスタを選択することが困難となる。そこで第4実施形態は、第2実施形態における処理の際にそれぞれのクラスタごとに得られた各クラスタ代表要素の中で、代表要素スコアが最も大きいクラスタ代表要素を当該クラスタのインデックスとする構成である。
趣味・嗜好が反映された値であるとともに、クラスタを構成する文書集合におけるクラスタ代表要素Rn,iの含有度合が反映された値であると言える。そのため、代表要素スコ
アが最も大きいクラスタ代表要素をインデックスとすることで、インデックスがユーザにとって既知の語句等で表示されるとともに、そのクラスタの内容がインデックスに適切に反映され、探索の効率化を図ることができる。
クラスタのインデックスとして、各クラスタの順位Puを可視化して出力する(S10)。
コ科→MacOS X→プロレス」というように表示される。このように、第4実施形態
の方法によれば、ユーザ2の興味語に無い「Atari」の代わりに興味語にある「ゲーム機」が表示され、興味語にあるが興味要素スコアが相対的に低い「車」の代わりに興味要素スコアが相対的に高い「ジャガーXJ」が表示される。
10、20、30、40 クラスタリング結果表示装置
11 検索部 12、22、32 クラスタリング部
13 興味情報蓄積部 14、24、34、44 演算部
15、45 可視化出力部
Claims (13)
- ユーザにより入力された検索語について、任意の検索エンジンを用いて通信ネットワーク上を検索し、該当する文書集合を収集する検索部と、
上記文書集合について、所定の方法によりクラスタリングを行って複数のクラスタに分類するとともに、各クラスタ毎に1以上のクラスタ代表要素を抽出し、上記各クラスタ代表要素にそれぞれ上記各クラスタ代表要素の文書集合における含有度合を示す値であるクラスタ代表要素スコアを付して出力するクラスタリング部と、
ユーザ又はプロファイル毎に、1以上の興味要素がその興味要素スコアとともに蓄積された興味情報蓄積部と、
上記興味情報蓄積部に蓄積された上記ユーザ又は上記ユーザに対応するプロファイルの各興味要素とその興味要素スコアを参照し、当該各興味要素と上記クラスタの各クラスタ代表要素とが合致した各要素の興味要素スコアに、上記各要素のクラスタ代表要素スコアをそれぞれ乗算して当該各要素の代表要素スコアを求め、その合計を当該クラスタのクラスタスコアとして、それを各クラスタ毎に求め、そのスコアに従い付与した各クラスタの順位と、上記代表要素スコアとを出力する演算部と、
それぞれのクラスタについて、上記代表要素スコアの最も大きいクラスタ代表要素を当該それぞれのクラスタのインデックスとして、各クラスタについて上記順位を可視化して出力する可視化出力部と、
を備えるクラスタリング結果表示装置。 - 請求項1に記載のクラスタリング結果表示装置において、
上記クラスタリング部は、更に各クラスタを構成する文書数を出力し、
上記演算部は、各クラスタ毎に求めた上記クラスタスコアに、更に各クラスタを構成する文書数をそれぞれ乗算して得られたスコアに従い、各クラスタに順位を付与することを特徴とするクラスタリング結果表示装置。 - 請求項1または2に記載のクラスタリング結果表示装置において、
上記可視化出力部は、上記順位に従って各クラスタを整列することにより上記順位を可視化することを特徴とするクラスタリング結果表示装置。 - 請求項1または2に記載のクラスタリング結果表示装置において、
上記可視化出力部は、各クラスタのインデックスを表示するフォントを上記順位に応じて相違させることにより上記順位を可視化することを特徴とするクラスタリング結果表示装置。 - 請求項1乃至4のいずれかに記載のクラスタリング結果表示装置において、
上記クラスタ代表要素は代表語であり、上記興味要素は興味語であることを特徴とする
クラスタリング結果表示装置。 - 請求項1乃至4のいずれかに記載のクラスタリング結果表示装置において、
上記クラスタ代表要素は代表URLであり、上記興味要素は興味URLであることを特徴とするクラスタリング結果表示装置。 - ユーザにより入力された検索語について、任意の検索エンジンを用いて通信ネットワーク上を検索し、該当する文書集合を収集する検索ステップと、
上記文書集合について、所定の方法によりクラスタリングを行って複数のクラスタに分類するとともに、各クラスタ毎に1以上のクラスタ代表要素を抽出し、上記各クラスタ代表要素にそれぞれ上記各クラスタ代表要素の文書集合における含有度合を示す値であるクラスタ代表要素スコアを付して出力するクラスタリングステップと、
上記クラスタの各クラスタ代表要素と上記ユーザ又は上記ユーザに対応するプロファイルの各興味要素とが合致した各要素の興味要素スコアに、上記各要素のクラスタ代表要素スコアをそれぞれ乗算して当該各要素の代表要素スコアを求め、その合計を当該クラスタのクラスタスコアとして、それを各クラスタ毎に求め、そのスコアに従い付与した各クラスタの順位と、上記代表要素スコアとを出力する演算ステップと、
それぞれのクラスタについて、上記代表要素スコアの最も大きいクラスタ代表要素を当該それぞれのクラスタのインデックスとして、各クラスタについて上記順位を可視化して出力する可視化出力ステップと、
を実行するクラスタリング結果表示方法。 - 請求項7に記載のクラスタリング結果表示方法において、
上記クラスタリングステップは、更に各クラスタを構成する文書数を出力し、
上記演算ステップは、各クラスタ毎に求めた上記クラスタスコアに、更に各クラスタを構成する文書数をそれぞれ乗算して得られたスコアに従い、各クラスタに順位を付与することを特徴とするクラスタリング結果表示方法。 - 請求項7または8に記載のクラスタリング結果表示方法において、
上記可視化出力ステップは、上記順位に従って各クラスタを整列することにより上記順位を可視化することを特徴とするクラスタリング結果表示方法。 - 請求項7または8に記載のクラスタリング結果表示方法において、
上記可視化出力ステップは、各クラスタのインデックスを表示するフォントを上記順位に応じて相違させることにより上記順位を可視化することを特徴とするクラスタリング結果表示方法。 - 請求項7乃至10のいずれかに記載のクラスタリング結果表示方法において、
上記クラスタ代表要素は代表語であり、上記興味要素は興味語であることを特徴とするクラスタリング結果表示方法。 - 請求項7乃至10のいずれかに記載のクラスタリング結果表示方法において、
上記クラスタ代表要素は代表URLであり、上記興味要素は興味URLであることを特徴とするクラスタリング結果表示方法。 - 請求項1〜6のいずれかに記載した装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008302507A JP5227146B2 (ja) | 2008-11-27 | 2008-11-27 | クラスタリング結果表示装置、その方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008302507A JP5227146B2 (ja) | 2008-11-27 | 2008-11-27 | クラスタリング結果表示装置、その方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010128771A JP2010128771A (ja) | 2010-06-10 |
JP5227146B2 true JP5227146B2 (ja) | 2013-07-03 |
Family
ID=42329123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008302507A Expired - Fee Related JP5227146B2 (ja) | 2008-11-27 | 2008-11-27 | クラスタリング結果表示装置、その方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5227146B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101172487B1 (ko) * | 2010-11-29 | 2012-08-14 | 엔에이치엔(주) | 검색 결과 내에 첨부된 정보 데이터베이스에 기초한 검색 리스트 및 검색어 순위 제공 방법 및 시스템 |
JP5640833B2 (ja) * | 2011-03-10 | 2014-12-17 | 富士通株式会社 | 検索方法、検索プログラム及び検索装置 |
US20130212089A1 (en) * | 2012-02-10 | 2013-08-15 | Google Inc. | Search Result Categorization |
JP6065001B2 (ja) * | 2012-04-12 | 2017-01-25 | 日本電気株式会社 | データ検索装置、データ検索方法およびデータ検索用プログラム |
JP6135327B2 (ja) * | 2013-06-20 | 2017-05-31 | コニカミノルタ株式会社 | 情報処理装置、文書データ整理装置、文書提示方法、およびコンピュータプログラム |
KR101761226B1 (ko) * | 2013-06-23 | 2017-07-25 | 인텔 코포레이션 | 수취인에게 관심 있는 선물의 크라우드-소싱을 위한 상황적 관련성 정보에 기초한 사용자 정보의 선택적 공유 |
US10559223B2 (en) * | 2014-09-08 | 2020-02-11 | Under Armour, Inc. | Food description processing methods and apparatuses |
JP6412540B2 (ja) * | 2016-11-10 | 2018-10-24 | Necパーソナルコンピュータ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN110580510B (zh) * | 2019-09-12 | 2023-07-25 | 深圳力维智联技术有限公司 | 一种聚类结果评价方法和系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002230035A (ja) * | 2001-01-05 | 2002-08-16 | Internatl Business Mach Corp <Ibm> | 情報整理方法、情報処理装置、情報処理システム、記憶媒体、およびプログラム伝送装置 |
US20060074864A1 (en) * | 2004-09-24 | 2006-04-06 | Microsoft Corporation | System and method for controlling ranking of pages returned by a search engine |
JP4592629B2 (ja) * | 2006-03-28 | 2010-12-01 | 日本電信電話株式会社 | 文書検索支援方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
JP4547500B2 (ja) * | 2006-07-21 | 2010-09-22 | 国立大学法人群馬大学 | 検索装置及びプログラム |
-
2008
- 2008-11-27 JP JP2008302507A patent/JP5227146B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010128771A (ja) | 2010-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5227146B2 (ja) | クラスタリング結果表示装置、その方法及びプログラム | |
US11507551B2 (en) | Analytics based on scalable hierarchical categorization of web content | |
CN106980692B (zh) | 一种基于微博特定事件的影响力计算方法 | |
JP5913736B2 (ja) | キーワードの推薦 | |
JP5662961B2 (ja) | レビュー処理方法およびシステム | |
CN105912669B (zh) | 用于补全搜索词及建立个体兴趣模型的方法及装置 | |
US7711735B2 (en) | User segment suggestion for online advertising | |
US8793253B2 (en) | Unified semantic ranking of compositions of ontological subjects | |
US20140310255A1 (en) | Search suggestion and display environment | |
US8452795B1 (en) | Generating query suggestions using class-instance relationships | |
US20100185623A1 (en) | Topical ranking in information retrieval | |
US9613138B2 (en) | Unified semantic scoring of compositions of ontological subjects | |
WO2015160415A2 (en) | Systems and methods for visual sentiment analysis | |
CN102004772A (zh) | 一种用于根据检索词进行搜索结果排序的方法及设备 | |
US9940408B2 (en) | Trigger query obtaining apparatus, trigger query obtaining method, and non-transitory computer readable recording medium | |
Bouras et al. | Clustering user preferences using W-kmeans | |
JP6196200B2 (ja) | ラベル抽出装置、ラベル抽出方法およびプログラム | |
US20150169562A1 (en) | Associating resources with entities | |
WO2020057237A1 (zh) | 适用于关注对象的影响力检测方法、电子终端及存储介质 | |
JP7001380B2 (ja) | 情報処理システム、情報処理方法、およびプログラム | |
JP6746472B2 (ja) | 生成装置、生成方法および生成プログラム | |
JP2012104051A (ja) | 文書インデックス作成装置 | |
JP5411802B2 (ja) | 代表語抽出装置、代表語抽出方法および代表語抽出プログラム | |
Pisal et al. | AskUs: An opinion search engine | |
JP5265610B2 (ja) | 関連語抽出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130315 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5227146 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160322 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |