JP6475565B2 - スコア付与対象を分類可能な装置、システム、プログラム及び方法 - Google Patents
スコア付与対象を分類可能な装置、システム、プログラム及び方法 Download PDFInfo
- Publication number
- JP6475565B2 JP6475565B2 JP2015099423A JP2015099423A JP6475565B2 JP 6475565 B2 JP6475565 B2 JP 6475565B2 JP 2015099423 A JP2015099423 A JP 2015099423A JP 2015099423 A JP2015099423 A JP 2015099423A JP 6475565 B2 JP6475565 B2 JP 6475565B2
- Authority
- JP
- Japan
- Prior art keywords
- score
- cluster
- targets
- target
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定する評価点決定手段と、
当該評価項目によって張られる空間において複数のスコア付与対象をクラスタリングし、クラスタを生成するクラスタリング手段と、
1つの当該クラスタに属する2つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う付与対象提示手段と、
当該提示に応じて付与されたスコアを取得するスコア取得手段と、
2つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するクラスタ判定手段と
を有する対象分類装置が提供される。
クラスタリング手段は、当該評価項目の点数で規定される距離が定義された距離空間においてクラスタリングを行い、
付与対象提示手段は、当該クラスタの代表となるスコア付与対象と、当該クラスタ内で当該代表となるスコア付与対象から最も離隔した若しくは所定距離以上離隔したスコア付与対象とを、又は当該クラスタ内で最も離隔した若しくは所定距離以上離隔した2つのスコア付与対象を、2つのスコア付与対象として抽出することも好ましい。
予めスコアの付与された複数のスコア付与対象における当該スコアと、当該複数のスコア付与対象について決定された当該評価項目の点数とに基づいて、当該評価項目の重み係数を決定する重み係数決定手段を更に有し、
クラスタリング手段は、当該評価項目の点数及び重み係数で規定される距離が定義された距離空間においてクラスタリングを行うことも好ましい。
(a)定義された関数に含まれる基本関数の数に基づいて決定される複雑度、
(b)関数及びデータの総ライン数に基づいて決定される総ライン度、
(c)コメント又は説明を含む文章の総ライン数に基づいて決定されるコメント度、及び
(d)所定のデータを入力した際に正解データが出力される割合に基づいて決定される正解度
を含む群から選択された少なくとも1つを採用することも好ましい。
データベース部に格納された当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定する評価点決定手段と、
当該評価項目によって張られる空間において複数のスコア付与対象をクラスタリングし、クラスタを生成するクラスタリング手段と、
1つの当該クラスタに属する2つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う付与対象提示手段と、
当該提示に応じて付与されたスコアを取得するスコア取得手段と、
2つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するクラスタ判定手段と
を有する対象分類システムが提供される。
当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定する評価点決定手段と、
当該評価項目によって張られる空間において複数のスコア付与対象をクラスタリングし、クラスタを生成するクラスタリング手段と、
1つの当該クラスタに属する2つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う付与対象提示手段と、
当該提示に応じて付与されたスコアを取得するスコア取得手段と、
2つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するクラスタ判定手段と
してコンピュータを機能させる対象分類プログラムが提供される。
当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定するステップと、
当該評価項目によって張られる空間において複数のスコア付与対象をクラスタリングし、クラスタを生成するステップと、
1つの当該クラスタに属する2つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行うステップと、
当該提示に応じて付与されたスコアを取得するステップと、
2つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するステップと
を有する対象分類方法が提供される。
図1は、本発明による対象分類装置を含む対象分類システムの一実施形態を示す模式図である。
(a)スコアを付与する評価者によって操作可能な、対象分類装置としてのスコア付与装置2と、
(b)実習者が操作することによって、与えられた課題に対する成果物としてのソフトウェア(作成ソフトウェア)がその上で作成される複数の、ユーザインタフェース装置としてのパーソナル・コンピュータ(PC)3と
を有している。
(A)スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定し、
(B)評価項目によって張られる分類空間において複数のスコア付与対象をクラスタリングして、スコア付与対象を要素とする複数のクラスタを生成し、
(C)判定対象である1つのクラスタに属する2つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う
ことに特徴を有する。
(D)この提示に応じて(評価者によって)付与されたスコアを取得し、
(E)上記(C)で抽出された2つのスコア付与対象に付与された両スコアが一致する場合、又は両スコアの差若しくは比率が所定範囲内である場合、この判定対象のクラスタに属するスコア付与対象はスコアに関して互いに同類である、と判定する
ことに特徴を有する。
図2は、本発明によるスコア付与装置の一実施形態における機能構成を示す機能ブロック図である。
(a)複雑度、(b)総ライン度、(c)コメント度、(d)正解度
が挙げられている。
(1) (複雑度)=nf/Nf×100
によって算出される。また、総ライン度は、点数を決定すべき作成ソフトウェアにおける関数及びデータの総ライン数をnlとし、評価対象となる全ての作成ソフトウェアにおける関数及びデータの総ライン数の最大値をNlとすると、次式
(2) (総ライン度)=nl/Nl×100
によって算出される。
(3) (コメント度)=nc/Nc×100
によって算出される。また、正解度は、点数を決定すべき作成ソフトウェアに対し所定のnr個の互いに異なるデータを毎回個別に入力した際、そのうち正解データが出力された回数をNrとすると、次式
(4) (正解度)=nr/Nr×100
によって算出される。
(5) S(pm)=Σck×xk(pm)
が得られる。
(6)90=c1×80+c2×100
45=c1×100+c2×50
を解くと、c1=0及びc2=0.9が算出される。従って、この場合、スコアの算出式として、
(7) S(pm)=0×x1+0.9×x2=0.9×x2
が得られる。
(a)評価項目によって張られる空間において複数のスコア付与対象(作成ソフトウェア)をクラスタリングし、複数のクラスタを生成する。また、
(b)後に説明するように、クラスタ判定部218によって、クラスタに属するスコア付与対象(作成ソフトウェア)はスコアに関して互いに同類ではないとの判定が行われた場合、この評価項目によって張られる空間におけるスコアに関して同類であると判定されていないスコア付与対象を、再度クラスタリングし、新たなクラスタを生成する。
(8) Sim(pm, pn)={Σck 2×(xk(pm)−xk(pn))2}0.5
で定義される類似度距離Sim(pm, pn)を採用することができる。上式(8)において、Σは整数kについての1からNk(全評価項目数)までの総和である。従って、この場合、クラスタリングを行う空間における2点(2つの作成ソフトウェア)間の距離は、これらの作成ソフトウェア間の評価項目に関する類似度と捉えることができる。
(a)処理の当初から付与されたスコア、及び/又は
(b)後述するように付与対象提示部216によるスコア付与対象の提示に応じて評価者によってスコアが付与され、スコア取得部217で取得されたスコア
のみであるような実施形態も可能である。このように、現場の評価状況に応じ、スコア付与部215を使用する程度を制御して、スコアの予めの付与又は自動付与と、評価者によるスコア付与との割合を調整することによって、スコア付与処理時間を抑制しつつ、評価者の評価方針・意向を十分に反映させた評価を実現することが可能となる。さらに、当初からスコア付与済みの作成ソフトウェアをも用いて、クラスタリング精度を向上させ、評価者の方針・意向により近いクラスタリングを実行することもできるのである。
(a1)判定対象のクラスタの代表、例えばセントロイド(重心)に最も近いスコア付与対象(セントロイド要素)と、
(a2)クラスタ内で、この代表となるスコア付与対象から最も離隔した(最も類似度の低い)又は所定距離以上離隔した(所定以下の類似度を有する)スコア付与対象と
を抽出してもよい。または、
(b)クラスタ内で最も離隔した又は所定距離以上離隔した2つのスコア付与対象
を抽出することも好ましい。このようなスコア付与対象を抽出し提示することによって、後述するように取得したスコアによる判定を行い、クラスタ内のスコアに関する均一性を担保する処理を行うことができる。
(a)2つのスコア付与対象(作成ソフトウェア)に付与された両スコアが一致する場合に、又は
(b)両スコアの差若しくは比率が所定範囲内である場合に、
判定対象のクラスタに属するスコア付与対象はスコアに関して互いに同類であると判定する。また、クラスタ判定部218は、この場合、判定対象のクラスタに属するスコア付与対象(作成ソフトウェア)は、取得された若しくは付与されているスコアの一方に等しい又は両スコアの平均値に等しいスコアを有するものとしてもよい。
図5は、本発明による対象分類方法の一実施形態を示すフローチャートである。
(S503)クラスタCjのセントロイド要素(クラスタ重心との距離が最小の作成ソフトウェア)cjにスコアが付与されているか否かを判定する。ここで、真の判定(付与されているとの判定)を行った際、ステップS505の判定に移行する。
(S504)一方、ステップS503で偽の判定(付与されていないとの判定)を行った際、セントロイド要素cjを評価者に提示して、このセントロイド要素cjに対するスコアを取得し、このスコアをセントロイド要素cjに付与する。
(S506)一方、ステップS505で偽の判定(付与されていないとの判定)を行った際、要素xjを評価者に提示して、この要素xjに対するスコアを取得し、このスコアを要素xjに付与する。
(S507)セントロイド要素cjのスコアである(スコア)cjと、最離隔要素xjのスコアである(スコア)xjとが等しいか否かを判定する。
(S509)集合Cが空集合であるか否か、即ち集合Cに要素が残っていないか否かを判定する。ここで、真の判定(空集合であるとの判定)を行った場合、本対象分類(スコア付与)方法が完了したとして処理を終了する。一方、偽の判定(集合Cに要素が残っているとの判定)を行った場合、ステップS502に戻って、集合Cの次のクラスタについての処理を繰り返す。
(S512)再クラスタリングの結果生成されたクラスタのうち、前回のクラスタによって生成されたクラスタと同一のものが存在するか否かを判定する。ここで、真の判定(存在するとの判定)を行った際、ステップS511に戻ってクラスタリングをやり直す。一方、偽の判定(存在しないとの判定)を行った際、ステップS502に戻って、再クラスタリングによって新たに生成された集合Cのクラスタについての処理を繰り返す。尚、このステップS512は省略することも可能である。
2 スコア付与装置(対象分類装置)
201 通信インタフェース
202 データベース部
203 タッチパネル・ディスプレイ(TP・DP)
204 キーボード(KB)
211 通信制御部
212 評価点決定部
213 重み係数決定部
214 クラスタリング部
215 スコア付与部
216 付与対象提示部
217 スコア取得部
218 クラスタ判定部
3 PC(インタフェース装置)
4 データベース
Claims (11)
- スコアを付与すべき複数のスコア付与対象をスコアに関して分類する対象分類装置であって、
当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定する評価点決定手段と、
当該評価項目によって張られる空間において前記複数のスコア付与対象をクラスタリングし、クラスタを生成するクラスタリング手段と、
1つの当該クラスタに属する2つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う付与対象提示手段と、
当該提示に応じて付与されたスコアを取得するスコア取得手段と、
前記2つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するクラスタ判定手段と
を有することを特徴する対象分類装置。 - 前記クラスタリング手段は、前記クラスタ判定手段が当該クラスタに属するスコア付与対象はスコアに関して互いに同類ではないと判定した場合、当該空間においてスコアに関し同類であると判定されていないスコア付与対象を、再度クラスタリングし、新たなクラスタを生成することを特徴する請求項1に記載の対象分類装置。
- 前記クラスタリング手段は、当該評価項目の点数で規定される距離が定義された距離空間においてクラスタリングを行い、
前記付与対象提示手段は、当該クラスタの代表となるスコア付与対象と、当該クラスタ内で当該代表となるスコア付与対象から最も離隔した若しくは所定距離以上離隔したスコア付与対象とを、又は当該クラスタ内で最も離隔した若しくは所定距離以上離隔した2つのスコア付与対象を、前記2つのスコア付与対象として抽出する
ことを特徴とする請求項1又は2に記載の対象分類装置。 - 予めスコアの付与された複数のスコア付与対象における当該スコアと、当該複数のスコア付与対象について決定された当該評価項目の点数とに基づいて、当該評価項目の重み係数を決定する重み係数決定手段を更に有し、
前記クラスタリング手段は、当該評価項目の点数及び重み係数で規定される距離が定義された距離空間においてクラスタリングを行う
ことを特徴とする請求項1から3のいずれか1項に記載の対象分類装置。 - 当該クラスタの代表となる又は当該クラスタから抽出される1つのスコア付与対象における少なくとも1つの評価項目に係る点数及び当該評価項目の重み係数に基づいてスコアを算出し、算出された当該スコアを当該1つのスコア付与対象に付与するスコア付与手段
を更に有することを特徴とする請求項4に記載の対象分類装置。 - 前記クラスタリング手段は、予めスコアの付与されたスコア付与対象を含むスコア付与対象群をクラスタリングすることを特徴とする請求項1から5のいずれか1項に記載の対象分類装置。
- 当該スコア付与対象は、作成されたソフトウェアであることを特徴とする請求項1から6のいずれか1項に記載の対象分類装置。
- 前記評価点決定手段は、当該点数を決定する評価項目として、定義された関数に含まれる基本関数の数に基づいて決定される複雑度、関数及びデータの総ライン数に基づいて決定される総ライン度、コメント又は説明を含む文章の総ライン数に基づいて決定されるコメント度、及び所定のデータを入力した際に正解データが出力される割合に基づいて決定される正解度を含む群から選択された少なくとも1つを採用することを特徴とする請求項7に記載の対象分類装置。
- スコアを付与すべき複数のスコア付与対象を格納するデータベース部を備え、前記複数のスコア付与対象をスコアに関して分類する対象分類システムであって、
前記データベース部に格納された当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定する評価点決定手段と、
当該評価項目によって張られる空間において前記複数のスコア付与対象をクラスタリングし、クラスタを生成するクラスタリング手段と、
1つの当該クラスタに属する2つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う付与対象提示手段と、
当該提示に応じて付与されたスコアを取得するスコア取得手段と、
前記2つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するクラスタ判定手段と
を有することを特徴する対象分類システム。 - スコアを付与すべき複数のスコア付与対象をスコアに関して分類する装置に搭載されたコンピュータを機能させる対象分類プログラムであって、
当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定する評価点決定手段と、
当該評価項目によって張られる空間において前記複数のスコア付与対象をクラスタリングし、クラスタを生成するクラスタリング手段と、
1つの当該クラスタに属する2つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う付与対象提示手段と、
当該提示に応じて付与されたスコアを取得するスコア取得手段と、
前記2つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するクラスタ判定手段と
してコンピュータを機能させることを特徴する対象分類プログラム。 - スコアを付与すべき複数のスコア付与対象をスコアに関して分類する装置に搭載されたコンピュータによる情報処理として実施される対象分類方法であって、
当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定するステップと、
当該評価項目によって張られる空間において前記複数のスコア付与対象をクラスタリングし、クラスタを生成するステップと、
1つの当該クラスタに属する2つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行うステップと、
当該提示に応じて付与されたスコアを取得するステップと、
前記2つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するステップと
を有することを特徴する対象分類方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015099423A JP6475565B2 (ja) | 2015-05-14 | 2015-05-14 | スコア付与対象を分類可能な装置、システム、プログラム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015099423A JP6475565B2 (ja) | 2015-05-14 | 2015-05-14 | スコア付与対象を分類可能な装置、システム、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016218527A JP2016218527A (ja) | 2016-12-22 |
JP6475565B2 true JP6475565B2 (ja) | 2019-02-27 |
Family
ID=57581203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015099423A Active JP6475565B2 (ja) | 2015-05-14 | 2015-05-14 | スコア付与対象を分類可能な装置、システム、プログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6475565B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110796262B (zh) * | 2019-09-26 | 2023-09-29 | 北京淇瑀信息科技有限公司 | 机器学习模型的测试数据优化方法、装置及电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4328492B2 (ja) * | 2002-04-08 | 2009-09-09 | 株式会社日本標準 | 学習指導及び絶対評価の支援システム |
JP2004333552A (ja) * | 2003-04-30 | 2004-11-25 | Shingakusha Co Ltd | 学習結果評価システム |
JP5471673B2 (ja) * | 2010-03-23 | 2014-04-16 | 大日本印刷株式会社 | 文書分類装置、プログラムおよび記憶媒体 |
JP5823943B2 (ja) * | 2012-10-10 | 2015-11-25 | 株式会社Ubic | フォレンジックシステムおよびフォレンジック方法並びにフォレンジックプログラム |
-
2015
- 2015-05-14 JP JP2015099423A patent/JP6475565B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016218527A (ja) | 2016-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11599714B2 (en) | Methods and systems for modeling complex taxonomies with natural language understanding | |
US10692006B1 (en) | Crowdsourced chatbot answers | |
US20230045037A1 (en) | Educational and content recommendation management system | |
US9268766B2 (en) | Phrase-based data classification system | |
AU2013251195B2 (en) | Program, apparatus, and method for information processing | |
JP7316453B2 (ja) | オブジェクト推薦方法及び装置、コンピュータ機器並びに媒体 | |
US10452984B2 (en) | System and method for automated pattern based alert generation | |
US20170004455A1 (en) | Nonlinear featurization of decision trees for linear regression modeling | |
US20180102062A1 (en) | Learning Map Methods and Systems | |
JP2019514120A (ja) | ユーザ中心の文書要約のための技術 | |
JP6719399B2 (ja) | 解析装置、解析方法、およびプログラム | |
CN105074694A (zh) | 自然语言处理的系统和方法 | |
US9959353B2 (en) | Determining a company rank utilizing on-line social network data | |
CN110869925A (zh) | 搜索中的多个实体感知的预输入 | |
US20200410056A1 (en) | Generating machine learning training data for natural language processing tasks | |
CN117480543A (zh) | 自动生成基于段落的项目以用于测试或评估的系统和方法 | |
US9058328B2 (en) | Search device, search method, search program, and computer-readable memory medium for recording search program | |
He et al. | Challenges and opportunities in statistics and data science: Ten research areas | |
US20210390263A1 (en) | System and method for automated decision making | |
US20160217139A1 (en) | Determining a preferred list length for school ranking | |
US20150339404A1 (en) | Inferring seniority level of a member of an on-line social network | |
Santur et al. | Improving of personal educational content using big data approach for mooc in higher education | |
JP6475565B2 (ja) | スコア付与対象を分類可能な装置、システム、プログラム及び方法 | |
US20160217540A1 (en) | Determining a school rank utilizing perturbed data sets | |
Kilis et al. | Usability Evaluation of The Android Operating System Using Use Questionnaire |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181226 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6475565 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |