JP5497948B1 - 表形式データ処理プログラム、方法及び装置 - Google Patents
表形式データ処理プログラム、方法及び装置 Download PDFInfo
- Publication number
- JP5497948B1 JP5497948B1 JP2013134184A JP2013134184A JP5497948B1 JP 5497948 B1 JP5497948 B1 JP 5497948B1 JP 2013134184 A JP2013134184 A JP 2013134184A JP 2013134184 A JP2013134184 A JP 2013134184A JP 5497948 B1 JP5497948 B1 JP 5497948B1
- Authority
- JP
- Japan
- Prior art keywords
- item
- data
- output
- tabular data
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【解決手段】表形式データ処理プログラムは、複数の項目に対応する複数の要素を含むレコードが複数登録される表形式データについて、入力される表形式データである入力テーブルに含まれるレコードを集約し、出力する表形式データである出力テーブルを生成する。入力テーブルに基づいて、項目の順序に対応付けられている要素を抽出し、表形式データにおけるレコードの順序と対応付けて項目ごとに保持する項目別データを生成するステップと、項目別データに含まれる要素を集約し、集約後の項目別データから出力テーブルを生成する出力テーブル生成ステップとをコンピュータに実行させる。
【選択図】図2
Description
ることにより、情報を一元的に管理し、不整合、損失、冗長を低減することができる。なお、1又は複数のテーブルから同一の実体に関するレコードを求めるため、「名寄せ」と呼ばれる処理を行うこともある。名寄せすることにより、集計結果がより精確になる。
る場合もある。そこで、RDBを利用することなく簡易的にデータを管理するため、CSV(Comma Separated Values)に代表されるテキストで記録された表形式データ(「Delimiter-Separated Values」、「Character-Separated Values」等とも呼ばれる)を利用する場合も少なくない。
を支援するための技術を提供することを目的とする。
支援するための技術を提供することができる。
図1は、表形式データを処理するためのシステムの一例を示す機能ブロック図である。本実施形態に係るシステムは、表形式データ処理装置1と、ユーザ端末2とを含む。また、表形式データ処理装置1とユーザ端末2とは、ネットワーク3を介して接続されている。
図2は、表形式データ処理装置1の一例を示す機能ブロック図である。本実施形態に係る表形式データ処理装置1は、データ記憶部101と、設定処理部102と、データ分割部103と、表示制御部104と、縦結合部105と、対照群生成部106と、横結合部107と、集計部108と、出力データ生成部109とを有する。
図3は、コンピュータの一例を示す装置構成図である。表形式データ処理装置1及びユーザ端末2は、図3に示すようなコンピュータである。図3に示すコンピュータ1000は、CPU(Central Processing Unit)1001、主記憶装置1002、補助記憶装置
1003、通信IF(Interface)1004、入出力IF(Interface)1005、ドライブ装置1006、通信バス1007を備えている。CPU1001は、プログラム(「ソフトウェア」又は「アプリケーション」とも呼ぶ)を実行することにより本実施の形態に係る処理等を行う。主記憶装置1002は、CPU1001が読み出したプログラムやデータをキャッシュしたり、CPUの作業領域を展開したりする。主記憶装置は、具体的には、RAM(Random Access Memory)やROM(Read Only Memory)等である。補助記憶装置1003は、CPU1001により実行されるプログラムや、本実施の形態で用いる設定情報などを記憶する。補助記憶装置1003は、具体的には、HDD(Hard-disk Drive)やSSD(Solid State Drive)、フラッシュメモリ等である。主記憶装置1002や補助記憶装置1003は、表形式データ処理装置1のデータ記憶部101として働く。通信IF1004は、他のコンピュータとの間でデータを送受信する。表形式データ処理装置1及びユーザ端末2は、通信IF1004を介してネットワーク3に接続される。通信IF1004は、具体的には、有線又は無線のネットワークカード等である。入出力IF1005は、入出力装置と接続され、ユーザから入力を受け付けたり、ユーザへ情報を出力したりする。入出力装置は、具体的には、キーボード、マウス、ディスプレイ、タッチパネル等である。ドライブ装置1006は、磁気ディスク、光磁気ディスク、光ディスク等の記憶媒体に記録されたデータを読み出したり、記憶媒体にデータを書き込んだりする。そして、以上のような構成要素が、通信バス1007で接続されている。なお、これらの構成要素はそれぞれ複数設けられていてもよいし、一部の構成要素(例えば、ドライブ装置1006)を設けないようにしてもよい。また、入出力装置がコンピュータと一体に構成されていてもよい。また、ドライブ装置1006で読み取り可能な可搬性の記憶媒体や、フラッシュメモリのような可搬性の補助記憶装置1003、通信IF1004などを介して、本実施の形態で実行されるプログラムが提供されるようにしてもよい。そして、CPU1001がプログラムを実行することにより、上記のようなコンピュータを図2に示した表形式データ処理装置1として働かせる。また、ユーザ端末2は、例えば、CPU1001が実行するインターネットブラウザを介して表形式データ処理装置1へ処理を要求したり、受信した処理結果を表示したりする。
次に、表形式データ処理装置1が実行する処理を、処理フローを用いて説明する。図4は、ファイル読込処理の一例を示す処理フローである。まず、表形式データ処理装置1の設定処理部102は、CSVファイルの入力を受け付ける(図4:ステップS1)。具体的には、設定処理部102は、ユーザ端末2からCSVファイルを受信し、データ記憶部101に記憶させる。例えば、図5に示すようなCSVファイルが入力される。
つ読み出し、1行目から順に新たな要素としてリストに追加する。ここでは、例えば、図5Bに示す表形式データの行リストに示すようなデータが生成される。図5Bの行リストでは、リストの各要素が実線で区切られ、各要素にはCSVデータの各レコードが登録されている。
次に、複数の表形式データに含まれるレコードの和集合を生成する縦結合処理を説明する。図6は、縦結合設定処理の一例を示す処理フローである。
次に、縦結合処理等の前処理として実行される項目別リスト生成処理を説明する。図8は、項目別リスト生成処理の一例を示す処理フローである。
行リストに未処理のものが存在するか判断する(S27)。未処理の行リストが存在する場合(S27:YES)、データ分割部103は、S21の処理に戻る。一方、未処理の行リストが存在しない場合(S27:NO)、データ分割部103は、項目別リスト生成処理を終了する。
次に、複数の表形式データに含まれるレコードの和集合を生成する縦結合処理を説明する。なお、本実施形態では、図10Aに示した項目別リストと、他の表形式データから生成された図10Bに示す項目別リストとが予めデータ記憶部101に記憶されているものとする。図11は、縦結合処理の一例を示す処理フローである。
別リストの「Name」にスペース区切りで結合されて登録されている。また、出力用の項目別リストとして、結合される項目別リストには存在しない「Office」を生成している。「Office」の項目別リストには、レコードの数だけ「空」が登録されている。また、S38までの処理によって、図12Aに示すような出力用の項目別リストが、結合する表形式データの分だけ生成される。例えば、図10Bに示した項目別リストから、図12Bに示すような出力用の項目別リストが生成される。図12Bの例では、結合する2つの表形式データの項目のうち、図10Aに示した「L_Name」及び「F_Name」の項目の結合と、図10Bに示した「Name」の項目とが、1つの項目「Name」に集約されている。
次に、結合後の項目別データを表形式データとして出力する処理について説明する。図13は、出力処理の一例を示す処理フローである。
次に、横結合処理及び集計処理について説明する。本実施形態に係る横結合処理とは、キー項目の値が所定の条件を満たす、複数のレコードを1つのレコードに統合する処理である。また、本実施形態に係る集計処理とは、キー項目の値が所定の条件を満たす、複数のレコードを集計する処理である。まず、横結合処理で用いられるキー項目を設定するための横結合設定処理について説明する。
目の項目名と、「名寄せ判断」の選択肢3001と、「データクレンジング処理」を行うか否かの選択肢3002と、設定を登録するための「登録」ボタン3003が表示されている。例えば、図16のキー項目一覧に表示されたパネルをクリックすることにより、図17に示すような、当該パネルが示すキー項目の設定画面が表示される。
次に、集計処理で用いられるキー項目及び集計項目を設定するための集計設定処理につ
いて説明する。図19は、集計設定処理の一例を示す処理フローである。本実施形態では、縦結合後の表形式データを用いて、レコードの値を集計する。よって、図7Aに示したような縦結合の設定データが予めデータ記憶部101に記憶されているものとする。
横結合処理又は集計処理を行う場合、上でも述べた通り、まず縦結合処理を行う。すなわち、図14Cに示したような、複数の表形式データの和集合を処理対象とする。また、横結合処理又は集計処理においても、処理対象の表形式データに対して図8に示した項目別リスト生成処理を行い、項目別リストを生成する。項目別リスト生成処理については、図8に示した通りであるため、説明を省略する。例えば、図14Cに示した表形式データから、図12Cに示したような項目別リストが生成される。
とは、キー項目の値が所定の条件を満たすレコード(行)を、行番号の集合で表したものである。対照群生成処理では、例えば、キー項目の値が完全一致するレコードの行番号の集合や、日付形式で記述されたキー項目の値が所定の期間内に属するレコードの行番号の集合が生成される。そして、表形式データ処理装置1は、後述する横結合処理又は集計処理において、対照群を用いてレコードを集約する。
おいて合致する値が対照群に存在すると判断される。同様に5行目は、2行目と同一の集合に追加される。図12Cの左から3番目の項目別データからは、図28Aに示すような対照群が生成される。
群が生成されている。また、対照群の生成において、図28Aに示したような値と行番号の集合との組み合わせを保持していたが、ここでは値との対応付けを削除し、行番号の集合のみを処理の対象とする。
対照群が生成された後、横結合処理又は集計処理が行われる。横結合処理は横結合部107によって実行され、集計処理は集計部108によって実行されるものとする。
目別リストを1つ取得する。集計処理の場合、キー項目及び集計項目に対応する項目別リストから、1つ取得する。また、横結合部107又は集計部108は、対照群から集合を1つ取得する(S93)。ここでは、図28Aに示したような対照群から行番号の集合を1つ取得する。
次に、集計処理において新しい項目の生成が指示された場合の処理について説明する。例えば、図23に示した画面において集計項目表示領域に「新規」のパネルが追加された場合、図19のS64において、設定処理部102は、値の係数、計算式の入力、又は条
件式の入力をユーザ端末2から受け付ける。図31は、新規項目の設定画面の一例を示す図である。例えば、図23において、集計項目表示領域に「新規」パネルが追加され、追加された当該パネルがクリックされると、ユーザ端末2の表示部には、図31に示すような画面が表示される。
(S106:NO)、集計部108は、未処理の新規項目が存在するか判断する(S111)。未処理の新規項目が存在する場合(S111:YES)、S101の処理に戻る。一方、未処理の新規項目が存在しない場合(S111:NO)、集計部108は、新規項目生成処理を終了する。
本実施形態では、項目別リスト生成処理によって、表形式データを項目別リストに分解して扱う。上記の説明では、縦結合処理から出力処理を行うパターン、及び縦結合後の表形式データを用いて横結合・集計処理から出力処理を行うパターンについて説明した。しかし、本実施形態に係る処理のパターンはこれらに限られない。例えば項目別リストを用いて、縦結合処理、横結合処理、集計処理の順に処理を行ったり、このようにして生成した複数の表形式データを用いてさらに縦結合処理を行ったりすることができる。
101 データ記憶部
102 設定処理部
103 データ分割部
104 表示制御部
105 縦結合部
106 対照群生成部
107 横結合部
108 集計部
109 出力データ生成部
2 ユーザ端末
3 ネットワーク
Claims (6)
- 複数の項目に対応する複数の要素をデリミター区切りで含むレコードが複数登録される表形式データについて、入力される表形式データである入力テーブルに含まれるレコードを集約し、出力する表形式データである出力テーブルを生成するプログラムであって、
前記入力テーブルに基づいて、項目の順序に対応付けられている要素を抽出し、前記入力テーブルにおけるレコードの順序を維持しつつ前記項目ごとに保持する複数の項目別データを生成するステップと、
前記項目別データを用いて、所定の条件を満たす前記要素を集合させ、当該要素の集合に基づいて前記レコードの順序に基づく通し番号の集合を生成する集合生成ステップと、
前記通し番号の集合に基づき、複数の前記項目別データに含まれる要素をそれぞれ抽出して集約し、複数の出力用の項目別データを生成するステップと、
複数の前記出力用の項目別データから出力テーブルを生成し、出力する出力ステップと、
をコンピュータに実行させる表形式データ処理プログラム。 - 複数の表形式データ間における項目の対応付けを表すデータに基づいて、複数の表形式データの前記項目別データの和集合を生成するステップ
をさらに実行させ、
前記集合生成ステップにおいて、前記項目別データの和集合を用いて、前記レコードの順序の集合を生成する
請求項1に記載の表形式データ処理プログラム。 - 前記集合に属する順序に基づいて集約される要素に異なる値が存在する場合、前記集約後の項目別データには、前記異なる値を結合した要素を登録する
請求項2に記載の表形式データ処理プログラム。 - 前記集約後の項目別データを用いて、第2の所定条件を満たす複数の要素に対応する、前記レコードの順序の集合を生成する第2集合生成ステップ
をさらに実行させ、
前記出力ステップにおいて、前記第2集合生成ステップにおいて生成された前記集合に属する順序に基づいて前記集約後の項目別データに含まれる要素をさらに集約し、集約後
の項目別データから出力テーブルを生成する
請求項2又は3に記載の表形式データ処理プログラム。 - 複数の項目に対応する複数の要素をデリミター区切りで含むレコードが複数登録される表形式データについて、入力される表形式データである入力テーブルに含まれるレコードを集約し、出力する表形式データである出力テーブルを生成する方法であって、
前記入力テーブルに基づいて、項目の順序に対応付けられている要素を抽出し、前記入力テーブルにおけるレコードの順序を維持しつつ前記項目ごとに保持する複数の項目別データを生成するステップと、
前記項目別データを用いて、所定の条件を満たす前記要素を集合させ、当該要素の集合に基づいて前記レコードの順序に基づく通し番号の集合を生成する集合生成ステップと、
前記通し番号の集合に基づき、複数の前記項目別データに含まれる要素をそれぞれ抽出して集約し、複数の出力用の項目別データを生成するステップと、
複数の前記出力用の項目別データから出力テーブルを生成し、出力する出力テーブル生成ステップと、
をコンピュータが実行する表形式データ処理方法。 - 複数の項目に対応する複数の要素をデリミター区切りで含むレコードが複数登録される表形式データについて、入力される表形式データである入力テーブルに含まれるレコードを集約し、出力する
表形式データである出力テーブルを生成する装置であって、
前記入力テーブルに基づいて、項目の順序に対応付けられている要素を抽出し、前記入力テーブルにおけるレコードの順序を維持しつつ前記項目ごとに保持する複数の項目別データを生成する項目別データ生成部と、
前記項目別データを用いて、所定の条件を満たす前記要素を集合させ、当該要素の集合に基づいて前記レコードの順序に基づく通し番号の集合を生成する集合生成部と、
前記通し番号の集合に基づき、複数の前記項目別データに含まれる要素をそれぞれ抽出して集約し、複数の出力用の項目別データを生成する出力用項目別データ生成部と、
複数の前記出力用の項目別データから出力テーブルを生成し、出力する出力テーブル生成部と、
を含む表形式データ処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013134184A JP5497948B1 (ja) | 2013-06-26 | 2013-06-26 | 表形式データ処理プログラム、方法及び装置 |
JP2015523912A JP6623754B2 (ja) | 2013-06-26 | 2014-05-09 | 表形式データ処理プログラム、方法及び装置 |
PCT/JP2014/062498 WO2014208205A1 (ja) | 2013-06-26 | 2014-05-09 | 表形式データ処理プログラム、方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013134184A JP5497948B1 (ja) | 2013-06-26 | 2013-06-26 | 表形式データ処理プログラム、方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5497948B1 true JP5497948B1 (ja) | 2014-05-21 |
JP2015045896A JP2015045896A (ja) | 2015-03-12 |
Family
ID=50941680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013134184A Active JP5497948B1 (ja) | 2013-06-26 | 2013-06-26 | 表形式データ処理プログラム、方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5497948B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109597979A (zh) * | 2018-11-28 | 2019-04-09 | 北京海数宝科技有限公司 | 清单表格生成方法、装置、计算机设备和存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010122880A (ja) * | 2008-11-19 | 2010-06-03 | Hitachi Ltd | データ集計処理方法及びシステム |
-
2013
- 2013-06-26 JP JP2013134184A patent/JP5497948B1/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010122880A (ja) * | 2008-11-19 | 2010-06-03 | Hitachi Ltd | データ集計処理方法及びシステム |
Non-Patent Citations (4)
Title |
---|
CSND200000979012; 'データクレンジング・ツール 辞書機能でデータの不統一を解消数百個を越えるDBの統合を支援' ネットワークコンピューティング 第11巻 第10号, 19991001, p.86-91, 株式会社リックテレコム * |
CSND201200440004; 森山 徹: 'Big Data争奪 データベース陣取り合戦' 日経コンピュータ no.816, 20120830, p.56-65, 日経BP社 * |
JPN6013055373; 'データクレンジング・ツール 辞書機能でデータの不統一を解消数百個を越えるDBの統合を支援' ネットワークコンピューティング 第11巻 第10号, 19991001, p.86-91, 株式会社リックテレコム * |
JPN6013055375; 森山 徹: 'Big Data争奪 データベース陣取り合戦' 日経コンピュータ no.816, 20120830, p.56-65, 日経BP社 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109597979A (zh) * | 2018-11-28 | 2019-04-09 | 北京海数宝科技有限公司 | 清单表格生成方法、装置、计算机设备和存储介质 |
CN109597979B (zh) * | 2018-11-28 | 2022-11-11 | 北京海数宝科技有限公司 | 清单表格生成方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2015045896A (ja) | 2015-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230350883A1 (en) | Dynamic Dashboard with Guided Discovery | |
JP2019194881A (ja) | データ検索装置、プログラム、及び記録媒体 | |
JP6283190B2 (ja) | 表形式データ処理プログラム、方法、及び装置 | |
JP6623754B2 (ja) | 表形式データ処理プログラム、方法及び装置 | |
WO2005050447A1 (ja) | バッチ処理装置 | |
JP5424798B2 (ja) | メタデータ設定方法及びメタデータ設定システム、並びにプログラム | |
CN102043824A (zh) | 内容关系可视化设备、内容关系可视化方法及其程序 | |
JP5010749B1 (ja) | 会計仕訳ファイルデータ標準化システムとそれを用いた監査システムとそれらのプログラム | |
JP5497948B1 (ja) | 表形式データ処理プログラム、方法及び装置 | |
WO2015022951A1 (ja) | 画面自動生成装置、画面自動生成プログラムおよび画面自動生成方法 | |
JP5497947B1 (ja) | 表形式データ処理プログラム、方法及び装置 | |
JP5260003B2 (ja) | ファイル検索装置及びファイル検索プログラム | |
WO2022215276A1 (ja) | データ抽出装置、データ抽出方法、データ抽出プログラム、データ抽出支援装置、データ抽出支援方法、データ抽出支援プログラム | |
JP6320901B2 (ja) | データ連携支援システムおよびデータ連携支援方法 | |
JP2000122715A (ja) | プラント用データベース保守装置 | |
JP6763967B2 (ja) | データ変換装置とデータ変換方法 | |
JP2017072957A (ja) | ファイル編集方法、ファイル編集装置及びファイル編集プログラム | |
JP2005190212A (ja) | データベースシステム、データ処理方法及びプログラム | |
JP2019101829A (ja) | ソフトウェア部品管理システム、計算機および方法 | |
JP6028905B2 (ja) | 帳票管理装置及び帳票管理方法並びに帳票管理プログラム | |
TWI820597B (zh) | 計畫製定輔助系統及其方法 | |
JP5687918B2 (ja) | 業務アプリケーション構成装置 | |
JPWO2019012674A1 (ja) | プログラムの統合解析管理装置及びその統合解析管理方法 | |
JP4181330B2 (ja) | 要約作成プログラム及びシステム並びにコンピュータによる要約作成方法 | |
JP6283442B1 (ja) | 解析装置、解析方法、および解析プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5497948 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |