JP6863006B2 - ファイル生成プログラム、ファイル生成方法およびファイル生成装置 - Google Patents

ファイル生成プログラム、ファイル生成方法およびファイル生成装置 Download PDF

Info

Publication number
JP6863006B2
JP6863006B2 JP2017068972A JP2017068972A JP6863006B2 JP 6863006 B2 JP6863006 B2 JP 6863006B2 JP 2017068972 A JP2017068972 A JP 2017068972A JP 2017068972 A JP2017068972 A JP 2017068972A JP 6863006 B2 JP6863006 B2 JP 6863006B2
Authority
JP
Japan
Prior art keywords
information
data
database
compression
search request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017068972A
Other languages
English (en)
Other versions
JP2018169963A (ja
Inventor
太田 達也
達也 太田
健一郎 宮本
健一郎 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017068972A priority Critical patent/JP6863006B2/ja
Publication of JP2018169963A publication Critical patent/JP2018169963A/ja
Application granted granted Critical
Publication of JP6863006B2 publication Critical patent/JP6863006B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、ファイル生成プログラム、ファイル生成方法およびファイル生成装置に関する。
データベースで管理される各データのデータ分析を行なう際、事前に、データベースに問い合わせを行って、分析用にCSV(Comma−Separated Values)ファイルなどの別ファイルを生成しておく技術が知られている。また、この技術では、そのままCSVファイルに対して検索処理するのでは効率が悪いことから、インデックスファイルを用いることで、高速処理に対応している。
特開2014−191593号公報 特開2010−026884号公報 特開2003−162545号公報
しかしながら、近年では取り扱うデータ量が非常に多く、事前にCSVファイルを生成する時間が長くなっていることもあり、検索処理が長時間化している。例えば、営業や企画などの一組織だけではなく、複数の組織を跨ってデータ分析を行うようになり、取り扱うデータ量が増加している。そのため、データ分析で取り扱うデータの範囲が広がるに従い、CSVファイルのデータ量やファイル数が飛躍的に増加している。
一つの側面では、検索処理を高速化することができるファイル生成プログラム、ファイル生成方法およびファイル生成装置を提供することを目的とする。
第1の案では、ファイル生成プログラムは、データベースに対する検索要求を受け付けると、前記検索要求に応じたデータを含む、行と列が定義された形式のファイルを取得する処理をコンピュータに実行される。ファイル生成プログラムは、ファイルに含まれるデータを列毎に解析し、列方向に連続して出現するデータについて、該連続して出現するデータと、該連続して出現するデータが連続して出現する行を特定可能な情報とを解析結果として取得する処理をコンピュータに実行させる。ファイル生成プログラムは、取得した各列についての解析結果を前記検索要求の要求元に送信する処理をコンピュータに実行させる。
一実施形態によれば、検索処理を高速化することができる。
図1は、実施例1にかかるファイル生成装置の機能構成を示す機能ブロック図である。 図2は、データDBに記憶される情報の例を示す図である。 図3は、圧縮ファイルに記憶される圧縮形式を説明する図である。 図4は、圧縮CSVファイルの具体例を説明する図である。 図5は、圧縮ファイルの生成処理の流れを示すフローチャートである。 図6は、検索処理の流れを示すフローチャートである。 図7は、ハードウェア構成例を示す図である。
以下に、本願の開示するファイル生成プログラム、ファイル生成方法およびファイル生成装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
実施例1にかかるファイル生成装置10は、大量のデータを管理するデータベースに対して、事前にCSVファイルを生成しておくこと、データベースへの検索処理を高速化する情報処理装置の一例である。ここで、ファイル生成装置10は、単純なCSVファイルを生成するのではなく、データを圧縮した圧縮CSVファイルを生成することで、検索処理の高速化を実現する。
[機能構成]
図1は、実施例1にかかるファイル生成装置10の機能構成を示す機能ブロック図である。図1に示すように、ファイル生成装置10は、通信部11、記憶部12、制御部20を有する。
通信部11は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部11は、データベースへの検索要求である検索クエリを受信し、検索クエリに対応する応答を送信する。
記憶部12は、プログラムやデータを記憶する記憶装置の一例であり、例えばハードディスクやメモリなどである。記憶部12は、データDB13と圧縮ファイル14とを記憶する。
データDB13は、管理対象のデータを管理するデータベースであり、クライアントによる検索対象のデータベースの一例である。図2は、データDB13に記憶される情報の例を示す図である。ここでは一例として、商品の売り上げ等に関する商品データを記憶する例で説明する。図2に示すように、データDB13は、「部門名、本部名、店舗名、商品大分類、商品中分類、機種名、個数、売上高、件数、粗利益、仕入額、売上実績、原価」を対応付けて記憶する。ここで記憶される情報は、部門名、本部名、店舗名の順でソートされているものとする。
「部門名」は、部門名を示す情報であり、例えば東部門または西部門が設定される。「本部名」は、支店等を示す情報であり、例えば本社、東部本部、中部本部、関西本部、中四国本部などが設定される。「店舗名」は、店舗を示す情報であり、例えば本店、札幌店、仙台店などが設定される。「商品大分類」は、商品の大まかな分類を示す情報であり、例えば空調機器、洗濯・清掃器具などが設定される。「商品中分類」は、商品をある程度絞り込んだ分類を示す情報であり、例えばエアコン、洗濯機、衣類乾燥機、クリーナなどが設定される。「機種名」は、商品の型番などを示す情報であり、例えばAC−01IWやAC−05CHWなどが設定される。
「個数」は、販売された個数であり、「売上高」は、売り上げた金額を示し、「件数」は、当該売上高に該当する件数を示す。「粗利益」は、商品の粗利益を示し、「仕入額」は、商品の仕入額を示し、「売上実績」は、商品の売り上げの実績を示し、「原価」は、商品の原価を示す。
図2の1行目は、東部門の本社の本店の売り上げデータであり、空調機器であるAC−01IWのエアコンの3台の売上高が837700円であり、この売上が3件あることを示す。また、この3件の売上高の粗利益が184550円で、仕入額が653250円で、売上実績が837.7で、原価が653.25円であることを示す。なお、ここで示したデータ、数値、項目はあくまで一例であり、任意に設定変更することができる。また、本実施例においては、「部門名、本部名、店舗名、商品大分類、商品中分類、機種名」を表側部と呼び、「個数、売上高、件数、粗利益、仕入額、売上実績、原価」をデータ部と呼ぶ。これは、商品情報とデータ情報とを区別するものであり、管理者等によって手動で設定することもでき、データの中身を参照して、所定数以上の数値が使用されている項目や数値のみで構成される項目を特定することにより自動で判別することもできる。
圧縮ファイル14は、データDB13で管理されるデータベースの圧縮ファイルである。ここで記憶される情報は、後述する圧縮解析部21によって生成される。図3は、圧縮ファイル14に記憶される圧縮形式を示す図である。図3に示すように、圧縮ファイル14は、「圧縮ファイル情報、圧縮共通情報、共通部、見出し部、圧縮個別情報、圧縮列情報、インデックス、圧縮データ」を含む。
「圧縮ファイル情報」は、圧縮共通情報と圧縮個別情報を含み、「圧縮共通情報」は、表側部に関する解析情報を設定する領域を対応付ける情報であり、「共通部」と「見出し部」とを有する。「共通部」は、表側部の各項目に共通する情報を設定する領域であり、「この情報の大きさ、列数、表側キー数、見出しの行数」を有する。「この情報の大きさ」は、共通部に設定される情報のバイト数を示し、「列数」は、表側部の列数を示し、「表側キー数」は、表側部に含まれる項目の数を示し、「見出しの行数」は、表側部の行数を示す。
また、「見出し部」は、表側部に含まれる項目に関する情報であり、「この情報の大きさ、見出しテキスト」を有する。「この情報の大きさ」は、見出し部に設定される情報のバイト数を示し、「見出しテキスト」は、表側部が有する各項目のテキスト情報であり、カンマ区切りで設定される。
また、「圧縮個別情報」は、データ部に関する解析情報を設定する領域を対応付ける情報であり、「この情報の大きさ、レコード数、圧縮列情報1〜n」を有する。「この情報の大きさ」は、圧縮個別情報に設定される情報のバイト数を示し、「レコード数」は、対象DBのレコード数を示す。「圧縮列情報」は、列数分が設定され、「この情報の大きさ、付加情報、文字データの個数、数値データの個数、インデックス、圧縮データ」を有する。「この情報の大きさ」は、圧縮列情報に設定される情報のバイト数を示し、「付加情報」は、昇順、降順、ソートなどの情報を示し、「文字データの個数、数値データの個数」は、カテゴリの数を示し、列に設定されるテキストが文字の場合には文字データの個数に設定され、数値の場合は数値データの個数に設定される。
「インデックス」は、データのインデックスに関する情報を設定する領域であり、「インデックスの個数、行番号1〜n、位置1〜n」を有する。「インデックスの個数」は、該当項目に設定されるデータの個数であり、「行番号」は、該当項目を有するレコードのうち先頭レコードの行番号である。「位置」は、先頭レコードを特定するアドレス情報、言い換えると、データDB13内における先頭レコードのアドレス情報である。
「圧縮データ」は、各項目に設定される情報であり、「インデックスの個数、圧縮フォーム1〜n」を有する。「インデックスの個数」は、該当項目に設定されるテキストの種別数であり、「圧縮フォーム」は、該当項目に設定されるテキストである。
制御部20は、ファイル生成装置10全体の処理を司る処理部であり、例えばプロセッサなどである。制御部20は、圧縮解析部21、クエリ受信部22、クエリ応答部23を有する。なお、圧縮解析部21、クエリ受信部22、クエリ応答部23は、プロセッサなどの電子回路の一例やプロセッサが実行するプロセスの一例などである。
圧縮解析部21は、圧縮形式にしたがって圧縮ファイル14を生成する処理部である。例えば、圧縮解析部21は、図3に示した圧縮形式にしたがって、図2のデータを解析することで、圧縮CSVファイルを生成する。図4は、圧縮CSVファイルの具体例を説明する図である。
より詳細には、圧縮解析部21は、図2に示すデータを参照して、数が13、表側の項目が「部門名、本部名、店舗名、商品大分類、商品中分類、機種名」の6個、見出しの行数が1であることを特定する。この結果、図4に示すように、圧縮解析部21は、圧縮共通情報の共通部の列数に「13」を設定し、表側キー数に「6」を設定し、見出しの行数に「1」を設定する。
また、圧縮解析部21は、図2に示すデータを参照して、見出し部に設定される項目として「部門名、本部名、店舗名、商品大分類、商品中分類、機種名、個数、売上高、件数、粗利益、仕入額、売上実績、原価」を特定する。この結果、図4に示すように、圧縮解析部21は、圧縮共通情報の見出し部の見出しテキストに、「部門名、本部名、店舗名、商品大分類、商品中分類、機種名、個数、売上高、件数、粗利益、仕入額、売上実績、原価」をカンマ区切りで設定する。
また、圧縮解析部21は、図2に示すデータを参照して、数が13であることを特定する。この結果、図4に示すように、圧縮解析部21は、圧縮個別情報の圧縮列情報を13個(圧縮列情報1〜圧縮列情報13)設定する。
そして、圧縮列情報1について、圧縮解析部21は、図2に示すデータを参照し、部門名に設定されるデータがソートされているとともに、東部門と西部門の2つから構成されること、東部門の先頭レコードおよび先頭アドレスと西部門の先頭レコードおよび先頭アドレスを特定する。この結果、図4に示すように、圧縮解析部21は、圧縮列情報1に対して、付加情報に「ソート」を設定し、文字データの個数に「2」を設定し、数値データの個数に「−(該当なし)」を設定する。さらに、圧縮解析部21は、インデックスの個数に「2」を設定し、東部門に対応する情報として行番号1に「1」および位置1に「アドレスA」を設定するとともに、西部門に対応する情報として行番号2に「1561」および位置2に「アドレスB」を設定する。さらに、圧縮解析部21は、圧縮データのインデックスの個数に「2」を設定し、圧縮フォーム1に「東部門」を設定し、圧縮フォーム2に「西部門」を設定する。
なお、圧縮列情報2については本部名についてのインデックスが生成される。例えば、圧縮解析部21は、圧縮列情報2に対して、付加情報に「ソート」を設定し、文字データの個数に「10」を設定し、数値データの個数に「−(該当なし)」を設定する。さらに、圧縮解析部21は、インデックスの個数に「10」を設定し、本社や東部本部などにについて、最初のレコードの行番号とアドレスとを設定する。さらに、圧縮解析部21は、圧縮データのインデックスの個数に「10」を設定し、圧縮フォームそれぞれに、本社、東部本部、中部本部などを設定する。このようにして、各圧縮列情報1から13について、見出し部の各項目を割当てて、圧縮列情報とインデックスと圧縮データを設定する。
クエリ受信部22は、データDB13で管理されるデータベースへの検索クエリを受信する処理部である。例えば、クエリ受信部22は、クライアント端末に検索画面を表示し、検索画面から指定された検索条件情報(条件見出し名、条件カテゴリ)を受け付ける。そして、クエリ受信部22は、受け付けた検索条件情報(条件見出し名、条件カテゴリ)をクエリ応答部23に出力する。検索条件情報の例としては、条件見出し名=部門名、条件カテゴリ=西部門などである。
クエリ応答部23は、受信された検索クエリを実行して該当するデータを応答する処理部である。例えば、クエリ応答部23は、圧縮ファイルの圧縮共通情報−見出し部に格納されているカンマ区切りの見出しテキストから、検索条件情報の条件見出し名に合致するものを検索し、検索する表側キーの列を特定する。続いて、クエリ応答部23は、圧縮個別情報で検索する表側キーを持つ圧縮列情報についてそれぞれ、圧縮データの圧縮フォームから該当する条件カテゴリを検索し、インデックスからそれに合致する行番号、次の行番号を特定する。このとき、クエリ応答部23は、行番号、次の行番号から条件カテゴリの行数も特定する。その後、クエリ応答部23は、検索対象のデータ範囲(開始行、終了行)をもとに、各圧縮列情報から圧縮ファイルを解凍せず、検索結果データを生成し、呼び出し元にファイルまたはメモリで応答する。
上記例で説明すると、クエリ応答部23は、検索条件情報(条件見出し名=部門名、条件カテゴリ=西部門)を受け付けると、条件見出し名は部門名であり、検索する表側キーの列は1列目と判定する。そして、クエリ応答部23は、部門名が1列目であるので、情報を格納している圧縮列情報1において、圧縮データの圧縮フォーム1〜nを検索し、「西部門」が圧縮フォーム2と特定する。続いて、クエリ応答部23は、番号に合致する行番号をインデックスから特定し、「西部門」の開始行1560(見出しを除く)、終了行5184(次の行番号がないため、圧縮個別情報のレコード数を活用)の情報を特定する。その後、クエリ応答部23は、データDB13から、1560行目から5184行目までを抜き出して、検索結果データを生成し、クライアント端末に応答する。なお、クエリ応答部23は、検索結果データとして、「開始行=1560行目、終了行=5184行目」を応答することもできる。
[生成処理]
図5は、圧縮ファイルの生成処理の流れを示すフローチャートである。図5に示すように、圧縮解析部21は、処理が開始されると(S101:Yes)、表側部とデータ部を抽出する(S102)。
そして、圧縮解析部21は、DBの列数を特定する(S103)。例えば、圧縮解析部21は、DBの列数を特定して、圧縮共通情報の共通部の列数に格納する。同様に、圧縮解析部21は、DBの表側キー数を特定し(S104)、見出しの行数を特定する(S105)。例えば、圧縮解析部21は、DBを参照して特定した表側キー数を圧縮共通情報の共通部に格納し、DBを参照して特定した見出しの行数を圧縮共通情報の共通部に格納する。
続いて、圧縮解析部21は、共通部の大きさを特定する(S106)。例えば、圧縮解析部21は、共通部に設定された各情報の合計バイト数を特定して、圧縮共通情報の共通部のこの情報の大きさに格納する。
その後、圧縮解析部21は、見出しのテキストを抽出する(S107)。例えば、圧縮解析部21は、対象DBの見出し部に設定される各テキストを抽出して、圧縮共通情報の見出し部の見出しテキストに、カンマ区切りで格納する。続いて、圧縮解析部21は、見出し部の大きさを特定する(S108)。例えば、圧縮解析部21は、見出しのテキストに設定された情報の合計バイト数を算出して、圧縮共通情報の見出し部のこの情報の大きさに格納する。
そして、圧縮解析部21は、対象DBのレコード数を特定する(S109)。例えば、圧縮解析部21は、対象DBのレコード数を計数して、圧縮個別情報のレコード数に格納する。
続いて、圧縮解析部21は、対象DBの列数を特定する(S110)。例えば、圧縮解析部21は、対象DBの列数を計数して、圧縮個別情報の列数に格納する。その後、圧縮解析部21は、圧縮個別情報の大きさを特定する(S111)。例えば、圧縮解析部21は、圧縮個別情報に設定された情報の合計バイト数を算出して、圧縮個別情報のこの情報の大きさに格納する。
そして、圧縮解析部21は、列を1つ選択し(S112)、付加情報、カテゴリ数、インデックスの個数、各インデックスの先頭の行の番号および位置、圧縮対象のデータを特定する(S113からS117)。例えば、圧縮解析部21は、データそのものを参照して、ソートされていることを確認すると、圧縮列情報の付加情報に格納する。また、圧縮解析部21は、データそのものを参照して文字認識等を実行し、データが2種類であることを確認すると、圧縮列情報の文字データの個数とインデックスの個数に格納する。また、圧縮解析部21は、データを参照して、1つ目のデータの先頭レコードと開始位置を特定すると、行番号1と位置1とにそれぞれを設定し、2つ目のデータの先頭レコードと開始位置を特定すると、行番号2と位置2とにそれぞれを設定する。また、圧縮解析部21は、データを参照して、1つ目のデータの文字列を特定すると、圧縮フォーム1に設定し、2つ目のデータの文字列を特定すると、圧縮フォーム2に設定する。
その後、圧縮解析部21は、圧縮列情報の大きさを特定する(S118)。例えば、圧縮解析部21は、該当する圧縮列情報、インデックス、圧縮データの合計バイト数を算出して、圧縮列情報のこの情報の大きさに格納する。
そして、圧縮解析部21は、全列について処理が終了すると(S119:Yes)、圧縮ファイルの生成処理を終了し、未処理の列が存在する場合(S119:No)、S112以降を繰り返す。
[検索処理]
図6は、検索処理の流れを示すフローチャートである。図6に示すように、クエリ受信部22によって検索クエリ(条件見出し名、条件カテゴリ)が受信されると(S201:Yes)、クエリ応答部23は、圧縮共通情報の見出し部の見出しテキストから、検索条件に一致する見出し名を検索する(S202)。
続いて、クエリ応答部23は、圧縮フォームから該当する条件カテゴリを検索し(S203)、条件カテゴリに対応する行番号および次の行番号を特定する(S204)。
そして、クエリ応答部23は、行番号と次の行番号から条件カテゴリの行数を算出し(S205)、さらに、圧縮ファイルのまま該当レコードのデータを検索して(S206)、検索結果を生成して応答する(S207)。
[効果]
上述したように、ファイル生成装置10は、データベースに問合せた結果を、CSVファイルにそのまま出力せず、問合せ結果の内容を圧縮共通情報(表側名や表側カテゴリ、データ項目名)、圧縮個別情報(実レコード部)に区分するため、データ構造を解析する。圧縮共通情報は、列数、表側キー数、見出し部の行数をまとめた「共通部」、見出しごとのサイズや見出しテキストをまとめた「見出し部」に分かれる。ファイル生成装置10は、データとして、「共通部」、共通部の見出し行数分の「見出し部」を出力する。圧縮個別情報は、サイズやレコード数、圧縮列情報を持ち、列単位に圧縮処理を行う。圧縮列情報は、サイズや文字データの個数、数値データの個数、インデックス、実データの圧縮データを持つ。圧縮データは、サイズやインデックスの個数、圧縮フォームで構成する。ファイル生成装置10は、以上の情報をあわせて、圧縮CSVファイルとして出力する。
また、ファイル生成装置10は、利用者が指定した検索条件で、圧縮CSVファイルおよびその内部のインデックス情報を元にデータ検索処理を行ない、抽出されたデータを応答する。
したがって、ファイル生成装置10は、事前にCSVファイルを作成する処理時間を短縮でき、必要な時に分析にデータを用意できる。また、圧縮CSVファイルは、サイズが小さいためリソースの圧迫を抑制することができる。また、ファイル生成装置10は、インデックスファイルの情報を持つ圧縮CSVファイルを使用することで、より高速にデータ検索処理を行なうことができる。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に異なる実施例を説明する。
[圧縮CSVファイル]
上記実施例では、事前に圧縮CSVファイルを生成しておき、生成後にクエリ処理を実行する例を説明したが、これに限定されるものではない。例えば、ファイル生成装置10は、クエリ要求を受信するたびに、上記解析処理を行った上で、検索処理を実行することもできる。また、行番号や位置は、対応する列の情報に置き換えることもできる。
[システム]
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
[ハードウェア構成]
図7は、ハードウェア構成例を示す図である。図7に示すように、ファイル生成装置10は、通信インタフェース10a、HDD(Hard Disk Drive)10b、メモリ10c、プロセッサ10dを有する。
通信インタフェース10aは、他の装置の通信を制御するネットワークインタフェースカードなどである。HDD10bは、プログラムやデータなどを記憶する記憶装置の一例である。
メモリ10cの一例としては、SDRAM(Synchronous Dynamic Random Access Memory)等のRAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等が挙げられる。プロセッサ10dの一例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、PLD(Programmable Logic Device)等が挙げられる。
また、ファイル生成装置10は、プログラムを読み出して実行することでデータ管理方法を実行する情報処理装置として動作する。つまり、ファイル生成装置10は、圧縮解析部21、クエリ受信部22、クエリ応答部23と同様の機能を実行するプログラムを実行する。この結果、ファイル生成装置10は、圧縮解析部21、クエリ受信部22、クエリ応答部23と同様の機能を実行するプロセスを実行することができる。なお、この他の実施例でいうプログラムは、ファイル生成装置10によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO(Magneto−Optical disk)、DVD(Digital Versatile Disc)などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
10 ファイル生成装置
11 通信部
12 記憶部
13 データDB
14 圧縮ファイル
20 制御部
21 圧縮解析部
22 クエリ受信部
23 クエリ応答部

Claims (5)

  1. 行と列が定義された形式であってソート済みであるデータベースに対して、検索対象であるデータ項目とデータ名とを含む検索要求を受け付けた場合に、前記データベースの列ごとに当該列に出現する複数の文字列それぞれについて、前記データベースにおける前記文字列が連続して出現する最初の行である開始行および最後の行である終了行を特定する位置情報が対応付けられた前記データベースの圧縮ファイル情報を参照し、前記検索要求に含まれるデータ項目に該当する列が有する行のうち前記検索要求に含まれるデータ名に対応する文字列を含む行に関する前記位置情報を特定し、
    前記データベースから前記検索対象のデータが取得可能な情報である、特定された前記位置情報を前記検索要求の要求元に送信する、
    処理をコンピュータに実行させることを特徴とするファイル生成プログラム。
  2. 前記データベースは、管理対象である情報に関する文字列が格納される第1情報と、前記文字列によって特定される数値データが格納される第2情報とから構成され、前記第1情報についてソート済みである
    ことを特徴とする請求項1に記載のファイル生成プログラム。
  3. 前記検索要求の受信前に、前記データベースから前記第1情報と前記第2情報とを特定し、
    前記第1情報に関して、前記第1情報に該当する列数および前記第1情報に含まれる前記データ項目の見出し情報を含む圧縮共通情報を生成し、
    前記第2情報に関して、前記データベースのレコード数、および、前記数値データの前記開始行と前記終了行を示すインデックス情報を含む圧縮個別情報を生成し、
    前記圧縮共通情報と前記圧縮個別情報とを関連付けた前記圧縮ファイル情報を生成する、処理を前記コンピュータに実行させ、
    前記特定する処理は、前記検索要求を受け付けた場合に、前記圧縮共通情報の前記見出し情報に基づき、前記検索要求に含まれる前記データ項目の検索キーを特定し、前記検索キーに基づき、前記圧縮個別情報の前記レコード数および前記インデックス情報から、前記データ名に対応する前記位置情報を特定する、
    ことを特徴とする請求項に記載のファイル生成プログラム。
  4. 行と列が定義された形式であってソート済みであるデータベースに対して、検索対象であるデータ項目とデータ名とを含む検索要求を受け付けた場合に、前記データベースの列ごとに当該列に出現する複数の文字列それぞれについて、前記データベースにおける前記文字列が連続して出現する最初の行である開始行および最後の行である終了行を特定する位置情報が対応付けられた前記データベースの圧縮ファイル情報を参照し、前記検索要求に含まれるデータ項目に該当する列が有する行のうち前記検索要求に含まれるデータ名に対応する文字列を含む行に関する前記位置情報を特定し、
    前記データベースから前記検索対象のデータが取得可能な情報である、特定された前記位置情報を前記検索要求の要求元に送信する、
    処理をコンピュータが実行することを特徴とするファイル生成方法。
  5. 行と列が定義された形式であってソート済みであるデータベースに対して、検索対象であるデータ項目とデータ名とを含む検索要求を受け付けた場合に、前記データベースの列ごとに当該列に出現する複数の文字列それぞれについて、前記データベースにおける前記文字列が連続して出現する最初の行である開始行および最後の行である終了行を特定する位置情報が対応付けられた前記データベースの圧縮ファイル情報を参照し、前記検索要求に含まれるデータ項目に該当する列が有する行のうち前記検索要求に含まれるデータ名に対応する文字列を含む行に関する前記位置情報を特定し、
    前記データベースから前記検索対象のデータが取得可能な情報である、特定された前記位置情報を前記検索要求の要求元に送信する、
    制御部を有することを特徴とするファイル生成装置。
JP2017068972A 2017-03-30 2017-03-30 ファイル生成プログラム、ファイル生成方法およびファイル生成装置 Active JP6863006B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017068972A JP6863006B2 (ja) 2017-03-30 2017-03-30 ファイル生成プログラム、ファイル生成方法およびファイル生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017068972A JP6863006B2 (ja) 2017-03-30 2017-03-30 ファイル生成プログラム、ファイル生成方法およびファイル生成装置

Publications (2)

Publication Number Publication Date
JP2018169963A JP2018169963A (ja) 2018-11-01
JP6863006B2 true JP6863006B2 (ja) 2021-04-21

Family

ID=64019287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017068972A Active JP6863006B2 (ja) 2017-03-30 2017-03-30 ファイル生成プログラム、ファイル生成方法およびファイル生成装置

Country Status (1)

Country Link
JP (1) JP6863006B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6286428A (ja) * 1985-10-11 1987-04-20 Nec Corp レコ−ド集合の保持方式
JP4490012B2 (ja) * 2001-11-26 2010-06-23 富士通株式会社 ファイル検索装置、ファイル検索プログラム
JP5010958B2 (ja) * 2007-03-30 2012-08-29 株式会社富士通ビー・エス・シー データ管理方法、プログラム及び装置
US8849833B1 (en) * 2013-07-31 2014-09-30 Linkedin Corporation Indexing of data segments to facilitate analytics
JP6402600B2 (ja) * 2014-11-13 2018-10-10 日本電気株式会社 データベース装置、データ管理方法、及びプログラム

Also Published As

Publication number Publication date
JP2018169963A (ja) 2018-11-01

Similar Documents

Publication Publication Date Title
US11442694B1 (en) Merging database tables by classifying comparison signatures
US11030050B2 (en) Method and device of archiving database and method and device of retrieving archived database
CN107180093A (zh) 信息搜索方法及装置和时效性查询词识别方法及装置
JP6807963B2 (ja) 情報処理システム及び情報処理方法
JP2015508543A (ja) 店舗訪問データを処理すること
JP5588811B2 (ja) データ分析支援システム及び方法
CN104462396A (zh) 字符串处理方法和装置
CN110727857A (zh) 针对业务对象识别潜在用户的关键特征的方法及装置
CN108664492B (zh) 一种向用户推送内容的方法、装置、电子设备和存储介质
US20110225287A1 (en) Method and system for distributed processing of web traffic analytics data
US12013855B2 (en) Trimming blackhole clusters
JP5622880B2 (ja) アイテム推薦システム、アイテム推薦方法およびアイテム推薦プログラム
JP6863006B2 (ja) ファイル生成プログラム、ファイル生成方法およびファイル生成装置
CN104408188A (zh) 数据处理方法和装置
JP6273969B2 (ja) データ加工装置、情報処理装置、方法、およびプログラム
JP6393411B2 (ja) データ分析支援システム及びデータ分析支援方法
JP6457290B2 (ja) グラフを剪定する方法、前記グラフを剪定する方法をコンピュータに行なわせる命令を記録している非一時的なコンピュータ可読記憶媒体、及びグラフの剪定を行うためのコンピュータシステム
US11055269B2 (en) Efficient ingest and search of access controlled records
CN108073607B (zh) Url处理方法及装置
US11132235B2 (en) Data processing method, distributed data processing system and storage medium
KR102251588B1 (ko) 설정항목간의 연관성을 시각화하는 방법, 장치, 및 시스템
KR102251587B1 (ko) 설정항목간의 연관성을 이용하여 설정값 선택을 위한 사용자 인터페이스를 조정하는 방법, 장치, 및 시스템
KR102251586B1 (ko) 설정값의 집중도를 이용하여 설정값을 설정하기 위한 사용자 인터페이스를 조정하는 방법, 장치 및 시스템
CN109919470B (zh) 客资信息的分发方法及装置
CN108052554A (zh) 多维度拓展关键词的方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210315

R150 Certificate of patent or registration of utility model

Ref document number: 6863006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150