JP6733483B2 - 符号化プログラム、符号化方法および符号化装置 - Google Patents

Description

本発明は、符号化プログラム等に関する。

抽出／変換・加工／ロード（ＥＴＬ；Extract/Transform/Load）の処理においては、複数のテーブルに存在するデータを参照した処理が行われ、複数のテーブルの参照においては、専用ツール等を用いた処理が行われる。例えば、テーブルはｃｓｖ（Comma-Separated Values）等の汎用ファイルで記述された後に、ｚｉｐによる圧縮形式によって、圧縮される。

従来技術では、処理対象のカラムを指定する処理対象カラム情報を受け付けて、テーブルから処理対象となるカラムを抽出する作業を実行した後に、抽出したカラムのデータを圧縮する作業を行う。ここで、ｚｉｐによる圧縮では、ある程度の圧縮率を得るために、カラムの区切りを示すデリミタをまたいだ形で圧縮が行われる。

図９は、従来技術を説明するための図である。図９では一例として、テーブル１０を用いた処理について説明する。テーブル１０には項目「伝票ＩＤ、連番、売上時刻、商品コード、店舗ＩＤ、売上個数」が設定されており、各項目に対応した値が設定されている。各項目に対応するカラムの値は、デリミタにより区切られているものとする。従来技術は、処理対象カラム情報１１を受け付けると、処理対象カラム情報１１に基づいて、処理対象のカラムを抽出することで、抽出データ１２を生成する。

図９に示す処理対象カラム情報１１では、項目「商品コード」、「売上個数」のカラムを抽出することが指定されている。このため、従来技術は、テーブル１０のうち、項目「商品コード」のカラムに対応するデータ１０ａおよび項目「売上個数」のカラムに対応するデータ１０ｂを抽出し、抽出データ１２を生成する。ここで、抽出データ１２に含まれるデータは、カラム毎に区切られた状態で存在している。例えば、抽出データ１２の１行目のレコードに着目すると、「Ａ００００９」と「９」とがデリミタで区切られて存在している。

従来技術は、抽出データ１２をｚｉｐにより圧縮する場合には、各カラムの区切りを考慮しないで圧縮を行い、圧縮データ１３を生成する。このため、各カラムをまたいで圧縮が行われ、例えば、「Ａ００００９」と「９」とがまとめて、符号化される。

特開２０１４−１９１５９３号公報 特開平９−２０４３４９号公報 特開平７−２２００５１号公報 特開２０１２−２５６１４４号公報

しかしながら、上述した従来技術では、符号化情報を一旦中間ファイルに変換しないと、各カラムの区切りを判別することができないという問題がある。

図９で説明したように、従来のｚｉｐによる圧縮では、圧縮効率を得るために、デリミタをまたいだ形で圧縮が行われる。このため、例えば、圧縮データ１３のままでは、カラムの区切りを特定することが難しいため、カラムの区切りを特定するためだけに、圧縮データ１３を復号化した中間ファイル等を生成することになり、効率的ではない。

１つの側面では、本発明は、中間ファイルを生成せずに、カラムの区切りを判別可能な符号化情報を生成することができる符号化プログラム、符号化方法および符号化装置を提供することを目的とする。

第１の案では、コンピュータに下記の処理を実行させる。コンピュータは、複数のカラムが区切り情報で区切られたテーブルに含まれる複数のカラムのうち、処理対象となる複数の処理対象カラムを特定する処理対象カラム情報を取得する。コンピュータは、処理対象カラム情報を用いて、テーブルの複数の処理対象カラムをカラム単位で符号化する。コンピュータは、符号化された複数の処理対象カラムを結合した符号化テーブルを生成する。

中間ファイルを生成せずに、カラムの区切りを判別可能な符号化情報を生成することができる。

図１は、本実施例に係る符号化装置の処理を説明するための図である。 図２は、本実施例に係るシステムの構成を示す図である。 図３は、本実施例に係る符号化装置の構成を示す機能ブロック図である。 図４は、データ加工定義ファイルのデータ構造の一例を示す図である。 図５は、処理データのデータ構造の一例を示す図である。 図６は、符号化テーブルのデータ構造の一例を示す図である。 図７は、符号化装置の処理手順を示すフローチャートである。 図８は、符号化プログラムを実行するコンピュータの一例を示す図である。 図９は、従来技術を説明するための図である。

以下に、本願の開示する符号化プログラム、符号化方法および符号化装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係る符号化装置の処理を説明するための図である。図１では一例として、テーブル１０を用いて説明する。テーブル１０には項目「伝票ＩＤ、連番、売上時刻、商品コード、店舗ＩＤ、売上個数」が設定されており、各項目に対応した値が設定されている。各項目に対応するカラムの値は、デリミタにより区切られているものとする。符号化装置は、処理対象カラム情報１１を受け付けると、処理対象カラム情報１１に基づいて、テーブル１０の各カラムを走査する。

符号化装置は、テーブル１０の各カラムを走査し、処理対象のカラムにヒットした場合には、ヒットしたカラムを、カラム単位で抽出し、抽出したカラムを符号化する。符号化装置は、上記の処理を繰り返し実行することで、処理対象のカラムをカラム単位で符号化し、符号化した情報を結合することで、符号化テーブル１２３を生成する。

図１に示す処理対象カラム情報１１では、項目「商品コード」、「売上個数」のカラムを抽出することが指定されている。符号化装置は、テーブル１０の１行目のレコードの各カラムを走査すると、処理対象のカラムとして、「Ａ００００９」と「９」とがヒットする。このため、符号化装置は、「Ａ００００９」を「（Ａ００００９）」に符号化し、「９」を「（９）」に符号化する。本実施例では説明の便宜上、符号化されたカラムの情報を括弧付きで表すこととする。

符号化装置は、テーブル１０の２行目のレコードの各カラムを走査すると、処理対象のカラムとして、「Ａ０００１５」と「５」とがヒットする。このため、符号化装置は、「Ａ００１５」を「（Ａ０００１５）」に符号化し、「５」を「（５）」に符号化する。符号化装置は、テーブル１０の３行目のレコードの各カラムを走査すると、処理対象のカラムとして、「Ａ００００３」と「１４」とがヒットする。このため、符号化装置は、「Ａ０００３」を「（Ａ００００３）」に符号化し、「１４」を「（１４）」に符号化する。

符号化装置は、テーブル１０の４行目のレコードの各カラムを走査すると、処理対象のカラムとして、「Ａ００００３」と「９」とがヒットする。このため、符号化装置は、「Ａ０００３」を「（Ａ００００３）」に符号化し、「９」を「（９）」に符号化する。符号化装置は、テーブル１０の５行目のレコードの各カラムを走査すると、処理対象のカラムとして、「Ａ０００１５」と「４」とがヒットする。このため、符号化装置は、「Ａ００１５」を「（Ａ０００１５）」に符号化し、「４」を「（４）」に符号化する。

符号化装置は、符号化した各情報を結合することで、図１に示す符号化テーブル１２３を生成する。

このように、符号化装置は、複数のカラムがそれぞれデリミタで区切られたテーブル１０から、処理対象となるカラムを特定し、カラム単位で符号化することで、符号化テーブル１２３を生成する。このため、符号化された状態であっても、符号化されたコードの単位で、カラムの区切りを特定することができる。例えば、図１に示す例では、「（Ａ００００９）」と「９」との間に区切りが存在することを判別できる。従って、中間ファイルを生成せずに、カラムの区切りを判別可能な符号化情報を生成できる。

次に、本実施例に係るシステムの構成の一例について説明する。図２は、本実施例に係るシステムの構成を示す図である。図２に示すように、このシステムは、収集元システム５０と、配布先システム６０と、符号化装置１００とを有する。符号化装置１００は、ネットワーク等を介して、収集元システム５０および配布先システム６０に接続する。

収集元システム５０は、図１で説明したテーブル１０等の処理対象となる情報を収集するシステムである。以下の説明では、収集元システム５０が収集した処理対象となる情報を、処理データと表記する。収集元システム５０は、処理データを符号化装置１００に送信する。

配布先システム６０は、符号化装置１００から出力される符号化テーブル１２３を受信し、各種の処理を実行するシステムである。

符号化装置１００は、複数のカラムがそれぞれデリミタで区切られたテーブル１０から、処理対象となるカラムを特定し、カラム単位で符号化することで、符号化テーブル１２３を生成する装置である。例えば、テーブル１０は、収集元システム５０から送信される処理データに含まれているものとする。符号化装置１００は、符号化テーブル１２３を配布先システム６０に配布する。

図３は、本実施例に係る符号化装置の構成を示す機能ブロック図である。図３に示すように、この符号化装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。

通信部１１０は、ネットワークを介して、収集元システム５０および配布先システム６０とデータ通信を実行する処理部である。後述する制御部１３０は、通信部１１０を介して、収集元システム５０および配布先システム６０とデータをやり取りする。通信部１１０は、通信装置に対応する。

記憶部１２０は、処理手順定義１２１、処理データ１２２、符号化テーブル１２３を有する。記憶部１２０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子に対応する。または、各記憶部１２０は、ハードディスク、光ディスクなどの記憶装置に対応する。

処理手順定義１２１は、処理対象となるテーブルの情報および処理対象となるカラムの情報（処理対象カラム情報１１）を定義する情報である。処理手順定義１２１には、データ構造定義ファイルと、データ加工定義ファイルとを含む情報である。処理手順定義１２１は、管理者等により予め生成されているものとする。

データ構造定義ファイルは、処理対象となるデータのテーブル情報を保存したファイルである。テーブル情報は、項目名によって指定されている。例えば、テーブル情報で示される項目名が「伝票ＩＤ、連番、売上時刻、商品コード、店舗ＩＤ、売上個数」である場合には、図１で説明したテーブル１０が、処理対象のテーブルとなる。

データ加工定義ファイルは、図１で説明した処理対象カラム情報１１に対応する情報である。図４は、データ加工定義ファイルのデータ構造の一例を示す図である。図４に示すように、データ加工定義ファイルでは、領域７０ａにおいて、各データ変換処理を定義する。例えば、結合やカラム抽出などのデータ変換処理を行う場合には、「Replace」が領域７０ａに設定される。

領域７０ｂには、データ抽出における入力データの定義情報が設定される。処理対象となるテーブルの項目名（カラム）をＩＤ名で定義し、領域７０ｃで示される処理で利用される。

領域７０ｃには、出力データ（符号化テーブル１２３）の定義情報が設定される。領域７０ｃにおいて、処理対象となるカラムの項目名が指定される。図４に示す例では、処理対象となるカラムの項目名が「商品コード、売上個数」であることが定義されている。

処理データ１２２は、収集元システム５０によって生成される情報である。図５は、処理データのデータ構造の一例を示す図である。例えば、処理データ１２２には、テーブル１０と、図示しない他のテーブルが含まれる。各テーブルには、項目名が設定されており、各項目に対応した値が設定されている。

符号化テーブル１２３は、後述する生成部１３３による生成される情報である。図６は、符号化テーブルのデータ構造の一例を示す図である。符号化テーブル１２３は、図１で説明したように、カラム単位で符号化されたコードがそれぞれ結合されたものとなる。また、符号化テーブル１２３では、連結されたコードの結合部分が、区切りであるため、符号化テーブル１２３を復号化しなくても、カラムの区切りを判別することができる。

制御部１３０は、収集部１３１と、取得部１３２と、生成部１３３と、配布部１３４とを有する。制御部１３０は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１３０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。

収集部１３１は、図１に示した収集元システム５０から処理データ１２２を収集する処理部である。収集部１３１は、収集した処理データ１２２を、記憶部１２０に格納する。

取得部１３２は、記憶部１２０に格納された処理手順定義１２１を取得する処理部である。取得部１３２は、処理手順定義１２１を、生成部１３３に出力する。

生成部１３３は、処理手順定義１２１を基にして、処理データ１２２から処理対象となるテーブルを抽出し、テーブルから符号化テーブル１２３を生成する処理部である。

生成部１３３が、処理データ１２２から、処理対象となるテーブルを抽出する処理の一例について説明する。生成部１３３は、処理手順定義１２１に含まれるデータ構造定義ファイルを参照し、処理対象となるテーブルが有する項目を特定する。生成部１３３は、特定した項目と、処理データ１２２のテーブルに設定された項目とを比較して、特定した項目を全て含むテーブルを、処理データ１２２から抽出する。

生成部１３３が、抽出したテーブルを基にして符号化テーブル１２３を生成する処理の一例について説明する。生成部１３３は、処理手順定義１２１に含まれるデータ加工定義ファイルを参照し、テーブル１０に含まれる処理対象となるカラムをカラム単位で符号化し、符号化したカラムを結合した符号化テーブル１２３を生成する。

生成部１３３の具体的な処理は、図１で説明した処理に対応する。なお、データ加工定義ファイルは、図１に示した処理対象カラム情報１１に対応する。また、処理対象として抽出されたテーブルはテーブル１０に対応する。

例えば、テーブル１０には項目「伝票ＩＤ、連番、売上時刻、商品コード、店舗ＩＤ、売上個数」が設定されており、各項目に対応した値が設定されている。各項目に対応するカラムの値は、デリミタにより区切られているものとする。生成部１３３は、データ加工定義ファイルに基づいて、テーブル１０の各カラムを走査する。

生成部１３３は、テーブル１０の各カラムを走査し、処理対象のカラムにヒットした場合には、ヒットしたカラムを、カラム単位で抽出し、抽出したカラムを符号化する。例えば、生成部１３３は、カラムの情報と、カラムの情報に対応するコードとを対応付けた変換規則に基づいて、カラムを符号化する。生成部１３３は、上記の処理を繰り返し実行することで、処理対象のカラムをカラム単位で符号化し、符号化した情報を結合することで、符号化テーブル１２３を生成する。

なお、生成部１３３は、テーブル１０に含まれるカラムの位置関係に対応させて、符号化した各カラムを配置し、連結することで、符号化テーブル１２３を生成する。例えば、符号化前のテーブル１０において、商品コード「Ａ００００９」と、売上個数「９」とは同じ１行目のレコードである。このため、生成部１３３は、符号化テーブル１２３を生成する場合に、符号化した「（Ａ００００９）」と「（９）」とを１行目のレコードに配置して、連結する。

配布部１３４は、生成部１３３により生成された符号化テーブル１２３を、配布先システム６０に送信する処理部である。

次に、本実施例に係る符号化装置１００の処理手順の一例について説明する。図７は、符号化装置の処理手順を示すフローチャートである。図７に示すように、符号化装置１００の取得部１３２は、処理手順定義１２１を取得する（ステップＳ１０１）。

符号化装置１００の生成部１３３は、処理データ１２２から処理手順定義１２１に対応するテーブルを読み込む（ステップＳ１０２）。生成部１３３は、テーブルから一つのカラムを読み込む（ステップＳ１０３）。

生成部１３３は、読み込んだカラムが、処理対象のカラムか否かを判定する（ステップＳ１０４）。生成部１３３は、処理対象のカラムでない場合には（ステップＳ１０４，Ｎｏ）、ステップＳ１０７に移行する。

一方、生成部１３３は、処理対象のカラムである場合には（ステップＳ１０４，Ｙｅｓ）、読み込んだカラムをカラム単位で符号化する（ステップＳ１０５）。生成部１３３は、符号化した情報を書き込む（ステップＳ１０６）。

生成部１３３は、他のカラムが存在するか否かを判定する（ステップＳ１０７）。生成部１３３は、他のカラムが存在する場合には（ステップＳ１０７，Ｙｅｓ）、ステップＳ１０３に移行する。

一方、生成部１３３は、他のカラムが存在しない場合には（ステップＳ１０７，Ｎｏ）、カラム単位で符号化した情報を結合することで、符号化テーブル１２３を生成する（ステップＳ１０８）。

次に、本実施例に係る符号化装置１００の効果について説明する。符号化装置１００は、複数のカラムがそれぞれデリミタで区切られたテーブル１０から、処理対象となるカラムを特定し、カラム単位で符号化することで、符号化テーブル１２３を生成する。このため、符号化された状態であっても、符号化されたコードの単位で、カラムの区切りを特定することができる。例えば、図１に示す例では、「（Ａ００００９）」と「９」との間に区切りが存在することを判別できる。従って、中間ファイルを生成せずに、カラムの区切りを判別可能な符号化情報を生成できる。

また、符号化装置１００は、テーブル１０に含まれる複数のカラムを走査し、処理対象となるカラムを特定した時点で、特定したカラムをカラム単位で符号化する。このため、従来技術では、符号化対象となるカラムを全て抽出した後に、符号化を行う場合と比較して、抽出と符号化とが同時に実行できるので、符号化を効率よく実行できる。

また、符号化装置１００は、テーブル１０に含まれるカラムの位置関係に対応させて、符号化した各カラムを配置し、連結することで符号化テーブル１２３を生成する。このため、テーブル１０の項目と、処理対象となるカラムがわかれば、符号化テーブル１２３を復号化することなく、各カラムが何の項目に対応するものかを判別することができる。

次に、上記実施例に示した符号化装置１００と同様の機能を実現する符号化プログラムを実行するコンピュータの一例について説明する。図８は、符号化プログラムを実行するコンピュータの一例を示す図である。

図８に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読取る読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１〜２０７は、バス２０８に接続される。

ハードディスク装置２０７は、取得プログラム２０７ａ、生成プログラム２０７ｂを読み出してＲＡＭ２０６に展開する。取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。生成プログラム２０７ｂは、生成プロセス２０６ｂとして機能する。例えば、取得プロセス２０６ａは、取得部１３２に対応する。生成プロセス２０６ｂは、生成部１３３に対応する。

なお、取得プログラム２０７ａ、生成プログラム２０７ｂについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が取得プログラム２０７ａ、生成プログラム２０７ｂを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）コンピュータに、
複数のカラムが区切り情報で区切られたテーブルに含まれる複数のカラムのうち、処理対象となる複数の処理対象カラムを特定する処理対象カラム情報を取得し、
前記処理対象カラム情報を用いて、前記テーブルの前記複数の処理対象カラムをカラム単位で符号化し、
符号化された前記複数の処理対象カラムを結合した符号化テーブルを生成する、
処理を実行させることを特徴とする符号化プログラム。

（付記２）前記符号化する処理は、前記テーブルに含まれる複数のカラムを走査し、前記処理対象カラムを特定した時点で、特定した処理対象カラムをカラム単位で符号化することを特徴とする付記１に記載の符号化プログラム。

（付記３）前記符号化テーブルを生成する処理は、テーブルに含まれるカラムの位置関係に対応させて、符号化した各処理対象カラムを配置し、連結することで前記符号化テーブルを生成することを特徴とする付記１または２に記載の符号化プログラム。

（付記４）コンピュータが実行する符号化方法であって、
複数のカラムが区切り情報で区切られたテーブルに含まれる複数のカラムのうち、処理対象となる複数の処理対象カラムを特定する処理対象カラム情報を取得し、
前記処理対象カラム情報を用いて、前記テーブルの前記複数の処理対象カラムをカラム単位で符号化し、
符号化された前記複数の処理対象カラムを結合した符号化テーブルを生成する、
処理を実行させることを特徴とする符号化方法。

（付記５）前記符号化する処理は、前記テーブルに含まれる複数のカラムを走査し、前記処理対象カラムを特定した時点で、特定した処理対象カラムをカラム単位で符号化することを特徴とする付記４に記載の符号化方法。

（付記６）前記符号化テーブルを生成する処理は、テーブルに含まれるカラムの位置関係に対応させて、符号化した各処理対象カラムを配置し、連結することで前記符号化テーブルを生成することを特徴とする付記４または５に記載の符号化方法。

（付記７）複数のカラムが区切り情報で区切られたテーブルに含まれる複数のカラムのうち、処理対象となる複数の処理対象カラムを特定する処理対象カラム情報を取得する取得部と、
前記処理対象カラム情報を用いて、前記テーブルの前記複数の処理対象カラムをカラム単位で符号化し、符号化された前記複数の処理対象カラムを結合した符号化テーブルを生成する生成部と
を有することを特徴とする符号化装置。

（付記８）前記生成部は、前記テーブルに含まれる複数のカラムを走査し、前記処理対象カラムを特定した時点で、特定した処理対象カラムをカラム単位で符号化することを特徴とする付記７に記載の符号化装置。

（付記９）前記生成部は、テーブルに含まれるカラムの位置関係に対応させて、符号化した各処理対象カラムを配置し、連結することで前記符号化テーブルを生成することを特徴とする付記７または８に記載の符号化装置。

１００ 符号化装置
１１０ 通信部
１２０ 記憶部
１２１ 処理手順定義
１２２ 処理データ
１２３ 符号化テーブル
１３０ 制御部
１３１ 収集部
１３２ 取得部
１３３ 生成部
１３４ 配布部

Claims (4)

1. コンピュータに、
   複数のカラムが区切り情報で区切られたテーブルに含まれる複数のカラムのうち、処理対象となる複数の処理対象カラムを特定する処理対象カラム情報を取得し、
   前記処理対象カラム情報を用いて、前記テーブルに含まれる複数のカラムを走査し、前記処理対象カラムを特定した時点で、特定した処理対象カラムをカラム単位で符号化し、
   符号化された前記複数の処理対象カラムを結合した符号化テーブルを生成する、
   処理を実行させることを特徴とする符号化プログラム。
2. 前記符号化テーブルを生成する処理は、テーブルに含まれるカラムの位置関係に対応させて、符号化した各処理対象カラムを配置し、連結することで前記符号化テーブルを生成することを特徴とする請求項１に記載の符号化プログラム。
3. コンピュータが実行する符号化方法であって、
   複数のカラムが区切り情報で区切られたテーブルに含まれる複数のカラムのうち、処理対象となる複数の処理対象カラムを特定する処理対象カラム情報を取得し、
   前記処理対象カラム情報を用いて、前記テーブルに含まれる複数のカラムを走査し、前記処理対象カラムを特定した時点で、特定した処理対象カラムをカラム単位で符号化し、
   符号化された前記複数の処理対象カラムを結合した符号化テーブルを生成する、
   処理を実行させることを特徴とする符号化方法。
4. 複数のカラムが区切り情報で区切られたテーブルに含まれる複数のカラムのうち、処理対象となる複数の処理対象カラムを特定する処理対象カラム情報を取得する取得部と、
   前記処理対象カラム情報を用いて、前記テーブルに含まれる複数のカラムを走査し、前記処理対象カラムを特定した時点で、特定した処理対象カラムをカラム単位で符号化し、符号化された前記複数の処理対象カラムを結合した符号化テーブルを生成する生成部と
   を有することを特徴とする符号化装置。

Images