JP7003435B2 - 情報処理装置、プログラム、情報処理方法及びデータ構造 - Google Patents
情報処理装置、プログラム、情報処理方法及びデータ構造 Download PDFInfo
- Publication number
- JP7003435B2 JP7003435B2 JP2017083747A JP2017083747A JP7003435B2 JP 7003435 B2 JP7003435 B2 JP 7003435B2 JP 2017083747 A JP2017083747 A JP 2017083747A JP 2017083747 A JP2017083747 A JP 2017083747A JP 7003435 B2 JP7003435 B2 JP 7003435B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- file
- address
- target data
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
- H03M7/3088—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing the use of a dictionary, e.g. LZ78
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
- H03M7/3091—Data deduplication
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、情報処理装置、プログラム、情報処理方法及びデータ構造に関する。
従来、辞書ベースのデータ圧縮エンジンの辞書のリセット動作速度を高めることで、平均データ・スループットを向上させるシステム等が知られている（例えば特許文献１及び２参照）。
しかしながら、従来の技術では、回路規模が増大するという問題がある。
一つの側面では、回路規模の増大を防止することが可能な情報処理装置等を提供することを目的とする。
一つの案では、対象データを所定の演算処理により第１データへ変換する変換部と、変換した前記第１データ及び前記対象データのファイルを特定するための識別情報に基づき第２データを生成する生成部と、生成した前記第２データに対応するメモリのアドレスに前記対象データを記憶する記憶処理部と、を備える。
一つの側面では、回路規模の増大を防止することが可能となる。
実施の形態１
以下実施の形態を、図面を参照して説明する。図１は情報処理システムの概要を示す説明図である。情報処理システムはインターネット、ＬＡＮ（Local Area Network）、公衆回線網等の通信網Ｎに接続された情報処理装置１等を含む。情報処理装置１は、圧縮対象となる対象データを圧縮する装置である。情報処理装置１は例えば、サーバコンピュータ、パーソナルコンピュータ、または、ASIC（application specific integrated circuit）若しくはFPGA(field-programmable gate array)のLSI(Large-Scale Integration)等である。以下では情報処理装置１をコンピュータ１と読み替えて説明する。また以下で述べる処理はソフトウェアまたはハードウェアのいずれでも実装が可能であり、本実施形態ではソフトウェアで実装する例を示し、他の実施形態ではハードウェアで実装する例を示す。
以下実施の形態を、図面を参照して説明する。図１は情報処理システムの概要を示す説明図である。情報処理システムはインターネット、ＬＡＮ（Local Area Network）、公衆回線網等の通信網Ｎに接続された情報処理装置１等を含む。情報処理装置１は、圧縮対象となる対象データを圧縮する装置である。情報処理装置１は例えば、サーバコンピュータ、パーソナルコンピュータ、または、ASIC（application specific integrated circuit）若しくはFPGA(field-programmable gate array)のLSI(Large-Scale Integration)等である。以下では情報処理装置１をコンピュータ１と読み替えて説明する。また以下で述べる処理はソフトウェアまたはハードウェアのいずれでも実装が可能であり、本実施形態ではソフトウェアで実装する例を示し、他の実施形態ではハードウェアで実装する例を示す。
図１に圧縮対象となるファイル内のデータの一例を示す。データはa,b,c,d,e,f,g,h,d,e,f,g,・・・などの文字列であり、各データに付された０、１、２、・・・の番号は、データの先頭から１バイトずつ順に付されたものであり、ファイルにおけるデータの位置を特定するための位置情報（以下、出現位置という）である。ファイルにはファイルを特定するための識別情報（以下、ファイルＩＤという）が付与されている。図１の例ではファイルＩＤは１である。ここで、出現位置３～６の文字列defgを圧縮対象の対象データとして、メモリに記憶する場合、所定の演算処理により第１データ「５」を演算する。
次いで、第１データにファイルＩＤ「１」に基づく値を加算し第２データ「６」を求める。そして第２データ「６」に対応するメモリのアドレス「６」に文字列defg及び出現位置３を記憶する。また出現位置８～１１の文字列defgを対象データとして記憶する場合も同様に、上述した所定の演算処理により、第１データ「５」を演算する。次いで、第１データにファイルＩＤ「１」に基づく値を加算し第２データ「６」を求める。第２データ「６」に対応するメモリには、すでに文字列defgが記憶されているため、出現位置３に代えて出現位置８を上書きする。以下、詳細を説明する。
図２は、コンピュータ１のハードウェア群を示すブロック図である。コンピュータ１は制御部としてのＣＰＵ（Central Processing Unit）１１、メモリ１２、入力部１３、表示部１４、記憶部１５、時計部１８、及び、通信部１６等を含む。ＣＰＵ１１は、バス１７を介してハードウェア各部と接続されている。ＣＰＵ１１は記憶部１５に記憶された制御プログラム１５Ｐに従いハードウェア各部を制御する。なお、ＣＰＵ１１は複数のプロセッサコアを搭載したマルチコアプロセッサであっても良い。メモリ１２は例えばＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ(Dynamic RAM)、フラッシュメモリ等である。メモリ１２は、ＣＰＵ１１による各種プログラムの実行時に発生する種々のデータを一時的に記憶する。
入力部１３はマウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報をＣＰＵ１１へ出力する。表示部１４は液晶ディスプレイまたは有機ＥＬ（electroluminescence）ディスプレイ等であり、ＣＰＵ１１の指示に従い各種情報を表示する。通信部１６は通信モジュールであり、他のコンピュータ（図示せず）等との間で情報の送受信を行う。時計部１８は日時情報をＣＰＵ１１へ出力する。記憶部１５は大容量メモリまたはハードディスクであり、制御プログラム１５Ｐ等を記憶している。
図３はアドレスの生成方法を示す説明図である。ＣＰＵ１１は、所定の演算規則に従い第１データを求める。所定の演算規則は例えばハッシュ関数に基づくハッシュ値の演算規則である。以下では第１データをハッシュ値という。なお、本実施形態ではハッシュ関数を用いた例を示すがこれに限るものではない。その他の関数を用いた演算により第１データを求めるようにしても良い。図３の例ではハッシュ演算により、文字列に対するハッシュ値０、１、２、３が算出されている例を示している。文字列欄は文字列Ｘ－Ｙの形式で示しており、Ｘはハッシュ値を示し、Ｙは同一ハッシュ値となる文字列の集合の要素ＩＤを示している。例えば文字列１－０は、文字列のうち、ハッシュ値が１となり、ハッシュ値が１となる文字列群のうち、ＩＤ＝０で特定される文字列を示す。
ＣＰＵ１１は、文字列のハッシュ値にファイルＩＤを加算した値をアドレスとして生成する。なお、ファイルＩＤは、例えば最大でアドレスの総数個用意され、ファイルが圧縮処理の対象となる毎にそのうちのいずれかがファイルに割り当てられるようにすればよい。用意したファイルＩＤを使い切ると、辞書がリセットされると同時に全てのファイルＩＤが使用可能に戻る。すなわち、ＣＰＵ１１は、圧縮処理の対象となるファイルに総数個用意されたアドレスの中から、一のアドレスを割り当てる。ＣＰＵ１１は、全てのアドレスを複数のファイルに割り当てて処理を行った後、辞書（メモリ１２）をリセットする。ＣＰＵ１１は、再び、圧縮処理の対象となるファイルに総数個用意されたアドレスの中から、一のアドレスを割り当てる。また、ＣＰＵ１１は、合計値が、ファイルＩＤ総数（閾値）以上である場合、合計値からファイルＩＤ総数を減じた値をアドレスとして生成する。その他、以下のコードによりアドレスを生成するようにしても良い。「アドレス＝（ハッシュ値＋ファイルＩＤ）%(ファイルＩＤ総数)」。図３の例ではハッシュ値が０、ファイルＩＤが２の場合、書き込むべきアドレスは２となる。またハッシュ値が３、ファイルＩＤが２の場合、合計値が５となるためファイルＩＤ総数４を減じて、書き込むべきアドレスは１となる。すなわち、ハッシュ値と、ファイルＩＤとの二つの引数からアドレスを算出する処理を行う。ここで、ファイルＩＤをある値に固定した場合、ハッシュ値の集合からアドレスの集合への全単射となる。また、ハッシュ値をある値に固定した場合、ファイルＩＤの集合からアドレスの集合への全単射となる。
図４はファイルＩＤが０の場合のメモリ１２のデータ構造を示す説明図である。図１に示す文字列のうち、出現位置８～１２のdefgをメモリ１２に記憶する場合、ＣＰＵ１１は、ハッシュ関数を用いてハッシュ値５を算出する。次いで、ＣＰＵ１１は、ハッシュ値にファイルＩＤ０を加算して５を求める。ここで、５はファイルＩＤ総数８以上ではないため、アドレス５の位置に、先頭文字列の出現位置８を上書きする。
図５はファイルＩＤが１の場合のメモリ１２のデータ構造を示す説明図である。図１に示す文字列のうち、出現位置８～１２のdefgをメモリ１２に記憶する場合、ＣＰＵ１１は、ハッシュ関数を用いてハッシュ値５を算出する。次いで、ＣＰＵ１１は、ハッシュ値にファイルＩＤ１を加算して６を求める。ここで、６はファイルＩＤ総数８以上ではないため、アドレス６の位置に、出現位置８を上書きする。また例えば文字列bcdeのハッシュ値が７である場合、ファイルＩＤ１を加算して８となるが、ファイルＩＤ総数以上となるため、ＣＰＵ１１は、ファイルＩＤ総数を減じてアドレス０を求める。この場合、データがいまだ書き込まれていないアドレス０に文字列bcdfを記憶し、出現位置１を記憶する。
図６及び図７は記憶処理の手順を示すフローチャートである。ＣＰＵ１１は、データのｎバイト（図５の例では４バイト）をハッシュ値算出用のデータｋとして抽出する(ステップＳ６１)。すなわち、圧縮対象データの先頭nバイトをハッシュ値算出用のデータｋとする。図５の例では対象データとしてのデータｋはdefgとなる。ＣＰＵ１１は、データｋの出現位置を抽出する(ステップＳ６２)。なお、出現位置はファイルのデータの先頭から順に各データに付された番号である。ＣＰＵ１１は、ファイルＩＤ及びファイルＩＤ総数を読み出す(ステップＳ６３)。なお、図５の例では出現位置は８、ファイルＩＤは１、ファイルＩＤ総数は８とし、既知であるものとする。ＣＰＵ１１は、データｋのハッシュ値を算出する(ステップＳ６４)。
ＣＰＵ１１は、ハッシュ値及びファイルＩＤの合計値を算出する(ステップＳ６５)。図５の例ではハッシュ値は５、ファイルＩＤは１であり合計値は６となる。ＣＰＵ１１は、合計値がファイルＩＤ総数以上か否かを判断する(ステップＳ６６)。ＣＰＵ１１は、ファイルＩＤ総数以上でないと判断した場合(ステップＳ６６でＮＯ)、処理をステップＳ６７に移行させる。ＣＰＵ１１は、合計値をアドレスに決定する(ステップＳ６７)。ＣＰＵ１１は、ファイルＩＤ総数以上であると判断した場合(ステップＳ６６でＹＥＳ)、処理をステップＳ６８へ移行させる。
ＣＰＵ１１は、合計値からファイルＩＤ総数を減じた値をアドレスに決定する(ステップＳ６８)。ＣＰＵ１１は、すでに記憶済みのメモリ１２の当該アドレスのデータを読み出す(ステップＳ６９)。ＣＰＵ１１は、当該アドレスにすでに他のデータが記憶されているか否かを判断する(ステップＳ７１)。ＣＰＵ１１は、記憶されていないと判断した場合(ステップＳ７１でＮＯ)、メモリ１２のリセット後にデータがいまだ記憶されていないものとして処理をステップＳ７２に移行させる。
ＣＰＵ１１は、メモリ１２の当該アドレスの文字列記憶領域にデータｋを記憶し、出現位置記憶領域に出現位置を記憶する(ステップＳ７２)。ＣＰＵ１１は、アドレスにすでに他のデータが記憶されていると判断した場合(ステップＳ７１でＹＥＳ)、処理をステップＳ７３へ移行させる。ＣＰＵ１１は、他のデータとデータｋとが一致するか否かを判断する(ステップＳ７３)。ＣＰＵ１１は、一致しないと判断した場合(ステップＳ７３でＮＯ)、処理をステップＳ７４へ移行させる。ＣＰＵ１１は、メモリ１２の当該アドレス上の文字列記憶領域の他のデータに代えて、データｋを上書きする(ステップＳ７４)。ＣＰＵ１１は、メモリ１２の当該アドレスの出現位置記憶領域における他のデータの出現位置に代えてデータｋの出現位置を上書きする(ステップＳ７５)。
一致すると判断した場合(ステップＳ７３でＹＥＳ)、ＣＰＵ１１は、処理をステップＳ７６へ移行させる。ＣＰＵ１１は、メモリ１２の当該アドレスの出現位置記憶領域における他のデータの出現位置に代えて、データｋの出現位置を上書きする(ステップＳ７６)。なお実施形態では、ステップＳ７６の処理において、文字列記憶領域における一致したデータｋの上書きを行わない処理を行っているが、ステップＳ７４と同じくデータｋを上書きするようにしても良い。
以上述べた処理により、回路規模の増大を防止することが可能となる。またファイルとハッシュ値とが同じである場合、アドレスが同一となり、圧縮処理での文字列比較判定処理を行うことが可能となる。またファイルが同じであるがハッシュ値が相違する場合、アドレスが異なるため文字列比較判定処理に移行しないこととなる。またファイルが相違するがハッシュ値が同じ場合も、アドレスが異なるため文字列比較処理に移行しないこととなる。さらに、ファイル及びハッシュ値ともに相違する場合、ハッシュ値算出に用いる文字列長までの一致結果が相違していれば異なるファイルであると判断することが可能となる。またファイルＩＤ総数以上の場合にファイルＩＤ総数を減算してアドレスを求めることから、メモリ量を低減することが可能となる。
実施の形態２
実施の形態２はハードウェアにより実装する形態に関する。図８は実施の形態２に係る情報処理装置１のハードウェア群を示すブロック図である。実施の形態２では一例として実施の形態１で述べた機能をＦＰＧＡに実装する例を挙げて説明する。情報処理装置１は、論理回路等のデータ取得部８１、変換部８２、生成部８３、記憶処理部８４、判断部８５、判定部８６及びメモリ８７を含む。ＦＰＧＡ等の情報処理装置１は例えば大量のデータを処理するデータセンタのサーバコンピュータ３内のデータ圧縮用デバイスとして実装することが可能である。その他、多くの情報量を送受信する通信装置４内のデータ圧縮用デバイスとして実装、または、通信装置４に接続される機器として利用することも可能である。以下、各回路の処理内容を詳述する。
実施の形態２はハードウェアにより実装する形態に関する。図８は実施の形態２に係る情報処理装置１のハードウェア群を示すブロック図である。実施の形態２では一例として実施の形態１で述べた機能をＦＰＧＡに実装する例を挙げて説明する。情報処理装置１は、論理回路等のデータ取得部８１、変換部８２、生成部８３、記憶処理部８４、判断部８５、判定部８６及びメモリ８７を含む。ＦＰＧＡ等の情報処理装置１は例えば大量のデータを処理するデータセンタのサーバコンピュータ３内のデータ圧縮用デバイスとして実装することが可能である。その他、多くの情報量を送受信する通信装置４内のデータ圧縮用デバイスとして実装、または、通信装置４に接続される機器として利用することも可能である。以下、各回路の処理内容を詳述する。
データ取得部８１はファイルＩＤに係る圧縮対象となるデータのｎバイトをハッシュ値算出用のデータｋとして取得する。変換部８２はデータｋのハッシュ値を求めデータｋをハッシュ値に変換する。生成部８３は変換部８２で算出したハッシュ値及びファイルＩＤの合計値を算出する。また生成部８３は合計値がファイルＩＤ総数以上であるか否かを判断する。生成部８３は、合計値がファイルＩＤ総数以上でないと判断した場合、合計値をアドレスとして生成する。一方、生成部８３は、合計値がファイルＩＤ総数以上と判断した場合、合計値からファイルＩＤ総数を減じた値をアドレスとして生成する。
判断部８５はメモリ８７の生成したアドレスのデータを読み出す。判断部８５は、アドレスにすでに他のデータが記憶されているか否かを判断する。記憶処理部８４は、判断部８５により他のデータが記憶されていない旨の信号を受け付けた場合、データｋ及びデータｋの出現位置をメモリ８７の当該アドレスの文字列記憶領域及び出現位置記憶領域に記憶する。判定部８６は、判断部８５によりアドレスにすでに他のデータが記憶されている旨の信号を受け付けた場合、他のデータとデータｋとが一致するか否かを判断する。記憶処理部８４は、判定部８６により一致しない旨の信号を受け付けた場合、メモリ８７のアドレスに他のデータに代えてデータｋを上書きする。
また記憶処理部８４は、メモリ８７のアドレスに他のデータの出現位置に代えてデータｋの出現位置を上書きする。記憶処理部８４は、判定部８６により一致する旨の信号を受け付けた場合、メモリ８７のアドレスに他のデータの出現位置に代えてデータｋの出現位置を上書きする。以上述べたメモリ８７のデータ構造は以下のとおりである。メモリ８７のアドレスに対応した文字列記憶領域（第１領域）には、対象データが記憶されている。またメモリ８７のアドレスに対応した出現位置記憶領域（第２領域）には、対象データの出現位置が記憶されている。これにより、ファイルごとにメモリ８７を増設する方式と比較して回路規模を低減することが可能となる。またファイルＩＤに対応する領域をメモリ８７に新たに設ける方式とも比較して回路規模の増大を低減することが可能となる。
図９は比較例の記憶方式を示す説明図である。比較例の方式はファイルＩＤを記憶するための領域をメモリ８７に増設するものである。図９では、ファイルＩＤがＸの文字列defgを圧縮する例を示している。最初にハッシュ関数５が算出される。次いでハッシュ値５に対応するアドレス５に、出現位置及びファイルＩＤが上書きされる。この場合メモリ８７のファイルＩＤのレコードＹがＸに上書きされることとなる。これに対し、実施形態では比較例のようにメモリ８７のファイルＩＤに対応するbit幅を増加させることなく圧縮を行うことが可能となる。また情報記憶のための回路を追加することなく、メモリ１２のリセット間隔を拡大することが可能となる。
本実施の形態２は以上の如きであり、その他は実施の形態１と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
実施の形態３
図１０は実施の形態３に係るコンピュータ１のハードウェア群を示すブロック図である。コンピュータ１を動作させるためのプログラムは、ディスクドライブ、メモリーカードスロット等の読み取り部１０ＡにＣＤ－ＲＯＭ、ＤＶＤディスク、メモリーカード、またはＵＳＢメモリ等の可搬型記録媒体１Ａを読み取らせて記憶部１５に記憶しても良い。また当該プログラムを記憶したフラッシュメモリ等の半導体メモリ１Ｂをコンピュータ１内に実装しても良い。さらに、当該プログラムは、インターネット等の通信網Ｎを介して接続される他のサーバコンピュータ（図示せず）からダウンロードすることも可能である。以下に、その内容を説明する。
図１０は実施の形態３に係るコンピュータ１のハードウェア群を示すブロック図である。コンピュータ１を動作させるためのプログラムは、ディスクドライブ、メモリーカードスロット等の読み取り部１０ＡにＣＤ－ＲＯＭ、ＤＶＤディスク、メモリーカード、またはＵＳＢメモリ等の可搬型記録媒体１Ａを読み取らせて記憶部１５に記憶しても良い。また当該プログラムを記憶したフラッシュメモリ等の半導体メモリ１Ｂをコンピュータ１内に実装しても良い。さらに、当該プログラムは、インターネット等の通信網Ｎを介して接続される他のサーバコンピュータ（図示せず）からダウンロードすることも可能である。以下に、その内容を説明する。
図１０に示すコンピュータ１は、上述した各種ソフトウェア処理を実行するプログラムを、可搬型記録媒体１Ａまたは半導体メモリ１Ｂから読み取り、或いは、通信網Ｎを介して他のサーバコンピュータ（図示せず）からダウンロードする。当該プログラムは、制御プログラム１５Ｐとしてインストールされ、メモリ１２にロードして実行される。これにより、上述したコンピュータ１として機能する。
本実施の形態３は以上の如きであり、その他は実施の形態１及び２と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。なお、以上述べた各実施形態は相互に組み合わせることが可能である。
以上の実施の形態１から３を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
対象データを所定の演算処理により第１データへ変換する変換部と、
変換した前記第１データ及び前記対象データのファイルを特定するための識別情報に基づき第２データを生成する生成部と、
生成した前記第２データに対応するメモリのアドレスに前記対象データを記憶する記憶処理部と、
を備える情報処理装置。
（付記２）
前記生成部は、
前記第１データと前記識別情報とを加算して第２データを生成する
付記１に記載の情報処理装置。
（付記３）
前記生成部は、
前記第１データと前記識別情報とを加算した加算値が閾値以上である場合、前記加算値から前記閾値を減じて前記第２データを生成する
付記１に記載の情報処理装置。
（付記４）
前記アドレスに他の対象データが記憶されているか否かを判断する判断部を備え、
前記記憶処理部は、
前記他の対象データが記憶されていないと判断した場合、前記対象データ及び前記対象データの前記ファイルにおける位置を特定する位置情報を前記アドレスに記憶する
付記１から３のいずれか一つに記載の情報処理装置。
（付記５）
前記判断部により前記他の対象データが記憶されていると判断した場合に、前記対象データと前記他の対象データとが一致するか否かを判定する判定部を備え、
前記記憶処理部は、
一致しないと判断した場合、前記アドレスに前記他の対象データに代えて前記対象データを上書きし、前記他の対象データの位置情報に代えて前記対象データの位置情報を上書きする
付記４に記載の情報処理装置。
（付記６）
前記記憶処理部は、
前記判定部により一致すると判断した場合、前記アドレスに前記他の対象データの位置情報に代えて前記対象データの位置情報を上書きする
付記５に記載の情報処理装置。
（付記７）
対象データを所定の演算処理により第１データへ変換し、
変換した前記第１データ及び前記対象データのファイルを特定するための識別情報に基づき第２データを生成し、
生成した前記第２データに対応するメモリのアドレスに前記対象データを記憶する、
処理をコンピュータに実行させるプログラム。
（付記８）
対象データを所定の演算処理により第１データへ変換し、
変換した前記第１データ及び前記対象データのファイルを特定するための識別情報に基づき第２データを生成し、
生成した前記第２データに対応するメモリのアドレスに前記対象データを記憶する、
処理をコンピュータに実行させる情報処理方法。
（付記９）
メモリのアドレスに対応した第１領域に対象データを記憶したデータ構造であり、
前記対象データを所定の演算処理により第１データへ変換し、
変換した前記第１データ及び前記対象データのファイルを特定するための識別情報に基づき第２データを生成する
処理により、前記第２データに対応するアドレスの前記第１領域に前記対象データが記憶されているデータ構造。
（付記１０）
前記アドレスに対応した第２領域に前記対象データのファイルにおける位置を特定する位置情報をさらに記憶しており、
前記アドレスに他の対象データが記憶されているか否かを判断し、
前記他の対象データが記憶されていないと判断した場合、前記対象データを前記第１領域に記憶し、前記位置情報を前記第２領域に記憶する
付記９に記載のデータ構造。
対象データを所定の演算処理により第１データへ変換する変換部と、
変換した前記第１データ及び前記対象データのファイルを特定するための識別情報に基づき第２データを生成する生成部と、
生成した前記第２データに対応するメモリのアドレスに前記対象データを記憶する記憶処理部と、
を備える情報処理装置。
（付記２）
前記生成部は、
前記第１データと前記識別情報とを加算して第２データを生成する
付記１に記載の情報処理装置。
（付記３）
前記生成部は、
前記第１データと前記識別情報とを加算した加算値が閾値以上である場合、前記加算値から前記閾値を減じて前記第２データを生成する
付記１に記載の情報処理装置。
（付記４）
前記アドレスに他の対象データが記憶されているか否かを判断する判断部を備え、
前記記憶処理部は、
前記他の対象データが記憶されていないと判断した場合、前記対象データ及び前記対象データの前記ファイルにおける位置を特定する位置情報を前記アドレスに記憶する
付記１から３のいずれか一つに記載の情報処理装置。
（付記５）
前記判断部により前記他の対象データが記憶されていると判断した場合に、前記対象データと前記他の対象データとが一致するか否かを判定する判定部を備え、
前記記憶処理部は、
一致しないと判断した場合、前記アドレスに前記他の対象データに代えて前記対象データを上書きし、前記他の対象データの位置情報に代えて前記対象データの位置情報を上書きする
付記４に記載の情報処理装置。
（付記６）
前記記憶処理部は、
前記判定部により一致すると判断した場合、前記アドレスに前記他の対象データの位置情報に代えて前記対象データの位置情報を上書きする
付記５に記載の情報処理装置。
（付記７）
対象データを所定の演算処理により第１データへ変換し、
変換した前記第１データ及び前記対象データのファイルを特定するための識別情報に基づき第２データを生成し、
生成した前記第２データに対応するメモリのアドレスに前記対象データを記憶する、
処理をコンピュータに実行させるプログラム。
（付記８）
対象データを所定の演算処理により第１データへ変換し、
変換した前記第１データ及び前記対象データのファイルを特定するための識別情報に基づき第２データを生成し、
生成した前記第２データに対応するメモリのアドレスに前記対象データを記憶する、
処理をコンピュータに実行させる情報処理方法。
（付記９）
メモリのアドレスに対応した第１領域に対象データを記憶したデータ構造であり、
前記対象データを所定の演算処理により第１データへ変換し、
変換した前記第１データ及び前記対象データのファイルを特定するための識別情報に基づき第２データを生成する
処理により、前記第２データに対応するアドレスの前記第１領域に前記対象データが記憶されているデータ構造。
（付記１０）
前記アドレスに対応した第２領域に前記対象データのファイルにおける位置を特定する位置情報をさらに記憶しており、
前記アドレスに他の対象データが記憶されているか否かを判断し、
前記他の対象データが記憶されていないと判断した場合、前記対象データを前記第１領域に記憶し、前記位置情報を前記第２領域に記憶する
付記９に記載のデータ構造。
１ 情報処理装置、コンピュータ
１Ａ 可搬型記録媒体
１Ｂ 半導体メモリ
３ サーバコンピュータ
４ 通信装置
１０Ａ 読み取り部
１１ ＣＰＵ
１２ メモリ
１３ 入力部
１４ 表示部
１５ 記憶部
１５Ｐ 制御プログラム
１６ 通信部
１８ 時計部
８１ データ取得部
８２ 変換部
８３ 生成部
８４ 記憶処理部
８５ 判断部
８６ 判定部
８７ メモリ
Ｎ 通信網
１Ａ 可搬型記録媒体
１Ｂ 半導体メモリ
３ サーバコンピュータ
４ 通信装置
１０Ａ 読み取り部
１１ ＣＰＵ
１２ メモリ
１３ 入力部
１４ 表示部
１５ 記憶部
１５Ｐ 制御プログラム
１６ 通信部
１８ 時計部
８１ データ取得部
８２ 変換部
８３ 生成部
８４ 記憶処理部
８５ 判断部
８６ 判定部
８７ メモリ
Ｎ 通信網
Claims (6)
- 対象データを所定の演算処理により第１データへ変換する変換部と、
変換した前記第１データ及び前記対象データのファイルを特定するための識別情報に基づき第２データを生成する生成部と、
生成した前記第２データに対応するメモリのアドレスに前記対象データを記憶する記憶処理部と、
を備える情報処理装置。 - 前記生成部は、
前記第１データと前記識別情報とを加算して第２データを生成する
請求項１に記載の情報処理装置。 - 前記生成部は、
前記第１データと前記識別情報とを加算した加算値が閾値以上である場合、前記加算値から前記閾値を減じて前記第２データを生成する
請求項１に記載の情報処理装置。 - 前記アドレスに他の対象データが記憶されているか否かを判断する判断部を備え、
前記記憶処理部は、
前記他の対象データが記憶されていないと判断した場合、前記対象データ及び前記対象データの前記ファイルにおける位置を特定する位置情報を前記アドレスに記憶する
請求項１から３のいずれか一つに記載の情報処理装置。 - 対象データを所定の演算処理により第１データへ変換し、
変換した前記第１データ及び前記対象データのファイルを特定するための識別情報に基づき第２データを生成し、
生成した前記第２データに対応するメモリのアドレスに前記対象データを記憶する、
処理をコンピュータに実行させるプログラム。 - 対象データを所定の演算処理により第１データへ変換し、
変換した前記第１データ及び前記対象データのファイルを特定するための識別情報に基づき第２データを生成し、
生成した前記第２データに対応するメモリのアドレスに前記対象データを記憶する、
処理をコンピュータに実行させる情報処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017083747A JP7003435B2 (ja) | 2017-04-20 | 2017-04-20 | 情報処理装置、プログラム、情報処理方法及びデータ構造 |
| PCT/JP2018/006038 WO2018193707A1 (ja) | 2017-04-20 | 2018-02-20 | 情報処理装置、プログラム、情報処理方法及びデータ構造 |
| US16/574,127 US11222068B2 (en) | 2017-04-20 | 2019-09-18 | Information processing device, information processing method, and data structure |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017083747A JP7003435B2 (ja) | 2017-04-20 | 2017-04-20 | 情報処理装置、プログラム、情報処理方法及びデータ構造 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018181196A JP2018181196A (ja) | 2018-11-15 |
| JP7003435B2 true JP7003435B2 (ja) | 2022-01-20 |
Family
ID=63856236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017083747A Active JP7003435B2 (ja) | 2017-04-20 | 2017-04-20 | 情報処理装置、プログラム、情報処理方法及びデータ構造 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11222068B2 (ja) |
| JP (1) | JP7003435B2 (ja) |
| WO (1) | WO2018193707A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7017490B2 (ja) | 2018-09-27 | 2022-02-08 | トヨタ自動車株式会社 | 車両用シート構造 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004081794A1 (ja) | 2003-03-10 | 2004-09-23 | Sharp Kabushiki Kaisha | データ処理装置、データ処理用のプログラムおよび記録媒体 |
| JP2007124561A (ja) | 2005-10-31 | 2007-05-17 | Fujitsu Ltd | データ圧縮方法及び圧縮データ送信方法 |
| JP2012164130A (ja) | 2011-02-07 | 2012-08-30 | Hitachi Solutions Ltd | データ分割プログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3171510B2 (ja) | 1993-06-01 | 2001-05-28 | ヒューレット・パッカード・カンパニー | 辞書ベースのメモリ内のデータを圧縮および圧縮解除する方法 |
| JPH0936747A (ja) | 1995-07-18 | 1997-02-07 | Toshiba Corp | データ圧縮方法及びデータ圧縮装置 |
| US20200034367A1 (en) * | 2017-03-13 | 2020-01-30 | Nec Corporation | Relation search system, information processing device, method, and program |
-
2017
- 2017-04-20 JP JP2017083747A patent/JP7003435B2/ja active Active
-
2018
- 2018-02-20 WO PCT/JP2018/006038 patent/WO2018193707A1/ja active Application Filing
-
2019
- 2019-09-18 US US16/574,127 patent/US11222068B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004081794A1 (ja) | 2003-03-10 | 2004-09-23 | Sharp Kabushiki Kaisha | データ処理装置、データ処理用のプログラムおよび記録媒体 |
| JP2007124561A (ja) | 2005-10-31 | 2007-05-17 | Fujitsu Ltd | データ圧縮方法及び圧縮データ送信方法 |
| JP2012164130A (ja) | 2011-02-07 | 2012-08-30 | Hitachi Solutions Ltd | データ分割プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018193707A1 (ja) | 2018-10-25 |
| US20200012685A1 (en) | 2020-01-09 |
| US11222068B2 (en) | 2022-01-11 |
| JP2018181196A (ja) | 2018-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20090144309A1 (en) | Method and apparatus for verifying a suspect return pointer in a stack | |
| JP2013535716A (ja) | 仮想マシン間で分析の結果を共有するためのシステムおよび方法 | |
| CN113961768B (zh) | 敏感词检测方法、装置、计算机设备和存储介质 | |
| CN106233257A (zh) | 输入数据的条件性保存 | |
| CN107577943B (zh) | 基于机器学习的样本预测方法、装置及服务器 | |
| CN111522574A (zh) | 差分包生成方法及相关设备 | |
| JP7003435B2 (ja) | 情報処理装置、プログラム、情報処理方法及びデータ構造 | |
| CN105354506B (zh) | 隐藏文件的方法和装置 | |
| CN112612427A (zh) | 一种车辆停靠点数据处理方法、装置、存储介质及终端 | |
| JP5906906B2 (ja) | ログ管理方法、ログ管理システムおよび情報処理装置 | |
| JP7542199B2 (ja) | ニューラルネットワーク、演算方法及びプログラム | |
| US11356853B1 (en) | Detection of malicious mobile apps | |
| CN114331745A (zh) | 数据处理方法、系统、程序产品、介质和电子设备 | |
| JP2018165875A (ja) | インデックス生成プログラム、データ検索プログラム、インデックス生成装置、データ検索装置、インデックス生成方法、及びデータ検索方法 | |
| JPWO2017175375A1 (ja) | データクレンジングシステム、方法、及び、プログラム | |
| JP6831307B2 (ja) | 解算出装置、解算出方法及び解算出プログラム | |
| JP6333306B2 (ja) | 検索データ管理装置、検索データ管理方法、および検索データ管理プログラム | |
| KR101745821B1 (ko) | 시큐어 부팅 방법 및 시스템 | |
| CN113139190A (zh) | 程序文件检测方法、装置、电子设备及存储介质 | |
| JP6971835B2 (ja) | 要素類似判定装置、要素類似判定方法及び要素類似判定プログラム | |
| CN117081727B (zh) | 一种弱口令检测方法以及装置 | |
| WO2020202324A1 (ja) | 文書解析装置、文書解析方法、及びコンピュータ読み取り可能な記録媒体 | |
| CN118153002A (zh) | 嵌入水印的方法、装置、电子设备及存储介质 | |
| JP5389733B2 (ja) | 抽出装置及び抽出方法 | |
| WO2020008631A1 (ja) | 観測事象判定装置、観測事象判定方法、及びコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210317 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210817 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211101 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20211101 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20211112 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211213 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7003435 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |