WO2017043075A1 - 分類情報作成装置、分類情報作成方法、検索装置、検索方法、及び、記録媒体 - Google Patents

分類情報作成装置、分類情報作成方法、検索装置、検索方法、及び、記録媒体 Download PDF

Info

Publication number
WO2017043075A1
WO2017043075A1 PCT/JP2016/004071 JP2016004071W WO2017043075A1 WO 2017043075 A1 WO2017043075 A1 WO 2017043075A1 JP 2016004071 W JP2016004071 W JP 2016004071W WO 2017043075 A1 WO2017043075 A1 WO 2017043075A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
extraction
identifier
measurement
item
Prior art date
Application number
PCT/JP2016/004071
Other languages
English (en)
French (fr)
Inventor
匡人 山根
佑樹 芦野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to EP16843942.0A priority Critical patent/EP3349127A4/en
Priority to SG11201801897XA priority patent/SG11201801897XA/en
Priority to US15/753,647 priority patent/US10902027B2/en
Publication of WO2017043075A1 publication Critical patent/WO2017043075A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2237Vectors, bitmaps or matrices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24564Applying rules; Deductive queries
    • G06F16/24565Triggers; Constraints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2291User-Defined Types; Storage management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84Mapping; Conversion
    • G06F16/86Mapping to a database

Definitions

  • the present invention relates to a classification information creating apparatus that creates information that enables high-speed search processing.
  • Patent Document 1 discloses an example of creating log information.
  • Patent Document 2 discloses an example of detecting a cyber attack based on log information.
  • Patent Document 3 discloses a technique for facilitating a process of comparing a plurality of types of different log information.
  • the management device disclosed in Patent Document 1 creates a request classification log in which the number of request signals received via a communication network is classified for each predetermined time interval and request type.
  • the management device further generates a system log in which the resource usage in the server that has processed the request is recorded at each predetermined time interval.
  • the management apparatus calculates, for each request, the resource usage required to process the request based on the created request classification log and the created system log.
  • the log analysis device disclosed in Patent Document 2 extracts an attack that has not been detected but is an attack before the detected attack based on an attack scenario representing an attack procedure assumed in a cyber attack.
  • the log analysis apparatus determines whether or not the extracted attack has been received by analyzing a log related to the computer system, and if the attack has been received, determines that a missed detection of the attack has occurred.
  • the log aggregation support device disclosed in Patent Document 3 collects log information including unauthorized communication records from a plurality of intrusion detection systems, and stores the collected log information in a storage unit.
  • the log totaling support apparatus creates a work table in which log information having the same value of items common to the log information among the log information stored in the storage unit is associated with each other.
  • a main object of the present invention is to provide a classification information creating apparatus and the like that enable high-speed search processing for log information such as communication.
  • a classification information creation device includes: A measurement identifier capable of uniquely identifying the measurement value with respect to measurement information in which a measurement value measured with respect to communication performed via a communication network is associated with a resource identifier capable of identifying the device that created the measurement value An identifier creating means for creating The resource identifier in the extracted information in which a condition related to the resource identifier, an extracted item representing an item to be extracted from the measurement information when the condition is satisfied, and an extracted information identifier that can identify the extracted item are associated with each other Extraction means for extracting a specific measurement value associated with the resource identifier from the measurement information when the resource identifier in the measurement information satisfies a condition regarding Reading means for reading a value representing an extraction item in the extraction information from the specific measurement value; Classification information creating means for creating classification information in which the measurement identifier representing the specific measurement value, the extracted information identifier in the extracted information, and the value read by the reading means are associated with
  • the classification information creation method is: A measurement identifier capable of uniquely identifying the measurement value with respect to measurement information in which a measurement value measured with respect to communication performed via a communication network is associated with a resource identifier capable of identifying the device that created the measurement value Create The resource identifier in the extracted information in which a condition related to the resource identifier, an extracted item representing an item to be extracted from the measurement information when the condition is satisfied, and an extracted information identifier that can identify the extracted item are associated with each other When the resource identifier in the measurement information satisfies the condition regarding, the specific measurement value associated with the resource identifier is extracted from the measurement information, Read a value representing an extraction item in the extraction information from the specific measurement value, Classification information is created in which a measurement identifier representing the specific measurement value, the extraction information identifier in the extraction information, and the read value are associated with each other.
  • this object is also realized by such a classification information creation program and a computer-readable recording medium for recording the program.
  • classification information creation device and the like it is possible to perform high-speed search processing for log information.
  • FIG. 1 is a block diagram showing the configuration of the classification information creating apparatus 501 according to the first embodiment of the present invention.
  • the classification information creation device 501 includes an identifier creation unit 502, an extraction unit 503, a reading unit 504, and a classification information creation unit 505.
  • the classification information creation device 501 may further include an extraction information storage unit 506.
  • the extracted information storage unit 506 can store extracted information as exemplified in FIG. 6 (described later).
  • the measurement information that is the basis for creating the classification information by the classification information creation device 501 will be described, and the extraction information to which the classification information creation device 501 refers will be described with reference to FIG. 6. . Then, the process in the classification information creation apparatus 501 according to the first embodiment of the present invention will be described with reference to FIG.
  • FIG. 3 is a diagram conceptually illustrating an example of measurement information measured for communication executed according to the HTTP protocol in the communication network.
  • FIG. 4 is a diagram conceptually illustrating an example of measurement information measured using a tcpdump command that captures packets transmitted and received in a communication network.
  • HTTP represents an abbreviation for Hypertext_Transfer_Protocol.
  • the measurement information includes the address of the information processing apparatus that has transmitted the request, the identification information of the user that has transmitted the request, the date and time when the server has finished processing related to the request, the request, and the request Information associated with the status (state) of the server after processing.
  • the address “1.2.3.4”, the user “A”, the date and time “2015/9/3 — 13:30:26”, and the request “GET_ / xxx_HTTP / 1.0” And status “200” are associated with each other.
  • the measurement information is related to the communication performed via the communication network, the time when the communication was performed, and the devices (that is, the first device and the second device) that performed the communication.
  • This is information in which the name and the port number through which the communication is executed are associated with each other.
  • the time “10:56:21”, the name “Client” of the first device, the port number “1036” in the first device, the name “Server” of the second device, The port number “www” in the second device is associated. This is because communication was executed at the time “10:56:21” between the port number “1036” of the device represented by “Client” and the port number “www” of the device represented by “Server”. To express.
  • a device that creates (measures) measurement information is referred to as a “log creation device” (resource). It is assumed that the plurality of log creating apparatuses create different types of measurement information as illustrated in FIGS. 3 and 4. It is assumed that a resource identifier representing a log creation device that creates measurement information as illustrated in FIG. 4 by using a tcpdump command or the like is represented as “Pcap” (packet_capture). It is assumed that a resource identifier representing a log creation device that creates measurement information (illustrated in FIG. 3) measured for communication executed according to the HTTP protocol is represented as “Apache”.
  • the log creation device converts the measurement information into a certain unified format (normalization processing) ) May be executed.
  • the log creation device creates measurement information 507 (FIG. 5) described according to a unified format based on a plurality of pieces of measurement information having different formats (for example, FIGS. 3 and 4).
  • FIG. 5 is a diagram conceptually illustrating an example of the measurement information 507.
  • the measurement information 507 includes the time at which communication is performed, a resource identifier representing a log creation device that has measured the measurement information 507 for the communication, and a measurement value (for example, address, User, request, device name and port number).
  • a measurement value for example, address, User, request, device name and port number.
  • the measurement information 507 does not necessarily include all items described with reference to FIGS. That is, the measurement information 507 is not limited to the above-described example.
  • the measurement information 507 is described according to a certain unified format, but the same processing as the processing described later is executed for each measurement information described according to a different format. May be.
  • FIG. 6 is a diagram conceptually illustrating an example of extraction information referred to by the classification information creation device 501.
  • the extracted information is information in which an extracted item representing an item to be extracted from the measurement information 507, a condition regarding a resource identifier when the extracted item is extracted, and an extracted information identifier that can uniquely identify the extracted item are associated with each other. It is. For example, in the extracted information illustrated in FIG. 6, the extracted information identifier “2”, the condition “Pcap”, and the extracted item “port number” are associated with each other. This is because, in the measurement information 507 illustrated in FIG. 5, the extraction information identifier representing the process of extracting the extraction item “port number” based on the measurement value associated with the resource identifier “Pcap” is “2”. Represents.
  • the extracted information identifier “4”, the condition “*” (asterisk), and the extracted item “AS number” are associated with each other.
  • the symbol “*” indicates that the condition regarding the resource identifier is not specified.
  • the extraction information identifier representing the process of extracting the extraction item “AS number” from all the measurement values included in the measurement information 507 illustrated in FIG. 5 is “4”.
  • AS is an abbreviation for Autonomous_System.
  • the AS number is a device identifier representing a device through which communication is performed when communication is executed.
  • the search device shown in the second embodiment executes a search process for a request configured using an extraction item in the extraction information stored in the extraction information storage unit 506.
  • the extraction information is not limited to the extraction information shown in FIG.
  • FIG. 2 is a flowchart showing the flow of processing in the classification information creating apparatus 501 according to the first embodiment.
  • the identifier creating unit 502 creates a measurement identifier that can uniquely make the measurement value included in the measurement information 507 (illustrated in FIG. 5) related to the communication executed via the communication network (see FIG. 5). Step S501). For example, the identifier creating unit 502 assigns natural numbers in order to the measurement values included in the measurement information 507 as measurement identifiers that can identify the measurement values included in the measurement information 507.
  • the extraction unit 503 reads a certain condition, an extracted item associated with the certain condition, and an extracted information identifier associated with the certain condition from the extracted information illustrated in FIG. 6 (Step S502). .
  • the extraction unit 503 refers to the measurement information 507 when the resource identifier satisfies the certain condition, thereby measuring the measurement value (“ (Referred to as “specific measurement value”) (step S503).
  • the extraction unit 503 extracts the extracted information identifier “3”, the condition “Apache” (the above “certain condition”), and the extracted item “measurement” from the extracted information illustrated in FIG. Read the information associated with "value”.
  • the extraction unit 503 refers to the measurement information 507 illustrated in FIG. 5, and when the resource identifier satisfies the read condition “Apache”, the measurement value “1. 2.3.4 ... "is extracted.
  • the extraction unit 503 refers to the measurement information 507 illustrated in FIG. 5 to further determine the measurement value “1.2.5.6... When the resource identifier satisfies the read condition“ Apache ”. ⁇ ”Is extracted.
  • the reading unit 504 reads a value representing the extracted item read by the extraction unit 503 in step S502 from the specific measurement value extracted by the extraction unit 503 in step S503 (step S504).
  • the reading unit 504 receives the measurement value “1.2.3.4...” As the extraction item associated with the condition “Apache” in step S504. read.
  • the classification information creation unit 505 includes a measurement identifier representing the specific measurement value (created by the identifier creation unit 502 in step S501), an extracted information identifier read by the extraction unit 503, and a value read by the extraction unit 503.
  • the associated classification information is created (step S505).
  • the identifier creating unit 502 assigns a natural number as a measurement identifier to the measurement information 507 illustrated in FIG. 5, for example, the reading unit 504 reads the measurement value “1.2.3.4.
  • the classification information (FIG. 7, described later) in which the measurement identifier “1”, the extracted information identifier “3”, and the measurement value “1.2.3.4.
  • the classification information creation unit 505 includes the measurement identifier “3” represented by the measurement value “1.2.5.6...”, The extracted information identifier “3”, and the measurement value “1.2.5. 6 ”may be created.
  • the classification information creation device 501 executes the processing shown in steps S502 to S505 shown in FIG. 2 for each piece of information included in the extracted information.
  • the classification information creation device 501 creates the classification information illustrated in FIG.
  • FIG. 7 is a diagram conceptually illustrating an example of the classification information created by the classification information creation device 501.
  • the classification information is read by the reading unit 504 regarding the measurement identifier representing the specific measurement value extracted by the extraction unit 503, the extracted information identifier read by the extraction unit 503 in step S502, and the extracted item.
  • This is information associated with values related to extracted items.
  • the value “1.2” is set as the value of the extraction item associated with the extraction identifier “3” by the reading unit 504 according to the condition represented by the extraction information identifier “3”. .3.4 ... "is read.
  • the classification information creation device 501 can enable high-speed search processing for log information. This is because the classification information (FIG. 7) created by the classification information creation device 501 is suitable for a high-speed search.
  • the classification information creating apparatus 501 includes a measurement identifier that can identify measurement information 507 (illustrated in FIG. 5), an extraction information identifier that can identify an extraction item (illustrated in FIG. 6), and a reading unit 504.
  • Classification information (illustrated in FIG. 7) associated with the extracted value is created. That is, the classification information created by the classification information creation device 501 is information in which the measurement information 507 is classified for the extracted items included in the extracted information. For this reason, when the classification information is searched using a certain request, the extraction information identifier representing the extraction item constituting the certain request matches the extraction information identifier included in the classification information. It is determined whether or not there is.
  • the classification information generation apparatus 501 When a search process according to a request configured using an extraction item as described with reference to FIG. 6 is executed, according to the classification information generation apparatus 501 according to the present embodiment, the measurement information 507 The search processing is executed with the classification information into which the is classified as the search target. As a result, for a plurality of requests that include a certain search condition in common, a search process related to the certain search condition is executed in the classification information, so even if the plurality of requests are received When the request is received, the search process for the certain search condition is not executed.
  • FIG. 8 is a block diagram showing the configuration of the search device 601 according to the second embodiment of the present invention.
  • the search device 601 includes a classification information creation device 501, a request analysis unit 602, an extraction unit 603, and an integrated search unit 604.
  • the search device 601 can refer to the classification information 605 (illustrated in FIG. 7) created by the classification information creation device 501.
  • FIG. 9 is a flowchart showing the flow of processing in the search device 601 according to the second embodiment.
  • the classification information creation device 501 creates classification information 605 as exemplified in FIG. 7 in advance.
  • the request analysis unit 602 receives a request in which a certain search condition and an extracted item representing an item extracted from data satisfying the certain search condition are associated (step S601).
  • a request is a signal for requesting an AS number that has been transmitted in accordance with the HTTP protocol within one week, and for the communication requesting information at a specific address, via the communication.
  • a certain search condition is a condition in which the following conditions A to C are combined.
  • Condition A Whether or not the time when the communication is executed is within one week
  • Condition B Whether or not the resource has performed communication according to the HTTP protocol
  • Condition C Whether communication is a request for information at a specific address.
  • the extracted item is a device identifier (AS number) indicating a device that has passed through when communication that satisfies the certain search condition is executed.
  • AS number device identifier
  • the request analysis unit 602 obtains the condition A, the condition B, the condition C, and the extraction item “AS number” from the received request.
  • the request analysis unit 602 For each condition included in the search condition in the received request, the request analysis unit 602 identifies an extraction item that matches the condition by referring to the extraction information illustrated in FIG. (Step S602).
  • Condition A is a condition related to the time when communication is executed.
  • the request analysis unit 602 identifies an extraction item that matches the “time” that is a target obtained under the condition A by referring to the extraction information (illustrated in FIG. 6). In this case, the request analysis unit 602 specifies the extracted item “time” as the extracted item that matches the condition A.
  • Condition B is a condition related to a resource identifier for which communication has been executed.
  • the request analysis unit 602 identifies an extraction item that matches the “resource identifier” that is a target to be obtained under the condition B by referring to the extraction information (illustrated in FIG. 6). In this case, the request analysis unit 602 specifies the extracted item “resource identifier” as the extracted item that matches the condition B.
  • Condition C is a condition related to the address.
  • the request analysis unit 602 identifies the extraction item that matches the “address” that is the target to be obtained under the condition C by referring to the extraction information (illustrated in FIG. 6). In this case, the request analysis unit 602 specifies the extraction item “address” as the extraction item that matches the condition C.
  • the request analysis unit 602 specifies an extraction information identifier associated with the specified extraction item by referring to the extraction information (step S603).
  • the request analysis unit 602 specifies the extraction information identifier “5” associated with the extraction item “time” specified for the condition A by referring to the extraction information illustrated in FIG.
  • the request analysis unit 602 specifies the extracted information identifier “1” associated with the extracted item “resource identifier” specified for the condition B by referring to the extracted information.
  • the request analysis unit 602 specifies the extraction information identifier “6” associated with the extraction item “address” specified for the condition C by referring to the extraction information.
  • the request analysis unit 602 specifies the extracted information identifier associated with the extracted item in the received request by referring to the extracted information illustrated in FIG. 6 (step S604). For example, the request analysis unit 602 specifies the extraction information identifier “4” associated with the extraction item “AS number” for the received request.
  • the request analysis unit 602 creates search information (illustrated in FIG. 10) in which the extracted information identifier specified for each condition is associated with the requirements included in the condition.
  • FIG. 10 is a diagram conceptually illustrating an example of search information.
  • the extracted information identifier “5” and the requirement “within one week” are associated. This represents a condition for determining whether or not the value of the extracted item extracted for the extracted information identifier “5” satisfies the requirement “within one week”.
  • the extracted information identifier “1” is associated with the requirement “Apache”. This represents a condition for determining whether or not the value of the extracted item extracted with respect to the extracted information identifier “1” satisfies the requirement “Apache”.
  • search information is not limited to the search information illustrated in FIG.
  • the extraction unit 603 refers to the classification information 605 to extract a measurement identifier that satisfies the search information created by the request analysis unit 602 (that is, each condition in the search condition in the request) (Step S S605).
  • the extraction unit 603 reads the value of the extraction item and the measurement identifier associated with the extraction information identifier “5” in the classification information 605 illustrated in FIG. 7 with respect to the condition A (that is, the first line in FIG. 10). Then, it is determined whether or not the read value is the requirement “within one week” (that is, condition A). If the value of the extracted item is within one week, the extraction unit 603 extracts the read measurement identifier. The extraction unit 603 does not extract the read measurement identifier when the value of the extraction item is not within one week.
  • the extraction unit 603 reads and reads the value of the extraction item and the measurement identifier associated with the extraction information identifier “1” in the classification information 605 illustrated in FIG. 7 with respect to the condition B (that is, the second line in FIG. 10). Whether or not the value satisfies the requirement “Apache” (ie, condition B). When the value of the extraction item is “Apache”, the extraction unit 603 extracts the read measurement identifier. If the value of the extraction item is not “Apache”, the extraction unit 603 does not extract the read measurement identifier.
  • the extraction unit 603 performs the same process as the process performed in the condition A or the condition B.
  • the integrated search unit 604 specifies a measurement identifier that satisfies the search condition from among the measurement identifiers extracted by the extraction unit 603 for each condition in the search condition (step S606).
  • step S606 Since the search condition received by the request analysis unit 602 is a condition in which the condition A, the condition B, and the condition C are combined by a logical product operation, the integrated search unit 604 performs measurement that the extraction unit 603 has extracted for each condition. A measurement identifier included in common with the identifier is obtained.
  • the integrated search unit 604 extracts the respective conditions by the extraction unit 603. A measurement identifier included in one of the measurement identifiers is obtained.
  • the integrated search unit 604 refers to the classification information 605 illustrated in FIG. 7, and associates the obtained measurement identifier with the extracted information identifier specified by the request analysis unit 602 regarding the extracted item in step S604.
  • the value of the extracted item is specified (step S607).
  • the integrated search unit 604 may output the value of the identified extraction item. That is, the integrated search unit 604 can specify the value of the extraction item that is the extraction target for the measurement identifier that satisfies the search condition by executing the process shown in step S607.
  • the search device 601 according to the present embodiment can enable high-speed search processing regarding log information such as communication. This is because the configuration of the search device 601 according to the second embodiment includes the configuration of the classification information creation device 501 according to the first embodiment.
  • search processing can be executed at high speed for log information such as communication. This is because the measurement information 507 is classified as classification information according to a condition that can be described as an element constituting the search condition when executing a search process according to the received request.
  • the search device 601 has an effect that a wasteful storage area does not occur even if normalization processing is performed on measurement information while enabling efficient search. For example, when the measurement value is normalized among the measurement information illustrated in FIG. 5, an empty value may occur after the normalization processing for items that are not common to a plurality of measurement values.
  • the classification information 605 illustrated in FIG. 7 created by the search device 601 is created based on the extracted information (illustrated in FIG. 6) in which the extracted items of interest are stored in advance. Therefore, the possibility that the above-described null value is generated is low.
  • the processing in the search processing device 601 and the processing in the classification information creation device 501 have been described with reference to an example of communication executed according to the HTTP protocol.
  • the apparatus according to each embodiment of the present invention described above is not limited to communication executed according to the HTTP protocol.
  • the classification information creation device or the search device may be realized using at least two calculation processing devices physically or functionally.
  • the classification information creation device or the search device may be realized as a dedicated device.
  • FIG. 11 is a diagram schematically illustrating a hardware configuration example of a calculation processing apparatus capable of realizing the classification information creating apparatus according to the first embodiment or the search apparatus according to the second embodiment.
  • the computer 20 includes a central processing unit (Central_Processing_Unit, hereinafter referred to as “CPU”) 21, a memory 22, a disk 23, a nonvolatile recording medium 24, a communication interface (hereinafter referred to as “communication IF”) 27, and A display 28 is provided.
  • the calculation processing device 20 may be connectable to the input device 25 and the output device 26.
  • the calculation processing device 20 can transmit / receive information to / from other calculation processing devices and communication devices via the communication IF 27.
  • the non-volatile recording medium 24 is a computer-readable, for example, compact disc (Compact_Disc) or digital versatile disc (Digital_Versatile_Disc).
  • the nonvolatile recording medium 24 may be a universal serial bus memory (USB memory), a solid state drive (Solid_State_Drive), or the like.
  • the non-volatile recording medium 24 retains such a program without being supplied with power, and can be carried.
  • the nonvolatile recording medium 24 is not limited to the above-described medium. Further, the program may be carried via the communication IF 27 and the communication network instead of the nonvolatile recording medium 24.
  • the CPU 21 copies a software program (computer program: hereinafter simply referred to as “program”) stored in the disk 23 to the memory 22 when executing it, and executes arithmetic processing.
  • the CPU 21 reads data necessary for program execution from the memory 22.
  • the CPU 21 displays the output result on the display 28.
  • the CPU 21 outputs an output result to the output device 26.
  • the CPU 21 reads the program from the input device 25.
  • the CPU 21 interprets the classification information creation program (FIG. 2) or the search program (FIG. 9) in the memory 22 corresponding to the function (process) represented by each unit shown in FIG. 1 or FIG. Execute.
  • the CPU 21 sequentially executes the processes described in the above embodiments of the present invention.
  • the present invention can also be achieved by such a classification information creation program or a search program. Furthermore, it can be understood that the present invention can also be realized by a computer-readable non-volatile recording medium in which the classification information creation program or the search program is recorded.
  • Classification information creation device 502 Identifier creation unit 503 Extraction unit 504 Reading unit 505 Classification information creation unit 506 Extraction information storage unit 507 Measurement information 601 Search device 602 Request analysis unit 603 Extraction unit 604 Integrated search unit 605 Classification information 20 Calculation processing device 21 CPU 22 Memory 23 Disk 24 Non-volatile recording medium 25 Input device 26 Output device 27 Communication IF 28 Display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

ログ情報に関して高速な検索処理を可能にする分類情報作成装置等が提供される。分類情報作成装置501は、通信ネットワークを介して実行された通信に関して測定された測定値と、該測定値を作成した装置を識別可能なリソース識別子とが関連付けされた測定情報に関して、該測定値を一意に識別可能な測定識別子を作成する識別子作成部502と、該リソース識別子に関する条件と、該条件を満足している場合に該測定情報から抽出する項目を表す抽出項目と、該抽出項目を識別可能な抽出情報識別子とが関連付けされた抽出情報における該リソース識別子に関する条件を該測定情報における該リソース識別子が満足している場合に、該リソース識別子に関連付けされた特定の測定値を、該測定情報から抽出する抽出部503と、該特定の測定値から、該抽出情報における抽出項目を表す値を読み取る読み取り部504と、該特定の測定値を表す測定識別子と、該抽出情報における該抽出情報識別子と、読み取り部504が読み取った値とが関連付けされた分類情報を作成する分類情報作成部505とを有する。

Description

分類情報作成装置、分類情報作成方法、検索装置、検索方法、及び、記録媒体
 本発明は、高速な検索処理を可能にする情報を作成する分類情報作成装置等に関する。
 通信ネットワークにて実行された通信に関するログ情報を解析することにより、該通信ネットワークを介した不正アクセスを検知する技術が存在する。この場合に、ログ情報は、1種類の情報処理装置によって作成されているとは限らず、複数種類の情報処理装置によって形式が異なる複数のログ情報が作成されることもある。たとえば、特許文献1においては、ログ情報を作成する一例が開示されている。特許文献2においては、ログ情報に基づき、サイバー攻撃を検知する一例が開示されている。特許文献3においては、複数種類の異なるログ情報を比較する処理を容易にする技術が開示されている。以降、特許文献1乃至特許文献3に開示された技術について説明する。
 特許文献1に開示された管理装置は、通信ネットワークを介して受信したリクエスト信号の回数が、所定の時間間隔、及び、該リクエストの種類ごとに分類されたリクエスト分類ログを作成する。該管理装置は、さらに、該所定の時間間隔ごとに、該リクエストを処理したサーバにおけるリソースの使用量が記録されたシステムログを生成する。該管理装置は、作成したリクエスト分類ログと、作成したシステムログとに基づいて、リクエストごとに、該リクエストを処理するのに要したリソースの使用量を算出する。
 特許文献2に開示されたログ分析装置は、サイバー攻撃において想定される攻撃手順を表す攻撃シナリオに基づき、検知された攻撃以前の攻撃であって、検知されていない攻撃を抽出する。ログ分析装置は、コンピュータシステムに関するログを解析することにより、抽出した攻撃を受けていたか否かを判定し、該攻撃を受けていた場合には、該攻撃の検知漏れが発生したと判定する。
 特許文献3に開示されたログ集計支援装置は、複数の侵入検知システムから、不正な通信記録を含むログ情報を収集し、収集したログ情報を記憶部に記憶する。該ログ集計支援装置は、記憶部に記憶されたログ情報のうち、該ログ情報に共通する項目の値が同じであるログ情報が相互に関連付けされた作業表を作成する。
国際公開第2008/007669号 特開2015-121968号公報 特開2006-304108号公報
 しかし、たとえ、特許文献3に開示されたログ集計支援装置を用いたとしても、所望の通信を、効率よく抽出できるとは限らない。この理由は、複数のリクエストが、共通して、ある検索条件を含んでいる場合であっても、各リクエストを受信するたびに、該ある検索条件に関する処理が再実行されなければならないからである。言い換えると、該ある検索条件に関する処理は、各リクエストを受信するごとに繰り返し実行される。
 そこで、本発明の主たる目的は、通信等のログ情報に関して高速な検索処理を可能にする分類情報作成装置等を提供することである。
 前述の目的を達成するために、本発明の一態様において、分類情報作成装置は、
 通信ネットワークを介して実行された通信に関して測定された測定値と、前記測定値を作成した装置を識別可能なリソース識別子とが関連付けされた測定情報に関して、前記測定値を一意に識別可能な測定識別子を作成する識別子作成手段と、
 前記リソース識別子に関する条件と、前記条件を満足している場合に前記測定情報から抽出する項目を表す抽出項目と、前記抽出項目を識別可能な抽出情報識別子とが関連付けされた抽出情報における前記リソース識別子に関する条件を前記測定情報における前記リソース識別子が満足している場合に、前記リソース識別子に関連付けされた特定の測定値を、前記測定情報から抽出する抽出手段と、
 前記特定の測定値から、前記抽出情報における抽出項目を表す値を読み取る読み取り手段と、
 前記特定の測定値を表す測定識別子と、前記抽出情報における前記抽出情報識別子と、前記読み取り手段が読み取った値とが関連付けされた分類情報を作成する分類情報作成手段と
 を備える。
 また、本発明の他の見地として、分類情報作成方法は、
 通信ネットワークを介して実行された通信に関して測定された測定値と、前記測定値を作成した装置を識別可能なリソース識別子とが関連付けされた測定情報に関して、前記測定値を一意に識別可能な測定識別子を作成し、
 前記リソース識別子に関する条件と、前記条件を満足している場合に前記測定情報から抽出する項目を表す抽出項目と、前記抽出項目を識別可能な抽出情報識別子とが関連付けされた抽出情報における前記リソース識別子に関する条件を前記測定情報における前記リソース識別子が満足している場合に、前記リソース識別子に関連付けされた特定の測定値を、前記測定情報から抽出し、
 前記特定の測定値から、前記抽出情報における抽出項目を表す値を読み取り、
 前記特定の測定値を表す測定識別子と、前記抽出情報における前記抽出情報識別子と、読み取った前記値とが関連付けされた分類情報を作成する。
 さらに、同目的は、係る分類情報作成プログラム、及び、そのプログラムを記録するコンピュータが読み取り可能な記録媒体によっても実現される。
 本発明に係る分類情報作成装置等によれば、ログ情報に関して高速な検索処理を可能にすることができる。
本発明の第1の実施形態に係る分類情報作成装置が有する構成を示すブロック図である。 第1の実施形態に係る分類情報作成装置における処理の流れを示すフローチャートである。 通信ネットワークにおいて、HTTPプロトコルに従い実行された通信に関して測定された測定情報の一例を概念的に表す図である。 通信ネットワークにおいて送受信されているパケットをキャプチャするtcpdump命令を用いて測定された測定情報の一例を概念的に表す図である。 測定情報の一例を概念的に表す図である。 分類情報作成装置が参照する抽出情報の一例を概念的に表す図である。 分類情報作成装置が作成した分類情報の一例を概念的に表す図である。 本発明の第2の実施形態に係る検索装置が有する構成を示すブロック図である。 第2の実施形態に係る検索装置における処理の流れを示すフローチャートである。 検索情報の一例を概念的に表す図である。 本発明の各実施形態に係る分類情報作成装置、または、検索装置を実現可能な計算処理装置のハードウェア構成例を、概略的に示すブロック図である。
 次に、本発明を実施する実施形態について図面を参照しながら詳細に説明する。
 <第1の実施形態>
 図1を参照しながら、本発明の第1の実施形態に係る分類情報作成装置501が有する構成について詳細に説明する。図1は、本発明の第1の実施形態に係る分類情報作成装置501が有する構成を示すブロック図である。
 第1の実施形態に係る分類情報作成装置501は、識別子作成部502と、抽出部503と、読み取り部504と、分類情報作成部505とを有する。分類情報作成装置501は、さらに、抽出情報記憶部506を有してもよい。抽出情報記憶部506は、図6(後述)に例示されているような抽出情報を記憶することができる。
 図3及び図4を参照しながら、分類情報作成装置501が分類情報を作成する基となる測定情報について説明し、図6を参照しながら、分類情報作成装置501が参照する抽出情報について説明する。その後、図2を参照しながら、本発明の第1の実施形態に係る分類情報作成装置501における処理について説明する。
 まず、図3及び図4を参照しながら、測定情報について説明する。図3は、通信ネットワークにおいて、HTTPプロトコルに従い実行された通信に関して測定された測定情報一例を概念的に表す図である。図4は、通信ネットワークにおいて送受信されているパケットをキャプチャするtcpdump命令を用いて測定された測定情報の一例を概念的に表す図である。HTTPは、Hypertext_Transfer_Protocolの略称を表す。
 図3を参照すると、測定情報は、リクエストを送信した情報処理装置のアドレスと、該リクエストを送信したユーザの識別情報と、サーバが該リクエストに関する処理を終了した日時と、該リクエストと、該リクエストを処理した後の該サーバのステータス(状態)とが関連付けされた情報である。たとえば、該測定情報においては、アドレス「1.2.3.4」と、ユーザ「A」と、日時「2015/9/3_13:30:26」と、リクエスト「GET_/xxx_HTTP/1.0」と、ステータス「200」とが関連付けされている。これは、ユーザ「A」がアドレス「1.2.3.4」が表す情報処理装置から、リクエスト「GET_/xxx_HTTP/1.0」をサーバに送信し、該サーバが該リクエストに応じた処理を、日時「2015/9/3_13:30:26」に、ステータス「200」にて終了したことを表す。
 また、図4を参照すると、測定情報は、通信ネットワークを介して実行された通信に関して、該通信が実行された時刻と、該通信を実行した装置(すなわち、第1装置、第2装置)の名称と、該通信を実行した場合に経由したポート番号とが関連付けされた情報である。たとえば、該測定情報においては、時刻「10:56:21」と、第1装置の名称「Client」と、該第1装置におけるポート番号「1036」と、第2装置の名称「Server」と、該第2装置におけるポート番号「www」とが関連付けされている。これは、「Client」が表す装置のポート番号「1036」と、「Server」が表す装置のポート番号「www」との間において、時刻「10:56:21」に通信が実行されたことを表す。
 以降、説明の便宜上、測定情報を作成(測定)する装置を「ログ作成装置」(リソース)と表すとする。複数のログ作成装置は、図3及び図4に例示されているように、異なる形式の測定情報を作成するとする。tcpdump命令等を用いて、図4に例示されたような測定情報を作成するログ作成装置を表すリソース識別子を「Pcap」(packet_capture)と表すとする。HTTPプロトコルに従い実行された通信に関して測定された測定情報(図3に例示)を作成するログ作成装置を表すリソース識別子を「Apache」と表すとする。
 ただし、本実施形態においては、説明の便宜上、異なる形式に従い記載された測定情報(ログ)に対して、ログ作成装置は、該測定情報を、ある統一された形式に変換する処理(正規化処理)を実行してもよい。この場合に、ログ作成装置は、形式の異なる複数の測定情報(たとえば、図3、及び、図4)に基づき、統一された形式に従い記述された測定情報507(図5)を作成する。図5は、測定情報507の一例を概念的に表す図である。
 図5を参照すると、測定情報507は、通信が実行された時刻と、該通信に関して測定情報507を測定したログ作成装置を表すリソース識別子と、該通信に関して測定された測定値(たとえば、アドレス、ユーザ、リクエスト、装置の名称とポート番号等)とが関連付けされた情報である。たとえば、図5に例示された測定情報507においては、時刻「13:30:26」と、リソース識別子「Apache」と、測定値欄に記載されている測定値「1.2.3.4・・・」とが関連付けされている。これは、時刻「13:30:26」に、リソース識別子「Apache」が表すログ作成装置が、測定値「1.2.3.4・・・」を作成したことを表す。
 尚、測定情報507は、必ずしも、図3乃至図5を参照しながら説明したすべての項目を含んでいる必要はない。すなわち、測定情報507は、上述した例に限定されない。以降、説明の便宜上、測定情報507は、ある統一された形式に従い記述されていると仮定するが、異なる形式に従い記述されている各測定情報に対して、後述する処理と同様の処理が実行されてもよい。
 次に、図6を参照しながら分類情報作成装置501が参照する抽出情報について説明する。図6は、分類情報作成装置501が参照する抽出情報の一例を概念的に表す図である。
 抽出情報は、測定情報507から抽出する項目を表す抽出項目と、該抽出項目を抽出する場合のリソース識別子に関する条件と、該抽出項目を一意に識別可能な抽出情報識別子とが関連付けされている情報である。たとえば、図6に例示された抽出情報においては、抽出情報識別子「2」と、条件「Pcap」と、抽出項目「ポート番号」とが関連付けされている。これは、図5に例示された測定情報507において、リソース識別子「Pcap」に関連付けされた測定値に基づき、抽出項目「ポート番号」を抽出する処理を表す抽出情報識別子が「2」であることを表す。
 また、図6に例示された抽出情報においては、抽出情報識別子「4」と、条件「*」(アスタリスク)と、抽出項目「AS番号」とが関連付けされている。符号「*」は、リソース識別子に関する条件が指定されていないことを表す。この場合には、図5に例示された測定情報507に含まれているすべての測定値の中から、抽出項目「AS番号」を抽出する処理を表す抽出情報識別子が「4」であることを表す。尚、ASは、Autonomous_Systemの略称を表す。AS番号は、通信が実行される場合に、該通信にて経由する装置を表す装置識別子である。
 尚、第2の実施形態に示した検索装置は、抽出情報記憶部506が記憶している抽出情報における抽出項目を用いて構成されたリクエストに対して、検索する処理を実行する。抽出情報は、図6に示された抽出情報に限定されない。
 次に、図2を参照しながら、本発明の第1の実施形態に係る分類情報作成装置501における処理について詳細に説明する。図2は、第1の実施形態に係る分類情報作成装置501における処理の流れを示すフローチャートである。
 まず、識別子作成部502は、通信ネットワークを介して実行された通信に関する測定情報507(図5に例示)に含まれている測定値に関して、該測定値を一意に可能な測定識別子を作成する(ステップS501)。たとえば、識別子作成部502は、測定情報507に含まれている測定値を識別可能な測定識別子として、該測定情報507に含まれている測定値に対して、順に、自然数を割り当てる。
 次に、抽出部503は、図6に例示された抽出情報から、ある条件と、該ある条件に関連付けされた抽出項目と、該ある条件に関連付けされた抽出情報識別子とを読み取る(ステップS502)。抽出部503は、図5に例示された測定情報507において、リソース識別子が該ある条件を満足している場合に、測定情報507を参照することによって、該リソース識別子に関連付けされた測定値(「特定の測定値」と表す)を抽出する(ステップS503)。
 抽出部503は、ステップS502に示す処理において、たとえば、図6に例示された抽出情報から、抽出情報識別子「3」と、条件「Apache」(上記の「ある条件」)と、抽出項目「測定値」とが関連付けされた情報を読み取る。抽出部503は、図5に例示された測定情報507を参照することによって、リソース識別子が、読み取った条件「Apache」を満足している場合に、該リソース識別子に関連付けされた測定値「1.2.3.4・・・」を抽出する。抽出部503は、図5に例示された測定情報507を参照することによって、さらに、リソース識別子が読み取った条件「Apache」を満足している場合の測定値「1.2.5.6・・・」を抽出する。
 読み取り部504は、抽出部503がステップS503にて抽出した特定の測定値から、抽出部503がステップS502にて読み取った抽出項目を表す値を読み取る(ステップS504)。
 図5に例示された測定情報507の場合に、読み取り部504は、ステップS504にて、条件「Apache」に関連付けされた抽出項目として、測定値「1.2.3.4・・・」を読み取る。
 分類情報作成部505は、該特定の測定値を表す測定識別子(識別子作成部502がステップS501にて作成)と、抽出部503が読み取った抽出情報識別子と、抽出部503が読み取った値とが関連付けされた分類情報を作成する(ステップS505)。識別子作成部502が、図5に例示された測定情報507に対して、測定識別子として自然数を割り当てた場合に、たとえば、読み取り部504は、測定値「1.2.3.4・・・」が表す測定識別子「1」と、抽出情報識別子「3」と、測定値「1.2.3.4・・・」とが関連付けされた分類情報(図7、後述)を作成する。さらに、分類情報作成部505は、測定値「1.2.5.6・・・」が表す測定識別子「3」と、抽出情報識別子「3」と、該測定値「1.2.5.6・・・」とが関連付けされた分類情報を作成してもよい。
 分類情報作成装置501は、抽出情報に含まれている各情報に関して、図2に示されたステップS502乃至ステップS505に示された処理を実行する。この場合に、分類情報作成装置501は、図7に例示された分類情報を作成する。図7は、分類情報作成装置501が作成した分類情報の一例を概念的に表す図である。
 図7を参照すると、分類情報は、抽出部503が抽出した特定の測定値を表す測定識別子と、抽出部503がステップS502にて読み取った抽出情報識別子と、該抽出項目に関して読み取り部504が読み取った抽出項目に関する値とが関連付けされた情報である。たとえば、図7に例示された分類情報においては、測定識別子「1」と、抽出情報識別子「3」と、値「1.2.3.4・・・」とが関連付けされている。これは、測定識別子「1」が表す測定情報507に関して、抽出情報識別子「3」が表す条件に従い、読み取り部504が抽出識別子「3」に関連付けされた抽出項目の値として、値「1.2.3.4・・・」を読み取ったことを表す。
 次に、第1の実施形態に係る分類情報作成装置501に関する効果について説明する。
 本実施形態に係る分類情報作成装置501によれば、ログ情報に関して高速な検索処理を可能にすることができる。この理由は、分類情報作成装置501が作成する分類情報(図7)が高速に検索する用途に適しているからである。
 分類情報作成装置501が作成する分類情報が高速に検索する用途に適している理由について説明する。
 たとえ、特許文献3に開示されたログ集計支援装置を用いたとしても、通信に関する所望の情報を、効率よく抽出できるとは限らない。この理由は、複数のリクエストが、共通して、ある検索条件を含んでいる場合であっても、各リクエストを受信するたびに、該ある検索条件に関する処理を再実行しなければならないからである。言い換えると、該ある検索条件に関する処理は、各リクエストを受信するごとに繰り返し実行される。
 本実施形態に係る分類情報作成装置501は、測定情報507(図5に例示)を識別可能な測定識別子、抽出項目を識別可能な抽出情報識別子(図6に例示)、及び、読み取り部504が抽出した値が関連付けされた分類情報(図7に例示)を作成する。すなわち、分類情報作成装置501が作成する分類情報は、抽出情報に含まれている抽出項目について、測定情報507が分類されている情報である。このため、あるリクエストを用いて分類情報が検索される場合には、該あるリクエストを構成している抽出項目を表す抽出情報識別子と、分類情報に含まれている抽出情報識別子とが一致しているか否かが判定される。図6を参照しながら説明したような抽出項目を用いて構成されたリクエストに応じた検索処理が実行される場合には、本実施形態に係る分類情報作成装置501によれば、該測定情報507が分類された分類情報を検索対象として検索処理が実行される。この結果、ある検索条件を共通して含んでいる複数のリクエストに対しては、該ある検索条件に関する検索処理が分類情報にて実行されているので、たとえ、該複数のリクエストを受信したとしても、リクエストを受信した場合に、該ある検索条件に対する検索処理は実行されない。
 <第2の実施形態>
 次に、上述した第1の実施形態を基本とする本発明の第2の実施形態について説明する。
 以降の説明においては、本実施形態に係る特徴的な部分を中心に説明すると共に、上述した第1の実施形態と同様な構成については、同一の参照番号を付すことにより、重複する説明を省略する。
 図8を参照しながら、本発明の第2の実施形態に係る検索装置601が有する構成について詳細に説明する。図8は、本発明の第2の実施形態に係る検索装置601が有する構成を示すブロック図である。
 第2の実施形態に係る検索装置601は、分類情報作成装置501と、リクエスト解析部602と、抽出部603と、統合検索部604とを有する。検索装置601は、分類情報作成装置501が作成した分類情報605(図7に例示)を参照することができる。
 次に、図9を参照しながら、本発明の第2の実施形態に係る検索装置601における処理について詳細に説明する。図9は、第2の実施形態に係る検索装置601における処理の流れを示すフローチャートである。
 分類情報作成装置501は、あらかじめ、図7に例示されているような分類情報605を作成しているとする。
 リクエスト解析部602は、ある検索条件と、該ある検索条件を満足しているデータから抽出する項目を表す抽出項目とが関連付けされたリクエストを受信する(ステップS601)。
 たとえば、リクエストは、1週間以内にHTTPプロトコルに従い実行された通信であって、ある特定のアドレスにおける情報を要求した通信に関して、該通信にて経由したAS番号を要求する信号である。この場合に、ある検索条件は、次に示す条件A乃至条件Cが組み合わされた条件である。
   条件A:通信が実行された時刻が1週間以内の実行であるか否か、
   条件B:リソースがHTTPプロトコルに従った通信を実行したか否か、
   条件C:ある特定のアドレスにおける情報を要求した通信であるか否か。
 上述した条件A乃至条件Cが組み合わされたリクエストの場合に、抽出項目は、該ある検索条件を満足している通信を実行した際に経由した装置を表す装置識別子(AS番号)である。この例において、リクエスト解析部602は、受信したリクエストから、条件A、条件B、条件C、及び、抽出項目「AS番号」を求める。
 リクエスト解析部602は、受信したリクエスト内の検索条件に含まれている各条件に関して、該条件に一致している抽出項目を、図6に例示されているような抽出情報を参照することによって特定する(ステップS602)。
 条件Aは、通信が実行された時刻に関する条件である。リクエスト解析部602は、条件Aにて求める対象である「時刻」に一致している抽出項目を、抽出情報(図6に例示)を参照することによって特定する。この場合に、リクエスト解析部602は、条件Aに一致している抽出項目として、抽出項目「時刻」を特定する。
 条件Bは、通信が実行されたリソース識別子に関する条件である。リクエスト解析部602は、条件Bにて求める対象である「リソース識別子」に一致している抽出項目を、抽出情報(図6に例示)を参照することによって特定する。この場合に、リクエスト解析部602は、条件Bに一致している抽出項目として、抽出項目「リソース識別子」を特定する。
 条件Cは、アドレスに関する条件である。この場合に、リクエスト解析部602は、条件Cにて求める対象である「アドレス」に一致している抽出項目を、抽出情報(図6に例示)を参照することによって特定する。この場合に、リクエスト解析部602は、条件Cに一致している抽出項目として、抽出項目「アドレス」を特定する。
 次に、リクエスト解析部602は、特定した抽出項目に関連付けされた抽出情報識別子を、抽出情報を参照することによって特定する(ステップS603)。
 たとえば、リクエスト解析部602は、図6に例示されているような抽出情報を参照することによって、条件Aに関して特定した抽出項目「時刻」に関連付けされた抽出情報識別子「5」を特定する。リクエスト解析部602は、抽出情報を参照することによって、条件Bに関して特定した抽出項目「リソース識別子」に関連付けされた抽出情報識別子「1」を特定する。リクエスト解析部602は、抽出情報を参照することによって、条件Cに関して特定した抽出項目「アドレス」に関連付けされた抽出情報識別子「6」を特定する。
 さらに、リクエスト解析部602は、図6に例示されているような抽出情報を参照することによって、受信したリクエスト内の抽出項目に関連付けされた抽出情報識別子を特定する(ステップS604)。たとえば、リクエスト解析部602は、受信したリクエストに関して、抽出項目「AS番号」に関連付けされた抽出情報識別子「4」を特定する。
 次に、リクエスト解析部602は、各条件に関して特定した抽出情報識別子と、該条件に含まれている要件とが関連付けされた検索情報(図10に例示)を作成する。図10は、検索情報の一例を概念的に表す図である。
 図10に例示された検索情報においては、抽出情報識別子「5」と、要件「1週間以内」とが関連付けされている。これは、抽出情報識別子「5」に関して抽出された抽出項目の値が、要件「1週間以内」を満足しているか否かを判定する条件であることを表す。また、検索情報においては、抽出情報識別子「1」と、要件「Apache」とが関連付けされている。これは、抽出情報識別子「1」に関して抽出された抽出項目の値が、要件「Apache」を満足しているか否かを判定する条件であることを表す。
 尚、検索情報は、図10に例示された検索情報に限定されない。
 次に、抽出部603は、分類情報605を参照することによって、リクエスト解析部602が作成した検索情報(すなわち、リクエスト内の検索条件における各条件)を満足している測定識別子を抽出する(ステップS605)。
 たとえば、抽出部603は、条件A(すなわち、図10の1行目)に関して、図7に例示された分類情報605において抽出情報識別子「5」に関連付けされた抽出項目の値及び測定識別子を読み取り、読み取った値が要件「1週間以内」(すなわち、条件A)であるか否かを判定する。抽出部603は、抽出項目の値が1週間以内である場合には、読み取った測定識別子を抽出する。抽出部603は、抽出項目の値が1週間以内でない場合には、読み取った測定識別子を抽出しない。
 抽出部603は、条件B(すなわち、図10の2行目)に関して、図7に例示された分類情報605において抽出情報識別子「1」に関連付けされた抽出項目の値及び測定識別子を読み取り、読み取った値が要件「Apache」(すなわち、条件B)を満足しているか否かを判定する。抽出部603は、抽出項目の値が「Apache」である場合には、読み取った測定識別子を抽出する。抽出部603は、抽出項目の値が「Apache」でない場合には、読み取った測定識別子を抽出しない。
 条件Cに関して、抽出部603は、条件Aまたは条件Bにて実行した処理と同様の処理を実行する。
 次に、統合検索部604は、検索条件内の各条件に関して抽出部603が抽出した測定識別子のうち、該検索条件を満足している測定識別子を特定する(ステップS606)。
 以下、ステップS606について、上述した例の場合に関して具体的に説明する。リクエスト解析部602が受信した検索条件が、条件A、条件B、及び、条件Cが論理積演算によって結合された条件であるので、統合検索部604は、抽出部603が各条件に関して抽出した測定識別子に共通して含まれている測定識別子を求める。リクエスト解析部602が受信した検索条件が、条件A、条件B、及び、条件Cが論理和演算によって結合された条件である場合に、統合検索部604は、抽出部603が各条件に関して抽出した測定識別子のいずれかに含まれている測定識別子を求める。
 次に、統合検索部604は、図7に例示された分類情報605を参照することによって、求めた測定識別子と、リクエスト解析部602がステップS604にて抽出項目に関して特定した抽出情報識別子とに関連付けされた抽出項目の値を特定する(ステップS607)。統合検索部604は、特定した抽出項目の値を出力してもよい。すなわち、統合検索部604は、ステップS607に示す処理を実行することによって、検索条件を満足している測定識別子に関して、抽出する対象であった抽出項目の値を特定することができる。
 次に、第2の実施形態に係る検索装置601に関する効果について説明する。
 本実施形態に係る検索装置601によれば、通信等のログ情報に関して高速な検索処理を可能にすることができる。この理由は、第2の実施形態に係る検索装置601が有する構成は、第1の実施形態に係る分類情報作成装置501が有する構成を含むからである。
 さらに、本実施形態に係る検索装置601によれば、通信等のログ情報に関して高速に検索処理を実行することができる。この理由は、受信したリクエストに応じた検索処理を実行する場合に、検索条件を構成する要素として記載可能な条件によって、測定情報507が分類情報として分類されているからである。
 本実施形態に係る検索装置601によれば、効率的な検索を可能にしつつ、測定情報に対して正規化処理を実行したとしても無駄な記憶領域が生じないという効果を奏する。たとえば、図5に例示された測定情報のうち測定値を正規化処理する場合に、複数の測定値に共通しない項目に関しては、正規化処理後に空値が生じる可能性がある。これに対して、検索装置601が作成した分類情報605(図7に例示)に関しては、あらかじめ着目している抽出項目がそれぞれ格納されている抽出情報(図6に例示)に基づき作成されているので、上述したような空値が生じる可能性は低い。
 尚、上述した本発明の各実施形態においては、HTTPプロトコルに従い実行された通信の例を参照しながら、検索処理装置601における処理、及び、分類情報作成装置501における処理等を説明した。しかし、上述した本発明の各実施形態に係る装置は、HTTPプロトコルに従い実行される通信に限定されない。
 (ハードウェア構成例)
 上述した本発明の各実施形態における分類情報作成装置、または、検索装置を、1つの計算処理装置(情報処理装置、コンピュータ)を用いて実現するハードウェア資源の構成例について説明する。但し、係る分類情報作成装置、または、係る検索装置は、物理的または機能的に少なくとも2つの計算処理装置を用いて実現してもよい。また、係る分類情報作成装置、または、係る検索装置は、専用の装置として実現してもよい。
 図11は、第1の実施形態に係る分類情報作成装置、または、第2の実施形態に係る検索装置を実現可能な計算処理装置のハードウェア構成例を概略的に示す図である。計算処理装置20は、中央処理演算装置(Central_Processing_Unit、以降「CPU」と表す)21、メモリ22、ディスク23、不揮発性記録媒体24、通信インターフェース(以降、「通信IF」と表す)27、及び、ディスプレー28を有する。計算処理装置20は、入力装置25、出力装置26に接続可能であってもよい。計算処理装置20は、通信IF27を介して、他の計算処理装置、及び、通信装置と情報を送受信することができる。
 不揮発性記録媒体24は、コンピュータが読み取り可能な、たとえば、コンパクトディスク(Compact_Disc)、デジタルバーサタイルディスク(Digital_Versatile_Disc)である。また、不揮発性記録媒体24は、ユニバーサルシリアルバスメモリ(USBメモリ)、ソリッドステートドライブ(Solid_State_Drive)等であってもよい。不揮発性記録媒体24は、電源を供給しなくても係るプログラムを保持し、持ち運びを可能にする。不揮発性記録媒体24は、上述した媒体に限定されない。また、不揮発性記録媒体24の代わりに、通信IF27、及び、通信ネットワークを介して係るプログラムを持ち運びしてもよい。
 すなわち、CPU21は、ディスク23に記憶されているソフトウェア・プログラム(コンピュータ・プログラム:以下、単に「プログラム」と称する)を、実行する際にメモリ22にコピーし、演算処理を実行する。CPU21は、プログラム実行に必要なデータをメモリ22から読み取る。表示が必要な場合には、CPU21は、ディスプレー28に出力結果を表示する。外部への出力が必要な場合には、CPU21は、出力装置26に出力結果を出力する。外部からプログラムを入力する場合、CPU21は、入力装置25からプログラムを読み取る。CPU21は、上述した図1、または、図8に示す各部が表す機能(処理)に対応するところのメモリ22にある分類情報作成プログラム(図2)、または、検索プログラム(図9)を解釈し実行する。CPU21は、上述した本発明の各実施形態において説明した処理を順次実行する。
 すなわち、このような場合、本発明は、係る分類情報作成プログラム、または、係る検索プログラムによっても成し得ると捉えることができる。さらに、係る分類情報作成プログラム、または、係る検索プログラムが記録されたコンピュータが読み取り可能な不揮発性の記録媒体によっても、本発明は成し得ると捉えることができる。
 以上、上述した実施形態を模範的な例として本発明を説明した。しかし、本発明は、上述した実施形態には限定されない。すなわち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
 この出願は、2015年9月10日に出願された日本出願特願2015-178306を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 501  分類情報作成装置
 502  識別子作成部
 503  抽出部
 504  読み取り部
 505  分類情報作成部
 506  抽出情報記憶部
 507  測定情報
 601  検索装置
 602  リクエスト解析部
 603  抽出部
 604  統合検索部
 605  分類情報
 20  計算処理装置
 21  CPU
 22  メモリ
 23  ディスク
 24  不揮発性記録媒体
 25  入力装置
 26  出力装置
 27  通信IF
 28  ディスプレー

Claims (10)

  1.  通信ネットワークを介して実行された通信に関して測定された測定値と、前記測定値を作成した装置を識別可能なリソース識別子とが関連付けされた測定情報に関して、前記測定値を一意に識別可能な測定識別子を作成する識別子作成手段と、
     前記リソース識別子に関する条件と、前記条件を満足している場合に前記測定情報から抽出する項目を表す抽出項目と、前記抽出項目を識別可能な抽出情報識別子とが関連付けされた抽出情報における前記リソース識別子に関する条件を前記測定情報における前記リソース識別子が満足している場合に、前記リソース識別子に関連付けされた特定の測定値を、前記測定情報から抽出する抽出手段と、
     前記特定の測定値から、前記抽出情報における抽出項目を表す値を読み取る読み取り手段と、
     前記特定の測定値を表す測定識別子と、前記抽出情報における前記抽出情報識別子と、前記読み取り手段が読み取った値とが関連付けされた分類情報を作成する分類情報作成手段と
     を備える分類情報作成装置。
  2.  前記抽出情報を記憶している抽出情報記憶手段
     をさらに備え、
     前記抽出情報における抽出項目は、通信が実行される場合に経由したポート識別子を含む
     請求項1に記載の分類情報作成装置。
  3.  前記抽出情報を記憶している抽出情報記憶手段
     をさらに備え、
     前記抽出情報における抽出項目は、通信にて経由する装置を表す装置識別子を含む
     請求項1に記載の分類情報作成装置。
  4.  前記抽出情報を記憶している抽出情報記憶手段
     をさらに備え、
     前記抽出情報における抽出項目は、前記測定値を作成した装置を識別可能な装置識別子を含む
     請求項1に記載の分類情報作成装置。
  5.  請求項1乃至請求項4のいずれかに記載の分類情報作成装置と、
     前記抽出情報に含まれている第1抽出項目を用いて記述された検索条件と、前記抽出情報に含まれている第2抽出項目とが関連付けされたリクエストに関して、前記抽出情報において、前記第1抽出項目に関連付けされた第1抽出情報識別子、及び、前記第2抽出項目に関連付けされた第2抽出情報識別子を特定し、前記検索条件に含まれている要件と、特定した前記第1抽出情報識別子とが関連付けされた検索情報を作成するリクエスト解析手段と、
     前記分類情報において前記第1抽出情報識別子に関連付けされた前記測定値を特定し、特定した前記測定値が、前記検索情報において、前記第1抽出情報識別子に関連付けされた前記要件を満足している場合には、前記分類情報において前記第1抽出情報識別子に関連付けされた前記測定識別子を特定する抽出手段と、
     前記抽出手段が特定した前記測定識別子のうち、前記検索条件を満足している測定識別子を求める統合検索手段
     と
     を備える検索装置。
  6.  通信ネットワークを介して実行された通信に関して測定された測定値と、前記測定値を作成した装置を識別可能なリソース識別子とが関連付けされた測定情報に関して、前記測定値を一意に識別可能な測定識別子を作成し、
     前記リソース識別子に関する条件と、前記条件を満足している場合に前記測定情報から抽出する項目を表す抽出項目と、前記抽出項目を識別可能な抽出情報識別子とが関連付けされた抽出情報における前記リソース識別子に関する条件を前記測定情報における前記リソース識別子が満足している場合に、前記リソース識別子に関連付けされた特定の測定値を、前記測定情報から抽出し、
     前記特定の測定値から、前記抽出情報における抽出項目を表す値を読み取り、
     前記特定の測定値を表す測定識別子と、前記抽出情報における前記抽出情報識別子と、読み取った前記値とが関連付けされた分類情報を作成する分類情報作成方法。
  7.  前記抽出情報に含まれている第1抽出項目を用いて記述された検索条件と、前記抽出情報に含まれている第2抽出項目とが関連付けされたリクエストに関して、前記抽出情報において、前記第1抽出項目に関連付けされた第1抽出情報識別子、及び、前記第2抽出項目に関連付けされた第2抽出情報識別子を特定し、前記検索条件に含まれている要件と、特定した前記第1抽出情報識別子とが関連付けされた検索情報を作成し、
     前記分類情報において前記第1抽出情報識別子に関連付けされた前記測定値を特定し、特定した前記測定値が、前記検索情報において、前記第1抽出情報識別子に関連付けされた前記要件を満足している場合には、前記分類情報において前記第1抽出情報識別子に関連付けされた前記測定識別子を特定し、
     特定した前記測定識別子のうち、前記検索条件を満足している測定識別子を求める請求項6に記載の検索方法。
  8.  通信ネットワークを介して実行された通信に関して測定された測定値と、前記測定値を作成した装置を識別可能なリソース識別子とが関連付けされた測定情報に関して、前記測定値を一意に識別可能な測定識別子を作成する識別子作成機能と、
     前記リソース識別子に関する条件と、前記条件を満足している場合に前記測定情報から抽出する項目を表す抽出項目と、前記抽出項目を識別可能な抽出情報識別子とが関連付けされた抽出情報における前記リソース識別子に関する条件を前記測定情報における前記リソース識別子が満足している場合に、前記リソース識別子に関連付けされた特定の測定値を、前記測定情報から抽出する抽出機能と、
     前記特定の測定値から、前記抽出情報における抽出項目を表す値を読み取る読み取り機能と、
     前記特定の測定値を表す測定識別子と、前記抽出情報における前記抽出情報識別子と、前記読み取り機能において読み取られた値とが関連付けされた分類情報を作成する分類情報作成機能と
     をコンピュータに実現させる分類情報作成プログラムが記録された記録媒体。
  9.  前記抽出情報を記憶している抽出情報記憶機能
     をさらに備え、
     前記抽出情報における抽出項目は、通信が実行される場合に経由したポート識別子を含む
     請求項8に記載の分類情報作成プログラムが記録された記録媒体。
  10.  請求項8または請求項9に記載の分類情報作成プログラムと、
     前記抽出情報に含まれている第1抽出項目を用いて記述された検索条件と、前記抽出情報に含まれている第2抽出項目とが関連付けされたリクエストに関して、前記抽出情報において、前記第1抽出項目に関連付けされた第1抽出情報識別子、及び、前記第2抽出項目に関連付けされた第2抽出情報識別子を特定し、前記検索条件に含まれている要件と、特定した前記第1抽出情報識別子とが関連付けされた検索情報を作成するリクエスト解析機能と、
     前記分類情報において前記第1抽出情報識別子に関連付けされた前記測定値を特定し、特定した前記測定値が、前記検索情報において、前記第1抽出情報識別子に関連付けされた前記要件を満足している場合には、前記分類情報において前記第1抽出情報識別子に関連付けされた前記測定識別子を特定する抽出機能と、
     前記抽出機能において特定された前記測定識別子のうち、前記検索条件を満足している測定識別子を求める統合検索機能と
     をコンピュータに実現させる検索プログラムが記録された記録媒体。
PCT/JP2016/004071 2015-09-10 2016-09-07 分類情報作成装置、分類情報作成方法、検索装置、検索方法、及び、記録媒体 WO2017043075A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16843942.0A EP3349127A4 (en) 2015-09-10 2016-09-07 CATEGORY INFORMATION GENERATION DEVICE AND METHOD, SEARCH DEVICE, SEARCH METHOD, AND RECORDING MEDIUM
SG11201801897XA SG11201801897XA (en) 2015-09-10 2016-09-07 Category information generating device, category information generating method, search device, search method, and recording medium
US15/753,647 US10902027B2 (en) 2015-09-10 2016-09-07 Generation of category information for measurement value

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015178306A JP6048555B1 (ja) 2015-09-10 2015-09-10 分類情報作成装置、分類情報作成方法、分類情報作成プログラム、検索装置、検索方法、及び、検索プログラム
JP2015-178306 2015-09-10

Publications (1)

Publication Number Publication Date
WO2017043075A1 true WO2017043075A1 (ja) 2017-03-16

Family

ID=57572433

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004071 WO2017043075A1 (ja) 2015-09-10 2016-09-07 分類情報作成装置、分類情報作成方法、検索装置、検索方法、及び、記録媒体

Country Status (6)

Country Link
US (1) US10902027B2 (ja)
EP (1) EP3349127A4 (ja)
JP (1) JP6048555B1 (ja)
HK (1) HK1252123A1 (ja)
SG (1) SG11201801897XA (ja)
WO (1) WO2017043075A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101953638B1 (ko) * 2017-04-13 2019-03-04 국방과학연구소 군 사이버 모의침투 훈련을 위한 통합대시보드 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193436A (ja) * 2006-01-17 2007-08-02 Fujitsu Ltd ログ検索プログラム、ログ管理装置、情報処理装置およびログ検索方法
JP5640166B1 (ja) * 2014-03-31 2014-12-10 株式会社ラック ログ分析システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7788722B1 (en) * 2002-12-02 2010-08-31 Arcsight, Inc. Modular agent for network security intrusion detection system
JP4242852B2 (ja) 2005-04-22 2009-03-25 エヌ・ティ・ティ・コミュニケーションズ株式会社 ログ集計支援装置、ログ集計支援システム、ログ集計支援プログラム、およびログ集計支援方法
WO2008007669A1 (fr) * 2006-07-10 2008-01-17 Nec Corporation Dispositif et procédé de gestion de système informatique
US8682886B2 (en) * 2012-05-18 2014-03-25 Splunk Inc. Report acceleration using intermediate summaries of events
JP6104149B2 (ja) * 2013-12-24 2017-03-29 三菱電機株式会社 ログ分析装置及びログ分析方法及びログ分析プログラム
US9838512B2 (en) * 2014-10-30 2017-12-05 Splunk Inc. Protocol-based capture of network data using remote capture agents
US20160105329A1 (en) * 2014-10-09 2016-04-14 Splunk Inc. Defining a service-monitoring dashboard using key performance indicators derived from machine data
US9699205B2 (en) * 2015-08-31 2017-07-04 Splunk Inc. Network security system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193436A (ja) * 2006-01-17 2007-08-02 Fujitsu Ltd ログ検索プログラム、ログ管理装置、情報処理装置およびログ検索方法
JP5640166B1 (ja) * 2014-03-31 2014-12-10 株式会社ラック ログ分析システム

Also Published As

Publication number Publication date
US20200210454A1 (en) 2020-07-02
EP3349127A1 (en) 2018-07-18
US10902027B2 (en) 2021-01-26
HK1252123A1 (zh) 2019-05-17
SG11201801897XA (en) 2018-04-27
EP3349127A4 (en) 2019-02-27
JP6048555B1 (ja) 2016-12-21
JP2017054333A (ja) 2017-03-16

Similar Documents

Publication Publication Date Title
Lee et al. A hadoop-based packet trace processing tool
US8875154B2 (en) Interface specific and parallel IPMI message handling at baseboard management controller
US10362086B2 (en) Method and system for automating submission of issue reports
US20180357214A1 (en) Log analysis system, log analysis method, and storage medium
RU2016111349A (ru) Автоматизированная фиксация данных производственного процесса для анализа и выдачи отчета об ошибках в приложении бурения
US20140379716A1 (en) Process-Aware Code Migration
US10387370B2 (en) Collecting test results in different formats for storage
JP2007334716A (ja) 運用管理システム、監視装置、被監視装置、運用管理方法及びプログラム
US10574765B2 (en) Method, device, and non-transitory computer-readable recording medium
JP5024453B2 (ja) 業務フロー分散処理システム及び方法
JP6048555B1 (ja) 分類情報作成装置、分類情報作成方法、分類情報作成プログラム、検索装置、検索方法、及び、検索プログラム
JP6070799B1 (ja) 通信情報算出装置、通信情報算出方法、通信情報算出プログラム、及び、通信管理システム
KR101611433B1 (ko) 성능 측정 방법, 이를 수행하는 성능 측정 장치 및 이를 저장하는 기록매체
JP2017054332A (ja) 通信先判定装置、通信先判定方法、及び、通信先判定プログラム
CN110569172B (zh) 一种业务层级的性能监控系统
CN111045983B (zh) 核电站电子文件管理方法、装置、终端设备及介质
JP6522537B2 (ja) コマンド処理装置及びプログラム
CN107609008A (zh) 一种基于Apache Sqoop的从关系型数据库到Kafka的数据导入装置及方法
US20170033990A1 (en) Recording medium, parameter specifying method and parameter specifying device
KR101367062B1 (ko) 컴퓨터 포렌식 과정에서 디스크 인터페이스를 사용한 저장매체 파일 직접 접근 시스템 및 방법
JP4947218B2 (ja) メッセージの分類方法およびメッセージの分類を行う装置
JP2010044566A (ja) 紐付けキーワード自動抽出プログラム,紐付けキーワード自動抽出方法及び紐付けキーワード自動抽出装置
WO2016092629A1 (ja) 計算機システム及び監視方法
CN115955423A (zh) 一种基于域名的网络流量处理方法、装置以及处理设备
WO2018158893A1 (ja) ソースコード解析装置、ソースコード解析方法及びソースコード解析プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16843942

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 11201801897X

Country of ref document: SG

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016843942

Country of ref document: EP