WO2016075829A1 - データ取得プログラム、データ取得方法及びデータ取得装置 - Google Patents

データ取得プログラム、データ取得方法及びデータ取得装置 Download PDF

Info

Publication number
WO2016075829A1
WO2016075829A1 PCT/JP2014/080268 JP2014080268W WO2016075829A1 WO 2016075829 A1 WO2016075829 A1 WO 2016075829A1 JP 2014080268 W JP2014080268 W JP 2014080268W WO 2016075829 A1 WO2016075829 A1 WO 2016075829A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
tag
document
data acquisition
extraction target
Prior art date
Application number
PCT/JP2014/080268
Other languages
English (en)
French (fr)
Inventor
剛 米田
述史 野呂
田中　哲
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to SG11201703830XA priority Critical patent/SG11201703830XA/en
Priority to JP2016558843A priority patent/JP6500908B2/ja
Priority to EP14905762.2A priority patent/EP3220285A4/en
Priority to PCT/JP2014/080268 priority patent/WO2016075829A1/ja
Publication of WO2016075829A1 publication Critical patent/WO2016075829A1/ja
Priority to US15/589,150 priority patent/US10769216B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking

Definitions

  • the present invention relates to a data acquisition program, a data acquisition method, and a data acquisition device.
  • the crawler tool is known as a tool for collecting information published on the Internet.
  • the crawler tool circulates a homepage on the Internet and stores contents in URL (Uniform Resource Locator) units, that is, in page units. Also, by analyzing the content of the homepage etc. and specifying the user's specified location, and newly receiving the content, the corresponding specified location is extracted and compared with the original data to determine whether or not there is a partial update It has been proposed to detect.
  • URL Uniform Resource Locator
  • the tag information of the independence part that is a part that can be processed independently of the web page, that is, the home page is extracted, and when the independence part is designated by the user, the page including the contents of the designated independence part It has been proposed to generate parts. Furthermore, it has been proposed to generate a new web page based on the generated page component.
  • the present invention is to provide a data acquisition program, a data acquisition method, and a data acquisition device that can extract and output data of a target portion even without specific tag information.
  • the data acquisition program specifies the position on the hierarchical structure of the tag included in the document of the extraction target part in the document including the tag structure information, which is associated with the specific URL, To allow the computer to execute a process that permits the registration of the position of. Further, the data acquisition program accesses the document associated with the specific URL regularly or irregularly, extracts the data corresponding to the registered hierarchical position of the tag, and outputs it. Cause the computer to execute the process.
  • FIG. 1 is a block diagram illustrating an example of the configuration of the data acquisition apparatus.
  • FIG. 2 is a diagram illustrating an example of the target storage unit.
  • FIG. 3 is a diagram illustrating an example of the item storage unit.
  • FIG. 4 is a diagram illustrating an example of the page storage unit.
  • FIG. 5 is a diagram illustrating an example of the extracted data storage unit.
  • FIG. 6 is a diagram illustrating an example of an extraction target part reception screen.
  • FIG. 7 is a flowchart illustrating an example of the definition generation process.
  • FIG. 8 is a flowchart illustrating an example of the crawl process.
  • FIG. 9 is a diagram illustrating an example of a computer that executes a data acquisition program.
  • FIG. 1 is a block diagram showing an example of the configuration of the data acquisition device.
  • the data acquisition apparatus 100 shown in FIG. 1 is connected to the Internet via the network N, for example, and circulates a home page (hereinafter also referred to as a site) on the Internet designated by an administrator to acquire predetermined data. Accumulate in the database.
  • the data acquisition device 100 circulates a tourist information site or a tourist information site provided by a prefecture in order to acquire tourist information of a certain area, and includes an address, a telephone number, a description, etc. of each tourist spot. Get the data.
  • the data acquisition device 100 generates a definition of the data item to be acquired in advance, and acquires data from each site based on the definition.
  • the data acquisition device 100 identifies the position on the hierarchical structure of the tag included in the document of the extraction target portion in the document including the tag structure information, which is associated with the specific URL, and determines the position on the hierarchical structure Allow registration. Further, the data acquisition device 100 accesses a document associated with a specific URL regularly or irregularly, extracts data corresponding to the position of the registered tag in the hierarchical structure, and outputs the extracted data. As a result, the data acquisition apparatus 100 can extract and output the data of the target portion for documents on sites with different formats of various data without having unique tag information.
  • examples of the document including the tag structure information include a document described in a markup language, such as an HTML (HyperText Markup Language) document, an XML (Extensible Markup Language) document, and the like.
  • a markup language such as an HTML (HyperText Markup Language) document, an XML (Extensible Markup Language) document, and the like.
  • HTML HyperText Markup Language
  • XML Extensible Markup Language
  • the data acquisition apparatus 100 includes an input unit 101, an output unit 102, a communication unit 110, a storage unit 120, and a control unit 130.
  • the data acquisition apparatus 100 may include various functional units included in a known computer in addition to the functional units illustrated in FIG.
  • the input unit 101 is an input device such as a keyboard or a mouse, for example, and receives input of various information from the administrator of the data acquisition apparatus 100.
  • the input unit 101 receives the URL of the site to be visited, the data item to be acquired, and the like by the administrator of the data acquisition apparatus 100 and outputs the input result to the control unit 130.
  • the input unit 101 may be a reader / writer such as an SD (Secure Digital) memory card.
  • SD Secure Digital
  • the input unit 101 outputs the URL of the site to be visited, the data item to be acquired, and the like read from the SD memory card to the control unit 130.
  • the input unit 101 may include both an input device and a reader / writer such as an SD memory card.
  • the output unit 102 is a display device for displaying various information, for example.
  • the output unit 102 is realized by, for example, a liquid crystal display as a display device.
  • the output unit 102 may be a reader / writer such as an SD memory card.
  • the output unit 102 displays or writes the output data to the memory card.
  • the input unit 101 and the output unit 102 may be integrated.
  • a device having both functions may be used, such as a reader / writer such as an SD memory card.
  • the output unit 102 may include both a display device and an SD card reader / writer, for example.
  • the communication unit 110 is realized by, for example, a NIC (Network Interface Card).
  • the communication unit 110 is a communication interface that is connected to the Internet, for example, via the network N in a wired or wireless manner and manages information communication with servers at various sites on the Internet.
  • the communication unit 110 receives page contents such as HTML documents and image files from various sites on the Internet.
  • the communication unit 110 outputs the received page content to the control unit 130.
  • the communication unit 110 transmits a page request or the like input from the control unit 130 to various sites on the Internet.
  • the storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 120 includes a target storage unit 121, an item storage unit 122, a page storage unit 123, and an extracted data storage unit 124.
  • the storage unit 120 stores information used for processing in the control unit 130.
  • the target storage unit 121 stores a URL of a site that is a target of a crawl process for acquiring data (hereinafter referred to as a target URL) and position specifying information of an extraction target portion in an HTML document in association with each other. That is, the target storage unit 121 stores the definition of the target URL.
  • FIG. 2 is a diagram illustrating an example of the target storage unit. As illustrated in FIG. 2, the target storage unit 121 includes items such as “URLID”, “target URL”, and “position specifying information of the extraction target portion”. In addition, the “extraction target portion position specifying information” includes items such as “title” and “address”. Note that the position specifying information of the extraction target portion includes items such as a telephone number, an update date, position information, and an explanatory text, although not illustrated.
  • the target storage unit 121 stores, for example, one record for each target URL.
  • “URLID” identifies the target URL.
  • “Target URL” indicates the URL of an HTML document to be accessed in the crawl process. The target URL is input by the administrator using the input device of the input unit 101, for example.
  • the “extraction target part position specifying information” indicates information for specifying the position of the extraction target part in the HTML document of the target URL.
  • “Title” indicates the position of the tag in the hierarchical structure of the target HTML document by combining one or more of the tag name, the order of the tag in the document, and the hierarchical structure of the tag.
  • “Address” indicates the position of the tag in the hierarchical structure of the target HTML document by combining one or more of the tag name, the tag order in the document, and the hierarchical structure of the tag. .
  • the position specifying information of the title and address in the HTML document of the target URL “http: //aaaaa.bbb.ccc/ddd/eee/001.html” whose URL ID is “1”.
  • “Order: 1” indicates the first tag among the tags indicating the title in the HTML document.
  • “/ Title /” indicates a hierarchical structure of tags indicating the title of the HTML document. Note that data extracted as a title from the HTML document is a portion surrounded by DIV tags.
  • “Order: 1” indicates the first tag among the tags indicating the address in the HTML document.
  • “/ Info / address /” indicates a hierarchical structure of tags indicating the address of the HTML document. Note that the data extracted from the HTML document as an address is a portion surrounded by DIV tags. Further, the position specifying information of the extraction target portion may be specified using one or more of the tag name, the tag order, and the tag hierarchical structure.
  • the tag name may be expressed using a regular expression.
  • the name of the tag indicating the address is expressed as “/ ⁇ DIV.*>(.+) ⁇ /DIV>//address: (. +) $ /”.
  • the portion surrounded by the DIV tag or the portion following “Address:” is the data extracted as the address.
  • the position specifying information of the extraction target part may be a combination of a CSS selector and a regular expression.
  • the position specifying information of the extraction target portion may be expressed using a clipping method.
  • the position specifying information of the title is expressed as “div # left h2, order: 3, / tps / table /” using a CSS selector.
  • the location information of the address is, for example, “# infoContent @ ⁇ h3> location ⁇ / h3> ⁇ s +? ⁇ P> (. +?) ⁇ / P> @is, using a CSS selector and a regular expression. "Order: 5, / info / address /".
  • the item storage unit 122 stores the definition of the data item extracted from the page content of the target URL.
  • FIG. 3 is a diagram illustrating an example of the item storage unit. As illustrated in FIG. 3, the item storage unit 122 includes items such as “item ID”, “data name”, “data type”, and “cutout method”. The item storage unit 122 stores, for example, one record for each data name.
  • “Item ID” identifies a data item, that is, a data name.
  • “Data name” indicates the name of data to be extracted. Examples of the data name include data such as a title, address, telephone number, update date, location information, and explanatory text.
  • “Data type” indicates the type of data when the extracted data is stored in the extracted data storage unit 124. Data types include, for example, types such as letters, numbers, dates, and latitude and longitude.
  • the “cutout method” indicates a method of cutting out data from the page content of the target URL, that is, a method of extracting the data. Examples of the clipping method include a CSS selector and a regular expression.
  • the page storage unit 123 stores, for the target URL, the page contents obtained by accessing the crawl process, that is, an HTML document, an image file, and the like.
  • FIG. 4 is a diagram illustrating an example of the page storage unit. As illustrated in FIG. 4, the page storage unit 123 includes items such as “URLID”, “target URL”, and “storage area”. For example, the page storage unit 123 stores one record for each target URL.
  • URLID identifies the target URL.
  • Target URL indicates the URL of the HTML document accessed by the crawl process.
  • the “storage area” indicates a storage area that stores the acquired HTML document, image file, and the like.
  • the storage area stores, for example, a file system directory in the storage unit 120, and stores an HTML document, an image file, and the like in the corresponding directory. Note that the page storage unit 123 may directly store the acquired HTML document or image file in the storage area.
  • the extracted data storage unit 124 stores the data of the extraction target portion extracted from the HTML document.
  • the extracted data storage unit 124 is a database that stores data collected by the crawl process.
  • FIG. 5 is a diagram illustrating an example of the extracted data storage unit. As illustrated in FIG. 5, the extracted data storage unit 124 includes items such as “URLID”, “title”, “address”, “phone number”, “update date”, “location information”, and “description”. The extracted data storage unit 124 stores, for example, one record for each URLID.
  • URLID identifies the target URL.
  • Tile is one of the data items extracted from the HTML document of the target URL, and indicates the title of the HTML document of the target URL.
  • Address is one of the data items extracted from the HTML document of the target URL, and indicates an address described in the HTML document of the target URL.
  • Tephone number is one of the data items extracted from the HTML document of the target URL, and indicates the telephone number described in the HTML document of the target URL.
  • Update date is one of the data items extracted from the HTML document of the target URL, and indicates the update date described in the HTML document of the target URL.
  • Position information indicates latitude and longitude.
  • the latitude and longitude are acquired by using, for example, an external API (Application Programming Interface) service based on the address extracted from the HTML document of the target URL.
  • the position information may be the latitude and longitude as long as the latitude and longitude are described in the HTML document.
  • the “descriptive text” is one of data items extracted from the HTML document of the target URL. For example, if the HTML document of the target URL is a document related to a tourist spot, an explanatory text related to a tourist spot in the document is shown.
  • the address acquired by using an external API service using the tourist spot name described in the title may be used, for example.
  • control unit 130 executes, for example, a program stored in an internal storage device using a RAM as a work area by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like. Is realized.
  • the control unit 130 may be realized by an integrated circuit such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • the control unit 130 includes a registration unit 131, a crawl unit 132, an extraction unit 133, and an output control unit 134, and realizes or executes functions and operations of information processing described below. Note that the internal configuration of the control unit 130 is not limited to the configuration illustrated in FIG. 1, and may be another configuration as long as the information processing described below is performed.
  • the registration unit 131 registers the definition of the target URL and the definition of the data item. For example, when the administrator operates the input unit 101, the registration unit 131 receives input of a data name, a data type, and a clipping method that are extraction target portions. The registration unit 131 associates the received data name, data type, and extraction method to generate a data item definition. The registration unit 131 stores the definition of the generated data item in the item storage unit 122. That is, the registration unit 131 registers the generated data item definition in the item storage unit 122.
  • the registration unit 131 outputs the HTML document source corresponding to the target URL to the output unit 102 for display. For example, when the administrator operates the input unit 101, the registration unit 131 accepts selection of an extraction target portion on the source of the HTML document corresponding to the displayed target URL.
  • the registration unit 131 may display an HTML document with a target URL and accept selection of an extraction target portion on the HTML document.
  • the registration unit 131 identifies the position of the tag corresponding to the accepted extraction target part on the hierarchical structure.
  • the registration unit 131 uses the specified position on the hierarchical structure as position specifying information of the extraction target portion.
  • the registration unit 131 uses the name of the tag corresponding to the extraction target part and the order of the tags in the document as position specifying information of the extraction target part together with the specified position on the hierarchical structure.
  • the registration unit 131 accepts selection of the extraction target portion for each data item in the HTML document of the target URL and specifies the position of the tag in the hierarchical structure.
  • the registration unit 131 when there are a plurality of target URLs, similarly specifies the position of the tag corresponding to the extraction target portion on the hierarchical structure for the HTML document corresponding to each target URL.
  • the registration unit 131 associates the target URL with the position specifying information of the extraction target portion, and generates a definition of the target URL.
  • the registration unit 131 stores the generated definition of the target URL in the target storage unit 121. That is, the registration unit 131 registers the definition of the generated target URL in the target storage unit 121.
  • FIG. 6 is a diagram illustrating an example of an extraction target part reception screen.
  • the reception screen 21 has an area 22 for displaying the source of the HTML document and an area 23 for receiving selection of the extraction target portion.
  • the registration unit 131 selects an address in the extraction target part selection field in the region 23.
  • the registration unit 131 reads the definition of the data item corresponding to the address from the item storage unit 122 and displays it in the extraction definition column 24.
  • the extraction definition field 24 may be displayed as editable text.
  • the registration unit 131 displays a portion corresponding to one or more of the CSS selector and the regular expression in the extraction definition field 24 as the extraction target portion 25 on the source displayed in the region 22, for example, by coloring the background. .
  • the registration unit 131 accepts the selection of the extraction target portion 25 by confirming the extraction target portion 25 by the administrator and pressing a selection button on a user interface (not shown), for example. Further, for example, the registration unit 131 may select the extraction target portion 25 of the region 22 by an administrator's mouse operation and accept the selected extraction target portion 25.
  • the registration unit 131 may perform a conversion process for removing unnecessary characters on the extraction target portion 25.
  • the registration unit 131 performs conversion processing on the character string of the extraction target portion 25 using the conversion definition in the conversion processing column 26 set by the administrator.
  • the registration unit 131 inserts the conversion result 27 under the extraction target portion 25 and displays the background in a color different from that of the extraction target portion 25.
  • the registration unit 131 can accept the conversion result 27 as an extraction target portion.
  • the crawl unit 132 accesses the home page including the target URL, for example, the top page of a certain tourism information site, with reference to the target storage unit 121. That is, the crawl unit 132 transmits a page request to the server of a certain tourism information site via the communication unit 110 and receives the page content from the server via the communication unit 110.
  • the crawl unit 132 accesses the home page including the target URL regularly or irregularly, that is, at an interval specified in advance by the administrator or at an arbitrary timing.
  • the designated interval can be an arbitrary interval such as one day, one week, one month, or the like.
  • the crawl unit 132 refers to the target storage unit 121 and selects a target URL for acquiring the page contents from all the links in the home page. For example, the crawl unit 132 selects a target URL of a page for each sightseeing spot. The crawl unit 132 acquires page contents from the selected target URL. The crawl unit 132 stores the acquired page content in the page storage unit 123. Further, the crawl unit 132 outputs acquisition completion information indicating that the acquisition of the page content is completed to the extraction unit 133.
  • the extraction unit 133 When the acquisition completion information is input from the crawl unit 132, the extraction unit 133 refers to the position specifying information of the extraction target portion of the target storage unit 121, and from the page content of the target URL stored in the page storage unit 123, Extract the data item data of the extraction target part.
  • the extraction unit 133 associates the extracted data with the URL ID, and stores the extracted data in the extracted data storage unit 124 according to the definition of the data item in the item storage unit 122.
  • the extraction unit 133 stores the extracted data in the extraction data storage unit 124, the extraction unit 133 outputs extraction completion information to the output control unit 134.
  • the extraction unit 133 extracts data using the method specified by the cutout method of the item storage unit 122 when extracting data of the data item of the extraction target portion.
  • the extraction unit 133 extracts the address by using, for example, a CSS selector in which the tag hierarchy indicating the address is defined by “/ info / address /” and described as “.address”, for example. In this case, for example, the extraction unit 133 can cut out an item including “address” in the tag as an address.
  • the extraction unit 133 describes, for example, “.info” on the first line, “/ ⁇ DIV.*>(.+) ⁇ /DIV>/” on the second line, and on the third line.
  • An address is extracted by using a regular expression described as “/ address: (. +) $ /”.
  • the extraction unit 133 can extract, as an address, a character string that follows the character string “address:” from a hierarchy included in a tag whose DIV tag class is “info”.
  • the extraction unit 133 when storing the extracted data in the extracted data storage unit 124, the extraction unit 133 outputs information indicating that the data has changed if the extracted data is different from the data extracted in the past. It may be output to 102 and displayed. That is, when the data corresponding to the position of the registered tag extracted in the past in the hierarchical structure is different from the data corresponding to the position of the registered tag extracted this time, Information indicating that the data has changed is output to the output unit 102. Examples of information indicating that the data has changed include messages such as “Address has been updated. Please check” and “Page layout has been changed. Check.”
  • the extraction unit 133 is information according to the number or rate of data that matches the past data among the data corresponding to the plurality of positions. Is output to the output unit 102. That is, for example, when there are six data items registered in the HTML document and the two data are different from the past data, the extraction unit 133, for example, “information on two locations has been updated. Please output "to the output unit 102.
  • the extraction unit 133 may output information corresponding to the number or rate of data that matches the acquired homepage data to the output unit 102 when the unknown homepage is crawled. Information according to the number or rate of data that matches the acquired homepage data is, for example, a message such as “Data matching rate with similar pages is 66%. Check for mismatched data items.” .
  • the output control unit 134 refers to the extraction data storage unit 124 and outputs the extracted data as output data to the output unit 102 for display.
  • the output control unit 134 may display, for example, a display color if the data acquired and extracted by the past crawl process is different from the data acquired and extracted by the current crawl process. It may be changed.
  • the output unit 102 is a reader / writer such as an SD memory card
  • the output control unit 134 outputs the extracted data as output data to the output unit 102 and stores it in the SD memory card or the like.
  • FIG. 7 is a flowchart showing an example of the definition generation process.
  • the registration unit 131 receives an input of a data name, a data type, and a clipping method that are to be extracted (step S1).
  • the registration unit 131 associates the received data name, data type, and extraction method to generate a data item definition.
  • the registration unit 131 registers the generated data item definition in the item storage unit 122 (step S2).
  • the registration unit 131 outputs and displays the source of the HTML document corresponding to the target URL on the output unit 102 (step S3). For example, when the administrator operates the input unit 101, the registration unit 131 accepts selection of an extraction target portion on the source of the HTML document corresponding to the displayed target URL (step S4). The registration unit 131 specifies the position on the hierarchical structure of the tag corresponding to the accepted extraction target part (step S5). The registration unit 131 sets the specified position on the hierarchical structure as position specifying information of the extraction target portion (step S6). In addition, the registration unit 131 uses the name of the tag corresponding to the extraction target part and the order of the tags in the document as position specifying information of the extraction target part together with the specified position on the hierarchical structure. When there are a plurality of data items in the HTML document of the target URL, the registration unit 131 accepts selection of the extraction target part and specifies the position of the tag in the hierarchical structure.
  • the registration unit 131 associates the target URL with the position specifying information of the extraction target portion and generates a definition of the target URL.
  • the registration unit 131 registers the generated definition of the target URL in the target storage unit 121 (step S7). Thereby, the data acquisition apparatus 100 can register the definition of the data item and the definition of the target URL.
  • FIG. 8 is a flowchart illustrating an example of the crawl process.
  • the crawl unit 132 refers to the target storage unit 121 and accesses a home page including the target URL (step S11).
  • the crawl unit 132 refers to the target storage unit 121 and selects a target URL for acquiring page contents from all links in the home page (step S12).
  • the crawl unit 132 acquires page contents from the selected target URL (step S13).
  • the crawl unit 132 stores the acquired page content in the page storage unit 123. Further, the crawl unit 132 outputs acquisition completion information indicating that the acquisition of the page content is completed to the extraction unit 133.
  • the extraction unit 133 refers to the position specifying information of the extraction target portion of the target storage unit 121, and from the page content of the target URL stored in the page storage unit 123, Data of the data item of the extraction target part is extracted (step S14).
  • the extraction unit 133 stores the extracted data in the extracted data storage unit 124 in association with the URLID (step S15).
  • the extraction unit 133 outputs extraction completion information to the output control unit 134.
  • the output control unit 134 refers to the extraction data storage unit 124, and outputs and displays the extracted data on the output unit 102 (step S16).
  • the data acquisition apparatus 100 identifies and registers the position of the tag in the hierarchical structure, so that the data of the target portion can be extracted from the HTML document and output without the unique tag information.
  • the data acquisition apparatus 100 can collect various information from various websites with different formats and construct a database that is unified in a predetermined format.
  • the data acquisition device 100 identifies the position on the hierarchical structure of the tag included in the document of the extraction target portion in the document that is associated with the specific URL and includes the tag structure information, Allows registration of location. Further, the data acquisition device 100 accesses a document associated with a specific URL regularly or irregularly, extracts data corresponding to the position of the registered tag in the hierarchical structure, and outputs the extracted data. As a result, the data of the target portion can be extracted and output even without specific tag information.
  • the position of the extraction target part is further specified using a combination of the tag name or the order of the tag in the document and the hierarchical structure of the tag. As a result, the data of the target portion can be extracted and output more accurately.
  • the data acquisition apparatus 100 determines that the data corresponding to the position of the registered tag extracted in the past in the hierarchical structure is different from the data corresponding to the position of the registered tag extracted this time in the hierarchical structure. , Output information indicating that the data has changed. As a result, it can be easily determined that the document corresponding to the target URL has been updated.
  • the data acquisition apparatus 100 outputs according to the number or rate of data that matches the past data among the data corresponding to the plurality of positions. Do. As a result, even when a crawling process is performed on an unknown home page, a definition for easily extracting data can be set, and desired data can be extracted and output.
  • the data acquisition apparatus 100 displays the document described in the HTML format or the source of the document, and accepts selection of the extraction target portion included in the displayed document or the source of the document.
  • the data acquisition apparatus 100 identifies the tag hierarchy corresponding to the received extraction target part, and registers the identified hierarchy as information for specifying the position of the extraction target part. As a result, data items acquired by the crawl process can be easily set.
  • the said Example demonstrated the case where the homepage regarding a sightseeing spot was crawl-processed, it is not limited to this. For example, you may make it patrol the homepage regarding disaster prevention information, traffic information, tour product information, job offer information, etc.
  • the data acquisition apparatus 100 can construct a database without omission by collecting information on various homepages with different managers and integrating data with the same attribute.
  • a character string of a tag including “address” or a character string following “address” in a regular expression is acquired, but the present invention is not limited to this.
  • a keyword that may be used for address notation such as “location” may be acquired using a regular expression.
  • the data acquisition apparatus 100 can be integrated into a database as data having the same attribute even when similar terms are used.
  • the present invention is not limited to this.
  • the data acquisition device 100 may divide each tourist spot using a splitter, and use the divided portion as a substitute for the target URL. Thereby, the data acquisition device 100 can acquire desired data from home pages in various formats.
  • each component of each part illustrated does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution / integration of each part is not limited to the one shown in the figure, and all or a part thereof may be functionally or physically distributed / integrated in arbitrary units according to various loads and usage conditions. Can be configured.
  • the crawl unit 132, the extraction unit 133, and the output control unit 134 may be integrated into an output control unit.
  • various processing functions performed in each device may be executed entirely or arbitrarily on a CPU (or a microcomputer such as an MPU or MCU (Micro Controller Unit)).
  • the various processing functions may be executed entirely or arbitrarily on a program that is analyzed and executed by a CPU (or a microcomputer such as an MPU or MCU) or hardware based on wired logic. Needless to say, it is good.
  • FIG. 9 is a diagram illustrating an example of a computer that executes a data acquisition program.
  • the computer 200 includes a CPU 201 that executes various arithmetic processes, an input device 202 that receives data input, and a monitor 203.
  • the computer 200 also includes a medium reading device 204 that reads a program and the like from a storage medium, an interface device 205 for connecting to various devices, and a communication device 206 for connecting to other information processing devices and the like by wire or wirelessly.
  • Have The computer 200 also includes a RAM 207 that temporarily stores various types of information and a hard disk device 208.
  • the devices 201 to 208 are connected to a bus 209.
  • the hard disk device 208 stores a data acquisition program having the same functions as the processing units of the registration unit 131, the crawl unit 132, the extraction unit 133, and the output control unit 134 illustrated in FIG. Further, the hard disk device 208 stores a target storage unit 121, an item storage unit 122, a page storage unit 123, an extracted data storage unit 124, and various data for realizing a data acquisition program.
  • the input device 202 has a function equivalent to that of the input unit 101, and receives input of various information such as a target URL, definition, management information, and the like from an administrator of the computer 200, for example.
  • the monitor 203 has a function equivalent to that of the output unit 102, and displays various screens such as a management information screen, a reception screen, and a data display screen to the administrator of the computer 200, for example.
  • the interface device 205 is connected to, for example, a printing device.
  • the communication device 206 has the same function as the communication unit 110 shown in FIG. 1 and is connected to the network N to exchange various information with a site on the Internet.
  • the CPU 201 reads out each program stored in the hard disk device 208, develops it in the RAM 207, and executes it to perform various processes.
  • these programs can cause the computer 200 to function as the registration unit 131, the crawl unit 132, the extraction unit 133, and the output control unit 134 illustrated in FIG.
  • the above data acquisition program is not necessarily stored in the hard disk device 208.
  • the computer 200 may read and execute a program stored in a storage medium readable by the computer 200.
  • the storage medium readable by the computer 200 corresponds to, for example, a portable recording medium such as a CD-ROM, a DVD disk, a USB (Universal Serial Bus) memory, a semiconductor memory such as a flash memory, and a hard disk drive.
  • the data acquisition program may be stored in a device connected to a public line, the Internet, a LAN, etc., and the computer 200 may read and execute the data acquisition program from these.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

　固有のタグ情報がなくても対象部分のデータを抜き出して出力できるデータ取得プログラム、データ取得方法及びデータ取得装置を提供する。データ取得プログラムは、特定のＵＲＬに対応付けられ、タグの構造情報を含む文書における抽出対象部分の前記文書に含まれるタグの階層構造上の位置を特定し、該階層構造上の位置を登録することを許容する（１３１）処理をコンピュータ（１００）に実行させる。また、データ取得プログラムは、定期的又は不定期に、前記特定のＵＲＬに対応付けられた前記文書にアクセスして（１３２）、登録された前記タグの階層構造上の位置に対応するデータを抜き出して、出力する（１３３、１３４）処理をコンピュータ（１００）に実行させる。

Description

データ取得プログラム、データ取得方法及びデータ取得装置
　本発明は、データ取得プログラム、データ取得方法及びデータ取得装置に関する。
　インターネット上に公開されている情報を収集するためのツールとして、クローラツールが知られている。クローラツールは、インターネット上のホームページを巡回して、ＵＲＬ（Uniform　Resource　Locator）単位、すなわちページ単位で内容を保存する。また、ホームページ等のコンテンツを解析してユーザの指定箇所を特定し、新たにコンテンツを受信した場合に、対応する指定箇所を抽出して元のデータと比較することで、一部分の更新の有無を検出することが提案されている。
　また、ウェブページ、つまりホームページから独立して処理が可能な部分である独立可能部分のタグ情報を抽出し、独立可能部分がユーザに指定されると、指定された独立可能部分の内容を含むページ部品を生成することが提案されている。さらに、生成したページ部品に基づいて、新たなウェブページを生成することが提案されている。
特開２００１－２０２２８３号公報 特開２００１－１０９７４２号公報
　しかしながら、例えば、インターネット上の様々なホームページから特定の情報を収集する場合には、受信したコンテンツや生成したページ部品に基づくウェブページを参照すると、収集の目的としない他の情報も含まれる場合がある。このため、特定の情報のみを収集して、汎用性の高いデータを出力することが困難である。
　一つの側面では、本発明は、固有のタグ情報がなくても対象部分のデータを抜き出して出力できるデータ取得プログラム、データ取得方法及びデータ取得装置を提供することにある。
　一つの態様では、データ取得プログラムは、特定のＵＲＬに対応付けられ、タグの構造情報を含む文書における抽出対象部分の前記文書に含まれるタグの階層構造上の位置を特定し、該階層構造上の位置を登録することを許容する処理をコンピュータに実行させる。また、データ取得プログラムは、定期的又は不定期に、前記特定のＵＲＬに対応付けられた前記文書にアクセスして、登録された前記タグの階層構造上の位置に対応するデータを抜き出して、出力する処理をコンピュータに実行させる。
　固有のタグ情報がなくても対象部分のデータを抜き出して出力できる。
図１は、データ取得装置の構成の一例を示すブロック図である。 図２は、対象記憶部の一例を示す図である。 図３は、項目記憶部の一例を示す図である。 図４は、ページ記憶部の一例を示す図である。 図５は、抽出データ記憶部の一例を示す図である。 図６は、抽出対象部分の受付画面の一例を示す図である。 図７は、定義生成処理の一例を示すフローチャートである。 図８は、クロール処理の一例を示すフローチャートである。 図９は、データ取得プログラムを実行するコンピュータの一例を示す図である。
　以下、図面に基づいて、本願の開示するデータ取得プログラム、データ取得方法及びデータ取得装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
　図１は、データ取得装置の構成の一例を示すブロック図である。図１に示すデータ取得装置１００は、例えば、ネットワークＮを介してインターネットに接続され、管理者に指定されたインターネット上のホームページ（以下、サイトともいう）を巡回し、所定のデータを取得してデータベースに蓄積する。データ取得装置１００は、例えば、ある地域の観光情報を取得するために、観光スポットのサイトや都道府県が設けた観光情報サイトを巡回して、各観光スポットの住所、電話番号、説明文等のデータを取得する。このとき、各観光スポットのサイトや観光情報サイトでは、各種データのフォーマットが統一されていない場合が多い。このため、データ取得装置１００は、取得するデータ項目の定義を予め生成し、定義に基づいて各サイトからデータを取得する。
　すなわち、データ取得装置１００は、特定のＵＲＬに対応付けられ、タグの構造情報を含む文書における抽出対象部分の文書に含まれるタグの階層構造上の位置を特定し、該階層構造上の位置を登録することを許容する。また、データ取得装置１００は、定期的又は不定期に、特定のＵＲＬに対応付けられた文書にアクセスして、登録されたタグの階層構造上の位置に対応するデータを抜き出して、出力する。これにより、データ取得装置１００は、各種データのフォーマットが異なるサイトの文書について、固有のタグ情報がなくても対象部分のデータを抜き出して出力できる。
　ここで、タグの構造情報を含む文書としては、例えば、マークアップ言語で記述された文書が挙げられ、例えばＨＴＭＬ（HyperText　Markup　Language）文書、ＸＭＬ（Extensible　Markup　Language）文書等が挙げられる。なお、以下の説明では、一例として、ＨＴＭＬ文書を用いたホームページを巡回する場合について説明する。
　次に、データ取得装置１００の構成について説明する。図１に示すように、データ取得装置１００は、入力部１０１と、出力部１０２と、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、データ取得装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部を有することとしてもかまわない。
　入力部１０１は、例えば、キーボードやマウス等の入力デバイスであり、データ取得装置１００の管理者から各種情報の入力を受け付ける。例えば、入力部１０１は、データ取得装置１００の管理者により、巡回するサイトのＵＲＬ、取得するデータ項目等が入力され、入力結果を制御部１３０に出力する。また、入力部１０１は、例えば、ＳＤ（Secure　Digital）メモリカード等のリーダライタであってもよい。入力部１０１は、例えば、ＳＤメモリカードから読み込んだ、巡回するサイトのＵＲＬ、取得するデータ項目等を制御部１３０に出力する。なお、入力部１０１は、入力デバイスとＳＤメモリカード等のリーダライタとの双方を有してもよい。
　出力部１０２は、例えば、各種情報を表示するための表示デバイスである。出力部１０２は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。また、出力部１０２は、ＳＤメモリカード等のリーダライタであってもよい。出力部１０２は、制御部１３０から出力データが入力されると、出力データについて表示又はメモリカードへの書き込みを行う。なお、入力部１０１及び出力部１０２は、一体化されてもよく、例えば、ＳＤメモリカード等のリーダライタのように、双方の機能を有するデバイスであってもよい。また、出力部１０２は、例えば、表示デバイスとＳＤカードリーダライタの双方を有してもよい。
　通信部１１０は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。通信部１１０は、ネットワークＮを介して、例えばインターネットと有線又は無線で接続され、インターネット上の各種サイトのサーバとの間で情報の通信を司る通信インタフェースである。通信部１１０は、インターネット上の各種サイトからページ内容、例えば、ＨＴＭＬ文書、画像ファイル等を受信する。通信部１１０は、受信したページ内容を制御部１３０に出力する。また、通信部１１０は、制御部１３０から入力されたページ要求等をインターネット上の各種サイトに送信する。
　記憶部１２０は、例えば、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、対象記憶部１２１と、項目記憶部１２２と、ページ記憶部１２３と、抽出データ記憶部１２４とを有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。
　対象記憶部１２１は、データを取得するクロール処理の対象となるサイトのＵＲＬ（以下、対象ＵＲＬという）と、ＨＴＭＬ文書における抽出対象部分の位置特定情報とを対応付けて記憶する。すなわち、対象記憶部１２１は、対象ＵＲＬの定義を記憶する。図２は、対象記憶部の一例を示す図である。図２に示すように、対象記憶部１２１は、「ＵＲＬＩＤ」、「対象ＵＲＬ」、「抽出対象部分の位置特定情報」といった項目を有する。また、「抽出対象部分の位置特定情報」は、「タイトル」、「住所」といった項目を有する。なお、抽出対象部分の位置特定情報は、図示はしないが、他にも、電話番号、更新日、位置情報、説明文といった項目を有する。対象記憶部１２１は、例えば、１つの対象ＵＲＬごとに１レコードとして記憶する。
　「ＵＲＬＩＤ」は、対象ＵＲＬを識別する。「対象ＵＲＬ」は、クロール処理でアクセスする対象となるＨＴＭＬ文書のＵＲＬを示す。対象ＵＲＬは、例えば、管理者によって入力部１０１の入力デバイスにより入力される。「抽出対象部分の位置特定情報」は、対象ＵＲＬのＨＴＭＬ文書内における抽出対象部分の位置を特定するための情報を示す。「タイトル」は、対象となるＨＴＭＬ文書内のタイトルについて、タグの名称、タグの文書内における順番、及び、タグの階層構造のうち１つ以上を組み合わせて、タグの階層構造上の位置を示す。「住所」は、対象となるＨＴＭＬ文書内の住所について、タグの名称、タグの文書内における順番、及び、タグの階層構造のうち１つ以上を組み合わせて、タグの階層構造上の位置を示す。
　図２の１行目の例では、ＵＲＬＩＤが「１」の対象ＵＲＬ「http://aaaa.bbb.ccc/ddd/eee/001.html」のＨＴＭＬ文書内における、タイトル及び住所の位置特定情報を示す。タイトルの位置特定情報は、例えば、「<DIV　class="title">　</DIV>,順番：1,/title/」と表現される。「<DIV　class="title">　</DIV>」は、例えば、ＣＳＳ（Cascading　Style　Sheets）セレクタを用いて抽出したタイトルを示すタグの名称を示す。「順番：1」は、当該ＨＴＭＬ文書内のタイトルを示すタグのうち、１番目のタグを示す。「/title/」は、当該ＨＴＭＬ文書のタイトルを示すタグの階層構造を示す。なお、当該ＨＴＭＬ文書からタイトルとして抜き出されるデータは、ＤＩＶタグに囲まれた部分となる。
　同様に、住所の位置特定情報は、例えば、「<DIV　class="address">　</DIV>,順番：1,/info/address/」と表現される。「<DIV　class="address">　</DIV>」は、例えば、ＣＳＳセレクタを用いて抽出した住所を示すタグの名称を示す。「順番：1」は、当該ＨＴＭＬ文書内の住所を示すタグのうち、１番目のタグを示す。「/info/address/」は、当該ＨＴＭＬ文書の住所を示すタグの階層構造を示す。なお、当該ＨＴＭＬ文書から住所として抜き出されるデータは、ＤＩＶタグに囲まれた部分となる。また、抽出対象部分の位置特定情報は、タグの名称、タグの順番、及び、タグの階層構造のうち１つ以上を用いて特定してもよい。
　また、タグの名称は、正規表現を用いて表してもよい。図２の２行目の例では、住所を示すタグの名称を「/<DIV.*>(.+)</DIV>/　/住所：(.+)$/」と表現している。正規表現では、ＤＩＶタグに囲まれた箇所、又は、「住所：」の後ろに続く箇所が、住所として抜き出されるデータとなる。さらに、抽出対象部分の位置特定情報は、ＣＳＳセレクタと正規表現を組み合わせてもよい。
　また、図２の３行目の例のように、抽出対象部分の位置特定情報は、切り出し手法を用いて表現してもよい。この場合には、タイトルの位置特定情報は、例えば、ＣＳＳセレクタを用いて「div#left　h2,順番：3,/tps/table/」と表現される。また、住所の位置特定情報は、例えば、ＣＳＳセレクタと正規表現とを用いて「#infoContent　@<h3>所在地</h3>\s+?<p>(.+?)</p>@is,順番：5,/info/address/」と表現される。
　図１の説明に戻って、項目記憶部１２２は、対象ＵＲＬのページ内容から抽出するデータ項目の定義を記憶する。図３は、項目記憶部の一例を示す図である。図３に示すように、項目記憶部１２２は、「項目ＩＤ」、「データ名」、「データ型」、「切り出し手法」といった項目を有する。項目記憶部１２２は、例えば、１つのデータ名ごとに、１レコードとして記憶する。
　「項目ＩＤ」は、データ項目、すなわちデータ名を識別する。「データ名」は、抽出するデータの名前を示す。データ名は、例えば、タイトル、住所、電話番号、更新日、位置情報、説明文といったデータが挙げられる。「データ型」は、抽出したデータを抽出データ記憶部１２４に記憶する際の当該データの型を示す。データ型は、例えば、文字、数字、日付、緯度経度といった型が挙げられる。「切り出し手法」は、対象ＵＲＬのページ内容からデータを切り出す、つまり抜き出す手法を示す。切り出し手法は、例えば、ＣＳＳセレクタ、正規表現といった手法が挙げられる。
　図１の説明に戻って、ページ記憶部１２３は、対象ＵＲＬについて、クロール処理でアクセスして取得したページ内容、すなわち、ＨＴＭＬ文書、画像ファイル等を記憶する。図４は、ページ記憶部の一例を示す図である。図４に示すように、ページ記憶部１２３は、「ＵＲＬＩＤ」、「対象ＵＲＬ」、「記憶領域」といった項目を有する。ページ記憶部１２３は、例えば、１つの対象ＵＲＬごとに１レコードとして記憶する。
　「ＵＲＬＩＤ」は、対象ＵＲＬを識別する。「対象ＵＲＬ」は、クロール処理でアクセスしたＨＴＭＬ文書のＵＲＬを示す。「記憶領域」は、取得したＨＴＭＬ文書や画像ファイル等を記憶した記憶領域を示す。記憶領域は、例えば、記憶部１２０のファイルシステムのディレクトリを記憶し、対応するディレクトリにＨＴＭＬ文書や画像ファイル等を記憶する。なお、ページ記憶部１２３は、記憶領域に、取得したＨＴＭＬ文書や画像ファイルを直接記憶するようにしてもよい。
　図１の説明に戻って、抽出データ記憶部１２４は、ＨＴＭＬ文書から抽出された、抽出対象部分のデータを記憶する。すなわち、抽出データ記憶部１２４は、クロール処理によって収集されたデータを格納するデータベースである。図５は、抽出データ記憶部の一例を示す図である。図５に示すように、抽出データ記憶部１２４は、「ＵＲＬＩＤ」、「タイトル」、「住所」、「電話番号」、「更新日」、「位置情報」、「説明文」といった項目を有する。抽出データ記憶部１２４は、例えば、１つのＵＲＬＩＤごとに１レコードとして記憶する。
　「ＵＲＬＩＤ」は、対象ＵＲＬを識別する。「タイトル」は、対象ＵＲＬのＨＴＭＬ文書から抽出されたデータ項目の１つであり、対象ＵＲＬのＨＴＭＬ文書のタイトルを示す。「住所」は、対象ＵＲＬのＨＴＭＬ文書から抽出されたデータ項目の１つであり、対象ＵＲＬのＨＴＭＬ文書内に記載された住所を示す。「電話番号」は、対象ＵＲＬのＨＴＭＬ文書から抽出されたデータ項目の１つであり、対象ＵＲＬのＨＴＭＬ文書内に記載された電話番号を示す。「更新日」は、対象ＵＲＬのＨＴＭＬ文書から抽出されたデータ項目の１つであり、対象ＵＲＬのＨＴＭＬ文書内に記載された更新日を示す。「位置情報」は、緯度経度を示す。緯度経度は、対象ＵＲＬのＨＴＭＬ文書から抽出された住所に基づいて、例えば、外部のＡＰＩ（Application　Programming　Interface）サービスを利用することで取得される。なお、位置情報は、ＨＴＭＬ文書内に緯度経度の記載があれば、当該緯度経度であってもよい。「説明文」は、対象ＵＲＬのＨＴＭＬ文書から抽出されたデータ項目の１つであり、例えば、対象ＵＲＬのＨＴＭＬ文書が観光スポットに関する文書であれば、文書内の観光スポットに関する説明文を示す。なお、住所は、ＨＴＭＬ文書内に記載がない場合には、例えば、タイトルに記載された観光スポット名を用いて、外部のＡＰＩサービスを利用することで取得された住所であってもよい。
　図１の説明に戻って、制御部１３０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されるようにしてもよい。制御部１３０は、登録部１３１と、クロール部１３２と、抽出部１３３と、出力制御部１３４とを有し、以下に説明する情報処理の機能や作用を実現又は実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
　登録部１３１は、対象ＵＲＬの定義及びデータ項目の定義を登録する。登録部１３１は、例えば、管理者が入力部１０１を操作することにより、抽出対象部分とするデータ名、データ型及び切り出し手法の入力を受け付ける。登録部１３１は、受け付けたデータ名、データ型及び切り出し手法を対応付けて、データ項目の定義を生成する。登録部１３１は、生成したデータ項目の定義を項目記憶部１２２に記憶する。つまり、登録部１３１は、生成したデータ項目の定義を項目記憶部１２２に登録する。
　登録部１３１は、対象ＵＲＬに対応するＨＴＭＬ文書のソースを出力部１０２に出力して表示させる。登録部１３１は、例えば、管理者が入力部１０１を操作することにより、表示させた対象ＵＲＬに対応するＨＴＭＬ文書のソース上で、抽出対象部分の選択を受け付ける。なお、登録部１３１は、対象ＵＲＬのＨＴＭＬ文書を表示させて、ＨＴＭＬ文書上で抽出対象部分の選択を受け付けるようにしてもよい。
　登録部１３１は、受け付けた抽出対象部分に対応するタグの階層構造上の位置を特定する。登録部１３１は、特定した階層構造上の位置を抽出対象部分の位置特定情報とする。また、登録部１３１は、抽出対象部分に対応するタグの名称、及び、タグの文書内における順番を、特定した階層構造上の位置とともに抽出対象部分の位置特定情報とする。登録部１３１は、対象ＵＲＬのＨＴＭＬ文書内の各データ項目について、抽出対象部分の選択を受け付けて、タグの階層構造上の位置を特定する。また、登録部１３１は、対象ＵＲＬが複数ある場合には、それぞれの対象ＵＲＬに対応するＨＴＭＬ文書について、同様に抽出対象部分に対応するタグの階層構造上の位置を特定する。登録部１３１は、対象ＵＲＬと抽出対象部分の位置特定情報とを対応付けて、対象ＵＲＬの定義を生成する。登録部１３１は、生成した対象ＵＲＬの定義を対象記憶部１２１に記憶する。つまり、登録部１３１は、生成した対象ＵＲＬの定義を対象記憶部１２１に登録する。
　ここで、図６を用いて、抽出対象部分の受付画面について説明する。図６は、抽出対象部分の受付画面の一例を示す図である。図６に示すように、受付画面２１は、ＨＴＭＬ文書のソースを表示する領域２２と、抽出対象部分の選択を受け付ける領域２３とを有する。登録部１３１は、例えば、抽出対象部分として住所の選択を受け付ける場合には、領域２３内の抽出対象部分の選択欄で、住所が選択される。登録部１３１は、住所が選択されると、住所に対応するデータ項目の定義を項目記憶部１２２から読み出して抽出定義欄２４に表示する。なお、抽出定義欄２４は、編集可能なテキストとして表示されるようにしてもよい。
　登録部１３１は、抽出定義欄２４のＣＳＳセレクタ及び正規表現のうち１つ以上に対応する部分を、領域２２に表示されたソース上に抽出対象部分２５として、例えばバックグラウンドを着色して表示させる。登録部１３１は、管理者により抽出対象部分２５が確認され、例えば、図示しないユーザインタフェース上の選択ボタンが押下されることで、抽出対象部分２５の選択を受け付ける。また、登録部１３１は、例えば、管理者のマウス操作によって領域２２の抽出対象部分２５が選択され、選択された抽出対象部分２５を受け付けるようにしてもよい。
　さらに、登録部１３１は、抽出対象部分２５に対して、不要な文字を削る変換処理をしてもよい。図６の例では、登録部１３１は、管理者によって設定された変換処理欄２６の変換定義を用いて、抽出対象部分２５の文字列に対して変換処理を行う。登録部１３１は、例えば、変換結果２７を抽出対象部分２５の下に挿入して、バックグラウンドを抽出対象部分２５と異なる色に着色して表示させる。登録部１３１は、変換処理を行った場合には、変換結果２７を抽出対象部分として選択させて受け付けることができる。
　図１の説明に戻って、クロール部１３２は、対象記憶部１２１を参照して、対象ＵＲＬを含むホームページ、例えば、ある観光情報サイトのトップページにアクセスする。すなわち、クロール部１３２は、ある観光情報サイトのサーバに対して通信部１１０を介してページ要求を送信し、当該サーバから通信部１１０を介してページ内容を受信する。クロール部１３２は、例えば、定期的又は不定期に、つまり予め管理者によって指定された間隔又は任意のタイミングで、対象ＵＲＬを含むホームページにアクセスする。指定された間隔は、例えば、１日、１週間、１ヶ月等のように任意の間隔とすることができる。クロール部１３２は、対象記憶部１２１を参照して、ホームページ内の全リンクのうち、ページ内容を取得する対象ＵＲＬを選定する。クロール部１３２は、例えば、観光スポットごとのページの対象ＵＲＬを選定する。クロール部１３２は、選定した対象ＵＲＬからページ内容を取得する。クロール部１３２は、取得したページ内容をページ記憶部１２３に記憶する。また、クロール部１３２は、ページ内容の取得が完了したことを示す取得完了情報を抽出部１３３に出力する。
　抽出部１３３は、クロール部１３２から取得完了情報が入力されると、対象記憶部１２１の抽出対象部分の位置特定情報を参照して、ページ記憶部１２３に記憶された対象ＵＲＬのページ内容から、抽出対象部分のデータ項目のデータを抽出する。抽出部１３３は、抽出したデータをＵＲＬＩＤと対応付けて、項目記憶部１２２のデータ項目の定義に従って、抽出データ記憶部１２４に記憶する。抽出部１３３は、抽出したデータを抽出データ記憶部１２４に記憶すると、出力制御部１３４に、抽出完了情報を出力する。
　抽出部１３３は、抽出対象部分のデータ項目のデータを抽出する場合に、項目記憶部１２２の切り出し手法で指定された手法を用いて抽出する。抽出部１３３は、例えば、住所を示すタグの階層が「/info/address/」で定義され、例えば「.address」と記述されたＣＳＳセレクタを用いることで住所を抽出する。この場合には、抽出部１３３は、例えば、タグ内に「address」を含む項目を、住所として切り出すことができる。
　また、抽出部１３３は、例えば、１行目に「.info」と記述され、２行目に「/<DIV.*>(.+)</DIV>/」と記述され、３行目に「/住所：(.+)$/」と記述された正規表現を用いることで住所を抽出する。この場合には、抽出部１３３は、例えば、ＤＩＶタグのクラスが「info」であるタグに含まれる階層から、「住所：」の文字列の後に続く文字列を住所として切り出すことができる。
　さらに、抽出部１３３は、抽出したデータを抽出データ記憶部１２４に記憶する場合に、当該抽出したデータが、過去に抽出したデータと異なる場合には、データが変化したことを示す情報を出力部１０２に出力して表示させてもよい。すなわち、抽出部１３３は、過去に抜き出した登録されたタグの階層構造上の位置に対応するデータと、今回抜き出した登録されたタグの階層構造上の位置に対応するデータとが異なる場合に、データが変化したことを示す情報を出力部１０２に出力する。データが変化したことを示す情報は、例えば「住所が更新されています。確認してください。」、「ページのレイアウトが変更されています。確認してください。」といったメッセージが挙げられる。
　また、抽出部１３３は、ＨＴＭＬ文書についての抽出対象部分の位置が複数登録された場合には、複数の位置に対応するデータの内、過去のデータと一致するデータの数又は率に応じた情報を出力部１０２に出力する。すなわち、抽出部１３３は、例えば、ＨＴＭＬ文書内に登録されたデータ項目が６つある場合に、２つのデータが過去のデータと異なる場合、例えば「２ヶ所の情報が更新されています。確認してください。」といったメッセージを出力部１０２に出力する。また、抽出部１３３は、未知のホームページに対してクロール処理を行った場合に、取得済みのホームページのデータと一致するデータの数又は率に応じた情報を出力部１０２に出力してもよい。取得済みのホームページのデータと一致するデータの数又は率に応じた情報は、例えば「類似ページとのデータ一致率は６６％です。不一致のデータ項目について確認してください。」といったメッセージが挙げられる。
　出力制御部１３４は、抽出部１３３から抽出完了情報が入力されると、抽出データ記憶部１２４を参照して、抽出したデータを出力データとして出力部１０２に出力して表示させる。また、出力制御部１３４は、抽出したデータの出力時に、過去のクロール処理によって取得して抜き出したデータと、今回のクロール処理によって取得して抜き出したデータとが異なる場合には、例えば表示色を変更するようにしてもよい。なお、出力制御部１３４は、出力部１０２がＳＤメモリカード等のリーダライタである場合には、抽出したデータを出力データとして出力部１０２に出力して、ＳＤメモリカード等に記憶させる。
　次に、実施例のデータ取得装置１００の動作について説明する。まず、クロール処理の対象ＵＲＬの定義と、抜き出すデータ項目の定義とを生成する定義生成処理について説明する。
　図７は、定義生成処理の一例を示すフローチャートである。登録部１３１は、例えば、管理者が入力部１０１を操作することにより、抽出対象部分とするデータ名、データ型及び切り出し手法の入力を受け付ける（ステップＳ１）。登録部１３１は、受け付けたデータ名、データ型及び切り出し手法を対応付けて、データ項目の定義を生成する。登録部１３１は、生成したデータ項目の定義を項目記憶部１２２に登録する（ステップＳ２）。
　登録部１３１は、対象ＵＲＬに対応するＨＴＭＬ文書のソースを出力部１０２に出力して表示させる（ステップＳ３）。登録部１３１は、例えば、管理者が入力部１０１を操作することにより、表示させた対象ＵＲＬに対応するＨＴＭＬ文書のソース上で、抽出対象部分の選択を受け付ける（ステップＳ４）。登録部１３１は、受け付けた抽出対象部分に対応するタグの階層構造上の位置を特定する（ステップＳ５）。登録部１３１は、特定した階層構造上の位置を抽出対象部分の位置特定情報とする（ステップＳ６）。また、登録部１３１は、抽出対象部分に対応するタグの名称、及び、タグの文書内における順番を、特定した階層構造上の位置とともに抽出対象部分の位置特定情報とする。なお、登録部１３１は、対象ＵＲＬのＨＴＭＬ文書内に複数のデータ項目がある場合には、それぞれ抽出対象部分の選択を受け付けて、タグの階層構造上の位置を特定する。
　登録部１３１は、対象ＵＲＬと抽出対象部分の位置特定情報とを対応付けて、対象ＵＲＬの定義を生成する。登録部１３１は、生成した対象ＵＲＬの定義を対象記憶部１２１に登録する（ステップＳ７）。これにより、データ取得装置１００は、データ項目の定義と対象ＵＲＬの定義を登録することができる。
　続いて、クロール処理について説明する。図８は、クロール処理の一例を示すフローチャートである。クロール部１３２は、対象記憶部１２１を参照して、対象ＵＲＬを含むホームページにアクセスする（ステップＳ１１）。クロール部１３２は、対象記憶部１２１を参照して、ホームページ内の全リンクのうち、ページ内容を取得する対象ＵＲＬを選定する（ステップＳ１２）。
　クロール部１３２は、選定した対象ＵＲＬからページ内容を取得する（ステップＳ１３）。クロール部１３２は、取得したページ内容をページ記憶部１２３に記憶する。また、クロール部１３２は、ページ内容の取得が完了したことを示す取得完了情報を抽出部１３３に出力する。
　抽出部１３３は、クロール部１３２から取得完了情報が入力されると、対象記憶部１２１の抽出対象部分の位置特定情報を参照して、ページ記憶部１２３に記憶された対象ＵＲＬのページ内容から、抽出対象部分のデータ項目のデータを抽出する（ステップＳ１４）。
　抽出部１３３は、抽出したデータをＵＲＬＩＤと対応付けて、抽出データ記憶部１２４に記憶する（ステップＳ１５）。抽出部１３３は、抽出したデータを抽出データ記憶部１２４に記憶すると、出力制御部１３４に、抽出完了情報を出力する。出力制御部１３４は、抽出部１３３から抽出完了情報が入力されると、抽出データ記憶部１２４を参照して、抽出したデータを出力部１０２に出力して表示させる（ステップＳ１６）。これにより、データ取得装置１００は、タグの階層構造上の位置を特定して登録するので、固有のタグ情報がなくてもＨＴＭＬ文書から対象部分のデータを抜き出して出力できる。また、データ取得装置１００は、フォーマットの異なる種々のホームページから各種情報を収集して、所定のフォーマットに統一したデータベースを構築できる。
　このように、データ取得装置１００は、特定のＵＲＬに対応付けられ、タグの構造情報を含む文書における抽出対象部分の文書に含まれるタグの階層構造上の位置を特定し、該階層構造上の位置を登録することを許容する。また、データ取得装置１００は、定期的又は不定期に、特定のＵＲＬに対応付けられた文書にアクセスして、登録されたタグの階層構造上の位置に対応するデータを抜き出して、出力する。その結果、固有のタグ情報がなくても対象部分のデータを抜き出して出力できる。
　また、データ取得装置１００は、抽出対象部分の位置は更に、タグの名称又はタグの文書内における順と、タグの階層構造との組み合わせを用いて特定される。その結果、より正確に対象部分のデータを抜き出して出力できる。
　また、データ取得装置１００は、過去に抜き出した登録されたタグの階層構造上の位置に対応するデータと、今回抜き出した登録されたタグの階層構造上の位置に対応するデータとが異なる場合に、データが変化したことを示す情報を出力する。その結果、対象ＵＲＬに対応する文書が更新されたことを容易に判別できる。
　また、データ取得装置１００は、文書についての抽出対象部分の位置が複数登録された場合に、複数の位置に対応するデータの内、過去のデータと一致するデータの数又は率に応じた出力を行う。その結果、未知のホームページに対してクロール処理を行った場合でも、容易にデータを抽出するための定義を設定でき、所望のデータを抜き出して出力できる。
　また、データ取得装置１００は、ＨＴＭＬ形式で記述された文書又は該文書のソースを表示し、表示された該文書又は該文書のソースに含まれる抽出対象部分の選択を受け付ける。また、データ取得装置１００は、受け付けた抽出対象部分に対応するタグの階層を特定し、特定した該階層を抽出対象部分の位置を特定する情報として登録する。その結果、クロール処理で取得するデータ項目を容易に設定できる。
　なお、上記実施例では、クロール処理で観光スポットに関するホームページを巡回する場合を説明したが、これに限定されない。例えば、防災情報、交通情報、ツアー商品情報、求人情報等に関するホームページを巡回するようにしてもよい。これにより、データ取得装置１００は、管理者の異なる各種ホームページの情報を横断的に収集し、同一の属性のデータを統合することで、漏れのないデータベースを構築することができる。
　また、上記実施例では、例えば、住所のデータを収集する場合に、「address」を含むタグの文字列や、正規表現で「住所」の後に続く文字列を取得したが、これに限定されない。例えば、「住所」の他に、「所在地」等の住所表記に用いられる可能性のあるキーワードについて、正規表現を用いて取得するようにしてもよい。これにより、データ取得装置１００は、類似する用語が用いられている場合であっても、同一の属性のデータであるとして統合してデータベース化することができる。
　また、上記実施例では、観光スポットごとの対象ＵＲＬに対応するＨＴＭＬ文書についてデータを抽出する場合について説明したが、これに限定されない。例えば、観光情報サイトでは、１つのページに多数の観光スポットの情報が紹介されている場合がある。データ取得装置１００は、この様な場合には、スプリッタを用いて観光スポットごとに分割し、分割された部分を対象ＵＲＬの代わりとしてもよい。これにより、データ取得装置１００は、多様なフォーマットのホームページから、所望のデータを取得することができる。
　また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、クロール部１３２と、抽出部１３３と、出力制御部１３４とを統合して、出力制御部としてもよい。
　さらに、各装置で行われる各種処理機能は、ＣＰＵ（又はＭＰＵ、ＭＣＵ（Micro　Controller　Unit）等のマイクロ・コンピュータ）上で、その全部又は任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（又はＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、又はワイヤードロジックによるハードウェア上で、その全部又は任意の一部を実行するようにしてもよいことは言うまでもない。
　ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図９は、データ取得プログラムを実行するコンピュータの一例を示す図である。
　図９が示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０４と、各種装置と接続するためのインタフェース装置２０５と、他の情報処理装置等と有線又は無線により接続するための通信装置２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、ハードディスク装置２０８とを有する。また、各装置２０１～２０８は、バス２０９に接続される。
　ハードディスク装置２０８には、図１に示した登録部１３１、クロール部１３２、抽出部１３３及び出力制御部１３４の各処理部と同様の機能を有するデータ取得プログラムが記憶される。また、ハードディスク装置２０８には、対象記憶部１２１、項目記憶部１２２、ページ記憶部１２３、抽出データ記憶部１２４、及び、データ取得プログラムを実現するための各種データが記憶される。入力装置２０２は、入力部１０１と同等の機能を有し、例えば、コンピュータ２００の管理者から、対象ＵＲＬ、定義、管理情報等の各種情報の入力を受け付ける。モニタ２０３は、出力部１０２と同等の機能を有し、例えば、コンピュータ２００の管理者に対して管理情報の画面、受付画面、データ表示画面等の各種画面を表示する。インタフェース装置２０５は、例えば、印刷装置等が接続される。通信装置２０６は、例えば、図１に示した通信部１１０と同様の機能を有しネットワークＮと接続され、インターネット上のサイトと各種情報をやりとりする。
　ＣＰＵ２０１は、ハードディスク装置２０８に記憶された各プログラムを読み出して、ＲＡＭ２０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ２００を図１に示した登録部１３１、クロール部１３２、抽出部１３３及び出力制御部１３４として機能させることができる。
　なお、上記のデータ取得プログラムは、必ずしもハードディスク装置２０８に記憶されている必要はない。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ２００が読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal　Serial　Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこのデータ取得プログラムを記憶させておき、コンピュータ２００がこれらからデータ取得プログラムを読み出して実行するようにしてもよい。
　１００　データ取得装置
　１０１　入力部
　１０２　出力部
　１１０　通信部
　１２０　記憶部
　１２１　対象記憶部
　１２２　項目記憶部
　１２３　ページ記憶部
　１２４　抽出データ記憶部
　１３０　制御部
　１３１　登録部
　１３２　クロール部
　１３３　抽出部
　１３４　出力制御部
　Ｎ　ネットワーク

Claims (15)

  1. 　特定のＵＲＬに対応付けられ、タグの構造情報を含む文書における抽出対象部分の前記文書に含まれるタグの階層構造上の位置を特定し、該階層構造上の位置を登録することを許容し、
    　定期的又は不定期に、前記特定のＵＲＬに対応付けられた前記文書にアクセスして、登録された前記タグの階層構造上の位置に対応するデータを抜き出して、出力する
    　処理をコンピュータに実行させることを特徴とするデータ取得プログラム。
  2. 　前記抽出対象部分の位置は更に、タグの名称又はタグの文書内における順と、前記タグの階層構造との組み合わせを用いて特定されることを特徴とする請求項１に記載のデータ取得プログラム。
  3. 　過去に抜き出した登録された前記タグの階層構造上の位置に対応するデータと、今回抜き出した登録された前記タグの階層構造上の位置に対応するデータとが異なる場合に、データが変化したことを示す情報を出力することを特徴とする請求項１に記載のデータ取得プログラム。
  4. 　前記文書についての前記抽出対象部分の位置が複数登録された場合に、前記複数の位置に対応するデータの内、過去のデータと一致するデータの数又は率に応じた出力を行うことを特徴とする請求項１に記載のデータ取得プログラム。
  5. 　ＨＴＭＬ形式で記述された前記文書又は該文書のソースを表示し、
    　表示された該文書又は該文書のソースに含まれる抽出対象部分の選択を受け付け、
    　受け付けた前記抽出対象部分に対応するタグの階層を特定し、
    　特定した該階層を前記抽出対象部分の位置を特定する情報として登録することを特徴とする請求項１に記載のデータ取得プログラム。
  6. 　特定のＵＲＬに対応付けられ、タグの構造情報を含む文書における抽出対象部分の前記文書に含まれるタグの階層構造上の位置を特定し、該階層構造上の位置を登録することを許容し、
    　定期的又は不定期に、前記特定のＵＲＬに対応付けられた前記文書にアクセスして、登録された前記タグの階層構造上の位置に対応するデータを抜き出して、出力する
    　処理をコンピュータが実行することを特徴とするデータ取得方法。
  7. 　前記抽出対象部分の位置は更に、タグの名称又はタグの文書内における順と、前記タグの階層構造との組み合わせを用いて特定されることを特徴とする請求項６に記載のデータ取得方法。
  8. 　過去に抜き出した登録された前記タグの階層構造上の位置に対応するデータと、今回抜き出した登録された前記タグの階層構造上の位置に対応するデータとが異なる場合に、データが変化したことを示す情報を出力することを特徴とする請求項６に記載のデータ取得方法。
  9. 　前記文書についての前記抽出対象部分の位置が複数登録された場合に、前記複数の位置に対応するデータの内、過去のデータと一致するデータの数又は率に応じた出力を行うことを特徴とする請求項６に記載のデータ取得方法。
  10. 　ＨＴＭＬ形式で記述された前記文書又は該文書のソースを表示し、
    　表示された該文書又は該文書のソースに含まれる抽出対象部分の選択を受け付け、
    　受け付けた前記抽出対象部分に対応するタグの階層を特定し、
    　特定した該階層を前記抽出対象部分の位置を特定する情報として登録することを特徴とする請求項６に記載のデータ取得方法。
  11. 　特定のＵＲＬに対応付けられ、タグの構造情報を含む文書における抽出対象部分の前記文書に含まれるタグの階層構造上の位置を特定し、該階層構造上の位置を登録することを許容する登録部と、
    　定期的又は不定期に、前記特定のＵＲＬに対応付けられた前記文書にアクセスして、登録された前記タグの階層構造上の位置に対応するデータを抜き出して、出力する出力制御部と
    　を有することを特徴とするデータ取得装置。
  12. 　前記抽出対象部分の位置は更に、タグの名称又はタグの文書内における順と、前記タグの階層構造との組み合わせを用いて特定されることを特徴とする請求項１１に記載のデータ取得装置。
  13. 　前記出力制御部は、過去に抜き出した登録された前記タグの階層構造上の位置に対応するデータと、今回抜き出した登録された前記タグの階層構造上の位置に対応するデータとが異なる場合に、データが変化したことを示す情報を出力することを特徴とする請求項１１に記載のデータ取得装置。
  14. 　前記出力制御部は、前記文書についての前記抽出対象部分の位置が複数登録された場合に、前記複数の位置に対応するデータの内、過去のデータと一致するデータの数又は率に応じた出力を行うことを特徴とする請求項１１に記載のデータ取得装置。
  15. 　前記登録部は、ＨＴＭＬ形式で記述された前記文書又は該文書のソースを表示し、
    　表示された該文書又は該文書のソースに含まれる抽出対象部分の選択を受け付け、
    　受け付けた前記抽出対象部分に対応するタグの階層を特定し、
    　特定した該階層を前記抽出対象部分の位置を特定する情報として登録することを特徴とする請求項１１に記載のデータ取得装置。
PCT/JP2014/080268 2014-11-14 2014-11-14 データ取得プログラム、データ取得方法及びデータ取得装置 WO2016075829A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
SG11201703830XA SG11201703830XA (en) 2014-11-14 2014-11-14 Recording medium, data acquisition method, and data acquisition apparatus.
JP2016558843A JP6500908B2 (ja) 2014-11-14 2014-11-14 データ取得プログラム、データ取得方法及びデータ取得装置
EP14905762.2A EP3220285A4 (en) 2014-11-14 2014-11-14 Data acquisition program, data acquisition method and data acquisition device
PCT/JP2014/080268 WO2016075829A1 (ja) 2014-11-14 2014-11-14 データ取得プログラム、データ取得方法及びデータ取得装置
US15/589,150 US10769216B2 (en) 2014-11-14 2017-05-08 Data acquisition method, data acquisition apparatus, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/080268 WO2016075829A1 (ja) 2014-11-14 2014-11-14 データ取得プログラム、データ取得方法及びデータ取得装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/589,150 Continuation US10769216B2 (en) 2014-11-14 2017-05-08 Data acquisition method, data acquisition apparatus, and recording medium

Publications (1)

Publication Number Publication Date
WO2016075829A1 true WO2016075829A1 (ja) 2016-05-19

Family

ID=55953942

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/080268 WO2016075829A1 (ja) 2014-11-14 2014-11-14 データ取得プログラム、データ取得方法及びデータ取得装置

Country Status (5)

Country Link
US (1) US10769216B2 (ja)
EP (1) EP3220285A4 (ja)
JP (1) JP6500908B2 (ja)
SG (1) SG11201703830XA (ja)
WO (1) WO2016075829A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020086996A (ja) * 2018-11-27 2020-06-04 株式会社クリエイト 掲載情報検索システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10922366B2 (en) * 2018-03-27 2021-02-16 International Business Machines Corporation Self-adaptive web crawling and text extraction
CN110909123B (zh) * 2019-10-23 2023-08-25 深圳价值在线信息科技股份有限公司 一种数据提取方法、装置、终端设备及存储介质
TWI757733B (zh) * 2020-05-05 2022-03-11 華碩電腦股份有限公司 網路資料收集方法
US20230229850A1 (en) * 2022-01-14 2023-07-20 Microsoft Technology Licensing, Llc Smart tabular paste from a clipboard buffer

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011100403A (ja) * 2009-11-09 2011-05-19 Sony Corp 情報処理装置、情報抽出方法、プログラム及び情報処理システム
JP2012103929A (ja) * 2010-11-11 2012-05-31 Nippon Telegr & Teleph Corp <Ntt> 情報抽出装置、情報抽出方法および情報抽出プログラム
JP2014522030A (ja) * 2011-07-22 2014-08-28 アリババ・グループ・ホールディング・リミテッド ウェブページ情報を抽出するためのウェブクローラの構成

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3715444B2 (ja) * 1998-06-30 2005-11-09 株式会社東芝 構造化文書保存方法及び構造化文書保存装置
JP3946934B2 (ja) 1999-08-05 2007-07-18 株式会社東芝 ウェブページ部品統合処理装置、ウェブページ部品統合処理方法及びクライアント装置
US6754648B1 (en) * 1999-09-30 2004-06-22 Software Ag Method for storing and managing data
JP2001202283A (ja) 1999-11-09 2001-07-27 Fujitsu Ltd コンテンツ更新状況監視システム
JP2003248613A (ja) * 2001-11-20 2003-09-05 Sharp Corp 情報配信システムおよびそれに用いられる配信情報生成装置
JP2006318138A (ja) * 2005-05-11 2006-11-24 Nec Personal Products Co Ltd Ｗｅｂシステム、Ｗｅｂシステム用サーバコンピュータおよびコンピュータプログラム
US7627571B2 (en) * 2006-03-31 2009-12-01 Microsoft Corporation Extraction of anchor explanatory text by mining repeated patterns
JP2011039766A (ja) * 2009-08-11 2011-02-24 Ricoh Co Ltd 情報配信サーバ、情報配信システム、情報配信プログラム、及び情報配信方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011100403A (ja) * 2009-11-09 2011-05-19 Sony Corp 情報処理装置、情報抽出方法、プログラム及び情報処理システム
JP2012103929A (ja) * 2010-11-11 2012-05-31 Nippon Telegr & Teleph Corp <Ntt> 情報抽出装置、情報抽出方法および情報抽出プログラム
JP2014522030A (ja) * 2011-07-22 2014-08-28 アリババ・グループ・ホールディング・リミテッド ウェブページ情報を抽出するためのウェブクローラの構成

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3220285A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020086996A (ja) * 2018-11-27 2020-06-04 株式会社クリエイト 掲載情報検索システム
JP7018202B2 (ja) 2018-11-27 2022-02-10 株式会社クリエイト 掲載情報検索システム

Also Published As

Publication number Publication date
SG11201703830XA (en) 2017-06-29
US10769216B2 (en) 2020-09-08
US20170300574A1 (en) 2017-10-19
JPWO2016075829A1 (ja) 2017-08-17
EP3220285A1 (en) 2017-09-20
JP6500908B2 (ja) 2019-04-17
EP3220285A4 (en) 2017-11-08

Similar Documents

Publication Publication Date Title
US10769216B2 (en) Data acquisition method, data acquisition apparatus, and recording medium
US9910870B2 (en) System and method for creating data models from complex raw log files
KR20170073693A (ko) 유사 그룹 요소 추출
US20110197133A1 (en) Methods and apparatuses for identifying and monitoring information in electronic documents over a network
JP2019040260A (ja) 情報処理装置及びプログラム
JP2007172482A (ja) 情報表示システム
JP2008123425A (ja) ウェブ文書データ提供装置、方法、およびシステム
JP2008071116A (ja) 情報配信システム、情報配信装置、情報配信方法および情報配信用プログラム
JP2018106556A (ja) 画面情報生成装置、画面情報生成方法、及びプログラム
JP6601412B2 (ja) 情報取得プログラム、情報取得方法および情報取得装置
JP5585816B2 (ja) ポータルサイト生成システム、ポータルサイト生成方法、及びコンピュータプログラム
JP2018152015A (ja) 記憶制御装置、記憶制御プログラムおよび記憶制御方法
JP6493413B2 (ja) データ取得プログラム、データ取得方法及びデータ取得装置
JP2006209598A (ja) サイト情報収集システム
JP6915322B2 (ja) ウェブサイト比較処理プログラム、ウェブサイト比較方法およびウェブサイトを比較する装置
JP6528341B1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6520955B2 (ja) データ検証プログラム、データ検証方法及びデータ検証装置
US7222296B2 (en) Configurable display of web site content
JP5247543B2 (ja) 情報提供装置、情報提供方法、およびプログラム
JP6485462B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20150347610A1 (en) Methods and apparatus for modifying a plurality of markup language files
JP2005327157A (ja) 情報統合化方法およびそのプログラム
JP2007086842A (ja) 入力フォーム提示システムおよび方法
JP2018180979A (ja) ログ構造可視化装置、ログ構造可視化方法、およびプログラム
WO2013038508A1 (ja) 計算機、計算機システム及びデータベースの構築支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14905762

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016558843

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 11201703830X

Country of ref document: SG

REEP Request for entry into the european phase

Ref document number: 2014905762

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE