JP7002804B2 - 検索装置、検索アプリケーション及び検索方法 - Google Patents

検索装置、検索アプリケーション及び検索方法 Download PDF

Info

Publication number
JP7002804B2
JP7002804B2 JP2019240118A JP2019240118A JP7002804B2 JP 7002804 B2 JP7002804 B2 JP 7002804B2 JP 2019240118 A JP2019240118 A JP 2019240118A JP 2019240118 A JP2019240118 A JP 2019240118A JP 7002804 B2 JP7002804 B2 JP 7002804B2
Authority
JP
Japan
Prior art keywords
list
crawl
web crawler
website
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019240118A
Other languages
English (en)
Other versions
JP2021096802A (ja
Inventor
翼 加藤
Original Assignee
翼 加藤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 翼 加藤 filed Critical 翼 加藤
Priority to JP2019240118A priority Critical patent/JP7002804B2/ja
Priority to EP20900488.6A priority patent/EP3937031A4/en
Priority to US17/630,619 priority patent/US11556602B2/en
Priority to PCT/JP2020/046312 priority patent/WO2021117876A1/ja
Publication of JP2021096802A publication Critical patent/JP2021096802A/ja
Priority to IL287638A priority patent/IL287638A/en
Application granted granted Critical
Publication of JP7002804B2 publication Critical patent/JP7002804B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Description

本発明はウェブ検索エンジンの結果に無いウェブサイトを、ユーザーが自分でウェブクローラーを使いインデックスする機能を提供する。ログイン機能でワンステップで本発明にログインできる機能がある。本発明はログイン機能付き個人用検索エンジンとウェブクローラーに関するものである。
従来、ウェブの情報を検索する場合、一般ユーザーは、検索エンジン運営会社が運営している検索サイトで登録されているウェブサイトのみを検索していた。
一般ユーザーは、自分ではどのサイトをインデックスするのかを決めることは出来なくて、検索エンジン運営会社のアルゴリズム又は基準で登録されていたものを検索していた。さらに多くの情報が欲しいリサーチャーなどのユーザーは、検索結果に不足を覚えていた。
Yamuna Krishnamurthy、Kien Pham、A▲e▼cio Santos、Juliana Freire "Interactive Exploration for Domain Discovery on the Web" [online] 平成28年8月14日 ACM KDD Workshop on Interactive Data Exploration and Analytics (IDEA) [令和元年12月13日参照] インターネット<URL:http://poloclub.gatech.edu/idea2016/papers/p64-krishnamurthy.pdf>
一般的なウェブ検索エンジンを使うユーザーは自分自身で特定のトピックに関するWebサイトの情報を増やそうとしても、ウェブクローラーを使えないので検索エンジンの検索結果を増やすことが出来ない。本発明ではユーザーの必要に合わせてウェブをクローリングするので、情報が一部の検索エンジン運営サイトによって独占、又は偏ったサイトのみ表示される問題を解決する。
リサーチャーを含むユーザーが求めるであろうバイアスの掛かりにくいサイトをインデックスする。
本発明はワンクリックのSNSログイン機能又は電子メールとパスワードのログイン機能で保護されたページにて個人的な検索エンジンを構築する。外部の検索エンジンに一度増やしたい単語を問い合わせ、戻ってきた検索結果からウェブクローラーを起動させる。ウェブクローラーはウェブブラウザ上からボタンによって起動、停止出来る。ウェブサイトのインデックスデータを増やす他の手段としては開始URLからウェブクローラーを起動させることも出来る。
データベースにワンクリックでウェブクローラで集めたウェブサイトを追加する。ウェブクローラーと同じページ上から集めたウェブサイトを検索する方法がある。本発明は、以上の構成に成るログイン機能付き個人用検索エンジンとウェブクローラーである。
本発明により一般的なウェブ検索エンジンでは取得不可能だった情報も取得できるようになる。リサーチャーや豊富な情報を必要としているユーザーが自分の求めている情報を自由に増やし、整理する事が出来る。
調査によると、一般的なウェブ検索エンジンは全インターネットサイトの4%しか網羅されていないとされている。これが意味する事は本発明により、個人がクロールをした時にウェブ検索エンジンに載っていない、珍しい又は価値の有るサイトが発見できる。
本発明の操作画面の構成を表した平面図である。 本発明の処理のフローを表した図である。 本発明の検索結果の一例を表した平面図である。
以下、本発明を実施するための形態について説明する。
[課題を解決するための手段][0005]の内容を、さらに詳しく説明します。
本発明は、以下のような構造である。
本発明を使用するときには、パソコン又はスマートフォンを含むウェブブラウザ搭載の情報携帯端末にてワンクリックのSNS(ソーシャル・ネットワーキング・サービス)ログイン機能ボタンをクリックする。ユーザーがSNSアカウントを取得していない場合は電子メールとパスワードを使った登録機能で登録した後にログインする。
ログイン完了後、URLがログイン済みのページにリダイレクトされる。
ログイン後のページでユーザーは本発明を使用してウェブクローラーを使用して増やしたい単語(トピック)をテキストボックスに入力する。
単語拡張用テキストボックスに入力してユーザーがボタンを押した後、自動的に外部の検索エンジンに一度増やしたい単語(トピック)が問い合わせられる。
外部の検索エンジンから返送された検索結果のURLのリストからウェブクローラーを起動する。ウェブクローラーによってウェブサイトのタイトル、キーワード、説明、要約などが抽出、収集される。ウェブクローラーは開始したいURLからクローリングを始める事も出来る。
ウェブブラウザ上からいつでもボタンを押す事によってウェブクローラーを起動、停止する事が出来る。データベースに入れるボタンを押すことによってウェブクローラーで収集したウェブサイトのデータを追加する。ユーザーは同じページからウェブクローラーで収集したウェブサイトを検索する事が出来る。SNSログイン機能又は電子メールを使ったログイン機能のパスワードを使ってクロールされたデータは保護されているため、データは第三者に公開されない。
クロールしたデータをデータベースに追加する際、正規表現を使ったテキストフィルターにより有害サイトをフィルタリングした後、データベースにインデックスされる。
1 検索用テキストボックス
2 単語拡張用テキストボックス
3 開始URL用テキストボックス
4 検索開始用送信ボタン
5 単語拡張用送信ボタン
6 開始URL用送信ボタン
7 クローラー状況確認用ボックス
8 クローラー開始用ボタン
9 クローラー停止用ボタン
10 データベース追加用ボタン
11 SNS・電子メールログインボタン
12 単語を選択する
13 URLを選択する
14 単語を入力する。
15 開始URLを入力する。
16 入力された単語を検索エンジンへ問い合わせする。
17 URLのリストが検索エンジンから戻される。
18 クローラーが検索エンジンから戻されたURLのリストからスタートするように 設定される、又は開始URLからスタートするように設定される。
19 開始用ボタンをクリック又はタップするとクローラーが開始される。
20 停止用ボタンをクリック又はタップするとクローラーが停止される。
21 フィルタにより有害サイトが除外される。
22 データベースにクロールされたサイトが登録される。
23 検索クエリにマッチした件数
24 検索クエリにマッチしたサイトの例1
25 検索クエリにマッチしたサイトの例2

Claims (3)

  1. ログイン機能を用いたログイン後に指定した単語又は複数の単語を含むクエリにより、第三者又は自前の検索エンジンに問い合わせをする手段と、
    その問合せに対して返信されたURLのリストを、当該リスト及び当該リストに含まれるURLにより示されるウェブサイトを非表示としつつ、一時的に記憶する手段と、
    ウェブクローラーの起動及び停止、並びにクロール結果のデータベースへのインデックスのためにユーザにより操作される操作ボタンをウェブサイトの一つの画面上に表示する手段と、
    記憶されているURLのリストを用いたウェブクローラーによるクロールを開始させる場合に、ウェブクローラーの起動のための操作ボタンを介したユーザの指示を受け付ける手段と、
    ユーザの指示があったとき、記憶されているURLのリストからウェブクローラーでクロールするURLのリストを得て当該ウェブクローラーを起動してクロールを行う手段と、
    ウェブクローラーの起動のための操作ボタンのユーザによる操作によりウェブサイトのクロールが起動された場合に、各ウェブサイトのクロールの結果を表示する手段と、
    クロール結果を個人専用ウェブ検索データベースに記憶させる手段と、
    を備える検索装置。
  2. コンピュータを、
    ログイン機能を用いたログイン後に指定した単語又は複数の単語を含むクエリにより、第三者又は自前の検索エンジンに問い合わせをする手段、
    その問合せに対して返信されたURLのリストを、当該リスト及び当該リストに含まれるURLにより示されるウェブサイトを非表示としつつ、一時的に記憶する手段、
    ウェブクローラーの起動及び停止、並びにクロール結果のデータベースへのインデックスのためにユーザにより操作される操作ボタンをウェブサイトの一つの画面上に表示する手段、
    記憶されているURLのリストを用いたウェブクローラーによるクロールを開始させる場合に、ウェブクローラーの起動のための操作ボタンを介したユーザの指示を受け付ける手段、
    ユーザの指示があったとき、記憶されているURLのリストからウェブクローラーでクロールするURLのリストを得て当該ウェブクローラーを起動してクロールを行う手段、
    ウェブクローラーの起動のための操作ボタンのユーザによる操作によりウェブサイトのクロールが起動された場合に、各ウェブサイトのクロールの結果を表示する手段、及び
    クロール結果を個人専用ウェブ検索データベースに記憶させる手段、
    として機能させる検索アプリケーション
  3. ログイン機能を用いたログイン後に指定した単語又は複数の単語を含むクエリにより、第三者又は自前の検索エンジンに問い合わせをする工程と、
    その問合せに対して返信されたURLのリストを、当該リスト及び当該リストに含まれるURLにより示されるウェブサイトを非表示としつつ、一時的に記憶する工程と、
    ウェブクローラーの起動及び停止、並びにクロール結果のデータベースへのインデックスのためにユーザにより操作される操作ボタンをウェブサイトの一つの画面上に表示する工程と、
    記憶されているURLのリストを用いたウェブクローラーによるクロールを開始させる場合に、ウェブクローラーの起動のための操作ボタンを介したユーザの指示を受け付ける工程と、
    ユーザの指示があったとき、記憶されているURLのリストからウェブクローラーでクロールするURLのリストを得て当該ウェブクローラーを起動してクロールを行う工程と、
    ウェブクローラーの起動のための操作ボタンのユーザによる操作によりウェブサイトのクロールが起動された場合に、各ウェブサイトのクロールの結果を表示する工程と、
    クロール結果を個人専用ウェブ検索データベースに記憶させる工程と、
    を含む検索方法
JP2019240118A 2019-12-13 2019-12-13 検索装置、検索アプリケーション及び検索方法 Active JP7002804B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019240118A JP7002804B2 (ja) 2019-12-13 2019-12-13 検索装置、検索アプリケーション及び検索方法
EP20900488.6A EP3937031A4 (en) 2019-12-13 2020-12-11 SEARCH DEVICE, SEARCH APPLICATION AND SEARCH METHOD
US17/630,619 US11556602B2 (en) 2019-12-13 2020-12-11 Search device, search application, and search method
PCT/JP2020/046312 WO2021117876A1 (ja) 2019-12-13 2020-12-11 検索装置、検索アプリケーション及び検索方法
IL287638A IL287638A (en) 2019-12-13 2021-10-27 Search device, search application and search method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019240118A JP7002804B2 (ja) 2019-12-13 2019-12-13 検索装置、検索アプリケーション及び検索方法

Publications (2)

Publication Number Publication Date
JP2021096802A JP2021096802A (ja) 2021-06-24
JP7002804B2 true JP7002804B2 (ja) 2022-01-20

Family

ID=76330021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019240118A Active JP7002804B2 (ja) 2019-12-13 2019-12-13 検索装置、検索アプリケーション及び検索方法

Country Status (5)

Country Link
US (1) US11556602B2 (ja)
EP (1) EP3937031A4 (ja)
JP (1) JP7002804B2 (ja)
IL (1) IL287638A (ja)
WO (1) WO2021117876A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040005755A (ko) 2003-12-13 2004-01-16 주식회사 지식발전소 검색 엔진 사이트에서 개인화된 정보 검색 서비스를제공하는 방법
US20050060286A1 (en) 2003-09-15 2005-03-17 Microsoft Corporation Free text search within a relational database
JP2009258923A (ja) 2008-04-15 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 情報空間探索装置及びプログラム
US20100138413A1 (en) 2008-12-03 2010-06-03 Xiaoyuan Wu System and method for personalized search
JP2011227572A (ja) 2010-04-15 2011-11-10 Yahoo Japan Corp 閲覧端末及び方法
JP2013515977A (ja) 2008-12-31 2013-05-09 フォルノヴァ リミテッド 複数のウェブサイトからデータを収集及びランク付けするためのシステム及び方法
US20180165364A1 (en) 2016-12-08 2018-06-14 MetaSense Digital Marketing Management Inc. Content Validation And Coding For Search Engine Optimization

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704722B2 (en) * 1999-11-17 2004-03-09 Xerox Corporation Systems and methods for performing crawl searches and index searches
US7725453B1 (en) * 2006-12-29 2010-05-25 Google Inc. Custom search index
US10013493B1 (en) * 2011-07-13 2018-07-03 Google Llc Customized search engines

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050060286A1 (en) 2003-09-15 2005-03-17 Microsoft Corporation Free text search within a relational database
KR20040005755A (ko) 2003-12-13 2004-01-16 주식회사 지식발전소 검색 엔진 사이트에서 개인화된 정보 검색 서비스를제공하는 방법
JP2009258923A (ja) 2008-04-15 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 情報空間探索装置及びプログラム
US20100138413A1 (en) 2008-12-03 2010-06-03 Xiaoyuan Wu System and method for personalized search
JP2013515977A (ja) 2008-12-31 2013-05-09 フォルノヴァ リミテッド 複数のウェブサイトからデータを収集及びランク付けするためのシステム及び方法
JP2011227572A (ja) 2010-04-15 2011-11-10 Yahoo Japan Corp 閲覧端末及び方法
US20180165364A1 (en) 2016-12-08 2018-06-14 MetaSense Digital Marketing Management Inc. Content Validation And Coding For Search Engine Optimization

Also Published As

Publication number Publication date
EP3937031A1 (en) 2022-01-12
IL287638A (en) 2021-12-01
US11556602B2 (en) 2023-01-17
EP3937031A4 (en) 2022-12-07
JP2021096802A (ja) 2021-06-24
US20220253494A1 (en) 2022-08-11
WO2021117876A1 (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
US9665642B2 (en) Automatic identification of digital content related to a block of text, such as a blog entry
KR101273126B1 (ko) 검색 결과들의 재배열을 위한 시스템, 방법 및/또는 장치
JP2012530988A (ja) コミュニティ交流の意味解析を使用するアドバイザ・アシスタント
US20140358888A1 (en) Method, System, And Computer Program Product For Monitoring Online Reputations With The Capability Of Creating New Content
US20190102399A1 (en) Method and system for resolving search queries that are inclined towards social activities
RU2015124047A (ru) Улучшение поиска людей с использованием изображений
US20090055374A1 (en) Method and apparatus for generating search keys based on profile information
JP5262434B2 (ja) 情報検索システム、情報検索方法、プログラムおよび記録媒体
US8521715B1 (en) System for sending queries to a plurality of websites synchronously
JP7002804B2 (ja) 検索装置、検索アプリケーション及び検索方法
US20070168179A1 (en) Method, program, and system for optimizing search results using end user keyword claiming
US20120005186A1 (en) System and method for aggregating and interactive ranking of search engine results
US20060190437A1 (en) Method and apparatus for rating, displaying and accessing common computer and internet search results using colors and/or icons
JP2013011940A (ja) 情報提供サーバ、情報検索システム、情報検索方法、および情報検索プログラム
WO2015000083A1 (en) System and method for ranking online content
US20120005183A1 (en) System and method for aggregating and interactive ranking of search engine results
Patel et al. Seo and Content Management System
Long Disambiguating the departed: using the genealogist’s tools to uniquely identify the long dead and little known
JP5639962B2 (ja) 検索システム
US20140052708A1 (en) User customized data page for search engine data
JP2004355546A (ja) 特許検索システム
Соколова GOOGLE PERSONALIZED SEARCH: AN OVERVIEW
JP2011022724A (ja) ウェブサイト情報提供装置およびウェブサイト情報提供プログラム
JP4557259B2 (ja) 検索サービス提供方法
TWI428769B (zh) 搜索系統、搜索方法及其網頁過濾系統和方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20201210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20201214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

R150 Certificate of patent or registration of utility model

Ref document number: 7002804

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150