JP7364065B2 - 推定装置、学習装置、推定方法、学習方法及びプログラム - Google Patents

推定装置、学習装置、推定方法、学習方法及びプログラム Download PDF

Info

Publication number
JP7364065B2
JP7364065B2 JP2022524762A JP2022524762A JP7364065B2 JP 7364065 B2 JP7364065 B2 JP 7364065B2 JP 2022524762 A JP2022524762 A JP 2022524762A JP 2022524762 A JP2022524762 A JP 2022524762A JP 7364065 B2 JP7364065 B2 JP 7364065B2
Authority
JP
Japan
Prior art keywords
name
column
estimation
input
input data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022524762A
Other languages
English (en)
Other versions
JPWO2021234860A1 (ja
Inventor
宗一郎 加来
京介 西田
準二 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021234860A1 publication Critical patent/JPWO2021234860A1/ja
Application granted granted Critical
Publication of JP7364065B2 publication Critical patent/JP7364065B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、推定装置、学習装置、推定方法、学習方法及びプログラムに関する。
近年、深層学習技術を用いて、ＤＢ（データベース）に対する自然文の質問文からＳＱＬ（Structured Query Language）クエリを推定するtext to SQLというタスクが注目を集めている。例えば、非特許文献１では、ＤＢに関連する質問文とＤＢスキーマとを入力として、この質問文に対する回答をＤＢから取得するためのＳＱＬクエリを推定する深層学習モデルが提案されている。
Rui Zhang, Tao Yu, He Yang Er, Sungrok Shim, Eric Xue, Xi Victoria Lin, Tianze Shi, Caiming Xiong, Richard Socher, Dragomir Radev, "Editing-Based SQL Query Generation for Cross-Domain Context-Dependent Questions", arXiv:1909.00786v2 [cs.CL] 10 Sep 2019
しかしながら、従来技術では、ＳＱＬクエリを推定する際に、ＤＢの各列の値を考慮していない。これは、text to SQLタスクに用いられる深層学習モデルに組み込まれている汎用言語モデル（例えば、BERT（Bidirectional Encoder Representations from Transformers）やRoBERTa（Robustly optimized BERT approach）等）に入力長制限があるためである。このため、例えば、ＳＱＬクエリを推定する際にＤＢの各列の値を考慮する必要がある質問文に対しては、その推定精度が低下したり、推定自体が困難になったりする場合があると考えられる。
本発明の一実施形態は、上記の点に鑑みてなされたもので、ＳＱＬクエリを推定する際に、ＤＢの各列の値も考慮可能にすることを目的とする。
上記目的を達成するため、一実施形態に係る推定装置は、データベースに関連する質問文と、前記データベースの構成を表す構成情報とを入力として、前記質問文と、前記データベースに格納されているテーブルのテーブル名と、前記テーブル名のテーブルに含まれる列の列名と、前記列の値とで構成される第１の入力データを作成する第１の入力加工部と、予め学習済みの第１のパラメータを用いて、前記質問文に対する回答を前記データベースから検索するためのＳＱＬクエリの中で、前記第１の入力データに含まれる列名が利用されているか否かを推定する第１の推定部と、を有することを特徴とする。
ＳＱＬクエリを推定する際に、ＤＢの各列の値も考慮することができる。
ＤＢ構成の一例を示す図である。 テーブル構成の一例を示す図である。 推論時における推定装置の機能構成の一例を示す図（実施例１）である。 実施例１における推定部の機能構成の一例を示す図である。 実施例１における推定処理の一例を示すフローチャートである。 実施例１におけるモデル入力データの加工の一例を説明するための図である。 学習時における推定装置の機能構成の一例を示す図（実施例１）である。 実施例１における学習処理の一例を示すフローチャートである。 実施例１におけるパラメータ更新処理の一例を示すフローチャートである。 推論時における推定装置の機能構成の一例を示す図（実施例２）である。 実施例２における推定処理の一例を示すフローチャートである。 実施例２におけるモデル入力データの加工の一例を説明するための図である。 学習時における推定装置の機能構成の一例を示す図（実施例２）である。 実施例２における学習処理の一例を示すフローチャートである。 実施例２におけるパラメータ更新処理の一例を示すフローチャートである。 推論時における推定装置の機能構成の一例を示す図（実施例３）である。 実施例３における推定処理の一例を示すフローチャートである。 学習時における推定装置の機能構成の一例を示す図（実施例３）である。 実施例３における学習処理の一例を示すフローチャートである。 コンピュータのハードウェア構成の一例を示す図である。
以下、本発明の一実施形態について説明する。本実施形態では、ＤＢに関連する質問文と当該ＤＢの構成情報（テーブル名、テーブルの各列名、各列の値）とが与えられたときに、（１）当該質問文の回答を得るためのＳＱＬクエリの中に列名（ただし、JOINにより結合される列名は除く）が含まれるか否かを推定するタスクと、（２）当該質問文の回答を得るためのＳＱＬクエリの中で２つの列名がJOINにより結合される（つまり、当該２つの列名がＳＱＬクエリに含まれ、かつ、これら２つの列名がJOINにより結合される）か否かを推定するタスクとの２つのタスクのそれぞれを深層学習モデルにより実現する場合について説明する。また、本実施形態では、これら２つのタスクの推定結果を用いて、与えられた質問文の回答を得るためのＳＱＬクエリを推定するタスク（つまり、各列の値も考慮したtext to SQLタスク）についても説明する。なお、以降では、ＳＱＬクエリを単に「ＳＱＬ」とも表す。
＜検索対象となるＤＢ＞
まず、与えられた質問文の回答を得るためのＳＱＬで検索対象となるＤＢの一例について説明する。本実施形態では、一例として、図１に示す４つのテーブルが格納されている構成のＤＢを対象とする。すなわち、検索対象となるＤＢには、concertテーブルと、singerテーブルと、singer_in_concertテーブルと、stadiumテーブルとの４つのテーブルが格納されているものとする。また、concertテーブルはConcert_ID列とConcert_Name列とStadium_ID列とYear列とで構成されているものとする。同様に、singerテーブルはSinger_ID列とName列とCountry列とSong_release_year列とIs_male列とで構成され、singer_in_concertテーブルはConcert_ID列とSinger_ID列とで構成され、stadiumテーブルはStadium_ID列とLocation列とName列とCapacity列とHighest列とLowest列とAverage列とで構成されているものとする。なお、図１はＤＢスキーマを示しており、テーブル名及び列名以外にも、例えば、列の値のデータ型や主キーとなる列名等が含まれていてもよい。
また、一例として、検索対象のＤＢに格納されているconcertテーブル及びstadiumテーブルの具体的な構成を図２に示す。図２では、concertテーブルの各列の値と、stadiumテーブルの各列の値とが示されている。
なお、図１及び図２は一例であって、本実施形態は、任意のＲＤＢ（Relational Database）を検索対象のＤＢとすることが可能である。
［実施例１］
実施例１では、上記の（１）に示すタスク（つまり、質問文の回答を得るためのＳＱＬの中に列名（ただし、JOINにより結合される列名は除く）が含まれるか否かを推定するタスク）を深層学習モデルにより実現する推定装置１０について説明する。ここで、推定装置１０には、深層学習モデルのパラメータ（以下、「モデルパラメータ」という。）を学習する学習時と、学習済みモデルパラメータを設定した深層学習モデルにより、与えられた質問文の回答を得るためのＳＱＬの中に列名（ただし、JOINにより結合される列名は除く）が含まれるか否かを推定する推論時とが存在する。なお、学習時における推定装置１０は「学習装置」等と称されてもよい。
＜推論時における推定装置１０の機能構成（実施例１）＞
推論時における推定装置１０の機能構成について、図３を参照しながら説明する。図３は、推論時における推定装置１０の機能構成の一例を示す図（実施例１）である。ここで、推論時における推定装置１０には、入力データとして、質問文と検索対象構成情報とが与えられるものとする。また、モデルパラメータは学習済みであるものとする。検索構成情報とは、検索対象のＤＢに格納されている各テーブルのテーブル名と、これら各テーブルにそれぞれ含まれる各列の列名と、これら各列の値とが含まれる情報のことである。
図３に示すように、推論時における推定装置１０は、入力加工部１０１と、推定部１０２と、比較判定部１０３とを有する。これら各部は、推定装置１０にインストールされた１以上のプログラムが、ＣＰＵ（Central Processing Unit）等のプロセッサに実行させる処理により実現される。
入力加工部１０１は、与えられた入力データに含まれる質問文及び検索対象構成情報を用いて、推定部１０２を実現する深層学習モデルに入力されるモデル入力データを作成する。ここで、モデル入力データは、（質問文，検索対象となるＤＢに格納されている１つのテーブルのテーブル名，当該テーブルの１つの列名，当該列の値１，・・・，当該列の値ｎ）という形式で表されるデータである。なお、ｎは、当該列の値の数である。
入力加工部１０１は、各質問文と、各テーブル名と、当該テーブル名のテーブルに含まれる各列名との全ての組み合わせに対してモデル入力データを作成する。すなわち、入力加工部１０１は、（質問文数×列数）個のモデル入力データを作成する。なお、この列数は、テーブルが複数ある場合は全てのテーブルの合計列数のことである。
また、入力加工部１０１は、推定部１０２を実現する深層学習モデルに応じて、この深層学習モデルに入力可能な形式にモデル入力データを加工する。
推定部１０２は、学習済みモデルパラメータを用いて、入力加工部１０１によって作成された各モデル入力データそれぞれから、当該モデル入力データに含まれる列名がＳＱＬに含まれるか否かを判定するための２次元ベクトルを推定する。なお、モデルパラメータは、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶装置に格納されている。
ここで、推定部１０２の詳細な機能構成について、図４を参照しながら説明する。図４は、実施例１における推定部１０２の機能構成の一例を示す図である。
図４に示すように、推定部１０２には、トークナイズ部１１１と、汎用言語モデル部１１２と、変換部１１３とが含まれる。このとき、汎用言語モデル部１１２及び変換部１１３は、ニューラルネットワークを含む深層学習モデルで実現される。
トークナイズ部１１１は、モデル入力データに対してトークナイズを行う。トークナイズとは、モデル入力データをトークン（単語又は所定の語若しくは語句）単位に分割又は区切ることである。
汎用言語モデル部１１２はBERTやRoBERTa等の汎用言語モデルにより実現され、トークナイズ後のモデル入力データを入力して、ベクトル系列を出力する。
変換部１１３はlinear層と活性化関数にsoftmax関数を用いた出力層とで構成されるニューラルネットワークモデルにより実現され、汎用言語モデル部１１２から出力されたベクトル系列を２次元ベクトルに変換し、この２次元ベクトルの各要素のsoftmax関数値を計算する。これにより、各要素が０以上１以下で、かつ、各要素の合計が１となる２次元ベクトルが得られる。
図３に戻る。比較判定部１０３は、推定部１０２から出力された２次元ベクトルの要素の大小関係を比較することで、与えられた質問文に対する回答を得るためのＳＱＬに該当の列名が含まれるか否かを判定する。この判定結果が、質問文に対する回答を得るためのＳＱＬに当該列名が含まれるか否かを示す推定結果であり、出力データとして出力される。
＜推定処理（実施例１）＞
次に、実施例１における推定処理について、図５を参照しながら説明する。図５は、実施例１における推定処理の一例を示すフローチャートである。以降では、一例として、質問文「Show the stadium name and the number of concerts in each stadium.」と、図１及び図２に示すＤＢに関する検索構成情報とが入力データとして与えられたものとする。
まず、入力加工部１０１は、与えられた入力データに含まれる質問文及び検索対象構成情報を入力する（ステップＳ１０１）。
次に、入力加工部１０１は、上記のステップＳ１０１で入力した質問文及び検索対象構成情報からモデル入力データを作成する（ステップＳ１０２）。なお、上述したように、（質問文数×テーブル数×列数）個のモデル入力データが作成される。
例えば、テーブル名「stadium」及び列名「Stadium_ID」に関するモデル入力データは、（Show the stadium name and the number of concerts in each stadium.，stadium，Stadium_ID，1，2，・・・，10）となる。
同様に、例えば、テーブル名「stadium」及び列名「Location」に関するモデル入力データは、（Show the stadium name and the number of concerts in each stadium.，stadium，Location，Raith Rovers，Avr United，・・・，Brechin City）となる。
同様に、例えば、テーブル名「stadium」及び列名「Name」に関するモデル入力データは、（Show the stadium name and the number of concerts in each stadium.，stadium，Name，Stark's Park，Somerset Park，・・・，Glebe Park）となる。
テーブル名「stadium」の他の列名（「Capacity」、「Highest」、「Lowest」及び「Average」）に関するモデル入力データと、他のテーブル名（「concert」、「singer」及び「singer_in_concert」）の各列名に関するモデル入力データとについても同様である。これにより、２１個（＝質問文数（＝１）×列数（＝５＋７＋２＋７））のモデル入力データが作成される。
次に、入力加工部１０１は、上記のステップＳ１０２で作成した各モデル入力データのそれぞれを、推定部１０２を実現する深層学習モデルに入力可能な形式に加工する（ステップＳ１０３）。
例えば、深層学習モデルに含まれる汎用言語モデルがRoBERTaである場合、入力加工部１０１は、モデル入力データに含まれる質問文の直前に＜ｓ＞トークンを挿入すると共に、質問文の直後、テーブル名の直後、列名の直後及び当該列の各値の直後にそれぞれ＜／ｓ＞トークンを挿入し、＜ｓ＞トークンから最初の＜／ｓ＞トークンまでの各トークンにsegment idとして０を付与し、それ以外の各トークンはsegment idとして１を付与する。ただし、RoBERTaに入力可能な入力長の上限は５１２トークンであるため、加工後のモデル入力データが５１２トークンを超える場合は、先頭から５１２トークンのみを加工後のモデル入力データとする（つまり、先頭から５１２トークンを超える部分については切り捨てる。）。なお、segment idはRoBERTaに入力される入力系列（トークン系列）が２つの文章からなる場合に文章と文章の境界を明示するための付加情報であり、本実施形態では、質問文とテーブル名の境界を明示するために用いられる。＜ｓ＞トークンは文頭を表すトークンであり、＜／ｓ＞トークンは文の区切り又は文の終わりを表すトークンである。
例えば、深層学習モデルに含まれる汎用言語モデルがRoBERTaであり、モデル入力データが（Show the stadium name and the number of concerts in each stadium.，stadium，Name，Stark's Park，Somerset Park，・・・，Glebe Park）である場合、加工後の当該モデル入力データの具体例を図６に示す。図６に示すように、質問文の直前に＜ｓ＞トークンが挿入され、質問文の直後、テーブル名の直後、列名の直後及び当該列の各値の直後にそれぞれ＜／ｓ＞トークンが挿入される。また、＜ｓ＞トークンから最初の＜／ｓ＞トークンまでの各トークンにはsegment idとして０が、それ以外の各トークンにはsegment idとして１が付与されている。
次に、推定部１０２のトークナイズ部１１１は、上記のステップＳ１０３で得られた加工後の各モデル入力データのそれぞれをトークナイズする（ステップＳ１０４）。
次に、推定部１０２の汎用言語モデル部１１２は、学習済みモデルパラメータを用いて、トークナイズ後の各モデル入力データのそれぞれから出力としてベクトル系列を得る（ステップＳ１０５）。なお、各モデル入力データのそれぞれに対してベクトル系列が得られる。つまり、例えば、モデル入力データ数が２１個である場合、２１個のベクトル系列が得られる。
次に、推定部１０２の変換部１１３は、学習済みモデルパラメータを用いて、各ベクトル系列のそれぞれを２次元ベクトルに変換する（ステップＳ１０６）。具体的には、変換部１１３は、各ベクトル系列のそれぞれについて、当該ベクトル系列のうちの先頭のベクトル（つまり、＜ｓ＞トークンに対応するベクトル）をlinear層で２次元ベクトルに変換し、出力層でsoftmax関数値を計算する。これにより、例えば、モデル入力データ数が２１個である場合、２１個の２次元ベクトルが得られる。
そして、比較判定部１０３は、上記のステップＳ１０６で得られた各２次元ベクトルの要素の大小を比較することで、当該２次元ベクトルに対応するモデル入力データ（つまり、当該２次元ベクトルが得られた際に深層学習モデルに入力されたモデル入力データ）に含まれる列名がＳＱＬに含まれるか否か（ただし、JOINにより結合される列名としてＳＱＬに含まれる場合は除く）を判定し、その判定結果を推定結果とする（ステップＳ１０７）。具体的には、例えば、２次元ベクトルを（ｘ，ｙ）と表した場合、ｘ≧ｙであれば当該２次元ベクトルに対応するモデル入力データに含まれる列名がＳＱＬに含まれると判定し、ｘ＜ｙであれば当該２次元ベクトルに対応するモデル入力データに含まれる列名はＳＱＬに含まれないと判定する。これにより、検索対象となるＤＢの各列名のそれぞれがＳＱＬに含まれるか否か（ただし、JOINにより結合される場合は除く）を示す推定結果が出力データとして得られる。
＜学習時における推定装置１０の機能構成（実施例１）＞
学習時における推定装置１０の機能構成について、図７を参照しながら説明する。図７は、学習時における推定装置１０の機能構成の一例を示す図（実施例１）である。ここで、学習時における推定装置１０には、入力データとして、質問文とＳＱＬと検索対象構成情報とが与えられるものとする。また、モデルパラメータは学習中である（つまり、学習済みでない）ものとする。
図７に示すように、学習時における推定装置１０は、入力加工部１０１と、推定部１０２と、学習データ加工部１０４と、更新部１０５とを有する。これら各部は、推定装置１０にインストールされた１以上のプログラムが、ＣＰＵやＧＰＵ（Graphics Processing Unit）等のプロセッサに実行させる処理により実現される。なお、入力加工部１０１及び推定部１０２は推論時と同様であるため、その説明を省略する。ただし、推定部１０２は学習中のモデルパラメータを用いて２次元ベクトルを推定する。
学習データ加工部１０４は、与えられた入力データに含まれる質問文、ＳＱＬ及び検索対象構成情報を用いて、モデル入力データと対応付けられるラベルデータを作成する。ここで、ラベルデータは、（質問文，検索対象となるＤＢに格納されている１つのテーブルのテーブル名，当該テーブルの１つの列名，０又は１のいずれかの値を取るラベル）という形式で表されるデータである。ラベルは、当該列名が、当該入力データに含まれるＳＱＬ中にJOIN以外で利用されている場合は１、それ以外の場合（つまり、JOINで利用されている場合又はＳＱＬ中で利用されていない場合）は０を取る。
また、学習データ加工部１０４は、同一の質問文、テーブル名及び列名でモデル入力データとラベルデータとを対応付ける。学習時では、モデル入力データとラベルデータとを対応付けたデータを学習用データと見做して、モデルパラメータの更新（学習）が行われる。なお、入力加工部１０１によって作成されるモデル入力データの個数と学習データ加工部１０４によって作成されるラベルデータの個数は同数（つまり、（質問文数×列数）個）である。
更新部１０５は、推定部１０２によって推定された２次元ベクトルと、この２次元ベクトルを推定した際に推定部１０２に入力されたモデル入力データに対応するラベルデータに含まれるラベルを表す正解ベクトルとの損失（誤差）を用いて、既知の最適化手法によりモデルパラメータを更新する。ここで、正解ベクトルは、例えば、当該ラベルの値が０である場合は（０，１）、当該ラベルの値が１である場合は（１，０）であるベクトルである。
＜学習処理（実施例１）＞
次に、実施例１における学習処理について、図８を参照しながら説明する。図８は、実施例１における学習処理の一例を示すフローチャートである。以降では、一例として、質問文「Show the stadium name and the number of concerts in each stadium.」と、ＳＱＬ「SELECT T2.Name, count(*) FROM concert AS T1 JOIN stadium AS T2 ON T1.Stadium_id = T2.Stadium_id GROUP BY T1.Stadium_id」と、図１及び図２に示すＤＢに関する検索構成情報とが入力データとして与えられたものとする。
ステップＳ２０１～ステップＳ２０３は、図５のステップＳ１０１～ステップＳ１０３とそれぞれ同様であるため、その説明を省略する。
ステップＳ２０３に続いて、学習データ加工部１０４は、与えられた入力データに含まれる質問文、ＳＱＬ及び検索対象構成情報を入力する（ステップＳ２０４）。
次に、学習データ加工部１０４は、上記のステップＳ２０４で入力した質問文、ＳＱＬ及び検索対象構成情報からラベルデータを作成する（ステップＳ２０５）。なお、上述したように、モデル入力データと同数のラベルデータが作成される。
例えば、テーブル名「stadium」及び列名「Stadium_ID」に関するラベルデータは、（Show the stadium name and the number of concerts in each stadium.，stadium，Stadium_ID，0）となる。stadiumテーブルのStadium_ID列はＳＱＬ中にJOINで利用されており、ラベルの値は０となるためである。
同様に、例えば、テーブル名「stadium」及び列名「Location」に関するラベルデータは、（Show the stadium name and the number of concerts in each stadium.，stadium，Location，0）となる。stadiumテーブルのLocation列はＳＱＬ中で利用されておらず、ラベルの値は０となるためである。
一方で、例えば、テーブル名「stadium」及び列名「Name」に関するラベルデータは、（Show the stadium name and the number of concerts in each stadium.，stadium，Name，1）となる。stadiumテーブルのName列はＳＱＬ中にJOIN以外で利用されており、ラベルの値は１となるためである。
テーブル名「stadium」の他の列名（「Capacity」、「Highest」、「Lowest」及び「Average」）に関するラベルデータと、他のテーブル名（「concert」、「singer」及び「singer_in_concert」）の各列名に関するラベルデータとについても同様である。これにより、２１個（＝質問文数（＝１）×列数（＝５＋７＋２＋７））のラベルデータが作成される。
次に、学習データ加工部１０４は、同一の質問文、テーブル名及び列名でモデル入力データとラベルデータとを対応付けて学習用データとし、これらの学習用データで構成される学習用データセットを作成する（ステップＳ２０６）。これにより、（質問文数×列数）個の学習用データで構成される学習用データセットが得られる。
続いて、学習時における推定装置１０は、学習用データセットを用いてパラメータ更新処理を実行し、モデルパラメータを学習（更新）する（ステップＳ２０７）。ここで、実施例１におけるパラメータ更新処理について、図９を参照しながら説明する。図９は、実施例１におけるパラメータ更新処理の一例を示すフローチャートである。以降では、一例として、バッチサイズをｍとしたミニバッチ学習によりモデルパラメータを更新する場合について説明する。ただし、これ以外にも、例えば、オンライン学習やバッチ学習等の任意の手法によりモデルパラメータが更新されてもよい。
まず、更新部１０５は、上記のステップＳ２０６で作成された学習用データセットからｍ個の学習用データを選択する（ステップＳ３０１）。なお、ｍはバッチサイズであり、任意の値を設定することが可能であるが、例えば、２１個の学習用データで学習用データセットが構成されている場合、ｍ＝８等とすることが考えられる。
次に、入力加工部１０１は、図５のステップＳ１０３と同様に、ｍ個の学習用データのそれぞれに含まれるｍ個のモデル入力データのそれぞれを、推定部１０２を実現する深層学習モデルに入力可能な形式に加工する（ステップＳ３０２）。
次に、推定部１０２のトークナイズ部１１１は、図５のステップＳ１０４と同様に、上記のステップＳ３０２で得られた加工後のｍ個のモデル入力データのそれぞれをトークナイズする（ステップＳ３０３）。
次に、推定部１０２の汎用言語モデル部１１２は、学習中モデルパラメータを用いて、トークナイズ後のｍ個のモデル入力データのそれぞれから出力としてｍ個のベクトル系列を得る（ステップＳ３０４）。
次に、推定部１０２の変換部１１３は、学習中モデルパラメータを用いて、ｍ個のベクトル系列のそれぞれをｍ個の２次元ベクトルに変換する（ステップＳ３０５）。
次に、更新部１０５は、上記のステップＳ３０５で得られたｍ個の２次元ベクトルと、これらｍ個の２次元ベクトルにそれぞれ対応するｍ個の正解ベクトルとの損失の和を損失関数値として、この損失関数値とそのモデルパラメータに関する勾配とを計算する（ステップＳ３０６）。なお、損失関数としてはベクトル間の損失又は誤差を表す任意の関数を用いることが可能であるが、例えば、cross entropy等を用いることが可能である。また、正解ベクトルは、上述したように、２次元ベクトルを推定した際に推定部１０２に入力されたモデル入力データに対応するラベルデータのラベル値が０である場合は（０，１）、当該ラベル値が１である場合は（１，０）であるベクトルである。
次に、更新部１０５は、上記のステップＳ３０７で計算した損失関数値及びその勾配を用いて、既知の最適化手法によりモデルパラメータを更新する（ステップＳ３０７）。なお、最適化手法としては任意の手法を用いることが可能であるが、例えば、Adam等を用いることが考えられる。
続いて、更新部１０５は、学習用データセット中に未選択の学習用データがあるか否かを判定する（ステップＳ３０８）。そして、未選択の学習用データがあると判定された場合、更新部１０５は、ステップＳ３０１に戻る。これにより、上記のステップＳ３０１で未選択のｍ個の学習用データが選択され、上記のステップＳ３０２～ステップＳ３０７が実行される。なお、未選択の学習用データ数が１以上ｍ未満である場合は上記のステップＳ３０１で未選択の学習用データ全てが選択されるようにしてもよいし、既知のデータ拡張手法等により予め学習用データセット中の学習用データ数がｍの倍数となるようにしておいてもよい。
一方で、未選択の学習用データがないと判定された場合、更新部１０５は、所定の終了条件を満たすか否かを判定する（ステップＳ３０９）。なお、終了条件としては、例えば、モデルパラメータが収束したこと、ステップＳ３０１～ステップＳ３０８の繰り返し回数が所定の回数以上となったこと等が挙げられる。
所定の終了条件を満たすと判定された場合、推定装置１０は、パラメータ更新処理を終了する。これにより、推定部１０２を実現する深層学習モデルのモデルパラメータが学習される。
一方で、所定の終了条件を満たさないと判定された場合、更新部１０５は、学習用データセット中の全ての学習用データを未選択として（ステップＳ３１０）、上記のステップＳ３０１に戻る。これにより、上記のステップＳ３０１で再度ｍ個の学習用データが選択され、上記のステップＳ３０２以降が実行される。
［実施例２］
実施例２では、上記の（２）に示すタスク（つまり、質問文の回答を得るためのＳＱＬの中で２つの列名がJOINにより結合されるか否かを推定するタスク）を深層学習モデルにより実現する推定装置２０について説明する。ここで、推定装置２０には、モデルパラメータを学習する学習時と、学習済みモデルパラメータを設定した深層学習モデルにより、与えられた質問文の回答を得るためのＳＱＬの中で２つの列名がJOINにより結合されるか否かを推定する推論時とが存在する。なお、学習時における推定装置２０は「学習装置」等と称されてもよい。
＜推論時における推定装置２０の機能構成（実施例２）＞
推論時における推定装置２０の機能構成について、図１０を参照しながら説明する。図１０は、推論時における推定装置２０の機能構成の一例を示す図（実施例２）である。なお、実施例１と同様に、推論時における推定装置２０には、入力データとして、質問文と検索対象構成情報とが与えられるものとする。また、モデルパラメータは学習済みであるものとする。
図１０に示すように、推論時における推定装置２０は、入力加工部１０１Ａと、推定部１０２と、比較判定部１０３とを有する。これら各部は、推定装置２０にインストールされた１以上のプログラムがプロセッサに実行させる処理により実現される。なお、推定部１０２及び比較判定部１０３は実施例１と同様であるため、その説明を省略する。ただし、推定部１０２によって推定される２次元ベクトルは、与えられた質問文の回答を得るためのＳＱＬの中で２つの列名がJOINにより結合されるか否かを判定するためのベクトルである。
入力加工部１０１Ａは、与えられた入力データに含まれる質問文及び検索対象構成情報を用いて、（質問文，検索対象となるＤＢに格納されている第１のテーブルのテーブル名，当該第１のテーブルの第１の列の列名，当該第１の列の値１，・・・，当該第１の列の値ｎ１，当該ＤＢに格納されている第２のテーブルのテーブル名，当該第２のテーブルの第２の列の列名，当該第２の列の値１，・・・，当該第２の列の値ｎ２）という形式で表されるモデル入力データを作成する。なお、ｎ１は第１の列の値の数、ｎ２は第２の列の値の数である。
入力加工部１０１Ａは、各質問文と、第１のテーブル名と、第１のテーブル名のテーブルに含まれる各列名と、第２のテーブル名と、第２のテーブル名のテーブルに含まれる各列名との組み合わせに対してモデル入力データを作成する。すなわち、入力加工部１０１Ａは、（質問文数×第１のテーブル名及び第１の列名と第２のテーブル名及び第２の列名との組み合わせ数）個のモデル入力データを作成する。
また、入力加工部１０１Ａは、推定部１０２を実現する深層学習モデルに応じて、この深層学習モデルに入力可能な形式にモデル入力データを加工する。
＜推定処理（実施例２）＞
次に、実施例２における推定処理について、図１１を参照しながら説明する。図１１は、実施例２における推定処理の一例を示すフローチャートである。以降では、一例として、質問文「Show the stadium name and the number of concerts in each stadium.」と、図１及び図２に示すＤＢに関する検索構成情報とが入力データとして与えられたものとする。
まず、入力加工部１０１Ａは、与えられた入力データに含まれる質問文及び検索対象構成情報を入力する（ステップＳ４０１）。
次に、入力加工部１０１Ａは、上記のステップＳ４０１で入力した質問文及び検索対象構成情報からモデル入力データを作成する（ステップＳ４０２）。なお、上述したように、（質問文数×第１のテーブル名及び第１の列名と第２のテーブル名及び第２の列名との組み合わせ数）個のモデル入力データが作成される。
例えば、テーブル名「stadium」及び列名「Stadium_ID」と、テーブル名「concert」及び列名「Concert_ID」とに関するモデル入力データは、（Show the stadium name and the number of concerts in each stadium.，stadium，Stadium_ID，1，2，・・・，10，concert，Concert_ID，1，2，・・・，6）となる。
同様に、例えば、テーブル名「stadium」及び列名「Stadium_ID」と、テーブル名「concert」及び列名「Concert_Name」とに関するモデル入力データは、（Show the stadium name and the number of concerts in each stadium.，stadium，Stadium_ID，1，2，・・・，10，concert，Concert_Name，Auditions，Super bootcamp，・・・，Week）となる。
同様に、例えば、テーブル名「stadium」及び列名「Stadium_ID」と、テーブル名「concert」及び列名「Theme」とに関するモデル入力データは、（Show the stadium name and the number of concerts in each stadium.，stadium，Stadium_ID，1，2，・・・，10，concert，Theme，Free choice，Free choice2，・・・，Party All Night）となる。
第１のテーブル名及び第１の列名と、第２のテーブル名及び第２の列名との他の組み合わせに関するモデル入力データについても同様である。これにより、１５７個（＝質問文数（＝１）×第１のテーブル名及び第１の列名と第２のテーブル名及び第２の列名との組み合わせ数（＝３５＋１０＋３５＋１４＋４９＋１４））のモデル入力データが作成される。ただし、例えば、（第１のテーブル名，第２のテーブル名）の組み合わせと（第２のテーブル名，第１のテーブル名）の組み合わせとを区別してモデル入力データが作成されてもよい。
次に、入力加工部１０１Ａは、図５のステップＳ１０３と同様に、上記のステップＳ４０２で作成した各モデル入力データのそれぞれを、推定部１０２を実現する深層学習モデルに入力可能な形式に加工する（ステップＳ４０３）。
例えば、深層学習モデルに含まれる汎用言語モデルがRoBERTaであり、モデル入力データが（Show the stadium name and the number of concerts in each stadium.，stadium，Name，Stark's Park，Somerset Park，・・・，Glebe Park，concert，Year，2014，2014，・・・，2015）である場合、加工後の当該モデル入力データの具体例を図１２に示す。図１２に示すように、質問文の直前に＜ｓ＞トークンが挿入され、質問文の直後、テーブル名の直後、列名の直後及び当該列の各値の直後にそれぞれ＜／ｓ＞トークンが挿入される。また、＜ｓ＞トークンから最初の＜／ｓ＞トークンまでの各トークンにはsegment idとして０が、それ以外の各トークンにはsegment idとして１が付与されている。ただし、RoBERTaに入力可能な入力長の上限（５１２トークン）を超える場合は、２つの列の各値を表すトークンをそれぞれ削除し、加工後のモデル入力データが５１２トークンとなるようにする。
次に、推定部１０２のトークナイズ部１１１は、図５のステップＳ１０４と同様に、上記のステップＳ４０３で得られた加工後の各モデル入力データのそれぞれをトークナイズする（ステップＳ４０４）。
推定部１０２の汎用言語モデル部１１２は、図５のステップＳ１０５と同様に、学習済みモデルパラメータを用いて、トークナイズ後の各モデル入力データのそれぞれから出力としてベクトル系列を得る（ステップＳ４０５）。
次に、推定部１０２の変換部１１３は、図５のステップＳ１０６と同様に、学習済みモデルパラメータを用いて、各ベクトル系列のそれぞれを２次元ベクトルに変換する（ステップＳ４０６）。
そして、比較判定部１０３は、上記のステップＳ４０６で得られた各２次元ベクトルの要素の大小を比較することで、当該２次元ベクトルに対応するモデル入力データに含まれる２つの列名がＳＱＬでJOINにより結合されるか否かを判定し、その判定結果を推定結果とする（ステップＳ４０７）。具体的には、例えば、２次元ベクトルを（ｘ，ｙ）と表した場合、ｘ≧ｙであれば当該２次元ベクトルに対応するモデル入力データに含まれる２つの列名がＳＱＬでJOINにより結合されると判定し、ｘ＜ｙであれば当該２次元ベクトルに対応するモデル入力データに含まれる２つの列名はＳＱＬでJOINにより結合されないと判定する。これにより、検索対象となるＤＢの各列名のうちの２つの列名の全ての組み合わせに対してＳＱＬ中でJOINにより結合されるか否かを示す推定結果が出力データとして得られる。
＜学習時における推定装置２０の機能構成（実施例２）＞
学習時における推定装置２０の機能構成について、図１３を参照しながら説明する。図１３は、学習時における推定装置２０の機能構成の一例を示す図（実施例２）である。ここで、学習時における推定装置２０には、入力データとして、質問文とＳＱＬと検索対象構成情報とが与えられるものとする。また、モデルパラメータは学習中であるものとする。
図１３に示すように、学習時における推定装置２０は、入力加工部１０１Ａと、推定部１０２と、学習データ加工部１０４Ａと、更新部１０５とを有する。これら各部は、推定装置２０にインストールされた１以上のプログラムがプロセッサに実行させる処理により実現される。なお、入力加工部１０１Ａ及び推定部１０２は推論時と同様であり、更新部１０５は実施例１と同様であるため、その説明を省略する。ただし、推定部１０２は学習中のモデルパラメータを用いて２次元ベクトルを推定する。
学習データ加工部１０４Ａは、与えられた入力データに含まれる質問文、ＳＱＬ及び検索対象構成情報を用いて、（質問文，検索対象となるＤＢに格納されている第１のテーブルのテーブル名，当該第１のテーブルの第１の列名，当該ＤＢに格納されている第２のテーブルのテーブル名，当該第２のテーブルの第２の列名，０又は１のいずれかの値を取るラベル）という形式で表されるラベルデータを作成する。ラベルは、当該入力データに含まれるＳＱＬ中で第１の列名と第２の列名とがJOINにより結合される場合は１、それ以外の場合（つまり、JOIN以外で利用されている場合又はＳＱＬ中で利用されていない場合）は０を取る。
また、学習データ加工部１０４Ａは、同一の質問文、第１のテーブル名、第１の列名、第２のテーブル名及び第２の列名でモデル入力データとラベルデータとを対応付ける。なお、入力加工部１０１によって作成されるモデル入力データの個数と学習データ加工部１０４によって作成されるラベルデータの個数は同数である。
＜学習処理（実施例２）＞
次に、実施例２における学習処理について、図１４を参照しながら説明する。図１４は、実施例２における学習処理の一例を示すフローチャートである。以降では、一例として、質問文「Show the stadium name and the number of concerts in each stadium.」と、ＳＱＬ「SELECT T2.Name, count(*) FROM concert AS T1 JOIN stadium AS T2 ON T1.Stadium_id = T2.Stadium_id GROUP BY T1.Stadium_id」と、図１及び図２に示すＤＢに関する検索構成情報とが入力データとして与えられたものとする。
ステップＳ５０１～ステップＳ５０３は、図１１のステップＳ４０１～ステップＳ４０３とそれぞれ同様であるため、その説明を省略する。
ステップＳ５０３に続いて、学習データ加工部１０４Ａは、与えられた入力データに含まれる質問文、ＳＱＬ及び検索対象構成情報を入力する（ステップＳ５０４）。
次に、学習データ加工部１０４Ａは、上記のステップＳ５０４で入力した質問文、ＳＱＬ及び検索対象構成情報からラベルデータを作成する（ステップＳ５０５）。なお、上述したように、モデル入力データと同数のラベルデータが作成される。
例えば、テーブル名「stadium」及び列名「Stadium_ID」と、テーブル名「concert」及び列名「Stadium_ID」とに関するラベルデータは、（Show the stadium name and the number of concerts in each stadium.，stadium，Stadium_ID，concert，Stadium_ID，1）となる。stadiumテーブルのStadium_ID列とconcertテーブルのStadium_ID列はＳＱＬ中でJOINにより結合されており、ラベルの値は１となるためである。
一方で、例えば、テーブル名「stadium」及び列名「Stadium_ID」と、テーブル名「concert」及び列名「Year」とに関するラベルデータは、（Show the stadium name and the number of concerts in each stadium.，stadium，Stadium_ID，concert，Year，0）となる。
第１のテーブル名及び第１の列名と、第２のテーブル名及び第２の列名との他の組み合わせに関するラベルデータについても同様である。これにより、モデル入力データと同数のラベルデータが作成される。
次に、学習データ加工部１０４Ａは、図８のステップＳ２０６と同様に、テーブル名及び列名でモデル入力データとラベルデータとを対応付けて学習用データとし、これらの学習用データで構成される学習用データセットを作成する（ステップＳ５０６）。
続いて、学習時における推定装置２０は、学習用データセットを用いてパラメータ更新処理を実行し、モデルパラメータを学習（更新）する（ステップＳ５０７）。ここで、実施例２におけるパラメータ更新処理について、図１５を参照しながら説明する。図１５は、実施例２におけるパラメータ更新処理の一例を示すフローチャートである。以降では、一例として、実施例１と同様に、バッチサイズをｍとしたミニバッチ学習によりモデルパラメータを更新する場合について説明する。
まず、更新部１０５は、上記のステップＳ５０６で作成された学習用データセットからｍ個の学習用データを選択する（ステップＳ６０１）。
次に、入力加工部１０１は、図１１のステップＳ４０３と同様に、ｍ個の学習用データのそれぞれに含まれるｍ個のモデル入力データのそれぞれを、推定部１０２を実現する深層学習モデルに入力可能な形式に加工する（ステップＳ６０２）。
以降のステップＳ６０３～ステップＳ６１０は、図９のステップＳ３０３～ステップＳ３１０とそれぞれ同様であるため、その説明を省略する。
［実施例３］
実施例３では、上記の（１）に示すタスクの推定結果と上記の（２）に示すタスクの推定結果とを用いて、与えられた質問文の回答を得るためのＳＱＬを推定するタスク（つまり、ＤＢの各列の値も考慮したtext to SQLタスク）を深層学習モデルにより実現する推定装置３０について説明する。なお、実施例３では、ＳＱＬを推定する深層学習モデルを「ＳＱＬ推定モデル」、そのパラメータを「ＳＱＬ推定モデルパラメータ」という。ここで、推定装置３０には、ＳＱＬ推定モデルパラメータを学習する学習時と、学習済みＳＱＬ推定モデルパラメータを設定したＳＱＬ推定モデルにより、与えられた質問文の回答を得るためのＳＱＬを推定する推論時とが存在する。なお、学習時における推定装置３０は「学習装置」等と称されてもよい。
＜推論時における推定装置３０の機能構成（実施例３）＞
推論時における推定装置３０の機能構成について、図１６を参照しながら説明する。図１６は、推論時における推定装置３０の機能構成の一例を示す図（実施例３）である。ここで、推論時における推定装置３０には、入力データとして、質問文と検索対象構成情報とが与えられるものとする。また、ＳＱＬ推定モデルパラメータは学習済みであるものとする。
図１６に示すように、推論時における推定装置３０は、入力加工部１０６と、ＳＱＬ推定部１０７とを有する。これら各部は、推定装置３０にインストールされた１以上のプログラムがプロセッサに実行させる処理により実現される。
入力加工部１０６は、与えられた入力データに含まれる質問文及び検索対象構成情報と、当該入力データに対する推定装置１０の出力データと、当該入力データに対する推定装置２０の出力データとを用いて、ＳＱＬ推定部１０７を実現するＳＱＬ推定モデルに入力されるモデル入力データを作成する。ここで、モデル入力データは、既知のＳＱＬ推定モデルに入力されるデータに含まれる各列名を表すトークンに対して、推定装置１０及び推定装置２０による推定結果を示す情報を付加したデータである。例えば、既知のＳＱＬ推定モデルに入力されるデータに含まれる各列名を表すトークンのうち、ＳＱＬ中にJOIN以外で利用されている列名を表すトークンには[unused0]、ＳＱＬ中にJOINで利用されている列名を表すトークンには[unused1]を付加したデータである。各列名を表すトークンに対して[unused0]を付与するか否かは推定装置１０の出力データに含まれる推定結果から決定され、[unused1]を付与するか否かは推定装置２０の出力データに含まれる推定結果から決定される。
なお、推定装置１０及び推定装置２０はそれぞれ学習済みであるものとする。また、推定装置１０及び推定装置２０（又はそれらの機能部）は推定装置３０に組み込まれていてもよいし、推定装置３０と通信ネットワーク等を介して接続されていてもよい。
ＳＱＬ推定部１０７は、学習済みＳＱＬ推定モデルパラメータを用いて、入力加工部１０６によって作成されたモデル入力データから、与えられた質問文に対する回答を得るためのＳＱＬを推定する。この推定結果を示すＳＱＬが出力データとして出力される。なお、ＳＱＬ推定部１０７はＳＱＬ推定モデルにより実現される。このようなＳＱＬ推定モデルとしては、例えば、上記の非特許文献１に記載されたEdit SQLモデル等が挙げられる。
＜推定処理（実施例３）＞
次に、実施例３における推定処理について、図１７を参照しながら説明する。図１７は、実施例３における推定処理の一例を示すフローチャートである。以降では、一例として、質問文「Show the stadium name and the number of concerts in each stadium.」と、図１及び図２に示すＤＢに関する検索構成情報とが入力データとして与えられたものとする。
推定装置１０は、図５のステップＳ１０１～ステップＳ１０７を実行して、ＤＢの各列名がＳＱＬ中にJOIN以外で利用されているか否かを示す推定結果が含まれる出力データを得る（ステップＳ７０１）。以降では、この推定結果を「タスク１推定結果」と表す。タスク１推定結果は、例えば、各列名と、当該列名がＳＱＬ中にJOIN以外で利用されているか否かを示す情報とが対応付けられたものである。
推定装置２０は、図１１のステップＳ４０１～ステップＳ４０７を実行して、ＤＢの２つ列名の組み合わせがＳＱＬ中でJOINにより結合されるか否かを示す推定結果が含まれる出力データを得る（ステップＳ７０２）。以降では、この推定結果を「タスク２推定結果」と表す。タスク２推定結果は、例えば、２つの列名の各組み合わせと、当該組み合わせがＳＱＬ中にJOINで利用されているか否かを示す情報とが対応付けられたものである。
次に、入力加工部１０６は、与えられた入力データに含まれる質問文及び検索対象構成情報と、タスク１推定結果と、タスク２推定結果とを入力する（ステップＳ７０３）。
次に、入力加工部１０６は、上記のステップＳ７０３で入力した質問文、検索対象構成、タスク１推定結果及びタスク２推定結果からモデル入力データを作成する（ステップＳ７０４）。
ここで、例えば、ＳＱＬ推定モデルがEdit SQLモデルである場合、Edit SQLモデルはBERTを内包しているため、[CLS]質問文[SEP]テーブル名１．列名１_１[SEP]・・・[SEP] テーブル名１．列名１_Ｎ１[SEP]・・・[SEP]テーブル名ｋ．列名ｋ_１[SEP]・・・[SEP]テーブル名ｋ．列名ｋ_Ｎｋ[SEP]として、[CLS]から最初の[SEP]までの各トークンにsegment idとして０を付与し、それ以外の各トークンはsegment idとして１を付与したものがＳＱＬ推定モデルに入力される。なお、Ｎｉ（ｉ＝１，・・・，ｋ）はテーブル名ｉのテーブルに含まれる列数である。
したがって、この場合、入力加工部１０６は、タスク１推定結果とタスク２推定結果とを用いて、ＳＱＬ中にJOIN以外で利用されている列名を表すトークンの直後に[unused0]を追加すると共に、ＳＱＬ中にJOINで利用されている列名を表すトークンの直後に[unused1]を追加することで、モデル入力データを作成する。なお、[unused0]及び[unused1]はBERTで事前学習されていない未知のトークンである。
具体的には、例えば、stadiumテーブルのName列がＳＱＬ中にJOIN以外で利用されており、かつ、concertテーブルのStadium_ID列とstadiumテーブルのStadium_ID列とが当該ＳＱＬ中にJOINで利用されてる場合、モデル入力データは、[CLS] Show the stadium name and the number of concerts in each stadium.[SEP]concert.Concert_ID[SEP]・・・[SEP]concert.Stadium_ID.[unused1][SEP]concert.Year[SEP]・・・[SEP]stadium.Stadium_ID[unused1][SEP]・・・[SEP]stadium.Name[unused0][SEP]・・・[SEP]stadium.Average[SEP]として、[CLS]から最初の[SEP]までの各トークンにsegment idとして０を付与し、それ以外の各トークンはsegment idとして１を付与したものとなる。
次に、ＳＱＬ推定部１０７は、学習済みＳＱＬ推定モデルパラメータを用いて、上記のステップＳ７０４で得られたモデル入力データからＳＱＬを推定する（ステップＳ７０５）。これにより、ＤＢの各列の値も考慮したＳＱＬが推定され、この推定結果が出力データとして得られる。このとき、ＳＱＬはＤＢの各列の値も考慮して推定されるため、例えば、ＤＢの各列の値を考慮する必要がある質問文に対する回答を得るようなＳＱＬについても高い精度で推定することが可能となる。
＜学習時における推定装置３０の機能構成（実施例３）＞
学習時における推定装置３０の機能構成について、図１８を参照しながら説明する。図１８は、学習時における推定装置３０の機能構成の一例を示す図（実施例３）である。ここで、学習時における推定装置３０には、入力データとして、質問文とＳＱＬと検索対象構成情報とが与えられるものとする。また、ＳＱＬ推定モデルパラメータは学習中であるものとする。
図１８に示すように、学習時における推定装置３０は、入力加工部１０６と、ＳＱＬ推定部１０７と、ＳＱＬ推定モデル更新部１０８とを有する。これら各部は、推定装置３０にインストールされた１以上のプログラムがプロセッサに実行させる処理により実現される。なお、入力加工部１０６及びＳＱＬ推定部１０７は推論時と同様であるため、その説明を省略する。ただし、ＳＱＬ推定部１０７は学習中のＳＱＬ推定モデルパラメータを用いてＳＱＬを推定する。
ＳＱＬ推定モデル更新部１０８は、ＳＱＬ推定部１０７によって推定されたＳＱＬと、入力データに含まれるＳＱＬ（以下、「正解ＳＱＬ」という。）との損失（誤差）を用いて、既知の最適化手法によりＳＱＬ推定モデルパラメータを更新する。
＜学習処理（実施例３）＞
次に、実施例３における学習処理について、図１９を参照しながら説明する。図１９は、実施例３における学習処理の一例を示すフローチャートである。以降では、一例として、質問文「Show the stadium name and the number of concerts in each stadium.」と、正解ＳＱＬ「SELECT T2.Name, count(*) FROM concert AS T1 JOIN stadium AS T2 ON T1.Stadium_id = T2.Stadium_id GROUP BY T1.Stadium_id」と、図１及び図２に示すＤＢに関する検索構成情報とが入力データとして与えられたものとする。
ステップＳ８０１～ステップＳ８０４は、図１７のステップＳ７０１～ステップＳ７０４とそれぞれ同様であるため、その説明を省略する。
ステップＳ８０４に続いて、ＳＱＬ推定部１０７は、学習中のＳＱＬ推定モデルパラメータを用いて、上記のステップＳ８０４で得られたモデル入力データからＳＱＬを推定する（ステップＳ８０５）。
そして、ＳＱＬ推定モデル更新部１０８は、上記のステップＳ８０５で推定されたＳＱＬと正解ＳＱＬとの損失を用いて、既知の最適化手法によりＳＱＬ推定モデルパラメータを更新する（ステップＳ８０６）。これにより、ＳＱＬ推定モデルパラメータが学習される。なお、一般に、学習時の推定装置３０には複数の入力データが学習用データセットとして与えられることが多い。このような場合には、ミニバッチ学習やバッチ学習、オンライン学習等によりＳＱＬ推定モデルパラメータが学習されればよい。
＜評価実験＞
次に、Spiderデータセットを用いて、上記の（１）に示すタスクと上記の（２）に示すタスクとの評価実験を行った結果について説明する。なお、Spiderデータセットについては、例えば、参考文献「Tao Yu, Rui Zhang, Kai Yang, Michihiro Yasunaga, Dongxu Wang, Zifan Li, James Ma, Irene Li, Qingning Yao, Shanelle Roman, Zilin Zhang, Dragomir Radev , "Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task", arXiv:1809.08887 [cs.CL] 2 Feb 2019」等を参照されたい。
Spiderデータセットでは、（質問文，検索対象となるＤＢの構成情報，質問文に対する回答，この回答を得るためのＳＱＬ）で表されるデータが１０１８１件与えられている。このうち、１０３４件を検証用データとし、残り９１４４件を学習用データとした。
・上記の（１）に示すタスクの実験結果
比較対象となるBaseの実験では、推定部１０２に入力されるモデル入力データを（質問文，検索対象となるＤＢに格納されている１つのテーブルのテーブル名，当該テーブルの１つの列名）という形式で表されるデータとした。つまり、モデル入力データには列の値が含まれないものとした。それ以外の条件は、推論時における推定装置１０と同様である。
このとき、推論時における推定装置１０ではＦ１値が０．８２５であり、BaseではＦ１値が０．７９１であった。したがって、ＤＢの各列の値を考慮することで、JOINにより結合される列名以外の各列名がＳＱＬに含まれるか否かを高い精度で推定できていることがわかる。
・上記の（２）に示すタスクの実験結果
比較対象となるBaseの実験では、推定部１０２に入力されるモデル入力データを（質問文，検索対象となるＤＢに格納されている第１のテーブルのテーブル名，当該第１のテーブルの第１の列の列名，当該ＤＢに格納されている第２のテーブルのテーブル名，当該第２のテーブルの第２の列の列名）とした。つまり、モデル入力データには列の値が含まれないものとした。それ以外の条件は、推論時における推定装置２０と同様である。
このとき、推論時における推定装置２０ではＦ１値が０．９４３であり、BaseではＦ１値が０．８４４であった。したがって、ＤＢの各列の値を考慮することで、２つの列名がＳＱＬの中でJOINにより結合されるか否かを高い精度で推定できていることがわかる。
＜ハードウェア構成＞
最後に、実施例１における推定装置１０、実施例２における推定装置２０、及び実施例３における推定装置３０のハードウェア構成について説明する。これらの推定装置１０、推定装置２０及び推定装置３０は一般的なコンピュータ又はコンピュータシステムのハードウェア構成で実現され、例えば、図２０に示すコンピュータ５００のハードウェア構成により実現可能である。図２０に示すコンピュータ５００は、ハードウェアとして、入力装置５０１と、表示装置５０２と、外部Ｉ／Ｆ５０３と、通信Ｉ／Ｆ５０４と、プロセッサ５０５と、メモリ装置５０６とを有する。これら各ハードウェアは、それぞれがバス５０７を介して通信可能に接続されている。
入力装置５０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置５０２は、例えば、ディスプレイ等である。なお、コンピュータ５００は、入力装置５０１及び表示装置５０２のうちの少なくとも一方を有していなくてもよい。
外部Ｉ／Ｆ５０３は、記録媒体５０３ａ等の外部装置とのインタフェースである。なお、記録媒体５０３ａとしては、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。
通信Ｉ／Ｆ５０４は、コンピュータ５００を通信ネットワークに接続するためのインタフェースである。プロセッサ５０５は、例えば、ＣＰＵやＧＰＵ等の各種演算装置である。メモリ装置５０６は、例えば、ＨＤＤやＳＳＤ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。
上述した推定装置１０、推定装置２０及び推定装置３０は、例えば、図２０に示すコンピュータ５００のハードウェア構成により、上述した推定処理や学習処理を実現することができる。なお、図２０に示すコンピュータ５００のハードウェア構成は一例であって、コンピュータ５００は、他のハードウェア構成を有していてもよい。例えば、コンピュータ５００は、複数のプロセッサ５０５を有していてもよいし、複数のメモリ装置５０６を有していてもよい。
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
１０、２０、３０ 推定装置
１０１、１０１Ａ 入力加工部
１０２ 推定部
１０３ 比較判定部
１０４、１０４Ａ 学習データ加工部
１０５ 更新部
１０６ 入力加工部
１０７ ＳＱＬ推定部
１０８ ＳＱＬ推定モデル更新部
１１１ トークナイズ部
１１２ 汎用言語モデル部
１１３ 変換部

Claims (6)

  1. データベースに関連する質問文と、前記データベースの構成を表す構成情報とを入力として、前記質問文と、前記データベースに格納されているテーブルのテーブル名と、前記テーブル名のテーブルに含まれる列の列名と、前記列の値とで構成される第１の入力データを作成する第１の入力加工部と、
    予め学習済みの第１のパラメータを用いて、前記質問文に対する回答を前記データベースから検索するためのＳＱＬクエリの中で、前記第１の入力データに含まれる列名が利用されているか否かを推定する第１の推定部と、
    を有することを特徴とする推定装置。
  2. 前記質問文と、前記構成情報と、前記第１の推定部による推定結果とを入力として、前記質問文と、前記データベースに格納されている各テーブルのテーブル名と、前記テーブル名のテーブルに含まれる各列の列名と、前記列名に対する前記推定結果とで構成される第２の入力データを作成する第２の入力加工部と、
    予め学習済みの第２のパラメータを用いて、前記第２の入力データから前記ＳＱＬクエリを推定する第２の推定部と、
    を有することを特徴とする請求項１に記載の推定装置。
  3. データベースに関連する質問文と、前記データベースの構成を表す構成情報とを入力として、前記質問文と、前記データベースに格納されているテーブルのテーブル名と、前記テーブル名のテーブルに含まれる列の列名と、前記列の値とで構成される入力データを作成する入力加工部と、
    前記質問文と、前記構成情報と、前記質問文に対する回答を前記データベースから検索するためのＳＱＬクエリとを入力として、前記質問文と、前記データベースに格納されているテーブルのテーブル名と、前記テーブル名のテーブルに含まれる列の列名と、前記ＳＱＬクエリの中で前記列名が利用されているか否かを示すラベルとで構成されるラベルデータを作成する学習データ加工部と、
    学習対象のパラメータを用いて、前記ＳＱＬクエリの中で、前記入力データに含まれる列名が利用されているか否かを推定する推定部と、
    前記推定部による推定結果と、前記推定部による推定に用いられた入力データと同一の質問文、テーブル名及び列名が含まれるラベルデータのラベルとの誤差を用いて、前記パラメータを学習するパラメータ更新部と、
    を有することを特徴とする学習装置。
  4. データベースに関連する質問文と、前記データベースの構成を表す構成情報とを入力として、前記質問文と、前記データベースに格納されているテーブルのテーブル名と、前記テーブル名のテーブルに含まれる列の列名と、前記列の値とで構成される第１の入力データを作成する第１の入力加工手順と、
    予め学習済みの第１のパラメータを用いて、前記質問文に対する回答を前記データベースから検索するためのＳＱＬクエリの中で、前記第１の入力データに含まれる列名が利用されているか否かを推定する第１の推定手順と、
    をコンピュータが実行することを特徴とする推定方法。
  5. データベースに関連する質問文と、前記データベースの構成を表す構成情報とを入力として、前記質問文と、前記データベースに格納されているテーブルのテーブル名と、前記テーブル名のテーブルに含まれる列の列名と、前記列の値とで構成される入力データを作成する入力加工手順と、
    前記質問文と、前記構成情報と、前記質問文に対する回答を前記データベースから検索するためのＳＱＬクエリとを入力として、前記質問文と、前記データベースに格納されているテーブルのテーブル名と、前記テーブル名のテーブルに含まれる列の列名と、前記ＳＱＬクエリの中で前記列名が利用されているか否かを示すラベルとで構成されるラベルデータを作成する学習データ加工手順と、
    学習対象のパラメータを用いて、前記ＳＱＬクエリの中で、前記入力データに含まれる列名が利用されているか否かを推定する推定手順と、
    前記推定手順での推定結果と、前記推定手順での推定に用いられた入力データと同一の質問文、テーブル名及び列名が含まれるラベルデータのラベルとの誤差を用いて、前記パラメータを学習するパラメータ更新手順と、
    をコンピュータが実行することを特徴とする学習方法。
  6. コンピュータを、請求項１若しくは２に記載の推定装置又は請求項３に記載の学習装置として機能させるプログラム。
JP2022524762A 2020-05-20 2020-05-20 推定装置、学習装置、推定方法、学習方法及びプログラム Active JP7364065B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/019953 WO2021234860A1 (ja) 2020-05-20 2020-05-20 推定装置、学習装置、推定方法、学習方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021234860A1 JPWO2021234860A1 (ja) 2021-11-25
JP7364065B2 true JP7364065B2 (ja) 2023-10-18

Family

ID=78708250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022524762A Active JP7364065B2 (ja) 2020-05-20 2020-05-20 推定装置、学習装置、推定方法、学習方法及びプログラム

Country Status (3)

Country Link
US (1) US20230195723A1 (ja)
JP (1) JP7364065B2 (ja)
WO (1) WO2021234860A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114637765A (zh) * 2022-04-26 2022-06-17 阿里巴巴达摩院(杭州)科技有限公司 基于表格数据的人机交互方法、装置及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018163490A (ja) 2017-03-24 2018-10-18 三菱電機インフォメーションネットワーク株式会社 アクセス制御装置及びアクセス制御プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1005053C2 (nl) * 1997-01-21 1998-07-22 Uitgeverij En Boekhandel W J T Apparaat voor zelfstudie.
US7603330B2 (en) * 2006-02-01 2009-10-13 Honda Motor Co., Ltd. Meta learning for question classification
US8738617B2 (en) * 2010-09-28 2014-05-27 International Business Machines Corporation Providing answers to questions using multiple models to score candidate answers
US9336485B2 (en) * 2013-06-11 2016-05-10 International Business Machines Corporation Determining answers in a question/answer system when answer is not contained in corpus
US9471668B1 (en) * 2016-01-21 2016-10-18 International Business Machines Corporation Question-answering system
US10127274B2 (en) * 2016-02-08 2018-11-13 Taiger Spain Sl System and method for querying questions and answers
CN106649760A (zh) * 2016-12-27 2017-05-10 北京百度网讯科技有限公司 基于深度问答的提问型搜索词搜索方法及装置
US10810215B2 (en) * 2017-12-15 2020-10-20 International Business Machines Corporation Supporting evidence retrieval for complex answers
US11016966B2 (en) * 2018-06-26 2021-05-25 Adobe Inc. Semantic analysis-based query result retrieval for natural language procedural queries
EP3859558A4 (en) * 2018-09-26 2022-06-22 Hangzhou Dana Technology Inc. ANSWER MARKING PROCEDURE FOR HEADPHONES, DEVICE, ELECTRONIC DEVICE AND STORAGE MEDIA
US11966389B2 (en) * 2019-02-13 2024-04-23 International Business Machines Corporation Natural language to structured query generation via paraphrasing
US20210157881A1 (en) * 2019-11-22 2021-05-27 International Business Machines Corporation Object oriented self-discovered cognitive chatbot
US11429792B2 (en) * 2020-05-07 2022-08-30 Microsoft Technology Licensing, Llc Creating and interacting with data records having semantic vectors and natural language expressions produced by a machine-trained model
US11934403B2 (en) * 2020-05-18 2024-03-19 Salesforce, Inc. Generating training data for natural language search systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018163490A (ja) 2017-03-24 2018-10-18 三菱電機インフォメーションネットワーク株式会社 アクセス制御装置及びアクセス制御プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Rui Zhang et al.，Editing-Based SQL Query Generation for Cross-Domain Context-Dependent Questions，arXiv，米国，Cornell University，2019年09月10日，Internet<URL:https://arxiv.org/abs/1909.00786v2>
Tianze Shi et al.，IncSQL: Training Incremental Text-to-SQL Parsers with Non-Deterministic Oracles，arXiv，米国，Cornell University，2018年10月01日，Internet<URL:https://arxiv.org/abs/1809.05054v2>

Also Published As

Publication number Publication date
JPWO2021234860A1 (ja) 2021-11-25
WO2021234860A1 (ja) 2021-11-25
US20230195723A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
KR101950985B1 (ko) 휴먼 인스파이어드된 간단한 질문 응답(hisqa)을 위한 시스템 및 방법
US11972365B2 (en) Question responding apparatus, question responding method and program
CN109947919B (zh) 用于生成文本匹配模型的方法和装置
JP5377889B2 (ja) 言語処理装置およびプログラム
US8831944B2 (en) System and method for tightly coupling automatic speech recognition and search
JP6611053B2 (ja) 主題推定システム、主題推定方法およびプログラム
WO2020004136A1 (ja) 質問応答装置及びコンピュータプログラム
CN113326267B (zh) 基于倒排索引和神经网络算法的地址匹配方法
JP2019082931A (ja) 検索装置、類似度算出方法、およびプログラム
CN110678882A (zh) 使用机器学习从电子文档选择回答跨距
CN114450681A (zh) 文档间注意力机制
JP6973255B2 (ja) 単語ベクトル変更装置、方法、及びプログラム
Park et al. Word RNN as a baseline for sentence completion
JP7364065B2 (ja) 推定装置、学習装置、推定方法、学習方法及びプログラム
US20230034414A1 (en) Dialogue processing apparatus, learning apparatus, dialogue processing method, learning method and program
US20220222442A1 (en) Parameter learning apparatus, parameter learning method, and computer readable recording medium
CN114490926A (zh) 一种相似问题的确定方法、装置、存储介质及终端
Lee et al. Interactive spoken content retrieval by deep reinforcement learning
JP7044856B2 (ja) 増強された一貫性正規化を利用した音声認識モデル学習方法およびシステム
CN109472023B (zh) 一种基于实体及文本联合嵌入的实体关联度衡量方法、系统及存储介质
JP6698061B2 (ja) 単語ベクトル変換装置、方法、及びプログラム
CN109710945B (zh) 基于数据生成文本方法、装置、计算机设备和存储介质
US20230244934A1 (en) Augmenting machine learning language models using search engine results
CN116186219A (zh) 一种人机对话交互方法方法、系统及存储介质
KR20230174503A (ko) 신경망 기반 질의 자동 생성 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230918

R150 Certificate of patent or registration of utility model

Ref document number: 7364065

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150