JP7020410B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP7020410B2
JP7020410B2 JP2018528405A JP2018528405A JP7020410B2 JP 7020410 B2 JP7020410 B2 JP 7020410B2 JP 2018528405 A JP2018528405 A JP 2018528405A JP 2018528405 A JP2018528405 A JP 2018528405A JP 7020410 B2 JP7020410 B2 JP 7020410B2
Authority
JP
Japan
Prior art keywords
unit
character string
string group
change
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018528405A
Other languages
English (en)
Other versions
JPWO2018016140A1 (ja
Inventor
真一 河野
祐平 滝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018016140A1 publication Critical patent/JPWO2018016140A1/ja
Application granted granted Critical
Publication of JP7020410B2 publication Critical patent/JP7020410B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
従来、自然言語処理に関する技術が各種提案されている。例えば、入力された文字列に含まれる個々の単語を解析したり、当該文字列の文法構造を解析するための技術が提案されている。
また、下記特許文献1には、複数の語句のうちユーザに選択された語句に基いて文を作成する技術が開示されている。
特開2012-53634号公報
ところで、例えば入力された文字列群が複数のまとまりにまとめられることも望まれる。しかしながら、従来の技術では、取得される文字列群によらずに、当該文字列群は固定の単位でまとめられてしまう。
そこで、本開示では、取得される文字列群に適応的に、当該文字列群に関するまとまりの単位を変更することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、第1の文字列群を取得する取得部と、前記第1の文字列群および所定の条件に基づいて、前記第1の文字列群に関するまとまりの単位を変更する変更部と、を備える、情報処理装置が提供される。
また、本開示によれば、第1の文字列群を取得することと、前記第1の文字列群および所定の条件に基づいて、前記第1の文字列群に関するまとまりの単位をプロセッサが変更することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、第1の文字列群を取得する取得部と、前記第1の文字列群および所定の条件に基づいて、前記第1の文字列群に関するまとまりの単位を変更する変更部、として機能させるための、プログラムが提供される。
以上説明したように本開示によれば、取得される文字列群に適応的に、当該文字列群に関するまとまりの単位を変更することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の実施形態による情報処理システムの構成例を示した説明図である。 ユーザにより入力される文字列群の一例を示した図である。 本開示の比較例による、図2に示した文字列群に関して決定されたまとまり単位の表示例を示した図である。 同実施形態によるサーバ10の構成例を示した機能ブロック図である。 同実施形態による設定基準テーブル124の構成例を示した説明図である。 同実施形態の適用例の一部を示した説明図である。 同実施形態の適用例の一部を示した説明図である。 同実施形態の適用例の一部を示した説明図である。 同実施形態の適用例の一部を示した説明図である。 同実施形態の適用例の一部を示した説明図である。 同実施形態の適用例の一部を示した説明図である。 同実施形態の適用例の一部を示した説明図である。 同実施形態の適用例の一部を示した説明図である。 同実施形態の適用例の一部を示した説明図である。 同実施形態による動作の流れを示したフローチャートである。 同実施形態による「まとまり単位の変更処理」の流れを示したフローチャートである。 同実施形態によるサーバ10のハードウェア構成例を示した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてサーバ10aおよびサーバ10bのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、サーバ10aおよびサーバ10bを特に区別する必要が無い場合には、単にサーバ10と称する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.情報処理システムの構成
2.実施形態の詳細な説明
3.ハードウェア構成
4.変形例
<<1.情報処理システムの構成>>
まず、本開示の実施形態による情報処理システムの構成について、図1を参照して説明する。図1に示すように、当該情報処理システムは、サーバ10、端末20、および、通信網22を含む。
<1-1.端末20>
端末20は、ユーザが使用する情報処理端末である。例えば、端末20は、ユーザの発話時の音声を集音したり、文字列の入力を受け付けることが可能である。図1に示すように、端末20は、例えば、集音部200、および、操作表示部202を含む。
集音部200は、例えばマイクロフォンである。集音部200は、外部の音(空気振動)を検出し、そして、電気信号に変換する。
操作表示部202は、表示画面を表示する表示部、および、ユーザによるタッチ操作を検出する操作部を含む。当該表示部は、例えば、LCD(Liquid Crystal Display)装置やOLED(Organic Light Emitting Diode)装置により構成される。また、当該操作部は、例えばタッチパネルにより構成される。例えば、操作表示部202は、ユーザによる文字列群の入力を受け付ける。一例として、操作表示部202は、ソフトウェアキーボードを表示し、そして、当該ソフトウェアキーボードに対するタッチ操作による文字列群の入力を受け付ける。ここで、文字列群は、一以上の文字列である。
また、端末20は、通信網22を介して他の装置と通信することが可能である。例えば、端末20は、集音部200により集音された音声データや、操作表示部202に対して入力された文字列群などを、通信網22を介してサーバ10へ送信する。
なお、端末20は、有線または無線により入力装置(例えばキーボードやリモートコントローラなど)(図示せず)に接続され得る。この場合、端末20は、当該入力装置を用いてユーザが手入力(例えばキー入力)した文字列群をサーバ10へ送信することも可能である。
なお、図1では、端末20がスマートフォンである例を示しているが、かかる例に限定されない。例えば、端末20は、汎用PC(Personal Computer)、タブレット型端末、ゲーム機、スマートフォン以外の電話機、携帯型音楽プレーヤ、テレビジョン受信機、ロボット、または、例えばHMD(Head Mounted Display)、ヘッドセット、または、スマートウォッチなどのウェアラブルデバイスであってもよい。
<1-2.サーバ10>
サーバ10は、本開示における情報処理装置の一例である。サーバ10は、自然言語処理機能を有する。例えば、サーバ10は、後述する通信網22を介して端末20から受信される音声データに対して音声認識(クラウド音声認識)を行うことが可能である。また、サーバ10は、通信網22を介して端末20から受信される文字列群や、音声認識結果から得られる文字列群に対して各種の言語処理を行うことが可能である。
また、サーバ10は、当該文字列群に対する言語処理の結果に基づいて、当該文字列群に関して一以上のまとまりの単位(以下、「まとまり単位」と称する)を決定することが可能である。ここで、まとまり単位は、一以上の文字から構成される。例えば、まとまり単位は、一以上の語から構成され得る。より具体的には、言語が英語やドイツ語などである場合には、まとまり単位は一以上の単語から構成され、また、言語が日本語である場合には、まとまり単位は一以上の文節から構成され得る。
また、サーバ10は、端末20に対して例えば表示制御など各種の制御を行うことが可能である。例えば、サーバ10は、当該文字列群に関して決定したまとまり単位ごとに表示を区別して、当該文字列群を端末20に表示させる。
<1-3.通信網22>
通信網22は、通信網22に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網22は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、通信網22は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
<1-4.課題の整理>
以上、本実施形態による情報処理システムの構成について説明した。ところで、例えば、会議の議事録や小説など、文字数の多い文字列群が端末20に対して入力される場面も想定される。このような場合、仮にまとまり単位(例えば大きさなど)が固定的に設定されると、当該文字列群から得られるまとまり単位の表示時に文字列群全体の視認性が低くなるという問題がある。
ここで、図2および図3を参照して、上記の内容についてより詳細に説明する。例えば、図2に示したような文字列群30が音声入力や手入力により、ユーザにより入力されたとする。なお、図2に示した文字列群30(英文)は、「2008年11月4日のバラク・オバマ氏の演説」の書写の一部である(“Transcript:‘This is your victory’,says Obama” CNN.com.2008.<http://edition.cnn.com/2008/POLITICS/11/04/obama.transcript/>)。
この場合、文字列群30に対する言語処理の結果に基づいて、例えば図3に示したように、複数のまとまり単位400が決定され、表示画面40に表示される。しかしながら、文字列群30は長文であるので、まとまり単位400が固定的に設定される場合には、表示画面40上に多数のまとまり単位400が表示されてしまう。その結果、個々のまとまり単位が相対的に小さいようにユーザに知覚され得るので、文字列群の全体をユーザは視認し難くなる。
そこで、上記事情を一着眼点にして、本実施形態によるサーバ10を創作するに至った。本実施形態によるサーバ10は、所定の条件に基づいて、取得された文字列群に関するまとまり単位を動的に変更する。例えば、サーバ10は、文字列群の全体量(例えば文字数やまとまり単位の推定数など)に応じて、まとまり単位を逐次最適化することができる。
<<2.実施形態の詳細な説明>>
<2-1.構成>
次に、本実施形態による構成について詳細に説明する。図4は、本実施形態によるサーバ10の構成例を示した機能ブロック図である。図4に示すように、サーバ10は、制御部100、通信部120、および、記憶部122を有する。
{2-1-1.制御部100)
制御部100は、サーバ10に内蔵される、例えば、後述するCPU(Central Processing Unit)150や、後述するRAM(Random Access Memory)154などのハードウェアを用いて、サーバ10の動作を統括的に制御する。また、図4に示すように、制御部100は、音声認識部102、言語処理部104、変更部106、まとめ部108、および、表示制御部110を有する。
{2-1-2.音声認識部102}
音声認識部102は、例えば端末20から受信される音声データに対して音声認識を行い、文字列群に変換する。また、音声認識部102は、変換後の文字列群を言語処理部104に伝達する。
{2-1-3.言語処理部104}
言語処理部104は、本開示における取得部の一例である。言語処理部104は、音声認識部102から伝達される文字列群や、端末20から受信される文字列群を取得する。そして、言語処理部104は、取得した文字列群に対して各種の言語処理(例えば形態素解析、構文解析、および、意味解析など)を行う。例えば、言語処理部104は、まず、取得された文字列群に対して形態素解析を行う。次に、言語処理部104は、形態素解析の結果に基づいて、当該文字列群の構文解析を行う。例えば、言語処理部104は、当該文字列群に含まれる単語(英語などの場合)や文節(日本語などの場合)同士の係り受けの解析などを行う。そして、言語処理部104は、構文解析の結果に基づいて、当該文字列群の意味解析を行う。例えば、言語処理部104は、当該文字列群に含まれるモダリティの解析などを行う。
また、言語処理部104は、取得した文字列群、および、言語処理の結果を変更部106、まとめ部108、および、記憶部122へ伝達する。
{2-1-4.変更部106}
(2-1-4-1.まとまり単位の変更判定)
変更部106は、本開示における変更部の一例である。変更部106は、所定の条件に基づいて、取得された文字列群に関するまとまり単位を決定する。ここで、所定の条件は、互いに異なる複数の条件(互いに重複しない複数の条件)を含み得る。なお、所定の条件の具体例については後述する。
‐判定例1
例えば、新たに文字列群が取得された場合、変更部106は、過去に取得済みの文字列群(以下、「変更前の文字列群」と称する)が当該複数の条件のうちいずれを満たすかに基いて、当該変更前の文字列群のまとまり単位を変更するか否かを決定する。または、この場合、変更部106は、当該変更前の文字列群に対して当該新たに取得された文字列群が追加された文字列群(以下、「変更後の文字列群」と称する)が当該複数の条件のうちいずれを満たすかに基いて、当該変更前の文字列群のまとまり単位を変更するか否かを決定する。ここで、変更前の文字列群は、本開示における第1の文字列群の一例である。また、新たに取得された文字列群は、本開示における第2の文字列群の一例である。また、変更後の文字列群は、本開示における第3の文字列群の一例である。
例えば、変更部106は、当該複数の条件のうち変更前の文字列群が満たす条件と、(当該複数の条件のうち)変更後の文字列群が満たす条件とを比較することにより、変更前の文字列群のまとまり単位を変更するか否かを決定する。より具体的には、変更前の文字列群が満たす条件と、変更後の文字列群が満たす条件とが異なる場合には、変更部106は、変更前の文字列群のまとまり単位を変更することを決定する。また、変更前の文字列群が満たす条件と、変更後の文字列群が満たす条件とが同一である場合には、変更部106は、変更前の文字列群のまとまり単位を変更しないことを決定する。
なお、新たに文字列群が取得される度に、変更部106は、当該文字列群の取得時より過去に取得済みの文字列群(つまり、変更前の文字列群)が満たす条件と、当該新たに取得された文字列群の追加後の文字列群(つまり、変更後の文字列群)が満たす条件とが同一であるか否かを逐次比較し、そして、当該変更前の文字列群のまとまり単位を変更するか否かを決定する。
‐判定例2
または、すでに取得済みの文字列群(変更前の文字列群)に対する編集情報が取得された場合には、変更部106は、当該変更前の文字列群が満たす条件と、当該編集情報に基づいて当該変更前の文字列群が変更された文字列群(つまり、変更後の文字列群)が満たす条件とを比較することにより、当該変更前の文字列群のまとまり単位を変更するか否かを決定することも可能である。ここで、編集情報は、該当の文字列群に対する所定の記号(例えば「,」、「.」、「?」など)の挿入や、該当の文字列群の一部の削除などの情報であり得る。
‐条件例1:文字数
ここで、上述した所定の条件の具体例について説明する。例えば、当該所定の条件は、文字列群に含まれる文字の数の範囲に関する複数の条件を含み得る。例えば、当該複数の条件は、条件A1、条件A2、条件A3などを含み、そして、条件A1は「(文字列群に含まれる)文字の数が0以上100未満であること」、条件A2は「文字の数が100以上200未満であること」、かつ、条件A3は「文字の数が200以上300未満であること」などのように定められ得る。この場合、変更前の文字列群が満たす条件と変更後の文字列群が満たす条件とが異なり、かつ、変更前の文字列群に含まれる文字の数よりも、変更後の文字列群に含まれる文字の数の方が多い場合には、変更部106は、変更前の文字列群のまとまり単位を大きくする(変更する)ことを決定する。
なお、当該複数の条件の各々と閾値(例えば、各条件における文字数の範囲の下限値)とが関連付けてテーブルに登録されていてもよい。この場合、変更部106は、変更前(または変更後)の文字列群に含まれる文字の数と、個々の条件に関連付けられている閾値とをそれぞれ比較することにより、変更前(または変更後)の文字列群が満たす条件を特定し得る。例えば、条件A1の閾値が「0」、条件A2の閾値が「100」、かつ、条件A3の閾値が「200」とそれぞれ登録されており、かつ、変更前の文字列群に含まれる文字数が「80」であるとする。この場合、当該文字列群に含まれる文字数は、条件A1の閾値以上であり、かつ、条件A2の閾値よりも小さいので、変更部106は、当該文字列群が満たす条件を条件A1と特定してもよい。
‐条件例2:まとまり単位の数
または、当該所定の条件は、文字列群のまとまり単位の数に関する複数の条件を含み得る。例えば、当該複数の条件は、条件B1および条件B2を含み、そして、条件B1は「文字列群のまとまり単位の数(または推定数)が10未満であること」、かつ、条件B2は、「文字列群のまとまり単位の数(または推定数)が10以上であること」などのように定められ得る。この場合、変更前の文字列群が満たす条件と変更後の文字列群が満たす条件とが異なり、かつ、変更前の文字列群のまとまり単位の数よりも、変更後の文字列群のまとまり単位の数の方が多い場合には、変更部106は、変更前の文字列群のまとまり単位を大きくする(変更する)ことを決定する。
なお、変更後の文字列群のまとまり単位の数は、以下のように算出され得る。例えば、文字列群が新たに取得される場合に関しては、当該新たに取得された文字列群を現在の設定基準を用いてまとめた場合におけるまとまり単位の推定数と、当該変更前の文字列群のまとまり単位の数との和として、当該変更後の文字列群のまとまり単位の数は算出される。また、文字列群が削除される場合に関しては、当該変更後の文字列群のまとまり単位の数は、当該削除後に残るまとまり単位の数である。なお、上記の設定基準は、例えば、文字列群に関するまとまり単位の数に関する制約条件(例えばまとまり単位の数が10以下など)であってもよいし、または、一つのまとまり単位に含まれる文字数に関する制約条件(例えば20文字以下など)などであってもよい。
‐条件例3:言語処理結果
または、当該所定の条件は、文字列群に関する言語処理結果に関する複数の条件を含み得る。ここで、言語処理結果は、該当の文字列群から解析された、例えば特定の「句」(例えば名詞句など)の数、特定の「品詞」(例えば名詞など)の数、または、自立語の数(日本語などの場合)などである。例えば、当該複数の条件は、条件C1、条件C2、条件C3などを含み、そして、条件C1は「(文字列群に含まれる)名詞の数が0以上10未満であること」、条件C2は「名詞の数が10以上20未満であること」、かつ、条件C3は「名詞の数が20以上30未満であること」などのように定められ得る。この場合、変更前の文字列群が満たす条件と変更後の文字列群が満たす条件とが異なり、かつ、変更前の文字列群に含まれる名詞の数よりも、変更後の文字列群に含まれる名詞の数の方が多い場合には、変更部106は、変更前の文字列群のまとまり単位を大きくする(変更する)ことを決定する。この条件例によれば、文字列群の情報量が多いほどまとまり単位をより大きくし得る。従って、文字列群の情報量を反映させて文字列群をまとめることが可能になる。
‐条件例4:音素の数
または、所定の条件は、文字列群に対応する音素の数の範囲に関する複数の条件を含み得る。例えば、当該複数の条件は、条件D1、条件D2、条件D3などを含み、そして、条件D1は「(文字列群に対応する)音素の数が0以上80未満であること」、条件D2は「音素の数が80以上160未満であること」、かつ、条件D3は「音素の数が160以上240未満であること」などのように定められ得る。この場合、変更前の文字列群が満たす条件と変更後の文字列群が満たす条件とが異なり、かつ、変更前の文字列群に対応する音素の数よりも変更後の文字列群に対応する音素の数の方が多い場合には、変更部106は、変更前の文字列群のまとまり単位を大きくする(変更する)ことを決定する。なお、音素の数は、該当の文字列群に対応する音声認識結果から特定されてもよいし、該当の文字列群に対する言語処理結果から特定されてもよい。
‐条件例5:モダリティ
または、当該所定の条件は、文字列群から解析されるモダリティに関する複数の条件を含み得る。例えば、当該複数の条件は、文字列群から解析されるモダリティの数の範囲に関する複数の条件である。一例として、当該複数の条件は、条件E1、条件E2、条件E3などを含み、そして、条件E1は「(文字列群から解析される)モダリティの数が0であること」、条件E2は「モダリティの数が1であること」、かつ、条件E3は「モダリティの数が2であること」などのように定められ得る。この場合、変更前の文字列群が満たす条件と変更後の文字列群が満たす条件とが異なり、かつ、変更前の文字列群から解析されるモダリティの数よりも、変更後の文字列群から解析されるモダリティの数の方が多い場合には、変更部106は、変更前の文字列群のまとまり単位を大きくする(変更する)ことを決定する。なお、対象のモデリティの種類は、任意の種類であってもよいし、または、特定の種類であってもよい。
‐条件例6:ユーザの編集情報
または、当該所定の条件は、ユーザの編集情報の有無に関する条件を含み得る。例えば、所定の条件は、「ユーザの編集情報が取得され、かつ、当該編集情報に基づいて該当の文字列群が変更されたこと」であり得る。この場合、変更後の文字列群が当該所定の条件を満たす場合には、変更部106は、当該編集情報に応じて、変更前の文字列群のまとまり単位を変更することを決定する。なお、編集情報の内容は上記の説明と同様であり得る。
‐条件の組み合わせ
または、当該所定の条件は、上述した複数の種類の条件を含んでもよい。この場合、複数の種類の条件に関して、変更前の文字列群が満たす条件の組み合わせと、変更後の文字列群が満たす条件の組み合わせとが異なる場合には、変更部106は、変更前の文字列群のまとまり単位を変更することを決定し得る。また、当該変更前の文字列群が満たす条件の組み合わせと、当該変更後の文字列群が満たす条件の組み合わせとが同一である場合には、変更部106は、変更前の文字列群のまとまり単位を変更しないことを決定し得る。
例えば、当該複数の条件が、文字列群に含まれる文字の数の範囲に関する複数の条件と、文字列群に関するまとまりの単位の数に関する複数の条件とから構成されるとする。そして、変更前の文字列群の文字数が「80」であり、変更前の文字列群のまとまり単位の数が「9」であり、変更後の文字列群の文字数が「95」であり、かつ、(仮に、新たに取得された文字列群を現在の設定基準を用いてまとめた場合における)変更後の文字列群のまとまり単位の数が「11」であるとする。この場合、変更前の文字列群が満たす条件の組み合わせは(条件A1、条件B1)であり、また、変更後の文字列群が満たす条件の組み合わせは(条件A1、条件B2)であるので、両者は異なる。このため、変更部106は、変更前の文字列群のまとまり単位を変更する(大きくする)ことを決定する。
(2-1-4-2.まとまり単位に関する設定基準の変更)
さらに、まとまり単位を変更することを決定した場合には、変更部106は、例えば記憶部122に記憶されている、まとまり単位に関する現在の設定基準を、まとまり単位の変更内容に応じて変更する。
例えば、上述した複数の条件と、まとまり単位に関する設定基準とが関連付けられた設定基準テーブル124が準備され得る。この場合、まとまり単位を変更することを決定した場合には、変更部106は、設定基準テーブル124において、変更後の文字列群が満たす条件に関連付けられている設定基準に(現在の設定基準を)変更し、そして、記憶部122の内容を更新してもよい。
図5は、設定基準テーブル124の構成例を示した説明図である。図5に示したように、設定基準テーブル124では、例えば、まとめレベル1240、条件1242、および、設定基準1244が関連付けられる。なお、図5では、条件1242が、文字列群に含まれる文字数の範囲に関する複数の条件である例を示している。また、設定基準1244が、まとまり単位の変更時におけるまとまり単位の数に関する設定基準(制約条件)である例を示している。図5に示した例では、変更後の文字列群に含まれる文字数が「100以上199以下」であり、かつ、まとまり単位を変更することを決定した場合には、変更部106は、現在の設定基準から、まとめレベルが「2」の設定基準(つまり、まとまり単位の変更時におけるまとまり単位数を「7」に定める設定基準)へ変更する。
{2-1-5.まとめ部108}
まとめ部108は、本開示における変更部の一例である。まとめ部108は、(変更部106による)まとまり単位の変更に関する判定結果と、記憶部122に記憶されている、まとまり単位に関する設定基準とに基いて、当該文字列群をまとめる。例えば、変更前の文字列群のまとまり単位を変更することが変更部106により決定された場合には、まとめ部108は、変更後の文字列群が当該設定基準を満たすように、変更前の文字列群のまとまり単位を変更する。
(2-1-5-1.まとまり単位の接合)
例えば、変更前の文字列群のまとまり単位を大きくすることが決定された場合には、まとめ部108は、まず、当該設定基準に基いて接合対象の複数のまとまり単位の組を一以上選択し、そして、選択した組ごとに、当該組に含まれる全てのまとまり単位を接合する。
一例として、まとめ部108は、変更前の文字列群における隣接するまとまり単位同士をそれぞれ接合する。
または、まとめ部108は、変更前の文字列群に含まれるモダリティを含むまとまり単位と、モダリティを含まない一以上のまとまり単位との組を接合対象として一以上選択し、そして、選択した組ごとに、当該組に含まれる全てのまとまり単位を接合する。例えば、当該文字列群の言語が日本語であり、かつ、変更前の文字列群に関する個々のまとまり単位が一つの文節である場合には、まとめ部108は、まず、変更前の文字列群に含まれる、モダリティを含む文節、および、当該文節よりも前に位置するモダリティを含まない文節全ての組をそれぞれ接合対象として選択する。そして、まとめ部108は、選択した組ごとに、当該組に含まれる全ての文節を接合する。
または、まとめ部108は、複数のまとまり単位同士の関係性に基づいて、複数のまとまり単位を接合する。例えば、まとめ部108は、変更前の文字列群において係り受けの関係にあるまとまりの単位同士を接合する。
または、まとめ部108は、変更前の文字列群に関して先頭から所定の個数のまとまり単位ずつを接合対象の組としてそれぞれ選択し、そして、選択した組ごとに、当該組に含まれる全てのまとまり単位を接合する。
(2-1-5-2.まとまり単位の分割)
また、変更前の文字列群のまとまり単位を小さくすることが変更部106により決定された場合には、まとめ部108は、まず、当該設定基準に基いて分割対象のまとまり単位を一以上選択し、そして、選択したまとまり単位をそれぞれ2つ以上のまとまり単位に分割する。
例えば、当該文字列群の言語が英語などである場合には、まとめ部108は、分割対象として選択したまとまり単位ごとに、当該まとまり単位から分割される個々のまとまり単位に含まれる単語数がほぼ均等になるように当該まとまり単位を分割する。または、当該文字列群の言語が日本語である場合には、まとめ部108は、分割対象として選択したまとまり単位ごとに、当該まとまり単位から分割される個々のまとまり単位に含まれる文節数がほぼ均等になるように当該まとまり単位を分割する。
(2-1-5-3.新たな文字列群のまとまり単位)
また、新たに文字列群が取得された場合に関しては、まとめ部108は、例えば記憶部122に記憶されている、最新の設定基準に基いて、当該新たに取得された文字列群のまとまり単位を決定する。つまり、追加後の文字列群(すなわち、変更前の文字列群、および、新たに取得された文字列群)は全て、同一の設定基準に基いてまとめられる。
{2-1-6.表示制御部110}
表示制御部110は、端末20に対して、取得済みの文字列群を表示させる制御を行う。例えば、表示制御部110は、まとめ部108によりまとめられたまとまり単位ごとに区別して、当該文字列群を(端末20の)表示画面に表示させる。
また、変更前の文字列群のまとまり単位を変更することが変更部106により決定された場合には、表示制御部110は、変更(接合や分割)されたまとまり単位を強調して表示画面に表示させることも可能である。例えば、表示制御部110は、変更されたまとまり単位の表示色を、デフォルトの表示色(換言すれば、変更されないまとまり単位の表示色)とは異ならせて表示させてもよい。なお、より具体的な内容に関しては図10を参照して後述する。
または、例えば、複数のまとまり単位が接合される場合には、表示制御部110は、接合されたまとまり単位に関して、接合前の個々のまとまり単位の位置を明示するように表示させてもよい。一例として、表示制御部110は、接合後のまとまり単位の表示領域において該当の位置に破線を表示させたり、または、該当の位置または近傍だけ別の形状(例えば、くびれた形など)に変形して表示させてもよい。
または、一以上のまとまり単位が変更される場合には、表示制御部110は、該当のまとまり単位の変更を示すアニメーションを表示させてもよい。例えば、変更前の文字列群に関する複数のまとまり単位が接合される場合には、表示制御部110は、当該複数のまとまり単位が徐々に接近していき、そして、接合されるようなアニメーションを表示させてもよい。また、一つのまとまり単位が2つ以上に分割される場合には、表示制御部110は、分割前のまとまり単位が徐々に分離していき、そして、2つ以上のまとまり単位が形成されるようなアニメーションを表示させてもよい。
{2-1-7.通信部120}
通信部120は、例えば通信網22を介して他の装置との間で情報の送受信を行う。例えば、通信部120は、音声データや、手入力された文字列群を端末20から受信する。また、通信部120は、表示制御部110の制御に従って、取得済みの文字列群をまとまり単位ごとに区別して表示させるための制御情報を端末20へ送信する。
{2-1-8.記憶部122}
記憶部122は、各種のデータや各種のソフトウェアを記憶する。例えば、記憶部122は、取得済みの文字列群と、当該文字列群に関するまとまり単位とを関連付けて(一時的に)記憶する。また、図4に示すように、記憶部122は、設定基準テーブル124を記憶し得る。なお、設定基準テーブル124は、記憶部122に記憶される代わりに、サーバ10が通信可能な他の装置(図示せず)に記憶されてもよい。
<2-2.適用例>
以上、本実施形態による構成について説明した。次に、本実施形態の適用例について、図6~図14を参照して説明する。なお、ここでは、ユーザが、図2に示した文字列群30の一部ずつを端末20に対して発話(音声入力)する例について説明する。
{2-2-1.発話1}
例えば、図6に示したように、まず、ユーザは、“And while she’s no longer with us,”という発話30aを端末20に対して行ったとする。この場合、端末20は、集音された音声データをサーバ10へ送信する。そして、サーバ10の音声認識部102は、受信された音声データに対して音声認識を行い、文字列群に変換する。
続いて、言語処理部104は、当該文字列群に対して各種の言語処理を行う。そして、まとめ部108は、言語処理部104による当該文字列群の解析結果と、例えば記憶部122に予め記憶されている、まとまり単位に関する設定基準とに基いて、当該文字列群をまとめる。
その後、表示制御部110は、まとめ部108によりまとめられたまとまり単位400ごとに区別して(例えば図6に示したように枠で囲うなど)、当該文字列群を(端末20の)表示画面に表示させる。
また、図6に示したように、表示制御部110は、一番後ろに位置するまとまり単位400cの後に、現在の入力位置を示すキャレット402をさらに表示させてもよい。この場合、ユーザは、例えば端末20に対する手入力により、任意の文字列(例えば「,」や「.」など)をキャレット402の表示位置に追加することができる。また、ユーザは、例えば修正を希望するまとまり単位の位置までキャレット402を移動させ、そして、当該まとまり単位を選択することにより、当該まとまり単位を編集することもできる。例えば、ユーザは、当該まとまり単位を削除したり、または、当該まとまり単位のみを再度発話し直すことにより、当該まとまり単位に対応する文字列群を修正することができる。従って、ユーザは、該当の文字列群を容易に編集することができる。
{2-2-2.発話2}
その後、図7に示したように、ユーザは、“I know my grandmother’s watching,”という発話30bを端末20に対して行ったとする。この場合、図6に示した例と同様に、端末20は、集音された音声データをサーバ10へ送信し、そして、サーバ10の音声認識部102は、受信された音声データに対して音声認識を行い、文字列群に変換する。そして、言語処理部104は、(音声認識部102から)新たに取得される文字列群(つまり、発話30bに対応する文字列群)に対して各種の言語処理を行う。
その後、変更部106は、複数の条件のうち、過去に取得済みの文字列群、つまり図6に示した文字列群50aが満たす条件を特定する。次に、変更部106は、文字列群50aに当該新たに取得された文字列群が追加された文字列群、つまり図7に示した文字列群50bが満たす条件を特定する。そして、変更部106は、特定した2つの条件を比較する。なお、図7に示した例では、当該2つの条件は同一であるものとする。この場合、変更部106は、追加前の文字列群50aのまとまり単位を変更しないことを決定する。
そして、まとめ部108は、図6に示した例と同じ設定基準を用いて、当該新たに取得された文字列群のまとまり単位を決定する。そして、図7に示したように、これらのまとまり単位(例えば図7に示したまとまり単位400cなど)は、表示画面40に追加表示される。
{2-2-3.発話3}
その後、図8に示したように、ユーザは、“along with the family that made me who I am.”という発話30cを端末20に対して行ったとする。なお、この場合、(図7に示した)過去に取得済みの文字列群50bが満たす条件と、新たに取得された文字列群(つまり発話30cに対応する文字列群)の追加後の文字列群50cが満たす条件とは同一であるものとする。従って、当該追加前の文字列群50bのまとまり単位は変更されない。また、新たに取得された文字列群は、図6に示した例と同じ設定基準を用いてまとめられる。そして、図8に示したように、これらのまとまり単位は、表示画面40に追加表示される。
{2-2-4.発話4}
その後、図9に示したように、ユーザは、“I miss them tonight.”という発話30dを端末20に対して行ったとする。なお、この場合、(図8に示した)過去に取得済みの文字列群50cが満たす条件と、新たに取得された文字列群(つまり発話30dに対応する文字列群)の追加後の文字列群50dが満たす条件とは異なるものとする。つまり、追加後の文字列群50dの量(例えば文字数やまとまり単位の推定数など)が所定の量以上になったとする。
この場合、サーバ10の変更部106は、追加前の文字列群50cのまとまり単位を大きくすること、および、まとまり単位に関する設定基準を変更することを決定する。そして、変更部106は、記憶部122に記憶されている、まとまり単位に関する設定基準を更新する。続いて、まとめ部108は、変更後の設定基準に基いて、追加前の文字列群50cのまとまり単位を変更する。さらに、まとめ部108は、当該変更後の設定基準に基いて、当該新たに取得された文字列群のまとまり単位を決定する。
図10は、追加前の文字列群50cのまとまり単位が変更されたことによる、表示の変更例を示した説明図である。図10に示したように、表示制御部110は、まとまり単位の変更に基いて、(図8に示した)表示画面40cから、当該変更が反映された表示画面40dへと表示を変化させる。例えば、図10に示したように、(追加前の文字列群50cにおける)まとまり単位400aおよびまとまり単位400bの代わりに、まとまり単位410aが表示される。同様に、(追加前の文字列群50cにおける)まとまり単位400dおよびまとまり単位400eの代わりに、まとまり単位410bが表示される。このように、取得済みの文字列群の全体量が所定の量以上になった場合には、一部のまとまり単位が大きくなる。従って、(文字列群の増加前と比べて)表示画面40において個々のまとまり単位の大きさがほとんど変化していないようにユーザに知覚され得るので、文字列群の全体の視認性を維持することができる。
また、例えば、修正を希望するまとまり単位のみを再度発話し直すことにより、当該まとまり単位に対応する文字列群をユーザは修正することができる。つまり、入力済みの文字列群全てを再び最初から入力する必要がないので、特に音声入力時におけるユーザの利便性が高い。
{2-2-5.発話5}
その後、図11に示したように、ユーザは、“I know that my debt to them is beyond measure.”という発話30eを端末20に対して行ったとする。なお、この場合、(図9に示した)過去に取得済みの文字列群50dが満たす条件と、新たに取得された文字列群(つまり発話30eに対応する文字列群)の追加後の文字列群50eが満たす条件とは同一であるものとする。従って、当該追加前の文字列群50dのまとまり単位は変更されない。また、新たに取得された文字列群は、図9に示した例と同じ設定基準を用いてまとめられる。そして、図11に示したように、これらのまとまり単位は、表示画面40に追加表示される。
{2-2-6.発話6}
その後、図12に示したように、ユーザは、“To my sister Maya, my sister Alma, all my other brothers and sisters,”という発話30fを端末20に対して行ったとする。なお、この場合も、(図11に示した)過去に取得済みの文字列群50eが満たす条件と、新たに取得された文字列群(つまり発話30fに対応する文字列群)の追加後の文字列群50fが満たす条件とは同一であるものとする。従って、当該追加前の文字列群50eのまとまり単位は変更されない。また、新たに取得された文字列群は、図9に示した例と同じ設定基準を用いてまとめられる。そして、図12に示したように、これらのまとまり単位は、表示画面40に追加表示される。
{2-2-7.発話7}
その後、図13に示したように、ユーザは、“thank you so much for all the support that you’ve given me.”という発話30gを端末20に対して行ったとする。なお、この場合、(図12に示した)過去に取得済みの文字列群50fが満たす条件と、新たに取得された文字列群(つまり発話30gに対応する文字列群)の追加後の文字列群50gが満たす条件とは異なるものとする。つまり、追加後の文字列群50gの量は、まとまり単位の大きさが直近に変更された文字列群(具体的には、図9に示した文字列群50d)からさらに所定の量以上増えたとする。
この場合、サーバ10の変更部106は、追加前の文字列群50fのまとまり単位を大きくすること、および、まとまり単位に関する設定基準を変更することを決定する。そして、変更部106は、記憶部122に記憶されている、まとまり単位に関する設定基準を更新する。続いて、まとめ部108は、変更後の設定基準に基いて、追加前の文字列群50fのまとまり単位を変更する。さらに、まとめ部108は、当該変更後の設定基準に基いて、当該新たに取得された文字列群のまとまり単位を決定する。
図14は、追加前の文字列群50fのまとまり単位が変更されたことによる、表示の変更例を示した説明図である。図14に示したように、表示制御部110は、まとまり単位の変更に基いて、(図12に示した)表示画面40fから、当該変更が反映された表示画面40gへと表示を変化させる。例えば、図14に示したように、(追加前の文字列群50fにおける)まとまり単位400aおよびまとまり単位400bの代わりに、まとまり単位410aが表示される。このように、取得済みの文字列群の全体量がさらに所定の量以上増えた場合には一部のまとまり単位がさらに大きくなる。従って、文字列群の全体の視認性を維持することができる。
<2-3.動作>
以上、本実施形態の適用例について説明した。次に、本実施形態による動作について、図15および図16を参照して説明する。なお、ここでは、ユーザが端末20に対して文字列群を音声入力する場面における動作例について説明する。なお、本動作は、例えばユーザが音声入力アプリケーションを起動する度に繰り返される。
{2-3-1.動作の全体の流れ}
図15は、本実施形態による動作の全体的な流れを示したフローチャートである。図15に示したように、まず、例えば、端末20に対するユーザの所定の操作に基いて、端末20は音声入力アプリケーションを起動する。そして、集音部200は、集音を開始する(S101)。
そして、音声入力の終了の操作がなされない間は(S103:No)、以下のS105~S119の処理が繰り返される。具体的には、まず、(すでに入力済みの)文字列群に対する手入力による編集が検出された場合には(S105:Yes)、端末20は、当該編集内容を示す編集情報をサーバ10へ送信する。そして、サーバ10は、受信された編集情報に基づいて、現在までに取得済みの文字列群を編集する(S107)。その後、サーバ10は、後述するS117の処理を行う。
一方、手入力による編集が検出されない場合には(S105:No)、端末20は、集音部200により集音された音声データをサーバ10へ送信する(S109)。
その後、サーバ10の音声認識部102は、S109で受信された音声データに対して音声認識を行い、文字列群に変換する(S111)。
続いて、言語処理部104は、S111で取得された文字列群に対して言語処理を行う(S113)。
続いて、過去(つまりS101以後で、かつ、直近のS111より前)に取得済みの文字列群が存在する場合には、言語処理部104は、当該取得済みの文字列群に対して、S111で取得された文字列群を追加した文字列群(つまり、変更後の文字列群)を得る(S115)。
その後、サーバ10は、後述する「まとまり単位の変更処理」を行う(S117)。
その後、表示制御部110は、S115もしくはS107における変更後の文字列群を、S117で決定されたまとまり単位ごとに区別して端末20に表示させる(S119)。そして、再びS103の処理が行われる。
なお、S103において、音声入力の終了の操作がなされた場合には(S103:Yes)、端末20は、集音部200に集音を終了させ、そして、音声入力アプリケーションを終了する(S121)。そして、本動作は終了する。
{2-3-2.まとまり単位の変更処理}
次に、図16を参照して、S117における「まとまり単位の変更処理」の流れについて詳細に説明する。図16に示したように、まず、変更部106は、予め設定されている複数の条件のうち、直近のS115もしくはS107よりも前に取得済みの文字列群(つまり、変更前の文字列群)が満たす条件を特定する(S151)。
続いて、変更部106は、当該複数の条件のうち、S115もしくはS107における変更後の文字列群が満たす条件を特定する(S153)。
そして、変更部106は、S151で特定された条件とS153で特定された条件とが同じであるか否かを判定する(S155)。両者が同じである場合には(S155:Yes)、変更部106は、当該変更前の文字列群のまとまり単位を変更しないことを決定する(S157)。続いて、まとめ部108は、例えば記憶部122に記憶されている、まとまり単位に関する設定基準に基いて、直近のS111で取得された文字列群(つまり新たに取得された文字列群)に関してまとまり単位を決定する(S159)。これにより、変更後の文字列群に関して全てのまとまり単位が確定する。
一方、S155において両者が異なる場合には(S155:No)、変更部106は、S153で特定された条件(つまり変更後の文字列群が満たす条件)に基いて、例えば記憶部122に記憶されている、まとまり単位に関する設定基準を変更し、そして、記憶部122の内容を更新する(S161)。
続いて、まとめ部108は、S161で変更された設定基準に基いて、変更前の文字列群のまとまり単位を変更する(S163)。
その後、まとめ部108は、S161で変更された設定基準に基いて、直近のS111で取得された文字列群に関してまとまり単位を決定する(S165)。これにより、変更後の文字列に関して全てのまとまり単位が確定する。
{2-3-3.変形例}
なお、本実施形態による動作は、上述した例に限定されない。例えば、図15では、音声入力によりユーザが文字列群を繰り返し入力する動作例を示しているが、かかる例に限定されない。例えばキー入力などの手入力により、ユーザが文字列群を繰り返し入力する場面にも、上述した動作例は概略同様に適用され得る。この場合、例えばS109では、端末20は、手入力された文字列群をサーバ10へ送信する。また、S111の処理は省略される。
<2-4.効果>
以上説明したように、本実施形態によれば、サーバ10は、所定の条件に基づいて、例えば音声入力や手入力などに基いて取得された文字列群のまとまり単位を動的に変更する。これにより、例えば、文字列群の全体量(例えば文字数など)に応じて、まとまり単位を逐次最適化することができる。
例えば、過去に取得済みの文字列群が変更された場合(新たに文字列群が追加されたり、削除される場合など)には、サーバ10は、当該変更に応じて、変更前の文字列群のまとまり単位の大きさを動的に変更する。このため、文字列群の全体量が増減しても、表示される個々のまとまり単位の大きさがほとんど変化しないようにユーザに知覚され得る。従って、文字列群の全体の視認性を維持することができる。
また、すでに入力済みの文字列群の一部の修正をユーザが希望する場合には、ユーザは、表示画面に表示されているまとまり単位の中から修正を希望するまとまり単位のみを再度発話し直すことにより、当該まとまり単位に対応する文字列群を容易に修正することができる。つまり、入力済みの文字列群全てを再び最初から発話したり、手入力する必要がないので、ユーザの利便性が高い。
<<3.ハードウェア構成>>
次に、本実施形態によるサーバ10のハードウェア構成について、図17を参照して説明する。図17に示すように、サーバ10は、CPU150、ROM(Read Only Memory)152、RAM154、バス156、インターフェース158、ストレージ装置160、および通信装置162を備える。
CPU150は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ10内の動作全般を制御する。また、CPU150は、サーバ10において制御部100の機能を実現する。なお、CPU150は、マイクロプロセッサなどのプロセッサにより構成される。
ROM152は、CPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
RAM154は、例えば、CPU150により実行されるプログラムなどを一時的に記憶する。
バス156は、CPUバスなどから構成される。このバス156は、CPU150、ROM152、およびRAM154を相互に接続する。
インターフェース158は、ストレージ装置160および通信装置162を、バス156と接続する。
ストレージ装置160は、記憶部122として機能する、データ格納用の装置である。ストレージ装置160は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
通信装置162は、例えば通信網22などに接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置162は、無線LAN対応通信装置、LTE(Long Term Evolution)対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置162は、通信部120として機能する。
<<4.変形例>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
<4-1.変形例1>
例えば、上述した実施形態では、過去に取得済みの文字列群がユーザに削除される場合でも、サーバ10は、当該文字列群のまとまり単位を動的に変更する(分割する)例について説明したが、かかる例に限定されない。例えば、過去に取得済みの文字列群がユーザに削除される場合で、かつ、特定の条件が成立する場合には、サーバ10は、当該文字列群のまとまり単位を維持してもよい。
一例として、削除される文字列群と同じ分量(例えば文字数やまとまり単位の推定数など)の文字列群が当該削除後に新たに入力されることが予め予測される場合には、サーバ10は、文字列群が削除されたとしても、(削除前の)文字列群のまとまり単位を維持してもよい。なお、同じ分量の文字列群が入力されることが予め予測される場合の一例は、所定の時間内においてユーザが推敲していることが推定される場合などであり得る。また、ユーザによる推敲が推定される場合の一例は、所定の時間内において削除前の文字列群に対してユーザが数文字程度削除したり、修正している場合などであり得る。
また、例えば文字列群の削除前や削除中などに、まとまり単位を維持するための指定情報をユーザが入力した場合にも、サーバ10は、文字列群が削除されたとしても、(削除前の)文字列群のまとまり単位を維持してもよい。なお、例えば表示画面に対する所定の入力や所定の音声コマンドの入力などにより、当該指定情報は入力され得る。
<4-2.変形例2>
{4-2-1.文}
また、上述した実施形態では、基本的に語(例えば言語が英語などである場合には単語、また、言語が日本語などである場合には文節)を単位として、まとまり単位が構成される例について説明したが、本開示はかかる例に限定されない。例えば、まとまり単位は、文単位で構成されてもよい。この場合、例えば、文字列群のまとまり単位を大きくすることをサーバ10が決定した場合には、サーバ10は、該当の文字列群において隣接する二文ずつを接合してもよい。
または、サーバ10は、隣接する文同士の意味の関係性に基いて接合対象の文を決定してもよい。例えば、サーバ10は、意味の関連度がより高い文同士を優先的に接合対象として決定してもよい。
または、ユーザが複数存在する場合には、サーバ10は、文を発話(入力)したユーザに応じて接合対象の文を決定してもよい。例えば、連続する二文を発話(入力)したユーザが同一である場合には、サーバ10は、当該二文を接合対象とする。また、連続する二文に関して、発話(入力)したユーザが文ごとに異なる場合には、サーバ10は、当該二文を接合対象としない。この決定例によれば、例えば会議の議事録の作成時などにおいて、作成者は、当該会議において同じ人物が発話した文を一括して削除したり、抽出することができるので、利便性が高い。
または、サーバ10は、連続する二文を発話(入力)したユーザの関係性に基いて接合対象の文を決定してもよい。例えば、二人のユーザがそれぞれ一文ずつ発話し、かつ、当該二人のユーザが家族や友人である場合には、サーバ10は、当該二文を接合対象とする。また、当該二人のユーザが知人ではない場合には、サーバ10は、当該二文を接合対象としない。なお、例えば個々のユーザが使用する端末20の識別情報、集音された音声の解析結果、または、利用中のアプリケーションやサービスにおけるアカウントなどに基いて、個々のユーザは識別され得る。
{4-2-2.対話}
または、まとまり単位は、質問文と回答文の組を単位として構成されてもよい。例えば、質問A、(質問Aに対する)回答A、質問B、(質問Bに対する)回答B、というように、質問と回答とが交互に発話(入力)されたとする。この場合、サーバ10は、質問と当該質問に対する回答との組(例えば、質問Aおよび回答Aの組など)をまとまり単位としてもよい。なお、質問および回答はそれぞれ一文であってもよいし、複数の文であってもよい。この変形例によれば、例えば、インタビュー記事の作成時などにおいて、作成者は、質問単位で、当該質問と当該質問に対する回答との組を一括して削除したり、抽出することができるので、利便性が高い。なお、例えば、文に含まれるモダリティの解析結果、文の構文解析や意味解析の結果、または、集音された音声のイントネーションの解析結果などに基いて、質問文や回答文は特定され得る。
{4-2-3.トピック}
または、まとまり単位は、トピックを単位として構成されてもよい。例えば、複数のユーザの間で、3種類のトピック(例えば、プロジェクトA、プロジェクトB、および、プロジェクトCなど)に関する対話が行われたとする。この場合、サーバ10は、トピックごとに、当該トピックに関して複数のユーザが発話(入力)した文全てをまとまり単位としてもよい。
<4-3.変形例3>
また、本実施形態による情報処理システムの構成は、図1に示した例に限定されない。例えば、図1では、サーバ10が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、上述したサーバ10の機能が実現されてもよい。また、図1では、端末20が一台だけ図示されているが、かかる例に限定されず、当該情報処理システムは、端末20を複数台含み得る。
<4-4.変形例4>
また、本実施形態によるサーバ10の構成は、図4に示した例に限定されない。例えば、音声認識部102、言語処理部104、および、表示制御部110のうちの少なくとも一以上は、サーバ10に含まれる代わりに、例えば端末20など、サーバ10が通信可能な他の装置に含まれてもよい。
<4-5.変形例5>
また、上述した実施形態では、本開示における情報処理装置がサーバ10である例について説明したが、本開示はかかる例に限定されない。例えば、少なくとも変更部106およびまとめ部108の機能を端末20が有する場合には、当該情報処理装置は、端末20であってもよい。この場合、例えば、端末20は、まず、集音した音声データや手入力された文字列群をサーバ10へ送信する。そして、端末20は、当該音声データに対する音声認識により得られる文字列群や、取得された文字列群に対する各種の言語処理結果をサーバ10から受信する。そして、端末20は、これらの情報に基づいて、上述した変更部106およびまとめ部108の機能を実行可能である。
または、上述した制御部100に含まれる全ての構成要素を端末20が含んでもよい。この場合、サーバ10は必ずしも設置されなくてもよい。
<4-6.変形例6>
また、上述した実施形態の動作における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
また、上述した実施形態によれば、例えばCPU150、ROM152、およびRAM154などのハードウェアを、上述した実施形態によるサーバ10の構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1の文字列群を取得する取得部と、
前記第1の文字列群および所定の条件に基づいて、前記第1の文字列群に関するまとまりの単位を変更する変更部と、
を備える、情報処理装置。
(2)
前記所定の条件は、互いに異なる複数の条件を含み、
前記変更部は、前記第1の文字列群が前記複数の条件のうちのいずれを満たすかに基づいて、前記第1の文字列群に関するまとまりの単位を変更する、前記(1)に記載の情報処理装置。
(3)
前記所定の条件は、互いに異なる複数の条件を含み、
前記取得部は、第2の文字列群をさらに取得し、
前記変更部は、前記第1の文字列群に前記第2の文字列群が追加された文字列群である第3の文字列群が前記複数の条件のうちのいずれを満たすかに基づいて、前記第1の文字列群に関するまとまりの単位を変更する、前記(1)または(2)に記載の情報処理装置。
(4)
前記変更部は、前記複数の条件のうち前記第1の文字列群が満たす条件と、前記複数の条件のうち前記第3の文字列群が満たす条件との比較に基づいて、前記第1の文字列群に関するまとまりの単位を変更する、前記(3)に記載の情報処理装置。
(5)
前記第1の文字列群が満たす条件と、前記第3の文字列群が満たす条件とが異なる場合には、前記変更部は、前記第1の文字列群に関するまとまりの単位を変更し、
前記第1の文字列群が満たす条件と、前記第3の文字列群が満たす条件とが同一である場合には、前記変更部は、前記第1の文字列群に関するまとまりの単位を変更しない、前記(4)に記載の情報処理装置。
(6)
新たに文字列群が取得される度に、前記第1の文字列群には、当該取得された文字列群が追加され、
前記変更部は、前記複数の条件のうち、当該追加前の前記第1の文字列群が満たす条件と、前記複数の条件のうち、当該追加後の前記第1の文字列群が満たす条件との比較に基づいて、当該追加前の前記第1の文字列群に関するまとまりの単位を変更する、前記(4)または(5)に記載の情報処理装置。
(7)
前記変更部は、さらに、前記複数の条件のうち前記第3の文字列群が満たす条件に基づいて、前記第2の文字列群に関するまとまりの単位を決定する、前記(3)~(6)のいずれか一項に記載の情報処理装置。
(8)
前記所定の条件は、互いに異なる複数の条件を含み、
前記取得部は、前記第1の文字列群に対する編集情報をさらに取得し、
前記変更部は、前記複数の条件のうち前記第1の文字列群が満たす条件と、前記複数の条件のうち、前記編集情報に基づいて前記第1の文字列群が変更された文字列群である第4の文字列群が満たす条件との比較に基づいて、前記第1の文字列群に関するまとまりの単位を変更する、前記(1)~(7)のいずれか一項に記載の情報処理装置。
(9)
前記変更部は、前記第3の文字列群が満たす条件に関連付けられている設定基準に基いて、前記第1の文字列群に関するまとまりの単位を変更する、前記(3)~(7)のいずれか一項に記載の情報処理装置。
(10)
前記所定の条件は、文字列群に含まれる文字の数の範囲に関する条件を含む、前記(1)~(9)のいずれか一項に記載の情報処理装置。
(11)
前記所定の条件は、文字列群に関するまとまりの単位の数の範囲に関する条件を含む、前記(1)~(10)のいずれか一項に記載の情報処理装置。
(12)
前記所定の条件は、文字列群に対応する音素の数の範囲に関する条件を含む、前記(1)~(11)のいずれか一項に記載の情報処理装置。
(13)
前記所定の条件は、文字列群の言語処理結果に関する条件を含む、前記(1)~(12)のいずれか一項に記載の情報処理装置。
(14)
前記変更部は、複数の前記まとまりの単位を接合すること、または、一以上の前記まとまりの単位を分割することにより、前記第1の文字列群に関するまとまりの単位を変更する、前記(1)~(13)のいずれか一項に記載の情報処理装置。
(15)
前記変更部は、前記第1の文字列群において隣接する前記まとまりの単位同士をそれぞれ接合することにより、前記第1の文字列群に関するまとまりの単位を変更する、前記(14)に記載の情報処理装置。
(16)
前記変更部は、モダリティを含む前記まとまりの単位と、モダリティを含まない一以上の前記まとまりの単位とを接合することにより、前記第1の文字列群に関するまとまりの単位を変更する、前記(14)または(15)に記載の情報処理装置。
(17)
前記変更部は、係り受けの関係にある前記まとまりの単位同士を接合することにより、前記第1の文字列群に関するまとまりの単位を変更する、前記(14)~(16)のいずれか一項に記載の情報処理装置。
(18)
前記情報処理装置は、前記第1の文字列群を表示画面に表示させる表示制御部をさらに備え、
前記表示制御部は、前記まとまりの単位ごとに区別して前記表示画面に表示させる、前記(1)~(17)のいずれか一項に記載の情報処理装置。
(19)
第1の文字列群を取得することと、
前記第1の文字列群および所定の条件に基づいて、前記第1の文字列群に関するまとまりの単位をプロセッサが変更することと、
を含む、情報処理方法。
(20)
コンピュータを、
第1の文字列群を取得する取得部と、
前記第1の文字列群および所定の条件に基づいて、前記第1の文字列群に関するまとまりの単位を変更する変更部、
として機能させるための、プログラム。
10 サーバ
20 端末
22 通信網
100 制御部
102 音声認識部
104 言語処理部
106 変更部
108 まとめ部
110 表示制御部
120 通信部
122 記憶部
124 設定基準テーブル
200 集音部
202 操作表示部

Claims (19)

  1. 第1の文字列群を取得する取得部と、
    前記第1の文字列群および所定の条件に基づいて、前記第1の文字列群に関するまとまりの単位を変更する変更部と、
    を備え、
    前記所定の条件は、互いに異なる複数の条件を含み、
    前記取得部は、第2の文字列群をさらに取得し、
    前記変更部は、前記第1の文字列群に前記第2の文字列群が追加された文字列群である第3の文字列群が前記複数の条件のうちのいずれを満たすかに基づいて、前記第1の文字列群に関するまとまりの単位を変更する、
    情報処理装置。
  2. 記変更部は、前記第1の文字列群が前記複数の条件のうちのいずれを満たすかに基づいて、前記第1の文字列群に関するまとまりの単位を変更する、請求項1に記載の情報処理装置。
  3. 前記変更部は、前記複数の条件のうち前記第1の文字列群が満たす条件と、前記複数の条件のうち前記第3の文字列群が満たす条件との比較に基づいて、前記第1の文字列群に関するまとまりの単位を変更する、請求項に記載の情報処理装置。
  4. 前記第1の文字列群が満たす条件と、前記第3の文字列群が満たす条件とが異なる場合には、前記変更部は、前記第1の文字列群に関するまとまりの単位を変更し、
    前記第1の文字列群が満たす条件と、前記第3の文字列群が満たす条件とが同一である場合には、前記変更部は、前記第1の文字列群に関するまとまりの単位を変更しない、請求項に記載の情報処理装置。
  5. 新たに文字列群が取得される度に、前記第1の文字列群には、当該取得された文字列群が追加され、
    前記変更部は、前記複数の条件のうち、当該追加前の前記第1の文字列群が満たす条件と、前記複数の条件のうち、当該追加後の前記第1の文字列群が満たす条件との比較に基づいて、当該追加前の前記第1の文字列群に関するまとまりの単位を変更する、請求項3又は4に記載の情報処理装置。
  6. 前記変更部は、さらに、前記複数の条件のうち前記第3の文字列群が満たす条件に基づいて、前記第2の文字列群に関するまとまりの単位を決定する、請求項1~5のいずれか1項に記載の情報処理装置。
  7. 第1の文字列群を取得する取得部と、
    前記第1の文字列群および所定の条件に基づいて、前記第1の文字列群に関するまとまりの単位を変更する変更部と、
    を備え、
    前記所定の条件は、互いに異なる複数の条件を含み、
    前記取得部は、前記第1の文字列群に対する編集情報をさらに取得し、
    前記変更部は、前記複数の条件のうち前記第1の文字列群が満たす条件と、前記複数の条件のうち、前記編集情報に基づいて前記第1の文字列群が変更された文字列群である第4の文字列群が満たす条件との比較に基づいて、前記第1の文字列群に関するまとまりの単位を変更する、情報処理装置。
  8. 前記変更部は、前記第3の文字列群が満たす条件に関連付けられている設定基準に基いて、前記第1の文字列群に関するまとまりの単位を変更する、請求項1~6のいずれか1項に記載の情報処理装置。
  9. 前記所定の条件は、文字列群に含まれる文字の数の範囲に関する条件を含む、請求項1~8のいずれか1項に記載の情報処理装置。
  10. 前記所定の条件は、文字列群に関するまとまりの単位の数の範囲に関する条件を含む、請求項1~9のいずれか1項に記載の情報処理装置。
  11. 前記所定の条件は、文字列群に対応する音素の数の範囲に関する条件を含む、請求項1~10のいずれか1項に記載の情報処理装置。
  12. 前記所定の条件は、文字列群の言語処理結果に関する条件を含む、請求項1~11のいずれか1項に記載の情報処理装置。
  13. 前記変更部は、複数の前記まとまりの単位を接合すること、または、一以上の前記まとまりの単位を分割することにより、前記第1の文字列群に関するまとまりの単位を変更する、請求項1~12のいずれか1項に記載の情報処理装置。
  14. 前記変更部は、前記第1の文字列群において隣接する前記まとまりの単位同士をそれぞれ接合することにより、前記第1の文字列群に関するまとまりの単位を変更する、請求項13に記載の情報処理装置。
  15. 前記変更部は、モダリティを含む前記まとまりの単位と、モダリティを含まない一以上の前記まとまりの単位とを接合することにより、前記第1の文字列群に関するまとまりの単位を変更する、請求項13又は14に記載の情報処理装置。
  16. 前記変更部は、係り受けの関係にある前記まとまりの単位同士を接合することにより、前記第1の文字列群に関するまとまりの単位を変更する、請求項13~15のいずれか1項に記載の情報処理装置。
  17. 前記情報処理装置は、前記第1の文字列群を表示画面に表示させる表示制御部をさらに備え、
    前記表示制御部は、前記まとまりの単位ごとに区別して前記表示画面に表示させる、請求項1~16のいずれか1項に記載の情報処理装置。
  18. 第1の文字列群を取得することと、
    前記第1の文字列群および所定の条件に基づいて、前記第1の文字列群に関するまとまりの単位をプロセッサが変更することと、
    を含み、
    前記所定の条件は、互いに異なる複数の条件を含み、
    前記プロセッサが、
    第2の文字列群をさらに取得することと、
    前記第1の文字列群に前記第2の文字列群が追加された文字列群である第3の文字列群が前記複数の条件のうちのいずれを満たすかに基づいて、前記第1の文字列群に関するまとまりの単位を変更することと、
    を含む、
    情報処理方法。
  19. コンピュータを、
    第1の文字列群を取得する取得部と、
    前記第1の文字列群および所定の条件に基づいて、前記第1の文字列群に関するまとまりの単位を変更する変更部、
    として機能させるための、プログラムであって、
    前記所定の条件は、互いに異なる複数の条件を含み、
    前記取得部は、第2の文字列群をさらに取得し、
    前記変更部は、前記第1の文字列群に前記第2の文字列群が追加された文字列群である第3の文字列群が前記複数の条件のうちのいずれを満たすかに基づいて、前記第1の文字列群に関するまとまりの単位を変更する、
    プログラム。
JP2018528405A 2016-07-20 2017-04-12 情報処理装置、情報処理方法、およびプログラム Active JP7020410B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016142296 2016-07-20
JP2016142296 2016-07-20
PCT/JP2017/014928 WO2018016140A1 (ja) 2016-07-20 2017-04-12 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018016140A1 JPWO2018016140A1 (ja) 2019-05-09
JP7020410B2 true JP7020410B2 (ja) 2022-02-16

Family

ID=60992026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018528405A Active JP7020410B2 (ja) 2016-07-20 2017-04-12 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11275897B2 (ja)
EP (1) EP3489840A4 (ja)
JP (1) JP7020410B2 (ja)
CN (1) CN109478201A (ja)
WO (1) WO2018016140A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837642B (zh) * 2019-11-14 2023-10-13 腾讯科技(深圳)有限公司 恶意程序分类方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000516002A (ja) 1996-08-07 2000-11-28 シー. ウォーカー、ランドル テキスト・プロセッサ
JP2001100784A (ja) 1999-09-30 2001-04-13 Sony Corp 情報処理装置および情報処理方法、並びに記録媒体
JP2003150298A (ja) 2001-11-13 2003-05-23 Sony Corp 電子ブック、書籍内容表示方法、書籍内容表示プログラム及び書籍内容表示プログラム格納媒体
JP2015184455A (ja) 2014-03-24 2015-10-22 大日本印刷株式会社 表示端末装置、プログラム、及び、サーバ装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3654611A (en) * 1970-03-02 1972-04-04 Ibm Visual editing system incorporating controls for justifying and dejustifying displayed text
US3654609A (en) * 1970-03-02 1972-04-04 Ibm Proportional spacing visual editing system
JPH05290030A (ja) * 1992-04-08 1993-11-05 Sharp Corp 文書処理装置
JPH06214585A (ja) * 1993-01-18 1994-08-05 Toshiba Corp 音声合成装置
JP3335283B2 (ja) * 1996-01-05 2002-10-15 株式会社キングジム 文字情報処理装置
JP3299433B2 (ja) * 1996-01-05 2002-07-08 株式会社キングジム 文字情報処理方法及び装置
US6279018B1 (en) * 1998-12-21 2001-08-21 Kudrollis Software Inventions Pvt. Ltd. Abbreviating and compacting text to cope with display space constraint in computer software
US9710819B2 (en) * 2003-05-05 2017-07-18 Interactions Llc Real-time transcription system utilizing divided audio chunks
JP3945778B2 (ja) * 2004-03-12 2007-07-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 設定装置、プログラム、記録媒体、及び設定方法
JP2006202231A (ja) * 2005-01-24 2006-08-03 Global Value Kk 文字列シンボル生成装置及び文字列シンボル生成方法並びに文字列シンボル生成プログラムを格納した記憶媒体。
JP4181577B2 (ja) * 2005-12-22 2008-11-19 インターナショナル・ビジネス・マシーンズ・コーポレーション 文字列処理方法、装置、およびプログラム
US20120237906A9 (en) * 2006-03-15 2012-09-20 Glass Andrew B System and Method for Controlling the Presentation of Material and Operation of External Devices
JP4791984B2 (ja) * 2007-02-27 2011-10-12 株式会社東芝 入力された音声を処理する装置、方法およびプログラム
JP5550496B2 (ja) 2010-08-31 2014-07-16 富士フイルム株式会社 文書作成支援装置、文書作成支援方法、並びに文書作成支援プログラム
CN103353824B (zh) * 2013-06-17 2016-08-17 百度在线网络技术(北京)有限公司 语音输入字符串的方法、装置和终端设备
CA2949782C (en) * 2014-04-25 2023-09-05 Mayo Foundation For Medical Education And Research Enhancing reading accuracy, efficiency and retention
US10950254B2 (en) * 2018-10-25 2021-03-16 International Business Machines Corporation Producing comprehensible subtitles and captions for an effective group viewing experience

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000516002A (ja) 1996-08-07 2000-11-28 シー. ウォーカー、ランドル テキスト・プロセッサ
JP2001100784A (ja) 1999-09-30 2001-04-13 Sony Corp 情報処理装置および情報処理方法、並びに記録媒体
JP2003150298A (ja) 2001-11-13 2003-05-23 Sony Corp 電子ブック、書籍内容表示方法、書籍内容表示プログラム及び書籍内容表示プログラム格納媒体
JP2015184455A (ja) 2014-03-24 2015-10-22 大日本印刷株式会社 表示端末装置、プログラム、及び、サーバ装置

Also Published As

Publication number Publication date
WO2018016140A1 (ja) 2018-01-25
EP3489840A1 (en) 2019-05-29
EP3489840A4 (en) 2019-07-24
JPWO2018016140A1 (ja) 2019-05-09
US11275897B2 (en) 2022-03-15
US20190138601A1 (en) 2019-05-09
CN109478201A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
EP3504704B1 (en) Facilitating creation and playback of user-recorded audio
JP5149737B2 (ja) 自動会話システム、並びに会話シナリオ編集装置
JP4849663B2 (ja) 会話制御装置
WO2018157789A1 (zh) 一种语音识别的方法、计算机、存储介质以及电子装置
US8359200B2 (en) Generating profiles of words
TW201606750A (zh) 使用外國字文法的語音辨識
JP6529761B2 (ja) 話題提供システム、及び会話制御端末装置
CN116012481B (zh) 图像生成处理方法、装置、电子设备及存储介质
CN111881254A (zh) 话术生成方法、装置、电子设备及存储介质
TW201510774A (zh) 以語音辨識來選擇控制客體的裝置及方法
JP7355244B2 (ja) 情報処理装置、情報処理方法およびプログラム
US9805740B2 (en) Language analysis based on word-selection, and language analysis apparatus
JP2019124952A (ja) 情報処理装置、情報処理方法、およびプログラム
JP6930538B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN113360001A (zh) 输入文本的处理方法、装置、电子设备和存储介质
JP5420874B2 (ja) デジタルストーリー提供システム、デジタルストーリー提供方法、及びこの方法をコンピュータシステムに実行させるためのコンピュータプログラム
CN111158630B (zh) 一种播放控制方法及装置
JP7020410B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019101065A (ja) 音声対話装置、音声対話方法及びプログラム
JP6299563B2 (ja) 応答生成方法、応答生成装置及び応答生成プログラム
JP2022056592A (ja) 会話支援装置、会話支援システム、会話支援方法およびプログラム
US10282417B2 (en) Conversational list management
US20220100959A1 (en) Conversation support device, conversation support system, conversation support method, and storage medium
JP6287754B2 (ja) 応答生成装置、応答生成方法及び応答生成プログラム
JP6451414B2 (ja) 情報処理装置、要約文編集方法、及びプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220117

R151 Written notification of patent or utility model registration

Ref document number: 7020410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151