WO2014003138A1 - 入力文字推定装置およびプログラム - Google Patents
入力文字推定装置およびプログラム Download PDFInfo
- Publication number
- WO2014003138A1 WO2014003138A1 PCT/JP2013/067710 JP2013067710W WO2014003138A1 WO 2014003138 A1 WO2014003138 A1 WO 2014003138A1 JP 2013067710 W JP2013067710 W JP 2013067710W WO 2014003138 A1 WO2014003138 A1 WO 2014003138A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- character
- input
- probability
- user
- model
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
Definitions
- the present invention relates to an input character estimation device and a program technique for detecting a user operation on a software keyboard displayed on a touch panel display and predicting a character input by the user.
- an information terminal device having a touch panel display is known.
- character input is performed with a software keyboard.
- flick input for inputting characters by sliding a finger is widespread.
- various types are described as disclosed in Patent Document 1, but a plurality of characters are assigned to one key, and each character has a different finger.
- the slide direction is associated.
- Patent Document 1 describes a touch panel operation including flick input as described above.
- flick input an input method is disclosed in which a character is determined by a pressing position and a subsequent sliding motion in a main direction.
- Non-Patent Document 1 proposes a technique for probabilistically changing a button detection area based on a user's touch history in toggle input (corresponding to one touch and one input).
- Patent Document 2 discloses a device that corrects user input coordinates from the input coordinates of the user on the touch panel, the coordinates of the buttons on the touch panel, and the weighting factors assigned to the buttons.
- a forward match search of words registered in the dictionary is performed for a character string being input, and the weighting coefficient is changed depending on the presence or absence of characters following the character string being input.
- the weight of the button corresponding to “d” or “a” increases because there are “god” and “goal” in the dictionary word.
- the input coordinates of the user are corrected in a direction close to the button, and as a result, the button becomes easy to react.
- the weight becomes small and the button becomes difficult to react.
- the present invention has been made in view of such circumstances, and when touching not only the pressed position but also the screen during flick input in order to improve the text input operability by flick input of the software keyboard. It is an object of the present invention to provide an input character estimation device and a program with few input errors by probabilistic character input using a series of coordinates and moving speed as feature quantities.
- the input character estimation device of the present invention is an input character estimation device that detects a user's operation on a software keyboard that performs character input by a slide operation displayed on a touch panel display, and estimates a character input by the user.
- a time-series input coordinate storage unit that stores input coordinates when the user touches the touch panel display in time series, and a plurality of types of states for each character assigned to the operation buttons of the software keyboard
- a character model storage unit that defines a probability density function in a feature amount space obtained from two-dimensional coordinates for each state and stores the probability density function defined for each state for each character; Based on the input coordinates and the character model, each character model is input to the input coordinates.
- a probability calculation unit that calculates the occurrence probability for each character, a cumulative probability storage unit that stores a cumulative probability value obtained by accumulating the probability value from the user's input start for each character model as a cumulative occurrence probability for each character, An input candidate character selection unit that selects a character having the highest cumulative occurrence probability as an input candidate character.
- the input coordinates when the user touches the touch panel display is stored in chronological order, and a probability character model having a plurality of types of states is assigned to each character assigned to the operation button of the software keyboard.
- a probability character model having a plurality of types of states is assigned to each character assigned to the operation button of the software keyboard.
- the probability of occurrence is calculated for each character model, and the cumulative probability value obtained by accumulating the probability value from the start of user input for each character model is stored as the cumulative probability of occurrence for each character, and the cumulative probability of occurrence is the highest. Since characters are selected as input candidate characters, character prediction using a time series of touch input by a probability model is performed in flick input. It is possible, on the basis of the per-user or characteristics of each input state, it is possible to reduce input errors.
- the input character estimation apparatus uses a velocity vector or an acceleration vector calculated from the two-dimensional coordinates or other values calculated from time-series input coordinates. It is used as a quantity.
- the velocity vector or acceleration vector calculated from the two-dimensional coordinates or other values calculated from the time-series input coordinates are used as the feature amount, so that input errors can be reduced based on the features for each input situation. Is possible.
- the input character estimation apparatus of the present invention further includes an input history management unit that records a history of characters input in the past and the input coordinates thereof, and a character model re-learning unit that re-learns the character model.
- the re-learning unit increases the probability value of a certain region including the two-dimensional coordinates of the contact point or the contact point when the character is input, with respect to the probability density function for each character input in the past. It is characterized by that.
- the input character estimation device of the present invention divides the touch panel display including the input area of the software keyboard into a plurality of areas, and is determined according to which area the input coordinates immediately before the user are included.
- a character model is defined for each character.
- the touch panel display including the input area of the software keyboard is divided into a plurality of areas, and a character model that is determined according to which area the input coordinates immediately before the user are included is defined for each character.
- a character model that is determined according to which area the input coordinates immediately before the user are included is defined for each character.
- the input character estimation device of the present invention is characterized in that a character model determined according to the user's operation posture is defined for each character.
- the touch coordinate distribution can be changed depending on how the terminal is held even if the same character is input or the terminal is held. Also, it becomes possible to reduce input errors.
- the input character estimation device of the present invention uses the character model for a deterministic character determination region in which a character is deterministically determined based on coordinates pressed by a user and separated coordinates.
- the character model is used for the deterministic character determination area where the character is deterministically determined based on the coordinate pressed by the user and the coordinate separated from the coordinate, the number of target character models is reduced, and the amount of calculation is reduced. As a result, the processing speed can be improved.
- the input character estimation device of the present invention is characterized in that the character model is made into a tree structure by performing a common modeling for characters to which a pressed position is commonly assigned.
- the character model is made into a tree structure by performing the common modeling for the characters to which the pressing position is commonly assigned, the number of target character models can be reduced and the amount of calculation can be reduced. As a result, the processing speed can be improved.
- the input character estimation device is characterized in that when the user deletes the character after inputting the character, the probability value is reduced for the deleted character.
- the probability value is reduced for the deleted character, so that the character is less likely to be a candidate even if the input is different from the user's intention. be able to. This makes it possible to prevent further erroneous input.
- the input candidate character selection unit holds the top N probabilities of the probability-calculated characters, accumulates the probabilities for the character strings for M characters, The top S is selected as an input character string.
- the top N probabilities of the probability-calculated characters are held, the probabilities are accumulated for the character strings for M characters, and the top S characters are selected as the input character string, so the estimated character string is displayed.
- the convenience for the user can be further improved.
- the program of the present invention is a program for detecting a user operation on a software keyboard for inputting characters by a slide operation displayed on a touch panel display, and estimating a character input by the user.
- the input coordinates when the user touches the touch panel display is stored in chronological order, and a probability character model having a plurality of types of states is assigned to each character assigned to the operation button of the software keyboard.
- a probability character model having a plurality of types of states is assigned to each character assigned to the operation button of the software keyboard.
- the probability of occurrence is calculated for each character model, and the cumulative probability value obtained by accumulating the probability value from the start of user input for each character model is stored as the cumulative probability of occurrence for each character, and the cumulative probability of occurrence is the highest. Since characters are selected as input candidate characters, character prediction using a time series of touch input by a probability model is performed in flick input. It is possible, on the basis of the per-user or characteristics of each input state, it is possible to reduce input errors.
- FIG. 1 is a block diagram showing a schematic configuration of an input character estimation apparatus according to the present embodiment.
- the main control unit 1 controls the operation of each component.
- the touch panel input unit 2 displays a software keyboard and various operation screens, and receives input from the user via the touch panel display. In addition, the user acquires input coordinates (x, y) during touch and slide.
- the time series input coordinate storage unit 3 stores touch panel input information in a time series.
- FIG. 2 is a diagram illustrating an example in which input coordinates are acquired in time series. As shown in FIG. 2, the coordinates when the user presses and slides a part of the software keyboard shown on the touch panel display are recorded in time series.
- the character model storage unit 4 stores a probability model that defines a probability distribution function using a two-dimensional coordinate or a two-dimensional velocity calculated from coordinates and time as a variable for each character.
- the probability calculation unit 5 calculates the character occurrence probability from the input coordinates of the user and the word model.
- the cumulative probability storage unit 6 integrates the calculation results of the probability calculation unit 5 for each word, and stores the cumulative probability.
- the input candidate character selection unit 7 selects a character having the highest cumulative probability as an input character.
- the character display unit 8 displays a character being input and a character determined by a user operation.
- step S10 it is determined whether or not the search has been completed for all characters. If the search has not been completed for all characters, the process proceeds to step S8. On the other hand, when the search is completed for all characters in step S8, the character with the highest probability is displayed (step S11), and the process proceeds to step S1.
- HMM Hidden Markov Model
- the HMM is formulated in the speech recognition field as a process for obtaining a word with the highest probability from predefined words or word strings for time-series speech data.
- voice recognition field time-series voice data is used as an input value.
- an output function for each character state is defined in advance as a probability distribution function Pwi (k) (x, y) with two-dimensional coordinates as variables.
- the states here are defined for each character, and include, for example, three states of “beginning of pressing”, “in the middle of sliding”, and “just before releasing”.
- Pwi (k) (x, y) is a function indicating a probability that occurs when coordinates (x, y) are input in the kth state of the character wi.
- An example of a function is a mixed Gaussian distribution.
- Each state has not only the LR transition from the kth state to the j (> k) state, but also the self transition that transitions to its own state, and the transition probability Qwi (k, j) is defined for each state. ing.
- l is the appearance probability of a character. This is to reduce the calculation amount.
- a simple integration is performed, but a logarithmic sum of probabilities may be used.
- Speech recognition is an example of a field that uses the same calculation method.
- sentence candidates are output when a single sentence is input.
- a candidate with a high cumulative probability may be output for each key input even if it is a candidate character that has not reached the word end.
- Training function In addition to predefining the probability model, it has a function of re-learning from the user input coordinates and the word history selected from the word candidate display section at a certain timing. For example, when learning from pre-collected data, the model is based on the maximum likelihood learning such as Baum-Welch reestimation algorithm from the user's touch coordinate time series and the data group labeled with the character that the user matched the intention. learn. In addition, when performing relearning adapted to the user, the characters input without being deleted by delete etc. and the touch coordinate time-series information are stored in association with each other, and relearning is performed when the terminal goes to sleep. It has the function to do. In this case, MAP adaptation etc. are mentioned as a calculation method.
- a word is obtained probabilistically from the coordinate position time series, and the user can display a desired character.
- the comparison of probabilities by HMM is used, but other comparison methods such as cost and score by dynamic programming may be used.
- the touch coordinate distribution can be changed depending on the position of the previous key or the separated position. Therefore, as shown in FIG. 6, the position of the previous key or the touch panel including the soft keyboard input area may be divided into n, and n models may be provided for the same character depending on the separated positions.
- n contexts In character input, even if the same character is input, the touch coordinate distribution can be changed depending on how the terminal is held and the posture. Therefore, you may define n contexts and have n models for the same character. Alternatively, a probability model including parameters such as acceleration, gyroscope, magnetic sensor, etc. may be defined as the feature quantity.
- a probabilistic model and deterministic key input may be combined. For example, as shown in FIG. 7, when characters are defined in four directions, up, down, left, and right with respect to an input of a certain key, a range in which the characters are definitely determined for each direction is defined (FIG. 7: hatched portion). For characters outside the range, a character is estimated using a probability model. The following three sets can be considered as combinations. -The key position is a stochastic model and the sliding direction is a combination of a stochastic model and a deterministic method. A combination of a deterministic model and a deterministic method where the key position is deterministic and the sliding direction is definite. ⁇ A combination of a probabilistic model and a deterministic method for both key position and sliding direction.
- the top N probabilities of the probability-calculated characters may be held, the probabilities may be integrated for the character strings for M characters, and the top S may be displayed as the input character string.
- the prediction function of the dictionary may be applied to the top S characters by forward matching of characters. In that case, if S increases, it may be unable to be displayed on the prediction word display part on a terminal. Therefore, as shown in FIG. 9, the S input character strings to which the dictionary prediction function is applied are biased according to the cumulative probability, and a character string having a higher cumulative probability displays more predicted words. Also good. Further, ranking may be performed by introducing a probabilistic language model N-gram.
- Model tree structure As the number of models increases, the calculation time may increase. Therefore, common modeling may be performed according to the first touch position, and the model may be “tree-structured”. For example, as shown in FIG. 10, in general, “a”, “i”, “u”, “e”, and “o” are slid in different directions after first pressing “a”. For example, state 1 of “O” is modeled in common. Similarly, the two types of contexts may be modeled in common only for a certain state for the same character. At this time, which model / state is to be a common model may be determined manually or a clustering method may be used.
- the target character to be biased is determined based on the history including the order of the DB deleted immediately before. That is, if “Me” is deleted after “Hirame” is input, the occurrence probability of “Me” is biased. When “ra” is deleted, the occurrence probability of “ra” is biased.
- the server may include a character model unit, a calculation unit, and a storage unit, and the probability calculation may be performed by transmitting input coordinates to the apparatus to the server.
- the apparatus receives the result of the probability calculation by the server and displays it on the display unit.
- character presentation using a time series of touch input based on a probability model can reduce input errors based on characteristics for each user and each input situation. It becomes possible.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Input From Keyboards Or The Like (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】ソフトウェアキーボードのフリック入力による文章入力の操作性向上を図る。 【解決手段】タッチパネルディスプレイに対してユーザが接触したときの入力座標を時系列に沿って記憶する時系列入力座標格納部3と、ソフトウェアキーボードの操作ボタンに割り当てられている文字毎に、複数種類の操作状態の文字モデルを定義し、各状態について2次元座標を特徴量として確率密度関数を定義し、各状態について定義した確率密度関数を文字毎に格納する文字モデル格納部4と、入力座標および文字モデルに基づいて、各文字の生起確率を演算する確率演算部5と、ユーザの入力開始からの確率値を累積した累積確率値を、各文字に対する累積生起確率として記憶する累積確率記憶部6と、累積生起確率が最も高い文字を入力候補文字として選出する入力候補文字選出部7と、を備える。
Description
本発明は、タッチパネルディスプレイに表示されているソフトウェアキーボードに対するユーザの操作を検出し、ユーザが入力する文字を予測する入力文字推定装置およびプログラム技術に関する。
従来から、タッチパネルディスプレイを備えた情報端末装置が知られている。携帯電話機やPDA(Personal Digital AssistantまたはPersonal Data Assistance)など、タッチパネルで操作を行なう装置では、文字入力をソフトウェアキーボードで行なう。ソフトウェアキーボードでの文字入力方式の一つとして、指をスライドさせることで文字入力を行なうフリック入力が普及している。フリック入力では、特許文献1に開示されているように、様々な種類のものが述べられているが、1つのキーに複数の文字が割り当てられており、これらの文字には、それぞれ異なる指のスライド方向が対応付けられている。ユーザが指でキーに触れ、タッチパネルから離さずに指をスライドさせると、スライド方向に対応付けられた文字が文章表示部(ディスプレイ)に表示される。
ところが、フリック入力は誤りが多いという問題がある。これは、タッチパネルが検知するタッチ位置やスライド方向がユーザの入力意図と異なることが要因である。特許文献1には、上述のようなフリック入力を含めたタッチパネル操作について述べられている。フリック入力に関しては、押下位置とその後の主要な方向へのスライド動作により文字が決定される入力方法が開示されている。また、非特許文献1には、トグル入力(1タッチ1入力対応)において、ユーザのタッチ履歴をもとに、確率的にボタン検知領域を変化させる技術が提案されている。
特許文献2には、タッチパネルでのユーザの入力座標と、タッチパネル上のボタンの座標と、そのボタンに割り当てられた重み係数から、ユーザの入力座標を補正する装置が開示されている。ソフトウェアキーボードでの文字入力の例では、入力途中の文字列に対して辞書に登録されている単語の前方一致検索を行ない、入力途中の文字列に続く文字の有無で重み係数を変化する例が挙げられている。例えば入力途中の文字が“go”であった場合、辞書の単語に“god”や“goal”があるため、“d”や“a”に対応するボタンの重みが大きくなる。すると、ボタンに近い方向にユーザの入力座標が補正され、結果としてそのボタンが反応しやすくなる。一方“k”や“z”のように“go”の後に続く単語が無い場合重みが小さくなり、そのボタンは反応しにくくなる。
Asrla, G et al. "Usability Guided Key-Target Resizing for Soft Keyboards." In Proc. IUI, pp. 111-118, 2010.
しかしながら、特許文献1に開示されている装置では、キー領域と定まった方向へのスライドで文字が決定するため、押下位置やユーザのスライドの癖に関しては考慮されていない。また、フリック中に迷ってある位置に指が停留している場合も、押下位置と離した位置で文字が決定されてしまう。また、非特許文献1および特許文献2では、トグル入力にしか対応しておらず、押下位置のみしか特徴量として利用していない。
本発明は、このような事情に鑑みてなされたものであり、ソフトウェアキーボードのフリック入力による文章入力の操作性向上のために、押下位置のみならず、フリック入力中の画面にタッチしている時系列的な座標および移動速度を特徴量として用いた確率的な文字入力により、入力誤りの少ない入力文字推定装置およびプログラムを提供することを目的とする。
(1)上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の入力文字推定装置は、タッチパネルディスプレイに表示されているスライド操作により文字入力を行なうソフトウェアキーボードに対するユーザの操作を検出し、ユーザが入力する文字を推定する入力文字推定装置であって、前記タッチパネルディスプレイに対してユーザが接触したときの入力座標を時系列に沿って記憶する時系列入力座標格納部と、前記ソフトウェアキーボードの操作ボタンに割り当てられている文字毎に、複数種類の状態を持つ確率文字モデルを定義し、各状態について2次元座標から得られる特徴量空間における確率密度関数を定義し、前記各状態について定義した確率密度関数を文字毎に格納する文字モデル格納部と、前記入力座標および前記文字モデルに基づいて、入力座標に対して各文字モデル毎に生起確率を演算する確率演算部と、各文字モデル毎にユーザの入力開始からの前記確率値を累積した累積確率値を、各文字に対する累積生起確率として記憶する累積確率記憶部と、前記累積生起確率が最も高い文字を入力候補文字として選出する入力候補文字選出部と、を備えることを特徴とする。
このように、タッチパネルディスプレイに対してユーザが接触したときの入力座標を時系列に沿って記憶し、ソフトウェアキーボードの操作ボタンに割り当てられている文字毎に、複数種類の状態を持つ確率文字モデルを定義し、各状態について2次元座標から得られる特徴量空間における確率密度関数を定義し、各状態について定義した確率密度関数を文字毎に格納し、入力座標および文字モデルに基づいて、入力座標に対して各文字モデル毎に生起確率を演算し、各文字モデル毎にユーザの入力開始からの確率値を累積した累積確率値を、各文字に対する累積生起確率として記憶し、累積生起確率が最も高い文字を入力候補文字として選出するので、フリック入力において、確率モデルによるタッチ入力の時系列を用いた文字予測をすることができるので、ユーザ毎または入力状況毎の特徴に基づいて、入力誤りを低減させることが可能となる。
(2)また、本発明の入力文字推定装置は、前記2次元座標に加えて、前記2次元座標から算出される速度ベクトルまたは加速度ベクトルまたは時系列入力座標から算出されるその他の値を前記特徴量として用いることを特徴とする。
このように、2次元座標から算出される速度ベクトルまたは加速度ベクトルまたは時系列入力座標から算出されるその他の値を特徴量として用いるので、入力状況毎の特徴に基づいて、入力誤りを低減させることが可能となる。
(3)また、本発明の入力文字推定装置は、過去に入力された文字およびその入力座標の履歴を記録する入力履歴管理部と、文字モデルを再学習する文字モデル再学習部と、を更に備え、前記再学習部は、過去に入力された文字毎の確率密度関数に対して、その文字を入力したときの接触点の2次元座標またはその接触点を含む一定領域の確率値を高くすることを特徴とする。
このように、過去に入力された文字毎の確率密度関数に対して、その文字を入力したときの接触点の2次元座標またはその接触点を含む一定領域の確率値を高くするので、入力誤りを低減させることが可能となる。
(4)また、本発明の入力文字推定装置は、前記ソフトウェアキーボードの入力領域を含む前記タッチパネルディスプレイを複数の領域に分割し、ユーザの直前の入力座標がどの領域に含まれたかに応じて定まる文字モデルを文字毎に定義することを特徴とする。
このように、ソフトウェアキーボードの入力領域を含むタッチパネルディスプレイを複数の領域に分割し、ユーザの直前の入力座標がどの領域に含まれたかに応じて定まる文字モデルを文字毎に定義するので、文字入力において、同一文字の入力でも、前のキーの位置や離した位置によりタッチ座標分布は変わりうる場合であっても、入力誤りを低減させることが可能となる。
(5)また、本発明の入力文字推定装置は、ユーザの操作姿勢に応じて定まる文字モデルを文字毎に定義することを特徴とする。
このように、ユーザの操作姿勢に応じて定まる文字モデルを文字毎に定義するので、文字入力において、同一文字の入力でも、端末の持ち方や姿勢によってもタッチ座標分布は変わりうる場合であっても、入力誤りを低減させることが可能となる。
(6)また、本発明の入力文字推定装置は、ユーザが押した座標と離した座標とに基づいて文字が確定的に定まる確定的文字決定領域に対して、前記文字モデルを用いることを特徴とする。
このように、ユーザが押した座標と離した座標とに基づいて文字が確定的に定まる確定的文字決定領域に対して、文字モデルを用いるので、対象とする文字モデル数を減少させ、演算量を少なくすることができ、その結果、処理速度の向上を図ることが可能となる。
(7)また、本発明の入力文字推定装置は、押下位置を共通に割り当てられた文字に共通のモデル化を行なって、前記文字モデルを木構造化することを特徴とする。
このように、押下位置を共通に割り当てられた文字に共通のモデル化を行なって、前記文字モデルを木構造化するので、対象とする文字モデル数を減少させ、演算量を少なくすることができ、その結果、処理速度の向上を図ることが可能となる。
(8)また、本発明の入力文字推定装置は、ユーザが文字入力後に削除した場合、その削除された文字に対して確率値を小さくすることを特徴とする。
このように、ユーザが文字入力後に削除した場合、その削除された文字に対して確率値を小さくするので、その文字はユーザの意図とは異なる入力であったとして、その文字を候補となりにくくすることができる。これにより、更なる誤入力を防ぐことが可能となる。
(9)また、本発明の入力文字推定装置において、前記入力候補文字選出部は、確率計算された文字の上位N個の確率を保持し、文字M個分の文字列について確率を積算し、上位S個を入力文字列として選出することを特徴とする。
このように、確率計算された文字の上位N個の確率を保持し、文字M個分の文字列について確率を積算し、上位S個を入力文字列として選出するので、推定した文字列を表示し、ユーザの利便性を更に向上させることが可能となる。
(10)また、本発明のプログラムは、タッチパネルディスプレイに表示されているスライド操作により文字入力を行なうソフトウェアキーボードに対するユーザの操作を検出し、ユーザが入力する文字を推定するプログラムであって、前記タッチパネルディスプレイに対してユーザが接触したときの入力座標を時系列に沿って記憶する処理と、前記ソフトウェアキーボードの操作ボタンに割り当てられている文字毎に、複数種類の状態を持つ確率文字モデルを定義し、各状態について2次元座標から得られる特徴量空間における確率密度関数を定義し、前記各状態について定義した確率密度関数を文字毎に格納する処理と、前記入力座標および前記文字モデルに基づいて、入力座標に対して各文字モデル毎に生起確率を演算する処理と、各文字モデル毎にユーザの入力開始からの前記確率値を累積した累積確率値を、各文字に対する累積生起確率として記憶する処理と、前記累積生起確率が最も高い文字を入力候補文字として選出する処理と、の一連の処理を、コンピュータに実行させることを特徴とする。
このように、タッチパネルディスプレイに対してユーザが接触したときの入力座標を時系列に沿って記憶し、ソフトウェアキーボードの操作ボタンに割り当てられている文字毎に、複数種類の状態を持つ確率文字モデルを定義し、各状態について2次元座標から得られる特徴量空間における確率密度関数を定義し、各状態について定義した確率密度関数を文字毎に格納し、入力座標および文字モデルに基づいて、入力座標に対して各文字モデル毎に生起確率を演算し、各文字モデル毎にユーザの入力開始からの確率値を累積した累積確率値を、各文字に対する累積生起確率として記憶し、累積生起確率が最も高い文字を入力候補文字として選出するので、フリック入力において、確率モデルによるタッチ入力の時系列を用いた文字予測をすることができるので、ユーザ毎または入力状況毎の特徴に基づいて、入力誤りを低減させることが可能となる。
本発明によれば、フリック入力において、ユーザ毎または入力状況毎の特徴に基づいた確率モデルに基づいて、タッチ入力の時系列を用いた文字予測をすることで、入力誤りを低減させることが可能となる。
図1は、本実施形態に係る入力文字推定装置の概略構成を示すブロック図である。主制御部1は、各構成要素の動作を制御する。タッチパネル入力部2は、ソフトウェアキーボードや種々の操作画面を表示し、タッチパネルディスプレイを介してユーザからの入力を受け付ける。また、ユーザがタッチおよびスライド中の入力座標(x,y)を取得する。時系列入力座標格納部3は、タッチパネル入力情報を時系列的に格納する。図2は、入力座標の時系列的に取得した例を示す図である。図2に示すように、ユーザがタッチパネルディスプレイに示されたソフトウェアキーボードの一部を押し、スライドさせたときの座標を、時系列で記録する。
文字モデル格納部4は、文字毎に2次元座標または座標と時間より算出される2次元速度を変数とした確率分布関数を定義した確率モデルを格納する。確率演算部5は、ユーザの入力座標と、単語モデルから文字の生起確率を計算する。累積確率記憶部6は、確率演算部5の演算結果を単語毎に積算し、その累積確率を記憶する。入力候補文字選出部7は、最も累積確率が高い文字を入力文字として選出する。文字表示部8は、入力中の文字およびユーザの操作により確定した文字を表示する。
図3は、入力文字推定装置の動作を示すフローチャートである。入力待ちの状態から(ステップS1)、ユーザによるキーの押下を検知と(ステップS2)、i=0とする初期化を行ない(ステップS3)、iが変化すると(ステップS4)、そのときの入力座標を記憶する(ステップS5)。次に、押下またはスライド中であるかどうかを判断し(ステップS6)、押下またはスライド中である場合は、ステップS4へ遷移する。一方、ステップS6において、押下またはスライド中でない場合は、k=0とする初期化を行ない(ステップS7)、kが変化すると(ステップS8)、単語Wkについて確率計算を行なう(ステップS9)。次に、全文字について検索が終了したかどうかを判断し(ステップS10)、全文字について検索が終了していない場合は、ステップS8に遷移する。一方、ステップS8において、全文字について検索が終了した場合は、最大確率の文字を表示して(ステップS11)、ステップS1に遷移する。
本実施形態では、入力値に対して各文字の生起確率をモデル化する例として、音声認識分野で用いられているHMM(Hidden Markov Model)を用いた方法を採用する。HMMは、音声認識分野において、時系列の音声データに対して、予め定義された単語または単語列の中から、最も確率の高い単語を求めるプロセスとして定式化されている。音声認識分野では時系列の音声データを入力値としているが、本実施形態では、ユーザのタッチパネルへの入力座標を入力値とする例を挙げる。
まず、予め文字の状態毎に出力関数を、2次元座標を変数とした確率分布関数Pwi (k)(x,y)として定義する。ここでいう状態とは、図4に示すように、文字毎に何状態か定義されており、例えば、“押し始め”、“スライド途中”、“離す直前”の3状態が挙げられる。Pwi (k)(x,y)は、文字wiのk番目の状態において座標(x,y)が入力されたときに生起する確率を示す関数である。関数の例としては、混合ガウス分布などが挙げられる。また、各状態はk番目の状態からj(>k)状態目に移るL-R遷移だけでなく、自状態に遷移する自己遷移を持っており、各々に遷移確率Qwi(k,j)が定義されている。
次に、ユーザの入力する際の動作について説明する。まず、座標(x1,y1) を検知すると、全文字について一状態目の生起確率Pwi(1|x1,y1)=Pwi(1)(x1,y1)を計算し、累積確率演算部に送信する。次に、L-R遷移もしくは自己遷移の遷移確率Qwiを乗じて遷移先で(x2,y2)について同様の計算を行なう。これらの計算を繰り返し、図5に示す遷移パスのうち、最も確率の高いパスを文字wiの出力確率とする。確率計算の一つとしてViterbiアルゴリズムを用いる。そして全ての文字wi(1<i<N)に対して計算を行ない、最も確率の高い文字をユーザ所望の文字候補とする。
例えば、図5において、ある文字の状態が、(x(1),S1)→(x(2),S1)→(x(3),S2)→(x(4),S2)→(x(5),S2)→(x(6),S2)→(x(7),S3)と遷移したとすると、そのある文字の累積確率pwi,lは、自己遷移として、
pwi,l =Pwi (1)(x1,y1)* Qwi(1,1)と表わされる。また、L-R遷移(1から2)として、
*Pwi (1)(x2,y2)* Qwi(1,2)と表わされる。同様に、
*Pwi (2)(x3,y3)* Qwi(2,2)、
*Pwi (2)(x4,y4)* Qwi(2,2)、
*Pwi (2)(x5,y5)* Qwi(2,2)、
*Pwi (2)(x6,y6)* Qwi(2,3)、
*Pwi (3)(x7,y7)、と表わされる。
pwi,l =Pwi (1)(x1,y1)* Qwi(1,1)と表わされる。また、L-R遷移(1から2)として、
*Pwi (1)(x2,y2)* Qwi(1,2)と表わされる。同様に、
*Pwi (2)(x3,y3)* Qwi(2,2)、
*Pwi (2)(x4,y4)* Qwi(2,2)、
*Pwi (2)(x5,y5)* Qwi(2,2)、
*Pwi (2)(x6,y6)* Qwi(2,3)、
*Pwi (3)(x7,y7)、と表わされる。
ここで、argmax pwi,l をある文字の出現確率とする。これは、計算量削減のためである。ここでは、単純な積算をしたが、対数化した確率の和を用いてもよい。
同様の計算方法を用いている分野として音声認識が挙げられるが、音声認識では一文の音声入力が済んだときに文候補を出力する。しかし、本特許においては、キー入力毎に、単語終端に到達していない候補文字であっても累積確率の高い候補を出力しても良い。
「学習機能]
確率モデルを予め定義するだけでなく、あるタイミングにおいて、ユーザの入力座標と単語候補表示部から選択された単語履歴から再学習する機能を有する。例えば、予め集められたデータから学習する場合はユーザのタッチ座標時系列と、ユーザが意図と一致した文字にラベル付けされたデータ群からBaum-Welch reestimation algorithmなどの最尤学習を元にモデルを学習する。また、ユーザに適応した再学習を行なう場合は、デリートなどで消去されずに入力された文字と、タッチ座標時系列情報を結びつけて記憶しておき、端末がスリープになったときなどに再学習する機能を有する。この場合計算手法として、MAP適応などが挙げられる。
確率モデルを予め定義するだけでなく、あるタイミングにおいて、ユーザの入力座標と単語候補表示部から選択された単語履歴から再学習する機能を有する。例えば、予め集められたデータから学習する場合はユーザのタッチ座標時系列と、ユーザが意図と一致した文字にラベル付けされたデータ群からBaum-Welch reestimation algorithmなどの最尤学習を元にモデルを学習する。また、ユーザに適応した再学習を行なう場合は、デリートなどで消去されずに入力された文字と、タッチ座標時系列情報を結びつけて記憶しておき、端末がスリープになったときなどに再学習する機能を有する。この場合計算手法として、MAP適応などが挙げられる。
以上の動作により、座標位置時系列から確率的に単語が求められ、ユーザが所望の文字を表示することが可能になる。上記の説明では、HMMによる確率の比較を用いたが、動的計画法などによるコストや得点など他の比較手法でもよい。
[特徴量]
入力座標時系列だけでなく、入力座標時系列と時間から算出される速度を用いてもよい。
入力座標時系列だけでなく、入力座標時系列と時間から算出される速度を用いてもよい。
[モデルの前位置コンテクスト依存]
文字入力において、同一文字の入力でも、前のキーの位置や離した位置によりタッチ座標分布は変わりうる。そこで、図6に示すように、前のキーの位置もしくは、ソフトキーボード入力領域を含むタッチパネル上をn分割し、離した位置により同一文字に対してn個のモデルを持ってもよい。
文字入力において、同一文字の入力でも、前のキーの位置や離した位置によりタッチ座標分布は変わりうる。そこで、図6に示すように、前のキーの位置もしくは、ソフトキーボード入力領域を含むタッチパネル上をn分割し、離した位置により同一文字に対してn個のモデルを持ってもよい。
[状況コンテクスト依存]
文字入力において、同一文字の入力でも、端末の持ち方や姿勢によってもタッチ座標分布は変わりうる。そこで、n個のコンテクストを定義し、同一文字に対してn個のモデルを持ってもよい。もしくは、特徴量として、加速度、ジャイロ、磁力センサ等のパラメタを含めて確率モデルを定義してもよい。
文字入力において、同一文字の入力でも、端末の持ち方や姿勢によってもタッチ座標分布は変わりうる。そこで、n個のコンテクストを定義し、同一文字に対してn個のモデルを持ってもよい。もしくは、特徴量として、加速度、ジャイロ、磁力センサ等のパラメタを含めて確率モデルを定義してもよい。
[確率モデルの部分利用]
確率モデルと確定的なキー入力を組み合わせてもよい。例えば、図7に示すようにあるキーの入力に対して上下左右4方向に文字が定義されている場合、方向毎に確定的に文字が定まる範囲が定義されており(図7:斜線部)、その範囲外については確率モデルを用いて文字を推定する。組み合わせとしては、以下の3組が考えられる。
・キーの位置が確率モデルおよびスライド方向が確率モデルと確定的方法の組み合わせ。
・キーの位置が確定的およびスライド方向が確率モデルと確定的方法の組み合わせ。
・キーの位置もスライド方向の両者とも確率モデルと確定的方法の組み合わせ。
確率モデルと確定的なキー入力を組み合わせてもよい。例えば、図7に示すようにあるキーの入力に対して上下左右4方向に文字が定義されている場合、方向毎に確定的に文字が定まる範囲が定義されており(図7:斜線部)、その範囲外については確率モデルを用いて文字を推定する。組み合わせとしては、以下の3組が考えられる。
・キーの位置が確率モデルおよびスライド方向が確率モデルと確定的方法の組み合わせ。
・キーの位置が確定的およびスライド方向が確率モデルと確定的方法の組み合わせ。
・キーの位置もスライド方向の両者とも確率モデルと確定的方法の組み合わせ。
[探索領域の限定]
ある押下位置から遠い位置のキーは、ユーザによる誤入力は起こりにくい。そこで、図8に示すように、ある閾値内に関する文字のみ、確率演算の対象とすることで、文字探索の高速化を行なっても良い。
ある押下位置から遠い位置のキーは、ユーザによる誤入力は起こりにくい。そこで、図8に示すように、ある閾値内に関する文字のみ、確率演算の対象とすることで、文字探索の高速化を行なっても良い。
[単語予測への拡張]
確率計算された文字の上位N個の確率を保持しておいて、文字M個分の文字列について確率を、積算し、上位S個を入力文字列として表示してもよい。また、上位S個に対して、文字の前方一致などにより、辞書の予測機能を適応してもよい。その際、Sが多くなると端末上の予測単語表示部に表示しきれなくなりうる。そのため、図9に示すように、辞書の予測機能を適用するS個の入力文字列に対して、積算確率に応じてバイアスをかけ、積算確率が高い文字列ほど、予測単語が多く表示してもよい。また、確率言語モデルN-gramを導入して順位付けしてもよい。
確率計算された文字の上位N個の確率を保持しておいて、文字M個分の文字列について確率を、積算し、上位S個を入力文字列として表示してもよい。また、上位S個に対して、文字の前方一致などにより、辞書の予測機能を適応してもよい。その際、Sが多くなると端末上の予測単語表示部に表示しきれなくなりうる。そのため、図9に示すように、辞書の予測機能を適用するS個の入力文字列に対して、積算確率に応じてバイアスをかけ、積算確率が高い文字列ほど、予測単語が多く表示してもよい。また、確率言語モデルN-gramを導入して順位付けしてもよい。
[モデルの木構造化]
モデル数が多くなると計算時間が多くなり得る。そこで、最初のタッチ位置に応じて共通のモデル化を行ない、モデルを“木構造化”してもよい。例えば、図10に示すように、一般にフリック入力では「あ」「い」「う」「え」「お」は、最初は「あ」を押してから異なる方向にスライドするため、その「あ」~「お」の状態1を共通のモデル化するということが挙げられる。同様に、上記2種のコンテクストについても、同一文字についてある状態のみ共通のモデル化してもよい。その際、どのモデル・状態を共通モデル化するかは手動で決めても、あるクラスタリング手法を用いてもよい。
モデル数が多くなると計算時間が多くなり得る。そこで、最初のタッチ位置に応じて共通のモデル化を行ない、モデルを“木構造化”してもよい。例えば、図10に示すように、一般にフリック入力では「あ」「い」「う」「え」「お」は、最初は「あ」を押してから異なる方向にスライドするため、その「あ」~「お」の状態1を共通のモデル化するということが挙げられる。同様に、上記2種のコンテクストについても、同一文字についてある状態のみ共通のモデル化してもよい。その際、どのモデル・状態を共通モデル化するかは手動で決めても、あるクラスタリング手法を用いてもよい。
[デリートを含めたモデル]
ある文字または文字列を入力したあとに、デリートにより消去した場合、その文字はユーザの意図と異なる入力がされた可能性がある。そのため、さらなる誤入力を防ぐためにデリートした文字にバイアス(<1)をかけてもよい。なお、図11に示すように、バイアスをかける対象文字は直前にデリートしたDBの順番を含む履歴に基づき判別する。すなわち、「ひらめ」と入力された後、「め」がデリートされた場合は、「め」の生起確率にバイアスをかける。また、「ら」がデリートされた場合は、「ら」の生起確率にバイアスをかける。
ある文字または文字列を入力したあとに、デリートにより消去した場合、その文字はユーザの意図と異なる入力がされた可能性がある。そのため、さらなる誤入力を防ぐためにデリートした文字にバイアス(<1)をかけてもよい。なお、図11に示すように、バイアスをかける対象文字は直前にデリートしたDBの順番を含む履歴に基づき判別する。すなわち、「ひらめ」と入力された後、「め」がデリートされた場合は、「め」の生起確率にバイアスをかける。また、「ら」がデリートされた場合は、「ら」の生起確率にバイアスをかける。
[サーバ連携]
文字モデル部および演算部、記憶部をサーバが有し、本装置への入力座標をサーバに送信することで、確率演算を行なっても良い。その場合、サーバで確率演算した結果を本装置が受信し、表示部にて表示する。
文字モデル部および演算部、記憶部をサーバが有し、本装置への入力座標をサーバに送信することで、確率演算を行なっても良い。その場合、サーバで確率演算した結果を本装置が受信し、表示部にて表示する。
以上、本実施形態によれば、フリック入力において、確率モデルによるタッチ入力の時系列を用いた文字提示を行なうことで、ユーザ毎・入力状況毎の特徴に基づいて、入力誤りが低減することが可能になる。
1 主制御部
2 タッチパネル入力部
3 時系列入力座標格納部
4 文字モデル格納部
5 確率演算部
6 累積確率記憶部
7 入力候補文字選出部
8 文字表示部
2 タッチパネル入力部
3 時系列入力座標格納部
4 文字モデル格納部
5 確率演算部
6 累積確率記憶部
7 入力候補文字選出部
8 文字表示部
Claims (10)
- タッチパネルディスプレイに表示されているスライド操作により文字入力を行なうソフトウェアキーボードに対するユーザの操作を検出し、ユーザが入力する文字を推定する入力文字推定装置であって、
前記タッチパネルディスプレイに対してユーザが接触したときの入力座標を時系列に沿って記憶する時系列入力座標格納部と、
前記ソフトウェアキーボードの操作ボタンに割り当てられている文字毎に、複数種類の状態を持つ確率文字モデルを定義し、各状態について2次元座標から得られる特徴量空間における確率密度関数を定義し、前記各状態について定義した確率密度関数を文字毎に格納する文字モデル格納部と、
前記入力座標および前記文字モデルに基づいて、入力座標に対して各文字モデル毎に生起確率を演算する確率演算部と、
各文字モデル毎にユーザの入力開始からの前記確率値を累積した累積確率値を、各文字に対する累積生起確率として記憶する累積確率記憶部と、
前記累積生起確率が最も高い文字を入力候補文字として選出する入力候補文字選出部と、を備えることを特徴とする入力文字推定装置。 - 前記2次元座標に加えて、前記2次元座標から算出される速度ベクトルまたは加速度ベクトルまたは時系列入力座標から算出されるその他の値を前記特徴量として用いることを特徴とする請求項1記載の入力文字推定装置。
- 過去に入力された文字およびその入力座標の履歴を記録する入力履歴管理部と、
文字モデルを再学習する文字モデル再学習部と、を更に備え、
前記再学習部は、過去に入力された文字毎の確率密度関数に対して、その文字を入力したときの接触点の2次元座標またはその接触点を含む一定領域の確率値を高くすることを特徴とする請求項1または請求項2記載の入力文字推定装置。 - 前記ソフトウェアキーボードの入力領域を含む前記タッチパネルディスプレイを複数の領域に分割し、ユーザの直前の入力座標がどの領域に含まれたかに応じて定まる文字モデルを文字毎に定義することを特徴とする請求項1から請求項3のいずれかに記載の入力文字推定装置。
- ユーザの操作姿勢に応じて定まる文字モデルを文字毎に定義することを特徴とする請求項1から請求項3のいずれかに記載の入力文字推定装置。
- ユーザが押した座標と離した座標とに基づいて文字が確定的に定まる確定的文字決定領域外に対して、前記文字モデルを用いることを特徴とする請求項1から請求項3のいずれかに記載の入力文字推定装置。
- 押下位置を共通に割り当てられた文字に共通のモデル化を行なって、前記文字モデルを木構造化することを特徴とする請求項1から請求項3のいずれかに記載の入力文字推定装置。
- ユーザが文字入力後に削除した場合、その削除された文字に対して確率値を小さくすることを特徴とする請求項1から請求項3のいずれかに記載の入力文字推定装置。
- 前記入力候補文字選出部は、確率計算された文字の上位N個の確率を保持し、文字M個分の文字列について確率を積算し、上位S個を入力文字列として選出することを特徴とする請求項1から請求項8のいずれかに記載の入力文字推定装置。
- タッチパネルディスプレイに表示されているスライド操作により文字入力を行なうソフトウェアキーボードに対するユーザの操作を検出し、ユーザが入力する文字を推定するプログラムであって、
前記タッチパネルディスプレイに対してユーザが接触したときの入力座標を時系列に沿って記憶する処理と、
前記ソフトウェアキーボードの操作ボタンに割り当てられている文字毎に、複数種類の状態を持つ確率文字モデルを定義し、各状態について2次元座標から得られる特徴量空間における確率密度関数を定義し、前記各状態について定義した確率密度関数を文字毎に格納する処理と、
前記入力座標および前記文字モデルに基づいて、入力座標に対して各文字モデル毎に生起確率を演算する処理と、
各文字モデル毎にユーザの入力開始からの前記確率値を累積した累積確率値を、各文字に対する累積生起確率として記憶する処理と、
前記累積生起確率が最も高い文字を入力候補文字として選出する処理と、の一連の処理を、コンピュータに実行させることを特徴とするプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012147568A JP5852930B2 (ja) | 2012-06-29 | 2012-06-29 | 入力文字推定装置およびプログラム |
JP2012-147568 | 2012-06-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014003138A1 true WO2014003138A1 (ja) | 2014-01-03 |
Family
ID=49783273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/067710 WO2014003138A1 (ja) | 2012-06-29 | 2013-06-27 | 入力文字推定装置およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5852930B2 (ja) |
WO (1) | WO2014003138A1 (ja) |
Cited By (126)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015150832A1 (en) * | 2014-04-04 | 2015-10-08 | Touchtype Limited | System and method for inputting one or more inputs associated with a multi-input target |
CN107688398A (zh) * | 2016-08-03 | 2018-02-13 | 中国科学院计算技术研究所 | 确定候选输入的方法和装置及输入提示方法和装置 |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
US10083690B2 (en) | 2014-05-30 | 2018-09-25 | Apple Inc. | Better resolution when referencing to concepts |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US10108612B2 (en) | 2008-07-31 | 2018-10-23 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
US10311871B2 (en) | 2015-03-08 | 2019-06-04 | Apple Inc. | Competing devices responding to voice triggers |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US10332518B2 (en) | 2017-05-09 | 2019-06-25 | Apple Inc. | User interface for correcting recognition errors |
US10354652B2 (en) | 2015-12-02 | 2019-07-16 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10381016B2 (en) | 2008-01-03 | 2019-08-13 | Apple Inc. | Methods and apparatus for altering audio output signals |
US10390213B2 (en) | 2014-09-30 | 2019-08-20 | Apple Inc. | Social reminders |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US10403283B1 (en) | 2018-06-01 | 2019-09-03 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
US10417344B2 (en) | 2014-05-30 | 2019-09-17 | Apple Inc. | Exemplar-based natural language processing |
US10417405B2 (en) | 2011-03-21 | 2019-09-17 | Apple Inc. | Device access using voice authentication |
US10431204B2 (en) | 2014-09-11 | 2019-10-01 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10438595B2 (en) | 2014-09-30 | 2019-10-08 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10453443B2 (en) | 2014-09-30 | 2019-10-22 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
US10497365B2 (en) | 2014-05-30 | 2019-12-03 | Apple Inc. | Multi-command single utterance input method |
US10529332B2 (en) | 2015-03-08 | 2020-01-07 | Apple Inc. | Virtual assistant activation |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US10580409B2 (en) | 2016-06-11 | 2020-03-03 | Apple Inc. | Application integration with a digital assistant |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
US10643611B2 (en) | 2008-10-02 | 2020-05-05 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
US10657961B2 (en) | 2013-06-08 | 2020-05-19 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10684703B2 (en) | 2018-06-01 | 2020-06-16 | Apple Inc. | Attention aware virtual assistant dismissal |
US10692504B2 (en) | 2010-02-25 | 2020-06-23 | Apple Inc. | User profiling for voice input processing |
US10699717B2 (en) | 2014-05-30 | 2020-06-30 | Apple Inc. | Intelligent assistant for home automation |
US10714117B2 (en) | 2013-02-07 | 2020-07-14 | Apple Inc. | Voice trigger for a digital assistant |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10741185B2 (en) | 2010-01-18 | 2020-08-11 | Apple Inc. | Intelligent automated assistant |
US10748546B2 (en) | 2017-05-16 | 2020-08-18 | Apple Inc. | Digital assistant services based on device capabilities |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
US10769385B2 (en) | 2013-06-09 | 2020-09-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
EP3709136A1 (en) * | 2019-03-14 | 2020-09-16 | Omron Corporation | Character input device, character input method, and character input program |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
US10789945B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Low-latency intelligent automated assistant |
US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US10942703B2 (en) | 2015-12-23 | 2021-03-09 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10942702B2 (en) | 2016-06-11 | 2021-03-09 | Apple Inc. | Intelligent device arbitration and control |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11010127B2 (en) | 2015-06-29 | 2021-05-18 | Apple Inc. | Virtual assistant for media playback |
US11023513B2 (en) | 2007-12-20 | 2021-06-01 | Apple Inc. | Method and apparatus for searching using an active ontology |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US11048473B2 (en) | 2013-06-09 | 2021-06-29 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US11070949B2 (en) | 2015-05-27 | 2021-07-20 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display |
US11069347B2 (en) | 2016-06-08 | 2021-07-20 | Apple Inc. | Intelligent automated assistant for media exploration |
US11069336B2 (en) | 2012-03-02 | 2021-07-20 | Apple Inc. | Systems and methods for name pronunciation |
US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US11127397B2 (en) | 2015-05-27 | 2021-09-21 | Apple Inc. | Device voice control |
US11126400B2 (en) | 2015-09-08 | 2021-09-21 | Apple Inc. | Zero latency digital assistant |
US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US11217251B2 (en) | 2019-05-06 | 2022-01-04 | Apple Inc. | Spoken notifications |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US11231904B2 (en) | 2015-03-06 | 2022-01-25 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US11237797B2 (en) | 2019-05-31 | 2022-02-01 | Apple Inc. | User activity shortcut suggestions |
US11269678B2 (en) | 2012-05-15 | 2022-03-08 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11314370B2 (en) | 2013-12-06 | 2022-04-26 | Apple Inc. | Method for extracting salient dialog usage from live data |
US11350253B2 (en) | 2011-06-03 | 2022-05-31 | Apple Inc. | Active transport based notifications |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
WO2022111347A1 (zh) * | 2020-11-24 | 2022-06-02 | 北京字节跳动网络技术有限公司 | 信息处理方法、装置、电子设备和存储介质 |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US11388291B2 (en) | 2013-03-14 | 2022-07-12 | Apple Inc. | System and method for processing voicemail |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11468282B2 (en) | 2015-05-15 | 2022-10-11 | Apple Inc. | Virtual assistant in a communication session |
US11467802B2 (en) | 2017-05-11 | 2022-10-11 | Apple Inc. | Maintaining privacy of personal information |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
US11495218B2 (en) | 2018-06-01 | 2022-11-08 | Apple Inc. | Virtual assistant operation in multi-device environments |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
US11516537B2 (en) | 2014-06-30 | 2022-11-29 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US11532306B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Detecting a trigger of a digital assistant |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11657813B2 (en) | 2019-05-31 | 2023-05-23 | Apple Inc. | Voice identification in digital assistant systems |
US11671920B2 (en) | 2007-04-03 | 2023-06-06 | Apple Inc. | Method and system for operating a multifunction portable electronic device using voice-activation |
US11696060B2 (en) | 2020-07-21 | 2023-07-04 | Apple Inc. | User identification using headphones |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
US11790914B2 (en) | 2019-06-01 | 2023-10-17 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11798547B2 (en) | 2013-03-15 | 2023-10-24 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US11809483B2 (en) | 2015-09-08 | 2023-11-07 | Apple Inc. | Intelligent automated assistant for media search and playback |
US11838734B2 (en) | 2020-07-20 | 2023-12-05 | Apple Inc. | Multi-device audio adjustment coordination |
US11853536B2 (en) | 2015-09-08 | 2023-12-26 | Apple Inc. | Intelligent automated assistant in a media environment |
US11914848B2 (en) | 2020-05-11 | 2024-02-27 | Apple Inc. | Providing relevant data items based on context |
US11928604B2 (en) | 2005-09-08 | 2024-03-12 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US12010262B2 (en) | 2013-08-06 | 2024-06-11 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
US12014118B2 (en) | 2021-12-17 | 2024-06-18 | Apple Inc. | Multi-modal interfaces having selection disambiguation and text modification capability |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6524903B2 (ja) * | 2015-12-21 | 2019-06-05 | 富士通株式会社 | 入力プログラム、入力装置、および入力方法 |
US11188158B2 (en) | 2017-06-02 | 2021-11-30 | Samsung Electronics Co., Ltd. | System and method of determining input characters based on swipe input |
KR102474245B1 (ko) * | 2017-06-02 | 2022-12-05 | 삼성전자주식회사 | 스와이프 입력에 기초하여 입력 문자를 판단하는 시스템 및 방법 |
US11554322B2 (en) * | 2019-04-26 | 2023-01-17 | Sony Interactive Entertainment LLC | Game controller with touchpad input |
US11347352B2 (en) | 2020-10-25 | 2022-05-31 | Google Llc | Virtual keyboard error correction based on a dynamic spatial model |
CN114830071A (zh) * | 2020-10-25 | 2022-07-29 | 谷歌有限责任公司 | 基于动态空间模型的虚拟键盘错误校正 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010035574A1 (ja) * | 2008-09-29 | 2010-04-01 | シャープ株式会社 | 入力装置、入力方法、プログラム、および記録媒体 |
WO2011113057A1 (en) * | 2010-03-12 | 2011-09-15 | Nuance Communications, Inc. | Multimodal text input system, such as for use with touch screens on mobile phones |
-
2012
- 2012-06-29 JP JP2012147568A patent/JP5852930B2/ja not_active Expired - Fee Related
-
2013
- 2013-06-27 WO PCT/JP2013/067710 patent/WO2014003138A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010035574A1 (ja) * | 2008-09-29 | 2010-04-01 | シャープ株式会社 | 入力装置、入力方法、プログラム、および記録媒体 |
WO2011113057A1 (en) * | 2010-03-12 | 2011-09-15 | Nuance Communications, Inc. | Multimodal text input system, such as for use with touch screens on mobile phones |
Non-Patent Citations (1)
Title |
---|
TOSHIYUKI HAGIYA ET AL.: "A Keyboard Input Method Based on the Probabilistic Model", DAI 74 KAI (HEISEI 24 NEN) ZENKOKU TAIKAI KOEN RONBUNSHU(4), 6 March 2012 (2012-03-06), pages 4-13 - 4-14 * |
Cited By (199)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11928604B2 (en) | 2005-09-08 | 2024-03-12 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US11979836B2 (en) | 2007-04-03 | 2024-05-07 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US11671920B2 (en) | 2007-04-03 | 2023-06-06 | Apple Inc. | Method and system for operating a multifunction portable electronic device using voice-activation |
US11023513B2 (en) | 2007-12-20 | 2021-06-01 | Apple Inc. | Method and apparatus for searching using an active ontology |
US10381016B2 (en) | 2008-01-03 | 2019-08-13 | Apple Inc. | Methods and apparatus for altering audio output signals |
US10108612B2 (en) | 2008-07-31 | 2018-10-23 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
US11348582B2 (en) | 2008-10-02 | 2022-05-31 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10643611B2 (en) | 2008-10-02 | 2020-05-05 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US11900936B2 (en) | 2008-10-02 | 2024-02-13 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
US10741185B2 (en) | 2010-01-18 | 2020-08-11 | Apple Inc. | Intelligent automated assistant |
US10692504B2 (en) | 2010-02-25 | 2020-06-23 | Apple Inc. | User profiling for voice input processing |
US10417405B2 (en) | 2011-03-21 | 2019-09-17 | Apple Inc. | Device access using voice authentication |
US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US11350253B2 (en) | 2011-06-03 | 2022-05-31 | Apple Inc. | Active transport based notifications |
US11069336B2 (en) | 2012-03-02 | 2021-07-20 | Apple Inc. | Systems and methods for name pronunciation |
US11321116B2 (en) | 2012-05-15 | 2022-05-03 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US11269678B2 (en) | 2012-05-15 | 2022-03-08 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
US11636869B2 (en) | 2013-02-07 | 2023-04-25 | Apple Inc. | Voice trigger for a digital assistant |
US11862186B2 (en) | 2013-02-07 | 2024-01-02 | Apple Inc. | Voice trigger for a digital assistant |
US11557310B2 (en) | 2013-02-07 | 2023-01-17 | Apple Inc. | Voice trigger for a digital assistant |
US10978090B2 (en) | 2013-02-07 | 2021-04-13 | Apple Inc. | Voice trigger for a digital assistant |
US10714117B2 (en) | 2013-02-07 | 2020-07-14 | Apple Inc. | Voice trigger for a digital assistant |
US12009007B2 (en) | 2013-02-07 | 2024-06-11 | Apple Inc. | Voice trigger for a digital assistant |
US11388291B2 (en) | 2013-03-14 | 2022-07-12 | Apple Inc. | System and method for processing voicemail |
US11798547B2 (en) | 2013-03-15 | 2023-10-24 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US10657961B2 (en) | 2013-06-08 | 2020-05-19 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US11048473B2 (en) | 2013-06-09 | 2021-06-29 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US10769385B2 (en) | 2013-06-09 | 2020-09-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
US11727219B2 (en) | 2013-06-09 | 2023-08-15 | Apple Inc. | System and method for inferring user intent from speech inputs |
US12010262B2 (en) | 2013-08-06 | 2024-06-11 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
US11314370B2 (en) | 2013-12-06 | 2022-04-26 | Apple Inc. | Method for extracting salient dialog usage from live data |
US10802710B2 (en) | 2014-04-04 | 2020-10-13 | Touchtype Ltd | System and method for inputting one or more inputs associated with a multi-input target |
WO2015150832A1 (en) * | 2014-04-04 | 2015-10-08 | Touchtype Limited | System and method for inputting one or more inputs associated with a multi-input target |
CN106164893A (zh) * | 2014-04-04 | 2016-11-23 | 触摸式有限公司 | 用于输入与多输入目标相关联的一个或多个输入的系统和方法 |
US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US11670289B2 (en) | 2014-05-30 | 2023-06-06 | Apple Inc. | Multi-command single utterance input method |
US10878809B2 (en) | 2014-05-30 | 2020-12-29 | Apple Inc. | Multi-command single utterance input method |
US11257504B2 (en) | 2014-05-30 | 2022-02-22 | Apple Inc. | Intelligent assistant for home automation |
US10083690B2 (en) | 2014-05-30 | 2018-09-25 | Apple Inc. | Better resolution when referencing to concepts |
US10657966B2 (en) | 2014-05-30 | 2020-05-19 | Apple Inc. | Better resolution when referencing to concepts |
US11699448B2 (en) | 2014-05-30 | 2023-07-11 | Apple Inc. | Intelligent assistant for home automation |
US10417344B2 (en) | 2014-05-30 | 2019-09-17 | Apple Inc. | Exemplar-based natural language processing |
US11810562B2 (en) | 2014-05-30 | 2023-11-07 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10497365B2 (en) | 2014-05-30 | 2019-12-03 | Apple Inc. | Multi-command single utterance input method |
US10699717B2 (en) | 2014-05-30 | 2020-06-30 | Apple Inc. | Intelligent assistant for home automation |
US10714095B2 (en) | 2014-05-30 | 2020-07-14 | Apple Inc. | Intelligent assistant for home automation |
US11516537B2 (en) | 2014-06-30 | 2022-11-29 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US11838579B2 (en) | 2014-06-30 | 2023-12-05 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10431204B2 (en) | 2014-09-11 | 2019-10-01 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10453443B2 (en) | 2014-09-30 | 2019-10-22 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10438595B2 (en) | 2014-09-30 | 2019-10-08 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10390213B2 (en) | 2014-09-30 | 2019-08-20 | Apple Inc. | Social reminders |
US11231904B2 (en) | 2015-03-06 | 2022-01-25 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US10311871B2 (en) | 2015-03-08 | 2019-06-04 | Apple Inc. | Competing devices responding to voice triggers |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US10930282B2 (en) | 2015-03-08 | 2021-02-23 | Apple Inc. | Competing devices responding to voice triggers |
US11842734B2 (en) | 2015-03-08 | 2023-12-12 | Apple Inc. | Virtual assistant activation |
US11087759B2 (en) | 2015-03-08 | 2021-08-10 | Apple Inc. | Virtual assistant activation |
US10529332B2 (en) | 2015-03-08 | 2020-01-07 | Apple Inc. | Virtual assistant activation |
US12001933B2 (en) | 2015-05-15 | 2024-06-04 | Apple Inc. | Virtual assistant in a communication session |
US11468282B2 (en) | 2015-05-15 | 2022-10-11 | Apple Inc. | Virtual assistant in a communication session |
US11127397B2 (en) | 2015-05-27 | 2021-09-21 | Apple Inc. | Device voice control |
US11070949B2 (en) | 2015-05-27 | 2021-07-20 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display |
US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US10681212B2 (en) | 2015-06-05 | 2020-06-09 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US11010127B2 (en) | 2015-06-29 | 2021-05-18 | Apple Inc. | Virtual assistant for media playback |
US11947873B2 (en) | 2015-06-29 | 2024-04-02 | Apple Inc. | Virtual assistant for media playback |
US11809483B2 (en) | 2015-09-08 | 2023-11-07 | Apple Inc. | Intelligent automated assistant for media search and playback |
US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
US11550542B2 (en) | 2015-09-08 | 2023-01-10 | Apple Inc. | Zero latency digital assistant |
US11853536B2 (en) | 2015-09-08 | 2023-12-26 | Apple Inc. | Intelligent automated assistant in a media environment |
US11954405B2 (en) | 2015-09-08 | 2024-04-09 | Apple Inc. | Zero latency digital assistant |
US11126400B2 (en) | 2015-09-08 | 2021-09-21 | Apple Inc. | Zero latency digital assistant |
US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US11809886B2 (en) | 2015-11-06 | 2023-11-07 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US11886805B2 (en) | 2015-11-09 | 2024-01-30 | Apple Inc. | Unconventional virtual assistant interactions |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10354652B2 (en) | 2015-12-02 | 2019-07-16 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10942703B2 (en) | 2015-12-23 | 2021-03-09 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US11069347B2 (en) | 2016-06-08 | 2021-07-20 | Apple Inc. | Intelligent automated assistant for media exploration |
US11657820B2 (en) | 2016-06-10 | 2023-05-23 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US11037565B2 (en) | 2016-06-10 | 2021-06-15 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US11749275B2 (en) | 2016-06-11 | 2023-09-05 | Apple Inc. | Application integration with a digital assistant |
US10580409B2 (en) | 2016-06-11 | 2020-03-03 | Apple Inc. | Application integration with a digital assistant |
US11809783B2 (en) | 2016-06-11 | 2023-11-07 | Apple Inc. | Intelligent device arbitration and control |
US10942702B2 (en) | 2016-06-11 | 2021-03-09 | Apple Inc. | Intelligent device arbitration and control |
US11152002B2 (en) | 2016-06-11 | 2021-10-19 | Apple Inc. | Application integration with a digital assistant |
CN107688398B (zh) * | 2016-08-03 | 2019-09-17 | 中国科学院计算技术研究所 | 确定候选输入的方法和装置及输入提示方法和装置 |
CN107688398A (zh) * | 2016-08-03 | 2018-02-13 | 中国科学院计算技术研究所 | 确定候选输入的方法和装置及输入提示方法和装置 |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US10553215B2 (en) | 2016-09-23 | 2020-02-04 | Apple Inc. | Intelligent automated assistant |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US11656884B2 (en) | 2017-01-09 | 2023-05-23 | Apple Inc. | Application integration with a digital assistant |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US10332518B2 (en) | 2017-05-09 | 2019-06-25 | Apple Inc. | User interface for correcting recognition errors |
US10741181B2 (en) | 2017-05-09 | 2020-08-11 | Apple Inc. | User interface for correcting recognition errors |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
US11599331B2 (en) | 2017-05-11 | 2023-03-07 | Apple Inc. | Maintaining privacy of personal information |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
US11467802B2 (en) | 2017-05-11 | 2022-10-11 | Apple Inc. | Maintaining privacy of personal information |
US10847142B2 (en) | 2017-05-11 | 2020-11-24 | Apple Inc. | Maintaining privacy of personal information |
US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
US11538469B2 (en) | 2017-05-12 | 2022-12-27 | Apple Inc. | Low-latency intelligent automated assistant |
US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
US11380310B2 (en) | 2017-05-12 | 2022-07-05 | Apple Inc. | Low-latency intelligent automated assistant |
US10789945B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Low-latency intelligent automated assistant |
US11580990B2 (en) | 2017-05-12 | 2023-02-14 | Apple Inc. | User-specific acoustic models |
US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
US11862151B2 (en) | 2017-05-12 | 2024-01-02 | Apple Inc. | Low-latency intelligent automated assistant |
US11837237B2 (en) | 2017-05-12 | 2023-12-05 | Apple Inc. | User-specific acoustic models |
US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
US11675829B2 (en) | 2017-05-16 | 2023-06-13 | Apple Inc. | Intelligent automated assistant for media exploration |
US11217255B2 (en) | 2017-05-16 | 2022-01-04 | Apple Inc. | Far-field extension for digital assistant services |
US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US11532306B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Detecting a trigger of a digital assistant |
US10909171B2 (en) | 2017-05-16 | 2021-02-02 | Apple Inc. | Intelligent automated assistant for media exploration |
US10748546B2 (en) | 2017-05-16 | 2020-08-18 | Apple Inc. | Digital assistant services based on device capabilities |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US11710482B2 (en) | 2018-03-26 | 2023-07-25 | Apple Inc. | Natural assistant interaction |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US11900923B2 (en) | 2018-05-07 | 2024-02-13 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US11907436B2 (en) | 2018-05-07 | 2024-02-20 | Apple Inc. | Raise to speak |
US11169616B2 (en) | 2018-05-07 | 2021-11-09 | Apple Inc. | Raise to speak |
US11854539B2 (en) | 2018-05-07 | 2023-12-26 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US11487364B2 (en) | 2018-05-07 | 2022-11-01 | Apple Inc. | Raise to speak |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US10684703B2 (en) | 2018-06-01 | 2020-06-16 | Apple Inc. | Attention aware virtual assistant dismissal |
US11009970B2 (en) | 2018-06-01 | 2021-05-18 | Apple Inc. | Attention aware virtual assistant dismissal |
US11360577B2 (en) | 2018-06-01 | 2022-06-14 | Apple Inc. | Attention aware virtual assistant dismissal |
US11630525B2 (en) | 2018-06-01 | 2023-04-18 | Apple Inc. | Attention aware virtual assistant dismissal |
US10984798B2 (en) | 2018-06-01 | 2021-04-20 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
US10720160B2 (en) | 2018-06-01 | 2020-07-21 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
US10403283B1 (en) | 2018-06-01 | 2019-09-03 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US11495218B2 (en) | 2018-06-01 | 2022-11-08 | Apple Inc. | Virtual assistant operation in multi-device environments |
US11431642B2 (en) | 2018-06-01 | 2022-08-30 | Apple Inc. | Variable latency device coordination |
US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
US10504518B1 (en) | 2018-06-03 | 2019-12-10 | Apple Inc. | Accelerated task performance |
US10944859B2 (en) | 2018-06-03 | 2021-03-09 | Apple Inc. | Accelerated task performance |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11893992B2 (en) | 2018-09-28 | 2024-02-06 | Apple Inc. | Multi-modal inputs for voice commands |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
EP3709136A1 (en) * | 2019-03-14 | 2020-09-16 | Omron Corporation | Character input device, character input method, and character input program |
US11137902B2 (en) | 2019-03-14 | 2021-10-05 | Omron Corporation | Character input device, character input method, and character input program |
US11783815B2 (en) | 2019-03-18 | 2023-10-10 | Apple Inc. | Multimodality in digital assistant systems |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11217251B2 (en) | 2019-05-06 | 2022-01-04 | Apple Inc. | Spoken notifications |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11675491B2 (en) | 2019-05-06 | 2023-06-13 | Apple Inc. | User configurable task triggers |
US11705130B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | Spoken notifications |
US11888791B2 (en) | 2019-05-21 | 2024-01-30 | Apple Inc. | Providing message response suggestions |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11237797B2 (en) | 2019-05-31 | 2022-02-01 | Apple Inc. | User activity shortcut suggestions |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11657813B2 (en) | 2019-05-31 | 2023-05-23 | Apple Inc. | Voice identification in digital assistant systems |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
US11360739B2 (en) | 2019-05-31 | 2022-06-14 | Apple Inc. | User activity shortcut suggestions |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US11790914B2 (en) | 2019-06-01 | 2023-10-17 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
US11924254B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Digital assistant hardware abstraction |
US11914848B2 (en) | 2020-05-11 | 2024-02-27 | Apple Inc. | Providing relevant data items based on context |
US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
US11838734B2 (en) | 2020-07-20 | 2023-12-05 | Apple Inc. | Multi-device audio adjustment coordination |
US11696060B2 (en) | 2020-07-21 | 2023-07-04 | Apple Inc. | User identification using headphones |
US11750962B2 (en) | 2020-07-21 | 2023-09-05 | Apple Inc. | User identification using headphones |
WO2022111347A1 (zh) * | 2020-11-24 | 2022-06-02 | 北京字节跳动网络技术有限公司 | 信息处理方法、装置、电子设备和存储介质 |
US12014118B2 (en) | 2021-12-17 | 2024-06-18 | Apple Inc. | Multi-modal interfaces having selection disambiguation and text modification capability |
Also Published As
Publication number | Publication date |
---|---|
JP2014010688A (ja) | 2014-01-20 |
JP5852930B2 (ja) | 2016-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5852930B2 (ja) | 入力文字推定装置およびプログラム | |
JP5731281B2 (ja) | 文字入力装置およびプログラム | |
US20210073467A1 (en) | Method, System and Apparatus for Entering Text on a Computing Device | |
US20210192135A1 (en) | Multi-Gesture Text Input Prediction | |
US10613746B2 (en) | System and method for inputting text | |
US9104312B2 (en) | Multimodal text input system, such as for use with touch screens on mobile phones | |
US9471220B2 (en) | Posture-adaptive selection | |
US10191654B2 (en) | System and method for inputting text into electronic devices | |
JP5611838B2 (ja) | ダイナミックソフトキーボード | |
US9026428B2 (en) | Text/character input system, such as for use with touch screens on mobile phones | |
JP6492238B2 (ja) | ユーザ入力予測 | |
US9189472B2 (en) | System and method for inputting text into small screen devices | |
RU2377664C2 (ru) | Способ ввода текста | |
US20110210850A1 (en) | Touch-screen keyboard with combination keys and directional swipes | |
CN112684913A (zh) | 信息修正方法、装置及电子设备 | |
JP6226472B2 (ja) | 入力支援装置、入力支援システムおよびプログラム | |
EP4298501B1 (en) | Predictive input interface having improved robustness for processing low precision inputs | |
JP6179036B2 (ja) | 入力支援装置、入力支援方法およびプログラム | |
Laitinen | Two one-handed tilting-based writing techniques on a smartphone |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13810527 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 13810527 Country of ref document: EP Kind code of ref document: A1 |