JP6235763B2 - 入力表示装置、入力表示方法及び入力表示プログラム - Google Patents
入力表示装置、入力表示方法及び入力表示プログラム Download PDFInfo
- Publication number
- JP6235763B2 JP6235763B2 JP2017520187A JP2017520187A JP6235763B2 JP 6235763 B2 JP6235763 B2 JP 6235763B2 JP 2017520187 A JP2017520187 A JP 2017520187A JP 2017520187 A JP2017520187 A JP 2017520187A JP 6235763 B2 JP6235763 B2 JP 6235763B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- trajectory
- character string
- input
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 52
- 238000001514 detection method Methods 0.000 claims description 42
- 238000010586 diagram Methods 0.000 description 27
- 239000004065 semiconductor Substances 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 241000167854 Bourreria succulenta Species 0.000 description 2
- 235000019693 cherries Nutrition 0.000 description 2
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
- G09G5/30—Control of display attribute
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
- G09G5/24—Generation of individual character patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
- G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/40—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which both a pattern determined by character code and another pattern are displayed simultaneously, or either pattern is displayed selectively, e.g. with character code memory and APA, i.e. all-points-addressable, memory
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/005—Language recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
- G09G5/24—Generation of individual character patterns
- G09G5/26—Generation of individual character patterns for modifying the character dimensions, e.g. double width, double height
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Description
この入力表示装置では、ユーザがペン型入力器を用いて、線を描く操作を行うと、その線の始点と終点を検知し、その始点と終点を結ぶ直線をディスプレイに描画する。
その後、ユーザがマイクを用いて、音声を入力すると、その音声の認識処理を実施して、その音声の認識結果を示す文字列を描画済みの直線に沿うように表示する。
図1はこの発明の実施の形態1による入力表示装置を示す構成図であり、図2はこの発明の実施の形態1による入力表示装置のハードウェア構成図である。
図1及び図2において、操作受付部1はポインティングデバイス21で実現され、ユーザの操作として、なぞり書きの操作を受け付ける処理を実施する。
この実施の形態1では、ポインティングデバイス21として、タッチパネルを用いるものを想定しているが、タッチパネルに限るものではなく、例えば、ジョイスティック、ポインティング・スティック(トラックポイント)、タッチパッド、スタイラス、データグローブ、トラックボール、ペンタブレット、マウス、ライトペン、ジョイパッドなどを用いることができる。
文字管理部3は例えばCPU(Central Processing Unit)を実装している半導体集積回路やワンチップマイコンなどで構成されている文字管理処理回路23で実現されるものである。文字管理部3は事前にディスプレイ29に表示する文字のサイズが設定され、文字管理DB2に記憶されている文字属性表を参照して、その文字サイズに対応する文字高を示す文字属性情報を軌跡画像生成部4に出力する処理を実施する。
音声検出部6は例えばマイク25で実現され、ユーザの音声を検出する。
音声認識辞書DB7は例えばRAMやハードディスクなどのメモリ26で実現されるものであり、音声認識辞書DB7は、例えば、人間の発声の小さな単位である音素の音響特徴が記述されている音響モデルと、音声認識する言葉が記述されている認識辞書とから構成されている。
音声認識部8は例えばCPUを実装している半導体集積回路やワンチップマイコンなどで構成されている音声認識処理回路27で実現されるものであり、音声検出部6により検出された音声を認識する音声認識エンジンを搭載している。
即ち、音声認識部8は音声検出部6により検出された音声を分析して、その音声の音響特徴を算出し、音声認識辞書DB7の認識辞書に記述されている言葉の中から、その算出した音響特徴と最も近い音響特徴を有する言葉を探索し、その言葉を示す文字列を音声の認識結果を示す文字列として表示制御部9に出力する処理を実施する。
このデータ送受信部は、例えば、インターネットやLANなどの通信経路を介して、図示せぬ音声認識サーバとデータの送受信を行うことが可能なネットワークカードなどのネットワーク通信機器であり、音声検出部6により検出された音声を示すデータを音声認識サーバに送信する。
音声認識サーバは、音声を認識する音声認識エンジンを搭載しており、データ送受信部から送信された音声を示すデータを受信すると、その音声を認識して、その音声の認識結果を示す文字列を当該データ送受信部に送信する。
このデータ送受信部は、音声認識サーバから送信された音声の認識結果を示す文字列を受信すると、その文字列を表示制御部9に出力する。
即ち、表示制御部9は文字列取得部5の音声認識部8から文字列が出力される前に、軌跡画像生成部4により軌跡画像が生成された場合、その軌跡画像をディスプレイ29に表示した後、文字列取得部5の音声認識部8から出力された文字列を軌跡画像の上に重ねて表示する。一方、軌跡画像生成部4により軌跡画像が生成される前に、文字列取得部5の音声認識部8から文字列が出力された場合、軌跡画像生成部4により軌跡画像が生成されるまで待機し、軌跡画像生成部4により軌跡画像が生成されると、その軌跡画像をディスプレイ29に表示するとともに、その文字列を軌跡画像の上に重ねて表示する処理を実施する。
また、表示制御部9は文字列を軌跡画像の上に重ねて表示した後、その軌跡画像の表示を消す処理を実施する。
文字列一時保存部10は例えばRAMやハードディスクなどのメモリ30で実現され、文字列取得部5の音声認識部8から出力された文字列を一時的に保存する。
図3は入力表示装置がコンピュータで構成される場合のハードウェア構成図である。
入力表示装置がコンピュータで構成される場合、文字管理DB2、音声認識辞書DB7及び文字列一時保存部10をコンピュータのメモリ41上に構成するとともに、操作受付部1、文字管理部3、軌跡画像生成部4、音声検出部6、音声認識部8及び表示制御部9の処理内容を記述しているプログラムをメモリ41に格納し、プロセッサ42がメモリ41に格納されているプログラムを実行するようにすればよい。
図4及び図5はこの発明の実施の形態1による入力表示装置の処理内容である入力表示方法を示すフローチャートである。
図6は文字管理DB2に記憶されている文字属性表を示す説明図である。
図6の文字属性表では、各々の文字種(例えば、明朝体、ゴシック体など)毎に、文字サイズに対応している文字高と文字幅が記述されている。
文字管理部3には、ディスプレイ29に表示する文字のサイズが事前に設定されており、文字管理部3は、文字管理DB2に記憶されている文字属性表を参照して、その文字サイズに対応する文字高を示す文字属性情報を軌跡画像生成部4に出力する(図4のステップST1)。
例えば、事前に設定されている文字の文字種が“A”で、その文字サイズが“10”であれば、文字高が“5mm”であることを示す文字属性情報が軌跡画像生成部4に出力される。
また、事前に設定されている文字の文字種が“B”で、その文字サイズが“5”であれば、文字高が“2mm”であることを示す文字属性情報が軌跡画像生成部4に出力される。
また、文字管理部3は、その文字サイズに対応する文字高及び文字幅を示す文字属性情報を表示制御部9に出力する。
例えば、文字属性情報が示す文字高が“10mm”であるとき、仮に文字の上部及び下部の余白が“0.5mm”に設定されているとすれば、軌跡画像の線幅を“11mm”に設定する。
11=10+0.5+0.5(mm)
ここでは、文字の上部及び下部に余白を設ける例を示しているが、余白を設けずに、文字属性情報が示す文字高と軌跡画像の線幅が一致するものであってもよい。
なぞり書きの操作内容は、タッチパネルに接触している指や入力ペンの位置(タッチパネル上の座標)の連続的な変化を示す時系列データに相当するものである。
なぞり書きの操作内容は、上述したように、タッチパネルに対する接触位置の連続的な変化を示しているので、時系列の接触位置を繋ぎ合わせることで、なぞり書きにより描かれる線の軌跡を判別することができる。
軌跡画像生成部4は、なぞり書きにより描かれる線の軌跡を判別すると、その軌跡を示す軌跡画像を生成し、その軌跡画像を表示制御部9に出力する(ステップST6)。
この軌跡画像の線幅は、ステップST2で設定した線幅であり、上記の例では、軌跡画像の線幅を“11mm”に設定しているので、線幅が“11mm”の軌跡画像を生成する。
音声認識部8による音声の認識処理自体は公知の技術であるため詳細な説明を省略するが、例えば、音声検出部6により検出された音声を分析して、その音声の音響特徴を算出し、音声認識辞書DB7の認識辞書に記述されている言葉の中から、その算出した音響特徴と最も近い音響特徴を有する言葉を探索し、その言葉を示す文字列を音声の認識結果を示す文字列として出力する方法が考えられる。
この実施の形態1では、説明の便宜上、ユーザが「春になったら桜を見に行きましょう」という発話をしており、音声認識部8が「春になったら桜を見に行きましょう」を示す文字列を出力するものとする。
また、図8は軌跡画像が生成される前に音声の認識結果を示す文字列が生成された場合の表示処理を示す説明図である。
表示制御部9は、文字列取得部5の音声認識部8から文字列が出力される前に、軌跡画像生成部4から軌跡画像が出力されると(図5のステップST11:YESの場合)、図7(a)に示すように、その軌跡画像をディスプレイ29に表示する(ステップST12)。
ここで、軌跡画像の表示は、軌跡画像の全体を同時に表示するようにしてもよいが、後で表示する文字列の先頭側から順次表示するアニメーションを行うようにしてもよい。
ここで、文字列の表示は、文字列を構成している全ての文字を同時に表示するようにしてもよいが、文字列の先頭の文字から順番に後尾の文字まで表示するアニメーション表示の形態であってもよい。
表示制御部9は、その後、ユーザがなぞり書きの操作を行うことで、軌跡画像生成部4から軌跡画像が出力されると(ステップST15:YESの場合)、文字列一時保存部10から文字列を読み出し、図8(b)に示すように、その軌跡画像をディスプレイ29に表示するとともに、その文字列を軌跡画像の上に重ねて表示する。即ち、表示制御部9は、軌跡画像と文字列を同じ位置に重ねて表示する(ステップST16)。ただし、軌跡画像及び文字列の表示は、全体を同時に表示するようにしてもよいが、文字列の先頭側から順次表示するアニメーション表示の形態であってもよい。
軌跡画像の消去は、軌跡画像の全体を同時に消去するようにしてもいが、文字列の先頭側から順次に消去するアニメーションを行うようにしてもよい。
ここでは、軌跡画像と文字列を重ねて表示してから、一定時間後に、軌跡画像を消去するものを想定しているが、文字列の表示が完了すると、直ちに、軌跡画像を消去するものであってもよい。
上記実施の形態1では、軌跡画像の線幅が事前に設定されている文字サイズの文字高に対応する線幅に設定されるものを示したが、ユーザによるなぞり書きの操作の状態に応じて軌跡画像の線幅が設定されるようにしてもよい。
図9及び図10において、図1及び図2と同一符号は同一または相当部分を示すので説明を省略する。
操作状態検知部11は例えばCPUを実装している半導体集積回路やワンチップマイコンなどで構成されている操作状態検知処理回路31で実現されるものであり、操作受付部1により受け付けられた操作の状態を検知する処理を実施する。
即ち、操作状態検知部11は、操作受付部1により受け付けられた操作の状態として、例えば、ポインティングデバイス21であるタッチパネルに対するユーザの指や入力ペンの圧力(筆圧)を感知する。
また、表示制御部13は軌跡画像生成部12により設定された線幅に応じて、文字列取得部5により取得された文字列を構成する文字の文字サイズを変更し、変更後の文字サイズで文字列を軌跡画像の上に重ねて表示する処理を実施する。
入力表示装置がコンピュータで構成される場合、文字管理DB2、音声認識辞書DB7及び文字列一時保存部10を図3に示すコンピュータのメモリ41上に構成するとともに、操作受付部1、文字管理部3、操作状態検知部11、軌跡画像生成部12、音声検出部6、音声認識部8及び表示制御部13の処理内容を記述しているプログラムをメモリ41に格納し、プロセッサ42がメモリ41に格納されているプログラムを実行するようにすればよい。
図11及び図5はこの発明の実施の形態2による入力表示装置の処理内容である入力表示方法を示すフローチャートである。
図11において、図4と同一のステップ番号は同一または相当部分を示すものである。
この実施の形態2では、ポインティングデバイス21であるタッチパネルに筆圧を感知する筆圧感知センサが搭載されているものとする。
操作状態検知部11は、ポインティングデバイス21に搭載されている筆圧感知センサから筆圧の感知結果を取得することで、操作受付部1により受け付けられた操作の状態として、ポインティングデバイス21であるタッチパネルに対するユーザの筆圧を検知する(図11のステップST21)。
例えば、文字属性情報が示す文字高を軌跡画像の基準の線幅に設定し、ユーザの筆圧が事前に設定されている基準値以上であれば、その筆圧が基準値より大きい程、大きなオフセット値を設定し、基準の線幅とオフセット値を加算した値を最終的な軌跡画像の線幅に決定する。
最終的な軌跡画像の線幅=基準の線幅+オフセット値
一方、ユーザの筆圧が事前に設定されている基準値より小さければ、その筆圧が基準値より小さい程、大きなオフセット値を設定し、基準の線幅からオフセット値を減算した値を最終的な軌跡画像の線幅に決定する。
最終的な軌跡画像の線幅=基準の線幅−オフセット値
ただし、この実施の形態2では、軌跡画像の線幅をユーザの筆圧に応じて設定しているので、軌跡画像生成部12が最終的な軌跡画像の線幅を基準の線幅より太くしている場合には、最終的な軌跡画像の線幅に応じて、文字列を構成する文字の文字サイズを大きくして、文字列を軌跡画像の上に表示する。
例えば、基準の線幅(=文字属性情報が示す文字高)が“5mm”であるとき、最終的な軌跡画像の線幅を“10mm”に設定していれば、文字列を構成する文字の文字高を“10mm”に変更して、文字列を軌跡画像の上に表示する。ここでは、文字高と軌跡画像の線幅が一致する例を示しているが、文字の上部及び下部に余白を設ける場合、例えば、上部及び下部の余白が共に“1mm”であるとすれば、文字列を構成する文字の文字高を“8mm”に変更して、文字列を軌跡画像の上に表示する。
例えば、基準の線幅(=文字属性情報が示す文字高)が“5mm”であるとき、最終的な軌跡画像の線幅を“3mm”に設定していれば、文字列を構成する文字の文字高を“3mm”に変更して、文字列を軌跡画像の上に表示する。ここでは、文字高と軌跡画像の線幅が一致する例を示しているが、文字の上部及び下部に余白を設ける場合、例えば、上部及び下部の余白が共に“0.5mm”であるとすれば、文字列を構成する文字の文字高を“2mm”に変更して、文字列を軌跡画像の上に表示する。
図12(a)は、ユーザの筆圧が基準値以上であるために、太い線幅が設定された軌跡画像を示しており、図12(b)は、ユーザの筆圧が基準値未満であるために、細い線幅が設定された軌跡画像を示している。
タッチパネルをなぞる速度については、操作状態検知部11が、操作受付部1により受け付けられたなぞり書きの操作内容から、タッチパネルに対する接触位置の連続的な変化を特定すれば、タッチパネルに対する接触位置の単位時間当りの変化から求めることができる。
例えば、文字属性情報が示す文字高を軌跡画像の基準の線幅に設定し、なぞる速度が事前に設定されている基準値以上であれば、なぞる速度が基準値より速い程、大きなオフセット値を設定し、基準の線幅とオフセット値を加算した値を最終的な軌跡画像の線幅に決定する。
最終的な軌跡画像の線幅=基準の線幅+オフセット値
一方、なぞる速度が事前に設定されている基準値より遅ければ、なぞる速度が基準値より遅い程、大きなオフセット値を設定し、基準の線幅からオフセット値を減算した値を最終的な軌跡画像の線幅に決定する。
最終的な軌跡画像の線幅=基準の線幅−オフセット値
図13(a)は、なぞる速度が基準値以上であるために、太い線幅が設定された軌跡画像を示しており、図13(b)は、なぞる速度が基準値未満であるために、細い線幅が設定された軌跡画像を示している。
図14は途中で変化するユーザの筆圧やなぞる速度に応じて線幅が設定された軌跡画像を示す説明図である。
図14(a)は、なぞる速度が徐々に速くなっている場合や、ユーザの筆圧が徐々に強くなっている場合の軌跡画像を示しており、軌跡画像の線幅が徐々に太くなっている。
図14(b)は、なぞる速度やユーザの筆圧が不規則に変化している場合の軌跡画像を示しており、軌跡画像の線幅が太くなったり、細くなったりしている。
例えば、ユーザの筆圧(または、なぞる速度)と、軌跡画像の線幅との対応関係を格納しているテーブルを用意し、軌跡画像生成部12が、そのテーブルからユーザの筆圧(または、なぞる速度)に対応する線幅を読み出し、その線幅を軌跡画像の線幅に設定する態様が考えられる。
また、軌跡画像生成部12により生成された軌跡画像の線幅に応じて、その軌跡画像に重ねて表示する文字の文字高を変えるものを示したが、軌跡画像の線幅に応じて、文字列を構成する文字の文字種を変えるようにしてもよい。
例えば、軌跡画像の線幅が徐々に太くなる場合、文字種を文字種A→文字種B→文字種Cのように変える態様が考えられる。
上記実施の形態1,2では、表示制御部9,13が、軌跡画像生成部4,12により生成された軌跡画像をディスプレイ29に表示するものを示したが、音声の言語の判別結果を取得し、その判別結果が示す言語に対応する色で、軌跡画像を表示するようにしてもよい。
図15及び図16において、図9及び図10と同一符号は同一または相当部分を示すので説明を省略する。
文字列取得部5の言語判別部14は例えばCPUを実装している半導体集積回路やワンチップマイコンなどで構成されている言語判別処理回路34で実現されるものであり、音声検出部6により検出された音声の言語判別処理を実施し、その言語の判別結果を表示制御部15に出力する。
このデータ送受信部は、例えば、インターネットやLANなどの通信経路を介して、図示せぬ言語判別サーバとデータの送受信を行うことが可能なネットワークカードなどのネットワーク通信機器であり、音声検出部6により検出された音声を示すデータを言語判別サーバに送信する。
言語判別サーバは、音声の言語を判別する言語判別エンジンを搭載しており、データ送受信部から送信された音声を示すデータを受信すると、その音声を認識して、その音声の言語判別結果を当該データ送受信部に送信する。
このデータ送受信部は、言語判別サーバから送信された音声の言語判別結果を表示制御部15に出力する。
また、表示制御部15は言語判別部14から出力された判別結果が示す言語に対応する色で、軌跡画像生成部12により生成された軌跡画像をディスプレイ29に表示する処理を実施する。
入力表示装置がコンピュータで構成される場合、文字管理DB2、音声認識辞書DB7及び文字列一時保存部10を図3に示すコンピュータのメモリ41上に構成するとともに、操作受付部1、文字管理部3、操作状態検知部11、軌跡画像生成部12、音声検出部6、音声認識部8、言語判別部14及び表示制御部15の処理内容を記述しているプログラムをメモリ41に格納し、プロセッサ42がメモリ41に格納されているプログラムを実行するようにすればよい。
図17及び図5はこの発明の実施の形態3による入力表示装置の処理内容である入力表示方法を示すフローチャートである。
図17において、図11と同一のステップ番号は同一または相当部分を示すものである。
文字列取得部5の言語判別部14は、音声検出部6がユーザの音声を検出すると、その音声の言語判別処理を実施し、その言語の判別結果を表示制御部15に出力する(図17のステップST9)。音声の言語判別処理自体は公知の技術であるため詳細な説明を省略する。
ただし、表示制御部15は、図9の表示制御部13と異なり、言語判別部14から出力された判別結果が示す言語に対応する色で、軌跡画像生成部12により生成された軌跡画像をディスプレイ29に表示する。
なお、音声検出部6がユーザの音声を検出するまでは、言語判別部14が音声の言語を判別することができないでの、音声検出部6がユーザの音声を検出する前に、軌跡画像生成部12により軌跡画像が生成された場合、音声検出部6がユーザの音声を検出するまでの間、表示制御部15は、軌跡画像の表示を行わない。また、音声検出部6がユーザの音声を検出するまでの間はグレーの色で軌跡を表示し、ユーザの音声を検出して言語の判別結果が出たら言語に対応する色で軌跡画像を表示するようにしてもよい。
図18(a)は音声の言語が日本語である場合を示しており、軌跡画像が例えば青色で表示される。
図18(b)は音声の言語が英語である場合を示しており、軌跡画像が例えば赤色で表示される。
ここでは、音声の言語が日本語であれば、青色の軌跡画像を表示し、音声の言語が英語であれば、赤色の軌跡画像を表示する例を示しているが、あくまでも一例に過ぎず、他の色で表示してもよいことは言うまでもない。
上記実施の形態1〜3では、軌跡画像と文字列が表示された後、軌跡画像が消されることで、最終的には、文字列だけがディスプレイ29に表示されるものを示したが、ユーザの絵書きの操作にしたがって生成された絵の画像がディスプレイ29に表示されるようにしてもよい。
図19及び図20において、図15及び図16と同一符号は同一または相当部分を示すので説明を省略する。
操作切換部16は例えばCPUを実装している半導体集積回路やワンチップマイコンなどで構成されている操作切換処理回路36で実現されるものであり、操作受付部1により受け付けられる操作を切り換えるための操作として、例えば、ポインティングデバイス21の長押し操作を検出すると、操作受付部1により受け付けられる操作を切り換える処理を実施する。
即ち、操作切換部16は操作受付部1により受け付けられる操作がなぞり書きの操作であるとき、ポインティングデバイス21の長押し操作を検出すると、操作受付部1により受け付けられる操作を、ディスプレイ29に絵を描画する絵書きの操作に切り換える処理を実施する。一方、操作受付部1により受け付けられる操作が絵書きの操作であるとき、ポインティングデバイス21の長押し操作を検出すると、操作受付部1により受け付けられる操作をなぞり書きの操作に切り換える処理を実施する。
表示制御部18は例えばGPUを実装している半導体集積回路やワンチップマイコンなどで構成されている表示処理回路38で実現されるものであり、操作切換部16により切り換えられた操作が、なぞり書きの操作であれば、図15の表示制御部15と同様の表示処理を実施する。
表示制御部18は操作切換部16により切り換えられた操作が、絵書きの操作であれば、絵画像生成部17により生成された絵の画像をディスプレイ29に表示する処理を実施する。
入力表示装置がコンピュータで構成される場合、文字管理DB2、音声認識辞書DB7及び文字列一時保存部10を図3に示すコンピュータのメモリ41上に構成するとともに、操作受付部1、文字管理部3、操作状態検知部11、軌跡画像生成部12、操作切換部16、絵画像生成部17、音声検出部6、音声認識部8、言語判別部14及び表示制御部18の処理内容を記述しているプログラムをメモリ41に格納し、プロセッサ42がメモリ41に格納されているプログラムを実行するようにすればよい。
図21は操作受付部1により受け付けられる操作が切り換えられた際の処理内容を示すフローチャートである。
操作切換部16は、操作受付部1により受け付けられる操作を切り換えるための操作として、長押し操作を検出すると(図21のステップST31:YESの場合)、操作受付部1により受け付けられる操作を切り換える処理を実施する(ステップST32)。
図22は操作受付部1により受け付けられる操作を切り換えるための操作の一例を示す説明図である。
図22では、操作受付部1により受け付けられる操作を切り換えるための操作が、長押し操作である例を示しており、長押し操作は、例えば、ポインティングデバイス21であるタッチパネルの同じ場所を予め設定された時間以上継続して、ユーザの指が触れている操作である。
即ち、操作切換部16は、現時点において、操作受付部1により受け付けられる操作がなぞり書きの操作であるとき、ポインティングデバイス21の長押し操作を検出すると、以降、操作受付部1により受け付けられる操作を絵書きの操作に切り換える指令を操作受付部1に出力する。
一方、現時点において、操作受付部1により受け付けられる操作が絵書きの操作であるとき、ポインティングデバイス21の長押し操作を検出すると、以降、操作受付部1により受け付けられる操作をなぞり書きの操作に切り換える指令を操作受付部1に出力する。
したがって、操作受付部1は、受け付ける操作をなぞり書きの操作に切り換えている状態では(ステップST33:YESの場合)、上記実施の形態1〜3と同様に、なぞり書きの操作を受け付けて、なぞり書きの操作内容を軌跡画像生成部12に出力する(ステップST34)。
また、操作受付部1は、受け付ける操作を絵書きの操作に切り換えている状態では(ステップST33:NOの場合)、絵書きの操作を受け付けて、絵書きの操作内容を絵画像生成部17に出力する(ステップST35)。
絵画像生成部17は、操作受付部1が絵書きの操作を受け付けると、その絵書きの操作内容にしたがって絵の画像を生成する(ステップST37)。
図23は絵書きの操作内容にしたがって生成される絵の画像の一例を示す説明図である。
絵書きの操作内容にしたがって絵の画像を生成する処理自体は公知の技術であるため詳細な説明を省略する。なお、絵書きの操作内容には、線を描画する機能のほかに、描画する線の太さや色を変える機能や、線を消去する消しゴムの機能などが含まれていてもよい。
また、表示制御部18は、絵画像生成部17が絵の画像を生成すると、その絵の画像をディスプレイ29に表示する(ステップST39)。
しかし、操作受付部1により受け付けられる操作の切り換え方法は、これに限るものではなく、下記の示すような切り換え方法を用いてもよい。
例えば、通常時において、操作受付部1により受け付けられる操作は、絵書きの操作に設定されており、ポインティングデバイス21の長押し操作を検出すると、操作切換部16が、操作受付部1により受け付けられる操作をなぞり書きの操作に切り換える指令を操作受付部1に出力して、操作受付部1によりなぞり書きの操作が受け付けられるようにする。
なぞり書きの操作が終わると、操作受付部1により受け付けられる操作が、自動的に絵書きの操作に戻り、その後、ポインティングデバイス21の長押し操作を検出すると、再び、操作切換部16が、操作受付部1により受け付けられる操作をなぞり書きの操作に切り換える指令を操作受付部1に出力して、操作受付部1によりなぞり書きの操作が受け付けられるようにする。
Claims (14)
- 軌跡の入力を受け付ける受付部と、
前記受付部により入力が受け付けられた軌跡を示す軌跡画像を生成する軌跡画像生成部と、
文字列を取得する文字列取得部と、
前記文字列取得部により取得された文字列を前記軌跡画像に重ねて表示する表示制御部とを備え、
前記表示制御部は、前記受付部により軌跡の入力が受け付けられる前に、前記文字列取得部により文字列が取得されると、前記文字列の表示を待機することを特徴とする入力表示装置。 - 前記表示制御部は、前記受付部により軌跡の入力が受け付けられる前に、前記文字列取得部により文字列が取得されると、前記文字列の表示を待機し、前記軌跡画像を表示した後に、前記文字列を前記軌跡画像に重ねて表示することを特徴とする請求項1記載の入力表示装置。
- 前記受付部により入力が受け付けられる軌跡は、前記受付部への接触位置の連続的な変化であることを特徴とする請求項1または請求項2記載の入力表示装置。
- 前記表示制御部は、前記文字列取得部により文字列が取得される前に、前記受付部により軌跡の入力が受け付けられると、前記軌跡画像を表示した後に、前記文字列の表示を行うことを特徴とする請求項1から請求項3のうちのいずれか1項記載の入力表示装置。
- 前記表示制御部は、前記軌跡画像と前記文字列を重ねて表示した後、前記軌跡画像を消すことを特徴とする請求項1から請求項4のうちのいずれか1項記載の入力表示装置。
- 前記表示制御部は、前記文字列取得部により取得された文字列の先頭の文字から順番に後尾の文字まで表示することを特徴とする請求項1から請求項5のうちのいずれか1項記載の入力表示装置。
- ディスプレイに表示する文字のサイズを管理する文字管理部を備え、
前記軌跡画像生成部は、前記文字管理部により管理されている文字のサイズに対応する線幅の軌跡画像を生成することを特徴とする請求項1から請求項6のうちのいずれか1項記載の入力表示装置。 - 前記受付部により受け付けられた軌跡の入力を検知する状態検知部を備え、
前記軌跡画像生成部は、前記状態検知部により検知された軌跡の入力の状態に対応する線幅の軌跡画像を生成することを特徴とする請求項1から請求項7のうちのいずれか1項記載の入力表示装置。 - 前記軌跡画像生成部は、前記状態検知部により検知された軌跡の入力の状態が途中で変化していれば、線幅が途中で変化する軌跡画像を生成することを特徴とする請求項8記載の入力表示装置。
- 前記文字列取得部は、前記文字列として、音声の認識結果を示す文字列を取得する際には、前記音声の言語の判別結果を取得し、
前記表示制御部は、前記文字列取得部により取得された判別結果が示す言語に対応する色で、前記軌跡画像生成部により生成された軌跡画像を表示することを特徴とする請求項1から請求項9のうちのいずれか1項記載の入力表示装置。 - 前記受付部により入力が受け付けられた軌跡を切り換える切換部と、
前記切換部により切り換えられた軌跡が、絵を描画するための軌跡であれば、前記受付部により入力が受け付けられた軌跡にしたがって絵の画像を生成する絵画像生成部とを備え、
前記軌跡画像生成部は、前記切換部により切り換えられた軌跡が、絵を描画するための軌跡でなければ、前記受付部により入力が受け付けられた軌跡を示す軌跡画像を生成し、
前記表示制御部は、前記切換部により切り換えられた軌跡が、絵を描画するための軌跡であれば、前記絵画像生成部により生成された絵の画像を表示し、前記切換部により切り換えられた軌跡が、絵を描画するための軌跡でなければ、前記軌跡画像生成部により生成された軌跡画像を表示することを特徴とする請求項1から請求項10のうちのいずれか1項記載の入力表示装置。 - 前記表示制御部が映像を表示するディスプレイをさらに備えることを特徴とする請求項1から請求項11のうちのいずれか1項記載の入力表示装置。
- 受付部が、軌跡の入力を受け付け、
軌跡画像生成部が、前記受付部により入力が受け付けられた軌跡を示す軌跡画像を生成し、
文字列取得部が、文字列を取得し、
表示制御部が、前記文字列取得部により取得された文字列を前記軌跡画像に重ねて表示する入力表示方法であって、
前記受付部により軌跡の入力が受け付けられる前に、前記文字列取得部により文字列が取得されると、表示制御部が、前記文字列の表示を待機することを特徴とする入力表示方法。 - 軌跡の入力を受け付ける受付処理手順と、
前記受付処理手順により入力が受け付けられた軌跡を示す軌跡画像を生成する軌跡画像生成処理手順と、
文字列を取得する文字列取得処理手順と、
前記文字列取得処理手順により取得された文字列を前記軌跡画像に重ねて表示する際、前記受付処理手順により軌跡の入力が受け付けられる前に、前記文字列取得処理手順により文字列が取得されている状況下では、前記文字列の表示を待機する表示制御処理手順とをコンピュータを実行させるための入力表示プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/065431 WO2016189735A1 (ja) | 2015-05-28 | 2015-05-28 | 入力表示装置及び入力表示方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017207523A Division JP6463442B2 (ja) | 2017-10-26 | 2017-10-26 | 入力表示装置、入力表示方法及び入力表示プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016189735A1 JPWO2016189735A1 (ja) | 2017-07-13 |
JP6235763B2 true JP6235763B2 (ja) | 2017-11-22 |
Family
ID=57392633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017520187A Active JP6235763B2 (ja) | 2015-05-28 | 2015-05-28 | 入力表示装置、入力表示方法及び入力表示プログラム |
Country Status (6)
Country | Link |
---|---|
US (2) | US10510322B2 (ja) |
EP (1) | EP3306452B1 (ja) |
JP (1) | JP6235763B2 (ja) |
KR (3) | KR102284238B1 (ja) |
CN (2) | CN113268186A (ja) |
WO (1) | WO2016189735A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6235763B2 (ja) * | 2015-05-28 | 2017-11-22 | 三菱電機株式会社 | 入力表示装置、入力表示方法及び入力表示プログラム |
JP6355823B2 (ja) | 2016-02-08 | 2018-07-11 | 三菱電機株式会社 | 入力表示制御装置、入力表示制御方法及び入力表示システム |
CN107045498A (zh) * | 2017-05-18 | 2017-08-15 | 深圳双猴科技有限公司 | 一种双面显示的同步翻译设备、方法、装置及电子设备 |
JP6848713B2 (ja) * | 2017-06-21 | 2021-03-24 | ブラザー工業株式会社 | プログラム及び情報処理端末 |
WO2019049312A1 (ja) * | 2017-09-08 | 2019-03-14 | 三菱電機株式会社 | 表示制御装置及び表示制御方法 |
WO2019093156A1 (ja) * | 2017-11-10 | 2019-05-16 | ソニーセミコンダクタソリューションズ株式会社 | 表示処理装置および表示処理方法、並びにプログラム |
JP7023743B2 (ja) * | 2018-02-28 | 2022-02-22 | シャープ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN113168271A (zh) * | 2018-12-07 | 2021-07-23 | 三菱电机株式会社 | 输入显示控制装置、输入显示控制方法以及输入显示系统 |
KR102165137B1 (ko) * | 2020-03-06 | 2020-10-13 | 바즈바이오메딕(주) | 무바늘 주사기 |
KR102165136B1 (ko) * | 2020-03-06 | 2020-10-13 | 바즈바이오메딕(주) | 무바늘 주사기 |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0247763A (ja) | 1988-08-09 | 1990-02-16 | Matsushita Electric Ind Co Ltd | 文書処理装置 |
US5233438A (en) * | 1990-03-02 | 1993-08-03 | Brother Kogyo Kabushiki Kaisha | Entertainment apparatus for producing orchestral music accompaniment and a selected background video |
JPH05127810A (ja) | 1991-11-05 | 1993-05-25 | Sharp Corp | 手書文字処理装置 |
JPH0764998A (ja) | 1993-08-25 | 1995-03-10 | Toshiba Corp | 文書作成装置及び文字軌跡入力方法 |
KR0126787B1 (ko) | 1994-06-22 | 1998-04-01 | 김광호 | 영상노래반주장치의 예약곡 표시방법 및 이에 적합한 장치 |
JP3054545B2 (ja) | 1994-07-15 | 2000-06-19 | 三洋電機株式会社 | 文字図形編集方法及び装置 |
JPH08305799A (ja) | 1995-05-11 | 1996-11-22 | Nec Home Electron Ltd | 筆圧検出手書きデータ入力方法及び装置 |
JPH103516A (ja) | 1996-06-17 | 1998-01-06 | Canon Inc | 情報処理方法及び装置 |
JPH10124033A (ja) | 1996-08-30 | 1998-05-15 | Canon Inc | 文字処理装置、文字処理方法、及び、記憶媒体 |
JP4158236B2 (ja) * | 1997-09-19 | 2008-10-01 | ソニー株式会社 | 遠隔操作装置 |
JPH11154200A (ja) * | 1997-11-21 | 1999-06-08 | Oki Electric Ind Co Ltd | 文字認識装置 |
US6202049B1 (en) * | 1999-03-09 | 2001-03-13 | Matsushita Electric Industrial Co., Ltd. | Identification of unit overlap regions for concatenative speech synthesis system |
JP4632389B2 (ja) * | 2001-02-22 | 2011-02-16 | キヤノン株式会社 | 電子黒板装置およびその制御方法 |
JP2002297305A (ja) * | 2001-03-30 | 2002-10-11 | Mitsubishi Electric Corp | 情報入力装置および携帯端末 |
JP2004102632A (ja) | 2002-09-09 | 2004-04-02 | Ricoh Co Ltd | 音声認識装置および画像処理装置 |
JP3865681B2 (ja) | 2002-10-18 | 2007-01-10 | 株式会社 ワコムアイティ | 毛筆描画装置、毛筆描画プログラムおよび毛筆描画方法 |
US20040119762A1 (en) | 2002-12-24 | 2004-06-24 | Fuji Xerox Co., Ltd. | Systems and methods for freeform pasting |
CN1750117A (zh) * | 2004-09-16 | 2006-03-22 | 乐金电子(惠州)有限公司 | 伴唱机歌曲搜索系统及其旋律数据库构成方法 |
JP4712675B2 (ja) | 2005-06-10 | 2011-06-29 | 株式会社メイクソフトウェア | 画像編集装置、画像編集方法、画像編集プログラム及び自動写真撮影装置 |
CN101192107A (zh) * | 2006-11-28 | 2008-06-04 | 国际商业机器公司 | 用于输入并显示字符串的方法和设备 |
CN101067929B (zh) * | 2007-06-05 | 2011-04-20 | 南京大学 | 使用共振峰增强提取话音共振峰轨迹的方法 |
US8482545B2 (en) * | 2008-10-02 | 2013-07-09 | Wacom Co., Ltd. | Combination touch and transducer input system and method |
US8780131B2 (en) * | 2008-12-19 | 2014-07-15 | Xerox Corporation | Systems and methods for text-based personalization of images |
US9035973B2 (en) * | 2009-10-23 | 2015-05-19 | Kyocera Mita Corporation | Display device and display control method |
CN201577180U (zh) * | 2009-11-10 | 2010-09-08 | 北京九鹤科技有限公司 | 声道管适配器 |
KR101126167B1 (ko) | 2010-06-07 | 2012-03-22 | 삼성전자주식회사 | 터치 스크린 및 디스플레이 방법 |
JP5623853B2 (ja) | 2010-09-29 | 2014-11-12 | 株式会社カプコン | 画像処理プログラム、及び画像処理装置 |
JP2012088969A (ja) * | 2010-10-20 | 2012-05-10 | Sharp Corp | 入力表示装置、入力表示方法、コンピュータプログラム及び記録媒体 |
JP2012109901A (ja) * | 2010-11-19 | 2012-06-07 | Elmo Co Ltd | 資料提示装置 |
KR101898202B1 (ko) * | 2012-02-09 | 2018-09-12 | 삼성전자주식회사 | 필기 인식을 위한 필기 입력 가이드 장치 및 방법 |
US9529486B2 (en) * | 2012-03-29 | 2016-12-27 | FiftyThree, Inc. | Methods and apparatus for providing a digital illustration system |
JP5458161B1 (ja) * | 2012-10-23 | 2014-04-02 | 株式会社東芝 | 電子機器および方法 |
KR102023008B1 (ko) | 2012-12-10 | 2019-09-19 | 엘지전자 주식회사 | 음성-텍스트 변환 디스플레이 장치 및 그 방법 |
KR102051093B1 (ko) * | 2013-02-01 | 2019-12-02 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어 방법 |
KR20140116642A (ko) * | 2013-03-25 | 2014-10-06 | 삼성전자주식회사 | 음성 인식 기반의 기능 제어 방법 및 장치 |
US9710098B2 (en) * | 2014-03-31 | 2017-07-18 | Samsung Display Co., Ltd. | Method and apparatus to reduce latency of touch events |
CN104391643A (zh) * | 2014-10-30 | 2015-03-04 | 深圳市金立通信设备有限公司 | 一种终端 |
JP6235763B2 (ja) * | 2015-05-28 | 2017-11-22 | 三菱電機株式会社 | 入力表示装置、入力表示方法及び入力表示プログラム |
-
2015
- 2015-05-28 JP JP2017520187A patent/JP6235763B2/ja active Active
- 2015-05-28 KR KR1020197023932A patent/KR102284238B1/ko active IP Right Grant
- 2015-05-28 CN CN202110609797.5A patent/CN113268186A/zh active Pending
- 2015-05-28 KR KR1020207027668A patent/KR102295131B1/ko active IP Right Grant
- 2015-05-28 EP EP15893369.7A patent/EP3306452B1/en active Active
- 2015-05-28 KR KR1020177027349A patent/KR20170125366A/ko not_active Application Discontinuation
- 2015-05-28 US US15/540,656 patent/US10510322B2/en active Active
- 2015-05-28 CN CN201580080158.7A patent/CN107615232B/zh active Active
- 2015-05-28 WO PCT/JP2015/065431 patent/WO2016189735A1/ja active Application Filing
-
2019
- 2019-10-30 US US16/669,132 patent/US10748506B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10510322B2 (en) | 2019-12-17 |
EP3306452A1 (en) | 2018-04-11 |
EP3306452A4 (en) | 2018-11-21 |
CN107615232A (zh) | 2018-01-19 |
EP3306452B1 (en) | 2022-04-20 |
KR102284238B1 (ko) | 2021-07-30 |
CN113268186A (zh) | 2021-08-17 |
KR20170125366A (ko) | 2017-11-14 |
KR102295131B1 (ko) | 2021-08-27 |
US20180005604A1 (en) | 2018-01-04 |
JPWO2016189735A1 (ja) | 2017-07-13 |
KR20200115670A (ko) | 2020-10-07 |
CN107615232B (zh) | 2021-12-14 |
US20200066232A1 (en) | 2020-02-27 |
KR20190099347A (ko) | 2019-08-26 |
US10748506B2 (en) | 2020-08-18 |
WO2016189735A1 (ja) | 2016-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6235763B2 (ja) | 入力表示装置、入力表示方法及び入力表示プログラム | |
JP6903808B2 (ja) | リアルタイム手書き認識の管理 | |
JP6987067B2 (ja) | 複数の入力管理のためのシステムおよび方法 | |
KR20080104099A (ko) | 입력 장치 및 그 입력 방법 | |
JP6355823B2 (ja) | 入力表示制御装置、入力表示制御方法及び入力表示システム | |
JP6463442B2 (ja) | 入力表示装置、入力表示方法及び入力表示プログラム | |
US9430702B2 (en) | Character input apparatus and method based on handwriting | |
KR102603900B1 (ko) | 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템 | |
JP6675472B2 (ja) | 入力表示装置 | |
JP6727279B2 (ja) | 表示制御装置、入力表示システム、表示制御方法及びプログラム | |
JPS5935277A (ja) | 手書文字図形のリアルタイム認識による制御方法 | |
JP6656477B1 (ja) | 入力表示制御装置、入力表示制御方法及び入力表示システム | |
JP6448838B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
JPH11345078A (ja) | データの選択入力装置 | |
KR20160007313A (ko) | 필기 기반의 문자 입력 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170224 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171026 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6235763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |