WO2017138076A1 - 入力表示制御装置、入力表示制御方法及び入力表示システム - Google Patents
入力表示制御装置、入力表示制御方法及び入力表示システム Download PDFInfo
- Publication number
- WO2017138076A1 WO2017138076A1 PCT/JP2016/053686 JP2016053686W WO2017138076A1 WO 2017138076 A1 WO2017138076 A1 WO 2017138076A1 JP 2016053686 W JP2016053686 W JP 2016053686W WO 2017138076 A1 WO2017138076 A1 WO 2017138076A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- curve
- character string
- unit
- character
- shape
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/106—Display of layout of documents; Previewing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/109—Font handling; Temporal or kinetic typography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/001—Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
- G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
Description
図1はこの発明の実施の形態1による入力表示制御装置を含む入力表示システム示す構成図であり、図2はこの発明の実施の形態1による入力表示システムのハードウェア構成図である。
図1及び図2において、操作受付部1はポインティングデバイス21で実現され、ユーザの操作として、線を描く操作を受け付ける処理を実施する。
この実施の形態1では、ポインティングデバイス21として、タッチパネルを用いるものを想定しているが、タッチパネルに限るものではなく、例えば、ジョイスティック、ポインティング・スティック(トラックポイント)、タッチパッド、スタイラス、データグローブ、トラックボール、ペンタブレット、マウス、ライトペン、ジョイパッドなどを用いることができる。
文字管理部3は例えば文字管理処理回路23で実現されるものである。文字管理部3は事前にディスプレイ32に表示する文字のサイズが設定され、文字管理DB2に記憶されている文字属性表を参照して、その文字サイズに対応する文字高を示す文字属性情報を軌跡判別部4に出力するとともに、その文字サイズに対応する文字高及び文字幅を示す文字属性情報を入力表示制御装置100に出力する処理を実施する。
また、軌跡判別部4は軌跡を表す曲線の画像である曲線画像を生成し、その曲線画像を入力表示制御装置100に出力する処理を実施する。この曲線画像は曲線情報に含めて入力表示制御装置100に出力される。
この曲線画像の線幅は、文字管理部3から出力された文字属性情報が示す文字高に対応している。
音声検出部6は例えばマイク25で実現され、ユーザの音声を検出する。
音声認識辞書DB7は例えば記憶処理回路22で実現されるものであり、音声認識辞書DB7は例えば人間の発声の小さな単位である音素の音響特徴が記述されている音響モデルと、音声認識する言葉が記述されている認識辞書とから構成されている。
音声認識部8は例えば音声認識処理回路26で実現されるものであり、音声検出部6により検出された音声を認識する音声認識エンジンを搭載している。
即ち、音声認識部8は音声検出部6により検出された音声を分析して、その音声の音響特徴を算出し、音声認識辞書DB7の認識辞書に記述されている言葉の中から、その算出した音響特徴と最も近い音響特徴を有する言葉を探索し、その言葉を示す文字列を音声の認識結果を示す文字列として入力表示制御装置100に出力する処理を実施する。
このデータ送受信部は、例えば、インターネットやLANなどの通信経路を介して、図示せぬ音声認識サーバとデータの送受信を行うことが可能なネットワークカードなどのネットワーク通信機器であり、音声検出部6により検出された音声を示すデータを音声認識サーバに送信する。
音声認識サーバは、音声を認識する音声認識エンジンを搭載しており、データ送受信部から送信された音声を示すデータを受信すると、その音声を認識して、その音声の認識結果を示す文字列を当該データ送受信部に送信する。
このデータ送受信部は、音声認識サーバから送信された音声の認識結果を示す文字列を受信すると、その文字列を入力表示制御装置に出力する。
曲線情報取得部9は例えばLAN(Local Area Network)ポートやUSB(Universal Serial Bus)ポートなどを有する入力インタフェース回路27で実現されるものであり、軌跡判別部4から出力された曲線情報を取得する処理を実施する。
文字列取得部10は例えば入力インタフェース回路27で実現されるものであり、文字列認識部5から出力された文字列を取得する処理を実施する。
文字属性情報取得部11は例えば入力インタフェース回路27で実現されるものであり、文字管理部3から出力された文字属性情報を取得する処理を実施する。
また、表示制御部12は、曲線情報取得部9により取得された曲線情報が示す曲線の長さが短いために、文字列認識部5から出力された文字列の一部を曲線に沿って表示することができないと判断した場合、その曲線の形状から、その曲線の延長部分の形状を決定して、その曲線を延長するとともに、その延長部分の曲線に沿って、文字列の一部を表示するための表示情報を生成し、その表示情報にしたがって文字列の一部を表示させる処理を実施する。
さらに、表示制御部12は、文字列を曲線画像の上に重ねて表示した後、その曲線画像の表示を消去するための表示情報を生成し、その表示情報にしたがって曲線画像を消去させる処理を実施する。
延長曲線形状決定部14は例えば形状決定処理回路29で実現されるものであり、曲線記憶部15及び形状決定処理部16を備えている。延長曲線形状決定部14は長さ比較部13の比較結果が、曲線の長さが文字列の長さより短い旨を示していれば、曲線情報取得部9により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する処理を実施する。
形状決定処理部16は曲線記憶部15に記憶されている複数の曲線の形状と、曲線情報取得部9により取得された曲線情報が示す曲線の形状とを照合して、曲線記憶部15に記憶されている複数の曲線の形状の中から、曲線情報取得部9により取得された曲線情報が示す曲線に対応する曲線の形状を選択し、その選択した曲線の形状から延長曲線の形状を決定する処理を実施する。
曲線延長部17は例えば曲線延長処理回路30で実現されるものであり、長さ比較部13の比較結果が、曲線の長さが文字列の長さより短い旨を示していれば、延長曲線形状決定部14により形状が決定された延長曲線を曲線情報取得部9により取得された曲線情報が示す曲線の終端に付加する処理を実施する。
また、表示処理部18は長さ比較部13の比較結果が、曲線の長さが文字列の長さより短い旨を示していれば、曲線延長部17により付加された延長曲線に沿って、曲線画像の上に重ねて表示できていない文字列の一部をディスプレイ32に表示するための表示情報を生成し、その表示情報にしたがってディスプレイ32に文字列の一部を表示させる処理を実施する。
さらに、表示処理部18はディスプレイ32に文字列を表示させた後、曲線画像の表示を消去するための表示情報を生成し、その表示情報にしたがってディスプレイ32に曲線画像を消去させる処理を実施する。
文字列一時保存部19は例えば記憶処理回路22で実現され、文字列取得部10により取得された文字列を一時的に保存する。
ここで、記憶処理回路22は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)などが該当する。
また、文字管理処理回路23、画像生成処理回路24、音声認識処理回路26、長さ比較処理回路28、形状決定処理回路29、曲線延長処理回路30及び表示処理回路31は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate array)、または、これらを組み合わせたものが該当する。
ソフトウェアやファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、CPU(Central Processing Unit)、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSP(Digital Signal Processor)などが該当する。
図3は入力表示システムがソフトウェアやファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
入力表示システムがソフトウェアやファームウェアなどで実現される場合、文字管理DB2、音声認識辞書DB7及び文字列一時保存部19をコンピュータのメモリ41上に構成するとともに、文字管理部3、軌跡判別部4、音声認識部8、曲線情報取得部9、文字列取得部10、文字属性情報取得部11、長さ比較部13、延長曲線形状決定部14、曲線延長部17及び表示処理部18の処理手順をコンピュータに実行させるためのプログラムをメモリ41に格納し、プロセッサ42がメモリ41に格納されているプログラムを実行するようにすればよい。
図4及び図5はこの発明の実施の形態1による入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。
例えば、操作受付部1及び文字列認識部5を専用のハードウェアで実現し、文字管理DB2、文字管理部3、軌跡判別部4、入力表示制御装置100及び文字列一時保存部19をソフトウェアやファームウェアなどで実現することが可能である。ただし、専用のハードウェアとソフトウェア等の組み合わせは任意である。
図6は文字管理DB2に記憶されている文字属性表を示す説明図である。
図6の文字属性表では、例えば、文字種毎に、文字サイズに対応している文字高と文字幅が記述されている。文字種としては、例えば、明朝体、ゴシック体などが考えられる。
文字管理部3には、ディスプレイ32に表示する文字の文字種及び文字サイズが事前に設定されており、文字管理部3は、文字管理DB2に記憶されている文字属性表を参照して、その文字種及び文字サイズに対応する文字高を示す文字属性情報を軌跡判別部4に出力するとともに、その文字種及び文字サイズに対応する文字高及び文字幅を示す文字属性情報を入力表示制御装置100に出力する(図4のステップST1)。
また、事前に設定されている文字の文字種が“B”で、その文字サイズが“5”であれば、文字高が“2mm”であることを示す文字属性情報が軌跡判別部4に出力され、また、文字高が“2mm”、文字幅が“1.25mm”であることを示す文字属性情報が入力表示制御装置100に出力される。
例えば、文字属性情報が示す文字高が“10mm”であるとき、仮に文字の上部及び下部の余白が“0.5mm”に設定されているとすれば、10+0.5+0.5=11=(mm)と計算し、曲線画像の線幅を“11mm”に設定する。
ここでは、文字の上部及び下部に余白を設ける例を示しているが、余白を設けずに、文字属性情報が示す文字高と曲線画像の線幅が一致するものであってもよい。
出力される線を描く操作の内容は、例えば、タッチパネルに接触している指や入力ペンの位置の座標、即ち、タッチパネル上の位置座標の連続的な変化を示す時系列データである。
線を描く操作の内容は、上述したように、タッチパネルに対する接触位置の連続的な変化を示しているので、時系列の接触位置を繋ぎ合わせることで、描かれた線の軌跡を判別することができる。
軌跡判別部4は、描かれた線の軌跡を判別すると、その軌跡を表す曲線の長さや形状など、その曲線を示す曲線情報を生成する。
また、軌跡判別部4は、その軌跡を表す曲線の画像である曲線画像を生成し、その曲線画像を含む曲線情報を入力表示制御装置100に出力する(ステップST6)。
この曲線画像の線幅は、ステップST2で設定した線幅であり、上記の例では、曲線画像の線幅を“11mm”に設定しているので、線幅が“11mm”の曲線画像を生成する。
音声認識部8による音声の認識処理自体は公知の技術であるため詳細な説明を省略するが、例えば、音声検出部6により検出された音声を分析して、その音声の音響特徴を算出し、音声認識辞書DB7の認識辞書に記述されている言葉の中から、その算出した音響特徴と最も近い音響特徴を有する言葉を探索し、その言葉を示す文字列を音声の認識結果を示す文字列として出力する方法が考えられる。
この実施の形態1では、説明の便宜上、ユーザが「春になったら桜を見に行きましょう」という発話をしており、音声認識部8が「春になったら桜を見に行きましょう」を示す文字列を出力するものとする。
以下、入力表示制御装置100の処理内容を具体的に説明する。
図8は曲線画像が出力される前に音声の認識結果を示す文字列が出力された場合の表示処理を示す説明図である。
図9は曲線画像の上に重ねて表示する文字列を示す説明図である。図9Aは、曲線の長さが文字列の長さより長ければ、その文字列を構成している全ての文字を曲線画像の上に重ねて表示できることを示している。図9Bは、曲線の長さが文字列の長さより短ければ、その文字列を構成している一部の文字を曲線画像の上に重ねて表示できないことを示している。
図10は表示制御部12の長さ比較部13の処理内容を示す説明図である。図10Aは、曲線の形状が直線である場合に、曲線の長さLの算出に用いる曲線の先端及び終端の位置座標を示している。図10Bは、曲線の形状が曲がっている場合に、曲線の長さLの算出に用いる曲線の先端、終端及び中間点の位置座標を示している。
図11は表示制御部12の延長曲線形状決定部14の処理内容を示す説明図である。
図12は表示制御部12の延長曲線形状決定部14により決定された延長曲線の形状の一例を示す説明図である。
図13は表示制御部12の曲線延長部17の処理内容を示す説明図である。
この実施の形態1では、説明の便宜上、ユーザの操作によって描かれている線の長さが短いために、曲線の長さが、音声の認識結果を示す文字列の長さよりも短くなっているものとする。
なお、表示処理部18が曲線画像を表示させる際、曲線画像の全体を同時に表示させるようにしてもよいが、後で表示する文字列の先頭側から順次表示するアニメーションで、曲線画像を表示させるようにしてもよい。
ただし、図7の例では、曲線の長さが、音声の認識結果を示す文字列の長さよりも短いため、文字列のうち、「春になったら桜を見に行き」については曲線画像の上に重ねて表示されているが、「ましょう」については曲線画像の上に重ねて表示されていない。
ここでは、音声認識部8から出力された文字列が「春になったら桜を見に行きましょう」であり、その文字列の文字数が16であるため、例えば、文字管理部3から出力された文字属性情報が示す文字幅が“5mm”であれば、文字列の長さは、下記の式(1)に示すように、80mmとなる。
文字列の長さ=5mm×16=80mm (1)
曲線の長さLは、曲線の形状が例えば図10Aに示すような直線であれば、下記の式(2)に示すように、その曲線の先端の位置座標(Xs,Ys)と終端の位置座標(Xe,Ye)とから算出することができる。図7のステップAに表示している曲線画像の場合、曲線の左端が曲線の先端、曲線の右端が曲線の終端である。これらの位置座標は文字幅等を表す単位と同じ単位であるものとする。ここでは、mmが単位である。
曲線の長さLは、例えば、N=2の場合、下記の式(3)に示すように、曲線の先端の位置座標(Xs,Ys)と、中間点の位置座標(X1,Y1)と、中間点の位置座標(X2,Y2)と、終端の位置座標(Xe,Ye)とから算出することができる。
式(3)において、Xs<X1<X2<Xeである。
図10Bでは、N=2の例を示しているが、近似精度を高めるために、Nを3以上にして、数多くの中間点の位置座標(Xn,Yn)を用いるようにしてもよいことは言うまでもない。
延長曲線形状決定部14は、長さ比較部13の比較結果が、曲線の長さが文字列の長さより短い旨を示していれば(図5のステップST18:YESの場合)、曲線情報取得部9により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する(ステップST19)。
即ち、延長曲線形状決定部14の形状決定処理部16は、曲線記憶部15に記憶されている複数の曲線の形状と、曲線情報取得部9により取得された曲線情報が示す曲線の形状とを照合することで、曲線記憶部15に記憶されている複数の曲線の形状の中で、その曲線情報が示す曲線の形状と最も一致度が高い曲線の形状を特定し、最も一致度が高い曲線の形状を選択する。曲線の形状を照合して、一致度が最も高い曲線の形状を特定する処理自体は公知の技術であるため詳細な説明を省略する。
例えば、曲線記憶部15に記憶されている複数の曲線の長さが、操作によって描かれた線の軌跡を表す曲線より十分に長ければ、選択した曲線の形状の中で、その曲線情報が示す曲線より長い部分の形状を、延長曲線の形状に決定する。
図11の例では、操作によって描かれた線の軌跡を表す曲線、即ち、軌跡判別部4により判別された軌跡を表す曲線を破線で表し、最も一致度が高い選択した曲線を実線で表しており、破線で表している曲線の延長部分の形状を、実線で表している曲線の形状と同じにしている。
例えば、軌跡判別部4により判別された軌跡を表す曲線の形状の曲率の変化傾向などを計算し、その曲率の変化傾向から、延長曲線の形状を推定するなどの方法が考えられる。
図12Bでは、曲線全体の曲率が一定であるため、延長曲線の形状の曲率を、軌跡判別部4により判別された軌跡を表す曲線である元の曲線の形状の曲率と同じにしている。
図12Cでは、曲線の形状が周期的な波線形状であるため、延長曲線の形状を元の曲線と同じ周期の波線形状にしている。
図12Dでは、曲線の終端付近が円弧状に曲がっているため、延長曲線の形状を元の曲線の終端付近と同様の円弧形状にしている。
図13の例では、曲線の長さが60mm、文字列の長さが80mmであり、曲線の長さが文字列の長さより20mm短いため、20mmだけ、曲線を延長している。
ここでは、曲線延長部17により付加された延長曲線に沿って、未表示であった文字列の一部をディスプレイ32に表示させるものを示したが、図7のステップDにおける右側の図のように、延長曲線を示す曲線画像をディスプレイ32に表示させ、未表示であった文字列の一部を当該曲線画像の上に重ねて表示させるようにしてもよい。
表示処理部18が曲線画像を消去させる際、曲線画像の全体が同時に消去されるようにしてもよいが、文字列の先頭側から順番に消去するアニメーションで、曲線画像が消去されるようにしてもよい。
ここでは、曲線画像と文字列が重ねて表示されてから、一定時間後に、曲線画像が消去されるものを想定しているが、文字列の表示が完了すると、直ちに、曲線画像が消去されるものであってもよい。
表示処理部18は、軌跡判別部4から曲線情報が出力されることで、曲線情報取得部9が曲線情報を取得すると(ステップST23:YESの場合)、文字列一時保存部19から文字列を読み出し、その文字列を曲線画像の上に重ねて表示するための表示情報を生成し、その表示情報にしたがって、図8のステップBに示すように、その文字列を曲線画像の上に重ねて表示させる。即ち、表示処理部18は、曲線画像と文字列を同じ位置に重ねて表示させる(ステップST24)。
ただし、図8の例では、曲線の長さが、音声の認識結果を示す文字列の長さよりも短いため、文字列のうち、「春になったら桜を見に行き」については曲線画像の上に重ねて表示されているが、「ましょう」については曲線画像の上に重ねて表示されていない。
表示処理部18が曲線画像と文字列を同じ位置に重ねて表示させる際、曲線画像と文字列の全体を同時に表示させるようにしてもよいが、文字列の先頭側から順次表示するアニメーションで、曲線画像と文字列を表示させるようにしてもよい。
また、ユーザの指のなぞりにあわせて、曲線画像と文字列が指の下から湧き出てくるように、その曲線画像と文字列を順次表示させるようにしてもよい。
なお、図7では、ユーザが指をなぞってから発話する例を示し、図8ではユーザが発話してから指をなぞる例を示したが、指のなぞりと発話が同時に行われるものであってもよい。
また、長さ比較部13は、曲線情報取得部9により取得された曲線情報を受けると、上記の式(2)又は式(3)にしたがって、その曲線情報が示す曲線の長さを算出する(ステップST16)。
長さ比較部13は、曲線の長さを算出すると、その曲線の長さと文字列の長さとを比較する(図5のステップST17)。
曲線延長部17は、延長曲線形状決定部14が延長曲線の形状を決定すると、その延長曲線を曲線情報取得部9により取得された曲線情報が示す曲線の終端に付加することで、曲線を延長する(ステップST20)。
図13の例では、曲線の長さが60mm、文字列の長さが80mmであり、曲線の長さが文字列の長さより20mm短いため、20mmだけ、曲線を延長している。
ここでは、曲線延長部17により付加された延長曲線に沿って、未表示であった文字列の一部をディスプレイ32に表示させるものを示したが、図8のステップCにおける右側の図のように、延長曲線を示す曲線画像をディスプレイ32に表示させ、未表示であった文字列の一部を当該曲線画像の上に重ねて表示させるようにしてもよい。
表示処理部18が曲線画像を消去させる際、曲線画像の全体が同時に消去されるようにしてもよいが、文字列の先頭側から順番に消去するアニメーションで、曲線画像が消去されるようにしてもよい。
ここでは、曲線画像と文字列が重ねて表示させてから、一定時間後に、曲線画像が消去されるものを想定しているが、文字列の表示が完了すると、直ちに、曲線画像が消去されるものであってもよい。
このため、長さ比較部13の比較結果が、曲線の長さが文字列の長さ以上である旨を示していれば(図5のステップST18:Noの場合)、ステップST19~ST21の処理を実施せずに、ステップST22の処理に移行し、曲線画像を消去して、文字列のみを表示している状態にする。
文字列の長さ=(5mm×16)+(0.5mm×15)=87.5mm
(4)
式(4)は、式(1)と同様に、文字列の文字数が16、文字幅が“5mm”である場合を示している。
また、曲線画像は、ユーザが曲線画像を確認することができなくてもよければ、無色透明の画像であってもよい。また、曲線画像は有色透明の画像であってもよい。
曲線画像が無色透明である場合、表示制御部12の表示処理部18が、軌跡判別部4により判別された軌跡を表す幅のない曲線や、曲線延長部17により延長された軌跡を表す幅のない曲線をディスプレイ32に表示させるようにしてもよい。
上記実施の形態1では、曲線情報取得部9により取得された曲線情報が示す曲線に沿って、文字列取得部10により取得された文字列をディスプレイ32に表示させるものを示したが、さらに、その文字列を翻訳し、その翻訳結果を示す文字列をディスプレイ32に表示させるようにしてもよい。
図14及び図15において、図1及び図2と同一符号は同一または相当部分を示すので説明を省略する。
翻訳部52は例えばCPUを実装している半導体集積回路あるいはワンチップマイコンなどで構成されている翻訳処理回路34で実現されるものであり、文字列取得部10により取得された文字列を翻訳する処理を実施する。
表示制御部51の表示処理部53は例えば表示処理回路31で実現されるものであり、図1の表示処理部18と同様の処理を実施する。
また、表示処理部53は、図1の表示処理部18と異なり、翻訳部52の翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成し、翻訳文字列表示用の曲線に沿って、翻訳部52の翻訳結果を示す文字列をディスプレイ32に表示させる処理も実施する。
入力表示システムがソフトウェアやファームウェアなどで実現される場合、文字管理DB2、音声認識辞書DB7及び文字列一時保存部19を図3に示すコンピュータのメモリ41上に構成するとともに、操作受付部1、文字管理部3、軌跡判別部4、音声検出部6、音声認識部8及び表示制御部51の処理手順をコンピュータに実行させるためのプログラムをメモリ41に格納し、図3に示すプロセッサ42がメモリ41に格納されているプログラムを実行するようにすればよい。
ただし、翻訳部52及び表示処理部53以外は、上記実施の形態1と同様であるため、ここでは、主に翻訳部52及び表示処理部53の処理内容について説明する。
翻訳部52は、文字列取得部10が文字列認識部5から出力された音声の認識結果を示す文字列を取得すると、その文字列を翻訳し、その翻訳結果を示す文字列を長さ比較部13及び表示処理部53に出力する。
音声の認識結果を示す文字列が「夏休みに海に行ったよ」であれば、例えば、その翻訳結果を示す文字列は「I went to the sea in summer vacation」のようになる。
また、表示処理部53は、曲線情報取得部9により取得された曲線情報が示す曲線の長さが文字列の長さより短いために、その文字列の一部を曲線に沿って表示することができなければ、図1の表示処理部18と同様に、曲線延長部17により付加された延長曲線に沿って、その文字列の一部をディスプレイ32に表示させる。
このとき、翻訳結果を示す文字列を構成する文字の文字幅を示す文字属性情報は、文字管理部3から受けるものとする。
例えば、翻訳結果を示す文字列が「I went to the sea in summer vacation」である場合、文字数がスペースを含めて36であるため、翻訳結果を示す文字列を構成する文字の文字幅が“2mm”であるとすれば、翻訳結果を示す文字列の長さは、下記の式(5)に示すように、72mmとなる。
翻訳結果を示す文字列の長さ=2mm×36=72mm (5)
したがって、この場合には、翻訳文字列表示用の曲線の長さは、72mm以上の長さとなる。
また、翻訳文字列表示用の曲線の形状は、ユーザの操作によって描かれた線の軌跡を表す曲線、即ち、曲線情報取得部9により取得された曲線情報が示す曲線の形状と同じ形状とする。曲線延長部17によって曲線が延長されている場合には、曲線延長部17により延長された曲線の形状と同じ形状とする。
例えば、ユーザの操作によって描かれた線の軌跡を表す曲線の形状が円弧形状であれば、翻訳文字列表示用の曲線の形状も円弧形状であり、ユーザの操作によって描かれた線の軌跡を表す曲線の形状が波線形状であれば、翻訳文字列表示用の曲線の形状も波線形状である。
ここで、図16は表示制御部51の表示処理部53における表示処理の一例を示す説明図である。
ステップAでは、ユーザの操作によって描かれた線の軌跡を表す曲線の曲線画像をディスプレイ32に表示している。
ステップBにおいて、ユーザの音声の認識処理が実施されると、ステップCでは、その音声の認識結果を示す文字列を曲線画像の上に重ねて表示させている。ステップA~ステップCまでは、上記実施の形態1と同様である。ただし、ここでは、音声の認識結果を示す文字列が出力される前に曲線画像を含む曲線情報が出力された場合の例を示している。
ステップDでは、ユーザの操作によって描かれた線の軌跡を表す曲線と同形状の翻訳文字列表示用の曲線に沿って、翻訳結果を示す文字列をディスプレイ32に表示させている。
図16の例では、表示処理部53が、翻訳文字列表示用の曲線を、ユーザの操作によって描かれた線の軌跡を表す曲線の下側に並べているが、ユーザの操作によって描かれた線の軌跡を表す曲線の上側に並べてもよいし、左側や右側に並べてもよい。
ステップEでは、ユーザの操作によって描かれた線の軌跡を表す曲線の曲線画像を消去している。
この場合、最終的に表示される文字列は、翻訳結果を示す文字列だけになる。
この実施の形態2では、日本語から英語に翻訳している例を示しているため、この場合の折り返し翻訳は、翻訳した英語を日本語に翻訳し直すことを意味する。
図18の例では、ステップDにおいて、音声の認識結果を示す文字列である日本語の下に、翻訳結果を示す文字列である英語を表示させ、その英語の下に、折り返し翻訳を示す文字列である日本語を表示させている。
また、図19に示すように、ステップDにおいて、曲線画像の上に重ねて表示させた音声の認識結果を示す文字列である日本語を消してから、翻訳結果を示す文字列である英語を曲線画像の上に重ねて表示させるとともに、その英語の下に、折り返し翻訳を示す文字列である日本語を表示させるようにしてもよい。
あるいは、対面二画面の下側の画面に、翻訳結果を示す文字列が表示され、対面二画面の上側の画面に、音声の認識結果を示す文字列が表示されるようにしてもよい。
ただし、対面二画面であるため、対面二画面の上側の画面では、文字が180度回転している。
また、対面二画面の場合でも、図21に示すように、折り返し翻訳の結果を示す文字列を表示させるようにしてもよい。
上記実施の形態1では、文字列認識部5が、表示対象の文字列として、音声の認識結果を示す文字列を取得するものを示したが、表示対象の文字列として、操作受付部1により受け付けられた操作によって描かれた文字の認識結果を示す文字列を取得するものであってもよい。
図22及び図23において、図1及び図2と同一符号は同一または相当部分を示すので説明を省略する。
文字列認識部60は文字認識処理部61を含んでおり、操作受付部1により受け付けられた操作によって描かれた文字の認識結果を示す文字列を表示対象の文字列として出力する処理を実施する。
文字認識処理部61は、例えば光学文字認識処理であるOCR(Optical Character Recognition)機能を実装している文字認識処理回路35で実現されるものであり、操作受付部1により受け付けられた操作によって描かれた文字を認識し、その文字の認識結果を示す文字列を表示対象の文字列として出力する処理を実施する。
入力表示システムがソフトウェアやファームウェアなどで実現される場合、文字管理DB2及び文字列一時保存部19を図3に示すコンピュータのメモリ41上に構成するとともに、操作受付部1、文字管理部3、軌跡判別部4、文字認識処理部61及び表示制御部12の処理手順をコンピュータに実行させるためのプログラムをメモリ41に格納し、図3に示すプロセッサ42がメモリ41に格納されているプログラムを実行するようにすればよい。
図24は文字の認識結果を示す文字列の表示処理の一例を示す説明図である。
この実施の形態3では、操作受付部1を実現しているポインティングデバイス21がタッチパネルであるものを想定しているので、ユーザが自己の指や、タッチパネル用の入力ペンなどを用いて、線を描く操作として、文字を描く操作をタッチパネルに行うと、操作受付部1が、文字を描く操作を受け付けて、その操作の内容を軌跡判別部4及び文字列認識部60に出力する。
出力される文字を描く操作の内容は、例えば、タッチパネルに接触している指や入力ペンの位置の座標、即ち、タッチパネル上の位置座標の連続的な変化を示す時系列データである。
文字列認識部60の文字認識処理部61は、操作受付部1により受け付けられた操作によって描かれた複数の文字を認識して、複数の文字の認識結果を示す文字列を取得し、その文字列を軌跡判別部4及び入力表示制御装置100に出力する。
具体的には、以下の通りである。
まず、軌跡判別部4は、文字を描く操作の内容である時系列データが示すタッチパネル上の各位置座標のうち、X座標が最も小さい座標XLEFTと、X座標が最も大きい座標XRIGHTとを特定して、その座標XRIGHTから座標XLEFTを減算することで、文字列のX方向の長さを算出する。
そして、軌跡判別部4は、文字列のX方向の長さを文字数で除算することで、1文字当りX方向の長さを算出し、また、1文字当りX方向の長さと座標XLEFTから、各々の文字が存在しているX方向の座標範囲を算出する。例えば、文字列の左端からn番目の文字が存在しているX方向の座標範囲は、(1文字当りX方向の長さ×(n-1)+XLEFT)~(1文字当りX方向の長さ×n+XLEFT)のように算出する。
そして、軌跡判別部4は、時系列データが示す各位置座標のそれぞれが含まれる上記X方向の座標範囲をみつけて、時系列データが示す各位置座標のそれぞれを対応するX方向の座標範囲に振り分けることで、1つ以上の文字を描く操作の内容を、文字毎に振り分けるようにする。
軌跡判別部4は、文字列を構成している各文字の中心座標を算出すると、図24のステップBに示すように、各文字の中心座標を繋ぎ合わせることで1本の線を生成し、その1本の線を文字列の軌跡を表す曲線として、その曲線を示す曲線情報を入力表示制御装置100に出力する。
しかし、この実施の形態3では、各文字の中心座標が厳密に分からなくても、文字列が存在している領域をX方向に分割した各領域の中心座標が分かれば、文字列の並び方向を示す曲線を求めることができる。したがって、各文字の大きさが均等でない場合でも、上記の方法で、曲線を求めることができる。
また、ここでは、軌跡判別部4が、文字列の並び方向を示す曲線を求める際、X方向の座標範囲単位に、時系列データが示す各位置座標を振り分けるようにしているが、例えば、手書き文字が縦書きであるような場合には、Y方向の座標範囲単位に、時系列データが示す各位置座標を振り分けるようにしてもよい。
ここで説明している各位置座標を振り分ける方法は一例に過ぎず、他の方法を用いてもよいことは言うまでもない。
図24のステップCでは、手書き文字に並べるように軌跡を表す曲線を描いて、文字列を表示させているが、これに限るものではなく、例えば、手書き文字を消去させてから、手書き文字の位置に曲線を描いて、文字列を表示させるようにしてもよい。
また、軌跡を表す曲線は、透明であってもよい。
この場合は、上記実施の形態1と同様に、曲線を延長することで、表示されていない文字の一部を表示させるようにする。
即ち、長さ比較部13が曲線の長さと文字列の長さを比較し、延長曲線形状決定部14が延長曲線の形状を決定し、曲線延長部17が曲線情報取得部9により取得された曲線情報が示す曲線に延長曲線を付加することで、曲線を延長する。そして、表示処理部18が、延長曲線に沿って、表示されていない文字の一部を表示させる。
上記実施の形態3では、文字認識処理部61を備えた文字列認識部60を上記実施の形態1における図1の入力表示制御装置に適用する例を示したが、文字認識処理部61を備えた文字列認識部60を上記実施の形態2における図14の入力表示制御装置に適用するようにしてもよい。
図25はこの発明の実施の形態4による入力表示制御装置を含む入力表示システムを示す構成図である。
図26は翻訳結果を示す文字列の表示処理の一例を示す説明図である。
Claims (8)
- 曲線を示す曲線情報を取得する曲線情報取得部と、
文字列を取得する文字列取得部と、
前記曲線情報取得部により取得された曲線情報が示す曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成する表示制御部とを備え、
前記表示制御部は、前記曲線情報取得部により取得された曲線情報が示す曲線の長さが短いために、前記文字列取得部により取得された文字列の一部を前記曲線に沿って表示することができないと判断した場合、前記曲線の形状から、前記曲線の延長部分の形状を決定して、前記曲線を延長し、前記延長部分の曲線に沿って、前記文字列の一部を表示するための表示情報を生成することを特徴とする入力表示制御装置。 - 前記表示制御部は、
前記曲線情報取得部により取得された曲線情報が示す曲線の長さと、前記文字列取得部により取得された文字列の長さとを比較する長さ比較部と、
前記長さ比較部の比較結果が、前記曲線の長さが前記文字列の長さより短い旨を示していれば、前記曲線の形状から、前記延長部分の曲線である延長曲線の形状を決定する延長曲線形状決定部と、
前記延長曲線形状決定部により形状が決定された延長曲線を前記曲線情報取得部により取得された曲線情報が示す曲線の終端に付加する曲線延長部と、
前記曲線延長部により付加された延長曲線に沿って、前記文字列の一部を表示するための表示情報を生成する表示処理部とを備えたことを特徴とする請求項1記載の入力表示制御装置。 - 前記延長曲線形状決定部は、
形状が異なる複数の曲線を記憶している曲線記憶部と、
前記曲線記憶部に記憶されている複数の曲線の形状と、前記曲線情報取得部により取得された曲線情報が示す曲線の形状とを照合して、前記曲線記憶部に記憶されている複数の曲線の形状の中から、前記曲線情報取得部により取得された曲線情報が示す曲線の形状に対応する曲線の形状を選択し、前記選択した曲線の形状から前記延長曲線の形状を決定する形状決定処理部とを備えたことを特徴とする請求項2記載の入力表示制御装置。 - 前記文字列取得部により取得された文字列を翻訳する翻訳部を備え、
前記表示制御部は、さらに、
前記翻訳部の翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成し、前記翻訳文字列表示用の曲線に沿って、前記翻訳部の翻訳結果を示す文字列を表示するための表示情報を生成することを特徴とする請求項1記載の入力表示制御装置。 - 曲線情報取得部が、曲線を示す曲線情報を取得し、
文字列取得部が、文字列を取得し、
表示制御部が、前記曲線情報取得部により取得された曲線情報が示す曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成する処理を実施し、
前記表示制御部では、前記曲線情報取得部により取得された曲線情報が示す曲線の長さが短いために、前記文字列取得部により取得された文字列の一部を前記曲線に沿って表示することができないと判断した場合、前記曲線の形状から、前記曲線の延長部分の形状を決定して、前記曲線を延長し、前記延長部分の曲線に沿って、前記文字列の一部を表示するための表示情報を生成することを特徴とする入力表示制御方法。 - 線を描く操作を受け付ける操作受付部と、
前記操作受付部により受け付けられた操作によって描かれた線の軌跡を判別する軌跡判別部と、
表示対象の文字列を認識する文字列認識部と、
前記軌跡判別部により判別された軌跡を表す曲線を示す曲線情報を取得する曲線情報取得部と、
前記文字列認識部により認識された文字列を取得する文字列取得部と、
前記曲線情報取得部により取得された曲線情報が示す曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成する表示制御部とを備え、
前記表示制御部は、前記曲線情報取得部により取得された曲線情報が示す曲線の長さが短いために、前記文字列取得部により取得された文字列の一部を前記曲線に沿って表示することができないと判断した場合、前記曲線の形状から、前記曲線の延長部分の形状を決定して、前記曲線を延長し、前記延長部分の曲線に沿って、前記文字列の一部を表示するための表示情報を生成することを特徴とする入力表示システム。 - 前記文字列認識部は、
音声を検出する音声検出部と、
前記音声検出部により検出された音声を認識し、表示対象の文字列として、前記音声の認識結果を示す文字列を取得する音声認識部とを備えたことを特徴とする請求項6記載の入力表示システム。 - 前記文字列認識部は、
前記操作受付部により受け付けられた操作によって描かれた文字を認識し、表示対象の文字列として、前記文字の認識結果を示す文字列を取得する文字認識処理部を備えたことを特徴とする請求項6記載の入力表示システム。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017506808A JP6355823B2 (ja) | 2016-02-08 | 2016-02-08 | 入力表示制御装置、入力表示制御方法及び入力表示システム |
CN202210644398.7A CN115061622A (zh) | 2016-02-08 | 2016-02-08 | 输入显示控制装置、输入显示控制方法和输入显示系统 |
PCT/JP2016/053686 WO2017138076A1 (ja) | 2016-02-08 | 2016-02-08 | 入力表示制御装置、入力表示制御方法及び入力表示システム |
CN202210644459.XA CN115047997A (zh) | 2016-02-08 | 2016-02-08 | 输入显示控制装置、输入显示控制方法和输入显示系统 |
CN201680080670.6A CN108700981B (zh) | 2016-02-08 | 2016-02-08 | 输入显示控制装置、输入显示控制方法和输入显示系统 |
KR1020187024134A KR101981439B1 (ko) | 2016-02-08 | 2016-02-08 | 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템 |
KR1020197013942A KR102174565B1 (ko) | 2016-02-08 | 2016-02-08 | 표시 제어 장치, 입력 표시 시스템, 표시 제어 방법 및 프로그램 |
US16/068,459 US10884612B2 (en) | 2016-02-08 | 2016-02-08 | Input display control device, input display control method, and input display system |
EP16889778.3A EP3407173B1 (en) | 2016-02-08 | 2016-02-08 | Input display control device, input display control method, and input display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/053686 WO2017138076A1 (ja) | 2016-02-08 | 2016-02-08 | 入力表示制御装置、入力表示制御方法及び入力表示システム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017138076A1 true WO2017138076A1 (ja) | 2017-08-17 |
Family
ID=59563719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/053686 WO2017138076A1 (ja) | 2016-02-08 | 2016-02-08 | 入力表示制御装置、入力表示制御方法及び入力表示システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US10884612B2 (ja) |
EP (1) | EP3407173B1 (ja) |
JP (1) | JP6355823B2 (ja) |
KR (2) | KR102174565B1 (ja) |
CN (3) | CN108700981B (ja) |
WO (1) | WO2017138076A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019049312A1 (ja) * | 2017-09-08 | 2019-03-14 | 三菱電機株式会社 | 表示制御装置及び表示制御方法 |
CN109871173A (zh) * | 2017-12-01 | 2019-06-11 | 富士施乐株式会社 | 信息处理装置、信息处理系统 |
CN110209296A (zh) * | 2018-02-28 | 2019-09-06 | 夏普株式会社 | 信息处理装置及信息处理方法 |
JP6641530B1 (ja) * | 2018-12-07 | 2020-02-05 | 三菱電機株式会社 | 入力表示制御装置、入力表示制御方法及び入力表示システム |
JP6656477B1 (ja) * | 2018-12-07 | 2020-03-04 | 三菱電機株式会社 | 入力表示制御装置、入力表示制御方法及び入力表示システム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230089783A (ko) * | 2021-12-14 | 2023-06-21 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014010623A (ja) * | 2012-06-29 | 2014-01-20 | Toshiba Corp | 音声翻訳装置、方法およびプログラム |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05197507A (ja) * | 1992-01-17 | 1993-08-06 | Hitachi Ltd | ポータブルコンピュータ |
KR0124033B1 (ko) | 1993-03-30 | 1997-11-24 | 최병철 | 전선 피복용 열경화성 수지 조성물 |
JP3376072B2 (ja) * | 1994-02-07 | 2003-02-10 | キヤノン株式会社 | 文字処理装置及び方法 |
JPH10124033A (ja) | 1996-08-30 | 1998-05-15 | Canon Inc | 文字処理装置、文字処理方法、及び、記憶媒体 |
JP3933449B2 (ja) * | 2001-11-22 | 2007-06-20 | 株式会社東芝 | コミュニケーション支援装置 |
JP4544587B2 (ja) * | 2005-03-09 | 2010-09-15 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体および画像生成システム |
JP4569622B2 (ja) * | 2007-12-18 | 2010-10-27 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
US8584012B1 (en) * | 2008-10-10 | 2013-11-12 | Adobe Systems Incorporated | Methods and systems for displaying text on a path |
JP4810594B2 (ja) * | 2009-06-24 | 2011-11-09 | 京セラ株式会社 | 携帯端末、言語設定プログラムおよび言語設定方法 |
JP5014449B2 (ja) * | 2010-02-26 | 2012-08-29 | シャープ株式会社 | 会議システム、情報処理装置、会議支援方法、情報処理方法、及びコンピュータプログラム |
JP5058280B2 (ja) * | 2010-03-12 | 2012-10-24 | シャープ株式会社 | 翻訳装置、翻訳方法及びコンピュータプログラム |
KR101695816B1 (ko) | 2010-07-19 | 2017-01-13 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
JP5790070B2 (ja) * | 2010-08-26 | 2015-10-07 | カシオ計算機株式会社 | 表示制御装置およびプログラム |
JP5211193B2 (ja) * | 2010-11-10 | 2013-06-12 | シャープ株式会社 | 翻訳表示装置 |
KR20120092365A (ko) * | 2011-02-11 | 2012-08-21 | 삼성전자주식회사 | 정전용량방식 터치스크린패널 표시장치 |
JP5703125B2 (ja) * | 2011-05-20 | 2015-04-15 | シャープ株式会社 | 表示装置および表示プログラム |
JP2013003803A (ja) * | 2011-06-15 | 2013-01-07 | Sharp Corp | 文字入力装置、文字入力装置の制御方法、制御プログラム、及び記録媒体 |
KR102023008B1 (ko) * | 2012-12-10 | 2019-09-19 | 엘지전자 주식회사 | 음성-텍스트 변환 디스플레이 장치 및 그 방법 |
JP6058790B2 (ja) | 2013-04-26 | 2017-01-11 | 京セラ株式会社 | 装置、方法、及びプログラム |
JP6286866B2 (ja) * | 2013-05-20 | 2018-03-07 | オムロン株式会社 | 画像処理装置および画像処理方法 |
US9116871B2 (en) * | 2013-05-20 | 2015-08-25 | Microsoft Technology Licensing, Llc | Ink to text representation conversion |
JP6120736B2 (ja) * | 2013-09-11 | 2017-04-26 | アルパイン株式会社 | 地図表示装置および地図上における文字列表示方法 |
EP3306452B1 (en) | 2015-05-28 | 2022-04-20 | Mitsubishi Electric Corporation | Input display device and input display method |
-
2016
- 2016-02-08 KR KR1020197013942A patent/KR102174565B1/ko active IP Right Grant
- 2016-02-08 CN CN201680080670.6A patent/CN108700981B/zh active Active
- 2016-02-08 CN CN202210644459.XA patent/CN115047997A/zh active Pending
- 2016-02-08 WO PCT/JP2016/053686 patent/WO2017138076A1/ja active Application Filing
- 2016-02-08 KR KR1020187024134A patent/KR101981439B1/ko active IP Right Grant
- 2016-02-08 CN CN202210644398.7A patent/CN115061622A/zh active Pending
- 2016-02-08 US US16/068,459 patent/US10884612B2/en active Active
- 2016-02-08 EP EP16889778.3A patent/EP3407173B1/en active Active
- 2016-02-08 JP JP2017506808A patent/JP6355823B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014010623A (ja) * | 2012-06-29 | 2014-01-20 | Toshiba Corp | 音声翻訳装置、方法およびプログラム |
Non-Patent Citations (3)
Title |
---|
KABUSHIKI KAISHA INK POT, PHOTOSHOP & ILLUSTRATOR PURO NO GENBA NO SHIGOTO-JUTSU, 9 April 2012 (2012-04-09), pages 252, XP009507976 * |
See also references of EP3407173A4 * |
YUKARI OKAMOTO, SUMAHO & TABLET O TSUKAITAOSU! BENRI APURI KATSUYOHO, NIKKEI PC21, vol. 20, no. 7, 24 April 2015 (2015-04-24), pages 120 - 123, XP009507956 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019049312A1 (ja) * | 2017-09-08 | 2019-03-14 | 三菱電機株式会社 | 表示制御装置及び表示制御方法 |
JPWO2019049312A1 (ja) * | 2017-09-08 | 2020-01-16 | 三菱電機株式会社 | 表示制御装置及び表示制御方法 |
CN109871173A (zh) * | 2017-12-01 | 2019-06-11 | 富士施乐株式会社 | 信息处理装置、信息处理系统 |
JP2019101739A (ja) * | 2017-12-01 | 2019-06-24 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システムおよびプログラム |
JP7006198B2 (ja) | 2017-12-01 | 2022-01-24 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理システムおよびプログラム |
CN110209296A (zh) * | 2018-02-28 | 2019-09-06 | 夏普株式会社 | 信息处理装置及信息处理方法 |
JP6656477B1 (ja) * | 2018-12-07 | 2020-03-04 | 三菱電機株式会社 | 入力表示制御装置、入力表示制御方法及び入力表示システム |
WO2020115909A1 (ja) * | 2018-12-07 | 2020-06-11 | 三菱電機株式会社 | 入力表示制御装置、入力表示制御方法及び入力表示システム |
WO2020115907A1 (ja) | 2018-12-07 | 2020-06-11 | 三菱電機株式会社 | 入力表示制御装置、入力表示制御方法及び入力表示システム |
KR20210069733A (ko) | 2018-12-07 | 2021-06-11 | 미쓰비시덴키 가부시키가이샤 | 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템 |
KR20210073591A (ko) | 2018-12-07 | 2021-06-18 | 미쓰비시덴키 가부시키가이샤 | 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템 |
JP6641530B1 (ja) * | 2018-12-07 | 2020-02-05 | 三菱電機株式会社 | 入力表示制御装置、入力表示制御方法及び入力表示システム |
KR20220031770A (ko) | 2018-12-07 | 2022-03-11 | 미쓰비시덴키 가부시키가이샤 | 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템 |
US11393230B2 (en) | 2018-12-07 | 2022-07-19 | Mitsubishi Electric Corporation | Input display control device, input display control method, and input display system |
Also Published As
Publication number | Publication date |
---|---|
KR101981439B1 (ko) | 2019-05-22 |
KR102174565B1 (ko) | 2020-11-05 |
US20190012075A1 (en) | 2019-01-10 |
EP3407173A4 (en) | 2019-01-23 |
EP3407173A1 (en) | 2018-11-28 |
CN115061622A (zh) | 2022-09-16 |
EP3407173B1 (en) | 2020-05-27 |
US10884612B2 (en) | 2021-01-05 |
KR20190055273A (ko) | 2019-05-22 |
CN115047997A (zh) | 2022-09-13 |
JPWO2017138076A1 (ja) | 2018-02-15 |
JP6355823B2 (ja) | 2018-07-11 |
KR20180098681A (ko) | 2018-09-04 |
CN108700981A (zh) | 2018-10-23 |
CN108700981B (zh) | 2022-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6355823B2 (ja) | 入力表示制御装置、入力表示制御方法及び入力表示システム | |
JP3131287B2 (ja) | パターン認識装置 | |
WO2014054716A1 (ja) | ユーザインタフェース装置、ユーザインタフェース方法、プログラム及びコンピュータ可読情報記憶媒体 | |
WO2016189735A1 (ja) | 入力表示装置及び入力表示方法 | |
US11393230B2 (en) | Input display control device, input display control method, and input display system | |
JP6727279B2 (ja) | 表示制御装置、入力表示システム、表示制御方法及びプログラム | |
JP6448838B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
JP6656477B1 (ja) | 入力表示制御装置、入力表示制御方法及び入力表示システム | |
JP6987302B1 (ja) | 入力表示制御装置、入力表示制御方法および入力表示システム | |
JP6675472B2 (ja) | 入力表示装置 | |
JPH06119498A (ja) | 手書き文字認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2017506808 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16889778 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 20187024134 Country of ref document: KR Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 1020187024134 Country of ref document: KR |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2016889778 Country of ref document: EP |
|
ENP | Entry into the national phase |
Ref document number: 2016889778 Country of ref document: EP Effective date: 20180824 |