JP6458358B2 - Image processing apparatus and program - Google Patents
Image processing apparatus and program Download PDFInfo
- Publication number
- JP6458358B2 JP6458358B2 JP2014110045A JP2014110045A JP6458358B2 JP 6458358 B2 JP6458358 B2 JP 6458358B2 JP 2014110045 A JP2014110045 A JP 2014110045A JP 2014110045 A JP2014110045 A JP 2014110045A JP 6458358 B2 JP6458358 B2 JP 6458358B2
- Authority
- JP
- Japan
- Prior art keywords
- character string
- moving image
- character
- stroke order
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、動画像等の画像処理を行うための画像処理装置及びプログラムに関する。 The present invention relates to an image processing apparatus and a program for performing image processing such as moving images.
従来、文字の筆順を学習するなどの目的から、文字を筆順どおりに動画にて表示する文字練習システムが提案されている（例えば、特許文献１）。また、入力された文字を一文字ずつ筆順を示す動画像でスクリーンに表示するネットワークスクリーンシステムも提案されている（例えば、特許文献２）。 Conventionally, for the purpose of learning the stroke order of characters, a character practice system that displays characters in a moving image according to the stroke order has been proposed (for example, Patent Document 1). There has also been proposed a network screen system that displays input characters one by one on the screen as a moving image indicating the stroke order (for example, Patent Document 2).
ところで、失読症などのように、文字自体は脳に記憶されているにもかかわらず文字の読解が困難となる症例が存在することが知られている。文字の読解が困難な場合、通常、音声出力により文字情報を受け取って認識するという方法が採られる。しかし、例えば会議などのように口頭での説明を聞く必要がある場面においては、音声により文字情報を認識するという方法を採ると、口頭での説明を聞きながら資料の文字情報を音声により認識しなければならず、いずれかの情報を聞き漏らすおそれがある。また会議中に音声出力を行うと、会議の進行を妨げるおそれもある。 By the way, it is known that there are cases such as dyslexia that make it difficult to read the characters even though the characters themselves are stored in the brain. When it is difficult to read characters, a method of receiving and recognizing character information by voice output is usually adopted. However, in situations such as meetings where it is necessary to listen to verbal explanations, using the method of recognizing textual information by voice will recognize the textual information in the document while listening to the verbal explanation. There is a risk of missing any information. In addition, if audio is output during the conference, there is a risk that the conference will be hindered.
失読症の場合、文字を筆順どおり動画像にて表示すると、筆順に基づいてその文字を理解することができる場合がある。すなわち、筆順を示す動画像を見、その筆順どおりの文字を記憶していた場合には筆順から当該文字を想起することができるため、当該文字を理解することができるのである。そこで、会議における資料等について、文字を筆順どおりの動画像で表示することが考えられる。 In the case of dyslexia, when characters are displayed in a moving image according to the stroke order, the characters may be understood based on the stroke order. That is, when a moving image showing the stroke order is viewed and characters are stored in accordance with the stroke order, the characters can be recalled from the stroke order, so that the characters can be understood. Therefore, it is conceivable to display characters in a moving image according to a stroke order for materials in a meeting.
しかしながら、特許文献１及び２の従来技術はいずれも一文字ずつ入力を受け付け、入力された一文字につき筆順を示す動画像を表示するものである。これに対して会議等における資料は、通常は複数の文字を含む文章が記載されているものである。そうすると、特許文献１及び２の従来技術を適用すると、資料中の文章を構成する複数の文字を一文字ずつ入力して動画像を表示させなければならず、作業が煩雑であり、会議に集中することができなくなる。
However, the prior arts of
そこで本発明は、上記問題点を解決すべくなされたものであり、失読症などのユーザーが例えば会議中においても資料などに記載された文章を簡単に理解できるようにした画像処理装置及びプログラムを提供することを目的とするものである。 Accordingly, the present invention has been made to solve the above-described problems, and an image processing apparatus and a program that allow a user with dyslexia or the like to easily understand a sentence described in a document during a meeting, for example. It is intended to provide.
上記目的を達成するため、請求項１に係る発明は、画像処理装置であって、文字の筆順を定義した筆順情報を記憶する記憶手段と、ユーザーが操作入力可能な入力手段と、ユーザーによって指定された文書データを取得し、該文書データの文字領域に含まれる文字列を抽出する文字列抽出手段と、前記文字列に含まれる文字を先頭から順に抽出する文字抽出手段と、前記文字抽出手段により抽出された文字に対応する筆順情報を前記記憶手段から読み出し、該筆順情報に基づき当該文字の筆順を示す動画像を生成する動画像生成手段と、前記動画像生成手段により生成される動画像に基づき、前記文字抽出手段による抽出順に従って一文字ずつ筆順を表示させるための文字列動画像を生成する文字列動画像生成手段と、記文書データに基づく文書表示画面を所定の表示手段に表示させると共に、前記文書表示画面において表示される複数の文字列のうちから少なくとも１つの文字列が選択され、文字列動画像の再生が指示されることに伴い、前記表示手段にポップアップ画面を表示し、前記ポップアップ画面内において前記選択された文字列に対応する文字列動画像を表示することにより、前記選択された文字列に含まれる文字の筆順を一文字ずつ前記表示手段に表示させる表示制御手段と、前記入力手段により入力される情報に基づいて前記筆順情報において定義されている筆順を更新する更新手段と、を備えることを特徴とする構成である。
In order to achieve the above object, the invention according to
請求項２に係る発明は、請求項１に記載の画像処理装置において、前記表示制御手段は、前記文書表示画面を表示しているときに前記ポップアップ画面を表示するとき、文字列動画像の表示対象として前記選択された文字列を前記文書表示画面において明示することを特徴とする構成である。 According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, when the display control means displays the pop-up screen when the document display screen is displayed, a character string moving image is displayed. The selected character string as an object is clearly indicated on the document display screen .
請求項３に係る発明は、請求項１又は２に記載の画像処理装置において、前記文字列抽出手段により抽出された文字列を解析することにより前記文字列の所定の位置に区切りを設ける区切り設定手段、をさらに備え、前記表示制御手段は、前記文字列動画像に基づいて筆順を一文字ずつ表示しているとき、前記区切り設定手段によって設定された区切り位置で再生動作を一時停止させることを特徴とする構成である。 According to a third aspect of the present invention, in the image processing apparatus according to the first or second aspect, a delimiter setting is provided in which a delimiter is provided at a predetermined position of the character string by analyzing the character string extracted by the character string extracting unit The display control means pauses the reproduction operation at the delimiter position set by the delimiter setting means when displaying the stroke order one character at a time based on the character string moving image. The configuration is as follows.
請求項４に係る発明は、請求項１乃至３のいずれかに記載の画像処理装置において、前記文字列動画像の再生に関する再生情報を取得する再生情報取得手段、をさらに備え、前記表示制御手段は、前記再生情報に基づいて筆順を一文字ずつ前記表示手段に表示させることを特徴とする構成である。
The invention according to
請求項５に係る発明は、請求項４に記載の画像処理装置において、前記再生情報には、文字種類ごとに再生速度が設定されており、前記表示制御手段は、前記文字列動画像に基づいて前記文字列に含まれる文字の筆順を一文字ずつ前記表示手段に表示させるとき、前記再生情報に設定された文字種類ごとの再生速度に基づいて再生速度を調整することを特徴とする構成である。 According to a fifth aspect of the present invention, in the image processing apparatus according to the fourth aspect, a reproduction speed is set for each character type in the reproduction information, and the display control means is based on the character string moving image. When the display unit displays the stroke order of the characters included in the character string one character at a time, the reproduction speed is adjusted based on the reproduction speed for each character type set in the reproduction information. .
請求項６に係る発明は、請求項４又は５に記載の画像処理装置において、ユーザーが操作入力可能な入力手段と、前記入力手段により入力される情報に基づいて前記再生情報を更新する更新手段と、をさらに備えることを特徴とする構成である。
The invention according to
請求項７に係る発明は、プログラムであって、文字の筆順を定義した筆順情報を記憶する記憶手段と、ユーザーが操作入力可能な入力手段と、を備えるコンピュータを、ユーザーによって指定された文書データを取得し、該文書データの文字領域に含まれる文字列を抽出する文字列抽出手段、前記文字列に含まれる文字を先頭から順に抽出する文字抽出手段、前記文字抽出手段により抽出された文字に対応する筆順情報を前記記憶手段から読み出し、該筆順情報に基づき当該文字の筆順を示す動画像を生成する動画像生成手段、前記動画像生成手段により生成される動画像に基づき、前記文字抽出手段による抽出順に従って一文字ずつ筆順を表示させるための文字列動画像を生成する文字列動画像生成手段、前記文書データに基づく文書表示画面を所定の表示手段に表示させると共に、前記文書表示画面において表示される複数の文字列のうちから少なくとも１つの文字列が選択され、文字列動画像の再生が指示されることに伴い、前記表示手段にポップアップ画面を表示し、前記ポップアップ画面内において前記選択された文字列に対応する文字列動画像を表示することにより、前記選択された文字列に含まれる文字の筆順を一文字ずつ前記表示手段に表示させる表示制御手段、及び、前記入力手段により入力される情報に基づいて前記筆順情報において定義されている筆順を更新する更新手段、として機能させることを特徴とする構成である。
The invention according to
請求項８に係る発明は、請求項７に記載のプログラムにおいて、前記表示制御手段は、前記文書表示画面を表示しているときに前記ポップアップ画面を表示するとき、文字列動画像の表示対象として前記選択された文字列を前記文書表示画面において明示することを特徴とする構成である。 According to an eighth aspect of the present invention, in the program according to the seventh aspect , when the display control means displays the pop-up screen while displaying the document display screen, The selected character string is clearly displayed on the document display screen.
請求項９に係る発明は、請求項７又は８に記載のプログラムにおいて、前記文字列抽出手段により抽出された文字列を解析することにより前記文字列の所定の位置に区切りを設ける区切り設定手段、としてさらに機能させ、前記表示制御手段は、前記文字列動画像に基づいて筆順を一文字ずつ表示しているとき、前記区切り設定手段によって設定された区切り位置で再生動作を一時停止させることを特徴とする構成である。
The invention according to
請求項１０に係る発明は、請求項７乃至９のいずれかに記載のプログラムにおいて、前記文字列動画像の再生に関する再生情報を取得する再生情報取得手段、としてさらに機能させ、前記表示制御手段は、前記再生情報に基づいて筆順を一文字ずつ前記表示手段に表示させることを特徴とする構成である。 According to a tenth aspect of the present invention, in the program according to any one of the seventh to ninth aspects, the display control means further functions as reproduction information acquisition means for acquiring reproduction information relating to reproduction of the character string moving image. The stroke order is displayed on the display means character by character based on the reproduction information.
請求項１１に係る発明は、請求項１０に記載のプログラムにおいて、前記再生情報には、文字種類ごとに再生速度が設定されており、前記表示制御手段は、前記文字列動画像に基づいて前記文字列に含まれる文字の筆順を一文字ずつ前記表示手段に表示させるとき、前記再生情報に設定された文字種類ごとの再生速度に基づいて再生速度を調整することを特徴とする構成である。 According to an eleventh aspect of the present invention, in the program according to the tenth aspect , a reproduction speed is set for each character type in the reproduction information, and the display control unit is configured to perform the display based on the character string moving image. When displaying the stroke order of the characters included in the character string one by one on the display means, the reproduction speed is adjusted based on the reproduction speed for each character type set in the reproduction information.
請求項１２に係る発明は、請求項１０又は１１に記載のプログラムにおいて、所定の入力手段により入力される情報に基づいて前記再生情報を更新する更新手段、としてさらに機能させることを特徴とする構成である。
The invention according to claim 12 is characterized in that in the program according to
本発明によれば、文書に含まれる文字列の先頭から順に一文字ずつ筆順を表示させるための文字列動画像が生成される。そのため、文字列動画像を表示すれば、失読症などのユーザーが会議資料などに記載された文章を容易に理解することができるようになる。 According to the present invention, a character string moving image for displaying a stroke order one character at a time from the top of a character string included in a document is generated. Therefore, if a character string moving image is displayed, a user such as dyslexia can easily understand a sentence described in a conference material or the like.
以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態において互いに共通する部材には同一符号を付しており、それらについての重複する説明は省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In addition, in embodiment described below, the same code | symbol is attached | subjected to the mutually common member, and the overlapping description about them is abbreviate | omitted.
（第１実施形態）
図１は、本発明の一実施形態に関する画像処理装置１の機能構成の一例を示すブロック図である。画像処理装置１は、例えば一般的なパーソナルコンピュータ（ＰＣ）やタブレット端末などによって構成される。この画像処理装置１は、ＣＰＵ２と記憶部３と表示部４と操作部５とを備えている。ＣＰＵ２は、画像処理装置１に予めインストールされた各種プログラムを実行するものである。記憶部３は、例えばハードディスクドライブなどによって構成される不揮発性の記憶手段であり、各種プログラムや情報などを記憶する。表示部４は、カラー液晶ディスプレイなどによって構成される表示手段である。操作部５は、例えばキーボードやマウス、キーパッド、タッチパッドなどによって構成され、ユーザーが操作入力可能な入力手段である。この画像処理装置１は、記憶部３に予めインストールされているプログラム２０を実行することにより、文書データに含まれる文字列を抽出し、更にその文字列を構成する文字を一文字ずつ抽出して各文字の筆順を示す動画像を文字列の先頭から順に表示することができるように構成される。また記憶部３には、プログラム２０のインストールに伴い、辞書情報２１、筆順情報２２及び再生情報２３が予め記憶される。これらの情報２１，２２，２３は、ＣＰＵ２においてプログラム２０が起動することに伴い、ＣＰＵ２によって参照される情報である。
(First embodiment)
FIG. 1 is a block diagram illustrating an example of a functional configuration of an
ＣＰＵ２は、プログラム２０を実行することにより、文字列抽出部１１、文字抽出部１２、動画像生成部１３、文字列動画像生成部１４、表示制御部１５、区切り設定部１６及び更新部１７として機能する。このプログラム２０は、画像処理装置１において実行されることにより、文字列に含まれる個々の文字の筆順を示す動画像を一連の文字列の順番に従って順次表示させる文字列動画像を生成させるプログラムである。このプログラム２０は、単独で機能するプログラムであってもよいし、他のドキュメント編集機能や表示機能を有するプログラムに組み込まれて動画像を生成する機能を追加するアドインソフトであってもよい。
By executing the
辞書情報２１は、文法に基づく品詞情報を含むものであり、例えば名詞、形容詞、動詞、副詞、接続詞、助詞、助動詞などの品詞ごとに単語が登録された情報である。さらに、辞書情報２１は、品詞情報に加えて単語の意味などの情報を含んでいてもよい。
The
筆順情報２２は、文字ごとの筆順が登録された情報である。この筆順情報２２には、漢字やひらがな、カタカナ、アルファベットなど、多数の文字について第一画から最終画までの各字画の始点、軌跡、終点が登録されている。初期設定における筆順情報２２は、各文字について正確な筆順が予め登録されている。ただし、ユーザーが操作部５を介して文字を指定して筆順を入力したときには、その指定された文字の筆順をユーザーによって入力された筆順に更新することが可能である。
The
再生情報２３は、文書データに含まれる文字列に基づいて生成された文字列動画像を再生して表示する際に参照される情報である。図２は、この再生情報２３の一例を示す図である。例えば図２（ａ）に示す再生情報２３は、再生速度情報２３ａ、カラー情報２３ｂ、サイズ情報２３ｃ等により構成される。再生速度情報２３ａは、文字列動画像の再生速度を定義した情報であり、初期状態においては標準的な再生速度が予め設定されている。カラー情報２３ｂは、文字列動画像の再生時に表示する色を定義した情報であり、初期状態においては例えば黒が設定されている。サイズ情報２３ｃは、文字列動画像を再生する際に表示部４に表示する表示領域のサイズを定義した情報であり、初期状態においては標準的なサイズが予め設定されている。これら再生速度情報２３ａ、カラー情報２３ｂ及びサイズ情報２３ｃは、いずれもユーザーが操作部５を介して適宜変更することが可能である。図２（ｂ）は、図２（ａ）とは異なる再生情報２３の例を示している。図２（ｂ）に示す再生情報２３は、再生速度情報２３ａが、漢字やひらがな、アルファベットなどの文字種類ごとに登録されている。したがって、この再生情報２３では、文字種類ごとに異なる再生速度を設定することが可能である。また文字列動画像を再生して表示する際には、文字列に含まれる句読点の位置など所定の区切り位置において文字列動画像の再生を一時的に停止させることが可能である。図２（ｂ）に示す再生情報２３は、そのような区切り位置での一時停止機能のオンオフが設定可能となっており、区切り設定情報２３ｄに予めオンオフが登録される。
The
なお、本実施形態では、辞書情報２１、筆順情報２２及び再生情報２３が画像処理装置１に設けられた記憶部３に記憶される場合を例示するが、本発明はこれに限られるものではなく、これらの情報２１，２２，２３は画像処理装置１の外部のサーバーに記憶されていてもよく、或いはその他の記憶媒体に記憶されていてもよい。
In this embodiment, the case where the
ＣＰＵ２は、ユーザーによるプログラム２０の起動指示を検知すると、記憶部３からプログラム２０を読み出して実行し、上述したように文字列抽出部１１、文字抽出部１２、動画像生成部１３、文字列動画像生成部１４、表示制御部１５、区切り設定部１６及び更新部１７として機能する。
When the
文字列抽出部１１は、ユーザーによって指定された文書データを取得し、その文書データから文字列を抽出して当該文字列を構成する文字を識別し、また、文字列の属性情報を取得して当該文字列の順番、すなわち文字列を読む順番を識別する処理部である。処理対象となる文書データは、テキストデータを含むものであってもよいし、テキストデータを含まず画像データのみからなるものであってもよい。例えば、ドキュメント編集機能を有するプログラムによって生成された文書データであれば、その文書データにテキストデータが含まれるため、文字列抽出部１１は、文書データに含まれるテキストデータに基づいて文字列を抽出する。また文書データがスキャン機能などによって読み込まれたものであれば、文書データはテキストデータを含まない画像データとなる。この場合、文字列抽出部１１は、ＯＣＲ（optical character recognition）などの文字認識処理を行うことにより、画像データからテキストデータを検出する。文字列抽出部１１は、文書データから一連のテキストデータを検出すると、それを文字列として抽出し、その文字列を構成する個々の文字を識別する。また文字列抽出部１１は文字列の属性情報を取得することにより、例えば文字列が縦書きであるのか横書きであるのか等を識別し、文字列の先頭文字と、各文字の順番を把握する。例えば文書データにテキストデータが含まれる場合、文字列抽出部１１は、そのテキストデータの属性情報に基づいて文字列の先頭文字を特定する。また文書データがテキストデータを含まない画像データであった場合、文字列抽出部１１は、文字認識処理によって検出される文字領域の分布状態に基づき属性情報を生成し、その属性情報に基づいて文字列の先頭文字を特定する。したがって、文字列抽出部１１の処理によって、文書データに含まれる一連の文字列が抽出されると共に、その文字列の先頭文字や文字の配列順序が特定され、更に文字列に含まれる各文字がコード化される。文字列抽出部１１は、文書データから文字列を抽出すると、その文字列を文字抽出部１２及び区切り設定部１６に対して出力する。
The character
区切り設定部１６は、文字列抽出部１１によって抽出された文字列を解析し、文字列中の区切り位置を検出する処理部である。区切り設定部１６は、例えば文字列中に句読点が含まれる場合、その句読点の位置に区切りを設定する。ただし、これに限らず、区切り設定部１６は、辞書情報２１を参照して文字列を解析し、文字列に含まれる主語の直後の位置などを区切りとして検出し、その検出位置に区切りを設定するようにしても良い。区切り設定部１６によって区切りが設定されると、文字列抽出部１１によって抽出された文字列に区切り情報が付加される。この区切り情報は、文字列中のどの文字に区切りがあるかを示す情報である。
The
また区切り設定部１６は、文字列を解析し、文字列に含まれる個々の文字の文字種類を判別し、文字列に対して個々の文字の文字種類を示す文字種類情報を付加する。ただし、文字列に含まれる全ての文字に対して文字種類情報を付加する必要はなく、例えば文字列の順に文字種類が変化する位置に次の文字の文字種類を示す文字種類情報を付加するようにしても良い。このように区切り設定部１６は、文字種類判別手段としても機能する。そして区切り設定部１６は、区切り情報及び文字種類情報を付加した文字列情報を文字列動画像生成部１４に出力する。尚、文字種類判別手段は、区切り設定部１６とは別に機能するものであってもよい。
The
一方、文字抽出部１２は、文字列抽出部１１により抽出された文字列を取得すると、その文字列を構成する文字を先頭から順に一文字ずつ抽出する。例えば、図３（ａ）に示すように抽出された文字列Ｃ１を、文字列の順番に従い、先頭から一文字ずつ抽出する。このとき、図３（ｂ）に示すように文字列から順に抽出した個々の文字Ｃ１ａ〜Ｃ１ｋに対して、抽出順番を示す番号を付加してもよい。
On the other hand, when the character extraction unit 12 acquires the character string extracted by the character
動画像生成部１３は、文字抽出部１２により一文字ずつ抽出される文字の筆順を示す動画像を生成する処理部である。文字抽出部１２により文字列を構成する文字が一文字抽出されると、動画像生成部１３は、筆順情報２２を読み出してその文字に対応する筆順を抽出し、その筆順に基づいて当該文字の筆順を示す動画像を生成する。例えば、動画像生成部１３は、筆順情報２２に登録されている一画目の始点位置を特定し、その始点位置から登録されている軌跡に沿って終点位置までを描画する動画を生成する。一画目の描画が終了すると、二画目以降についても同様の処理を行うことにより、最終画までの描画を行う動画を生成する。そして最後には動画像生成対象となった文字の描画が完了し、当該文字の全体像が表示される動画像が生成される。ただし、動画像の生成態様には幾つかの態様があり、白紙状態の描画領域に対して一画ずつ追加描画していくことにより上記のように最終的に文字の全体像が表示される態様の動画像を生成しても良いし、また一画の描画が終了する度にその描画線を消去してから次の描画線を白紙状態の描画領域に描いていく態様の動画像を生成しても良い。前者の態様の場合には、現在描画中の線画を既に描画が終了した線画とは異なる表示態様（例えば太線表示やハイライト表示）とし、筆順をよりわかりやすくした動画像を生成してもよい。
The moving
また動画像生成部１３は、文字抽出部１２により抽出された文字の筆順を示す動画像を生成する際、予め指定されたフォント（書体）で一画ずつ描画を行っていく動画像を生成する。例えば、上述した筆順情報２２には、１つの文字について複数のフォントの筆順（一画ごとの始点、軌跡、終点など）が登録されており、動画像生成部１３は、動画像生成対象文字の筆順を筆順情報２２から抽出するとき、複数のフォントの中から予め指定されたフォントの筆順を抽出し、そのフォントの筆順に基づいて動画像を生成する。ユーザーは、複数のフォントのうちから動画像生成時に用いるフォントを予め指定しておくことにより、自身にとって理解し易いフォントで動画像が生成されるようにカスタマイズしておくことができる。
Further, when generating a moving image indicating the stroke order of the characters extracted by the character extracting unit 12, the moving
動画像生成部１３は、上記のような動作を文字抽出部１２によって文字が１つ抽出される度に繰り返し行うことにより、文字列に含まれる１つ１つの文字について筆順を示す動画像を生成する。
The moving
文字列動画像生成部１４は、動画像生成部１３により生成される１つ１つの文字の動画像に基づき、文字抽出部１２による文字の抽出順序に従って一文字ずつ筆順を表示させるための文字列動画像を生成する処理部である。この文字列動画像生成部１４は、文字列に含まれる１つ１つの動画像を文字列の順番に従って組み合わせることにより、その文字列に含まれる全ての文字の筆順を先頭文字から順に一文字ずつ表示させることが可能な一連の動画像として文字列動画像を生成する。このとき、文字列動画像生成部１４は、区切り設定部１６から出力される文字列情報に付加された区切り情報に基づき、一連の動画像として生成される文字列動画像に対して区切り情報を付加する。このような区切り情報は、例えば区切り設定部１６によって区切りが設定された文字に対応する筆順を示す動画像の最後のフレームに付加される。これにより、例えば文字列に句読点が含まれていれば、文字列動画像においてその句読点の動画像の最終フレームの位置に区切り情報を付加することができる。また文字列動画像生成部１４は、区切り設定部１６から出力される文字列情報に付加された文字種類情報に基づき、一連の動画像として生成される文字列動画像に対して文字種類情報を付加する。このような文字種類情報は、例えば区切り設定部１６によってそれ以前とは文字種類が異なる文字に対応する筆順を示す動画像の最初のフレームに付加される。これにより、例えば文字列に漢字が含まれていれば、その漢字の筆順を示す動画像の表示開始タイミングを特定することができるようになる。
The character string moving
このように文字列動画像生成部１４は、文字列抽出部１１によって抽出される文字列ごとに文字列動画像を生成する。そのため、文字列抽出部１１によって文書データから複数の文字列が抽出された場合、文字列動画像生成部１４は、それら複数の文字列のそれぞれにつき、一連の文字列動画像を生成する。そのような場合、文字列動画像生成部１４によって生成される複数の文字列動画像が文書データに含まれるどの部分の文字列に対応する動画像であるかを特定できるようにしておくことが好ましい。そのため、文字列動画像生成部１４は、文字列動画像を生成すると、その文字列動画像が文書データのどの部分の文字列に対応するものであるかを示す付属情報を生成し、その付属情報を文字列動画像に付加しておくことが好ましい。そして文字列動画像生成部１４は、文字列動画像を生成すると、その文字列動画像を元の文書データと関連付けて記憶部３に保存する。
As described above, the character string moving
尚、会議資料の場合には、上述した文字列抽出部１１、区切り設定部１６、文字抽出部１２、動画像生成部１３及び文字列動画像生成部１４を会議の前に機能させて会議資料に含まれる文字列の文字列動画像を予め生成しておくことにより、会議開始時には、予め生成した文字列動画像を読み出して速やかに動画再生を行うことができるため、効率的である。
In the case of meeting materials, the above-described character
次に表示制御部１５は、ユーザーによる文字列動画像の再生指示に基づき、ユーザーによって指定された文字列の文字列動画像を読み出して再生し、文字列に含まれる文字の筆順を文字列の先頭から順に一文字ずつ表示部４に表示させる処理部である。このとき、表示制御部１５は、再生情報２３を読み出し、その再生情報２３に基づいて文字列動画像を表示するときの再生速度、表示色、表示サイズなどを設定し、文字列に含まれる文字の筆順を一文字ずつ表示する。これにより、文字列の先頭から順に一文字ずつ筆順が動画像にて表示されるため、例えば失読症のユーザーに対し、文字列を構成する各文字を先頭から順に一文字ずつ読ませることができる。それ故、会議中等においても、失読症のユーザーは、他のユーザーによる口頭での発表や説明の内容と共に、資料に記載された内容も理解することが可能となる。
Next, the
例えば再生情報２３において図２（ｂ）に示すように文字種類ごとに再生速度が設定されている場合、表示制御部１５は、文字列動画像に付加されている文字種類情報に基づき、文字種類ごとに再生速度を変更しながら筆順を示す動画像を表示する。したがって、ユーザーは、文字種類ごとに予め自身が理解しやすい再生速度を再生情報２３に登録しておくことにより、会議中は資料に記載された内容をスムーズに理解することができるようになる。
For example, in the
また再生情報２３における区切り設定情報２３ｄがオンに設定されている場合、表示制御部１５は、文字列動画像に付加されている区切り情報に基づき、文字列動画像の再生を一時停止させる。例えば文字列動画像の再生中に表示部４に出力したフレームに区切り情報が付加されていれば、表示制御部１５は、そのタイミングで文字列動画像の再生を自動的に一時停止させ、その後所定時間が経過することにより、次のフレームからの再生を再開する。これにより、文字列動画像を見る者が、文字列に区切りがあることを認識することができるため、区切りごとに意味を理解することが可能となる。尚、一時停止させる際の停止時間をユーザーが適宜調整できるようにしても良い。
When the
一方、更新部１７は、筆順情報２２や再生情報２３をユーザーによって入力される情報に基づいて更新する処理部である。例えば、表示制御部１５が文字列動画像を表示しているとき、ユーザーによって理解不能であることを示す入力操作が行われると、表示制御部１５は、その入力操作に基づいて更新フラグをセットすると共に、現在筆順を表示中である文字を特定しておく。更新部１７は、表示制御部１５による文字列動画像の表示終了後に更新フラグがセットされていれば機能し、ユーザーによる更新操作を受け付けて筆順情報２２や再生情報２３を更新する処理を行う。特に筆順情報２２を更新するときには、表示制御部１５によって文字列動画像の再生中に特定された文字の筆順をユーザーによって入力される筆順に変更し、筆順情報２２を更新する。すなわち、更新部１７は、表示部４に対して筆順情報２２や再生情報２３を更新するための更新画面を表示し、ユーザーが操作部５に対して入力する情報に基づき、筆順情報２２や再生情報２３を更新する。
On the other hand, the
例えば文字列動画像の再生速度が速すぎて文字を理解することができなかった場合、ユーザーは、再生情報２３に登録されている再生速度情報２３ａを変更して再生速度を遅くすることができる。このとき、ユーザーは、文字種類ごとに再生速度を変更することができる。また文字を理解することはできたが、再生速度が遅すぎて会議の進行についていけないようなときには、再生速度を速くすることもできる。また文字列動画像によって筆順が表示されるときの色が判りにくかった場合、ユーザーは、再生情報２３に登録されているカラー情報２３ｂを変更して別の色で再生表示が行われるように設定変更することができる。さらに文字列動画像の表示サイズが小さすぎて文字を理解することができなかった場合、ユーザーは、再生情報２３に登録されているサイズ情報２３ｃを変更して表示サイズを大きくすることができる。更新部１７は、上記のようなユーザーの変更操作に基づいて再生情報２３を更新することにより、ユーザーにとって文字が理解し易くなる態様で文字列動画像の再生が行われるように再生情報２３をカスタマイズする。これにより、ユーザーは文字列動画像を理解し易い態様で再生させることが可能となり、文字列の内容をより確実に理解することが可能となる。
For example, when the reproduction speed of the character string moving image is too fast to understand the character, the user can change the
またユーザーにとっては、文字列動画像の再生速度や表示色、表示サイズが原因で文字を理解しにくいのではなく、表示される筆順そのものが理解できずに文字を認識することができないケースもある。例えば失読症のユーザーがある文字の筆順を誤って記憶している場合、文字列動画像として表示される正しい筆順ではその文字を認識することができない。このような場合、ユーザーは、操作部５を操作することにより、筆順情報２２に登録されている筆順を自身が記憶している筆順に変更することができる。すなわち、更新部１７は、特定の文字についてユーザーによる筆順入力が行われた場合、筆順情報２２に登録されている特定の文字の筆順をユーザーによって入力された筆順に変更し、筆順情報２２を更新する。筆順情報２２が更新されると、動画像生成部１３は更新された筆順情報２２に基づいて筆順を示す動画像を生成するため、ユーザーは自身の記憶する筆順により文字列動画像を表示させることが可能となり、文字列の内容をより確実に理解することが可能となる。
In addition, it is not easy for users to understand characters due to the playback speed, display color, and display size of character string moving images, and there are cases in which characters cannot be recognized without understanding the displayed stroke order itself. . For example, when a user with dyslexia incorrectly stores the stroke order of a character, the character cannot be recognized with the correct stroke order displayed as a character string moving image. In such a case, the user can change the stroke order registered in the
次に表示制御部１５によって表示部４に表示される画面例について説明する。図４は、表示部４に表示される画面構成の一例を示す図である。図４（ａ）は、文字列動画像が生成される前の文書を表示部４に表示した第１の文書表示画面Ｄ１を示している。第１の文書表示画面Ｄ１は、例えば文書データをそのまま表示部４に表示したものである。図４（ａ）の例に示す文書には、文字列領域Ｒ１乃至Ｒ７と、図形領域Ｒ８とを有する。この状態でユーザーがプログラム２０の実行を指示し、表示部４に表示されている文書データを処理対象として上述した文字列抽出部１１、文字抽出部１２、動画像生成部１３及び文字列動画像生成部１４が機能すると、文字列領域Ｒ１乃至Ｒ７のそれぞれから文字列が抽出され、各文字列から文字列動画像が生成される。そして文字列領域Ｒ１乃至Ｒ７のそれぞれに対応する文字列動画像が、表示部４に表示されている文書データに関連付けて保存される。上述したように文書データに関連付けられる文字列動画像には付属情報が付加されており、その付属情報によって個々の文字列動画像が文字列領域Ｒ１乃至Ｒ７のいずれに対応するかを特定することが可能である。
Next, an example of a screen displayed on the
文書データに文字列動画像が関連付けて保存されると、表示制御部１５は、表示部４の表示画面を、図４（ａ）に示す第１の文書表示画面Ｄ１から図４（ｂ）に示す第２の文書表示画面Ｄ２に更新する。この第２の文書表示画面Ｄ２では、文字列領域Ｒ１乃至Ｒ７の近傍位置に、それぞれに対応する文字列動画像の再生を開始するためのボタンＢ１乃至Ｂ７が表示される。文字列領域Ｒ１乃至Ｒ７のそれぞれの近傍位置に再生用のボタンＢ１乃至Ｂ７が表示されることにより、ユーザーは、文字列動画像の生成が完了したことを把握することができる。そしてユーザーによってボタンＢ１乃至Ｂ７のいずれかが操作されると、表示制御部１５は、その操作されたボタンの文字列領域に対応する文字列動画像を読み出し、その読み出した文字列動画像の再生表示を開始する。このとき、表示制御部１５は、例えば文字列動画像を表示するためのポップアップ画面を表示させ、そのポップアップ画面に文字列動画像を表示する。このポップアップ画面の表示サイズは、再生情報２３に予め登録された表示サイズである。ただし、文字列動画像の表示態様は、ポップアップ画面によるものでなくても良く、他の表示態様で文字列動画像を表示しても良い。例えば、ユーザーによって文字列領域Ｒ２に対応するボタンＢ２が操作されると、表示制御部１５は、文字列領域Ｒ２に含まれる文字列「午前」に対応する文字列動画像を読み出して再生することにより、はじめに「午」の文字の筆順を示す動画像を表示し、次に「前」の文字の筆順を示す動画像を表示する。
When the character string moving image is stored in association with the document data, the
図５は、筆順を示す動画像の表示態様の一例を示す図であり、「午」の文字の筆順を表示する場合を例示している。表示制御部１５が文字列動画像を再生して表示することにより、表示部４には図５（ａ）、（ｂ）、（ｃ）、（ｄ）の順で「午」の文字に対応する筆順が表示される。すなわち、表示部４には、第１画Ｌ１、第２画Ｌ２、第３画Ｌ３、第４画Ｌ４の順で筆順が表示される。なお、筆順をよりユーザーが理解し易くするため、第１画Ｌ１乃至第４画Ｌ４のそれぞれに対して筆の移動方向を示す矢印ｆ１乃至ｆ４の画像を表示してもよい。ただし、このような矢印ｆ１乃至ｆ４の画像を表示するためには、文字列動画像に矢印ｆ１乃至ｆ４の画像が含まれている必要があるため、動画像生成部１３が文字ごとの動画像を生成するときに予め矢印ｆ１乃至ｆ４を含む動画像を予め生成しておくことが必要となる。図５に示すような筆順が表示部４に表示されることにより、ユーザーは、「午」の文字の筆順を認識することによって「午」の文字そのものを理解することができるようになる。
FIG. 5 is a diagram illustrating an example of a moving image display mode indicating the stroke order, and illustrates a case where the stroke order of the characters “noon” is displayed. When the
図６は、文字列動画像を表示するポップアップ画面の表示例を示す図である。まず図６（ａ）は、第１の表示例を示しており、例えば文字列領域Ｒ２の文字列に対応する文字列動画像を表示する際にはその文字列領域Ｒ２をポップアップ画面が隠してしまわないように、文字列領域Ｒ２とは異なる位置に文字列動画像表示領域Ｒ１０を設定し、その文字列動画像表示領域Ｒ１０にポップアップ画面を表示して文字列動画像を表示する。このとき、表示制御部１５は、文字列動画像表示領域Ｒ１０のポップアップ画面に表示される文字列動画像が文字列領域Ｒ２に含まれる文字列に対応するものであることを示す表示態様で表示する。図６（ａ）の例においては、文字列動画像表示領域Ｒ１０のポップアップ画面を、文字列領域Ｒ２を起点とする吹き出し状の表示態様で表示することにより、文字列動画像表示領域Ｒ１０のポップアップ画面に表示される文字列動画像が文字列領域Ｒ２の文字列に対応することを示している。
FIG. 6 is a diagram illustrating a display example of a pop-up screen that displays a character string moving image. First, FIG. 6A shows a first display example. For example, when displaying a character string moving image corresponding to a character string in the character string region R2, the pop-up screen hides the character string region R2. In order not to stutter, the character string moving image display region R10 is set at a position different from the character string region R2, and a pop-up screen is displayed in the character string moving image display region R10 to display the character string moving image. At this time, the
次に図６（ｂ）は第２の表示例を示している。この第２の表示例では、上記第１の表示例と同様、ポップアップ画面を表示する文字列動画像表示領域Ｒ１３が文字列領域Ｒ２を隠してしまわないように文字列領域Ｒ２とは異なる位置に表示する。ただし、第１の表示例とは異なり、文字列領域Ｒ２を起点とする吹き出し状の表示態様で文字列動画像表示領域Ｒ１３が表示されるのではなく、独立した態様で文字列動画像表示領域Ｒ１３が表示される。このような表示例においても、文字列動画像表示領域Ｒ１０のポップアップ画面において表示される文字列動画像がどの文字列領域の文字列に対応するものであるかを容易に識別できるようにすることが望まれる。そのため、第２の表示例による表示を行うとき、表示制御部１５は、例えば文字列領域Ｒ２の周囲を太線で表示したり、或いは、文字列領域Ｒ２をハイライト表示したりすることで他の領域とは異なる強調表示を行い、文字列動画像表示領域Ｒ１３のポップアップ画面に表示される文字列動画像が文字列領域Ｒ２に含まれる文字列に対応するものであることを示す。
Next, FIG. 6B shows a second display example. In the second display example, as in the first display example, the character string moving image display area R13 displaying the pop-up screen is located at a position different from the character string area R2 so as not to hide the character string area R2. indicate. However, unlike the first display example, the character string moving image display region R13 is not displayed in a balloon-like display mode starting from the character string region R2, but in an independent manner. R13 is displayed. Even in such a display example, the character string moving image displayed on the pop-up screen of the character string moving image display region R10 can be easily identified to which character string region the character string corresponds. Is desired. Therefore, when performing display according to the second display example, the
このように文字列動画像を表示するポップアップ画面を表示するときには、そのポップアップ画面内で表示される文字列動画像が、文書中のどの文字列に対応するものであるかを明示することにより、ユーザーは、ポップアップ画面内で表示される文字列動画像が文書中のどの文字列に対応するものであるかを容易に把握することができるようになる。 When displaying a pop-up screen that displays a character string moving image in this way, by clearly indicating which character string in the document corresponds to the character string moving image displayed in the pop-up screen, The user can easily grasp which character string in the document the character string moving image displayed in the pop-up screen corresponds to.
次に更新部１７が機能することによって表示部４に表示される更新画面について説明する。図７は、再生情報２３を更新する再生情報更新画面Ｇ１０の一例を示す図である。再生情報更新画面Ｇ１０は、再生情報２３のうち再生速度を調整する再生速度調整領域Ｒ２０と、表示サイズを調整するサイズ調整領域Ｒ２１と、区切りの設定をＯＮ又はＯＦＦに設定する区切り設定領域Ｒ２２と、確定ボタンＢ２０と、再生情報更新処理終了ボタン（キャンセルボタン）Ｂ２１と、筆順情報更新画面切り替えボタンＢ２２とを備える構成である。再生速度調整領域Ｒ２０は、再生速度調整ボタンＢ２３と、音声案内再生ボタンＢ２４とを備える。ユーザーは再生速度調整ボタンＢ２３を操作することにより再生速度を所望の速度に調整可能である。またユーザーは音声案内再生ボタンＢ２４を操作することにより、再生速度調整ボタンＢ２３に対する操作で再生速度を調整可能であることを報知する音声が出力される。尚、再生速度の調整は、文字種類ごとに行えるようにすることが好ましい。サイズ調整領域Ｒ２１は、サイズ調整ボタンＢ２５と、音声案内再生ボタンＢ２６とを備える。ユーザーはサイズ調整ボタンＢ２５を操作することにより、文字列動画像が表示されるポップアップ画面のサイズを所望のサイズに調整可能である。またユーザーによって音声案内再生ボタンＢ２６が操作されると、サイズ調整ボタンＢ２５に対する操作でポップアップ画面のサイズを調整可能であることを報知する音声が出力される。区切り設定領域Ｒ２２は、区切り設定ボタンＢ２７と、音声案内再生ボタンＢ２８とを備える。ユーザーが区切り設定ボタンＢ２７を操作して区切り設定をオンに操作すると、文字列動画像が再生される際、所定の区切り位置において文字列動画像の再生が一時停止し、所定時間経過後に一時停止位置から再生が再開されるように設定される。またユーザーが区切り設定ボタンＢ２７を操作して区切り設定をオフに操作すると、文字列動画像の再生中は、自動的に文字列動画像の一時停止が行われないように設定される。またユーザーが音声案内再生ボタンＢ２８を操作すると、区切りをオンにすることにより文字列動画像を再生する際に所定の位置において時間間隔が挿入されることを報知する音声が出力される。またこの他にも、例えば文字列動画像を表示するときの表示色などを設定できるようにすることが好ましい。
Next, an update screen displayed on the
再生情報更新画面Ｇ１０において、ユーザーは上記の例のように再生速度、表示サイズ、区切り設定などを調整して確定ボタンＢ２０を操作すると、更新部１７は、現在の設定値から設定変更された設定値を再生情報２３に上書きして再生情報２３を更新する。ユーザーが再生情報更新処理終了ボタンＢ２１を操作すると、更新部１７は再生情報更新画面Ｇ１０の表示を消去して更新処理を終了する。また、ユーザーによって筆順情報更新画面切り替えボタンＢ２２が操作されると、更新部１７は再生情報更新画面Ｇ１０を消去し、表示部４に表示する画面を、筆順情報更新画面Ｇ１５に更新する。
In the reproduction information update screen G10, when the user operates the confirm button B20 by adjusting the reproduction speed, display size, separation setting, and the like as in the above example, the
図８は筆順情報更新画面Ｇ１５の一例を示す図である。更新部１７は、この筆順情報更新画面Ｇ１５に対するユーザーの操作に基づき、筆順情報２２を更新する。上述したように、初期状態の筆順情報２２には各文字の正確な筆順が記憶されている。その正確な筆順を、更新部１７はユーザーによって入力される筆順に書き換えて筆順情報を更新する。ところで、上述したように表示制御部１５による文字列動画像の再生表示中にユーザーが理解できないと指定した文字は、表示制御部１５によって既に特定されている。更新部１７は、ユーザーによる操作に基づいて筆順情報更新画面Ｇ１５を表示するとき、表示制御部１５によって特定された文字の情報を取得し、その文字の筆順を手動操作で更新するための筆順情報更新画面Ｇ１５を生成して表示する。
FIG. 8 is a diagram illustrating an example of the stroke order information update screen G15. The
例えば図８に示す筆順情報更新画面Ｇ１５は、筆順入力指示領域Ｒ３０と、筆順入力領域Ｒ３１と確定ボタンＢ４０とを備える構成である。筆順入力指示領域Ｒ３０は、ユーザーが理解し難いと指定した文字の筆順を手動操作で入力することをユーザーに指示案内するための領域である。筆順入力領域Ｒ３１に表示される文言は、例えばユーザーが理解し難いと指定した文字に関する情報を例えば辞書情報２１から抽出することにより自動生成される。図８（ａ）の例では、「午前」の「午」の筆順を入力させるため、更新部１７は「午」を含む成語や熟語等を辞書情報２１を参照することにより取得することにより、「午」の筆順情報を入力させるための指示文言を生成する。なお、指示文言は動画像により表示されてもよく、或いは音声により出力されてもよい。ユーザーは、筆順入力指示領域Ｒ３０に表示される指示文言に従い、例えば図８（ａ）に示すように白紙状態の筆順入力領域Ｒ３１に対して自身が記憶する筆順で文字を入力する。このとき、ユーザーは、マウス操作で筆順を入力しても良いし、或いはキーパッドやタッチパッドなどに対して指先やペン先で筆順を入力しても良い。これにより更新部１７は、ユーザーが理解し難いと指定した文字についてユーザーが記憶する筆順を取得することができ、筆順情報２２を更新可能である。
For example, the stroke order information update screen G15 illustrated in FIG. 8 includes a stroke order input instruction area R30, a stroke order input area R31, and a confirmation button B40. The stroke order input instruction area R30 is an area for instructing and guiding the user to manually input the stroke order of characters designated as difficult to understand by the user. The wording displayed in the stroke order input area R31 is automatically generated by, for example, extracting from the
図８（ｂ）は筆順情報更新画面Ｇ１５の別の表示態様の一例である。この例では、ユーザーに自身が記憶している筆順を筆順入力領域Ｒ３１に対して入力させるとき、筆順入力領域Ｒ３１に、筆順入力対象である文字を表示している。このような表示態様によれば、ユーザーが文字の筆順を入力する際、文字をなぞりながら入力していくことができるため、筆順の入力操作が行い易くなり、操作性が向上する。 FIG. 8B is an example of another display mode of the stroke order information update screen G15. In this example, when the user inputs a stroke order stored by the user to the stroke order input area R31, a character that is a stroke order input target is displayed in the stroke order input area R31. According to such a display mode, when the user inputs the stroke order of characters, it is possible to input while tracing the characters. Therefore, the input operation of the stroke order is facilitated, and the operability is improved.
次に、画像処理装置１のＣＰＵ２において行われる処理手順について説明する。図９は、ＣＰＵ２によって行われる主たる処理手順の一例を示すフローチャートである。この処理は、ＣＰＵ２がプログラム２０を実行することによって開始される。ＣＰＵ２は、この処理を開始すると、まず文字列抽出部１１が機能し、文字列動画像の生成対象となる画像データを取得する（ステップＳ１）。文字列抽出部１１は、画像データを取得すると、その画像データから文字列を抽出する文字列抽出処理を行う（ステップＳ２）。文字列抽出処理（ステップＳ２）の具体的な処理手順については後ほど説明する。文字列が抽出されると、次に文字抽出部１２が機能し、文字列抽出部１１によって抽出された文字列に含まれる文字を一文字抽出する文字抽出処理が行われる（ステップＳ３）。文字抽出処理（ステップＳ３）の具体的な処理手順については後ほど説明する。文字列に含まれる文字が抽出されると、動画像生成部１３は文字抽出部１２によって抽出された文字の筆順を示す動画像を生成する動画像生成処理を行う（ステップＳ４）。動画像生成処理（ステップＳ４）の具体的な処理手順については後ほど説明する。動画像生成処理（ステップＳ４）が行われると、次に文字列に含まれる全ての文字について動画像が生成されたか否かを判断する（ステップＳ５）。全ての文字について動画像が生成済みでない場合（ステップＳ５においてＮＯ）、文字抽出処理（ステップＳ３）に戻り、文字列に含まれる次の文字について動画像が生成される（ステップＳ４）。そして文字列に含まれる全ての文字について動画像が生成された場合（ステップＳ５においてＹＥＳ）、次に文字列動画像生成部１４が機能する。文字列動画像生成部１４は、文字列に含まれる各文字について生成された動画像を文字列の順序に基づいて組み合わせることにより文字列動画像を生成する文字列動画像生成処理を行う（ステップＳ６）。文字列動画像生成処理（ステップＳ６）の具体的処理手順については後ほど説明する。文字列動画像が生成されると、次に表示制御部１５が機能し、表示制御部１５による動画像表示処理が行われる（ステップＳ７）。動画像表示処理（ステップＳ７）の具体的な処理手順については後ほど説明する。動画像表示処理（ステップＳ７）が行われると、次にＣＰＵ２は、更新フラグがセットされているか否かを判断する。更新フラグがある場合（ステップＳ８でＹＥＳ）、ＣＰＵ２は更新部１７を機能させる。そして更新部１７は更新処理を行う（ステップＳ９）。更新部１７による更新処理が終了すると、ＣＰＵ２による処理が全て終了する。
Next, a processing procedure performed in the
図１０は、文字列抽出処理（図９のステップＳ２）の詳細な処理手順の一例を示すフローチャートである。文字列抽出部１１は、この文字列抽出処理を開始すると、まず取得した画像データ中にテキストデータが含まれているか否かを判断する（ステップＳ１５）。テキストデータが含まれている場合（ステップＳ１５でＹＥＳ）、文字列抽出部１１は、そのテキストデータを文字列として抽出する（ステップＳ１６）。また文字列抽出部１１は、抽出したテキストデータに関する属性情報を画像データから抽出する（ステップＳ１７）。この属性情報は、例えばテキストデータのプロパティ情報などから抽出され、文字列が縦書きか横書きかを示す情報や、文書中における文字列の配置位置に関する情報等を含んでいる。
FIG. 10 is a flowchart showing an example of a detailed processing procedure of the character string extraction processing (step S2 in FIG. 9). When starting the character string extraction process, the character
一方、取得した画像データ中にテキストデータが含まれていない場合（ステップＳ１５でＮＯ）、その画像データは例えばスキャン機能などによって読み込まれた画像データである。そのため、文字列抽出部１１は、取得した画像データに対してＯＣＲなどの文字認識処理を行うことにより、画像データに文字列領域が存在するか否かを判断する（ステップＳ１８）文字列領域が存在される場合（ステップＳ１８でＹＥＳ）、文字列抽出部１１は、文字認識処理によって検出されたテキストデータ化された文字列領域を抽出する（ステップＳ１９）。そして抽出された文字列領域を解析し（ステップＳ２０）、当該文字列領域の属性情報を生成する（ステップＳ２１）。この属性情報は、例えば画像データ中における文字列領域の配置や位置などに基づいて生成され、ステップＳ１７で取得される情報と同様の情報となる。尚、画像データに文字列領域が存在しない場合（ステップＳ１８でＮＯ）、そのまま文字列抽出処理を終了する。
On the other hand, when the acquired image data does not include text data (NO in step S15), the image data is image data read by a scan function, for example. For this reason, the character
次に文字列が抽出された場合（ステップＳ１５でＹＥＳ、又はステップＳ１８でＹＥＳの場合）、文字列抽出部１１は、例えば文字列中の句読点などの位置に対して区切り情報を付加して（ステップＳ２４）文字列抽出処理を終了する。
Next, when a character string is extracted (YES in step S15 or YES in step S18), the character
図１１は、文字抽出処理（図９のステップＳ３）の処理手順の一例を示すフローチャートである。文字抽出処理は、この文字抽出処理を開始すると、まず文字列抽出処理（図９のステップＳ２）により抽出された文字列の属性情報に基づいて文字列に含まれる文字の配列順序を決定し、その決定した順序に基づき文字列の中から今回抽出すべき文字を特定する（ステップＳ３１）。例えば、文字列抽出部１１によって文字列が抽出された後、最初にこの文字抽出処理が行われるときには、ステップＳ３１において文字列の先頭文字が抽出対象として特定される。また２回目以降にこの文字抽出処理が行われるときには、ステップＳ３１において文字列の先頭から２文字目以降の文字が抽出対象として特定される。そして文字抽出部１２は、ステップＳ３１で特定した文字を文字列から抽出する（ステップＳ３２）。
FIG. 11 is a flowchart showing an example of the processing procedure of the character extraction process (step S3 in FIG. 9). When this character extraction process is started, the character extraction process first determines the arrangement order of the characters included in the character string based on the character string attribute information extracted by the character string extraction process (step S2 in FIG. 9). Based on the determined order, the character to be extracted this time is specified from the character string (step S31). For example, after the character string is extracted by the character
図１２は、動画像生成処理（図９のステップＳ４）の処理手順の一例を示すフローチャートであり、動画像生成部１３により行われる処理である。動画像生成部１３は、まず筆順情報２２を読み出し（ステップＳ４１）、文字抽出処理において抽出された文字に対応する筆順を抽出する（ステップＳ４２）。そして動画像生成部１３は、抽出した筆順に基づき、当該文字の筆順を示す動画像を生成する（ステップＳ４３）。このような動画像生成処理は、文字抽出部１２によって文字列から一つの文字が抽出される度に繰り返し行われる。
FIG. 12 is a flowchart illustrating an example of a processing procedure of the moving image generation process (step S <b> 4 in FIG. 9), and is a process performed by the moving
図１３は、文字列動画像生成処理（図９のステップＳ６）の処理手順の一例を示すフローチャートであり、文字列動画像生成部１４により行われる。文字列動画像生成部１４は、文字列に含まれる全ての文字について筆順を示す動画像が生成されると（図９のステップＳ５でＹＥＳ）、文字列の順序に従って動画像生成処理において生成された各文字の筆順を示す複数の動画像を配列する（ステップＳ５１）。そして、複数の動画像を１つに組み合わせて１つの文字列に対応する一連の文字列動画像を生成する（ステップＳ５２）。このとき、文字列動画像生成部１４は、上述したように文字列動画像に対して区切り情報や文字種類情報を付加する。そしてステップＳ５２で生成される文字列動画像は、元の画像データと関連付けた状態に保存される。
FIG. 13 is a flowchart showing an example of the processing procedure of the character string moving image generation process (step S6 in FIG. 9), which is performed by the character string moving
上記文字列抽出処理（図９のステップＳ２）、文字抽出処理（図９のステップＳ３）、動画像生成処理（図９のステップＳ４）、及び文字列動画像生成処理（図９のステップＳ６）が行われることにより、文字列に含まれる文字が文字列の先頭から順に一文字ずつ筆順を表示するための文字列動画像が生成され、１つの文字列動画像から１つの文字列の内容を理解することが可能となる。 The character string extraction processing (step S2 in FIG. 9), character extraction processing (step S3 in FIG. 9), moving image generation processing (step S4 in FIG. 9), and character string moving image generation processing (step S6 in FIG. 9). Is performed, character string moving images for displaying the stroke order of characters included in the character string one by one from the beginning of the character string are generated, and the contents of one character string are understood from one character string moving image It becomes possible to do.
図１４は、文字列動画像表示処理（図９にステップＳ７）の処理手順の一例を示すフローチャートであり、表示制御部１５により行われる処理である。文字列動画像が生成された後、ユーザーによって文字列動画像の表示が指示されると、表示制御部１５は、ユーザーによって指定された文字列動画像を読み出し（ステップＳ６１）、記憶部３に記憶されている再生情報２３を参照し（ステップＳ６２）、再生速度、カラー、表示サイズ等を再生情報２３に基づいて反映させた上で、表示部４にポップアップ画面を表示し、そのポップアップ画面において文字列動画像の再生表示を開始する（ステップＳ６３）。表示制御部１５は、文字列動画像の再生を開始すると、再生情報２３において区切り設定がオンに設定されているか否かを判断し（ステップＳ６４）、オンに設定されている場合（ステップＳ６４でＹＥＳ）、再生中の文字列動画像から区切り情報を検知したか否かを判断する（ステップＳ６５）。区切り情報を検知した場合（ステップＳ６５でＹＥＳ）、表示制御部１５は区切り情報を検知した位置で文字列動画像の再生を一時停止し（ステップＳ６６）、所定時間を経過したか否かを判断する（ステップＳ６７）。そして所定時間を経過した場合に（ステップＳ６７でＹＥＳ）、一時停止を解除して（ステップＳ６８）、一時停止位置から文字列動画像の再生を開始する（ステップＳ６９）。
FIG. 14 is a flowchart illustrating an example of a processing procedure of the character string moving image display process (step S <b> 7 in FIG. 9), which is a process performed by the
他方、再生情報２３において区切り設定がオフに設定されている場合（ステップＳ６４でＮＯ）、又は再生中の文字列動画像から区切り情報を検知しない場合には（ステップＳ６５でＮＯ）、ステップＳ６６からＳ６９までの処理をスキップする。 On the other hand, when the delimiter setting is set to OFF in the reproduction information 23 (NO in step S64), or when delimiter information is not detected from the character string moving image being reproduced (NO in step S65), from step S66 The processing up to S69 is skipped.
また表示制御部１５は、文字列動画像の再生中においてユーザーによるチェックの入力を検知したか否かを判断する（ステップＳ７０）。このチェックとは、例えば文字列動画像の再生中にユーザーが所定の領域に対して簡単な入力操作を行うことを意味し、例えば画面内の所定位置をタップする場合の操作などがチェックに該当する。このようなチェックは、例えば文字列動画像の再生中にユーザーが理解し難いと判断した場合に行われる操作である。表示制御部１５は、ユーザーによるチェック入力を検知した場合（ステップＳ７０でＹＥＳ）、文字列動画像中の現在再生中の文字を特定して（ステップＳ７１）、更新フラグを付加する（ステップＳ７２）。チェック入力検知時における再生中の文字の特定は、例えば再生中のフレーム番号等により特定してもよい。ユーザーによるチェック入力がなされる場合、ユーザーは現在再生中の動画像の文字を何らかの原因により読解できなかったのであり、文字列動画像の再生を終了した後に、後述する更新処理（図９のステップＳ９）により再生情報２３又は筆順情報２２を更新することにより、当該文字を理解できるようにする。
Further, the
そして表示制御部１５は、文字列動画像を最後まで再生したか否かを判断し（ステップＳ７３）、未だ再生中である場合（ステップＳ７３でＮＯ）、文字列動画像の再生が終了するまでステップＳ６４からステップＳ７２までの処理を繰り返す。一方、文字列動画像の再生が終了した場合（ステップＳ７３でＹＥＳ）、表示制御部１５は、文字列動画像の再生表示を終了させ（ステップＳ７４）、文字列動画像表示処理を終了する。このとき、ポップアップ画面を表示画面から消去しても良い。
Then, the
図１５は、更新処理（図９のステップＳ９）の処理手順の一例を示すフローチャートであり、主として更新部１７により行われる処理である。文字列動画像表示処理（図９のステップＳ７）が行われて文字列動画像の再生が終了した後、表示制御部１５によって更新フラグがセットされていると（図９のステップＳ８）、更新部１７は、まず記憶部３等に予め記憶される再生情報更新画面情報（図示せず）を読み出し（ステップＳ８１）、再生情報更新画面を生成して表示部４に表示させる（ステップＳ８２）。次に更新部１７は、再生情報更新画面上にてユーザーによる再生情報２３の入力があったか否かを判断し（ステップＳ８３）、入力があった場合に（ステップＳ８３でＹＥＳ）、例えば現在の再生情報の設定値と入力値との差分が検出された場合には再生情報２３を入力値に更新する（ステップＳ８４）。再生情報２３が更新されると、その再生情報２３は、文字列動画像を再生する際に表示制御部１５により参照される。そのため、その後の文字列動画像再生において、当該ユーザーにとって読解し易い再生速度、表示サイズの大きさ等により動画像が再生されるため、当該ユーザーによる文字列の理解をさらに促進する。
FIG. 15 is a flowchart showing an example of the processing procedure of the update process (step S9 in FIG. 9), which is mainly performed by the
再生情報２３の入力がない場合（ステップＳ８３でＮＯ）、ステップＳ８４をスキップする。そして、現在の再生情報２３に基づき文字列動画像を再生した後（ステップＳ８５）、ユーザーによる更新処理終了指示を検知したか否かを判断する（ステップＳ８６）。更新処理終了指示を検知しない場合には（ステップＳ８６でＮＯ）再び再生情報更新画面を表示する指示を検知したか否かを判断し（ステップＳ８７）、検知した場合には、ステップＳ８２に戻り再生情報更新画面を表示してステップＳ８３からＳ８６までのステップを繰り返す。他方、再生情報更新画面を表示する指示を検知しない場合（ステップＳ８７でＮＯ）、さらに筆順情報更新画面表示指示を検知したか否かを判断して（ステップＳ８８）、検知した場合には記憶部３等に予め記憶される筆順情報更新画面情報（図示せず）を読み出して（ステップＳ９０）、予め表示制御部１５によって特定されている文字を抽出し（ステップＳ９１）、その文字の筆順を手動入力するための筆順情報更新画面を生成して表示部４に表示させる。
If the
更新処理終了指示を検知した場合（ステップＳ８６でＹＥＳ）、又は筆順情報更新画面表示指示を検知しない場合（ステップＳ８８でＮＯ）、そのまま更新処理を終了する（ステップＳ８９）。 If an update process end instruction is detected (YES in step S86), or if a stroke order information update screen display instruction is not detected (NO in step S88), the update process is ended as it is (step S89).
他方、文字の筆順を手動入力するための筆順情報更新画面を表示した場合（ステップＳ９２）、更新部１７は、次にユーザーによる当該文字の筆順の入力が検知されたか否かを判断し（ステップＳ９３）、筆順の入力を検知した場合（ステップＳ９３でＹＥＳ）、入力された筆順が当該文字に関する現在の筆順情報２２と一致するか否かを判断し（ステップＳ９４）、一致しない場合には入力された筆順により筆順情報２２を更新する（ステップＳ９５）。そして筆順情報２２を更新すると、更新部１７は、動画像生成部１３に通知する（ステップＳ９６）。動画像生成部１３は、その通知に基づき更新された筆順情報２２を参照して図１２の動画像生成処理を行い（ステップＳ９７）、再度動画像を生成する。動画像が生成されると、更新部１７は、文字列動画像生成部１４に通知する（ステップＳ９８）。文字列動画像生成部１４は、その通知に基づき図１３の文字列動画像生成処理を行い、文字列動画像を生成する（ステップＳ９９）。文字列動画像が生成されると、表示制御部１５によってその生成された文字列動画像が再生される（ステップＳ１００）。そして更新処理が終了する（ステップＳ８９）。このように筆順情報２２が更新された場合、その更新後の筆順情報２２を反映した文字列動画像を新たに生成して再生することにより、ユーザーは、自身で入力した筆順で文字を認識することができるか否かを速やかに確認することができる。
On the other hand, when the stroke order information update screen for manually inputting the stroke order of characters is displayed (step S92), the
次に筆順情報２２又は再生情報２３の初期設定をユーザーが予めカスタマイズしておく手法について説明する。記憶部３に予め記憶される筆順情報２２及び再生情報２３は初期状態において予め定められた値（初期設定値）に設定されている。このような初期設定値は、ユーザーにとって必ずしも理解しやすい設定値であるとは限らない。そのため、初期設定値に基づいて再生される文字列動画像をユーザーが理解できるのか否かを、サンプルとなる動画像を用いてテストし、必要であればこれらの初期設定値をユーザーが予め所望の値に設定変更できるようにしておくことが好ましい。これにより、ユーザーは、実際の資料に基づいて文字列動画像を生成する前に筆順情報２２や再生情報２３を予めカスタマイズしておくことができるようになる。
Next, a method in which the user customizes the initial setting of the
図１６は、サンプルとなる動画像を用いたサンプルテスト画面Ｇ２０の表示態様の一例を示した図である。図１６（ａ）に示すように、サンプルテスト画面Ｇ２０は、サンプル動画像が初期設定値に設定された筆順情報２２及び再生情報２３に基づき表示されるサンプル動画像表示領域Ｒ４０と、サンプル動画像を理解した場合にユーザーが操作する確認ボタンＢ５０と、サンプル動画像を理解できなかった場合にユーザーが操作するチェックボタンＢ５１とを備える。サンプル動画像は、表示制御部１５が予め記憶部３等に記憶されるサンプル動画像情報（図示せず）を読み出して表示部４に表示する。図例のように、サンプル動画像表示領域Ｒ４０にサンプル動画像が表示され、ユーザーは当該サンプル動画像を理解できなかった場合にはチェックボタンＢ５１を操作する。ユーザーがチェックボタンＢ５１を操作した場合、更新部１７が筆順情報２２又は再生情報２３の更新処理（図１５のフローチャート）を行う。他方、ユーザーが当該サンプル動画像を理解した場合には確認ボタンＢ５０を操作し、確認ボタンＢ５０が操作されると表示制御部１５は別のサンプル動画像を読み出して表示する。
FIG. 16 is a diagram illustrating an example of a display form of the sample test screen G20 using a moving image as a sample. As shown in FIG. 16A, the sample test screen G20 includes a sample moving image display region R40 displayed based on the
また、図１６（ｂ）に示すように漢字のサンプル動画像を用いることもできる。ここで、更新部１７は、設定情報２３に含まれる文字種類毎に再生速度情報２３ａの設定値を変更することが可能である。例えば、漢字については再生速度をひらがなやカタカナ等の他の文字よりも遅く設定することができる。漢字にはひらがなやカタカナ等と比べて画数が多いものが多数存在することから、例えば漢字についてはひらがなやカタカナ等と比べて動画像の再生速度を遅く設定するなど文字種類毎に再生情報２３を更新することが可能となることで、ユーザーがより動画像を理解し易くなり、文字列の理解をより促進することが可能となる。したがって、サンプル動画像を用いてテストを行うときには、再生情報２３に含まれる全ての設定項目について、ユーザーが理解できたか否かをテストできるようにしておくことが好ましい。
Also, as shown in FIG. 16B, a kanji sample moving image can be used. Here, the updating
その他、漢字については、例えばその構成要素毎のユーザーが記憶している筆順により筆順情報２２を更新してもよい。すなわち、図６（ｂ）に示す漢字「板」は、部首である木偏と部首の右方の「反」という構成要素からなる。そして、例えば木偏の部首についてユーザーが記憶する筆順が筆順情報２２の初期設定値と異なる場合、同じく部首を木偏とする他の漢字についても、筆順情報２２をユーザーによる入力値に基づき更新してもよい。つまり、漢字の場合には、ユーザーが、一文字単位ではなく、部首単位などで筆順を入力することも可能であり、その場合、更新部１７は、ユーザーによって筆順が入力された部首を有する他の全ての漢字についての筆順を変更し、筆順情報２２を更新する。漢字には部分的な構成要素を共通にするものが多数存在し、それぞれの構成要素について筆順は同一であるのが原則である。そして、ユーザーが漢字を記憶する際、同一の構成要素については同じ筆順により記憶することが一般的である。そこで、サンプル動画像に用いられた文字の構成要素毎にユーザーが記憶する筆順を取得し、サンプル動画像に用いられた漢字と同一の構成要素を有する他の漢字についても筆順情報２２を更新することにより、効率的に筆順情報２２を更新することが可能となり、ユーザーがより動画像を理解し易くなる。
In addition, for kanji, the
図１７は、サンプル動画像を用いたサンプルテスト処理の処理手順の一例を示すフローチャートである。サンプルテスト処理は、主として表示制御部１５により行われる処理である。まず、サンプルテスト開始指示を検知することによりサンプルテスト処理が開始し（ステップＳ１１０）、表示制御部１５はサンプル動画像の情報（図示せず）を読み出す（ステップＳ１１１）。サンプル動画像を読み出すと、サンプル動画像の再生を開始する（ステップＳ１１２）。サンプル動画像再生中にユーザーによるチェック入力を検知したか否かを判断し（ステップＳ１１３）、検知した場合には当該サンプル動画像情報に更新フラグを付加し（ステップＳ１１４）、更新部１７を機能させる。更新部１７は、更新フラグに基づき上述した更新処理（図１５のフローチャート）を行う（ステップＳ１１５）。この更新処理により、当該サンプル動画像に対応する文字の筆順情報２２又は再生情報２３が更新される。ユーザーによるチェック入力を検知しない場合（ステップＳ１１３でＮＯ）、ステップＳ１１４及びＳ１１５の処理をスキップする。そして、全てのサンプル動画像を再生したか否かを判断し（ステップＳ１１６）、全てのサンプル動画像を再生した場合にはサンプルテストを終了して（ステップＳ１１７）サンプルテスト処理を終了する。他方、全てのサンプル動画像を未だ再生していない場合には、ステップＳ１１３に戻り、全てのサンプル動画像を再生するまでステップＳ１１３からＳ１１５の処理を繰り返す。
FIG. 17 is a flowchart illustrating an example of a processing procedure of sample test processing using a sample moving image. The sample test process is a process mainly performed by the
（第２実施形態）
次に、本発明の第２実施形態につき説明する。上述した第１実施形態では、画像処理装置１において、文字列動画像の生成処理と再生処理との双方の処理が行われる場合を例示した。これに対し、本実施形態では、画像処理装置５０において文字列動画像の生成処理までを行う形態について説明する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. The first embodiment described above exemplifies a case where both the character string moving image generation process and the reproduction process are performed in the
図１９は、第２実施形態における画像処理装置５０を含むネットワークシステムの構成例を示す図である。図１９に示すように、本実施形態の画像処理装置５０は、例えばＭＦＰ（Multi Function Peripheral）によって構成される。この画像処理装置５０は、プリント機能やスキャン機能、コピー機能などの文書データを処理する機能を備えており、ＬＡＮ（Local Area Network）などのネットワーク５２を介してユーザーが使用するコンピュータ５１と通信を行うことが可能である。本実施形態ではこのような画像処理装置５０によって文字列動画像が生成される場合を例示する。尚、コンピュータ５１は、パーソナルコンピュータに限られるものではなく、タブレット端末やその他の装置であっても構わない。
FIG. 19 is a diagram illustrating a configuration example of a network system including the
図１９は、画像処理装置５０及びコンピュータ５１のそれぞれのＣＰＵ６０，６２で実現される機能ブロックの一例を示す図である。画像処理装置５０は、ＣＰＵ６０と記憶部６１を備え、ＣＰＵ６０は、文字列抽出部６５と、文字抽出部６６と、動画像生成部６７と、文字列動画像生成部６８と、区切り設定部６９と、更新部７０とを備える構成であり、各部は、それぞれ第１実施形態における文字列抽出部１１、文字抽出部１２、動画像生成部１３、文字列動画像生成部１４、区切り設定部１６及び更新部１７と同じ機能を有する。また記憶部６１には、プログラム７１と、辞書情報７２と、筆順情報７３と、再生情報７４が記憶されており、これらも第１実施形態におけるプログラム２０、辞書情報２１、筆順情報２２、再生情報２３とそれぞれ同様のものである。他方、コンピュータ５１はＣＰＵ６２を備え、ＣＰＵ６２は表示制御部７５を備えており、この表示制御部７５は第１実施形態における表示制御部１５と同じ機能を有する。
FIG. 19 is a diagram illustrating an example of functional blocks realized by the
このように本実施形態では、画像処理装置５０において文字列動画像が生成され、ネットワーク５２を介して接続されるコンピュータ５１により当該文字列動画像が画像表示器７６に表示される。これにより、画像処理装置５０において生成された文字列動画像を、ネットワーク５２を介して接続される複数のコンピュータで再生することが可能となり、例えばある会議への出席者全員が、文字列動画像の付加された会議資料データを共有して閲覧することが可能となる。尚、文字列動画像を複数のユーザーで共有して再生する場合には、筆順情報７３や再生情報７４をユーザーごとに記憶しておくことが好ましい。
As described above, in this embodiment, a character string moving image is generated in the
また本実施形態では、画像処理装置５０がスキャン機能によって会議資料を読み取ることにより、その会議資料に含まれる文字列の文字列動画像を生成しておくことができる。そのため、ユーザーは会議前に予め会議資料を画像処理装置５０でスキャンしておくことにより、会議開始後はネットワーク５２を介して会議室から画像処理装置５０にアクセスすることにより、文字列動画像をコンピュータ５１で表示することが可能となり、利便性が高まるという利点がある。
Further, in the present embodiment, the
（変形例）
以上、本発明に関する実施形態の例につき説明したが、本発明は上記実施形態において説明した内容に限られるものではなく、種々変形例が適用可能であり、例えば、上記第２実施形態では画像処理装置５０としてＭＦＰを例示したが、サーバーであってもよい。
(Modification)
The embodiments of the present invention have been described above. However, the present invention is not limited to the contents described in the above embodiments, and various modifications can be applied. For example, in the second embodiment, image processing is performed. Although the MFP is exemplified as the
１，５０ 画像処理装置
１１，６５ 文字列抽出部
１２，６６ 文字抽出部
１３，６７ 動画像生成部
１４，６８ 文字列動画像生成部
１５，７５ 表示制御部
１６，６９ 区切り設定部
１７，７０ 更新部
２１，７２ 辞書情報
２２，７３ 筆順情報
２３，７４ 再生情報
1, 50
Claims (12)
ユーザーが操作入力可能な入力手段と、
ユーザーによって指定された文書データを取得し、該文書データの文字領域に含まれる文字列を抽出する文字列抽出手段と、
前記文字列に含まれる文字を先頭から順に抽出する文字抽出手段と、
前記文字抽出手段により抽出された文字に対応する筆順情報を前記記憶手段から読み出し、該筆順情報に基づき当該文字の筆順を示す動画像を生成する動画像生成手段と、
前記動画像生成手段により生成される動画像に基づき、前記文字抽出手段による抽出順に従って一文字ずつ筆順を表示させるための文字列動画像を生成する文字列動画像生成手段と、
前記文書データに基づく文書表示画面を所定の表示手段に表示させると共に、前記文書表示画面において表示される複数の文字列のうちから少なくとも１つの文字列が選択され、文字列動画像の再生が指示されることに伴い、前記表示手段にポップアップ画面を表示し、前記ポップアップ画面内において前記選択された文字列に対応する文字列動画像を表示することにより、前記選択された文字列に含まれる文字の筆順を一文字ずつ前記表示手段に表示させる表示制御手段と、
前記入力手段により入力される情報に基づいて前記筆順情報において定義されている筆順を更新する更新手段と、
を備えることを特徴とする画像処理装置。 Storage means for storing stroke order information defining the stroke order of characters;
An input means that allows the user to input operations;
Character string extraction means for acquiring document data designated by a user and extracting a character string included in a character area of the document data;
Character extraction means for extracting characters included in the character string in order from the top;
It reads stroke order information corresponding to the character extracted by said character extraction means from the storage means, and moving image generation means for generating a moving image showing the stroke order of the character on the basis of the stroke order information,
Based on the moving image generated by the moving image generating means, a character string moving image generating means for generating a character string moving image for displaying the stroke order one character at a time according to the extraction order by the character extracting means;
A document display screen based on the document data is displayed on a predetermined display unit, and at least one character string is selected from a plurality of character strings displayed on the document display screen, and an instruction to reproduce a character string moving image is given. As a result, a pop-up screen is displayed on the display means, and a character string moving image corresponding to the selected character string is displayed in the pop-up screen, whereby characters included in the selected character string are displayed. Display control means for causing the display means to display the stroke order of characters one by one,
Updating means for updating the stroke order defined in the stroke order information based on information input by the input means;
An image processing apparatus comprising:
をさらに備え、
前記表示制御手段は、前記文字列動画像に基づいて筆順を一文字ずつ表示しているとき、前記区切り設定手段によって設定された区切り位置で再生動作を一時停止させることを特徴とする請求項１又は２に記載の画像処理装置。 Delimiter setting means for delimiting a predetermined position of the character string by analyzing the character string extracted by the character string extracting means;
Further comprising
The display control means, when displaying the stroke order one character at a time based on the character string moving image, pauses the reproduction operation at the delimiter position set by the delimiter setting means. 2. The image processing apparatus according to 2.
をさらに備え、
前記表示制御手段は、前記再生情報に基づいて筆順を一文字ずつ前記表示手段に表示させることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。 Reproduction information acquisition means for acquiring reproduction information related to reproduction of the character string moving image;
Further comprising
The image processing apparatus according to claim 1, wherein the display control unit causes the display unit to display a stroke order character by character based on the reproduction information.
前記表示制御手段は、前記文字列動画像に基づいて前記文字列に含まれる文字の筆順を一文字ずつ前記表示手段に表示させるとき、前記再生情報に設定された文字種類ごとの再生速度に基づいて再生速度を調整することを特徴とする請求項４に記載の画像処理装置。 In the playback information, a playback speed is set for each character type,
The display control means, when displaying the stroke order of characters included in the character string one character at a time based on the character string moving image, based on the reproduction speed for each character type set in the reproduction information. The image processing apparatus according to claim 4, wherein the reproduction speed is adjusted.
前記入力手段により入力される情報に基づいて前記再生情報を更新する更新手段と、
をさらに備えることを特徴とする請求項４又は５に記載の画像処理装置。 An input means that allows the user to input operations;
Updating means for updating the reproduction information based on information input by the input means;
The image processing apparatus according to claim 4, further comprising:
ユーザーが操作入力可能な入力手段と、
を備えるコンピュータを、
ユーザーによって指定された文書データを取得し、該文書データの文字領域に含まれる文字列を抽出する文字列抽出手段、
前記文字列に含まれる文字を先頭から順に抽出する文字抽出手段、
前記文字抽出手段により抽出された文字に対応する筆順情報を前記記憶手段から読み出し、該筆順情報に基づき当該文字の筆順を示す動画像を生成する動画像生成手段、
前記動画像生成手段により生成される動画像に基づき、前記文字抽出手段による抽出順に従って一文字ずつ筆順を表示させるための文字列動画像を生成する文字列動画像生成手段、
前記文書データに基づく文書表示画面を所定の表示手段に表示させると共に、前記文書表示画面において表示される複数の文字列のうちから少なくとも１つの文字列が選択され、文字列動画像の再生が指示されることに伴い、前記表示手段にポップアップ画面を表示し、前記ポップアップ画面内において前記選択された文字列に対応する文字列動画像を表示することにより、前記選択された文字列に含まれる文字の筆順を一文字ずつ前記表示手段に表示させる表示制御手段、及び、
前記入力手段により入力される情報に基づいて前記筆順情報において定義されている筆順を更新する更新手段、
として機能させることを特徴とするプログラム。 Storage means for storing stroke order information defining the stroke order of characters;
An input means that allows the user to input operations;
A computer comprising
A character string extracting means for acquiring document data designated by a user and extracting a character string included in a character area of the document data;
Character extraction means for extracting characters included in the character string in order from the top;
The reading stroke order information corresponding to the extracted character by character extraction unit from the storage unit, moving image generation means for generating a moving image showing the stroke order of the character on the basis of the stroke order information,
A character string moving image generating means for generating a character string moving image for displaying a stroke order one character at a time according to the extraction order by the character extracting means based on the moving image generated by the moving image generating means ;
A document display screen based on the document data is displayed on a predetermined display unit, and at least one character string is selected from a plurality of character strings displayed on the document display screen, and an instruction to reproduce a character string moving image is given. As a result, a pop-up screen is displayed on the display means, and a character string moving image corresponding to the selected character string is displayed in the pop-up screen, whereby characters included in the selected character string are displayed. Display control means for displaying the stroke order of each character on the display means, and
Updating means for updating the stroke order defined in the stroke order information based on information input by the input means;
A program characterized by functioning as
としてさらに機能させ、
前記表示制御手段は、前記文字列動画像に基づいて筆順を一文字ずつ表示しているとき、前記区切り設定手段によって設定された区切り位置で再生動作を一時停止させることを特徴とする請求項７又は８に記載のプログラム。 Delimiter setting means for delimiting a predetermined position of the character string by analyzing the character string extracted by the character string extracting means;
Further function as
Wherein the display control unit, when displaying the stroke order based on the string moving image one by one, according to claim 7 or, characterized in that temporarily stopping the reproduction operation at delimitation position set by the delimiter setting means 8. The program according to 8 .
としてさらに機能させ、
前記表示制御手段は、前記再生情報に基づいて筆順を一文字ずつ前記表示手段に表示させることを特徴とする請求項７乃至９のいずれかに記載のプログラム。 Reproduction information acquisition means for acquiring reproduction information related to reproduction of the character string moving image;
Further function as
Wherein the display control unit, a program according to any one of claims 7 to 9, characterized in that to be displayed on said display means the stroke order one by one on the basis of the reproduction information.
前記表示制御手段は、前記文字列動画像に基づいて前記文字列に含まれる文字の筆順を一文字ずつ前記表示手段に表示させるとき、前記再生情報に設定された文字種類ごとの再生速度に基づいて再生速度を調整することを特徴とする請求項１０に記載のプログラム。 In the playback information, a playback speed is set for each character type,
The display control means, when displaying the stroke order of characters included in the character string one character at a time based on the character string moving image, based on the reproduction speed for each character type set in the reproduction information. The program according to claim 10 , wherein the reproduction speed is adjusted.
としてさらに機能させることを特徴とする請求項１０又は１１に記載のプログラム。 Updating means for updating the reproduction information based on information input by a predetermined input means;
The program according to claim 10 or 11 , further functioning as:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014110045A JP6458358B2 (en) | 2014-05-28 | 2014-05-28 | Image processing apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014110045A JP6458358B2 (en) | 2014-05-28 | 2014-05-28 | Image processing apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015225506A JP2015225506A (en) | 2015-12-14 |
| JP6458358B2 true JP6458358B2 (en) | 2019-01-30 |
Family
ID=54842201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014110045A Active JP6458358B2 (en) | 2014-05-28 | 2014-05-28 | Image processing apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6458358B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6835033B2 (en) * | 2018-05-14 | 2021-02-24 | 京セラドキュメントソリューションズ株式会社 | Display processing device, image forming device, display processing method, and display processing program |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2907933B2 (en) * | 1989-05-31 | 1999-06-21 | 三菱電機株式会社 | Character drawing device |
| JPWO2008015825A1 (en) * | 2006-08-01 | 2009-12-17 | 株式会社デジモジ | Written font data and character output system |
| JP2009026007A (en) * | 2007-07-18 | 2009-02-05 | Casio Comput Co Ltd | Electronic equipment with dictionary function and control program |
| JP2009252222A (en) * | 2008-04-09 | 2009-10-29 | Japan 21 Inc | Method for compensating japanese character recognition error in electronic dictionary with optical character recognition device |
| JP4291870B1 (en) * | 2008-08-22 | 2009-07-08 | 株式会社アイエスピー | Kanji recognition program, portable terminal device, and kanji recognition method |
| US20130212469A1 (en) * | 2012-02-11 | 2013-08-15 | Charles Yang Tian | Web Reader for Readers with reading disabilities |
-
2014
- 2014-05-28 JP JP2014110045A patent/JP6458358B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015225506A (en) | 2015-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10146318B2 (en) | Techniques for using gesture recognition to effectuate character selection | |
| JP5211193B2 (en) | Translation display device | |
| CN105580384A (en) | Actionable content displayed on a touch screen | |
| CN105830011A (en) | User interface for overlapping handwritten text input | |
| JP2004152217A (en) | Display device with touch panel | |
| JPH1125098A (en) | Information processor and method for obtaining link destination file and storage medium | |
| US8707176B2 (en) | Display control apparatus and display control method | |
| JP2008090625A (en) | Character input device, character input method, control program, and recording medium | |
| US20130016397A1 (en) | Layout editing device and computer program product | |
| JP2000122768A (en) | Character input device, its method and recording medium | |
| JP6458358B2 (en) | Image processing apparatus and program | |
| US11900931B2 (en) | Information processing apparatus and information processing method | |
| KR20170132643A (en) | Method for displaying character and Apparatus thereof | |
| JP2003167600A5 (en) | ||
| KR20170009486A (en) | Database generating method for chunk-based language learning and electronic device performing the same | |
| US11606629B2 (en) | Information processing apparatus and non-transitory computer readable medium storing program | |
| JP2004199343A (en) | Screen controller | |
| JP2017102939A (en) | Authoring device, authoring method, and program | |
| JP2006276912A (en) | Device, method, and program for editing document | |
| JP2013214187A (en) | Character input device, method for controlling character input device, control program and recording medium | |
| JP2012108899A (en) | Electronic equipment, network system and content edition method | |
| JP7036483B1 (en) | Programs, information processing equipment and information processing methods | |
| CN110390241B (en) | Information processing apparatus, information processing method, and computer-readable recording medium | |
| KR101935926B1 (en) | Server and method for webtoon editing | |
| JP2007122510A (en) | Presenting device and presenting program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170321 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180710 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6458358 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |