JP6201488B2 - 選択文字特定プログラム、選択文字特定方法、及び、選択文字特定装置 - Google Patents
選択文字特定プログラム、選択文字特定方法、及び、選択文字特定装置 Download PDFInfo
- Publication number
- JP6201488B2 JP6201488B2 JP2013156560A JP2013156560A JP6201488B2 JP 6201488 B2 JP6201488 B2 JP 6201488B2 JP 2013156560 A JP2013156560 A JP 2013156560A JP 2013156560 A JP2013156560 A JP 2013156560A JP 6201488 B2 JP6201488 B2 JP 6201488B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- region
- stroke
- area
- specifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/018—Input/output arrangements for oriental characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1は、本実施の形態例における選択文字特定装置の構成の一例を示す図である。図1の選択文字特定装置は、例えば、スマートフォンやタブレット端末等の端末装置である。選択文字特定装置は、例えば、ディスプレイ10、ROM11、RAM12、通信インタフェース13、CPU(Central Processing Unit)14、ディスクドライブ15等を有する。各部は、バス17を介して相互に接続可能である。
図2は、本実施の形態例における選択文字特定装置のブロック図の一例を示す図である。本実施の形態例における選択文字特定装置は、例えば、表示部21、入力制御部22、図形認識部23、選択文字特定部24、形態素解析部25、文字列抽出部26、情報管理部27、情報解析部28、文書解析部29、形態素解析部30、記憶部31、出力制御部32を有する。
図3は、本実施の形態例における選択文字特定プログラムの位置付けについて説明する図である。図3の(A)は、一般的な選択文字特定プログラムの位置付けについて説明する図である。一般的に、端末装置における文字選択プログラムは、例えば、オペレーティング・システム(以下、OS)によって提供される。つまり、OS上で動作する各アプリケーションAPは、各プラットフォームのOSxwによって提供される文字選択プログラムのインタフェースを使用する。このため、OS上で動作する各アプリケーションAPにおける選択文字特定処理の機能は、OSxwによって提供される文字選択プログラムの機能に制限される。
図4は、本実施の形態例における選択文字特定処理の概要について説明する図である。本実施の形態例において、ユーザは、端末装置の画面に表示される表示文字列における選択対象の1つまたは複数の文字付近を、手やタッチペン等によって指定される閉曲線のストロークsaによって囲む。この例において、文字列「も天気が」が、閉曲線のストロークsaによって囲まれる。そして、本実施の形態例における選択文字特定プログラムPRは、ストロークsaと重複する文字列「も天気が」のうち、選択文字として文字列「天気」ffを特定する。
図6は、本実施の形態例における選択文字特定プログラムPRの処理の流れについて説明するフローチャート図である。図6の(A)は、本実施の形態例における選択文字特定プログラムPRの事前処理について説明するフローチャート図である。なお、図6(A)のフローチャート図における工程S1、S2の処理は、ストロークの入力時に行われてもよい。
図7は、文字列表示情報の具体例を示す第1の図である。この例では、表示文字列「今日はとても天気がよいです。雨が降りそう…」が例示される。なお、図7の例において、文字「今日は」の各文字に文字領域EEが示されるが、実際の処理において、表示文字列の全ての文字に対して文字領域EEが検出される。なお、表示文字列の表示方向は、予め、検知される。また、この例において、表示文字列における各文字のサイズは、均一である。
図9は、選択文字特定処理(図6のS14)について説明するフローチャート図である。まず、選択文字特定プログラムPRは、ストロークと重複する文字のうち1文字を、選択候補文字として選定する(S21)。続いて、選択文字特定プログラムPRは、選択候補文字について、検出したストロークと文字領域とに基づいて選択領域の面積を算出する(S22)。そして、選択文字特定プログラムPRは、選択領域の文字領域に対する面積の割合が閾値を超える場合に(S23のYES)、選択候補文字を選択文字として特定する(S24)。工程S22〜工程S24の処理の詳細については、別のフローチャート図に基づいて後述する。
図10は、閉曲線のストロークが入力された場合における、本実施の形態例における選択文字特定処理の詳細について説明する第1のフローチャート図である。図10のフローチャート図の処理は、図9の工程S22に対応する。
図12は、閉曲線のストロークと選択領域の具体例について説明する第1の例図である。図12の(A)(B)は、閉曲線のストロークと選択領域の2つの事例を示す。
図12の(A)の例は、選択候補文字「も」について、ストロークが文字領域EEの四辺と交差しておらず、ストロークが全て文字領域内に収まる場合(図10のS31のYES)の例を示す。具体的に、選択候補文字「も」の文字領域EEの四辺は、ストロークs1と交差しておらず、ストロークs1が文字領域内に収まる。このため、ストロークs1における最上下左右点a11〜a14の座標が記憶される(S32)。そして、選択領域として、記憶された各点a11〜a14に基づいて、座標の隣り合う点が結ばれた多角形A1−1が算出される(S47)。例えば、選択領域A1−1が、文字領域EEにおける閾値を超える割合を占める場合(S48のYES)、選択候補文字「も」は、選択文字として特定される(S49)。
図12の(B)の例は、選択候補文字について、ストロークが文字領域EEの四辺と交差しておらず、ストロークが全て文字領域外に位置する場合(図10のS33のYES)の例を示す。具体的に、選択候補文字「天」「気」それぞれについて、文字領域EEの四辺は、ストロークs2と交差しておらず、ストロークs2が各文字領域EEの外側に位置する。このため、選択候補文字「天」について、文字領域EEの各頂点b11、b12、b15、b16の座標が、選択候補文字「気」について、文字領域EEの各頂点b12〜b15の座標が、記憶される(S34)。
図13の(A)の例は、選択候補文字の文字領域EEにおける1つ以上の対象辺とストロークs3とが交差する場合(図11のS41のYES)、及び、ストロークs3が選択候補文字の文字領域EEにおける対象辺の外側に位置する場合(図11のS43のYES)の例を示す。
図13の(B)の選択候補文字「天」について、文字領域EEの下辺はストロークs4と交差し(S41のYES)、上辺、左辺、右辺についてはストロークs4が内側に位置する(S43のNO)。このため、下辺とストロークs4との交差点b22、b24と、上辺、左辺、右辺の内側に位置するストロークs4の頂点b21、b22、b24とに基づく、隣り合う点が結ばれた多角形B2−1が選択領域として算出される。この例において、左辺の内側に位置するストロークs4の頂点b22、及び、右辺の内側に位置するストロークs4の頂点b24は、下辺とストロークs4との交差点b22、b24と同一である。
図13の(C)の選択候補文字「天」について、文字領域EEの上辺、左辺、右辺はストロークs5と交差し(S41のYES)、下辺についてはストロークs5が外側に位置する(S43のYES)。このため、上辺、左辺、右辺とストロークs5との交差点c21、c22、c28と、下辺の両端の点c23、c27とに基づいて、隣り合う点が結ばれた多角形C2−1が選択領域として算出される。また、選択候補文字「気」において、文字領域EEの左辺、右辺、下辺はストロークs5と交差し(S41のYES)、上辺についてはストロークs5が外側に位置する(S43のYES)。このため、左辺、右辺、下辺とストロークs5との交差点c24、c26、c25と、上辺の両端の点c23、c27とに基づいて、隣り合う点が結ばれた多角形C2−2が選択領域として算出される。
また、図13の(D)の選択候補文字「天」において、文字領域EEの左辺、右辺とストロークs6との交差点d22、d26と、上辺の内側に位置するストロークs6の頂点d21と、下辺の両端の点d23、d25とに基づく多角形D2−1が選択領域として算出される。また、選択候補文字「気」においては、文字領域EEの左辺、右辺とストロークs6との交差点d23、d25と、下辺の内側に位置するストロークs6の頂点d24とに基づく多角形D2−2が選択領域として算出される。
なお、本実施の形態例では、選択文字特定プログラムPRは、文字領域における閉曲線の最上下左右点と文字領域の頂点とに基づいて、選択領域を生成する。しかしながら、この例に限定されるものではない。選択文字特定プログラムPRは、図13の(E)に示すように、閉曲線の最上下左右点に内接する内包領域と文字領域との重複領域を、選択領域E2−1として生成してもよい(図9のS22)。そして、選択文字特定プログラムPRは、表示文字列の各文字のうち、閉曲線に対応する領域と文字領域との重複領域E2−1の、文字領域EEにおける割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する(図9のS23、S24)。
図14は、閉曲線以外のストロークを示す4つの例(A)〜(D)を示す例図である。図14の(A)は、蛇行する曲線(波線)のストロークs11が入力された場合の例を示す。また、図14の(B)は、折れ線のストロークs12が入力された場合の例を示す。このように、ストロークは、曲線、または、折れ線であってもよい。閉曲線に加えて、曲線や折れ線のストロークが入力可能になることによって、ユーザは、より直感的な操作に基づいて、文字を選択することができる。
図15は、曲線または折れ線のストロークが入力された場合における、本実施の形態例における選択文字特定処理の詳細について説明する第1のフローチャート図である。図15のフローチャート図の処理は、図9の工程S22に対応する。
図18は、曲線または折れ線のストロークと選択領域の具体例について説明する例図である。図18の(A)(B)は、曲線または折れ線のストロークと選択領域の2つの事例を示す。
図18の(A)の例において、選択候補文字「天」について、ストロークs11が文字領域の上辺と交差しないため(図15のS62のNO)、ストロークs11の最上端の点a32の座標が記憶される(図15のS64)。また、ストロークs11が文字領域の下辺と交差するため(図15のS66のYES)、ストロークs11と文字領域との交差点a29の座標が記憶される(図15のS67)。また、ストロークs11が文字領域の左辺と交差しないため(図16のS72のNO)、ストロークs11の最左端の点a22の座標が記憶されると共に(図16のS74)、ストロークs11が文字領域の右辺と交差しないため(図16のS76のNO)、ストロークs11の最右端の点a30の座標が記憶される(図16のS78)。
図18の(B)における選択候補文字「天」について、ストロークs12上の上下左右点として、点b30、b22、b29が記憶される。そして、選択領域として、点b30、b22、b29、及び、文字領域の各頂点b21、b23、b28、b31に基づいて多角形B3−1が生成される。この例において、最下端の点b29は、頂点b23と頂点b28を結ぶ線分の延長上に位置するため、省略される。また、この例において、最上端の点b30と最右端の点b30とは同一の点であるため、例えば、頂点b31は直接、頂点b21に対して結び付けられる。また、選択候補文字「気」について、ストロークs12上の上下左右点として、点b29、b24、b27が記憶される。そして、選択領域として、点b29、b24、b27、及び、文字領域の各頂点b23、b25、b26、b28に基づいて多角形B3−2が生成される。この例において、最左端の点b24と最下端の点b24とは同一の点であるため、例えば、頂点a25は直接、頂点a26に対して結び付けられる。
図19は、複数のストロークが入力された場合における、本実施の形態例における選択文字特定処理の詳細について説明するフローチャート図である。図19のフローチャート図の処理は、図9の工程S22に対応する。
図20は、複数のストロークと選択領域の具体例について説明する例図である。図20の(A)(B)は、複数のストロークと選択領域の2つの事例を示す。
図20の(A)の例における選択候補文字「天」について、2つのストロークs13はそれぞれ文字領域の上辺と交差しないため(図19のS92のNO)、2つのストロークs13の最上端の点a51、a52の座標が記憶される(図19のS94)。また、2つのストロークs13が文字領域の下辺と交差するため(図19のS97のYES)、2つのストロークs13と文字領域の下辺との交差点a42、a49の座標が記憶される(図19のS98)。
図20の(B)の例における選択候補文字「天」について、2つのストロークs14がそれぞれ文字領域の上辺と交差しないため(図19のS92のNO)、2つのストロークs14の最上端の点b52、b50の座標が記憶される(図19のS94)。また、2つのストロークs14が文字領域の下辺と交差するため(図19のS97のYES)、2つのストロークs14と文字領域の下辺との交差点b42、b49の座標が記憶される(図19のS98)。そして、それぞれの上下点b52、b50、b42、b49、及び、文字領域の各頂点b41、b43、b48、b51に基づいて、多角形B4−1が選択領域として生成される。
図21は、選択領域の別の生成例について説明する図である。図21の(A)(B)は、曲線または折れ線のストロークと選択領域の2つの事例を示す。この例において、ストロークの外接矩形A5e、B5eが生成され、外接矩形A5e、B5eの頂点、または、外接矩形A5e、B5eと文字領域EEの辺との交差点、及び、文字領域EEの頂点に基づいて選択領域が生成される。
図21の(A)の例において、ストロークs11に外接する矩形A5eが生成される。そして、選択候補文字「天」について、外接矩形A5eの上辺の両端の点a61、a71と、外接矩形A5eと文字領域EEの辺との交差点a63、a69とが記憶される。そこで、外接矩形A5e上の各点a61、a71、a63、a69、及び、文字領域EEの各頂点a61、a64、a70、a72に基づいて、多角形A5−1が選択領域として生成される。また、選択候補文字「気」について、外接矩形A5eと文字領域EEの辺との交差点a63、a69と、外接矩形A5eと文字領域EEの辺との交差点a66、a67とが記憶される。そこで、外接矩形A5e上の各点a63、a69、a66、a67、及び、文字領域EEの各頂点a64、a65、a68、a70に基づいて、多角形A5−2が選択領域として生成される。
図21の(B)の例において、ストロークs12に外接する矩形B5eが生成される。そして、選択候補文字「天」について、外接矩形B5eの上辺の両端の点b62、b71と、外接矩形B5eと文字領域EEの辺との交差点b63、b70とが記憶される。そこで、外接矩形B5e上の各点b62、b71、b63、b70、及び、文字領域の各頂点b61、b64、b69、b72に基づいて、多角形B5−1が選択領域として生成される。また、選択候補文字「気」について、外接矩形B5eと文字領域EEの辺との交差点b63、b69と、外接矩形B5eの下辺の両端の点b65、b68とが記憶される。そこで、外接矩形B5e上の各点b63、b69、b65、b68、及び、文字領域の各頂点b64、b66、b67、b69に基づいて多角形B5−2が選択領域として生成される。
図6のフローチャート図で前述したとおり、選択文字特定プログラムPRは、選択文字特定処理(図6のS14)の後、例えば、選択文字の補正処理を行う(図6のS15)。具体的に、補正処理として、選択文字特定プログラムPRは、選択文字の先頭、または末尾に単語をなさない文字が含まれるとき、例えば、当該単語をなさない文字を除外する。
図23は、選択文字特定処理の変形例について説明する図である。選択文字特定プログラムPRは、例えば、文字に加えて、表やグラフや図等のオブジェクトに対して、本実施の形態例における選択文字特定処理を適用してもよい。この場合、選択文字特定プログラムPRは、図23に示すように、表示対象の表Ob1や図Ob2それぞれについて、表示領域(文字領域に対応)EF1、EF2を検出する。そして、選択文字特定プログラムPRは、ストロークs20、及び、表示領域EF1、EF2に基づいて、選択オブジェクトの特定処理を行う。
画面上に表示される表示文字列からユーザによって指示された文字を選択する選択文字特定処理を実行させるプロセッサ読み取り可能な選択文字特定プログラムにおいて、
前記選択文字特定処理は、
前記表示文字列の先頭文字の位置、各文字の文字サイズ、行間を含む文字列表示情報に基づいて、前記表示文字列の各文字について当該文字が表示される領域を示す文字領域を検出する文字領域検出工程と、
ユーザ操作に基づいて前記画面上に指定される閉曲線のストロークを特定するストローク特定工程と、
前記閉曲線のストロークと重複する前記表示文字列の各文字のうち、前記文字領域における前記閉曲線のストローク上の最上下左右点に基づく選択領域の前記文字領域に対する面積の割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する選択文字特定工程と、を有する選択文字特定プログラム。
付記1において、
前記選択領域は、前記ストローク上の最上下左右点を結ぶ多角形と前記文字領域との重複領域である選択文字特定プログラム。
付記1において、
前記選択領域は、前記ストローク上の最上下左右点に内接する内包領域と、前記文字領域との重複領域である選択文字特定プログラム。
画面上に表示される表示文字列からユーザによって選択された文字を検出する選択文字特定処理を実行させるプロセッサ読み取り可能な選択文字特定プログラムにおいて、
前記選択文字特定処理は、
前記表示文字列の、先頭文字の位置、各文字の文字サイズ、行間を含む文字列表示情報に基づいて、前記表示文字列の各文字について当該文字が表示される領域を示す文字領域を検出する文字領域検出工程と、
ユーザ操作に基づいて前記画面上に指定される1つまたは複数のストロークを特定するストローク特定工程と、
前記1つまたは複数のストロークと重複する前記表示文字列の各文字のうち、前記文字領域における前記1つまたは複数のストローク上の最上下左右点に基づく選択領域の前記文字領域に対する面積の割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する選択文字特定工程と、を有する選択文字特定プログラム。
付記4において、
前記ストロークは、曲線、折れ線、直線のいずれかであって、
前記選択領域は、前記ストローク上の最上下左右点と前記文字領域の各頂点とを結ぶ多角形領域と前記文字領域との重複領域である選択文字特定プログラム。
付記4において、
前記ストロークは、曲線、折れ線、直線のいずれかであって、
前記選択領域は、前記ストローク上の最上下左右点の外接矩形領域と前記文字領域の各頂点とを結ぶ多角形領域と、前記文字領域との重複領域である選択文字特定プログラム。
付記4において、
前記ストロークは、曲線、折れ線、直線のいずれかであって、
前記選択領域は、前記ストローク上の最上下左右点の外接矩形領域と前記文字領域との重複領域である選択文字特定プログラム。
付記1乃至7のいずれかにおいて、
前記選択文字特定処理は、さらに、
前記選択文字特定工程において特定された前記選択候補文字を形態素解析に基づいて単語に区分し、前記選択文字の先頭、または、最後尾における前記単語をなさない1つまたは複数の文字を、前記選択文字から除外する選択文字補正工程と、を有する選択文字特定プログラム。
付記1乃至8のいずれかにおいて、
前記表示文字列は修飾文字を含み、
前記文字列表示情報は、さらに、前記修飾文字の位置及び文字サイズ、行間を含み、
前記文字領域検出工程では、前記修飾文字を含む前記表示文字列の各文字について、前記文字領域を検出する選択文字特定プログラム。
付記9において、
前記修飾文字は、文字サイズが拡縮された文字、ルビが付加された文字のいずれかまたは両方である選択文字特定プログラム。
画面上に表示される表示文字列からユーザによって指示された文字を選択する選択文字特定装置であって、
前記表示文字列の先頭文字の位置、各文字の文字サイズ、行間を含む文字列表示情報に基づいて、前記表示文字列の各文字について当該文字が表示される領域を示す文字領域を検出する文字領域検出手段と、
ユーザ操作に基づいて前記画面上に指定される閉曲線のストロークを特定するストローク特定手段と、
前記閉曲線のストロークと重複する前記表示文字列の各文字のうち、前記文字領域における前記閉曲線のストローク上の最上下左右点に基づく選択領域の前記文字領域に対する面積の割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する文字特定手段と、を有する選択文字特定装置。
画面上に表示される表示文字列からユーザによって指示された文字を選択する選択文字特定装置であって、
前記表示文字列の、先頭文字の位置、各文字の文字サイズ、行間を含む文字列表示情報に基づいて、前記表示文字列の各文字について当該文字が表示される領域を示す文字領域を検出する文字領域検出手段と、
ユーザ操作に基づいて前記画面上に指定される1つまたは複数のストロークを特定するストローク特定手段と、
前記1つまたは複数のストロークと重複する前記表示文字列の各文字のうち、前記文字領域における前記1つまたは複数のストローク上の最上下左右点に基づく選択領域の前記文字領域に対する面積の割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する文字特定手段と、を有する選択文字特定装置。
画面上に表示される表示文字列からユーザによって指示された文字を選択する選択文字特定方法であって、
前記表示文字列の先頭文字の位置、各文字の文字サイズ、行間を含む文字列表示情報に基づいて、前記表示文字列の各文字について当該文字が表示される領域を示す文字領域を検出する文字領域検出工程と、
ユーザ操作に基づいて前記画面上に指定される閉曲線のストロークを特定するストローク特定工程と、
前記閉曲線のストロークと重複する前記表示文字列の各文字のうち、前記文字領域における前記閉曲線のストローク上の最上下左右点に基づく選択領域の前記文字領域に対する面積の割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する選択文字特定工程と、を有する選択文字特定方法。
画面上に表示される表示文字列からユーザによって指示された文字を選択する選択文字特定方法であって、
前記表示文字列の、先頭文字の位置、各文字の文字サイズ、行間を含む文字列表示情報に基づいて、前記表示文字列の各文字について当該文字が表示される領域を示す文字領域を検出する文字領域検出工程と、
ユーザ操作に基づいて前記画面上に指定される1つまたは複数のストロークを特定するストローク特定工程と、
前記1つまたは複数のストロークと重複する前記表示文字列の各文字のうち、前記文字領域における前記1つまたは複数のストローク上の最上下左右点に基づく選択領域の前記文字領域に対する面積の割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する選択文字特定工程と、を有する選択文字特定方法。
Claims (12)
- コンピュータに、
画面上に表示される表示文字列の先頭文字の位置、各文字の文字サイズ、行間を含む文字列表示情報に基づいて、前記表示文字列の各文字について当該文字が表示される領域を示す文字領域を検出する文字領域検出工程と、
入力された操作内容に基づいて前記画面上に指定される閉曲線のストロークを特定するストローク特定工程と、
前記閉曲線のストロークと重複する前記表示文字列の各文字のうち、前記文字領域の矩形の辺が前記閉曲線のストロークと交差する場合はその交差点、前記閉曲線のストロークが前記文字領域の矩形の辺の外側に位置する場合は前記辺の両端、前記文字領域の辺の内側に位置する場合は当該辺の内側の前記閉曲線のストロークの最上下左右点をそれぞれ結ぶ多角形の選択領域の前記文字領域に対する面積の割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する選択文字特定工程と、を有する処理を実行させるコンピュータ読み取り可能な選択文字特定プログラム。 - コンピュータに、
画面上に表示される表示文字列の、先頭文字の位置、各文字の文字サイズ、行間を含む文字列表示情報に基づいて、前記表示文字列の各文字について当該文字が表示される領域を示す文字領域を検出する文字領域検出工程と、
入力された操作内容に基づいて前記画面上に指定される曲線、折れ線、直線のいずれかのストロークを特定するストローク特定工程と、
前記ストロークと重複する前記表示文字列の各文字のうち、前記文字領域における前記ストローク上の最上下左右点と前記文字領域の各頂点とを結ぶ多角形領域と前記文字領域との重複領域である選択領域の前記文字領域に対する面積の割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する選択文字特定工程と、を有する処理を実行させるコンピュータ読み取り可能な選択文字特定プログラム。 - コンピュータに、
画面上に表示される表示文字列の、先頭文字の位置、各文字の文字サイズ、行間を含む文字列表示情報に基づいて、前記表示文字列の各文字について当該文字が表示される領域を示す文字領域を検出する文字領域検出工程と、
入力された操作内容に基づいて前記画面上に指定される曲線、折れ線、直線のいずれかのストロークを特定するストローク特定工程と、
前記ストロークと重複する前記表示文字列の各文字のうち、前記文字領域における前記ストローク上の最上下左右点の外接矩形領域と前記文字領域の各頂点とを結ぶ多角形領域と、前記文字領域との重複領域である選択領域の前記文字領域に対する面積の割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する選択文字特定工程と、を有する処理を実行させるコンピュータ読み取り可能な選択文字特定プログラム。 - 請求項1乃至3のいずれかにおいて、
前記処理は、さらに、
前記選択文字特定工程において特定された前記選択文字を形態素解析に基づいて単語に区分し、前記選択文字の先頭、または、最後尾における前記単語をなさない1つまたは複数の文字を、前記選択文字から除外する選択文字補正工程と、を有する選択文字特定プログラム。 - 請求項1乃至4のいずれかにおいて、
前記表示文字列は修飾文字を含み、
前記文字列表示情報は、さらに、前記修飾文字の位置及び文字サイズ、行間を含み、
前記文字領域検出工程では、前記修飾文字を含む前記表示文字列の各文字について、前記文字領域を検出する選択文字特定プログラム。 - 請求項5において、
前記修飾文字は、文字サイズが拡縮された文字、ルビが付加された文字のいずれかまたは両方である選択文字特定プログラム。 - 画面上に表示される表示文字列の先頭文字の位置、各文字の文字サイズ、行間を含む文字列表示情報に基づいて、前記表示文字列の各文字について当該文字が表示される領域を示す文字領域を検出する文字領域検出手段と、
入力された操作内容に基づいて前記画面上に指定される閉曲線のストロークを特定するストローク特定手段と、
前記閉曲線のストロークと重複する前記表示文字列の各文字のうち、前記文字領域の矩形の辺が前記閉曲線のストロークと交差する場合はその交差点、前記閉曲線のストロークが前記文字領域の矩形の辺の外側に位置する場合は前記辺の両端、前記文字領域の辺の内側に位置する場合は当該辺の内側の前記閉曲線のストロークの最上下左右点をそれぞれ結ぶ多角形の選択領域の前記文字領域に対する面積の割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する文字特定手段と、を有する選択文字特定装置。 - 画面上に表示される表示文字列の、先頭文字の位置、各文字の文字サイズ、行間を含む文字列表示情報に基づいて、前記表示文字列の各文字について当該文字が表示される領域を示す文字領域を検出する文字領域検出手段と、
入力された操作内容に基づいて前記画面上に指定される曲線、折れ線、直線のいずれかのストロークを特定するストローク特定手段と、
前記ストロークと重複する前記表示文字列の各文字のうち、前記文字領域における前記ストローク上の最上下左右点と前記文字領域の各頂点とを結ぶ多角形領域と前記文字領域との重複領域である選択領域の前記文字領域に対する面積の割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する文字特定手段と、を有する選択文字特定装置。 - 画面上に表示される表示文字列の、先頭文字の位置、各文字の文字サイズ、行間を含む文字列表示情報に基づいて、前記表示文字列の各文字について当該文字が表示される領域を示す文字領域を検出する文字領域検出手段と、
入力された操作内容に基づいて前記画面上に指定される曲線、折れ線、直線のいずれかのストロークを特定するストローク特定手段と、
前記ストロークと重複する前記表示文字列の各文字のうち、前記文字領域における前記ストローク上の最上下左右点の外接矩形領域と前記文字領域の各頂点とを結ぶ多角形領域と、前記文字領域との重複領域である選択領域の前記文字領域に対する面積の割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する文字特定手段と、を有する選択文字特定装置。 - 画面上に表示される表示文字列の先頭文字の位置、各文字の文字サイズ、行間を含む文字列表示情報に基づいて、前記表示文字列の各文字について当該文字が表示される領域を示す文字領域を検出する文字領域検出工程と、
入力された操作内容に基づいて前記画面上に指定される閉曲線のストロークを特定するストローク特定工程と、
前記閉曲線のストロークと重複する前記表示文字列の各文字のうち、前記文字領域の矩形の辺が前記閉曲線のストロークと交差する場合はその交差点、前記閉曲線のストロークが前記文字領域の矩形の辺の外側に位置する場合は前記辺の両端、前記文字領域の辺の内側に位置する場合は当該辺の内側の前記閉曲線のストロークの最上下左右点をそれぞれ結ぶ多角形の選択領域の前記文字領域に対する面積の割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する選択文字特定工程と、を有する選択文字特定方法。 - 画面上に表示される表示文字列の、先頭文字の位置、各文字の文字サイズ、行間を含む文字列表示情報に基づいて、前記表示文字列の各文字について当該文字が表示される領域を示す文字領域を検出する文字領域検出工程と、
入力された操作内容に基づいて前記画面上に指定される曲線、折れ線、直線のいずれかのストロークを特定するストローク特定工程と、
前記ストロークと重複する前記表示文字列の各文字のうち、前記文字領域における前記ストローク上の最上下左右点と前記文字領域の各頂点とを結ぶ多角形領域と前記文字領域との重複領域である選択領域の前記文字領域に対する面積の割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する選択文字特定工程と、を有する選択文字特定方法。 - 画面上に表示される表示文字列の、先頭文字の位置、各文字の文字サイズ、行間を含む文字列表示情報に基づいて、前記表示文字列の各文字について当該文字が表示される領域を示す文字領域を検出する文字領域検出工程と、
入力された操作内容に基づいて前記画面上に指定される曲線、折れ線、直線のいずれかのストロークを特定するストローク特定工程と、
前記ストロークと重複する前記表示文字列の各文字のうち、前記文字領域における前記ストローク上の最上下左右点の外接矩形領域と前記文字領域の各頂点とを結ぶ多角形領域と、前記文字領域との重複領域である選択領域の前記文字領域に対する面積の割合が閾値を超える、1つまたは連続した複数の文字を選択文字として特定する選択文字特定工程と、を有する選択文字特定方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013156560A JP6201488B2 (ja) | 2013-07-29 | 2013-07-29 | 選択文字特定プログラム、選択文字特定方法、及び、選択文字特定装置 |
US14/332,817 US9632691B2 (en) | 2013-07-29 | 2014-07-16 | Non-transitory computer-readable medium storing selected character specification program, selected character specification method, and selected character specification device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013156560A JP6201488B2 (ja) | 2013-07-29 | 2013-07-29 | 選択文字特定プログラム、選択文字特定方法、及び、選択文字特定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015026307A JP2015026307A (ja) | 2015-02-05 |
JP6201488B2 true JP6201488B2 (ja) | 2017-09-27 |
Family
ID=52391596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013156560A Active JP6201488B2 (ja) | 2013-07-29 | 2013-07-29 | 選択文字特定プログラム、選択文字特定方法、及び、選択文字特定装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9632691B2 (ja) |
JP (1) | JP6201488B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10395126B2 (en) * | 2015-08-11 | 2019-08-27 | Honda Motor Co., Ltd. | Sign based localization |
CN106649213B (zh) * | 2016-09-22 | 2019-08-20 | 深圳万兴信息科技股份有限公司 | 一种文档中空格识别方法及系统 |
WO2020115907A1 (ja) * | 2018-12-07 | 2020-06-11 | 三菱電機株式会社 | 入力表示制御装置、入力表示制御方法及び入力表示システム |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5583946A (en) * | 1993-09-30 | 1996-12-10 | Apple Computer, Inc. | Method and apparatus for recognizing gestures on a computer system |
JPH07160827A (ja) * | 1993-12-09 | 1995-06-23 | Matsushita Electric Ind Co Ltd | 手書きストローク編集装置及び方法 |
JP3460339B2 (ja) * | 1994-11-18 | 2003-10-27 | 松下電器産業株式会社 | 対象選択装置及び方法 |
JPH09231393A (ja) * | 1996-02-23 | 1997-09-05 | Fuji Xerox Co Ltd | 命令入力装置 |
US7793824B2 (en) * | 1999-05-25 | 2010-09-14 | Silverbrook Research Pty Ltd | System for enabling access to information |
JP2001255867A (ja) | 1999-12-24 | 2001-09-21 | Matsushita Electric Ind Co Ltd | 任意のデータ構造のフォントデータを用いた文字列の描画を可能にする文字列描画装置及び文字列描画方法 |
US6661416B2 (en) | 1999-12-24 | 2003-12-09 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for drawing character sequence using font data with any data structure |
US7259753B2 (en) * | 2000-06-21 | 2007-08-21 | Microsoft Corporation | Classifying, anchoring, and transforming ink |
US6903751B2 (en) * | 2002-03-22 | 2005-06-07 | Xerox Corporation | System and method for editing electronic images |
US8166388B2 (en) * | 2002-05-14 | 2012-04-24 | Microsoft Corporation | Overlaying electronic ink |
US7299424B2 (en) * | 2002-05-14 | 2007-11-20 | Microsoft Corporation | Lasso select |
US7812860B2 (en) * | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
US7574048B2 (en) * | 2004-09-03 | 2009-08-11 | Microsoft Corporation | Freeform digital ink annotation recognition |
US7551779B2 (en) * | 2005-03-17 | 2009-06-23 | Microsoft Corporation | Word or character boundary-based scratch-out gesture recognition |
US8643605B2 (en) * | 2005-11-21 | 2014-02-04 | Core Wireless Licensing S.A.R.L | Gesture based document editor |
US8539349B1 (en) * | 2006-10-31 | 2013-09-17 | Hewlett-Packard Development Company, L.P. | Methods and systems for splitting a chinese character sequence into word segments |
JP5582563B2 (ja) | 2007-12-12 | 2014-09-03 | 健治 吉田 | 情報入力装置、情報処理装置、情報入力システム、情報処理システム、2次元書式情報サーバ、情報入力方法、制御プログラム、および記録媒体 |
JP5168084B2 (ja) | 2008-10-28 | 2013-03-21 | 株式会社リコー | 画像処理装置、プログラムおよび画像処理方法 |
JP5217960B2 (ja) | 2008-11-26 | 2013-06-19 | 株式会社リコー | 画像処理装置、画像処理方法、及びプログラム |
JP5280337B2 (ja) | 2009-11-18 | 2013-09-04 | 株式会社神戸製鋼所 | 文字認識方法及び文字認識装置 |
JP5573457B2 (ja) * | 2010-07-23 | 2014-08-20 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP5780726B2 (ja) * | 2010-09-14 | 2015-09-16 | シャープ株式会社 | 段組み処理装置、段組み処理方法、段組み処理プログラムおよびコンピュータ読み取り可能な記録媒体、ならびに、コンテンツ表示装置 |
US20120096345A1 (en) * | 2010-10-19 | 2012-04-19 | Google Inc. | Resizing of gesture-created markings for different display sizes |
JP5144736B2 (ja) | 2010-11-10 | 2013-02-13 | シャープ株式会社 | 文書生成装置、文書生成方法、コンピュータプログラムおよび記録媒体 |
JP5811435B2 (ja) | 2011-04-12 | 2015-11-11 | コニカミノルタ株式会社 | 表示装置及び表示制御プログラム |
JP5107453B1 (ja) * | 2011-08-11 | 2012-12-26 | シャープ株式会社 | 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体 |
-
2013
- 2013-07-29 JP JP2013156560A patent/JP6201488B2/ja active Active
-
2014
- 2014-07-16 US US14/332,817 patent/US9632691B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20150033185A1 (en) | 2015-01-29 |
US9632691B2 (en) | 2017-04-25 |
JP2015026307A (ja) | 2015-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10360473B2 (en) | User interface creation from screenshots | |
US10489051B2 (en) | Handwriting input apparatus and control method thereof | |
US5517578A (en) | Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings | |
US9824266B2 (en) | Handwriting input apparatus and control method thereof | |
JP7388645B2 (ja) | グラフィックオブジェクトを選択するための方法及び対応するデバイス | |
KR102075433B1 (ko) | 필기 입력 장치 및 그 제어 방법 | |
US10042539B2 (en) | Dynamic text control for mobile devices | |
US10346681B2 (en) | Method and computing device for optically recognizing mathematical expressions | |
US10319129B2 (en) | Snapping line generation | |
US20140184610A1 (en) | Shaping device and shaping method | |
US11080464B2 (en) | Correction techniques of overlapping digital glyphs | |
US20150035778A1 (en) | Display control device, display control method, and computer program product | |
US10613725B2 (en) | Fixing spaced relationships between graphic objects | |
JP6201488B2 (ja) | 選択文字特定プログラム、選択文字特定方法、及び、選択文字特定装置 | |
US11429259B2 (en) | System and method for selecting and editing handwriting input elements | |
US10127704B2 (en) | Information processing device, program, and recording medium | |
JPWO2015040740A1 (ja) | 電子機器および方法 | |
US9213475B2 (en) | Information processing apparatus, program, and information processing method for representing correlation of parameters within objects | |
JP6918252B2 (ja) | インクデータ生成装置、方法及びプログラム | |
US12045556B2 (en) | Document layout management | |
US20150016725A1 (en) | Retrieval method and electronic apparatus | |
JP2023047180A (ja) | 情報処理装置、及び情報処理プログラム | |
JP2015075956A (ja) | 手書き入力受付装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170814 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6201488 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |