WO2017029737A1 - 文字列選択方法、プログラム及び情報処理装置 - Google Patents

文字列選択方法、プログラム及び情報処理装置 Download PDF

Info

Publication number
WO2017029737A1
WO2017029737A1 PCT/JP2015/073278 JP2015073278W WO2017029737A1 WO 2017029737 A1 WO2017029737 A1 WO 2017029737A1 JP 2015073278 W JP2015073278 W JP 2015073278W WO 2017029737 A1 WO2017029737 A1 WO 2017029737A1
Authority
WO
WIPO (PCT)
Prior art keywords
character string
display unit
character
rectangle
image
Prior art date
Application number
PCT/JP2015/073278
Other languages
English (en)
French (fr)
Inventor
田中　宏
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2015/073278 priority Critical patent/WO2017029737A1/ja
Priority to JP2017535199A priority patent/JPWO2017029737A1/ja
Publication of WO2017029737A1 publication Critical patent/WO2017029737A1/ja
Priority to US15/890,535 priority patent/US20180164985A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Definitions

  • the disclosed technology relates to a character string selection method, a program, and an information processing apparatus.
  • a character string is extracted from the periphery of a selected point, and this character string is included in a vertical writing line (vertical line) or included in a horizontal writing line (horizontal line). It is determined whether it is a character string to be displayed. Next, a character string is searched based on whether it is a vertical row or a horizontal row, and an area surrounding the character string is generated from the searched character string.
  • An object of the present invention is, as one aspect, to facilitate the accurate selection of a character string intended by a user.
  • the first character string including the first character string is displayed.
  • An enlarged image obtained by enlarging the character string image is displayed on the second display unit.
  • the third character string including the designated second character string is selected from the image displayed on the first display unit To do.
  • a smart device will be described as an example of an information processing apparatus according to the disclosed technology, but the present embodiment is not limited to this.
  • This embodiment can be applied to various information processing apparatuses such as a tablet computer, a mobile phone, and an electronic dictionary.
  • a smart device 10 is shown in FIG.
  • the smart device 10 includes, for example, a first display unit 12, a second display unit 14, a first character string selection unit 16, and a second character string selection unit 18.
  • the 1st display part 12, the 2nd display part 14, the 1st character string selection part 16, and the 2nd character string selection part 18 are mutually connected.
  • the first display unit 12 displays an image including a character image.
  • the second display unit 14 displays an enlarged image obtained by enlarging the first character string image including the first character string.
  • the second character string selection unit 18, which is an example of a character string selection unit, displays an image displayed on the first display unit when the second character string included in the enlarged image displayed on the second display unit is designated. Then, the third character string including the designated second character string is selected.
  • the smart device 10 includes a CPU (Central Processing Unit) 21, a primary storage unit 23, a secondary storage unit 24, an external interface 25, and a touch panel display 22, as shown in FIG.
  • the CPU 21, the primary storage unit 23, the secondary storage unit 24, the external interface 25, and the touch panel display 22 are connected to each other via a bus 26.
  • the touch panel display 22 includes a touch panel 22A and a display 22B.
  • the touch panel 22A detects information input by the user, and the display 22B displays information to be presented to the user.
  • the display 22B is an example of the first display unit 12 and the second display unit 14 in FIG.
  • An external device is connected to the external interface 25 and controls transmission / reception of various types of information between the external device and the CPU 21.
  • the primary storage unit 23 is a volatile memory such as a RAM (Random Access Memory).
  • the secondary storage unit 24 is a nonvolatile memory such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the secondary storage unit 24 stores, for example, a character string selection program 24A.
  • the CPU 21 reads the character string selection program 24A from the secondary storage unit 24 and develops it in the primary storage unit 23.
  • the CPU 21 operates as the first character string selection unit 16 and the second character string selection unit 18 illustrated in FIG. 1 by executing the character string selection program 24A.
  • FIG. 3 shows an example of a character string selection process performed by the smart device 10.
  • step 101 the CPU 21 executes a first character string selection process whose details are shown in FIG. 4, and in step 102, a second character string selection process whose details are shown in FIG. 11 is executed.
  • a character string is roughly selected from the image displayed on the first display unit that performs normal display in the first character string selection process, and enlarged display is performed in the second character string selection process. 2.
  • a character string is accurately selected from the image displayed on the display unit.
  • step 111 the CPU 21 determines whether or not designation of an initial character string that is an example of the first character string is started on the normal display unit 198 that is an example of the first display unit.
  • CPU21 repeats the determination process of step 111 until determination of step 111 is affirmed. For example, when detecting that an indicator such as a finger has touched the touch panel display 22, the CPU 21 determines that the designation of the initial character string has started.
  • step 112 determines in step 112 whether or not the designation of the initial character string has been completed.
  • CPU21 repeats the process of step 112 until determination of step 112 is affirmed. For example, when detecting that the indicator has left the touch panel display 22, the CPU 21 determines that the character string designation has been completed.
  • FIG. 6 illustrates a start point 123 that is a point at which the indicator first touches the touch panel display 22 and an end point 124 that is a point at which the indicator is separated from the touch panel display 22.
  • a broken line is a locus 125 in which the indicator moves while contacting the touch panel display 22 and traces the touch panel display 22.
  • CPU 21 extracts an initial character string in step 113. Specifically, as illustrated in FIG. 7, a character rectangle 132 that surrounds and circumscribes each character superimposed on the trajectory 125 is extracted for each character. Next, as illustrated in FIG. 8, a character string included in one character string rectangle 133 including all the extracted character rectangles 132 is extracted as an initial character string. In this example, the initial character string is “XAMPLE”.
  • the CPU 21 determines a reference character size S of each character included in the extracted initial character string.
  • the reference character size S is determined by the following formula (1), for example. ... (1)
  • h i is the height of the i-th character rectangle 132
  • w i is the width of the i-th character rectangle 132
  • N is the number of character rectangles 132
  • i 1, 2, 3 , ..., N. Therefore, the reference character size S is an average value of the longer one of the height and width of each character rectangle 132.
  • the present embodiment is not limited to the average value.
  • the reference character size S is, for example, the length of each of the N character rectangles 132 having the longer one of the height and width of each character rectangle 132. May be the maximum value.
  • step 115 the CPU 21 expands the character string rectangle 133, which is an example of the initial character string rectangle, and generates a first character string rectangle 134.
  • the width of the character string rectangle 133 is expanded by 3 ⁇ S immediately before and immediately after the character string included in the character string rectangle 133, and the height of the character string rectangle 133 is increased vertically by 0.5 ⁇ . Expand by S.
  • the first character string rectangle 134 may be generated by extending so that at least one character is added immediately before and immediately after the character string included in the character string rectangle 133.
  • the width of the character string rectangle 133 may be expanded by 4 ⁇ S immediately before and after the character string included in the character string rectangle 133, or immediately before and immediately after the character string included in the character string rectangle 133.
  • the width of the character string rectangle 133 may be expanded by a predetermined number of pixels, for example, 30 pixels.
  • the first character string rectangle 134 may be generated by expanding to include a first character string in which at least one character is added only before or immediately after the character string included in the character string rectangle 133. Good. Further, the width and height of the character string rectangle 133 need not be expanded. FIG. 9 illustrates a first character string rectangle 134 generated by expanding the width and height of the character string rectangle 133.
  • the amount of expansion from the character string rectangle 133 to the first character string rectangle 134 based on the tracing speed of the indicator of the trajectory 125 that is, the moving speed when the indicator moves while touching the touch panel display 22.
  • the expansion amount is increased as the tracing speed by the indicator is higher. This is because the higher the tracing speed, the higher the possibility that the character string intended by the user is generally not specified.
  • step 117 the CPU 21 displays the first character string enlarged image 142 illustrated in FIG. 10 on the enlarged display unit 199 which is an example of the second display unit.
  • the enlargement ratio R from the first character string rectangle 134 for generating the first character string enlarged image 142 to the first character string enlarged image 142 is determined by the following equation (2).
  • R M / S (2)
  • M is the character size of characters included in the first character string enlarged image 142.
  • M is set in advance to an arbitrary character size.
  • step 151 the CPU 21 determines whether or not character string designation has been started on the enlarged display unit 199. The determination in step 151 is repeated until the determination in step 151 is affirmed. For example, when detecting that the indicator has touched the touch panel display 22, the CPU 21 determines that the designation of the character string of the first character string enlarged image 142 has started.
  • step 151 determines in step 151 whether or not the character string designation has been completed.
  • step 152 is repeated until the determination in step 152 is affirmed. For example, when detecting that the indicator has left the touch panel display 22, the CPU 21 determines that the character string designation has been completed.
  • FIG. 12 illustrates a start point 161 that is a point at which the indicator is in contact with the touch panel display 22 and an end point 162 that is a point at which the indicator is away from the touch panel display 22.
  • a broken line is a locus 163 that moves while the indicator is in contact with the touch panel display 22 and traces the touch panel display 22.
  • the locus 163 is an example of designation of the second character string.
  • step 152 determines in step 153 each of the second positions that are a plurality of points included in the locus 163 illustrated in FIG. 12 on the enlarged display unit 199 illustrated in FIG.
  • the coordinates are converted into the coordinates of the first position on the normal display unit 198.
  • the designation of the character string by the indicator is performed in the enlarged display unit 199 whose character size is enlarged and easy to specify, but the designated character string exists in the normal display unit 198.
  • the coordinate conversion is performed by, for example, the following expressions (3-1) and (3-2).
  • x X / R + x0 (3-1)
  • y Y / R + y0 (3-2)
  • the second position 172 (X, Y) has the position 171 as the origin (0, 0), and the first position (x, y) corresponding to the second position 172 has the position 173 as the origin (x0). , Y0).
  • R indicates an enlargement ratio from the first character string rectangle 134 to the first character string enlarged image 142.
  • the locus corresponding to the locus 163 may be displayed in a transparent color, for example, based on the converted coordinates of the second position 172.
  • step 155 the CPU 21 selects the second character string in the same manner as in step 113 of FIG.
  • step 155 the character string including the character included in the character rectangle superimposed on the locus on the normal display unit 198 corresponding to the locus 163 acquired in step 153 is selected as the second character string.
  • “EXAMPLES” is selected as the second character string.
  • the selected second character string can be converted into text by an existing character recognition method, pasted on the clipboard, and pasted in any application.
  • the processing for selecting a character string from the image 121 has been illustrated, but the present embodiment is not limited to this.
  • it can be used for a document displayed by a word processor application. In this case, it is not necessary to convert the second character string into text by an existing character recognition method.
  • the character string is horizontal is illustrated, but the present embodiment is not limited to this.
  • the character string may be a vertical line.
  • the character string is English is exemplified, but the present embodiment is not limited to this.
  • the character string may be in Japanese.
  • the initial selection character string is one line, but the present embodiment is not limited to this.
  • the initial selection character string may be two or more lines.
  • a plurality of enlarged display portions 199 may exist for each row.
  • the enlarged display unit 199 is displayed at the bottom of the screen of the touch panel 22 .
  • the present embodiment is not limited to this.
  • the enlarged display unit 199 may be displayed at an arbitrary position on the screen of the touch panel 22.
  • the indicator may be a touch pen, or the character string may be specified by touching the upper left corner and lower right corner of a rectangle surrounding the character string.
  • the first character string obtained by expanding the initial character string designated by the user on the normal display unit 198 back and forth is enlarged and displayed on the enlarged display unit 199, and the character string designated by the user on the enlarged display unit 199 is displayed.
  • the character string of the corresponding normal display part 198 is selected as a 2nd character string.
  • a technique for specifying a character string there is a technique for displaying an enlarged display part on a part of a screen and displaying an enlarged character string on the enlarged display part. This is performed using an indicator on a normal display unit that is not an enlarged display unit. Since the enlarged display part that displays the enlarged character string for easy visual recognition by the user and the normal display part for character string designation are separated, the user's recognition is shifted, and the character string designation is Have difficulty.
  • the character string is designated twice in each of the first character string selection process and the second character string selection process.
  • the first selection may be a rough selection, and the second selection can be made directly on the enlarged display, so the user is not required to be highly attentive.
  • step 117 in FIG. 4 is replaced with steps 181, 117, and 182 in FIG. 14A.
  • step 181 the CPU 21 determines whether or not the width 201 of the first character string enlarged image 142 exceeds the screen width 202. If the determination is negative, the process of step 117 described in the first embodiment is executed. On the other hand, if the determination is affirmative, the CPU 12 divides and displays the first character string enlarged image 142 on the enlarged display unit 199 as illustrated in FIG. 15B in step 182.
  • the head portion 142A and the tail portion 142B of the first character string enlarged image 142 are displayed on the extended display portion 199, and the portion between the head portion 142A and the tail portion 142B is not displayed.
  • the second character string designation in the second character string selection process it is important to increase the accuracy of designation of the character strings of the head portion 142A and the tail portion 142B of the character string which is an example of the extended character string.
  • an enlarged image corresponding to the first length L ⁇ S portion of the first character string is included in the first portion 142A
  • an enlarged image corresponding to the last length L ⁇ S portion is included in the last portion 142B.
  • S is the reference character size described above.
  • L may be any integer from 2 to 4, but is not limited to any integer from 2 to 4, and may be an integer of 5 or more.
  • FIG. 14B illustrates the second character string selection process.
  • the CPU 21 determines whether or not the first character string enlarged image 142 is divided and displayed. If the determination is negative, the process proceeds to step 151. Since the processing from step 151 to step 155 is the same as that of the first embodiment, description thereof is omitted.
  • step 191 the CPU 21 cancels the selection of the head portion 142A and the tail portion 142B of the first character string enlarged image 142 in step 192.
  • “2.EXAMPLES OF WRITEING” is selected as the first character string as illustrated in FIG. 15A
  • “2.EX” is included in the leading portion 142A as illustrated in FIG. 15B.
  • “TING” is included in the tail portion 142B. In this case, the selection as the first character string of “2.EX” and “TING” is canceled, and only “AMPLES OF WRI” is selected as the first character string.
  • step 193 the CPU 21 determines whether or not the character string designation is started on the enlarged display unit 199. The determination in step 193 is repeated until the determination in step 193 is affirmed. For example, when it is detected that the indicator first touches the touch panel display 22, the CPU 21 determines that the designation of the enlarged character string has started.
  • step 194 determines in step 194 whether or not the character string designation has been completed on the enlarged display unit 199. The determination in step 194 is repeated until the determination in step 194 is affirmed. For example, when detecting that the indicator has left the touch panel display 22, the CPU 21 determines that the character string designation has been completed.
  • FIG. 15C illustrates a start point 203 that is a point at which the indicator contacts the touch panel display 22 and an end point 204 that is a point at which the indicator is separated from the touch panel display 22.
  • a broken line is a locus 205 in which the indicator traces the touch panel display 22.
  • step 195 the CPU 21 displays the coordinates of each of the second positions, which are a plurality of points included in the trajectory 205 designating the character string on the enlarged display unit 199, in the normal display unit. Convert to the coordinates of each of the first positions on 198. Specifically, the coordinates of the second position included in each of the trajectory 205A included in the head portion 142A and the trajectory 205B included in the tail portion 142B illustrated in FIG. To each coordinate of. The designation of the character string is performed in the enlarged display unit 199 that is easy to designate because the character size is enlarged, but the designated character string exists in the normal display unit 198.
  • the coordinate conversion is performed by, for example, the following equations (4-1) to (4-4).
  • x X / R + x0 (4-1)
  • y Y / R + y0 (4-2)
  • z Z / R + z0 (4-3)
  • u U / R + u0 (4-4)
  • the second position 172A (X, Y) illustrated in FIG. 16 has the position 171A as the origin (0, 0), and the second position 172B (Z, U) has the position 171B as the origin (0, 0). ).
  • the first position 174A (x, y) corresponding to the second position 172A has the position 173A (x0, y0) as the origin, and the first position 174B (z, u) corresponding to the second position 172B.
  • R indicates an enlargement ratio from the first character string rectangle 134 to the first character string enlarged image 142.
  • step 197 the CPU 21 selects the first part and the last part of the second character string in the same manner as in step 113 of FIG.
  • step 197 the character string including the character included in the character rectangle overlapped with the trajectory on the normal display unit 198 corresponding to the trajectory 205A and the trajectory 205B acquired in step 195 is changed to the head part and the tail part of the second character string. Select as part. In this example, “EX” is selected as the head portion of the second character string, and “TING” is selected as the tail portion of the second character string.
  • the second character string is selected by combining the portion of the first character string that has not been deselected and the beginning and end portions of the second character string.
  • “AMPLES OF WRI”, “EX”, and “TING” are combined, and “EXAMPLES OF WRITEING” is selected as the second character string.
  • FIG. 15B and FIG. 15C an example is shown in which the first portion 142A and the end portion 142B of the first character string enlarged image 142 are displayed apart from each other, but the present embodiment is not limited to this, and the first portion 142A and the tail portion 142B may be adjacent to each other.
  • the first character string obtained by expanding the initial character string designated by the user on the normal display unit 198 back and forth is enlarged and displayed on the enlarged display unit 199, and the character string designated by the user on the enlarged display unit 199 is displayed.
  • the character string of the corresponding normal display part 198 is selected as a 2nd character string.
  • the character string is designated twice in each of the first character string selection process and the second character string selection process.
  • the first selection may be a rough selection, and the second selection can be made directly on the enlarged display, so the user is not required to be highly attentive.
  • the leading portion 142A and the trailing portion of the first character string play an important role in selecting the second character string. Only 142B is displayed on the enlarged display unit 199.
  • the first character string is an example of an extended character string.
  • the size of the characters included in the first character string enlarged image 142 can be maintained at a size that is easy for the user to visually recognize and specify. . Accordingly, it is easy to accurately select the character string intended by the user.

Abstract

　文字画像を含む画像を第１表示部に表示する。第１表示部に表示された文字画像に含まれる第１文字列が指定された場合、第１文字列を含む第１文字列画像を拡大した拡大画像を第２表示部に表示する。第２表示部に表示された拡大画像に含まれる第２文字列が指定された場合、第１表示部に表示されている画像から、指定された第２文字列を含む第３文字列を選択する。

Description

文字列選択方法、プログラム及び情報処理装置
　開示の技術は、文字列選択方法、プログラム及び情報処理装置に関する。
　文字列上の一点を選択することで、文字列を選択する関連技術が存在する。この技術では、選択した一点の周辺から文字列を抽出し、抽出した文字列からこの文字列が縦書きの行（縦行）に含まれる文字列であるか、横書きの行（横行）に含まれる文字列であるか判定する。次に、縦行であるか、横行であるかに基づいて、文字列を探索し、探索した文字列から、文字列を囲む領域を生成する。
　しかしながら、上記関連技術では、選択した一点から文字列を囲む領域を生成するため、ユーザが意図する文字列を正確に選択することは困難であった。この問題を解決するために、例えば、指などの指示体で文字列をなぞることにより、文字列を選択する関連技術も存在する。
特開平０６－０８９３３０号公報
　しかしながら、スマートデバイスなどのように画面が小さく、その画面に表示される文字も小さい場合、指示体で文字列をなぞることにより、ユーザが意図する文字列を正確に選択することは困難である。
　本発明は、１つの側面として、ユーザが意図する文字列を正確に選択することを容易にすることを目的とする。
　１つの態様では、文字画像を含む画像を第１表示部に表示し、第１表示部に表示された文字画像に含まれる第１文字列が指定された場合、第１文字列を含む第１文字列画像を拡大した拡大画像を第２表示部に表示する。第２表示部に表示された拡大画像に含まれる第２文字列が指定された場合、第１表示部に表示されている画像から、指定された第２文字列を含む第３文字列を選択する。
　１つの側面として、ユーザが意図する文字列を正確に選択することを容易にするという効果を有する。
実施形態に係る情報処理装置の要部機能の一例を示すブロック図である。 実施形態に係る情報処理装置の電気系の構成の一例を示すブロック図である。 実施形態に係る文字列選択処理の一例を示すフローチャートである。 第１実施形態に係る第１文字列選択処理の一例を示すフローチャートである。 実施形態に係る文字列画像を含む画像の一例を示す概念図である。 実施形態に係る文字列画像の一例を示す概念図である。 実施形態に係る文字矩形の一例を示す概念図である。 実施形態に係る文字列矩形の一例を示す概念図である。 実施形態に係る初期文字列矩形の一例を示す概念図である。 第１実施形態に係る拡大表示部を示す概念図である。 第１実施形態に係る第２文字列選択処理の一例を示すフローチャートである。 第１実施形態に係る第２文字列の指定の一例を示す概念図である。 第１実施形態に係る拡大表示部上の位置と通常表示部上の位置との座標変換を説明するための概念図である。 第２実施形態に係る第１文字列選択処理の一部分の一例を示すフローチャートである。 第２実施形態に係る第２文字列選択処理の一例を示すフローチャートである。 第２実施形態に係る第１文字列拡大画像の一例を示す概念図である。 第２実施形態に係る拡大表示部に表示される第１文字列拡大画像の一例を示す概念図である。 第２実施形態に係る拡大表示部での第２文字列指定の一例を示す概念図である。 第２実施形態に係る拡大表示部での第２文字列指定の一例を示す概念図である。 第２実施形態に係る拡大表示部上の位置と通常表示部上の位置との座標変換を説明するための概念図である。
［第１実施形態］
　以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。なお、以下の説明では、開示の技術に係る情報処理装置の一例としてスマートデバイスを例に挙げて説明するが、本実施形態は、これに限定されるものではない。本実施形態は、例えば、タブレットコンピュータ、携帯電話機、及び電子辞書などの種々の情報処理装置に適用可能である。
　一例として図１にスマートデバイス１０を示す。スマートデバイス１０は、例えば、第１表示部１２、第２表示部１４、第１文字列選択部１６、及び第２文字列選択部１８を含む。第１表示部１２、第２表示部１４、第１文字列選択部１６，及び第２文字列選択部１８は、相互に接続されている。
　第１表示部１２は、文字画像を含む画像を表示する。第２表示部１４は、第１表示部１２に表示された文字画像に含まれる第１文字列が指定された場合、第１文字列を含む第１文字列画像を拡大した拡大画像を表示する。文字列選択部の一例である第２文字列選択部１８は、第２表示部に表示された拡大画像に含まれる第２文字列が指定された場合、第１表示部に表示されている画像から、指定された第２文字列を含む第３文字列を選択する。
　スマートデバイス１０は、一例として図２に示すように、ＣＰＵ（Central Processing Unit）２１、一次記憶部２３、二次記憶部２４、外部インターフェイス２５、及びタッチパネルディスプレイ２２を備えている。ＣＰＵ２１、一次記憶部２３、二次記憶部２４、外部インターフェイス２５、及びタッチパネルディスプレイ２２は、バス２６を介して相互に接続されている。
　タッチパネルディスプレイ２２は、タッチパネル２２Ａ及びディスプレイ２２Ｂを含む。タッチパネル２２Ａはユーザが入力した情報を検出し、ディスプレイ２２Ｂはユーザに提示する情報を表示する。ディスプレイ２２Ｂは、図１の第１表示部１２及び第２表示部１４の一例である。外部インターフェイス２５には、外部装置が接続され、外部装置とＣＰＵ２１との間の各種情報の送受信を司る。
　一次記憶部２３は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。二次記憶部２４は、例えば、ＨＤＤ（Hard Disk Drive）、またはＳＳＤ（Solid State Drive）などの不揮発性のメモリである。二次記憶部２４は、例えば、文字列選択プログラム２４Ａを記憶している。
　ＣＰＵ２１は、二次記憶部２４から文字列選択プログラム２４Ａを読み出して一次記憶部２３に展開する。ＣＰＵ２１は、当該文字列選択プログラム２４Ａを実行することで、図１に示す第１文字列選択部１６及び第２文字列選択部１８として動作する。
　次に、本実施形態の作用として、スマートデバイス１０によって実施される文字列選択処理について説明する。図３は、スマートデバイス１０によって実施される文字列選択処理の一例を示す。
　タッチパネルディスプレイ２２に、図５に例示する文字画像１２２を含む画像１２１が表示されている場合に、ユーザがタッチパネルディスプレイ２２上で所定のタッチジェスチャを行うことにより、図３の文字列選択処理は開始される。ＣＰＵ２１は、ステップ１０１で、図４に詳細を例示する第１文字列選択処理を実行し、ステップ１０２で、図１１に詳細を例示する第２文字列選択処理を実行する。
　本実施形態の文字列選択処理では、第１文字列選択処理で通常表示を行う第１表示部に表示された画像から文字列を粗く選択し、第２文字列選択処理で拡大表示を行う第２表示部に表示された画像から文字列を正確に選択する。
　次に、図３のステップ１０１の第１文字列選択処理を図４で詳細に説明する。ＣＰＵ２１は、ステップ１１１で、第１表示部の一例である通常表示部１９８で第１文字列の一例である初期文字列の指定が開始されたか否か判定する。ＣＰＵ２１は、ステップ１１１の判定が肯定されるまで、ステップ１１１の判定処理を繰り返す。例えば、指などの指示体がタッチパネルディスプレイ２２に接触したことを検出すると、ＣＰＵ２１は初期文字列の指定が開始されたと判定する。
　ステップ１１１の判定が肯定されると、ＣＰＵ２１は、ステップ１１２で初期文字列の指定が終了したか否か判定する。ＣＰＵ２１は、ステップ１１２の判定が肯定されるまで、ステップ１１２の処理を繰り返す。例えば、指示体がタッチパネルディスプレイ２２から離れたことを検出すると、ＣＰＵ２１は文字列指定が終了したと判定する。
　図６に、指示体がタッチパネルディスプレイ２２に最初に接触した点である開始点１２３及び指示体がタッチパネルディスプレイ２２から離れた点である終了点１２４を例示する。破線は、指示体がタッチパネルディスプレイ２２に接触しながら移動してタッチパネルディスプレイ２２をなぞった軌跡１２５である。
　ＣＰＵ２１は、ステップ１１３で、初期文字列を抽出する。詳細には、図７に例示するように、軌跡１２５と重畳する各文字の各々を囲み、かつ文字に外接する文字矩形１３２を各文字について抽出する。次に、図８に例示するように、抽出した文字矩形１３２の全てを包含する１つの文字列矩形１３３に含まれる文字列を初期文字列として抽出する。この例では、初期文字列は「ＸＡＭＰＬＥ」である。
　ＣＰＵ２１は、ステップ１１４で、抽出された初期文字列に含まれる各文字の基準文字サイズＳを決定する。基準文字サイズＳは、例えば、以下の式（１）で決定される。
Figure JPOXMLDOC01-appb-M000001
 　…（１）
この例では、ｈｉはｉ番目の文字矩形１３２の高さであり、ｗｉはｉ番目の文字矩形１３２の幅であり、Ｎは文字矩形１３２の個数であり、ｉ＝１，２，３，…，Ｎである。従って、基準文字サイズＳは、文字矩形１３２の各々の高さ及び幅のいずれか長い方の値の平均値である。なお、本実施形態は平均値に限定されず、例えば、基準文字サイズＳは、例えば、文字矩形１３２の各々の高さ及び幅のいずれか長い方の長さの、Ｎ個の文字矩形１３２の内の最大値であってもよい。
　次に、ＣＰＵ２１は、ステップ１１５で、初期文字列矩形の一例である文字列矩形１３３を拡張して、第１文字列矩形１３４を生成する。詳細には、例えば、文字列矩形１３３に含まれる文字列の直前及び直後の各々に文字列矩形１３３の幅を３×Ｓずつ拡張し、上下に文字列矩形１３３の高さを０．５×Ｓずつ拡張する。
　なお、文字列矩形１３３に含まれる文字列の直前及び直後の各々に少なくとも１つ文字を追加するように拡張して第１文字列矩形１３４を生成すればよい。例えば、文字列矩形１３３に含まれる文字列の直前及び直後の各々に文字列矩形１３３の幅を４×Ｓずつ拡張してもよいし、文字列矩形１３３に含まれる文字列の直前及び直後の各々に文字列矩形１３３の幅を所定の画素数分、例えば、３０画素ずつ拡張してもよい。
　また、文字列矩形１３３に含まれる文字列の直前及び直後の何れか一方にのみ少なくとも１つ文字を追加した第１文字列を含むように拡張して第１文字列矩形１３４を生成してもよい。また、文字列矩形１３３の幅及び高さを拡張しなくてもよい。図９に、文字列矩形１３３の幅及び高さを拡張して生成された第１文字列矩形１３４を例示する。
　また、例えば、軌跡１２５の指示体によるなぞり速度、即ち、指示体がタッチパネルディスプレイ２２に接触したまま移動するときの移動速度に基づいて、文字列矩形１３３から第１文字列矩形１３４への拡張量を決定してもよい。例えば、指示体によるなぞり速度が速いほど拡張量を大きくする。なぞり速度が速いほど、一般的に、ユーザが意図する文字列が指定されていない可能性が高いためである。例えば、軌跡１２５の長さが２００画素であり、軌跡１２５の開始点１２３から終了点１２４まで０．５秒でなぞられた場合、なぞりの平均速度は、２００画素／０．５秒＝４００画素／秒である。なお、なぞり速度が所定速度を越えた場合に、拡張量を所定量増大するようにしてもよい。
　次に、ＣＰＵ２１は、ステップ１１７で、図１０に例示する第１文字列拡大画像１４２を第２表示部の一例である拡大表示部１９９に表示する。例えば、第１文字列拡大画像１４２を生成するための第１文字列矩形１３４から第１文字列拡大画像１４２への拡大率Ｒは以下の式（２）で決定される。
　Ｒ＝Ｍ／Ｓ　…（２）
この例では、Ｍは第１文字列拡大画像１４２に含まれる文字の文字サイズである。Ｍは、予め任意の文字サイズに設定される。
　次に、図３の第２文字列選択１０２の処理を図１１で詳細に説明する。ＣＰＵ２１は、ステップ１５１で、拡大表示部１９９上で文字列指定が開始されたか否か判定する。ステップ１５１の判定が肯定されるまで、ステップ１５１の判定が繰り返される。例えば、指示体がタッチパネルディスプレイ２２に接触したことを検出すると、ＣＰＵ２１は第１文字列拡大画像１４２の文字列の指定が開始されたと判定する。
　ステップ１５１の判定が肯定されると、ＣＰＵ２１は、ステップ１５２で、文字列指定が終了したか否か判定する。ステップ１５２の判定が肯定されるまで、ステップ１５２の判定が繰り返される。例えば、指示体がタッチパネルディスプレイ２２から離れたことを検出すると、ＣＰＵ２１は文字列指定が終了したと判定する。
　図１２に、指示体がタッチパネルディスプレイ２２に接触した点である開始点１６１及び指示体がタッチパネルディスプレイ２２から離れた点である終了点１６２を例示する。破線は、指示体がタッチパネルディスプレイ２２に接触したまま移動しタッチパネルディスプレイ２２をなぞった軌跡１６３である。軌跡１６３は第２文字列の指定の一例である。
　ステップ１５２の判定が肯定されると、ＣＰＵ２１は、ステップ１５３で、図１３に例示する拡大表示部１９９上の図１２に例示する軌跡１６３に含まれる複数の点である第２の位置の各々の座標を通常表示部１９８上の第１の位置の各々の座標に変換する。指示体による文字列の指定は、文字サイズが拡大され指定が容易な拡大表示部１９９で行われるが、指定される文字列は通常表示部１９８に存在するためである。座標の変換は、例えば、以下の式（３－１）及び式（３－２）で行われる。
ｘ＝Ｘ／Ｒ＋ｘ０　…（３－１）
ｙ＝Ｙ／Ｒ＋ｙ０　…（３－２）
　この例では、第２の位置１７２（Ｘ，Ｙ）は位置１７１を原点（０，０）とし、第２の位置１７２に対応する第１の位置（ｘ，ｙ）は位置１７３を原点（ｘ０，ｙ０）とする。Ｒは上記した第１文字列矩形１３４から第１文字列拡大画像１４２への拡大率を示す。
　なお、通常表示部１９８において、軌跡１６３に対応する軌跡が、変換された第２の位置１７２の座標に基づいて、例えば、透過性のある色で表示されてもよい。
　次に、ＣＰＵ２１は、ステップ１５５で、図４のステップ１１３と同様に、第２文字列を選択する。なお、ステップ１５５では、ステップ１５３で取得された軌跡１６３に対応する通常表示部１９８上の軌跡と重畳する文字矩形に含まれる文字を含む文字列を第２文字列として選択する。この例では、「ＥＸＡＭＰＬＥＳ」が第２文字列として選択される。
　なお、選択された第２文字列を、既存の文字認識手法でテキストに変換し、クリップボードに貼り付け、任意のアプリケーションにおいて、ペーストすることが可能である。
　なお、上記では、画像１２１から文字列を選択する処理について例示したが、本実施形態はこれに限定されない。例えば、ワードプロセッサアプリケーションで表示された文書などにも利用可能である。この場合、第２文字列を既存の文字認識手法でテキストに変換する必要がない。
　なお、上記では、文字列が横行である場合について例示したが、本実施形態はこれに限定されない。例えば、文字列は縦行であってもよい。
　なお、上記では、文字列が英語である場合について例示したが、本実施形態はこれに限定されない。例えば、文字列は日本語であってもよい。
　なお、上記では、初期選択文字列が１行である場合について例示したが、本実施形態はこれに限定されない。例えば、初期選択文字列は２行以上であってもよい。また、この場合、拡大表示部１９９は行毎に複数存在してもよい。
　なお、上記では、拡大表示部１９９がタッチパネル２２の画面の下部に表示される例について説明したが、本実施形態はこれに限定されない。拡大表示部１９９は、タッチパネル２２の画面の任意の位置に表示されてよい。
　なお、上記では、指などの指示体でタッチパネルディスプレイ２２に表示されている文字列をなぞることにより文字列の指定を行う例について説明したが、本実施形態はこれに限定されない。例えば、指示体はタッチペンであってもよいし、文字列を囲む矩形の左上隅及び右下隅にタッチすることにより、その文字列を指定するようにしてもよい。
　本実施形態では、ユーザが通常表示部１９８で指定した初期文字列を前後に拡張した第１文字列を拡大して拡大表示部１９９に表示し、ユーザが拡大表示部１９９で指定した文字列に対応する通常表示部１９８の文字列を第２文字列として選択する。これにより、本実施形態では、ユーザが意図する文字列を正確に選択することを容易にする。
　例えば、スマートデバイス１０などのように画面が小さく、その画面に表示される文字も小さい場合、画面全体の表示を拡大して文字列を指定する技術が存在する。しかしながら、この場合、適切な倍率で表示を拡大することは困難である。例えば、倍率が小さ過ぎると文字列の指定は依然困難であるし、倍率が大き過ぎると選択したい文字列全体が画面に表示されなくなり、同様に、文字列の指定は困難である。
　また、文字列を指定する技術には、画面の一部に拡大表示部を表示し、当該拡大表示部に拡大した文字列を表示する技術も存在するが、当該技術では、文字列の指定は拡大表示部ではない通常表示部上で指示体を用いて行われる。ユーザの視認を容易にするために拡大した文字列を表示する拡大表示部と、文字列指定のための通常表示部が分離しているため、ユーザの認知にずれが生じ、文字列の指定は困難である。
　また、スマートデバイス１０などのように画面が小さく、その画面に表示される文字も小さい場合、１回で意図する文字列を正確に指定しようとすると、非常に小さい領域を正確に指定することが要求される。したがって、小さい文字を含む表示を視認するため、及び、非常に小さい領域を正確に指定するように指示体を正確に操作するために高い注意力が要求されることになる。また、指示体が指もしくは静電容量方式のタッチパネル用スタイラスペンの場合、その先端は比較的大きいため、注意深く指示体を操作したとしても非常に小さい領域を正確に指定することは困難である。
　本実施形態では、文字列の指定を第１文字列選択処理及び第２文字列選択処理の各々で合わせて２回行っている。しかしながら、１回目の選択は粗い選択でよく、２回目の選択は拡大された表示に対して直接行うことができるため、ユーザは高い注意力を要求されない。
［第２実施形態］
　次に、開示の技術の実施形態の一例である第２実施形態を説明する。第１実施形態と同様の構成及び作用については説明を省略する。
　第２実施形態では、図１５Ａに例示するように、第１文字列拡大画像１４２の幅２０１がタッチパネルディスプレイ２２の画面幅２０２を越える場合を含めた作用について説明する。第２実施形態では、図４のステップ１１７を図１４Ａのステップ１８１、１１７及び１８２と置き替える。
　ＣＰＵ２１は、ステップ１８１で、第１文字列拡大画像１４２の幅２０１が画面幅２０２を越えるか否か判定する。判定が否定された場合、第１実施形態で説明したステップ１１７の処理が実行される。一方、判定が肯定された場合、ＣＰＵ１２は、ステップ１８２で、第１文字列拡大画像１４２を図１５Ｂに例示するように、分割して拡大表示部１９９に表示する。
　詳細には、第１文字列拡大画像１４２の先頭部分１４２Ａ及び末尾部分１４２Ｂを拡張表示部１９９に表示し、先頭部分１４２Ａ及び末尾部分１４２Ｂの間の部分は表示しない。第２文字列選択処理における２回目の文字列の指定では、拡張文字列の一例である文字列の先頭部分１４２Ａ及び末尾部分１４２Ｂの文字列の指定の精度を増大させることが重要なためである。例えば、第１文字列の先頭の長さＬ×Ｓの部分に対応する拡大画像が先頭部分１４２Ａに含められ、末尾の長さＬ×Ｓの部分に対応する拡大画像が末尾部分１４２Ｂに含められる。Ｓは上記した基準文字サイズである。Ｌは、例えば、２～４の整数の何れかであってよいが、２～４の整数の何れかに限定されるものではなく、５以上の整数であってもよい。
　図１４Ｂに第２文字列選択処理を例示する。ＣＰＵ２１は、ステップ１９１で、第１文字列拡大画像１４２が分割して表示されているか否か判定する。判定が否定された場合、ステップ１５１に進む。ステップ１５１～ステップ１５５の処理については、第１実施形態と同様であるため、説明を省略する。
　ステップ１９１の判定が肯定された場合、ＣＰＵ２１は、ステップ１９２で、第１文字列拡大画像１４２の先頭部分１４２Ａ及び末尾部分１４２Ｂの選択を解除する。例えば、第１文字列として、図１５Ａに例示するように、「２．ＥＸＡＭＰＬＥＳ　ＯＦ　ＷＲＩＴＩＮＧ」が選択されており、図１５Ｂに例示するように、先頭部分１４２Ａに「２．ＥＸ」が含まれ、末尾部分１４２Ｂに「ＴＩＮＧ」が含まれているとする。この場合、「２．ＥＸ」及び「ＴＩＮＧ」の第１文字列としての選択を解除し、第１文字列として、「ＡＭＰＬＥＳ　ＯＦ　ＷＲＩ」のみが選択されている状態とする。
　ＣＰＵ２１は、ステップ１９３で、拡大表示部１９９上で文字列指定が開始されたか否か判定する。ステップ１９３の判定が肯定されるまで、ステップ１９３の判定が繰り返される。例えば、指示体がタッチパネルディスプレイ２２に最初に接触したことを検出すると、ＣＰＵ２１は拡大文字列の指定が開始されたと判定する。
　ステップ１９３の判定が肯定されると、ＣＰＵ２１は、ステップ１９４で、拡大表示部１９９上で文字列指定が終了したか否か判定する。ステップ１９４の判定が肯定されるまで、ステップ１９４の判定が繰り返される。例えば、指示体がタッチパネルディスプレイ２２から離れたことを検出すると、ＣＰＵ２１は文字列指定が終了したと判定する。
　図１５Ｃに、指示体がタッチパネルディスプレイ２２に接触した点である開始点２０３及び指示体がタッチパネルディスプレイ２２から離れた点である終了点２０４を例示する。破線は、指示体がタッチパネルディスプレイ２２をなぞった軌跡２０５である。
　ステップ１９４の判定が肯定されると、ＣＰＵ２１は、ステップ１９５で、拡大表示部１９９上で文字列を指定する軌跡２０５に含まれる複数の点である第２の位置の各々の座標を通常表示部１９８上の第１の位置の各々の座標に変換する。詳細には、図１５Ｄに例示する先頭部分１４２Ａに含まれる軌跡２０５Ａ及び末尾部分１４２Ｂに含まれる軌跡２０５Ｂの各々に含まれる第２の位置の各々の座標を通常表示部１９８上の第１の位置の各々の座標に変換する。文字列の指定は、文字サイズが拡大され指定が容易な拡大表示部１９９で行われるが、指定される文字列は通常表示部１９８に存在するためである。座標の変換は、例えば、以下の式（４－１）～式（４－４）で行われる。
ｘ＝Ｘ／Ｒ＋ｘ０　…（４－１）
ｙ＝Ｙ／Ｒ＋ｙ０　…（４－２）
ｚ＝Ｚ／Ｒ＋ｚ０　…（４－３）
ｕ＝Ｕ／Ｒ＋ｕ０　…（４－４）
　この例では、図１６に例示する第２の位置１７２Ａ（Ｘ，Ｙ）は位置１７１Ａを原点（０，０）とし、第２の位置１７２Ｂ（Ｚ，Ｕ）は位置１７１Ｂを原点（０，０）とする。また、第２の位置１７２Ａに対応する第１の位置１７４Ａ（ｘ、ｙ）は、位置１７３Ａ（ｘ０，ｙ０）を原点とし、第２の位置１７２Ｂに対応する第１の位置１７４Ｂ（ｚ，ｕ）は位置１７３Ｂを原点（ｚ０，ｕ０）とする。Ｒは上記した第１文字列矩形１３４から第１文字列拡大画像１４２への拡大率を示す。
　次に、ＣＰＵ２１は、ステップ１９７で、図４のステップ１１３と同様に、第２文字列の先頭部分及び末尾部分を選択する。なお、ステップ１９７では、ステップ１９５で取得された軌跡２０５Ａ及び軌跡２０５Ｂに対応する通常表示部１９８上の軌跡と重畳する文字矩形に含まれる文字を含む文字列を第２文字列の先頭部分及び末尾部分として選択する。この例では、「ＥＸ」が第２文字列の先頭部分として選択され、「ＴＩＮＧ」が第２文字列の末尾部分として選択される。
　次に、ステップ１９２で、選択を解除されていなかった第１文字列の部分と、第２文字列の先頭部分及び末尾部分を結合することにより、第２文字列を選択する。この例では、「ＡＭＰＬＥＳ　ＯＦ　ＷＲＩ」、「ＥＸ」及び「ＴＩＮＧ」を結合し、「ＥＸＡＭＰＬＥＳ　ＯＦ　ＷＲＩＴＩＮＧ」を第２文字列として選択する。
　なお、図１５Ｂ及び図１５Ｃにおいて、第１文字列拡大画像１４２の先頭部分１４２Ａと末尾部分１４２Ｂとの間を離して表示する例を示したが、本実施形態はこれに限定されず、先頭部分１４２Ａと末尾部分１４２Ｂとは隣接していてもよい。
　本実施形態では、ユーザが通常表示部１９８で指定した初期文字列を前後に拡張した第１文字列を拡大して拡大表示部１９９に表示し、ユーザが拡大表示部１９９で指定した文字列に対応する通常表示部１９８の文字列を第２文字列として選択する。これにより、本実施形態では、ユーザが意図する文字列を正確に選択することを容易にする。
　本実施形態では、文字列の指定を第１文字列選択処理及び第２文字列選択処理の各々で合わせて２回行っている。しかしながら、１回目の選択は粗い選択でよく、２回目の選択は拡大された表示に対して直接行うことができるため、ユーザは高い注意力を要求されない。
　本実施形態では、第１文字列拡大画像１４２の幅２０１がタッチパネルディスプレイの画面の幅２０２を越える場合、第２文字列の選択に重要な役割を果たす第１文字列の先頭部分１４２Ａ及び末尾部分１４２Ｂのみを拡大表示部１９９に表示する。第１文字列は拡張文字列の一例である。
　これにより、選択された第１文字列が長い場合であっても、第１文字列拡大画像１４２に含まれる文字のサイズをユーザの視認及び指定操作が容易な大きさに保つことが可能となる。従って、ユーザが意図する文字列を正確に選択することを容易にする。

Claims (12)

  1. 　コンピュータが、
    　文字画像を含む画像を第１表示部に表示し、
    　前記第１表示部に表示された前記文字画像に含まれる第１文字列が指定された場合、前記第１文字列を含む第１文字列画像を拡大した拡大画像を第２表示部に表示し、
    　前記第２表示部に表示された前記拡大画像に含まれる第２文字列が指定された場合、前記第１表示部に表示されている画像から、指定された前記第２文字列を含む第３文字列を選択する、
    　文字列選択方法。
  2. 　前記第１文字列画像を拡大した拡大画像を第２表示部に表示することは、
    　前記第１文字列に外接する初期文字列矩形を、少なくとも前記第１文字列の直前及び直後の少なくとも一方に１つの文字を追加した拡張文字列を含むように拡張して第１文字列矩形を生成し、前記第１文字列矩形に含まれる第１文字列画像を拡大した拡大画像を第２表示部に表示し、
    　前記初期文字列矩形から前記第１文字列矩形へ拡張する拡張量を、前記第１文字列に含まれる文字のサイズに基づいて決定する、
    　請求項１に記載の文字列選択方法。
  3. 　前記第１文字列は、前記第１文字列上を指示体が前記第１表示部に接触しながら移動することにより指定され、
    　前記初期文字列矩形から前記第１文字列矩形へ拡張する拡張量を、前記第１文字列が指定される際の前記指示体の移動速度に基づいて決定する、
    　請求項２に記載の文字列選択方法。
  4. 　前記拡大画像は、前記拡張文字列の先頭文字列を含む第１拡大画像と、前記拡張文字列の末尾文字列を含む第２拡大画像と、を含む、
    　請求項２又は請求項３に記載の文字列選択方法。
  5. 　文字画像を含む画像を第１表示部に表示し、
    　前記第１表示部に表示された前記文字画像に含まれる第１文字列が指定された場合、前記第１文字列を含む第１文字列画像を拡大した拡大画像を第２表示部に表示し、
    　前記第２表示部に表示された前記拡大画像に含まれる第２文字列が指定された場合、前記第１表示部に表示されている画像から、指定された前記第２文字列を含む第３文字列を選択する、
    　文字列選択処理をコンピュータに実行させるためのプログラム。
  6. 　前記第１文字列画像を拡大した拡大画像を第２表示部に表示することは、
    　前記第１文字列に外接する初期文字列矩形を、少なくとも前記第１文字列の直前及び直後の少なくとも一方に１つの文字を追加した拡張文字列を含むように拡張して第１文字列矩形を生成し、前記第１文字列矩形に含まれる第１文字列画像を拡大した拡大画像を第２表示部に表示し、
    　前記初期文字列矩形から前記第１文字列矩形へ拡張する拡張量を、前記第１文字列に含まれる文字のサイズに基づいて決定する、
    　請求項５に記載のプログラム。
  7. 　前記第１文字列は、前記第１文字列上を指示体が前記第１表示部に接触しながら移動することにより指定され、
    　前記初期文字列矩形から前記第１文字列矩形へ拡張する拡張量を、前記第１文字列が指定される際の前記指示体の移動速度に基づいて決定する、
    　請求項６に記載のプログラム。
  8. 　前記拡大画像は、前記拡張文字列の先頭文字列を含む第１拡大画像と、前記拡張文字列の末尾文字列を含む第２拡大画像と、を含む、
    　請求項６又は請求項７に記載のプログラム。
  9. 　文字画像を含む画像を表示する第１表示部と、
    　前記第１表示部に表示された前記文字画像に含まれる第１文字列が指定された場合、前記第１文字列を含む第１文字列画像を拡大した拡大画像を表示する第２表示部と、
    　前記第２表示部に表示された前記拡大画像に含まれる第２文字列が指定された場合、前記第１表示部に表示されている画像から、指定された前記第２文字列を含む第３文字列を選択する文字列選択部と、
    　を含む、情報処理装置。
  10. 　前記第２表示部は、
    　前記第１文字列に外接する初期文字列矩形を、少なくとも前記第１文字列の直前及び直後の少なくとも一方に１つの文字を追加した拡張文字列を含むように拡張して第１文字列矩形を生成し、前記第１文字列矩形に含まれる第１文字列画像を拡大した拡大画像を第２表示部に表示し、
    　前記初期文字列矩形から前記第１文字列矩形へ拡張する拡張量を、前記第１文字列に含まれる文字のサイズに基づいて決定する、
    　請求項９に記載の情報処理装置。
  11. 　前記第１文字列は、前記第１文字列上を指示体が前記第１表示部に接触しながら移動することにより指定され、
    　前記初期文字列矩形から前記第１文字列矩形へ拡張する拡張量を、前記第１文字列が指定される際の前記指示体の移動速度に基づいて決定する、
    　請求項１０に記載の情報処理装置。
  12. 　前記拡大画像は、前記拡張文字列の先頭文字列を含む第１拡大画像と、前記拡張文字列の末尾文字列を含む第２拡大画像と、を含む、
    　請求項１０又は請求項１１に記載の情報処理装置。
PCT/JP2015/073278 2015-08-19 2015-08-19 文字列選択方法、プログラム及び情報処理装置 WO2017029737A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2015/073278 WO2017029737A1 (ja) 2015-08-19 2015-08-19 文字列選択方法、プログラム及び情報処理装置
JP2017535199A JPWO2017029737A1 (ja) 2015-08-19 2015-08-19 文字列選択方法、プログラム及び情報処理装置
US15/890,535 US20180164985A1 (en) 2015-08-19 2018-02-07 String selection method, storage medium storing program, and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/073278 WO2017029737A1 (ja) 2015-08-19 2015-08-19 文字列選択方法、プログラム及び情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/890,535 Continuation US20180164985A1 (en) 2015-08-19 2018-02-07 String selection method, storage medium storing program, and information processing device

Publications (1)

Publication Number Publication Date
WO2017029737A1 true WO2017029737A1 (ja) 2017-02-23

Family

ID=58051458

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/073278 WO2017029737A1 (ja) 2015-08-19 2015-08-19 文字列選択方法、プログラム及び情報処理装置

Country Status (3)

Country Link
US (1) US20180164985A1 (ja)
JP (1) JPWO2017029737A1 (ja)
WO (1) WO2017029737A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0358090A (ja) * 1989-07-27 1991-03-13 Koyou Sokushin Jigyodan 表示装置
JPH05298478A (ja) * 1992-04-20 1993-11-12 Ricoh Co Ltd 認識対象領域設定方式
JPH1091387A (ja) * 1996-09-18 1998-04-10 Hitachi Ltd 語意検索システムの単語入力方法
JP2009169452A (ja) * 2008-01-10 2009-07-30 Panasonic Corp 表示制御装置、電子機器、表示制御方法、およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6989822B2 (en) * 2003-11-10 2006-01-24 Microsoft Corporation Ink correction pad
JP2005345981A (ja) * 2004-06-07 2005-12-15 Canon Inc 表示制御装置、表示制御方法及びプログラム
US20100145676A1 (en) * 2008-12-09 2010-06-10 Qualcomm Incorporated Method and apparatus for adjusting the length of text strings to fit display sizes
US8656296B1 (en) * 2012-09-27 2014-02-18 Google Inc. Selection of characters in a string of characters
JP5414920B2 (ja) * 2013-02-22 2014-02-12 パナソニック株式会社 表示制御装置、表示制御方法、およびプログラム
JP2014203288A (ja) * 2013-04-05 2014-10-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0358090A (ja) * 1989-07-27 1991-03-13 Koyou Sokushin Jigyodan 表示装置
JPH05298478A (ja) * 1992-04-20 1993-11-12 Ricoh Co Ltd 認識対象領域設定方式
JPH1091387A (ja) * 1996-09-18 1998-04-10 Hitachi Ltd 語意検索システムの単語入力方法
JP2009169452A (ja) * 2008-01-10 2009-07-30 Panasonic Corp 表示制御装置、電子機器、表示制御方法、およびプログラム

Also Published As

Publication number Publication date
US20180164985A1 (en) 2018-06-14
JPWO2017029737A1 (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
JP6182277B2 (ja) タッチ入力カーソル操作
EP1710670B1 (en) Storage medium storing input position processing program, and input position processing device
US9013428B2 (en) Electronic device and handwritten document creation method
KR101043944B1 (ko) 가상 키보드 제공 방법 및 장치
US7409090B2 (en) Handwritten character input device and handwritten character input processing method
US9286279B2 (en) Bookmark setting method of e-book, and apparatus thereof
JP2009093291A (ja) ジェスチャー判定装置及び方法
WO2016036897A1 (en) Displaying annotations of rendered documents using reflowing
EP2871563A1 (en) Electronic device, method and storage medium
JP6430197B2 (ja) 電子機器および方法
KR20100135281A (ko) 손으로 그려진 표를 인식하기 위한 방법 및 툴
US20150269432A1 (en) Electronic device and method for manufacturing the same
JP5395927B2 (ja) 電子機器および手書き文書検索方法
WO2016037018A1 (en) Collecting annotations for a document by augmenting the document
JP2019514097A (ja) 文字列に文字を挿入するための方法および対応するデジタルデバイス
US10210141B2 (en) Stylizing text by replacing glyph with alternate glyph
KR102075433B1 (ko) 필기 입력 장치 및 그 제어 방법
US8954873B2 (en) Information processing apparatus, information processing method and computer readable medium
US20040223647A1 (en) Data processing apparatus and method
JP2019514096A (ja) 文字列に文字を挿入するための方法およびシステム
JP5567097B2 (ja) 電子機器、手書き文書表示方法、及び表示プログラム
WO2016037017A1 (en) Creating an annotation pane for a document by augmenting the document
JP2015049604A (ja) 電子文書を表示するための電子機器および方法
JP6100013B2 (ja) 電子機器および手書き文書処理方法
KR20040043454A (ko) 펜 컴퓨팅 시스템에서의 펜 입력 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15901719

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017535199

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15901719

Country of ref document: EP

Kind code of ref document: A1