WO2015145571A1 - 端末装置、表示制御方法及びプログラム - Google Patents

端末装置、表示制御方法及びプログラム Download PDF

Info

Publication number
WO2015145571A1
WO2015145571A1 PCT/JP2014/058284 JP2014058284W WO2015145571A1 WO 2015145571 A1 WO2015145571 A1 WO 2015145571A1 JP 2014058284 W JP2014058284 W JP 2014058284W WO 2015145571 A1 WO2015145571 A1 WO 2015145571A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
character string
designated
enlarged
character
Prior art date
Application number
PCT/JP2014/058284
Other languages
English (en)
French (fr)
Inventor
勝山　裕
上原　祐介
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2014/058284 priority Critical patent/WO2015145571A1/ja
Priority to EP14887002.5A priority patent/EP3125087B1/en
Priority to CN201480077287.6A priority patent/CN106104451B/zh
Priority to JP2016509667A priority patent/JP6206581B2/ja
Publication of WO2015145571A1 publication Critical patent/WO2015145571A1/ja
Priority to US15/259,436 priority patent/US10031667B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1456—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on user interactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • the present invention relates to a terminal device, a display control method, and a program.
  • an enlarged image can be obtained by photographing an object with a camera of a smartphone and displaying a moving image in which a predetermined place of the photographed object is enlarged on a screen in real time.
  • Patent Document 1 in a document creation apparatus used for creating a presentation document, only the contents of a necessary area are automatically edited from a normal document manuscript and converted into a size that allows easy viewing of characters and drawings. Thus, a technique for creating a presentation document has been proposed.
  • the above technique has a problem that the display of a moving image is disturbed due to camera shake when a smartphone is brought close to a predetermined place of a photographed object and enlarged, and extraction of a character area with a character as one unit is accurate. If the wrong character area is extracted, the layout when the document image is enlarged and displayed is destroyed, and it is difficult to correctly display the extracted character area.
  • an object of one aspect is to provide a terminal device, a display control method, and a program that can easily specify a portion to be enlarged when a character string is enlarged and displayed.
  • An extraction unit that extracts a character string from a character region included in image data in units of lines; Among the character strings extracted in units of lines, a display control unit that enlarges and displays a specified position in a specified line and a character string in the vicinity thereof, A terminal device is provided.
  • the figure for demonstrating the character string English
  • the figure for demonstrating the character string Japanese
  • the figure for demonstrating the character string Japanese
  • the figure for demonstrating the character string Japanese extraction of the line unit concerning one Embodiment.
  • Japanese Japanese extraction of the line unit concerning one Embodiment.
  • Japanese Japanese extraction of the line unit concerning one Embodiment.
  • the flowchart which shows an example of the character expansion display process concerning 3rd Embodiment.
  • the figure for demonstrating the character enlarged display concerning 3rd Embodiment. The figure for demonstrating the character enlarged display concerning 3rd Embodiment.
  • the figure for demonstrating the character enlarged display concerning 3rd Embodiment. The figure for demonstrating the character enlarged display concerning 3rd Embodiment.
  • FIG. 1 shows an example of a hardware configuration of a terminal device according to an embodiment.
  • a terminal device according to an embodiment is an electronic device that performs character enlargement display processing according to an embodiment of the present invention. Examples thereof include a smartphone, a tablet terminal, a mobile phone, and an electronic book. Below, a smart phone is mentioned as an example and demonstrated as an example of the terminal device concerning this embodiment.
  • a smartphone 1 includes a CPU (Central Processing Unit) 10, a memory 11, a touch panel 12, a camera 13, an operation button 14, a secondary storage device 15, a communication I / F (Interface) 16, and a wireless communication I / F 17. And an external I / F 18 and an audio input / output I / F 19.
  • CPU Central Processing Unit
  • memory 11 a memory 11
  • touch panel 12 a touch panel 12
  • camera 13 an operation button 14
  • secondary storage device 15, a communication I / F (Interface) 16, and a wireless communication I / F 17.
  • I / F Interface
  • the CPU 10 performs overall control of each unit included in the smartphone 1.
  • the functions of the smartphone 1 are realized by the CPU 10 reading a program stored in the memory 11 including a ROM (Read Only Memory), a RAM (Random Access Memory), etc. into the RAM and executing the program. .
  • the CPU 10 sequentially fetches and decodes the instructions of the application program, and executes the contents, calculation, data transfer, control, and the like.
  • the CPU 10 reads out the character enlargement display processing program and other application programs and data from the memory 11 and the secondary storage device 15 and executes the character enlargement display processing.
  • CPU10 implement achieves the whole control of the smart phone 1, and the character expansion display control function mounted in the smart phone 1.
  • the touch panel 12 is equipped with a sensor capable of detecting contact with the touch surface of an operating body such as a user's finger or a touch pen, and has a function of inputting data according to the user's operation.
  • the touch panel 12 has a function of displaying a desired object on a display such as an LCD (liquid crystal display). In this embodiment, the enlarged display of the character string designated by the operation in which the user's finger contacts the touch surface of the touch panel is performed.
  • the sensor include a pressure sensor, a capacitance sensor, and an optical sensor.
  • the sensor mounted on the touch panel 12 may be any sensor as long as it can detect contact and non-contact between the operating body and the touch surface.
  • the camera 13 has a lens and an image sensor, images a printed matter or a document on which a subject is printed, and captures the image data.
  • the operation button 14 is a button provided for executing a predetermined function of the smartphone 1, and is a power button for turning on / off the power and a button for returning to the previous image display (hereinafter also referred to as “return button”). .) Is an example.
  • the secondary storage device 15 may be configured by a storage device such as an EEPROM, a flash memory, or an HDD (Hard Disk Drive).
  • the secondary storage device 15 stores a control program executed by the CPU 10, an OS program, an application program for the CPU 10 to execute various functions of the smartphone 1, and the like.
  • the communication I / F 16 is an interface for communicating with an external device via a communication network.
  • Communication I / F16 connects with various communication terminals via a communication network, and implement
  • the communication I / F 16 can also function as an interface for transmitting / receiving e-mail data and the like to / from other devices via the mobile phone line network.
  • the wireless communication I / F 17 is an interface for wireless communication with an external device.
  • the wireless communication I / F 17 is used to realize a wireless communication means of any one of infrared communication such as IrDA and IrSS, Bluetooth (registered trademark) communication, Wi-Fi (registered trademark) communication, and a non-contact type IC card. Interface.
  • the external I / F 18 is an interface for connecting an external device to the smartphone 1.
  • the external I / F 18 is realized by a socket for inserting an external recording medium (memory card or the like), an HDMI (High Definition Multimedia Interface) (registered trademark) terminal, a USB (Universal Serial Bus) terminal, or the like.
  • the CPU 10 transmits / receives data to / from an external device via the external I / F 18.
  • the voice input / output I / F 19 is an interface for outputting voice data processed by the smartphone 1, and is realized by, for example, a speaker, a headphone terminal, a headphone, and the like.
  • the voice input / output I / F 19 is an interface for inputting voice generated outside the smartphone 1, and is realized by, for example, a microphone.
  • FIG. 2 shows an example of functions of the terminal device according to the embodiment.
  • an example of the function will be described using the smartphone 1 as an example.
  • a smartphone 1 includes an imaging unit 101, a storage unit 102, an extraction unit 103, a position detection unit 104, a calculation unit 105, a determination unit 106, a display control unit 107, a communication unit 108, a wireless communication unit 109, and a voice input unit.
  • An output unit 110 is included.
  • the image capturing unit 101 captures image data obtained by capturing a document or the like.
  • the imaging unit 101 is realized by the camera 13, for example.
  • the storage unit 102 stores the captured image data, various programs, and various data.
  • the storage unit 102 presets and stores a first threshold value and a second threshold value, which will be described later.
  • the storage unit 102 is realized by the memory 11 or the secondary storage device 15, for example.
  • the extraction unit 103 extracts a character string in units of lines from a character area included in the image data.
  • the position detection unit 104 detects contact of the operating body with the touch surface and release of contact with the touch surface of the operating body (such as finger release).
  • the position detection unit 104 is realized by a sensor mounted on the touch panel 12, for example.
  • the computing unit 105 calculates the coordinates (x, y) of the touch position of the operating tool, and calculates the moving direction and moving distance of the operating tool based on the detected contact with the touch surface.
  • the determination unit 106 determines whether there is a line following the line specified by the touch position by the operating tool.
  • the display control unit 107 enlarges and displays the touch position in the line designated by the operation body and the character string in the vicinity thereof among the extracted character strings in line units. In a predetermined case described later, the display control unit 107 enlarges and displays the next line or the previous line and the character string in the vicinity thereof.
  • the functions of the calculation unit 105, the determination unit 106, and the display control unit 107 are realized by the CPU 10.
  • the communication unit 108 transmits / receives information to / from an external device.
  • the wireless communication unit 109 performs wireless communication with an external device.
  • the voice input / output unit 110 inputs and outputs voice data.
  • FIG. 3 is a flowchart illustrating an example of a character enlargement display process according to the first embodiment.
  • the direction of the character string included in the image data is less than ⁇ 45 degrees with respect to the horizontal direction of the screen, it is determined that the character string is written in horizontal writing, and the horizontal direction (horizontal direction) of the screen is the first.
  • the vertical direction (longitudinal direction) of the axis and screen is the second axis.
  • the direction of the character string included in the image data is less than ⁇ 45 degrees with respect to the vertical direction of the screen, it is determined that the character string is written in vertical writing, and the vertical direction (vertical direction) of the screen is the first axis.
  • the horizontal direction (lateral direction) of the screen is the second axis. In the following description, horizontal writing is used, and the horizontal direction of the screen is the first axis (row direction), and the vertical direction of the screen is the second axis.
  • the imaging unit 101 captures a document or the like and captures image data including characters into the smartphone 1.
  • Step S10 4A and 5A are examples of image data acquired by the smartphone 1 by photographing an English document and a Japanese document printed on a paper medium.
  • the extraction unit 103 analyzes the layout of the acquired image data, and extracts a character string in units of lines from a character region included in the image data (step S12). For example, the extraction unit 103 executes a layout analysis process using optical character recognition (OCR: Optical Character Recognition) technology, performs line direction extraction, and extracts character strings in units of lines. At this time, the extraction unit 103 extracts not only one line but also a plurality of lines, and determines the order of the lines from the positional relationship of the lines. Even in image data in which a chart and a character string are mixed, the layout analysis process is executed to automatically separate the chart and the character string and extract only the character string in line units. FIG. 4B and FIG.
  • the extraction unit 103 extracts the character size and character spacing, and estimates the row direction (vertical writing or horizontal writing) based on the character size and character spacing.
  • the extraction unit 103 extracts the center line of the row and the coordinates of the two end points of the center line based on the estimated row direction.
  • the image data for which the extraction unit 103 analyzes the layout may not be image data captured by the imaging unit 101.
  • image data stored in the smartphone 1 may be used.
  • image data is read from the secondary storage device 15 instead of taking an image.
  • the display control unit 107 displays the line specified by the touch position (step S14).
  • FIG. 4C and FIG. 5C show an example of the screen of the touch panel 12.
  • the screen of the touch panel 12 is vertically divided into two.
  • a part of the image data centered on the designated line is displayed on the line display screen 3.
  • the line display screen 3 includes a center line of the currently designated line, a part of the next line (previous line), and a character string area (enlarged display area) displayed on the enlarged display screen 2 in an enlarged manner. 4) and a drag button 5 are displayed.
  • Step S16 an operation in which the user touches the drag button 5 displayed on the line display screen 3 with his / her finger and an operation to move the finger while keeping the finger in contact with the drag button 5 are also referred to as drag.
  • the character string in the enlarged display area 4 shown in the line display screen 3 is displayed on the enlarged display screen 2 in FIGS. That is, the enlarged display screen 2 displays a character string obtained by enlarging the position designated by the drag button 5 and the vicinity thereof.
  • the determination unit 106 determines whether the end operation has been performed (step S18). For example, when the user presses a return button (not shown), the determination unit 106 determines that an end operation has been performed, and ends this process. When the return button is not pressed, the determination unit 106 determines that the end operation is not performed, and the position detection unit 104 moves the position (touch position) of the drag button 5 according to the drag operation by the user. Detect (step S20).
  • the determination unit 106 determines whether the drag button 5 is moving in the row direction based on the detected position of the drag button 5 (step S22). When determining that the drag button 5 has moved in the line direction, the determining unit 106 determines whether the drag button 5 has moved to the end of the designated line (step S24). At this time, the determination unit 106 determines whether or not the line end is based on the coordinates of the two end points of the center line of the row extracted by the extraction unit 103.
  • step S24 when determining that the drag button 5 has not moved to the end of the line, the determination unit 106 determines whether the drag button 5 has moved to the beginning of the designated line (step S28). At this time, the determination unit 106 determines whether or not the start of the line is based on the coordinates of the two end points of the center line of the row extracted by the extraction unit 103.
  • the display control unit 107 extracts a component in the row direction when the user's finger moves the drag button 5. To do. The display control unit 107 moves the display area of the character string displayed on the enlarged display screen 2 along the center line of the row by the extracted component in the row direction (step S30).
  • the drag button 5 is displayed slightly before the center of the line display screen 3. From this state, the user moves the drag button 5 in the row direction from left to right. In accordance with the movement of the drag button 5, the character string displayed in an enlarged manner on the enlarged display screen 2 is changed from the enlarged display area 4 shown in FIG. 6A to the enlarged display area 4 shown in FIG. Moving.
  • the display control unit 107 enlarges and displays the position of the drag button 5 after movement and the character string in the vicinity thereof (enlarged display area 4) (step S16).
  • the determination unit 106 determines again whether an end operation has been performed (step S18). If the return button has not been pressed, the position detection unit 104 detects the coordinates of the position (touch position) of the drag button 5 again (step S20).
  • the determination unit 106 determines whether the drag button 5 is moving in the row direction based on the detected position of the drag button 5 (step S22).
  • the drag button 5 When the drag button 5 is clearly moving in the direction perpendicular to the row direction, as in the case of moving the position of the drag button 5 in the direction of the second axis in FIG. If it is determined that the drag button 5 has not moved in the row direction and moved in the other direction, it may be determined that the drag button 5 has moved in the row direction.
  • the determination unit 106 determines that the drag button 5 has moved in the row direction, the first axis component (when the movement of the drag button 5 is divided into the first axis component and the second axis component ( In other words, by moving the drag button 5 by the component in the row direction), it is possible to delimit a character string that expands the display.
  • the display control unit 107 moves the drag button 5 on the row display screen 3 by the first axis component along the center line of the row. Accordingly, the character string enlarged and displayed on the enlarged display screen 2 changes. Thus, the user can smoothly read the character string of the designated line in the line direction without tracing the drag button 5 accurately on the center line of the line.
  • the display control unit 107 uses the first axis (vertical direction of the screen (the vertical direction of the screen)) when the movement of the position of the drag button 5 is divided into the first axis component and the second axis component.
  • the drag button 5 is moved by the component in the vertical direction)).
  • step S22 when the determination unit 106 determines that the drag button 5 has not moved in the row direction, the determination unit 106 determines whether the drag button 5 has moved in the next row direction of the designated row (step S32). For example, when the drag button 5 is moving in the vertical direction of the screen, or when the moving direction of the drag button 5 is less than ⁇ 45 degrees with respect to the vertical direction of the screen, the determination unit 106 moves in the row direction. It may be determined that it is not. If the determination unit 106 determines in step S32 that the drag button 5 has moved in the next line direction, the display control unit 107 moves the top of the display position on the screen to the beginning of the next line (step S32).
  • next line is displayed on the line display screen 3 (step S14), and the head of the next line is displayed on the enlarged display screen 2 (step S16).
  • the next line is displayed on the line display screen 3, and the character string shown in the enlarged display area 4 of the line display screen 3 on the enlarged display screen 2, that is, , The beginning of the next line and the character string in the vicinity thereof are displayed.
  • step S32 determines in step S32 that the drag button 5 has not moved in the next line direction
  • the display control unit 107 moves the top of the display position on the screen to the beginning of the previous line (step S32).
  • step S26 The previous line is displayed on the line display screen 3 (step S14), and the head of the previous line is displayed on the enlarged display screen 2 (step S16).
  • step S20 based on the position of the drag button 5 detected when the ending operation is not performed (step S20), it is determined that the drag button 5 is moving in the row direction in step S22, and designated in step S24.
  • a case where it is determined that the line has been moved to the end of the line will be described. This is the case, for example, when the drag button 5 shown in FIG. 6A has moved to the end of the line.
  • the process proceeds to step S26, and the display control unit 107 moves the head of the display position on the screen to the beginning of the next line, displays the next line on the line display screen 3 (step S14), and displays on the enlarged display screen 2.
  • the beginning of the next line is displayed (step S16).
  • the drag button 5 automatically moves to the next line, so that the enlarged display can be reliably moved to the beginning of the next line. Thereby, the user can enlarge the line next to the designated line and read it smoothly.
  • step S20 based on the detected position of the drag button 5 (step S20), the drag button 5 moves in the line direction (step S22) and moves to the beginning of the line instead of the end of the designated line (step S24, A case where it is determined as S28) will be described.
  • the display control unit 107 moves the head of the display position on the screen to the beginning of the previous line, displays the previous line on the line display screen 3 (step S14), and displays the previous line on the enlarged display screen 2.
  • the beginning of the line is displayed (step S16). Accordingly, the drag button 5 automatically moves to the previous line, so that the enlarged display can be reliably moved to the beginning of the previous line. As a result, the user can smoothly return to and read the line preceding the designated line.
  • steps S22 to S34 is repeatedly executed according to the position of the drag button 5 detected in step S20.
  • the entire character string of the designated line is displayed on the line display screen 3 in step S14.
  • the designated position in the designated line and the character string in the vicinity thereof are enlarged and displayed on the enlarged display screen 2 in step S16.
  • the user can enlarge the designated line and read it smoothly.
  • an example of the character enlargement display process executed by the smartphone 1 according to the first embodiment has been described.
  • the character enlargement display process it is possible to easily specify the portion to be enlarged when the character string is enlarged.
  • a character string is extracted in units of lines from a character region included in image data in document layout analysis.
  • the center line of the extracted row and its end points are calculated, and a process for moving the enlarged display area along the center line is executed.
  • the enlarged display at the designated position of the designated line can be stably performed by moving the finger in the line direction on the line display screen 3. It becomes possible.
  • the head of the next line is automatically enlarged and displayed.
  • the head of the next line is automatically enlarged and displayed. The same applies if you want to go back one line. For this reason, the user does not have to search for the beginning of the next line or the previous line on the screen. In this respect as well, it is possible to easily specify the portion to be enlarged when the character string is enlarged.
  • the character string of the portion to be enlarged can be displayed at high speed without error.
  • a document printed on a paper medium is recognized by OCR and the character code is enlarged and displayed on the screen
  • the character at the part to be enlarged is erroneously recognized, and it is difficult to display it with 100% error.
  • processing takes time because character recognition is performed in two stages: a character string in a line is extracted from image data, and each character is recognized from the extracted character string in the line.
  • the character string is recognized in units of lines, and the character in the line to be enlarged is not recognized in units of characters.
  • the character enlargement display processing is executed in units of lines. Therefore, the processing can be shortened compared with the case where the character enlargement display processing is executed in units of characters, High-speed processing is possible. As a result, the response until the designated character string is enlarged and displayed can be accelerated. Therefore, even a user with presbyopia or amblyopia can read the document more smoothly using the smartphone 1.
  • enlargement display control can be performed with a word in a specified line as a unit.
  • the designated position and the character string in the vicinity thereof are enlarged and displayed in units of words.
  • the display control unit 107 moves the next word when the position of the drag button 5 moves to the next word side from the midpoint between the center position of the previous word and the center position of the next word.
  • the entire display may be enlarged.
  • a character string enlarged in units of words is displayed.
  • one word is not displayed in a state of being cut off halfway.
  • the character string can be enlarged and displayed in a state that the user can easily recognize.
  • the display enlargement ratio may be small. For example, a long word is displayed with a reduction ratio smaller than that of a short word so as to enter the screen. Thereby, since one word is not displayed in the state cut
  • FIG. 7 is a flowchart illustrating an example of a character enlargement display process according to the second embodiment.
  • steps that perform the same processing as the character enlargement display processing according to the first embodiment shown in FIG. 3 are denoted by the same step numbers as in FIG. 3. Therefore, hereinafter, the character enlargement display process according to the second embodiment will be described with a focus on the steps indicated by step numbers different from those in FIG. 3, and the redundant description with the first embodiment will be avoided.
  • step S10 When the character enlargement display process according to the second embodiment is started, after image capturing, a character string in units of lines is extracted by layout analysis of image data, a character string in a specified line is displayed, and a specified position is specified.
  • the enlarged display of the nearby character string is executed (steps S10 to S16). Further, while the operation button is not pressed (step S18), the position detection unit 104 detects the coordinates of the position (touch position) of the drag button 5 (step S20).
  • the determination unit 106 determines whether the drag operation has ended based on the detected position of the drag button 5 (step S40). If it is determined that the drag operation has ended, the determination unit 106 determines whether there is a line next to the specified line (step S42). If there is a next line, the display control unit 107 moves the top of the display position on the screen to the beginning of the next line (step S26), displays the next line on the line display screen 3 (step S14), and displays an enlarged display screen. The beginning of the next line is displayed in 2 (step S16). For example, as shown in FIG. 8B, when the finger is released from the drag button 5, the next line is automatically displayed on the line display screen 3 as shown in FIG. 8C. The beginning of the next line and the character string in the vicinity thereof are automatically displayed on the enlarged display screen 2.
  • step S24, S28 When it is determined that the operating finger has moved to the end of the line or the beginning of the line (steps S24, S28), the character string that is enlarged and displayed automatically displays the beginning of the next line or the previous line (steps S26, S34, S16, S18) is the same as in the first embodiment. Further, the process (steps S30, S16, S18) for moving the character string displayed in an enlarged manner according to the movement of the operating finger is the same as that in the first embodiment. Therefore, description of these processes is omitted.
  • the character enlargement display process executed by the smartphone 1 according to the second embodiment has been described.
  • the determination unit 106 determines that there is a next line of the specified line, the position specified after the position specification is canceled is set on the first axis indicating the direction of the line and the first line. It may be determined whether the position on the first axis when divided into positions on the second axis perpendicular to the axis is within a predetermined range from the beginning of the next line. If the determination unit 106 determines that there is a next line of the specified line, the determination unit 106 may determine whether the specified position is within a predetermined range from the beginning of the next line after the specification of the position is canceled. . When the determination unit 106 determines that the designated position is within a predetermined range from the beginning of the next line, the display control unit 107 may enlarge and display the beginning of the next line and a character string in the vicinity thereof.
  • the character enlargement display process according to the second embodiment it is possible to easily specify the position of the head of the adjacent line when the character string is enlarged and displayed.
  • the character string portion is extracted from the screen in units of lines, and it is determined which line corresponds to the portion designated for enlargement by the user.
  • the position where the enlargement is designated by the user's finger or the like when the next enlargement display target is determined is regarded as the next line. Even if not, the character string to be enlarged can be determined from the next line.
  • the enlarged character string is automatically moved to the beginning of the next line or the previous line. For this reason, the user does not need to search for the head of a desired line on the screen and specify the head of the desired line on the touch screen.
  • the operation of releasing the specified position is not limited to the operation of releasing the finger from the screen.
  • the operation of releasing the finger from the screen when an operation for moving the finger in the direction opposite to the moving direction is performed, it is determined that the designated position is released, and the character displayed in an enlarged manner is the same as when the finger is released from the screen in the above embodiment.
  • the column may be automatically moved to the beginning of the next line.
  • the display control unit 107 may perform enlarged display of the designated position and the character string in the vicinity thereof in units of words. According to this, while the finger is moving in the row direction, the enlarged character string enlarged in units of words is displayed on the enlarged display screen 2. For example, in FIG. 8C, the character string is enlarged and displayed on the enlarged display screen 2 in pixel units, whereas in FIG. 8D, the character string is enlarged and displayed in word units. Thereby, since one word is not displayed in the state cut
  • FIG. 9 is a flowchart illustrating an example of a character enlargement display process according to the third embodiment.
  • steps that perform the same processing as the character enlargement display processing according to the first embodiment shown in FIG. 3 are denoted by the same step numbers as in FIG. 3. Therefore, hereinafter, the character enlargement display process according to the third embodiment will be described with a focus on the steps indicated by step numbers different from those in FIG. 3, and a redundant description with the first embodiment will be avoided.
  • the position detection unit 104 stores the coordinates of the start position of the drag button 5 in the storage unit 102 (step S52).
  • the coordinates of the start position of the drag button 5 are referred to as drag start points (x 0 , y 0 ).
  • the display control unit 107 displays the designated line on the line display screen 3 (step S14), and enlarges and displays the character string near the drag button 5 on the enlarged display screen 2 (step S16).
  • the determination unit 106 determines that the end operation is not performed (step S18). In that case, the position detection unit 104 detects coordinates in the middle of movement of the drag button 5 (step S54).
  • the coordinates in the middle of movement of the drag button 5 are referred to as drag middle points (x, y).
  • the calculation unit 105 calculates a difference ⁇ between the drag start point (x 0 , y 0 ) and the drag intermediate point (x, y), and the determination unit 106 determines that the calculated distance difference ⁇ is predetermined. It is determined whether it is equal to or greater than the threshold value (step S56).
  • a point (x 1 , y 1 ) projected from the drag start point (x 0 , y 0 ) to the center line is expressed by the following equation (1).
  • the difference ⁇ is calculated.
  • the determination unit 106 determines whether or not the calculated distance difference ⁇ is greater than or equal to a predetermined threshold (step S ⁇ b> 56).
  • the display control unit 107 projects the point (x 2 , y 2 ) projected from the drag midpoint (x, y) to the center line. ) As the coordinates of the drag middle point, the position of the drag button 5 and the character string in the vicinity thereof are enlarged and displayed.
  • ) is equal to or greater than a predetermined first threshold value (step S56). When the determination unit 106 determines that the calculated distance difference ⁇ (
  • ⁇ ⁇
  • FIG. 12 shows a case where the difference ⁇ in the distance in the first axis direction from the drag start point P1 to the drag intermediate point P3 becomes the first threshold value. It is shown.
  • ⁇ 1 is not satisfied (for example, the point P4 in FIG. 12), the display control unit 107 continues until the designated position is released. Based on the x coordinate of the point (x 2 , y 2 ), the enlarged display area is moved in the first axis direction according to the difference ⁇ (
  • the malfunction of enlarged display can be reduced by stabilizing the movement of the area in the line in response to the user's operation.
  • An example of when the designated position is canceled is when the drag button 5 on the screen shown at steps S24 and S28 in FIG. 9 is located at the end or the beginning of the designated line.
  • step S60 in FIG. 9 the display control unit 107 enlarges and displays the position of the drag halfway point on the first axis and the character string in the vicinity thereof (step S16). While the return button is not pressed (step S18), the steps after step S56 are repeatedly executed according to the position of the drag intermediate point detected in step S54.
  • the display area is moved in the second axis direction by the length indicated by the difference ⁇ in accordance with 2 ⁇ y 1
  • the display control unit 107 enlarges and displays the beginning of the line at the moved position and the character string in the vicinity thereof (steps S60 and S16). For example, when the drag button 5 moves to the point P8 in FIG. 13, the beginning of the next line and the character string in the vicinity thereof are displayed in an enlarged manner.
  • the drag button 5 moves to a point P8 in FIG. 13 and the drag button 5 is determined to be within a predetermined range from the beginning of the next row Ln + 1 (for example, the enlarged display area 4 from the beginning of the row Ln + 1), The beginning of the next line and the character string in the vicinity thereof may be displayed in an enlarged manner.
  • step S18 While the return button is not pressed (step S18), the steps after step S14 are repeatedly executed according to the position of the drag intermediate point detected in step S54.
  • step S18 an example of the character enlargement display process executed by the smartphone 1 according to the third embodiment has been described.
  • the determination unit 106 may determine whether the designated position has moved by a first threshold value or more in the first axis direction indicating the row direction. When the determination unit 106 determines that the position in the first axis direction has moved by the first threshold value or more, the display control unit 107 performs the specified in-line until the specified position is canceled.
  • the character string in the vicinity of the position in the first axis direction and in the vicinity thereof may be enlarged.
  • the character enlargement display process according to the third embodiment it is possible to reduce malfunctions in the designation of the enlargement display position when the character string is enlarged and displayed.
  • the character string portion is extracted from the screen in units of lines, and based on the comparison between the drag operation movement amount and the first or second threshold, It is determined whether or not the line designated for enlarged display is being enlarged.
  • the positions where the enlarged display is designated correspond to the upper and lower lines of the currently enlarged display line. Even if it moves to a part, the display is controlled so that the line to be enlarged is not changed. As a result, it is possible to reduce malfunctions in designation of the enlarged display position due to shaking of the fingertip. Also in this embodiment, the same effects as those described in the example of the effects of the first and second embodiments can be obtained.
  • the display control unit 107 may enlarge and display the designated position and the character string in the vicinity thereof with the word in the designated line as a unit. According to this, while the finger is moving in the row direction, the enlarged character string enlarged in units of words is displayed on the enlarged display screen 2. Thereby, since one word is not displayed in the state cut
  • the terminal device, the display control method, and the program have been described in the above embodiment, but the present invention is not limited to the above embodiment, and various modifications and improvements can be made within the scope of the present invention. Further, the above embodiments can be combined within a consistent range.
  • the screen is divided into two areas, the entire line is displayed in one area, and the target character string in the line specified in the other area is enlarged and displayed.
  • the target character string in the line designated in the entire area of one screen may be enlarged and displayed without dividing the screen. For example, as shown in FIG. 14 (a), the border of two screens divided into two regions is touched with a finger and the finger is lowered ((1) in FIG. 14 (a)). As shown in FIG.
  • the enlarged display screen 2 can be a single screen. In this case, the user performs a drag operation on the enlarged display screen 2. Furthermore, as shown in (c) of FIG. 14, the screen may be divided again into two areas of the row display screen 3 and the enlarged display screen 2.
  • the drag operation may be performed on the line display screen 3 when the screen is divided into two screens, or the drag operation may be performed on the enlarged display screen 2.
  • a character enlargement display process according to the present invention is performed on a vertically written character string, that is, a character string whose first axis is in the vertical direction. Is also applicable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　画像データに含まれる文字領域から行を一単位にして文字列を抽出する抽出部と、前記行単位で抽出された文字列のうち、指定された行内の指定された位置及びその近傍の文字列を拡大表示する表示制御部と、を有する端末装置が提供される。

Description

端末装置、表示制御方法及びプログラム
　本発明は、端末装置、表示制御方法及びプログラムに関する。
　老眼や弱視の人々は、細かい文字が見え難いため、文字を視認し易くするために拡大鏡（虫眼鏡）や老眼鏡を使うことがある。しかし、拡大鏡や老眼鏡の使用は煩わしく、持ち運びに不便である。
　近年、スマートフォンの普及に伴い、外出時に携帯されるスマートフォン等の電子機器に拡大鏡、老眼鏡の機能を持たせることが提案されている。例えば、スマートフォンが持つカメラで対象物を撮影し、撮影した対象物の所定の場所を拡大した動画像をリアルタイムに画面に表示することで拡大した画像が得られる。
　また、特許文献１では、プレゼンテーション用文書の作成に用いられる文書作成装置において、通常の文書原稿中から、必要とする領域の内容のみを自動的に編集し、文字や図を見やすい大きさに変換してプレゼンテーション用文書を作成する技術が提案されている。
特開平０６－１８７３３３号公報
　しかしながら、上記技術では、撮影した対象物の所定の場所にスマートフォンを近づけて拡大する際の手振れにより動画像の表示が乱れるという課題を有する、また、文字を一単位とした文字領域の抽出は正確に行われないことがあり、誤った文字領域が抽出された場合、文書画像を拡大表示する際のレイアウトが崩れ、抽出された文字領域を正しく表示することが難しくなるという課題を有する。
　そこで、一つの側面では、文字列を拡大表示する際の、拡大表示する個所の指定を容易にすることが可能な、端末装置、表示制御方法及びプログラムを提供することを目的とする。
　一つの態様では、
　画像データに含まれる文字領域から行を一単位にして文字列を抽出する抽出部と、
　前記行単位で抽出された文字列のうち、指定された行内の指定された位置及びその近傍の文字列を拡大表示する表示制御部と、
　を有する端末装置が提供される。
　一つの側面として、文字列を拡大表示する際の、拡大表示する個所の指定を容易にすることができる。
一実施形態にかかる端末装置のハードウェア構成の一例を示す図。 一実施形態にかかる端末装置の機能構成の一例を示す図。 第１実施形態にかかる文字拡大表示処理の一例を示すフローチャート。 一実施形態にかかる行単位の文字列（英語）抽出を説明するための図。 一実施形態にかかる行単位の文字列（日本語）抽出を説明するための図。 第１実施形態にかかる文字拡大表示の一例を示す図。 第２実施形態にかかる文字拡大表示処理の一例を示すフローチャート。 第２実施形態にかかる文字拡大表示の一例を示す図。 第３実施形態にかかる文字拡大表示処理の一例を示すフローチャート。 第３実施形態にかかる文字拡大表示を説明するための図。 第３実施形態にかかる文字拡大表示を説明するための図。 第３実施形態にかかる文字拡大表示を説明するための図。 第３実施形態にかかる文字拡大表示を説明するための図。 変形例にかかる文字拡大表示の一例を示す図。
　以下、本発明実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
　［ハードウェア構成例］
　はじめに、本発明の一実施形態にかかる端末装置のハードウェア構成の一例について説明する。図１は、一実施形態にかかる端末装置のハードウェア構成の一例を示す。一実施形態にかかる端末装置は、本発明の一実施形態にかかる文字拡大表示処理を行う電子機器であり、例えば、スマートフォン、タブレット端末、携帯電話、電子書籍等が一例として挙げられる。以下では、本実施形態にかかる端末装置の一例として、スマートフォンを例に挙げて説明する。
　一実施形態にかかるスマートフォン１は、ＣＰＵ（Central Processing Unit）１０、メモリ１１、タッチパネル１２、カメラ１３、操作ボタン１４、２次記憶装置１５、通信Ｉ／Ｆ（Interface）１６、無線通信Ｉ／Ｆ１７、外部Ｉ／Ｆ１８及び音声入出力Ｉ／Ｆ１９を有する。
　ＣＰＵ１０は、スマートフォン１が備える各部を統括制御する。スマートフォン１が備える機能は、ＣＰＵ１０が、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等で構成されるメモリ１１に記憶されているプログラムを、ＲＡＭなどに読み出して実行することで実現される。
　例えば、ＣＰＵ１０は、アプリケーションプログラムの命令を逐次取り込んで解読し、その内容、演算、データ転送、制御などを実行する。本実施形態では、ＣＰＵ１０は、メモリ１１や２次記憶装置１５から、文字拡大表示処理プログラムやその他のアプリケーションプログラムやデータを読み出し、文字拡大表示処理を実行する。これにより、ＣＰＵ１０は、スマートフォン１の全体制御やスマートフォン１に搭載された文字拡大表示制御機能を実現する。
　タッチパネル１２は、ユーザの指やタッチペン等の操作体のタッチ面への接触を検知可能なセンサを搭載し、ユーザの操作に応じたデータを入力する機能を有する。また、タッチパネル１２は、所望のオブジェクトをＬＣＤ（液晶ディスプレイ）等のディスプレイに表示する機能を有する。本実施形態では、ユーザの指がタッチパネルのタッチ面に接触する操作により指定された文字列の拡大表示が行われる。センサの一例としては、圧力センサ、静電容量センサ、光センサ等が挙げられる。ただし、タッチパネル１２に搭載されるセンサは、操作体とタッチ面との接触及び非接触を検知できればどのようなセンサでもよい。
　カメラ１３は、レンズ及び撮像素子を有し、被写体を印刷した印刷物や文書を撮像してその画像データを取り込む。操作ボタン１４は、スマートフォン１の所定の機能を実行するために設けられたボタンであり、電源をオン／オフするための電源ボタンや前の画像表示に戻るボタン（以下、「戻りボタン」ともいう。）が一例として挙げられる。
　２次記憶装置１５は、ＥＥＰＲＯＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の記憶装置で構成され得る。２次記憶装置１５は、ＣＰＵ１０が実行する制御プログラム、ＯＳプログラム、及びＣＰＵ１０が、スマートフォン１が有する各種機能を実行するためのアプリケーションプログラム等を記憶する。
　通信Ｉ／Ｆ１６は、通信網を介して外部の装置と通信を行うためのインターフェースである。通信Ｉ／Ｆ１６は、通信網を介して各種通信端末に接続し、スマートフォン１と通信端末との間でのデータの送受信を実現する。また、通信Ｉ／Ｆ１６は、携帯電話回線網を介して、電子メールデータ等を他の装置との間で送受信するためのインターフェースとしても機能し得る。
　無線通信Ｉ／Ｆ１７は、外部の装置と無線通信するためのインターフェースである。例えば、無線通信Ｉ／Ｆ１７は、ＩｒＤＡ、ＩｒＳＳなどの赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、Ｗｉ－Ｆｉ（登録商標）通信、非接触型ＩＣカードのいずれかの無線通信手段を実現するためのインターフェースである。
　外部Ｉ／Ｆ１８は、外部の装置をスマートフォン１に接続するためのインターフェースである。例えば、外部Ｉ／Ｆ１８は、外付けの記録媒体（メモリカードなど）を挿し込むためのソケット、ＨＤＭＩ（High Definition Multimedia Interface）(登録商標)端子、ＵＳＢ（Universal Serial Bus）端子等で実現される。この場合、ＣＰＵ１０は、外部Ｉ／Ｆ１８を介して、外部の装置とデータの送受信を行う。
　音声入出力Ｉ／Ｆ１９は、スマートフォン１が処理した音声データを出力するためのインターフェースであり、例えば、スピーカ、ヘッドフォン端子及びヘッドフォン等により実現される。また、音声入出力Ｉ／Ｆ１９は、スマートフォン１の外部で発生した音声を入力するためのインターフェースであり、例えば、マイク等により実現される。
　［機能構成例］
　次に、本発明の一実施形態にかかる端末装置の機能構成について、図２を参照しながら説明する。図２は、一実施形態にかかる端末装置の機能の一例を示す。以下では、スマートフォン１を例に挙げて機能の一例を説明する。
　一実施形態にかかるスマートフォン１は、撮像部１０１、記憶部１０２、抽出部１０３、位置検出部１０４、演算部１０５、判定部１０６、表示制御部１０７、通信部１０８、無線通信部１０９及び音声入出力部１１０を有する。
　撮像部１０１は、文書等を撮像した画像データを取り込む。撮像部１０１は、例えばカメラ１３により実現される。
　記憶部１０２は、取り込んだ画像データ、各種プログラム、各種データを記憶する。記憶部１０２は、後述される第１の閾値及び第２の閾値を予め設定し、記憶している。記憶部１０２は、例えばメモリ１１や２次記憶装置１５により実現される。
　抽出部１０３は、画像データに含まれる文字領域から行を一単位にして文字列を抽出する。
　位置検出部１０４は、操作体のタッチ面への接触や操作体のタッチ面への接触の解除（指のリリース等）を検出する。位置検出部１０４は、例えばタッチパネル１２に搭載されたセンサにより実現される。
　演算部１０５は、検知されたタッチ面への接触に基づき、操作体のタッチ位置の座標（ｘ、ｙ）を算出したり、操作体の移動方向や移動距離を算出する。
　判定部１０６は、操作体によるタッチ位置により指定された行に続く行があるかを判定する。
　表示制御部１０７は、抽出された行単位の文字列のうち操作体により指定された行内のタッチ位置及びその近傍の文字列を拡大表示する。表示制御部１０７は、後述される所定の場合、その次行又は前行の行頭及びその近傍の文字列を拡大表示する。演算部１０５、判定部１０６及び表示制御部１０７の機能は、ＣＰＵ１０により実現される。
　通信部１０８は、外部の装置と情報の送受信を行う。無線通信部１０９は、外部の装置と無線通信する。音声入出力部１１０は、音声データを入出力する。
　以上、一実施形態にかかる端末装置の一例として、スマートフォン１のハードウェア構成及び機能構成について説明した。次に、第１～第３実施形態にかかる文字拡大表示処理について、順に説明する。
＜第１実施形態＞
　［スマートフォンの動作（文字拡大表示処理）］
　第１実施形態に係るスマートフォン１が実行する文字拡大表示処理の一例について、図３を参照しながら説明する。図３は、第１実施形態にかかる文字拡大表示処理の一例を示すフローチャートである。
　なお、画像データに含まれる文字列の方向が画面の水平方向に対して±４５度未満の場合、文字列は横書きで記載されていると判定され、画面の水平方向（横方向）を第１軸、画面の垂直方向（縦方向）を第２軸とする。画像データに含まれる文字列の方向が画面の垂直方向に対して±４５度未満の場合、文字列は縦書きで記載されていると判定され、画面の垂直方向（縦方向）を第１軸、画面の水平方向（横方向）を第２軸とする。以下の説明は、横書きの場合であり、画面の水平方向が第１軸（行方向）とされ、画面の垂直方向が第２軸とされる。
　第１実施形態に係る文字拡大表示処理が開始されると、撮像部１０１は、文書等を撮影し、文字を含む画像データをスマートフォン１に取り込む。（ステップＳ１０）。図４の（ａ）及び図５の（ａ）は、紙媒体に印刷された英語の文書及び日本語の文書を撮影することでスマートフォン１が取得した画像データの一例である。
　次に、抽出部１０３は、取得した画像データのレイアウトを解析し、画像データに含まれる文字領域から行単位で文字列を抽出する（ステップＳ１２）。例えば、抽出部１０３は、光学文字認識（ＯＣＲ：Optical Character Recognition）技術を用いて、レイアウト解析処理を実行し、行方向の抽出を行い、行単位の文字列の抽出を行う。このとき、抽出部１０３は、１つの行だけでなく、複数の行を抽出し、行の位置関係から行の順番を決定する。図表と文字列が混在している画像データにおいてもレイアウト解析処理を実行することで図表と文字列とを自動で分離し、文字列だけを行単位で抽出する。図４の（ｂ）及び図５の（ｂ）は、画像データから行単位で文字列が抽出された状態の一例を示す。各枠内の文字列が、行単位で抽出された文字列である。抽出部１０３は、文字サイズ、文字間隔を抽出し、文字サイズ、文字間隔を基準として行方向（縦書き又は横書き）を推定する。抽出部１０３は、推定した行方向に基づき、行の中心線と中心線の２端点の座標を抽出する。
　なお、抽出部１０３がレイアウトの解析を行う画像データは、撮像部１０１により撮影された画像データでなくてもよい。例えば、スマートフォン１内に保存された画像データであってもよい。この場合、ステップＳ１０では、画像の撮影を行う替わりに２次記憶装置１５から画像データが読み込まれる。
　ユーザの指がタッチ面をタッチしたとき、表示制御部１０７は、タッチ位置により指定された行を表示する（ステップＳ１４）。
　例えば、図４の（ｃ）及び図５の（ｃ）には、タッチパネル１２の画面の一例が示されている。この例では、タッチパネル１２の画面が上下に２分割されている。行表示画面３には、指定された行を中心とした画像データの一部が表示される。より詳しくは、行表示画面３には、現在指定されている行の中心線と、次行（前行）の一部と、拡大表示画面２に拡大表示される文字列の領域（拡大表示領域４）と、ドラグボタン５とが表示されている。
　図３に戻り、ユーザがドラグボタン５に指をタッチしてドラグボタン５を操作すると、表示制御部１０７は、指定された行内の指定された位置とその近傍の文字列を拡大した画像を表示する（ステップＳ１６）。以下では、ユーザが行表示画面３に表示されたドラグボタン５に指をタッチする操作、及び指をドラグボタン５に接触させたまま移動させる操作をドラグ（ｄｒａｇ）ともいう。
　例えば、図４の（ｃ）及び図５の（ｃ）の拡大表示画面２には、行表示画面３で示した拡大表示領域４内の文字列が表示される。つまり、拡大表示画面２には、ドラグボタン５によって指定された位置とその近傍を拡大した文字列が表示される。
　図３に戻り、次に、判定部１０６は、終了動作が行われたかを判定する（ステップＳ１８）。例えば、ユーザが戻りボタン（図示しない）を押すと、判定部１０６は、終了動作が行われたと判定し、本処理を終了する。戻りボタンが押されていない場合、判定部１０６は、終了動作が行われていないと判定し、位置検出部１０４は、ユーザによるドラグ操作に応じたドラグボタン５の位置（タッチ位置）の移動を検出する（ステップＳ２０）。
　判定部１０６は、検出されたドラグボタン５の位置に基づき、ドラグボタン５が行方向へ移動しているかを判定する（ステップＳ２２）。判定部１０６は、ドラグボタン５が行方向へ移動していると判定した場合、指定された行の行末へ移動したかを判定する（ステップＳ２４）。このとき、判定部１０６は、抽出部１０３により抽出された行の中心線の２端点の座標に基づき、行末か否かを判定する。
　ステップＳ２４において、判定部１０６は、ドラグボタン５が行末へ移動していないと判定した場合、ドラグボタン５が指定された行の行頭へ移動したかを判定する（ステップＳ２８）。このとき、判定部１０６は、抽出部１０３により抽出された行の中心線の２端点の座標に基づき、行頭か否かを判定する。判定部１０６がドラグボタン５が指定された行の行頭へ移動していないと判定した場合、表示制御部１０７は、ユーザの指がドラグボタン５を移動させたときの、行方向の成分を抽出する。表示制御部１０７は、抽出した行方向の成分だけ、拡大表示画面２に表示する文字列の表示領域を行の中心線に沿って移動させる（ステップＳ３０）。
　例えば、図６の（ａ）では、ドラグボタン５が行表示画面３の中央より少し前に表示されている。ユーザは、この状態からドラグボタン５を左から右に行方向に移動させる。ドラグボタン５の移動に応じて、拡大表示画面２に拡大して表示される文字列が、図６の（ａ）に示す拡大表示領域４から図６の（ｂ）に示す拡大表示領域４に移動する。
　図３に戻り、表示制御部１０７は、移動後のドラグボタン５の位置及びその近傍（拡大表示領域４）の文字列を拡大して表示する（ステップＳ１６）。次に、判定部１０６は、終了の動作が行われたかを再び判定する（ステップＳ１８）。戻りボタンが押されていない場合、位置検出部１０４は、再び、ドラグボタン５の位置（タッチ位置）の座標を検出する（ステップＳ２０）。
　次に、判定部１０６は、検出されたドラグボタン５の位置に基づき、ドラグボタン５が行方向へ移動しているかを判定する（ステップＳ２２）。
　ドラグボタン５の位置を図６の第２軸の方向に移動させる場合のように、ドラグボタン５が明確に行方向と垂直な方向に移動している場合、判定部１０６は、ドラグボタン５が行方向へ移動していないと判定し、それ以外の方向に移動している場合、ドラグボタン５は行方向へ移動していると判定してもよい。判定部１０６は、ドラグボタン５が行方向へ移動したと判定した場合、ドラグボタン５の位置の移動を第１軸の成分と第２軸の成分とに分けたときの第１軸の成分（つまり行方向の成分）だけドラグボタン５を移動させることで、表示を拡大する文字列を画定することができる。つまり、表示制御部１０７は、行表示画面３のドラグボタン５を行の中心線に沿って第１軸の成分だけ移動させる。それに従って拡大表示画面２に拡大表示される文字列が変化する。これにより、ユーザは、ドラグボタン５を正確に行の中心線上にトレースしなくても、指定した行の文字列を行方向に拡大してスムーズに読むことができる。
　なお、縦書きの場合も同様に、表示制御部１０７は、ドラグボタン５の位置の移動を第１軸の成分と第２軸の成分とに分けたときの第１軸（画面の垂直方向（縦方向））の成分だけドラグボタン５を移動させる。これにより、ユーザは、指定した行の文字列を行方向に拡大してスムーズに読むことができる。
　ステップＳ２２において、判定部１０６は、ドラグボタン５が行方向へ移動していないと判定した場合、ドラグボタン５が指定された行の次行方向へ移動しているかを判定する（ステップＳ３２）。例えば、ドラグボタン５が画面の垂直方向に移動している場合や、ドラグボタン５の移動方向が画面の垂直方向に対して±４５度未満の場合に、判定部１０６は、行方向へ移動していないと判定してもよい。ステップＳ３２にて、判定部１０６は、ドラグボタン５が次行方向へ移動していると判定した場合、表示制御部１０７は、画面上の表示位置の先頭を次行の行頭へ移動し（ステップＳ２６）、行表示画面３に次行を表示し（ステップＳ１４）、拡大表示画面２に次行の行頭を表示する（ステップＳ１６）。この結果、図６の（ｃ）に示したように、行表示画面３には次行が表示され、拡大表示画面２には行表示画面３の拡大表示領域４に示された文字列、つまり、次行の先頭及びその近傍の文字列が表示される。
　一方、ステップＳ３２において判定部１０６は、ドラグボタン５が次行方向へ移動していないと判定した場合、表示制御部１０７は、画面上の表示位置の先頭を前行の行頭へ移動し（ステップＳ２６）、行表示画面３に前行を表示し（ステップＳ１４）、拡大表示画面２に前行の行頭を表示する（ステップＳ１６）。
　ここで、終了動作が行われていないときに検出されたドラグボタン５の位置に基づき（ステップＳ２０）、ドラグボタン５が、ステップＳ２２において行方向へ移動していると判定され、ステップＳ２４において指定された行の行末へ移動したと判定された場合を説明する。これは、例えば、図６の（ａ）に示したドラグボタン５が行末まで移動した場合である。この場合、ステップＳ２６に進み、表示制御部１０７は、画面上の表示位置の先頭を次行の行頭へ移動し、行表示画面３に次行を表示し（ステップＳ１４）、拡大表示画面２に次行の行頭を表示する（ステップＳ１６）。これにより、ドラグボタン５が次行に自動的に移動することで、拡大表示を確実に次行の行頭に移動させることができる。これにより、ユーザは、指定した行の次の行を拡大してスムーズに読むことができる。
　次に、検出されたドラグボタン５の位置に基づき（ステップＳ２０）、ドラグボタン５が、行方向へ移動し（ステップＳ２２）、指定された行の行末ではなく、行頭へ移動した（ステップＳ２４、Ｓ２８）と判定された場合を説明する。これは、例えば、図６の（ａ）に示したドラグボタン５が、図６の（ａ）に示した矢印と反対方向に進み行頭まで移動した場合である。この場合、ステップ３４進み、表示制御部１０７は、画面上の表示位置の先頭を前行の行頭へ移動し、行表示画面３に前行を表示し（ステップＳ１４）、拡大表示画面２に前行の行頭を表示する（ステップＳ１６）。これにより、ドラグボタン５が前行に自動的に移動することで、拡大表示を確実に前行の行頭に移動させることができる。これにより、ユーザは、指定した行の前の行にスムーズに戻って読むことができる。
　以上に説明したように、ステップＳ２０において検出されたドラグボタン５の位置に応じて、ステップＳ２２～Ｓ３４の少なくともいずれかの処理が繰り返し実行される。その結果、ステップＳ１４にて指定行の文字列の全体が行表示画面３に表示される。これとともに、ステップＳ１６にて指定行内の指定位置及びその近傍の文字列が拡大表示画面２に拡大して表示される。これにより、ユーザは、指定した行を拡大してスムーズに読むことができる。以上、第１実施形態に係るスマートフォン１が実行する文字拡大表示処理の一例について説明した。
　［効果の例］
　スクリーンのタッチ操作などによる位置の指定は、マウスを用いた位置の指定に比べて精度が低い。そのため、スクリーンのタッチ操作等では、ある文字領域を拡大しようとした際に、見たい文字部分ではなく、周辺の他の部分が拡大表示されることがある。
　これに対して、第１実施形態にかかる文字拡大表示処理によれば、文字列を拡大表示する際の、拡大表示する個所の指定を容易に行うことができる。具体的には、本実施形態では、文書のレイアウト解析において画像データに含まれる文字領域から行を一単位にして文字列が抽出される。つぎに、抽出された行の中心線と、その両端点が算出され、この中心線に沿って拡大表示領域を移動させる処理が実行される。これにより、操作指のぶれにより表示を拡大したい文字領域の指定が不正確であっても、行表示画面３において行方向に指を動かすだけで安定して指定行の指定した位置の拡大表示が可能になる。
　また、本実施形態にかかる文字拡大表示処理によれば、一行を読み終わったら自動で次行の先頭が拡大して表示される。一行前に戻りたい場合も同様である。このため、ユーザは画面上で次行や前行の先頭を探さなくても良い。その点においても文字列を拡大表示する際の、拡大表示する個所の指定を容易にすることができる。
　さらに、本実施形態にかかる文字拡大表示処理では、拡大したい箇所の文字列を誤りなく高速に表示することができる。例えば、紙媒体に印刷された文書をＯＣＲで文字認識して文字コードを画面に拡大表示する場合、拡大したい箇所の文字の誤認識が生じ、１００％誤りなく表示することは難しい。また、ＯＣＲによる文字認識においては、画像データから行内の文字列を抽出し、抽出した行内の文字列から各文字を認識するという二段階で文字認識が行われるため、処理に時間がかかる。これに対して、本実施形態にかかる文字拡大表示処理では、行単位で文字列が認識され、行内の拡大したい箇所の文字を文字単位で認識することはない。このため、行単位で拡大したい箇所の文字を誤りなく拡大表示できる。また、本実施形態にかかる文字拡大表示処理では、行単位で文字の拡大表示処理が実行されるため、文字単位で文字の拡大表示処理が実行される場合よりも処理を短縮でき、拡大表示の高速処理が可能になる。これにより、指定された文字列が拡大表示されるまでの反応を早くすることができる。よって、老眼や弱視のユーザであっても、スマートフォン１を利用して文書をよりスムーズに読むことができる。
　（単語単位の表示）
　英語のように単語間に空白がある言語では、指定された行内の単語を一単位にして拡大表示の制御を行うことができる。この場合、指定された位置及びその近傍の文字列は、単語単位で拡大表示される。具体的には、表示制御部１０７は、ドラグボタン５の位置が前の単語の中央の位置と次の単語の中央の位置との中点よりも次の単語側に移動したときに次の単語全体を拡大表示させてもよい。
　これによれば、図６の（ｄ）に示したように、単語単位で拡大された文字列が表示される。これにより、図６の（ｃ）に示したように、一単語が途中で切れた状態で表示されることはない。このため、ユーザが、より認識しやすい状態で文字列を拡大表示することができる。この結果、単語によっては、表示の拡大率が小さくなる場合がある。例えば、長い単語は、画面内に入るように拡大率を短い単語よりも縮小して表示する。これにより、一単語が途中で切れた状態で表示されることはないため、文字列をより認識しやすい状態で表示することができる。
＜第２実施形態＞
　［スマートフォンの動作（文字拡大表示処理）］
　次に、第２実施形態に係るスマートフォン１が実行する文字拡大表示処理の一例について、図７を参照しながら説明する。図７は、第２実施形態にかかる文字拡大表示処理の一例を示すフローチャートである。図７に示した各ステップのうち、図３に示した第１実施形態にかかる文字拡大表示処理と同じ処理を行うステップは、図３と同じステップ番号で示す。よって、以下では、図３と異なるステップ番号で示されたステップを中心に第２実施形態に係る文字拡大表示処理について説明し、第１実施形態との重複説明を回避する。
　第２実施形態に係る文字拡大表示処理が開始されると、画像撮影後、画像データのレイアウト解析による行単位の文字列の抽出され、指定された行の文字列の表示、及び指定された位置近傍の文字列の拡大表示が実行される（ステップＳ１０～Ｓ１６）。また、動作ボタンが押されていない間（ステップＳ１８）、位置検出部１０４は、ドラグボタン５の位置（タッチ位置）の座標を検出する（ステップＳ２０）。
　次に、判定部１０６は、検出されたドラグボタン５の位置に基づき、ドラグ操作が終了したかを判定する（ステップＳ４０）。判定部１０６は、ドラグ操作が終了したと判定した場合、指定されていた行の次行があるかを判定する（ステップＳ４２）。次行がある場合、表示制御部１０７は、画面上の表示位置の先頭を次行の行頭へ移動し（ステップＳ２６）、行表示画面３に次行を表示し（ステップＳ１４）、拡大表示画面２に次行の行頭を表示する（ステップＳ１６）。たとえば、図８の（ｂ）に示したように、ドラグボタン５から指が離されたとき、図８の（ｃ）に示したように、次行が自動的に行表示画面３に表示され、次行の先頭及びその近傍の文字列が、自動的に拡大表示画面２に表示される。
　操作指が行末又は行頭まで移動したと判定された場合（ステップＳ２４、Ｓ２８）に拡大表示される文字列を自動的に次行又は前行の先頭を表示させる処理（ステップＳ２６、Ｓ３４、Ｓ１６、Ｓ１８）は第１実施形態と同じである。また、操作指の移動に応じて拡大表示される文字列を移動させる処理（ステップＳ３０、Ｓ１６、Ｓ１８）についても第１実施形態と同じである。よって、これらの処理の説明は省略する。以上、第２実施形態に係るスマートフォン１が実行する文字拡大表示処理の一例について説明した。
　なお、判定部１０６は、指定された行の次行があると判定した場合、前記位置の指定が解除された後に指定された位置を、前記行の方向を示す第１軸上と前記第１軸に垂直な第２軸上の位置に分けたときの前記第１軸上の位置が前記次行の行頭から所定範囲内であるかを判定してもよい。判定部１０６は、指定された行の次行があると判定した場合、前記位置の指定が解除された後に指定された位置が次行の行頭から所定範囲内であるかを判定してもよい。判定部１０６が指定された位置が次行の行頭から所定範囲内であると判定した場合、表示制御部１０７は、次行の行頭及びその近傍の文字列を拡大表示してもよい。
　［効果の例］
　スクリーンのタッチ操作などによる位置の指定は、マウスを用いた位置の指定に比べて精度が低い。このため、ある行を拡大表示した後に次行を拡大表示したい場合、次行の先頭を指定することが難しいことがある。特に行間隔が詰まった文字列のときには、拡大表示中の次行の先頭を指定することは困難である。その際、位置を指定するユーザの指が次行の位置から上下にぶれると、次行の行頭と異なるぶれた位置にある行の文字部分が拡大表示され、所望の行の文字の拡大が難しく、スマートフォン１を利用して文書をスムーズに読むことを妨げる。
　これに対して、第２実施形態にかかる文字拡大表示処理によれば、文字列を拡大表示する際の、隣接する行の先頭の位置の指定を容易にすることができる。
　具体的には、本実施形態にかかる文字拡大表示処理によれば、画面から文字列部分が行単位で抽出され、ユーザによって拡大を指定されている部分がどの行にあたるかが判断される。そして、本実施形態では、その行の指定が終了したと判断されると、次に拡大表示する対象を判断する際に、ユーザの指等によって拡大が指定される位置が次行とみなされる位置になくても、拡大表示する対象の文字列を次行から判断することができる。
　つまり、例えば、本実施形態では、操作指を画面から離すと、拡大表示される文字列が自動的に次行又は前行の先頭に自動的に移動するように制御される。このため、ユーザは画面上で所望の行の先頭を探し、タッチ画面にて所望の行の先頭を指定しなくてもよい。
　また、本実施形態においても、第１実施形態の効果の例において説明した効果と同一の効果を奏することができる。
　なお、指定位置を解除する操作は、指を画面から離す操作に限られない。例えば、移動方向と反対方向に指を移動させる操作が行われた場合、指定位置が解除されたと判定して、上記実施形態において指を画面から離したときと同じように、拡大表示される文字列を自動的に次行の先頭に移動させてもよい。
　（単語単位の表示）
　第１実施形態と同様に、表示制御部１０７は、指定された位置及びその近傍の文字列の拡大表示を単語単位で行ってもよい。これによれば、指を行方向に沿って移動中、拡大表示画面２には、単語単位で拡大された文字列が表示される。例えば、図８の（ｃ）では拡大表示画面２に画素単位で文字列が拡大表示されるのに対して、図８の（ｄ）では単語単位で文字列が拡大表示される。これにより、一単語が途中で切れた状態で表示されることはないため、文字列をより認識しやすい状態で表示することができる。
　＜第３実施形態＞
　［スマートフォンの動作（拡大表示処理）］
　次に、第３実施形態に係るスマートフォン１が実行する文字拡大表示処理の一例について、図９を参照しながら説明する。図９は、第３実施形態にかかる文字拡大表示処理の一例を示すフローチャートである。図９に示した各ステップのうち、図３に示した第１実施形態にかかる文字拡大表示処理と同じ処理を行うステップは、図３と同じステップ番号で示す。よって、以下では、図３と異なるステップ番号で示されたステップを中心に第３実施形態に係る文字拡大表示処理について説明し、第１実施形態との重複説明を回避する。
　第３実施形態に係る文字拡大表示処理が開始され、画像が撮影されると（ステップＳ１０）、抽出部１０３は、画像データのレイアウト解析により行単位の文字列を抽出し、行の中心線（ａｘ＋ｂｙ＋ｃ＝０）を抽出する（ステップＳ５０）。次に、ユーザがドラグを開始すると、位置検出部１０４は、ドラグボタン５の開始位置の座標を記憶部１０２に保存する（ステップＳ５２）。以下、ドラグボタン５の開始位置の座標をドラグ開始点（ｘ０、ｙ０）と表記する。
　次に、表示制御部１０７は、行表示画面３に指定された行を表示し（ステップＳ１４）、拡大表示画面２にドラグボタン５の近傍の文字列を拡大表示する（ステップＳ１６）。次に、戻りボタンが押されていない場合、判定部１０６は、終了動作は行われていないと判定する（ステップＳ１８）。その場合、位置検出部１０４は、ドラグボタン５の移動途中の座標を検出する（ステップＳ５４）。以下、ドラグボタン５の移動途中の座標をドラグ途中点（ｘ、ｙ）と表記する。
　次に、演算部１０５は、ドラグ開始点（ｘ０、ｙ０）からドラグ途中点（ｘ、ｙ）までの距離の差分Δを算出し、判定部１０６は、算出した距離の差分Δが所定の閾値以上であるかを判定する（ステップＳ５６）。
　この距離の差分Δの算出方法について、図１０を参照しながら説明する。図１０には、ドラグ開始点（ｘ０、ｙ０）、ドラグ途中点（ｘ、ｙ）、及びドラグ開始点（ｘ０、ｙ０）に最も近い行の中心線（ａｘ＋ｂｙ＋ｃ＝０）の一例が示される。
　ドラグ開始点（ｘ０、ｙ０）から中心線へ投影した点（ｘ１、ｙ１）は以下の式（１）で示される。
　（ｘ１、ｙ１）＝（ｘ０、ｙ０）－（ａｘ０＋ｂｙ０＋ｃ）（ａ，ｂ）／（ａ２＋ｂ２）・・（１）
　ドラグ途中点（ｘ、ｙ）から中心線へ投影した点（ｘ２、ｙ２）は以下の式（２）で示される。
　（ｘ２、ｙ２）＝（ｘ、ｙ）－（ａｘ＋ｂｙ＋ｃ）（ａ，ｂ）／（ａ２＋ｂ２）・・（２）
　ドラグ開始点（ｘ０、ｙ０）から中心線へ投影した点（ｘ１、ｙ１）と、ドラグ途中点（ｘ、ｙ）から中心線へ投影した点（ｘ２、ｙ２）との距離の差分Δは、以下のように定義される。
　|ａ／ｂ|＜１の場合、差分Δ＝|ｘ２－ｘ１|
　|ａ／ｂ|≧１の場合、差分Δ＝|ｙ２－ｙ１|
　中心線（ａｘ＋ｂｙ＋ｃ＝０）の傾きは、ｙ＝－ａ／ｂ・ｘ－ｃ／ｂから、「－ａ／ｂ」で示される。図１１に示したように、中心線の傾きが画面の水平方向（第１軸）に対して±４５度未満の場合、|ａ／ｂ|＜１が満たされる。つまり、ドラグボタン５が位置Ａから位置Ｂにドラグされた場合のように、ドラグボタン５の移動を第１軸の成分と第２軸の成分とに分けたときの第１軸の成分が、第２軸の成分よりも大きくなる場合である。このように|ａ／ｂ|＜１が満たされるとき、演算部１０５は、距離の差分Δ＝|ｘ２－ｘ１|の式を用いて、ドラグボタン５が第１軸方向に移動した距離の差分Δを算出する。
　一方、中心線の傾きが画面の垂直方向（第２軸）に対して±４５度未満の場合、|ａ／ｂ|≧１が満たされる。つまり、ドラグボタン５が位置Ａから位置Ｃにドラグされた場合のように、ドラグボタン５の移動による第２軸の成分が、第１軸の成分よりも大きくなる場合である。このように|ａ／ｂ|≧１が満たされるとき、演算部１０５は、距離の差分Δ＝|ｙ２－ｙ１|に基づき、ドラグボタン５が第２軸方向に移動した距離の差分Δを算出する。
　図９に戻り、判定部１０６は、算出した距離の差分Δが所定の閾値以上であるかを判定する（ステップＳ５６）。判定部１０６が、算出した距離の差分Δが所定の閾値以上であると判定した場合、表示制御部１０７は、ドラグ途中点（ｘ、ｙ）から中心線へ投影した点（ｘ２、ｙ２）をドラグ途中点の座標としてドラグボタン５の位置及びその近傍の文字列を拡大表示する。
　例えば、|ａ／ｂ|＜１が満たされるとき、ドラグ開始点からドラグ途中点までの移動量は、第１軸方向の差分Δ＝|ｘ２－ｘ１|で定義される。判定部１０６は、算出した距離の差分Δ（＝|ｘ２－ｘ１|）が予め定められた第１の閾値以上であるかを判定する（ステップＳ５６）。判定部１０６は、算出した距離の差分Δ（＝|ｘ２－ｘ１|）が第１の閾値以上であると判定した場合、表示制御部１０７は、ドラグ開始点からのドラグボタン５の第１軸方向の距離の差分Δ（＝|ｘ２－ｘ１|）だけドラグボタン５を第１軸方向に移動させて、ドラグボタン５が位置するドラグ途中点及びその近傍の文字列を拡大表示する。例えば、|ａ／ｂ|＜１が満たされるとき、図１２には、ドラグ開始点Ｐ１からドラグ途中点Ｐ３までの第１軸方向の距離の差分Δが、第１の閾値になった場合が示されている。この場合、表示制御部１０７は、ドラグ途中点（ｘ、ｙ）から図１０の中心線に投影した点（ｘ２、ｙ２）のｘ座標に基づき、差分Δ（＝|ｘ２－ｘ１|）に応じて拡大表示領域を第１軸方向に移動させる（ステップＳ６０）。その後、ドラグボタン５の位置が、|ａ／ｂ|＜１が満たされない位置（例えば、図１２の点Ｐ４等）に移動したとしても、表示制御部１０７は、指定位置が解除されるまで、点（ｘ２、ｙ２）のｘ座標に基づき、差分Δ（＝|ｘ２－ｘ１|）に応じて拡大表示領域を第１軸方向に移動させる。
　これにより、図１２の破線で示すようにユーザのドラグ操作にぶれが生じても、第１の閾値以上移動したドラグ操作では第１軸方向の成分のみ有効になる。例えば、点Ｐ４にドラグボタン５の位置があったとしても、点Ｐ４'の位置及びその近傍が拡大表示される。これにより、第１軸上の位置及びその近傍が拡大表示される。よって、本実施形態にかかる拡大表示処理によれば、ユーザの操作に対する行内の領域移動を安定させることで、拡大表示の誤動作を低減することができる。
　なお、指定位置が解除されるときの一例としては、図９のステップＳ２４、Ｓ２８に示した、画面上のドラグボタン５が指定行の行末又は行頭に位置したときが挙げられる。その他の例としては、図９には示していないが、画面上のドラグボタン５から指がリリースされたときに指定位置が解除されたと判定してもよい。また、画面上のドラグボタン５に指を接触させながら行方向に沿って指をスライド中に反対方向に指を移動させたときに指定位置が解除されたと判定してもよい。
　図９のステップＳ６０が実行された後、表示制御部１０７は、第１軸上のドラグ途中点の位置及びその近傍の文字列を拡大表示する（ステップＳ１６）。戻るボタンが押されていない間（ステップＳ１８）、ステップＳ５４において検出されたドラグ途中点の位置に応じてステップＳ５６以降のステップが繰り返し実行される。
　一方、|ａ／ｂ|≧１が満たされるとき、ドラグ開始点からドラグ途中点までの移動量は、第２軸方向（行方向と垂直な方向）の差分Δ＝|ｙ２－ｙ１|で定義される。判定部１０６は、算出した距離の差分Δ（＝|ｙ２－ｙ１|）が予め定められた第２の閾値以上であるかを判定する（ステップＳ５６）。判定部１０６は、算出した距離の差分Δ（＝|ｙ２－ｙ１|）が第２の閾値以上であると判定した場合、表示制御部１０７は、差分Δ（＝|ｙ２－ｙ１|）だけドラグボタン５を第２軸方向に移動させたときの位置又はその近傍の位置の行を特定し、特定された行の行頭及びその近傍の文字列を拡大表示する。例えば、|ａ／ｂ|≧１が満たされるとき、図１３に示したように、ドラグ開始点Ｐ５からドラグ途中点Ｐ７までドラグボタン５が移動したときの第２軸方向の距離の差分Δが、第２の閾値以上かが判定される。第２の閾値以上の場合、表示制御部１０７は、ドラグ途中点（ｘ、ｙ）から図１０の中心線に投影した点（ｘ２、ｙ２）のｙ座標に基づき、差分Δ＝|ｙ２－ｙ１|に応じて表示領域を第２軸方向に差分Δに示される長さだけ移動させる。そして、表示制御部１０７は、移動させた位置の行の行頭及びその近傍の文字列を拡大表示する（ステップＳ６０、Ｓ１６）。例えば、図１３の点Ｐ８にドラグボタン５が移動した場合、次行の行頭及びその近傍の文字列が拡大表示される。
　なお、図１３の点Ｐ８にドラグボタン５が移動し、ドラグボタン５が次行Ｌｎ＋１の行頭から所定範囲内（例えば、行Ｌｎ＋１の行頭からの拡大表示領域４）であると判定された場合、次行の行頭及びその近傍の文字列が拡大表示されてもよい。
　戻るボタンが押されていない間（ステップＳ１８）、ステップＳ５４において検出されたドラグ途中点の位置に応じてステップＳ１４以降のステップが繰り返し実行される。以上、第３実施形態に係るスマートフォン１が実行する文字拡大表示処理の一例について説明した。
　なお、判定部１０６は、指定された位置が行の方向を示す第１軸方向に第１の閾値以上移動したかを判定してもよい。判定部１０６は、前記第１軸方向の位置が前記第１の閾値以上移動したと判定した場合、表示制御部１０７は、指定された位置の指定の解除が行われるまで、前記指定された行内で前記第１軸方向の位置及びその近傍の文字列を拡大表示してもよい。
　［効果の例］
　行間隔が詰まった文字列の表示等では、ある行内の文字列を拡大して表示をしようと拡大する位置をなぞっているうちに、指先が上下にぶれて意図しない上下の行内の文字列が拡大表示されることがある。
　これに対して、第３実施形態にかかる文字拡大表示処理によれば、文字列を拡大表示する際の、拡大表示位置の指定の誤動作を低減することができる。
　具体的には、本実施形態にかかる文字拡大表示処理によれば、画面から文字列部分が行単位で抽出され、ドラグ操作の移動量と第１又は第２の閾値との比較に基づき、ユーザによって拡大表示を指定されている行が、拡大表示されている最中であるか否かが判断される。その結果、本実施形態では、ある行が拡大表示されている最中であると判断されると、その後、拡大表示を指定されている位置が、現在拡大表示している行の上下の行にあたる部分に移動しても、拡大表示する対象となる行は変更をしないように表示が制御される。これにより、指先のぶれによる拡大表示位置の指定の誤動作を低減することができる。また、本実施形態においても、第１及び第２実施形態の効果の例において説明した効果と同一の効果を奏することができる。
　（単語単位の表示）
　第１及び第２実施形態と同様に、表示制御部１０７は、指定された位置及びその近傍の文字列を前記指定された行内の単語を一単位にして拡大表示してもよい。これによれば、指を行方向に沿って移動中、拡大表示画面２には、単語単位で拡大された文字列が表示される。これにより、一単語が途中で切れた状態で表示されることはないため、拡大表示された文字列をより認識しやすい状態でユーザに表示することができる。
　以上、端末装置、表示制御方法及びプログラムを上記実施形態により説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記各実施形態は、矛盾しない範囲で組み合わせることができる。

　例えば、上記各実施形態では、画面を二つの領域に分割し、一方の領域に行全体が表示され、他方の領域に指定された行内の対象となる文字列が拡大して表示された。しかしながら、画面を分割せず、一画面の全領域に指定された行内の対象となる文字列を拡大して表示するようにしてもよい。例えば、図１４の（ａ）に示すように、二つの領域に分割された２画面の境界を指でタッチし、その指を下げることで（図１４の（ａ）の（１））、図１４の（ｂ）に示すように、拡大表示画面２の一画面にすることができる。この場合、ユーザは、拡大表示画面２でドラグ操作する。更に、図１４の（ｃ）に示すように、再び、画面を行表示画面３と拡大表示画面２との二つの領域に分割してもよい。
　また、図１４の（ａ）に示すように、２画面に分割されている場合の行表示画面３でドラグ操作を行ってもよいし、拡大表示画面２でドラグ操作を行ってもよい。
　また、上記各実施形態では、指定位置を特定するためにドラグボタン５が表示された例を挙げて説明したが、ドラグボタン５は必ずしも表示しなくてもよい。
　また、上記各実施形態では、横書きの文字列の例を挙げて説明したが、本発明にかかる文字拡大表示処理は、縦書きの文字列、つまり、第１軸が縦方向になる文字列にも適用可能である。
　１：スマートフォン
　２：拡大表示画面
　３：行表示画面
　４：拡大表示領域
　５：ドラグボタン
　１０：ＣＰＵ
　１１：メモリ
　１２：タッチパネル
　１５：２次記憶装置
　１０１：撮像部
　１０２：記憶部
　１０３：抽出部
　１０４：位置検出部
　１０５：演算部
　１０６：判定部
　１０７：表示制御部

Claims (15)

  1. 　画像データに含まれる文字領域から行を一単位にして文字列を抽出する抽出部と、
    　前記行単位で抽出された文字列のうち、指定された行内の指定された位置及びその近傍の文字列を拡大表示する表示制御部と、
    　を有する端末装置。
  2. 　前記位置の指定が解除された場合、前記指定された行の次行があるかを判定する判定部を有し、
    　前記表示制御部は、
    　前記指定された行の次行があると判定された場合、前記次行の行頭及びその近傍の文字列を拡大表示する、
    　請求項１に記載の端末装置。
  3. 　前記判定部は、
    　前記指定された位置が前記指定された行の行末かを判定し、
    　前記指定された位置が前記指定された行の行頭かを判定し、
    　前記表示制御部は、
    　前記指定された行の行末であると判定された場合、前記次行の行頭及びその近傍の文字列を拡大表示し、
    　前記指定された行の行頭であると判定された場合、前記前行の行頭及びその近傍の文字列を拡大表示する、
    　請求項１に記載の端末装置。
  4. 　前記判定部は、
    　前記指定された位置が行の方向を示す第１軸方向に第１の閾値以上移動したかを判定し、
    　前記表示制御部は、
    　前記第１軸方向の位置が前記第１の閾値以上移動したと判定された場合、前記指定された位置の指定の解除が行われるまで、前記指定された行内で前記第１軸方向の位置及びその近傍の文字列を拡大表示する、
    　請求項１に記載の端末装置。
  5. 　前記表示制御部は、
    　前記指定された位置及びその近傍の文字列を前記指定された行内の単語を一単位にして拡大表示する、
    　請求項１に記載の端末装置。
  6. 　画像データに含まれる文字領域から行を一単位にして文字列を抽出し、
    　前記行単位で抽出された文字列のうち、指定された行内の指定された位置及びその近傍の文字列を拡大表示する、
    　処理をコンピュータが実行する表示制御方法。
  7. 　前記位置の指定が解除された場合、前記指定された行の次行があるかを判定し、
    　前記指定された行の次行があると判定された場合、前記次行の行頭及びその近傍の文字列を拡大表示する
    　請求項６に記載の表示制御方法。
  8. 　前記指定された位置が前記指定された行の行末かを判定し、
    　前記指定された位置が前記指定された行の行頭かを判定し、
    　前記指定された行の行末であると判定された場合、前記次行の行頭及びその近傍の文字列を拡大表示し、
    　前記指定された行の行頭であると判定された場合、前記前行の行頭及びその近傍の文字列を拡大表示する、
    　請求項６に記載の表示制御方法。
  9. 　前記指定された位置が行の方向を示す第１軸方向に第１の閾値以上移動したかを判定し、
    　前記第１軸方向の位置が前記第１の閾値以上移動したと判定された場合、前記指定された位置の指定の解除が行われるまで、前記指定された行内で前記第１軸方向の位置及びその近傍の文字列を拡大表示する、
    　請求項６に記載の表示制御方法。
  10. 　前記指定された位置及びその近傍の文字列を前記指定された行内の単語を一単位にして拡大表示する、
    　請求項６に記載の表示制御方法。
  11. 　画像データに含まれる文字領域から行を一単位にして文字列を抽出し、
    　前記行単位で抽出された文字列のうち、指定された行内の指定された位置及びその近傍の文字列を拡大表示する、
    　処理をコンピュータに実行させるためのプログラム。
  12. 　前記位置の指定が解除された場合、前記指定された行の次行があるかを判定し、
    　前記指定された行の次行があると判定された場合、前記次行の行頭及びその近傍の文字列を拡大表示する
    　請求項１１に記載のプログラム。
  13. 　前記指定された位置が前記指定された行の行末かを判定し、
    　前記指定された位置が前記指定された行の行頭かを判定し、
    　前記指定された行の行末であると判定された場合、前記次行の行頭及びその近傍の文字列を拡大表示し、
    　前記指定された行の行頭であると判定された場合、前記前行の行頭及びその近傍の文字列を拡大表示する、
    　請求項１１に記載のプログラム。
  14. 　前記指定された位置が行の方向を示す第１軸方向に第１の閾値以上移動したかを判定し、
    　前記第１軸方向の位置が前記第１の閾値以上移動したと判定された場合、前記指定された位置の指定の解除が行われるまで、前記指定された行内で前記第１軸方向の位置及びその近傍の文字列を拡大表示する、
    　請求項１１に記載のプログラム。
  15. 　前記指定された位置及びその近傍の文字列を前記指定された行内の単語を一単位にして拡大表示する、
    　請求項１１に記載のプログラム。
PCT/JP2014/058284 2014-03-25 2014-03-25 端末装置、表示制御方法及びプログラム WO2015145571A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2014/058284 WO2015145571A1 (ja) 2014-03-25 2014-03-25 端末装置、表示制御方法及びプログラム
EP14887002.5A EP3125087B1 (en) 2014-03-25 2014-03-25 Terminal device, display control method, and program
CN201480077287.6A CN106104451B (zh) 2014-03-25 2014-03-25 终端装置、显示控制方法以及程序
JP2016509667A JP6206581B2 (ja) 2014-03-25 2014-03-25 端末装置、表示制御方法及びプログラム
US15/259,436 US10031667B2 (en) 2014-03-25 2016-09-08 Terminal device, display control method, and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/058284 WO2015145571A1 (ja) 2014-03-25 2014-03-25 端末装置、表示制御方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/259,436 Continuation US10031667B2 (en) 2014-03-25 2016-09-08 Terminal device, display control method, and non-transitory computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2015145571A1 true WO2015145571A1 (ja) 2015-10-01

Family

ID=54194170

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/058284 WO2015145571A1 (ja) 2014-03-25 2014-03-25 端末装置、表示制御方法及びプログラム

Country Status (5)

Country Link
US (1) US10031667B2 (ja)
EP (1) EP3125087B1 (ja)
JP (1) JP6206581B2 (ja)
CN (1) CN106104451B (ja)
WO (1) WO2015145571A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104428745A (zh) * 2014-01-24 2015-03-18 华为终端有限公司 一种输入字符的方法和电子设备
JP6206580B2 (ja) 2014-03-25 2017-10-04 富士通株式会社 端末装置、表示制御方法及びプログラム
US10261674B2 (en) * 2014-09-05 2019-04-16 Microsoft Technology Licensing, Llc Display-efficient text entry and editing
US10229522B2 (en) * 2016-09-23 2019-03-12 Apple Inc. Fixed size scope overlay for digital images
CN107577407A (zh) * 2017-09-29 2018-01-12 惠州Tcl移动通信有限公司 一种阅读界面状态的控制方法、移动终端及存储介质
CN109917988B (zh) * 2017-12-13 2021-12-21 腾讯科技（深圳）有限公司 选中内容显示方法、装置、终端及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049920A (ja) * 2003-07-29 2005-02-24 Hitachi Ltd 文字認識方法とそれを用いた携帯端末システム
JP2009271901A (ja) * 2008-07-18 2009-11-19 Nintendo Co Ltd オブジェクト表示順変更プログラム及び装置
JP2012226393A (ja) * 2011-04-14 2012-11-15 Isp:Kk 携帯端末装置、アプリケーションソフトウェアの起動方法
JP2013080513A (ja) * 2012-12-28 2013-05-02 Zenrin Datacom Co Ltd 地図表示装置
JP2013114612A (ja) * 2011-11-30 2013-06-10 Sharp Corp 表示制御装置、表示方法、制御プログラム、および記録媒体
JP2013114266A (ja) * 2011-11-24 2013-06-10 Sharp Corp 表示制御装置、表示方法、制御プログラム、および記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0675736A (ja) 1992-08-25 1994-03-18 Fujitsu Ltd 情報処理装置の表示制御方式及び表示制御方法
JPH06187333A (ja) 1992-12-15 1994-07-08 Fuji Xerox Co Ltd 文書作成装置
JP3741587B2 (ja) 2000-04-18 2006-02-01 シャープ株式会社 文書画像表示装置および方法ならびに文書画像表示プログラムを記録したコンピュータで読取可能な記録媒体
JP4742404B2 (ja) * 2000-05-17 2011-08-10 コニカミノルタビジネステクノロジーズ株式会社 画像認識装置、画像形成装置、画像認識方法および画像認識プログラムを記憶したコンピュータ読取り可能な記録媒体
JP2001084075A (ja) 2000-07-24 2001-03-30 Hitachi Maxell Ltd 携帯形電子装置
JPWO2004079708A1 (ja) * 2003-03-04 2006-06-08 富士通株式会社 画像表示方法、画像表示プログラム、及び情報機器
JP4144555B2 (ja) * 2003-06-09 2008-09-03 カシオ計算機株式会社 電子機器、表示制御方法及びプログラム
JP2006186714A (ja) 2004-12-28 2006-07-13 Sharp Corp 画像表示装置及び携帯電話機
JP2010224056A (ja) 2009-03-19 2010-10-07 Daikatsuji:Kk 文章表示プログラムおよびシステム
US20120102401A1 (en) * 2010-10-25 2012-04-26 Nokia Corporation Method and apparatus for providing text selection
CN102393804A (zh) * 2011-10-24 2012-03-28 上海量明科技发展有限公司 即时通信中实现手写交互操作的方法、客户端及系统
JP2013097626A (ja) * 2011-11-01 2013-05-20 Sony Computer Entertainment Inc 携帯情報端末および書籍画像表示方法
FR2999708B1 (fr) * 2012-12-18 2014-12-05 Vallourec Mannesmann Oil & Gas Procede de controle d'un etat de vissage d'un joint filete tubulaire
JP6206580B2 (ja) 2014-03-25 2017-10-04 富士通株式会社 端末装置、表示制御方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049920A (ja) * 2003-07-29 2005-02-24 Hitachi Ltd 文字認識方法とそれを用いた携帯端末システム
JP2009271901A (ja) * 2008-07-18 2009-11-19 Nintendo Co Ltd オブジェクト表示順変更プログラム及び装置
JP2012226393A (ja) * 2011-04-14 2012-11-15 Isp:Kk 携帯端末装置、アプリケーションソフトウェアの起動方法
JP2013114266A (ja) * 2011-11-24 2013-06-10 Sharp Corp 表示制御装置、表示方法、制御プログラム、および記録媒体
JP2013114612A (ja) * 2011-11-30 2013-06-10 Sharp Corp 表示制御装置、表示方法、制御プログラム、および記録媒体
JP2013080513A (ja) * 2012-12-28 2013-05-02 Zenrin Datacom Co Ltd 地図表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3125087A4 *

Also Published As

Publication number Publication date
EP3125087A4 (en) 2017-03-29
CN106104451B (zh) 2019-05-17
EP3125087A1 (en) 2017-02-01
US10031667B2 (en) 2018-07-24
EP3125087B1 (en) 2019-09-04
JPWO2015145571A1 (ja) 2017-04-13
CN106104451A (zh) 2016-11-09
JP6206581B2 (ja) 2017-10-04
US20160378336A1 (en) 2016-12-29

Similar Documents

Publication Publication Date Title
JP6206581B2 (ja) 端末装置、表示制御方法及びプログラム
CN107003994B (zh) 用于修正手写字符的方法和设备
JP6039343B2 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP5533837B2 (ja) 手書き入力装置及び手書き入力制御プログラム
US10291843B2 (en) Information processing apparatus having camera function and producing guide display to capture character recognizable image, control method thereof, and storage medium
US20150009154A1 (en) Electronic device and touch control method thereof
US10671795B2 (en) Handwriting preview window
US10162501B2 (en) Terminal device, display control method, and non-transitory computer-readable recording medium
JP6164361B2 (ja) 端末装置、表示制御方法及びプログラム
US10114501B2 (en) Wearable electronic device using a touch input and a hovering input and controlling method thereof
JP6170241B2 (ja) 文字特定装置、および制御プログラム
US10684772B2 (en) Document viewing apparatus and program
US10832100B2 (en) Target recognition device
JP6630164B2 (ja) 電子機器及びその制御方法、プログラム、並びに記憶媒体
WO2015045679A1 (ja) 情報機器および制御プログラム
KR102245706B1 (ko) 데이터 처리 방법 및 그 전자 장치
US10416884B2 (en) Electronic device, method, and program product for software keyboard adaptation
JP6319974B2 (ja) 帳票読取装置およびプログラム
JP2024075328A (ja) 表示制御装置および方法並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14887002

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016509667

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014887002

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014887002

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE