WO2016139760A1 - 表示装置、表示方法、および表示プログラム - Google Patents

表示装置、表示方法、および表示プログラム Download PDF

Info

Publication number
WO2016139760A1
WO2016139760A1 PCT/JP2015/056262 JP2015056262W WO2016139760A1 WO 2016139760 A1 WO2016139760 A1 WO 2016139760A1 JP 2015056262 W JP2015056262 W JP 2015056262W WO 2016139760 A1 WO2016139760 A1 WO 2016139760A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
blocks
area corresponding
display
display position
Prior art date
Application number
PCT/JP2015/056262
Other languages
English (en)
French (fr)
Inventor
美佐子 宗
瀬川　英吾
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2017503260A priority Critical patent/JPWO2016139760A1/ja
Priority to PCT/JP2015/056262 priority patent/WO2016139760A1/ja
Publication of WO2016139760A1 publication Critical patent/WO2016139760A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Definitions

  • the present invention relates to a display device, a display method, and a display program.
  • an object of the present invention is to provide a display device, a display method, and a display program that can reduce a burden on a user when a block is designated in a desired order.
  • the display position of an area to be specified when each block is specified based on the position information of each block of the plurality of blocks included in the document is associated with each block.
  • the image representing the area corresponding to each block is displayed at the display position of the area corresponding to each set block, and the sequence of the user's operation on the document and corresponding to each block
  • a display device that identifies the order of the areas that the trajectory has passed based on the display position of the area, and that identifies the order of the blocks specified from the plurality of blocks based on the order of the areas that the identified trajectory has passed A method and a display program are proposed.
  • FIG. 1 is an explanatory diagram illustrating an operation example of the display device 100.
  • FIG. 2 is an explanatory diagram showing an appearance of the display device 100.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of the display device 100.
  • FIG. 4 is a block diagram illustrating a functional configuration example of the display device 100.
  • FIG. 5 is an explanatory diagram showing an example of the document structure analysis result.
  • FIG. 6 is an explanatory diagram showing an example of the stored contents of the block information 410.
  • FIG. 7 is an explanatory diagram showing an example of the designated area initial display position.
  • FIG. 8 is an explanatory diagram illustrating an example of determining whether or not the designated areas are arranged on a straight line.
  • FIG. 9 is an explanatory diagram showing an example of movement of the designated area.
  • FIG. 10 is an explanatory diagram illustrating an example of a designated area display position setting result.
  • FIG. 11 is an explanatory diagram showing an example of the contents stored in the designated area display position information 411.
  • FIG. 12 is an explanatory diagram showing an example of the stored contents of the trajectory information 412.
  • FIG. 13 is an explanatory diagram of a specific example of a designated block and an example of output information.
  • FIG. 14 is a flowchart illustrating an example of an information acquisition support processing procedure.
  • FIG. 15 is a flowchart illustrating an example of the designated area display position setting processing procedure.
  • FIG. 16 is a flowchart illustrating an example of a block designation order specifying process procedure.
  • FIG. 17 is an explanatory diagram illustrating an example of a trajectory by a user.
  • FIG. 18 is an explanatory diagram showing an example of document designation.
  • FIG. 1 is an explanatory diagram illustrating an operation example of the display device 100.
  • a display device 100 is a computer that assists a user in obtaining information desired to be acquired from a document d. Specifically, the display device 100 obtains character recognition results for each of a plurality of blocks included in the document d by performing structural analysis on an image obtained by capturing the document d by OCR, and displays an area designated by the user. Output block character recognition results in the specified order.
  • the display device 100 is a stand-type scanner having an imaging unit that captures an image of a document d placed on the placement surface and a projection unit that projects an image onto the document d placed on the placement surface.
  • the appearance of the display device 100 will be described with reference to FIG.
  • the hardware of the display device 100 will be described with reference to FIG.
  • the document d is composed of a plurality of blocks in which sentences and figures are made into one block. Therefore, the block indicates a columned text or figure area.
  • the document d is each page of a newspaper, each page of a magazine, or a flyer.
  • the block may have any shape, and may be, for example, a rectangular shape or a circular shape. Alternatively, the block may be a hollow rectangle or a circular shape.
  • the user may want to obtain a character recognition result of a block designated by the document d such as a specific article in the document d.
  • the user does not want to deface the document d by cutting out a part of the document d or surrounding the part with a marker. Therefore, an image of tracing the blocks in the document d in the manner of one-stroke writing in the reading order desired by the user is imaged, and the order of the designated blocks is determined according to the order of the blocks through which the trajectory obtained by the tracing has passed.
  • a method for specifying the position can be considered.
  • an image representing an area to be specified when each block included in the document is specified is displayed in the block, and is specified from the passing order of the specified area of the finger gesture trajectory.
  • a display method for specifying the block order will be described.
  • a processing example of the display device 100 will be described.
  • an area to be specified when each block is specified is referred to as a “specified area”.
  • the designated area may have any shape.
  • the shape of the designated area shown in FIG. 1 is assumed to be a circular shape.
  • FIG. 1A shows a state where the user has placed the document d on the placement surface of the display device 100.
  • FIG. The document d shown in FIGS. 1A to 1C has blocks b1 to b3 as a plurality of blocks.
  • block b2 it is assumed that an advertisement is described. Therefore, it is assumed that the user wants to specify in the order of blocks b1 and b3.
  • the display device 100 acquires the character recognition results of the blocks b1 to b3 by analyzing the structure of the image obtained by capturing the document d using OCR. Further, the display device 100 acquires position information of the blocks b1 to b3 as a result of the structural analysis.
  • the block position information is the coordinates of two vertices on the diagonal of the block. If the block is circular, the block position information includes the coordinates of the center of the block and the length of the block radius.
  • the display device 100 sets the display positions of the designated areas of the blocks b1 to b3 corresponding to the blocks based on the position information of the blocks b1 to b3. For example, the display device 100 sets the display position of the designated area of the block b1 so that the center of gravity of the block b1 is the center of the designated area of the block b1, based on the position information of the block b1. Further, the display device 100 may set the display position of the designated area inside any vertex of the block b1 based on the position information of the block b1. Alternatively, the display device 100 may set the display position of the designated area outside the block, for example, outside any vertex of the block.
  • the display device 100 displays, for each of the blocks b1 to b3, an image representing the designated area of the block at the display position of the designated area of the set block.
  • the image representing the designated area may be any image as long as the user can distinguish it from other images in the document d.
  • the image representing the designated area may be, for example, an image showing the outline of the designated area, or an image showing the outline of the designated area and characters indicating the designated area inside the outline.
  • the image representing the designated area may change with the passage of time, for example, an image in which a certain pattern is given to the outline of the designated area and the internal portion of the designated area, and the pattern changes with time. You may do it.
  • the display device 100 displays, for each of the blocks b1 to b3, images representing the designated areas b1_sa to b3_sa of the blocks b1 to b3 at the display positions of the designated areas of the set blocks.
  • the display device 100 detects a trajectory ml of a series of actions of the user u.
  • the display device 100 captures a placement surface, and detects a trajectory of a series of actions of the user u using a moving image obtained by the capture.
  • the trajectory of a series of actions of the user u may be a trajectory that traces the document d with the fingertip of the user u, or may be a trajectory that traces the document d with the pen tip grasped by the user u.
  • the trajectory of a series of actions of the user u is a trace of the document d with the fingertip of the user u, and the series of actions by the fingertip of the user u is referred to as “finger gesture”. To do. Further, when a series of actions that trace the document d are photographed, it is only necessary that the series of actions overlap with the document d, and the user u may or may not touch the document d directly. Also good.
  • FIG. 1 shows a state in which the user u has finished the finger gesture so as to pass through the designated area of the block in a desired order after the images representing the designated areas b1_sa to b3_sa are displayed.
  • a dotted line ml shown in (c) of FIG. 1 indicates the trajectory of the finger gesture.
  • the display device 100 captures the placement surface, extracts a flesh color pixel block from the captured moving image, and the contour of the flesh color pixel is the fingertip. If it is a shape, it is judged that the lump of skin-colored pixels is the fingertip. Then, the display device 100 detects the trajectory ml from the position of the lump determined as the fingertip in each frame of the moving image. In the example of FIG. 1, the display device 100 detects the coordinate position of each point for each predetermined time interval of the trajectory ml as the trajectory ml.
  • the display device 100 specifies the order of the designated area through which the locus ml has passed based on the locus ml and the positional information of the designated areas b1_sa to b3_sa. Specifically, for example, the display device 100 determines whether each point representing the trajectory ml belongs to any one of the designated areas b1_sa to b3_sa, and the time of the point determined to belong to any one of the designated areas b1_sa to b3_sa From the above, the order of the areas through which the trajectory ml has passed is specified. In the example of FIG. 1C, the display device 100 specifies that the order of the designated areas through which the trajectory ml has passed is designated areas b1_sa and b3_sa.
  • the display device 100 specifies the order of the blocks designated from the blocks b1 to b3 based on the order of the areas through which the specified trajectory ml has passed.
  • the order of the designated areas through which the trajectory ml has passed is designated areas b1_sa and b3_sa, and therefore the display device 100 designates the designated area b1_sa as the first designated block.
  • b3_sa is specified as the second designated block.
  • the trajectory can be shortened and the burden on the user can be reduced.
  • the display device 100 is a stand-type scanner
  • the present invention is not limited thereto.
  • the display device 100 is a device such as a digital camera that has a display unit that acquires an image obtained by capturing an image of the document d by a device other than the display device 100, such as a mobile terminal. It may be a tablet terminal or the like.
  • the appearance of the display device 100 will be described with reference to FIG.
  • FIG. 2 is an explanatory diagram showing an appearance of the display device 100. 2, the left side view of the display device 100 is shown in FIG. 2A, and the plan view of the display device 100 is shown in FIG.
  • the display device 100 includes a head unit 201, a support column unit 202, and a table unit 203.
  • the head unit 201 includes an imaging unit 211 and a projection unit 212.
  • the head unit 201 supports the imaging unit 211 and the projection unit 212.
  • the imaging unit 211 images an object on the table unit 203.
  • the projection unit 212 projects the projection target image toward the table unit 203 serving as a placement surface on which the document is placed.
  • the support column 202 supports the head unit 201.
  • the table unit 203 has a flat top plate that serves as a placement surface. Then, the document d is placed on the top plate of the table unit 203 by the user of the display device 100.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of the display device 100.
  • the display device 100 includes a CPU 301, a ROM (Read Only Memory) 302, and a RAM (Random Access Memory) 303.
  • the display device 100 includes a disk drive 304 and a disk 305, a communication interface 306, an imaging unit 211, and a projection unit 212.
  • the CPU 301 to the disk drive 304, the communication interface 306, the imaging unit 211, and the projection unit 212 are connected by a bus 307, respectively.
  • the CPU 301 is an arithmetic processing device that controls the entire display device 100.
  • the ROM 302 is a nonvolatile memory that stores programs such as a boot program.
  • a RAM 303 is a volatile memory used as a work area for the CPU 301.
  • the disk drive 304 is a control device that controls reading and writing of data with respect to the disk 305 according to the control of the CPU 301.
  • the disk drive 304 for example, a magnetic disk drive, a solid state drive, or the like can be adopted.
  • the disk 305 is a nonvolatile memory that stores data written under the control of the disk drive 304.
  • the disk drive 304 is a magnetic disk drive
  • a magnetic disk can be adopted as the disk 305.
  • the disk drive 304 is a solid state drive
  • a semiconductor memory formed by a semiconductor element, that is, a so-called semiconductor disk can be used as the disk 305.
  • the communication interface 306 is a control device that controls an internal interface such as a LAN (Local Area Network), a WAN (Wide Area Network), and the Internet as a network, and controls input / output of data from other devices. Specifically, the communication interface 306 is connected to another device via a network. As the communication interface 306, for example, a modem or a LAN adapter can be employed.
  • FIG. 4 is a block diagram illustrating a functional configuration example of the display device 100.
  • the display device 100 includes a control unit 400.
  • the control unit 400 includes a setting unit 401, a changing unit 402, a display unit 403, a detecting unit 404, a designated area order specifying unit 405, and a block specifying unit 406.
  • the control unit 400 realizes the functions of the respective units when the CPU 301 executes a program stored in the storage device.
  • the storage device is, for example, the ROM 302, the RAM 303, the disk 305, etc. shown in FIG.
  • the processing result of each unit is stored in a register of the CPU 301, a cache memory of the CPU 301, or the like.
  • the display device 100 can access the block information 410, the designated area display position information 411, and the trajectory information 412.
  • the block information 410, the designated area display position information 411, and the trajectory information 412 are stored in a storage device such as the RAM 303 and the disk 305.
  • the block information 410 is information regarding the block obtained by structural analysis of the document image dp obtained as a result of imaging the document d.
  • An example of the stored contents of the block information 410 is shown in FIG.
  • the designated area display position information 411 is information indicating the display position of the designated area.
  • An example of the contents stored in the designated area display position information 411 is shown in FIG.
  • the trajectory information 412 is position information of each point representing the trajectory of the finger gesture.
  • An example of the stored contents of the trajectory information 412 is shown in FIG.
  • the setting unit 401 sets the display position of the designated area of each block corresponding to each block based on the block information 410. For example, the setting unit 401 sets the display position of the designated area of each block in each block based on the position information of each block.
  • the changing unit 402 determines whether or not there is a display position of the designated area of another block between the display positions of the designated areas of any two blocks of the plurality of blocks.
  • the display position of each designated area may be, for example, on a line segment connecting each designated area of two blocks, or may be within a predetermined distance from the line segment.
  • a position where the designated angle of the other block is set as a vertex of the corner, and the angle of the corner formed by the designated area of the other block and each designated area of the two blocks is within a predetermined range, for example, 175 ° or more. It may be between the display positions of the designated areas.
  • the changing unit 402 When there is a display position of the designated area of another block between the display positions of the designated areas, the changing unit 402 prevents the designated area of the other block from being displayed between the designated areas of the two blocks. Change the display position of the specified area of other blocks. An example of the direction in which the display position is changed and the distance to be changed will be described with reference to FIG.
  • the changing unit 402 when there is a display position of the designated area of another block within a predetermined distance from a straight line passing through the display position of each designated area of the two blocks, the changing unit 402 is between the display positions of the designated areas of the two blocks. It is determined that there is a display position of the designated area of another block. If it is determined that there is a display position of the designated area of another block between the display positions of each designated area, the changing unit 402 does not display the designated area of the other block within a predetermined distance from the straight line. The display position of the designated area of each block may be changed. A straight line passing through the display positions of the designated areas of the two blocks can be calculated from the display positions of the designated areas of the two blocks.
  • the straight line passing through the display position of each designated area of the two blocks may pass anywhere in the designated areas of the two blocks.
  • the straight line passing through the display positions of the designated areas of the two blocks may be a straight line passing through the centers of the designated areas of the two blocks, or a straight line passing through the vertices of each designated area of the two blocks. But you can.
  • the change unit 402 when there is a display position of the designated area of another block on a straight line passing through the display position of each designated area of the two blocks, It is determined that there is a display position of the designated area of the block. If it is determined that there is a display position of the designated area of another block between the display positions of each designated area, the changing unit 402 does not display the designated area of the other block on the straight line. The display position of the designated area may be changed.
  • the changing unit 402 may change the size of the designated area of one of the blocks or the remaining blocks. For example, the changing unit 402 reduces the size of the designated area of one block in the range where the fingertip does not easily pass. Alternatively, the changing unit 402 may greatly change the size of the designated area of the remaining block within a range that does not protrude from the remaining block. This makes it easier for the user to avoid the designated area of one block in between.
  • the changing unit 402 may change the shape of the designated area of each block when the designated area of each block does not fit in each block. Specifically, for example, the changing unit 402 changes the shape of the designated area so as to cut out a portion of the designated area that did not fit. Alternatively, the changing unit 402 changes the shape of the designated area so that when the designated area of each block does not fit in each block and overlaps with another block, a portion overlapping with the other block is cut out. Also good.
  • the display position of the designated area set by the setting unit 401 or the display position of the designated area changed by the changing unit 402 is stored in the designated area display position information 411.
  • the display unit 403 displays an image representing the designated area of each block at the display position of the designated area of each block set by the setting unit 401.
  • the display unit 403 causes the projection unit 212 to display an image representing the designated area of each block at the display position of the designated area of each block set by the setting unit 401.
  • the display unit 403 displays an image representing the designated area of each block on the display of the display device 100 for each block set by the setting unit 401. Display at the display position of the specified area.
  • the display unit 403 may display an image representing the designated area of each block at the display position of the designated area of each block changed by the changing unit 402.
  • the display unit 403 may display an image representing the changed designated area after changing the size of the designated area of any block at the display position of the designated area of any block.
  • the display unit 403 may display an image representing the changed designated area after changing the shape of the designated area of each block at the display position of the designated area of each block.
  • the detecting unit 404 detects the locus of the finger gesture for the document d. For example, the detection unit 404 detects the trajectory of the finger gesture using the moving image obtained by the imaging unit 211. If the display device 100 is a mobile terminal or a tablet-type terminal, the detection unit 404 detects the pressed position in the screen by the finger gesture, thereby determining the coordinate position of each point of the finger gesture trajectory. To detect. The coordinate position of each point representing the detected locus is stored in the locus information 412.
  • the designated area order specifying unit 405 specifies the order of the designated areas that the locus has passed based on the locus information 412 and the designated area display position information 411. For example, the designated area order identifying unit 405 identifies the order in which each point has passed through the designated area from the points indicating the start time among the points representing the trajectory. Alternatively, the designated area order identifying unit 405 may identify the order in which each point has passed through the designated area from the point indicating the end time among the points representing the trajectory. In addition, the designated area order specifying unit 405 may or may not ignore the second and subsequent passes when the trajectory passes two or more times in the same designated area. For example, in the example of FIG.
  • the designated region order identifying unit 405 identifies the designated regions b1_sa and b3_sa. Further, the designated area order specifying unit 405 may scan the trajectory from the end time and specify that the designated area that has passed second is b3_sa and the designated area that has passed first is b1_sa. .
  • the block specifying unit 406 specifies the order of the blocks specified from the plurality of blocks based on the order of the specified regions through which the locus specified by the specified region order specifying unit 405 has passed.
  • the order of the designated areas through which the trajectory ml has passed is designated areas b1_sa and b3_sa, so that the block specifying unit 406 designates the designated area b1_sa as the first designated block.
  • the region b3_sa is specified as the second designated block.
  • FIG. 5 is an explanatory diagram showing an example of the document structure analysis result.
  • FIG. 5 shows the result of structural analysis of the document image dp obtained as a result of the display device 100 imaging the document d.
  • the document image dp is divided into seven text blocks R1 to R7 and one figure block F1, as shown in the example of FIG.
  • the text block is a block formed by a character string in the block.
  • the display device 100 performs character recognition on the character string in the text block.
  • a figure block is a block in which the inside of the block is formed as a figure. As a figure in a figure block, a photograph, a graph, etc. are mentioned, for example.
  • FIGS. 6 to 13 An example of the stored contents of the block information 410 obtained by structural analysis will be shown using the example of FIG.
  • FIG. 6 is an explanatory diagram showing an example of the stored contents of the block information 410.
  • the block information 410 is information regarding each block of the plurality of blocks.
  • the block information 410 illustrated in FIG. 6 includes records 601-1 to 601-8.
  • the block information 410 includes fields of a block number, an upper left vertex coordinate, a lower right vertex coordinate, a block attribute flag, and data.
  • a number for identifying a block is stored in the block number field.
  • the upper left vertex coordinate field stores the coordinates of the upper left vertex of the block.
  • the coordinates of the lower right vertex of the block are stored in the lower right vertex coordinate field.
  • the block attribute flag field a flag indicating the attribute of the block is stored.
  • the block attribute flag field stores either “text block” indicating that the block is a text block or “diagram block” indicating that the block is a graphic block.
  • the data field stores the actual data of the block. For example, if the block is a text block, a character string obtained as a result of character recognition is stored in the data field. If the block is a diagram block, a pointer to image data is stored. Here, in the present embodiment, it is assumed that the user does not designate a figure block.
  • the block number R1 is the coordinates of the upper left vertex (x_R1_l, y_R1_t) and the coordinates of the lower right vertex (x_R1_r, y_R1_b), which is a text block, and is obtained as a result of character recognition. Indicates that the character string is ".".
  • the display device 100 divides the entire area of the document image dp into a designated area and an ignored area.
  • the initial display position of the designated area will be described with reference to FIG.
  • FIG. 7 is an explanatory diagram showing an example of the designated area initial display position.
  • FIG. 7A shows a designated area set as an initial display position among all the areas of the document image dp as a hatched area.
  • the display device 100 sets designated regions R1_sa to R7_sa as initial display positions in R1 to R7, respectively.
  • the display device 100 since it is a premise that the user does not designate a figure block, the display device 100 sets the entire figure block as an ignorable area for the figure block. Note that the display device 100 may set a part of the figure block in the designated area as long as the figure block is designated.
  • the display device 100 sets a part of the text block as the designated area and sets an area other than the designated area as the ignored area.
  • the shape of the designated area may be any shape, for example, a circle. Further, the shape of the designated area is not limited to a circle, but may be another figure such as a rectangle. Further, the shape of the designated area may be the same or different in each text block. In the following example, it is assumed that the shape of the designated area is the same in each text block and is a circle. Further, the size of the designated area is assumed to be the same for each text block.
  • (B) of FIG. 7 shows an example of the initial arrangement of the designated area sa in a certain text block tb. If the radius of the designated area sa is D and the designated area sa is present in the text block tb with respect to the smaller one of the width w and the height h of the text block, the display device 100 is represented by the following equation (1). Set to meet the conditions. Note that min () is a function that returns the smallest value among the arguments.
  • the display device 100 calculates the position of the center of gravity G of the text block tb from the position information of the text block tb as the initial display position of the designated area sa. Then, the display device 100 arranges the designated area sa so that the center of the designated area sa is the center of gravity G, and sets an area other than the designated area sa in the text block tb as the ignored area ia.
  • the maximum D that can make the vertical overlap of the arrangement of the text blocks between the designated areas zero is expressed by the following equation (2).
  • the size and shape of the designated area are common to all text blocks.
  • the total number of text blocks is n.
  • the subscript i represents the serial number of the text block.
  • D When overlap in D (2) is allowed to be too small, D may be increased within a range that satisfies (1) for each text block.
  • the display device 100 determines the threshold value Dth, and cuts the portion of the designated area that protrudes from the text block when the Dth circle cannot be drawn with a small text block.
  • the threshold value Dth is a value obtained by experiment, and is 2 [cm], for example.
  • D is constant for each text block, D may be changed for each text block.
  • the display device 100 determines whether or not the three designated areas are arranged on a straight line, and shifts the designated areas when arranged on the straight line.
  • FIG. 8 an example of determining whether or not the designated areas are arranged on a straight line will be described.
  • FIG. 8 is an explanatory diagram illustrating an example of determining whether or not the designated areas are arranged on a straight line.
  • the display device 100 determines whether all sets including three specified areas from all text blocks are arranged on a straight line. As an example of determining whether a certain group is aligned on a straight line, the display device 100 determines that the three designated areas in the certain group are aligned on a straight line when the following expression (3) is satisfied.
  • G 1 , G 2 , and G 3 are centroid position vectors of designated areas included in a certain set.
  • ⁇ is a threshold value. For example, the value of ⁇ is 5 ⁇ ⁇ / 180 (5 ° in the frequency method).
  • cos ⁇ 1 () is an inverse function of cos (). “ ⁇ ” Indicates an inner product of vectors.
  • the display device 100 determines that the three designated areas in a certain group are arranged on a straight line according to the expression (3), the designated area sa located at the center is used as a predetermined rule as a straight line.
  • the distance S is moved perpendicularly to the direction of.
  • the display device 100 may move all three designated areas in a certain group, or may move designated areas at both ends of a certain group.
  • the display device 100 may move the designated area in a direction larger in the height and width of the text block including the designated area to be moved.
  • FIG. 8 shows an example in which the selections of the text blocks tb1 to tb3 are arranged on a straight line. It is assumed that the display device 100 determines that the designated areas tb1_sa to tb3_sa of the text blocks tb1 to tb3 are arranged on a straight line using the expression (3). In this case, the display device 100 moves the designated area tb2_sa of the text block tb2 located at the center by a distance S in the vertical direction of the straight line. As a result of the movement, the center of the designated area of the text block tb2 is changed from G 2 to G 2 ′.
  • FIG. 9 is an explanatory diagram showing an example of movement of the designated area.
  • the display apparatus 100 determines whether or not all sets including three designated areas among the text blocks R1 to R7 are arranged on a straight line using the equation (3). As illustrated in (a) of FIG. 9, the display device 100 determines that the set of (R3_sa, R4_sa, R7_sa) and the set of (R7_sa, R6_sa, R5_sa) are aligned on a straight line. Then, the display device 100 moves the designated areas R4_sa and R6_sa at the center of the set determined to be aligned on a straight line according to a predetermined rule. The result of the movement is as shown in FIG. The designated areas after the movement of the designated areas R4_sa and R6_sa are R4_sa ′ and R6_sa ′.
  • the display device 100 again determines whether or not all sets including three designated areas in the text blocks R1 to R7 are arranged on a straight line using the equation (3). As illustrated in (c) of FIG. 9, the display device 100 determines that the set of (R1_sa, R2_sa, R4_sa ′) is aligned on a straight line. Here, the display device 100 only has to determine whether or not the sets including R4_sa ′ and R6_sa ′ are arranged on a straight line. Thereby, the display apparatus 100 can reduce the number of groups which determine whether it arranges on a straight line.
  • the display device 100 moves the designated area R2_sa at the center of the set determined to be aligned on a straight line according to a predetermined rule. The result of the movement is as shown in FIG.
  • the designated area after movement of the designated area R2_sa is R2_sa ′.
  • the display device 100 After moving the designated area, the display device 100 repeatedly determines whether or not all the groups including the three designated areas are arranged on a straight line by using the expression (3), and the designated area to be moved disappears. If it does, it ends.
  • An example of the designated region display position setting result is shown using FIG.
  • FIG. 10 is an explanatory diagram showing an example of the designated area display position setting result.
  • the display device 100 repeats the process illustrated in FIG. 9 and arranges the designated areas so that there are no designated areas arranged on a straight line.
  • the designated area display position information 411 obtained by arranging the designated areas so that there are no designated areas arranged on a straight line will be described with reference to FIG.
  • FIG. 11 is an explanatory diagram showing an example of the contents stored in the designated area display position information 411.
  • the designated area display position information 411 is information indicating the display position of the designated area.
  • the designated area display position information 411 shown in FIG. 11 includes records 1101-1 to 1101-1.
  • the designated area display position information 411 includes fields of a block number and designated area center coordinates.
  • the block number field a number for identifying a block is stored.
  • the designated area center coordinate field the center coordinates of the designated area of the block are stored.
  • the record 1101-1 indicates that the center coordinate of the designated area R1_sa of the text block R1 is (x1_s, y1_s).
  • the display device 100 After obtaining the designated area display position information 411, the display device 100 projects the designated area onto the table unit 203 in accordance with the designated area display position information 411. Then, the user performs a finger gesture by tracing the document d with a finger according to the order to be designated.
  • the display device 100 captures an image of the finger gesture with the imaging unit 211. Then, the display device 100 analyzes the finger gesture from the captured moving image.
  • a method for analyzing a finger gesture for example, a flesh color pixel block is extracted from a moving image, and if the flesh color pixel outline is the shape of the fingertip, it is analyzed that the flesh color pixel block is the fingertip. There is something to do.
  • the stored contents of the trajectory information 412 representing the trajectory of the finger gesture will be described with reference to FIG.
  • FIG. 12 is an explanatory diagram showing an example of the stored contents of the trajectory information 412.
  • the trajectory information 412 represents the trajectory of the tip of the finger as coordinate values on the document image at a constant time interval.
  • the trajectory information 412 shown in FIG. 12 has records 1201-0 to 120e. Further, in the trajectory information 412 illustrated in FIG. 12, the finger gesture start time is T0, and the finger gesture end time is Te.
  • the locus information 412 includes fields of time and locus coordinates.
  • the time field stores the time when the finger gesture is photographed.
  • the locus coordinate field stores the coordinate position of the fingertip on the document image dp at the time stored in the time field.
  • the record 1201-0 indicates that the coordinate position of the fingertip on the document image dp at the finger gesture start time T0 is (x_T0, y_T0).
  • the display device 100 specifies the block designated by the user using the trajectory information 412 and the designated area display position information 411.
  • An example of a specified block and an example of output information after specification will be described with reference to FIG.
  • FIG. 13 is an explanatory diagram showing a specific example of a designated block and an example of output information.
  • FIG. 13A shows a state where the user performs a finger gesture in a state where the display device 100 projects the designated area onto the document d placed on the table unit 203.
  • R1, R3, and R7 have columns of continuous contents.
  • R5 has an independent column of contents.
  • R2 is assumed to contain the profile of the author who wrote the contents of R1, R3 to R5, and R7.
  • R4 and R6 contain advertisements unrelated to the contents of R1 to R5 and R7.
  • the display device 100 specifies the order of the designated blocks based on the trajectory information 412 representing the trajectory of the dotted line 1301 and the designated area display position information 411. Specifically, the display device 100 determines whether the distance between the coordinates and the center coordinates of the designated area of each block of the designated area display position information 411 is within D in order from the coordinates of the start time of the trajectory information 412. Determine. Then, the display device 100 identifies a block having a designated area whose distance is within D as a designated block. The identified result is a table 1302 shown in FIG. Specifically, the display device 100 identifies the blocks in the order of the text blocks R1, R3, R7, R5, R2 in the designated order.
  • the display device 100 outputs the blocks in the designated order.
  • An output example is shown in FIG. Specifically, the display device 100 shows the character recognition results of the blocks in the designated order.
  • the display device 100 outputs the text that is the character recognition result of the text block R1, and then outputs the text that is the character recognition result of the text blocks R3, R7, R5, and R2. .
  • FIG. 14 is a flowchart illustrating an example of an information acquisition support processing procedure.
  • the information acquisition support process is a process that supports user information acquisition.
  • the display device 100 images the document d placed on the table unit 203 by the user as a still image (step S1401).
  • the display device 100 analyzes the structure of the captured document image dp and acquires a character recognition result for each of the plurality of blocks (step S1402).
  • the display device 100 executes a designated area display position setting process (step S1403).
  • the designated area display position setting process will be described with reference to FIG.
  • the display device 100 projects the analysis result of the document structure and the designated area toward the document (step S1404).
  • the analysis result of the document structure to be projected is, for example, a frame of each block.
  • step S1405 photographs a finger gesture as a moving image
  • step S1405 the display device 100 analyzes the finger gesture and detects the trajectory information 412 (step S1406). Then, the display device 100 executes a block designation order specifying process (step S1407). The block designation order specifying process will be described with reference to FIG. Next, the display device 100 rearranges the character recognition results in accordance with the block designation order (step S1408). The display apparatus 100 outputs the sorted character recognition result (step S1409).
  • the display device 100 ends the information acquisition support process.
  • the display device 100 can output information that the user wants to acquire from the document d.
  • FIG. 15 is a flowchart showing an example of the designated area display position setting processing procedure.
  • the designated area display position setting process is a process for setting the display position of the designated area.
  • the display device 100 calculates the barycentric position of each text block (step S1501).
  • the display device 100 calculates the radius D of the designated area (step S1502).
  • a calculation method of the radius D for example, Expression (1) and Expression (2) are used.
  • the display device 100 sets the initial display position of the designated area of each text block based on the barycentric position of each text block (step S1503).
  • the display device 100 determines whether or not the number of text blocks is 3 or more (step S1504).
  • the display apparatus 100 determines whether all sets including three designated areas from all the text blocks are arranged on a straight line (step S1505).
  • the display device 100 determines based on the true / false result of the expression (3).
  • step S1506 the display device 100 determines whether there is a pair arranged on a straight line.
  • step S1506 Yes
  • the display device 100 changes the display position of the designated area located at the center of the pair arranged on the straight line to a position shifted using a predetermined rule (Ste S1507). Then, the display device 100 proceeds to the process of step S1505.
  • step S1504 When the number of text blocks is less than 3 (step S1504: No), or when there are no pairs arranged on a straight line (step S1506: No), the display device 100 ends the designated area display position setting process.
  • the display device 100 can set the display position of the designated area so that the user can easily designate.
  • FIG. 16 is a flowchart showing an example of a block designation order specifying process procedure.
  • the block designation order specifying process is a process for specifying the order of designated blocks.
  • the display device 100 identifies the text block in which the coordinates of the finger gesture start time T0, that is, the 0th coordinate of the trajectory information 412 belong to the designated area, as the designated text block (step S1601).
  • the display device 100 sets the designated area number N to 1 (step S1602).
  • the display device 100 substitutes 1 for m (step S1603).
  • m indicates the index of the record of the trajectory information 412.
  • the display device 100 sets n to 1 (step S1604).
  • n is an index of the text block.
  • the display device 100 determines whether or not the mth coordinate of the trajectory information 412 belongs to the designated area of the nth text block (step S1605).
  • the display device 100 determines whether n is the number of all text blocks. (Step S1606).
  • the display apparatus 100 increments n (step S1607). Then, the display device 100 proceeds to the process of step S1605.
  • step S1605 when the mth coordinate of the trajectory information 412 belongs to the designated area of the nth text block (step S1605: Yes), the display device 100 determines that the m ⁇ 1th coordinate of the trajectory information 412 is the ignored area. It is judged whether it belongs to (step S1608).
  • step S1608 Yes
  • the display device 100 displays the nth text block. Is specified as a text block for which the order is specified (step S1609). Then, the display device 100 increments N (step S1610).
  • step S1610 After the process of step S1610 is completed, or when n is the number of all text blocks (step S1606: Yes), the display device 100 determines that the process target is the end time of the finger gesture, that is, m is the e-th track information. It is determined whether it is the second (step S1611). When the (m ⁇ 1) -th coordinate of the trajectory information 412 does not belong to the ignored region (step S1608: No), or when m is not the e-th trajectory information (step S1611: No), the display device 100 displays the m Is incremented (step S1612). Then, the display device 100 proceeds to the process of step S1604.
  • step S1611 when m is the e-th of the trajectory information (step S1611: Yes), the display device 100 ends the block designation order specifying process. By executing the block specifying order specifying process, the display device 100 can specify the order of the specified blocks.
  • the display device 100 As described above, according to the display device 100, an image representing the designated area of the block is displayed in the block, and the order of the designated block is specified from the passing order of the designated area of the locus of the finger gesture. As a result, the user can pass through other blocks as long as the specified area does not pass, so the trajectory can be shortened and the burden on the user can be reduced. In addition, since the length of the trajectory of the finger gesture can be shortened, the display device 100 can reduce the load applied to the finger gesture analysis.
  • the display device 100 if there is a designated area of each block between the designated areas of any two blocks, there is no designated area of each block between the designated areas of the two blocks.
  • the display position of the designated area of each block may be shifted.
  • the user wants to designate two blocks and does not want to designate each block. In this case, the user only has to follow a straight line passing through the designated areas of the two blocks, and does not have to perform a burdensome tracing such as avoiding the designated areas of the respective blocks.
  • each designated area of each block is not within the predetermined distance.
  • the display position of the designated area of the block may be shifted.
  • the user wants to designate two blocks and does not want to designate each block. In this case, the user only needs to trace on the straight line passing through the designated areas of the two blocks, and there is no designated area of the other blocks within a predetermined distance, so that the user enters the designated area of the other block. Because there is no worry, you can specify a block in a rough trace.
  • the display device 100 if there is a designated area for each block on a straight line passing through the designated areas for the two blocks, the designated area for each block is set so that there is no designated area for each block on the straight line.
  • the display position may be shifted. In this case, the display device 100 can reduce the load on the determination as compared to an example in which it is determined whether or not there is a designated area of each block within a predetermined distance.
  • the display device 100 if the designated area of any one of the three blocks is between the designated areas of the remaining blocks, the size of the designated area of one block or the remaining blocks is set to be the same. It may be changed.
  • the display device 100 can reduce the size of one block within a range in which the fingertip does not easily pass, so that the user can easily avoid the designated area of one block.
  • the display device 100 can increase the size of the designated area of the remaining block within a range that does not protrude from the remaining block, so that the user can easily avoid the designated area of one block.
  • the display position of the designated area of each block may be set in each block. As a result, the user can understand at a glance that the displayed image representing the designated area corresponds to each block.
  • the shape of the designated area of each block may be changed.
  • the specified area of each block does not fit in each block, and in particular, the user understands which block corresponds to which specified area as a result of entering another block. The phenomenon that it becomes difficult to do can be avoided.
  • the projection unit 212 may display an image representing the designated area of each block at the display position of the designated area of each block.
  • the display device 100 can intuitively inform the user that the designated area of each block may be designated in order using AR (Augmented Reality).
  • FIG. 17 is an explanatory diagram showing an example of a locus by a user. 17, in FIGS. 17A to 17C, as in the case described with reference to FIG. 13A, the user starts from document d in the order of R1, R3, R7, R5, and R2. Suppose you want to specify a block.
  • FIG. 17A shows the block order specified by the method according to the present embodiment, and is the same as that shown in FIG. 13B.
  • FIG. 17B and FIG. 17C are examples using a method that considers that a block is designated when the fingertip enters the block. When the same area is traced more than once, the second and subsequent times are ignored.
  • the example shown in FIG. 17B is a case where the user traces in a natural manner.
  • a dotted line 1701 indicates a trajectory of a series of actions when traced with the user's fingertip in FIG.
  • blocks such as R4 and R6 that are not desired to be specified are included.
  • a dotted line 1702 indicates a trajectory of a series of actions when traced with the user's fingertip in FIG.
  • blocks that are not desired to be specified can be avoided, but the document d is traced, and the burden on the user is increased compared to the example of FIG. Will do.
  • the burden on the user is increased compared to the example of FIG. Will do.
  • the more complicated the layout of document d and the larger the document size the greater the burden.
  • FIG. 18 is an explanatory view showing an example of designation of a document.
  • FIG. 18 illustrates a user designation example when the layout of the document d is complicated.
  • the document d shown in FIG. 18 assumes one page with a newspaper.
  • the document d is divided into 10 blocks, namely, a headline, a subheading, the head of the text 1...
  • the user can obtain text data in the order of heading, subheading, head of body 1... Body 1 end,. it can.
  • the heading that is the main point of the document d can be output at the beginning of the text data, and the user can obtain information that is easy to understand.
  • the order of the body 1 is the end of the body 1 and the subheading
  • the head of the body 2 is the end of the body 2 is the top of the body 3 is the end of the body 3 is the heading
  • the head of the body 4 is the end of the body 4.
  • Text data will be output. In this case, a headline is sandwiched between the texts, and the information becomes difficult to understand.
  • the display method described in the present embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation.
  • This display program is recorded on a computer-readable recording medium such as a hard disk, a flexible disk, a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versatile Disk), etc., and is read from the recording medium by the computer.
  • the display program may be distributed through a network such as the Internet.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Input (AREA)

Abstract

　表示装置（１００）は、文書（ｄ）を撮像した画像をＯＣＲで構造解析することにより、ブロック（ｂ１～ｂ３）の位置情報を取得する。図１の（ｂ）において、表示装置（１００）は、ブロック（ｂ１～ｂ３）の位置情報に基づいて、ブロック（ｂ１～ｂ３）の指定領域の表示位置をブロックに対応して設定し、ブロックの指定領域を表す画像を、設定したブロックの指定領域の表示位置に表示する。次に、表示装置（１００）は、指ジェスチャの軌跡（ｍｌ）を表す各点の座標位置を検出する。そして、表示装置（１００）は、軌跡（ｍｌ）を表す各点の座標位置と、指定領域（ｂ１＿ｓａ～ｂ３＿ｓａ）の位置情報とに基づいて、軌跡（ｍｌ）が通過した指定領域の順序を特定する。次に、表示装置（１００）は、特定した軌跡（ｍｌ）が通過した領域の順序に基づいて、ブロック（ｂ１～ｂ３）から順序が指定されたブロックを特定する。

Description

表示装置、表示方法、および表示プログラム
　本発明は、表示装置、表示方法、および表示プログラムに関する。
　従来、文書を撮像した画像をＯＣＲ（Ｏｐｔｉｃａｌ　Ｃｈａｒａｃｔｅｒ　Ｒｅｃｏｇｎｉｔｉｏｎ）で構造解析することにより、文書に含まれる複数のブロックの各々の文字認識結果を取得するものがある。関連する先行技術として、例えば、文書画像データや図表画像データなど領域ごとに抽出した画像データをディスプレイに表示し、表示された各領域に対して、利用者が所望する読み順通りで領域を一筆書きの要領でなぞるようにして領域を指定するものがある。
特開２００８－１７１３５６号公報
　しかしながら、従来技術によれば、文書内の複数のブロックから、一筆書きの要領で利用者が所望する順序でブロックを指定することが難しい場合がある。例えば、複数のブロックの中に、利用者が指定したくないブロックがある場合、利用者は、指定したくないブロックを避けるようになぞることになり、利用者にかかる負担が増大する。
　１つの側面では、本発明は、所望の順序でブロックを指定する際の利用者にかかる負担を軽減する表示装置、表示方法、および表示プログラムを提供することを目的とする。
　本発明の一側面によれば、文書に含まれる複数のブロックの各々のブロックの位置情報に基づいて、各々のブロックを指定する場合に指定されるべき領域の表示位置を各々のブロックに対応して設定し、各々のブロックに対応する領域を表す画像を、設定した各々のブロックに対応する領域の表示位置に表示し、文書に対する利用者の一連の動作の軌跡と、各々のブロックに対応する領域の表示位置とに基づいて、軌跡が通過した領域の順序を特定し、特定した軌跡が通過した領域の順序に基づいて、複数のブロックから指定されたブロックの順序を特定する表示装置、表示方法、および表示プログラムが提案される。
　本発明の一態様によれば、所望の順序でブロックを指定する際の利用者にかかる負担を軽減することができるという効果を奏する。
図１は、表示装置１００の動作例を示す説明図である。 図２は、表示装置１００の外観を示す説明図である。 図３は、表示装置１００のハードウェア構成例を示すブロック図である。 図４は、表示装置１００の機能構成例を示すブロック図である。 図５は、文書構造解析結果の一例を示す説明図である。 図６は、ブロック情報４１０の記憶内容の一例を示す説明図である。 図７は、指定領域初期表示位置の一例を示す説明図である。 図８は、指定領域が直線上に並んでいるか否かの判定例を示す説明図である。 図９は、指定領域の移動例を示す説明図である。 図１０は、指定領域表示位置設定結果の一例を示す説明図である。 図１１は、指定領域表示位置情報４１１の記憶内容の一例を示す説明図である。 図１２は、軌跡情報４１２の記憶内容の一例を示す説明図である。 図１３は、指定されたブロックの特定例と出力情報の一例を示す説明図である。 図１４は、情報取得支援処理手順の一例を示すフローチャートである。 図１５は、指定領域表示位置設定処理手順の一例を示すフローチャートである。 図１６は、ブロック指定順序特定処理手順の一例を示すフローチャートである。 図１７は、利用者による軌跡の一例を示す説明図である。 図１８は、文書の指定の一例を示す説明図である。
　以下に図面を参照して、本発明にかかる表示装置、表示方法、および表示プログラムの実施の形態を詳細に説明する。
（実施の形態）
　まず、実施の形態にかかる表示装置１００の動作例について説明する。
　図１は、表示装置１００の動作例を示す説明図である。図１において、表示装置１００は、利用者が文書ｄから取得したい情報を得る作業を支援するコンピュータである。具体的には、表示装置１００は、文書ｄを撮像した画像をＯＣＲで構造解析することにより、文書ｄに含まれる複数のブロックの各々の文字認識結果を取得し、利用者が指定した領域を指定した順に従ってブロックの文字認識結果を出力する。
　例えば、表示装置１００は、載置面に載置された文書ｄを撮像する撮像部と、載置面に載置された文書ｄに画像を投影する投影部とを有するスタンド型スキャナである。表示装置１００の外観についての説明は、図２で行う。また、表示装置１００が有するハードウェアの説明は、図３で行う。
　ここで、文書ｄは、文章や図を１つのブロックとした複数のブロックにより段組みされたものである。従って、ブロックは、段組みされた文章や図の領域を示す。例えば、文書ｄは、新聞の各ページ、雑誌の各ページ、またはチラシ等である。また、ブロックは、どのような形状を有するものでもよく、例えば、矩形の形状であったり、円形の形状であったりしてもよい。または、ブロックは、中抜きの矩形や円形の形状であってもよい。
　利用者は、文書ｄの中の特定の記事等、文書ｄの指定したブロックの文字認識結果を得たいという場合がある。このとき、利用者が文書ｄの一部を切り取ったり、一部をマーカで囲ったりして文書ｄを汚損することは行いたくない行為である。そこで、利用者が所望する読み順通りで文書ｄ内のブロックを一筆書きの要領でなぞる様子を撮像し、なぞったことにより得られる軌跡が通過したブロックの順序に従って、指定されたブロックの順序を特定する方法が考えられる。
　しかしながら、文書内の複数のブロックから、一筆書きの要領で利用者が所望する順序でブロックを指定することが難しい場合がある。例えば、複数のブロックの中に、利用者が指定したくないブロックがある場合、利用者は、指定したくないブロックを避けるようになぞることになり、利用者にかかる負担が増大する場合がある。
　そこで、本実施の形態では、文書に含まれる各々のブロックを指定する場合に指定されるべき領域を表す画像をブロック内に表示し、指ジェスチャの軌跡の指定領域の通過順序から、指定されたブロックの順序を特定する表示方法について説明する。以下、表示装置１００の処理例について説明する。ここで、各々のブロックを指定する場合に指定されるべき領域を、「指定領域」と呼称する。ここで、指定領域は、どのような形状を有するものでもよい。図１で示す指定領域の形状は、円形の形状であるとする。
　図１の（ａ）では、利用者が表示装置１００の載置面に文書ｄを載置した状態を示す。そして、図１の（ａ）～（ｃ）に示す文書ｄには、複数のブロックとして、ブロックｂ１～ｂ３を有する。そして、ブロックｂ２は、広告が記載されているとする。そこで、利用者は、ブロックｂ１、ｂ３の順番で指定したいものとする。
　表示装置１００は、文書ｄを撮像した画像をＯＣＲで構造解析することにより、ブロックｂ１～ｂ３の文字認識結果を取得する。また、表示装置１００は、構造解析の結果、ブロックｂ１～ｂ３の位置情報を取得する。ここで、例えば、ブロックが矩形形状であれば、ブロックの位置情報は、ブロックの対角線上にある２つの頂点の各座標である。また、ブロックが円形状であれば、ブロックの位置情報は、ブロックの中心の座標と、ブロックの半径の長さとなる。
　図１の（ｂ）において、表示装置１００は、ブロックｂ１～ｂ３の位置情報に基づいて、ブロックｂ１～ｂ３の指定領域の表示位置をブロックに対応して設定する。例えば、表示装置１００は、ブロックｂ１の位置情報に基づいて、ブロックｂ１の重心がブロックｂ１の指定領域の中心となるように、ブロックｂ１の指定領域の表示位置を設定する。また、表示装置１００は、ブロックｂ１の位置情報に基づいて、ブロックｂ１のいずれかの頂点の内側に指定領域の表示位置を設定してもよい。または、表示装置１００は、ブロックの外側、例えば、ブロックのいずれかの頂点の外側に、指定領域の表示位置を設定してもよい。
　そして、表示装置１００は、ブロックｂ１～ｂ３のそれぞれについて、ブロックの指定領域を表す画像を、設定したブロックの指定領域の表示位置に表示する。指定領域を表す画像は、利用者が文書ｄ内の他の画像と区別がつけばどのようなものでもよい。指定領域を表す画像は、例えば、指定領域の輪郭を示した画像でもよいし、指定領域の輪郭と輪郭の内部に指定領域であることを示した文字を示した画像でもよい。また、指定領域を表す画像は、時刻の経過と共に変化するものでもよく、例えば、指定領域の輪郭と、指定領域の内部部分に、ある模様が付与された画像であって、時刻と共に模様が変化するものでもよい。図１の（ｂ）では、表示装置１００は、ブロックｂ１～ｂ３のそれぞれについて、ブロックｂ１～ｂ３の指定領域ｂ１＿ｓａ～ｂ３＿ｓａを表す画像を、設定したブロックの指定領域の表示位置に表示する。
　次に、表示装置１００は、利用者ｕの一連の動作の軌跡ｍｌを検出する。検出する方法としては、例えば、表示装置１００は、載置面を撮影しておき、撮影により得られた動画像を用いて、利用者ｕの一連の動作の軌跡を検出する。また、利用者ｕの一連の動作の軌跡は、利用者ｕの指先で文書ｄをなぞった軌跡でもよいし、利用者ｕが掴んだペン先で文書ｄをなぞった軌跡でもよい。本実施の形態では、利用者ｕの一連の動作の軌跡は、利用者ｕの指先で文書ｄをなぞった軌跡であるとし、利用者ｕの指先による一連の動作を、「指ジェスチャ」と呼称する。また、文書ｄをなぞる一連の動作を撮影した際に、文書ｄと一連の動作が重なっているように写ればよく、利用者ｕは、直接文書ｄに触れてもよいし、触れなくてもよい。
　図１の（ｃ）では、指定領域ｂ１＿ｓａ～ｂ３＿ｓａを表す画像が表示された後、利用者ｕが、所望する順序でブロックの指定領域を通過させるように指ジェスチャを終えた状態を示す。図１の（ｃ）で示す点線ｍｌは、指ジェスチャの軌跡を示す。具体的には、例えば、表示装置１００は、載置面を撮影しておき、撮影して得られた動画像の中から、肌色の画素の塊を抽出し、肌色の画素の輪郭が指先の形状であれば、肌色の画素の塊が指先であると判断する。そして、表示装置１００は、動画像の各フレーム内において、指先と判断した塊の位置から、軌跡ｍｌを検出する。図１の例では、表示装置１００は、軌跡ｍｌとして、軌跡ｍｌの所定時間間隔ごとの各点の座標位置を検出する。
　そして、表示装置１００は、軌跡ｍｌと、指定領域ｂ１＿ｓａ～ｂ３＿ｓａの位置情報とに基づいて、軌跡ｍｌが通過した指定領域の順序を特定する。具体的には、例えば、表示装置１００は、軌跡ｍｌを表す各点が指定領域ｂ１＿ｓａ～ｂ３＿ｓａのいずれかに属するかを判断し、指定領域ｂ１＿ｓａ～ｂ３＿ｓａのいずれかに属すると判断した点の時刻から、軌跡ｍｌが通過した領域の順序を特定する。図１の（ｃ）の例では、表示装置１００は、軌跡ｍｌが通過した指定領域の順序が、指定領域ｂ１＿ｓａ、ｂ３＿ｓａであると特定する。
　次に、表示装置１００は、特定した軌跡ｍｌが通過した領域の順序に基づいて、ブロックｂ１～ｂ３から指定されたブロックの順序を特定する。図１の（ｃ）の例では、軌跡ｍｌが通過した指定領域の順序が、指定領域ｂ１＿ｓａ、ｂ３＿ｓａであるから、表示装置１００は、指定領域ｂ１＿ｓａを１番目に指定されたブロックとして、指定領域ｂ３＿ｓａを２番目に指定されたブロックとして特定する。
　このように、表示装置１００によれば、利用者は、指定領域さえ通らなければ他のブロック内を通過できるので、軌跡を短くすることができ、利用者にかかる負担を軽減することができる。
　なお、上述した説明では、表示装置１００がスタンド型スキャナである場合を例に挙げて説明したが、これに限らない。例えば、表示装置１００は、デジタルカメラといった、表示装置１００以外の他の装置が文書ｄを撮像した画像を取得し、取得した文書ｄの画像を表示する表示部を有する装置、例えば、携帯端末やタブレット型端末等であってもよい。次に、表示装置１００の外観について、図２を用いて説明する。
（表示装置１００の外観）
　図２は、表示装置１００の外観を示す説明図である。図２では、表示装置１００の左側面図を図２の（ａ）で示すとともに、表示装置１００の平面図を図２の（ｂ）で示す。表示装置１００は、ヘッド部２０１と、支柱部２０２と、テーブル部２０３とを有する。ヘッド部２０１は、撮像部２１１と、投影部２１２とを有する。
　ヘッド部２０１は、撮像部２１１と、投影部２１２とを支える。撮像部２１１は、テーブル部２０３上の物体を撮像する。投影部２１２は、文書が載置される載置面となるテーブル部２０３に向けて投影対象画像を投影する。
　支柱部２０２は、ヘッド部２０１を支える。テーブル部２０３は、載置面となる平らな天板を有する。そして、テーブル部２０３の天板上には、表示装置１００の利用者により、文書ｄが載置される。
（表示装置１００のハードウェア構成例）
　図３は、表示装置１００のハードウェア構成例を示すブロック図である。表示装置１００は、ＣＰＵ３０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３と、を含む。また、表示装置１００は、ディスクドライブ３０４およびディスク３０５と、通信インターフェース３０６と、撮像部２１１と、投影部２１２とを含む。また、ＣＰＵ３０１～ディスクドライブ３０４と、通信インターフェース３０６と、撮像部２１１と、投影部２１２とは、バス３０７によってそれぞれ接続される。
　ＣＰＵ３０１は、表示装置１００の全体の制御を司る演算処理装置である。ＲＯＭ３０２は、ブートプログラムなどのプログラムを記憶する不揮発性メモリである。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される揮発性メモリである。
　ディスクドライブ３０４は、ＣＰＵ３０１の制御に従ってディスク３０５に対するデータのリードおよびライトを制御する制御装置である。ディスクドライブ３０４には、例えば、磁気ディスクドライブ、ソリッドステートドライブなどを採用することができる。ディスク３０５は、ディスクドライブ３０４の制御で書き込まれたデータを記憶する不揮発性メモリである。例えばディスクドライブ３０４が磁気ディスクドライブである場合、ディスク３０５には、磁気ディスクを採用することができる。また、ディスクドライブ３０４がソリッドステートドライブである場合、ディスク３０５には、半導体素子によって形成された半導体メモリ、いわゆる半導体ディスクを採用することができる。
　通信インターフェース３０６は、ネットワークとなるＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットなどと、内部のインターフェースを司り、他の装置からのデータの入出力を制御する制御装置である。具体的には、通信インターフェース３０６は、ネットワークを介して他の装置に接続される。通信インターフェース３０６には、例えば、モデムやＬＡＮアダプタなどを採用することができる。
（表示装置１００の機能構成例）
　図４は、表示装置１００の機能構成例を示すブロック図である。表示装置１００は、制御部４００を有する。制御部４００は、設定部４０１と、変更部４０２と、表示部４０３と、検出部４０４と、指定領域順序特定部４０５と、ブロック特定部４０６とを有する。制御部４００は、記憶装置に記憶されたプログラムをＣＰＵ３０１が実行することにより、各部の機能を実現する。記憶装置とは、具体的には、例えば、図３に示したＲＯＭ３０２、ＲＡＭ３０３、ディスク３０５などである。また、各部の処理結果は、ＣＰＵ３０１のレジスタや、ＣＰＵ３０１のキャッシュメモリ等に格納される。
　また、表示装置１００は、ブロック情報４１０と、指定領域表示位置情報４１１と、軌跡情報４１２とにアクセス可能である。ブロック情報４１０と、指定領域表示位置情報４１１と、軌跡情報４１２とは、ＲＡＭ３０３、ディスク３０５といった記憶装置に格納される。
　ブロック情報４１０は、文書ｄを撮像した結果得られた文書画像ｄｐを構造解析して得られた、ブロックに関する情報である。ブロック情報４１０の記憶内容の一例を、図６で示す。指定領域表示位置情報４１１は、指定領域の表示位置を示す情報である。指定領域表示位置情報４１１の記憶内容の一例を、図１１で示す。軌跡情報４１２は、指ジェスチャの軌跡を表す各点の位置情報である。軌跡情報４１２の記憶内容の一例を、図１２で示す。
　設定部４０１は、ブロック情報４１０に基づいて、各々のブロックの指定領域の表示位置を各々のブロックに対応して設定する。例えば、設定部４０１は、各々のブロックの位置情報に基づいて、各々のブロックの指定領域の表示位置を各々のブロック内に設定する。
　変更部４０２は、複数のブロックのいずれか２つのブロックの各指定領域の表示位置の間に他のブロックの指定領域の表示位置があるか否かを判定する。ここで、各指定領域の表示位置の間は、例えば、２つのブロックの各指定領域を結ぶ線分上のことでもよいし、線分から所定距離内であってもよい。または、他のブロックの指定領域を角の頂点として、他のブロックの指定領域と２つのブロックの各指定領域とから形成される角の角度が所定範囲内、例えば、１７５°以上となる位置を、各指定領域の表示位置の間としてもよい。
　そして、各指定領域の表示位置の間に他のブロックの指定領域の表示位置がある場合、変更部４０２は、２つのブロックの各指定領域の間に他のブロックの指定領域が表示されないように、他のブロックの指定領域の表示位置を変更する。表示位置を変更する方向や変更する距離の一例については、図７で説明する。
　また、変更部４０２は、２つのブロックの各指定領域の表示位置を通る直線から所定距離内に他のブロックの指定領域の表示位置がある場合、２つのブロックの各指定領域の表示位置の間に他のブロックの指定領域の表示位置があると判定する。そして、各指定領域の表示位置の間に他のブロックの指定領域の表示位置があると判定した場合、変更部４０２は、直線から所定距離内に他のブロックの指定領域が表示されないように、各々のブロックの指定領域の表示位置を変更してもよい。２つのブロックの各指定領域の表示位置を通る直線は、２つのブロックの各指定領域の表示位置から算出することができる。また、２つのブロックの各指定領域の表示位置を通る直線は、２つのブロックの指定領域のどこを通ってもよい。例えば、２つのブロックの各指定領域の表示位置を通る直線は、２つのブロックの各指定領域の中心同士を通る直線でもよいし、２つのブロックの各指定領域のいずれかの頂点同士を通る直線でもよい。
　また、変更部４０２は、２つのブロックの各指定領域の表示位置を通る直線上に他のブロックの指定領域の表示位置がある場合、２つのブロックの各指定領域の表示位置の間に他のブロックの指定領域の表示位置があると判定する。そして、各指定領域の表示位置の間に他のブロックの指定領域の表示位置があると判定した場合、変更部４０２は、直線上に他のブロックの指定領域が表示されないように、他のブロックの指定領域の表示位置を変更してもよい。
　また、複数のブロックのいずれか３つのブロックのいずれか１つのブロックの指定領域の表示位置が３つのブロックのうちの残余のブロックの各指定領域の表示位置の間にあるとする。この場合、変更部４０２は、１つのブロックまたは残余のブロックのいずれかのブロックの指定領域のサイズを変更してもよい。例えば、変更部４０２は、間にある１つのブロックの指定領域のサイズを、指先が通過しにくくならない範囲で小さくする。または、変更部４０２は、残余のブロックの指定領域のサイズを、残余のブロックからはみ出さない範囲で大きく変更してもよい。これにより、利用者は、間にある１つのブロックの指定領域を避けやすくなる。
　また、変更部４０２は、各々のブロックの指定領域が各々のブロックに収まらない場合、各々のブロックの指定領域の形状を変更してもよい。具体的には、例えば、変更部４０２は、指定領域のうちの収まらなかった部分を切り取るように指定領域の形状を変更する。または、変更部４０２は、各々のブロックの指定領域が、各々のブロックに収まらず、かつ、他のブロックと重なる場合に、他のブロックと重なる部分を切り取るように指定領域の形状を変更してもよい。設定部４０１により設定された指定領域の表示位置、または変更部４０２により変更された指定領域の表示位置は、指定領域表示位置情報４１１に格納される。
　表示部４０３は、各々のブロックの指定領域を表す画像を、設定部４０１が設定した各々のブロックの指定領域の表示位置に表示する。例えば、表示部４０３は、投影部２１２により、各々のブロックの指定領域を表す画像を、設定部４０１が設定した各々のブロックの指定領域の表示位置に表示する。
　また、表示装置１００が携帯端末やタブレット型端末であれば、表示部４０３は、表示装置１００が有するディスプレイに、各々のブロックの指定領域を表す画像を、設定部４０１が設定した各々のブロックの指定領域の表示位置に表示する。
　また、表示部４０３は、各々のブロックの指定領域を表す画像を、変更部４０２が変更した各々のブロックの指定領域の表示位置に表示してもよい。
　また、表示部４０３は、いずれかのブロックの指定領域のサイズを変更した変更後の指定領域を表す画像を、いずれかのブロックの指定領域の表示位置に表示してもよい。
　また、表示部４０３は、各々のブロックの指定領域の形状を変更した変更後の指定領域を表す画像を、各々のブロックの指定領域の表示位置に表示してもよい。
　検出部４０４は、文書ｄに対する指ジェスチャの軌跡を検出する。例えば、検出部４０４は、撮像部２１１により得られた動画像を用いて、指ジェスチャの軌跡を検出する。また、表示装置１００が携帯端末やタブレット型端末であれば、検出部４０４は、指ジェスチャにより画面内のうちの押下された箇所を検出することにより、指ジェスチャの軌跡を各点の座標位置を検出する。検出した軌跡を表す各点の座標位置は、軌跡情報４１２に格納される。
　指定領域順序特定部４０５は、軌跡情報４１２と、指定領域表示位置情報４１１とに基づいて、軌跡が通過した指定領域の順序を特定する。例えば、指定領域順序特定部４０５は、軌跡を表す各点のうち、開始時刻を示す点から、各点が指定領域を通過した順序を特定する。または、指定領域順序特定部４０５は、軌跡を表す各点のうち、終了時刻を示す点から、各点が指定領域を通過した順序を特定してもよい。また、指定領域順序特定部４０５は、同一の指定領域に軌跡が２回以上通過した場合、２回目以降の通過を無視してもしなくてもよい。例えば、図１の（ｃ）の例では、指定領域順序特定部４０５は、指定領域ｂ１＿ｓａ、ｂ３＿ｓａであると特定する。また、指定領域順序特定部４０５は、軌跡を終了時刻から走査して、２番目に通過した指定領域がｂ３＿ｓａであり、１番目に通過した指定領域がｂ１＿ｓａであるというように特定してもよい。
　ブロック特定部４０６は、指定領域順序特定部４０５が特定した軌跡が通過した指定領域の順序に基づいて、複数のブロックから指定されたブロックの順序を特定する。図１の（ｃ）の例では、軌跡ｍｌが通過した指定領域の順序が、指定領域ｂ１＿ｓａ、ｂ３＿ｓａであるから、ブロック特定部４０６は、指定領域ｂ１＿ｓａを１番目に指定されたブロックとして、指定領域ｂ３＿ｓａを２番目に指定されたブロックとして特定する。
　図５は、文書構造解析結果の一例を示す説明図である。図５では、表示装置１００が文書ｄを撮像した結果得られた文書画像ｄｐを構造解析した結果を示す。構造解析を実行した結果、図５の例で示すように、文書画像ｄｐが７つのテキストブロックＲ１～Ｒ７と、１つの図ブロックＦ１とに分割されたとする。ここで、テキストブロックとは、ブロック内が文字列で形成されたブロックである。表示装置１００は、テキストブロック内の文字列について文字認識を行う。図ブロックは、ブロック内が図で形成されたブロックである。図ブロック内の図としては、例えば、写真やグラフ等が挙げられる。
　以下、図６～図１３の説明では、図５の例を用いて説明する。図６の例を用いて、構造解析して得られたブロック情報４１０の記憶内容の一例を示す。
　図６は、ブロック情報４１０の記憶内容の一例を示す説明図である。ブロック情報４１０は、複数のブロックの各々のブロックに関する情報である。図６に示すブロック情報４１０は、レコード６０１－１～８を有する。
　ブロック情報４１０は、ブロック番号と、左上頂点座標と、右下頂点座標と、ブロック属性フラグと、データというフィールドを含む。ブロック番号フィールドには、ブロックを識別する番号が格納される。左上頂点座標フィールドには、ブロックの左上頂点の座標が格納される。右下頂点座標フィールドには、ブロックの右下頂点の座標が格納される。
　ブロック属性フラグフィールドには、ブロックの属性を示すフラグが格納される。具体的には、ブロック属性フラグフィールドには、ブロックがテキストブロックであることを示す「テキストブロック」、またはブロックが図ブロックであることを示す「図ブロック」のいずれかが格納される。データフィールドには、ブロックの実データが格納される。例えば、ブロックがテキストブロックであれば、データフィールドには、文字認識した結果得られた文字列が格納される。また、ブロックが図ブロックであれば、画像データへのポインタが格納される。ここで、本実施の形態では、利用者は、図ブロックの指定をしないものとする。
　例えば、レコード６０１－１は、ブロック番号Ｒ１が、左上頂点の座標（ｘ＿Ｒ１＿ｌ，ｙ＿Ｒ１＿ｔ）であり、右下頂点の座標（ｘ＿Ｒ１＿ｒ，ｙ＿Ｒ１＿ｂ）であり、テキストブロックであり、文字認識した結果得られた文字列が「…」であることを示す。
　次に、表示装置１００は、構造解析を行った後、文書画像ｄｐの全領域を、指定領域と無視領域とに分割する。指定領域の初期表示位置を、図７を用いて説明する。
　図７は、指定領域初期表示位置の一例を示す説明図である。図７の（ａ）は、文書画像ｄｐの全領域のうち、初期表示位置として設定した指定領域を、ハッチを付与した領域で示す。具体的には、表示装置１００は、Ｒ１～Ｒ７内のそれぞれに、指定領域Ｒ１＿ｓａ～Ｒ７＿ｓａを初期表示位置として設定する。
　ここで、本実施の形態では、利用者が図ブロックを指定しないという前提であるため、図ブロックについて、表示装置１００は、図ブロックの全体を無視領域に設定する。なお、図ブロックを指定する前提であれば、表示装置１００は、図ブロックの一部を指定領域に設定してもよい。
　一方、テキストブロックについて、表示装置１００は、テキストブロックの一部を指定領域に設定するとともに、指定領域以外の領域を無視領域に設定する。指定領域の形状は、どのようなものでもよいが、例えば、円である。また、指定領域の形状は、円に限らず、他の図形、例えば矩形でもよい。また、指定領域の形状は、各テキストブロックで同一でもよいし、異なってもよい。以下の例では、指定領域の形状は、各テキストブロックで同一であり、円であるとする。また、指定領域のサイズは、各テキストブロックで同一であるとする。
　図７の（ｂ）は、あるテキストブロックｔｂにおける指定領域ｓａの初期配置の例を示す。指定領域ｓａの半径をＤとし、テキストブロックの幅ｗ、高さｈの小さい方に対し、指定領域ｓａをテキストブロックｔｂ内に存在するようにすると、表示装置１００は、下記（１）式の条件を満たすように設定する。なお、ｍｉｎ（）は、引数の中から最小の値を返す関数である。
　Ｄ＜ｍｉｎ（ｗ，ｈ）／２　…（１）
　そして、表示装置１００は、指定領域ｓａの初期表示位置として、テキストブロックｔｂの位置情報から、テキストブロックｔｂの重心Ｇの位置を算出する。そして、表示装置１００は、指定領域ｓａの中心が重心Ｇとなるように指定領域ｓａを配置して、テキストブロックｔｂ内の指定領域ｓａ以外の領域を無視領域ｉａに設定する。
　また、図８を用いて指定領域同士の相対位置のずらしに関し、指定領域間のテキストブロックの並びの垂直方向の重なりを０とできる最大のＤは下記（２）式となる。ここで、指定領域のサイズと形状は全てのテキストブロックに対し共通とする。また全テキストブロック数はｎとする。添え字のｉは、テキストブロックの通番を表す。
　Ｄ＝ｍｉｎ（ｗ1，ｈ1，…，ｗi，ｈi…，ｗn，ｈn）／４　…（２）
　（２）式のＤが小さ過ぎる場合で重なりを許容する場合は、各テキストブロックに対し（１）式を満たす範囲でＤを増加させてもよい。特にＤが小さい場合、指が通過困難となり、自然な形で利用者が指定することが困難となる恐れがある。そこで、表示装置１００は、閾値Ｄｔｈを決定しておき、小さなテキストブロックでＤｔｈの円が描ききれない場合、指定領域のうちのテキストブロックからはみ出した部分をカットする。閾値Ｄｔｈは、実験により求める値であり、例えば、２［ｃｍ］である。また、Ｄは、各テキストブロックで一定としたが、テキストブロックごとにＤを変えてもよい。
　ここで、３つの指定領域のうち、利用者が真ん中の指定領域を指定したくない場合がある。そして、このとき、３つの指定領域が直線上に並んでいると、利用者の操作軌跡が不自然なものとなり、利用者にかかる負荷が高くなる。そこで、表示装置１００は、３つの指定領域が直線上に並んでいるか否かを判定し、直線上に並んでいる場合指定領域をずらす。図８で、指定領域が直線上に並んでいるか否かの判定例を説明する。
　図８は、指定領域が直線上に並んでいるか否かの判定例を示す説明図である。表示装置１００は、全てのテキストブロックから指定領域を３つ含む全ての組について、直線上に並ぶかを判定する。ある組において、直線上に並ぶかを判定する一例として、表示装置１００は、下記（３）式が満たされる場合に、ある組における３つの指定領域が直線上に並んでいると判定する。ここで、Ｇ1、Ｇ2、Ｇ3は、ある組に含まれる指定領域の重心位置ベクトルである。また、δは、閾値である。例えば、δの値としては、５×π／１８０（度数法における５°）である。また、ｃｏｓ-1（）は、ｃｏｓ（）の逆関数である。また、「・」は、ベクトルの内積を示す。また、｜｜は、ベクトルの絶対値を示す。なお、（３）式は、ベクトルの内積の定義から導かれたものである。
　ｃｏｓ-1（（（Ｇ1－Ｇ2）・（Ｇ3－Ｇ2））／（｜Ｇ1－Ｇ2｜｜Ｇ3－Ｇ2｜））＜δ　…（３）
　そして、表示装置１００は、（３）式により、ある組における３つの指定領域が直線上に並んでいると判定した場合、中央に位置する指定領域ｓａを、予め決めた所定のルールとして、直線の方向と垂直に距離Ｓ移動させる。また、所定のルールとして、表示装置１００は、ある組における３つの指定領域全てを移動させてもよいし、ある組の両端の指定領域を移動させてもよい。そして、移動させる量となるＳとして、表示装置１００は、指定領域の並び方向に垂直方向の重なりを０にするために、Ｓ＝２Ｄとしてもよいし、場合に応じて、これより小さくても大きくてもよい。また、移動させる方向として、直線の方向が斜めである場合、表示装置１００は、移動対象となる指定領域を含むテキストブロックの高さと幅のうちの大きい方向に指定領域を移動させてもよい。
　図８では、テキストブロックｔｂ１～ｔｂ３の選択が直線上に並んでいる例を示す。表示装置１００は、（３）式を用いて、テキストブロックｔｂ１～ｔｂ３の指定領域ｔｂ１＿ｓａ～ｔｂ３＿ｓａが直線上に並んでいると判定したとする。この場合、表示装置１００は、中央に位置するテキストブロックｔｂ２の指定領域ｔｂ２＿ｓａを、直線の垂直方向に距離Ｓ移動させる。移動させた結果、テキストブロックｔｂ２の指定領域の中心がＧ2からＧ2´となる。
　次に、図７の（ａ）で示した指定領域が直線上に並ばないように移動させる例を、図９を用いて説明する。
　図９は、指定領域の移動例を示す説明図である。表示装置１００は、テキストブロックＲ１～Ｒ７のうち、指定領域を３つ含む全ての組について、（３）式を用いて、直線上に並ぶか否かを判定する。図９の（ａ）で示すように、表示装置１００は、（Ｒ３＿ｓａ，Ｒ４＿ｓａ，Ｒ７＿ｓａ）の組と、（Ｒ７＿ｓａ，Ｒ６＿ｓａ，Ｒ５＿ｓａ）の組とが、直線上に並んでいると判定する。そして、表示装置１００は、直線上に並んでいると判定した組の中央の指定領域Ｒ４＿ｓａ、Ｒ６＿ｓａを所定のルールに従って移動させる。移動させた結果が、図９の（ｂ）のようになる。指定領域Ｒ４＿ｓａ、Ｒ６＿ｓａの移動後の指定領域を、Ｒ４＿ｓａ´、Ｒ６＿ｓａ´とする。
　次に、表示装置１００は、再び、テキストブロックＲ１～Ｒ７のうち、指定領域を３つ含む全ての組について、（３）式を用いて、直線上に並ぶか否かを判定する。図９の（ｃ）で示すように、表示装置１００は、（Ｒ１＿ｓａ，Ｒ２＿ｓａ，Ｒ４＿ｓａ´）の組が直線上に並んでいると判定する。ここで、表示装置１００は、Ｒ４＿ｓａ´、Ｒ６＿ｓａ´を含む組についてだけ、直線上に並ぶか否かを判定すればよい。これにより、表示装置１００は、直線上に並ぶか否かを判定する組の数を減らすことができる。
　表示装置１００は、直線上に並んでいると判定した組の中央の指定領域Ｒ２＿ｓａを所定のルールに従って移動させる。移動させた結果が、図９の（ｄ）のようになる。指定領域Ｒ２＿ｓａの移動後の指定領域を、Ｒ２＿ｓａ´とする。表示装置１００は、指定領域を移動させたら、指定領域を３つ含む全ての組について、（３）式を用いて直線上に並ぶか否かを判定することを繰り返し、移動させる指定領域がなくなれば、終了する。指定領域表示位置設定結果の一例を、図１０を用いて示す。
　図１０は、指定領域表示位置設定結果の一例を示す説明図である。図１０で示すように、表示装置１００は、図９で示した処理を繰り返して、直線上に並ぶ指定領域がないように指定領域を配置する。直線上に並ぶ指定領域がないように指定領域を配置することによって得られた指定領域表示位置情報４１１を、図１１を用いて説明する。
　図１１は、指定領域表示位置情報４１１の記憶内容の一例を示す説明図である。指定領域表示位置情報４１１は、指定領域の表示位置を示す情報である。図１１に示す指定領域表示位置情報４１１は、レコード１１０１－１～８を有する。
　指定領域表示位置情報４１１は、ブロック番号と、指定領域中心座標というフィールドを含む。ブロック番号フィールドには、ブロックを識別する番号が格納される。指定領域中心座標フィールドには、ブロックの指定領域の中心座標が格納される。例えば、レコード１１０１－１は、テキストブロックＲ１の指定領域Ｒ１＿ｓａの中心座標が、（ｘ１＿ｓ，ｙ１＿ｓ）であることを示す。
　指定領域表示位置情報４１１を得た後、表示装置１００は、指定領域表示位置情報４１１に従って、指定領域をテーブル部２０３に対して投影する。そして、利用者は、指定したい順序に従って、文書ｄ上を指でなぞる指ジェスチャを行う。表示装置１００は、指ジェスチャの様子を撮像部２１１で撮影する。そして、表示装置１００は、撮影した動画像から、指ジェスチャを解析する。指ジェスチャを解析する方法としては、例えば、動画像の中から、肌色の画素の塊を抽出し、肌色の画素の輪郭が指先の形状であれば、肌色の画素の塊が指先であると解析するものがある。次に、指ジェスチャの軌跡を表す軌跡情報４１２の記憶内容について、図１２を用いて説明する。
　図１２は、軌跡情報４１２の記憶内容の一例を示す説明図である。軌跡情報４１２は、指の先端の軌跡を一定の時間間隔における文書画像上の座標値として表すものである。図１２に示す軌跡情報４１２は、レコード１２０１－０～ｅを有する。また、図１２に示す軌跡情報４１２は、指ジェスチャの開始時刻をＴ０とし、指ジェスチャの終了時刻をＴｅとする。
　軌跡情報４１２は、時刻と、軌跡座標というフィールドを含む。時刻フィールドには、指ジェスチャを撮影した時刻が格納される。軌跡座標フィールドには、時刻フィールドに格納された時刻における文書画像ｄｐ上の指先の座標位置が格納される。例えば、レコード１２０１－０は、指ジェスチャの開始時刻Ｔ０における文書画像ｄｐ上の指先の座標位置が、（ｘ＿Ｔ０，ｙ＿Ｔ０）であることを示す。なお、本実施の形態では、説明の簡略化のため、指ジェスチャの開始時刻Ｔ０において、利用者は、１番目に指定したいテキストブロックの指定領域内に指先をあててあるものとする。
　次に、表示装置１００は、軌跡情報４１２と、指定領域表示位置情報４１１とを用いて、利用者により指定されたブロックを特定する。指定されたブロックの特定例と特定後の出力情報の一例を、図１３を用いて説明する。
　図１３は、指定されたブロックの特定例と出力情報の一例を示す説明図である。図１３の（ａ）では、表示装置１００がテーブル部２０３上に載置された文書ｄに指定領域を投影した状態で、利用者が指ジェスチャを行った状態を示す。ここで、Ｒ１とＲ３とＲ７とには、連続した内容のコラムがあるとする。また、Ｒ５には、独立した内容のコラムがあるとする。また、Ｒ２には、Ｒ１、Ｒ３～Ｒ５、Ｒ７の内容を書き著した著者のプロフィールが記載されているとする。また、Ｒ４、Ｒ６には、Ｒ１～Ｒ５、Ｒ７の内容とは関係のない宣伝が記載されているとする。そして、利用者は、連続した内容のコラムとして、Ｒ１、Ｒ３、Ｒ７を順に指定し、次に、独立したコラムであるＲ５を指定し、最後に、著者のプロフィールとなるＲ２とを指定するように、点線１３０１のように指ジェスチャを行う。
　表示装置１００は、点線１３０１の軌跡を表す軌跡情報４１２と、指定領域表示位置情報４１１とに基づいて、指定されたブロックの順序を特定する。具体的には、表示装置１００は、軌跡情報４１２の開始時刻の座標から順に、各座標と、指定領域表示位置情報４１１の各ブロックの指定領域の中心座標との距離が、Ｄ以内であるかを判定する。そして、表示装置１００は、距離がＤ以内となった指定領域を有するブロックを、指定されたブロックとして特定する。特定した結果は、図１３の（ｂ）で示す表１３０２となる。具体的には、表示装置１００は、指定された順序となるテキストブロックＲ１、Ｒ３、Ｒ７、Ｒ５、Ｒ２の順序でブロックを特定する。
　そして、表示装置１００は、指定された順序でブロックを出力する。出力例を、図１３の（ｃ）に示す。具体的には、表示装置１００は、指定された順序でブロックの文字認識結果を示す。図１３の（ｃ）の例では、表示装置１００は、テキストブロックＲ１の文字認識結果であるテキストを出力した後、テキストブロックＲ３、Ｒ７、Ｒ５、Ｒ２の文字認識結果であるテキストを順に出力する。
　次に、表示装置１００が実行する情報取得支援処理手順を示すフローチャートを、図１４～図１６を用いて説明する。
　図１４は、情報取得支援処理手順の一例を示すフローチャートである。情報取得支援処理は、利用者の情報取得を支援する処理である。表示装置１００は、利用者がテーブル部２０３に載置した文書ｄを静止画として撮像する（ステップＳ１４０１）。次に、表示装置１００は、撮像した文書画像ｄｐを構造解析して、複数のブロックの各々のブロックに対する文字認識結果を取得する（ステップＳ１４０２）。そして、表示装置１００は、指定領域表示位置設定処理を実行する（ステップＳ１４０３）。指定領域表示位置設定処理については、図１５で説明する。次に、表示装置１００は、文書構造の解析結果と指定領域とを、文書に向けて投影する（ステップＳ１４０４）。ここで、投影する文書構造の解析結果とは、例えば、各々のブロックの枠である。
　そして、表示装置１００は、指ジェスチャを動画として撮影する（ステップＳ１４０５）。次に、表示装置１００は、指ジェスチャを解析して、軌跡情報４１２を検出する（ステップＳ１４０６）。そして、表示装置１００は、ブロック指定順序特定処理を実行する（ステップＳ１４０７）。ブロック指定順序特定処理については、図１６で説明する。次に、表示装置１００は、文字認識結果を、ブロックの指定順序に従って並び替える（ステップＳ１４０８）。そして、表示装置１００は、並び替えた文字認識結果を出力する（ステップＳ１４０９）。
　ステップＳ１４０９の処理終了後、表示装置１００は、情報取得支援処理を終了する。情報取得支援処理を実行することにより、表示装置１００は、利用者が文書ｄから取得したい情報を出力することができる。
　図１５は、指定領域表示位置設定処理手順の一例を示すフローチャートである。指定領域表示位置設定処理は、指定領域の表示位置を設定する処理である。表示装置１００は、各テキストブロックの重心位置を算出する（ステップＳ１５０１）。次に、表示装置１００は、指定領域の半径Ｄを算出する（ステップＳ１５０２）。半径Ｄの算出方法としては、例えば、（１）式、（２）式である。
　そして、表示装置１００は、各テキストブロックの重心位置を基準に、各テキストブロックの指定領域の初期表示位置を設定する（ステップＳ１５０３）。次に、表示装置１００は、テキストブロック数が３以上か否かを判断する（ステップＳ１５０４）。テキストブロック数が３以上である場合（ステップＳ１５０４：Ｙｅｓ）、表示装置１００は、全てのテキストブロックから指定領域を３つ含む全ての組について、直線上に並ぶかを判定する（ステップＳ１５０５）。各組について直線上に並ぶかを判定する方法として、例えば、表示装置１００は、（３）式の真偽結果により判定する。
　ステップＳ１５０５の処理結果により、表示装置１００は、直線上に並ぶ組があるか否かを判断する（ステップＳ１５０６）。直線上に並ぶ組がある場合（ステップＳ１５０６：Ｙｅｓ）、表示装置１００は、直線上に並ぶ組の中央に位置する指定領域の表示位置を、所定のルールを用いてずらした位置に変更する（ステップＳ１５０７）。そして、表示装置１００は、ステップＳ１５０５の処理に移行する。
　テキストブロック数が３未満である場合（ステップＳ１５０４：Ｎｏ）、または、直線上に並ぶ組がない場合（ステップＳ１５０６：Ｎｏ）、表示装置１００は、指定領域表示位置設定処理を終了する。指定領域表示位置設定処理を実行することにより、表示装置１００は、利用者が指定しやすいように指定領域の表示位置を設定することができる。
　図１６は、ブロック指定順序特定処理手順の一例を示すフローチャートである。ブロック指定順序特定処理は、指定されたブロックの順序を特定する処理である。表示装置１００は、指ジェスチャの開始時刻Ｔ０の座標、すなわち、軌跡情報４１２の第０番目の座標が指定領域に属するテキストブロックを、指定されたテキストブロックとして特定する（ステップＳ１６０１）。次に、表示装置１００は、指定領域数Ｎを１に設定する（ステップＳ１６０２）。そして、表示装置１００は、ｍに１を代入する（ステップＳ１６０３）。ここで、ｍは、軌跡情報４１２のレコードのインデックスを示す。次に、表示装置１００は、ｎに１に設定する（ステップＳ１６０４）。ここで、ｎは、テキストブロックのインデックスとなる。
　そして、表示装置１００は、軌跡情報４１２の第ｍ番目の座標が第ｎ番目のテキストブロックの指定領域に属するか否かを判断する（ステップＳ１６０５）。軌跡情報４１２の第ｍ番目の座標が第ｎ番目のテキストブロックの指定領域に属さない場合（ステップＳ１６０５：Ｎｏ）、表示装置１００は、ｎが全てのテキストブロックの数であるか否かを判断する（ステップＳ１６０６）。ｎが全てのテキストブロックの数でない場合（ステップＳ１６０６：Ｎｏ）、表示装置１００は、ｎをインクリメントする（ステップＳ１６０７）。そして、表示装置１００は、ステップＳ１６０５の処理に移行する。
　一方、軌跡情報４１２の第ｍ番目の座標が第ｎ番目のテキストブロックの指定領域に属する場合（ステップＳ１６０５：Ｙｅｓ）、表示装置１００は、軌跡情報４１２の第ｍ－１番目の座標が無視領域に属するか否かを判断する（ステップＳ１６０８）。軌跡情報４１２の第ｍ－１番目の座標が無視領域に属する場合（ステップＳ１６０８：Ｙｅｓ）、軌跡が新たな指定領域に入ったことを意味するため、表示装置１００は、第ｎ番目のテキストブロックを、順序が指定されたテキストブロックとして特定する（ステップＳ１６０９）。そして、表示装置１００は、Ｎをインクリメントする（ステップＳ１６１０）。
　ステップＳ１６１０の処理終了後、または、ｎが全てのテキストブロックの数である場合（ステップＳ１６０６：Ｙｅｓ）、表示装置１００は、処理対象が指ジェスチャの終了時刻、すなわち、ｍが軌跡情報の第ｅ番目か否かを判断する（ステップＳ１６１１）。軌跡情報４１２の第ｍ－１番目の座標が無視領域に属しない場合（ステップＳ１６０８：Ｎｏ）、または、ｍが軌跡情報の第ｅ番目でない場合（ステップＳ１６１１：Ｎｏ）、表示装置１００は、ｍをインクリメントする（ステップＳ１６１２）。そして、表示装置１００は、ステップＳ１６０４の処理に移行する。
　一方、ｍが軌跡情報の第ｅ番目である場合（ステップＳ１６１１：Ｙｅｓ）、表示装置１００は、ブロック指定順序特定処理を終了する。ブロック指定順序特定処理を実行することにより、表示装置１００は、指定されたブロックの順序を特定することができる。
　以上説明したように、表示装置１００によれば、ブロックの指定領域を表す画像をブロック内に表示し、指ジェスチャの軌跡の指定領域の通過順序から、指定されたブロックの順序を特定する。これにより、利用者は、指定領域さえ通らなければ他のブロック内を通過できるので、軌跡を短くすることができ、利用者にかかる負担を軽減することができる。また、指ジェスチャの軌跡の長さを短くすることができるため、表示装置１００は、指ジェスチャの解析にかかる負荷を減らすことができる。
　また、表示装置１００によれば、いずれか２つのブロックの指定領域の間に各々のブロックの指定領域があれば、２つのブロックの指定領域の間に各々のブロックの指定領域がないように、各々のブロックの指定領域の表示位置をずらしてもよい。ここで、利用者は、２つのブロックを指定したく、かつ、各々のブロックを指定したくないとする。この場合、利用者は、２つのブロックの指定領域を通る直線上をなぞればよく、各々のブロックの指定領域を避けるといった、負担のかかるなぞり方をしなくてよくなる。
　また、表示装置１００によれば、２つのブロックの指定領域を通る直線から所定距離内に各々のブロックの指定領域があれば、所定距離内に各々のブロックの指定領域がないように、各々のブロックの指定領域の表示位置をずらしてもよい。ここで、利用者は、２つのブロックを指定したく、かつ、各々のブロックを指定したくないとする。この場合、利用者は、２つのブロックの指定領域を通る直線上をなぞればよく、かつ、所定距離内には他のブロックの指定領域がないので、他のブロックの指定領域に入ってしまう心配がないため、大雑把ななぞり方でブロックを指定することができる。
　また、表示装置１００によれば、２つのブロックの指定領域を通る直線に各々のブロックの指定領域があれば、直線上に各々のブロックの指定領域がないように、各々のブロックの指定領域の表示位置をずらしてもよい。この場合、表示装置１００は、所定距離内に各々のブロックの指定領域があるか否かを判定する例に比べて、判定にかかる負荷を減らすことができる。
　また、表示装置１００によれば、いずれか３つのブロックのいずれか１つのブロックの指定領域が残余のブロックの各指定領域の間にあれば、１つのブロックまたは残余のブロックの指定領域のサイズを変更してもよい。ここで、利用者は、残余のブロックを指定したく、かつ、１つのブロックを指定したくないとする。この場合、表示装置１００は、例えば、１つのブロックを指先が通過しにくくならない範囲で小さくして、利用者が１つのブロックの指定領域を避けやすくすることができる。または、表示装置１００は、例えば、残余のブロックの指定領域のサイズを、残余のブロックからはみ出さない範囲で大きくして、利用者が１つのブロックの指定領域を避けやすくすることができる。
　また、表示装置１００によれば、各々のブロックの指定領域の表示位置を、各々のブロック内に設定してもよい。これにより、利用者は、表示された指定領域を表す画像が、各々のブロックに対応付いていることを一目で理解することができる。
　また、表示装置１００によれば、各々のブロックの指定領域が、各々のブロックに収まらない場合、各々のブロックの指定領域の形状を変更してもよい。これにより、各々のブロックの指定領域が各々のブロックに収まらず、特に、他のブロックに入ってしまった結果、ある指定領域が、どちらのブロックに対応しているものであるか利用者が理解し難くなるという現象を避けることができる。
　また、表示装置１００によれば、投影部２１２により、各々のブロックの指定領域を表す画像を、各々のブロックの指定領域の表示位置に表示してもよい。これにより、表示装置１００は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）を用いて、各々のブロックの指定領域を順に指定すればよいことを、利用者に直観的に伝えることができる。
　以下、図１７、図１８を用いて、利用者にかかる負担の低減例について説明する。
　図１７は、利用者による軌跡の一例を示す説明図である。図１７において、図１７の（ａ）～（ｃ）では、図１３の（ａ）で説明したものと同様に、利用者が、文書ｄから、Ｒ１、Ｒ３、Ｒ７、Ｒ５、Ｒ２の順でブロックを特定したいものとする。そして、図１７の（ａ）は、本実施の形態にかかる方法によりブロックの順序を特定したものであり、図１３の（ｂ）で示したものと同一となる。
　図１７の（ｂ）と図１７の（ｃ）では、指先がブロックに入った場合に、ブロックを指定したと見なす方法を用いた例である。同一領域を複数なぞった場合は、２回目以降を無視するものとする。図１７の（ｂ）で示す例は、利用者が自然な形でなぞった場合である。点線１７０１が、図１７の（ｂ）における利用者の指先によってなぞった際の一連の動作の軌跡を示す。図１７の（ｂ）の例では、Ｒ４、Ｒ６といった、指定したくないブロックが含まれてしまうことになる。
　図１７の（ｃ）で示す例では、指定したくないブロックを回避した場合である。点線１７０２が、図１７の（ｃ）における利用者の指先によってなぞった際の一連の動作の軌跡を示す。図１７の（ｃ）の例では、指定したくないブロックを避けることはできるが、文書ｄを外れてなぞっており、図１７の（ａ）の例に比べて、利用者にかかる負担が増大することになる。特に、文書ｄのレイアウトが複雑であったり文書サイズが大きかったりする程、負担が増加する。次に、レイアウトが複雑な文書における利用者の指定例について、図１８を用いて説明する。
　図１８は、文書の指定の一例を示す説明図である。図１８では、文書ｄのレイアウトが複雑である場合における利用者の指定例について説明する。図１８に示す文書ｄは、新聞のある１ページを想定する。そして、文書ｄは、見出し、小見出し、本文１先頭…本文１末尾、…、本文６先頭…本文６末尾、２つの図という、１０のブロックに分かれるものとする。
　文書ｄにおいて、本実施の形態にかかる方法を用いると、利用者は、見出し、小見出し、本文１先頭…本文１末尾、…、本文６先頭…本文６末尾の順となるテキストデータを得ることができる。このように、先頭に文書ｄの要点となる見出しをテキストデータの先頭に出力することができ、利用者は、理解し易い情報を得ることができる。
　一方、ＯＣＲの構造解析のまま出力すると、本文１先頭…本文１末尾、小見出し、本文２先頭…本文２末尾、本文３先頭…本文３末尾、見出し、本文４先頭…本文４末尾という順となるテキストデータを出力することになる。この場合、本文の間に見出しが挟まってしまい、理解し難い情報となってしまう。
　なお、本実施の形態で説明した表示方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本表示プログラムは、ハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本表示プログラムは、インターネット等のネットワークを介して配布してもよい。
　１００　表示装置
　２０３　テーブル部
　２１１　撮像部
　２１２　投影部
　４００　制御部
　４０１　設定部
　４０２　変更部
　４０３　表示部
　４０４　検出部
　４０５　指定領域順序特定部
　４０６　ブロック特定部
　４１０　ブロック情報
　４１１　指定領域表示位置情報
　４１２　軌跡情報

Claims (10)

  1. 　文書に含まれる複数のブロックの各々のブロックの位置情報に基づいて、前記各々のブロックを指定する場合に指定されるべき領域の表示位置を前記各々のブロックに対応して設定し、
    　前記各々のブロックに対応する領域を表す画像を、設定した前記各々のブロックに対応する領域の表示位置に表示し、
    　前記文書に対する利用者の一連の動作の軌跡と、前記各々のブロックに対応する領域の表示位置とに基づいて、前記軌跡が通過した領域の順序を特定し、
    　特定した前記軌跡が通過した領域の順序に基づいて、前記複数のブロックから指定されたブロックの順序を特定する、
    　制御部を有することを特徴とする表示装置。
  2. 　前記制御部は、
    　前記複数のブロックのいずれか２つのブロックに対応する各領域の表示位置の間に他のブロックに対応する領域の表示位置がある場合、前記２つのブロックに対応する各領域の表示位置の間に前記他のブロックに対応する領域が表示されないように、前記他のブロックに対応する領域の表示位置を変更し、
    　前記他のブロックに対応する領域を表す画像を、変更した前記他のブロックに対応する領域の表示位置に表示することを特徴とする請求項１に記載の表示装置。
  3. 　前記制御部は、
    　前記２つのブロックに対応する各領域の表示位置を通る直線から所定距離内に前記他のブロックに対応する領域の表示位置がある場合、前記２つのブロックに対応する各領域の表示位置の間に前記他のブロックに対応する領域の表示位置があると判定し、
    　前記２つのブロックに対応する各領域の表示位置の間に前記他のブロックに対応する領域の表示位置があると判定した場合、前記直線から前記所定距離内に前記他のブロックに対応する領域が表示されないように、前記他のブロックに対応する領域の表示位置を変更することを特徴とする請求項２に記載の表示装置。
  4. 　前記制御部は、
    　前記２つのブロックに対応する各領域の表示位置を通る直線上に前記他のブロックに対応する領域の表示位置がある場合、前記２つのブロックに対応する各領域の表示位置の間に前記他のブロックに対応する領域の表示位置があると判定し、
    　前記２つのブロックに対応する各領域の表示位置の間に前記他のブロックに対応する領域の表示位置があると判定した場合、前記直線上に前記他のブロックに対応する領域が表示されないように、前記他のブロックに対応する領域の表示位置を変更することを特徴とする請求項２に記載の表示装置。
  5. 　前記制御部は、
    　前記複数のブロックのいずれか３つのブロックのいずれか１つのブロックに対応する領域の表示位置が前記３つのブロックのうちの残余のブロックに対応する各領域の表示位置の間にある場合、前記１つのブロックまたは前記残余のブロックのいずれかのブロックに対応する領域のサイズを変更し、
    　前記いずれかのブロックに対応する領域のサイズを変更した変更後の領域を表す画像を、前記いずれかのブロックに対応する領域の表示位置に表示することを特徴とする請求項１～４のいずれか一つに記載の表示装置。
  6. 　前記制御部は、
    　前記各々のブロックの位置情報に基づいて、前記各々のブロックに対応する領域の表示位置を前記各々のブロック内に設定することを特徴とする請求項１～５のいずれか一つに記載の表示装置。
  7. 　前記制御部は、
    　前記各々のブロックに対応する領域が前記各々のブロックに収まらない場合、前記各々のブロックに対応する領域の形状を変更し、
    　前記各々のブロックに対応する領域の形状を変更した変更後の領域を表す画像を、前記各々のブロックに対応する領域の表示位置に表示することを特徴とする請求項６に記載の表示装置。
  8. 　前記文書が載置される載置面に向けて投影対象画像を投影する投影部をさらに有し、
    　前記制御部は、
    　前記投影部により、前記各々のブロックに対応する領域を表す画像を、設定した前記各々のブロックに対応する領域の表示位置に表示することを特徴とする請求項１～７のいずれか一つに記載の表示装置。
  9. 　コンピュータが、
    　文書に含まれる複数のブロックの各々のブロックの位置情報に基づいて、前記各々のブロックを指定する場合に指定されるべき領域の表示位置を前記各々のブロックに対応して設定し、
    　前記各々のブロックに対応する領域を表す画像を、設定した前記各々のブロックに対応する領域の表示位置に表示し、
    　前記領域を表す画像を表示した後に、前記文書に対する利用者の一連の動作の軌跡を検出し、
    　検出した前記軌跡と、前記各々のブロックに対応する領域の表示位置とに基づいて、前記軌跡が通過した領域の順序を特定し、
    　特定した前記軌跡が通過した領域の順序に基づいて、前記複数のブロックから順序が指定されたブロックを特定する、
    　処理を実行することを特徴とする表示方法。
  10. 　コンピュータに、
    　文書に含まれる複数のブロックの各々のブロックの位置情報に基づいて、前記各々のブロックを指定する場合に指定されるべき領域の表示位置を前記各々のブロックに対応して設定し、
    　前記各々のブロックに対応する領域を表す画像を、設定した前記各々のブロックに対応する領域の表示位置に表示し、
    　前記領域を表す画像を表示した後に、前記文書に対する利用者の一連の動作の軌跡を検出し、
    　検出した前記軌跡と、前記各々のブロックに対応する領域の表示位置とに基づいて、前記軌跡が通過した領域の順序を特定し、
    　特定した前記軌跡が通過した領域の順序に基づいて、前記複数のブロックから指定されたブロックの順序を特定する、
    　処理を実行させることを特徴とする表示プログラム。
PCT/JP2015/056262 2015-03-03 2015-03-03 表示装置、表示方法、および表示プログラム WO2016139760A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017503260A JPWO2016139760A1 (ja) 2015-03-03 2015-03-03 表示装置、表示方法、および表示プログラム
PCT/JP2015/056262 WO2016139760A1 (ja) 2015-03-03 2015-03-03 表示装置、表示方法、および表示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/056262 WO2016139760A1 (ja) 2015-03-03 2015-03-03 表示装置、表示方法、および表示プログラム

Publications (1)

Publication Number Publication Date
WO2016139760A1 true WO2016139760A1 (ja) 2016-09-09

Family

ID=56849207

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/056262 WO2016139760A1 (ja) 2015-03-03 2015-03-03 表示装置、表示方法、および表示プログラム

Country Status (2)

Country Link
JP (1) JPWO2016139760A1 (ja)
WO (1) WO2016139760A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0744650A (ja) * 1993-07-29 1995-02-14 Casio Comput Co Ltd 情報認識装置
JPH07168949A (ja) * 1993-04-30 1995-07-04 Rank Xerox Ltd 対話式複写装置
JP2008171356A (ja) * 2007-01-15 2008-07-24 Ricoh Co Ltd 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2011034204A (ja) * 2009-07-30 2011-02-17 Internatl Business Mach Corp <Ibm> コンテンツ読み上げ順序を視覚化するための視覚化プログラム、視覚化方法、及び視覚化装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07168949A (ja) * 1993-04-30 1995-07-04 Rank Xerox Ltd 対話式複写装置
JPH0744650A (ja) * 1993-07-29 1995-02-14 Casio Comput Co Ltd 情報認識装置
JP2008171356A (ja) * 2007-01-15 2008-07-24 Ricoh Co Ltd 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2011034204A (ja) * 2009-07-30 2011-02-17 Internatl Business Mach Corp <Ibm> コンテンツ読み上げ順序を視覚化するための視覚化プログラム、視覚化方法、及び視覚化装置

Also Published As

Publication number Publication date
JPWO2016139760A1 (ja) 2017-08-03

Similar Documents

Publication Publication Date Title
US9619104B2 (en) Interactive input system having a 3D input space
US9495802B2 (en) Position identification method and system
US9710971B2 (en) Information processing device, position designation method and storage medium
JP6089722B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10186057B2 (en) Data input device, data input method, and non-transitory computer readable recording medium storing data input program
US9836199B2 (en) User interface device and display object operating method
CN102508578B (zh) 投影定位装置及方法、交互系统和交互方法
US9632678B2 (en) Image processing apparatus, image processing method, and program
US20130182956A1 (en) Methods and Devices for Processing Handwriting Input
US20160004907A1 (en) Shape recognition device, shape recognition program, and shape recognition method
US20140292802A1 (en) Methods and Systems for Correcting a Document Image
US20150154442A1 (en) Handwriting drawing apparatus and method
KR20100051648A (ko) 디지털 영상의 영역들을 조작하는 방법
JP6723814B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
CN104508680B (zh) 改善之视讯追踪
CN111309203B (zh) 一种鼠标光标的定位信息的获取方法及装置
US20160370865A1 (en) Operation Input Device, Operation Input Method, and Program
US10885689B2 (en) System and method for augmented reality overlay
JP2014029656A (ja) 画像処理装置および画像処理方法
US20160300321A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
Murai et al. Recording of fingertip position on tactile picture by the visually impaired and analysis of tactile information
CN113989831A (zh) 近视防控方法、装置、终端设备及存储介质
WO2016139760A1 (ja) 表示装置、表示方法、および表示プログラム
JP2009294984A (ja) 資料データ編集システム及び資料データ編集方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15883928

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017503260

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15883928

Country of ref document: EP

Kind code of ref document: A1