WO2014112143A1 - 表示制御装置及びプログラム - Google Patents

表示制御装置及びプログラム Download PDF

Info

Publication number
WO2014112143A1
WO2014112143A1 PCT/JP2013/069460 JP2013069460W WO2014112143A1 WO 2014112143 A1 WO2014112143 A1 WO 2014112143A1 JP 2013069460 W JP2013069460 W JP 2013069460W WO 2014112143 A1 WO2014112143 A1 WO 2014112143A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
text
display screen
displayed
data
Prior art date
Application number
PCT/JP2013/069460
Other languages
English (en)
French (fr)
Inventor
林栄作
左右田宏之
辰巳大祐
大西健司
Original Assignee
富士ゼロックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士ゼロックス株式会社 filed Critical 富士ゼロックス株式会社
Priority to CN201380066613.9A priority Critical patent/CN104871122B/zh
Priority to SG11201504043PA priority patent/SG11201504043PA/en
Priority to AU2013374725A priority patent/AU2013374725B2/en
Publication of WO2014112143A1 publication Critical patent/WO2014112143A1/ja
Priority to US14/688,538 priority patent/US20150220493A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Definitions

  • the present invention relates to a display control device and a program.
  • Patent Documents may include text (text) and a diagram, in which case it is common for the text to include corresponding parts that explain the diagram.
  • Patent Document 1 discloses a technology for improving the browsability of correspondence by grouping and displaying a diagram and a corresponding part in a sentence.
  • An object of the present invention is to provide a display control device and program capable of controlling information displayed on another screen according to information displayed on one screen.
  • the invention according to claim 1 is an acquisition means for acquiring data including one or more data elements, and a first display control means for displaying one or more data elements included in the data on a first display screen. And a second display control unit that causes another data element related to the data element displayed on the first display screen to be displayed on a second display screen.
  • the acquisition means acquires document information including a text and information of one or more figures
  • the first display control means at least a part of the text included in the document information. Is displayed on the first display screen, and the second display control means causes the second display screen to display a chart related to the portion of the text displayed on the first display screen among the one or more charts.
  • the display control device characterized in that
  • the invention according to claim 3 further includes means for associating information of a chart related to the text element for each text element constituting the text and storing the information in the storage means, and the second display control means 3.
  • the invention according to claim 4 further comprises determining means for determining the display order of the diagram related to the text element based on the display order of the text element constituting the part of the text displayed on the first display screen.
  • the second display control means displays the diagram related to the part of the text displayed on the first display screen on the second display screen based on the display order of the diagram determined by the determination means.
  • the invention according to claim 5 is the attention degree determination means for determining the degree of attention of a diagram related to the text element based on the display position of the text element constituting the part of the text displayed on the first display screen.
  • the second display control means further includes a chart associated with the portion of the text displayed on the first display screen in a size corresponding to the degree of attention of the chart determined by the attention degree determining means.
  • the display control device according to claim 3 or 4, characterized in that the second display screen is displayed.
  • the invention according to claim 6 further includes upper limit number determination means for determining the upper limit number of charts to be displayed on the second display screen based on the update speed of the text portion displayed on the first display screen.
  • the second display control means narrows down a chart related to a portion of the text displayed on the first display screen so as to be within the upper limit number and displays the chart on the second display screen.
  • the invention according to claim 7 further includes means for generating a text document including a text included in the document information and not including a chart included in the document information, wherein the first display control means includes the text document.
  • the invention according to claim 8 is an acquisition means for acquiring data including one or more data elements, and a first display control for displaying one or more data elements included in the data on the first display screen. It is a program for functioning as a 2nd display control means to display on a 2nd display screen the means and the other data element relevant to the data element displayed on a said 1st display screen.
  • the information displayed on the other screen can be controlled according to the information displayed on one screen.
  • the second aspect of the present invention it is possible to confirm the description portion in the document corresponding to the diagram and the diagram regardless of the arrangement position of the diagram in the document and the description portion in the document corresponding to the diagram.
  • the text element of the text and the chart corresponding to the text element can be simultaneously displayed on different screens.
  • the fifth aspect of the present invention it is possible to display a chart corresponding to each text element in a size according to the degree of attention of the text element of the text to be displayed.
  • the readability of the chart can be maintained even when the update speed of the text is fast, as compared with the case where the present configuration is not provided.
  • the text can be displayed on one screen, and a chart corresponding to the displayed text can be displayed on the other screen.
  • processing is performed to display a text corresponding to the text displayed on the first display screen and a chart corresponding to the text displayed on the first display screen on the second display screen for the document information including the text and the table I assume.
  • FIG. 1 shows a functional block diagram of the display control device 1 according to the first embodiment.
  • the display control device 1 includes a document acquisition unit 11, a document analysis unit 12, a document management unit 13, an input reception unit 14, a display target document acquisition unit 15, a text / diagram separation unit 16, and a first A display control unit 17, a text element identification unit 18, a display target chart identification unit 19, and a second display control unit 20 are provided.
  • the functions of the above-described units included in the display control device 1 are computer readable information storage media readable by a computer including control means such as a CPU, storage means such as a memory, and input / output means for transmitting and receiving data with external devices It may be realized by reading and executing a program stored in.
  • the program may be supplied to the display control apparatus 1 as a computer by an information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, a flash memory or the like, or may be displayed via a data communication network such as the Internet. It may be supplied to the control device 1.
  • the document acquisition unit 11 acquires document data to be managed.
  • document data including text text composed of a character string
  • a chart are managed.
  • the document data may include text data, diagram data, an electronic document including text data and layout data of diagram data, and a scanned document obtained by scanning a paper document.
  • the scanned document may be converted into an electronic document including text data, chart data, text data and layout data of the chart data by optical character recognition processing (OCR processing).
  • OCR processing optical character recognition processing
  • FIG. 2 shows an example of the electronic document.
  • a plurality of text elements and a plurality of diagrams are mixedly arranged.
  • FIGS. 2A to 2D correspond to the first to fourth pages of the electronic document, respectively.
  • the chart may indicate information other than character strings such as a figure, a table, a picture, and a mathematical expression image.
  • the document analysis unit 12 analyzes the information of the electronic document acquired by the document acquisition unit 11, and corresponds the correspondence between the text element (text object) included in the electronic document and the diagram (diagram object) included in the electronic document. decide.
  • the document analysis unit 12 is a structured document in which the electronic document includes text object (for example, character string information for each unit such as a paragraph, a sentence, or a word), a diagram object, and data of layout information of the text object and the diagram object
  • the correspondence between the text object and the chart object based on the text object and the identification information of the chart object included in the text object for example, character strings such as “FIG. 1” and “Table 1”
  • the document analysis unit 12 converts the electronic document into a structured document based on the result of layout analysis, and then converts the text object in the electronic document to the diagram object.
  • the correspondence may be determined.
  • the document management unit 13 includes document data (electronic document) acquired by the document acquisition unit 11 and data of the correspondence between the text object in the electronic document and the chart object determined by the document analysis unit 12 for the electronic document.
  • FIG. 3 shows an example of the document management table managed by the document management unit 13.
  • the identification information (document ID) of the electronic document the document name, the identification information (text element ID) of the text object included in the electronic document, and the electronic document corresponding to the text object
  • the identification information (chart ID) of the target chart object is stored in association.
  • the input reception unit 14 receives an operation input of the user from an input device such as a mouse, a keyboard, a touch panel, or a camera.
  • the input reception unit 14 may receive input directly from the user from the mouse, the keyboard, or the touch panel, or determines the user's operation input based on the movement of the user captured by the camera or the gaze position of the user. It is also possible to accept an operation input that has been made.
  • the display target document acquisition unit 15 reads out and acquires an electronic document (display target document) to be displayed from electronic documents managed by the document management unit 13 based on the operation input received by the input reception unit 14 Do.
  • the text / diagram separation unit 16 separates text data included in the display target document acquired by the display target document acquisition unit 15 from the diagram data.
  • the text / diagram separation unit 16 may extract only text objects included in the display target document, and generate a text document in which the extracted text objects are arranged.
  • FIG. 4 shows an example of the text document.
  • the text document is a document in which only the text object of the original display target document is newly rearranged.
  • FIGS. 4A to 4D correspond to the first to fourth pages of the text document, respectively.
  • the text document includes text elements (text objects) of T1 to T5.
  • the first display control unit 17 causes the text / figure separation unit 16 to display the text document generated for the display target document on a display device such as a liquid crystal display that is internally or externally connected.
  • a display screen for displaying a text document generated for a display target document is referred to as a first display screen.
  • the first display control unit 17 may update the display position of the text document displayed on the first display screen based on the scroll operation and the enlargement / reduction operation received by the input reception unit 14.
  • the text element identification unit 18 identifies a text element (text object) included in the display portion based on the information of the display portion of the text document displayed on the first display screen by the first display control unit 17. At this time, for example, the text element identification unit 18 assigns a display order to the identified text element (text object) based on the order according to the position displayed on the first display screen (for example, the upper part) In order from 1, 2, 3, etc.). In addition, the text element identification unit 18 sets the position of the text element displayed on the first display screen (for example, to increase the attention degree closer to the center of the first display screen) or the position of the cursor (for example, the position of the cursor). A degree of attention may be given to each of the identified text elements based on, for example, increasing the degree of attention as it approaches.
  • the display target chart specifying unit 19 is a document managed by the document management unit 13 for a chart (chart object) corresponding to the text element (text object) displayed on the first display screen identified by the text element identifying unit 18. Refer to the management table for identification. Here, the display target chart specifying unit 19 determines the display order (and attention degree) of each specified chart (figure object) based on the display order (and attention degree) assigned to the corresponding text element (text object). May be given.
  • the second display control unit 20 causes a display device such as a liquid crystal display to display a diagram document in which at least a part of the diagram (diagram object) specified by the display target diagram specifying unit 19 is arranged.
  • a display screen for displaying a chart document is referred to as a second display screen, and for example, the first display screen and the second display screen may be arranged vertically or horizontally.
  • the second display control unit 20 displays secondly a diagram document in which the diagrams (diagram objects) specified by the display target diagram specifying unit 19 are arranged in the order of display order given to the respective diagrams (diagram objects). It may be displayed on the screen.
  • the second display control unit 20 converts the charts (chart objects) specified by the display target chart specification unit 19 into a chart document in a size determined based on the degree of attention given to the respective charts (chart objects). It may be arranged.
  • FIG. 5 shows a display example of the first display screen 100 and the second display screen 200.
  • FIG. 5A when the text elements T4 and T5 are displayed on the first display screen 100, FIG. 2, FIG. 1, Table 1 and the text corresponding to the text element T4.
  • FIGS. 2, 1 and 1 After FIG. 1 which is a chart corresponding to the element T5 is identified, FIGS. 2, 1 and 1 will be displayed on the second display screen 200.
  • the display of FIG. 1 corresponding to the text element T5 is omitted because it overlaps with FIG. 1 corresponding to the text element T4.
  • FIG. 5 (B) When the display of the first display screen 100 is switched from FIG. 5 (A) to FIG. 5 (B), only the text element T5 is displayed on the first display screen 100, so the second display On the screen 200, only FIG. 1 corresponding to the text element T5 is displayed.
  • FIG. 6 shows an example of a flowchart for explaining the entire flow of the display processing of the display target document performed by the display control device 1.
  • the display control device 1 selects document data to be displayed from among electronic documents managed by the document management unit 13 based on the operation input received by the input reception unit 14 (electronic document ) Is read and acquired (S101).
  • the display control device 1 uses the document management table managed by the document management unit 13 to display data indicating the correspondence between text elements (text objects) and figures (figure objects) included in the document data to be displayed. It reads out and acquires (S102).
  • the display control device 1 separates the text part (text) and the diagram part of the document data to be displayed (S103), and generates a display image of the text document consisting of the separated text parts (text) ( S104).
  • the display control device 1 displays the display portion determined from the display image of the text document on the first display screen (S105), and specifies the text element (text object) displayed on the first display screen (S106) ).
  • the text element (text object) displayed on the first display screen may be a text element (text object) at least a part of which is displayed, or a text element (text) displayed entirely Object).
  • the display control device 1 corresponds the chart (diagram object) corresponding to the text element (text object) identified in S106 to the text element (text object) included in the document data to be displayed and the diagram (diagram object). It identifies based on the data which show a relation (S107).
  • the display control device 1 displays the chart (chart object) specified in S107 on the second display screen (S108). The details of the process of displaying the chart object corresponding to the text object displayed on the first display screen on the second display screen will be described later.
  • the display control device 1 When the display control device 1 receives the display change operation for changing the display of the first display screen by the input reception unit 14 (S109: Y), the display displayed on the first display screen among the display images of the text document The part is updated (S110), and the process returns to S105.
  • the display control device 1 does not receive the display change operation for changing the display of the first display screen by the input reception unit 14 (S109: N), and does not end the display of the document data to be displayed (S109) S111: N) Returning to S109, when the display of the document data to be displayed is ended (S111: Y), the display of the document data is ended and the processing is ended.
  • FIG. 7 shows a flowchart for explaining an example of processing for displaying a chart object corresponding to a text object displayed on the first display screen on the second display screen.
  • the flow shown in FIG. 7 describes the details of S108 performed after S107 in FIG.
  • the display control device 1 specifies a notable area from the text document displayed on the first display screen based on the operation input received by the input receiving unit 14 (S 201). For example, among the text objects of the text document displayed on the first display screen, the display control device 1 sets the text object closest to the specific area of the first display screen (for example, the central position of the first display screen) as the attention area. Among the text objects of the text document displayed on the first display screen, the text object designated by the cursor (or touch operation in the case of a touch panel) may be selected as the region of interest. It is also good.
  • the display control device 1 acquires the scroll speed (display update speed) of the first display screen based on the operation input received by the input reception unit 14 (S202).
  • the display control device 1 determines the number of charts (chart objects) displayed on the second display screen among the charts (chart objects) specified in S107 (S203). For example, the display control device 1 determines the upper limit number of charts to be displayed on the second display screen according to the scroll speed acquired in S202, and the number of charts (chart objects) specified in S107 is the upper limit determined above. If the number is equal to or less than the number, all the charts (chart objects) identified in S107 are displayed, and if the number of charts (chart objects) identified in S107 is larger than the upper limit number determined above, S107 The upper limit number of charts may be selected as the display target from among all the charts (chart objects) specified in. For example, the display control device 1 may assign attention degrees to the text objects and the corresponding chart objects in order of closeness to the attention area identified in S201, and select the chart objects for the upper limit number in the order of the provided attention degrees. .
  • the display control device 1 determines the display size of each of the charts (the chart object, hereinafter referred to display target chart) determined to be the display target in S203 (S204). For example, the display control device 1 may determine the display size of the display target chart according to the degree of attention given to each display target chart (for example, to a size proportional to the degree of attention). If it is possible to arrange in the second display screen in a size predetermined for the target chart, the size determined in advance for the display target chart is the display size, and the second predetermined size for the display target chart If arrangement on the display screen is not possible, the display size of each display target chart may be determined such that the reduction ratio increases as the degree of attention of the display target chart decreases.
  • the display control device 1 determines a display layout in which the display target chart determined in S203 is arranged on the second display screen with the display size determined in S204 (S205). For example, the display control device 1 may determine the display order of each text object displayed on the first display screen as the display order of the corresponding display target chart. Then, the display control device 1 may determine the display layout so as to arrange the respective display target charts in the determined display order and display size on the second display screen.
  • the display control device 1 generates a display image in which display target charts are arranged in the display layout determined in S205, displays the generated display image on the second display screen (S206), and returns.
  • the chart corresponding to the displayed text is dynamically displayed according to the text displayed on the first display screen. It will be selected and displayed on the second display screen.
  • the text and the corresponding chart can be viewed at the same time regardless of the arrangement position of the text and the chart in the document, so the readability of the document is improved as compared to the case where the document is displayed as it is.
  • the display control device 1 displays data to be displayed (display target data) on the first display screen, and the other corresponding to data elements of the display target data displayed on the first display screen.
  • a process of displaying data elements on the second display screen is performed.
  • the data may include at least one of sentences, figures, tables, formulas, photographs, and moving pictures, and data elements may indicate sentences, figures, tables, formulas, photographs, and moving pictures that constitute the data. It is good.
  • FIG. 8 shows an example of the data element correspondence table stored in the display control device 1 according to the second embodiment.
  • the data element correspondence table includes a data ID for identifying data, a data element ID for identifying a data element included in the data, and data including a data element corresponding to the data element (corresponding data And the corresponding data element ID for identifying the data element (corresponding data element) corresponding to the data element.
  • the correspondence data corresponding to the correspondence source data original data
  • the display control device 1 acquires data to be displayed (display target data) based on the operation input received by the input reception unit 14 (S 201). Further, the display control device 1 reads and acquires data (data element correspondence table) indicating the correspondence between the data element included in the display target data and the other data element corresponding to each data element (S202) .
  • the display control device 1 displays on the first display screen the display portion determined from the display target data based on the operation input received by the input reception unit 14 (S203), and is displayed on the first display screen 1 Alternatively, a plurality of data elements (referred to as a first data element group) are specified (S204).
  • the data element displayed on the first display screen may be a data element on which at least a part is displayed, or may be a data element on which the whole is displayed.
  • the display control device 1 determines one or more data elements (referred to as a second data element group) respectively corresponding to the data elements included in the first data element group specified in S203 as data elements defined for display target data. It specifies based on a corresponding table (S205). Then, the display control device 1 acquires data of each data element included in the second data element group identified in S205 (S206).
  • the display control device 1 displays a display image in which data elements included in the second data element group acquired in S206 are arranged on the second display screen (S207).
  • S207 the second display screen
  • the display control device 1 When the display control device 1 receives the display change operation for changing the display of the first display screen by the input reception unit 14 (S208: Y), the display portion to be displayed on the first display screen in the display target data is displayed. After updating (S209), the process returns to S203.
  • the display control device 1 does not receive the display change operation for changing the display of the first display screen by the input reception unit 14 (S208: N), and does not end the display of the display target data (S210: N) And) when the display of the display target data is ended (S210: Y), the display of the display target data is ended and the processing is ended.
  • a first modification of the second embodiment is a data element (first data element) included in one or more data with respect to the data element (first data element) included in the first data displayed on the first display screen.
  • the present invention relates to processing for displaying each data element of the second data element group on the second display screen when two data element groups are associated with each other.
  • FIG. 10 shows an example of the data element correspondence table stored in the display control device 1 according to the first modification of the second embodiment.
  • the data element correspondence table includes a data ID for identifying data, version information of the data, a data element ID for identifying a data element included in the data, and a data element corresponding to the data element.
  • a corresponding data ID identifying data including (corresponding data), version information of the corresponding data, and a corresponding data element ID identifying a data element (corresponding data element) corresponding to the data element are stored in association with each other.
  • data B and data C which are corresponding data corresponding to data A (original data), are pieces of information in which data versions (versions) are different.
  • FIG. 11 shows a display example of the first display screen and the second display screen based on the example of the data element correspondence table shown in FIG. That is, as shown in FIG. 11, when display control device 1 displays data element A-1 of data A on the first display screen, data element A- of data A associated with data element A-1 is displayed. 2. A data element B-2 of data B and a data element C-2 of data C may be displayed on the second display screen.
  • the second modification of the second embodiment is the second modification of the second embodiment, in which additional information such as an annotation (annotation), a comment, change history information, tag information and the like added to the corresponding data element is generated. It relates to processing to be displayed on the display screen.
  • additional information such as an annotation (annotation), a comment, change history information, tag information and the like added to the corresponding data element is generated. It relates to processing to be displayed on the display screen.
  • FIG. 12 illustrates an example of a data element correspondence table stored in the display control device 1 according to the second modification of the second embodiment.
  • the data element correspondence table includes a data ID for identifying data, version information of the data, a data element ID for identifying a data element included in the data, and a data element corresponding to the data element.
  • Corresponding data ID for identifying data including (corresponding data), version information of the corresponding data, corresponding data element ID for identifying a data element (corresponding data element) corresponding to the data element, attached to the corresponding data element
  • the additional information is associated and stored.
  • data B and data C which are corresponding data corresponding to data A (original data), have different data versions, and data B and data C are added by the user (revision person) Comment information, change history information, etc. are added as additional information.
  • FIG. 13 shows a display example of the first display screen and the second display screen based on the example of the data element correspondence table shown in FIG. That is, as shown in FIG. 13, when display control device 1 displays data element A-1 of data A on the first display screen, data element B- of data B associated with data element A-1 is displayed. The additional information B-2-1 of 2 and the additional information C-2-1 of the data element C-2 of the data C may be displayed on the second display screen. Although the example shown in FIG. 13 shows only the additional information on the second display screen, the data element B-2 and the data element C-2 may be displayed on the second display screen.
  • the display control device 1 may use the single display mode in which only the data element in the same data as the data displayed on the first display screen is displayed on the second display screen, the same data as the data displayed on the first display screen, or other data.
  • Multiple display mode 1 for displaying data elements in the data group including data on the second display screen, additional information associated with data elements in the data group including the same data as the data displayed on the first display screen or other data May be displayed on the second display screen by switching between them.
  • the display control device 1 may select the chart object according to the order in which the identification information of the chart object appears in the text object.
  • the display order may be determined.
  • the display control device 1 briefly displays the display target chart to be displayed on the second display screen (for example, Display, meta information, etc. may be displayed.
  • the display control device 1 may repeatedly display the chart by the number of overlapping, or may display it only once. In the case of displaying by the latter method, the figure to be displayed is reduced compared to the case of the former, and thus the viewability is improved.
  • the display control device 1 includes a camera
  • the visual line position of the user with respect to the first display screen is identified based on the image of the user captured by the camera, and the first position is identified based on the identified visual line position.
  • the attention area may be specified from the text document displayed on the display screen.
  • the display control device 1 may execute the display process by switching the mode in which the document is displayed according to the original layout and the mode in which the document is divided into text and a chart and displayed.
  • the first display screen and the second display screen may not be displayed on the same display device.
  • the display control device 1 transmits the display image to be displayed on the first display screen to the first display device that displays the first display screen, and the display image to be displayed on the second display screen is (2) It may be transmitted to a second display device for displaying a display screen.
  • the display control device 1 may distribute and display other data elements corresponding to the data elements displayed on the first display screen to a plurality of display screens.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　文書における図表と図表に対応する文書中の記述箇所との配置位置に依らず、図表と図表に対応する文書中の記述箇所が同時に確認する。　表示制御装置１は、本文及び１又は複数の図表の情報を含む文書情報を取得し、文書情報に含まれる本文の少なくとも一部を第１表示画面に表示させる第１表示制御部１７と、１又は複数の図表のうち第１表示画面に表示される本文の部分に関連する図表を第２表示画面に表示させる第２表示制御部２０と、を備える。

Description

表示制御装置及びプログラム

　本発明は、表示制御装置及びプログラムに関する。

　文書には文章（テキスト）と図表を含むことがあり、この場合文章中には図表の説明をする対応箇所が含まれることが一般的である。ここで、特許文献１には、図表と文章中の対応箇所とをグループ化して表示することで、対応関係の閲覧性を向上させる技術が開示されている。

特開２００６－２６０５６９号公報

　本発明の目的は、１つの画面に表示される情報に応じて他の画面に表示される情報を制御できる表示制御装置及びプログラムを提供することにある。

　請求項１に記載の発明は、１又は複数のデータ要素を含むデータを取得する取得手段と、前記データに含まれる１以上のデータ要素を第１表示画面に表示させる第１表示制御手段と、前記第１表示画面に表示されるデータ要素に関連する他のデータ要素を第２表示画面に表示させる第２表示制御手段と、を含むことを特徴とする表示制御装置である。

　請求項２に記載の発明は、前記取得手段は、本文及び１又は複数の図表の情報を含む文書情報を取得し、前記第１表示制御手段は、前記文書情報に含まれる本文の少なくとも一部を第１表示画面に表示させ、前記第２表示制御手段は、前記１又は複数の図表のうち前記第１表示画面に表示される本文の部分に関連する図表を第２表示画面に表示させることを特徴とする請求項１に記載の表示制御装置である。

　請求項３に記載の発明は、前記本文を構成するそれぞれの文章要素ごとに、該文章要素に関連する図表の情報を関連付けて記憶手段に記憶する手段をさらに含み、前記第２表示制御手段は、前記第１表示画面に表示される本文の部分を構成する文章要素に関連付けて前記記憶手段に記憶される図表を前記第２表示画面に表示させることを特徴とする請求項２に記載の表示制御装置である。

　請求項４に記載の発明は、前記第１表示画面に表示される本文の部分を構成する文章要素の表示順序に基づいて、該文章要素に関連する図表の表示順序を決定する決定手段をさらに含み、前記第２表示制御手段は、前記第１表示画面に表示される本文の部分に関連する図表を、前記決定手段により決定された該図表の表示順序に基づいて前記第２表示画面に表示させることを特徴とする請求項３に記載の表示制御装置である。

　請求項５に記載の発明は、前記第１表示画面に表示される本文の部分を構成する文章要素の表示位置に基づいて、該文章要素に関連する図表の注目度を決定する注目度決定手段をさらに含み、前記第２表示制御手段は、前記第１表示画面に表示される本文の部分に関連する図表を、前記注目度決定手段により決定された該図表の注目度に応じた大きさで前記第２表示画面に表示させることを特徴とする請求項３又は４に記載の表示制御装置である。

　請求項６に記載の発明は、前記第１表示画面に表示される本文の部分の更新速度に基づいて、前記第２表示画面に表示させる図表の上限数を決定する上限数決定手段をさらに含み、前記第２表示制御手段は、前記第１表示画面に表示される本文の部分に関連する図表を、前記上限数以内となるように絞り込んで前記第２表示画面に表示させることを特徴とする請求項２乃至５のいずれかに記載の表示制御装置である。

　請求項７に記載の発明は、前記文書情報に含まれる本文を含み、該文書情報に含まれる図表を含まないテキスト文書を生成する手段をさらに含み、前記第１表示制御手段は、前記テキスト文書の少なくとも一部を前記第１表示画面に表示させることを特徴とする請求項２乃至６のいずれかに記載の表示制御装置である。

　請求項８に記載の発明は、コンピュータを、１又は複数のデータ要素を含むデータを取得する取得手段と、前記データに含まれる１以上のデータ要素を第１表示画面に表示させる第１表示制御手段と、前記第１表示画面に表示されるデータ要素に関連する他のデータ要素を第２表示画面に表示させる第２表示制御手段として機能させるためのプログラムである。

　請求項1及び８に記載の発明によれば、１つの画面に表示される情報に応じて他の画面に表示される情報を制御できる。

　請求項２に記載の発明によれば、文書における図表と図表に対応する文書中の記述箇所との配置位置に依らず、図表と図表に対応する文書中の記述箇所が確認できる。

　請求項３に記載の発明によれば、本文の文章要素と、該文章要素に対応した図表とを異なる画面に同時に表示させることができる。

　請求項４に記載の発明によれば、表示される本文の文章要素に対応した順序で、それぞれの文章要素に対応した図表を表示させることができる。

　請求項５に記載の発明によれば、表示される本文の文章要素の注目度に応じたサイズで、それぞれの文章要素に対応した図表を表示させることができる。

　請求項６に記載の発明によれば、本構成を有さない場合と比較して、本文の更新速度が速い場合であっても図表の閲覧性を維持させることができる。

　請求項７に記載の発明によれば、一方の画面には本文を表示し、他方の画面には表示された本文に対応する図表を表示できる。

第１の実施形態に係る表示制御装置の機能ブロック図である。 電子文書の一例を示す図である。 文書管理テーブルの一例を示す図である。 テキスト文書の一例を示す図である。 第１表示画面と第２表示画面の表示例を示す図である。 表示対象文書の表示処理に関する全体の流れを説明するフローチャートである。 第２表示画面の表示処理の一例を説明するフローチャートである。 データ要素対応テーブルの一例を示す図である。 表示対象データの表示処理に関する全体の流れを説明するフローチャートである。 データ要素対応テーブルの一例を示す図である。 第１表示画面と第２表示画面の表示例を示す図である。 データ要素対応テーブルの一例を示す図である。 第１表示画面と第２表示画面の表示例を示す図である。

　以下、本発明を実施するための実施の形態（以下、実施形態という）を、図面に従って説明する。

［１．第１の実施形態］

　まず、図１～図７を参照しながら、本発明の第１の実施形態について説明する。第１の実施形態では、本文及び図表を含む文書情報について、本文を第１表示画面に、第１表示画面に表示された本文に対応する図表を第２表示画面に表示させる処理を実行することとする。

［１．１．機能ブロックの説明］

　図１には、第１の実施形態に係る表示制御装置１の機能ブロック図を示した。図１に示されるように、表示制御装置１は、文書取得部１１、文書解析部１２、文書管理部１３、入力受付部１４、表示対象文書取得部１５、本文／図表分離部１６、第１表示制御部１７、テキスト要素特定部１８、表示対象図表特定部１９、第２表示制御部２０を備える。

　表示制御装置１に備えられる上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によってコンピュータたる表示制御装置１に供給されることとしてもよいし、インターネット等のデータ通信網を介して表示制御装置１に供給されることとしてもよい。

　文書取得部１１は、管理対象とする文書データを取得する。第１の実施形態では、テキスト（文字列からなる文章）と図表とを含む文書データを管理対象とする。例えば、文書データには、テキストデータ、図表データ、テキストデータと図表データのレイアウトデータを含む電子文書や、紙文書をスキャンしたスキャン文書を含むこととしてよい。ここで、スキャン文書は、光学文字認識処理（ＯＣＲ処理）によりテキストデータ、図表データ、テキストデータと図表データのレイアウトデータを含む電子文書に変換することとしてよい。以下では、文書取得部１１により取得される文書データが電子文書であることとして説明する。

　図２には、電子文書の一例を示した。図２に示されるように、第１の実施形態の処理対象とする電子文書には、複数のテキスト要素及び複数の図表が混在して配置されている。図２（Ａ）～（Ｄ）はそれぞれ電子文書の１～４ページ目に該当している。なお、図表とは、図、表、写真、数式イメージ等の文字列以外の情報を指し示すこととしてよい。

　文書解析部１２は、文書取得部１１により取得した電子文書の情報を解析して、電子文書に含まれるテキスト要素（テキストオブジェクト）と、電子文書に含まれる図表（図表オブジェクト）との対応関係を決定する。例えば、文書解析部１２は、電子文書が、テキストオブジェクト（例えば段落、文、または単語等の単位ごとの文字列情報）、図表オブジェクト、テキストオブジェクトと図表オブジェクトのレイアウト情報のデータを含む構造化文書である場合には、テキストオブジェクトと、当該テキストオブジェクト内に含まれる図表オブジェクトの識別情報（例えば「図１」、「表１」等の文字列）とに基づいて、テキストオブジェクトと図表オブジェクトの対応関係を決定することとしてよい。また、文書解析部１２は、電子文書が、構造化文書でない場合には、レイアウト解析の結果に基づいて電子文書を構造化文書に変換した上で、電子文書内のテキストオブジェクトと図表オブジェクトとの対応関係を決定することとしてよい。

　文書管理部１３は、文書取得部１１により取得された文書データ（電子文書）と、当該電子文書について文書解析部１２により決定された電子文書内のテキストオブジェクトと図表オブジェクトとの対応関係のデータとを管理する。

　図３には、文書管理部１３により管理される文書管理テーブルの一例を示した。図３に示される文書管理テーブルの例では、電子文書の識別情報（文書ＩＤ）、文書名、電子文書に含まれるテキストオブジェクトの識別情報（テキスト要素ＩＤ）、テキストオブジェクトに対応する電子文書に含まれる図表オブジェクトの識別情報（図表ＩＤ）が関連付けて記憶される。

　入力受付部１４は、マウス、キーボード、タッチパネル、カメラ等の入力デバイスからユーザの操作入力を受け付ける。例えば、入力受付部１４は、マウス、キーボード、タッチパネルからユーザから直接に入力を受け付けてもよいし、カメラにより撮像されたユーザの動きやユーザの視線位置に基づきユーザの操作入力を判定し、判定した操作入力を受け付けることとしてもよい。

　表示対象文書取得部１５は、入力受付部１４により受け付けた操作入力に基づいて、文書管理部１３で管理される電子文書の中から、表示対象とする電子文書（表示対象文書）を読み出して取得する。

　本文／図表分離部１６は、表示対象文書取得部１５により取得された表示対象文書に含まれるテキストデータと、図表データとを分離する。例えば、本文／図表分離部１６は、表示対象文書に含まれるテキストオブジェクトのみを抽出し、抽出したテキストオブジェクトを配置したテキスト文書を生成することとしてよい。

　図４には、テキスト文書の一例を示した。図４に示されるように、テキスト文書は、元の表示対象文書のテキストオブジェクトのみを新たに配置し直した文書である。ここで、図４（Ａ）～（Ｄ）は、それぞれテキスト文書の１～４ページ目に該当している。なお、図４に示される例においては、テキスト文書は、Ｔ１～Ｔ５のテキスト要素（テキストオブジェクト）を含んでいることとする。

　第１表示制御部１７は、本文／図表分離部１６により表示対象文書について生成されたテキスト文書を、内蔵した又は外部接続された液晶ディスプレイ等の表示装置に表示させる。ここで、表示対象文書について生成されたテキスト文書を表示する表示画面を第１表示画面と称する。また、第１表示制御部１７は、入力受付部１４により受け付けたスクロール操作、拡大縮小操作に基づいて、第１表示画面に表示されるテキスト文書の表示箇所を更新することとしてよい。

　テキスト要素特定部１８は、第１表示制御部１７により第１表示画面に表示されるテキスト文書の表示箇所の情報に基づいて、当該表示箇所に含まれるテキスト要素（テキストオブジェクト）を特定する。この際に、例えば、テキスト要素特定部１８は、特定したテキスト要素（テキストオブジェクト）に対して、第１表示画面に表示される位置に応じた順番に基づいて、表示順位を付与する（例えば上から順に１，２，３等）こととしてよい。また、テキスト要素特定部１８は、第１表示画面に表示されるテキスト要素の位置（例えば第１表示画面の中央に近いほど注目度を高くする等）や、カーソルの位置（例えばカーソルの位置に近いほど注目度を高くする等）に基づいて、特定された各テキスト要素に注目度を付与することとしてもよい。

　表示対象図表特定部１９は、テキスト要素特定部１８により特定された第１表示画面に表示されるテキスト要素（テキストオブジェクト）に対応する図表（図表オブジェクト）を、文書管理部１３で管理される文書管理テーブルを参照して特定する。ここで、表示対象図表特定部１９は、特定した各図表（図表オブジェクト）の表示順位（及び注目度）を、対応するテキスト要素（テキストオブジェクト）に付与された表示順位（及び注目度）に基づいて付与することとしてよい。

　第２表示制御部２０は、表示対象図表特定部１９により特定された図表（図表オブジェクト）の少なくとも一部を配置した図表文書を、液晶ディスプレイ等の表示装置に表示させる。ここで、図表文書を表示する表示画面を第２表示画面と称し、例えば、第１表示画面と第２表示画面とは上下、又は左右に並べて配置されることとしてよい。例えば、第２表示制御部２０は、表示対象図表特定部１９により特定された図表（図表オブジェクト）を、それぞれの図表（図表オブジェクト）に付与された表示順位の順に配置した図表文書を第２表示画面に表示させることとしてよい。この際、第２表示制御部２０は、表示対象図表特定部１９により特定された図表（図表オブジェクト）を、それぞれの図表（図表オブジェクト）に付与された注目度に基づき決定したサイズで図表文書に配置することとしてもよい。

　図５には、第１表示画面１００と第２表示画面２００の表示例を示した。図５（Ａ）に示されるように、第１表示画面１００にテキスト要素Ｔ４，Ｔ５が表示されている場合には、テキスト要素Ｔ４に対応する図表である図２，図１，表１とテキスト要素Ｔ５に対応する図表である図１が特定された後に、第２表示画面２００には、図２，図１，表１が表示されることとなる。なお、テキスト要素Ｔ５に対応する図１については、テキスト要素Ｔ４に対応する図１と重複するため表示が省略される。また、図５（Ａ）から図５（Ｂ）に第１表示画面１００の表示が切り替えられた場合には、第１表示画面１００にはテキスト要素Ｔ５のみが表示されているため、第２表示画面２００には、テキスト要素Ｔ５に対応した図１のみが表示されることとなる。

［１．２．フローチャートの説明］

　次に、図６及び図７を参照しながら、表示制御装置１により行われる処理の流れの一例について説明する。

［１．２－１．文書表示処理］

　図６には、表示制御装置１により行われる表示対象文書の表示処理に関する全体の流れを説明するフローチャートの一例を示した。

　図６に示されるように、表示制御装置１は、入力受付部１４により受け付けた操作入力に基づいて、文書管理部１３で管理される電子文書の中から、表示対象とする文書データ（電子文書）を読み出して取得する（Ｓ１０１）。また、表示制御装置１は、文書管理部１３で管理される文書管理テーブルから、表示対象とする文書データに含まれるテキスト要素（テキストオブジェクト）と図表（図表オブジェクト）との対応関係を示すデータを読み出して取得する（Ｓ１０２）。

　次に、表示制御装置１は、表示対象とする文書データのテキスト部分（本文）と図表部分とを分離し（Ｓ１０３）、分離したテキスト部分（本文）からなるテキスト文書の表示イメージを生成する（Ｓ１０４）。

　表示制御装置１は、テキスト文書の表示イメージの中から決定した表示部分を第１表示画面に表示するとともに（Ｓ１０５）、第１表示画面に表示されるテキスト要素（テキストオブジェクト）を特定する（Ｓ１０６）。ここで、第１表示画面に表示されるテキスト要素（テキストオブジェクト）とは、その少なくとも一部が表示されるテキスト要素（テキストオブジェクト）であってもよいし、全体が表示されるテキスト要素（テキストオブジェクト）であってもよい。

　表示制御装置１は、Ｓ１０６で特定したテキスト要素（テキストオブジェクト）に対応する図表（図表オブジェクト）を、表示対象とする文書データに含まれるテキスト要素（テキストオブジェクト）と図表（図表オブジェクト）との対応関係を示すデータに基づいて特定する（Ｓ１０７）。

　表示制御装置１は、Ｓ１０７で特定した図表（図表オブジェクト）を第２表示画面に表示する（Ｓ１０８）。この、第１表示画面に表示されるテキストオブジェクトに対応する図表オブジェクトを第２表示画面に表示する処理の詳細については後述する。

　表示制御装置１は、入力受付部１４により第１表示画面の表示を変更する表示変更操作を受け付けた場合には（Ｓ１０９：Ｙ）、テキスト文書の表示イメージのうち第１表示画面に表示する表示部分を更新して（Ｓ１１０）、Ｓ１０５に戻る。

　表示制御装置１は、入力受付部１４により第１表示画面の表示を変更する表示変更操作を受け付けていない場合であって（Ｓ１０９：Ｎ）、表示対象とする文書データの表示を終了しないときには（Ｓ１１１：Ｎ）、Ｓ１０９に戻り、表示対象とする文書データの表示を終了するときには（Ｓ１１１：Ｙ）、文書データの表示を終了して、処理を終える。

［１．２－２．第２表示画面の表示処理］

　図７には、第１表示画面に表示されるテキストオブジェクトに対応する図表オブジェクトを第２表示画面に表示する処理の一例を説明するフローチャートを示した。なお、図７に示されたフローは、図６におけるＳ１０７の後に実行されるＳ１０８の詳細を説明したものである。

　図７に示されるように、表示制御装置１は、入力受付部１４により受け付けた操作入力に基づいて、第１表示画面に表示されたテキスト文書の中から注目領域を特定する（Ｓ２０１）。例えば、表示制御装置１は、第１表示画面に表示されたテキスト文書のテキストオブジェクトのうち、第１表示画面の特定領域（例えば第１表示画面の中央位置）に最も近いテキストオブジェクトを注目領域として選択することとしてもよいし、第１表示画面に表示されたテキスト文書のテキストオブジェクトのうち、カーソル（又はタッチパネルの場合にはタッチ操作）により指示されているテキストオブジェクトを注目領域として選択することとしてもよい。

　また、表示制御装置１は、入力受付部１４により受け付けた操作入力に基づいて、第１表示画面のスクロール速度（表示更新速度）を取得する（Ｓ２０２）。

　次に、表示制御装置１は、Ｓ１０７において特定した図表（図表オブジェクト）のうち、第２表示画面に表示する図表（図表オブジェクト）の数を決定する（Ｓ２０３）。例えば、表示制御装置１は、Ｓ２０２で取得したスクロール速度に応じて、第２表示画面に表示する図表の上限数を決定し、Ｓ１０７において特定した図表（図表オブジェクト）の数が、上記決定した上限数以下である場合には、Ｓ１０７において特定した全ての図表（図表オブジェクト）を表示することとし、Ｓ１０７において特定した図表（図表オブジェクト）の数が、上記決定した上限数より大きい場合には、Ｓ１０７において特定した全ての図表（図表オブジェクト）の中から上限数分の図表を表示対象として選択することとしてよい。例えば、表示制御装置１は、Ｓ２０１で特定された注目領域に近い順にテキストオブジェクト及び対応する図表オブジェクトに注目度を付与し、付与した注目度の順に上限数分の図表オブジェクトを選択することとしてよい。

　表示制御装置１は、Ｓ２０３で表示対象に決定された図表（図表オブジェクト、以下表示対象図表）のそれぞれの表示サイズを決定する（Ｓ２０４）。例えば、表示制御装置１は、表示対象図表の表示サイズを、それぞれの表示対象図表に付与された注目度に応じて（例えば、注目度に比例するサイズに）決定することとしてもよいし、表示対象図表にそれぞれ予め定められたサイズで第２表示画面に配置可能な場合には、表示対象図表にそれぞれ予め定められたサイズを表示サイズとし、表示対象図表にそれぞれ予め定められたサイズで第２表示画面に配置可能でない場合には、表示対象図表の注目度が小さくなるにつれて縮小率が大きくなるようにしてそれぞれの表示対象図表の表示サイズを決定することとしてもよい。

　次に、表示制御装置１は、Ｓ２０３で決定した表示対象図表を、Ｓ２０４で決定した表示サイズで、第２表示画面に配置する表示レイアウトを決定する（Ｓ２０５）。例えば、表示制御装置１は、第１表示画面に表示されたそれぞれのテキストオブジェクトの表示順序を、対応する表示対象図表の表示順序として決定することとしてよい。そして、表示制御装置１は、第２表示画面に、それぞれの表示対象図表を、上記決定した表示順序及び表示サイズで配置するように表示レイアウトを決定することとしてよい。

　表示制御装置１は、Ｓ２０５で決定した表示レイアウトで表示対象図表をそれぞれ配置した表示イメージを生成し、生成した表示イメージを第２表示画面に表示させて（Ｓ２０６）、リターンする。

　以上説明した表示制御装置１によれば、テキスト及び図表を含む文書を閲覧する際に、第１表示画面において表示されているテキストに応じて、該表示されるテキストに対応する図表が動的に選択されて第２表示画面に表示されることとなる。これにより、文書におけるテキストと図表との配置位置に依らずテキストと対応する図表とが同時に閲覧可能となるため、文書をそのまま表示する場合に比べて文書の閲覧性が向上する。

［２．第２の実施形態］

　次に、本発明の第２の実施形態について説明する。第２の実施形態においては、表示制御装置１は、表示対象とするデータ（表示対象データ）を第１表示画面に、第１表示画面に表示された表示対象データのデータ要素に対応した他のデータ要素を第２表示画面に表示させる処理を実行することとする。ここで、データは文章、図、表、数式、写真、動画の少なくともいずれかを含むこととしてよく、データ要素とはデータを構成する文章、図、表、数式、写真、動画のそれぞれを指すこととしてよい。

　図８には、第２の実施形態に係る表示制御装置１が記憶するデータ要素対応テーブルの一例を示した。図８に示されるように、データ要素対応テーブルには、データを識別するデータＩＤ、該データに含まれるデータ要素を識別するデータ要素ＩＤ、該データ要素に対応するデータ要素を含むデータ（対応データ）を識別する対応データＩＤ、該データ要素に対応するデータ要素（対応データ要素）を識別する対応データ要素ＩＤを関連付けて記憶している。対応元のデータ（元データ）と対応する対応データは、１又は複数のデータを含むこととしてよく、その中に元データを含むこととしても構わない。

　次に、図９を参照しながら、表示制御装置１により行われる表示対象データの表示処理の流れの一例について説明する。

　図９に示されるように、表示制御装置１は、入力受付部１４により受け付けた操作入力に基づいて、表示対象とするデータ（表示対象データ）を取得する（Ｓ２０１）。また、表示制御装置１は、表示対象データに含まれるデータ要素と、それぞれのデータ要素に対応する他のデータ要素との対応関係を示すデータ（データ要素対応テーブル）を読み出して取得する（Ｓ２０２）。

　表示制御装置１は、入力受付部１４により受け付けた操作入力に基づいて表示対象データの中から決定した表示部分を第１表示画面に表示するとともに（Ｓ２０３）、第１表示画面に表示される１又は複数のデータ要素（第１データ要素群とする）を特定する（Ｓ２０４）。ここで、第１表示画面に表示されるデータ要素とは、その少なくとも一部が表示されるデータ要素としてもよいし、全体が表示されるデータ要素としてもよい。

　表示制御装置１は、Ｓ２０３で特定した第１データ要素群に含まれるデータ要素にそれぞれ対応する１又は複数のデータ要素（第２データ要素群とする）を、表示対象データについて定められたデータ要素対応テーブルに基づいて特定する（Ｓ２０５）。そして、表示制御装置１は、Ｓ２０５で特定した第２データ要素群に含まれるそれぞれのデータ要素のデータを取得する（Ｓ２０６）。

　表示制御装置１は、Ｓ２０６で取得した第２データ要素群に含まれるデータ要素を配置した表示イメージを第２表示画面に表示する（Ｓ２０７）。なお、第２データ要素群に含まれるデータ要素を第２表示画面に表示する処理については、第１実施形態における、図表オブジェクトを第２表示画面に表示する処理と同様の処理を適用してよい。

　表示制御装置１は、入力受付部１４により第１表示画面の表示を変更する表示変更操作を受け付けた場合には（Ｓ２０８：Ｙ）、表示対象データのうち第１表示画面に表示する表示部分を更新して（Ｓ２０９）、Ｓ２０３に戻る。

　表示制御装置１は、入力受付部１４により第１表示画面の表示を変更する表示変更操作を受け付けていない場合であって（Ｓ２０８：Ｎ）、表示対象データの表示を終了しないときには（Ｓ２１０：Ｎ）、Ｓ２０８に戻り、表示対象データの表示を終了するときには（Ｓ２１０：Ｙ）、表示対象データの表示を終了して、処理を終える。

［２－１．第２の実施形態の変形例１］

　次に、第２の実施形態の変形例について説明する。

　第２の実施形態の変形例１は、第１表示画面に表示される第１のデータに含まれるデータ要素（第１データ要素）に対して、１以上のデータにそれぞれ含まれるデータ要素（第２データ要素群）が関連付けられている場合に、第２データ要素群の各データ要素を第２表示画面に表示させる処理に関する。

　図１０には、第２の実施形態の変形例１に係る表示制御装置１が記憶するデータ要素対応テーブルの一例を示した。図１０に示されるように、データ要素対応テーブルには、データを識別するデータＩＤ、該データのバージョン情報、該データに含まれるデータ要素を識別するデータ要素ＩＤ、該データ要素に対応するデータ要素を含むデータ（対応データ）を識別する対応データＩＤ、該対応データのバージョン情報、該データ要素に対応するデータ要素（対応データ要素）を識別する対応データ要素ＩＤを関連付けて記憶している。図１０に示した例では、データＡ（元データ）と対応する対応データであるデータＢとデータＣは、データのバージョン（版）が異なる情報であることとする。

　図１１には、図１０に示されたデータ要素対応テーブルの例に基づく第１表示画面と第２表示画面との表示例を示した。すなわち、図１１に示されるように、表示制御装置１が第１表示画面にデータＡのデータ要素Ａ－１を表示した場合には、データ要素Ａ－１に関連付けられるデータＡのデータ要素Ａ－２、データＢのデータ要素Ｂ－２、データＣのデータ要素Ｃ－２を第２表示画面に表示することとしてよい。

［２－２．第２の実施形態の変形例２］

　第２の実施形態の変形例２は、第２の実施形態の変形例１において、対応データ要素に付加された注釈（アノテーション）、コメント、変更履歴情報、付箋情報等の付加情報を、第２表示画面に表示させる処理に関する。

　例えば、図１２には、第２の実施形態の変形例２に係る表示制御装置１が記憶するデータ要素対応テーブルの一例を示した。図１２に示されるように、データ要素対応テーブルには、データを識別するデータＩＤ、該データのバージョン情報、該データに含まれるデータ要素を識別するデータ要素ＩＤ、該データ要素に対応するデータ要素を含むデータ（対応データ）を識別する対応データＩＤ、該対応データのバージョン情報、該データ要素に対応するデータ要素（対応データ要素）を識別する対応データ要素ＩＤ、該対応データ要素に付加された付加情報を関連付けて記憶している。図１２に示した例では、データＡ（元データ）と対応する対応データであるデータＢとデータＣは、データのバージョンが異なり、データＢとデータＣにはユーザ（改版者）により付加されたコメント情報や変更履歴情報等が付加情報として加えられている。

　図１３には、図１２に示されたデータ要素対応テーブルの例に基づく第１表示画面と第２表示画面との表示例を示した。すなわち、図１３に示されるように、表示制御装置１が第１表示画面にデータＡのデータ要素Ａ－１を表示した場合には、データ要素Ａ－１に関連付けられるデータＢのデータ要素Ｂ－２の付加情報Ｂ－２－１、データＣのデータ要素Ｃ－２の付加情報Ｃ－２－１を第２表示画面に表示することとしてよい。図１３に示した例では付加情報のみを第２表示画面に表示する例を示したが、データ要素Ｂ－２とデータ要素Ｃ－２も第２表示画面に表示させることとしてもよい。

　また、表示制御装置１は、第１表示画面に表示するデータと同じデータ内のデータ要素のみを第２表示画面に表示させるシングル表示モード、第１表示画面に表示するデータと同じデータ又は他のデータを含むデータ群内のデータ要素を第２表示画面に表示させるマルチ表示モード１、第１表示画面に表示するデータと同じデータ又は他のデータを含むデータ群内のデータ要素に関連付けられる付加情報を第２表示画面に表示させるマルチ表示モード２をそれぞれ切り替えて表示するようにしてもよい。

［３．変形例］

　本発明は、上記の実施形態に限定されるものではない。例えば、表示制御装置１は、同一のテキストオブジェクトに対して、複数の図表オブジェクトが対応付けられている場合には、テキストオブジェクト内で図表オブジェクトの識別情報が出現する順序に応じて、図表オブジェクトの表示順序を決定することとしてよい。

　また、表示制御装置１は、第１表示画面のスクロール速度が閾値以上（又は閾値より大きい）場合には、第２表示画面に表示する表示対象図表を簡略表示（例えば、枠等の一部を表示、メタ情報を表示等）することとしてもよい。

　また、表示制御装置１は、Ｓ１０７において重複する図表（図表オブジェクト）が特定された場合には、該図表を重複数だけ繰り返し表示させてもよいし、１回だけ表示させるようにしてもよい。後者の方法で表示させた場合には、前者の場合に比べて表示させる図表が削減されるため閲覧性が向上する。

　また、表示制御装置１がカメラを備えている場合には、カメラにより撮像したユーザの画像に基づいて、第１表示画面に対するユーザの視線位置を特定し、特定した視線位置に基づいて、第１表示画面に表示されたテキスト文書の中から注目領域を特定するようにしてもよい。

　また、表示制御装置１は、文書を元のレイアウト通りに表示するモードと、文書をテキストと図表とに分けて表示するモードを切り替えて表示処理を実行するようにしてもよい。

　また、第１表示画面と第２表示画面とは、同じ表示装置に表示されなくともよい。この場合には、表示制御装置１は、第１表示画面に表示する表示イメージを、第１表示画面を表示する第１の表示装置に送信し、第２表示画面に表示する表示イメージを、第２表示画面を表示する第２の表示装置に送信することとしてよい。

　また、表示制御装置１は、第１表示画面に表示したデータ要素に対応する他のデータ要素をそれぞれ複数の表示画面に振り分けて表示させることとしてもよい。

　１　表示制御装置、１１　文書取得部、１２　文書解析部、１３　文書管理部、１４　入力受付部、１５　表示対象文書取得部、１６　本文／図表分離部、１７　第１表示制御部、１８　テキスト要素特定部、１９　表示対象図表特定部、２０　第２表示制御部、１００　第１表示画面、２００　第２表示画面、Ｔ１～Ｔ５　テキスト要素。

Claims (8)


  1. 　１又は複数のデータ要素を含むデータを取得する取得手段と、

    　前記データに含まれる１以上のデータ要素を第１表示画面に表示させる第１表示制御手段と、

    　前記第１表示画面に表示されるデータ要素に関連する他のデータ要素を第２表示画面に表示させる第２表示制御手段と、を含む

    　ことを特徴とする表示制御装置。

  2. 　前記取得手段は、本文及び１又は複数の図表の情報を含む文書情報を取得し、

    　前記第１表示制御手段は、前記文書情報に含まれる本文の少なくとも一部を第１表示画面に表示させ、

    　前記第２表示制御手段は、前記１又は複数の図表のうち前記第１表示画面に表示される本文の部分に関連する図表を第２表示画面に表示させる

    　ことを特徴とする請求項１に記載の表示制御装置。

  3. 　前記本文を構成するそれぞれの文章要素ごとに、該文章要素に関連する図表の情報を関連付けて記憶手段に記憶する手段をさらに含み、

    　前記第２表示制御手段は、前記第１表示画面に表示される本文の部分を構成する文章要素に関連付けて前記記憶手段に記憶される図表を前記第２表示画面に表示させる

    　ことを特徴とする請求項２に記載の表示制御装置。

  4. 　前記第１表示画面に表示される本文の部分を構成する文章要素の表示順序に基づいて、該文章要素に関連する図表の表示順序を決定する決定手段をさらに含み、

    　前記第２表示制御手段は、前記第１表示画面に表示される本文の部分に関連する図表を、前記決定手段により決定された該図表の表示順序に基づいて前記第２表示画面に表示させる

    　ことを特徴とする請求項３に記載の表示制御装置。

  5. 　前記第１表示画面に表示される本文の部分を構成する文章要素の表示位置に基づいて、該文章要素に関連する図表の注目度を決定する注目度決定手段をさらに含み、

    　前記第２表示制御手段は、前記第１表示画面に表示される本文の部分に関連する図表を、前記注目度決定手段により決定された該図表の注目度に応じた大きさで前記第２表示画面に表示させる

    　ことを特徴とする請求項３又は４に記載の表示制御装置。

  6. 　前記第１表示画面に表示される本文の部分の更新速度に基づいて、前記第２表示画面に表示させる図表の上限数を決定する上限数決定手段をさらに含み、

    　前記第２表示制御手段は、前記第１表示画面に表示される本文の部分に関連する図表を、前記上限数以内となるように絞り込んで前記第２表示画面に表示させる

    　ことを特徴とする請求項２乃至５のいずれかに記載の表示制御装置。

  7. 　前記文書情報に含まれる本文を含み、該文書情報に含まれる図表を含まないテキスト文書を生成する手段をさらに含み、

    　前記第１表示制御手段は、前記テキスト文書の少なくとも一部を前記第１表示画面に表示させる

    　ことを特徴とする請求項２乃至６のいずれかに記載の表示制御装置。

  8. 　コンピュータを、

    　１又は複数のデータ要素を含むデータを取得する取得手段と、

    　前記データに含まれる１以上のデータ要素を第１表示画面に表示させる第１表示制御手段と、

    　前記第１表示画面に表示されるデータ要素に関連する他のデータ要素を第２表示画面に表示させる第２表示制御手段

    　として機能させるためのプログラム。
PCT/JP2013/069460 2013-01-21 2013-07-18 表示制御装置及びプログラム WO2014112143A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201380066613.9A CN104871122B (zh) 2013-01-21 2013-07-18 显示控制设备和显示控制方法
SG11201504043PA SG11201504043PA (en) 2013-01-21 2013-07-18 Display control apparatus and program
AU2013374725A AU2013374725B2 (en) 2013-01-21 2013-07-18 Display control apparatus and program
US14/688,538 US20150220493A1 (en) 2013-01-21 2015-04-16 Display control apparatus, display control method and non-transitory computer readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013008686A JP6020191B2 (ja) 2013-01-21 2013-01-21 表示制御装置及びプログラム
JP2013-008686 2013-01-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/688,538 Continuation US20150220493A1 (en) 2013-01-21 2015-04-16 Display control apparatus, display control method and non-transitory computer readable medium

Publications (1)

Publication Number Publication Date
WO2014112143A1 true WO2014112143A1 (ja) 2014-07-24

Family

ID=51209257

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/069460 WO2014112143A1 (ja) 2013-01-21 2013-07-18 表示制御装置及びプログラム

Country Status (6)

Country Link
US (1) US20150220493A1 (ja)
JP (1) JP6020191B2 (ja)
CN (1) CN104871122B (ja)
AU (1) AU2013374725B2 (ja)
SG (1) SG11201504043PA (ja)
WO (1) WO2014112143A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6598600B2 (ja) * 2015-09-03 2019-10-30 コニカミノルタ株式会社 文書生成システム、文書サーバ、端末装置、文書生成方法、およびコンピュータプログラム
CN106649309B (zh) * 2015-10-29 2020-10-23 重庆邮电大学 信息处理方法和装置、信息显示方法和装置
US11032410B2 (en) * 2016-11-08 2021-06-08 Microsoft Technology Licensing, Llc Mobile data insight platforms for data analysis
CN107016040A (zh) * 2017-01-18 2017-08-04 阿里巴巴集团控股有限公司 展示数据变化原因的方法及装置
US11079995B1 (en) * 2017-09-30 2021-08-03 Apple Inc. User interfaces for devices with multiple displays
KR20190136452A (ko) * 2018-05-30 2019-12-10 삼성에스디에스 주식회사 콘텐츠 스케줄링 장치 및 방법
US11422765B2 (en) 2018-07-10 2022-08-23 Apple Inc. Cross device interactions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006003999A (ja) * 2004-06-15 2006-01-05 Canon Inc 情報処理方法及び装置
JP2007101596A (ja) * 2005-09-30 2007-04-19 Brother Ind Ltd 表示装置及び表示プログラム
JP2012243030A (ja) * 2011-05-18 2012-12-10 Konica Minolta Business Technologies Inc 電子ペーパー、その制御プログラム、および、表示システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0764997A (ja) * 1993-08-24 1995-03-10 Hitachi Ltd 文書編集装置及び文書編集装置の文書表示方法
US5799325A (en) * 1993-11-19 1998-08-25 Smartpatents, Inc. System, method, and computer program product for generating equivalent text files
JPH10207615A (ja) * 1997-01-22 1998-08-07 Tec Corp ネットワークシステム
GB0221245D0 (en) * 2002-09-13 2002-10-23 Astrazeneca Ab Chemical process
JP2006243867A (ja) * 2005-03-01 2006-09-14 Seiko Epson Corp 文書表示装置および文書表示システム
US20060200737A1 (en) * 2005-03-01 2006-09-07 Seiko Epson Corporation Image display device, image display system, and a program for executing an image displaying method by a computer
KR100664311B1 (ko) * 2005-11-18 2007-01-04 삼성전자주식회사 자동 인덱스 생성이 가능한 화상형성장치 및 그 자동인덱스 생성방법
KR20100027686A (ko) * 2008-09-03 2010-03-11 엘지전자 주식회사 이동단말기 및 그 제어 방법
JP2011154427A (ja) * 2010-01-26 2011-08-11 Brother Industries Ltd 表示端末装置、表示処理方法、表示処理プログラム
US8683377B2 (en) * 2010-05-12 2014-03-25 Adobe Systems Incorporated Method for dynamically modifying zoom level to facilitate navigation on a graphical user interface
JP5624809B2 (ja) * 2010-06-24 2014-11-12 株式会社 日立産業制御ソリューションズ 画像信号処理装置
JP5511573B2 (ja) * 2010-08-04 2014-06-04 キヤノン株式会社 表示制御装置及びその制御方法、並びにプログラム及び記憶媒体
JP5667469B2 (ja) * 2011-02-24 2015-02-12 京セラ株式会社 電子機器、表示制御方法および表示制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006003999A (ja) * 2004-06-15 2006-01-05 Canon Inc 情報処理方法及び装置
JP2007101596A (ja) * 2005-09-30 2007-04-19 Brother Ind Ltd 表示装置及び表示プログラム
JP2012243030A (ja) * 2011-05-18 2012-12-10 Konica Minolta Business Technologies Inc 電子ペーパー、その制御プログラム、および、表示システム

Also Published As

Publication number Publication date
CN104871122B (zh) 2018-12-14
CN104871122A (zh) 2015-08-26
AU2013374725B2 (en) 2017-03-02
JP2014139755A (ja) 2014-07-31
JP6020191B2 (ja) 2016-11-02
SG11201504043PA (en) 2015-06-29
AU2013374725A1 (en) 2015-05-28
US20150220493A1 (en) 2015-08-06

Similar Documents

Publication Publication Date Title
WO2014112143A1 (ja) 表示制御装置及びプログラム
US8194075B2 (en) Method and system for generating and displaying an interactive dynamic list view of multiply connected objects
JP6142580B2 (ja) 情報処理システム、情報登録方法、会議装置及びプログラム
US20130262968A1 (en) Apparatus and method for efficiently reviewing patent documents
JP6825465B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11243670B2 (en) Information processing system, information processing apparatus, information processing method and non-transitory computer readable medium
GB2365734A (en) Allocation of labels to associated user input elements
US11137892B2 (en) Information providing apparatus, information providing method, non-transitory recording medium recorded with information providing program, and non-transitory recording medium recorded with user terminal control program
AU2013325961B2 (en) Information processing device and program
JP6369598B2 (ja) 情報処理システム、情報登録方法、会議装置及びプログラム
WO2020071158A1 (ja) 出力内容生成装置、出力内容生成方法及びプログラム
JP2011044013A (ja) コンテンツ閲覧装置、コンテンツ閲覧システム、制御方法およびプログラム
JP2016045896A (ja) 表示制御装置、表示装置、プログラム、記録媒体
US11074392B2 (en) Information processing apparatus and non-transitory computer readable medium for switching between an attribute information mode and an image information mode
JP4981723B2 (ja) 表示処理装置、表示処理方法、表示処理プログラムおよび記録媒体
US20180068030A1 (en) Information link system, information link program, and method for operating information link system
JP5811208B2 (ja) コンテンツ閲覧装置、コンテンツ閲覧装置の制御方法、プログラム、コンテンツ閲覧システム、コンテンツ閲覧システムの制御方法
JP2011128710A (ja) 表示装置、表示システム、表示制御方法および表示制御プログラム
CN107766018B (zh) 信息处理设备和信息处理方法
JP6459470B2 (ja) 文書管理プログラム、方法及び文書管理装置
JP2013037513A (ja) 情報提示装置、情報表示システム、情報提示方法、およびコンピュータプログラム
JP2019148649A (ja) 画像処理装置、制御方法、およびプログラム
JP2019016072A (ja) 情報処理装置及びプログラム
CN106446236A (zh) 信息处理的方法及电子终端
KR101695008B1 (ko) 타일 기반 지식 가시화 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13872238

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013374725

Country of ref document: AU

Date of ref document: 20130718

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13872238

Country of ref document: EP

Kind code of ref document: A1