WO2017009908A1 - 電子書籍表示装置、電子書籍表示方法、及びプログラム - Google Patents

電子書籍表示装置、電子書籍表示方法、及びプログラム Download PDF

Info

Publication number
WO2017009908A1
WO2017009908A1 PCT/JP2015/069951 JP2015069951W WO2017009908A1 WO 2017009908 A1 WO2017009908 A1 WO 2017009908A1 JP 2015069951 W JP2015069951 W JP 2015069951W WO 2017009908 A1 WO2017009908 A1 WO 2017009908A1
Authority
WO
WIPO (PCT)
Prior art keywords
page
character
electronic book
related data
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/069951
Other languages
English (en)
French (fr)
Inventor
栄 劉
淳一 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Priority to JP2016509174A priority Critical patent/JP5991704B1/ja
Priority to PCT/JP2015/069951 priority patent/WO2017009908A1/ja
Priority to US15/740,334 priority patent/US11132496B2/en
Priority to CA2991100A priority patent/CA2991100C/en
Priority to TW105120573A priority patent/TWI592859B/zh
Publication of WO2017009908A1 publication Critical patent/WO2017009908A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/114—Pagination
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/022—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using memory planes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Definitions

  • the present invention relates to an electronic book display device, an electronic book display method, and a program.
  • Patent Document 1 Before selling comic book electronic data consisting of a plurality of pages, page-related data such as the position and order of frames in each page, the position and order of speech balloons, and the like are extracted in advance. A technique for selling page-related data together with comic image data and storing it in the memory of the user's terminal is described.
  • Patent Document 1 For example, not only image data of an electronic book but also page related data needs to be downloaded and stored in the memory of the user's terminal, which increases the amount of memory used.
  • the present invention has been made in view of the above problems, and an object thereof is to make it possible to use page-related data while suppressing memory usage.
  • an electronic book display device includes a data acquisition unit that acquires the electronic book data stored in a unit that stores electronic book data including a plurality of pages, and the data acquisition unit.
  • Display control means for displaying one or more specified pages of the plurality of pages on the display means based on the electronic book data acquired by the above, and the one or more pages displayed on the display means
  • Page-related data generation means for generating page-related data based on the at least one page and recording it in the storage means before at least one of the previous and subsequent pages is displayed on the display means. It is characterized by.
  • An electronic book display method includes a data acquisition step for acquiring the electronic book data stored in a means for storing electronic book data consisting of a plurality of pages, and an electronic book data acquired by the data acquisition step.
  • a display control step for displaying one or more specified pages of the plurality of pages on a display unit, and at least one of the one or more pages before and after the one or more pages displayed on the display unit
  • a page-related data generation step of generating page-related data based on the at least one page and recording the page-related data in the storage means before the page is displayed on the display means.
  • the program according to the present invention is based on data acquisition means for acquiring the electronic book data stored in the means for storing electronic book data consisting of a plurality of pages, based on the electronic book data acquired by the data acquisition means, Display control means for displaying one or more specified pages among a plurality of pages on the display means, and at least one page before and after the one or more pages displayed on the display means is the display means Before being displayed on the screen, the computer is caused to function as page-related data generation means for generating page-related data based on the at least one page and recording it in the storage means.
  • the information storage medium according to the present invention is a computer-readable information storage medium storing the above-described program.
  • the page-related data generation unit extracts a character area candidate in the at least one page before the at least one page is displayed on the display unit, and
  • the electronic book display device generates and records page-related data, and when the at least one page is displayed on the display unit, the electronic book display device receives a designation operation of the character area candidate and the reception unit And a post-operation character determination unit that determines whether or not a character is included in the character region candidate specified by the specification operation after the specification operation is received, and the display control unit includes the post-operation A character region candidate determined to include a character by the character determination unit is enlarged and displayed on the display unit.
  • the electronic book display device performs a pre-operation character that executes a first character determination process on the character region candidate before the designation operation is accepted by the accepting unit.
  • the first character determination processing is further performed when the character region candidate determined by the pre-operation character determination unit is specified by the specifying operation.
  • the second character determination process with higher accuracy is executed.
  • the page-related data generating means when the number of the character area candidates in the at least one page is less than a reference, the character of the next page of the at least one page A region candidate is further extracted and generated and recorded as page related data.
  • the electronic book display device further includes a size determination unit that determines whether the outline of the character region candidate or the size of the character region candidate itself is greater than or equal to a reference. And the post-operation character determining means does not consider the character area candidate determined to be smaller than the reference by the size determining means, and the character determined to be larger than the reference by the size determining means. It is characterized by determining whether a character is contained in an area
  • the page related data generating means extracts the character area candidate in the upper area without extracting the character area candidate in the lower area of the at least one page; It includes at least one of means for extracting character area candidates until a reference number is reached in the reading order of each character area in at least one page.
  • the page-related data generation unit extracts a character area in the at least one page before the at least one page is displayed on the display unit.
  • the electronic book display device further includes accepting means for accepting an operation for designating the character area when the at least one page is displayed on the display means, and the display control means When the designation operation is accepted by the accepting means, the character area designated by the designation operation is enlarged and displayed on the display means.
  • the page related data generation means includes means for extracting character area candidates in the at least one page before the at least one page is displayed on the display means. And the character region is extracted by determining whether or not the character region candidate includes a character.
  • the page-related data generation unit performs a first character determination process on the character area candidate before the at least one page is displayed on the display unit. Then, by executing a second character determination process with higher accuracy than the first character determination process on the character region candidate determined to include a character by the first character determination process, A character region is extracted.
  • the page-related data generation unit includes a size determination unit that determines whether the outline of the character region candidate or the size of the character region candidate itself is greater than or equal to a reference. Whether or not the character area candidate determined to be smaller than the reference by the size determination means is not subject to determination, and the character area candidate determined to be larger than the reference by the size determination means includes a character. The character region is extracted by determining whether or not.
  • the page-related data generating means when the number of the character areas in the at least one page is less than a reference, the characters in the page next to the at least one page A region is further extracted and generated and recorded as page related data.
  • the page-related data generating means extracts the character area in the upper area without extracting the character area in the lower area of the at least one page; And a means for extracting character areas until a reference number is reached in the reading order of the character areas in the at least one page.
  • the electronic book display device includes means for acquiring the history data stored in the means for storing history data relating to the history of the designation operation by the user of the electronic book display device.
  • the page related data generation means further includes a frequency determination means for determining whether the frequency of the designation operation by the user is equal to or higher than a standard based on the history data, and the frequency determination means exceeds the standard. When it is determined that the page related data is generated, the page related data is generated and recorded.
  • the electronic book display device acquires the page data stored in a unit that stores page data related to a page on which the designation operation has been performed by a user of the electronic book display device.
  • the page-related data generating means further includes past determination means for determining whether or not the designation operation has been performed on the at least one page by the user in the past based on the page data. And the page related data is generated and recorded when it is determined by the past determination means that the designation operation has been performed.
  • the electronic book display device is stored in means for storing page data relating to a page on which the designation operation has been performed by a user other than the user of the electronic book display device.
  • the page-related data generation means further includes means for acquiring the page data, and the page-related data generation means determines whether the designation operation has been performed on the at least one page in the past by the other user based on the page data.
  • Past determination means for determining whether or not the designation operation has been performed by the past determination means, and generating and recording the page related data.
  • the electronic book display device further includes means for acquiring age information related to the age of the user of the electronic book display device, and the page related data generation means includes the age information. Based on age determination means for determining whether or not the age of the user is higher than a reference, and generating and recording the page related data when determined by the age determination means to be higher than the reference, It is characterized by that.
  • the electronic book display device further includes means for obtaining size information regarding a screen size of the display means, and the page related data generation means is based on the size information, Including size determining means for determining whether or not the screen size of the display means is less than a reference, and generating and recording the page related data when the size determining means determines that the screen size is less than the reference. It is characterized by.
  • FIG. 1 It is a figure which shows the hardware constitutions of the electronic book display apparatus in this embodiment. It is a functional block diagram which shows an example of the function implement
  • FIG. 6 is a flowchart of the second embodiment.
  • FIG. 10 is an explanatory diagram of page related data generation processing according to the second embodiment. It is a functional block diagram of modification (1). It is explanatory drawing of the upper area
  • FIG. 1 is a diagram illustrating a hardware configuration of an electronic book display device according to the present embodiment.
  • the electronic book display device 1 is a computer operated by a user, and is, for example, a mobile phone (including a smartphone), a portable information terminal (including a tablet computer), an electronic book reader terminal, or a personal computer.
  • the electronic book display device 1 includes a control unit 10, a storage unit 11, a communication unit 12, an operation unit 13, a display unit 14, and an input / output unit 15.
  • the control unit 10 includes, for example, one or a plurality of microprocessors.
  • the control unit 10 executes processing according to programs and data stored in the storage unit 11.
  • the storage unit 11 includes a main storage unit and an auxiliary storage unit.
  • the main storage unit is a RAM
  • the auxiliary storage unit is a hard disk or a solid state drive.
  • the communication unit 12 is a communication interface such as a network card.
  • the operation unit 13 is a general input device, for example, a pointing device such as a touch panel or a mouse.
  • the operation unit 13 transmits the operation contents of the user to the control unit 10.
  • the display unit 14 is, for example, a liquid crystal display unit or an organic EL display unit.
  • the display unit 14 displays a screen according to instructions from the control unit 10.
  • the input / output unit 15 is an input / output interface for inputting / outputting data to / from an external device.
  • the input / output unit 15 reads data or a program from a computer-readable information storage medium (for example, an optical disk or a memory card).
  • the program and data described as being stored in the storage unit 11 may be supplied from the server computer connected to the network to the storage unit 11 via the communication unit 12 or an information storage medium. May be supplied to the storage unit 11 via the input / output unit 15.
  • the hardware configuration of the electronic book display device 1 is not limited to the above example, and various computer hardware can be applied.
  • FIG. 2 is a functional block diagram illustrating an example of functions realized by the electronic book display device 1.
  • the data storage unit 100 the data acquisition unit 101, the page feed operation reception unit 102, the display control unit 103, the page related data generation unit 104, the designation operation reception unit 105, The post-operation character determination unit 106 is realized.
  • the data storage unit 100 is realized mainly by the storage unit 11, and other functions are realized mainly by the control unit 10.
  • FIG. 3 is a diagram illustrating an example of electronic book data. As shown in FIG. 3, in this embodiment, each page of an electronic book is described with a reference numeral such as “P N ”. “ N ” in “P N ” is a natural number and indicates the number of pages. Since the electronic book shown in FIG. 3 is composed of 50 pages, N takes a value from 1 to 50. For example, when described as a page P 20, it indicates that the first 20 pages, when described as a page P 21 indicates that the first 21 pages.
  • the electronic book may be a book electronically displayed on the display unit 14, for example, a comic book, a picture book, or a magazine.
  • the electronic book includes at least characters.
  • An electronic book may include a picture, a photograph, a figure, and the like in addition to characters. Note that the picture here is not limited to a picture drawn by a person by hand and read by a scanner and includes CG drawn by a person using a computer.
  • the data format of the electronic book data may be a data format generally used in electronic books.
  • E-book data includes the image data of each page P N. It image data for each page P N may be present, only one of the image data collectively all pages P N may be present.
  • the electronic book may be in color, monochrome, or gray scale. Note that the electronic book data may include accompanying data attached to the image data.
  • the incidental data includes the number of pages of each page and the date of issue. In the present embodiment, a grayscale cartoon composed of a plurality of pages will be described as an example of an electronic book.
  • the data storage unit 100 may store data other than electronic book data.
  • the data storage unit 100 may store an electronic book reader application (viewer application).
  • the data storage unit 100 may store learning data for character determination described later.
  • Data acquisition unit 101 acquires the electronic book data stored in the data storage unit 100 that stores electronic book data consisting of a plurality of pages P N. As described above, the electronic book data has included the image data, the data acquisition unit 101 may acquire a time the image data of all pages P N, some of the pages P N of the image Only data may be acquired. If the data acquiring unit 101 acquires only the image data of a portion of a page P N, the data acquisition unit 101 may acquire only the image data of a page P N to be displayed, the display target page P N and image data of the preceding and page P N may be acquired. Incidentally, the display object, may be only one page P N, may be a plurality of pages P N as such spread.
  • the page turning operation accepting unit 102 accepts a page turning operation.
  • Page turning operation is an operation for specifying a page P N to be displayed on the display unit 14.
  • a page feed operation is an operation for switching the pages P N which is displayed on the display unit 14.
  • the page turning operation may be a predetermined operation, for example, an operation for selecting an icon displayed on the display unit 14, or a flick operation if the operation unit 13 is a touch panel.
  • page feed operation it can be said that the operation for designating any one of the pages P N.
  • the display control unit 103 based on the electronic book data obtained by the data obtaining unit 101 causes the display unit 14 the designated page P N of the plurality of pages P N.
  • the display control unit 103 will be displayed the page P N specified by page turning operation on the display unit 14. For example, the display control unit 103, if the page turning operation by the page feed operation accepting unit 102 is accepted, display the page P N + 1 or immediately preceding page P N-1 after one of the pages P N being displayed Display on the unit 14.
  • the number of pages to be displayed may be designated by a page turning operation. For example, in a state where the page P 20 is displayed on the display unit 14, the pages P 21 to P 29 may be skipped so that the page P 30 can be designated by the page turning operation. Also, if the be displayed as in the present embodiment is of a single page P N, the display control unit 103 may be displayed across the page P N, only a portion of the page P N May be displayed. When displaying only a portion of the page P N, the display control unit 103 will be displayed the user instructs via the operation unit 13 portion.
  • the page-related data generating unit 104 at least one of the pages P N-K and after prior page P N which is displayed on the display unit 14, P N + K (K is a natural number) on the display unit 14 Before being displayed, page related data is generated based on at least one of the pages P N ⁇ K and P N + K and recorded in the data storage unit 100. It should be noted that the page P N-K is a pre-only K on page P N, page P N + K is later only K pages of page P N.
  • Page-related data is data obtained by performing image processing on each page P N.
  • the character area candidate is an area to be subjected to character determination.
  • the character area candidate is an area that may contain a character. Therefore, in the present embodiment, the page-related data generating unit 104, before at least one of the pages P N-K, the P N + K is displayed on the display section 14, at least one of the pages P N-K, the P N + K Are extracted and generated as page related data and recorded.
  • Page-related data generating unit 104 may generate only the pages relevant data Previous P N-K than a page P N, after the page P N + K only may generate a page-related data, Page related data may be generated for both of these. In the present embodiment, a case will be described in which the page related data generation unit 104 generates page related data of the page PN + 1 next to the page PN being displayed.
  • the display control unit 103 will be displayed on the display unit 14 the page P 1 of the first page, the page-related data generating unit 104, the page P 1 is the display unit 14 in before it is displayed, and records the generated page-related data of the page P 1.
  • the page related data generation unit 104 displays the page related data of the page P 2 before the next page P 2 is displayed on the display unit 14. Is generated and recorded in advance.
  • the display control unit 103 page turning operation is performed by the display the page P 2
  • page-related data generating unit 104 before the next page P 3 is displayed on the display unit 14, the page P 3
  • the page related data is generated and recorded in advance. Thereafter, page related data of pages P 4 to P 50 are generated in the same manner.
  • the page related data generated by the page related data generation unit 104 is held in the data storage unit 100 until the application of the electronic book reader is ended will be described.
  • the page related data may be discarded at a predetermined timing. For example, for page-related data pages leaves the page P N in a display, it may be discarded.
  • Figure 4 is a diagram showing an example of the page P 21.
  • a comic is described as an example of an electronic book. Therefore, as illustrated in FIG. 4, the page P 21 includes one or a plurality of frames 21.
  • the frame 21 is a section where pictures and characters are drawn in the page.
  • the page P 21 includes two frames 21 (these are also referred to as frames 21A and 21B).
  • each frame 21 is surrounded by a frame, but may not be surrounded by a frame.
  • Each frame 21 includes an object such as a picture, a speech bubble, or a character.
  • the balloon line represents the dialogue of the cartoon character.
  • the character is a cartoon character and may be an animal, a robot, or a fictitious creature other than a human being.
  • One or a plurality of characters representing the dialogue of the character are included inside the balloon.
  • a group of a plurality of characters is referred to as a character group.
  • a character 22A, a speech bubble 23A, a character group 24A, and a sun 25A are drawn on the frame 21A
  • characters 22B and 22C, a speech bubble 23B, a character group 24B, and Tableware 25B is drawn.
  • the characters 22A to 22C, the sun 25A, and the tableware 25B are examples of the picture described above.
  • the speech line 23A indicates the line of the character 22A
  • the speech line 23B indicates the line of the character 22C.
  • the page-related data generating unit 104 includes a determination limit unit 104C, as described below, the character group 24A in the page P 21 shown in FIG. 4, By detecting 24B as a block of characters, page related data indicating a character area candidate is generated.
  • the combining restriction unit 104A restricts the region and the region expanded by the expansion unit 104B described later from being combined. For example, if the character group 24A is expanded and combined with the speech balloon 23A, the character group 24A cannot be detected as a lump of characters. For this reason, the combination restriction unit 104A increases the detection accuracy of the character group 24A by restricting the combination as described below.
  • Region is a portion that is drawn object among the pages P 21 (pixels), which is part of the background color (e.g., white) other colors (e.g., black or gray).
  • the background color e.g., white
  • other colors e.g., black or gray
  • portions in which objects such as characters 22A to 22C, speech balloons 23A and 23B, character groups 24A and 24B, the sun 25A, and tableware 25B are drawn correspond to the region referred to in the present embodiment.
  • the object can be said to be drawn was that appear in a portion other than the background of the page P 21.
  • the outline is a border of the area, and in the present embodiment, what is expressed as a line by the electronic book display device 1 is described as an outline.
  • the region can also be referred to as the inside of the contour or a portion sandwiched between the contour and the contour.
  • the character “L” is an area inside the contour
  • the character “O” is a region sandwiched between the outer contour and the inner contour.
  • the size of the contour may be, for example, the width of the contour, the length of the contour line, the area inside the contour, and the like. In this embodiment, the size of the circumscribed rectangle of the contour is used as the size of the contour. .
  • the size of the region may be, for example, the width of the region, but in this embodiment, the size of the circumscribed rectangle of the region is used as the size of the region.
  • FIG. 5 is an explanatory diagram of the outline and the size of the area.
  • the Xs axis and Ys axis in FIG. 5 are coordinate axes of the screen coordinate system.
  • the balloon line 23A is taken as an example of the region, and the size of the outline of the balloon line 23A and the size of the balloon line 23A itself will be described.
  • the outer peripheral outline and the inner peripheral outline of the balloon line 23A are drawn with broken lines, and the balloon line 23A itself is drawn with a solid line.
  • a space is provided between the solid line and the broken line, but there is actually no space between them.
  • the circumscribed rectangle of the contour line is a region between the minimum value and the maximum value of the Xs coordinate and between the minimum value and the maximum value of the Ys coordinate in the contour line.
  • the circumscribed rectangle of the outer peripheral contour line is a rectangle having vertices at points Q 1A to Q 4A , and the size of this rectangle corresponds to the size of the outer peripheral contour line.
  • the circumscribed rectangle of the inner peripheral contour line is a rectangle having points Q 1B to Q 4B as vertices, the size of this rectangle corresponds to the size of the inner peripheral contour line.
  • the circumscribed rectangle of the balloon line 23A is an area between the minimum value and the maximum value of the Xs coordinate and the area between the minimum value and the maximum value of the Ys coordinate among the pixels occupied by the balloon line 23A. Since the circumscribed rectangle of the speech line 23A is a rectangle having vertices at the points Q 1C to Q 4C , the size of this rectangle corresponds to the size of the speech line 23A itself.
  • the coupling restriction unit 104A may use either the size of the contour or the size of the region itself. In the present embodiment, a case where the size of the contour is used will be described.
  • Ligated restriction unit 104A extracts a circumscribed rectangle of the contour of each region in the page P 21, determines whether the magnitude of the circumscribed rectangle is beyond.
  • the numerical value indicating the size at least one of the vertical width and the horizontal width of the circumscribed rectangle may be used, or the area of the circumscribed rectangle may be used.
  • the length of the diagonal line of the circumscribed rectangle may be used as a numerical value indicating the size. In this embodiment, a case where both the vertical width and the horizontal width of a circumscribed rectangle are used as numerical values indicating the size will be described as an example.
  • Thresholds T 1 indicating the reference size may be a fixed value or may be a variable value. If the threshold T 1 is a fixed value, the value in the data storage unit 100 and is stored, if the threshold T 1 is a variable value, based on the values stored in the data storage unit 100 Will be calculated. In the present embodiment, a case thresholds T 1 is a fixed value. For example, binding limiting unit 104A, by the vertical width and the horizontal width of the circumscribing rectangle to determine whether a respective thresholds T 1 or more, determines whether the magnitude of each contour is beyond.
  • the combination restriction unit 104A restricts the combination with the area expanded by the expansion unit 104B described later by filling the area with the background color.
  • the background color is a predetermined color designated for the image, for example, the color that occupies the largest proportion in the image.
  • the background color is white or black.
  • bonding in this embodiment is that a certain area
  • connection limiting unit 104A determines that the outline of the balloon line 23A is larger than the reference, and fills the balloon line 23A with the background color. As a result, it is possible to prevent the balloon line 23A and the character group 24A expanded by the expansion unit 104B described later from being combined.
  • the connection limiting unit 104A performs (1) binarization inversion processing, (2) contour extraction processing, (3) contour line expansion processing, and (4) expansion contour as described below. By executing the line superimposing process, the balloon line 23A and the like are filled.
  • binding limiting unit 104A performs the inversion processing and binarization processing for the page P 21.
  • Figure 6 is a diagram showing a page P 21 that is binarized and inverted.
  • Ligated restriction unit 104A performs the binarization process on the basis of the pixel value and the threshold value of each pixel of the page P 21 shown in FIG. 3 sets each pixel in white or black.
  • the threshold value may be determined by a P tile method or a mode method.
  • Ligated restriction unit 104A inverts the pixel value of each pixel is binarized by the white and black pixels the white pixels in the black, the page P 21 shown in FIG. 5, the state shown in FIG. 6 To.
  • Various known methods can be applied to the inversion processing itself. For example, the pixel value after inversion is calculated by subtracting the current value of the pixel value from the maximum pixel value of each color (255 for 8-bit gray scale). May be.
  • the combination restriction unit 104A executes the contour extraction process on the binarized and inverted page P 21 (FIG. 6), and extracts the contour of the closed region.
  • Figure 7 is a diagram showing a contour line extracted from the page P 21 shown in FIG. In FIG. 7, the contour line extracted by the coupling restriction unit 104A is indicated by a broken line.
  • the outline may be a line having a predetermined thickness (for example, one pixel).
  • the color of the outline may be a predetermined color, but is black here. This is because the balloons 23A and 23B in the binarized and inverted page P 21 (FIG. 6) are drawn in white, so that they are painted in black as the background color.
  • the contour extraction process itself can be applied to various known contour extraction algorithms. For example, by detecting edges in an image using a differential filter, a Prewitt filter, a Sobel filter, or the like, the contour of each region is detected. May be extracted. Further, the page P 21 shown in FIG. 6, the left temporal and left shoulder of the character 22A is touching the outline of the frame 21A, as shown in FIG. 7, the contour line of the character 22A and coma 21A is a series of ones It has become.
  • the combination restriction unit 104A enlarges a contour line having a size larger than the reference among the contour lines extracted by the contour extraction process.
  • Ligated restriction unit 104A extracts a circumscribed rectangle of each contour line, so that its size is determined whether a threshold value above T 1.
  • the vertical width and the horizontal width of the circumscribed rectangle determining whether a respective thresholds T 1 or more By doing so, it is determined whether or not the size of each contour line is greater than or equal to the reference.
  • the connection restriction unit 104A enlarges the outline that is larger than the reference. Enlarging the contour line means making the contour line thicker.
  • the degree of enlargement of the contour line (the number of pixels that thicken the line) may be a fixed value or a variable value. When the value is a fixed value, the value is stored in the data storage unit 100. When the value is a variable value, the value is calculated based on the numerical value stored in the data storage unit 100. For example, the coupling restriction unit 104A may calculate the degree of enlargement of the contour line based on the position of the contour line and the size of the contour line.
  • the larger the contour line the higher the probability that the contour line is that of the balloon lines 23A and 23B. Therefore, the degree of enlargement of the contour line may be increased so that the contour line can be more reliably painted.
  • the degree of enlargement is a fixed value and the line is thickened by a predetermined pixel will be described.
  • FIG. 8 is a diagram showing a state of each contour line after enlarging the contour line having a size larger than the reference.
  • the outlines of the frames 21A and 21B, the partial outlines of the characters 22A to 22C, the outlines of the balloons 23A and 23B, and the partial outline of the sun 25A are thickened by a predetermined pixel. It has become.
  • the connection restriction unit 104A enlarges the contour line
  • the nearby contour lines may be combined into one thick contour line.
  • the outer peripheral contour lines and the inner peripheral contour lines of the balloon lines 23A and 23B are enlarged, and these are combined with each other to form one thick contour line.
  • FIG. 9 is a diagram showing a page P 21 of enlarged outline is superimposed.
  • balloon lines 23A and 23B are blacked out by superimposing balloon lines 23A and 23B with an enlarged and thick outline. For this reason, even if the expansion unit 104B expands the character groups 24A and 24B by the processing described later, it is not coupled to the balloons 23A and 23B.
  • the balloon lines 23A and 23B can be painted with the background color.
  • the method of painting the balloon lines 23A and 23B with the background color is not limited to the method described above.
  • the connection limiting unit 104A may select a region (for example, the balloons 23A and 23B) sandwiched between outlines larger than the reference, and perform color inversion processing only for the selected range again. Good.
  • the color of the balloon lines 23A and 23B shown in FIG. 6 returns from white to black, so that the balloon lines 23A and 23B can be painted black.
  • the coupling restriction unit 104A fills a region that is sandwiched between contour lines having a size larger than the reference and whose contour line interval is less than a certain distance with the background color. Also good. Furthermore, for example, the coupling restriction unit 104A may fill a section where a region sandwiched between contour lines continues for a certain distance or more with a background color.
  • the method of preventing the balloon lines 23A and 23B and the character groups 24A and 24B from being combined is not limited to the method of painting the balloon lines 23A and 23B with the background color.
  • the combining restriction unit 104A records the position of the area larger than the reference (the position of the pixels constituting the area) in the data storage unit 100, and the area expanded by the expansion unit 104B described later is the pixel. Even if included, the pixel may not be regarded as the same region. In order not to consider the same region, for example, in the labeling process for extracting the same region, the same number may not be assigned.
  • the coupling limiting unit 104A may limit the extension unit 104B so as not to expand the region in the direction of the outline larger than the reference. Even in this way, for example, since the character groups 24A and 24B do not expand in the direction of the speech lines 23A and 23B, it is possible to prevent the speech lines 23A and 23B and the character groups 24A and 24B from being combined. Can do.
  • Extension 104B extends the each of the plurality of regions in the page P 21.
  • extension 104B may be extended all the regions in the page P 21 shown in FIG. 9, the area of the reference size or larger contour ligated restriction portion 104A is extracted without extending, contour You may make it expand the area
  • the degree of area expansion may be a fixed value or a variable value.
  • the value is stored in the data storage unit 100.
  • the value is calculated based on the numerical value stored in the data storage unit 100.
  • the expansion unit 104B may calculate the extent of expansion of the area based on the position and size of the area in the image. In this case, the closer the area is to the center of the image, the higher the probability that the area is a character. Therefore, the extent of expansion of the area may be increased so as to be more reliably combined with other characters.
  • FIG. 10 and 11 are explanatory diagrams of processing contents of the extension unit 104B.
  • the extension unit 104B extends “H” by a predetermined pixel.
  • the extension unit 104B fills pixels within a predetermined distance from “H” (that is, pixels around “H”) with white.
  • the extension unit 104B extends the characters other than “H” in “HELLO! HOW ARE YOU?” In the character group 24A by a predetermined number of pixels as in “H”.
  • the extension unit 104B expands each character of the character group 24A, as shown in FIG. 11, the characters of the character group 24A can be combined to make the character group 24A one area.
  • FIG. 12 is a diagram illustrating a state after the area is expanded by the expansion unit 104B.
  • the areas of the characters included in the character groups 24A and 24B are expanded and joined together to form one area.
  • each region of the tableware 25B and the left eye / nose / mouth of the character 22C are expanded and coupled to each other. Other areas were expanded but not joined because there was no other area nearby.
  • the determination restriction unit 104C restricts the region from being determined by the post-operation character determination unit 106. To do. In the description of the determination restriction unit 104C, the case where the size of the contour is used will be described as in the case of the combination restriction unit 104A.
  • Threshold T 2 showing the above criteria may be less than the threshold value T 1.
  • the threshold value T 2 is may be a fixed value, the point may be a variable value is the same as the threshold value T 1.
  • determining limiting unit 104C by the vertical width and the horizontal width of the circumscribing rectangle to determine whether a respective threshold T 2 or more, expansion It is determined whether or not the contour of the area expanded by the unit 104B is less than the reference.
  • the determination limiting unit 104C sets the area as a determination target of the post-operation character determination unit 106 by filling the area with a background color.
  • FIG. 13 is a diagram illustrating a state after a region having a contour size less than the reference is filled with a background color. For example, because the outline of a part of the sun 25A, such as the eyes, nose, and mouth of the characters 22A and 22C, is smaller than the reference, the determination limiting unit 104C paints them in black as shown in FIG. Yes.
  • the determination limiting unit 104C records the position of the area having a size smaller than the reference in the data storage unit 100, and does not execute the determination process by the post-operation character determination unit 106 even if the user designates the area. It may be.
  • the page related data generation unit 104 records page related data indicating character area candidates in the data storage unit 100 based on the page P 21 subjected to image processing as described above.
  • the closed region of white pixels in the page P 21 (FIG. 13) after the processing by the determination limiting unit 104C is performed becomes a character region candidate.
  • FIG. 14 is a diagram illustrating an example of a character area candidate.
  • Page-related data generating unit 104 by executing the contour extraction processing for the page P 21 shown in FIG. 13, extracts the contour of the area of white pixels (indicated by a broken line in FIG. 14).
  • the contour extraction process itself may be the same as the process performed by the connection restriction unit 104A.
  • the page-related data generation unit 104 extracts the outline of the closed region, no outline is extracted for the character 22A shown in FIG.
  • the page related data generation unit 104 records data indicating the position of the extracted contour line in the data storage unit 100 as page related data.
  • the page-related data generation unit 104 performs a labeling process on the page P 21 shown in FIG. 13 and records data for identifying character region candidates by assigning the same number to pixels in which white pixels are continuous. You may make it do.
  • the designation operation accepting unit 105 accepts a character region candidate designation operation when the page P 21 is displayed on the display unit 14.
  • Designation operation may be any operation for designating an area in the page P 21, for example, it is an operation that specifies the position in the page P 21.
  • an operation for designating a position in the display screen of the display unit 14 by the operation unit 13 corresponds to a designation operation.
  • the area including the position designated by the operation unit 13 is designated by the designation operation.
  • the designation operation can be said to be an operation for designating any one of the character area candidates.
  • the post-operation character determining unit 106 determines whether or not a character is included in the character region candidate specified by the specifying operation after the specifying operation is received by the specifying operation receiving unit 105. In this embodiment, the post-operation character determination unit 106 performs the determination process using the page P 21 in the state illustrated in FIG. 4, but a character determination method according to the state of the image to be used. If the change is made, the page P 21 in the state shown in FIGS. 6 and 9 may be used.
  • the character pattern learning data is stored in the data storage unit 100, and the post-operation character determination unit 106 compares the character region candidate with the character pattern indicated by the learning data, so that the character region candidate is included in the character region candidate. Determine whether a character is included.
  • the learning data a plurality of determination items are defined. For example, character determination is performed using the following determination items.
  • FIG. 15 is an explanatory diagram of character determination processing using learning data.
  • the post-operation character determination unit 106 determines whether the overall size of the character area candidate is equal to or greater than a reference.
  • the size of the character region candidate the size of the circumscribed rectangle may be used, or the number of pixels of the character region candidate may be counted.
  • the threshold value T 3 indicating this reference may be the same as or different from the threshold values T 1 and T 2 .
  • the threshold T 3 is similar to the threshold value T 1, T 2, may be a fixed value or may be a variable value.
  • the post-operation character determination unit 106 determines that the area is a character area when the size of the circumscribed rectangle is greater than or equal to the reference.
  • the post-operation character determination unit 106 determines whether or not the number of white pixels in each line is equal to or greater than a reference number.
  • This reference number may be a fixed value or a variable value.
  • the post-operation character determination unit 106 determines that the character region is a character region when the number of white pixels is equal to or greater than the reference number.
  • the post-operation character determination unit 106 scans the pixels of each line from the end, counts the number of inverted white pixels and black pixels, and determines whether the count number is equal to or greater than the reference number. Determine whether.
  • This reference number may also be a fixed value or a variable value.
  • the post-operation character determination unit 106 determines that the character area is the count number when the count number is equal to or greater than the reference number.
  • the post-operation character determination unit 106 scans the pixels of each line from the end, and determines whether or not the position where the white pixel is first found is a predetermined position. For example, the post-operation character determination unit 106 determines a character region if the position where the white pixel is first found is within the reference distance from the end. As a fifth determination item, the post-operation character determination unit 106 scans the pixels of each line from the end, and determines whether or not the position where the white pixel is finally found is a predetermined position. For example, the post-operation character determination unit 106 determines that the character region is the last position where the white pixel was found within the reference distance from the end.
  • the post-operation character determination unit 106 determines that the character region candidate is a character region when it is determined that all of the first determination item to the fifth determination item defined in the learning pattern are character regions. Alternatively, when a predetermined number or more (for example, three or more) determination items are determined to be character areas, the character area candidates may be determined to be character areas.
  • the method for determining whether or not a character area candidate includes a character is not limited to the method described above, and various known methods can be applied.
  • the post-operation character determination unit 106 determines whether or not a character is included in the character region candidate by comparing the character shape pattern and the character region candidate and calculating the degree of similarity between them. Also good.
  • a supervised machine learning method (SVM: Support Vector Vector Machine) may be used to determine whether or not a character is included in a character region candidate.
  • SVM Support Vector Vector Machine
  • learning data is prepared, and when a plurality of items are input as parameters to the determination algorithm, the determination algorithm uses the input parameters and learning data to determine whether the character area candidate is a character area. I can get some output.
  • the character region can be specified more reliably.
  • the display control unit 103 enlarges the character region candidate determined to include a character by the post-operation character determination unit 106 and causes the display unit 14 to display the enlarged character region candidate.
  • FIG. 16 is a diagram showing a state in which the character group 24A is enlarged and displayed. As shown in FIG. 16, when the user designates a character area candidate corresponding to the character group 24A, the character determination process is performed by the post-operation character determination unit 106, so that the display control unit 103 The enlarged image 26 cut out from the region candidate is displayed. In the example of FIG. 16, the display control unit 103 cuts out and enlarges the character area candidate of the page P 21 shown in FIG. 9, so that the enlarged image 26 displays characters with the colors reversed. Yes.
  • the display control unit 103 may be displayed is enlarged by cutting out the character region candidates of the page P 21 shown in FIG.
  • the character color in the enlarged image 26 is not reversed.
  • the range to be cut out in the enlarged image 26 is not limited to a rectangle as shown in FIG. 16, and may be an arbitrary shape such as an ellipse.
  • the display position of the enlarged image 26 may be determined at random, or may be determined based on a position designated by the user.
  • the enlargement ratio of characters in the enlarged image 26 may be determined based on the size of the character area candidate, or may be a predetermined enlargement ratio.
  • FIG. 17 is a flowchart illustrating an example of processing executed in the electronic book display device 1.
  • the process illustrated in FIG. 17 is executed by the control unit 10 operating according to a program stored in the storage unit 11.
  • the functional blocks shown in FIG. 2 are realized by executing the processing described below. For example, when the user instructs to start the program using the operation unit 13, the following processing is executed.
  • the control unit 10 activates a program stored in the storage unit 11 (S1), and specifies an electronic book designated by the user based on an input from the operation unit 13 (S2).
  • the program activated in S1 is an electronic book reader application.
  • the control unit 10 causes the display unit 14 to display a list of electronic books whose image data is stored in the storage unit 11, and in S2, the control unit 10 displays the electronic book designated by the user from the list. Will be specified.
  • the control unit 10 refers to the storage unit 11 and acquires electronic book data designated by the user (S3). It is assumed that the storage unit 11 stores electronic book identification information held by the user and electronic book data in association with each other.
  • Control unit 10 based on the electronic book data acquired at S3, executes processing for generating a page-related data of the first page P 1 of the electronic book (S4).
  • FIG. 18 is an explanatory diagram of the page related data generation processing. As illustrated in FIG. 18, the control unit 10 performs binarization processing and inversion processing on the page PN that is the generation target of the page-related data (S40). In S ⁇ b> 40, the control unit 10 generates data of the page P N (FIG. 6) that has been binarized and inverted, and records the data in the storage unit 11.
  • Control unit 10 to the inside page P N generated in S40, the execution of the outline extraction process (S41).
  • the control unit 10 the contour lines in the page P N generates data indicating a (FIG. 7) is recorded in the storage unit 11.
  • the control unit 10 enlarges the contour line having a size larger than the reference among the contour lines extracted in S41 (S42). In S ⁇ b> 42, the control unit 10 generates data indicating the enlarged contour line (FIG. 7) and records it in the storage unit 11. The control unit 10 may update the contour data recorded in the storage unit 11 in S41, instead of newly generating this data.
  • Control unit 10 the page P N generated in S40, superposing enlarged contour in S42 (S43).
  • the control unit 10 In S ⁇ b> 43, the control unit 10 generates data indicating the page P N after superimposition (FIG. 9) and records it in the storage unit 11.
  • the control unit 10, the data rather than to generate a new, may be updated data of the recorded page P N in the storage unit 11 in S41.
  • Control unit 10 to expand the area of the page P N overlapped with the contour line at S43 (S44).
  • the control unit 10 generates data indicating the expanded page P N (FIG. 12) and records it in the storage unit 11.
  • the control unit 10, the data rather than newly generated, may be updated data of the recorded page P N in the storage unit 11 S41: or S43.
  • Control unit 10 among the areas of the page P N that extends in S44, to remove the size of the region is less than the reference (S45).
  • the control unit 10 records data indicating the page P N (FIG. 13) after removing an area having a size less than the reference in the storage unit 11.
  • the control unit 10, instead of newly generate this data, S41, S43, or S44 in may update the data of the page P N recorded in the storage unit 11.
  • Control unit 10 for the page P N which region is removed by S45 executes outline extraction process (S46).
  • the processing content of S46 is the same as that of S41, and the contour extracted in S46 is the contour of the character region candidate.
  • the control unit 10 generates the data indicating the contour in the page P N which region is removed by S45 (FIG. 14), and records in the storage unit 11 as page-related data of the page P N.
  • Control unit 10 causes the display unit 14 to display the first page P 1 (S5), and generates the next page-related data of the page P 2 pages P 1 displayed on the display unit 14 (S6).
  • the control unit 10 executes the processing of S40 ⁇ S46 of FIG. 18 for the page P 2, will be recorded in the storage unit 11 to generate a page associated data page P 2.
  • the control unit 10 receives an input from the operation unit 13 (S7).
  • the control unit 10 determines whether or not a character is included in the designated character region candidate (S8).
  • the control unit 10 determines whether or not a character is included in the character region candidate based on the learning data and the pixel value in the character region candidate.
  • the control unit 10 When it is determined that a character is included in the character area candidate (S8; Y), the control unit 10 enlarges and displays the character area candidate designated by the designation operation (S9). In S9, the control unit 10 cuts out the interior of the character region candidates from the page P N being displayed is enlarged and displayed on the display unit 14.
  • the control unit 10 displays the next page PN + 1 on the display unit 14 (S10), and returns to S6.
  • the information indicating the page P N in the display is assumed to be stored in the storage unit 11.
  • the control unit 10 executes the generation processing of the page related data for the next page PN + 2 . Become.
  • the process ends.
  • various data such as page-related data recorded in the storage unit 11 may be discarded at the end of this process, or may be discarded when the corresponding page is no longer displayed from the display unit 14.
  • the page may be discarded.
  • the page-related data is not stored in the storage unit 11 in advance separately from the electronic book data, but the application of the electronic book reader is activated and the page PN is displayed on the display unit. 14, since page related data is generated for the next page PN, there is no need to always hold page related data, and the page related data is used while suppressing the memory usage of the storage unit 11. Can be possible.
  • the page-related data generation unit 104 since the page-related data generation unit 104 generates and records character area candidates as page-related data, it does not execute the character determination but only performs the extraction of the character area candidates. It is possible to generate page-related data and execute character determination while reducing the processing load. Moreover, by enlarging and displaying using the character determination result, it is possible to make it easy to see the area determined to be a character.
  • the hardware configuration of the electronic book display device 1 of the second embodiment is the same as that of the first embodiment, and thus the description thereof is omitted.
  • description of the same parts as those in the first embodiment will be omitted, and parts different from those in the first embodiment will be described.
  • FIG. 19 is a functional block diagram of the second embodiment.
  • the character determination is completed before the page PN is displayed, and thus the electronic book display device 1 does not include the post-operation character determination unit 106 as shown in FIG.
  • the display control unit 103 displays the page P 20 on the display unit 14, before the next page P 21 is displayed on the display unit 14.
  • the page related data generation unit 104 generates the page related data of the page P 21 will be described as an example.
  • Page-related data generating unit 104 of the second embodiment before the page P 21 is displayed on the display unit 14, and records the generated as page-related data by extracting character areas in the page P 21.
  • the character area is a portion of the image determined as a character by the character determination process.
  • OCR optical character recognition
  • the data storage unit 100 stores template data used for optical character recognition.
  • the template data defines a basic shape of characters that can be expressed by a character code.
  • the page related data generation unit 104 extracts a character area from the page P 21 by comparing each area of the page P 21 with the template data.
  • the page related data generation unit 104 performs pattern matching between each region of the page P 21 and the basic shape defined in the template data.
  • the page-related data generation unit 104 calculates the similarity between the contour of each region of the page P21 or the shape of the region itself and the contour of each character defined in the template data or the shape of the character itself.
  • the page related data generation unit 104 determines that an area having a similarity equal to or higher than a reference is a character.
  • FIG. 20 is a diagram showing the result of optical character recognition.
  • the example shown in FIG. 20 represents the result of optical character recognition of the page P21 shown in FIG.
  • the page-related data generation unit 104 recognizes “H” “E” “L” “L” “O” “!” “H” “O” “W” “A” “R” of the character group 24A by optical character recognition.
  • Each of “E”, “Y”, “O”, “U”, and “?” Is determined as a character.
  • the page-related data generation unit 104 selects “F”, “I”, “N”, “E”, “!”, “T”, “H”, “A”, “N”, “K”, “Y”, “O” of the character group 24B. “U” and “!” Are determined as characters.
  • the page-related data generation unit 104 may extract each of these characters as a separate character region (that is, it may be extracted as one character region per character), but in Embodiment 2, the distance is short. A case will be described in which characters are grouped and extracted as one character region.
  • Page-related data generating unit 104 calculates the distance of each region between identified character (the distance in the screen coordinate system), and the reference distance L 1 within the same group of characters with each other. For example, the page-related data generation unit 104 calculates the distance between “H” and “E” of “HELLO!”, Which is a part of the character group 24A, and determines whether or not the mutual distance is within the reference distance L 1 . Determine. Here, since within the reference distance L 1, determines "H” and "E” in the same group is granted “H” and the group number "No. 1" in each of the "E".
  • the page related data generation unit 104 records page related data indicating the character area extracted as described above in the data storage unit 100.
  • the group number and the position of the region belonging to the group number are associated with the page related data.
  • the designation operation accepting unit 105 accepts a character region candidate designation operation. However, the designation operation accepting unit 105 according to the second embodiment accepts a character when the page P 21 is displayed on the display unit 14. An area designation operation is accepted. For example, a character area including the position designated by the operation unit 13 is designated by the designation operation.
  • the display control unit 103 when the designation operation is accepted by the designation operation accepting unit 105, the display control unit 103 according to the second embodiment enlarges the character area designated by the designation operation and causes the display unit 14 to display the enlarged character area. For example, the display control unit 103 cuts out each character to which the group number of the character region designated by the designation operation is given and displays it as the enlarged image 26. The manner in which the enlarged image 26 is displayed is the same as in FIG. 16 described in the first embodiment. The color of each character of the enlarged image 26 may be reversed, or may be displayed as it is without being reversed, as in the first embodiment.
  • FIG. 21 is a flowchart of the second embodiment. As shown in FIG. 21, S21 to S23 are the same as S1 to S3. S24, it is a point of generating the page-related data of the first page P 1 is the same as S4, page-related data, illustrate embodiments 1, character area candidate, exhibits a character region in the embodiment 2, S24 The processing content of is different from S4.
  • FIG. 22 is an explanatory diagram of page related data generation processing according to the second embodiment.
  • the control unit 10 executes outline extraction process for the page P N (S240).
  • the contour extraction process itself is the same as S41.
  • Control unit 10 records in the storage unit 11 and generates data indicating the contour in the page P N.
  • the contour extraction process in S240 is for extracting a region in the page PN , and the region may be extracted by a method other than the contour extraction.
  • the control unit 10 determines whether or not the region is a character based on each region from which the contour is extracted in S240 and the template stored in the storage unit 11 (S241). In S241, the control unit 10 calculates the degree of similarity between each other and determines whether or not it is equal to or higher than the reference. The control unit 10 records in the storage unit 11 data indicating an area that has a similarity higher than the reference.
  • the control unit 10 calculates the distance between the areas determined as characters in S241 and groups the areas (S242). In S242, the control unit 10 calculates the distance in the screen coordinate system of each region recorded in S241, given the same group number to the reference distance L 1 within become area.
  • the control unit 10 extracts a character area based on the area grouped in S242 (S243).
  • the control unit 10 generates data indicating the group number and the region to which the group number is assigned, and records the data in the storage unit 11 as page related data.
  • S25 to S27 are the same as S5, S24, and S7, respectively.
  • S26 the processing of S240 ⁇ S243 for the page P 2 is executed, so that the character area of the page P 2 is extracted.
  • the specifying operation of the second embodiment is not an operation of specifying a character area candidate as in the first embodiment, but an operation of specifying a character area.
  • the process of S8 is not executed.
  • the control unit 10 When it is determined that the user has performed a character region designation operation (S27; designation operation), the control unit 10 enlarges and displays the character region designated by the designation operation (S28). In S28, the control unit 10 cuts out a character area from the page P N being displayed is enlarged and displayed on the display unit 14. Note that S29 is the same as S10, and the control unit 10 displays the next page PN + 1 on the display unit 14 in response to the page turning operation, and returns to S26. In this case, in S26, since the display portion 14 are displayed a page P N + 1, the processing for the next page P N + 2 S240 ⁇ S243 is performed, the character area of the page P N + 2 are extracted Will be.
  • the page related data is not stored in the storage unit 11 in advance separately from the electronic book data, but the application of the electronic book reader is activated and the page PN is displayed on the display unit 14. since the next page P N to generate pages related data when displayed, it is not necessary to always hold the pages related data, while suppressing the memory usage of the storage unit 11, making available a page associated data Can do. Further, the character determination is not performed after the designation operation as in the first embodiment, and the extraction of the character area is completed in advance, so that the time from the designation operation to the enlarged display can be shortened. it can.
  • FIG. 23 is a functional block diagram of Modification Example (1).
  • a pre-operation character determination unit 107 and a size determination unit 108 are realized in addition to the functions of the first embodiment. These functions are realized mainly by the control unit 10.
  • the page related data generation unit 104 generates page related data of the page P 21 will be described as an example.
  • the pre-operation character determination unit 107 is realized.
  • the pre-operation character determination unit 107 executes a first character determination process on the character area candidate before the specification operation is received by the specification operation reception unit 105.
  • Various character determination processes can be applied as the first character determination process, but the accuracy is lower than the second character determination process described later.
  • the low accuracy means the accuracy of detecting characters.
  • the first character determination process is simpler than the second character determination process, and the time until the process is completed is shorter than that of the second character determination process. There are fewer determination items in the first character determination process than in the second character determination process. For example, in the first character determination process, only the shape of the contour is determined, and in the second character determination process, the shape and other elements (for example, the positional relationship between the surrounding area and the pattern of white pixels and black pixels) ) May be determined.
  • the second character determination process executes all of the first determination item to the fifth determination item described in the first embodiment, and the first character determination process performs only the first determination item. Shall. In the first character determination process, only the second determination item to the fifth determination item may be performed instead of the first determination item, or the first determination item to the fifth determination item may be performed.
  • the determination process may be executed for any two or more and four or less determination items.
  • the character 22B, the sun 25A, and the tableware 25B are extracted as the character area candidates in addition to the character groups 24A and 24B.
  • the character determination process it is determined that characters are not included in the relatively small sun 25A and tableware 25B. Therefore, before the page P 21 is displayed on the display unit 14, the character area candidate that can be the subject of the second character determination processing, character group 24A, and 24B, it is narrowed down to the character 22B.
  • the post-operation character determination unit 106 performs a second operation with higher accuracy than the first character determination process when a character region candidate determined to include a character by the pre-operation character determination unit 107 is specified by a specifying operation. Perform character determination processing.
  • the second character determination process may be the same as that described in the first embodiment.
  • the post-operation character determination unit 106 performs the second character determination for the character region candidate even if the character region candidate determined not to include the character by the pre-operation character determination unit 107 is specified by the specifying operation. The process will not be executed.
  • the character region candidate determined not to include the character by the pre-operation character determination unit 107 may be excluded from the determination target of the post-operation character determination unit 106, and the designation operation reception unit 105 may select the character region candidate.
  • the post-operation character determination unit 106 may not simply execute the second character determination process. Good.
  • character area candidates can be narrowed down in advance by performing a relatively simple first character determination process in advance.
  • the memory capacity can be effectively utilized by discarding page-related data indicating character area candidates determined not to include characters by the first character determination processing.
  • by narrowing down the character area candidates it is not necessary to execute the detailed second character determination process on the character area candidates determined not to be characters by the first character determination process.
  • the processing load on the apparatus 1 can be reduced.
  • Page-related data generating unit 104 when the number of the character region candidates in a page P 21 is less than the reference, and generates a page associated data character region candidates of the next page P 22 on page P 21 further extracted It may be recorded.
  • Threshold T 4 showing this criterion may be a fixed value or may be a variable value.
  • Page-related data generating unit 104 counts the number of the character region candidates extracted for the page P 21, determines whether the threshold value T 4 or higher. When the page-related data generation unit 104 determines that the number of character area candidates for the page P 21 is equal to or greater than the threshold T 4 , the page-related data generation unit 104 continues to display the character area for the page P 22 while the page P 20 is displayed on the display unit 14 Candidates are not extracted yet. In this case, the character region candidates of the page P 22 will be extracted if the page P 21 is displayed on the display unit 14.
  • the page-related data generation unit 104 determines that the number of character area candidates for the page P 21 is less than the threshold T 4 , the page P 20 is displayed on the display unit 14 (page even before the P 21 is displayed on the display unit 14 also), extracts character region candidates of the page P 22.
  • the extraction method of the character region candidate itself is the same as the method described in the first embodiment.
  • a variant (1-2) when the number of the character region candidates of the page P 21 is small, since generating a page relevant data for the next page P 22, the user page P 21 only even to display the page P 22 read at a time, when the page P 22 is displayed on the display unit 14 can finish the generation of the page-related data. As a result, the user can be designated operations on page P 22, generation of the page-related data is not completed, to prevent such enlarged display is not in time.
  • the determination restriction unit 104C removes a small area in advance so that it is not subject to character determination by the post-operation character determination unit 106.
  • 104C may be omitted, and the page-related data generation unit 104 may extract even a small area as a character area candidate.
  • the page-related data generation unit 104 may determine the size of the character region candidate, and if the character region candidate is small, the page-related data generation unit 104 may be excluded from the character determination by the post-operation character determination unit 106.
  • the size determination unit 108 is realized.
  • the size determination unit 108 determines whether the outline of the character region candidate or the size of the character region candidate itself is greater than or equal to the reference. This criterion may be the same as the threshold value T 2 the determination limit portion 104C of the embodiment 1 was used.
  • the determination method of the size determination unit 108 is the same as the determination method by the determination restriction unit 104C of the first embodiment.
  • the post-operation character determination unit 106 does not set the character area candidate determined to be smaller than the reference by the size determination unit 108 as a determination target, and sets the character region candidate determined to be larger than the reference by the size determination unit 108 as a character. Whether or not is included is determined. That is, the post-operation character determination unit 106 restricts a character area candidate determined to be smaller than the reference size from being a character determination target. This limiting method may be the same as the determination limiting unit 104C described in the first embodiment. That is, the post-operation character determination unit 106 may fill the character region candidate with the background color when the size of the contour of the character region candidate is less than the reference.
  • a character area candidate having a size smaller than the reference is not subjected to character determination, and thus character determination is prevented from being performed on an area having a low probability of being a character area.
  • the processing load of the electronic book display device 1 can be reduced.
  • the memory capacity can be effectively utilized by discarding page-related data indicating a character region candidate having a size smaller than the reference.
  • the users may read sequentially toward the bottom of the page P 21 from near the top, before the page P 21 is displayed on the display unit 14, not the entire page P 21, Near the top of the page P 21 alone (i.e., user reads first part only), it may be extracted character region candidates.
  • the page related data generation unit 104 of this modification includes at least one of a first extraction unit 104D and a second extraction unit 104E.
  • the first extraction unit 104D, the lower area of the page P 21 extracts the character region candidates in the upper region without extracting any character region candidates.
  • Figure 24 is an explanatory view of an upper and lower regions of the page P 21.
  • the characters 22A and the like on the page P21 are omitted.
  • the first extraction unit 104D extracts character area candidates only for the upper area P 21U , not the entire page P 21 .
  • the extraction method of character area candidates may be the same as that in the first embodiment.
  • the second extraction unit 104E is the reading order of each of the character areas in the page P 21, extracts character region candidates until the reference number.
  • the reading order of the text area a reading order of each character area in the case where a plurality of character regions in the page P 21 is scattered. For example, if the character is written horizontally, the one nearer to the upper left is the faster order, and if the character is written vertically, the closer to the upper right is the earlier order.
  • FIG. 25 is an order of the illustration reading in the page P 21.
  • the page P 21 includes three frames 21A to 21C.
  • the frame 21A includes characters 22A and 22B, balloon lines 23A and 23B, and character groups 24A and 24B.
  • the frame 21B includes a character 22C, a balloon line 23C, and a character group 24C.
  • the frame 21C includes a character 22D, a balloon line 23D, and a character group 24D.
  • there are four character group 24A ⁇ 24D since here the character is written horizontally, these reading order becomes forward close to the origin O S is the top left corner of the page P 21, the character group 24A ⁇ 24B ⁇ 24C ⁇ 24D.
  • the reference number of two and to a second extraction unit 104E is the reading order of each of the character areas in the page P 21, it is to be extracted to the character region candidates corresponding to the character group 24A ⁇ 24B.
  • the second extraction unit 104E does not extract subsequent character area candidates until a predetermined timing arrives.
  • page P 21 is the user is likely to read earlier high upper region P 21U and reading order when displayed on the display unit 14 with respect to the previous section because it generates the relevant data, the user can be designated operations on page P 22, generation of the page-related data is not completed, to prevent such enlarged display is not in time.
  • FIG. 26 is a functional block diagram of Modification (2). As shown in FIG. 26, in addition to the functions of the second embodiment, a character area candidate extraction unit 104F and a size determination unit 104G are realized. In the second modification, as in the second embodiment, the case where the page related data generation unit 104 generates page related data of the page P 21 will be described as an example.
  • the character area candidate extraction unit 104F has the same function as the page related data generation unit 104 described in the first embodiment. Character area candidate extracting unit 104F will be extracted character region candidates shown in FIG. 14 from page P 21 in the state shown in FIG.
  • the page-related data generation unit 104 extracts a character area by determining whether or not a character is included in the character area candidate. This determination method may be the same as the post-operation character determination unit 106 described in the first embodiment.
  • the page-related data generation unit 104 performs a second character determination process with higher accuracy than the first character determination process on the character area candidate determined to include a character by the first character determination process. By doing so, a character area is extracted.
  • the second character determination process is the same as in Modification (1-1).
  • character area candidates can be narrowed down in advance by performing a relatively simple first character determination process in advance.
  • the memory capacity can be effectively utilized by discarding page-related data indicating character area candidates determined not to include characters by the first character determination processing.
  • by narrowing down the character area candidates it is not necessary to execute the detailed second character determination process on the character area candidates determined not to be characters by the first character determination process.
  • the processing load on the apparatus 1 can be reduced.
  • the size determination unit 104G is realized.
  • the function of the size determining unit 104G is the same as that of the size determining unit 108 of the modified example (1-3).
  • the page-related data generation unit 104 does not consider the character area candidate determined to be smaller than the reference size by the size determination unit 104G, and sets the character region candidate determined to be larger than the reference size by the size determination unit 104G.
  • the character area is extracted by determining whether or not the character is included.
  • the processing content itself may be the same as the post-operation character determination unit 106 of the modification example (1-3) and the determination restriction unit 104C of the first embodiment.
  • a character area candidate having a size less than the reference is not subjected to character determination, so that character determination is prevented from being performed on an area having a low probability of being a character area.
  • the processing load of the electronic book display device 1 can be reduced.
  • the memory capacity can be effectively utilized by discarding page-related data indicating a character region candidate having a size smaller than the reference.
  • the page related data generation unit 104 further extracts a character area in the page P 22 next to the page P 21 and generates it as page related data. And may be recorded.
  • the character area candidate of the page P 22 is extracted
  • the character area of the page P 22 is extracted, but the other points are modified examples ( Same as 1-2).
  • the character area may be extracted only in the upper area of the page P 21 as in the modification (1-4).
  • the page related data generation unit 104 of the modification (2-5) includes at least one of the first extraction unit 104D and the second extraction unit 104E.
  • the first extraction unit 104D extracts the character region in the upper region P 21U without extracting the character region from the lower region P 21D of the page P 21 .
  • the first extraction unit 104D sets only the upper region P 21U as a character region extraction target.
  • the meanings of the upper region P 21U and the lower region P 21D are as described in the modification (1-4).
  • the second extraction unit 104E is the reading order of each of the character areas in the page P 21, extracts a character area until the reference number. The meaning of the reading order is as described in the modification example (1-4).
  • the reference number of two and to a second extraction unit 104E is the reading order of each of the character areas in the page P 21, it is to be extracted until a character region corresponding to the character group 24A ⁇ 24B.
  • the second extraction unit 104E does not extract the subsequent character area until a predetermined timing arrives.
  • page P 21 is the user is likely to read earlier high upper region P 21U and reading order when displayed on the display unit 14 with respect to the previous section because it generates the relevant data, the user can be designated operations on page P 22, generation of the page-related data is not completed, to prevent such enlarged display is not in time.
  • FIG. 27 is a functional block diagram of Modification (3). As shown in FIG. 27, in addition to the functions of the first embodiment, at least one of a history data acquisition unit 109, a page data acquisition unit 110, an age acquisition unit 111, and a size acquisition unit 112 is realized. These functions are realized mainly by the control unit 10. In the modification example (3), the case where the page related data generation unit 104 generates the page related data of the page P 21 will be described as an example, as in the first embodiment.
  • the history data acquisition unit 109 acquires history data stored in the data storage unit 100 that stores history data related to the history of the specified operation by the user of the electronic book display device 1.
  • the history data may indicate the number of specified operations in all past periods, or may indicate the number of specified operations in a certain period. Furthermore, the history data may indicate the number of pages on which the designation operation has been performed. For example, when the designated operation accepting unit 105 accepts the designated operation, the history data is updated.
  • the page related data generation unit 104 of this modification includes a frequency determination unit 104H.
  • the frequency determination unit 104H determines whether or not the frequency of the designated operation by the user is equal to or higher than a reference based on the history data. For example, the frequency determination unit 104H may determine whether or not the number of specified operations in all past periods is greater than or equal to a reference, and determines whether or not the number of specified operations in a certain period is greater than or equal to the reference. May be. In addition, for example, the frequency determination unit 104H determines whether or not the difference between the number of currently displayed pages and the number of the most recent pages designated by the user is greater than or equal to the reference number (ie, more than or equal to the reference page number). It may be determined whether or not a designation operation has been performed.
  • the page related data generation unit 104 generates and records page related data when it is determined by the frequency determination unit 104H that it is above the reference. That is, the page-related data generation unit 104 does not generate page-related data when the frequency determination unit 104H determines that it is less than the reference.
  • the necessity of generating the page related data is determined with reference to the frequency of the designated operation by the user, so that it is possible to perform processing according to the user tendency. That is, for users who do not need to enlarge the display, page-related data does not have to be generated in advance. For such users, memory capacity is effectively utilized by not generating page-related data. In addition, the processing load of the electronic book display device 1 can be reduced.
  • the page data acquisition unit 110 is realized.
  • the page data acquisition unit 110 acquires page data stored in the data storage unit 100 that stores page data related to a page for which a designation operation has been performed by the user of the electronic book display device 1.
  • the page data stores the number of pages on which the user has performed a specified operation.
  • the designated operation accepting unit 105 updates the page data when accepting the designated operation.
  • the page related data generation unit 104 includes a past determination unit 104I.
  • Past determination unit 104I based on the page data, determines whether the specified operation in the past for the page P 21 by the user is performed.
  • Past determination unit 104I refers to the page data, it is judged whether the specified operation in the past with respect to the next page P 21 of the currently displayed portion 14 page P 20 displayed on is performed.
  • the page related data generation unit 104 generates and records page related data when it is determined by the past determination unit 104I that the designation operation has been performed. That is, the page related data generation unit 104 does not generate page related data when it is not determined by the past determination unit 104I that the designation operation has been performed.
  • page-related data it is determined whether or not it is necessary to generate page-related data by referring to the presence / absence of the designation operation for each page by the user, so that it is possible to perform processing according to the user's tendency.
  • page-related data does not have to be generated in advance for pages that do not need to be enlarged, so memory capacity can be increased by not generating page-related data for such pages.
  • the processing load of the electronic book display device 1 can be reduced.
  • a user has a high probability of displaying an enlarged page displayed by another user who has read the same electronic book. For this reason, it is possible to record a page that has been enlarged and displayed by another user, generate page related data for the page, and not generate page related data for the other page.
  • the page data acquisition unit 110 is realized.
  • the page data acquisition unit 110 acquires page data stored in a server computer that stores page data related to a page that has been designated by a user other than the user of the electronic book display device 1.
  • the page data acquisition unit 110 acquires page data via a network.
  • the server computer manages the electronic book, and when the user who downloaded the electronic book performs a designation operation, the page PN for which the designation operation is performed from the electronic book display device 1 of the user to the server computer.
  • the indicated data is transmitted.
  • the server computer receives the data, the server computer updates the page data stored in the database.
  • the past determination unit 104I determines, based on the page data, whether or not a designation operation has been performed in the past on at least one page by another user. This determination method is the same as that of the modified example (3-2).
  • the page related data generation unit 104 generates and records page related data when the past determination unit 104I determines that a designation operation has been performed. That is, the page related data generation unit 104 does not generate page related data when it is not determined by the past determination unit 104I that the designation operation has been performed.
  • whether or not to generate the page related data is determined by referring to the presence / absence of the designation operation for each page by another user. It can be performed. That is, it is unlikely that the user of the electronic book display apparatus 1 will perform a designation operation for a page that other users feel is not required to be enlarged, and the page-related data need not be generated in advance. Therefore, by not generating page related data for such a page, the memory capacity can be effectively used and the processing load of the electronic book display device 1 can be reduced.
  • the age acquisition unit 111 acquires age information related to the age of the user of the electronic book display device 1.
  • age information may be stored in the data storage unit 100.
  • the age acquisition unit 111 acquires age information from the data storage unit 100.
  • the age information may be information that can specify the age of the user, and is, for example, a numerical value indicating the user's age or a numerical value indicating the date of birth.
  • the age acquisition unit 111 may obtain the age of the user by calculation. For example, the average age of a user profile that describes the number of years of publication of an electronic book or a review of the electronic book may be acquired from a server computer to estimate the age.
  • the page related data generation unit 104 includes an age determination unit 104J.
  • the age determination unit 104J determines whether or not the user's age is equal to or higher than a reference based on the age information. It is assumed that this reference age is stored in the data storage unit 100.
  • the reference age may be a fixed value or a variable value.
  • the page-related data generation unit 104 generates and records page-related data when it is determined by the age determination unit 104J to be equal to or higher than the reference. That is, the page related data generation unit 104 does not generate page related data when the age determination unit 104J determines that the value is less than the reference.
  • the necessity of generating page-related data is determined with reference to the user's age, and therefore processing according to the user's tendency can be performed. That is, since it is not necessary to generate page related data in advance for a relatively young user who does not need to perform enlarged display, in such a user, by not generating page related data, The memory capacity can be effectively used and the processing load of the electronic book display device 1 can be reduced.
  • the size acquisition unit 112 is realized.
  • the size acquisition unit 112 acquires size information regarding the screen size of the display unit 14.
  • size information may be stored in the data storage unit 100.
  • the size information indicates, for example, the number of inches of the display unit 14.
  • the page related data generation unit 104 includes a size determination unit 104K.
  • the size determination unit 104K determines whether or not the screen size of the display unit 14 is less than the reference based on the size information.
  • This reference size is assumed to be stored in the data storage unit 100.
  • the reference size may be a fixed value or a variable value.
  • the page related data generation unit 104 generates and records page related data when the size determination unit 104K determines that it is less than the reference. That is, the page-related data generation unit 104 does not generate page-related data when the size determination unit 104K determines that it is greater than or equal to the reference.
  • the necessity of generating page-related data is determined with reference to the screen size of the display unit 14, and therefore processing according to the display unit 14 can be performed. That is, in the case of the display unit 14 having a large screen size and a low necessity for enlarged display, the page-related data does not have to be generated in advance. Therefore, in such a display unit 14, the page-related data is not generated. Thus, the memory capacity can be effectively utilized and the processing load of the electronic book display device 1 can be reduced.
  • a method for extracting a character region candidate is not particularly limited as long as it can extract a possible character region, and various known methods can be applied.
  • an area having a certain size may be extracted as a character area candidate.
  • various known methods can be applied to the character determination method itself.
  • Page related data may also be generated for page PN + 2 , and the range of the number of pages for generating page related data is not limited to this.
  • page related data may be generated for the page PN-1 before the page PN displayed on the display unit 14. Whether page-related data is generated for the previous page P N-1 or page-related data is generated for the next page P N + 1 is determined depending on whether or not the page is returned by a page feed operation. May be. That is, it may be determined whether to generate the page related data of the previous page P N ⁇ 1 or the page related data of the subsequent page P N + 1 based on the page feed direction.
  • the number of pages for generating page-related data may be determined according to the memory capacity or the remaining memory capacity of the electronic book display device 1.
  • the page-related data may be generated for more pages as the memory capacity or the remaining memory capacity of the electronic book display device 1 is larger.
  • the number of pages for generating page-related data may be determined according to the page feed speed.
  • the page-related data may be generated for many pages as the page feed speed increases. Note that the page feed speed may be calculated based on the time interval at which the user performs the page feed operation.
  • the reading time for each page P N it may be determined the number of pages to generate page-related data in accordance with the reading time by the calculation. For example, the page-related data may be generated for many pages as the reading time is shorter. The reading time may be calculated based on the number of contours, the area of the region, and the like.
  • the display control unit 103 displays a certain page on the display unit 14 for a certain period of time, the display control unit 103 switches to the next page.
  • the characters drawn on each frame 21 may represent not only the words uttered by the characters but also the emotions of the characters and the sound effects of the comics. Even such a character can be recognized as a lump by expanding the area by the extension unit 104B.
  • the case where the dialogue of the comic is described in English is taken as an example, but any language that can be recognized by the electronic book display device 1 may be used, and other languages may be used.
  • the line of the character is described in horizontal writing will be described, vertical writing may be used.
  • a learning pattern for horizontal writing and a learning pattern for vertical writing are prepared in the data storage unit 100, and the post-operation character determination unit 106 uses the learning patterns for horizontal writing and vertical writing. If any of the character areas is determined, the character area candidate may be determined as the character area.
  • the binarization inversion process performed by the coupling restriction unit 104A may be omitted.
  • the processing of the coupling restriction unit 104A may be omitted.
  • the character may be a predetermined font or handwritten. Even handwritten characters can be recognized as chunks by the processing of the extension unit 104B.
  • the font, size, color, and brightness of characters may differ depending on the balloon, frame, and page. Even if the font, size, color, and brightness are different, the extension unit 104B can recognize the character as a block by expanding the area in the image.
  • the processing content for the character region candidate determined to include the character is limited to the enlarged display. Absent.
  • the electronic book display device 1 may translate characters in a character region candidate determined to include characters, or may output a machine voice. Further, the electronic book display device 1 performs character extraction by OCR within a character region candidate determined to include a character, and records the extracted character data in the storage unit 11 so that character search in the electronic book is possible. You may do it.
  • the display control unit 103 may display an enlarged display based on character data detected by OCR, instead of cutting out and displaying an enlarged character area candidate determined to be a character area.
  • a comic is described as an example of an electronic book, but the present invention can be applied to any electronic book that includes characters.
  • the character region can be extracted in the same manner as in the embodiment, and thus may be applied to a picture book, a magazine, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

メモリ使用量を抑えつつ、ページ関連データを利用可能にする。電子書籍表示装置（１）のデータ取得手段（１０１）は、複数のページからなる電子書籍データを記憶する手段（１００）に記憶された電子書籍データを取得する。表示制御手段（１０３）は、データ取得手段（１０１）により取得された電子書籍データに基づいて、複数のページのうち指定された１又は複数のページを表示手段（１４）に表示させる。ページ関連データ生成手段（１０４）は、表示手段（１４）に表示された１又は複数のページよりも前及び後の少なくとも一方のページが表示手段（１４）に表示される前に、少なくとも一方のページに基づいてページ関連データを生成して記憶手段（１００）に記録する。

Description

電子書籍表示装置、電子書籍表示方法、及びプログラム
　本発明は、電子書籍表示装置、電子書籍表示方法、及びプログラムに関する。
　従来、複数ページからなる電子書籍データに基づいて、各ページに関するページ関連データを生成する技術が知られている。例えば、特許文献１には、複数ページからなる漫画の電子書籍データを販売する前に、各ページ内のコマの位置及び順序、吹き出しの位置及び順序等のページ関連データを予め抽出しておき、漫画の画像データとともにページ関連データを販売してユーザの端末のメモリに記憶させる技術が記載されている。
特許第４８１８４１５号公報
　特許文献１の技術では、例えば、電子書籍の画像データだけでなく、ページ関連データもダウンロードしてユーザの端末のメモリに記憶させる必要があるので、メモリの使用量が大きくなってしまう。
　本発明は上記課題に鑑みてなされたものであって、その目的は、メモリ使用量を抑えつつ、ページ関連データを利用可能にすることである。
　上記課題を解決するために、本発明に係る電子書籍表示装置は、複数のページからなる電子書籍データを記憶する手段に記憶された前記電子書籍データを取得するデータ取得手段と、前記データ取得手段により取得された電子書籍データに基づいて、前記複数のページのうち指定された１又は複数のページを表示手段に表示させる表示制御手段と、前記表示手段に表示された前記１又は複数のページよりも前及び後の少なくとも一方のページが前記表示手段に表示される前に、前記少なくとも一方のページに基づいてページ関連データを生成して記憶手段に記録するページ関連データ生成手段と、を含むことを特徴とする。
　本発明に係る電子書籍表示方法は、複数のページからなる電子書籍データを記憶する手段に記憶された前記電子書籍データを取得するデータ取得ステップと、前記データ取得ステップにより取得された電子書籍データに基づいて、前記複数のページのうち指定された１又は複数のページを表示手段に表示させる表示制御ステップと、前記表示手段に表示された前記１又は複数のページよりも前及び後の少なくとも一方のページが前記表示手段に表示される前に、前記少なくとも一方のページに基づいてページ関連データを生成して記憶手段に記録するページ関連データ生成ステップと、を含むことを特徴とする。
　本発明に係るプログラムは、複数のページからなる電子書籍データを記憶する手段に記憶された前記電子書籍データを取得するデータ取得手段、前記データ取得手段により取得された電子書籍データに基づいて、前記複数のページのうち指定された１又は複数のページを表示手段に表示させる表示制御手段、前記表示手段に表示された前記１又は複数のページよりも前及び後の少なくとも一方のページが前記表示手段に表示される前に、前記少なくとも一方のページに基づいてページ関連データを生成して記憶手段に記録するページ関連データ生成手段、としてコンピュータを機能させる。
　本発明に係る情報記憶媒体は、上記記載のプログラムが記憶されたコンピュータ読み取り可能な情報記憶媒体である。
　また、本発明の一態様によれば、前記ページ関連データ生成手段は、前記少なくとも一方のページが前記表示手段に表示される前に、前記少なくとも一方のページ内の文字領域候補を抽出して前記ページ関連データとして生成して記録し、前記電子書籍表示装置は、前記少なくとも一方のページが前記表示手段に表示された場合に、前記文字領域候補の指定操作を受け付ける受付手段と、前記受付手段により前記指定操作が受け付けられた後に、前記指定操作により指定された文字領域候補に文字が含まれるか否かを判定する操作後文字判定手段と、を更に含み、前記表示制御手段は、前記操作後文字判定手段により文字が含まれると判定された文字領域候補内を拡大して前記表示手段に表示させる、ことを特徴とする。
　また、本発明の一態様によれば、前記電子書籍表示装置は、前記受付手段により前記指定操作が受け付けられる前に、前記文字領域候補に対して第１の文字判定処理を実行する操作前文字判定手段を更に含み、前記操作後文字判定手段は、前記操作前文字判定手段により文字が含まれると判定された文字領域候補が前記指定操作により指定された場合に、前記第１の文字判定処理よりも精度の高い第２の文字判定処理を実行する、ことを特徴とする。
　また、本発明の一態様によれば、前記ページ関連データ生成手段は、前記少なくとも一方のページ内の前記文字領域候補の数が基準未満である場合、前記少なくとも一方のページの次のページの文字領域候補を更に抽出してページ関連データとして生成して記録する、ことを特徴とする。
　また、本発明の一態様によれば、前記電子書籍表示装置は、前記文字領域候補の輪郭又は前記文字領域候補自身の大きさが基準以上であるか否かを判定する大きさ判定手段を更に含み、前記操作後文字判定手段は、前記大きさ判定手段により基準未満の大きさと判定された前記文字領域候補は判定対象とせず、前記大きさ判定手段により基準以上の大きさと判定された前記文字領域候補に文字が含まれるか否かを判定する、ことを特徴とする。
　また、本発明の一態様によれば、前記ページ関連データ生成手段は、前記少なくとも一方のページの下部領域は文字領域候補を抽出せずに上部領域内の文字領域候補を抽出する手段と、前記少なくとも一方のページ内の各文字領域の読み順に、基準数になるまで文字領域候補を抽出する手段と、の少なくとも一方を含むことを特徴とする。
　また、本発明の一態様によれば、前記ページ関連データ生成手段は、前記少なくとも一方のページが前記表示手段に表示される前に、前記少なくとも一方のページ内の文字領域を抽出して前記ページ関連データとして生成して記録し、前記電子書籍表示装置は、前記少なくとも一方のページが前記表示手段に表示された場合に、前記文字領域の指定操作を受け付ける受付手段を更に含み、前記表示制御手段は、前記受付手段により前記指定操作が受け付けられた場合に、前記指定操作により指定された文字領域内を拡大して前記表示手段に表示させる、ことを特徴とする。
　また、本発明の一態様によれば、前記ページ関連データ生成手段は、前記少なくとも一方のページが前記表示手段に表示される前に、前記少なくとも一方のページ内の文字領域候補を抽出する手段を含み、当該文字領域候補に文字が含まれるか否かを判定することによって、前記文字領域を抽出する、ことを特徴とする。
　また、本発明の一態様によれば、前記ページ関連データ生成手段は、前記少なくとも一方のページが前記表示手段に表示される前に、前記文字領域候補に対して第１の文字判定処理を実行し、当該第１の文字判定処理により文字が含まれると判定された文字領域候補に対して、前記第１の文字判定処理よりも精度の高い第２の文字判定処理を実行することによって、前記文字領域を抽出する、ことを特徴とする。
　また、本発明の一態様によれば、前記ページ関連データ生成手段は、前記文字領域候補の輪郭又は前記文字領域候補自身の大きさが基準以上であるか否かを判定する大きさ判定手段を含み、前記大きさ判定手段により基準未満の大きさと判定された前記文字領域候補は判定対象とせず、前記大きさ判定手段により基準以上の大きさと判定された前記文字領域候補に文字が含まれるか否かを判定することによって、前記文字領域を抽出する、ことを特徴とする。
　また、本発明の一態様によれば、前記ページ関連データ生成手段は、前記少なくとも一方のページ内の前記文字領域の数が基準未満である場合、前記少なくとも一方のページの次のページ内の文字領域を更に抽出してページ関連データとして生成して記録する、ことを特徴とする。
　また、本発明の一態様によれば、前記ページ関連データ生成手段は、前記少なくとも一方のページの下部領域は文字領域を抽出せずに上部領域内の文字領域を抽出する手段と、
　前記少なくとも一方のページ内の各文字領域の読み順に、基準数になるまで文字領域を抽出する手段と、の少なくとも一方を含むことを特徴とする。
　また、本発明の一態様によれば、前記電子書籍表示装置は、当該電子書籍表示装置のユーザによる前記指定操作の履歴に関する履歴データを記憶する手段に記憶された前記履歴データを取得する手段を更に含み、前記ページ関連データ生成手段は、前記履歴データに基づいて、前記ユーザによる前記指定操作の頻度が基準以上であるか否かを判定する頻度判定手段を含み、前記頻度判定手段により基準以上であると判定された場合に前記ページ関連データを生成して記録する、ことを特徴とする。
　また、本発明の一態様によれば、前記電子書籍表示装置は、当該電子書籍表示装置のユーザにより前記指定操作が行われたページに関するページデータを記憶する手段に記憶された前記ページデータを取得する手段を更に含み、前記ページ関連データ生成手段は、前記ページデータに基づいて、前記ユーザにより前記少なくとも一方のページに対して過去に前記指定操作が行われたか否かを判定する過去判定手段を含み、前記過去判定手段により前記指定操作が行われたと判定された場合に前記ページ関連データを生成して記録する、ことを特徴とする。
　また、本発明の一態様によれば、前記電子書籍表示装置は、当該電子書籍表示装置のユーザ以外の他のユーザにより前記指定操作が行われたページに関するページデータを記憶する手段に記憶された前記ページデータを取得する手段を更に含み、前記ページ関連データ生成手段は、前記ページデータに基づいて、前記他のユーザにより前記少なくとも一方のページに対して過去に前記指定操作が行われたか否かを判定する過去判定手段を含み、前記過去判定手段により前記指定操作が行われたと判定された場合に前記ページ関連データを生成して記録する、ことを特徴とする。
　また、本発明の一態様によれば、前記電子書籍表示装置は、当該電子書籍表示装置のユーザの年齢に関する年齢情報を取得する手段を更に含み、前記ページ関連データ生成手段は、前記年齢情報に基づいて、前記ユーザの年齢が基準以上であるか否かを判定する年齢判定手段を含み、前記年齢判定手段により基準以上であると判定された場合に前記ページ関連データを生成して記録する、ことを特徴とする。
　また、本発明の一態様によれば、前記電子書籍表示装置は、前記表示手段の画面サイズに関するサイズ情報を取得する手段を更に含み、前記ページ関連データ生成手段は、前記サイズ情報に基づいて、前記表示手段の画面サイズが基準未満であるか否かを判定するサイズ判定手段を含み、前記サイズ判定手段により基準未満であると判定された場合に前記ページ関連データを生成して記録する、ことを特徴とする。
　本発明によれば、メモリ使用量を抑えつつ、ページ関連データを利用可能にすることが可能になる。
本実施形態における電子書籍表示装置のハードウェア構成を示す図である。 電子書籍表示装置で実現される機能の一例を示す機能ブロック図である。 電子書籍データの一例を示す図である。 ページの一例を示す図である。 輪郭と領域の大きさの説明図である。 ２値化され反転されたページを示す図である。 図６に示すページから抽出された輪郭線を示す図である。 基準以上の大きさの輪郭線を拡大した後の各輪郭線の状態を示す図である。 拡大した輪郭線が重畳されたページを示す図である。 拡張部の処理内容の説明図である。 拡張部の処理内容の説明図である。 拡張部により領域が拡張された後の状態を示す図である。 輪郭の大きさが基準未満である領域が背景色で塗りつぶされた後の状態を示す図である。 文字領域候補の一例を示す図である。 学習データを用いた文字判定処理の説明図である。 文字群が拡大表示される様子を示す図である。 電子書籍表示装置において実行される処理の一例を示すフロー図である。 ページ関連データ生成処理の説明図である。 実施形態２の機能ブロック図である。 光学文字認識の結果を示す図である。 実施形態２のフロー図である。 実施形態２のページ関連データ生成処理の説明図である。 変形例（１）の機能ブロック図である。 ページの上部領域及び下部領域の説明図である。 ページにおける読み順の説明図である。 変形例（２）の機能ブロック図である。 変形例（３）の機能ブロック図である。
［１．実施形態１］
　以下、本発明に係る実施形態を図面に基づき詳細に説明する。
［１－１．電子書籍表示装置のハードウェア構成］
　図１は、本実施形態における電子書籍表示装置のハードウェア構成を示す図である。電子書籍表示装置１は、ユーザが操作するコンピュータであり、例えば、携帯電話機（スマートフォンを含む）、携帯情報端末（タブレット型コンピュータを含む）、電子書籍リーダー端末、又はパーソナルコンピュータ等である。図１に示すように、電子書籍表示装置１は、制御部１０、記憶部１１、通信部１２、操作部１３、表示部１４、及び入出力部１５を含む。
　制御部１０は、例えば、一又は複数のマイクロプロセッサを含む。制御部１０は、記憶部１１に記憶されたプログラムやデータに従って処理を実行する。記憶部１１は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭであり、補助記憶部は、ハードディスク又はソリッドステートドライブ等である。通信部１２は、ネットワークカード等の通信インタフェースである。
　操作部１３は、一般的な入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイスである。操作部１３は、ユーザの操作内容を制御部１０に伝達する。表示部１４は、例えば、液晶表示部又は有機ＥＬ表示部等である。表示部１４は、制御部１０の指示に従って画面を表示する。入出力部１５は、外部機器とのデータの入出力を行う入出力インタフェースである。例えば、入出力部１５は、コンピュータ読み取り可能な情報記憶媒体（例えば、光ディスクやメモリカード等）からデータやプログラムを読み取る。
　なお、記憶部１１に記憶されるものとして説明するプログラム及びデータは、ネットワークに接続されたサーバコンピュータから、通信部１２を介して記憶部１１に供給されるようにしてもよいし、情報記憶媒体から、入出力部１５を介して記憶部１１に供給されるようにしてもよい。また、電子書籍表示装置１のハードウェア構成は、上記の例に限られず、種々のコンピュータのハードウェアを適用可能である。
［１－２．電子書籍表示装置において実現される機能］
　図２は、電子書籍表示装置１で実現される機能の一例を示す機能ブロック図である。図２に示すように、電子書籍表示装置１では、データ記憶部１００、データ取得部１０１、ページ送り操作受付部１０２、表示制御部１０３、ページ関連データ生成部１０４、指定操作受付部１０５、及び操作後文字判定部１０６が実現される。データ記憶部１００は、記憶部１１を主として実現され、他の各機能は、制御部１０を主として実現される。
［１－２－１．データ記憶部］
　データ記憶部１００は、複数のページからなる電子書籍データを記憶する。図３は、電子書籍データの一例を示す図である。図３に示すように、本実施形態では、電子書籍の各ページに「ＰＮ」のように符号を付して説明する。「ＰＮ」の「Ｎ」は、自然数であり、ページ数を示す。図３に示す電子書籍は５０ページから構成されているので、Ｎは、１～５０の数値をとる。例えば、ページＰ２０と記載した場合は、第２０ページのことを示し、ページＰ２１と記載した場合は、第２１ページのことを示す。
　電子書籍は、表示部１４に電子的に表示される書籍であればよく、例えば、漫画、絵本、又は雑誌である。電子書籍は、少なくとも文字を含む。電子書籍は、文字以外に、絵・写真・図形等を含むようにしてよい。なお、ここでの絵とは、人が手で描画した絵をスキャナで読み込んで電子化したものに限らず、人がコンピュータを使って描画したＣＧを含む意味である。電子書籍データのデータ形式は、一般的に電子書籍で用いられているデータ形式を用いればよい。
　電子書籍データは、各ページＰＮの画像データを含む。ページＰＮごとに画像データが存在してもよいし、全てのページＰＮをひとまとめにした１つの画像データのみが存在してもよい。また、電子書籍は、カラーであってもよいし、モノクロ又はグレースケールであってもよい。なお、電子書籍データは、画像データに付帯する付帯データを含んでもよい。付帯データは、各ページのページ数や発行年月日等である。本実施形態では、複数ページから構成されるグレースケールの漫画を、電子書籍の一例として説明する。
　なお、データ記憶部１００は、電子書籍データ以外のデータを記憶していてもよい。例えば、データ記憶部１００は、電子書籍リーダーのアプリケーション（ビューワアプリケーション）を記憶してもよい。また例えば、データ記憶部１００は、後述する文字判定のための学習データを記憶してもよい。
［１－２－２．データ取得部］
　データ取得部１０１は、複数のページＰＮからなる電子書籍データを記憶するデータ記憶部１００に記憶された電子書籍データを取得する。先述のように、電子書籍データは、画像データを含んでいるが、データ取得部１０１は、全てのページＰＮの画像データを一度に取得してもよいし、一部のページＰＮの画像データのみを取得してもよい。データ取得部１０１が一部のページＰＮの画像データのみを取得する場合、データ取得部１０１は、表示対象のページＰＮの画像データのみを取得してもよいし、表示対象のページＰＮとその前後のページＰＮの画像データを取得してもよい。なお、表示対象となるのは、１つのページＰＮだけであってもよいし、見開き等のように複数のページＰＮであってもよい。更に、本実施形態のように電子書籍が漫画の場合、１つのページＰＮの中の１コマのみが表示対象となってもよい。本実施形態では、複数のページＰＮのうちの何れか１つのページＰＮが表示対象になる場合を例に挙げて説明する。
［１－２－３．ページ送り操作受付部］
　ページ送り操作受付部１０２は、ページ送り操作を受け付ける。ページ送り操作は、表示部１４に表示させるページＰＮを指定するための操作である。別の言い方をすれば、ページ送り操作は、表示部１４に表示されたページＰＮを切り替えるための操作である。ページ送り操作は、所定の操作であればよく、例えば、表示部１４に表示されたアイコンを選択する操作であってもよいし、操作部１３がタッチパネルであればフリック操作であってもよい。本実施形態では、表示対象となるのが１つのページＰＮなので、ページ送り操作は、何れか１つのページＰＮを指定するための操作と言える。
［１－２－４．表示制御部］
　本実施形態では、表示制御部１０３は、データ取得部１０１により取得された電子書籍データに基づいて、複数のページＰＮのうち指定されたページＰＮを表示部１４に表示させる。表示制御部１０３は、ページ送り操作により指定されたページＰＮを表示部１４に表示させることになる。例えば、表示制御部１０３は、ページ送り操作受付部１０２によりページ送り操作が受け付けられた場合、表示中のページＰＮの１つ後のページＰＮ＋１又は１つ前のページＰＮ－１を表示部１４に表示させる。
　なお、ページ送り操作により表示対象のページ数そのものを指定できるようにしてもよい。例えば、表示部１４にページＰ２０が表示された状態において、ページＰ２１～Ｐ２９を飛ばして、ページ送り操作でページＰ３０を指定できるようにしてよい。また、本実施形態のように表示対象となるのが１つのページＰＮの場合、表示制御部１０３は、そのページＰＮの全体を表示させてもよいし、ページＰＮ内の一部のみを表示させてもよい。ページＰＮ内の一部のみを表示させる場合、表示制御部１０３は、ユーザが操作部１３を用いて指示した部分を表示させることになる。
［１－２－５．ページ関連データ生成部］
　本実施形態では、ページ関連データ生成部１０４は、表示部１４に表示されたページＰＮよりも前及び後の少なくとも一方のページＰＮ－Ｋ，ＰＮ＋Ｋ（Ｋは自然数）が表示部１４に表示される前に、少なくとも一方のページＰＮ－Ｋ，ＰＮ＋Ｋに基づいてページ関連データを生成してデータ記憶部１００に記録する。なお、ページＰＮ－Ｋは、ページＰＮのＫページだけ前であり、ページＰＮ＋Ｋは、ページＰＮのＫページだけ後である。
　ページ関連データは、各ページＰＮに画像処理を施すことで得られるデータである。本実施形態では、文字領域候補を示すデータが、ページ関連データに相当する場合を説明する。文字領域候補は、文字判定の対象となる領域である。別の言い方をすれば、文字領域候補は、文字が含まれている可能性のある領域である。このため、本実施形態では、ページ関連データ生成部１０４は、少なくとも一方のページＰＮ－Ｋ，ＰＮ＋Ｋが表示部１４に表示される前に、少なくとも一方のページＰＮ－Ｋ，ＰＮ＋Ｋ内の文字領域候補を抽出してページ関連データとして生成して記録することになる。
　ページ関連データ生成部１０４は、あるページＰＮよりも前のページＰＮ－Ｋだけページ関連データを生成してもよいし、後のページＰＮ＋Ｋだけページ関連データを生成してもよいし、これらの両方についてページ関連データを生成してもよい。本実施形態では、ページ関連データ生成部１０４が、表示中のページＰＮの次のページＰＮ＋１のページ関連データを生成する場合を説明する。
　例えば、電子書籍リーダーのアプリケーションが起動すると、表示制御部１０３は１ページ目のページＰ１を表示部１４に表示させることになるが、ページ関連データ生成部１０４は、ページＰ１が表示部１４に表示される前に、ページＰ１のページ関連データを生成して記録する。そして、表示制御部１０３がページＰ１を表示部１４に表示させると、ページ関連データ生成部１０４は、次のページＰ２が表示部１４に表示される前に、ページＰ２のページ関連データを予め生成して記録しておく。そして、ページ送り操作が行われて表示制御部１０３がページＰ２を表示させる場合、ページ関連データ生成部１０４は、次のページＰ３が表示部１４に表示される前に、ページＰ３のページ関連データを予め生成して記録することになる。以降同様にして、ページＰ４～Ｐ５０のページ関連データが生成されることになる。
　なお、本実施形態では、電子書籍リーダーのアプリケーションを終了するまで、ページ関連データ生成部１０４が生成したページ関連データがデータ記憶部１００に保持される場合を説明するが、アプリケーションの終了前に、所定のタイミングでページ関連データが破棄されるようにしてもよい。例えば、表示中のページＰＮからページ数が離れたページ関連データについては、破棄するようにしてもよい。
　次に、ページ関連データを生成する処理の詳細を説明するが、ここでは、表示制御部１０３がページＰ２０を表示部１４に表示させた場合に、次のページＰ２１が表示部１４に表示される前に、ページ関連データ生成部１０４がページＰ２１のページ関連データを生成する場合を例に挙げて説明する。
　図４は、ページＰ２１の一例を示す図である。本実施形態では、漫画を電子書籍の一例として説明するので、図４に示すように、ページＰ２１は、１又は複数のコマ２１を含む。コマ２１は、ページ内で絵や文字が描画される区画である。図４の例では、ページＰ２１は、２つのコマ２１（これらをコマ２１Ａ，２１Ｂとも記載する）を含む。図４の例では、各コマ２１は、枠で囲われているが、枠で囲われていなくてもよい。
　各コマ２１は、絵、吹き出し線、文字等の物体を含む。吹き出し線は、漫画のキャラクタの台詞を表す。キャラクタは、漫画の登場人物であり、人間以外にも動物・ロボット・架空の生物であってもよい。吹き出し線の内側には、キャラクタの台詞を表す１又は複数の文字が含まれている。以降、複数の文字のまとまりのことを文字群という。図３の例では、コマ２１Ａには、キャラクタ２２Ａ、吹き出し線２３Ａ、文字群２４Ａ、及び太陽２５Ａが描かれており、コマ２１Ｂには、キャラクタ２２Ｂ，２２Ｃ、吹き出し線２３Ｂ、文字群２４Ｂ、及び食器２５Ｂが描かれている。なお、キャラクタ２２Ａ～２２Ｃ、太陽２５Ａ、及び食器２５Ｂは、上記説明した絵の一例である。吹き出し線２３Ａは、キャラクタ２２Ａの台詞を示し、吹き出し線２３Ｂは、キャラクタ２２Ｃの台詞を示す。
　本実施形態では、ページ関連データ生成部１０４は、結合制限部１０４Ａ、拡張部１０４Ｂ、及び判定制限部１０４Ｃを含み、下記に説明するように、図４に示すページＰ２１内の文字群２４Ａ，２４Ｂを文字のかたまりとして検出することによって、文字領域候補を示すページ関連データを生成している。
［結合制限部］
　結合制限部１０４Ａは、領域の輪郭又は当該領域自身の大きさが基準以上である場合、当該領域と、後述する拡張部１０４Ｂにより拡張した領域と、が結合することを制限する。例えば、文字群２４Ａが拡張して吹き出し線２３Ａに結合すると、文字群２４Ａを文字のかたまりとして検出できなくなってしまう。このため、結合制限部１０４Ａは、下記に説明するようにして、これらの結合を制限することで、文字群２４Ａの検出の精度を高めるようにしている。
　領域とは、ページＰ２１のうち物体が描かれている部分（画素）であり、背景色（例えば、白）以外の色（例えば、黒又はグレー）の部分である。例えば、キャラクタ２２Ａ～２２Ｃ、吹き出し線２３Ａ，２３Ｂ、文字群２４Ａ，２４Ｂ、太陽２５Ａ、及び食器２５Ｂ等の物体が描かれている部分が、本実施形態でいう領域に相当する。なお、物体は、ページＰ２１の背景以外の部分に表れている描画物といえる。
　輪郭は、領域を縁取ったものであり、本実施形態では、電子書籍表示装置１が線として表現したものを輪郭線と記載する。領域は、輪郭の内部、又は、輪郭と輪郭で挟まれた部分ということもできる。例えば、文字群２４Ａであれば、「Ｌ」の文字は、輪郭の内部が領域であり、「Ｏ」の文字は、外周の輪郭と内周の輪郭とに挟まれた部分が領域である。
　輪郭の大きさは、例えば、輪郭の幅、輪郭線の長さ、輪郭の内側の面積等であってよいが、本実施形態では、輪郭の外接矩形の大きさを、輪郭の大きさとして用いる。領域の大きさは、例えば、領域の幅であってよいが、本実施形態では、領域の外接矩形の大きさを、領域の大きさとして用いる。
　図５は、輪郭と領域の大きさの説明図である。図５のＸｓ軸及びＹｓ軸は、スクリーン座標系の座標軸である。ここでは、領域の一例として吹き出し線２３Ａを挙げて、吹き出し線２３Ａの輪郭の大きさと、吹き出し線２３Ａ自身の大きさと、について説明する。図５では、吹き出し線２３Ａの外周輪郭線と内周輪郭線を破線で描き、吹き出し線２３Ａ自身を実線で描いている。なお、図５では、説明の都合上、実線と破線の間に間隔を設けているが、実際には、これらに間隔はない。
　例えば、輪郭線の外接矩形は、輪郭線のうち、Ｘｓ座標の最小値と及び最大値の間であり、かつ、Ｙｓ座標の最小値と最大値の間の領域である。図５に示す例では、外周輪郭線の外接矩形は、点Ｑ１Ａ～Ｑ４Ａを頂点とする長方形なので、この長方形の大きさが外周輪郭線の大きさに相当する。一方、内周輪郭線の外接矩形は、点Ｑ１Ｂ～Ｑ４Ｂを頂点とする長方形なので、この長方形の大きさが内周輪郭線の大きさに相当する。
　また例えば、吹き出し線２３Ａの外接矩形は、吹き出し線２３Ａが占める画素のうち、Ｘｓ座標の最小値と最大値の間であり、かつ、Ｙｓ座標の最小値と最大値の間の領域である。吹き出し線２３Ａの外接矩形は、点Ｑ１Ｃ～Ｑ４Ｃを頂点とする長方形なので、この長方形の大きさが吹き出し線２３Ａ自身の大きさに相当する。
　結合制限部１０４Ａは、輪郭の大きさと領域自身の大きさの何れを用いてもよいが、本実施形態では、輪郭の大きさを用いる場合を説明する。結合制限部１０４Ａは、ページＰ２１内の各領域の輪郭の外接矩形を抽出し、外接矩形の大きさが基準以上であるか否かを判定する。なお、大きさを示す数値としては、外接矩形の縦幅及び横幅の少なくとも一方が用いられてもよいし、外接矩形の面積が用いられてもよい。他にも例えば、外接矩形の対角線の長さが、大きさを示す数値として用いられてもよい。本実施形態では、大きさを示す数値として、外接矩形の縦幅と横幅の両方が用いられる場合を例に挙げて説明する。
　大きさの基準を示す閾値Ｔ１は、固定値であってもよいし、可変値であってもよい。閾値Ｔ１が固定値である場合には、データ記憶部１００にその値が記憶されており、閾値Ｔ１が可変値である場合には、データ記憶部１００に記憶された数値をもとに計算されることになる。本実施形態では、閾値Ｔ１が固定値である場合を説明する。例えば、結合制限部１０４Ａは、外接矩形の縦幅と横幅がそれぞれ閾値Ｔ１以上であるか否かを判定することによって、各輪郭の大きさが基準以上であるか否かを判定する。
　本実施形態では、結合制限部１０４Ａは、領域の輪郭の大きさが基準以上である場合、当該領域を背景色で塗りつぶすことによって、後述する拡張部１０４Ｂにより拡張した領域と結合することを制限する場合を説明する。背景色は、画像に対して指定された所定の色であり、例えば、画像内で占める割合が最も多い色である。例えば、背景色は、白又は黒である。なお、本実施形態における結合とは、ある領域が他の領域と接触又は重畳して１つの領域となることである。
　例えば、吹き出し線２３Ａの輪郭は比較的大きいので、結合制限部１０４Ａは、吹き出し線２３Ａの輪郭を基準以上の大きさであると判定し、吹き出し線２３Ａを背景色で塗りつぶすことになる。その結果、吹き出し線２３Ａと、後述する拡張部１０４Ｂにより拡張された文字群２４Ａと、が結合することを防止することができるようになっている。具体的には、本実施形態では、結合制限部１０４Ａは、下記のように、（１）２値化反転処理、（２）輪郭抽出処理、（３）輪郭線拡大処理、（４）拡大輪郭線重畳処理を実行することによって、吹き出し線２３Ａ等を塗りつぶすことになる。
［２値化反転処理］
　まず、結合制限部１０４Ａは、ページＰ２１に対して２値化処理と反転処理を実行する。図６は、２値化され反転されたページＰ２１を示す図である。結合制限部１０４Ａは、図３に示すページＰ２１の各画素の画素値と閾値に基づいて２値化処理を実行し、各画素を白又は黒に設定する。２値化処理自体は、公知の種々のアルゴリズムを適用可能であり、例えば、Ｐタイル法やモード法によって閾値を定めてもよい。結合制限部１０４Ａは、２値化した各画素の画素値を反転させ、白の画素を黒にして黒の画素を白にすることによって、図５に示すページＰ２１を、図６に示す状態にする。反転処理自体も、公知の種々の手法を適用可能であり、例えば、各色の画素値の最大値（８ビットグレースケールなら２５５）から画素値の現在値を引くことで反転後の画素値を計算してもよい。
［輪郭抽出処理］
　結合制限部１０４Ａは、２値化して反転させたページＰ２１（図６）に対して輪郭抽出処理を実行し、閉領域の輪郭を抽出する。図７は、図６に示すページＰ２１から抽出された輪郭線を示す図である。図７では、結合制限部１０４Ａが抽出した輪郭線を破線で示している。輪郭線は、所定の太さの線（例えば、１ピクセル）であればよい。また、輪郭線の色は、予め定められた色であればよいが、ここでは黒とする。これは、２値化して反転させたページＰ２１（図６）内の吹き出し線２３Ａ，２３Ｂが白で描かれているため、これを背景色である黒で塗りつぶすためである。
　なお、輪郭抽出処理自体は、公知の種々の輪郭抽出アルゴリズムを適用可能であり、例えば、微分フィルタ、Prewittフィルタ、又はSobelフィルタ等を用いて画像内のエッジを検出することによって、各領域の輪郭を抽出するようにしてよい。また、図６に示すページＰ２１では、キャラクタ２２Ａの左側頭部と左肩がコマ２１Ａの輪郭に触れているので、図７に示すように、キャラクタ２２Ａとコマ２１Ａの輪郭線は一連のものになっている。
［輪郭線拡大処理］
　結合制限部１０４Ａは、輪郭抽出処理によって抽出した輪郭線のうち、基準以上の大きさの輪郭線を拡大する。結合制限部１０４Ａは、各輪郭線の外接矩形を抽出して、その大きさが閾値Ｔ１以上であるか否かを判定することになる。先述したように、本実施形態では、外接矩形の縦幅と横幅を大きさとして用いるので、結合制限部１０４Ａは、外接矩形の縦幅と横幅がそれぞれ閾値Ｔ１以上であるか否かを判定することによって、各輪郭線の大きさが基準以上であるか否かを判定する。
　結合制限部１０４Ａは、基準以上の大きさの輪郭線を拡大する。輪郭線を拡大するとは、輪郭線を太くすることである。輪郭線の拡大の程度（線を太らせるピクセル数）は、固定値であってもよいし、可変値であってもよい。固定値である場合には、データ記憶部１００にその値が記憶されており、可変値である場合には、データ記憶部１００に記憶された数値をもとに計算されることになる。例えば、結合制限部１０４Ａは、輪郭線の位置や輪郭線の大きさに基づいて、当該輪郭線の拡大の程度を計算してもよい。この場合、輪郭線が画像の中央付近にあるほど、その輪郭線が吹き出し線２３Ａ，２３Ｂのものである蓋然性が高いので、輪郭線の拡大の程度を大きくして、より確実に塗りつぶせるようにしてもよい。また例えば、輪郭線が大きいほど、その輪郭線が吹き出し線２３Ａ，２３Ｂのものである蓋然性が高いので、輪郭線の拡大の程度を大きくして、より確実に塗りつぶせるようにしてもよい。本実施形態では、拡大の程度が固定値であり、所定ピクセル分だけ線を太らせる場合を説明する。
　図８は、基準以上の大きさの輪郭線を拡大した後の各輪郭線の状態を示す図である。図８に示す例では、コマ２１Ａ，２１Ｂの輪郭線、キャラクタ２２Ａ～２２Ｃの一部の輪郭線、吹き出し線２３Ａ，２３Ｂの輪郭線、及び太陽２５Ａの一部の輪郭線が所定ピクセル分だけ太くなっている。図８に示すように、結合制限部１０４Ａが輪郭線を拡大させると、近くにある輪郭線同士が結合して１つの太い輪郭線になることがある。例えば、図８に示す例では、吹き出し線２３Ａ，２３Ｂの外周の輪郭線と内周の輪郭線がそれぞれ拡大し、これらが互いに結合して１つの太い輪郭線となっている。
［拡大輪郭線重畳処理］
　結合制限部１０４Ａは、２値化して反転させたページＰ２１（図６）に、拡大した輪郭線（図８）を重畳させる。図９は、拡大した輪郭線が重畳されたページＰ２１を示す図である。図９に示すように、拡大して太い１本になった輪郭線で吹き出し線２３Ａ，２３Ｂを重畳したことによって、吹き出し線２３Ａ，２３Ｂが黒く塗りつぶされている。このため、後述する処理によって、拡張部１０４Ｂが文字群２４Ａ，２４Ｂを拡張したとしても、吹き出し線２３Ａ，２３Ｂに結合しないことになる。
　上記のようにして、吹き出し線２３Ａ，２３Ｂを背景色で塗りつぶすことができる。なお、吹き出し線２３Ａ，２３Ｂを背景色で塗りつぶす方法は、上記説明した方法に限られない。例えば、結合制限部１０４Ａは、基準以上の大きさの輪郭線で挟まれた領域（例えば、吹き出し線２３Ａ，２３Ｂ）を選択して、その選択範囲についてのみ、もう一度色の反転処理をしてもよい。このようにすれば、例えば、図６に示す吹き出し線２３Ａ，２３Ｂの色が白から黒に戻るので、吹き出し線２３Ａ，２３Ｂを黒く塗りつぶすことができる。他にも例えば、結合制限部１０４Ａは、基準以上の大きさの輪郭線で挟まれた領域であり、かつ、当該輪郭線の間隔が一定距離未満である領域を、背景色で塗りつぶすようにしてもよい。更に、例えば、結合制限部１０４Ａは、輪郭線で挟まれた領域が一定距離以上続いている区間を、背景色で塗りつぶすようにしてもよい。結合制限部１０４Ａの処理対象となる領域に、このような条件を追加することによって、当該条件によって特定される領域が、吹き出し線２３Ａ，２３Ｂのような線が描かれた部分である蓋然性が高まる。このため、より確実に、吹き出し線２３Ａ，２３Ｂのような線の部分を塗りつぶし、文字群２４Ａ，２４Ｂと結合することを防止することができる。
　また例えば、吹き出し線２３Ａ，２３Ｂと、文字群２４Ａ，２４Ｂと、を結合させないようにする方法は、吹き出し線２３Ａ，２３Ｂを背景色で塗りつぶす方法に限られない。例えば、結合制限部１０４Ａは、基準以上の大きさの領域の位置（領域を構成する画素の位置）をデータ記憶部１００に記録しておき、後述する拡張部１０４Ｂにより拡張された領域が当該画素に含まれても、その画素は同じ領域とみなさないようにしてもよい。同じ領域とみなさないためには、例えば、同一領域を抽出するラベリング処理において、同じ番号を振らないようにすればよい。他にも例えば、結合制限部１０４Ａは、基準以上の大きさの輪郭線の方向には、拡張部１０４Ｂが領域を拡張しないように制限をするようにしてもよい。このようにすることでも、例えば、文字群２４Ａ，２４Ｂが吹き出し線２３Ａ，２３Ｂの方向には拡張しないので、吹き出し線２３Ａ，２３Ｂと、文字群２４Ａ，２４Ｂと、が結合することを防止することができる。
［拡張部］
　拡張部１０４Ｂは、ページＰ２１内の複数の領域の各々を拡張する。なお、拡張部１０４Ｂは、図９に示すページＰ２１内の全ての領域を拡張してもよいし、結合制限部１０４Ａが抽出した輪郭の大きさが基準以上の領域は拡張せず、輪郭の大きさが基準未満の領域を拡張するようにしてもよい。即ち、例えば、拡張部１０４Ｂは、キャラクタ２２Ａ，２２Ｂ，２２Ｃの目・鼻・口等、文字群２４Ａ，２４Ｂの各文字、太陽２５Ａの一部、食器２５Ｂのように、輪郭の大きさが基準未満のもののみを拡張してもよい。
　なお、領域を拡張するとは、領域を太らせることであり、領域が占める面積を大きくすることである。領域の拡張の程度は、固定値であってもよいし、可変値であってもよい。固定値である場合には、データ記憶部１００にその値が記憶されており、可変値である場合には、データ記憶部１００に記憶された数値をもとに計算されることになる。例えば、拡張部１０４Ｂは、画像における領域の位置や大きさに基づいて、当該領域の拡張の程度を計算してもよい。この場合、領域が画像の中央付近にあるほど、その領域が文字である蓋然性が高いので、領域の拡張の程度を大きくして、より確実に他の文字と結合させるようにしてもよい。また、他の領域との距離が近いほど、その領域が文字群の１文字である蓋然性が高いので、領域の拡張の程度を大きくして、より確実に他の文字と結合させるようにしてもよい。また例えば、領域の大きさが一定範囲（文字と推測される程度の広さ）におさまっていれば、その領域が文字である蓋然性が高いので、領域の拡張の程度を大きくして、より確実に他の文字と結合させるようにしてもよい。本実施形態では、拡張の程度が固定値であり、所定ピクセル分だけ領域を太らせる場合を説明する。
　図１０及び図１１は、拡張部１０４Ｂの処理内容の説明図である。ここでは、拡張部１０４Ｂが、文字群２４Ａの各文字を拡張する場合を例に挙げて説明する。例えば、図１０に示すように、拡張部１０４Ｂは、「Ｈ」を所定ピクセル分だけ拡張する。別の言い方をすれば、拡張部１０４Ｂは、「Ｈ」から所定距離以内にある画素（即ち、「Ｈ」の周囲の画素）を白で塗りつぶす。拡張部１０４Ｂは、文字群２４Ａの「ＨＥＬＬＯ！　ＨＯＷ　ＡＲＥ　ＹＯＵ？」の「Ｈ」以外の文字も、「Ｈ」と同様に所定ピクセル分だけ拡張する。拡張部１０４Ｂが文字群２４Ａの各文字を拡張させると、図１１に示すように、文字群２４Ａの各文字が結合して、文字群２４Ａを１つの領域とすることができる。
　図１２は、拡張部１０４Ｂにより領域が拡張された後の状態を示す図である。図１２に示すように、ここでは、文字群２４Ａ，２４Ｂに含まれる各文字の領域が拡張して互いに結合し、１つの領域になっている。他にも例えば、食器２５Ｂの各領域やキャラクタ２２Ｃの左目・鼻・口も拡張して互いに結合している。他の領域については、拡張はされたものの、付近に別の領域が無かったため結合していない。
［判定制限部］
　判定制限部１０４Ｃは、拡張部１０４Ｂにより拡張した領域（図１２）の輪郭又は当該領域自身の大きさが基準未満である場合、当該領域が操作後文字判定部１０６の判定対象となることを制限する。なお、判定制限部１０４Ｃの説明でも、結合制限部１０４Ａと同様、輪郭の大きさが用いられる場合を説明する。
　上記の基準を示す閾値Ｔ２は、閾値Ｔ１よりも小さくてよい。なお、閾値Ｔ２が固定値であってもよいし、可変値であってもよい点については、閾値Ｔ１と同様である。本実施形態では、外接矩形の縦幅と横幅を大きさとして用いるので、判定制限部１０４Ｃは、外接矩形の縦幅と横幅がそれぞれ閾値Ｔ２以上であるか否かを判定することによって、拡張部１０４Ｂにより拡張した領域の輪郭が基準未満であるか否かを判定する。
　本実施形態では、判定制限部１０４Ｃは、拡張部１０４Ｂにより拡張した領域の輪郭の大きさが基準未満である場合、当該領域を背景色で塗りつぶすことによって、操作後文字判定部１０６の判定対象となることを制限する場合を説明する。図１３は、輪郭の大きさが基準未満である領域が背景色で塗りつぶされた後の状態を示す図である。例えば、キャラクタ２２Ａ，２２Ｃの目・鼻・口等、太陽２５Ａの一部の輪郭が基準未満の大きさであるため、図１３に示すように、判定制限部１０４Ｃは、これらを黒で塗りつぶしている。
　なお、基準未満の大きさの領域を背景色で塗りつぶす以外の方法で、操作後文字判定部１０６の文字判定の対象外とするようにしてもよい。例えば、判定制限部１０４Ｃは、基準未満の大きさの領域の位置をデータ記憶部１００に記録しておき、ユーザがその領域を指定しても操作後文字判定部１０６による判定処理を実行しないようにしてもよい。
　ページ関連データ生成部１０４は、上記のように画像処理を施したページＰ２１に基づいて、文字領域候補を示すページ関連データをデータ記憶部１００に記録する。本実施形態では、判定制限部１０４Ｃによる処理が実行された後のページＰ２１（図１３）内の白画素の閉領域が、文字領域候補となる。
　図１４は、文字領域候補の一例を示す図である。ページ関連データ生成部１０４は、図１３に示すページＰ２１に対して輪郭抽出処理を実行して、白画素の領域の輪郭（図１４に破線で示す）を抽出する。輪郭抽出処理自体は、結合制限部１０４Ａによる処理と同様であってよい。ここでは、ページ関連データ生成部１０４は、閉領域の輪郭を抽出するので、図１３に示すキャラクタ２２Ａについては輪郭を抽出しないことになる。ページ関連データ生成部１０４は、抽出した輪郭線の位置を示すデータを、ページ関連データとしてデータ記憶部１００に記録する。
　なお、ここでは文字領域候補を識別するデータとして、輪郭線の位置を示すデータを例に挙げるが、文字領域候補を識別可能なデータであればよい。例えば、ページ関連データ生成部１０４は、図１３に示すページＰ２１に対してラベリング処理を実行し、白画素が連続する画素に同じ番号を付与することによって、文字領域候補を識別するデータを記録するようにしてもよい。
［１－２－６．指定操作受付部］
　指定操作受付部１０５は、ページＰ２１が表示部１４に表示された場合に、文字領域候補の指定操作を受け付ける。指定操作は、ページＰ２１内の領域を指定するための操作であればよく、例えば、ページＰ２１内の位置を指定する操作である。本実施形態では、操作部１３により表示部１４の表示画面内の位置を指定する操作が指定操作に相当する。操作部１３により指定された位置を含む領域が、指定操作により指定されたことになる。本実施形態では、指定操作は、文字領域候補のうちの何れかを指定する操作といえる。
［１－２－７．操作後文字判定部］
　操作後文字判定部１０６は、指定操作受付部１０５により指定操作が受け付けられた後に、指定操作により指定された文字領域候補に文字が含まれるか否かを判定する。なお、本実施形態では、操作後文字判定部１０６は、図４に示す状態のページＰ２１を用いて判定処理を実行する場合を説明するが、使用する画像の状態に応じて文字判定の方法を変えるようにすれば、図６や図９に示す状態のページＰ２１を用いてもよい。
　例えば、文字パターンの学習データをデータ記憶部１００に記憶させておき、操作後文字判定部１０６は、文字領域候補と、学習データが示す文字パターンと、を比較することによって、文字領域候補内に文字が含まれるか否かを判定する。学習データには、複数の判定項目が定義されており、例えば、下記のような判定項目によって文字判定が行われる。
　図１５は、学習データを用いた文字判定処理の説明図である。まず、第１の判定項目として、操作後文字判定部１０６は、文字領域候補の全体の大きさが基準以上であるか否かを判定する。文字領域候補の大きさは、外接矩形の大きさを用いてもよいし、文字領域候補のピクセル数をカウントしてもよい。ここでは、外接矩形を用いる場合を説明する。この基準を示す閾値Ｔ３は、閾値Ｔ１，Ｔ２と同じであってもよいし、異なっていてもよい。また、閾値Ｔ３は、閾値Ｔ１，Ｔ２と同様、固定値であってもよいし、可変値であってもよい。操作後文字判定部１０６は、外接矩形の大きさが基準以上である場合、文字領域と判定する。
　図１５に示すように、操作後文字判定部１０６は、外接矩形をｎマス×ｍマス（ｎ，ｍは、ともに２以上の整数。ここでは、ｎ＝ｍ＝１０とする。）の矩形領域に区切る。そして、矩形領域の垂直ライン（図１５では１列目～１０列目の各ライン）及び水平ライン（図１５では１行目～１０行目の各ライン）のそれぞれについて、第２の判定項目～第５の判定項目について判定する。なお、全てのマスについて判定処理を行ってもよいし、一部のマス（例えば、外周の一部のマスを除いたマス）についてのみ判定処理を行ってもよい。
　第２の判定項目として、操作後文字判定部１０６は、各ラインの白ピクセルの数が基準数以上であるか否かを判定する。この基準数は、固定値であってもよいし、可変値であってもよい。操作後文字判定部１０６は、白ピクセルの数が基準数以上である場合、文字領域と判定する。第３の判定項目として、操作後文字判定部１０６は、各ラインの画素を端から走査し、白画素と黒画素とが反転した数をカウントし、当該カウント数が基準数以上であるか否かを判定する。この基準数も、固定値であってもよいし、可変値であってもよい。操作後文字判定部１０６は、カウント数が基準数以上である場合、文字領域と判定する。
　第４の判定項目として、操作後文字判定部１０６は、各ラインの画素を端から走査し、最初に白の画素を発見した位置が所定の位置であるか否かを判定する。例えば、操作後文字判定部１０６は、最初に白の画素を発見した位置が端から基準距離以内であれば、文字領域と判定する。第５の判定項目として、操作後文字判定部１０６は、各ラインの画素を端から走査し、最後に白の画素を発見した位置が所定の位置であるか否かを判定する。例えば、操作後文字判定部１０６は、最後に白の画素を発見した位置が端から基準距離以内であれば、文字領域と判定する。
　操作後文字判定部１０６は、学習パターンに定義された第１の判定項目～第５の判定項目の全てについて文字領域であると判定された場合に、文字領域候補が文字領域であると判定するようにしてもよいし、所定数以上（例えば、３つ以上）の判定項目について文字領域であると判定された場合に、文字領域候補が文字領域であると判定するようにしてもよい。
　なお、文字領域候補に文字が含まれるか否かを判定する方法は、上記説明した方法に限られず、公知の種々の手法を適用可能である。例えば、操作後文字判定部１０６は、文字の形状のパターンと文字領域候補とを比較して、互いの類似度を計算することによって、文字領域候補に文字が含まれるか否かを判定してもよい。他にも例えば、教師ありの機械学習手法（ＳＶＭ：Support Vector Machine）を用いて、文字領域候補に文字が含まれるか否かを判定してもよい。この手法では、学習データを用意しておき、複数の項目をパラメータとして判定アルゴリズムに入力すると、判定アルゴリズムは、入力されたパラメータと学習データとを用いて、文字領域候補が文字領域であるか否かの出力を得ることができるようになっている。このような手法を用いることで、例えば、種々の形状の文字や絵が含まれる漫画のような画像であっても、より確実に文字領域を特定することができる。
　本実施形態では、表示制御部１０３は、操作後文字判定部１０６により文字が含まれると判定された文字領域候補内を拡大して表示部１４に表示させる。図１６は、文字群２４Ａが拡大表示される様子を示す図である。図１６に示すように、ユーザが文字群２４Ａに対応する文字領域候補を指定すると、操作後文字判定部１０６により文字判定処理が行われて文字と判定されるので、表示制御部１０３は、文字領域候補内を切り出した拡大画像２６を表示させる。図１６の例では、表示制御部１０３は、図９に示すページＰ２１の文字領域候補内を切り出して拡大させて表示させるので、拡大画像２６は、色が反転した状態で文字が表示されている。
　なお、表示制御部１０３は、図３に示すページＰ２１の文字領域候補内を切り出して拡大させて表示させてもよい。この場合、拡大画像２６における文字の色は反転しないことになる。また、拡大画像２６に切り出す範囲は、図１６のような長方形に限られず、楕円形等の任意の形状であってよい。また、拡大画像２６の表示位置は、ランダムに決定されてもよいし、ユーザが指定した位置に基づいて定まってもよい。また、拡大画像２６における文字の拡大率は、文字領域候補の大きさに基づいて決まってもよいし、所定の拡大率であってもよい。
［１－３．電子書籍表示装置において実行される処理］
　図１７は、電子書籍表示装置１において実行される処理の一例を示すフロー図である。図１７に示す処理は、制御部１０が、記憶部１１に記憶されたプログラムに従って動作することによって実行される。本実施形態では、下記に説明する処理が実行されることにより、図２に示す機能ブロックが実現される。例えば、ユーザが操作部１３を用いて、プログラムの起動を指示した場合に、下記の処理が実行される。
　図１７に示すように、制御部１０は、記憶部１１に記憶されたプログラムを起動し（Ｓ１）、操作部１３からの入力に基づいて、ユーザが指定した電子書籍を特定する（Ｓ２）。例えば、Ｓ１において起動するプログラムは、電子書籍リーダーのアプリケーションである。Ｓ１においては、制御部１０は、記憶部１１に画像データが記憶された電子書籍の一覧を表示部１４に表示させ、Ｓ２において、制御部１０は、一覧の中からユーザにより指定された電子書籍を特定することになる。
　制御部１０は、記憶部１１を参照して、ユーザが指定した電子書籍データを取得する（Ｓ３）。なお、記憶部１１には、ユーザが保有する電子書籍の識別情報と、電子書籍データと、が関連付けられて記憶されているものとする。
　制御部１０は、Ｓ３で取得した電子書籍データに基づいて、電子書籍の最初のページＰ１のページ関連データを生成する処理を実行する（Ｓ４）。図１８は、ページ関連データ生成処理の説明図である。図１８に示すように、制御部１０は、ページ関連データの生成対象となるページＰＮに対して２値化処理と反転処理を実行する（Ｓ４０）。Ｓ４０においては、制御部１０は、２値化して反転したページＰＮ（図６）のデータを生成して記憶部１１に記録する。
　制御部１０は、Ｓ４０で生成したページＰＮ内に対して、輪郭抽出処理を実行する（Ｓ４１）。Ｓ４１においては、制御部１０は、ページＰＮ内の輪郭線（図７）を示すデータを生成して記憶部１１に記録する。
　制御部１０は、Ｓ４１で抽出した輪郭線のうち、基準以上の大きさの輪郭線を拡大させる（Ｓ４２）。Ｓ４２においては、制御部１０は、拡大した輪郭線（図７）を示すデータを生成して記憶部１１に記録する。なお、制御部１０は、このデータを新たに生成するのではなく、Ｓ４１で記憶部１１に記録した輪郭線のデータを更新するようにしてもよい。
　制御部１０は、Ｓ４０で生成したページＰＮに、Ｓ４２で拡大した輪郭線を重畳させる（Ｓ４３）。Ｓ４３においては、制御部１０は、重畳後のページＰＮ（図９）を示すデータを生成して記憶部１１に記録する。なお、制御部１０は、このデータを新たに生成するのではなく、Ｓ４１で記憶部１１に記録したページＰＮのデータを更新するようにしてもよい。
　制御部１０は、Ｓ４３で輪郭線を重畳させたページＰＮ内の領域を拡張させる（Ｓ４４）。Ｓ４４においては、制御部１０は、拡張後のページＰＮ（図１２）を示すデータを生成して記憶部１１に記録する。なお、制御部１０は、このデータを新たに生成するのではなく、Ｓ４１又はＳ４３で記憶部１１に記録したページＰＮのデータを更新するようにしてもよい。
　制御部１０は、Ｓ４４で拡張したページＰＮの領域のうち、基準未満の大きさの領域を除去する（Ｓ４５）。Ｓ４５においては、制御部１０は、基準未満の大きさの領域を除去した後のページＰＮ（図１３）を示すデータを記憶部１１に記録する。なお、制御部１０は、このデータを新たに生成するのではなく、Ｓ４１、Ｓ４３、又はＳ４４で記憶部１１に記録したページＰＮのデータを更新するようにしてもよい。
　制御部１０は、Ｓ４５で領域が除去されたページＰＮに対して、輪郭抽出処理を実行する（Ｓ４６）。Ｓ４６の処理内容は、Ｓ４１と同様であり、Ｓ４６で抽出される輪郭は、文字領域候補の輪郭である。Ｓ４６においては、制御部１０は、Ｓ４５で領域が除去されたページＰＮ内の輪郭線（図１４）を示すデータを生成して、ページＰＮのページ関連データとして記憶部１１に記録する。
　Ｓ４においては、電子書籍の最初のページＰ１に対して上記の処理が実行されて、ページＰ１のページ関連データが生成される。制御部１０は、最初のページＰ１を表示部１４に表示させ（Ｓ５）、表示部１４に表示されたページＰ１の次のページＰ２のページ関連データを生成する（Ｓ６）。Ｓ６においては、制御部１０は、ページＰ２に対して図１８に示すＳ４０～Ｓ４６の処理を実行して、ページＰ２のページ関連データを生成して記憶部１１に記録することになる。
　制御部１０は、操作部１３からの入力を受け付ける（Ｓ７）。ここでは、ユーザは、文字領域候補の指定操作、ページ送り操作、又は終了操作の何れかをすることができるものとする。ユーザが文字領域候補の指定操作をしたと判定された場合（Ｓ７；指定操作）、制御部１０は、指定された文字領域候補内に文字が含まれるか否かを判定する（Ｓ８）。Ｓ８においては、制御部１０は、学習データと文字領域候補内の画素値とに基づいて、文字領域候補内に文字が含まれるか否かを判定する。
　文字領域候補内に文字が含まれると判定された場合（Ｓ８；Ｙ）、制御部１０は、指定操作により指定された文字領域候補内を拡大表示させる（Ｓ９）。Ｓ９においては、制御部１０は、表示中のページＰＮから文字領域候補の内部を切り出して、表示部１４に拡大して表示させる。
　一方、ユーザがページ送り操作をしたと判定された場合（Ｓ７；ページ送り操作）、制御部１０は、次のページＰＮ＋１を表示部１４に表示させ（Ｓ１０）、Ｓ６に戻る。なお、表示中のページＰＮを示す情報は、記憶部１１に記憶されているものとする。Ｓ６に戻った後は、Ｓ１０で表示部１４に表示されるのはページＰＮ＋１になるので、制御部１０は、その次のページＰＮ＋２に対してページ関連データの生成処理を実行することになる。
　一方、ユーザが終了操作をしたと判定された場合（Ｓ７；終了操作）、本処理は終了する。なお、記憶部１１に記録されたページ関連データ等の各種データは、本処理の終了時に破棄してもよいし、表示部１４から該当するページが表示されなくなったときに破棄してもよい。他にも例えば、表示部１４に表示されているページとのページ差が基準以上になった場合に破棄してもよい。
　以上説明した電子書籍表示装置１によれば、電子書籍データとは別に予めページ関連データを記憶部１１に保持しておくのではなく、電子書籍リーダーのアプリケーションが起動してページＰＮが表示部１４に表示される場合に次のページＰＮについてページ関連データを生成するので、ページ関連データを常に保持しておく必要がなくなり、記憶部１１のメモリ使用量を抑えつつ、ページ関連データを利用可能にすることができる。
　また、ページ関連データ生成部１０４が文字領域候補をページ関連データとして生成して記録するので、文字判定まで実行するわけではなく、文字領域候補の抽出まで実行すればよいので、電子書籍表示装置１の処理負荷を軽減しつつ、ページ関連データの生成及び文字判定の実行をすることができる。また、文字判定結果を利用して拡大表示をすることで、文字と判定された領域を見やすくすることができる。
［２．実施形態２］
　次に、本発明の別実施形態について説明する。実施形態１では、あるページＰＮが表示部１４に表示される前に、文字領域候補を予め抽出してページ関連データとして生成し、当該ページＰＮが表示部１４に表示された後に、ユーザが指定した文字領域候補に対して文字判定を実行する場合を説明した。実施形態２では、ページＰＮが表示部１４に表示される前に、文字領域候補ではなく、当該ページＰＮの各領域に対して文字判定まで予め完了する。即ち、実施形態２では、ページＰＮが表示部１４に表示される前に、文字と判定した領域である文字領域の抽出まで完了し、ページ関連データとして生成する場合を説明する。
　なお、実施形態２の電子書籍表示装置１のハードウェア構成は、実施形態１と同様なので、説明を省略する。以降、実施形態１と同様の箇所については説明を省略し、実施形態１と異なる部分について説明する。
［２－１．実施形態２において実現される機能］
　図１９は、実施形態２の機能ブロック図である。実施形態２では、ページＰＮの表示前に文字判定を完了するので、図１９に示すように、電子書籍表示装置１は、操作後文字判定部１０６を含まない。なお、実施形態１の機能ブロックの説明時と同様、ここでは、表示制御部１０３がページＰ２０を表示部１４に表示させた場合に、次のページＰ２１が表示部１４に表示される前に、ページ関連データ生成部１０４がページＰ２１のページ関連データを生成する場合を例に挙げて説明する。
　実施形態２のページ関連データ生成部１０４は、ページＰ２１が表示部１４に表示される前に、ページＰ２１内の文字領域を抽出してページ関連データとして生成して記録する。文字領域は、画像内のうち文字判定処理によって文字と判定された部分である。文字領域の抽出方法自体は、公知の種々の手法を適用可能であり、実施形態１と同様の方法を用いてもよいが、ここでは、光学文字認識（ＯＣＲ：Optical Character Recognition）を用いて、ページＰＮ内の文字を１文字ずつ抽出する場合を説明する。
　実施形態２のデータ記憶部１００は、光学文字認識で用いるテンプレートデータを記憶する。テンプレートデータには、文字コードで表現可能な文字の基本形状が定義されている。ページ関連データ生成部１０４は、ページＰ２１の各領域とテンプレートデータとを比較することによって、ページＰ２１から文字領域を抽出する。
　例えば、ページ関連データ生成部１０４は、ページＰ２１の各領域とテンプレートデータに定義された基本形状とのパターンマッチングを行う。ページ関連データ生成部１０４は、ページＰ２１の各領域の輪郭又は当該領域自身の形状と、テンプレートデータに定義された各文字の輪郭又は文字自身の形状と、の類似度を計算する。ページ関連データ生成部１０４は、類似度が基準以上である領域を文字であると判定する。
　図２０は、光学文字認識の結果を示す図である。図２０に示す例は、図４に示すページＰ２１を光学文字認識した結果を表している。ページ関連データ生成部１０４は、光学文字認識により、文字群２４Ａの「Ｈ」「Ｅ」「Ｌ」「Ｌ」「Ｏ」「！」「Ｈ」「Ｏ」「Ｗ」「Ａ」「Ｒ」「Ｅ」「Ｙ」「Ｏ」「Ｕ」「？」をそれぞれ文字として判定する。同様に、ページ関連データ生成部１０４は、文字群２４Ｂの「Ｆ」「Ｉ」「Ｎ」「Ｅ」「！」「Ｔ」「Ｈ」「Ａ」「Ｎ」「Ｋ」「Ｙ」「Ｏ」「Ｕ」「！」をそれぞれ文字として判定する。ページ関連データ生成部１０４は、これら各文字を別個の文字領域として抽出してもよいが（即ち、１文字につき１つの文字領域として抽出してもよいが）、実施形態２では、距離が近い文字同士をグルーピングして１つの文字領域として抽出する場合を説明する。
　ページ関連データ生成部１０４は、文字と特定した各領域同士の距離（スクリーン座標系における距離）を計算し、基準距離Ｌ１以内の文字同士を同じグループとする。例えば、ページ関連データ生成部１０４は、文字群２４Ａの一部である「ＨＥＬＬＯ！」の「Ｈ」と「Ｅ」の距離を計算し、互いの距離が基準距離Ｌ１以内であるか否かを判定する。ここでは、基準距離Ｌ１以内であるので、「Ｈ」と「Ｅ」を同じグループと判定し、「Ｈ」と「Ｅ」のそれぞれにグループ番号「１番」を付与する。各文字に対して同様の処理が実行されると、「Ｈ」「Ｅ」「Ｌ」「Ｌ」「Ｏ」「！」「Ｈ」「Ｏ」「Ｗ」「Ａ」「Ｒ」「Ｅ」「Ｙ」「Ｏ」「Ｕ」「？」の各々に対して「１番」のグループ番号が付与され、「Ｆ」「Ｉ」「Ｎ」「Ｅ」「！」「Ｔ」「Ｈ」「Ａ」「Ｎ」「Ｋ」「Ｙ」「Ｏ」「Ｕ」「！」の各々に対して、「２番」のグループ番号が付与される。これにより、ページ関連データ生成部１０４は、文字群２４Ａの「ＨＥＬＬＯ！　ＨＯＷ　ＡＲＥ　ＹＯＵ？」をひとかたまりの文字領域として抽出し、文字群２４Ｂの「ＦＩＮＥ！　ＴＨＡＮＫ　ＹＯＵ！」をひとかたまりの文字領域として抽出することができる。
　ページ関連データ生成部１０４は、上記のように抽出した文字領域を示すページ関連データをデータ記憶部１００に記録することになる。ここでは、ページ関連データには、グループ番号と、当該グループ番号に属する領域の位置（スクリーン座標系における画素の座標）と、が関連付けられている。
　なお、実施形態１の指定操作受付部１０５は、文字領域候補の指定操作を受け付けたが、実施形態２の指定操作受付部１０５は、ページＰ２１が表示部１４に表示された場合に、文字領域の指定操作を受け付ける。例えば、操作部１３により指定された位置を含む文字領域が、指定操作により指定されることになる。
　また、実施形態２の表示制御部１０３は、指定操作受付部１０５により指定操作が受け付けられた場合に、指定操作により指定された文字領域内を拡大して表示部１４に表示させることになる。例えば、表示制御部１０３は、指定操作により指定された文字領域のグループ番号が付与された各文字を切り出して、拡大画像２６として表示させる。拡大画像２６が表示される様子は、実施形態１で説明した図１６と同様である。拡大画像２６の各文字の色を反転してもよいし、反転せずにそのままの色で表示させてもよい点も、実施形態１と同様である。
［２－２．実施形態２において実行される処理］
　図２１は、実施形態２のフロー図である。図２１に示すように、Ｓ２１～Ｓ２３は、Ｓ１～３と同様である。Ｓ２４は、最初のページＰ１のページ関連データを生成する点はＳ４と同様であるが、ページ関連データは、実施形態１では文字領域候補を示し、実施形態２では文字領域を示すので、Ｓ２４の処理内容は、Ｓ４と異なる。
　図２２は、実施形態２のページ関連データ生成処理の説明図である。図２２に示すように、まず、制御部１０は、ページＰＮに対して輪郭抽出処理を実行する（Ｓ２４０）。輪郭抽出処理自体は、Ｓ４１と同様である。制御部１０は、ページＰＮ内の輪郭線を示すデータを生成して記憶部１１に記録する。なお、Ｓ２４０における輪郭抽出処理は、ページＰＮ内の領域を抽出するためのものであり、輪郭抽出以外の方法で領域を抽出してもよい。
　制御部１０は、Ｓ２４０で輪郭を抽出した各領域と、記憶部１１に記憶されたテンプレートと、に基づいて、当該領域が文字であるか否かを判定する（Ｓ２４１）。Ｓ２４１においては、制御部１０は、互いの類似度を計算して基準以上であるか否かを判定することになる。制御部１０は、基準以上の類似度となる領域を示すデータを記憶部１１に記録する。
　制御部１０は、Ｓ２４１で文字と判定した各領域の距離を計算して、領域同士のグルーピングをする（Ｓ２４２）。Ｓ２４２においては、制御部１０は、Ｓ２４１で記録した各領域のスクリーン座標系での距離を計算し、基準距離Ｌ１以内となる領域に同じグループ番号を付与する。
　制御部１０は、Ｓ２４２でグルーピングした領域に基づいて、文字領域を抽出する（Ｓ２４３）。Ｓ２４３においては、制御部１０は、グループ番号と、当該グループ番号が付与された領域と、を示すデータを生成して、ページ関連データとして記憶部１１に記録する。
　図１７に戻り、Ｓ２５～Ｓ２７は、それぞれＳ５，Ｓ２４，Ｓ７と同様である。Ｓ２６においては、ページＰ２に対してＳ２４０～Ｓ２４３の処理が実行されて、ページＰ２の文字領域が抽出されることになる。なお、実施形態２の指定操作は、実施形態１のように文字領域候補を指定する操作ではなく、文字領域を指定する操作である。なお、実施形態２では、既に文字判定が完了しているので、実施形態１とは異なり、Ｓ８の処理は実行されない。
　ユーザが文字領域の指定操作をしたと判定された場合（Ｓ２７；指定操作）、制御部１０は、指定操作により指定された文字領域を拡大表示させる（Ｓ２８）。Ｓ２８においては、制御部１０は、表示中のページＰＮから文字領域を切り出して、表示部１４に拡大して表示させる。なお、Ｓ２９は、Ｓ１０と同様であり、制御部１０は、ページ送り操作に応じて次のページＰＮ＋１を表示部１４に表示させて、Ｓ２６に戻る。この場合、Ｓ２６においては、表示部１４にはページＰＮ＋１が表示されているので、その次のページＰＮ＋２に対してＳ２４０～Ｓ２４３の処理が実行されて、ページＰＮ＋２の文字領域が抽出されることになる。
　以上説明した実施形態２によれば、電子書籍データとは別に予めページ関連データを記憶部１１に保持しておくのではなく、電子書籍リーダーのアプリケーションが起動してページＰＮが表示部１４に表示される場合に次のページＰＮについてページ関連データを生成するので、ページ関連データを常に保持する必要がなくなり、記憶部１１のメモリ使用量を抑えつつ、ページ関連データを利用可能にすることができる。更に、実施形態１のように指定操作をしてから文字判定を行うわけではなく、予め文字領域の抽出まで完了するため、指定操作が行われてから拡大表示するまでの時間を短縮することができる。
［３．変形例］
　なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
　（１）まず、実施形態１に関連する変形例を説明する。図２３は、変形例（１）の機能ブロック図である。図２３に示すように、実施形態１の機能に加えて、操作前文字判定部１０７と大きさ判定部１０８が実現される。これらの機能は、制御部１０を主として実現される。なお、ここでは、実施形態１と同様、ページ関連データ生成部１０４がページＰ２１のページ関連データを生成する場合を例に挙げて説明する。
　（１－１）例えば、ページＰ２１に対して指定操作が行われる前に、ページＰ２１内の文字領域候補に対して簡易的な文字判定処理を実行しておき、簡易的な文字判定処理によって文字が含まれないと判定された文字領域候補に対しては詳細な文字判定処理を実行せず、簡易的な文字判定処理によって文字が含まれると判定された文字領域候補に対して詳細な文字判定処理を実行するようにしてもよい。
　変形例（１－１）では、操作前文字判定部１０７が実現される。操作前文字判定部１０７は、指定操作受付部１０５により指定操作が受け付けられる前に、文字領域候補に対して第１の文字判定処理を実行する。第１の文字判定処理としては、種々の文字判定処理を適用可能であるが、後述する第２の文字判定処理よりも精度が低いものである。ここでの精度が低いとは、文字を検出する精度のことである。
　第１の文字判定処理は、第２の文字判定処理よりも簡易であり、処理を完了するまでの時間が第２の文字判定処理よりも短い。第１の文字判定処理における判定項目は、第２の文字判定処理よりも少ない。例えば、第１の文字判定処理では、輪郭の形状のみを判定し、第２の文字判定処理では、形状とそれ以外の要素（例えば、周囲の領域との位置関係や白画素と黒画素のパターン）について判定するようにしてもよい。
　ここでは、第２の文字判定処理は、実施形態１で説明した第１の判定項目～第５の判定項目の全てを実行し、第１の文字判定処理は、第１の判定項目だけを行うものとする。なお、第１の文字判定処理は、第１の判定項目ではなく、第２の判定項目～第５の判定項目の何れかだけを行ってもよいし、第１の判定項目～第５の判定項目のうちの何れか２つ以上４つ以下の判定項目について判定処理を実行してもよい。
　図１４の例の場合、文字領域候補としては、文字群２４Ａ，２４Ｂ以外にも、キャラクタ２２Ｂ、太陽２５Ａ、食器２５Ｂが抽出されているが、操作前文字判定部１０７は、事前に第１の文字判定処理を実行することによって、比較的小さい太陽２５Ａ、食器２５Ｂには文字が含まれていないと判定する。このため、ページＰ２１が表示部１４に表示される前に、第２の文字判定処理の対象となりうる文字領域候補が、文字群２４Ａ，２４Ｂと、キャラクタ２２Ｂに絞り込まれている。
　操作後文字判定部１０６は、操作前文字判定部１０７により文字が含まれると判定された文字領域候補が指定操作により指定された場合に、第１の文字判定処理よりも精度の高い第２の文字判定処理を実行する。第２の文字判定処理は、実施形態１で説明したものと同様であってよい。操作後文字判定部１０６は、操作前文字判定部１０７により文字が含まれないと判定された文字領域候補が指定操作により指定されたとしても、当該文字領域候補に対しては第２の文字判定処理を実行しないことになる。
　なお、操作前文字判定部１０７により文字が含まれないと判定された文字領域候補が操作後文字判定部１０６の判定対象とならないようにすればよく、指定操作受付部１０５が、当該文字領域候補の指定操作を受け付けないように制限してもよいし、当該文字領域候補の指定操作の受け付けは制限しないが、操作後文字判定部１０６が第２の文字判定処理を単に実行しないようにしてもよい。
　変形例（１－１）によれば、比較的簡易な第１の文字判定処理を事前にすることで、文字領域候補を予め絞り込むことができる。例えば、第１の文字判定処理により文字を含まないと判定された文字領域候補を示すページ関連データを破棄すれば、メモリ容量を有効活用することができる。また、文字領域候補を絞り込むことにより、第１の文字判定処理により文字ではないと判定された文字領域候補に対しては詳細な第２の文字判定処理を実行しなくてよくなるので、電子書籍表示装置１の処理負荷を軽減することができる。
　（１－２）また例えば、ページＰ２１内の文字領域候補が少ない場合は絵が多く文字が少ないので、ページＰ２１が表示部１４に表示されたとしても、ユーザがページＰ２１をすぐに読んで次のページＰ２２へのページ送り操作を行う蓋然性が高い。ページＰ２１の表示時間が短い場合、ページＰ２２が表示されるまでに、ページＰ２２の文字領域候補の抽出が間に合わない可能性がある。このため、ページＰ２１内の文字領域候補が少ない場合は、ページＰ２１が表示される前であっても、次のページＰ２２の文字領域候補の抽出をするようにしてもよい。
　ページ関連データ生成部１０４は、ページＰ２１内の文字領域候補の数が基準未満である場合、ページＰ２１の次のページＰ２２の文字領域候補を更に抽出してページ関連データとして生成して記録するようにしてもよい。この基準を示す閾値Ｔ４は、固定値であってもよいし、可変値であってもよい。
　ページ関連データ生成部１０４は、ページＰ２１に対して抽出した文字領域候補の数をカウントし、閾値Ｔ４以上であるか否かを判定する。ページ関連データ生成部１０４は、ページＰ２１の文字領域候補の数が閾値Ｔ４以上であると判定した場合、ページＰ２０が表示部１４に表示されている間は、ページＰ２２の文字領域候補はまだ抽出しない。この場合、ページＰ２２の文字領域候補は、ページＰ２１が表示部１４に表示された場合に抽出されることになる。
　一方、ページ関連データ生成部１０４は、ページＰ２１の文字領域候補の数が閾値Ｔ４未満であると判定した場合、ページＰ２０が表示部１４に表示されている状態であっても（ページＰ２１が表示部１４に表示される前であっても）、ページＰ２２の文字領域候補を抽出する。文字領域候補の抽出方法自体は、実施形態１で説明した方法と同じである。
　変形例（１－２）によれば、ページＰ２１の文字領域候補の数が少ない場合には、次のページＰ２２に対してもページ関連データを生成するので、ユーザがページＰ２１をわずかな時間で読んでページＰ２２を表示させたとしても、ページＰ２２が表示部１４に表示されるときにはページ関連データの生成を終えることができる。その結果、ユーザがページＰ２２に対して指定操作をしても、ページ関連データの生成が終了しておらず、拡大表示が間に合わないようなことを防止することができる。
　（１－３）また例えば、実施形態１では、判定制限部１０４Ｃにより、小さい領域を予め除去しておき、操作後文字判定部１０６による文字判定の対象外となるようにしたが、判定制限部１０４Ｃを省略して、ページ関連データ生成部１０４が、小さい領域であっても文字領域候補として抽出するようにしてもよい。この場合、ページ関連データ生成部１０４は、文字領域候補の大きさを判定して、文字領域候補が小さければ、操作後文字判定部１０６による文字判定の対象外とするようにしてもよい。
　変形例（１－３）では、大きさ判定部１０８が実現される。大きさ判定部１０８は、文字領域候補の輪郭又は文字領域候補自身の大きさが基準以上であるか否かを判定する。この基準は、実施形態１の判定制限部１０４Ｃが使用した閾値Ｔ２と同じであってよい。大きさ判定部１０８の判定方法は、実施形態１の判定制限部１０４Ｃによる判定方法と同じである。
　操作後文字判定部１０６は、大きさ判定部１０８により基準未満の大きさと判定された文字領域候補は判定対象とせず、大きさ判定部１０８により基準以上の大きさと判定された文字領域候補に文字が含まれるか否かを判定する。即ち、操作後文字判定部１０６は、基準未満の大きさと判定された文字領域候補は、文字判定の対象となることを制限する。この制限方法は、実施形態１で説明した判定制限部１０４Ｃと同じであってよい。即ち、操作後文字判定部１０６は、文字領域候補の輪郭の大きさが基準未満である場合、当該文字領域候補を背景色で塗りつぶすようにしてよい。
　変形例（１－３）によれば、基準未満の大きさの文字領域候補については文字判定の対象とはしないので、文字領域である蓋然性が低い領域に対して文字判定が行われることを防止することができ、電子書籍表示装置１の処理負荷を軽減することができる。例えば、基準未満の大きさの文字領域候補を示すページ関連データを破棄すれば、メモリ容量を有効活用することができる。
　（１－４）また例えば、ユーザは、ページＰ２１を上の方から下に向けて順番に読むため、ページＰ２１が表示部１４に表示される前に、ページＰ２１の全体ではなく、ページＰ２１の上の方のみ（即ち、ユーザが先に読む部分のみ）、文字領域候補を抽出するようにしてもよい。
　本変形例のページ関連データ生成部１０４は、第１抽出部１０４Ｄと第２抽出部１０４Ｅの少なくとも一方を含む。第１抽出部１０４Ｄは、ページＰ２１の下部領域は文字領域候補を抽出せずに上部領域内の文字領域候補を抽出する。
　図２４は、ページＰ２１の上部領域及び下部領域の説明図である。図２４に示す例では、ページＰ２１のキャラクタ２２Ａ等を省略している。例えば、ページＰ２１の左上をスクリーン座標系の原点ＯＳとすると、上部領域Ｐ２１Ｕは、ページＰ２１の上端（ＹＳ＝０）から所定距離Ｄ１以内の部分である。下部領域Ｐ２１Ｕは、ページＰ２１の下端（ＹＳ＝ＹＭＡＸ）から所定距離Ｄ２以内の部分であり、ここでは、上部領域Ｐ２１Ｕ以外の部分である。第１抽出部１０４Ｄは、ページＰ２１の全体ではなく、上部領域Ｐ２１Ｕについてのみ、文字領域候補を抽出する。文字領域候補の抽出方法は、実施形態１と同様であってよい。
　第２抽出部１０４Ｅは、ページＰ２１内の各文字領域の読み順に、基準数になるまで文字領域候補を抽出する。文字領域の読み順とは、ページＰ２１内に複数の文字領域が散らばっている場合の各文字領域の読み順である。例えば、文字が横書きであれば、左上に近い方が早い順番になり、文字が縦書きであれば、右上に近い方が早い順番になる。
　図２５は、ページＰ２１における読み順の説明図である。図２５の例では、ページＰ２１は、３つのコマ２１Ａ～２１Ｃを含む。コマ２１Ａは、キャラクタ２２Ａ，２２Ｂと、吹き出し線２３Ａ，２３Ｂと、文字群２４Ａ，２４Ｂと、を含む。コマ２１Ｂは、キャラクタ２２Ｃと、吹き出し線２３Ｃと、文字群２４Ｃと、を含む。コマ２１Ｃは、キャラクタ２２Ｄと、吹き出し線２３Ｄと、文字群２４Ｄと、を含む。ここでは、４つの文字群２４Ａ～２４Ｄがあるが、ここでは文字が横書きなので、これらの読み順は、ページＰ２１の左上である原点ＯＳに近い順となり、文字群２４Ａ・２４Ｂ・２４Ｃ・２４Ｄとなる。ここで、基準数を２つとすると、第２抽出部１０４Ｅは、ページＰ２１内の各文字領域の読み順に、文字群２４Ａ・２４Ｂに対応する文字領域候補まで抽出することになる。第２抽出部１０４Ｅは、それ以降の文字領域候補は所定のタイミングが到来するまで抽出しない。
　変形例（１－４）によれば、ページＰ２１が表示部１４に表示された場合にユーザが先に読む蓋然性が高い上部領域Ｐ２１Ｕや読み順が先の部分に対して優先的にページ関連データを生成するので、ユーザがページＰ２２に対して指定操作をしても、ページ関連データの生成が終了しておらず、拡大表示が間に合わないようなことを防止することができる。
　（２）次に、実施形態２に関連する変形例を説明する。図２６は、変形例（２）の機能ブロック図である。図２６に示すように、実施形態２の機能に加えて、文字領域候補抽出部１０４Ｆと大きさ判定部１０４Ｇが実現される。なお、変形例２では、実施形態２と同様、ページ関連データ生成部１０４がページＰ２１のページ関連データを生成する場合を例に挙げて説明する。
　（２－１）例えば、実施形態２では、ページ関連データ生成部１０４が光学文字認識を利用して文字領域を抽出する場合を説明したが、実施形態１と同様の方法で文字領域を抽出してもよい。変形例（２－１）では、文字領域候補抽出部１０４Ｆが実現される。文字領域候補抽出部１０４Ｆは、ページＰ２１が表示部１４に表示される前に、ページＰ２１内の文字領域候補を抽出する。
　文字領域候補抽出部１０４Ｆは、実施形態１で説明したページ関連データ生成部１０４と同様の機能である。文字領域候補抽出部１０４Ｆは、図４に示す状態のページＰ２１から図１４に示す文字領域候補を抽出することになる。
　ページ関連データ生成部１０４は、文字領域候補に文字が含まれるか否かを判定することによって、文字領域を抽出することになる。この判定方法は、実施形態１で説明した操作後文字判定部１０６と同じであってよい。
　変形例（２－１）によれば、文字領域候補に対して文字判定を実行すればよくなるので、画像全体に対して文字判定を行う場合よりも効率よく文字判定をすることができる。
　（２－２）また例えば、実施形態２でも、変形例（１－１）と同様に、簡易的な文字判定処理と、詳細な文字判定処理と、の２段階の文字判定を実行してもよい。ページ関連データ生成部１０４は、ページＰ２１が表示部１４に表示される前に、文字領域候補に対して第１の文字判定処理を実行する。第１の文字判定処理は、変形例（１－１）と同様である。
　ページ関連データ生成部１０４は、当該第１の文字判定処理により文字が含まれると判定された文字領域候補に対して、第１の文字判定処理よりも精度の高い第２の文字判定処理を実行することによって、文字領域を抽出する。第２の文字判定処理は、変形例（１－１）と同様である。
　変形例（２－２）によれば、比較的簡易な第１の文字判定処理を事前にすることで、文字領域候補を予め絞り込むことができる。例えば、第１の文字判定処理により文字を含まないと判定された文字領域候補を示すページ関連データを破棄すれば、メモリ容量を有効活用することができる。また、文字領域候補を絞り込むことにより、第１の文字判定処理により文字ではないと判定された文字領域候補に対しては詳細な第２の文字判定処理を実行しなくてよくなるので、電子書籍表示装置１の処理負荷を軽減することができる。
　（２－３）また例えば、実施形態２でも、変形例（１－３）と同様に、文字領域候補が小さければ、操作後文字判定部１０６による文字判定の対象外とするようにしてもよい。変形例（２－３）では、大きさ判定部１０４Ｇが実現される。大きさ判定部１０４Ｇの機能は、変形例（１－３）の大きさ判定部１０８と同じである。
　ページ関連データ生成部１０４は、大きさ判定部１０４Ｇにより基準未満の大きさと判定された文字領域候補は判定対象とせず、大きさ判定部１０４Ｇにより基準以上の大きさと判定された文字領域候補に文字が含まれるか否かを判定することによって、文字領域を抽出することになる。この処理内容自体は、変形例（１－３）の操作後文字判定部１０６や実施形態１の判定制限部１０４Ｃと同じであってよい。
　変形例（２－３）によれば、基準未満の大きさの文字領域候補については文字判定の対象とはしないので、文字領域である蓋然性が低い領域に対して文字判定が行われることを防止することができ、電子書籍表示装置１の処理負荷を軽減することができる。例えば、基準未満の大きさの文字領域候補を示すページ関連データを破棄すれば、メモリ容量を有効活用することができる。
　（２－４）また例えば、実施形態２でも、変形例（１－２）と同様に、ページＰ２１のから抽出された文字領域の数が少なければ、ページＰ２１が表示部１４に表示されたとしても、ユーザがページＰ２１をすぐに読んで次のページＰ２２へのページ送り操作を行う蓋然性が高い。このため、ページ関連データ生成部１０４は、ページＰ２１内の文字領域の数が基準未満である場合、ページＰ２１の次のページＰ２２内の文字領域を更に抽出してページ関連データとして生成して記録するようにしてもよい。変形例（１－２）ではページＰ２２の文字領域候補が抽出され、変形例（２－４）ではページＰ２２の文字領域が抽出される点ではことなるが、他の点は変形例（１－２）と同じである。
　変形例（２－４）によれば、ページＰ２１の文字領域の数が少ない場合には、次のページＰ２２に対してもページ関連データを生成するので、ユーザがページＰ２１をわずかな時間で読んでページＰ２２を表示させたとしても、ページＰ２２が表示部１４に表示されるときにはページ関連データの生成を終えることができる。その結果、ユーザがページＰ２２に対して指定操作をしても、ページ関連データの生成が終了しておらず、拡大表示が間に合わないようなことを防止することができる。
　（２－５）また例えば、実施形態２でも、変形例（１－４）と同様に、ページＰ２１の上部領域のみ文字領域を抽出するようにしてもよい。変形例（２－５）のページ関連データ生成部１０４は、第１抽出部１０４Ｄと第２抽出部１０４Ｅの少なくとも一方を含む。
　第１抽出部１０４Ｄは、ページＰ２１の下部領域Ｐ２１Ｄは文字領域を抽出せずに上部領域Ｐ２１Ｕ内の文字領域を抽出する。第１抽出部１０４Ｄは、上部領域Ｐ２１Ｕのみを文字領域の抽出対象とする。上部領域Ｐ２１Ｕや下部部域Ｐ２１Ｄの意味は、変形例（１－４）で説明した通りである。第２抽出部１０４Ｅは、ページＰ２１内の各文字領域の読み順に、基準数になるまで文字領域を抽出する。読み順の意味は、変形例（１－４）で説明した通りである。ここで、基準数を２つとすると、第２抽出部１０４Ｅは、ページＰ２１内の各文字領域の読み順に、文字群２４Ａ・２４Ｂに対応する文字領域まで抽出することになる。第２抽出部１０４Ｅは、それ以降の文字領域は所定のタイミングが到来するまで抽出しない。
　変形例（２－５）によれば、ページＰ２１が表示部１４に表示された場合にユーザが先に読む蓋然性が高い上部領域Ｐ２１Ｕや読み順が先の部分に対して優先的にページ関連データを生成するので、ユーザがページＰ２２に対して指定操作をしても、ページ関連データの生成が終了しておらず、拡大表示が間に合わないようなことを防止することができる。
　（３）以降、実施形態１，２の両方に関連する変形例について説明する。ここでは、変形例（３）の各構成を実施形態１に適用した場合を説明するが、変形例（３）の構成は、実施形態２にも適用可能である。
　図２７は、変形例（３）の機能ブロック図である。図２７に示すように、実施形態１の機能に加えて、履歴データ取得部１０９、ページデータ取得部１１０、年齢取得部１１１、及びサイズ取得部１１２の少なくとも１つが実現される。これらの機能は、制御部１０を主として実現される。なお、変形例（３）では、実施形態１と同様、ページ関連データ生成部１０４がページＰ２１のページ関連データを生成する場合を例に挙げて説明する。
　（３－１）例えば、ユーザによっては指定操作をあまり行わず、拡大表示の必要性が低いこともある。このため、ユーザによる過去の指定操作の履歴を記録しておき、拡大表示を必要とするユーザについてのみ、ページ関連データの生成を行うようにしてもよい。
　変形例（３－１）では、履歴データ取得部１０９が実現される。履歴データ取得部１０９は、当該電子書籍表示装置１のユーザによる指定操作の履歴に関する履歴データを記憶するデータ記憶部１００に記憶された履歴データを取得する。履歴データは、過去の全期間における指定操作の回数を示してもよいし、一定期間における指定操作の回数を示してもよい。更に、履歴データは、指定操作が行われたページ数を示してもよい。例えば、指定操作受付部１０５は指定操作を受け付けると履歴データを更新する。
　本変形例のページ関連データ生成部１０４は、頻度判定部１０４Ｈを含む。頻度判定部１０４Ｈは、履歴データに基づいて、ユーザによる指定操作の頻度が基準以上であるか否かを判定する。例えば、頻度判定部１０４Ｈは、過去の全期間における指定操作の回数が基準以上であるか否かを判定してもよいし、一定期間における指定操作の回数が基準以上であるか否かを判定してもよい。他にも例えば、頻度判定部１０４Ｈは、現在表示中のページ数と、ユーザが指定操作をした直近のページ数と、の差が基準数以上であるか否か（即ち、基準ページ数以上連続して指定操作をしていないか否か）を判定してもよい。
　ページ関連データ生成部１０４は、頻度判定部１０４Ｈにより基準以上であると判定された場合にページ関連データを生成して記録する。即ち、ページ関連データ生成部１０４は、頻度判定部１０４Ｈにより基準未満であると判定された場合にはページ関連データを生成しない。
　変形例（３－１）によれば、ユーザによる指定操作の頻度を参照してページ関連データの生成の要否を決定するので、ユーザの傾向に応じた処理を行うことができる。即ち、拡大表示をする必要性が低いユーザに対しては、ページ関連データを予め生成しなくてもよいので、このようなユーザの場合はページ関連データを生成しないことで、メモリ容量を有効活用し、かつ、電子書籍表示装置１の処理負荷も軽減することができる。
　（３－２）また例えば、ユーザが繰り返し電子書籍を読む場合、前回の読書時に拡大表示をしたページは、今回も表示をする蓋然性が高い。このため、ユーザが拡大表示をさせたページを記録しておいて、そのページについてはページ関連データを生成し、他のページについてはページ関連データを生成しないようにしてもよい。
　変形例（３－２）では、ページデータ取得部１１０が実現される。ページデータ取得部１１０は、当該電子書籍表示装置１のユーザにより指定操作が行われたページに関するページデータを記憶するデータ記憶部１００に記憶されたページデータを取得する。ページデータは、ユーザが指定操作を行ったページ数が格納される。例えば、指定操作受付部１０５は指定操作を受け付けるとページデータを更新する。
　ページ関連データ生成部１０４は、過去判定部１０４Ｉを含む。過去判定部１０４Ｉは、ページデータに基づいて、ユーザによりページＰ２１に対して過去に指定操作が行われたか否かを判定する。過去判定部１０４Ｉは、ページデータを参照して、現在表示部１４に表示されたページＰ２０の次のページＰ２１に対して過去に指定操作が行われたか否かを判定することになる。
　ページ関連データ生成部１０４は、過去判定部１０４Ｉにより指定操作が行われたと判定された場合にページ関連データを生成して記録する。即ち、ページ関連データ生成部１０４は、過去判定部１０４Ｉにより指定操作が行われたと判定されない場合にはページ関連データを生成しない。
　変形例（３－２）によれば、ユーザによる各ページに対する指定操作の有無を参照してページ関連データの生成の要否を決定するので、ユーザの傾向に応じた処理を行うことができる。即ち、拡大表示をする必要性が低いページに対しては、ページ関連データを予め生成しなくてもよいので、このようなページに対してはページ関連データを生成しないことで、メモリ容量を有効活用し、かつ、電子書籍表示装置１の処理負荷も軽減することができる。
　（３－３）また例えば、ユーザは、同じ電子書籍を読んだ他のユーザが拡大表示したページは拡大表示する蓋然性が高い。このため、他のユーザが拡大表示をさせたページを記録しておいて、そのページについてはページ関連データを生成し、他のページについてはページ関連データを生成しないようにしてもよい。
　変形例（３－３）では、ページデータ取得部１１０が実現される。ページデータ取得部１１０は、当該電子書籍表示装置１のユーザ以外の他のユーザにより指定操作が行われたページに関するページデータを記憶するサーバコンピュータに記憶されたページデータを取得する。ページデータ取得部１１０は、ネットワークを介してページデータを取得する。なお、サーバコンピュータは、電子書籍を管理しており、電子書籍をダウンロードしたユーザが指定操作を行うと、当該ユーザの電子書籍表示装置１からサーバコンピュータに対して、指定操作をしたページＰＮを示すデータが送信される。サーバコンピュータは、当該データを受信すると、データベースに格納されたページデータを更新する。
　過去判定部１０４Ｉは、ページデータに基づいて、他のユーザにより少なくとも一方のページに対して過去に指定操作が行われたか否かを判定する。この判定方法は、変形例（３－２）と同じである。ページ関連データ生成部１０４は、過去判定部１０４Ｉにより指定操作が行われたと判定された場合にページ関連データを生成して記録する。即ち、ページ関連データ生成部１０４は、過去判定部１０４Ｉにより指定操作が行われたと判定されない場合にはページ関連データを生成しない。
　変形例（３－３）によれば、他のユーザによる各ページに対する指定操作の有無を参照してページ関連データの生成の要否を決定するので、一般的なユーザの傾向を考慮して処理を行うことができる。即ち、他のユーザが拡大表示をする必要性が低いと感じているページに対しては、電子書籍表示装置１のユーザも指定操作をする蓋然性は低く、ページ関連データを予め生成しなくてもよいので、このようなページに対してはページ関連データを生成しないことで、メモリ容量を有効活用し、かつ、電子書籍表示装置１の処理負荷も軽減することができる。
　（３－４）また例えば、年齢の高いユーザは、拡大表示をする蓋然性が高い。このため、年齢の高いユーザについてのみページ関連データを生成するようにしてもよい。変形例（３－４）では、年齢取得部１１１が実現される。年齢取得部１１１は、電子書籍表示装置１のユーザの年齢に関する年齢情報を取得する。例えば、データ記憶部１００に、年齢情報が記憶されていてもよい。この場合、年齢取得部１１１は、データ記憶部１００から年齢情報を取得する。年齢情報は、ユーザの年齢を特定可能な情報であればよく、例えば、ユーザの年齢を示す数値や生年月日を示す数値である。なお、年齢取得部１１１は、ユーザの年齢を計算により求めてもよい。例えば、電子書籍の発行年数や電子書籍のレビューを記載したユーザプロフィールの平均年齢をサーバコンピュータから取得して年齢を推測してもよい。
　ページ関連データ生成部１０４は、年齢判定部１０４Ｊを含む。年齢判定部１０４Ｊは、年齢情報に基づいて、ユーザの年齢が基準以上であるか否かを判定する。この基準の年齢は、データ記憶部１００に記憶されているものとする。基準の年齢は、固定値であってもよいし、可変値であってもよい。
　ページ関連データ生成部１０４は、年齢判定部１０４Ｊにより基準以上であると判定された場合にページ関連データを生成して記録する。即ち、ページ関連データ生成部１０４は、年齢判定部１０４Ｊにより基準未満であると判定された場合にはページ関連データを生成しない。
　変形例（３－４）によれば、ユーザの年齢を参照してページ関連データの生成の要否を決定するので、ユーザの傾向に応じた処理を行うことができる。即ち、比較的若いユーザで拡大表示をする必要性が低いユーザに対しては、ページ関連データを予め生成しなくてもよいので、このようなユーザの場合はページ関連データを生成しないことで、メモリ容量を有効活用し、かつ、電子書籍表示装置１の処理負荷も軽減することができる。
　（３－５）また例えば、表示部１４の画面サイズが小さければ、拡大表示をする蓋然性が高い。このため、画面サイズが小さい場合にのみページ関連データを生成するようにして、画面サイズが大きい場合にはページ関連データを生成しないようにしてもよい。
　変形例（３－５）では、サイズ取得部１１２が実現される。サイズ取得部１１２は、表示部１４の画面サイズに関するサイズ情報を取得する。例えば、データ記憶部１００に、サイズ情報が記憶されていてもよい。サイズ情報は、例えば、表示部１４のインチ数を示す。
　ページ関連データ生成部１０４は、サイズ判定部１０４Ｋを含む。サイズ判定部１０４Ｋは、サイズ情報に基づいて、表示部１４の画面サイズが基準未満であるか否かを判定する。この基準のサイズは、データ記憶部１００に記憶されているものとする。基準のサイズは、固定値であってもよいし、可変値であってもよい。
　ページ関連データ生成部１０４は、サイズ判定部１０４Ｋにより基準未満であると判定された場合にページ関連データを生成して記録する。即ち、ページ関連データ生成部１０４は、サイズ判定部１０４Ｋにより基準以上であると判定された場合にはページ関連データを生成しない。
　変形例（３－５）によれば、表示部１４の画面サイズを参照してページ関連データの生成の要否を決定するので、表示部１４に応じた処理を行うことができる。即ち、画面サイズが大きく拡大表示をする必要性が低い表示部１４の場合は、ページ関連データを予め生成しなくてもよいので、このような表示部１４の場合はページ関連データを生成しないことで、メモリ容量を有効活用し、かつ、電子書籍表示装置１の処理負荷も軽減することができる。
　（４）上記説明した変形例（１）～（３）以外にも、下記のようにしてもよい。
　例えば、文字領域候補を抽出する方法自体は、文字領域の可能性があるものを抽出できればよく、公知の種々の手法を適用可能である。実施形態１等で説明した方法以外にも、領域の大きさが一定範囲のものを文字領域候補として抽出するようにしてもよい。同様に、文字判定方法自体も、公知の種々の手法を適用可能である。
　また例えば、上記では、表示部１４に表示されるページＰＮの次のページＰＮ＋１に対してページ関連データが生成される場合を説明したが、ページ関連データ生成部１０４は、２ページ後のページＰＮ＋２に対してもページ関連データを生成してもよく、ページ関連データを生成するページ数の範囲は、これに限られない。同様に、表示部１４に表示されるページＰＮの前のページＰＮ－１に対してページ関連データを生成してもよい。前のページＰＮ－１に対してページ関連データを生成するか、次のページＰＮ＋１に対してページ関連データを生成するか、はページ送り操作によって、ページが戻ったか否かに応じて決めてもよい。即ち、ページ送りの方向に基づいて、前のページＰＮ－１のページ関連データを生成するか、後のページＰＮ＋１のページ関連データを生成するか、を決定するようにしてもよい。
　また例えば、ページ関連データを生成するページ数は、電子書籍表示装置１のメモリ容量又はメモリ残量に応じて決まってもよい。例えば、電子書籍表示装置１のメモリ容量又はメモリ残量が大きいほど、多くのページに対してページ関連データを生成するようにしてもよい。他にも例えば、ページ関連データを生成するページ数は、ページ送りの速度に応じて決まってもよい。例えば、ページ送りの速度が速いほど、多くのページに対してページ関連データを生成するようにしてもよい。なお、ページ送りの速度は、ユーザによるページ送り操作が行われる時間間隔に基づいて計算すればよい。また、各ページＰＮの読書時間を計算し、当該計算した読書時間に応じてページ関連データを生成するページ数が決まってもよい。例えば、読書時間が短いほど、多くのページに対してページ関連データを生成するようにしてもよい。読書時間は、輪郭の数や領域の面積等によって計算すればよい。
　また例えば、ユーザの操作を要することなくページを切り替える自動ページ送り機能があってもよい。この場合、表示制御部１０３は、あるページを一定時間だけ表示部１４に表示させると、次のページに切り替えることになる。
　また例えば、各コマ２１に描かれる文字は、キャラクタが発する言葉だけでなく、キャラクタの心情や漫画の効果音を表すものであってもよい。このような文字であっても、拡張部１０４Ｂが領域を拡張することで、文字をかたまりとして認識可能である。また、実施形態では、漫画の台詞が英語で記述されている場合を例に挙げたが、電子書籍表示装置１で文字認識が可能な言語であればよく、他の言語であってよい。更に、キャラクタの台詞が横書きで記述される場合を説明するが、縦書きであってもよい。この場合、横書き用の学習パターンと、縦書き用の学習パターンと、の２つをデータ記憶部１００に用意しておき、操作後文字判定部１０６は、横書き用と縦書き用の学習パターンの何れかで文字領域と判定されれば、文字領域候補を文字領域と判定すればよい。
　また例えば、結合制限部１０４Ａが行う２値化反転処理は省略してもよい。また、実施形態では、文字が吹き出し線に囲われている場合を説明したが、文字は、吹き出し線に囲われていなくてもよい。この場合、結合制限部１０４Ａの処理は省略してよい。また、文字は、所定のフォントであってもよいし、手書きであってもよい。手書きの文字であっても、拡張部１０４Ｂの処理により文字をかたまりとして認識可能である。更に、吹き出し・コマ・ページによって、文字のフォントや大きさ・色彩・輝度が異なってもよい。フォントや大きさ・色彩・輝度が異なっていたとしても、拡張部１０４Ｂが画像内の領域を拡張させることで、文字をかたまりとして認識可能である。
　また例えば、操作後文字判定部１０６により文字を含むと判定された文字領域候補を拡大表示する場合を説明したが、文字を含むと判定された文字領域候補に対する処理内容は、拡大表示に限られない。他にも、電子書籍表示装置１は、文字を含むと判定された文字領域候補内の文字を翻訳するようにしてもよいし、機械音声を出力するようにしてもよい。更に、電子書籍表示装置１は、文字を含むと判定された文字領域候補内をＯＣＲにより文字抽出を行い、当該抽出した文字のデータを記憶部１１に記録して、電子書籍における文字検索を可能なようにしてもよい。更に、表示制御部１０３は、文字領域と判定された文字領域候補内を切り出して拡大表示するのではなく、ＯＣＲにより検出した文字のデータに基づいて拡大表示してもよい。
　また例えば、実施形態では、電子書籍の一例として漫画を説明したが、文字を含む電子書籍であれば、本発明は適用可能である。例えば、文字の周りに一定のスペースが存在する絵本や雑誌等に対しても、実施形態と同様の文字領域の抽出が可能なため、絵本や雑誌等に適用してもよい。

Claims (19)

  1. 　複数のページからなる電子書籍データを記憶する手段に記憶された前記電子書籍データを取得するデータ取得手段と、
    　前記データ取得手段により取得された電子書籍データに基づいて、前記複数のページのうち指定された１又は複数のページを表示手段に表示させる表示制御手段と、
    　前記表示手段に表示された前記１又は複数のページよりも前及び後の少なくとも一方のページが前記表示手段に表示される前に、前記少なくとも一方のページに基づいてページ関連データを生成して記憶手段に記録するページ関連データ生成手段と、
    　を含むことを特徴とする電子書籍表示装置。
  2. 　前記ページ関連データ生成手段は、前記少なくとも一方のページが前記表示手段に表示される前に、前記少なくとも一方のページ内の文字領域候補を抽出して前記ページ関連データとして生成して記録し、
    　前記電子書籍表示装置は、
    　前記少なくとも一方のページが前記表示手段に表示された場合に、前記文字領域候補の指定操作を受け付ける受付手段と、
    　前記受付手段により前記指定操作が受け付けられた後に、前記指定操作により指定された文字領域候補に文字が含まれるか否かを判定する操作後文字判定手段と、
    　を更に含み、
    　前記表示制御手段は、前記操作後文字判定手段により文字が含まれると判定された文字領域候補内を拡大して前記表示手段に表示させる、
    　ことを特徴とする請求項１に記載の電子書籍表示装置。
  3. 　前記電子書籍表示装置は、前記受付手段により前記指定操作が受け付けられる前に、前記文字領域候補に対して第１の文字判定処理を実行する操作前文字判定手段を更に含み、
    　前記操作後文字判定手段は、前記操作前文字判定手段により文字が含まれると判定された文字領域候補が前記指定操作により指定された場合に、前記第１の文字判定処理よりも精度の高い第２の文字判定処理を実行する、
    　ことを特徴とする請求項２に記載の電子書籍表示装置。
  4. 　前記ページ関連データ生成手段は、前記少なくとも一方のページ内の前記文字領域候補の数が基準未満である場合、前記少なくとも一方のページの次のページの文字領域候補を更に抽出してページ関連データとして生成して記録する、
    　ことを特徴とする請求項２又は３に記載の電子書籍表示装置。
  5. 　前記電子書籍表示装置は、前記文字領域候補の輪郭又は前記文字領域候補自身の大きさが基準以上であるか否かを判定する大きさ判定手段を更に含み、
    　前記操作後文字判定手段は、前記大きさ判定手段により基準未満の大きさと判定された前記文字領域候補は判定対象とせず、前記大きさ判定手段により基準以上の大きさと判定された前記文字領域候補に文字が含まれるか否かを判定する、
    　ことを特徴とする請求項２～４の何れかに記載の電子書籍表示装置。
  6. 　前記ページ関連データ生成手段は、
    　前記少なくとも一方のページの下部領域は文字領域候補を抽出せずに上部領域内の文字領域候補を抽出する手段と、
    　前記少なくとも一方のページ内の各文字領域の読み順に、基準数になるまで文字領域候補を抽出する手段と、
    　の少なくとも一方を含むことを特徴とする請求項２～５の何れかに記載の電子書籍表示装置。
  7. 　前記ページ関連データ生成手段は、前記少なくとも一方のページが前記表示手段に表示される前に、前記少なくとも一方のページ内の文字領域を抽出して前記ページ関連データとして生成して記録し、
    　前記電子書籍表示装置は、前記少なくとも一方のページが前記表示手段に表示された場合に、前記文字領域の指定操作を受け付ける受付手段を更に含み、
    　前記表示制御手段は、前記受付手段により前記指定操作が受け付けられた場合に、前記指定操作により指定された文字領域内を拡大して前記表示手段に表示させる、
    　ことを特徴とする請求項１に記載の電子書籍表示装置。
  8. 　前記ページ関連データ生成手段は、前記少なくとも一方のページが前記表示手段に表示される前に、前記少なくとも一方のページ内の文字領域候補を抽出する手段を含み、当該文字領域候補に文字が含まれるか否かを判定することによって、前記文字領域を抽出する、
    　ことを特徴とする請求項７に記載の電子書籍表示装置。
  9. 　前記ページ関連データ生成手段は、前記少なくとも一方のページが前記表示手段に表示される前に、前記文字領域候補に対して第１の文字判定処理を実行し、当該第１の文字判定処理により文字が含まれると判定された文字領域候補に対して、前記第１の文字判定処理よりも精度の高い第２の文字判定処理を実行することによって、前記文字領域を抽出する、
    　ことを特徴とする請求項８に記載の電子書籍表示装置。
  10. 　前記ページ関連データ生成手段は、前記文字領域候補の輪郭又は前記文字領域候補自身の大きさが基準以上であるか否かを判定する大きさ判定手段を含み、前記大きさ判定手段により基準未満の大きさと判定された前記文字領域候補は判定対象とせず、前記大きさ判定手段により基準以上の大きさと判定された前記文字領域候補に文字が含まれるか否かを判定することによって、前記文字領域を抽出する、
    　ことを特徴とする請求項８又は９に記載の電子書籍表示装置。
  11. 　前記ページ関連データ生成手段は、前記少なくとも一方のページ内の前記文字領域の数が基準未満である場合、前記少なくとも一方のページの次のページ内の文字領域を更に抽出してページ関連データとして生成して記録する、
    　ことを特徴とする請求項７～１０の何れかに記載の電子書籍表示装置。
  12. 　前記ページ関連データ生成手段は、
    　前記少なくとも一方のページの下部領域は文字領域を抽出せずに上部領域内の文字領域を抽出する手段と、
    　前記少なくとも一方のページ内の各文字領域の読み順に、基準数になるまで文字領域を抽出する手段と、
    　の少なくとも一方を含むことを特徴とする請求項７～１１の何れかに記載の電子書籍表示装置。
  13. 　前記電子書籍表示装置は、当該電子書籍表示装置のユーザによる前記指定操作の履歴に関する履歴データを記憶する手段に記憶された前記履歴データを取得する手段を更に含み、
    　前記ページ関連データ生成手段は、前記履歴データに基づいて、前記ユーザによる前記指定操作の頻度が基準以上であるか否かを判定する頻度判定手段を含み、前記頻度判定手段により基準以上であると判定された場合に前記ページ関連データを生成して記録する、
    　ことを特徴とする請求項２～１２の何れかに記載の電子書籍表示装置。
  14. 　前記電子書籍表示装置は、当該電子書籍表示装置のユーザにより前記指定操作が行われたページに関するページデータを記憶する手段に記憶された前記ページデータを取得する手段を更に含み、
    　前記ページ関連データ生成手段は、前記ページデータに基づいて、前記ユーザにより前記少なくとも一方のページに対して過去に前記指定操作が行われたか否かを判定する過去判定手段を含み、前記過去判定手段により前記指定操作が行われたと判定された場合に前記ページ関連データを生成して記録する、
    　ことを特徴とする請求項２～１３の何れかに記載の電子書籍表示装置。
  15. 　前記電子書籍表示装置は、当該電子書籍表示装置のユーザ以外の他のユーザにより前記指定操作が行われたページに関するページデータを記憶する手段に記憶された前記ページデータを取得する手段を更に含み、
    　前記ページ関連データ生成手段は、前記ページデータに基づいて、前記他のユーザにより前記少なくとも一方のページに対して過去に前記指定操作が行われたか否かを判定する過去判定手段を含み、前記過去判定手段により前記指定操作が行われたと判定された場合に前記ページ関連データを生成して記録する、
    　ことを特徴とする請求項２～１４の何れかに記載の電子書籍表示装置。
  16. 　前記電子書籍表示装置は、当該電子書籍表示装置のユーザの年齢に関する年齢情報を取得する手段を更に含み、
    　前記ページ関連データ生成手段は、前記年齢情報に基づいて、前記ユーザの年齢が基準以上であるか否かを判定する年齢判定手段を含み、前記年齢判定手段により基準以上であると判定された場合に前記ページ関連データを生成して記録する、
    　ことを特徴とする請求項２～１５の何れかに記載の電子書籍表示装置。
  17. 　前記電子書籍表示装置は、前記表示手段の画面サイズに関するサイズ情報を取得する手段を更に含み、
    　前記ページ関連データ生成手段は、前記サイズ情報に基づいて、前記表示手段の画面サイズが基準未満であるか否かを判定するサイズ判定手段を含み、前記サイズ判定手段により基準未満であると判定された場合に前記ページ関連データを生成して記録する、
    　ことを特徴とする請求項２～１６の何れかに記載の電子書籍表示装置。
  18. 　複数のページからなる電子書籍データを記憶する手段に記憶された前記電子書籍データを取得するデータ取得ステップと、
    　前記データ取得ステップにより取得された電子書籍データに基づいて、前記複数のページのうち指定された１又は複数のページを表示手段に表示させる表示制御ステップと、
    　前記表示手段に表示された前記１又は複数のページよりも前及び後の少なくとも一方のページが前記表示手段に表示される前に、前記少なくとも一方のページに基づいてページ関連データを生成して記憶手段に記録するページ関連データ生成ステップと、
    　を含むことを特徴とする電子書籍表示方法。
  19. 　複数のページからなる電子書籍データを記憶する手段に記憶された前記電子書籍データを取得するデータ取得手段、
    　前記データ取得手段により取得された電子書籍データに基づいて、前記複数のページのうち指定された１又は複数のページを表示手段に表示させる表示制御手段、
    　前記表示手段に表示された前記１又は複数のページよりも前及び後の少なくとも一方のページが前記表示手段に表示される前に、前記少なくとも一方のページに基づいてページ関連データを生成して記憶手段に記録するページ関連データ生成手段、
    　としてコンピュータを機能させるためのプログラム。
PCT/JP2015/069951 2015-07-10 2015-07-10 電子書籍表示装置、電子書籍表示方法、及びプログラム Ceased WO2017009908A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016509174A JP5991704B1 (ja) 2015-07-10 2015-07-10 電子書籍表示装置、電子書籍表示方法、及びプログラム
PCT/JP2015/069951 WO2017009908A1 (ja) 2015-07-10 2015-07-10 電子書籍表示装置、電子書籍表示方法、及びプログラム
US15/740,334 US11132496B2 (en) 2015-07-10 2015-07-10 Electronic book display device, electronic book display method, and program
CA2991100A CA2991100C (en) 2015-07-10 2015-07-10 Electronic book display device, electronic book display method, and program
TW105120573A TWI592859B (zh) 2015-07-10 2016-06-29 Electronic book display device, electronic book display method and program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/069951 WO2017009908A1 (ja) 2015-07-10 2015-07-10 電子書籍表示装置、電子書籍表示方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2017009908A1 true WO2017009908A1 (ja) 2017-01-19

Family

ID=56921066

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/069951 Ceased WO2017009908A1 (ja) 2015-07-10 2015-07-10 電子書籍表示装置、電子書籍表示方法、及びプログラム

Country Status (5)

Country Link
US (1) US11132496B2 (ja)
JP (1) JP5991704B1 (ja)
CA (1) CA2991100C (ja)
TW (1) TWI592859B (ja)
WO (1) WO2017009908A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11474781B2 (en) * 2020-06-10 2022-10-18 Asianlink Technology Incorporation Electronic book system using electromagnetic energy to detect page numbers

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202062A (ja) * 2004-01-14 2005-07-28 Sony Computer Entertainment Inc まんが表示装置、まんが表示方法、まんが編集装置およびまんが編集方法
JP2007241942A (ja) * 2006-03-13 2007-09-20 Sharp Corp コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム、および記録媒体
JP2007323369A (ja) * 2006-05-31 2007-12-13 Yappa Corp 電子新聞表示装置及び電子新聞表示システム
JP2012133661A (ja) * 2010-12-22 2012-07-12 Fujifilm Corp ビューワ装置、閲覧システム、ビューワプログラム及び記録媒体
JP2012221316A (ja) * 2011-04-11 2012-11-12 Nippon Telegr & Teleph Corp <Ntt> 文書トピック抽出装置及び方法及びプログラム
JP2013089197A (ja) * 2011-10-21 2013-05-13 Fujifilm Corp 電子コミック編集装置、方法及びプログラム
JP2014186463A (ja) * 2013-03-22 2014-10-02 Yahoo Japan Corp 関連情報抽出装置、関連情報抽出方法および関連情報抽出プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040080541A1 (en) * 1998-03-20 2004-04-29 Hisashi Saiga Data displaying device
US7667719B2 (en) * 2006-09-29 2010-02-23 Amazon Technologies, Inc. Image-based document display
JP2008152700A (ja) * 2006-12-20 2008-07-03 Toshiba Corp 電子漫画配信サーバ
US20090041352A1 (en) * 2007-08-10 2009-02-12 Naoki Okamoto Image formation device, image formation method, and computer-readable recording medium recording image formation program
JP4818415B2 (ja) 2009-09-17 2011-11-16 シャープ株式会社 電子漫画製造装置及び電子漫画製造方法
JP2012137929A (ja) * 2010-12-27 2012-07-19 Sony Corp 表示装置、表示方法、プログラム
KR101874853B1 (ko) 2011-12-29 2018-07-05 주식회사 알티캐스트 모바일 장치와 디스플레이 장치 간의 동기화 방법 및 장치, 모바일 장치, 디스플레이 장치
KR101893928B1 (ko) 2012-01-19 2018-08-31 삼성전자 주식회사 단말기의 페이지 표시 방법 및 장치
JP5390669B1 (ja) 2012-06-29 2014-01-15 楽天株式会社 投稿表示システム、投稿表示方法、及び投稿表示プログラム
JP5751430B2 (ja) * 2012-12-19 2015-07-22 コニカミノルタ株式会社 画像処理端末、画像処理システム、および画像処理端末の制御プログラム
JP2014197341A (ja) * 2013-03-29 2014-10-16 富士フイルム株式会社 電子書籍制作装置、電子書籍システム、電子書籍制作方法及びプログラム
WO2015029115A1 (ja) * 2013-08-26 2015-03-05 楽天株式会社 電子書籍システム、電子書籍の提供方法、記録媒体、及び、プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202062A (ja) * 2004-01-14 2005-07-28 Sony Computer Entertainment Inc まんが表示装置、まんが表示方法、まんが編集装置およびまんが編集方法
JP2007241942A (ja) * 2006-03-13 2007-09-20 Sharp Corp コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム、および記録媒体
JP2007323369A (ja) * 2006-05-31 2007-12-13 Yappa Corp 電子新聞表示装置及び電子新聞表示システム
JP2012133661A (ja) * 2010-12-22 2012-07-12 Fujifilm Corp ビューワ装置、閲覧システム、ビューワプログラム及び記録媒体
JP2012221316A (ja) * 2011-04-11 2012-11-12 Nippon Telegr & Teleph Corp <Ntt> 文書トピック抽出装置及び方法及びプログラム
JP2013089197A (ja) * 2011-10-21 2013-05-13 Fujifilm Corp 電子コミック編集装置、方法及びプログラム
JP2014186463A (ja) * 2013-03-22 2014-10-02 Yahoo Japan Corp 関連情報抽出装置、関連情報抽出方法および関連情報抽出プログラム

Also Published As

Publication number Publication date
US20180329872A1 (en) 2018-11-15
CA2991100A1 (en) 2017-01-19
TW201706821A (zh) 2017-02-16
JPWO2017009908A1 (ja) 2017-07-13
JP5991704B1 (ja) 2016-09-14
CA2991100C (en) 2023-10-17
TWI592859B (zh) 2017-07-21
US11132496B2 (en) 2021-09-28

Similar Documents

Publication Publication Date Title
US12393796B2 (en) Translating language characters in media content
JP6501501B2 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
CA2913541A1 (en) Smart prosthesis for facilitating artificial vision using scene abstraction
KR20150106330A (ko) 화상 표시 장치 및 화상 표시 방법
CN106599857A (zh) 图像识别方法、装置、计算机可读存储介质及终端设备
JP5991704B1 (ja) 電子書籍表示装置、電子書籍表示方法、及びプログラム
JP2025505966A (ja) デジタル漫画提供方法、装置およびシステム
JP6294572B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN105022480A (zh) 一种输入方法及终端
US9159118B2 (en) Image processing apparatus, image processing system, and non-transitory computer-readable medium
CN118885104A (zh) 一种页面文字的语音朗读方法、装置及电子设备
JP7459151B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP7533011B2 (ja) 情報処理装置、プログラム及び情報処理方法
CN117727049B (zh) 美观度确定方法、装置、电子设备及存储介质
US20260080593A1 (en) Interaction methods for image processing and image processing methods
CN115700825B (zh) 白板的笔迹识别方法、装置和电子设备
CN112380899B (zh) 一种广告图像内的文本识别方法、装置及设备
JP4890425B2 (ja) マンガのコマ画像のためのマスク画像の作成方法及びプログラム
JP3991061B1 (ja) 画像処理システム
JP2025503553A (ja) デジタル漫画の提供方法、装置、及びシステム
JP5206529B2 (ja) 画像処理装置、情報処理装置、画像読取装置およびプログラム
JP6390210B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2024002327A (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
KR20250142106A (ko) 확장 현실 장치 및 그 동작 방법
CN116468639A (zh) 增强型人脸图像生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016509174

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15898224

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15740334

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2991100

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15898224

Country of ref document: EP

Kind code of ref document: A1