WO2021014945A1 - サーバ、プログラム、方法及びシステム - Google Patents

サーバ、プログラム、方法及びシステム Download PDF

Info

Publication number
WO2021014945A1
WO2021014945A1 PCT/JP2020/026327 JP2020026327W WO2021014945A1 WO 2021014945 A1 WO2021014945 A1 WO 2021014945A1 JP 2020026327 W JP2020026327 W JP 2020026327W WO 2021014945 A1 WO2021014945 A1 WO 2021014945A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
frames
unit
order
image data
Prior art date
Application number
PCT/JP2020/026327
Other languages
English (en)
French (fr)
Inventor
弘幸 高橋
Original Assignee
エヌエイチエヌ コーポレーション
NHN comico株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エヌエイチエヌ コーポレーション, NHN comico株式会社 filed Critical エヌエイチエヌ コーポレーション
Priority to EP20843304.5A priority Critical patent/EP4006841A4/en
Publication of WO2021014945A1 publication Critical patent/WO2021014945A1/ja
Priority to US17/548,168 priority patent/US20220101580A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/106Display of layout of documents; Previewing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Definitions

  • the present invention relates to servers, programs, methods and systems.
  • the present invention relates to a server, program, method and system for organizing an original electronic book into a desired display format.
  • Electronic comics are widespread as one of the above-mentioned electronic books.
  • a conventional electronic comic book in which a paper-based book (book) is digitized, each scene is divided by frames, and a plurality of frames are arranged on one page.
  • the positional relationship of each frame on one page is fixed. Therefore, when the user handles the image data of the electronic cartoon, it is necessary to handle one page in which the position of each frame is fixed as one image data, so that the handling of the image data of the electronic cartoon is restricted.
  • Patent Document 1 For such image data of electronic cartoons, a technology has been developed to process information for the information contained in each frame by creating image data of each frame based on the image data contained in each page.
  • image data is created for each frame constituting each page.
  • the character information included in the frame is searched as a search keyword, the image of the frame in which the character information is described is output as the search result.
  • Patent Document 1 merely describes a technique of outputting an image of a frame in which character information to be searched is described as a search result of character information, and is a display format of an electronic cartoon according to a user's preference. It does not adjust.
  • One embodiment of the present invention has been made in view of the above problems, and provides a server, a program, a method, and a system capable of adjusting the display format of an electronic cartoon according to a user's preference and usage pattern. Is the subject.
  • the server has a specific unit that specifies each of the plurality of frames based on image data of a cartoon including a plurality of frames, and an order of the plurality of frames specified by the specific unit. It has a determination unit for determining the above, and a knitting unit for organizing the arrangement of the frames based on the order determined by the determination unit.
  • the knitting unit may knit the arrangement of the frames based on the instruction signal indicating the display format.
  • the instruction signal includes a first display format for displaying the original image data, a second display format for displaying the frames vertically side by side, and a third display format for displaying the frames horizontally side by side.
  • a signal indicating any one of the two or more display formats including the display format may be included.
  • the instruction signal may include a signal that specifies the number of frames displayed on the display of the terminal that displays the organized frames.
  • the knitting unit may organize the arrangement of the frames based on the terminal information of the terminal that displays the organized frames.
  • the specific unit divides the image data into a plurality of regions in which pixels of the same color are continuous, specifies a margin based on the plurality of regions, and identifies each of the plurality of frames based on the margin. May be good.
  • the specific unit may specify the largest of the plurality of divided regions as the margin.
  • the specific unit may specify the area other than the margin as the frame.
  • the specific unit may binarize the image data and divide the image data into the plurality of regions based on the binarized image data.
  • the plurality of regions include a first region and a second region, and in the specific portion, the first region exists inside the second region, or the first region and the second region overlap each other. If so, the first region and the second region may be integrated into one region.
  • the specific unit may specify the space as a frame when a space having a size equal to or larger than the smallest frame among the plurality of frames specified by the specific unit exists in the margin.
  • the plurality of frames include a first frame, and the determination unit determines the first frame in the plurality of frames based on the presence or absence of another frame adjacent to the first frame in the horizontal direction of the image data.
  • the order of the frames may be determined.
  • the plurality of frames further include a second frame, and when the second frame exists in the horizontal direction of the first frame, the determination unit changes the order of the first frame from the order of the second frame. It may be decided in the order of earliest.
  • the knitting unit may display information on the interface regarding whether or not the arrangement of the plurality of frames can be knitted to the user.
  • the organization unit may provide the interface with a display format designated, prohibited or recommended for each cartoon.
  • Each of the plurality of frames further has a storage unit for storing the character data of the dialogue in the frame or the character identification information of the character in the frame in association with each other, and the knitting unit is determined by the determination unit.
  • the arrangement of the frames may be organized based on the order and the character data or the character identification information.
  • the program according to the embodiment of the present invention identifies each of the plurality of frames based on the image data of the cartoon including the plurality of frames, determines the order of each of the specified plurality of frames, and determines the order.
  • the computer is made to organize the arrangement of the frames based on the order.
  • each of the plurality of frames is specified based on the image data of the cartoon including the plurality of frames, and the order of each of the specified plurality of frames is determined and determined.
  • the arrangement of the frames is organized based on the order.
  • the system includes a specific unit that identifies each of the plurality of frames based on the first image data of a cartoon including a plurality of frames, and the plurality of frames specified by the specific unit.
  • a server having a determination unit for determining the order of each of the above and a knitting unit for organizing the arrangement of the frames based on the order determined by the determination unit, and a second image of each of the plurality of frames.
  • a communication terminal that receives data from the server and displays the frames in an arrangement organized by the organization unit is provided.
  • the server may organize the arrangement of the frames based on the display format instructed by the communication terminal.
  • the server may propose to the communication terminal a method of receiving terminal information related to the display function of the communication terminal and organizing the arrangement of the frames based on the terminal information and the first image data.
  • a server a program, a method and a system capable of adjusting the display format of an electronic cartoon according to a user's preference and usage pattern.
  • the electronic book providing system according to the embodiment of the present invention, the electronic book providing server and the communication terminal used in the system, and their functions will be described with reference to the drawings.
  • the interface and the electronic cartoon displayed on the communication terminal will be described with reference to the drawings.
  • the electronic book providing system and the like in one embodiment of the present invention can be implemented in many different modes.
  • the present invention is not construed as being limited to the description of the examples shown below.
  • the same reference numerals are used for the same parts or parts having similar functions, or the same reference numerals are followed by alphabets, and the repeated description thereof will be omitted.
  • the electronic book providing system and the electronic book providing server include not only a system and a server having a function of directly providing an electronic book to a user, but also a system and a server used for providing an electronic book. That is, in the following description, the electronic book providing system and the electronic book providing server include a system and a server having a function of organizing an electronic book in order to provide an electronic book.
  • the horizontal direction when the cartoon is displayed in the direction in which the image data of the electronic cartoon is viewed is referred to as the horizontal direction
  • the vertical direction is referred to as the vertical direction.
  • the longitudinal direction of the display of the communication terminal is often aligned with the vertical direction. Therefore, the longitudinal direction of the display is called the vertical direction, and the lateral direction is sometimes called the horizontal direction. is there.
  • the above expression does not limit the present invention to a configuration in which the vertical direction of the electronic cartoon is aligned with the longitudinal direction of the display.
  • a configuration in which a mobile communication terminal is used as a communication terminal that communicates with an electronic book providing server and displays an electronic book is illustrated, but the configuration is not limited to this configuration. Techniques between different embodiments can be combined as long as there is no particular technical conflict.
  • the electronic book providing system 10 according to the first embodiment of the present invention, the electronic book providing server 100 used for the electronic book providing system 10, the first communication terminal 200, and the second communication terminal 300. In addition, a program for operating these will be described.
  • the electronic book providing system 10 shown in the first embodiment has a configuration in which an electronic book providing server 100, a first communication terminal 200, and a second communication terminal 300 are communicably connected via a network 400.
  • the first communication terminal 200 is a communication terminal for viewing electronic comics.
  • the first communication terminal 200 is a communication terminal that requests the electronic book providing server 100 to browse the electronic comics so that the electronic comics are displayed in the display format desired by the user.
  • the second communication terminal 300 is a communication terminal that registers electronic comics in the electronic book providing server 100.
  • the second communication terminal 300 is a communication terminal used by a cartoon creator or an administrator or an employee of an electronic book providing server 100.
  • the first communication terminal 200 is a mobile communication terminal such as a smartphone and a tablet terminal.
  • the second communication terminal 300 may be the above-mentioned mobile communication terminal, or may be a non-mobile communication terminal such as a desktop personal computer (PC).
  • the first communication terminal 200 may be a communication terminal that is not for mobile use.
  • FIG. 1 is a diagram showing an outline of an electronic book providing system according to an embodiment of the present invention.
  • the electronic book providing system 10 includes an electronic book providing server 100, a first communication terminal 200, and a second communication terminal 300.
  • the electronic book providing server 100 is an information processing device.
  • the first communication terminal 200 is a mobile communication terminal.
  • the electronic book providing server 100 is connected to the database 102.
  • the electronic book providing server 100 provides the electronic cartoon registered by the second communication terminal 300 to the first communication terminal 200. Although the details will be described later, the electronic book providing server 100 has a function of identifying each of the plurality of frames and determining the order of the specified frames based on the image data of the electronic cartoon including the plurality of frames.
  • the electronic book providing server 100 provides the first communication terminal 200 with an interface for designating the display format of the electronic comic book.
  • the electronic book providing server 100 organizes the arrangement of the frames of the electronic comics according to the contents instructed by the interface, and provides the electronic comics to the first communication terminal 200. Although the details will be described later, the electronic book providing server 100 has a function of organizing the arrangement of frames based on the order of each frame determined as described above.
  • the database 102 stores information about the electronic cartoon registered by the second communication terminal 300 and each frame generated based on the registered electronic cartoon. Although the details will be described later, the information related to the frame includes the coordinates of the frame, the size of the frame, and the order of the frames on each page. This information is associated with each other.
  • the electronic book providing server 100, the first communication terminal 200, and the second communication terminal 300 are each connected to the network 400.
  • the network 400 is an Internet such as a general World Wide Web (WWW), a WAN (Wide Area Network), or a LAN (Local Area Network) such as an in-house LAN.
  • the first communication terminal 200 and the second communication terminal 300 communicate with the electronic book providing server 100 via the network 400.
  • FIG. 1 illustrates a configuration in which the database 102 is directly connected to the electronic book providing server 100, but the configuration is not limited to this configuration.
  • the database 102 may be directly connected to the network 400, and data may be transmitted / received between the electronic book providing server 100 and the database 102 via the network 400.
  • FIG. 2 is a schematic view showing a hardware configuration of a server used in the electronic book providing system according to the embodiment of the present invention.
  • the electronic book providing server 100 includes a server control unit 110, a server storage unit 120, and a server communication unit 130.
  • the server control unit 110 includes a central processing unit (CPU: Central Processing Unit) and storage devices such as registers and memories connected to the CPU.
  • the server control unit 110 executes a program temporarily stored in the memory by the CPU, performs arithmetic processing in response to various request signals from the first communication terminal 200 and the second communication terminal 300, and causes these communication terminals to perform arithmetic processing. Provide content data.
  • CPU Central Processing Unit
  • the server storage unit 120 is a storage device capable of storing a large amount of data.
  • the server storage unit 120 stores programs, content data, and the like necessary for arithmetic processing.
  • the program stored in the server storage unit 120 is read by the server control unit 110 and temporarily stored in the storage device of the server control unit 110.
  • the server storage unit 120 may be a hard disk, or may be a volatile or non-volatile memory.
  • the information stored in the server storage unit 120 may be stored in the database 102 instead of the server storage unit 120. In the present embodiment, the information related to the electronic cartoon and the frame is stored in the database 102, but these data may be stored in the server storage unit 120.
  • the server communication unit 130 is a control device capable of transmitting and receiving data to an external device, and controls the transmission and reception of data to the network 400.
  • FIG. 3 is a schematic view showing a hardware configuration of a communication terminal used in the electronic book providing system according to the embodiment of the present invention.
  • the first communication terminal 200 includes a terminal storage unit 210, a terminal control unit 220, a terminal communication unit 230, a display 240, an operation button 250, a camera 260, a speaker 270, and a microphone 280.
  • the terminal storage unit 210 owns a program for causing the first communication terminal 200 to execute a specific function, electronic cartoons including a plurality of frames, terminal information related to the first communication terminal 200 such as a display size, and the first communication terminal 200. Stores data such as user information.
  • a non-volatile memory such as a flash memory and a volatile memory such as SRAM and DRAM are used. Data such as programs are stored in the non-volatile memory. Data such as a program is read from the non-volatile memory and temporarily stored in the volatile memory when the program is executed.
  • the terminal control unit 220 has an arithmetic circuit such as a CPU and a storage circuit connected to the CPU.
  • the storage device includes a memory and a register.
  • the terminal control unit 220 executes the program stored in the terminal storage unit 210 by the CPU, and realizes various functions of the first communication terminal 200 in response to the command signal input to the first communication terminal 200.
  • the terminal communication unit 230 is a control device capable of transmitting and receiving data to an external device, and controls the transmission and reception of data to the network 400.
  • the display 240 a general display such as a liquid crystal display or an organic EL display can be used.
  • the vertical size of the display 240 is the vertical height V
  • the horizontal size is the horizontal width H.
  • the vertical height V and the horizontal width H may be represented by the size in SI units, or may be represented by the number of pixels in each direction. In the present embodiment, the vertical height V and the horizontal width H are represented by the number of pixels in each direction.
  • the display 240 has a touch sensor.
  • a touch sensor a resistive film type sensor, a capacitance type sensor, an optical type sensor, or the like can be used.
  • the touch sensor detects the screen operation by the user and transmits a detection signal based on the user's operation to the terminal control unit 220.
  • the touch sensor provided on the display 240 is used to perform operations such as selection and input of instruction contents.
  • the operation button 250 is provided below the display 240.
  • the operation button 250 may be a physical button or a touch sensor as described above. Instead of the touch sensor of the display 240, the operation buttons 250 may be used to perform operations such as selection and input of instruction contents.
  • FIG. 3 illustrates a configuration in which the first communication terminal 200 has a camera 260, a speaker 270, and a microphone 280, but the configuration is not limited to this configuration. If not required, these configurations may be omitted.
  • a smartphone is shown as an example of the first communication terminal 200, but these communication terminals used in the electronic book providing system 10 are not limited to smartphones.
  • a mobile phone a tablet PC, a PDA, a PHS, a notebook PC, a desktop PC, or the like may be used in addition to the smartphone.
  • FIG. 4 is a schematic view showing a functional configuration of a server used in the electronic book providing system according to the embodiment of the present invention.
  • the electronic book providing server 100 has a specific unit 150, a determination unit 160, and an organization unit 170. These functional units are connected to each other so as to be able to communicate with each other, for example, via a bus.
  • the identification unit 150 identifies each of the plurality of frames based on the image data of the cartoon including the plurality of frames.
  • the determination unit 160 determines the order of the plurality of frames specified by the specific unit 150.
  • the knitting unit 170 organizes the arrangement of the frames based on the order determined by the determination unit 160.
  • each of the above-mentioned functional units is realized by the server control unit 110 (for example, CPU) of the electronic book providing server 100 executing the program stored in the server storage unit 120.
  • the server control unit 110 for example, CPU
  • the server control unit 110 for example, CPU
  • the server control unit 110 for example, CPU
  • the server storage unit 120 for example, a configuration in which one electronic book providing server 100 includes all the above-mentioned functional units is illustrated, but the configuration is not limited to this configuration.
  • these functional units may be provided on different servers, and the functions of the electronic book providing system 10 may be realized by the cooperation of these servers.
  • the identification unit 150 includes an image data analysis unit 151, a region division unit 153, a margin identification unit 155, and a frame identification unit 157.
  • the image data analysis unit 151 analyzes and simplifies the image data of the original electronic cartoon registered by the second communication terminal 300. Specifically, the image data analysis unit 151 binarizes the image data. In the present embodiment, the configuration in which the image data analysis unit 151 binarizes the image data is illustrated, but the configuration is not limited to this configuration. For example, it may be multi-valued more than trivalent. The simplification of the image data is performed in order to reduce the amount of information handled in the subsequent processing and improve the processing speed. Therefore, if the processing speed is sufficient, the image data analysis unit 151 may be omitted.
  • the area division unit 153 divides the image data simplified by the processing of the image data analysis unit 151 into a plurality of areas (or areas). Specifically, the area dividing unit 153 divides the image data into a plurality of areas by performing the first labeling process on the image data.
  • the first labeling process is a process of dividing image data into a plurality of regions in which pixels of the same color are continuous. That is, the first labeling process is performed even when not only the areas where the pixel colors are different but also the adjacent pixel areas of the same color are separated by pixels of a color different from the color of the area. Areas of adjacent pixels of the same color are recognized as different areas.
  • the same color in the first labeling process is not limited to the exact same color. For example, close colors or close gradations in chromaticity coordinates or grayscale may be treated as the same color.
  • the margin specifying unit 155 specifies the margin based on the image data divided by the processing of the area dividing unit 153. Specifically, the margin specifying unit 155 specifies the region having the largest area as the margin among the plurality of regions divided as described above. Usually, when the image data for one page is divided as described above, the occupied area of the margin is often maximized, so that the margin can be specified by the above processing. Of the plurality of divided regions, the region having the largest number of pixels may be specified as a margin. However, if the occupied area of the margin is not the maximum among the plurality of divided regions, the margin may be specified by an algorithm different from the above.
  • the normal margin constitutes the outermost circumference of the image data
  • the region specified as the margin does not form the outermost circumference or becomes the outermost circumference. If it does not exist, it is highly possible that the margins have not been identified normally. Therefore, in such a case, it may be determined that an abnormality has occurred in the specification of the margin and an error message is notified, or the margin may be automatically specified by a different algorithm.
  • the frame specifying unit 157 identifies each of the plurality of frames based on the margins specified by the processing of the margin specifying unit 155. Specifically, the frame specifying unit 157 specifies a region other than the margin as a frame.
  • the frame identification unit 157 has a function of specifying the position of the frame specified as described above. Specifically, the frame specifying unit 157 performs a second labeling process on the image data in which the frame is specified.
  • a frame rectangular area surrounding the outer circumference of a continuous area is specified among the areas other than the area specified as the margin by the margin specifying portion 155, and four points of the frame (for example, upper right, It is a process to obtain the coordinates of the upper left, lower right, and lower left corners).
  • the coordinates of two points for example, upper right and lower left
  • the position of the frame can be specified by the second labeling process.
  • the frame surrounding the outer periphery of the above-mentioned area may be a frame in contact with the outer periphery of the area (circumscribing the area).
  • the frame specifying unit 157 performs an integration process of the area specified as a frame when a certain specific condition is satisfied. For example, when the regions whose positions are specified as frames overlap each other by the above-mentioned second labeling process, the overlapped areas are integrated and respecified as one frame. In other words, the area that should be originally specified as one frame is recognized as two areas (frames), the first area and the second area, and the first area exists inside the second area or the first area. When and the second region overlap, the first region and the second region are integrated into one region. By the above integrated processing, one frame that is mistakenly recognized as a separate frame can be correctly identified as one frame.
  • the specifying unit 150 may have a function of recognizing characters in a frame and converting them into character data, and a function of specifying a character in the frame.
  • the above function is performed by general image analysis on the image data of the electronic cartoon.
  • the character-recognized lines and characters are associated with the frames and stored in the database 102.
  • the electronic book providing server 100 may have a storage unit.
  • the storage unit stores the character data of the dialogue in the frame or the character identification information of the character in the frame in association with each of the plurality of frames.
  • the determination unit 160 has a horizontal adjacency confirmation unit 161 and a frame order determination unit 163.
  • the determination unit 160 determines the order of the plurality of frames specified by the specific unit 150.
  • the horizontal adjacency confirmation unit 161 confirms in the horizontal direction whether or not there is another frame adjacent to the first frame to be ordered. For example, it is confirmed whether or not another frame exists in a region in which the range from the upper end to the lower end of the first frame in the vertical direction is extended in the horizontal direction. However, the area extending in the horizontal direction from the position moved by a predetermined distance from the upper end of the first frame to the inside (downward) of the first frame to the position moved by a predetermined distance from the lower end of the first frame to the inside (upward). You may check whether or not other frames exist. That is, the area near the upper end of the first frame and the area near the lower end of the first frame may be excluded from the area for confirming whether or not the other frames are present. In other words, if the other frame slightly overlaps the vicinity of the upper end and the lower end of the first frame in the horizontal direction, it may be determined that the first frame and the other frame are not adjacent to each other in the horizontal direction.
  • the frame order determination unit 163 is based on the vertical positional relationship of each frame and the confirmation result of whether or not another frame exists in the horizontal direction of the first frame by the horizontal adjacency confirmation unit 161 described above. Determine the order of each frame. For example, in the case of a comic that turns pages from left to right, each frame is arranged vertically from top to bottom. In this type of manga, if there are adjacent frames in the horizontal direction (when there are multiple frames at the same position in the vertical direction), these frames are generally arranged so that they are read in order from the right. is there. Therefore, when the horizontal adjacency confirmation unit 161 determines that another frame (first frame) exists on the right side of the second frame, the frame order determination unit 163 changes the order of the first frame to the second frame. Decide in an order earlier than the order. When the electronic comic is a type of comic in which the page is turned from right to left, the processing is performed by reversing the above and the following explanations.
  • the knitting unit 170 has a display format setting unit 171 and a frame arrangement knitting unit 173.
  • the knitting unit 170 organizes the arrangement of the frames based on the order determined by the determination unit 160.
  • the display format setting unit 171 provides the first communication terminal 200 with an interface for designating the display format of the electronic cartoon, and sets the display format according to the content instructed by the interface. For example, when an instruction signal instructing the original first display format is input by the first communication terminal 200, the function of the frame arrangement organization unit 173 is disabled and the image data of the original electronic cartoon is displayed. When an instruction signal indicating a second display format for vertical reading in which each frame is displayed side by side in the vertical direction is input by the first communication terminal 200, the display format setting unit 171 arranges the frames vertically on the frame arrangement organization unit 173. Make them line up in the direction.
  • the display format setting unit 171 horizontally arranges the frames on the frame arrangement organization unit 173. Have them organize in the direction.
  • the display format setting unit 171 has a function of setting the number of frames displayed on the display of the first communication terminal 200, and a function of automatically adjusting the size of the frames displayed based on the width and height of the display.
  • the above-mentioned instruction signal includes a signal instructing these functions.
  • it may have a function of selecting a guideline for enlarging or reducing a frame, such as "large”, “medium”, and "small”.
  • a guideline for enlarging or reducing a frame such as "large”, “medium”, and "small”.
  • the necessity of enlargement may be determined based only on the horizontal size, or the necessity of enlargement may be determined based only on the vertical size.
  • the necessity of expansion may be determined based on the area of the frame.
  • the function for setting the number of frames sets the display format so that the set number of frames are displayed with respect to the vertical height V of the display.
  • This function may control the fade-in and fade-out of the frames so that only the set number of frames are displayed on the display, and the vertical direction of the frames so that the set number of frames are displayed on the display. You may adjust the size of.
  • this function does not have to be a function that controls so that the number of frames set on the display is always displayed, and the average value of the vertical sizes of a plurality of frames is calculated and the average value is set.
  • a plurality of frames may be enlarged at the same magnification so as to match or approximate the number of frames. When enlarging a plurality of frames, each frame may be enlarged at a different magnification.
  • the function of adjusting the size of the displayed frame based on the width and height of the display is the vertical size of the frame with respect to the vertical height V of the display and / or the horizontal direction of the frame with respect to the horizontal width H of the display. It has a function to adjust the size of each frame based on the size.
  • the vertical height V of the display means the number of pixels in the vertical direction of the display
  • the horizontal width H means the number of pixels in the horizontal direction of the display. That is, the vertical height V and the horizontal width H mean the resolution of the display.
  • the display format setting unit 171 receives terminal information (for example, vertical height V and horizontal width H) related to the display size of the first communication terminal 200.
  • the terminal information related to the display size may be input or selected by the first communication terminal 200.
  • the terminal information may be extracted in the background without being input or selected by the first communication terminal 200. That is, when the first communication terminal 200 transmits information on the display format using the interface, the display format setting unit 171 may estimate the display size based on the user agent.
  • the frame arrangement organization unit 173 sets frames for each frame whose order is determined by the frame order determination unit 163 based on the contents set by the display format setting unit 171 (contents instructed by the first communication terminal 200). Organize the arrangement of.
  • the information organized by the frame arrangement organization unit 173 is transmitted to the first communication terminal 200 and displayed on the display of the first communication terminal 200.
  • the knitting unit 170 of the frame is based on the set characters and characters. Arrangements may be organized. In other words, the knitting unit 170 organizes the arrangement of the frames based on the order determined by the determination unit 160 and the character data or the character identification information. For example, when there is an item for inputting a specific character and a character in the interface provided by the display format setting unit 171 and an instruction for displaying the specific character is input by the first communication terminal 200, a frame including the character. May be extracted to organize the arrangement of frames. That is, the organization may be performed so that only the frames including the instructed character are continuously displayed.
  • the electronic book providing server 100 may have a search unit for searching for characters or characters specified as search keywords.
  • FIG. 5A is a flowchart showing the operation of the electronic book providing system according to the embodiment of the present invention.
  • the electronic comic is transmitted from the second communication terminal 300, which is a communication terminal such as a comic creator, to the electronic book providing server 100, and the electronic comic is registered in the electronic book providing server 100 (step S531).
  • the original image data of the electronic comic is transmitted to the electronic book providing server 100.
  • the image data includes a plurality of frames.
  • step S531 the information that identifies the second communication terminal 300, the information that identifies the user who uses the second communication terminal 300, the information that indicates the author's consent to organize the original image data, and the like are the electronic book providing server. It may be transmitted to 100.
  • Items may be provided. In other words, information regarding whether or not the arrangement of a plurality of frames can be organized may be displayed to the user on the interface.
  • the interface may include an item that displays a display format specified, prohibited, or recommended by the author (that is, for each cartoon).
  • the display format for the entire one electronic cartoon may be displayed, or the display format for a part of the electronic cartoon may be displayed.
  • the interface may be displayed so that only the specified display format can be selected. If the display format is prohibited by the author, the interface may be displayed so that the prohibited display format cannot be selected. If the display format is recommended by the author, the interface may be displayed so that only the recommended display format can be selected, and the recommended display format is emphasized over other display formats. May be displayed.
  • the electronic book providing server 100 When the electronic book providing server 100 receives the original image data, it identifies each of the plurality of frames included in the image data based on the image data (step S511), and determines the order of the specified frames. (Step S512), the provision of an electronic cartoon whose display format can be changed according to a user's instruction is started (step S513).
  • the frame of step S511 is specified by the above-mentioned specific unit 150.
  • the determination of the order of the frames in step S512 is performed by the determination unit 160 described above.
  • steps S511 to S513 are performed only for the electronic comics for which the consent of the author has been obtained in step S531.
  • a viewing request for the electronic comic is transmitted from the first communication terminal 200 used by the user of the electronic book providing system 10 to the electronic book providing server 100 (step S521).
  • the electronic book providing server 100 provides the first communication terminal 200 with an interface for instructing the display format of the electronic cartoon (step S514). Details of this interface will be described later (see FIG. 20).
  • the first communication terminal 200 may be displayed regarding the possibility of data organization. For example, a display that can be understood as "the display format can be changed" may be added to the thumbnail image or icon of the electronic cartoon.
  • step S522 When the display format is instructed by inputting or selecting to the interface using the first communication terminal 200 (step S522), an instruction signal instructing the display format is transmitted to the electronic book providing server 100.
  • the electronic book providing server 100 organizes the arrangement of the frames based on the instruction signal and the frames whose order is determined in steps S511 and S512 (step S515), and provides the organized electronic cartoon to the first communication terminal 200. (Step S516).
  • the first communication terminal 200 browses the electronic cartoon in the display format input or selected in the interface (step S523).
  • S511 and S512 may be performed after S522 (display format instruction). That is, it is possible to provide an electronic cartoon in which the arrangement of the frames is organized based on the display format instruction of the frames for the electronic cartoon in which the frame is not specified and the frame order is not determined.
  • the present invention can be applied to an electronic comic book managed by a server different from the electronic book providing server 100.
  • the electronic book providing server 100 performs a process of organizing the arrangement of frames, and the organized electronic cartoon can be provided to the first communication terminal 200.
  • the storage capacity can be saved.
  • the operations of S511 (frame identification) and S512 (frame order determination) may be performed between S521 (manga viewing request) and S522 (display format instruction).
  • FIG. 6 is a flowchart showing a frame identification method of the electronic book providing system according to the embodiment of the present invention.
  • 7 to 12 are diagrams illustrating a method of specifying a frame of an electronic cartoon in the electronic book providing system according to the embodiment of the present invention.
  • 13 to 18 are diagrams illustrating a method of determining the order of specified frames in the electronic book providing system according to the embodiment of the present invention.
  • FIG. 19 is a diagram showing an example of data stored in a database in the electronic book providing system according to the embodiment of the present invention.
  • the image data is binarized (step S541). Specific examples of binarization of image data are shown in FIGS. 7 and 8.
  • the image data 600 in FIG. 7 is image data for one page.
  • the image data 600 includes a plurality of frame portions 610 and margin portions 620.
  • the plurality of frame portions 610 have five frame portions 611, 613, 615, 617, and 619. When it is not necessary to distinguish the five frame portions, it is simply referred to as a frame portion 610.
  • Illustrations are drawn on each of the plurality of frame sections 610, but for convenience of explanation, illustrations are drawn only on the first frame section 611 and the second frame section 613, and the third frame section 615 and the fourth frame section 615. The illustrations of the part 617 and the fifth frame part 619 are omitted.
  • illustrations are displayed in color or grayscale, but if the process of specifying each frame is performed in that state, the amount of information handled is large, which increases the burden on the information processing device. Therefore, in order to reduce the amount of information handled by the information processing device, the image data is binarized.
  • the backgrounds of the body portions and the second frame portion 613 of the characters 631 and 633 are displayed in grayscale.
  • the color information or grayscale information is simplified as shown in FIG. 8, and the outer shape of each part of the character (for example, between the character's body and head) is simplified. Only the joints of) and the frame of the frame are displayed in black, and the other areas are displayed in white.
  • this binarization process can be omitted.
  • a part of the frame of the second frame portion 613 has a chipped 635, and the frame is discontinuous.
  • the inside of the second frame portion 613 is not separated from the margin portion 620, and both are continuous.
  • the binarized image data is divided into a plurality of regions (step S542).
  • the first labeling process is performed on the binarized image data.
  • pixels of the same color are divided into continuous areas. Therefore, when adjacent white areas are separated by a black line as described above, the adjacent white areas are different areas. Is recognized as. That is, as shown in FIG. 8, for example, the background of the first frame portion 611 and the characters 631 and 633 are white regions, respectively, but they are separated by a black line. Therefore, as shown in FIG. 9, each is recognized as a different region and is divided into a plurality of regions. In FIG. 9, continuous regions displayed by the same hatching mean that they are recognized as the same region.
  • a margin is specified based on the divided area (step S543).
  • the region having the largest area is specified as a margin.
  • the area of one frame may be larger than the area of the margin.
  • illustrations are drawn in the frame, and those illustrations are also divided into multiple areas. Therefore, the margin area is often the largest among the plurality of divided areas.
  • FIG. 10 is a diagram in which the area specified as the margin is displayed in black, and the other areas are displayed in white.
  • the first frame portion 611 is specified as an area other than the margin including the character 631 inside the first frame portion 611.
  • the inside of the second frame portion 613 and the margin portion 620 may be recognized as one area, and the frame may not be normally specified.
  • the margins specified in the above process and the validity of the frame are confirmed (steps S544 and S545).
  • the second labeling process is performed on the image data in which the margins and frames are specified by the above process.
  • a rectangular area in which each of the plurality of divided areas is surrounded by a rectangle is recognized as one frame candidate, and the position of each frame candidate is specified.
  • Each of the candidates 645 is recognized as a frame candidate.
  • the frame candidates recognized by the process are integrated (the frame candidate is integrated).
  • Step S545) that is, when the frame candidates overlap each other, or when one frame candidate exists inside the other frame candidate, these frame candidates are integrated and specified as one frame.
  • the integration process of this example since a part of the second frame candidate 643 and a part of the third frame candidate 645 overlap each other, they are integrated. Since the second frame candidate 643 and the third frame candidate 645 exist inside the first frame candidate 641, they are integrated with the first frame candidate 641. In this way, as shown in FIG. 12, the second frame portion 613 is specified as one frame.
  • the characters 631 drawn in the plurality of frame portions 610 (frame portions 611, 615, 617, and 619) other than the margin and each frame portion 610. , 633 can be specified as a frame (frame portion 613). Further, by specifying the position of each frame candidate and performing the integration process, even if a frame identification abnormality occurs in the above process, it can be correctly identified as each frame unit 610 as a frame.
  • the frame order is determined (step S546).
  • the method of determining the frame order is performed by the rod-shaped frame detecting means 650 having a constant width in the vertical direction.
  • the frame detecting means 650 extends horizontally from the right end to the left end of the image data 600.
  • the frame detecting means 650 and each frame portion 610 overlap (collide) that is, when the frame portion 610 overlapping with the frame detecting means 650 is detected, the frame portion 610 is the target frame portion for which the order is determined. It is judged that there is.
  • the frame detecting means 650 When the frame detecting means 650 extends from the right end to the left end of the image data 600 and there are a plurality of frame portions 610 overlapping with the frame detecting means 650, the other frame is in the horizontal direction of one frame portion (first frame portion 611). It is determined that the unit (second frame unit 613) exists.
  • the frame detecting means 650 detects the first frame portion 611, a provisional order (A) is given to the first frame portion 611.
  • the frame detecting means 650 overlaps only the first frame portion 611, only the existence of the first frame portion 611 is recognized in the horizontal direction in which the frame detecting means 650 extends.
  • the frame detecting means 650 overlaps with both the first frame portion 611 and the second frame portion 613.
  • the frame detecting means 650 reaches the left end of the image data 600 as shown in FIG. 14, it is determined that these two frame portions exist within the vertical range in which the frame detecting means 650 exists.
  • a provisional order (B) is given to the second frame portion 613.
  • the frame detecting means 650 moves to a lower position by the width of the frame detecting means 650 in the vertical direction, and the frame detecting means 650 extends from the right end to the left end. Perform the same processing as above.
  • the frame detecting means 650 repeats the above operation, and as shown in FIG. 15, when the frame detecting means 650 does not overlap with both the first frame section 611 and the second frame section 613, the frame detecting means 650 has these. It is judged that the lower end of the frame portion has been exceeded. Then, based on the provisional order (A) and (B), the order of the first frame portion 611 is determined to be the first (1), and the order of the second frame portion 613 is determined to be the second (2).
  • the first frame portion 611 when it is determined that the first frame portion 611 exists on the right side of the second frame portion 613 and no other frame portion exists on the right side of the first frame portion 611, the first frame portion 611 Is determined in an order earlier than the order of the second frame portion 613, and the order of the first frame portion 611 is determined in the first order.
  • the frame detecting means 650 reaches only the left end of the image data 600 and overlaps only the margin portion 620, it exists above the frame detecting means 650 in that state, and the order is still determined. The order is determined for the unfinished frames.
  • the provisional order of the third frame portion 615 is determined to be (A), and the fifth frame portion 615 is determined.
  • the tentative order of the frame portion 619 is determined (B).
  • the frame detecting means 650 since the frame detecting means 650 has not yet reached the fourth frame portion 617, the existence of the fourth frame portion 617 is not recognized.
  • the frame detecting means 650 repeats the above operation and as shown in FIG. 17, when the frame detecting means 650 does not overlap with the third frame portion 615, the frame detecting means 650 exceeds the lower end of the third frame portion 615. Judged. However, since the frame detecting means 650 does not exceed the lower end of the fifth frame portion 619, the order of the frame portions is not yet determined. In the state of FIG. 17, since the frame detecting means 650 overlaps with the fourth frame portion 617, the existence of the fourth frame portion 617 is recognized, and the tentative order of the fourth frame portion 617 is determined in (C).
  • the frame detecting means 650 repeats the above operation and the frame detecting means 650 does not overlap with both the fourth frame portion 617 and the fifth frame portion 619 as shown in FIG. 18, the frame detecting means 650 has these. It is judged that the lower end of the frame portion has been exceeded. In this state, the third frame portion 615 and the fourth frame portion 617 exist on the right side of the fifth frame portion 619. Therefore, the order of the third frame portion 615 and the fourth frame portion 617 is determined in an order earlier than the order of the fifth frame portion 619. Since the third frame portion 615 exists above the fourth frame portion 617, the order of the third frame portion 615 is determined in an order earlier than the order of the fourth frame portion 617.
  • the order of the third frame portion 615 is determined to be the first order (third) among the frame portions whose order has not been determined yet. To. That is, the tentative order (A) is determined to be the third (3), the tentative order (C) is determined to be the fourth (4), and the tentative order (B) is determined to be the fifth (5).
  • the above method is a method for determining the frame order applied to comics of the type that turns pages from left to right.
  • a process that is left-right inverted from the above explanation is performed. That is, in this case, when the frame detecting means 650 extends from the left end to the right end of the image data 600 and there are a plurality of frame portions in the horizontal direction, the left frame portion is determined in an order earlier than that of the right frame portion. ..
  • the order of each frame part can be determined in the frame order that the reader naturally recognizes when reading the manga.
  • the order of each frame portion determined as described above is stored in the database 102 (see FIG. 1) connected to the electronic book providing server 100 together with the information for specifying the position of the frame.
  • the data table 101 is stored in the database 102.
  • the data table 101 includes a frame ID 103, cartoon information 104, page information 105, frame coordinates 106, frame size 107, and frame order 108. This information is associated with each other.
  • the information included in the data table 101 may be only a part of the information shown in FIG. 19, and may include information other than this information.
  • the frame ID 103 is an ID that identifies a target frame to which an order has been assigned.
  • the cartoon information 104 is an electronic cartoon including a target frame, and is information for identifying an electronic cartoon corresponding to one book.
  • the page information 105 is information that identifies the page on which the target frame is drawn.
  • the frame coordinate 106 is information for specifying the coordinates (horizontal direction: x, vertical direction: y) of the frame on the page on which the target frame is drawn. When the frame is rectangular, the frame coordinates 106 may be the coordinates of the upper right corner of the rectangle, or may be the coordinates of the center of the frame.
  • the frame coordinates 106 can specify the coordinates when the frame detecting means 650 first overlaps the target frame portion as the upper right corner of the rectangle.
  • the frame size 107 is information for specifying the horizontal size ( ⁇ x) and the vertical size ( ⁇ y) of the target frame.
  • the frame size 107 can be calculated based on the area where the frame detecting means 650 overlaps with the target frame.
  • the frame order 108 is the order given to the target frame on each page. Instead of the frame size 107, the coordinates of the four corners of the frame or the diagonal coordinates of the frame may be included in the data table 101.
  • the specific unit 150 has a function of converting the dialogue in the frame into character data and a function of specifying the character in the frame
  • the character data and information about the character are associated with each frame. May be good.
  • FIG. 19 a configuration in which a frame order is assigned to each page is illustrated, but the configuration is not limited to this configuration.
  • a serial number may be assigned to the frames of all pages of one comic, or a serial number may be assigned to the frames of several pages such as chapters.
  • the interface shown below may include an item instructing the method of assigning the frame order.
  • [How to display frames] 20 to 23 are an example of an interface provided to the first communication terminal 200 in step S514 of FIGS. 5A and 5B, and an example of a cartoon display format provided to the first communication terminal 200 in step S516. Will be described.
  • FIG. 20 is a diagram showing an example of an interface for receiving a display format instruction from a user who browses an electronic comic in the electronic book providing system according to the embodiment of the present invention.
  • the interface 700 displays a display format instruction frame 710, a display frame number instruction frame 720, a width / height automatic adjustment instruction frame 730, and a decision button 740.
  • the items displayed on the interface 700 shown in FIG. 20 are examples, and only some of these items may be displayed, or items other than these items may be displayed.
  • the display format instruction frame 710 is an item for instructing in what format each frame included in the electronic cartoon is displayed on the first communication terminal 200.
  • the display format instruction frame 710 displays "original”, “vertical reading”, and “horizontal reading” instruction buttons.
  • “Original” is a button instructing to display the frame positions in the original image data format in which the positions are not organized.
  • "Vertical reading” is a button for instructing the display of frames in a vertically arranged format based on page information 105 and frame order 108 (see FIG. 19).
  • the “horizontal reading” is a button for instructing the display of the frames in a horizontally arranged format based on the page information 105 and the frame order 108.
  • the display frame number instruction frame 720 is an item for instructing the number of frames displayed on the display of the first communication terminal 200 when "vertical reading” or “horizontal reading” is instructed in the display format instruction frame 710. is there.
  • FIG. 20 a configuration in which a selection unit 721 for selecting the number of frames displayed on the display by a pull-down method is provided in the display frame number instruction frame 720 is illustrated, but the configuration is not limited to this configuration.
  • the display frame number instruction frame 720 an input frame in which the number of display frames can be directly input may be provided, or a slide bar in which the number of display frames can be set may be provided.
  • each frame can be displayed in the size of the original image data.
  • the width / height automatic adjustment instruction frame 730 is based on the size of the display of the first communication terminal 200 and the size of each frame when “vertical reading” or “horizontal reading” is instructed by the display format instruction frame 710. , It is an item for enabling "ON” or invalidating "OFF” the function of automatically adjusting the height or width of the frame. For example, when “vertical reading” is instructed, the width of the frame (size in the horizontal direction) is adjusted based on the horizontal width H of the display (see FIG. 3). On the other hand, when “horizontal reading” is instructed, the height of the frame (size in the vertical direction) is adjusted based on the vertical height V (see FIG. 3) of the display. In other words, the width / height automatic adjustment instruction frame 730 organizes the arrangement of frames based on the terminal information of the first communication terminal 200.
  • the width of the frame may be adjusted based on the vertical height V of the display and the height of the frame in addition to the above.
  • the height of the frame may be adjusted based on the horizontal width H of the display and the width of the frame in addition to the above.
  • the decision button 740 confirms the instruction contents selected or input in the display format instruction frame 710, the display frame number instruction frame 720, and the width / height automatic adjustment instruction frame 730, and informs the electronic book providing server 100 of these instruction contents. It is a button to send a signal including.
  • FIG. 21 and 22 are diagrams showing an example of displaying frames in a display format instructed by a user in the electronic book providing system according to the embodiment of the present invention.
  • the frames are arranged vertically and displayed on the display 240 as shown in FIG. 21 based on the page information 105 and the frame order 108 (see FIG. 19). Will be done.
  • the frames are arranged horizontally and displayed on the display 240 based on the page information 105 and the frame order 108 as shown in FIG.
  • FIG. 23 is a diagram showing an example of displaying frames in a display format instructed by a user in the electronic book providing system according to the embodiment of the present invention.
  • the example shown in FIG. 23 is a display example in which "vertical reading" is instructed in the display format instruction frame 710 and valid "ON" is instructed in the width / height automatic adjustment instruction frame 730.
  • the first and second frames are enlarged and displayed.
  • the width of the second frame is larger than the width of the first frame
  • the width of the first and second frames is based on the width of the second frame and the horizontal width H of the display.
  • the magnification has been adjusted. However, the first frame and the second frame may be adjusted at different magnifications.
  • each frame is displayed in a vertically oriented state (a state in which the length of the display is along the vertical direction), but the display 240 is in a horizontally oriented state (in the display). The length may be along the horizontal direction). Even when the display 240 is in the horizontal orientation, each frame is displayed in the same orientation as in FIGS. 21 to 23.
  • the electronic book providing server 100 divides the original image data into frames to determine the order, and based on the instruction of the first communication terminal 200. Organize the arrangement of each frame. Therefore, the electronic book providing server 100 can adjust the display format of the electronic comics according to the preference and usage pattern of the user who uses the first communication terminal 200.
  • the electronic book providing system 10A according to the second embodiment will be described with reference to FIGS. 24 to 26.
  • the electronic book providing system 10A shown in FIGS. 24 to 26 is similar to the electronic book providing system 10 shown in FIGS. 1 to 23.
  • the function of the electronic book providing server 100A included in the electronic book providing system 10A is different from the function of the electronic book providing server 100 (see FIG. 4).
  • the description of the same configuration as that of the first embodiment will be omitted, and the differences between the two will be described.
  • FIG. 24 is a schematic diagram showing a functional configuration of a server used in the electronic book providing system according to the embodiment of the present invention.
  • the knitting unit 170A of the electronic book providing server 100A has a terminal information receiving unit 175A and a knitting method proposing unit 177A in addition to the functions of the knitting unit 170 of FIG.
  • the terminal information receiving unit 175A receives terminal information (for example, vertical height V and horizontal width) related to a display function such as the display size of the first communication terminal 200A. H) is received.
  • the terminal information may be input or selected by the first communication terminal 200A, or may be inferred based on a user agent or the like.
  • the terminal information receiving unit 175A includes organizer information (for example, the name, gender, age, country of residence of the organizer, and the user ID and nickname in the service provided by the electronic book providing system 10A). It receives information such as the name of the country in which the communication terminal 200A is using the service and the date and time when the service of the first communication terminal 200A is used.
  • the organization method proposal unit 177A proposes a display format (a method of organizing the arrangement of frames) recommended for the user who uses the first communication terminal 200A, based on the information received by the terminal information reception unit 175A. For example, based on the type of electronic cartoon and the display size of the first communication terminal 200A, a display format suitable for the condition or a display format selected by many users under the condition is proposed.
  • FIG. 25 is a diagram showing an example of data stored in a database in the electronic book providing system according to the embodiment of the present invention.
  • the data table 701A shown in FIG. 25 includes information received by the terminal information receiving unit 175A from the first communication terminal 200A. Further, the information included in the data table 701A of FIG. 25 is information used by the organization method proposing unit 177A to propose an appropriate display format to the user who uses the first communication terminal 200A.
  • the data table 701A includes cartoon information 703A, organization method 704A, organizer information 705A, country name 706A, organization date and time 707A, and terminal information 708A. This information is associated with each other.
  • the information included in the data table 701A may be only a part of the information shown in FIG. 25, or may include information other than this information.
  • the cartoon information 703A is the same item as the cartoon information 104 in FIG.
  • the knitting method 704A is a display format of electronic comics instructed by the first communication terminal 200A (display format in FIG. 26, number of displayed frames, and automatic width / height adjustment).
  • the organizer information 705A includes, for example, the name, gender, age, country of residence of the user who instructed the organization of the electronic comics using the first communication terminal 200A, and the user ID in the service provided by the electronic book providing system 10A. Information such as nicknames. However, the organizer information 705A does not have to include all of these, and may include information other than these.
  • the country name 706A is the name of the country with which the first communication terminal 200A, which has instructed the display format of the electronic cartoon, communicated.
  • the organization date and time 707A is a date and time when the first communication terminal 200A instructs the display format of the electronic cartoon.
  • the terminal information 708A is the vertical height V and the horizontal width H of the display of the first communication terminal 200A, or other information that can identify these.
  • FIG. 26 is a diagram showing an example of an interface that proposes a display format to a user who browses an electronic comic in the electronic book providing system according to the embodiment of the present invention.
  • the interface shown in FIG. 26 is, for example, the interface provided to the first communication terminal 200A in step S514 of FIGS. 5A and 5B.
  • the recommended button 750A is displayed on the interface 700A in addition to the items displayed on the interface 700 of FIG. 20.
  • the state shown in FIG. 26 is a state in which the recommended button 750A is enabled (white on a black background).
  • the 24 proposes, for example, the most frequently adopted display format for the target cartoon based on the data table 701A.
  • the recommended button 750A by enabling the recommended button 750A, it is proposed to set the display format to "vertical reading", the number of displayed frames to "2 frames / page”, and the automatic width / height adjustment to "OFF”. ..
  • the recommended display format of the target electronic cartoon is for the user who uses the first communication terminal 200A. Can be proposed. With this configuration, the convenience of the user can be improved.
  • the electronic book providing system 10B according to the third embodiment will be described with reference to FIGS. 27 to 31.
  • the electronic book providing system 10B shown in FIGS. 27 to 31 is similar to the electronic book providing system 10 shown in FIGS. 1 to 23.
  • the function of the electronic book providing server 100B included in the electronic book providing system 10B is different from the function of the electronic book providing server 100 (see FIG. 4).
  • the description of the same configuration as that of the first embodiment will be omitted, and the differences between the two will be described.
  • FIG. 27 is a schematic diagram showing a functional configuration of a server used in the electronic book providing system according to the embodiment of the present invention.
  • the specific unit 150B of the electronic book providing server 100B has a margin investigation unit 159B in addition to the function of the specific unit 150 of FIG.
  • the margin investigation unit 159B determines whether or not there is an area that should have been identified as a frame in the area specified as the margin for the image data in which the margin and the frame are specified by the margin identification unit 155B and the frame identification unit 157B. investigate.
  • the area that should be originally specified as a frame may be specified as a margin even though the processing for specifying the margin and the frame is performed.
  • such a problem may occur for an illustration drawn in an area where the frame does not exist or the frame cannot be detected.
  • the size of the area erroneously specified as a margin is larger than a predetermined size. In other words, the size of the area is so large that it is hard to think of it as a margin.
  • this predetermined size is referred to as a "frame certified size".
  • FIGS. 28 to 31 are diagrams illustrating a method of specifying a part of a margin as a frame in the electronic book providing system according to the embodiment of the present invention.
  • the margin investigation space 800B of the frame certification size exists in the margin portion 620B.
  • the existence of the margin investigation space 800B in the margin portion 620B means that the margin portion 620B has a large space that cannot be considered as a margin.
  • the investigation area 810B of the margin investigation space 800B is extended in the horizontal direction (left direction) from the upper right corner of the margin portion 620B.
  • the survey area 810B of the margin survey space 800B extends to the left until it reaches the second frame portion 613B.
  • the extension of the survey area 810B to the left stops when it reaches the second frame portion 613B, and then the survey area 810B extends vertically (downward) until it reaches the third frame portion 615B (see FIG. 30). ..
  • the downward extension of the survey area 810B stops when it reaches the third frame portion 615B.
  • the space surrounded by the survey area 810B in this state is specified as the sixth frame portion 612B.
  • the investigation of the margin investigation space 800B may be performed using the frame detecting means 650 described in the first embodiment, or may be performed using a detecting means having a size corresponding to the margin investigation space 800B.
  • the margin investigation space 800B is investigated using the frame detection means 650, the above investigation is executed by determining whether or not the detected margin has an area larger than the frame certification size.
  • the existence of the margin investigation space 800B can be investigated based on the region where the tip of the frame detecting means 650 has passed through the margin portion 620B.
  • margin portion 620B When investigating the margin investigation space 800B using a detection means having a size corresponding to the margin investigation space 800B, does the margin portion 620B have a space in which a frame having the same size as the margin investigation space 800B can be arranged as shown in FIG. Whether or not it is investigated.
  • the smallest frame size (minimum frame size) of all the frames specified in one electronic cartoon can be certified as the frame certification size.
  • 1/5 of the size of one page may be certified as a frame certification size.
  • the area of 100 ⁇ 100 pixels may be certified as the frame certification size.
  • the frame certification size is not limited to this size, and can be appropriately set between 50 ⁇ 50 pixels and 500 ⁇ 500 pixels.
  • the investigation of the area specified as the margin by the margin investigation unit 159B may be performed separately from the determination of the order of each frame by the determination unit 160B, or may be performed at the same time as the determination of the order of each frame.
  • the processes of FIGS. 28 to 31 are performed before the processes shown in FIGS. 13 to 18 are performed.
  • the processing of FIGS. 28 to 31 is performed by determining whether or not there is a space of the frame certification size (for example, 100 ⁇ 100 pixels) in the margin while performing the processing shown in FIGS. 13 to 18. Can also serve as.
  • the risk of erroneously identifying the frame as a margin can be reduced. Further, even when an illustration exists in an area without a frame, such an illustration can be specified as a frame.
  • the electronic book providing system 10C according to the fourth embodiment will be described with reference to FIG. 32.
  • the electronic book providing system 10C shown in FIG. 32 is similar to the electronic book providing system 10 shown in FIGS. 1 to 23.
  • the electronic book providing system 10C is electronic in that the second communication terminal 300C for registering the electronic comics indicates the display format and the server for providing the electronic comics is a server different from the server for organizing the frames. It is different from the book providing system 10.
  • the description of the same configuration as that of the first embodiment will be omitted, and the differences between the two will be described.
  • FIG. 32 is a flowchart showing the operation of the electronic book providing system according to the embodiment of the present invention.
  • the second communication terminal 300C first requests the electronic book providing server 100C to organize an electronic cartoon (step S931).
  • the electronic book providing server 100C provides an interface to the second communication terminal 300C (step S911).
  • this interface an interface similar to the interface described with reference to FIG. 20 can be used.
  • the electronic book providing server 100C performs frame identification (step S912) and frame order determination (step S913). Subsequently, the frames are organized according to the content instructed in step S932 (step S914). Then, when the composition of the frames is completed, a notification indicating the completion is transmitted to the second communication terminal 300C (step S915).
  • the second communication terminal 300C can obtain an electronic cartoon organized in a desired display format.
  • the method described in the first embodiment can be used for specifying the frames, determining the frame order, and organizing the frames.
  • the second communication terminal 300C uploads the above-organized electronic cartoon to the cartoon management server 900C (step S933).
  • the cartoon management server 900C publishes the uploaded electronic cartoon (step S991), and provides the electronic cartoon in response to the electronic cartoon viewing request (step S921) from the first communication terminal 200C (step S992).
  • the first communication terminal 200C can browse the electronic cartoon organized by the second communication terminal 300C (step S922).
  • a comic creator can organize an electronic comic display format before uploading the electronic comic to the comic management server 900C.
  • a server that identifies frames, determines the order of frames, and organizes frames and a server that provides electronic comics have different configurations, but even if these functions are executed by one server, Good.
  • the above processing may be executed not by the server but by a general computing device such as a personal computer or a mobile communication terminal such as a smartphone.
  • the present invention is not limited to the above-described embodiment and can be appropriately modified without departing from the spirit of the present invention.
  • a system in which a person skilled in the art appropriately adds, deletes, or changes the design based on the electronic book providing system of the present embodiment is also included in the scope of the present invention as long as the gist of the present invention is provided. Is done.
  • the above-described embodiments can be appropriately combined as long as there is no contradiction with each other, and technical matters common to the respective embodiments are included in the respective embodiments even if there is no explicit description.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

ユーザの好みや利用形態によって電子漫画の表示形式を調整することができるサーバは、複数のコマを含む漫画の画像データに基づいて、前記複数のコマの各々を特定する特定部と、前記特定部によって特定された前記複数のコマの順序を決定する決定部と、前記決定部によって決定された前記順序に基づいて、前記コマの配置を編成する編成部と、を有する。前記編成部は、表示形式を指示する指示信号に基づいて前記コマの配置を編成してもよい。

Description

サーバ、プログラム、方法及びシステム
 本発明はサーバ、プログラム、方法及びシステムに関する。特に、本発明は、オリジナルの電子書籍を所望の表示形式に編成するサーバ、プログラム、方法及びシステムに関する。
 近年、携帯端末を用いて読むことができる電子書籍が普及している。電子書籍は、携帯端末にダウンロードすることができるため、1つの携帯端末を用いて複数の電子書籍を読むことができる。上記の電子書籍として、電子書籍向けに作成されたものだけでなく、紙媒体の書籍が電子化されたものが利用されている。後者の場合、電子化された書籍は、携帯端末のディスプレイにページ毎に表示され、ページ毎に画面が切り換えられる。
 上記のような電子書籍の1つとして、電子漫画が普及している。従来の紙媒体の書籍(単行本)が電子化された電子漫画では、各シーンがコマによって区切られており、1ページ内に複数のコマが配置されている。上記の電子漫画では、1つのページにおける各コマの位置関係は固定されている。したがって、ユーザが電子漫画の画像データ等を扱う場合、各コマの位置が固定された1つのページを1つの画像データとして取り扱う必要があるため、電子漫画の画像データの取り扱いに制約があった。
 このような電子漫画の画像データについて、各ページに含まれる画像データに基づいて各コマの画像データを作成することで、各コマに含まれる情報を対象とする情報処理を行う技術が開発されている(例えば、特許文献1)。特許文献1では、各ページを構成するコマ毎に画像データを作成する。特許文献1において、当該コマに含まれる文字情報を検索キーワードとして検索した場合に、その文字情報が記載されたコマの画像を検索結果として出力する。
特開2009-98829号公報
 例えば携帯電話やスマートフォンなどの携帯端末を用いて電子漫画を提供するサービスを利用する場合、ユーザの好みや利用形態によって電子漫画の表示形式を調整できることが好ましい。しかし、上記のようにほとんどの電子漫画は、1ページにおける各コマの位置関係が固定されているため、表示形式の調整に制限があった。特許文献1は、単に文字情報の検索結果として、検索対象の文字情報が記載されたコマの画像を出力するという技術が記載されているに過ぎず、ユーザの好みに合わせて電子漫画の表示形式を調整するものではない。
 本発明の一実施形態は、上記の課題に鑑みてなされたものであって、ユーザの好みや利用形態によって電子漫画の表示形式を調整することができるサーバ、プログラム、方法及びシステムを提供することを課題とする。
 本発明の一実施形態にかかるサーバは、複数のコマを含む漫画の画像データに基づいて、前記複数のコマの各々を特定する特定部と、前記特定部によって特定された前記複数のコマの順序を決定する決定部と、前記決定部によって決定された前記順序に基づいて、前記コマの配置を編成する編成部と、を有する。
 前記編成部は、表示形式を指示する指示信号に基づいて前記コマの配置を編成してもよい。
 前記指示信号は、オリジナルの前記画像データを表示する第1表示形式と、前記コマを垂直方向に並べて表示する第2表示形式と、前記コマを水平方向に並べて表示する第3表示形式と、を含む2つ以上の表示形式の中からいずれか1つの表示形式を指示する信号を含んでもよい。
 前記指示信号は、編成された前記コマを表示する端末のディスプレイに表示されるコマ数を指定する信号を含んでもよい。
 前記編成部は、編成された前記コマを表示する端末の端末情報に基づいて前記コマの配置を編成してもよい。
 前記特定部は、前記画像データを同じ色の画素が連続する複数の領域に分割し、前記複数の領域に基づいて余白を特定し、前記余白に基づいて前記複数のコマの各々を特定してもよい。
 前記特定部は、分割された前記複数の領域のうち最大の前記領域を前記余白と特定してもよい。
 前記特定部は、前記余白以外の前記領域を前記コマと特定してもよい。
 前記特定部は、前記画像データを二値化し、二値化された前記画像データに基づいて、前記画像データを前記複数の領域に分割してもよい。
 前記複数の領域は、第1領域及び第2領域を含み、前記特定部は、前記第1領域が前記第2領域の内側に存在する、又は、前記第1領域と前記第2領域とが重なっている場合、前記第1領域及び前記第2領域を1つの領域に統合してもよい。
 前記特定部は、前記特定部によって特定された前記複数のコマのうち最も小さいコマのサイズ以上の空間が前記余白の中に存在する場合、前記空間をコマとして特定してもよい。
 前記複数のコマは、第1コマを含み、前記決定部は、前記画像データの水平方向において前記第1コマに隣接する他のコマの存在の有無に基づいて、前記複数のコマにおける前記第1コマの順番を決定してもよい。
 前記複数のコマは、第2コマをさらに含み、前記決定部は、前記第1コマの前記水平方向に前記第2コマが存在する場合、前記第1コマの順番を前記第2コマの順番より早い順番に決定してもよい。
 前記編成部は、ユーザに対して、前記複数のコマの配置の編成の可否に関する情報をインターフェースに表示してもよい。
 前記編成部は、前記漫画ごとに指定、禁止又は推奨された表示形式をインターフェースに提供してもよい。
 前記複数のコマの各々に、前記コマ内のセリフの文字データ又は前記コマ内のキャラクタのキャラクタ識別情報を関連付けて保存する保存部をさらに有し、前記編成部は、前記決定部によって決定された前記順序、及び前記文字データ又は前記キャラクタ識別情報に基づいて、前記コマの配置を編成してもよい。
 本発明の一実施形態にかかるプログラムは、複数のコマを含む漫画の画像データに基づいて、前記複数のコマの各々を特定し、特定された前記複数のコマの各々の順番を決定し、決定された前記順番に基づいて、前記コマの配置を編成することをコンピュータに実行させる。
 本発明の一実施形態にかかる方法は、複数のコマを含む漫画の画像データに基づいて、前記複数のコマの各々を特定し、特定された前記複数のコマの各々の順番を決定し、決定された前記順番に基づいて、前記コマの配置を編成する。
 本発明の一実施形態にかかるシステムは、複数のコマを含む漫画の第1画像データに基づいて、前記複数のコマの各々を特定する特定部と、前記特定部によって特定された前記複数のコマの各々の順番を決定する決定部と、前記決定部によって決定された前記順番に基づいて、前記コマの配置を編成する編成部と、を有するサーバ、及び前記複数のコマの各々の第2画像データを前記サーバから受信し、前記編成部によって編成された配置で前記コマを表示する通信端末を備える。
 前記サーバは、前記通信端末によって指示された表示形式に基づいて前記コマの配置を編成してもよい。
 前記サーバは、前記通信端末の表示機能に関する端末情報を受信し、前記端末情報及び前記第1画像データに基づく前記コマの配置を編成する方法を前記通信端末に提案してもよい。
 本発明の一実施形態によれば、ユーザの好みや利用形態によって電子漫画の表示形式を調整することができるサーバ、プログラム、方法及びシステムを提供することができる。
本発明の一実施形態に係る電子書籍提供システムの概要を示す図である。 本発明の一実施形態に係る電子書籍提供システムに用いられるサーバのハードウェア構成を示す概略図である。 本発明の一実施形態に係る電子書籍提供システムに用いられる通信端末のハードウェア構成を示す概略図である。 本発明の一実施形態に係る電子書籍提供システムに用いられるサーバの機能構成を示す概略図である。 本発明の一実施形態に係る電子書籍提供システムの動作を示すフローチャートである。 本発明の一実施形態に係る電子書籍提供システムの動作を示すフローチャートである。 本発明の一実施形態に係る電子書籍提供システムのコマ特定方法を示すフローチャートである。 本発明の一実施形態に係る電子書籍提供システムにおいて、電子漫画のコマを特定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、電子漫画のコマを特定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、電子漫画のコマを特定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、電子漫画のコマを特定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、電子漫画のコマを特定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、電子漫画のコマを特定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、特定されたコマの順序を決定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、特定されたコマの順序を決定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、特定されたコマの順序を決定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、特定されたコマの順序を決定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、特定されたコマの順序を決定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、特定されたコマの順序を決定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、データベースに記憶されるデータの一例を示す図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、電子漫画を閲覧するユーザから、表示形式の指示を受け付けるインターフェースの一例を示す図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、ユーザによって指示された表示形式でコマを表示する一例を示す図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、ユーザによって指示された表示形式でコマを表示する一例を示す図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、ユーザによって指示された表示形式でコマを表示する一例を示す図である。 本発明の一実施形態に係る電子書籍提供システムに用いられるサーバの機能構成を示す概略図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、データベースに記憶されるデータの一例を示す図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、電子漫画を閲覧するユーザへ、表示形式を提案するインターフェースの一例を示す図である。 本発明の一実施形態に係る電子書籍提供システムに用いられるサーバの機能構成を示す概略図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、余白の一部をコマとして特定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、余白の一部をコマとして特定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、余白の一部をコマとして特定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムにおいて、余白の一部をコマとして特定する方法を説明する図である。 本発明の一実施形態に係る電子書籍提供システムの動作を示すフローチャートである。
 以下、図面を参照して本発明の一実施形態における電子書籍提供システム、当該システムに用いられる電子書籍提供サーバ、及び通信端末、及びこれらの機能について説明する。また、図面を参照して通信端末に表示されるインターフェース及び電子漫画について説明する。但し、本発明の一実施形態における電子書籍提供システム等は多くの異なる態様で実施することが可能である。本発明は以下に示す例の記載内容に限定して解釈されない。本実施の形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号を用いる又は同一の符号の後にアルファベットを付し、その繰り返しの説明は省略する。電子書籍提供システムや電子書籍提供サーバは、ユーザに対して直接電子書籍を提供する機能を有するシステムやサーバだけでなく、電子書籍を提供するために用いられるシステムやサーバを含む。つまり、以下の説明において、電子書籍提供システム及び電子書籍提供サーバは、電子書籍を提供するために電子書籍を編成する機能を有するシステム及びサーバを含む。
 以下の実施形態において、電子漫画の画像データを見る向きに漫画を表示させたときの横方向を水平方向といい、縦方向を垂直方向という。通信端末に電子漫画を表示する場合、通信端末のディスプレイの長手方向を垂直方向に合わせて使用する場合が多いため、当該ディスプレイの長手方向を垂直方向といい、短手方向を水平方向という場合がある。ただし、上記の表現は、本発明を電子漫画の垂直方向をディスプレイの長手方向に合わせて表示する構成に限定するものではない。
 以下の実施形態では、電子書籍提供サーバと通信を行い、電子書籍を表示する通信端末として、携帯通信端末が用いられた構成を例示するが、この構成に限定されない。特に技術的な矛盾が生じない限り、異なる実施形態間の技術を組み合わせることができる。
〈第1実施形態〉
 図1~図23を用いて、本発明の第1実施形態に係る電子書籍提供システム10、電子書籍提供システム10に用いる電子書籍提供サーバ100、第1通信端末200、及び第2通信端末300、並びに、これらを動作させるためのプログラムについて説明する。第1実施形態に示す電子書籍提供システム10は、ネットワーク400を介して電子書籍提供サーバ100、第1通信端末200、及び第2通信端末300が通信可能に接続された構成を有している。
 本実施形態において、第1通信端末200は、電子漫画を閲覧する通信端末である。第1通信端末200は、ユーザが希望する表示形式で電子漫画を表示するように、電子書籍提供サーバ100に対して電子漫画の閲覧を要求する通信端末である。第2通信端末300は、電子漫画を電子書籍提供サーバ100に登録する通信端末である。例えば、第2通信端末300は、漫画のクリエイタ又は電子書籍提供サーバ100の管理者又は従業員が使用する通信端末である。
 以下の説明において、第1通信端末200は、例えばスマートフォン及びタブレット端末のようなモバイル用通信端末である。一方、第2通信端末300は、上記のモバイル用通信端末であってもよく、デスクトップ型パソコン(PC)のようなモバイル用ではない通信端末であってもよい。第1通信端末200がモバイル用ではない通信端末であってもよい。
[電子書籍提供システム10の概要]
 図1は、本発明の一実施形態に係る電子書籍提供システムの概要を示す図である。図1に示すように、本発明に係る電子書籍提供システム10は、電子書籍提供サーバ100、第1通信端末200、及び第2通信端末300を有する。電子書籍提供サーバ100は情報処理装置である。第1通信端末200はモバイル用の通信端末である。電子書籍提供サーバ100はデータベース102に接続されている。
 電子書籍提供サーバ100は、第2通信端末300によって登録された電子漫画を第1通信端末200に提供する。詳細は後述するが、電子書籍提供サーバ100は、複数のコマを含む電子漫画の画像データに基づいて、複数のコマの各々を特定し、特定された各コマの順序を決定する機能を有する。電子書籍提供サーバ100は、電子漫画が第1通信端末200に提供される際に、電子漫画の表示形式を指定するためのインターフェースを第1通信端末200に提供する。電子書籍提供サーバ100は、当該インターフェースによって指示された内容に応じて電子漫画のコマの配置を編成し、当該電子漫画を第1通信端末200に提供する。詳細は後述するが、電子書籍提供サーバ100は、上記のようにして決定された各コマの順序に基づいて、コマの配置を編成する機能を有する。
 データベース102は、第2通信端末300によって登録された電子漫画、及び登録された電子漫画に基づいて生成された各コマに関する情報を記憶している。詳細は後述するが、コマに関連する情報として、コマの座標、コマのサイズ、及び各ページにおけるコマの順番が含まれる。これらの情報は互いに関連付けられている。
 電子書籍提供サーバ100、第1通信端末200、及び第2通信端末300はそれぞれネットワーク400に接続されている。本実施形態では、ネットワーク400は一般的なWorld Wide Web(WWW)のようなインターネット、WAN(Wide Area Network)、又は社内LANなどのLAN(Local Area Network)である。第1通信端末200及び第2通信端末300は、ネットワーク400を介して電子書籍提供サーバ100と通信する。
 図1では、データベース102が電子書籍提供サーバ100に直接接続された構成を例示したが、この構成に限定されない。例えば、データベース102が直接ネットワーク400に接続され、電子書籍提供サーバ100とデータベース102との間のデータの送受信がネットワーク400を介して行われていてもよい。
[電子書籍提供サーバ100のハードウェア構成]
 図2は、本発明の一実施形態に係る電子書籍提供システムに用いられるサーバのハードウェア構成を示す概略図である。図2に示すように、電子書籍提供サーバ100は、サーバ制御部110、サーバ記憶部120、及びサーバ通信部130を有する。
 サーバ制御部110は、中央演算処理装置(CPU:Central Processing Unit)、当該CPUに接続されたレジスタやメモリなどの記憶装置を含む。サーバ制御部110は、メモリに一時的に記憶されたプログラムをCPUによって実行し、第1通信端末200及び第2通信端末300からの各種要請信号に応じて演算処理を行い、これらの通信端末にコンテンツデータを提供する。
 サーバ記憶部120は大容量のデータを記憶することができる記憶装置である。サーバ記憶部120には、演算処理に必要なプログラム及びコンテンツデータなどが記憶されている。サーバ記憶部120に記憶されているプログラムは、サーバ制御部110によって読み出しされ、サーバ制御部110の記憶装置に一時的に記憶される。サーバ記憶部120はハードディスクであってもよく、揮発性又は不揮発性のメモリであってもよい。上記のサーバ記憶部120に記憶される情報は、サーバ記憶部120の代わりにデータベース102に記憶されてもよい。本実施形態では、電子漫画及びコマに関連する情報はデータベース102に記憶されているが、これらのデータがサーバ記憶部120に記憶されていてもよい。
 サーバ通信部130は、外部機器に対してデータを送受信可能に接続することができる制御装置であり、ネットワーク400に対するデータの送受信を制御する。
[第1通信端末200のハードウェア構成]
 図3は、本発明の一実施形態に係る電子書籍提供システムに用いられる通信端末のハードウェア構成を示す概略図である。図3に示すように、第1通信端末200は、端末記憶部210、端末制御部220、端末通信部230、ディスプレイ240、操作ボタン250、カメラ260、スピーカ270、及びマイク280を有する。
 端末記憶部210は、第1通信端末200に特定の機能を実行させるためのプログラム、複数のコマを含む電子漫画、ディスプレイサイズなど第1通信端末200に関する端末情報、及び第1通信端末200を所有するユーザの情報等のデータを記憶する。端末記憶部210として、フラッシュメモリ等の不揮発性メモリ及びSRAM、DRAM等の揮発性メモリが用いられる。プログラム等のデータは不揮発性メモリに記憶される。プログラム等のデータは、プログラムが実行される際に不揮発性メモリから読み出されて揮発性メモリに一時的に記憶される。
 端末制御部220は、CPUなどの演算回路、及び当該CPUに接続された記憶回路を有する。当該記憶装置は、メモリ及びレジスタを含む。端末制御部220は、端末記憶部210に記憶されたプログラムをCPUによって実行し、第1通信端末200に入力された命令信号に応じて、第1通信端末200の各種機能を実現する。
 端末通信部230は、外部機器に対してデータを送受信可能に接続することができる制御装置であり、ネットワーク400に対するデータの送受信を制御する。
 ディスプレイ240として、例えば液晶ディスプレイ及び有機ELディスプレイなどの一般的なディスプレイを用いることができる。ディスプレイ240の垂直方向の大きさが垂直高さVであり、水平方向の大きさが水平幅Hである。垂直高さV及び水平幅Hは、SI単位の大きさで表現されてもよく、それぞれの方向における画素数で表現されてもよい。本実施形態では、垂直高さV及び水平幅Hはそれぞれの方向における画素数で表現される。ディスプレイ240はタッチセンサを有している。タッチセンサは、抵抗膜方式、静電容量方式、及び光学式のセンサなどを使用することができる。タッチセンサは、ユーザによる画面操作を検知し、ユーザの操作に基づく検知信号を端末制御部220に送信する。本実施形態では、ディスプレイ240に設けられたタッチセンサを用いて、指示内容の選択及び入力などの操作が行われる。
 操作ボタン250は、ディスプレイ240の下方に設けられている。操作ボタン250は物理的なボタンであってもよく、上記のようなタッチセンサであってもよい。ディスプレイ240のタッチセンサに代えて、操作ボタン250を用いて指示内容の選択及び入力などの操作を行ってもよい。
 図3では、第1通信端末200がカメラ260、スピーカ270、及びマイク280を有する構成を例示したが、この構成に限定されない。必要がなければ、これらの構成は省略されてもよい。
 図3では、第1通信端末200の一例として、スマートフォンを示したが、電子書籍提供システム10に用いるこれらの通信端末はスマートフォンに限定されない。電子書籍提供システム10に用いる通信端末として、スマートフォン以外にも携帯電話、タブレットPC、PDA、PHS、ノート型PC、デスクトップ型PCなどが用いられてもよい。
[電子書籍提供サーバ100の機能構成]
 図4は、本発明の一実施形態に係る電子書籍提供システムに用いられるサーバの機能構成を示す概略図である。図4に示すように、電子書籍提供サーバ100は、特定部150、決定部160、及び編成部170を有する。これらの機能部は、例えばバスを介して互いに通信可能に接続されている。特定部150は、複数のコマを含む漫画の画像データに基づいて、複数のコマの各々を特定する。決定部160は、特定部150によって特定された複数のコマの順序を決定する。編成部170は、決定部160によって決定された順序に基づいて、コマの配置を編成する。
 電子書籍提供サーバ100のサーバ制御部110(例えばCPU)が、サーバ記憶部120に記憶されたプログラムを実行することで、上記の各機能部の機能が実現される。本実施形態では、1つの電子書籍提供サーバ100に上記の全ての機能部が含まれる構成を例示したが、この構成に限定されない。例えば、これらの機能部が異なるサーバに設けられ、これらのサーバが協働することで電子書籍提供システム10の機能が実現されてもよい。
 特定部150は、画像データ解析部151、領域分割部153、余白特定部155、及びコマ特定部157を有する。
 画像データ解析部151は、第2通信端末300によって登録されたオリジナルの電子漫画の画像データを解析して単純化する。具体的には、画像データ解析部151は、当該画像データを二値化する。本実施形態では、画像データ解析部151が画像データを二値化する構成を例示したが、この構成に限定されない。例えば、三値化以上の多値化を行ってもよい。画像データの単純化は、後の処理で扱う情報量を軽減し、処理速度を向上させるために行われる。したがって、当該処理速度が十分である場合は画像データ解析部151が省略されてもよい。
 領域分割部153は、画像データ解析部151の処理によって単純化された画像データを複数の領域(又は、区域)に分割する。具体的には、領域分割部153は画像データに対して第1ラベリング処理を行うことで、画像データを複数の領域に分割する。第1ラベリング処理は、画像データを同じ色の画素が連続する複数の領域に分割する処理である。つまり、第1ラベリング処理は、画素の色が異なる領域だけでなく、隣接する同じ色の画素の領域が、当該領域の色とは異なる色の画素によって区切られている場合であっても、当該隣接する同じ色の画素の領域は異なる領域として認識される。ただし、第1ラベリング処理における同じ色とは、完全同一の色に限定されない。例えば、色度座標又はグレースケールにおいて近接する色又は近接する階調を同じ色として扱ってもよい。
 余白特定部155は、領域分割部153の処理によって分割された画像データに基づいて余白を特定する。具体的には、余白特定部155は、上記のように分割された複数の領域のうち、面積が最大の領域を余白として特定する。通常、上記のように1ページ分の画像データを分割すると、余白の占有面積が最大になる場合が多いため、上記の処理で余白を特定することができる。分割された複数の領域のうち、画素数が最も多い領域を余白として特定してもよい。ただし、分割された複数の領域のうち余白の占有面積が最大ではない場合は、上記とは異なるアルゴリズムで余白の特定を行ってもよい。例えば、通常余白は画像データの最外周を構成するため、仮に、上記の処理によって面積が最大の領域が余白と特定された結果、余白と特定された領域が最外周を構成しない又は最外周に存在しない場合、余白の特定が正常に行われていない可能性が高い。したがって、このような場合に、余白の特定に異常が発生したと判断してエラーメッセージを通知する、又は、自動的に異なるアルゴリズムで余白の特定を行ってもよい。
 コマ特定部157は、余白特定部155の処理によって特定された余白に基づいて複数のコマの各々を特定する。具体的には、コマ特定部157は、余白以外の領域をコマとして特定する。
 コマ特定部157は、上記のように特定されたコマの位置を特定する機能を有する。具体的には、コマ特定部157は、コマが特定された画像データに対して第2ラベリング処理を行う。第2ラベリング処理は、余白特定部155によって余白と特定された領域以外の領域のうち、連続する領域の外周を囲む枠(矩形の領域)を特定し、その枠の4点(例えば、右上、左上、右下、左下の四隅)の座標を求める処理である。第2ラベリング処理において、4点の座標を求める代わりに2点(例えば、右上及び左下)の座標を求めてもよい。第2ラベリング処理によってコマの位置を特定することができる。上記の領域の外周を囲む枠は、当該領域の外周に接する(当該領域に外接する)枠であってもよい。
 さらに、コマ特定部157は、ある特定の条件を満たす場合に、コマとして特定された領域の統合処理を行う。例えば、上記の第2ラベリング処理によって、コマとして位置が特定された領域同士が重なっている場合、重なった領域を統合して1つのコマとして特定し直す。換言すると、本来1つのコマとして特定されるべき領域が第1領域及び第2領域という2つの領域(コマ)と認識され、かつ、第1領域が第2領域の内側に存在する又は第1領域と第2領域とが重なっている場合、第1領域及び第2領域は1つの領域に統合される。上記の統合処理によって、誤って別々のコマと認識されてしまった1つのコマを、正しく1つのコマとして特定することができる。
 特定部150は、上記の機能以外に、コマ内のセリフを文字認識して文字データ化する機能、及びコマ内のキャラクタを特定する機能を有していてもよい。上記の機能は、電子漫画の画像データに対する一般的な画像解析によって行われる。この場合、文字認識されたセリフやキャラクタは、コマと関連付けられてデータベース102に保存される。換言すると、電子書籍提供サーバ100は保存部を有してもよい。当該保存部は、複数のコマの各々に、当該コマ内のセリフの文字データ又は当該コマ内のキャラクタのキャラクタ識別情報を関連付けて保存する。
 決定部160は、水平方向隣接確認部161及びコマ順決定部163を有する。決定部160は、特定部150によって特定された複数のコマの順序を決定する。
 水平方向隣接確認部161は、水平方向において、順番を付与する対象である第1コマに隣接する他のコマが存在するか否かを確認する。例えば、垂直方向における第1コマの上端から下端までの範囲を水平方向に延ばした領域に、他のコマが存在するか否かを確認する。ただし、第1コマの上端からその内側(下方)へ所定の距離移動した位置から、第1コマの下端からその内側(上方)へ所定の距離移動した位置までの範囲を水平方向に延ばした領域に、他のコマが存在するか否かを確認してもよい。つまり、上記の他のコマが存在するか否かを確認する領域から、第1コマの上端付近の領域及び第1コマの下端付近の領域を除外してもよい。換言すると、水平方向において他のコマが第1コマの上端付近及び下端付近と僅かに重なる場合は、第1コマと当該他のコマとが水平方向に隣接しないと判断してもよい。
 コマ順決定部163は、各コマの垂直方向の位置関係と、上記の水平方向隣接確認部161によって第1コマの水平方向に他のコマが存在しているかどうかの確認結果と、に基づいて各コマの順番を決定する。例えば、ページを左から右にめくるタイプの漫画の場合、各コマは垂直方向に上から順に並べられている。このタイプの漫画において、水平方向に隣接するコマがある場合(垂直方向において同じ位置に複数のコマが存在する場合)、これらのコマは右から順に読むように配置されているのが一般的である。したがって、水平方向隣接確認部161が、第2コマの右側に他のコマ(第1コマ)が存在していると判断した場合、コマ順決定部163は第1コマの順番を第2コマの順番より早い順番に決定する。電子漫画がページを右から左にめくるタイプの漫画である場合、上記及び以下の説明とは左右反転した処理が行われる。
 編成部170は、表示形式設定部171及びコマ配置編成部173を有する。編成部170は、決定部160によって決定された順序に基づいて、コマの配置を編成する。
 表示形式設定部171は、電子漫画の表示形式を指定するためのインターフェースを第1通信端末200に提供し、当該インターフェースによって指示された内容に応じて表示形式を設定する。例えば、第1通信端末200によってオリジナルの第1表示形式を指示する指示信号が入力された場合、コマ配置編成部173の機能を無効にして、オリジナルの電子漫画の画像データを表示させる。第1通信端末200によって各コマが垂直方向に並べて表示された縦読み向けの第2表示形式を指示する指示信号が入力された場合、表示形式設定部171はコマ配置編成部173にコマを垂直方向に並べる編成をさせる。第1通信端末200によって各コマが水平方向に並べて表示された横読み向けの第3表示形式を指示する指示信号が入力された場合、表示形式設定部171はコマ配置編成部173にコマを水平方向に並べる編成をさせる。
 表示形式設定部171は、第1通信端末200のディスプレイに表示されるコマの数を設定する機能、及び当該ディスプレイの幅及び高さに基づいて表示されるコマのサイズを自動的に調整する機能を有する。つまり、上記の指示信号はこれらの機能を指示する信号を含む。例えば「大」、「中」、「小」などのように、コマの拡大又は縮小の目安を選択する機能を有していてもよい。例えば、「大」を選択した場合、全てのコマが等倍で拡大されてもよく、ある一定以下のサイズのコマだけが拡大されてもよい。後者の場合、水平方向のサイズだけに基づいて拡大の要否を決定してもよく、垂直方向のサイズだけに基づいて拡大の要否を決定してもよい。又は、コマの面積に基づいて拡大の要否を決定してもよい。
 コマ数を設定する機能は、ディスプレイの垂直高さVに対して、設定された数のコマが表示されるように表示形式を設定する。この機能は、設定された数のコマだけがディスプレイに表示されるようにコマのフェードイン及びフェードアウトを制御してもよく、設定された数のコマがディスプレイに表示されるようにコマの垂直方向のサイズを調整してもよい。ただし、この機能は、必ずディスプレイに設定された数のコマが表示されるように制御する機能でなくてもよく、複数のコマの垂直方向のサイズの平均値を算出し、当該平均値が設定された数に一致する又は近似するように複数のコマを等倍で拡大してもよい。複数のコマを拡大する場合、各々のコマを異なる倍率で拡大してもよい。
 ディスプレイの幅及び高さに基づいて表示されるコマのサイズを調整する機能は、ディスプレイの垂直高さVに対するコマの垂直方向のサイズ、及び/又は、ディスプレイの水平幅Hに対するコマの水平方向のサイズに基づいて各コマのサイズを調整する機能を有する。上記の通り、本実施形態では、ディスプレイの垂直高さVはディスプレイの垂直方向における画素数を意味し、水平幅Hはディスプレイの水平方向における画素数を意味する。つまり、垂直高さV及び水平幅Hはディスプレイの解像度を意味する。
 これらの機能が用いられる場合、表示形式設定部171は第1通信端末200のディスプレイサイズに関連する端末情報(例えば、垂直高さV及び水平幅H)を受信する。当該ディスプレイサイズに関連する端末情報は、第1通信端末200によって入力又は選択されてもよい。又は、当該端末情報は、第1通信端末200によって入力又は選択されずにバックグラウンドで抽出されてもよい。つまり、第1通信端末200がインターフェースを用いて表示形式に関する情報を送信する際に、表示形式設定部171はユーザエージェントに基づいてディスプレイサイズを推測してもよい。
 コマ配置編成部173は、コマ順決定部163によって順番が決定された各コマに対して、表示形式設定部171によって設定された内容(第1通信端末200によって指示された内容)に基づいてコマの配置を編成する。コマ配置編成部173によって編成された情報が第1通信端末200に送信され、第1通信端末200のディスプレイに表示される。
 上記のように、特定部150がコマ内のセリフを文字データ化する機能及びコマ内のキャラクタを特定する機能を備えている場合、編成部170は、設定された文字やキャラクタに基づいてコマの配置を編成してもよい。換言すると、編成部170は、決定部160によって決定された順序、及び文字データ又はキャラクタ識別情報に基づいてコマの配置を編成する。例えば、表示形式設定部171が提供するインターフェースに特定の文字及びキャラクタを入力する項目があり、第1通信端末200によって特定のキャラクタを表示する指示が入力された場合に、当該キャラクタが含まれるコマを抽出してコマの配置を編成してもよい。つまり、指示されたキャラクタを含むコマだけが連続して表示されるように編成が行われてもよい。電子書籍提供サーバ100が、上記の機能部に加え、検索キーワードとして指示された文字又はキャラクタを検索する検索部を有していてもよい。
[電子書籍提供システム10の動作]
 図5Aを用いて、電子書籍提供システム10の動作について説明する。図5Aは、本発明の一実施形態に係る電子書籍提供システムの動作を示すフローチャートである。
 まず、漫画のクリエイタなどの通信端末である第2通信端末300から電子書籍提供サーバ100に電子漫画が送信され、電子漫画が電子書籍提供サーバ100に登録される(ステップS531)。ステップS531では、電子漫画のオリジナルの画像データが電子書籍提供サーバ100に送信される。画像データには複数のコマが含まれている。
 ステップS531で、第2通信端末300を特定する情報、第2通信端末300を利用するユーザを特定する情報、及びオリジナルの画像データを編成することに対する作者の同意を示す情報などが電子書籍提供サーバ100に送信されてもよい。作者の同意を示す情報を得るために、ステップS531において電子書籍提供サーバ100が第2通信端末300に提供するインターフェースの中に、オリジナルの画像データを編成して配信することに対する同意を確認するための項目が設けられていてもよい。換言すると、ユーザに対して、複数のコマの配置の編成の可否に関する情報が当該インターフェースに表示されてもよい。同様に、上記インターフェースの中に、作者によって(つまり、漫画ごとに)指定、禁止又は推奨された表示形式を表示する項目が設けられていてもよい。後者の項目を表示する場合、1つの電子漫画の全体に対する表示形式が表示されてもよく、電子漫画の一部に対する表示形式が表示されてもよい。後者の項目を表示する場合において、表示形式が作者によって指定されている場合は、指定された表示形式以外を選択できないようにインターフェースが表示されてもよい。表示形式が作者によって禁止されている場合は、禁止された表示形式を選択できないようにインターフェースが表示されてもよい。表示形式が作者によって推奨されている場合、推奨された表示形式だけを選択できるようにインターフェースが表示されてもよく、推奨された表示形式をその他の表示形式よりも強調して表示するようにインターフェースが表示されてもよい。
 電子書籍提供サーバ100は、オリジナルの画像データを受信すると、当該画像データに基づいて、画像データに含まれる複数のコマの各々を特定し(ステップS511)、特定された各コマの順番を決定し(ステップS512)、ユーザの指示によって表示形式を変更可能な電子漫画の提供を開始する(ステップS513)。ステップS511のコマの特定は上記の特定部150によって行われる。ステップS512のコマの順番の決定は上記の決定部160によって行われる。
 オリジナルの画像データを編成することに対して作者の同意を得る必要がある場合、ステップS531で作者の同意が得られている電子漫画に対してのみ、ステップS511~S513の処理が行われる。
 次に、電子書籍提供システム10のユーザが使用する第1通信端末200から電子書籍提供サーバ100に、電子漫画の閲覧要求が送信される(ステップS521)。この閲覧要求に応じて、電子書籍提供サーバ100は、電子漫画の表示形式を指示させるためのインターフェースを第1通信端末200に提供する(ステップS514)。このインターフェースの詳細については後述する(図20参照)。電子漫画によって上記のデータ編成の可否が異なる場合、第1通信端末200に対してデータ編成の可否に関する表示をしてもよい。例えば、電子漫画のサムネイル画像やアイコン等に、「表示形式変更可」であることを理解できる表示を追加してもよい。
 第1通信端末200を用いた上記インターフェースへの入力又は選択によって表示形式の指示が行われると(ステップS522)、表示形式を指示する指示信号が電子書籍提供サーバ100に送信される。電子書籍提供サーバ100は、当該指示信号及びステップS511、S512で順番が決定されたコマに基づいて、コマの配置を編成し(ステップS515)、編成された電子漫画を第1通信端末200に提供する(ステップS516)。そして、第1通信端末200は、インターフェースにおいて入力又は選択した表示形式で電子漫画を閲覧する(ステップS523)。
 上記の動作フローでは、ステップS531(電子漫画の登録)とS521(漫画閲覧要求)との間にS511(コマ特定)及びS512(コマ順決定)の動作が行われる構成を例示したが、この構成に限定されない。例えば、図5Bに示すように、S522(表示形式指示)の後にS511及びS512が行われてもよい。つまり、コマの特定及びコマ順の決定が行われていない電子漫画に対して、コマの表示形式指示に基づいてコマの配置が編成された電子漫画を提供することができる。この場合、例えば、電子書籍提供サーバ100とは異なるサーバによって管理されている電子漫画に対して本発明を適用することができる。つまり、第1通信端末200からの表示形式指示に応じて、電子書籍提供サーバ100がコマの配置を編成する処理を行い、編成された電子漫画を第1通信端末200に提供することができる。上記の例によると、特定されたコマの位置情報や順番に関する情報をデータベース102に記憶しておく必要がないため、記憶容量を節約することができる。S511(コマ特定)及びS512(コマ順決定)の動作をS521(漫画閲覧要求)とS522(表示形式指示)との間で行ってもよい。
[コマの特定方法及びコマ順の決定方法]
 図6~図19を用いて、図5A及び図5BのステップS511及びS512に該当するコマの特定方法及びコマ順の決定方法について詳細に説明する。図6は、本発明の一実施形態に係る電子書籍提供システムのコマ特定方法を示すフローチャートである。図7~図12は、本発明の一実施形態に係る電子書籍提供システムにおいて、電子漫画のコマを特定する方法を説明する図である。図13~図18は、本発明の一実施形態に係る電子書籍提供システムにおいて、特定されたコマの順序を決定する方法を説明する図である。図19は、本発明の一実施形態に係る電子書籍提供システムにおいて、データベースに記憶されるデータの一例を示す図である。
 図6に示すように、電子書籍提供サーバ100がオリジナルの画像データを受信すると、画像データが二値化される(ステップS541)。画像データの二値化に関する具体的な例を図7及び図8に示す。図7の画像データ600は1ページ分の画像データである。図7に示すように、画像データ600は複数のコマ部610及び余白部620を含む。図7の例では、複数のコマ部610は5つのコマ部611、613、615、617、及び619を有する。当該5つのコマ部を特に区別する必要がない場合、単にコマ部610という。複数のコマ部610の各々にはイラストが描かれているが、説明の便宜上、第1コマ部611及び第2コマ部613にのみイラストが描かれており、第3コマ部615、第4コマ部617、及び第5コマ部619のイラストは省略されている。
 通常、イラストはカラー表示又はグレースケール表示されているが、その状態で各コマを特定する処理を行うと、扱う情報量が多いため情報処理装置の負担が大きくなる。したがって、情報処理装置が扱う情報量を軽減するために、画像データの二値化を行う。図7に示す例の場合、キャラクタ631及び633の胴体部分及び第2コマ部613の背景がグレースケール表示されている。図7に示す画像データを二値化することで、図8に示すように、カラー情報又はグレースケール情報が単純化され、キャラクタの各パーツの外形(例えば、キャラクタの胴体と頭部との間のつなぎ目など)及びコマの枠のみが黒で表示され、その他の領域は白で表示される。
 上記のように、情報処理装置の負担を考慮する必要がない場合は、この二値化の処理は省略することができる。
 ここで、図7及び図8に示すように、この例では、第2コマ部613の枠の一部に欠け635があり、枠が不連続である。その結果、第2コマ部613の内部が余白部620から分離されておらず、両者は連続している。
 図6のステップS541に続いて、二値化された画像データは複数の領域に分割される(ステップS542)。具体的には、二値化された画像データに対して第1ラベリング処理が行われる。第1ラベリング処理では、同じ色の画素が連続する領域毎に分割されるため、上記のように隣接する白の領域が黒の線で区切られている場合、当該隣接する白の領域は異なる領域として認識される。つまり、図8に示すように、例えば第1コマ部611の背景、及びキャラクタ631、633はそれぞれ白の領域ではあるが、これらは黒の線で区切られている。したがって、図9に示すように、それぞれが異なる領域として認識され、複数の領域に分割される。図9において、同一のハッチングによって表示された連続する領域は、同じ領域として認識されていることを意味する。
 一方、図8に示すように、第2コマ部613の枠に欠け635があり、第2コマ部613の内側と余白部620とは連続している。したがって、図9に示すように、第2コマ部613の内側と余白部620とは1つの領域として認識されている。
 図6のステップS542に続いて、分割された領域に基づいて余白が特定される(ステップS543)。ここでは、分割された複数の領域のうち、面積が最大の領域が余白として特定される。1つのコマの面積が余白の面積よりも大きい場合がある。しかし、コマの中にはイラストが描かれており、それらのイラストも複数の領域に分割される。したがって、分割された複数の領域のうち余白の面積が最大になる場合が多い。図10は、余白と特定された領域を黒で表示し、それ以外の領域を白で表示した図である。図10に示すように、第1コマ部611は、その内側のキャラクタ631を含めて余白以外の領域として特定されている。
 一方、図10に示す第2コマ部613のように、第2コマ部613の内側と余白部620とが1つの領域と認識されてしまい、正常にコマを特定することができない場合がある。このようなコマの特定異常を解消するために、図6のステップS543の後に、上記の処理で特定された余白及びコマの妥当性確認が行われる(ステップS544、S545)。具体的には、上記の処理によって余白及びコマが特定された画像データに対して第2ラベリング処理が行われる。この例の第2ラベリング処理では、分割された複数の領域の各々を矩形で囲んだ矩形領域を1つのコマ候補と認識し、各コマ候補の位置を特定する。具体的には、図11に示すように、第2ラベリング処理によって第2コマ部613の枠を囲む第1コマ候補641、キャラクタ631を囲む第2コマ候補643、及びキャラクタ633を囲む第3コマ候補645が、それぞれコマ候補として認識されている。
 ステップS544の第2ラベリング処理に続いて、当該処理によって認識されたコマ候補(第1コマ候補641、第2コマ候補643、第3コマ候補645)について、当該コマ候補の統合処理が行われる(ステップS545)。つまり、コマ候補同士が重なっている場合、及び一方のコマ候補が他方のコマ候補の内側に存在する場合、これらのコマ候補が統合されて1つのコマとして特定される。この例の統合処理では、第2コマ候補643の一部と第3コマ候補645の一部とが互いに重なっているため、両者は統合される。第2コマ候補643及び第3コマ候補645は、第1コマ候補641の内側に存在するため、第1コマ候補641と統合される。このようにして、図12に示すように、第2コマ部613は1つのコマとして特定される。
 上記の方法によって、余白部620が余白として特定されることで、余白以外の複数のコマ部610(コマ部611、615、617、及び619)及び各コマ部610内に描かれていたキャラクタ631、633が描かれていた領域(コマ部613)をコマとして特定することができる。さらに、各コマ候補の位置の特定及び統合処理を行うことで、上記の処理でコマの特定異常が起きた場合であっても、各コマ部610と正しくコマとして特定することができる。
 ステップS541~S545のコマの特定に続いて、コマ順の決定が行われる(ステップS546)。図13に示すように、コマ順を決定する方法は、垂直方向に一定の幅を有する棒状のコマ検知手段650によって行われる。コマ検知手段650は、画像データ600の右端から左端へ水平方向に延びる。コマ検知手段650と各コマ部610とが重なる(衝突する)場合、つまりコマ検知手段650と重なるコマ部610が検知された場合に、当該コマ部610が、順番を決定する対象のコマ部であると判断される。コマ検知手段650が画像データ600の右端から左端まで延びたときに、コマ検知手段650と重なるコマ部610が複数ある場合、一方のコマ部(第1コマ部611)の水平方向に他方のコマ部(第2コマ部613)が存在すると判断される。ここで、コマ検知手段650によって第1コマ部611が検知されると、第1コマ部611に対して仮順番(A)が付与される。
 図13に示す状態では、コマ検知手段650は第1コマ部611のみと重なっているため、コマ検知手段650が延びる水平方向に第1コマ部611の存在だけが認識されている。図13に示す状態から、さらにコマ検知手段650が延びると、コマ検知手段650が第1コマ部611及び第2コマ部613の両方と重なる。図14に示すようにコマ検知手段650が画像データ600の左端まで到達すると、コマ検知手段650が存在する垂直方向の範囲内にこれら2つのコマ部が存在していると判断される。ここで、コマ検知手段650によって第2コマ部613が検知されると、第2コマ部613に対して仮順番(B)が付与される。上記のように、コマ検知手段650が画像データ600の左端まで到達すると、コマ検知手段650の垂直方向の幅の分だけ下の位置に移動して、コマ検知手段650は右端から左端に延びながら上記と同様の処理を行う。
 コマ検知手段650が上記の動作を繰り返し、図15に示すように、コマ検知手段650が第1コマ部611及び第2コマ部613の両方と重ならなくなったとき、コマ検知手段650がこれらのコマ部の下端を越えたと判断する。そして、仮順番(A)、(B)に基づいて、第1コマ部611の順番が1番目(1)に決定され、第2コマ部613の順番が2番目(2)に決定される。つまり、第2コマ部613の右側に第1コマ部611が存在していると判断され、第1コマ部611の右側に他のコマ部が存在しないと判断された場合、第1コマ部611の順番が第2コマ部613の順番より早い順番に決定され、第1コマ部611の順番が最初の順番に決定される。換言すると、コマ検知手段650が画像データ600の左端に到達した状態において余白部620のみと重なっている場合に、その状態におけるコマ検知手段650よりも上方に存在し、かつ、まだ順番が決定していないコマ部について順番が決定される。
 次に、図16に示す状態では、コマ検知手段650は第3コマ部615及び第5コマ部619と重なっているため、第3コマ部615の仮順番が(A)に決定され、第5コマ部619の仮順番が(B)決定される。この状態において、コマ検知手段650はまだ第4コマ部617に到達していないため、第4コマ部617の存在は認識されていない。
 コマ検知手段650が上記の動作を繰り返し、図17に示すように、コマ検知手段650が第3コマ部615と重ならなくなったとき、コマ検知手段650が第3コマ部615の下端を越えたと判断される。しかし、コマ検知手段650は第5コマ部619の下端を越えていないため、コマ部の順番決定はまだ行われない。図17の状態ではコマ検知手段650が第4コマ部617と重なるため、第4コマ部617の存在が認識され、第4コマ部617の仮順番が(C)に決定される。
 コマ検知手段650が上記の動作を繰り返し、図18に示すように、コマ検知手段650が第4コマ部617及び第5コマ部619の両方と重ならなくなったとき、コマ検知手段650がこれらのコマ部の下端を越えたと判断する。この状態において、第3コマ部615及び第4コマ部617は第5コマ部619の右側に存在している。したがって、第3コマ部615及び第4コマ部617の順番が第5コマ部619の順番より早い順番に決定される。第3コマ部615は第4コマ部617の上方に存在しているため、第3コマ部615の順番が第4コマ部617の順番より早い順番に決定される。さらに、第3コマ部615の右側に他のコマ部が存在しないため、第3コマ部615の順番は、まだ順番が決定されていないコマ部の中で最初の順番(3番目)に決定される。つまり、仮順番(A)が3番目(3)に決定され、仮順番(C)が4番目(4)に決定され、仮順番(B)が5番目(5)に決定される。
 上記の方法は、ページを左から右にめくるタイプの漫画に適用されるコマ順の決定方法である。ページを右から左にめくるタイプの漫画に上記の方法を適用する場合、上記の説明とは左右反転した処理が行われる。つまり、この場合、コマ検知手段650が画像データ600の左端から右端に向かって延び、水平方向に複数のコマ部が存在する場合、左側のコマ部を右側のコマ部よりも早い順番に決定する。
 上記の方法によって、読者が漫画を読むときに自然に認識するコマ順で各コマ部の順番を決定することができる。上記のようにして決定された各コマ部の順番は、コマの位置を特定する情報と共に電子書籍提供サーバ100に接続されたデータベース102(図1参照)に記憶される。図19に示すように、データベース102にはデータテーブル101が格納されている。データテーブル101には、コマID103、漫画情報104、ページ情報105、コマ座標106、コマサイズ107、及びコマ順番108が含まれる。これらの情報は互いに関連付けられている。データテーブル101に含まれる情報は、図19に示す情報の一部だけであってもよく、これらの情報以外の情報を含んでもよい。
 コマID103は、順番が付与された対象のコマを特定するIDである。漫画情報104は、対象のコマが含まれる電子漫画であって、1つの単行本に対応する電子漫画を特定する情報である。ページ情報105は、対象のコマが描かれたページを特定する情報である。コマ座標106は、対象のコマが描かれたページにおける当該コマの座標(水平方向:x、垂直方向:y)を特定する情報である。コマ座標106は、コマが矩形である場合は矩形の右上の角の座標であってもよく、又はコマの中心の座標であってもよい。コマ座標106は、上記のコマ検知手段650が対象のコマ部に最初に重なったときの座標を、上記の矩形の右上の角と特定することができる。コマサイズ107は、対象のコマの水平方向の大きさ(Δx)及び垂直方向の大きさ(Δy)を特定する情報である。コマサイズ107は、上記のコマ検知手段650が対象のコマと重なる領域に基づいて算出することができる。コマ順番108は、各ページにおいて、対象のコマに付与された順番である。コマサイズ107の代わりにコマの4隅の座標又はコマの対角の座標がデータテーブル101に含まれていてもよい。
 上記のように、特定部150がコマ内のセリフを文字データ化する機能及びコマ内のキャラクタを特定する機能を備えている場合、これらの文字データ及びキャラクタに関する情報が各コマに関連付けられていてもよい。図19では、ページ毎にコマ順番が付与された構成を例示したが、この構成に限定されない。例えば、1つのコミックの全ページのコマに対して通し順番が付与されてもよく、章など数ページ毎のコマに対して通し番号が付与されてもよい。この場合、以下に示すインターフェースに、コマ順の付与方法を指示する項目が含まれていてもよい。コマの特定(図5A及び図5BのS511)及びコマ順の決定(S512)が表示形式指示(S522)の後に行われる場合、図19に示すようなデータテーブル101を省略してもよい。
[コマの表示方法]
 図20~図23を用いて、図5A及び図5BのステップS514で第1通信端末200に提供されるインターフェースの一例、及びステップS516で第1通信端末200に提供される漫画の表示形式の一例について説明する。
 図20は、本発明の一実施形態に係る電子書籍提供システムにおいて、電子漫画を閲覧するユーザから、表示形式の指示を受け付けるインターフェースの一例を示す図である。図20に示すように、インターフェース700には表示形式指示枠710、表示コマ数指示枠720、幅・高さ自動調整指示枠730、及び決定ボタン740が表示されている。図20に示すインターフェース700に表示された項目は一例であって、これらの一部の項目だけが表示されていてもよく、これらの項目以外の項目が表示されていてもよい。
 表示形式指示枠710は、電子漫画に含まれる各コマを第1通信端末200にどのような形式で表示するかを指示するための項目である。図20では、表示形式指示枠710に「オリジナル」、「縦読み」、及び「横読み」の指示ボタンが表示されている。「オリジナル」はコマの位置を編成していないオリジナルの画像データの形式で表示することを指示するボタンである。「縦読み」は、ページ情報105及びコマ順番108(図19参照)に基づいてコマを垂直方向に並べた形式で表示することを指示するボタンである。「横読み」は、ページ情報105及びコマ順番108に基づいてコマを水平方向に並べた形式で表示することを指示するボタンである。
 表示コマ数指示枠720は、表示形式指示枠710で「縦読み」又は「横読み」が指示された場合に、第1通信端末200のディスプレイに表示されるコマ数を指示するための項目である。図20では、表示コマ数指示枠720に、ディスプレイに表示されるコマ数をプルダウン方式で選択する選択部721が設けられた構成を例示したが、この構成に限定されない。例えば、表示コマ数指示枠720として、表示コマ数を直接入力可能な入力枠が設けられていてもよく、表示コマ数を設定可能なスライドバーが設けられていてもよい。「非設定」の指示ボタンを選択することで、各コマをオリジナルの画像データのサイズで表示することができる。
 幅・高さ自動調整指示枠730は、表示形式指示枠710で「縦読み」又は「横読み」が指示された場合に、第1通信端末200のディスプレイのサイズ及び各コマのサイズに基づいて、コマの高さ又は幅を自動的に調整する機能を有効「ON」又は無効「OFF」にするための項目である。例えば、「縦読み」が指示された場合、コマの幅(水平方向のサイズ)がディスプレイの水平幅H(図3参照)に基づいて調整される。一方、「横読み」が指示された場合、コマの高さ(垂直方向のサイズ)がディスプレイの垂直高さV(図3参照)に基づいて調整される。上記の構成を換言すると、幅・高さ自動調整指示枠730は、第1通信端末200の端末情報に基づいてコマの配置を編成する。
 「縦読み」が指示された場合に、上記に加えてディスプレイの垂直高さV及びコマの高さに基づいてコマの幅が調整されてもよい。「横読み」が指示された場合に、上記に加えてディスプレイの水平幅H及びコマの幅に基づいてコマの高さが調整されてもよい。これにより、仮にコマのアスペクト比(コマの幅に対するコマの高さの比率)がディスプレイのアスペクト比(ディスプレイの水平幅Hに対する垂直高さVの比率)より大きい場合であっても、コマの一部のイラストがディスプレイからはみ出してしまうことを抑制することができる。
 決定ボタン740は、表示形式指示枠710、表示コマ数指示枠720、及び幅・高さ自動調整指示枠730において選択又は入力された指示内容を確定し、電子書籍提供サーバ100にこれらの指示内容を含む信号を送信するボタンである。
 図21及び図22は、本発明の一実施形態に係る電子書籍提供システムにおいて、ユーザによって指示された表示形式でコマを表示する一例を示す図である。表示形式指示枠710で「縦読み」が指示された場合、ページ情報105及びコマ順番108(図19参照)に基づいて、図21に示すようにコマが垂直方向に並べられてディスプレイ240に表示される。一方、表示形式指示枠710で「横読み」が指示された場合、ページ情報105及びコマ順番108に基づいて、図22に示すようにコマが水平方向に並べられてディスプレイ240に表示される。
 図23は、本発明の一実施形態に係る電子書籍提供システムにおいて、ユーザによって指示された表示形式でコマを表示する一例を示す図である。図23に示す例は、表示形式指示枠710で「縦読み」が指示され、幅・高さ自動調整指示枠730で有効「ON」が指示された場合の表示例である。図21と比較すると、1番目及び2番目のコマが拡大して表示されている。図21の例では、1番目のコマの幅より2番目のコマの幅の方が大きいため、2番目のコマの幅とディスプレイの水平幅Hとに基づいて、1番目及び2番目のコマの倍率が調整されている。ただし、1番目のコマと2番目のコマとがそれぞれ異なる倍率で調整されてもよい。
 図21~図23では、ディスプレイ240が縦向きの状態(ディスプレイの長手が垂直方向に沿っている状態)で各コマが表示されている構成を例示したが、ディスプレイ240が横向きの状態(ディスプレイの長手が水平方向に沿っている状態)であってもよい。ディスプレイ240が横向きの状態でも、各コマは図21~図23の向きと同じ向きで表示される。
 以上のように、本実施形態に係る電子書籍提供システム10によると、電子書籍提供サーバ100がオリジナルの画像データを各コマに分割して順番を決定し、第1通信端末200の指示に基づいて各コマの配置を編成する。したがって、電子書籍提供サーバ100は、第1通信端末200を利用するユーザの好みや利用形態によって電子漫画の表示形式を調整することができる。
〈第2実施形態〉
 図24~図26を用いて、第2実施形態に係る電子書籍提供システム10Aについて説明する。図24~図26に示す電子書籍提供システム10Aは、図1~図23に示す電子書籍提供システム10と類似している。しかし、電子書籍提供システム10Aに含まれる電子書籍提供サーバ100Aの機能が電子書籍提供サーバ100の機能(図4参照)と相違する。以下の実施形態の説明において、第1実施形態と同様の構成については説明を省略し、両者の相違点について説明する。
 図24は、本発明の一実施形態に係る電子書籍提供システムに用いられるサーバの機能構成を示す概略図である。図24に示すように、電子書籍提供サーバ100Aの編成部170Aは、図4の編成部170の機能に加えて、端末情報受信部175A及び編成方法提案部177Aを有する。
 端末情報受信部175Aは、例えば第1通信端末200Aから電子漫画の閲覧要求を受信する際に、第1通信端末200Aのディスプレイサイズなどの表示機能に関する端末情報(例えば、垂直高さV及び水平幅H)を受信する。端末情報は、第1通信端末200Aによって入力又は選択されてもよく、ユーザエージェント等に基づいて推測されてもよい。端末情報受信部175Aは、端末情報の他に編成者情報(例えば、編成者の氏名、性別、年齢、居住国、並びに、電子書籍提供システム10Aが提供するサービスにおけるユーザID及びニックネーム)、第1通信端末200Aがサービスを利用している国名、及び第1通信端末200Aのサービスの利用日時などの情報を受信する。
 編成方法提案部177Aは、端末情報受信部175Aが受信した情報に基づいて、第1通信端末200Aを利用するユーザにお勧めの表示形式(コマの配置を編成する方法)を提案する。例えば、電子漫画の種類及び第1通信端末200Aのディスプレイサイズに基づいて、その条件に適正な表示形式又はその条件の場合に多くのユーザに選択されている表示形式を提案する。
 図25は、本発明の一実施形態に係る電子書籍提供システムにおいて、データベースに記憶されるデータの一例を示す図である。図25に示すデータテーブル701Aは、端末情報受信部175Aが第1通信端末200Aから受信した情報を含む。さらに、図25のデータテーブル701Aに含まれる情報は、編成方法提案部177Aが第1通信端末200Aを利用するユーザに適正な表示形式を提案するために用いられる情報である。
 図25に示すように、データテーブル701Aには、漫画情報703A、編成方法704A、編成者情報705A、国名706A、編成日時707A、及び端末情報708Aが含まれる。これらの情報は互いに関連付けられている。データテーブル701Aに含まれる情報は、図25に示す情報の一部だけであってもよく、これらの情報以外の情報を含んでもよい。
 漫画情報703Aは、図19の漫画情報104と同様の項目である。編成方法704Aは、第1通信端末200Aによって指示された電子漫画の表示形式(図26の表示形式、表示コマ数、及び幅・高さ自動調整)である。編成者情報705Aは、例えば、第1通信端末200Aを利用して電子漫画の編成を指示したユーザの氏名、性別、年齢、居住国、並びに、電子書籍提供システム10Aが提供するサービスにおけるユーザID及びニックネームなどの情報である。ただし、編成者情報705Aはこれらを全て含んでいる必要はなく、これら以外の情報を含んでいてもよい。国名706Aは、電子漫画の表示形式を指示した第1通信端末200Aが通信を行った国名である。編成日時707Aは、第1通信端末200Aが電子漫画の表示形式を指示した日時である。端末情報708Aは、第1通信端末200Aのディスプレイの垂直高さV及び水平幅H、又はこれらを特定可能な他の情報である。
 図26は、本発明の一実施形態に係る電子書籍提供システムにおいて、電子漫画を閲覧するユーザへ、表示形式を提案するインターフェースの一例を示す図である。図26に示すインターフェースは、例えば、図5A及び図5BのステップS514において第1通信端末200Aに提供されるインターフェースである。図26に示すように、インターフェース700Aには、図20のインターフェース700に表示された項目に加えて、おすすめボタン750Aが表示されている。図26に示す状態はおすすめボタン750Aを有効(黒塗り背景に白字)にした状態である。おすすめボタン750Aを有効にすると、図24の編成方法提案部177Aはデータテーブル701Aに基づいて、例えば対象の漫画について最も多く採用されている表示形式を提案する。図26では、おすすめボタン750Aを有効にすることで、表示形式は「縦読み」、表示コマ数は「2コマ/ページ」、幅・高さ自動調整は「OFF」の設定が提案されている。
 以上のように、本実施形態に係る電子書籍提供システムによると、第1実施形態と同様の効果に加え、第1通信端末200Aを利用するユーザに対して、対象の電子漫画のおすすめの表示形式を提案することができる。この構成によって、ユーザの利便性を向上させることができる。
〈第3実施形態〉
 図27~図31を用いて、第3実施形態に係る電子書籍提供システム10Bについて説明する。図27~図31に示す電子書籍提供システム10Bは、図1~図23に示す電子書籍提供システム10と類似している。しかし、電子書籍提供システム10Bに含まれる電子書籍提供サーバ100Bの機能が電子書籍提供サーバ100の機能(図4参照)と相違する。以下の実施形態の説明において、第1実施形態と同様の構成については説明を省略し、両者の相違点について説明する。
 図27は、本発明の一実施形態に係る電子書籍提供システムに用いられるサーバの機能構成を示す概略図である。図27に示すように、電子書籍提供サーバ100Bの特定部150Bは、図4の特定部150の機能に加えて、余白調査部159Bを有する。
 余白調査部159Bは、余白特定部155B及びコマ特定部157Bによって余白とコマとが特定された画像データに対して、余白と特定された領域にコマと特定すべきだった領域があるかどうかを調査する。第1実施形態に示すように、余白特定及びコマ特定の処理を行ったにも拘わらず、本来コマとして特定されるべき領域が余白として特定されてしまう場合がある。例えば、枠が存在しない又は枠を検出することができない領域に描かれたイラストに対して、このような問題が起きる場合がある。しかし、そのような領域にはイラストが描かれているため、誤って余白と特定された領域のサイズは所定のサイズ以上である。換言すると、当該領域のサイズは余白とは考えにくいほど大きなサイズである。以下、この所定のサイズを「コマ認定サイズ」という。
 余白調査部159Bの機能について、図28~図31を用いて説明する。図28~図31は、本発明の一実施形態に係る電子書籍提供システムにおいて、余白の一部をコマとして特定する方法を説明する図である。
 まず、図28に示すように、余白部620Bに、コマ認定サイズの余白調査空間800Bが存在するか否かの調査が行われる。余白部620Bに余白調査空間800Bが存在するということは、余白部620Bに余白とは考えにくいほど大きな空間があることを意味する。余白部620Bに余白調査空間800Bが存在する場合、図28に示すように、余白部620Bの右上の角から、余白調査空間800Bの調査エリア810Bが水平方向(左方向)に延ばされる。
 図29に示すように、余白調査空間800Bの調査エリア810Bは第2コマ部613Bに到達するまで左方向に延びる。調査エリア810Bの左方向への延長は第2コマ部613Bに到達することで止まり、その後、調査エリア810Bは第3コマ部615Bに到達するまで垂直方向(下方向)に延びる(図30参照)。調査エリア810Bの下方向への延長は第3コマ部615Bに到達することで止まる。図31に示すように、この状態の調査エリア810Bで囲まれた空間を第6コマ部612Bとして特定する。
 余白調査空間800Bの調査は、第1実施形態で説明したコマ検知手段650を用いて行われてもよく、余白調査空間800Bに相当するサイズの検知手段を用いて行われてもよい。コマ検知手段650を用いて余白調査空間800Bの調査が行われる場合、検出された余白にコマ認定サイズ以上の領域があるか否かを判断することによって上記の調査が実行される。例えばコマ検知手段650の先端が余白部620Bを通過した領域に基づいて余白調査空間800Bの存在を調査することができる。余白調査空間800Bに相当するサイズの検知手段を用いて余白調査空間800Bを調査する場合、図28に示すように余白調査空間800Bと同じサイズの枠を配置できる空間が余白部620Bに存在するか否かの調査が行われる。
 上記のコマ認定サイズは、1つの電子漫画において特定された全てのコマのうち、最も小さいコマのサイズ(最小コマサイズ)をコマ認定サイズと認定することができる。又は、1ページのサイズの1/5のサイズをコマ認定サイズと認定してもよい。又は、100×100画素の領域をコマ認定サイズと認定してもよい。ただし、コマ認定サイズはこのサイズに限定されず、50×50画素~500×500画素の間で適宜設定することができる。
 余白調査部159Bによる余白と特定された領域の調査は、決定部160Bによる各コマの順番が決定とは個別に行われてもよく、各コマの順番の決定と同時に行われてもよい。前者の場合、図13~図18に示す処理を行う前に図28~図31の処理が行われる。後者の場合、図13~図18に示す処理を行いながら余白の中にコマ認定サイズ(例えば100×100画素)の空間が存在するか否かを判断することで、図28~図31の処理を兼ねることができる。
 以上のように、本実施形態に係る電子書籍提供システムによると、第1実施形態と同様の効果に加え、コマを誤って余白と特定してしまうリスクを低減することができる。さらに、枠がない領域にイラストが存在する場合であっても、そのようなイラストをコマとして特定することができる。
〈第4実施形態〉
 図32を用いて、第4実施形態に係る電子書籍提供システム10Cについて説明する。図32に示す電子書籍提供システム10Cは、図1~図23に示す電子書籍提供システム10と類似している。しかし、電子書籍提供システム10Cは電子漫画を登録する第2通信端末300Cが表示形式を指示する点、及び電子漫画を提供するサーバがコマの編成を行うサーバとは異なるサーバである点において、電子書籍提供システム10と相違する。以下の実施形態の説明において、第1実施形態と同様の構成については説明を省略し、両者の相違点について説明する。
 図32は、本発明の一実施形態に係る電子書籍提供システムの動作を示すフローチャートである。図32に示すように、まず第2通信端末300Cが電子書籍提供サーバ100Cに対して電子漫画の編成を要求する(ステップS931)。ステップS931の電子漫画の編成要求に応じて、電子書籍提供サーバ100Cはインターフェースを第2通信端末300Cに提供する(ステップS911)。このインターフェースとして、図20で説明したインターフェースと類似のものを用いることができる。
 第2通信端末300Cによって表示形式が指示されると(ステップS932)、電子書籍提供サーバ100Cではコマの特定(ステップS912)及びコマ順の決定(ステップS913)が行われる。続いて、ステップS932で指示された内容に応じてコマの編成が行われる(ステップS914)。そして、コマの編成が完了すると、完了した旨の通知が第2通信端末300Cに送信される(ステップS915)。上記の処理によって第2通信端末300Cは、所望の表示形式に編成された電子漫画を得ることができる。上記のコマの特定、コマ順の決定、及びコマの編成は、第1実施形態で説明した方法を用いることができる。
 第2通信端末300Cは、上記の編成された電子漫画を漫画管理サーバ900Cにアップロードする(ステップS933)。漫画管理サーバ900Cは、アップロードされた電子漫画を公開し(ステップS991)、第1通信端末200Cからの電子漫画の閲覧要求(ステップS921)に応じて、電子漫画を提供する(ステップS992)。上記の処理によって、第1通信端末200Cは、第2通信端末300Cによって編成された電子漫画を閲覧することができる(ステップS922)。
 以上のように、本実施形態に係る電子書籍提供システム10Cによると、例えば漫画のクリエイタが電子漫画を漫画管理サーバ900Cにアップロードする前に、電子漫画の表示形式を編成することができる。
 上記の例では、コマの特定、コマ順の決定、及びコマの編成を行うサーバと、電子漫画を提供するサーバとが異なる構成を例示したが、これらの機能が1つのサーバによって実行されてもよい。上記の処理は、サーバではなく、パーソナルコンピュータなどのように一般的な計算装置、又はスマートフォンなどのモバイル用通信端末で実行されてもよい。
 以上、本発明の一実施形態について図面を参照しながら説明したが、本発明は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、本実施形態の電子書籍提供システムを基にして、当業者が適宜構成要素の追加、削除もしくは設計変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。さらに、上述した各実施形態は、相互に矛盾がない限り適宜組み合わせが可能であり、各実施形態に共通する技術事項については、明示の記載がなくても各実施形態に含まれる。
 上述した各実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、又は、当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。
10:電子書籍提供システム、 100:電子書籍提供サーバ、 101:データテーブル、 102:データベース、 104:漫画情報、 105:ページ情報、 106:コマ座標、 107:コマサイズ、 108:コマ順番、 110:サーバ制御部、 120:サーバ記憶部、 130:サーバ通信部、 150:特定部、 151:画像データ解析部、 153:領域分割部、 155:余白特定部、 157:コマ特定部、 159B:余白調査部、 160:決定部、 161:水平方向隣接確認部、 163:コマ順決定部、 170:編成部、 171:表示形式設定部、 173:コマ配置編成部、 175A:端末情報受信部、 177A:編成方法提案部、 200:第1通信端末、 210:端末記憶部、 220:端末制御部、 230:端末通信部、 240:ディスプレイ、 250:操作ボタン、 260:カメラ、 270:スピーカ、 280:マイク、 300:第2通信端末、 400:ネットワーク、 600:画像データ、 610:コマ部、 611:第1コマ部、 612B:第6コマ部、 613:第2コマ部、 613B:第2コマ部、 615:第3コマ部、 617:第4コマ部、 619:第5コマ部、 620:余白部、 631:キャラクタ、 633:キャラクタ、 641:第1コマ候補、 643:第2コマ候補、 645:第3コマ候補、 650:コマ検知手段、 700:インターフェース、 701A:データテーブル、 703A:漫画情報、 704A:編成方法、 705A:編成者情報、 706A:国名、 707A:編成日時、 708A:端末情報、 710:表示形式指示枠、 720:表示コマ数指示枠、 721:選択部、 730:自動調整指示枠、 740:決定ボタン、 750A:おすすめボタン、 800B:余白調査枠、810B:調査エリア、 900C:漫画管理サーバ
 
 

Claims (20)

  1.  複数のコマを含む漫画の画像データに基づいて、前記複数のコマの各々を特定する特定部と、
     前記特定部によって特定された前記複数のコマの順序を決定する決定部と、
     前記決定部によって決定された前記順序に基づいて、前記コマの配置を編成する編成部と、
     を有するサーバ。
  2.  前記編成部は、表示形式を指示する指示信号に基づいて前記コマの配置を編成する、請求項1に記載のサーバ。
  3.  前記指示信号は、オリジナルの前記画像データを表示する第1表示形式と、前記コマを垂直方向に並べて表示する第2表示形式と、前記コマを水平方向に並べて表示する第3表示形式と、を含むグループから選択された2つ以上の表示形式の中からいずれか1つの表示形式を指示する信号を含む、請求項2に記載のサーバ。
  4.  前記指示信号は、編成された前記コマを表示する端末のディスプレイに表示されるコマ数を指定する信号を含む、請求項2に記載のサーバ。
  5.  前記編成部は、編成された前記コマを表示する端末の端末情報に基づいて前記コマの配置を編成する、請求項2に記載のサーバ。
  6.  前記特定部は、前記画像データを同じ色の画素が連続する複数の領域に分割し、前記複数の領域に基づいて余白を特定し、前記余白に基づいて前記複数のコマの各々を特定する、請求項1乃至5のいずれか一に記載のサーバ。
  7.  前記特定部は、分割された前記複数の領域のうち最大の前記領域を前記余白と特定する、請求項6に記載のサーバ。
  8.  前記特定部は、前記余白以外の前記領域を前記コマと特定する、請求項6に記載のサーバ。
  9.  前記特定部は、前記画像データを二値化し、二値化された前記画像データに基づいて、前記画像データを前記複数の領域に分割する、請求項6に記載のサーバ。
  10.  前記複数の領域は、第1領域及び第2領域を含み、
     前記特定部は、前記第1領域が前記第2領域の内側に存在する、又は、前記第1領域と前記第2領域とが重なっている場合、前記第1領域及び前記第2領域を1つの領域に統合する、請求項6記載のサーバ。
  11.  前記特定部は、前記特定部によって特定された前記複数のコマのうち最も小さいコマのサイズ以上の空間が前記余白の中に存在する場合、前記空間をコマとして特定する、請求項6に記載のサーバ。
  12.  前記複数のコマは、第1コマを含み、
     前記決定部は、前記画像データの水平方向において前記第1コマに隣接する他のコマの存在の有無に基づいて、前記複数のコマにおける前記第1コマの順番を決定する、請求項1に記載のサーバ。
  13.  前記複数のコマは、第2コマをさらに含み、
     前記決定部は、前記第1コマの前記水平方向に前記第2コマが存在する場合、前記第1コマの順番を前記第2コマの順番より早い順番に決定する、請求項12に記載のサーバ。
  14.  前記編成部は、ユーザに対して、前記複数のコマの配置の編成の可否に関する情報をインターフェースに表示する、請求項1に記載のサーバ。
  15.  前記編成部は、前記漫画ごとに指定、禁止又は推奨された表示形式をインターフェースに提供する、請求項1に記載のサーバ。
  16.  複数のコマを含む漫画の画像データに基づいて、前記複数のコマの各々を特定し、
     特定された前記複数のコマの各々の順番を決定し、
     決定された前記順番に基づいて、前記コマの配置を編成することをコンピュータに実行させるプログラム。
  17.  複数のコマを含む漫画の画像データに基づいて、前記複数のコマの各々を特定し、
     特定された前記複数のコマの各々の順番を決定し、
     決定された前記順番に基づいて、前記コマの配置を編成する方法。
  18.  複数のコマを含む漫画の第1画像データに基づいて、前記複数のコマの各々を特定する特定部と、前記特定部によって特定された前記複数のコマの各々の順番を決定する決定部と、前記決定部によって決定された前記順番に基づいて、前記コマの配置を編成する編成部と、を有するサーバ、及び
     前記複数のコマの各々の第2画像データを前記サーバから受信し、前記編成部によって編成された配置で前記コマを表示する通信端末を備えるシステム。
  19.  前記サーバは、前記通信端末によって指示された表示形式に基づいて前記コマの配置を編成する、請求項18に記載のシステム。
  20.  前記サーバは、前記通信端末の端末情報を受信し、前記端末情報及び前記第1画像データに基づく前記コマの配置を編成する方法を前記通信端末に提案する、請求項18又は19に記載のシステム。
     
     
     
PCT/JP2020/026327 2019-07-23 2020-07-06 サーバ、プログラム、方法及びシステム WO2021014945A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20843304.5A EP4006841A4 (en) 2019-07-23 2020-07-06 SERVER, PROGRAM, METHOD AND SYSTEM
US17/548,168 US20220101580A1 (en) 2019-07-23 2021-12-10 Server, non-transitory computer-readable recording medium, method and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019135451A JP6726342B1 (ja) 2019-07-23 2019-07-23 サーバ、プログラム、方法及びシステム
JP2019-135451 2019-07-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/548,168 Continuation US20220101580A1 (en) 2019-07-23 2021-12-10 Server, non-transitory computer-readable recording medium, method and system

Publications (1)

Publication Number Publication Date
WO2021014945A1 true WO2021014945A1 (ja) 2021-01-28

Family

ID=71663906

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026327 WO2021014945A1 (ja) 2019-07-23 2020-07-06 サーバ、プログラム、方法及びシステム

Country Status (4)

Country Link
US (1) US20220101580A1 (ja)
EP (1) EP4006841A4 (ja)
JP (1) JP6726342B1 (ja)
WO (1) WO2021014945A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102557741B1 (ko) * 2021-03-15 2023-07-20 윤태식 셀툰 재생 장치 및 방법
KR102557745B1 (ko) * 2021-03-15 2023-07-20 윤태식 소비자 맞춤형 카툰 플랫폼 시스템 및 그 제공 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183207A (ja) * 2000-08-25 2002-06-28 Casio Comput Co Ltd 電子書籍装置、及び記憶媒体
JP2007052378A (ja) * 2005-08-19 2007-03-01 Softbank Bb Corp 情報データの表示方法、情報データの表示プログラム及び携帯情報端末装置
JP2009098829A (ja) 2007-10-16 2009-05-07 Digima:Kk 漫画のコマ検索装置
JP2012038286A (ja) * 2010-07-13 2012-02-23 Fujifilm Corp コンテンツ解析装置、方法およびプログラム
JP2017045219A (ja) * 2015-08-26 2017-03-02 北川 悦司 コマ抽出装置
WO2019130492A1 (ja) * 2017-12-27 2019-07-04 株式会社オプティム 漫画データ表示システム、方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4075349B2 (ja) * 2001-10-18 2008-04-16 カシオ計算機株式会社 電子書籍装置および電子書籍データ表示制御方法
JP2005202062A (ja) * 2004-01-14 2005-07-28 Sony Computer Entertainment Inc まんが表示装置、まんが表示方法、まんが編集装置およびまんが編集方法
KR101253213B1 (ko) * 2008-01-08 2013-04-23 삼성전자주식회사 모바일 단말기의 영상 표시 제어 방법 및 장치
JP2010165309A (ja) * 2009-01-19 2010-07-29 Celsys:Kk マンガのコマ表示方法、プログラムおよび装置
JP2012133663A (ja) * 2010-12-22 2012-07-12 Fujifilm Corp ビューワ装置、閲覧システム、ビューワプログラム及び記録媒体
CN102737362B (zh) * 2011-04-01 2015-07-08 国基电子(上海)有限公司 具漫画图像分割功能的电子装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183207A (ja) * 2000-08-25 2002-06-28 Casio Comput Co Ltd 電子書籍装置、及び記憶媒体
JP2007052378A (ja) * 2005-08-19 2007-03-01 Softbank Bb Corp 情報データの表示方法、情報データの表示プログラム及び携帯情報端末装置
JP2009098829A (ja) 2007-10-16 2009-05-07 Digima:Kk 漫画のコマ検索装置
JP2012038286A (ja) * 2010-07-13 2012-02-23 Fujifilm Corp コンテンツ解析装置、方法およびプログラム
JP2017045219A (ja) * 2015-08-26 2017-03-02 北川 悦司 コマ抽出装置
WO2019130492A1 (ja) * 2017-12-27 2019-07-04 株式会社オプティム 漫画データ表示システム、方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ISHII, DAISUKE; KAWAMURA, KEI; HOASHI, KEIICHIRO; TAKISHIMA, YASUHIRO; WATANABE, HIROSHI: "A study on frame corner detection of comic image", IPSJ SIG TECHNICAL REPORT, vol. 2010, no. 7 (2010-AVM-69), 31 July 2010 (2010-07-31), JP , pages 1 - 6, XP009532489, ISSN: 1884-0930 *
See also references of EP4006841A4

Also Published As

Publication number Publication date
US20220101580A1 (en) 2022-03-31
EP4006841A1 (en) 2022-06-01
JP6726342B1 (ja) 2020-07-22
JP2021018728A (ja) 2021-02-15
EP4006841A4 (en) 2022-10-26

Similar Documents

Publication Publication Date Title
US10649647B2 (en) Device and method of providing handwritten content in the same
US20160217617A1 (en) Augmented reality device interfacing
JP2007286864A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
WO2021014945A1 (ja) サーバ、プログラム、方法及びシステム
US20140223292A1 (en) Display control device, display method, control program, and recording medium
US20170053195A1 (en) Image forming method, image forming device, and computer-readable recording medium therefor
US20210089334A1 (en) Electronic device and screen capturing method thereof
US10552515B2 (en) Information processing terminal and information processing method capable of supplying a user with information useful for selecting link information
CN105760064A (zh) 显示内容的方法和实现所述方法的电子设备
US20180341375A1 (en) Display control program, display control method, and display control apparatus
US20160196049A1 (en) Information processing device, control method for information processing device, and recording medium
US10002291B2 (en) Method and system of identifying fillable fields of an electronic form
US9965457B2 (en) Methods and systems of applying a confidence map to a fillable form
US10547351B2 (en) Information processing device, display device, short-range wireless communication system, and method for controlling information processing device
US10489491B2 (en) Information processing device and information processing method for presenting a plurality of pieces of link information to a user
US20220385640A1 (en) Image processing apparatus, control method, and system
US10025766B2 (en) Relational database for assigning orphan fillable fields of electronic fillable forms with associated captions
US11436776B2 (en) Information processing apparatus and control method thereof
KR102273198B1 (ko) 시각적으로 코딩된 패턴 인식 방법 및 장치
WO2015163140A1 (ja) 表示装置および表示制御プログラム
US9912834B2 (en) Document camera device and cutout assistance method
JP2017072941A (ja) 文書振り分けシステム、情報処理方法及びプログラム
JP2019175509A (ja) データ入力装置、データ入力プログラム及びデータ入力システム
US20160171326A1 (en) Image retrieving device, image retrieving method, and non-transitory storage medium storing image retrieving program
JP6868665B2 (ja) データ入力装置、データ入力方法及びデータ入力プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20843304

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020843304

Country of ref document: EP

Effective date: 20220223