WO2013058397A1 - 電子コミック編集装置及び方法 - Google Patents

電子コミック編集装置及び方法 Download PDF

Info

Publication number
WO2013058397A1
WO2013058397A1 PCT/JP2012/077180 JP2012077180W WO2013058397A1 WO 2013058397 A1 WO2013058397 A1 WO 2013058397A1 JP 2012077180 W JP2012077180 W JP 2012077180W WO 2013058397 A1 WO2013058397 A1 WO 2013058397A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
frame
balloon
association
Prior art date
Application number
PCT/JP2012/077180
Other languages
English (en)
French (fr)
Inventor
野中 俊一郎
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN2012800084612A priority Critical patent/CN103384896A/zh
Publication of WO2013058397A1 publication Critical patent/WO2013058397A1/ja
Priority to US13/960,631 priority patent/US20130326341A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/174Form filling; Merging

Definitions

  • the present invention relates to an electronic comic editing apparatus and method, and more particularly to a technique for digitizing manga content.
  • Patent Document 1 discloses a document image group storage unit that stores a group of document images for story development in units of frames in a system that transmits a group of images such as comics in units of frames to a mobile communication terminal from a server.
  • a frame arrangement setting means for setting the arrangement of each frame of the image group stored in the storage means, a photosetting setting means for setting a photosetting of each frame of the image group set by the frame arrangement setting means, and a frame arrangement setting means.
  • An image editing apparatus having frame arrangement information storage means for storing set frame arrangement information and photosetting information storage means for storing photosetting information set by the photosetting setting means is disclosed.
  • Patent Document 1 in addition to information related to frame arrangement as processing for a group of images that develop a story in units of frames, photosetting information of each frame is also stored in parallel, providing a user with an image for viewing Even in this case, clear display, display in another language, or editing by the viewing user can be performed by the photosetting information corresponding to each frame, and the pleasure of browsing the image group can be increased. For example, in response to the problem that the serif part is too small to be seen well, the serif part can be surely viewed by the photosetting information.
  • Patent Document 1 does not disclose how to process photosetting that exists across a plurality of frames when acquiring photosetting information of each frame. Therefore, when the association between the phototypesetting and the frame is inappropriate, it is unknown how to correct the association.
  • the manga component includes a character that is a region of interest and a balloon that indicates the dialogue of the character. There was a problem that it could not be used effectively.
  • the present invention has been made in view of such circumstances, and in the case of digitizing manga content, an electronic device that can easily edit an association result in which frame information, speech balloons, text, a region of interest, and the like are associated with each other. It is an object of the present invention to provide a comic editing apparatus and method.
  • an electronic comic editing apparatus is an image file corresponding to each page of a comic, the image file having a high-resolution image of the entire page, and the comic An information file corresponding to each page or all pages of the above, and a balloon area indicating the area in the image of the balloon containing the frame information including the frame area information of each frame in the page and the comic character line
  • Two or more pieces of information including balloon information including information, text region information indicating the text region of the comic, and region of interest information indicating the region of interest of the comic, and association information for associating the two or more information are described.
  • Data acquisition means for acquiring master data of an electronic comic composed of the information file, and the data acquisition Each area included in the two or more pieces of information based on the two or more pieces of information included in the information file in the master data while displaying an image on the display unit based on the image file in the master data acquired by the stage Display control means for displaying an image indicating information superimposed on the image, and displaying an image indicating that the two or more pieces of information are associated based on the association information superimposed on the image Instruction means for indicating the position on the image displayed on the display means, association information adding means for adding association information for associating a plurality of area information corresponding to the position indicated by the instruction means, and the instruction means
  • the association information deleting means for deleting the association of the plurality of area information corresponding to the position indicated by And a editing means for updating the association information included in the information file on the basis of the added association information and association information is deleted by the association information deleting means.
  • the association information for associating the plurality of area information corresponding to the position instructed by the instruction unit is added, the association of the plurality of area information corresponding to the position instructed by the instruction unit is deleted, added or Since the association information contained in the information file is updated based on the deleted association information, when digitizing manga content, the result of the association that associated frame information, speech balloons, text, region of interest, etc. Easy to edit.
  • the display control means superimposes and displays an image drawn with the same color or line type on the outer periphery of an area corresponding to the two or more pieces of associated information based on the association information. Is preferred. Thereby, the area
  • the display control unit may display an area corresponding to the two or more pieces of information associated with each other based on the association information by superimposing an image in which a drawing line connecting each is drawn on the image. Good. Even if it displays in this way, the area
  • the region-of-interest information is region information including a character in the comic
  • the association information includes region-of-interest information including the character and balloon region information indicating a balloon region into which the dialogue of the character enters, or the balloon region It is preferable that the information is associated with text area information indicating the text area. By associating such information, appropriate master data can be generated.
  • the association information may be information that associates the frame information with the balloon information, text region information, and region of interest information. By associating such information, appropriate master data can be generated.
  • the frame area information of the frame is preferably coordinate data indicating each vertex of a polygonal frame boundary surrounding each frame, vector data indicating a frame boundary, or mask data indicating a frame area of each frame. Thereby, appropriate frame area information can be obtained.
  • the balloon area information is preferably coordinate data indicating a plurality of points corresponding to the shape of the balloon, vector data indicating the balloon shape, or mask data indicating the balloon area. Thereby, appropriate balloon area information can be obtained.
  • the text area information is preferably coordinate data indicating each vertex of the outer periphery of the polygon of the text area, vector data indicating the outer periphery of the text area, or mask data indicating the text area. Thereby, appropriate text area information can be obtained.
  • the region-of-interest information is preferably coordinate data indicating each vertex of the outer periphery of the polygon of the region of interest, vector data indicating the outer periphery of the region of interest, or mask data indicating the region. Thereby, appropriate frame region-of-interest information can be obtained.
  • An image acquisition unit that acquires an image file having a high-resolution image of the entire page, and an image of the entire page acquired by the image acquisition unit, and a frame area, a balloon area, and a text area of each frame in the page
  • region extracting means for automatically extracting two or more of the regions of interest, information indicating two or more regions extracted by the region extracting means, and related information of the two or more regions are described.
  • Information file creation means for creating the information file, image file for each page of the comic acquired by the image acquisition means, and information corresponding to each page or all pages of the comic created by the information file creation means Master data creating means for creating master data of the electronic comic composed of files, and the data acquisition unit It is preferable to obtain the master data created by the master data creation means.
  • comics can be digitized in a short time.
  • an electronic comic editing method is an image file corresponding to each page of a comic, the image file having a high-resolution image of the entire page, and the comic An information file corresponding to each page or all pages of the above, and a balloon area indicating the area in the image of the balloon containing the frame information including the frame area information of each frame in the page and the comic character line
  • Two or more pieces of information including balloon information including information, text region information indicating the text region of the comic, and region of interest information indicating the region of interest of the comic, and association information for associating the two or more information are described.
  • a editing step of updating the association information included in the information file on the basis of the added association information and association information is deleted by the association information deletion step.
  • a computer-readable non-transitory recording medium on which an electronic comic editing program realized by a computer according to one aspect of the present invention is recorded is one page of a comic.
  • an image showing each area information contained in the two or more pieces of information is displayed superimposed on the image, and based on the association information
  • a display control function for displaying an image indicating that the two or more pieces of information are associated with each other on the image, an instruction function for indicating a position on the image displayed on the display means, and the instruction
  • An association information adding function for adding association information for associating a plurality of area information corresponding to the position instructed by the function, and the instruction function
  • the association information deletion function for deleting the association of a plurality of area information corresponding to the position indicated by the above, the association information added by the association information addition function and the association information deleted by the association information deletion function And an editing function for updating the association information included in the information file.
  • Diagram explaining association between speech balloon and region of interest Diagram explaining association between speech balloon and region of interest Schematic diagram of information file structure
  • Example of monitor screen when editing master data Example of monitor screen when editing master data
  • Example of monitor screen when editing master data Example of preview screen
  • the block diagram which shows the internal structure of the authoring part 10 The figure which shows the picture which is displayed on the monitor The figure which shows the picture which is displayed on the monitor The figure which shows the picture which is displayed on the monitor The figure which shows the picture which is displayed on the monitor The figure which shows the picture which is displayed on the monitor The figure which shows the picture which is displayed on the monitor The figure which shows the picture which is displayed on the monitor The figure which shows the picture which is displayed on the monitor The figure which shows the picture which is displayed on the monitor
  • FIG. 1 is a configuration diagram showing an aspect of a content distribution system according to the present embodiment.
  • This system includes a server 1 composed of a computer (information processing apparatus) and an electronic book viewer composed of a smartphone or a tablet computer. It should be noted that an unspecified number of electronic book viewers 2 accessing the server 1 may be used.
  • the server 1 includes an authoring unit 10, a database (DB) 11, an operation unit 12, an input / output unit 13, a scanner 14, a monitor 15, and the like.
  • DB database
  • the server 1 includes an authoring unit 10, a database (DB) 11, an operation unit 12, an input / output unit 13, a scanner 14, a monitor 15, and the like.
  • the authoring unit 10 includes an information processing device such as a CPU and a storage unit in which an electronic comic editing program and the like are stored, and performs various types of information processing according to the electronic comic editing program.
  • the DB 11 is composed of a storage medium such as a hard disk or a memory.
  • the operation unit 12 is an operation unit such as a keyboard, a mouse, or a touch pad.
  • the monitor 15 is a display means constituted by a display device such as an LCD.
  • the authoring unit 10 analyzes the content image and creates accompanying information such as page information, frame information, balloon coordinates, and ROI information, and generates master data for an electronic book in which these are linked. In addition, the authoring unit 10 generates data optimized for each electronic book viewer 2 from the master data. Details of the authoring unit 10 will be described later.
  • the DB 11 accumulates content files that store content images associated with page numbers and their accompanying information in a predetermined file format.
  • the content image is obtained by converting the original content into electronic data using the scanner 14 or the like.
  • Original content is organized in pages such as manga, newspapers, weekly magazine articles, office documents (presentation documents, etc.), textbooks, and reference books.
  • the content image is associated with a page number.
  • the content image and its accompanying information are stored in, for example, the EPUB format. Additional information may be stored in the content image. This supplementary information may include the author of the content, title, total number of pages, volume number, episode number, copyright owner (publisher), and the like.
  • the content image includes a schematic image and a detailed image (high resolution data), and is prepared for each page, frame, or anchor point.
  • the incidental information attached to the content image includes information input from the operation unit 12, information on the analysis result of the authoring unit 10, or information input via the input / output unit 13.
  • the electronic book viewer 2 also includes a database (DB) 21, a display unit 24, a content display control unit 25, an audio playback unit 26, an operation unit 27, a speaker 28, an input / output unit 29, and the like.
  • DB database
  • the electronic book viewer 2 also includes a database (DB) 21, a display unit 24, a content display control unit 25, an audio playback unit 26, an operation unit 27, a speaker 28, an input / output unit 29, and the like.
  • the display unit 24 is a display unit configured by a display device such as an LCD.
  • the operation unit 27 is an operation detection unit configured with a touch panel or the like.
  • the operation unit 27 is stacked on the display unit 24 and can detect various operations such as single tap, double tap, swipe, and long press on the display unit 24.
  • the audio playback unit 26 is a circuit that synthesizes information related to audio (information related to reading audio and / or information related to accompanying audio) stored in the content file and outputs it from the speaker 28.
  • the input / output unit 29 is a means for inputting the content file output from the input / output unit 13 of the server 1.
  • the input / output unit 13 and the input / output unit 29 are communication units, but may be a writing / reading unit for a computer-readable storage medium.
  • DB21 stores information equivalent to DB11. That is, when the electronic book viewer 2 requests the server 1 to transmit an electronic book, the server 1 exports the content file in the DB 11 to the DB 21 via the input / output unit 29 and stores the content file in the DB 21. However, the information in DB 11 and the information in DB 21 do not have to be completely the same.
  • the DB 11 is a library that stores various types of content images, for example, content images of each volume of manga of different authors, in response to requests from various users. It is sufficient that only content files related to content that the user of the electronic book viewer 2 wants to browse are stored in the DB 21.
  • the content display control unit 25 performs content display control on the display unit 24.
  • FIG. 2 is a flowchart showing a flow of processing in which the authoring unit 10 generates master data.
  • a content image is acquired and stored in the DB 11 (step S1).
  • the server 1 acquires an image of the entire page corresponding to each page of the manga (high-resolution image, for example, 3000 ⁇ 5000 pixels or 1500 ⁇ 2000 pixels) via a storage medium or a network, or the manga with the scanner 14.
  • the authoring unit 10 acquires the content image acquired by the server 1 by these methods. If the content image is already stored in the DB 11, the authoring unit 10 may acquire the content image stored in the DB 11.
  • the authoring unit 10 causes the monitor 15 to display a registration screen, which is a screen for registering various types of information for the content image acquired in step S1. And if a user inputs various information via the operation part 12 according to the instruction
  • the authoring unit 10 creates an information file and stores various information in the information file.
  • the authoring unit 10 creates master data by associating the content image with the information file. Master data is stored in the DB 11.
  • page information includes information about content (content-specific title ID, title name, author, publisher (copyright owner), publication year, language, etc.), information about the page, page name, and page ID information. Including. Note that the page information is information including whether the content image is one page or two spread pages, right / left opening, the size of the original content, and the like.
  • the authoring unit 10 displays the registration screen shown in FIG.
  • the registration screen the content image G is displayed on the right side, and the list L of the acquired content images is displayed on the left side.
  • “Index” is a file ID and is automatically assigned when a content image is acquired.
  • the list L the acquired content image information is displayed side by side in the order of file IDs.
  • “0” is displayed in the columns other than “Index”.
  • the authoring unit 10 displays the input character information in the list L and stores it in the DB 11.
  • filename is the file name
  • “speaking” is the presence or absence of audio information
  • “Language” is the language of the character information included in the content image
  • “Translation” is the character information included in the content image. Whether or not there is translation into multiple languages.
  • Koma is the number of frames, but “0” is displayed at this stage (automatically input later).
  • the authoring unit 10 automatically analyzes the content image (step S3).
  • the automatic analysis is performed when the user checks (selects) the check boxes of “Auto Koma” and / or “Auto Speech Balloon” via the operation unit 12 and presses the OK button A. Done.
  • the authoring unit 10 automatically detects a frame based on the information on the line included in the content image.
  • the information on the line included in the content image can be acquired by recognizing, for example, a part where a region having a high contrast of the content image appears linearly as a line.
  • the authoring unit 10 extracts text from the content image and extracts a speech bubble included in the content image by setting a closed region surrounding the text as a speech balloon region. To do. Text extraction is performed by an optical character reader (OCR) included in the authoring unit 10. Note that the text read by the OCR is sorted according to the direction of characters. For example, if the words are written vertically, they are sorted from the beginning to the end of the column, and from the right column to the left column.
  • OCR optical character reader
  • frame detection and speech bubble extraction may be performed based on machine learning. For example, based on the sample manga for learning, the detection accuracy of the outer edge of a frame or a balloon, the judgment threshold value for validity as a frame or balloon in a region other than a rectangle may be set empirically.
  • frame information that is information related to a frame is stored
  • balloon information that is information related to a balloon is stored
  • text information that is information related to text is stored.
  • Frame information includes frame area information.
  • the frame area information is information indicating a frame area, and includes the number of frames included in the page, coordinate data indicating each vertex of a polygon frame boundary surrounding each frame, and the shape of each frame.
  • the frame area information may be vector data indicating a frame boundary or mask data indicating a frame area.
  • the frame information further includes frame order information related to the frame order (playback order) of each frame.
  • the frame order is, for example, information on right / left-open pages, information on content indicating the language used, frame division detected from frame area information, etc., from upper right to lower left, upper left to lower right, moving direction
  • An appropriate pattern is selected from several frame order transition patterns such as (horizontal direction or vertical direction), and is automatically determined according to the selected transition pattern.
  • the balloon information includes balloon area information.
  • the balloon area information is information indicating a balloon existing area within a page unit (or frame unit), position information (for example, coordinate data) indicating a plurality of points corresponding to the balloon shape on the drawn line, and the balloon shape. (For example, vector data), the position and orientation of the balloon start point (the balloon vertex), and the balloon size.
  • the balloon area information may be bitmap information (mask data) indicating the entire area (range) of the balloon. Further, the balloon area information may be represented by a specific position (for example, the center position) of the balloon and the size of the balloon.
  • the speech balloon information further includes text information contained in the speech balloon, speech balloon drawing line attributes (broken line, solid line, etc.), speaker identification information of the speech balloon, and frames to which the speech balloon belongs.
  • the text information includes text area information and information related to the text content.
  • the text area information includes position information (for example, coordinate data) indicating each vertex of the outer periphery of the polygon of the text area on the drawn line.
  • the text area information may be vector data indicating the outer periphery of the text area, or bitmap information (mask data) indicating the text area (range).
  • the text content information includes text (sentence) character attribute information specified by OCR, number of lines, line spacing, character spacing, display switching method, language used, vertical writing / horizontal writing, reading direction distinction, and the like.
  • the character attribute information includes a character size (number of points, etc.) and a character type (font, emphasized character, etc.).
  • the text information includes the speech of the speaker in the speech balloon.
  • translated texts of various languages corresponding to the lines of the original text arranged in the balloon and the language used may be included in this text information.
  • the authoring unit 10 stores, as association information, information that associates a text with a speech balloon or information that associates a speech balloon or text with a frame in an information file. Since text is extracted when the speech balloon is extracted, the text is associated with the speech balloon from which the text was extracted. Further, by comparing the coordinates included in the balloon information with the coordinates included in the frame information, it is possible to determine which frame the balloon is included in, so that the balloon is associated with the frame including the balloon. If a closed area around the text cannot be found, the frame includes only characters, so the text is linked to the frame including the text.
  • the authoring unit 10 updates the master data by storing the frame information, balloon information, and text information in the information file.
  • the authoring unit 10 displays the original content image and the frame detection result of the content image automatically analyzed in step S3 side by side on the monitor 15, receives a frame detection result correction input via the operation unit 12, Frame setting is performed based on the result (step S4).
  • FIG. 5 shows a frame detection result by automatic analysis of the content image (file ID: 1, file name: Yakisoba_003) shown in FIG.
  • the authoring unit 10 displays the frame detection result based on the information file.
  • the boundary of each frame hereinafter referred to as a frame boundary
  • a frame boundary is displayed as a thick broken line superimposed on the contrast image, and a frame order indicating the reading order of the frames is displayed at the center of each frame.
  • the user can confirm the current frame area information (frame division) and frame order.
  • the authoring unit 10 changes the color of the frame boundary of the frame to a color different from the color of the other frame boundaries (for example, the selected frame is selected with a red line).
  • a frame that has not been displayed is a blue line), and acceptance of correction input for the selected frame is started. Thereby, the user can confirm the frame to be edited.
  • the authoring unit 10 increases the frame boundary near the selected position, and updates the frame order accordingly. This is a problem that occurs because a line is extracted and recognized in step S3, but is not a frame boundary.
  • the authoring unit 10 extracts a line in the vicinity of the position where the selection instruction is input, which is recognized as a line but is not defined as a frame boundary. By setting a frame boundary, a frame boundary is added.
  • the frame in frame order 2 in the center of the content image is recognized as one frame even though it is actually two frames. Therefore, when the user selects the vicinity of the line A in the vicinity of the frame center via the operation unit 12, the authoring unit 10 sets the frame in the central part of the content image to the frame in the frame order 2 and the frame order as shown in FIG. Divide into 3 frames.
  • the authoring unit 10 corrects the frame order. In this case, the frame order of the frame of frame order 3 in FIG. 5 is changed to 4, and the frame order of the frame of frame order 4 in FIG.
  • the authoring unit 10 corrects the frame order as the frames are deleted. In this case, the frame order of the frame in frame order 3 in FIG. 7 is changed to 2, the frame order in frame order 4 in FIG. 7 is changed to 3, and the frame order of frame in frame order 6 in FIG. Is changed to 4.
  • the increased frame boundary and the deleted frame boundary may be displayed so as to be distinguishable from other frame boundaries. Thereby, the user can grasp which frame boundary is increased and which frame boundary is deleted.
  • a frame boundary correction screen is displayed as shown in FIG.
  • a frame is expressed by a polygon having three or more vertices, and a frame boundary is expressed by a line connecting three or more vertices and the vertices.
  • the frame is a square, a total of eight vertices, each of the vertices of the square and the approximate center of the side, are displayed.
  • the vertex When the user drags a desired vertex via the operation unit 12, the vertex is moved as shown in FIG. 9, and the shape of the frame boundary is corrected. By repeating this operation, the shape and size of the frame boundary can be changed.
  • the authoring unit 10 corrects the frame information in the information file accordingly. Further, when the display of the registration screen is instructed after the frame setting, the authoring unit 10 displays on the monitor 15 the frame number input to “koma” in the list L. When the result shown in FIG. 6 is set, 5 is input to “koma” with the file ID 1 as shown in FIG.
  • step S4 the authoring unit 10 displays the original content image and the extraction result of the balloon of the content image automatically analyzed in step S3 on the monitor 15, and displays the operation unit 12 on the operation unit 12.
  • the correction input of the extraction result of the speech balloon is received via the and the speech balloon setting is performed based on the result (step S5).
  • FIG. 10 shows a balloon extraction result by automatic analysis of the content image (file ID: 1, file name: Yakisoba_003) shown in FIG.
  • the authoring unit 10 displays the balloon extraction result based on the information file.
  • the authoring unit 10 displays an image in which the extracted speech balloon is filled on the monitor 15 so that the extracted speech balloon and other regions can be recognized.
  • an image in which a balloon extracted by hatching is filled is shown as an image showing the balloon area, but an image in which the outer periphery of the balloon is drawn thickly is displayed as an image showing the balloon area. Also good.
  • balloon Y is a closed region
  • balloon Y is extracted as a balloon even though it is not a balloon. This is caused by recognizing characters in the balloon Y as text.
  • the authoring unit 10 automatically deletes the selected closed region (in this case, inside the balloon Y) from the balloon. As a result, the hatching is erased from the balloon Y as shown in FIG.
  • FIG. 16 is an enlarged view of the extraction result of the balloon Z in FIG. 14, and FIG. 17 is a diagram in which characters are deleted from FIG.
  • FIG. 17 is a diagram in which characters are deleted from FIG.
  • FIG. 17 in the balloon Z, a part of the boundary line is connected to the character (FIG. 17a), and a part of the character is outside the balloon (FIG. 17b). Therefore, when the user selects the closed area b in the balloon through the operation unit 12, the area b (see FIG. 17) in which the authoring unit 10 is automatically closed is used as the balloon as shown in FIG.
  • FIG. 18 when the user adds a balloon boundary c through the operation unit 12, the authoring unit 10 is automatically generated with the boundary c (see FIG. 18) as shown in FIG.
  • the closed area be a balloon.
  • FIG. 19 a balloon that has not been clearly detected is accurately extracted.
  • the authoring unit 10 corrects the balloon information of the information file accordingly.
  • step S5 the authoring unit 10 displays the original content image and the text recognition result of the content image automatically analyzed in step S3 side by side on the monitor 15, and the operation unit 12 is displayed. Then, the correction input of the text recognition result is accepted, and the text setting is performed based on the result (step S6).
  • FIG. 20 shows a text recognition result by automatic analysis of the content image (file ID: 1, file name: Yakisoba_003) shown in FIG.
  • the authoring unit 10 displays the text extraction result based on the information file.
  • the authoring unit 10 displays an image in which the outer periphery of the text area is drawn thickly on the monitor 15 so that the text area and other areas can be recognized.
  • an image in which the outer periphery of the text region is drawn thick is shown as an image showing the text region.
  • an image in which the text region is semitransparently painted as an image showing the text region may be displayed. Good. Allow users to recognize text by painting it translucently.
  • the character data is specified by the optical character reader of the authoring unit 10. If the character data cannot be specified, the authoring unit 10 prompts the user to input, and the user inputs a character via the operation unit 12. Thereby, the information regarding the content of the text is acquired.
  • the authoring unit 10 corrects the text information of the information file accordingly.
  • the authoring unit 10 automatically selects the desired position on the wrong text area via the operation unit 12 and instructs the recognition. Deletes the selected text area from the information file. The authoring unit 10 also deletes information related to the text content of the deleted text area from the information file.
  • the authoring unit 10 automatically extracts a region of interest (hereinafter referred to as ROI) from the original content image (step S7).
  • the ROI indicates what the electronic book viewer 2 always wants to display, and is the face (or an area corresponding to the face) of the comic character that is the basis of the content image. Characters include not only human beings but also non-living creatures such as animals, telephones, personal computers, electronic devices, and robots.
  • the authoring unit 10 includes a face detection unit that automatically detects a character's face using a known image analysis technique, for example, a face detection technique, and the face detection unit detects the character's face from the content image.
  • the authoring unit 10 sets a polygonal region surrounding the detected face as a region of interest.
  • the position, size, and type of content elements of animals, buildings, automobiles, and other objects may be automatically detected based on the feature quantities related to the image information using a known image analysis technique.
  • the authoring unit 10 stores region-of-interest information, which is information about the region of interest (ROI), in the information file.
  • the region-of-interest information may be coordinate data indicating each vertex of the outer peripheral edge of the polygon of the ROI, ROI shape, vector data indicating the outer peripheral edge of the ROI, or mask data indicating the ROI.
  • the region-of-interest information further includes information on a character included in the ROI (for example, an automatically assigned character ID).
  • the region-of-interest information may include priority, importance in display, character identification information (such as name), and character attributes (such as gender and age).
  • the authoring unit 10 updates the association information stored in the information file by using the extracted ROI information. That is, the ROI information is further associated with the association information in which the speech balloon and the text are associated, and the ROI information is further associated with the association information in which the frame, the speech balloon and the text are associated.
  • the association information may be information that associates two or more pieces of information among frame information, balloon information, text region information, and region of interest information, and ROI information is not essential.
  • the authoring unit 10 receives a correction input of the ROI extraction result, and performs ROI setting based on this result (step S8).
  • FIG. 22 shows ROI extraction results by automatic analysis of the content image (file ID: 1, file name: Yakisoba_003) shown in FIG.
  • the content image shown in FIG. 3 and the recognition result shown in FIG. 22 are displayed side by side on the monitor 15, but only the ROI extraction result shown in FIG. 22 may be displayed.
  • the authoring unit 10 displays the ROI extraction result based on the information file.
  • the authoring unit 10 can recognize the ROI and other regions by displaying on the monitor 15 an image in which the outer peripheral edge of the ROI is drawn thickly.
  • an image in which the outer peripheral edge of the ROI is drawn thick is shown as an image showing the ROI, but an image in which the ROI is semitransparently painted may be displayed as an image showing the ROI area.
  • the user can recognize the character by painting it translucently.
  • the character includes a male M and a female F, but the left-facing face C of the male M facing sideways is not recognized.
  • the authoring unit 10 recognizes the closed region including the instructed position as ROI. To do.
  • the authoring unit 10 corrects the region-of-interest information in the information file accordingly. As a result, as shown in FIG. 23, an image showing ROI is displayed on the face C of the male M facing left.
  • the authoring unit 10 automatically receives information when the user selects a desired position on the ROI via the operation unit 12 and instructs recognition. Delete selected region of interest information from the file. As a result, an image showing an incorrect ROI is deleted from the monitor 15.
  • the association information stored in the information file is updated accordingly.
  • the authoring unit 10 performs pairing setting (association setting) (step S9).
  • the association setting associates, for example, a ROI that is a person and a speech bubble that is considered to be the dialogue of the person.
  • a ROI that is a person
  • a speech bubble that is considered to be the dialogue of the person.
  • FIG. 24 based on the association information stored in the information file, a broken-line circle indicating that the associated balloon and ROI are associated with each other is superimposed on the image and displayed on the monitor 15. It is a figure which shows an example.
  • balloons i to xii are included as balloons, and female F (F1 to F3) and male M (M1 to M4) are included as ROIs.
  • the women F1 to F3 are all the same person (female F), but for the sake of convenience of description, the women are F1 to F3.
  • the men M1 to M4 are all the same person (male M), but for the sake of convenience of description, the men M1 to M4 are used.
  • the balloon i and the female F1 are pair 1, the balloon ii and the male M1 are pair 2, the balloon iii and the male M2 are pair 3, and the balloon iv and the male M3 are pair 4.
  • the speech balloon v and the female F2 are paired 5
  • the speech balloon vi and the female F2 are paired 6
  • the speech balloon vii and the male M3 are paired 7
  • the speech balloon viii and the male M3 are paired 8
  • the speech balloon ix and the male M3 is set to pair 9
  • balloon x and male M4 are set to pair 10
  • balloon xi and female F3 are set to pair 11
  • balloon xii and female F3 are set to pair 12 so as to surround each pair.
  • a dashed circle is superimposed on the screen.
  • the authoring unit 10 receives a correction regarding the pair.
  • the speech balloon xi is associated with the female F3 closest to the speech balloon xi.
  • the balloon xi should be associated with the male M4, not the female F3. Therefore, it is necessary to correct the pair 11.
  • the pair 11 can be edited.
  • the authoring unit 10 sets the balloon xi and the male M4 to the pair 11. Reset and correct the information file.
  • the authoring unit 10 displays the content image on the monitor 15 in a state where the result of the association is made recognizable based on the corrected information file. As a result, the result of correcting the pair 11 is confirmed on the monitor 15 as shown in FIG.
  • a number may be assigned to the associated information.
  • the authoring unit 10 may be numbered in order from the association of the speech balloons on the upper right, or may be numbered based on the input from the operation unit 12. This number may also serve as the display order of the balloons.
  • the authoring unit 10 stores the master data composed of the information file and the content image updated in steps S4 to S9 in the DB 11 (step S10).
  • the authoring unit 10 displays the content image on the monitor 15 in a state where the balloon and ROI set in steps S5 and S7 can be selected based on the information file.
  • the authoring unit 10 recognizes them and sets them as a pair. Since the balloon i is spoken by the female F1, when the balloon i and the female F1 are selected via the operation unit 12, the authoring unit 10 automatically recognizes the balloon i and the female F1 as a pair, i and female F1 are set to pair 1.
  • the authoring unit 10 automatically recognizes the balloon ii and the male M1 as a pair, and sets the balloon ii and the male M1 as a pair 2. Set to.
  • the authoring unit 10 stores the association result in the information file.
  • the information file for example, an XML file format file can be used.
  • FIG. 26 shows the structure of the information file.
  • the information file since each comic has an information file, the information file includes a plurality of page information. For each page, there is page information first, frame information is associated with the page information, and balloon information, text information, region of interest information, and association information are associated with the frame information.
  • the association information includes the frame information including the frame area information of each frame in the page, the balloon information including the balloon area information indicating the area in the balloon image, the text area information indicating the comic text area,
  • information indicating that the authoring unit 10 has associated with each other from two or more pieces of information of the region of interest information (ROI) indicating the region of interest of the comic is recorded.
  • ROI region of interest information
  • information file may be generated for each page, not for each comic.
  • the authoring unit 10 acquires content images and generates master data in which frame information, balloon information, text information, and the like are stored.
  • the authoring unit 10 is information in which various types of information are stored. Master data having a file (corresponding to the master data generated in step S2 in FIG. 2) may be acquired, and the final master data may be stored in the DB by performing the processes in steps S3 to S10. Further, the authoring unit 10 automatically extracts frames, speech bubbles, and texts, and master data having an information file storing frame information, speech balloon information, and text information (corresponding to the master data generated in step S3 in FIG. 2). ) And the processes of steps S4 to S10 may be performed to store the final master data in the DB.
  • FIG. 27 shows a display screen for performing editing in accordance with the electronic book viewer.
  • the authoring unit 10 displays the content image on the monitor 15.
  • the authoring unit 10 displays a frame boundary of each frame with a bold line based on the information file.
  • a frame order indicating the reading order of the frames is displayed at the approximate center of each frame.
  • the display of the frame order is not limited to this, and it may be displayed at the corner of the frame.
  • the authoring unit 10 acquires the screen size of the electronic book viewer 2 from the DB 11 or the like, and the frame F indicating the screen size of the electronic book viewer 2 based on the information of the screen size of the electronic book viewer 2 and the information file. Is displayed over the content image.
  • the authoring unit 10 moves the frame F left / right / up / down according to the instruction of the operation unit 12.
  • the authoring unit 10 determines the minimum number of display times required to display all the frames based on the information on the screen size of the electronic book viewer 2 and the information file, that is, how many scrolls are required.
  • the information (marker) is obtained and superimposed on the content image.
  • the frame order is displayed so as to overlap the marker in FIG.
  • the scroll number is expressed by a rectangular marker.
  • a square marker with a side of a is displayed, as in the frame order of 3 and 4 in FIG.
  • a rectangular marker whose side is an integral multiple of a is displayed.
  • a rectangular marker having a vertical and horizontal size of na ⁇ ma is displayed.
  • a rectangular marker having 2a in the horizontal direction and a in the vertical direction is displayed.
  • step S4 when the user double-clicks a frame boundary via the operation unit 12, the authoring unit 10 displays a vertex on the frame boundary so that the frame boundary can be edited.
  • step S4 when the user drags a desired vertex via the operation unit 12, the vertex is moved, and the shape of the frame boundary is corrected. By repeating this operation, the shape (for example, change from pentagon to rectangle) and the size of the frame boundary can be changed. It is also possible to add and delete vertices. Since addition and deletion of vertices are the same as in step S4, description thereof is omitted.
  • the authoring unit 10 when the frame size is slightly larger than the screen size of the electronic book viewer 2 based on the information on the screen size of the electronic book viewer 2 and the information file, A frame border of a frame slightly larger than the screen size is displayed in a color different from other frame boundaries.
  • the case where the vertical and horizontal size of the frame is slightly larger than the screen size of the electronic book viewer 2 is, for example, about 10% of the screen size of the electronic book viewer 2 as a threshold, and the length of the side of the frame is the electronic book viewer 2
  • a case where the size is about 10% larger than the screen size can be considered.
  • the frame boundary of the frame of frame order 5 is expressed in a color different from other frame boundaries.
  • the authoring unit 10 detects this and rewrites the information file. Further, the authoring unit 10 changes the size of the marker to a ⁇ a, and changes the color of the frame boundary of the frame in frame order 5 to the same color as the color of other frames.
  • ⁇ ⁇ Frame borders can be deleted and added.
  • the addition and deletion of frame boundaries are the same as in step S4, and thus description thereof is omitted.
  • the selected frame is deleted.
  • the size of a frame is small and two frames are included in the frame F, it is possible to display efficiently by using one frame.
  • the authoring unit 10 can also display a preview screen on the monitor 15.
  • FIG. 30 shows an example of a preview screen.
  • the authoring unit 10 displays the content image on the monitor 15 and displays a frame F indicating the screen size of the electronic book viewer 2 so as to overlap the content image. Then, the authoring unit 10 paints the outer side of the frame F semi-transparently to make a preview screen in which only the inner side of the frame F is visible.
  • the outer side of the frame F is not limited to being translucently painted, and the outer side of the frame F may be displayed in gray.
  • the authoring unit 10 Scrolls the frame F and displays the next preview screen.
  • the authoring unit 10 moves the frame F so that all the frames currently being previewed are previewed, and displays the outside of the frame F in a translucent manner. In the example shown in FIG. 30, the frame F is moved to the left by t.
  • the authoring unit 10 moves the frame F so that the right end of the frame in the next frame order and the right end of the frame F coincide with each other. Is displayed translucently.
  • the master data editing process is not limited to the case where the authoring unit 10 generates master data, but the master data generated by an external electronic comic generation device is stored in the DB 11 of the server 1 and edited. May be.
  • FIG. 31 is a block diagram showing an internal configuration of the authoring unit 10 and mainly shows functional blocks related to association information.
  • the authoring unit 10 includes a master data acquisition unit 10a, an association information image generation unit 10b, an association information image superposition unit 10c, an association information deletion unit 10d, an association information addition unit 10e, and an association information update unit 10f. Etc.
  • the master data acquisition unit 10a functions as a master data acquisition unit that acquires master data in which a content image and an information file are linked from the DB 11, and stores the acquired data in a RAM (not shown).
  • the association information image generation unit 10b functions as an image generation unit that reads association information included in an information file in the master data stored in the RAM and generates an image indicating each associated area.
  • the association information image superimposing unit 10c superimposes the page image of the image file in the master data stored in the RAM and the image generated by the association information image generating unit 10b according to the operation of the operation unit 12 by the user. It functions as a display control means for displaying on the monitor 15.
  • the association information deleting unit 10d functions as an association information deleting unit that deletes the association information of the information file in the master data stored in the RAM in accordance with the operation of the operation unit 12 by the user.
  • the association information adding unit 10e functions as an association information adding unit that adds the association information of the information file in the master data stored in the RAM in accordance with the operation of the operation unit 12 by the user.
  • the association information update unit 10f functions as an editing unit that updates the master data in the DB 11 based on the information file in the RAM in which the association information is deleted and added by the association information deletion unit 10d or the association information addition unit 10e.
  • FIG. 32 is a diagram showing an association information display performed based on the association information stored in the information file, and is a diagram showing an aspect different from FIG. As shown in the figure, in correspondence with the selected frame, a balloon region and a text region associated with the frame, and an image in which the outer periphery of each ROI region is drawn are superimposed on the image on the monitor 15. Is displayed.
  • the master data acquisition unit 10a acquires the master data of the page from the DB 11 and stores it in the RAM. Further, the association information of the selected frame 100 is acquired from the master data information file stored in the RAM.
  • the balloons 111 and 112, the text areas 121, 122a and 122b, and the ROIs 131 and 132 are associated with the frame 100. Furthermore, the balloon 111, the text area 121, and the ROI 131 are associated with each other as a single group (referred to as group a), and the balloon 112, the text areas 122a, 122b, and the ROI 132 are associated with each other as a single group. (Group b).
  • the association information image generation unit 10b generates an image in which the outer edges of the balloons 111 and 112, the text areas 121, 122a and 122b, and the ROIs 131 and 132 associated with the frame 100 are drawn. At this time, an image is generated so that the group a and the group b, which are associated with each other, have different line types. In the example of FIG. 31, an image is generated in which the outer periphery is drawn with a broken line for the group a and with an alternate long and short dash line for the group b.
  • the association information image superimposing unit 10c superimposes the generated image and the image data in the master data stored in the RAM on the monitor 15 for display. By superimposing and displaying in this way, the user can recognize the balloon area, text area, and ROI associated with the selected frame. In addition, when a plurality of different associations are made among the selected scenes, it is possible to make the user recognize what associations are made by displaying each of them so that they can be distinguished from each other.
  • the color may be changed instead of changing the line type of the line for drawing the outer periphery.
  • a portion of the displayed image (page) other than the selected frame 100 may be displayed with reduced contrast in order to clarify that it is not selected.
  • a plurality of frames may be selectable, or association information may be displayed for all the frames at the same time.
  • association information display may be performed as shown in FIG.
  • an image in which a balloon line associated with the frame, a text region, and a leader line connecting each region of the ROI are drawn may be superimposed on the image.
  • the lead lines 141 and 142 are drawn from the balloons 111 and 112 and the ROIs 131 and 132 associated with the frame 100. Further, the balloon 111 and the ROI 131 associated with each other are connected by a lead line 141, and the balloon 112 and the ROI 132 are connected by a lead line 142.
  • the text area is omitted, but when the text area is included in the association of the frames 100, an image to be connected by a leader line may be generated and superimposed. Further, the line type and color may be changed between the lead lines 141 and 142.
  • the user can recognize the balloon area, text area, and ROI associated with the selected frame.
  • the user can recognize what associations are made by displaying each of them so that they can be distinguished from each other.
  • balloons 160a, 160b, and 160c are associated with frame 150
  • balloon 162 is associated with frame 152.
  • the association information image generation unit 10b uses the master data acquired from the DB 11 by the master data acquisition unit 10a, and the outer periphery of each area of the frame 150 and the balloons 160a, 160b, and 160c Generate an image that draws.
  • the association information image superimposing unit 10 c superimposes this image and the page image and displays them on the monitor 15.
  • FIG. 34 shows an image displayed on the monitor 15.
  • the balloon 160a is associated with the frame 150.
  • the balloon or ROI that exists across a plurality of frames, such as the balloon 160a is determined by comparing which frame contains the most.
  • the balloon 160 a is associated with the frame 150 because the area existing on the frame 150 is larger than the area existing on the frame 152.
  • it should actually be associated with the frame 152 and here, an example in which the balloon 160a is modified (updated) to be associated with the frame 152 will be described.
  • the user selects an association information correction icon (not shown) by the operation unit 12, and selects the balloon 160a.
  • the association information image generation unit 10b generates an image in which the outer peripheries of the areas of the top 150 and the balloons 160b and 160c are drawn without drawing the outer perimeter of the area of the balloon 160a.
  • the association information image superimposing unit 10c superimposes this image on the image of the page and displays it on the monitor 15.
  • FIG. 35 shows an image displayed on the monitor 15 at this time.
  • the association information deleting unit 10d deletes the balloon 160a from the association information of the frame 150 in the master data information file stored in the RAM.
  • the association information update unit 10f updates the master data in the DB 11 based on the master data stored in the RAM. Thereby, the frame 150 and the balloon 160a are not associated with each other.
  • the association information image generation unit 10 b when the frame 152 is selected by the operation unit 12, in response to this operation, the association information image generation unit 10 b generates an image in which the frame 152 and the outer peripheral edge of the balloon 162 associated with the frame 152 are drawn. To do.
  • the association information image superimposing unit 10c superimposes this image on the image of the page and displays it on the monitor 15.
  • FIG. 36 shows an image displayed on the monitor 15 at this time.
  • association information correction icon (not shown) is selected again, and the balloon 160a is selected.
  • association information image generation unit 10b generates an image depicting the balloon 162 associated with the frame 152 and the outer periphery of each area of the selected balloon 160a, and the association information image superimposing unit 10c The image is superimposed on the image of the page and displayed on the monitor 15.
  • the association information adding unit 10e adds a balloon 160a to the association information of the frame 152 in the master data information file stored in the RAM.
  • the association information update unit 10f updates the master data in the DB 11 based on the master data stored in the RAM. Thereby, the frame 152 and the balloon 160a are associated with each other.
  • the user can manually update the association information.
  • the master data of the electronic comic is created and edited by the server that distributes the contents of the electronic book, but the device that creates this master data is an electronic comic editing that is different from the server that distributes the contents. It may be a device.
  • the electronic comic editing apparatus is configured by installing the electronic comic editing program on a general-purpose personal computer via a non-transitory computer-readable recording medium in which the electronic comic editing program according to the present invention is recorded. can do.
  • the master data created and edited as described above is distributed from a server (distribution server) in response to a distribution request from various portable terminals.
  • the distribution server acquires model information of the portable terminal.
  • the master data may be processed into data suitable for browsing on the model (screen size or the like) and distributed, or the master data may be distributed as it is. If the master data is distributed as it is, it is necessary to convert the master data into data suitable for the mobile terminal by using the viewer software on the mobile terminal side, so that the master data can be browsed. Therefore, the viewer software can display the content on the mobile terminal using the information described in the information file.
  • 1 server, 2: electronic book viewer, 10: authoring unit, 10a: master data acquisition unit, 10b: association information image generation unit, 10c: association information image superposition unit, 10d: association information deletion unit, 10e: association information addition Part, 10f: association information update part, 11: database (DB), 12: operation part, 15: monitor

Abstract

 画像ファイルに基づいて画像を表示手段に表示させるとともに、情報ファイルに含まれる2以上の情報に基づいて2以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加し、指示手段により指示された位置に対応する複数の領域情報の関連付けを削除し、追加又は削除された関連付け情報に基づいて情報ファイルを更新する電子コミック編集装置によって上記課題を解決する。

Description

電子コミック編集装置及び方法
 本発明は電子コミック編集装置及び方法に係り、特にマンガコンテンツを電子化する技術に関する。
 近年、通信ネットワークを介してウェブ上のサイトを閲覧する機能を備えた携帯通信端末が普及している。また、携帯通信端末において閲覧されるコンテンツとして、雑誌等に掲載されたコミック(マンガ)をスキャナによって取り込むなどして電子化した電子コミックが知られている。
 電子コミックについては、その電子化の際に、携帯通信端末の表示部において適切に表示できるようにデータを生成する様々な技術が提案されている。
 例えば特許文献1には、マンガ等のコマ単位でストーリー展開する画像群を、サーバから携帯通信端末に送信するシステムにおいて、コマ単位でストーリー展開する原稿画像群を格納する原稿画像群格納手段と、格納手段に格納された画像群の各コマの配列を設定するコマ配列設定手段と、コマ配列設定手段により設定された画像群の各コマの写植を設定する写植設定手段と、コマ配列設定手段により設定されたコマ配列情報を記憶するコマ配列情報記憶手段と、写植設定手段により設定された写植情報を記憶する写植情報記憶手段とを有する画像編集装置が開示されている。
 特許文献1によれば、コマ単位でストーリー展開する画像群に対する処理としてコマ配列に関する情報に加えて、各コマの写植情報も並行して格納されることになり、ユーザに閲覧用の画像を提供する場合も、各コマに対応した写植情報により、鮮明な表示や、他の言語での表示あるいは閲覧ユーザによる編集なども可能となり、画像群を閲覧する楽しみを増加させることができる。例えば、セリフ部分が小さすぎてよく見えないというような問題に対し、写植情報などによりセリフ部分も確実に閲覧できるようになる。
特開2010-129068号公報
 しかしながら、特許文献1には、各コマの写植情報を取得する際に、複数のコマにまたがって存在する写植をどのように処理するのかについては開示されていない。したがって、その写植とコマの関連付けが不適切な場合において、関連付けをどのように修正するのかは不明である。
 さらに、マンガの構成要素には、コマ内に配置された写植情報(テキスト)の他にも、関心領域であるキャラクタやキャラクタの台詞を示す吹き出し等があり、特許文献1では、これらの情報を有効に用いることができないという問題点があった。
 本発明はこのような事情に鑑みてなされたもので、マンガコンテンツを電子化する場合に、コマ情報、吹き出しやテキスト、関心領域などが関連付けられた関連付けの結果を簡単に編集することができる電子コミック編集装置及び方法を提供することを目的とする。
 前記目的を達成するために本発明の一の態様に係る電子コミック編集装置は、コミックの1ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの1ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキスト領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの2以上の情報と、前記2以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得手段と、前記データ取得手段により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記2以上の情報に基づいて前記2以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記2以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御手段と、前記表示手段に表示された画像上の位置を指示する指示手段と、前記指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加手段と、前記指示手段により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除手段と、前記関連付け情報追加手段により追加された関連付け情報及び前記関連付け情報削除手段により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集手段とを備えた。
 本態様によれば、指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加し、指示手段により指示された位置に対応する複数の領域情報の関連付けを削除し、追加又は削除された関連付け情報に基づいて情報ファイルに含まれる関連付け情報を更新するようにしたので、マンガコンテンツを電子化する場合に、コマ情報、吹き出しやテキスト、関心領域などが関連付けられた関連付けの結果を簡単に編集することができる。
 前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている2以上の情報に対応する領域の外周縁を、同じ色又は線種により描画した画像を前記画像上に重畳して表示させることが好ましい。これにより、ユーザが関連付けられている領域を適切に認識することができる。
 また、前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている2以上の情報に対応する領域を、それぞれ接続する引き出し線を描画した画像を前記画像上に重畳して表示させてもよい。このように表示させても、ユーザに関連付けられている領域を適切に認識させることができる。
 前記関心領域情報は、前記コミック内のキャラクタを含む領域情報であり、前記関連付け情報は、前記キャラクタを含む関心領域情報と、該キャラクタの台詞が入る吹き出し領域を示す吹き出し領域情報、又は前記吹き出し領域内のテキストの領域を示すテキスト領域情報とを関連付ける情報であることが好ましい。このような情報を関連付けることにより、適切なマスタデータを生成することができる。
 前記関連付け情報は、前記コマ情報と前記吹き出し情報、テキスト領域情報、及び関心領域情報とを関連付ける情報であってもよい。このような情報を関連付けることにより、適切なマスタデータを生成することができる。
 前記コマのコマ領域情報は、各コマを囲む多角形のコマ境界の各頂点を示す座標データ、コマ境界を示すベクトルデータ、又は各コマのコマ領域を示すマスクデータであることが好ましい。これにより、適切なコマ領域情報を得ることができる。
 前記吹き出し領域情報は、前記吹き出しの形状に対応する複数点を示す座標データ、前記吹き出しの形状を示すベクトルデータ、又は前記吹き出しの領域を示すマスクデータであることが好ましい。これにより、適切な吹き出し領域情報を得ることができる。
 前記テキスト領域情報は、前記テキスト領域の多角形の外周縁の各頂点を示す座標データ、前記テキスト領域の外周縁を示すベクトルデータ、又は前記テキスト領域を示すマスクデータであることが好ましい。これにより、適切なテキスト領域情報を得ることができる。
 前記関心領域情報は、前記関心領域の多角形の外周縁の各頂点を示す座標データ、前記関心領域の外周縁を示すベクトルデータ、又は前記領域を示すマスクデータであることが好ましい。これにより、適切なコマ関心領域情報を得ることができる。
 前記ページ全体の高解像度の画像を有する画像ファイルを取得する画像取得手段と、前記画像取得手段により取得したページ全体の画像を解析し、該ページ内の各コマのコマ領域、吹き出し領域、テキスト領域、及び関心領域のうちの2以上の領域を自動的に抽出する領域抽出手段と、前記領域抽出手段により抽出した2以上の領域を示す情報と、該2以上の領域の関連情報とが記述された情報ファイルを作成する情報ファイル作成手段と、前記画像取得手段により取得した前記コミックのページ毎の画像ファイルと、前記情報ファイル作成手段により作成された前記コミックのページ毎又は全ページに対応する情報ファイルとから構成される前記電子コミックのマスタデータを作成するマスタデータ作成手段とを備え、前記データ取得手段は、前記マスタデータ作成手段により作成されたマスタデータを取得することが好ましい。このように、自動的に情報ファイルを生成することで、短時間でのコミックの電子化が可能となる。
 前記目的を達成するために本発明の一の態様に係る電子コミック編集方法は、コミックの1ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの1ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキスト領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの2以上の情報と、前記2以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得工程と、前記データ取得工程により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記2以上の情報に基づいて前記2以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記2以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御工程と、前記表示手段に表示された画像上の位置を指示する指示工程と、前記指示工程により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加工程と、前記指示工程により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除工程と、前記関連付け情報追加工程により追加された関連付け情報及び前記関連付け情報削除工程により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集工程とを含む。
 前記目的を達成するために本発明の一の態様に係るコンピュータにより実現させる電子コミック編集プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体(non-transitory computer-readable medium)は、コミックの1ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの1ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキスト領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの2以上の情報と、前記2以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得機能と、前記データ取得機能により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させると共に、前記マスタデータ内の情報ファイルに含まれる前記2以上の情報に基づいて前記2以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記2以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御機能と、前記表示手段に表示された画像上の位置を指示する指示機能と、前記指示機能により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加機能と、前記指示機能により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除機能と、前記関連付け情報追加機能により追加された関連付け情報及び前記関連付け情報削除機能により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集機能とを含む。
 本発明によれば、マンガコンテンツを電子化する場合に、コマ情報、吹き出しやテキスト、関心領域などが関連付けられた関連付けの結果を簡単に編集することができる。
本発明に係るコンテンツ配信システムの構成を示す図 マスタデータ生成のフローチャート コンテンツ画像の一例 モニタ表示の一例 コンテンツ画像から自動的にコマを検出した結果を示す図 図5に示すコマ検出結果を修正した結果を示す図 コンテンツ画像から自動的にコマを検出した結果を示す図 図7に示すコマ検出結果を修正した結果を示す図 コマ境界の修正について説明する図 コンテンツ画像から自動的に吹き出しを抽出した結果を示す図 図10に示す吹き出し抽出結果を修正した結果を示す図 コンテンツ画像から自動的に吹き出しを抽出した結果を示す図 図12に示す吹き出し抽出結果を修正した結果を示す図 コンテンツ画像から自動的に吹き出しを抽出した結果を示す図 吹き出しの抽出を説明する図 吹き出しの抽出を説明する図 吹き出しの抽出を説明する図 吹き出しの抽出を説明する図 吹き出しの抽出を説明する図 コンテンツ画像から自動的にテキストを抽出した結果を示す図 図20に示すテキスト抽出結果を修正した結果を示す図 コンテンツ画像から自動的に関心領域を抽出した結果を示す図 図20に示す関心領域抽出結果を修正した結果を示す図 吹き出しと関心領域との関連付けを説明する図 吹き出しと関心領域との関連付けを説明する図 情報ファイルの構造の模式図 マスタデータ編集時のモニタ画面の一例 マスタデータ編集時のモニタ画面の一例 マスタデータ編集時のモニタ画面の一例 プレビュー画面の一例 オーサリング部10の内部構成を示すブロック図 モニタに表示される画像を示す図 モニタに表示される画像を示す図 モニタに表示される画像を示す図 モニタに表示される画像を示す図 モニタに表示される画像を示す図 モニタに表示される画像を示す図
 以下、添付図面に従って本発明に係る電子コミック編集装置、方法及びプログラムの実施の形態について説明する。
 [コンテンツ配信システムの構成]
 図1は、本実施形態に係るコンテンツ配信システムの一態様を示す構成図である。このシステムは、コンピュータ(情報処理装置)で構成されるサーバ1と、スマートフォンやタブレット型コンピュータで構成される電子書籍ビューワとを含んで構成される。なお、サーバ1にアクセスする電子書籍ビューワ2は不特定多数であってもよいものとする。
 サーバ1は、オーサリング部10、データベース(DB)11、操作部12、入出力部13、スキャナ14、モニタ15等を備えている。
 オーサリング部10は、CPUなどの情報処理装置及び電子コミック編集プログラム等が格納されている記憶部により構成され、電子コミック編集プログラムに従って各種の情報処理を行う。DB11は、ハードディスクやメモリなどの記憶媒体で構成される。操作部12は、キーボード、マウス、タッチパッドなどの操作手段である。モニタ15は、LCDなどの表示装置で構成される表示手段である。
 オーサリング部10は、コンテンツ画像を解析してページ情報、コマ情報、吹き出し座標、ROI情報等の付帯情報を作成し、これらを紐付けた電子書籍用のマスタデータを生成する。また、オーサリング部10は、電子書籍ビューワ2毎に最適化されたデータをマスタデータから生成する。オーサリング部10の詳細については後に詳述する。
 DB11は、ページ番号に対応づけられたコンテンツ画像とその付帯情報を所定のファイル形式で格納するコンテンツファイルを蓄積する。コンテンツ画像は、スキャナ14などでオリジナルコンテンツを電子データ化したものである。オリジナルコンテンツは、マンガ、新聞、週刊誌の記事、オフィス文書(プレゼンテーション文書など)、教科書、参考書など、ページ単位で組まれている。また、コンテンツ画像はページ番号と対応づけられている。
 コンテンツ画像とその付帯情報は、例えばEPUB形式で保存される。コンテンツ画像には付帯情報が記憶されていてもよい。この付帯情報は、コンテンツの作者、タイトル、総ページ数、巻の番号、エピソードの番号、版権者(出版社)などが含まれうる。
 コンテンツ画像は、概略画像、詳細画像(高解像度データ)を含み、それぞれ、ページ、コマあるいはアンカーポイントごとに用意される。
 コンテンツ画像に付帯する付帯情報は、操作部12から入力された情報、オーサリング部10の解析結果の情報、あるいは、入出力部13を経由して入力された情報を含む。
 また、電子書籍ビューワ2は、データベース(DB)21、表示部24、コンテンツ表示制御部25、音声再生部26、操作部27、スピーカ28、入出力部29等を備えている。
 表示部24は、LCDなどの表示装置で構成される表示手段である。操作部27は、タッチパネルなどで構成される操作検知手段である。好ましくは、操作部27は、表示部24に積層されており、表示部24に対するシングルタップ、ダブルタップ、スワイプ、長押しなどの各種操作を検知できる。
 音声再生部26は、コンテンツファイルに格納された音声に関する情報(読み上げ音声に関する情報及び/又は付随音声に関する情報)を音声化してスピーカ28から出力する回路である。
 入出力部29は、サーバ1の入出力部13から出力されたコンテンツファイルを入力する手段である。典型的には、入出力部13及び入出力部29は、通信手段であるが、コンピュータ読み取り可能な記憶媒体に対する書き込み・読み出し手段であってもよい。
 DB21は、DB11と同等の情報を格納する。すなわち、電子書籍ビューワ2が、サーバ1に電子書籍の送信を要求すると、サーバ1は、入出力部29を介してDB11のコンテンツファイルをDB21にエクスポートし、DB21に格納される。ただし、DB11の情報とDB21の情報は完全に同じである必要はない。DB11は、様々なユーザからの要求に応えるため、様々な種類のコンテンツ画像、例えば、異なる作者のマンガの各巻のコンテンツ画像を格納するライブラリである。DB21には、電子書籍ビューワ2のユーザが閲覧したいコンテンツに関係するコンテンツファイルのみが格納されていれば足りる。
 コンテンツ表示制御部25は、表示部24に対するコンテンツの表示制御を行う。
 [コンテンツ配信システムの動作]
 (A)マスタデータ生成処理
 図2は、オーサリング部10がマスタデータを生成する処理の流れを示すフローチャートである。
 最初に、コンテンツ画像を取得し、DB11に記憶する(ステップS1)。サーバ1は、マンガの各ページに対応するページ全体の画像(高解像度の画像、例えば3000×5000画素又は1500×2000画素)を、記憶メディアやネットワークを介して取得し、あるいはマンガをスキャナ14で読み取ることにより取得し、オーサリング部10はこれらの方法によりサーバ1に取得されたコンテンツ画像を取得する。オーサリング部10は、既にDB11にコンテンツ画像が記憶されている場合には、DB11に記憶されたコンテンツ画像を取得してもよい。
 オーサリング部10は、ステップS1で取得したコンテンツ画像に対して各種情報を登録する画面である登録画面をモニタ15に表示させる。そして、ユーザが登録画面の指示に従って、操作部12を介して各種情報を入力すると、オーサリング部10はそれを取得し、コンテンツ画像に関連付けてDB11に登録する(ステップS2)。オーサリング部10は情報ファイルを作成し、各種情報を情報ファイルに記憶する。オーサリング部10は、コンテンツ画像と情報ファイルとを紐付けてマスタデータを作成する。マスタデータは、DB11に記憶される。
 各種情報(ページ情報)とは、コンテンツに関する情報(コンテンツ固有のタイトルID、タイトル名、著者、出版社(版権者)、出版年、言語等)、ページに関する情報、ページ名、ページIDの情報を含む。なお、ページに関する情報とは、コンテンツ画像が1ページか見開き2ページかを示す情報、右開き/左開き、オリジナルコンテンツの大きさ等を含む情報である。
 ステップS1で図3に示すコンテンツ画像を取得した場合には、オーサリング部10は、図4に示す登録画面をモニタ15に表示する。登録画面は、右側にコンテンツ画像Gが表示され、左側に取得されたコンテンツ画像の一覧Lが表示される。「Index」はファイルIDであり、コンテンツ画像が取得されると自動的に付与される。一覧Lには、取得されたコンテンツ画像の情報がファイルID順に並べて表示される。登録前は、「Index」以外の欄は「0」が表示されている。
 ユーザが操作部12を介して「filename」、「speaking」、「Language」、「Translation」の欄を入力すると、オーサリング部10は、入力された文字情報を一覧Lに表示させると共に、DB11に記憶させる。なお、「filename」はファイル名であり、「speaking」は音声情報の有無であり、「Language」はコンテンツ画像に含まれる文字情報の言語であり、「Translation」はコンテンツ画像に含まれる文字情報の多言語への翻訳の有無である。なお、「koma」はコマ数であるが、現段階では「0」が表示されている(後で自動入力される)。
 オーサリング部10は、コンテンツ画像を自動解析する(ステップS3)。自動解析は、図4に示す登録画面において、ユーザが操作部12を介して「Auto Koma」及び/又は「Auto Speech Balloon」のチェックボックスにチェックを入れ(選択)、OKボタンAを押すことによって行われる。本実施の形態では、「Auto Koma」及び「Auto Speech Balloon」が選択されたとして説明する。
 「Auto Koma」が選択された場合には、オーサリング部10は、コンテンツ画像に含まれる線の情報に基づいて自動的にコマの検出を行う。コンテンツ画像に含まれる線の情報は、例えばコンテンツ画像のコントラストが強い領域が直線的に現れている部分を線と認識することにより取得することができる。
 「Auto Speech Balloon」が選択された場合には、オーサリング部10は、コンテンツ画像からテキストを抽出し、テキストの周囲を囲む閉じた領域を吹き出し領域とすることにより、コンテンツ画像に含まれる吹き出しを抽出する。テキストの抽出は、オーサリング部10に含まれる光学式文字読取装置(OCR)により行われる。なお、OCRにより読み出されたテキストは、文字の向きに応じてソートされる。例えば、セリフが縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。
 なお、コマの検出や吹き出しの抽出は、マシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の領域のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定するようにすればよい。
 情報ファイルには、コマに関する情報であるコマ情報が記憶され、吹き出しに関する情報である吹き出し情報が記憶され、テキストに関する情報であるテキスト情報が記憶される。
 コマ情報はコマ領域情報を含む。コマ領域情報は、コマ領域を示す情報であり、ページに含まれるコマ数、各コマを囲む多角形のコマ境界の各頂点を示す座標データ、各コマの形状が含まれる。コマ領域情報は、コマ境界を示すベクトルデータであっても良いし、コマ領域を示すマスクデータであっても良い。また、コマ情報には、各コマのコマ順序(再生順)に関するコマ順序情報などがさらに含まれる。コマ順序は、例えば、右開き/左開きのページに関する情報、使用言語を示すコンテンツに関する情報、コマ領域情報から検知されるコマ割り等に基づいてページの右上から左下、左上から右下、移動方向(左右方向又は上下方向)等のいくつかのコマ順序の遷移パターンのうちから適切なパターンを選択し、その選択した遷移パターンにしたがって自動的に決定される。
 吹き出し情報は吹き出し領域情報を含む。吹き出し領域情報は、ページ単位(又はコマ単位)の内での吹き出しの存在領域を示す情報であり、描線上の吹き出しの形状に対応する複数点を示す位置情報(例えば座標データ)、吹き出しの形状(例えばベクトルデータ)、吹き出しの起点(吹き出しの頂点)の位置と向き、吹き出しのサイズが含まれる。なお吹き出し領域情報は、吹き出しの全領域(範囲)を示すビットマップ情報(マスクデータ)でもよい。また、吹き出しの特定位置(例えば中心位置)と吹き出しのサイズによって吹き出し領域情報を表してもよい。吹き出し情報には、吹き出しに含まれるテキストの情報、吹き出しの描線の属性(破線、実線など)、吹き出しの話者の識別情報、吹き出しの属するコマなどがさらに含まれる。
 テキスト情報は、テキスト領域情報とテキストの内容に関する情報とを含む。テキスト領域情報は、描線上のテキスト領域の多角形の外周縁の各頂点を示す位置情報(例えば座標データ)が含まれる。なおテキスト領域情報は、テキスト領域の外周縁を示すベクトルデータでもよいし、テキスト領域(範囲)を示すビットマップ情報(マスクデータ)でもよい。
 また、テキストの内容に関する情報は、OCRにより特定されたテキスト(文章)文字属性情報、行数、行間隔、文字間隔、表示切り替え方法、使用言語、縦書き/横書き、読み方向の区別などを含む。文字属性情報には、文字サイズ(ポイント数など)、文字種別(フォント、強調文字など)がある。テキスト情報には、吹き出し内の話者の台詞が含まれる。また、吹き出し内に配置された原文の台詞に対応する各種言語の翻訳文とその使用言語(2以上の言語の翻訳文でもよい)も、このテキスト情報に含まれうる。
 また、オーサリング部10は、関連付け情報として、テキストと吹き出しとを関連付けた情報や吹き出し又はテキストとコマとを関連付けた情報を情報ファイルに記憶する。吹き出しの抽出時にテキストを抽出するので、テキストはそのテキストが抽出された吹き出しと関連付けられる。また、吹き出し情報に含まれる座標とコマ情報に含まれる座標とを比較することで、吹き出しがどのコマに含まれるかが判断できるため、吹き出しはその吹き出しが含まれるコマと関連付けられる。なお、テキストの周りに閉じた領域が発見できなかった場合には、コマに文字のみが含まれる場合であるため、テキストはそのテキストが含まれるコマと紐付けられる。
 オーサリング部10は、コマ情報、吹き出し情報、テキスト情報を情報ファイルに記憶することで、マスタデータを更新する。本ステップの処理を全て手作業で行う場合には膨大な作業量が必要になるが、このように自動的に処理を行うことにより効率的にマスタデータを作成することができる。
 オーサリング部10は、元のコンテンツ画像とステップS3で自動解析されたコンテンツ画像のコマの検出の結果とを並べてモニタ15に表示し、操作部12を介してコマ検出結果の補正入力を受け付け、その結果に基づいてコマ設定を行う(ステップS4)。
 ステップS4の処理について詳細に説明する。図5は、図3に示すコンテンツ画像(ファイルID:1、ファイル名:ヤキソバ_003)の自動解析によるコマ検出結果である。実際は図3に示すコンテンツ画像と図5に示すコマ検出結果とが並べてモニタ15に表示されが、図5に示すコマ検出結果のみが表示されてもよい。オーサリング部10は、情報ファイルに基づいてコマ検出結果を表示する。コマ検出結果は、各コマの境界(以下、コマ境界という)がコントラスト画像に重ねて太破線で表示され、各コマの中央にはコマの読み順を示すコマ順序が表示される。これにより、ユーザは現在のコマ領域情報(コマ割り)及びコマ順序を確認することができる。
 ユーザによって所定のコマが選択されると、オーサリング部10は、そのコマのコマ境の色を他のコマ境界の色と異なる色に変更し(例えば、選択されているコマは赤線、選択されていないコマは青線)、選択されたコマに対する補正入力の受け付けを開始する。これにより、編集対象のコマをユーザが確認することができる。
 (1)コマの増加
 コマが選択された状態で、コマ内のある位置が選択されると、オーサリング部10は、選択された位置の近傍にコマ境界を増やし、それに伴いコマ順序を更新する。ステップS3において線が抽出、認識されているが、それがコマ境界とされていないために発生する不具合である。コマ内のある位置が選択されると、オーサリング部10は、選択指示が入力された位置近傍の線であって、線として認識されているがコマ境界とされていない線を抽出し、これをコマ境界とすることにより、コマ境界が追加される。
 図5に示すコマ検出結果では、コンテンツ画像中央部のコマ順序2のコマが、実際は2コマであるにもかかわらず1コマとして認識されている。したがって、ユーザが操作部12を介してコマ中央近傍の線Aの近傍を選択すると、オーサリング部10は、図6に示すように、コンテンツ画像中央部のコマをコマ順序2のコマと、コマ順序3のコマとに分割する。
 コマの増加に伴い、オーサリング部10は、コマ順序を修正する。この場合には、図5におけるコマ順序3のコマのコマ順序を4に変更し、図5におけるコマ順序4のコマのコマ順序を5に変更する。
 (2)コマの削除
 図7に示す例では、木Bの幹をコマ分割の線であると誤認識された結果、コンテンツ画像上部のコマが2つに分割されているが、実際にはコンテンツ画像上部は1コマである。図7に示す画像がモニタ15に表示されている場合に、コマ順序1のコマ又はコマ順序2のコマが選択された状態で、ユーザが操作部12を介してコマ順序1のコマとコマ順序2のコマとの間のコマ境界を選択すると、オーサリング部10は、図7におけるコマ順序1のコマとコマ順序2のコマとの間のコマ境界を消し、図8に示すようにコンテンツ画像上部のコマをコマ順序1の1つのコマにする。
 コマの削除に伴い、オーサリング部10は、コマ順序を修正する。この場合には、図7におけるコマ順序3のコマのコマ順序を2に変更し、図7におけるコマ順序4のコマのコマ順序を3に変更し、図7におけるコマ順序6のコマのコマ順序を4に変更する。
 なお、コマ境界の増加、削除において、増加するコマ境界及び削除するコマ境界を他のコマ境界と識別可能に表示させてもよい。これにより、どのコマ境界が増加されるか及びどのコマ境界が削除されるかをユーザが把握することができる。
 (3)コマ境界の修正
 選択されたコマがダブルクリックされると、オーサリング部10は、頂点の数や座標の補正入力の受け付けを行う。これにより、コマの形状や大きさを補正することができる。
 選択されたコマがダブルクリックされると、図9に示すように、コマ境界の修正画面が表示される。コマは3個以上の頂点を有する多角形で表現され、コマ境界は3個以上の頂点と頂点を結ぶ線とで表現される。図9においてはコマが正方形であるため、正方形の各頂点と辺の略中央の合計8個の頂点が表示される。
 ユーザが操作部12を介してコマ境界の所望の位置をダブルクリック等して指示を入力すると、その位置に頂点が追加される。また、ユーザが操作部12を介して所望の頂点をダブルクリック等して指示を入力すると、その頂点が削除される。
 ユーザが操作部12を介して所望の頂点をドラッグすると、図9に示すように頂点が移動され、コマ境界の形状が修正される。この動作を繰り返すことにより、コマ境界の形状や大きさを変更することができる。
 (4)コマ順序の修正
 オーサリング部10は、操作部12を介してコマ順序を示す番号上がダブルクリックされると、そのコマ順序の修正を受け付けるようにし、その後に操作部12により入力された番号をコマ順序として修正する。これにより、自動解析されたコマ順序が誤っている場合にコマ順序を修正することができる。
 このようにしてコマ設定が行われたら、オーサリング部10は、それに合わせて情報ファイルのコマ情報を修正する。また、オーサリング部10は、コマ設定後に登録画面の表示が指示されると、一覧Lの「koma」にコマ数が入力されたものをモニタ15に表示する。図6に示す結果が設定された場合には、図4に示すようにファイルIDが1の「koma」に5が入力される。
 以上によりコマ設定が行われた(ステップS4)ら、オーサリング部10は、元のコンテンツ画像とステップS3で自動解析されたコンテンツ画像の吹き出しの抽出結果とを並べてモニタ15に表示し、操作部12を介して吹き出しの抽出結果の補正入力を受け付け、その結果に基づいて吹き出し設定を行う(ステップS5)。
 ステップS5の処理について詳細に説明する。図10は、図3に示すコンテンツ画像(ファイルID:1、ファイル名:ヤキソバ_003)の自動解析による吹き出しの抽出結果である。実際は図3に示すコンテンツ画像と図9に示す吹き出し抽出結果とが並べてモニタ15に表示されが、図9に示す吹き出し抽出結果のみが表示されてもよい。オーサリング部10は、情報ファイルに基づいて吹き出し抽出結果を表示する。オーサリング部10は、抽出された吹き出しを塗りつぶした画像をモニタ15に表示することで、抽出された吹き出しとその他の領域とを認識可能とする。図9においては、吹き出し領域を示す画像としてハッチングにより抽出された吹き出しを塗りつぶした画像を示しているが、吹き出し領域を示す画像として吹き出しの外周縁を太く描画する等した画像を表示するようにしてもよい。
 (1)吹き出しの追加
 図10に示す抽出結果では、左下の吹き出しXの境界線の一部が途切れているため、自動的に検出されていない。まず、ユーザが操作部12を介して境界線の途切れている部分を連結して閉領域とする。その後、ユーザが操作部12を介して閉領域を選択して認識を指示すると、オーサリング部10が自動的に選択された閉領域を吹き出しと認識する。その結果、図11に示すように、吹き出しXについてもハッチングが表示され、他の吹き出しと同様に吹き出しとして設定される。
 (2)吹き出しの削除
 風船Yは閉領域であるため、図12に示す抽出結果では、風船Yが吹き出しではないにもかかわらず吹き出しとして抽出されている。これは、風船Y内の文字をテキストとご認識することにより発生する。ユーザが操作部12を介して風船Yを選択すると、オーサリング部10が自動的に選択された閉領域(この場合は、風船Yの内側)を吹き出しから削除する。その結果、図13に示すように、風船Yからハッチングが消去される。
 (3)吹き出し領域が綺麗に検出されていない場合の補正
 図14に示す抽出結果では、吹き出しZの右上の一部が抽出されていない。これは、図15の1点鎖線で示すように吹き出し内の文字が境界線に近かったり接していたりする場合や、図15の2点鎖線で示すように吹き出し内の文字同士が近かったり接していたりする場合に発生する。
 図16は、図14の吹き出しZの抽出結果の拡大図であり、図17は、図16の中から文字を削除した図である。図17に示すように、吹き出しZは、境界線の一部が文字と連結されており(図17a)、また文字の一部が吹き出し外になってしまっている(図17b)。したがって、ユーザが操作部12を介して吹き出し内の閉じた領域bを選択すると、図18に示すようにオーサリング部10が自動的に閉じた領域b(図17参照)を吹き出しとする。また、図18に示すようにユーザが操作部12を介して吹き出しの境界線cを追加すると、図19に示すようにオーサリング部10が自動的に境界線c(図18参照)により生成された閉じた領域を吹き出しとする。この結果、図19に示すように、綺麗に検出されていなかった吹き出しが正確に抽出される。
 このようにして吹き出しの抽出結果の補正入力が行われたら、オーサリング部10は、それに合わせて情報ファイルの吹き出し情報を修正する。
 以上により吹き出し設定が行われた(ステップS5)ら、オーサリング部10は、元のコンテンツ画像とステップS3で自動解析されたコンテンツ画像のテキスト認識結果とを並べてモニタ15に表示し、操作部12を介してテキストの認識結果の補正入力を受け付け、その結果に基づいてテキスト設定を行う(ステップS6)。
 ステップS6の処理について詳細に説明する。図20は、図3に示すコンテンツ画像(ファイルID:1、ファイル名:ヤキソバ_003)の自動解析によるテキスト認識結果である。実際は図3に示すコンテンツ画像と図20に示す認識結果とが並べてモニタ15に表示されが、図20に示すテキスト認識結果のみが表示されてもよい。オーサリング部10は、情報ファイルに基づいてテキストの抽出結果を表示する。オーサリング部10は、テキスト領域の外周縁を太く描画する画像をモニタ15に表示することで、テキスト領域とその他の領域とを認識可能とする。図20においては、テキスト領域を示す画像としてテキスト領域の外周縁を太く描画した画像を示しているが、テキスト領域を示す画像としてテキスト領域を半透明に塗りつぶした画像等を表示するようにしてもよい。半透明に塗りつぶすことでユーザがテキストを認識できるようにする。
 (1)テキストの追加
 図20においては、手書き文字からなるテキスト「え?」が認識されていない。ユーザが操作部12を介して「え?」を囲んで認識を指示すると、オーサリング部10が「え?」を囲む閉領域をテキスト領域と認識する。その結果、図21に示すように、「え?」についてもテキスト領域として設定され、テキスト領域情報が取得される。
 テキスト領域が設定されたら、オーサリング部10の光学式文字読取装置により文字データが特定される。文字データが特定できなかった場合には、オーサリング部10はユーザに入力を促し、ユーザが操作部12を介して文字を入力する。これにより、テキストの内容に関する情報が取得される。
 このようにしてテキストの抽出結果の補正入力が行われたら、オーサリング部10は、それに合わせて情報ファイルのテキスト情報を修正する。
 (2)テキストの削除
 間違ってテキスト領域が認識されている場合には、ユーザが操作部12を介して誤ったテキスト領域上の所望の位置を選択して認識を指示すると、オーサリング部10が自動的に情報ファイルから選択されたテキスト領域を削除する。オーサリング部10は、削除されたテキスト領域のテキストの内容に関する情報も情報ファイルから合わせて削除する。
 テキスト設定(ステップS6)が終了したら、オーサリング部10は、元のコンテンツ画像から関心領域(以下、ROIという)を自動抽出する(ステップS7)。ROIは、電子書籍ビューワ2で必ず表示したいものを示し、コンテンツ画像の基となるコミックのキャラクタの顔(又は顔に相当する領域)である。なお、キャラクタは人間だけでなく、動物、電話、パソコン、電子機器、ロボットなどの非生物も含まれる。
 オーサリング部10は、公知の画像解析技術、例えば顔検出の手法を用いてキャラクタの顔を自動的に検出する顔検出手段を有し、顔検出手段はコンテンツ画像からキャラクタの顔を検出する。オーサリング部10は、検出された顔を囲む多角形領域を関心領域として設定する。また、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、公知の画像解析技術を用いて、それらの画像情報に関する特徴量に基づき自動検出されてもよい。
 また、オーサリング部10は、関心領域(ROI)に関する情報である関心領域情報を情報ファイルに記憶する。関心領域情報は、ROIの多角形の外周縁の各頂点を示す座標データ、ROIの形状、ROIの外周縁を示すベクトルデータ、又はROIを示すマスクデータであっても良い。また、関心領域情報には、ROIに含まれるキャラクタに関する情報(例えば、自動的につけられたキャラクタID)がさらに含まれる。また、関心領域情報には、優先順位、表示に当っての重要度、キャラクタの識別情報(名称など)、キャラクタの属性(性別、年齢など)が含まれても良い。
 ROIの自動抽出(ステップS7)が終了したら、オーサリング部10は、抽出したROIの情報を用いて、情報ファイルに記憶された関連付け情報を更新する。即ち、吹き出しとテキストとを関連付けた関連付け情報に対して、さらにROI情報を関連付けたり、コマと吹き出しとテキストとを関連付けた関連付け情報に対して、さらにROI情報を関連付ける。なお、関連付け情報は、コマ情報、吹き出し情報、テキスト領域情報、関心領域情報のうち、2以上の情報を関連付けるものであればよく、ROI情報が必須なわけではない。
 次に、オーサリング部10は、ROI抽出結果の補正入力を受け付け、この結果に基づいてROI設定を行う(ステップS8)。
 ステップS8の処理について詳細に説明する。図22は、図3に示すコンテンツ画像(ファイルID:1、ファイル名:ヤキソバ_003)の自動解析によるROI抽出結果である。実際は図3に示すコンテンツ画像と図22に示す認識結果とが並べてモニタ15に表示されが、図22に示すROI抽出結果のみが表示されてもよい。オーサリング部10は、情報ファイルに基づいてROI抽出結果を表示する。オーサリング部10は、ROIの外周縁を太く描画する画像をモニタ15に表示することで、ROIとその他の領域とを認識可能とする。図22においては、ROIを示す画像としてROIの外周縁を太く描画した画像を示しているが、ROI域を示す画像としてROIを半透明に塗りつぶした画像等を表示するようにしてもよい。半透明に塗りつぶすことでユーザがキャラクタを認識できるようにする。
 (1)ROIの追加
 図22においては、キャラクタは男性Mと女性Fとを含むが、横を向いている男性Mのうち左向きの顔Cが認識されていない。ユーザが操作部12を介して横を向いている男性Mの左向きの顔C上の所望の位置を選択して認識を指示すると、オーサリング部10が指示された位置を含む閉領域をROIと認識する。また、オーサリング部10は、それに合わせて情報ファイルの関心領域情報を修正する。その結果、図23に示すように、男性Mの左向きの顔CにROIを示す画像が表示される。
 (2)ROIの削除
 誤ってROIが抽出された場合には、ユーザが操作部12を介して誤ったROI上の所望の位置を選択して認識を指示すると、オーサリング部10が自動的に情報ファイルから選択された関心領域情報を削除する。これにより、誤ったROIを示す画像がモニタ15条から削除される。
 ROI設定を行うと、それに応じて情報ファイルに記憶された関連付け情報が更新される。
 ROI設定(ステップS8)が終了したら、オーサリング部10は、ペアリング設定(関連付け設定)を行う(ステップS9)。
 関連付け設定は、例えば人物であるROIと、その人物の台詞と考えられる吹き出しを関連付ける。ROIが複数存在する場合には、吹き出しに最も近いROIに関連があると判断して関連付けを行ったり、吹き出しの向きに存在するROIと関連があると判断して関連付けを行う。しかし、これらの判断が誤っている場合も存在する。また、適切にROIが抽出できない場合や、複数のROIの台詞が1つの吹き出しに混在する場合にも、関連付け設定を誤る可能性がある。
 図24は、情報ファイルに記憶された関連付け情報に基づいて、関連付けられている吹き出しとROIとが、それぞれ関連付けられていることを示す破線の円を、画像上に重畳してモニタ15に表示した一例を示す図である。
 図24には、吹き出しとして吹き出しi~xiiが含まれ、ROIとして女性F(F1~F3)、男性M(M1~M4)が含まれる。女性F1~F3は全て同一人物(女性F)であるが、説明の便宜上女性F1~F3とした。同様に、男性M1~M4も全て同一人物(男性M)であるが、説明の便宜上男性M1~M4とした。
 図24に示す場合においては、吹き出しiと女性F1とがペア1に、吹き出しiiと男性M1とがペア2に、吹き出しiiiと男性M2とがペア3に、吹き出しivと男性M3とがペア4に、吹き出しvと女性F2とがペア5にし、吹き出しviと女性F2とがペア6に、吹き出しviiと男性M3とがペア7に、吹き出しviiiと男性M3とがペア8に、吹き出しixと男性M3とがペア9に、吹き出しxと男性M4とがペア10に、吹き出しxiと女性F3とがペア11に、吹き出しxiiと女性F3とがペア12に設定されており、それぞれのペアを囲むように破線の円が重畳表示されている。
 ユーザが操作部12を介して所定のペア同士を破線で囲んだ画像を選択すると、オーサリング部10は、そのペアに関する修正を受け付ける。
 図24に示す例では、オーサリング部10における関連付け設定では、吹き出しxiは、吹き出しxiに最も近い女性F3に関連付けられている。しかし、実際には吹き出しxiは女性F3ではなく、男性M4と関連付けすべきである。したがって、ペア11について修正を行う必要がある。
 ユーザが操作部12を介してペア11をダブルクリック等するとペア11の編集が可能となり、吹き出しxiと男性M4とが選択されると、オーサリング部10は、吹き出しxiと男性M4とをペア11に再設定し、情報ファイルを修正する。
 オーサリング部10は、修正された情報ファイルに基づいて関連付けの結果を認識可能にした状態でコンテンツ画像をモニタ15に表示する。その結果、図25に示すようにペア11が修正された結果がモニタ15上で確認される。
 関連付けした情報に番号をつけても良い。オーサリング部10は、右上にある吹き出しの関連付けから順に番号をつけても良いし、操作部12からの入力に基づいて番号をつけても良い。この番号は、吹き出しの表示順序を兼ねてもよい。
 最後に、オーサリング部10は、ステップS4~S9で更新された情報ファイルとコンテンツ画像とにより構成されるマスタデータをDB11に保存する(ステップS10)。
 なお、手動で全ての関連付けを態様も可能である。この場合、オーサリング部10は、情報ファイルに基づいてステップS5、S7で設定された吹き出し及びROIを選択可能な状態でコンテンツ画像をモニタ15に表示する。ユーザが操作部12を介して所定の吹き出しとROIとを1つずつ選択すると、オーサリング部10はそれを認識し、これらをペアとして設定する。吹き出しiは女性F1が話しているため、操作部12を介して吹き出しiと女性F1とが選択されると、オーサリング部10は、自動的に吹き出しiと女性F1とをペアと認識し、吹き出しiと女性F1とをペア1に設定する。同様に、操作部12を介して吹き出しiiと男性M1とが選択されると、オーサリング部10は、自動的に吹き出しiiと男性M1とをペアと認識し、吹き出しiiと男性M1とをペア2に設定する。このようにして全ての吹き出しについて関連付けが行われると、オーサリング部10は、関連付けの結果を情報ファイルに記憶させる。
 情報ファイルとしては、例えばXMLファイル形式のファイルを用いることができる。図26は、情報ファイルの構造を示す図である。本実施の形態では、コミック毎に情報ファイルを有するため、情報ファイルには複数のページ情報が含まれる。各ページ毎に、まずページ情報があり、ページ情報に関連付けてコマ情報があり、コマ情報に関連付けて吹き出し情報、テキスト情報、関心領域情報、及び関連付け情報がある。
 関連付け情報は、上述したように、ページ内の各コマのコマ領域情報を含むコマ情報、吹き出しの画像内の領域を示す吹き出し領域情報を含む吹き出し情報、コミックのテキストの領域を示すテキスト領域情報、及びコミックの関心領域を示す関心領域情報(ROI)のうちの2以上の情報から、関連があるものとしてオーサリング部10によって関連付けされたことを示す情報が記録されている。
 なお、情報ファイルは、コミック毎ではなく、各ページ毎に生成するようにしてもよい。
 コミックの画像ファイルと、その情報ファイルとにより構成されたマスタデータを生成することで、電子書籍ビューワに合わせた編集、テキストの自動翻訳、翻訳編集及び共有、電子書籍ビューワにおける適切な表示処理などが可能となり、電子書籍の供給が容易となる。
 なお、本実施の形態では、オーサリング部10はコンテンツ画像を取得して、コマ情報、吹き出し情報、テキスト情報等が記憶されたマスタデータを生成したが、オーサリング部10は各種情報が記憶された情報ファイルを有するマスタデータ(図2のステップS2で生成されたマスタデータに相当)を取得し、ステップS3~S10の処理を行って最終的なマスタデータをDBに保存しても良い。また、オーサリング部10はコマ、吹き出し、テキストの自動抽出が行われ、コマ情報、吹き出し情報、テキスト情報が記憶された情報ファイルを有するマスタデータ(図2のステップS3で生成されたマスタデータに相当)を取得し、ステップS4~S10の処理を行って最終的なマスタデータをDBに保存しても良い。
 (B)マスタデータ編集処理
 図27は、電子書籍ビューワに合わせた編集を行う表示画面を示す。オーサリング部10は、コンテンツ画像をモニタ15に表示する。オーサリング部10は、情報ファイルに基づいて各コマのコマ境界を太線で表示する。また、各コマの略中央にはコマの読み順を示すコマ順序が表示される。なお、コマ順序の表示はこれに限られず、コマの隅に表示するようにしてもよい。
 また、オーサリング部10は、DB11等から電子書籍ビューワ2の画面サイズを取得し、電子書籍ビューワ2の画面サイズの情報と情報ファイルとの情報に基づいて電子書籍ビューワ2の画面サイズを示す枠Fをコンテンツ画像に重ねて表示する。ユーザが操作部12を介してフレームFを左右上下に移動させる指示を入力すると、オーサリング部10は操作部12の指示に応じてフレームFを左右上下に移動させる。
 また、オーサリング部10は、電子書籍ビューワ2の画面サイズの情報と情報ファイルとの情報に基づいて各コマを全て表示するのに必要な最小の表示回数、すなわちスクロール数が何回であるかを求め、その情報(マーカ)をコンテンツ画像に重ねて表示する。本実施の形態ではマーカは各コマの略中央に表示されるため、図27においてはコマ順序はマーカに重ねて表示されている。
 図27においては、矩形形状のマーカでスクロール数を表現している。スクロール数が1回の場合には、図27のコマ順序が3、4のコマのように、一辺の長さがaの正方形のマーカが表示される。スクロール数が2回以上の場合には、一辺の長さがaの整数倍となる矩形形状のマーカが表示される。垂直方向のスクロール数がn回、水平方向のスクロール数がm回の場合には、縦横サイズがna×maの矩形形状のマーカが表示される。図27のコマ順序が1、2、6、7においては、横のスクロール数が2回、縦のスクロール数が1回であるため、横が2a、縦がaの長方形のマーカが表示される。このようなマーカを表示することで、各コマにフレームFを重ねることなく、マーカを見るだけでスクロール回数を把握することができる。
 ユーザは、このようにしてモニタ15に表示された画像を見ながらコマ境界を移動させる。図28に示すように、ユーザが操作部12を介してコマ境界をダブルクリック等すると、オーサリング部10は、コマ境界に頂点を表示させてコマ境界を編集可能とする。ステップS4(図9)と同様にユーザが操作部12を介して所望の頂点をドラッグすると、頂点が移動され、コマ境界の形状が修正される。この動作を繰り返すことにより、コマ境界の形状(例えば5角形から矩形へ変更)や大きさを変更することができる。また、頂点の追加、削除も可能である。頂点の追加、削除はステップS4と同じであるため、説明を省略する。
 また、オーサリング部10は、電子書籍ビューワ2の画面サイズの情報と情報ファイルとの情報に基づいて、コマのサイズが電子書籍ビューワ2の画面サイズよりわずかに大きい場合には、電子書籍ビューワ2の画面サイズよりわずかに大きいコマのコマ境界を他のコマ境界とは異なる色で表示する。コマの縦横のサイズが電子書籍ビューワ2の画面サイズよりわずかに大きい場合とは、例えば、電子書籍ビューワ2の画面サイズの略10%を閾値とし、コマの辺の長さが電子書籍ビューワ2の画面サイズより10%程度大きい場合等が考えられる。図27においては、コマ順序5のコマのコマ境界が他のコマ境界とは異なる色で表現されている。
 電子書籍ビューワ2の画面サイズよりわずかに大きいコマの場合には、コマの重要でない部分をコマに含まれないとして見せないようにするだけで、スクロール回数を1回にして、視認性を向上させることができる。図29に示すように、フレームFよりわずかに大きいコマ順序5のコマのコマ境界の位置を変え、スクロール数が1となるようにコマの形状を変える。図29においては、コマ順序5のコマの左端の一部をコマに含まれないようにコマを細くすることでスクロール数を1にしている。
 このようにしてスクロール数が変更されたら、オーサリング部10は、これを検出し、情報ファイルを書きかえる。また、オーサリング部10は、マーカの大きさをa×aに変更し、コマ順序5のコマのコマ境界の色を他のコマの色を同じ色に変更する。
 コマ境界の削除、追加も可能である。コマ境界の追加、削除はステップS4と同じであるため説明を省略する。例えば所定のコマが選択された状態で、ユーザが操作部12を介してそのコマの所定のコマ境界を選択すると、選択されたコマが削除される。例えばコマの大きさが小さく、フレームFに2個のコマが含まれる場合等には、コマを1つにすることで効率のよい表示が可能となる。
 オーサリング部10は、プレビュー画面をモニタ15に表示させることもできる。図30はプレビュー画面の一例である。オーサリング部10は、コンテンツ画像をモニタ15に表示し、電子書籍ビューワ2の画面サイズを示す枠Fをコンテンツ画像に重ねて表示する。そして、オーサリング部10は、フレームFの外側を半透明に塗りつぶし、フレームFの内側のみが視認可能なプレビュー画面とする。フレームFの外側を半透明に塗りつぶす場合に限らず、フレームFの外側をグレー表示にしても良い。
 ユーザが操作部12を介して指示すると、オーサリング部10はフレームFをスクロールして次のプレビュー画面を表示する。現在プレビュー中のコマが全てプレビューされていない場合には、オーサリング部10は、現在プレビュー中のコマが全てプレビューされるようにフレームFを移動させて、フレームFの外側を半透明表示する。図30に示す例においては、フレームFをtだけ左側に移動させる。
 現在プレビュー中のコマが全てプレビューされている場合には、オーサリング部10は、次のコマ順序のコマの右端とフレームFの右端とを一致させるようにフレームFを移動させて、フレームFの外側を半透明表示する。
 これにより、電子書籍ビューワ2での見え方を確認することができる。したがって、より適切なマスタデータ編集をすることができる。
 なお、マスタデータ編集処理は、オーサリング部10がマスタデータを生成した場合に限らず、外部の電子コミック生成装置により生成されたマスタデータをサーバ1のDB11に保存して、それを編集するようにしてもよい。
 [関連付けの修正処理の詳細]
 図31は、オーサリング部10の内部構成を示すブロック図であり、主に関連付け情報に関する機能ブロックを示している。同図に示すように、オーサリング部10は、マスタデータ取得部10a、関連付け情報画像生成部10b、関連付け情報画像重畳部10c、関連付け情報削除部10d、関連付け情報追加部10e、及び関連付け情報更新部10f等から構成されている。
 マスタデータ取得部10aは、DB11からコンテンツ画像と情報ファイルとが紐付けされたマスタデータを取得するマスタデータ取得手段として機能し、取得したデータをRAM(不図示)に格納する。
 関連付け情報画像生成部10bは、RAMに格納されたマスタデータ内の情報ファイルに含まれる関連付け情報を読み出し、それぞれ関連付けられた各領域を示す画像を生成する画像生成手段として機能する。関連付け情報画像重畳部10cは、ユーザによる操作部12の操作に応じて、RAMに格納されたマスタデータ内の画像ファイルのページ画像と、関連付け情報画像生成部10bによって生成された画像とを重畳し、モニタ15に表示させる表示制御手段として機能する。
 関連付け情報削除部10dは、ユーザによる操作部12の操作に応じて、RAMに格納されたマスタデータ内の情報ファイルの関連付け情報を削除する関連付け情報削除手段として機能する。同様に、関連付け情報追加部10eは、ユーザによる操作部12の操作に応じて、RAMに格納されたマスタデータ内の情報ファイルの関連付け情報を追加する関連付け情報追加手段として機能する。
 関連付け情報更新部10fは、関連付け情報削除部10d又は関連付け情報追加部10eによって関連付け情報が削除、追加されたRAM内の情報ファイルに基づいて、DB11内のマスタデータを更新する編集手段として機能する。
 図32は、情報ファイルに記憶された関連付け情報に基づいて行われた関連付け情報表示を示す図であり、図24とは異なる態様を示す図である。同図に示すように、選択されたコマに対応して、そのコマに関連付けられた吹き出し領域とテキスト領域、及びROIの各領域の外周縁を描画した画像が、画像上に重畳されてモニタ15に表示されている。
 図32の例では、操作部12によりコマ100が選択された場合を示している。マスタデータ取得部10aは、当該ページのマスタデータをDB11から取得し、RAMに格納する。さらに、選択されたコマ100の関連付け情報を、このRAMに格納されたマスタデータの情報ファイルから取得する。ここでは、吹き出し111、112、テキスト領域121、122a、122b、ROI131、132が、コマ100に関連付けられているものとする。さらに、吹き出し111、テキスト領域121、及びROI131が1つのまとまりとしてそれぞれ関連付けられており(グループaとする)、吹き出し112、テキスト領域122a、122b、及びROI132が他の1つのまとまりとしてそれぞれ関連付けられている(グループbとする)ものとする。
 関連付け情報画像生成部10bは、コマ100に関連付けられている吹き出し111、112、テキスト領域121、122a、122b、ROI131、132の外周縁を描画した画像を生成する。このとき、それぞれ異なる関連付けがされているグループaとグループbとでは、異なる線種となるように画像を生成する。図31の例では、グループaについては破線で、グループbについては一点鎖線でそれぞれの外周縁を描画する画像を生成している。
 関連付け情報画像重畳部10cは、この生成した画像とRAMに格納されたマスタデータ内の画像データとをモニタ15に重畳して表示させる。このように重畳表示させることで、ユーザは、選択したコマに関連付けられた吹き出し領域、テキスト領域、及びROIを認識することができる。また、選択したコマの中でも、複数の異なる関連付けがされている場合には、それぞれを区別できるように表示することで、ユーザにどのような関連付けがされているのかを認識させることができる。
 なお、外周縁を描画する線の線種を変えるのではなく、色を変えてもよい。また、表示されている画像(ページ)の、選択されたコマ100以外の部分については、非選択であることを明確にするためにコントラストを下げて表示する等をしてもよい。さらに、複数のコマを選択可能に構成してもよいし、全てのコマについて同時に関連付け情報表示を行ってもよい。
 また、関連付け情報表示は、図33に示すように行ってもよい。即ち、選択されたコマに対応して、そのコマに関連付けられた吹き出し領域とテキスト領域、及びROIの各領域をそれぞれ接続する引き出し線を描画した画像を、画像上に重畳してもよい。
 図33の例では、操作部12によりコマ100が選択された場合に、コマ100に関連付けられている吹き出し111、112、ROI131、132から引き出し線141、142が描画される。また、それぞれ関連付けられている吹き出し111とROI131とが引き出し線141、吹き出し112とROI132とが引き出し線142によって接続されている。
 ここではテキスト領域を省略しているが、コマ100の関連付けにテキスト領域が含まれている場合には、同様に引き出し線により接続する画像を生成して重畳表示すればよい。また、引き出し線141と142とで、線種や色を変更してもよい。
 図33のように表示しても、ユーザは、選択したコマに関連付けられた吹き出し領域、テキスト領域、及びROIを認識することができる。また、選択したコマの中でも、複数の異なる関連付けがされている場合には、それぞれを区別できるように表示することで、ユーザにどのような関連付けがされているのかを認識させることができる。
 次に、関連付けの修正処理の詳細について説明する。ここでは、マスタデータの情報ファイルにおいて、コマ150に対して吹き出し160a、160b、160cが関連付けられており、コマ152に吹き出し162が関連付けられているものとする。
 操作部12によってコマ150が選択されると、マスタデータ取得部10aがDB11から取得したマスタデータに基づいて、関連付け情報画像生成部10bがコマ150、吹き出し160a、160b、160cの各領域の外周縁を描画した画像を生成する。関連付け情報画像重畳部10cは、この画像とページ画像とを重畳し、モニタ15に表示する。図34は、モニタ15に表示される画像を示している。
 オーサリング部10の自動での関連付け設定では、吹き出し160aは、コマ150と関連付けられている。自動での関連付け設定では、吹き出し160aのように複数のコマにまたがって存在する吹き出しやROIについて、例えば、どのコマに最も多く含まれているかを比較して決定する。ここでは、吹き出し160aは、コマ152に存在する面積よりもコマ150に存在する面積が大きいために、コマ150に関連付けられたものとする。しかし、実際にはコマ152に関連付けるべきであり、ここでは、吹き出し160aを、コマ152に関連付けるように修正(更新)する例について説明する。
 まずユーザは、モニタ15に図34の画像が表示された状態において、操作部12により関連付け情報の修正アイコン(不図示)を選択し、吹き出し160aを選択する。この操作に応じて、関連付け情報画像生成部10bは、吹き出し160aの領域の外周縁の描画のない、コマ150、吹き出し160b及び160cの各領域の外周縁を描画した画像を生成する。関連付け情報画像重畳部10cは、この画像を当該ページの画像に重畳してモニタ15に表示する。図35は、このときのモニタ15に表示される画像を示している。
 この状態で修正を終了すると、関連付け情報削除部10dは、RAMに格納されたマスタデータの情報ファイル内のコマ150の関連付け情報から吹き出し160aを削除する。また、関連付け情報更新部10fは、RAMに格納されたマスタデータに基づいて、DB11のマスタデータを更新する。これにより、コマ150と吹き出し160aとは、関連付けがないものとなる。
 次に、操作部12によりコマ152を選択すると、この操作に応じて、関連付け情報画像生成部10bは、コマ152と、コマ152に関連付けられた吹き出し162の領域の外周縁を描画した画像を生成する。関連付け情報画像重畳部10cは、この画像を当該ページの画像に重畳してモニタ15に表示する。図36は、このときにモニタ15に表示される画像を示している。
 この状態で、再び関連付け情報の修正アイコン(不図示)を選択し、吹き出し160aを選択する。この操作に応じて、関連付け情報画像生成部10bは、コマ152に関連付けられた吹き出し162と、選択された吹き出し160aの各領域の外周縁を描画した画像を生成し、関連付け情報画像重畳部10cは、この画像を当該ページの画像に重畳してモニタ15に表示する。
 これにより、図37に示すように、コマ152、吹き出し162及び吹き出し160aの各領域の外周縁を描画した画像が重畳表示される。
 この状態で修正を終了すると、関連付け情報追加部10eは、RAMに格納されたマスタデータの情報ファイル内のコマ152の関連付け情報に吹き出し160aを追加する。また、関連付け情報更新部10fは、RAMに格納されたマスタデータに基づいて、DB11のマスタデータを更新する。これにより、コマ152と吹き出し160aとは、関連付けがされているものとなる。
 以上のように構成することで、関連付け情報の更新をユーザが手動で行うことが可能となる。
 なお、コマの関連付け情報に新たに吹き出しやテキストを追加する際に、そのコマに複数のROIが存在する場合には、その追加した吹き出しやテキストがどのROIと関連付けられるのか不明となる場合がある。このような場合には、ユーザにどのROIと関連付ければよいのかを選択させればよい。
 この実施形態では、電子書籍のコンテンツを配信するサーバにより電子コミックのマスタデータを作成編集するようにしているが、このマスタデータを作成する装置は、コンテンツを配信するサーバとは別の電子コミック編集装置であってもよい。また、この電子コミック編集装置は、本発明に係る電子コミック編集プログラムが記録された非一時的コンピュータ読み取り可能な記録媒体を介して該電子コミック編集プログラムを、汎用のパーソナルコンピュータにインストールすることにより構成することができる。
 また、上記のように作成編集されたマスタデータは、各種の携帯端末からの配信要求に応じてサーバ(配信サーバ)から配信されるが、この場合、配信サーバは、携帯端末の機種情報を取得し、マスタデータをその機種(画面サイズ等)での閲覧に適したデータに加工して配信してもよいし、マスタデータをそのまま配信してもよい。尚、マスタデータをそのまま配信する場合、携帯端末側のビューワソフトでマスタデータをその携帯端末に適したデータに変換して閲覧可能にする必要があるが、マスタデータには前述したように情報ファイルが含まれているため、ビューワソフトは情報ファイルに記述された情報を利用して携帯端末にコンテンツを表示させることができる。
 更に、本発明の技術的範囲は、上記実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合せることができる。
 1:サーバ、2:電子書籍ビューワ、10:オーサリング部、10a:マスタデータ取得部、10b:関連付け情報画像生成部、10c:関連付け情報画像重畳部、10d:関連付け情報削除部、10e:関連付け情報追加部、10f:関連付け情報更新部、11:データベース(DB)、12:操作部、15:モニタ

Claims (12)

  1.  コミックの1ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの1ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキスト領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの2以上の情報と、前記2以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得手段と、
     前記データ取得手段により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記2以上の情報に基づいて前記2以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記2以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御手段と、
     前記表示手段に表示された画像上の位置を指示する指示手段と、
     前記指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加手段と、
     前記指示手段により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除手段と、
     前記関連付け情報追加手段により追加された関連付け情報及び前記関連付け情報削除手段により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集手段と、
     を備えた電子コミック編集装置。
  2.  前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている2以上の情報に対応する領域の外周縁を、同じ色又は線種により描画した画像を前記画像上に重畳して表示させる請求項1に記載の電子コミック編集装置。
  3.  前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている2以上の情報に対応する領域を、それぞれ接続する引き出し線を描画した画像を前記画像上に重畳して表示させる請求項1に記載の電子コミック編集装置。
  4.  前記関心領域情報は、前記コミック内のキャラクタを含む領域情報であり、
     前記関連付け情報は、前記キャラクタを含む関心領域情報と、該キャラクタの台詞が入る吹き出し領域を示す吹き出し領域情報、又は前記吹き出し領域内のテキストの領域を示すテキスト領域情報とを関連付ける情報である請求項1から3のいずれか1項に記載の電子コミック編集装置。
  5.  前記関連付け情報は、前記コマ情報と前記吹き出し情報、テキスト領域情報、及び関心領域情報とを関連付ける情報である請求項1から4のいずれか1項に記載の電子コミック編集装置。
  6.  前記コマのコマ領域情報は、各コマを囲む多角形のコマ境界の各頂点を示す座標データ、コマ境界を示すベクトルデータ、又は各コマのコマ領域を示すマスクデータである請求項1から5のいずれか1項に記載の電子コミック編集装置。
  7.  前記吹き出し領域情報は、前記吹き出しの形状に対応する複数点を示す座標データ、前記吹き出しの形状を示すベクトルデータ、又は前記吹き出しの領域を示すマスクデータである請求項1から6のいずれか1項に記載の電子コミック編集装置。
  8.  前記テキスト領域情報は、前記テキスト領域の多角形の外周縁の各頂点を示す座標データ、前記テキスト領域の外周縁を示すベクトルデータ、又は前記テキスト領域を示すマスクデータである請求項1から7のいずれか1項に記載の電子コミック編集装置。
  9.  前記関心領域情報は、前記関心領域の多角形の外周縁の各頂点を示す座標データ、前記関心領域の外周縁を示すベクトルデータ、又は前記領域を示すマスクデータである請求項1から8のいずれか1項に記載の電子コミック編集装置。
  10.  前記ページ全体の高解像度の画像を有する画像ファイルを取得する画像取得手段と、
     前記画像取得手段により取得したページ全体の画像を解析し、該ページ内の各コマのコマ領域、吹き出し領域、テキスト領域、及び関心領域のうちの2以上の領域を自動的に抽出する領域抽出手段と、
     前記領域抽出手段により抽出した2以上の領域を示す情報と、該2以上の領域の関連情報とが記述された情報ファイルを作成する情報ファイル作成手段と、
     前記画像取得手段により取得した前記コミックのページ毎の画像ファイルと、前記情報ファイル作成手段により作成された前記コミックのページ毎又は全ページに対応する情報ファイルとから構成される前記電子コミックのマスタデータを作成するマスタデータ作成手段と、を備え、
     前記データ取得手段は、前記マスタデータ作成手段により作成されたマスタデータを取得する請求項1から9のいずれか1項に記載の電子コミック編集装置。
  11.  コミックの1ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの1ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキスト領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの2以上の情報と、前記2以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得工程と、
     前記データ取得工程により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記2以上の情報に基づいて前記2以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記2以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御工程と、
     前記表示手段に表示された画像上の位置を指示する指示工程と、
     前記指示工程により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加工程と、
     前記指示工程により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除工程と、
     前記関連付け情報追加工程により追加された関連付け情報及び前記関連付け情報削除工程により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集工程と、
     を含む電子コミック編集方法。
  12.  コミックの1ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの1ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキスト領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの2以上の情報と、前記2以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得機能と、
     前記データ取得機能により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記2以上の情報に基づいて前記2以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記2以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御機能と、
     前記表示手段に表示された画像上の位置を指示する指示機能と、
     前記指示機能により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加機能と、
     前記指示機能により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除機能と、
     前記関連付け情報追加機能により追加された関連付け情報及び前記関連付け情報削除機能により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集機能と、
     をコンピュータにより実現させる電子コミック編集プログラム。
PCT/JP2012/077180 2011-10-21 2012-10-22 電子コミック編集装置及び方法 WO2013058397A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2012800084612A CN103384896A (zh) 2011-10-21 2012-10-22 数字漫画编辑装置及其方法
US13/960,631 US20130326341A1 (en) 2011-10-21 2013-08-06 Digital comic editor, method and non-transitorycomputer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011232155A JP2013089198A (ja) 2011-10-21 2011-10-21 電子コミック編集装置、方法及びプログラム
JP2011-232155 2011-10-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/960,631 Continuation US20130326341A1 (en) 2011-10-21 2013-08-06 Digital comic editor, method and non-transitorycomputer-readable medium

Publications (1)

Publication Number Publication Date
WO2013058397A1 true WO2013058397A1 (ja) 2013-04-25

Family

ID=48141040

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/077180 WO2013058397A1 (ja) 2011-10-21 2012-10-22 電子コミック編集装置及び方法

Country Status (4)

Country Link
US (1) US20130326341A1 (ja)
JP (1) JP2013089198A (ja)
CN (1) CN103384896A (ja)
WO (1) WO2013058397A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9436357B2 (en) * 2013-03-08 2016-09-06 Nook Digital, Llc System and method for creating and viewing comic book electronic publications
US9530183B1 (en) * 2014-03-06 2016-12-27 Amazon Technologies, Inc. Elastic navigation for fixed layout content
US9912994B2 (en) * 2014-07-03 2018-03-06 Mobiledirect, Inc. Interactive distributed multimedia system
JP6250013B2 (ja) * 2014-11-26 2017-12-20 ネイバー コーポレーションNAVER Corporation コンテンツ参加翻訳装置、及びそれを利用したコンテンツ参加翻訳方法
KR102306538B1 (ko) * 2015-01-20 2021-09-29 삼성전자주식회사 콘텐트 편집 장치 및 방법
KR101780792B1 (ko) * 2015-03-20 2017-10-10 네이버 주식회사 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램 및 만화 데이터 표시 장치
KR101648964B1 (ko) * 2015-04-02 2016-08-30 네이버 주식회사 자동 여백 생성을 이용하여 컨텐츠를 제공하는 시스템 및 방법
KR101676575B1 (ko) * 2015-07-24 2016-11-15 주식회사 카카오 만화 컨텐츠의 공유 영역 추출 장치 및 그 방법
JP6696758B2 (ja) 2015-11-12 2020-05-20 エヌエイチエヌ コーポレーション プログラム、情報処理装置および情報処理方法
JP2017151768A (ja) * 2016-02-25 2017-08-31 富士ゼロックス株式会社 翻訳プログラム及び情報処理装置
KR102150437B1 (ko) * 2018-12-20 2020-09-01 배성현 만화책을 복수 개의 컷들로 만드는 방법 및 장치
WO2020133386A1 (zh) * 2018-12-29 2020-07-02 深圳市柔宇科技有限公司 一种笔记局部选取方法、装置、电子终端和可读存储介质
WO2021216068A1 (en) * 2020-04-23 2021-10-28 Hewlett-Packard Development Company, L.P. Image editing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007035056A (ja) * 2006-08-29 2007-02-08 Ebook Initiative Japan Co Ltd 翻訳情報生成装置、翻訳情報生成方法並びにコンピュータプログラム
JP2009098727A (ja) * 2007-10-12 2009-05-07 Taito Corp 画像表示装置、画像ビューアプログラム
JP2010129068A (ja) * 2008-12-01 2010-06-10 Spicysoft Kk 画像群編集装置及び電子機器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206751A1 (en) * 2004-03-19 2005-09-22 East Kodak Company Digital video system for assembling video sequences
US7770125B1 (en) * 2005-02-16 2010-08-03 Adobe Systems Inc. Methods and apparatus for automatically grouping graphical constructs
JP2007094679A (ja) * 2005-09-28 2007-04-12 Fujifilm Corp 画像分析装置、画像分析プログラム、および画像分析プログラム記憶媒体
GB0602710D0 (en) * 2006-02-10 2006-03-22 Picsel Res Ltd Processing Comic Art
KR100834813B1 (ko) * 2006-09-26 2008-06-05 삼성전자주식회사 휴대용 단말기의 멀티미디어 컨텐트 관리 장치 및 방법
JP2008152700A (ja) * 2006-12-20 2008-07-03 Toshiba Corp 電子漫画配信サーバ
US20090041352A1 (en) * 2007-08-10 2009-02-12 Naoki Okamoto Image formation device, image formation method, and computer-readable recording medium recording image formation program
US20120196260A1 (en) * 2011-02-01 2012-08-02 Kao Nhiayi Electronic Comic (E-Comic) Metadata Processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007035056A (ja) * 2006-08-29 2007-02-08 Ebook Initiative Japan Co Ltd 翻訳情報生成装置、翻訳情報生成方法並びにコンピュータプログラム
JP2009098727A (ja) * 2007-10-12 2009-05-07 Taito Corp 画像表示装置、画像ビューアプログラム
JP2010129068A (ja) * 2008-12-01 2010-06-10 Spicysoft Kk 画像群編集装置及び電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Dokuji no Gazo Shori Gijutsu de Denshi Shoseki no Saranaru Fukyu ni Koken Denshi Comic no Seisaku Haishin Kotei no Sagyo o Ohaba ni Koritsuka! Gazo Shori Software Gijutsu 'GT-Scan' 'GT-Quality' 'GT-Balloon' Shin Kaihatsu", 5 July 2011 (2011-07-05), Retrieved from the Internet <URL:http://www.fujifilm.co.jp/cgi-bin/prtpreview/print.cgi/corporate/news/articleffnr0530.htm1> [retrieved on 20121114] *

Also Published As

Publication number Publication date
US20130326341A1 (en) 2013-12-05
CN103384896A (zh) 2013-11-06
JP2013089198A (ja) 2013-05-13

Similar Documents

Publication Publication Date Title
JP5439454B2 (ja) 電子コミック編集装置、方法及びプログラム
WO2013058397A1 (ja) 電子コミック編集装置及び方法
JP5439456B2 (ja) 電子コミック編集装置、方法及びプログラム
JP5439455B2 (ja) 電子コミック編集装置、方法及びプログラム
US10460023B1 (en) Systems, methods, and computer readable media for creating slide presentations for an annotation set
CN100476859C (zh) 从像素的文档图像中提取元数据的方法和装置
US9529438B2 (en) Printing structured documents
US8682642B2 (en) Translation display apparatus
JP5437340B2 (ja) ビューワ装置、サーバ装置、表示制御方法、電子コミック編集方法及びプログラム
JP2022066321A (ja) 情報処理装置及びプログラム
US20130082985A1 (en) Content display apparatus, and content display method
US11610054B1 (en) Semantically-guided template generation from image content
JP3388451B2 (ja) 手書き入力装置
JPH10162098A (ja) 文書電子化装置及び文書電子化方法
JP5528410B2 (ja) ビューワ装置、サーバ装置、表示制御方法、電子コミック編集方法及びプログラム
CN113378526A (zh) Pdf段落处理方法、装置、存储介质及设备
KR101935926B1 (ko) 웹툰 편집 서버 및 그 방법
JPH1186017A (ja) 情報処理装置及びその方法
WO2013051077A1 (ja) コンテンツ表示装置、コンテンツ表示方法、プログラム、および記録媒体
JP2006072877A (ja) 文書編集装置、文書編集方法、文書編集プログラムおよびその記録媒体
JP3637771B2 (ja) 文書編集出力装置
US20210157969A1 (en) Information processing system, information processing apparatus, and non-transitory computer readable medium storing program
JP2616522B2 (ja) 文書イメージ情報編集装置
CN117193609A (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
WO2018087921A1 (ja) 編集装置、編集方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12841362

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12841362

Country of ref document: EP

Kind code of ref document: A1