WO2012086357A1 - 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、該ビューワプログラムが記録された記録媒体ならびに電子コミックの表示方法 - Google Patents

電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、該ビューワプログラムが記録された記録媒体ならびに電子コミックの表示方法 Download PDF

Info

Publication number
WO2012086357A1
WO2012086357A1 PCT/JP2011/076989 JP2011076989W WO2012086357A1 WO 2012086357 A1 WO2012086357 A1 WO 2012086357A1 JP 2011076989 W JP2011076989 W JP 2011076989W WO 2012086357 A1 WO2012086357 A1 WO 2012086357A1
Authority
WO
WIPO (PCT)
Prior art keywords
balloon
information
image
speech
area
Prior art date
Application number
PCT/JP2011/076989
Other languages
English (en)
French (fr)
Inventor
徹郎 江畑
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN2011800621887A priority Critical patent/CN103339622A/zh
Publication of WO2012086357A1 publication Critical patent/WO2012086357A1/ja
Priority to US13/922,151 priority patent/US20130283157A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/53—Processing of non-Latin text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Definitions

  • the present invention relates to an apparatus, a method, and a program for displaying various contents obtained by digitizing paper-based contents such as manga, newspapers, magazines, documents, textbooks, and reference books.
  • Patent Document 1 for vertical writing of a manuscript and horizontal writing of a translated sentence, layout information is rotated and converted into a horizontal writing layout.
  • Patent Document 2 if the name does not fit in the balloon frame, the character series is lowered or the character spacing is reduced.
  • the size of the text box is adjusted so that all the characters of the inserted name can be accommodated without any shortage. Adjust the vertical and horizontal length of the text box according to the vertical / horizontal type and character size.
  • the translation for the dialogue described in the balloon is displayed in the telop area set on the display screen.
  • the translated text of the telop is displayed in multiple parts.
  • the telop area is set in accordance with the balloon position in the comic image.
  • Patent Document 6 the omission of the pattern that occurs at the original position of the image is compensated from the constituent pattern of the surrounding image to close it.
  • the original text and the translation of the dialogue may have different character alignment directions due to language differences.
  • Patent Document 5 even if a horizontally translated Spanish translation is directly pushed into a vertically long balloon corresponding to the Japanese layout, it will be difficult to read due to the limitation of the character string in one line.
  • the present invention provides a technique for drawing a speech balloon that arranges a serif character string converted from an original language into an arbitrary language without excess or deficiency in an electronic comic.
  • the present invention provides a display means, an image for each page or frame of a comic, speech balloon information including information on a speech balloon area indicating an area within a speech balloon image in which a speech of a comic character is entered, and vertical information in each speech balloon.
  • Scrolling view on the screen of the display means that is text information indicating a translated sentence obtained by translating the original sentence of writing into a predetermined language written horizontally, and that is associated with the text information associated with each balloon and the image for each page or each frame
  • information acquisition means for acquiring information of electronic comics including display control information for enabling browsing by frame view, and scrolling the image for each page or frame on the screen of the display means based on the acquired display control information
  • the image display control means for playback or frame playback, and the balloon area in the image displayed on the screen of the display means are displayed corresponding to the balloon area.
  • a discriminating means for discriminating whether or not the whole sentence of the sentence enters with a preset character size, and instead of the dialogue of the original sentence in the balloon area in the image displayed on the screen based on the acquired balloon information and text information
  • the translated text display control means for displaying the translated text, and when the discriminating means determines that the entire translated text is entered, the translated text is displayed in the balloon area, and the translated text is entered by the discriminating means. If it is determined that there is not, the electronic comic viewer device comprising: a translated sentence display control means for rewriting a balloon corresponding to the balloon area into a horizontally long balloon and displaying a translated sentence in the balloon area of the horizontally long balloon including.
  • the discriminating means has information on the screen size of the display means, and is a balloon area in the image displayed on the screen of the display means based on the information on the screen size, the balloon area displayed according to the screen size Next, it is determined whether or not the entire sentence of the translated sentence corresponding to the balloon area is entered with a preset character size.
  • the text information has attribute information including a character size and a font
  • the translated sentence display control means generates display characters based on the translated sentence text information and the character attribute information.
  • the number of lines, line spacing, or character spacing is automatically set so that the entire text of the translation corresponding to the speech balloon area is entered in the balloon size in the image displayed on the screen of the display means in a preset character size and unit.
  • Adjustment means for adjusting is provided, and the determination means determines whether or not the entire sentence of the translation adjusted by the adjustment means enters the balloon region.
  • the balloon information includes the type of the balloon line, and the translation display control means rewrites the balloon having the same type of line based on the line type of the balloon when the balloon is rewritten.
  • the balloon information includes the position information of the balloon, and the translated sentence display control means rewrites the balloon having the balloon at the same position based on the position information of the balloon when the balloon is rewritten.
  • the information of the electronic comic has the presence area information indicating the area of the character in the image, and the translated sentence display control means makes the balloon so as not to overlap the area of the character based on the presence area information when the balloon is rewritten. Rewrite.
  • the translated text display control means draws an image analogized from images around the area in an area where there is no image newly generated by rewriting the balloon.
  • the translated text display control means fills a region without an image newly generated by rewriting the speech balloon with a white or ground color image.
  • the present invention includes an electronic comic browsing system including a user terminal including the functions of the viewer device described above and a server that provides information on the electronic comic in response to a request from the user terminal.
  • the present invention includes a viewer program for realizing the viewer device described above, and a recording medium on which the viewer program is recorded.
  • an electronic comic viewer device including a display unit includes a balloon including information on a page or frame of a comic and information on a balloon area indicating an area in the balloon image in which the dialogue of a comic character is entered.
  • Text information indicating information and a translated sentence obtained by translating a vertical sentence in each balloon into a predetermined language written horizontally, and text information associated with each balloon and an image for each page or frame
  • a step of acquiring information of an electronic comic including display control information for enabling browsing by scroll view or frame view on the screen of the display means, and an image for each page or each frame based on the acquired display control information
  • the translated sentence is displayed in place of the dialogue of, and if it is determined that the entire sentence of the translated sentence is entered, the entire sentence of the translated sentence is displayed in the balloon area, and it is determined that the entire sentence of the translated sentence does not enter.
  • the vertically long balloon is rewritten into a horizontally long balloon, and the translated sentence is displayed in the horizontally long balloon.
  • the character string of the speech converted from the original language to an arbitrary language can be arranged in the balloon without excess or deficiency.
  • FIG. 1 shows a configuration of a content distribution system according to a preferred embodiment of the present invention.
  • This system includes a server 1 and an electronic book viewer 2.
  • the server 1 includes a computing device (CPU), a storage device that stores programs and data necessary for the operation of the computing device, and a computer (information processing device) that includes an input / output circuit.
  • CPU computing device
  • storage device that stores programs and data necessary for the operation of the computing device
  • a computer information processing device
  • the electronic book viewer 2 is an information terminal provided with display means capable of reproducing an image, communication means, arithmetic device (CPU), storage device, input / output circuit, operation means, sound reproduction means capable of reproducing sound, and the like.
  • display means capable of reproducing an image
  • communication means arithmetic device (CPU), storage device, input / output circuit, operation means, sound reproduction means capable of reproducing sound, and the like.
  • CPU arithmetic device
  • storage device input / output circuit
  • operation means capable of reproducing sound, and the like.
  • sound reproduction means capable of reproducing sound, and the like.
  • it is composed of a smartphone or a tablet computer. It should be noted that an unspecified number of electronic book viewers 2 accessing the server 1 may be used.
  • the server 1 includes a page information analysis unit 10, a database (DB) 11, an operation unit 16, and an input / output unit 17.
  • DB database
  • the server 1 includes a page information analysis unit 10, a database (DB) 11, an operation unit 16, and an input / output unit 17.
  • the page information analysis unit 10 includes an information processing device such as a CPU.
  • the DB 11 is composed of a storage medium such as a hard disk or a memory.
  • the operation unit 16 is an operation unit such as a keyboard, a mouse, or a touch pad.
  • the DB 11 accumulates content files that store content images associated with page numbers and their accompanying information in a predetermined file format.
  • the content image is an original data converted into electronic data by a scanner or the like.
  • Original content is organized in pages such as manga, newspapers, weekly magazine articles, office documents (presentation documents, etc.), textbooks, and reference books.
  • the original content image is associated with a page number.
  • the storage format of the content image and its accompanying information is arbitrary, and is stored as an XML file or the like. Additional information may be recorded in the original content image. This supplementary information may include the author of the content, title, total number of pages, volume number, episode number, copyright owner (publisher), and the like.
  • the content image includes a schematic image and a detailed image (high resolution data), and is prepared for each page, frame, or anchor point.
  • the incidental information attached to the content image includes information input from the operation unit 16, information on the analysis result of the page information analysis unit 10, or information input via the input / output unit 17.
  • FIG. 2 is a conceptual explanatory diagram of a content file.
  • the content file includes a scroll view content file including a summary image for each page and a detailed image corresponding to each anchor point in the page, and a content file for a frame view including a summary image for each page and a detail image for each frame. Including both.
  • the electronic comic information is composed of one file, but the content image and the incidental information may be stored separately in different files and may be composed of a plurality of files.
  • the header indicates file attributes (file name, etc.).
  • the incidental information includes search tag information, balloon information, text information, character information, display control information, automatic reading attribute information, reproduction effect information, page information, and other information.
  • Search tag information is tag information used for a search. For example, page number (page identification information), frame number (frame identification information), episode number (episode identification information, indicating, for example, what episode), title, author, publisher (copyright owner), total number of pages Such information may be included.
  • the balloon information is information related to a balloon in a content image in page units (or frame units). For example, balloon area information indicating the presence area in the content image of the balloon, the shape of the balloon, the position and orientation of the balloon origin (the balloon vertex), the balloon stroke attribute (dotted line, solid line, etc.), content image elements (Such as the speaker) and the relative position of the speech balloon origin (for example, the minimum distance between the speech balloon vertex and the speaker's face pointed to by the speech balloon vertex), the speech balloon size, the speech speaker identification information, and the speech balloon belonging It is a top.
  • balloon area information indicating the presence area in the content image of the balloon, the shape of the balloon, the position and orientation of the balloon origin (the balloon vertex), the balloon stroke attribute (dotted line, solid line, etc.), content image elements (Such as the speaker) and the relative position of the speech balloon origin (for example, the minimum distance between the speech balloon vertex and the speaker's face pointed to by the speech balloon vertex), the speech balloon size, the speech speaker identification information
  • the balloon area information is, for example, information indicating the position of the balloon drawing line (frame line) in the content image (for example, position information of a plurality of points corresponding to the balloon shape on the drawing line, or vector information of the entire drawing line).
  • the balloon area information may be bitmap information indicating the entire area (range) of the balloon.
  • the balloon area information may be represented by a specific position (center position) of the balloon and the size of the balloon. For example, if there are four types of balloons as shown in FIGS. 3A to 3D, the identification information A to D corresponding to each type is stored as the attribute of the stroke stroke.
  • the text information is information related to the text in the content image. For example, text (sentence), character attribute information, number of lines, line spacing, character spacing, display switching method, language used, vertical writing / horizontal writing, and reading direction corresponding to each frame and each balloon.
  • the character attribute information includes a character size (number of points, etc.) and a character type (font, emphasized character, etc.).
  • the text information includes the speech of the speaker in the speech balloon.
  • translated texts of various languages corresponding to the lines of the original text arranged in the balloon and the language used may be included in this text information.
  • the display switching method may include scroll methods such as scroll speed, scroll direction, scroll start, stop, pause, and repeat methods.
  • the character information is information about the speaker of the speech in the speech balloon.
  • speaker area information such as face area information
  • speaker identification information such as name
  • speaker attributes such as speaker attributes, age, etc.
  • a speaker means a source of speech bubbles, and includes not only human beings but also non-living animals such as animals, telephones, personal computers, electronic devices, and robots.
  • Display control information is information related to display control in page units or frame units. This information includes screen scrolling and / or screen switching.
  • the screen scroll information may include, as detailed information, scroll speed, scroll direction, scroll order, scroll start, end, pause, repeat method, and the like.
  • the screen switching information may include, as detailed information, switching units (such as frames), switching timing determination methods (manual, automatic, semi-automatic), display effects associated with switching (wipe, fade-in / fade-out, dissolve), and the like. .
  • Attribute information for automatic reading For example, reading speed, volume, speaker emotion, etc.
  • Display control information includes playback scenarios.
  • the playback scenario consists of the magnification rate of the detailed image, which is the unit of the partial display area of the content image, the display switching speed from the detailed image corresponding to the previous anchor point to the detailed image corresponding to the next anchor point, and the display switching.
  • Method saccharging, fade-out / fade-in, etc.
  • gaze stop time at each anchor point or frame that is, duration of display of detailed image corresponding to each anchor point, overview image in content and details Image positioning (page, section), transition order of anchor points, heading information, and the like are included.
  • the anchor point is a position (ice top) where the line of sight stops in a partial area (typically a frame or a part of a frame) for each page.
  • the playback scenario includes a stay time that matches the text amount of the detailed image corresponding to each anchor point. Since the amount of information in one screen increases as the amount of text in the detailed image around each anchor point increases, the stay time is set longer in the playback scenario.
  • the electronic book viewer 2 that has accessed the server 1 for the enlargement rate of the detailed image at each anchor point, or the residence time for each model that matches the screen size for each model is set in the playback scenario.
  • This speed may be determined from the past browsing speed corresponding to the user of the electronic book viewer 2 who has accessed the server 1 acquired as the playback state information, or a plurality of electronic books that have played back the same playback content You may determine by applying the speed of the past browsing acquired from the viewer 2 as reproduction
  • the display switching method may be determined according to an instruction from the user of the electronic book viewer 2 to the operation unit 27, may be a predetermined default switching method, or may be set based on content analysis information. . For example, if the movement destination in the line-of-sight direction of the character in the content of a certain frame a coincides with frame b that is the destination of the anchor point movement direction, the display switching method from frame a to frame b is set to scroll.
  • the content of the read-out voice may be a recorded voice or an artificial voice.
  • the content of the reading voice is an artificial voice, it can be shared with the contents of the speech balloon and / or the accompanying voice.
  • Page information For example, left / right open, line feed direction (for vertical writing).
  • onomatopoeia and sound effects text information of the original text and translated text
  • the onomatopoeia may be acquired from the content image by the page information analysis unit 10 or may be input from the input / output unit 17 or the like.
  • the character information not included in the balloon is the content of the onomatopoeia. Translations in various languages corresponding to onomatopoeia can also be included in this information.
  • Information about playback effects For example, the type and start timing of effects such as terminal vibration, screen shaking, screen flash, and screen switching.
  • Changeability information that indicates whether layout changes such as screen enlargement are possible.
  • the changeability information included in the other information is setting information indicating whether the original content can be modified, such as the layout changeability. For example, it indicates whether or not translation display, balloon expansion, balloon shape change, image change, speech reading of dialogue and onomatopoeia, and horizontal reversal of the entire page. It is possible to set whether or not modification can be performed independently for each modification item. For example, it is possible to set to permit the display of the translated text but to prohibit the horizontal flipping of the entire page. Settings such as allowing scroll playback (scroll view) but prohibiting frame playback (frame view) are also possible.
  • the other information includes page information such as information about page turning (for example, left / right opening), line feed direction (for vertical writing), and the like.
  • the page information analysis unit 10 analyzes the content image stored in the DB 11.
  • the information acquired as a result of the analysis is incidental information.
  • information related to page analysis results includes the layout of content elements (frames, drawings, types of characters appearing in drawings, speech balloons, lines, text, tables, diagrams, etc.), reading order of content elements, characters Features (character name, character line-of-sight direction, character size, position, etc.), text content such as words, position, amount (number of characters), page / section / chapter separation, and the like.
  • a known image analysis technique and text analysis technique are used.
  • the position, size, and type of content elements such as a face, an animal, a building, an automobile, and other objects may be automatically detected based on the feature amounts related to the image information.
  • Automatic detection of content elements may be performed based on machine learning. For example, based on the sample manga for learning, the detection accuracy of the outer edge of the frame or balloon, the threshold for determining the validity of the frame or balloon other than the rectangular area, and the like are set empirically.
  • the text sentence (serif) inside the balloon may be recognized by OCR, and the area surrounding it may be recognized as a serif area.
  • Each character of the read line is sorted according to the direction of the character. For example, if the words are written vertically, they are sorted from the beginning to the end of the column, and from the right column to the left column.
  • the frame number or serif number is determined according to a predetermined rule. For example, if the content type is manga, the representative point of each frame or balloon (such as the center or center of gravity of the frame or balloon) from the top right to the bottom left of the frame or balloon included in the content analysis information
  • the page number or serif number is determined by sequentially scanning in the horizontal direction.
  • the representative point of each frame is the position (anchor point) where the line of sight of the content element for each page stops, and the display unit of the content is switched by scrolling or switching starting from the anchor point.
  • the page number or the serif number can be determined according to a rule according to the author of the content.
  • the content analysis rule may be a rule according to the author and type of content learned by artificial intelligence, as well as a rule according to the author and type of content.
  • Rule learning is performed as follows, for example. First, correct rules are prepared in advance for each of a plurality of basic patterns. The page information analysis unit 10 extracts feature quantities (thickness and length of the frame boundary line) for each of the plurality of basic patterns. Then, the page information analysis unit 10 estimates the reading order of frames assumed by the content creator from the extracted feature values. The page information analysis unit 10 compares the reading order estimated for each basic pattern with the correct rule, and optimizes the parameter for estimating the reading order of the frames. The page information analysis unit 10 estimates the reading order of the comic frames according to the optimized parameters.
  • the original content is a manga and the original content image is an image corresponding to each page of the manga.
  • Manga is content that consists of both pictures (whether live-action or drawing) and lines.
  • the electronic book viewer 2 is composed of a portable information terminal such as a smartphone or a tablet computer, and includes a display means capable of reproducing an image, a communication means, an operation detection means, an audio reproduction means, an information processing apparatus, and the like. I have.
  • the electronic book viewer 2 includes a database (DB) 21, a display unit 24, a content display control unit 25, an audio playback unit 26, an operation unit 27, a speaker 28, and an input / output unit 29.
  • DB database
  • the electronic book viewer 2 includes a database (DB) 21, a display unit 24, a content display control unit 25, an audio playback unit 26, an operation unit 27, a speaker 28, and an input / output unit 29.
  • the display unit 24 is a display unit configured by a display device such as an LCD.
  • the operation unit 27 is an operation detection unit configured with a touch panel or the like.
  • the operation unit 27 is stacked on the display unit 24 and can detect various operations such as single tap, double tap, swipe, and long press on the display unit 24.
  • the audio playback unit 26 is a circuit that synthesizes information related to audio (information related to reading audio and / or information related to accompanying audio) stored in the content file and outputs the audio from the speaker 28.
  • the input / output unit 29 is a means for inputting the content file output from the input / output unit 17 of the server 1.
  • the input / output unit 17 and the input / output unit 29 are communication means, but they may be writing / reading means for a computer-readable recording medium.
  • DB21 stores information equivalent to DB11. That is, when the electronic book viewer 2 requests the server 1 to transmit an electronic book, the server 1 exports the content file in the DB 11 to the DB 21 via the input / output unit 29 and stores it in the DB 21. However, the information in DB 11 and the information in DB 21 do not have to be completely the same.
  • the DB 11 is a library that stores various types of content images, for example, content images of each volume of manga of different authors, in response to requests from various users. It is sufficient that only content files related to content that the user of the electronic book viewer 2 wants to browse are stored in the DB 21.
  • the content display control unit 25 performs content display control on the display unit 24. Details will be described later.
  • FIG. 4 shows a flowchart of distribution processing executed between the server 1 and the electronic book viewer 2.
  • the electronic book viewer 2 executes S1 and S4, and the server 1 executes S2 and S3.
  • Programs for causing the server 1 and the electronic book viewer 2 to execute this processing are stored in computer-readable storage media (RAM, ROM, CDROM, etc.) provided in the server 1 and the electronic book viewer 2, respectively.
  • the server 1 is waiting for a content request corresponding to the scroll view or the frame view.
  • the process proceeds to S3.
  • the server 1 transmits the content file to the electronic book viewer 2. That is, when there is a content request corresponding to the scroll view, the server 1 transmits a content file corresponding to the scroll view, and when there is a content request corresponding to the frame view, the server 1 transmits a content file corresponding to the frame view. To do.
  • the electronic book viewer 2 receives the content file and stores it in the DB 21. And it progresses to the below-mentioned display processing.
  • the transmission of the content image may be performed in units of pages or frames, and only the information corresponding to the unit of the transmitted content image may be transmitted as incidental information.
  • FIG. 5 shows a flowchart of display processing (scroll view) executed by the electronic book viewer 2.
  • FIG. 6 shows a flowchart of display processing (frame view) executed by the electronic book viewer 2. The process in either FIG. 5 or 6 is executed according to the selection from the operation unit 27.
  • the content display control unit 25 sets the first anchor point of the page of the designated content image as the current anchor point based on the content file in the DB 21.
  • the content display control unit 25 cuts out a detailed image for display from the schematic image of the entire page with the current anchor point as a reference, and sets this as the current image. Instead of cutting out the detailed image, the detailed image of the content file can be read out and made the current image.
  • the content display control unit 25 displays a detailed image on the display unit 24.
  • the content display control unit 25 determines whether or not the stay time corresponding to the current anchor point has elapsed based on the incidental information of the content file in the DB 21. In the case of Yes, it progresses to S14, and in No, it returns to S12.
  • the content display control unit 25 determines whether or not the current anchor point is the last anchor point of the page. In the case of Yes, it progresses to S21 and the display of the said page is complete
  • the content display control unit 25 sets the position incremented by a predetermined unit (for example, by 1 dot) from the current anchor point as a starting point along a line segment connecting from the current anchor point to the next anchor point in the next order. Set as a temporary anchor point. This increment is repeated for the number of loops of S16 to S19.
  • a predetermined unit for example, by 1 dot
  • the content display control unit 25 cuts out a detailed image for display from the image of the entire page on the basis of the temporary anchor point, and sets this as the next detailed image.
  • a detailed image of the content file can be used instead of cutting out the image.
  • the content display control unit 25 switches from the detailed image corresponding to the current temporary anchor point to the detailed image corresponding to the next temporary anchor point and displays it. As a result, the screen is scrolled by a predetermined unit.
  • the content display control unit 25 determines whether or not the temporary anchor point has reached the next anchor point after the current anchor point. In the case of Yes, it returns to S12, makes the next anchor point a new current anchor point, and displays a detailed image corresponding to the current anchor point. In the case of No, it returns to S16 and continues scrolling by a predetermined unit.
  • the content display control unit 25 sets the first frame as the current frame based on the frame order of the content images of the designated page.
  • the content display control unit 25 cuts out a detailed image corresponding to the current frame from the content image, and sets this as the current frame image. Instead of cutting out the detailed image, the detailed image of the content file can be used.
  • the content display control unit 25 displays the current frame image on the display unit 24.
  • the content display control unit 25 determines whether or not the stay time corresponding to the current frame has elapsed based on the incidental information of the content file. In the case of Yes, it progresses to S35, and in No, it returns to S33.
  • the content display control unit 25 determines whether or not the current frame is the last frame of the page. In the case of Yes, it progresses to S36 and the display of the said page is complete
  • the content display control unit 25 newly sets the next frame next to the current frame as the current frame. Then, returning to S32, the detailed image corresponding to the current frame is cut out or the detailed image is read out, and this is set as the current frame image. The subsequent processing is the same as described above.
  • the image may be switched in accordance with an image feed instruction input to the operation unit 27.
  • the switching unit is an anchor point (S12) or a frame (S33).
  • the switching order follows the anchor point order or the frame order. However, since the user may desire irregular browsing such as reading and skipping pages, a content image switching operation ignoring this order may be allowed.
  • FIG. 7 shows a flowchart of the dialogue processing executed by the electronic book viewer 2. This process is executed in parallel with S12 or S33.
  • the content display control unit 25 starts displaying the content image based on the content file in the DB 21. This is the same as S12 or S33.
  • the content display control unit 25 determines whether “horizontal writing” or “vertical writing” has been instructed from the operation unit 16 as the dialogue display direction in the balloon. If “horizontal writing” is instructed, the process proceeds to S51. If “vertical writing” is instructed, the process proceeds to S61.
  • the content display control unit 25 performs text attribute (size, font, character) included in the balloon information corresponding to the image area designated for display and the text information of the horizontal writing (translated sentence) corresponding to the balloon. (Interval, line interval, number of lines, etc.) and information on the character who is the speaker of the speech balloon.
  • the content display control unit 25 displays the designated image area on the page display unit 24. Further, the content display control unit 25 determines whether or not the text information fits in the balloon in the horizontal writing arrangement according to the read text attribute. At least the text attribute includes the character size. The content display control unit 25 determines whether the text information fits in the balloon while maintaining the character size according to the screen size information (stored in the DB 21) of the display unit 24.
  • the content display control unit 25 determines that the content fits, the content display control unit 25 draws a vertically placed speech balloon, starting from the speech balloon speaker corresponding to the image area designated for display.
  • the content display control unit 25 determines whether the layout can be changed based on the accompanying information. If the layout can be changed, the content display control unit 25 corresponds to the image area designated for display.
  • the horizontal speech balloon is drawn starting from the speaker of the speech balloon to be played.
  • the size of the balloon to be drawn is sufficient to arrange the read text information in a horizontal orientation according to the text attributes.
  • the type of balloon line to be drawn is the same as the original.
  • the starting point of the balloon to be drawn is set in the vicinity of the starting point of the original balloon and the starting speaker is kept the same. This is because the speech balloons are the same even if the lines are translated. Also, the drawing position of the speech balloon avoids the positions of the characters and the positions of other speech balloons so that they do not overlap with the speech balloon to be rendered.
  • the content display control unit 25 arranges characters horizontally in the drawn balloon according to the read text information and text attributes of the speech. If the layout cannot be changed, the content display control unit 25 reduces the character size of the horizontally written sentence, adjusts the number of lines, the line interval, and the character interval, and arranges the horizontally written sentence in the original balloon.
  • the content display control unit 25 erases the image information of the area where the speech balloon originally corresponds to the vertical writing speech with the drawing of the speech balloon corresponding to the speech balloon of horizontal writing, and sets it as a blank area without image information.
  • the content display control unit 25 complements the blank area with surrounding image information. This is performed by detecting pixel information and an image pattern around a blank area such as a pattern, gradation, line segment, and color, and duplicating or extending this. When the surrounding pixel information or pixel pattern cannot be detected, the blank area is filled with a predetermined color such as white.
  • the content display control unit 25 determines the position information of the speech balloon corresponding to the image area designated for display, the text information and text attribute of the vertical writing corresponding to the speech balloon, and the story of the speech balloon. The information of the character who is a person is read.
  • the content display control unit 25 arranges the text information of the words vertically in accordance with the text attribute in the balloon based on the position information of the balloon (see FIG. 9).
  • the sound reproduction unit 26 reproduces sound based on information related to sound.
  • the audio reproduction unit 26 determines the speech corresponding to the detailed image currently displayed by the content display control unit 25, the audio corresponding to the speech, and the accompanying audio corresponding to the frame to which the speech belongs, and reproduces the audio.
  • Information text information, character attribute information, automatic reading attribute information, onomatopoeia
  • Information is acquired from the incidental information.
  • FIG. 9 shows an example of information related to audio reproduction corresponding to the detailed image being displayed (anchor point 3).
  • the speech is synthesized with default attributes.
  • the speech is synthesized based on the attributes of the speech balloons where the corresponding lines are arranged and the attributes of the lines.
  • the audio reproduction unit 26 sets the speech volume of the speech to “large”.
  • the type of speech balloon represents an imaginary or reminiscence speech as shown in FIG. 3C
  • the sound reproducing unit 26 sets the speech volume of the speech to “small”.
  • the type of the speech balloon is other than those shown in FIGS. 3B and 3C
  • the sound reproducing unit 26 sets the reading volume of the speech to “medium”.
  • the audio reproduction unit 26 sets the reading volume of the serif to “large”.
  • the sound reproducing unit 26 sets the reading speed of the speech to “slow”, and when the character spacing of the speech is “small”, the speech reproducing unit 26 The speech reading speed is “Quick”.
  • the audio reproduction unit 26 utters the sound in the same language as the language of the words arranged in the speech balloon. However, if a language different from the language of the speech balloon is designated from the operation unit 27, the voice reproduction unit 26 utters the voice in that language.
  • the display start / end of the speech bubble is synchronized with the start / end of the speech of the speech. For example, if the information about the speech balloon includes the reading order of the speech balloons, the words in the speech balloon are read out in that order.
  • a visual effect can be given to the serif characters in synchronization with the reproduction of the speech being read out. For example, as a visual effect on serif characters, you can highlight individual characters of the spoken speech, add decorations such as underline, side points, coloring, etc., and scroll only the spoken portion of the speech For example, you can display or gray out individual characters in a speech that has not been read out, or fade out the speech that has been read out.
  • the accompanying sound is played back accordingly. If there is no such designation, the start / end of reading out speech from the speech balloon is synchronized with the start / end of accompanying sound of the frame to which the speech balloon belongs. For example, when there is a character such as the background character “Wow”, the corresponding cheer is reproduced from the start to the end of the display of the detailed image including the character.
  • the sound reproducing unit 26 continuously reproduces the accompanying sound from the start to the end of the display of the frames.
  • the electronic book viewer 2 can perform speech arrangement, scrolling, speech playback of speech, sound effects and sound effects according to the language of the speech. It becomes.
  • programs for causing the content distribution system, the server 1 and the electronic book viewer 2 to execute the processes shown in FIGS. 4 to 7 are recorded in a computer-readable recording medium such as the DB 11 or DB 21.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Abstract

　コンテンツ表示制御部２５は、表示部２４の画面サイズ情報（ＤＢ２１に記憶されている）に従ってその文字サイズを維持したままテキスト情報が吹き出しに収まるか判断する。コンテンツ表示制御部２５は、収まらないと判断した場合は、さらに、レイアウト変更可であるか否かを付帯情報に基づいて判断し、レイアウト変更可であれば、表示指定のあった画像領域に対応する吹き出しの話者を起点に、横置き用の吹き出しを描画する。

Description

電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、該ビューワプログラムが記録された記録媒体ならびに電子コミックの表示方法
　本発明は、マンガ、新聞、雑誌、書類、教科書、参考書などの紙ベースのコンテンツを電子化した各種のコンテンツを表示する装置、方法およびプログラムに関する。
　近年の情報技術革新に伴い、雑誌やコミックなどの紙にプリントされることを前提とした書籍をデジタル化し、iPadやKindleなどの専用の電子書籍ビューワで視聴するという情報配信形態が確立されてきた。
　特許文献１によると、原稿縦書き、翻訳文横書きなら、レイアウト情報を回転し、横書きのレイアウトに変換する。
　特許文献２によると、ネームが吹き出しの枠に収まらない場合には、文字の級数を下げたり、文字間隔を詰めたりする。
　特許文献３によると、文字列を含むブロックの縦方向のサイズは固定し、横方向のサイズのみを拡大する。
　特許文献４によると、流し込んだネームの全文字が縦横過不足無く収まるようにテキストボックスの大きさを調整する。縦組・横組、文字サイズに合わせてテキストボックスの縦横長さを調整する。
　特許文献５によると、吹き出し内に記載されている台詞に対する翻訳文を、表示画面に設定されるテロップ領域に表示させる。テロップの翻訳文は複数回に分けて表示する。図１０では、コミック画像中の吹き出し位置に合わせてテロップ領域が設定されている。
　特許文献６によると、画像の元位置に生じるパターンの抜けを周囲の画像の構成パターンから補って塞ぐ。
特開平6-96288号公報 特開2006-185435号公報 特開2005-056043号公報 特開2005-004738号公報 特開2009-098727号公報 特開2000-20687号公報
　電子コミックのセリフの翻訳により文字数が増減することが経験的に認められるため、特許文献１のような吹き出し回転だけでは、翻訳文は押し込めない場合がある。
　また、セリフのオリジナルの言語と翻訳文とでは、言語の相違に起因して、文字並び方向が異なる場合がある。この場合、特許文献５のように、日本語の配置に対応した縦長の吹き出しにそのまま横並びのスペイン語の翻訳文を押し込んでも、１行に入る文字列の制限上、読みづらくなると考えられる。
　特許文献２のように、文字サイズを調整して吹き出しに押し込むことも考えられるが、文字が小さくなると読みづらくなる。特に、画面サイズの小さい携帯情報端末では、文字サイズを縮小すると、極端に読みづらくなる。
　特許文献１のようにレイアウトを回転したり、特許文献３・４のように、テキストボックスの大きさを調整することも考えられるが、その場合、オリジナルのマンガの画との干渉（画の隠れ、分断、空白化など）が問題となり、単純にセリフの配置領域を回転したり大きさを変えればよいというものではない。
　本発明は、電子コミックにおいて、オリジナルの言語から任意の言語に変換されたセリフの文字列を過不足なく配置する吹き出しを描画する技術を提供する。
　本発明は、表示手段と、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの画像内の領域を示す吹き出し領域の情報を含む吹き出し情報と、各吹き出し内の縦書きの原文の台詞を横書きの所定の言語に翻訳した翻訳文を示すテキスト情報であって、吹き出し毎に関連づけられたテキスト情報と、ページ毎又はコマ毎の画像を表示手段の画面上でスクロールビュー又はコマビューによる閲覧を可能にするための表示制御情報とを含む電子コミックの情報を取得する情報取得手段と、取得した表示制御情報に基づいてページ毎又はコマ毎の画像を表示手段の画面にスクロール再生又はコマ再生させる画像表示制御手段と、表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、取得した吹き出し情報及びテキスト情報に基づいて画面に表示される画像中の吹き出し領域内の原文の台詞に替えて翻訳文を表示させる翻訳文表示制御手段であって、判別手段により翻訳文の全文が入ると判別されると、吹き出し領域内に翻訳文の全文を表示させ、判別手段により翻訳文の全文が入らないと判別されると、吹き出し領域に対応する吹き出しを横長の吹き出しに書き替え、この横長の吹き出しの吹き出し領域内に翻訳文を表示させる翻訳文表示制御手段と、を備えた電子コミックのビューワ装置を含む。
　判別手段は、表示手段の画面サイズの情報を有し、該画面サイズの情報に基づいて表示手段の画面に表示される画像中の吹き出し領域であって、画面サイズに応じて表示される吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する。
　テキスト情報は、文字サイズ及びフォントを含む属性情報を有し、翻訳文表示制御手段は、翻訳文のテキスト情報と文字の属性情報とに基づいて表示用の文字を生成する。
　文字サイズを変更させる文字サイズ変更手段を備えた。
　表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズと単位で入るように行数、行間隔又は文字間隔を自動的に調整する調整手段を備え、判別手段は、調整手段により調整された翻訳文の全文が、吹き出し領域に入るか否かを判別する。
　吹き出し情報は、吹き出しの線の種類を含み、翻訳文表示制御手段は、吹き出しの書き替え時に吹き出しの線の種類に基づいて同じ種類の線を有する吹き出しに書き替える。
　吹き出し情報は、吹き出し口の位置情報を含み、翻訳文表示制御手段は、吹き出しの書き替え時に吹き出し口の位置情報に基づいて同じ位置に吹き出し口を有する吹き出しに書き替える。
　電子コミックの情報は、画像内の登場人物の領域を示す存在領域情報を有し、翻訳文表示制御手段は、吹き出しの書き替え時に存在領域情報に基づいて登場人物の領域と重ならないように吹き出しの書き替えを行う。
　翻訳文表示制御手段は、吹き出しの書き替えにより新たに発生する画像のない領域に、その領域の周囲の画像から類推した画像を描画する。
　翻訳文表示制御手段は、吹き出しの書き替えにより新たに発生する画像のない領域を、白色又は地色の画像で埋める。
　本発明は、上記に記載のビューワ装置の機能を含むユーザ端末と、ユーザ端末からの要求に応じて電子コミックの情報を提供するサーバと、を備えた電子コミックの閲覧システムを含む。
　本発明は、上記に記載のビューワ装置を実現させるビューワプログラムと、そのビューワプログラムが記録された記録媒体を含む。
　本発明は、表示手段を備えた電子コミックのビューワ装置が、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの画像内の領域を示す吹き出し領域の情報を含む吹き出し情報と、各吹き出し内の縦書きの原文の台詞を横書きの所定の言語に翻訳した翻訳文を示すテキスト情報であって、吹き出し毎に関連づけられたテキスト情報と、ページ毎又はコマ毎の画像を表示手段の画面上でスクロールビュー又はコマビューによる閲覧を可能にするための表示制御情報とを含む電子コミックの情報を取得するステップと、取得した表示制御情報に基づいてページ毎又はコマ毎の画像を表示手段の画面にスクロール再生又はコマ再生させるステップと、表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別するステップと、取得した吹き出し情報及びテキスト情報に基づいて画面に表示される画像中の吹き出し領域内の原文の台詞に替えて翻訳文を表示させるステップであって、翻訳文の全文が入ると判別されると、吹き出し領域内に翻訳文の全文を表示させ、翻訳文の全文が入らないと判別されると、吹き出し領域に対応する吹き出しを横長の吹き出しに書き替え、この横長の吹き出しの吹き出し領域内に翻訳文を表示させるステップと、を実行する電子コミックの表示方法を含む。
　本発明によると、翻訳文が縦長の吹き出し内に収まらない場合、縦長の吹き出しを横長の吹き出しに書きかえ、翻訳文をその横長の吹き出しに表示する。これにより、電子コミックにおいて、オリジナルの言語から任意の言語に変換されたセリフの文字列を過不足なく吹き出しに配置することができる。
コンテンツ配信システムの概略構成図 コンテンツファイルの概念説明図 吹き出し（通常）の形状に関する情報の一例を示す図 吹き出し（大声）の形状に関する情報の一例を示す図 吹き出し（想像）の形状に関する情報の一例を示す図 吹き出し（非生物）の形状に関する情報の一例を示す図 配信処理のフローチャート 表示処理（スクロールビュー）のフローチャート 表示処理（コマビュー）のフローチャート セリフ処理のフローチャート 吹き出しの描画（縦）の一例を示す図 吹き出しの描画（横）の一例を示す図 表示中の詳細画像に対応する音声再生に関する情報の一例を示す図
　図１は本発明の好ましい実施形態に係るコンテンツ配信システムの構成を示す。このシステムは、サーバ１と電子書籍ビューワ２とを含む。サーバ１は、演算装置（ＣＰＵ）、上記演算装置の動作に必要なプログラムやデータを記憶する記憶装置、入出力回路などを備えたコンピュータ（情報処理装置）で構成される。
　電子書籍ビューワ２は、画像を再生可能な表示手段、通信手段、演算装置（ＣＰＵ）、記憶装置、入出力回路、操作手段、音声を再生可能な音声再生手段などを備えた情報端末であり、例えば、スマートフォンやタブレット型コンピュータで構成される。なお、サーバ１にアクセスする電子書籍ビューワ２は不特定多数であってもよいものとする。
　具体的には、サーバ１は、ページ情報解析部１０、データベース（ＤＢ）１１、操作部１６、入出力部１７を備える。
　ページ情報解析部１０は、ＣＰＵなどの情報処理装置で構成される。ＤＢ１１は、ハードディスクやメモリなどの記憶媒体で構成される。操作部１６は、キーボード、マウス、タッチパッドなどの操作手段である。
　ＤＢ１１は、ページ番号に対応づけられたコンテンツ画像とその付帯情報を所定のファイル形式で格納するコンテンツファイルを蓄積する。コンテンツ画像は、スキャナーなどでオリジナルコンテンツを電子データ化したものである。オリジナルコンテンツは、マンガ、新聞、週刊誌の記事、オフィス文書（プレゼンテーション文書など）、教科書、参考書など、ページ単位で組まれている。また、オリジナルコンテンツ画像はページ番号と対応づけられている。
　コンテンツ画像とその付帯情報の保存形式は任意であり、ＸＭＬファイルなどで保存される。オリジナルコンテンツ画像には付帯情報が記録されていてもよい。この付帯情報は、コンテンツの作者、タイトル、総ページ数、巻の番号、エピソードの番号、版権者（出版社）などが含まれうる。
　コンテンツ画像は、概略画像、詳細画像（高解像度データ）を含み、それぞれ、ページ、コマあるいはアンカーポイントごとに用意される。
　コンテンツ画像に付帯する付帯情報は、操作部１６から入力された情報、ページ情報解析部１０の解析結果の情報、あるいは、入出力部１７を経由して入力された情報を含む。
　図２はコンテンツファイルの概念説明図である。コンテンツファイルは、ページごとの概略画像と当該ページ内の各アンカーポイントに対応する詳細画像を含むスクロールビュー用のコンテンツファイルと、ページごとの概略画像とコマごとの詳細画像を含むコマビュー用のコンテンツファイルの双方を含む。本例では、電子コミック情報を、ひとつのファイルで構成しているが、コンテンツ画像と付帯情報とを異なるファイルに分けて格納し、複数ファイルで構成してもよい。
　ヘッダは、ファイルの属性（ファイル名など）を示す。
　付帯情報は、検索タグ情報、吹き出し情報、テキスト情報、登場人物の情報、表示制御情報、自動読み上げの属性情報、再生エフェクト情報、ページ情報、その他情報によって構成されている。
　検索タグ情報。検索タグ情報は、検索に用いるタグ情報である。例えば、ページ番号（ページ識別情報）、コマ番号（コマ識別情報）、エピソード番号（エピソード識別情報、例えば第何話であるかを示す）、タイトル、作者、出版社（版権者）、総ページ数などの情報を含んでいてもよい。
　吹き出し情報。吹き出し情報は、ページ単位（又はコマ単位）のコンテンツ画像中の吹き出しに関する情報である。例えば、吹き出しのコンテンツ画像内での存在領域を示す吹き出し領域情報、吹き出しの形状、吹き出しの起点（吹き出しの頂点）の位置と向き、吹き出しの描線の属性（点線、実線など）、コンテンツ画像の要素（話者など）と吹き出しの起点との相対的位置関係（例えば吹き出しの頂点と吹き出しの頂点が指し示す話者の顔の最小間隔）、吹き出しのサイズ、吹き出しの話者の識別情報、吹き出しの属するコマなどである。吹き出し領域情報は、例えば、吹き出しの描線（枠線）のコンテンツ画像内での位置を示す情報（例えば描線上の吹き出し形状に対応する複数点の位置情報、あるいは描線全体のベクトル情報）である。吹き出し領域情報は、吹き出しの全領域（範囲）を示すビットマップ情報でもよい。また、吹き出しの特定位置（中心位置）と吹き出しのサイズによって吹き出し領域情報を表してもよい。例えば、図３Ａ～Ｄのような４つの吹き出し種類があれば、その各々に対応する識別情報Ａ～Ｄを吹き出しの描線の属性として記憶する。
　テキスト情報。テキスト情報は、コンテンツ画像内のテキストに関する情報である。例えば、各コマおよび各吹き出しに対応する、テキスト（文章）、文字属性情報、行数、行間隔、文字間隔、表示切り替え方法、使用言語、縦書き／横書き、読み方向の区別などである。文字属性情報には、文字サイズ（ポイント数など）、文字種別（フォント、強調文字など）がある。テキスト情報には、吹き出し内の話者の台詞が含まれる。また、吹き出し内に配置された原文の台詞に対応する各種言語の翻訳文とその使用言語（２以上の言語の翻訳文でもよい）も、このテキスト情報に含まれうる。また、吹き出し外に配置されたテキスト（ナレーション、擬音を示す文字列など）やその翻訳文とそのテキストの属性（文字サイズ、フォント、文字装飾など）と、それらの音声読み上げ属性（ボリューム、スピード、繰り返し回数、開始／停止タイミングなど）も、このテキスト情報に含まれうる。表示切り替え方法には、スクロールスピード、スクロール方向、スクロールの開始、終了、一時停止、繰り返しの方法などのスクロール方法を含みうる。
　登場人物の情報。登場人物の情報は、吹き出しの台詞の話者に関する情報である。例えば、話者（登場人物）のコンテンツ画像（概略画像および詳細画像）内での存在領域を示す話者領域情報（顔領域情報など）、話者の識別情報（名称など）、話者の属性（性別、年齢など）。なお、話者とは、吹き出しのセリフ（台詞）の発生源を意味し、人間だけでなく、動物、電話、パソコン、電子機器、ロボットなどの非生物も含む。
　表示制御情報は、ページ単位又はコマ単位の表示制御に関する情報である。この情報は、画面スクロールおよび／または画面切り替えを含む。画面スクロールの情報は、詳細情報として、スクロールスピード、スクロール方向、スクロール順、スクロールの開始、終了、一時停止、繰り返しの方法などを含みうる。画面切り替えの情報は、詳細情報として、切り替え単位（コマなど）、切り替えタイミングの決定方法（手動、自動、半自動）、切り替えに付随する表示効果（ワイプ、フェードイン／フェードアウト、ディゾルブ）などを含みうる。
　自動読み上げの属性情報。例えば、読み上げ速度、音量、話者の感情など。
　表示制御情報は再生シナリオを含む。再生シナリオは、コンテンツ画像の部分的な表示領域の単位となる詳細画像の拡大率、前のアンカーポイントに対応する詳細画像から次のアンカーポイントに対応する詳細画像への表示切り替えの速度および表示切り替え方法（スクロール、フェードアウト／フェードインなど）、各アンカーポイントまたは各コマでの視線の停止時間すなわち各アンカーポイントに対応する詳細画像の表示時間の長さである滞在時間、コンテンツ内の概観画像および詳細画像の位置づけ（ページ、セクション）、アンカーポイントの遷移順、見出し情報などを含む。アンカーポイントは、１ページごとの画像の部分領域（典型的にはコマかコマの一部）の視線の止まる位置（アイストップ）である。
　再生シナリオは、各アンカーポイントに対応する詳細画像のテキスト量に適合するような滞在時間を含む。各アンカーポイント周辺での詳細画像のテキスト量が大きければそれだけ一画面内の情報量が多くなるので、その分再生シナリオでは滞在時間が長く設定されている。
　あるいは、各アンカーポイントでの詳細画像の拡大率をサーバ１にアクセスしてきた電子書籍ビューワ２か、機種ごとの画面サイズに適合するような機種ごとの滞在時間を再生シナリオに設定する。
　あるいは、アンカーポイント間の表示切り替えの速度を再生シナリオに設定する。この速度は、再生状態情報として取得した、サーバ１にアクセスしてきた電子書籍ビューワ２のユーザに対応する過去の閲覧のスピードから決定してもよいし、同一の再生コンテンツを再生した複数の電子書籍ビューワ２から再生状態情報として取得した過去の閲覧のスピードを所定の算術式（平均など）に適用することで決定してもよい。
　表示切り替え方法は、電子書籍ビューワ２のユーザによる操作部２７への指示に応じて決定されてもよいし、所定のデフォルトの切り替え方法としてもよいし、コンテンツ解析情報に基づいて設定されてもよい。例えば、あるコマａのコンテンツ内のキャラクタの視線方向の移動先がアンカーポイントの移動方向の先であるコマｂと一致するならば、コマａからコマｂへの表示切り替え方法をスクロールに設定する。
　読み上げ音声に関する情報。例えば、読み上げ音声の内容、開始タイミング／終了タイミング、読み上げスピード、読み上げ音声ボリューム、読み上げ話者属性（性別、年齢など）。読み上げ音声の内容は、録音音声でもよいし、人工音声でもよい。読み上げ音声の内容が人工音声の場合は、これを吹き出しおよび／または付随音声の内容と共通化できる。
　ページ情報。例えば、左開き／右開き、改行方向（縦書きの場合）。
　付随音声に関する情報。例えば、擬音や効果音の内容（原文および翻訳文のテキスト情報）、出現回数、出現コマ、ボリューム、開始タイミング／終了タイミング、スピード、音量。擬音はページ情報解析部１０によりコンテンツ画像から取得されたものでもよいし入出力部１７などから入力されたものでもよい。例えば、吹き出しに入っていない文字情報が擬音の内容となる。擬音に対応する各種言語の翻訳文も、この情報に含まれうる。
　再生エフェクトに関する情報。例えば、端末振動、画面を揺らす、画面フラッシュ、画面切り替えといったエフェクトの種類と開始タイミング。
　画面拡大などのレイアウト変更の可否を示す変更可否情報。
　その他の情報。例えば、ページ余白の領域とその領域に配置する広告データ。その他の情報に含まれる変更可否情報は、レイアウト変更の可否など、オリジナルコンテンツからの改変の可否を示す設定情報である。例えば、翻訳文表示、吹き出し拡大、吹き出し形状変更、画像変更、台詞や擬音の音声読み上げ、ページ全体の左右反転などの可否を示す。なお、改変項目ごとに独立に改変の可否を設定可能である。例えば、翻訳文表示は許可するが、ページ全体の左右反転は禁止するといった設定が可能である。スクロール再生（スクロールビュー）は許可するが、コマ再生（コマビュー）は禁止するといった設定も可能である。あるいはその他の情報は、ページめくりに関する情報（たとえば、左開き／右開き）、改行方向（縦書きの場合）などのページ情報を含む。
　ページ情報解析部１０は、ＤＢ１１に蓄積されたコンテンツ画像を解析する。解析の結果取得できた情報は、付帯情報となる。例えば、ページ解析結果に関する情報は、ページごとのコンテンツの要素（コマ、描画、描画内の登場キャラクタの種類、吹き出し、セリフ、テキスト、表、図など）のレイアウト、コンテンツの要素の読み順、キャラクタの特徴（キャラクタ名、キャラクタの視線方向、キャラクタのサイズ、位置など）、セリフなどのテキストの内容、位置、量（文字数）、ページ／セクション／章などの区切りなどを含む。
　ページ情報解析部１０によるページ情報の解析および取得のためには、公知の画像解析技術、テキスト解析技術が使用される。例えば、顔、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、それらの画像情報に関する特徴量に基づき自動検出されてもよい。コンテンツの要素の自動検出はマシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の領域のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定する。
　あるいは、ＯＣＲにより、吹き出し内部のテキスト文章（セリフ）を認識し、それを囲む領域をセリフ領域と認識してもよい。読み出されたセリフの各文字は、文字の向きに応じてソートされる。例えば、セリフが縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。
　コマ番号またはセリフ番号は、所定のルールに従って決定される。例えば、コンテンツの種類がマンガの場合、コンテンツ解析情報に含まれるコマまたは吹き出しの位置が最も右上のものから最も左下のものにかけて各コマまたは吹き出しの代表点（コマまたは吹き出しの中心や重心など）を順次水平方向に走査することでページ番号またはセリフ番号が決定される。
　各コマの代表点は、１ページごとのコンテンツの要素の視線の止まる位置（アンカーポイント）となり、そのアンカーポイントを起点に、コンテンツの表示単位がスクロールや切り替えによって切り替わる。
　あるいは、図示は省略するが、コンテンツの作者に応じたルールに従ってページ番号またはセリフ番号が決定されることもできる。
　あるいは、コンテンツ解析ルールは、コンテンツの作者や種類に応じた規定のルールだけでなく、人工知能により学習されたコンテンツの作者や種類に応じたルールでもよい。
　ルール学習は、例えば次のように行う。まず、複数の基本パターンについてそれぞれ正解ルールを予め用意しておく。ページ情報解析部１０は、複数の基本パターンについてそれぞれ特徴量（コマ境界線の太さや長さなど）を抽出する。そしてページ情報解析部１０は、抽出された特徴量から、コンテンツ作成者の想定しているコマの読み進み順を推定する。ページ情報解析部１０は、基本パターンごとに推定した読み進み順と正解ルールとを比較して、コマの読み進み順を推定するパラメータを最適化する。ページ情報解析部１０は、この最適化されたパラメータに従ってマンガのコマの読み順を推定する。
　説明の簡略のため、オリジナルコンテンツはマンガであり、オリジナルコンテンツ画像は、マンガの各ページに対応する画像であるとする。マンガとは、絵（実写、描画を問わない）とセリフの双方からなるコンテンツである。
　再び図１を参照すると、電子書籍ビューワ２はスマートフォン、タブレットコンピュータなどの携帯型情報端末で構成され、画像を再生可能な表示手段、通信手段、操作検知手段、音声再生手段、情報処理装置などを備えている。
　具体的には、電子書籍ビューワ２は、データベース（ＤＢ）２１、表示部２４、コンテンツ表示制御部２５、音声再生部２６、操作部２７、スピーカ２８、入出力部２９を備える。
　表示部２４は、ＬＣＤなどの表示装置で構成される表示手段である。操作部２７は、タッチパネルなどで構成される操作検知手段である。好ましくは、操作部２７は、表示部２４に積層されており、表示部２４に対するシングルタップ、ダブルタップ、スワイプ、長押しなどの各種操作を検知できる。
　音声再生部２６は、コンテンツファイルに格納された音声に関する情報（読み上げ音声に関する情報および／または付随音声に関する情報）を音声化してスピーカ２８から出力する回路である。
　入出力部２９は、サーバ１の入出力部１７から出力されたコンテンツファイルを入力する手段である。典型的には、入出力部１７および入出力部２９は、通信手段であるが、コンピュータ読み取り可能な記録媒体に対する書き込み・読み出し手段であってもよい。
　ＤＢ２１は、ＤＢ１１と同等の情報を格納する。すなわち、電子書籍ビューワ２が、サーバ１に電子書籍の送信を要求すると、サーバ１は、入出力部２９を介してＤＢ１１のコンテンツファイルをＤＢ２１にエクスポートし、ＤＢ２１に格納する。ただし、ＤＢ１１の情報とＤＢ２１の情報は完全に同じである必要はない。ＤＢ１１は、様々なユーザからの要求に応えるため、様々な種類のコンテンツ画像、例えば、異なる作者のマンガの各巻のコンテンツ画像を格納するライブラリである。ＤＢ２１には、電子書籍ビューワ２のユーザが閲覧したいコンテンツに関係するコンテンツファイルのみが格納されていれば足りる。
　コンテンツ表示制御部２５は、表示部２４に対するコンテンツの表示制御を行う。詳細は後述する。
　図４はサーバ１と電子書籍ビューワ２との間で実行される配信処理のフローチャートを示す。Ｓ１・Ｓ４は電子書籍ビューワ２が実行し、Ｓ２・Ｓ３はサーバ１が実行する。この処理をサーバ１および電子書籍ビューワ２にそれぞれ実行させるプログラムは、サーバ１および電子書籍ビューワ２にそれぞれ備えられたコンピュータ読み取り可能な記憶媒体（ＲＡＭ、ＲＯＭ、ＣＤＲＯＭなど）に記憶されている。
　Ｓ１では、電子書籍ビューワ２は、入出力部２９を介して、コンテンツ要求をサーバ１に送信する。
　Ｓ２では、サーバ１は、スクロールビューまたはコマビューに対応するコンテンツ要求を待機しており、入出力部１７を介して電子書籍ビューワ２からコンテンツ要求を受信すると、Ｓ３に進む。
　Ｓ３では、サーバ１は、コンテンツファイルを電子書籍ビューワ２に送信する。すなわち、サーバ１は、スクロールビューに対応するコンテンツ要求があった場合は、スクロールビューに対応するコンテンツファイルを送信し、コマビューに対応するコンテンツ要求があった場合は、コマビューに対応するコンテンツファイルを送信する。
　Ｓ４では、電子書籍ビューワ２は、コンテンツファイルを受信し、ＤＢ２１に格納する。そして、後述の表示処理に進む。コンテンツ画像の送信は、ページ単位あるいはコマ単位で行われてもよく、付帯情報も、送信されたコンテンツ画像の単位に対応する情報のみを送信してもよい。
　図５は電子書籍ビューワ２の実行する表示処理（スクロールビュー）のフローチャートを示す。図６は電子書籍ビューワ２の実行する表示処理（コマビュー）のフローチャートを示す。図５または図６のいずれかの処理は、操作部２７からの選択に従って実行される。
　図５を参照すると、Ｓ１０では、コンテンツ表示制御部２５は、ＤＢ２１のコンテンツファイルに基づき、指定されたコンテンツ画像のページの最初の順のアンカーポイントをカレントアンカーポイントに設定する。
　Ｓ１１では、コンテンツ表示制御部２５は、カレントアンカーポイントを基準にして、当該ページ全体の概略画像から表示用の詳細画像を切り出し、これをカレント画像とする。詳細画像を切り出す代わりに、コンテンツファイルの詳細画像を読み出してカレント画像とすることもできる。
　Ｓ１２では、コンテンツ表示制御部２５は、詳細画像を表示部２４に表示する。
　Ｓ１３では、コンテンツ表示制御部２５は、ＤＢ２１のコンテンツファイルの付帯情報に基づき、カレントアンカーポイントに対応する滞在時間が経過したか否かを判断する。Ｙｅｓの場合はＳ１４に進み、Ｎｏの場合はＳ１２に戻る。
　Ｓ１４では、コンテンツ表示制御部２５は、カレントアンカーポイントが当該ページの最後のアンカーポイントであるか否かを判断する。Ｙｅｓの場合はＳ２１に進み、当該ページの表示を終了する。そして、次のページがあれば、そのページについて、Ｓ１０以降を繰り返す。Ｎｏの場合はＳ１５に進む。
　Ｓ１５では、コンテンツ表示制御部２５は、カレントアンカーポイントからその次の順のアンカーポイントまでを結ぶ線分に沿って、カレントアンカーポイントを起点に所定の単位ずつ（例えば１ドットずつ）増分した位置を、仮アンカーポイントに設定する。この増分はＳ１６～Ｓ１９のループの回数分だけ繰り返される。
　Ｓ１６・Ｓ１７では、コンテンツ表示制御部２５は、当該ページ全体の画像から仮アンカーポイントを基準にして、表示用の詳細画像を切り出し、これを次の詳細画像とする。画像を切り出す代わりに、コンテンツファイルの詳細画像を用いることもできる。
　Ｓ１８では、コンテンツ表示制御部２５は、現在の仮アンカーポイントに対応する詳細画像から次の仮アンカーポイントに対応する詳細画像に切り替えて表示する。この結果、画面は所定の単位ずつスクロールすることになる。
　Ｓ１９では、コンテンツ表示制御部２５は、仮アンカーポイントが、カレントアンカーポイントの次のアンカーポイントに到達したか否かを判断する。Ｙｅｓの場合はＳ１２に戻り、次のアンカーポイントを新たなカレントアンカーポイントとし、そのカレントアンカーポイントに対応する詳細画像を表示する。Ｎｏの場合はＳ１６に戻り、所定の単位ずつのスクロールを継続する。
　図６を参照すると、Ｓ３１では、コンテンツ表示制御部２５は、指定されたページのコンテンツ画像のコマ順序を基準にして、最初のコマをカレントコマとする。
　Ｓ３２では、コンテンツ表示制御部２５は、カレントコマに対応する詳細画像をコンテンツ画像から切り出し、これをカレントコマ画像とする。詳細画像を切り出す代わりに、コンテンツファイルの詳細画像を用いることもできる。
　Ｓ３３では、コンテンツ表示制御部２５は、カレントコマ画像を表示部２４に表示する。
　Ｓ３４では、コンテンツ表示制御部２５は、コンテンツファイルの付帯情報に基づき、カレントコマに対応する滞在時間が経過したか否かを判断する。Ｙｅｓの場合はＳ３５に進み、Ｎｏの場合はＳ３３に戻る。
　Ｓ３５では、コンテンツ表示制御部２５は、カレントコマが当該ページの最後のコマであるか否かを判断する。Ｙｅｓの場合はＳ３６に進み、当該ページの表示を終了する。そして、次のページがあれば、そのページについて、Ｓ３１以降を繰り返す。Ｎｏの場合はＳ３７に進む。
　Ｓ３７では、コンテンツ表示制御部２５は、カレントコマの次の順のコマを、新たにカレントコマに設定する。そして、Ｓ３２に戻り、カレントコマに対応する詳細画像を切り出すか、詳細画像を読み出し、これをカレントコマ画像とする。それ以降の処理は上記と同様である。
　なお、Ｓ１２またはＳ３３において、画像は、操作部２７に入力される画像送り指示に従って切り替わってもよい。切り替わる単位は、アンカーポイント（Ｓ１２）かコマ（Ｓ３３）となる。また、切り替わる順序は、アンカーポイント順あるいはコマ順に従う。ただし、ユーザがページの読みとばしなどの不規則な閲覧を希望する場合もあるため、この順序を無視したコンテンツ画像の切り替わり操作が許容されてもよい。
　図７は電子書籍ビューワ２の実行するセリフ処理のフローチャートを示す。この処理は、Ｓ１２またはＳ３３と並行して実行される。
　Ｓ４１では、コンテンツ表示制御部２５は、ＤＢ２１のコンテンツファイルに基づき、コンテンツ画像の表示を開始する。これはＳ１２またはＳ３３と同様である。
　Ｓ４２では、コンテンツ表示制御部２５は、操作部１６から、吹き出し内のセリフ表示方向として「横書き」が指示されたか、「縦書き」が指示されたかを判断する。「横書き」の指示があった場合はＳ５１に進み、「縦書き」の指示があった場合はＳ６１に進む。
　Ｓ５１では、コンテンツ表示制御部２５は、表示指定のあった画像領域に対応する吹き出し情報と、当該吹き出しに対応する横書きのセリフ（翻訳文）のテキスト情報に含まれるテキスト属性（サイズ、フォント、文字間隔、行間隔、行数など）と、当該吹き出しの話者である登場人物の情報を読み出す。
　Ｓ５２では、コンテンツ表示制御部２５は、指定された画像領域をページ表示部２４に表示する。また、コンテンツ表示制御部２５は、読み出したテキスト属性に従った横書きの配置でテキスト情報が吹き出しに収まるか否かを判断する。少なくとも、テキスト属性は文字サイズを含む。コンテンツ表示制御部２５は、表示部２４の画面サイズ情報（ＤＢ２１に記憶されている）に従ってその文字サイズを維持したままテキスト情報が吹き出しに収まるか判断する。
　コンテンツ表示制御部２５は、収まると判断した場合は、表示指定のあった画像領域に対応する吹き出しの話者を起点に、縦置き用の吹き出しを描画する。
　コンテンツ表示制御部２５は、収まらないと判断した場合は、さらに、レイアウト変更可であるか否かを付帯情報に基づいて判断し、レイアウト変更可であれば、表示指定のあった画像領域に対応する吹き出しの話者を起点に、横置き用の吹き出しを描画する。
　描画する吹き出しのサイズは、読み出されたテキスト情報をテキスト属性に従って横向きに配置するのに十分である。描画する吹き出しの線の種類は、オリジナルと同じものとする。描画する吹き出しの起点は、オリジナルの吹き出しの起点の近傍とし、起点となる話者を同一に保つ。セリフを翻訳しても吹き出しの話者は同じだからである。また、吹き出しの描画位置は、登場人物の位置と他の吹き出しの位置を避け、それらが描画される吹き出しと重ならないようにする。
　コンテンツ表示制御部２５は、読み出したセリフのテキスト情報およびテキスト属性に従い、描画された吹き出しに、文字を横向きに配置する。なお、コンテンツ表示制御部２５は、レイアウト変更不可であれば、横書き文の文字サイズを縮小したり、行数、行間隔、文字間隔を調整し、オリジナルの吹き出しに横書き文を配置する。
　例えば、図８Ａのような縦置きの日本語セリフ「いい――！！」を有するオリジナルコンテンツについて、縦置きの指示があったとする。縦置きの吹き出しに横置きのテキスト情報が収まらない場合、図８Ｂに示すように、「いい――！！」という日本語文に対応する横向きの英語翻訳文「Great!!」が指定のサイズ（テキスト属性で指定される文字サイズか、その文字サイズを所定の限界値を下回らない範囲で小さくしたサイズ）で収まるサイズに吹き出しが描画されている。なお、翻訳文でなく日本語そのもの、あるいは英語以外の言語を横書きにしてもよい。
　コンテンツ表示制御部２５は、横書きの吹き出しのセリフに対応する吹き出しの描画に伴い、元々縦書きのセリフに対応する吹き出しのあった領域の画像情報を消去し、画像情報なしの空白領域とする。
　コンテンツ表示制御部２５は、空白領域を周囲の画像情報で補完する。これは、模様、グラデーション、線分、色彩など、空白領域の周囲の画素情報や画像パターンを検出してこれを複製したり延長したりすることで行われる。周囲の画素情報や画素パターンを検出できない場合は、空白領域は白色などの所定の色で埋められる。
　Ｓ６１では、コンテンツ表示制御部２５は、表示指定のあった画像領域に対応する吹き出しの位置情報と、当該吹き出しに対応する縦書きのセリフ（原文）のテキスト情報およびテキスト属性と、当該吹き出しの話者である登場人物の情報を読み出す。
　Ｓ６２では、コンテンツ表示制御部２５は、吹き出しの位置情報に基づき、当該吹き出し内で、テキスト属性に従い、セリフのテキスト情報を縦書きに配置する（図９参照）。
　Ｓ７１では、音声再生部２６は、音声に関する情報に基づき、音声を再生する。
　まず、音声再生部２６は、コンテンツ表示制御部２５が現在表示している詳細画像に対応するセリフと、セリフに対応する音声と、そのセリフの属するコマに対応する付随音声を判断し、音声再生に関する情報（テキスト情報、登場人物の属性情報、自動読み上げの属性情報、擬音）を付帯情報から取得する。
　図９は、表示中の詳細画像（アンカーポイント３）に対応する音声再生に関する情報の一例を示す。
　音声再生部２６は、音声再生に関する情報から、セリフ音声の属性を識別し、その属性に応じた音声を、スピーカ２８から出力する。例えば、属性が、セリフ話者の年齢＝１５、セリフ話者の性別＝女を示していれば、音声再生部２６は、予め定められた十代前半の女性の音声の属性でセリフ音声を合成し、スピーカ２８から出力する。
　話者に重要性がない（１回限りで登場するなど）、話者に個性がないなどの理由で、セリフ音声の属性がない場合は、デフォルトの属性でセリフ音声を合成する。
　また、読み上げボリュームや読み上げスピードなどの属性がない場合は、対応するセリフの配置される吹き出しの属性や、セリフの属性に基づいてセリフ音声を合成する。
　例えば、吹き出しの種類が、図３Ｂのような大声のセリフを表す場合、音声再生部２６は、当該セリフの読み上げボリュームを「大」とする。あるいは、吹き出しの種類が、図３Ｃのような想像または回想のセリフを表す場合、音声再生部２６は、当該セリフの読み上げボリュームを「小」とする。あるいは、吹き出しの種類が、図３Ｂ・図３Ｃ以外の場合、音声再生部２６は、当該セリフの読み上げボリュームを「中」とする。
　あるいは、セリフの文字が強調文字や「！」マークを含む場合、音声再生部２６は、当該セリフの読み上げボリュームを「大」とする。
　あるいは、セリフの文字間隔が「大」である場合、音声再生部２６は、当該セリフの読み上げスピードを「スロー」とし、セリフの文字間隔が「小」である場合、音声再生部２６は、当該セリフの読み上げスピードを「クイック」とする。
　ここで、音声再生部２６は、吹き出しに配置するセリフの言語と同一の言語で音声化する。ただし、音声再生部２６は、吹き出しの言語とは異なる言語の指定が操作部２７からあれば、その言語で音声化する。
　吹き出しのセリフの表示開始／終了と当該吹き出しのセリフの読み上げの開始／終了は同期する。例えば、吹き出しに関する情報に吹き出しの読み順が含まれていれば、その順に沿って吹き出し内のセリフが読み上げられる。この際、読み上げられているセリフの再生に同期して、セリフ文字に視覚的効果を付与することもできる。例えば、セリフ文字への視覚的効果として、読み上げられているセリフの個々の文字をハイライトしたり、アンダーライン・傍点・着色などの装飾を付与したり、読み上げられているセリフ部分のみをスクロールで示したり、読み上げられていないセリフの個々の文字をグレーアウトしたり、読み上げられたセリフはフェードアウトさせるなどが挙げられる。
　付随音声に関する情報で、付随音声の開始／終了タイミングが指定されている場合、付随音声はそれに従って再生される。そのような指定がない場合、吹き出しのセリフの読み上げの開始／終了と、当該吹き出しの属するコマの付随音声の開始／終了も同期する。例えば、バックグラウンドの文字「わー」といった文字がある場合は、その文字が含まれている詳細画像の表示開始から終了まで、対応する歓声が再生される。
　音声再生部２６は、同一の付随音声が複数のコマに渡って配置されている場合は、それらのコマの表示開始から終了までの間、当該付随音声を繰り返すなどして継続的に再生する。
　このように、本願のコンテンツファイルが電子書籍ビューワ２に提供されることにより、電子書籍ビューワ２は、セリフの言語に応じたセリフ配置、スクロール、セリフの音声再生、擬音や効果音の再生が可能となる。
　なお、図４～７の各処理をコンテンツ配信システム、サーバ１、電子書籍ビューワ２に実行させるためのプログラムは、ＤＢ１１，ＤＢ２１などのコンピュータ読み取り可能な記録媒体に記録されている。
　１：サーバ、２：電子書籍ビューワ

Claims (14)

  1. 　表示手段と、
    　コミックのページ毎又はコマ毎の画像と、前記コミックの登場人物の台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域の情報を含む吹き出し情報と、各吹き出し内の縦書きの原文の台詞を横書きの所定の言語に翻訳した翻訳文を示すテキスト情報であって、吹き出し毎に関連づけられたテキスト情報と、前記ページ毎又はコマ毎の画像を前記表示手段の画面上でスクロールビュー又はコマビューによる閲覧を可能にするための表示制御情報とを含む電子コミックの情報を取得する情報取得手段と、
    　前記取得した表示制御情報に基づいて前記ページ毎又はコマ毎の画像を前記表示手段の画面にスクロール再生又はコマ再生させる画像表示制御手段と、
    　前記表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、
    　前記取得した吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の吹き出し領域内の原文の台詞に替えて翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により翻訳文の全文が入ると判別されると、前記吹き出し領域内に前記翻訳文の全文を表示させ、前記判別手段により翻訳文の全文が入らないと判別されると、前記吹き出し領域に対応する吹き出しを横長の吹き出しに書き替え、この横長の吹き出しの吹き出し領域内に前記翻訳文を表示させる翻訳文表示制御手段と、
    　を備えた電子コミックのビューワ装置。
  2. 　前記判別手段は、前記表示手段の画面サイズの情報を有し、該画面サイズの情報に基づいて前記表示手段の画面に表示される画像中の吹き出し領域であって、前記画面サイズに応じて表示される吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する請求項１に記載の電子コミックのビューワ装置。
  3. 　前記テキスト情報は、文字サイズ及びフォントを含む属性情報を有し、
    　前記翻訳文表示制御手段は、前記翻訳文のテキスト情報と前記文字の属性情報とに基づいて表示用の文字を生成する請求項１又は２に記載の電子コミックのビューワ装置。
  4. 　前記文字サイズを変更させる文字サイズ変更手段を備えた請求項１から３のいずれか１項に記載の電子コミックのビューワ装置。
  5. 　前記表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズと単位で入るように行数、行間隔又は文字間隔を自動的に調整する調整手段を備え、
    　前記判別手段は、前記調整手段により調整された翻訳文の全文が、前記吹き出し領域に入るか否かを判別する請求項１から４のいずれか１項に記載の電子コミックのビューワ装置。
  6. 　前記吹き出し情報は、吹き出しの線の種類を含み、
    　前記翻訳文表示制御手段は、前記吹き出しの書き替え時に前記吹き出しの線の種類に基づいて同じ種類の線を有する吹き出しに書き替える請求項１から５のいずれか１項に記載の電子コミックのビューワ装置。
  7. 　前記吹き出し情報は、吹き出し口の位置情報を含み、
    　前記翻訳文表示制御手段は、前記吹き出しの書き替え時に前記吹き出し口の位置情報に基づいて同じ位置に吹き出し口を有する吹き出しに書き替える請求項１から６のいずれか１項に記載の電子コミックのビューワ装置。
  8. 　前記電子コミックの情報は、前記画像内の登場人物の領域を示す存在領域情報を有し、
    　前記翻訳文表示制御手段は、前記吹き出しの書き替え時に前記存在領域情報に基づいて前記登場人物の領域と重ならないように吹き出しの書き替えを行う請求項１から７のいずれか１項に記載の電子コミックのビューワ装置。
  9. 　前記翻訳文表示制御手段は、前記吹き出しの書き替えにより新たに発生する画像のない領域に、その領域の周囲の画像から類推した画像を描画する請求項１から８のいずれか１項に記載の電子コミックのビューワ装置。
  10. 　前記翻訳文表示制御手段は、前記吹き出しの書き替えにより新たに発生する画像のない領域を、白色又は地色の画像で埋める請求項１から８のいずれか１項に記載の電子コミックのビューワ装置。
  11. 　請求項１から１０のいずれか１項に記載のビューワ装置の機能を含むユーザ端末と、
    　前記ユーザ端末からの要求に応じて前記電子コミックの情報を提供するサーバと、
    　を備えた電子コミックの閲覧システム。
  12. 　請求項１から１０のいずれか１項に記載のビューワ装置を実現させるビューワプログラム。
  13. 　請求項１２に記載のビューワプログラムが記録された記録媒体。
  14. 　表示手段を備えた電子コミックのビューワ装置が、
    　コミックのページ毎又はコマ毎の画像と、前記コミックの登場人物の台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域の情報を含む吹き出し情報と、各吹き出し内の縦書きの原文の台詞を横書きの所定の言語に翻訳した翻訳文を示すテキスト情報であって、吹き出し毎に関連づけられたテキスト情報と、前記ページ毎又はコマ毎の画像を前記表示手段の画面上でスクロールビュー又はコマビューによる閲覧を可能にするための表示制御情報とを含む電子コミックの情報を取得するステップと、
    　前記取得した表示制御情報に基づいて前記ページ毎又はコマ毎の画像を前記表示手段の画面にスクロール再生又はコマ再生させるステップと、
    　前記表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別するステップと、
    　前記取得した吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の吹き出し領域内の原文の台詞に替えて翻訳文を表示させるステップであって、翻訳文の全文が入ると判別されると、前記吹き出し領域内に前記翻訳文の全文を表示させ、翻訳文の全文が入らないと判別されると、前記吹き出し領域に対応する吹き出しを横長の吹き出しに書き替え、この横長の吹き出しの吹き出し領域内に前記翻訳文を表示させるステップと、
    　を実行する電子コミックの表示方法。
PCT/JP2011/076989 2010-12-22 2011-11-24 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、該ビューワプログラムが記録された記録媒体ならびに電子コミックの表示方法 WO2012086357A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2011800621887A CN103339622A (zh) 2010-12-22 2011-11-24 数字漫画观看器设备、数字漫画观看系统、观看器程序、其上记录有观看器程序的记录介质和数字漫画显示方法
US13/922,151 US20130283157A1 (en) 2010-12-22 2013-06-19 Digital comic viewer device, digital comic viewing system, non-transitory recording medium having viewer program recorded thereon, and digital comic display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010286392A JP5674450B2 (ja) 2010-12-22 2010-12-22 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、該ビューワプログラムが記録された記録媒体ならびに電子コミックの表示方法
JP2010-286392 2010-12-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/922,151 Continuation US20130283157A1 (en) 2010-12-22 2013-06-19 Digital comic viewer device, digital comic viewing system, non-transitory recording medium having viewer program recorded thereon, and digital comic display method

Publications (1)

Publication Number Publication Date
WO2012086357A1 true WO2012086357A1 (ja) 2012-06-28

Family

ID=46313639

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/076989 WO2012086357A1 (ja) 2010-12-22 2011-11-24 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、該ビューワプログラムが記録された記録媒体ならびに電子コミックの表示方法

Country Status (4)

Country Link
US (1) US20130283157A1 (ja)
JP (1) JP5674450B2 (ja)
CN (1) CN103339622A (ja)
WO (1) WO2012086357A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212830A (ja) * 2015-05-07 2016-12-15 株式会社トップコミックスＴｏｐｃｏｍｉｃｓ Ｃｏ．，Ｌｔｄ． Ｗｅｂ漫画の多国語サポートシステム

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014042053A1 (ja) * 2012-09-14 2014-03-20 富士フイルム株式会社 電子書籍制作装置、ビューワ装置、電子書籍システム及び電子書籍制作方法
WO2014045722A1 (ja) * 2012-09-19 2014-03-27 富士フイルム株式会社 ページ画像生成装置ならびにその動作制御方法およびその動作制御プログラム
US9415621B2 (en) * 2013-02-19 2016-08-16 Little Magic Books, Llc Interactive book with integrated electronic device
US9436357B2 (en) * 2013-03-08 2016-09-06 Nook Digital, Llc System and method for creating and viewing comic book electronic publications
US9588675B2 (en) 2013-03-15 2017-03-07 Google Inc. Document scale and position optimization
US9342487B2 (en) * 2013-09-04 2016-05-17 Adobe Systems Incorporated Method for layout of speech bubbles associated with characters in an image
JP6176041B2 (ja) 2013-10-02 2017-08-09 富士ゼロックス株式会社 情報処理装置及びプログラム
JP6259804B2 (ja) * 2014-11-26 2018-01-10 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ コンテンツ参加翻訳装置、及びそれを利用したコンテンツ参加翻訳方法
KR102306538B1 (ko) * 2015-01-20 2021-09-29 삼성전자주식회사 콘텐트 편집 장치 및 방법
KR101685105B1 (ko) * 2015-01-27 2016-12-20 네이버 주식회사 만화 데이터 표시 방법 및 만화 데이터 표시 장치
JP2016143310A (ja) * 2015-02-04 2016-08-08 ソニー株式会社 情報処理装置、画像処理方法及びプログラム
JP2017041039A (ja) * 2015-08-19 2017-02-23 日本電信電話株式会社 変換装置、変換方法、及びプログラム
US9881003B2 (en) * 2015-09-23 2018-01-30 Google Llc Automatic translation of digital graphic novels
US20170365083A1 (en) * 2016-06-17 2017-12-21 Google Inc. Automatically identifying and displaying objects of interest in a graphic novel
JP2019061590A (ja) * 2017-09-28 2019-04-18 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
CN111492408A (zh) * 2017-12-27 2020-08-04 株式会社OPTiM 漫画数据显示系统、方法以及程序
JP7075005B2 (ja) * 2018-04-03 2022-05-25 株式会社ミクシィ 情報処理装置、コンテンツ表示方法及びコンテンツ表示プログラム
JP6564910B2 (ja) * 2018-05-31 2019-08-21 日本電信電話株式会社 変換装置、変換方法、及びプログラム
JP7200533B2 (ja) * 2018-08-09 2023-01-10 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
US11450046B1 (en) * 2019-05-07 2022-09-20 Bartel Diks Digital graphics uploading, dialoguing, and commenting system and method of use of the same
CN113835669B (zh) * 2020-06-24 2024-03-29 青岛海信移动通信技术有限公司 电子设备及其语音播报方法
KR102482689B1 (ko) * 2020-09-17 2022-12-29 주식회사 비밀리 대화형 이모티콘 생성 장치 및 방법
WO2023085695A1 (ko) * 2021-11-10 2023-05-19 주식회사 벨루가 이미지 편집 장치
TWI806258B (zh) * 2021-11-25 2023-06-21 宏碁股份有限公司 電子裝置及其操作方法
US20230178065A1 (en) * 2021-12-02 2023-06-08 Jpmorgan Chase Bank, N.A. Evaluating screen content for accessibility
TWI828490B (zh) * 2022-12-23 2024-01-01 創利內容股份有限公司 翻頁式漫畫線上文字翻譯系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108716A (ja) * 1991-10-21 1993-04-30 Oki Electric Ind Co Ltd 機械翻訳装置
JPH11355548A (ja) * 1998-06-03 1999-12-24 Sharp Corp 画像処理装置
JP2007226255A (ja) * 2007-03-30 2007-09-06 Celsys:Kk マンガの表示方法およびマンガを表示する電子機器
JP2009152673A (ja) * 2007-12-18 2009-07-09 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03160568A (ja) * 1989-11-20 1991-07-10 Fujitsu Ltd 画像編集方式
JPH04347779A (ja) * 1991-05-24 1992-12-02 Hitachi Ltd 図形文書処理装置
JP3512386B2 (ja) * 2000-01-20 2004-03-29 株式会社スクウェア・エニックス オンライン複合サービス提供処理方法およびオンライン複合サービス提供処理システム
JP2001338307A (ja) * 2000-05-29 2001-12-07 Sharp Corp 電子まんが作成装置および電子まんが表示装置
JP3486159B2 (ja) * 2000-08-01 2004-01-13 克 三宅 漫画編集支援装置、漫画編集支援システム、および漫画編集支援プログラムを記録した記録媒体
JP2003022269A (ja) * 2001-07-09 2003-01-24 Kyodo Printing Co Ltd 漫画翻訳装置及びそのシステム並びに漫画翻訳方法
JP2004126786A (ja) * 2002-09-30 2004-04-22 Konami Co Ltd 通信装置、プログラム、ならびに通信方法
US20050039138A1 (en) * 2003-08-13 2005-02-17 Aaron Urbina Method and system for displaying comic books and graphic novels on all sizes of electronic display screens.
JP2008084286A (ja) * 2006-09-01 2008-04-10 Toshiba Corp 電子漫画配信サーバ、および翻訳電子漫画作成装置
JP5326910B2 (ja) * 2009-01-20 2013-10-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2010176429A (ja) * 2009-01-29 2010-08-12 Dainippon Printing Co Ltd 電子コンテンツ配信システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108716A (ja) * 1991-10-21 1993-04-30 Oki Electric Ind Co Ltd 機械翻訳装置
JPH11355548A (ja) * 1998-06-03 1999-12-24 Sharp Corp 画像処理装置
JP2007226255A (ja) * 2007-03-30 2007-09-06 Celsys:Kk マンガの表示方法およびマンガを表示する電子機器
JP2009152673A (ja) * 2007-12-18 2009-07-09 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212830A (ja) * 2015-05-07 2016-12-15 株式会社トップコミックスＴｏｐｃｏｍｉｃｓ Ｃｏ．，Ｌｔｄ． Ｗｅｂ漫画の多国語サポートシステム

Also Published As

Publication number Publication date
JP2012133660A (ja) 2012-07-12
CN103339622A (zh) 2013-10-02
US20130283157A1 (en) 2013-10-24
JP5674450B2 (ja) 2015-02-25

Similar Documents

Publication Publication Date Title
JP5674450B2 (ja) 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、該ビューワプログラムが記録された記録媒体ならびに電子コミックの表示方法
WO2012086356A1 (ja) ファイルフォーマット、サーバ、電子コミックのビューワ装置および電子コミック生成装置
JP5634853B2 (ja) 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、ならびに電子コミックの表示方法
US11380365B2 (en) Methods and systems for annotation and truncation of media assets
US10671251B2 (en) Interactive eReader interface generation based on synchronization of textual and audial descriptors
US11657725B2 (en) E-reader interface system with audio and highlighting synchronization for digital books
US8819545B2 (en) Digital comic editor, method and non-transitory computer-readable medium
US20120276504A1 (en) Talking Teacher Visualization for Language Learning
US20110097693A1 (en) Aligning chunk translations for language learners
US8930814B2 (en) Digital comic editor, method and non-transitory computer-readable medium
US8952985B2 (en) Digital comic editor, method and non-transitory computer-readable medium
WO2012086359A1 (ja) ビューワ装置、閲覧システム、ビューワプログラム及び記録媒体
JP2014197341A (ja) 電子書籍制作装置、電子書籍システム、電子書籍制作方法及びプログラム
JP5674451B2 (ja) ビューワ装置、閲覧システム、ビューワプログラム及び記録媒体
JP2012038286A (ja) コンテンツ解析装置、方法およびプログラム
JP2014212476A (ja) コミック画像コマ検出装置、方法及びプログラム
CN117436417A (zh) 演示文稿生成方法、装置、电子设备和存储介质
KR101968599B1 (ko) 입력 텍스트에 따른 스토리 동영상 생성방법 및 장치
US11869384B2 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium
TWM575595U (zh) 電子書語音朗讀裝置
KR102566127B1 (ko) 웹툰을 이용한 외국어 학습 제공 시스템
CN117436416A (zh) 演示文稿生成方法、装置、电子设备及存储介质
KR20140109551A (ko) 증강 현실을 이용한 외국어 학습 장치 및 방법
Kavčič–Čolić et al. DELIVERABLE D11
KR20140087949A (ko) 증강 현실을 이용한 외국어 학습 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11851696

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11851696

Country of ref document: EP

Kind code of ref document: A1