WO2012086359A1 - ビューワ装置、閲覧システム、ビューワプログラム及び記録媒体 - Google Patents

ビューワ装置、閲覧システム、ビューワプログラム及び記録媒体 Download PDF

Info

Publication number
WO2012086359A1
WO2012086359A1 PCT/JP2011/076991 JP2011076991W WO2012086359A1 WO 2012086359 A1 WO2012086359 A1 WO 2012086359A1 JP 2011076991 W JP2011076991 W JP 2011076991W WO 2012086359 A1 WO2012086359 A1 WO 2012086359A1
Authority
WO
WIPO (PCT)
Prior art keywords
balloon
information
sentence
translated
text
Prior art date
Application number
PCT/JP2011/076991
Other languages
English (en)
French (fr)
Inventor
宮本　隆司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2012086359A1 publication Critical patent/WO2012086359A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/53—Processing of non-Latin text

Definitions

  • the present invention relates to a viewer apparatus, a browsing system, a viewer program, and a recording medium that can display a translated sentence obtained by translating an original sentence into a predetermined language in a balloon of an electronic comic image.
  • Patent Document 1 for vertical writing of a manuscript and horizontal writing of a translated sentence, layout information is rotated and converted into a horizontal writing layout.
  • Patent Document 2 if the name does not fit in the balloon frame, the character series is lowered or the character spacing is reduced.
  • the size of the text box is adjusted so that all the characters of the inserted name can be accommodated without any shortage. Adjust the vertical and horizontal length of the text box according to the vertical / horizontal type and character size.
  • a belt-like telop area is provided on the display screen, and the translated sentence for the speech in the speech balloon is displayed as subtitles in the telop area.
  • Patent Document 6 the omission of the pattern that occurs at the original position of the image is compensated from the constituent pattern of the surrounding image to close it.
  • Patent Document 5 discloses a configuration in which a translated sentence is displayed in a belt-like telop area, but when the translated sentence is displayed around the image, the user recognizes the correspondence between the characters and the translated sentence. It is not easy to do this, and if the translated sentence is mixed with the original sentence, the user cannot properly observe the translated sentence simply by setting a belt-like telop area at the position of the balloon. In addition, when a translated sentence protrudes outside the balloon, there is a problem that characters in the image are hidden in the translated sentence. In addition, some authors do not want to allow changes to the contents of images outside the balloon or changes to the layout, even if the changes are allowed until the translation is displayed.
  • the present invention has been made in view of such circumstances so that when a user browses an electronic comic, the user can appropriately observe the translated sentence while protecting the rights of the author.
  • the purpose is to do.
  • the present invention includes display means, balloon area information indicating an existence area in the image of a balloon in which an image of each page or frame of a comic, and a speech of a comic character is entered.
  • Speech information including text information including translation information obtained by translating the speech of the original text in each speech balloon into a predetermined language, and text information associated with each speech balloon, and the image on the screen of the display means for scroll reproduction or frame
  • Information acquisition means for acquiring electronic comic information including display control information for display by reproduction, and displaying the image on the screen of the display means by scroll reproduction or frame reproduction based on the acquired display control information
  • the entire translated sentence corresponding to the speech balloon is set in advance.
  • Determination means for determining whether or not the character size is entered, and the translation instead of the original text in the speech balloon in the image displayed on the screen based on the acquired speech balloon information and text information
  • a translated sentence display control means for displaying a sentence, and when the determining means determines that the entire sentence of the translated sentence is entered, the translated sentence is displayed in the balloon, and the determining means causes the translated sentence to be displayed.
  • the viewer apparatus is provided with a translated sentence display control means for scrolling the translated sentence within the balloon when it is determined that the whole sentence of the sentence does not enter.
  • the speech balloon in the comic image based on the size of the speech balloon in the comic image, the length of the translated sentence in the speech balloon, and the preset character size, it is determined whether or not the text of the translated text is included in the speech balloon. If it is determined that the entire sentence of the translated sentence is included, the entire sentence of the translated sentence is displayed instead of the original sentence without scrolling in the balloon, and if it is determined that the entire sentence of the translated sentence is not included, the balloon Since the line translation is scrolled, the user can appropriately observe the line translation while protecting the author's rights.
  • the determination unit determines whether or not the entire sentence of the translated sentence corresponding to the balloon is placed in a preset character size in a balloon displayed according to the screen size of the display unit. Is determined.
  • the text information includes character attribute information indicating a character size and a character type
  • the translated sentence display control means is for display based on the text information and the character attribute information. Generate characters.
  • a character size changing means for changing the character size is provided.
  • the translated sentence display control unit adjusts the number of lines, the line interval, or the character interval of the translated sentence arranged in a balloon in an image displayed on the screen of the display unit.
  • the discriminating unit discriminates whether or not the entire sentence of the translated sentence when adjusted by the translated sentence display control unit enters the balloon.
  • the translated sentence display control means scrolls line by line or scrolls all lines simultaneously.
  • the electronic comic information includes information related to a scroll method including at least one of a scroll speed, a scroll direction, scroll start, stop, pause, and repeat method of the translated sentence.
  • the translated sentence display control means scrolls the translated sentence based on information on the scroll method.
  • the translated sentence display control means scrolls the translated sentence endlessly when scrolling the translated sentence in the balloon area.
  • it comprises selection means for selecting whether or not to display an original sentence or translation in the balloon, and the translated sentence display control means selects the display of the translated sentence by the selection means Only when the translation is displayed in the balloon.
  • voice translation means for voice reproduction of the translation sentence is provided, and the translation sentence display control means scrolls the translation sentence according to the voice reproduction speed of the translation sentence.
  • the present invention also provides a browsing system including a user terminal including the function of the viewer device and a server that provides information on the electronic comic in response to a request from the user terminal.
  • the present invention provides a viewer program for realizing the viewer device according to any one of claims 1 to 10.
  • the present invention also provides a recording medium on which the viewer program is recorded.
  • scroll playback display
  • scroll playback display
  • frame playback images are switched and displayed in units of frames.
  • the movement of the display position in the scroll reproduction and the image switching for each frame in the frame reproduction may be any of manual, automatic, and semi-automatic.
  • FIG. 1 shows a configuration of an electronic book browsing system according to a preferred embodiment of the present invention.
  • This system includes a server 1 and an electronic book viewer 2.
  • the server 1 includes an operation device that can receive an instruction input from a specific administrator, an input / output device that can input (acquire) and output various information, a control device that performs various arithmetic processes and controls, and a storage device.
  • the electronic book viewer 2 includes a display device capable of displaying an image, a sound output device capable of outputting sound, an operation device capable of receiving user instruction input, an input / output device capable of inputting (acquiring) and outputting various information, It is a user terminal provided with the control device which performs various arithmetic processing and control.
  • the electronic book viewer 2 is configured by a mobile terminal such as a mobile phone, a mobile game machine, and a mobile computer device, for example. It should be noted that an unspecified number of electronic book viewers 2 accessing the server 1 may be used.
  • the server 1 includes an analysis unit 10, a database (DB) 11, an operation unit 16, and an input / output unit 17.
  • DB database
  • the server 1 includes an analysis unit 10, a database (DB) 11, an operation unit 16, and an input / output unit 17.
  • the DB 11 stores electronic comic information 12. Details of the electronic comic information will be described later.
  • the analysis unit 10 is composed of a control device such as a CPU.
  • the DB 11 is configured by a storage device such as a hard disk or a memory.
  • the operation unit 16 includes operation devices such as a keyboard, a mouse, and a touch pad.
  • the electronic comic information includes an analysis result output from the analysis unit 10, information input from the operation unit 16, or information input via the input / output unit 17.
  • the analysis unit 10 analyzes a digital content image (manga image) generated from the original content and generates incidental information of the content image.
  • the original content is a book including a manga image
  • the content image to be distributed is a page-unit (or frame-unit) image (regardless of live-action or drawing).
  • the content image includes a speech balloon as shown in FIGS. 2A to 2D and a dialogue within the speech balloon.
  • FIG. 3 shows electronic comic information composed of a header, a page-based (or frame-based) content image, and supplementary information of the content image.
  • the electronic comic information is composed of one file, but the content image and the incidental information may be stored separately in different files and may be composed of a plurality of files.
  • the header indicates file attributes (file name, etc.).
  • a content image is a manga image in page units (or frame units) and is associated with page numbers (or frame numbers).
  • the content image is created, for example, by converting the original content into electronic data using a scanner or the like.
  • Original content is organized in pages, such as manga, newspapers, weekly magazines, office documents (such as presentation documents), textbooks, and reference books.
  • the storage format of the content image is arbitrary, and is stored in a format such as a PDF file or a JPEG image file.
  • the content image includes a schematic image and a detailed image (high resolution data), and is prepared for each page, frame, or anchor point. Information indicating the enlargement permission area may be added.
  • the incidental information includes search information, balloon information, text information, character information, display control information, automatic reading attribute information, reproduction effect information, and other information.
  • Search information is tag information used for search. For example, page number (page identification information), frame number (frame identification information), episode number (episode identification information, indicating, for example, what episode), title, author, publisher (copyright owner), total number of pages Such information may be included.
  • Balloon information is information regarding balloons in content images in page units (or frame units). For example, balloon area information indicating the existence area in the content image of the speech balloon, the shape of the speech balloon, the position and orientation of the speech balloon origin (the speech balloon vertex), the balloon stroke attribute (dotted line, solid line, etc.), content image elements (Such as the speaker) and the relative position of the speech balloon origin (for example, the minimum distance between the speech balloon vertex and the speaker's face pointed by the speech balloon vertex), the speech balloon size, the speech speaker identification information, and the speech balloon belonging It is a top.
  • balloon area information indicating the existence area in the content image of the speech balloon, the shape of the speech balloon, the position and orientation of the speech balloon origin (the speech balloon vertex), the balloon stroke attribute (dotted line, solid line, etc.), content image elements (Such as the speaker) and the relative position of the speech balloon origin (for example, the minimum distance between the speech balloon vertex and the speaker's face pointed by the speech balloon vertex), the speech balloon size, the speech
  • the balloon area information is, for example, information indicating the position of the balloon drawing line (frame line) in the content image (for example, position information of a plurality of points corresponding to the balloon shape on the drawing line, or vector information of the entire drawing line).
  • the balloon area information may be bitmap information indicating the entire area (range) of the balloon.
  • the balloon area information may be represented by a specific position (center position) of the balloon and the size of the balloon. For example, if there are four types of balloons as shown in FIGS. 2A to 2D, the identification information A to D corresponding to each type is stored as the attribute of the stroke drawn line.
  • the text information is information related to the text in the content image. For example, text (sentence), character attribute information, number of lines, line spacing, character spacing, display switching method, language used, vertical writing / horizontal writing, and reading direction corresponding to each frame and each balloon.
  • the character attribute information includes a character size (number of points, etc.) and a character type (font, emphasized character, etc.).
  • the text information includes the speech of the speaker in the speech balloon.
  • translated texts of various languages corresponding to the lines of the original text arranged in the balloon and the language used may be included in this text information.
  • the display switching method may include scroll control information (scroll method) such as scroll speed, scroll direction, scroll start, stop, pause, and repeat method.
  • Character information is information about the speaker of the speech in the speech balloon.
  • speaker area information such as face area information
  • speaker identification information such as name
  • speaker attributes such as speaker attributes, age, etc.
  • a speaker means a source of speech bubbles, and includes not only human beings but also non-living animals such as animals, telephones, personal computers, electronic devices, and robots.
  • Display control information is information related to display control in page units or frame units. This information includes screen scrolling and / or screen switching.
  • the screen scroll information may include, as detailed information, scroll speed, scroll direction, scroll order, scroll start, end, pause, repeat method, and the like.
  • the screen switching information may include, as detailed information, switching units (such as frames), switching timing determination methods (manual, automatic, semi-automatic), display effects associated with switching (wipe, fade-in / fade-out, dissolve), and the like. .
  • Attribute information for automatic reading includes, for example, reading speed, volume, speaker emotion, and the like.
  • Display control information includes playback scenarios.
  • the playback scenario consists of the magnification rate of the detailed image, which is the unit of the partial display area of the content image, the display switching speed from the detailed image corresponding to the previous anchor point to the detailed image corresponding to the next anchor point, and the display switching.
  • Method saccharging, fade-out / fade-in, etc.
  • gaze stop time at each anchor point or frame that is, duration of display of detailed image corresponding to each anchor point, overview image in content and details Image positioning (page, section), transition order of anchor points, heading information, and the like are included.
  • the anchor point is a position (ice top) where the line of sight stops in a partial area (typically a frame or a part of a frame) for each page.
  • the playback scenario includes a stay time that matches the text amount of the detailed image corresponding to each anchor point. Since the amount of information in one screen increases as the amount of text in the detailed image around each anchor point increases, the stay time is set longer in the playback scenario.
  • the electronic book viewer 2 that has accessed the server 1 for the enlargement rate of the detailed image at each anchor point, or the residence time for each model that matches the screen size for each model is set in the playback scenario.
  • This speed may be determined from the past browsing speed corresponding to the user of the electronic book viewer 2 who has accessed the server 1 acquired as the playback state information, or a plurality of electronic books that have played back the same playback content You may determine by applying the speed of the past browsing acquired from the viewer 2 as reproduction
  • the display switching method may be determined according to an instruction from the user of the electronic book viewer 2 to the operation unit 27, may be a predetermined default switching method, or may be set based on content analysis information. . For example, if the movement destination in the line-of-sight direction of the character in the content of a certain frame a coincides with frame b that is the destination of the anchor point movement direction, the display switching method from frame a to frame b is set to scroll.
  • the information related to the reading voice includes, for example, the contents of the reading voice, the start timing / end timing, the reading speed, the reading voice volume, and the reading speaker attributes (gender, age, etc.).
  • the content of the read-out voice may be a recorded voice or an artificial voice. When the content of the reading voice is an artificial voice, it can be shared with the contents of the speech balloon and / or the accompanying voice.
  • onomatopoeia also includes information on accompanying audio.
  • the contents of onomatopoeia and sound effects text information of the original text and translated text
  • the onomatopoeia may be acquired from the content image by the analysis unit 10 or may be input from the input / output unit 17 or the like.
  • the character information not included in the balloon is the content of the onomatopoeia. Translations in various languages corresponding to onomatopoeia can also be included in this information.
  • Playback effect information is information related to playback effects.
  • the types of effects such as terminal vibration, screen shaking, screen flash, screen switching, and start timing.
  • Other information includes page information such as information about page turning (for example, left / right opening) and line feed direction (for vertical writing). Further, the other information includes a page margin area and advertisement data arranged in the area.
  • the other information includes change permission / inhibition information.
  • the change permission / inhibition information is setting information indicating whether or not the original content can be modified, such as layout change permission / inhibition. For example, it indicates whether or not translation display, balloon expansion, balloon shape change, image change, speech reading of dialogue and onomatopoeia, and horizontal reversal of the entire page. It is possible to set whether or not modification can be performed independently for each modification item. For example, it is possible to set to permit the display of the translated text but to prohibit the horizontal flipping of the entire page. Settings such as allowing scroll playback (scroll view) but prohibiting frame playback (frame view) are also possible.
  • the analysis unit 10 of the server 1 analyzes the content image stored in the DB 11.
  • the incidental information obtained as a result of the analysis becomes electronic comic information together with the content image.
  • the electronic comic information may be a page unit, a frame unit, or an episode unit.
  • a known image analysis technique and text analysis technique are used for the analysis of the content image by the analysis unit 10.
  • the position, size, and type of content elements such as a face, an animal, a building, an automobile, and other objects may be automatically detected based on the feature amounts related to the image information.
  • Automatic detection of content image elements may be performed based on machine learning. For example, based on the sample manga for learning, the detection accuracy of the outer edge of the frame or balloon, the threshold for determining the validity of a frame or balloon other than a rectangle, and the like are set empirically.
  • the speech (original text) in the balloon may be recognized by OCR (optical character reading), and the area surrounding it may be recognized as the balloon area.
  • OCR optical character reading
  • Each character of the read dialogue is sorted according to the direction of the character. For example, if the dialogue is written vertically, it is sorted from the beginning to the end of the column, and from the right column to the left column.
  • the frame number or dialogue number is determined according to a predetermined rule. For example, the representative point of each frame or balloon (such as the center or the center of gravity of the frame or balloon) is sequentially scanned in the horizontal direction from the top right to the bottom left of the frame or balloon included in the content analysis result information. Thus, the page number or dialogue number is determined.
  • the representative point of each frame is the position (anchor point) where the line of sight of the content element for each page stops, and the display unit of the content is switched by scrolling or switching starting from the anchor point.
  • the page number or dialogue number may be determined according to a rule according to the author of the content.
  • the content analysis rule may be a rule according to the author and type of content learned by artificial intelligence, as well as a rule according to the author and type of content.
  • Rule learning is performed as follows, for example. First, correct rules are prepared in advance for each of a plurality of basic patterns. The analysis unit 10 extracts feature quantities (thickness and length of the frame boundary line) for each of the plurality of basic patterns. Then, the analysis unit 10 estimates the reading order of frames assumed by the content creator from the extracted feature values. The analysis unit 10 compares the reading order estimated for each basic pattern with the correct rule, and optimizes the parameter for estimating the reading order of the frames. The analysis unit 10 estimates the reading order of the comic frames according to the optimized parameters.
  • the analysis unit 10 analyzes the content image stored in the DB 11.
  • the information acquired as a result of the analysis is incidental information.
  • the electronic comic information includes information related to the page analysis result of the analysis unit 10.
  • a known image analysis technique and text analysis technique are used.
  • the position, size, and type of content elements such as a face, an animal, a building, an automobile, and other objects may be automatically detected based on the feature amounts related to the image information.
  • Automatic detection of content elements may be performed based on machine learning. For example, based on the sample manga for learning, the detection accuracy of the outer edge of the frame or balloon, the threshold for determining the validity of the frame or balloon other than the rectangular area, and the like are set empirically.
  • the text sentence (serif) inside the balloon may be recognized by OCR, and the area surrounding it may be recognized as a serif area.
  • Each character of the read line is sorted according to the direction of the character. For example, if the words are written vertically, they are sorted from the beginning to the end of the column, and from the right column to the left column.
  • the frame number or serif number is determined according to a predetermined rule. For example, if the content type is manga, the representative point of each frame or balloon (such as the center or center of gravity of the frame or balloon) from the top right to the bottom left of the frame or balloon included in the content analysis information
  • the page number or serif number is determined by sequentially scanning in the horizontal direction.
  • the representative point of each frame is the position (anchor point) where the line of sight of the content element for each page stops, and the display unit of the content is switched by scrolling or switching starting from the anchor point.
  • the page number or the serif number can be determined according to a rule according to the author of the content.
  • the content analysis rule may be a rule according to the author and type of content learned by artificial intelligence, as well as a rule according to the author and type of content.
  • Rule learning is performed as follows, for example. First, correct rules are prepared in advance for each of a plurality of basic patterns. The analysis unit 10 extracts feature quantities (thickness and length of the frame boundary line) for each of the plurality of basic patterns. Then, the analysis unit 10 estimates the reading order of frames assumed by the content creator from the extracted feature values. The analysis unit 10 compares the reading order estimated for each basic pattern with the correct rule, and optimizes the parameter for estimating the reading order of the frames. The analysis unit 10 estimates the reading order of the comic frames according to the optimized parameters.
  • the original content is a manga and the original content image is an image corresponding to each page of the manga.
  • Manga is content that consists of both pictures (whether live-action or drawing) and lines.
  • the electronic book viewer 2 includes a database (DB) 21, a display unit 24, a display control unit 25, an audio playback unit 26, an operation unit 27, an input / output unit 29, and an execution control unit 30.
  • DB database
  • the electronic book viewer 2 includes a database (DB) 21, a display unit 24, a display control unit 25, an audio playback unit 26, an operation unit 27, an input / output unit 29, and an execution control unit 30.
  • the electronic comic information includes, as described above, content information for each page or frame of a comic, speech balloon information including speech balloon area information indicating a presence area in a content image of a speech balloon in which the dialogue of a comic character is entered,
  • speech balloon information including speech balloon area information indicating a presence area in a content image of a speech balloon in which the dialogue of a comic character is entered
  • text information associated with each speech balloon including text translated from a sentence in the speech balloon translated into a predetermined language, and a content image on the screen of the display unit 24 by scroll playback or frame playback.
  • Display control information Display control information.
  • the display unit 24 is a display unit configured with a display device capable of displaying an image.
  • the display unit 24 is configured by an LCD, for example.
  • the display control unit 25 displays the content image on the screen of the display unit 24 by scroll reproduction (or frame reproduction) based on the display control information in the supplementary information as image display control means.
  • the display control unit 25 serves as a translated text display control unit, instead of the dialogue of the original text in the balloon in the content image displayed on the screen of the display unit 24 based on the balloon information and text information in the supplementary information. , Display the translated text in the balloon. Specifically, the display control unit 25 generates display characters based on the text information and the character attribute information of the accompanying information.
  • the voice reproduction unit 26 and the speaker 28 read out the text in the content image as automatic reading means based on the text information of the auxiliary information and the automatic reading attribute information.
  • the operation unit 27 receives user instruction input.
  • the operation unit 27 may be a touch sensor arranged on the screen of the display unit 24, a key input device, or a pointing device.
  • the input / output unit 29 inputs / outputs various information.
  • the input / output unit 29 of this example is configured by a communication device that communicates with the server 1.
  • the electronic comic information is received by transmitting an electronic comic information request to the server 1 and receiving the electronic comic information from the server 1. get.
  • the input / output unit 29 is not particularly limited to the communication unit as in this example, and may be a unit that performs writing / reading on a computer-readable recording medium.
  • the execution control unit 30 determines whether or not the entire sentence of the translation corresponding to the balloon is included in the balloon in the image displayed on the screen of the display unit 24 as a determination unit. Specifically, the execution control unit 30, based on the screen size information stored in advance in the DB 21 and the balloon information and text information of the accompanying information, in a balloon displayed according to the screen size of the display unit 24. Then, it is determined whether or not the entire sentence of the translated sentence enters with a preset character size.
  • the size of characters displayed on the display unit 24 can be changed by operating the operation unit 27.
  • the display control unit 25 displays the entire sentence of the translated sentence in the balloon, and the execution control unit 30 does not include the entire sentence of the translated sentence. If it is determined, the translation is scrolled in the balloon.
  • the display control unit 25 has a function of adjusting the number of lines, the line spacing, or the character spacing of the translation sentence arranged in the balloon in the image displayed on the screen of the display unit 24.
  • the execution control unit 30 determines whether or not the entire translated sentence when adjusted by the display control unit 25 enters the balloon.
  • the display control unit 25 may scroll and display the translated sentence in accordance with the voice reproduction speed of the translated sentence in the voice reproducing unit 26.
  • the audio playback speed may be extracted from the accompanying information.
  • the information in the DB 11 of the server 1 and the information in the DB 21 of the electronic book viewer 2 do not have to be completely the same.
  • the DB 11 is a library that stores various types of content images, for example, images of each volume of manga by different authors, in order to respond to requests from various users. It is sufficient that only the electronic comic information that the user of the electronic book viewer 2 wants to browse is stored in the DB 21.
  • FIG. 4 is a flowchart of distribution processing executed between the server 1 and the electronic book viewer 2.
  • the electronic book viewer 2 executes S1 and S4, and the server 1 executes S2 and S3.
  • Programs for causing the server 1 and the electronic book viewer 2 to execute this processing are stored in computer-readable storage media (RAM, ROM, CDROM, etc.) provided in the server 1 and the electronic book viewer 2, respectively.
  • the server 1 is waiting for a content request, and when receiving a content request from the electronic book viewer 2 via the input / output unit 17, the process proceeds to S3.
  • the server 1 transmits the electronic comic information 12 stored in the DB 11 as content to the electronic book viewer 2 via the input / output unit 17.
  • the transmission of the electronic comic information 12 may be performed in units of pages or frames.
  • the electronic book viewer 2 receives the electronic comic information 12 via the input / output unit 17 and stores it in the DB 21.
  • the acquisition mode of the electronic comic information is not particularly limited.
  • electronic comic information may be read from a recording medium such as a memory card.
  • the electronic book viewer 2 that has acquired the electronic comic information proceeds to display processing described later.
  • FIG. 5 shows a flowchart of a scroll view display process example (scroll playback process example) executed by the electronic book viewer 2.
  • FIG. 6 is a flowchart of a frame view display process example (frame playback process example) executed by the electronic book viewer 2. The process in either FIG. 5 or 6 is executed according to the selection from the operation unit 27.
  • the display control unit 25 sets the first anchor point of the page of the specified content image as the current anchor point based on the electronic comic information 22 of the DB 21.
  • the display control unit 25 cuts out a display image from the content image of the entire page on the basis of the current anchor point, and sets this as the current image. Instead of cutting out the image, a detailed image can be read out from the electronic comic information 22 to be the current image.
  • the display control unit 25 displays a detailed image on the display unit 24.
  • the display control unit 25 determines whether the stay time corresponding to the current anchor point has elapsed based on the incidental information. In the case of Yes, it progresses to S14, and in No, it returns to S12.
  • the display control unit 25 determines whether or not the current anchor point is the last anchor point of the page. In the case of Yes, it progresses to S21 and the display of the said page is complete
  • the display control unit 25 newly sets the next anchor point next to the current anchor point as the current anchor point.
  • the display control unit 25 cuts out a display image from the image of the entire page on the basis of the current anchor point, and sets this as the next detailed image.
  • a detailed image of the electronic comic information 22 can be used instead of cutting out the image.
  • the display control unit 25 displays the content image while scrolling from the detailed image currently displayed to the next detailed image by a predetermined increment (for example, by one dot).
  • the content display control unit 25 determines whether the scroll display of the content image has reached the next detailed image. If Yes, the process returns to S12, and the next detailed image is displayed. If No, the process returns to S16 and continues scrolling.
  • the display control unit 25 sets the first frame as the current frame based on the frame order of the content image of the designated page.
  • the display control unit 25 cuts out the partial image corresponding to the current frame from the content image, and sets this as the current frame image.
  • a detailed image can be read out from the electronic comic information 22 and used instead of cutting out the image.
  • the display control unit 25 displays the current frame image on the display unit 24.
  • the display control unit 25 determines whether the stay time corresponding to the current frame has elapsed based on the supplementary information of the electronic comic information 22. In the case of Yes, it progresses to S35, and in No, it returns to S33.
  • the display control unit 25 determines whether or not the current frame is the last frame of the page. In the case of Yes, it progresses to S36 and the display of the said page is complete
  • the display control unit 25 newly sets the next frame next to the current frame as the current frame. Then, returning to S32, a partial image corresponding to the current frame is cut out or a detailed image is read out, and this is set as the current frame image. The subsequent processing is the same as described above.
  • FIG. 7 is a flowchart showing an example of content image display processing (S12 in FIG. 5 and S33 in FIG. 6) executed by the electronic book viewer 2. This process is executed by the control device (execution control unit 30) of the electronic book viewer 2 according to the viewer program.
  • FIG. 8 is a content image distributed from the server 1 and shows a content image in which the speech of the original text is contained in the balloon.
  • step S40 the display control unit 25 starts an image display process based on the electronic comic information 22 of the DB 21.
  • the content image is switched in accordance with an image feed instruction input to the operation unit 27.
  • the unit for switching the content image is a page (or frame).
  • the order of switching follows the page number (or frame number). However, since the user may desire irregular browsing such as skipping a page (or frame), a content image switching operation ignoring this order may be allowed.
  • step S42 the display control unit 25 performs the original text display for displaying the dialogue as the original text embedded in the content image, or the translated text display for displaying the translation text included in the supplementary information of the content image. Determine. If the original sentence is displayed, the process proceeds to step S52. If the translated sentence is displayed, the process proceeds to step S44.
  • the operation unit 27 accepts an instruction to select whether to display the original text or the translated text.
  • the original text display is set as the default, and the translated text is displayed only when the selection of the translated text is instructed.
  • step S44 the display control unit 25 uses the balloon information in the content image displayed on the screen of the display unit 24 based on the balloon information and text information of the supplementary information and the screen size information stored in the DB 21. Then, it is determined whether or not the entire translated sentence corresponding to the balloon is entered with a preset character size. If Yes (when the entire sentence of the translated sentence is included in the balloon area), the process proceeds to step S46, and if No (when the entire sentence of the translated sentence is not included in the area of the balloon), the process proceeds to step S50.
  • the horizontal display size of the balloon is compared with the display size of one translated sentence for each horizontal line of the translated sentence, and one translated sentence line is compared. If the display size of is larger, the entire sentence of the translated sentence does not enter the balloon, so it is determined that the balloon needs to be enlarged. If the translated sentence of the dialogue is written vertically, the vertical display size of the balloon is compared with the display size of one translated sentence for each vertical line of the translated sentence, When the display size is larger, it is determined that the balloon needs to be enlarged because the entire sentence of the translated sentence does not enter the balloon.
  • step S46 the display control unit 25 synthesizes the entire sentence of the translated sentence in the balloon area of the content image.
  • the display control unit 25 synthesizes the scroll translation sentence in the balloon area of the content image in step S50.
  • the scroll translated sentence includes the entire translated sentence and scroll control information indicating a scroll method.
  • the scroll control information is information included in the text information in the accompanying information of the electronic comic information received from the server 1.
  • step S52 the display control unit 25 determines whether or not the translated text synthesis of all the balloons in the content image has been completed.
  • step S54 the display control unit 25 causes the display unit 24 to display the content image.
  • original text display translation text non-display
  • a content image shown in FIG. 8 is displayed on the screen of the display unit 24.
  • the entire sentence of the translated sentence (“You" re great. Ritsuko.) is displayed at once in the speech balloon, and in the case of the translated text display, if it is determined in step S44 that the entire sentence of the translated text does not enter the speech balloon area, FIG.
  • the entire translated sentence (“An assistant has been ready for this situation.”) Is scrolled and displayed in the balloon, that is, the display control unit 25 controls the scrolling of the accompanying information. Based on the information, the translated text is scrolled and displayed in the balloon.
  • the content image (page image for each page or frame image for each frame), balloon information including balloon area information indicating the balloon area in the content image, and the original text in each balloon Control for displaying text information including translated text obtained by translating the dialogue of the text into a predetermined language and associated with each balloon, and a content image on the screen of the display unit 24 by scroll playback or frame playback
  • text information including translated text obtained by translating the dialogue of the text into a predetermined language and associated with each balloon
  • a content image on the screen of the display unit 24 by scroll playback or frame playback In the display process of acquiring an electronic comic having information (S4) and displaying the content image by scroll playback or frame playback on the screen of the display unit 24 based on the acquired display control information, at least balloon information and text information In the balloon in the content image displayed on the screen of the display unit 24.
  • the user can browse the entire sentence of the translated sentence in the balloon by scrolling the translated sentence in the balloon.
  • FIG. 11 shows a case where four lines are displayed.
  • the user can view the translated sentence by scrolling from the end of the first line to the beginning of the second line, from the end of the second line to the beginning of the third line, and from the end of the third line to the beginning of the fourth line.
  • You can recognize the contents of the translation by looking at many characters at once.
  • the number of scroll lines is not particularly limited, and is switched by the display control unit 25 based on the incidental information and the display size of the balloon area. Instead of displaying in endless, the number of repetitions may be limited.
  • the display control unit 25 when it is determined by the execution control unit 30 that the entire sentence of the translated sentence does not fall within the balloon area with a preset character size, the display control unit 25, as shown in FIG.
  • the translated text is separated by a line feed and scrolled for each character string.
  • “Now, I can speak English.” Is scrolled on the first line of the speech bubble (upper row), and “Happy, happy, I'm happy.” Is displayed on the second row (lower row) of the speech bubble. Scroll display. If scroll display is performed for each character string in this way, the user can easily recognize the contents of the translated sentence. For example, the display control unit 25 scrolls the entire sentence of the translated sentence adjusted to a plurality of lines one line at a time or all lines simultaneously.
  • the display control unit 25 when it is determined by the execution control unit 30 that the entire sentence of the translation does not fall within the balloon area with a preset character size, the display control unit 25, as shown in FIG. Based on the balloon information of the accompanying information, the number of characters for each line is switched according to the balloon shape. In this way, even for a circular balloon, for example, the number of characters that can be visually recognized (displayed) at the same time can be maximized according to the balloon shape.
  • the execution control unit 30 and the display control unit 25 in FIG. 1 perform various control processes (for example, search, translation display, automatic reading, playback effect, etc.) other than those described in this specification based on the supplementary information in FIG. Others) may be performed.
  • the viewer device may be implemented by any user terminal provided with display means capable of displaying an image.
  • the recording medium on which the viewer program for realizing the viewer device described in the present specification (the electronic book viewer 2 in the embodiment) is recorded may be any recording medium capable of recording the program.
  • Server 2 Electronic book viewer 24: Display unit 25: Display control unit 26: Audio playback unit 27: Operation unit 29: Input / output unit 30: Execution control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Document Processing Apparatus (AREA)

Abstract

　表示部２４の画面に表示される画像中の吹き出し内に、この吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する実行制御部３０と、取得された吹き出し情報及びテキスト情報に基づいて吹き出し内の原文の台詞に替えて翻訳文を表示させる表示制御手段２５であって、翻訳文の全文が入ると判別されると、吹き出し内に翻訳文の全文を表示させ、翻訳文の全文が入らないと判別されると、吹き出し内で翻訳文をスクロールさせる表示制御部２５を備えた。

Description

ビューワ装置、閲覧システム、ビューワプログラム及び記録媒体
　本発明は、電子コミックの画像の吹き出し内に原文の台詞を所定の言語に翻訳した翻訳文を表示することができるビューワ装置、閲覧システム、ビューワプログラム及び記録媒体に関する。
　近年の情報技術革新に伴い、雑誌やコミックなどの紙にプリントされることを前提とした書籍をデジタル化し、携帯端末等の電子書籍ビューワで視聴するという情報配信形態が確立されてきた。
　特許文献１によると、原稿縦書き、翻訳文横書きなら、レイアウト情報を回転し、横書きのレイアウトに変換する。
　特許文献２によると、ネームが吹き出しの枠に収まらない場合には、文字の級数を下げたり、文字間隔を詰めたりする。
　特許文献３によると、文字列を含むブロックの縦方向のサイズは固定し、横方向のサイズのみを拡大する。
　特許文献４によると、流し込んだネームの全文字が縦横過不足無く収まるようにテキストボックスの大きさを調整する。縦組・横組、文字サイズに合わせてテキストボックスの縦横長さを調整する。
　特許文献５によると、表示画面に帯状のテロップ領域を設けて、吹き出し内の台詞に対する翻訳文を、テロップ領域に字幕で表示させる。
　特許文献６によると、画像の元位置に生じるパターンの抜けを周囲の画像の構成パターンから補って塞ぐ。
特開平6-96288号公報 特開2006-185435号公報 特開2005-056043号公報 特開2005-004738号公報 特開2009-098727号公報 特開2000-20687号公報
　しかしながら、電子コミックの吹き出し内で台詞の翻訳文をユーザが適切に観察し得るようにした構成は先行技術でも開示されていない。
　例えば、特許文献５には、翻訳文を帯状のテロップ領域で表示する構成が開示されているが、画像の周囲に翻訳文を表示した場合、ユーザは登場人物と翻訳文との対応関係を認識することが容易でなく、また、吹き出しの位置に帯状のテロップ領域を設定しただけでは、翻訳文が台詞の原文と混在すると、ユーザが翻訳文を適切に観察することができない。また、吹き出の外に翻訳文がはみ出した場合には、画像の登場人物などが翻訳文で隠れてしまう問題もある。また、翻訳文の表示までは改変を認めても、吹き出し外の画像の内容の変更やレイアウトの変更を認めたくない著作者もいる。
　本発明はこのような事情に鑑みてなされたもので、電子コミックをユーザが閲覧する際に、著作者の権利を保護しつつ、ユーザが台詞の翻訳文を適切に観察することができるようにすることを目的とする。
　前記目的を達成するために、本発明は、表示手段と、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記吹き出し内で前記翻訳文をスクロールさせる翻訳文表示制御手段と、を備えたビューワ装置を提供する。
　すなわち、コミックの画像内の吹き出しのサイズと吹き出し内の台詞の翻訳文の長さと予め設定された文字サイズとに基づいて、吹き出し内に翻訳文のテキストが入るか否かが判別されて、台詞の翻訳文の全文が入ると判別されると、吹き出し内にスクロールすることなく原文の台詞に替えて翻訳文の全文が表示され、台詞の翻訳文の全文が入らないと判別されると、吹き出し内で台詞の翻訳文がスクロールされるので、著作者の権利を保護しつつ、ユーザは台詞の翻訳文を適切に観察することができる。
　本発明の一実施形態にて、前記判別手段は、前記表示手段の画面サイズに応じて表示される吹き出し内に、この吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する。
　本発明の一実施形態にて、前記テキスト情報は、文字サイズ及び文字種別を示す文字属性情報を含み、前記翻訳文表示制御手段は、前記テキスト情報と前記文字属性情報とに基づいて表示用の文字を生成する。
　本発明の一実施形態にて、前記文字サイズを変更させる文字サイズ変更手段を備えた。
　本発明の一実施形態にて、前記翻訳文表示制御手段は、前記表示手段の画面に表示される画像中の吹き出し内に配置する前記翻訳文の行数、行間隔又は文字間隔を調整する機能を有し、前記判別手段は、前記翻訳文表示制御手段により調整される場合の翻訳文の全文が、前記吹き出し内に入るか否かを判別する。
　本発明の一実施形態にて、前記翻訳文表示制御手段は、前記調整手段により複数行に調整された翻訳文をスクロールさせる際に、１行ずつスクロールさせ、又は全行を同時にスクロールさせる。
　本発明の一実施形態にて、前記電子コミック情報は、前記翻訳文のスクロールスピード、スクロール方向、スクロールの開始、終了、一時停止、及び繰り返し方法のうちの少なくとも１つを含むスクロール方法に関する情報を含み、前記翻訳文表示制御手段は、前記スクロール方法に関する情報に基づいて前記翻訳文をスクロールさせる。
　本発明の一実施形態にて、前記翻訳文表示制御手段は、前記吹き出し領域内で前記翻訳文をスクロールさせる際に、前記翻訳文をエンドレスでスクロールさせる。
　本発明の一実施形態にて、前記吹き出しに原文の台詞又は翻訳文を表示させるかを選択する選択手段を備え、前記翻訳文表示制御手段は、前記選択手段により翻訳文の表示が選択された時のみ前記吹き出し内に前記翻訳文を表示させる。
　本発明の一実施形態にて、前記翻訳文を音声再生する音声再生手段を備え、前記翻訳文表示制御手段は、前記翻訳文の音声の再生スピードに合わせて前記翻訳文をスクロールさせる。
　また、本発明は、前記ビューワ装置の機能を含むユーザ端末と、前記ユーザ端末からの要求に応じて前記電子コミックの情報を提供するサーバと、を備えた閲覧システムを提供する。
　また、本発明は、請求項１から１０のいずれか１項に記載のビューワ装置を実現させるビューワプログラムを提供する。
　また、本発明は、前記ビューワプログラムが記録された記録媒体を提供する。
　なお、スクロール再生（スクロールビュー）では、画像内の表示位置（切り出し位置）を移動させて表示（スクロール）を行なう。コマ再生（コマビュー）では、コマ単位で画像を切り替えて表示を行なう。スクロール再生における表示位置の移動、及び、コマ再生におけるコマ単位の画像切り替えは、手動、自動、半自動のいずれでもよい。
　電子コミックをユーザが閲覧する際に、著作者の権利を保護しつつ、ユーザが台詞の翻訳文を適切に観察することができる。
閲覧システムの概略構成図 吹き出し（通常）の形状に関する情報の一例を示す図 吹き出し（大声）の形状に関する情報の一例を示す図 吹き出し（想像）の形状に関する情報の一例を示す図 吹き出し（非生物）の形状に関する情報の一例を示す図 電子コミック情報のフォーマットの一例を示す図 電子コミック情報の配信処理を示すフローチャート スクロールビューにおける表示処理の概略を示すフローチャート コマビューにおける表示処理の概略を示すフローチャート 表示処理の詳細を示すフローチャート 原文の台詞入りの表示画像の一例を示す図 吹き出し内に翻訳文をスクロール表示した画像を示す図 吹き出し内に翻訳文の全文をスクロールしないで表示した場合、および吹き出し内に翻訳文を１行でスクロール表示する場合の説明図 吹き出し内に複数行で翻訳文を連続してスクロール表示する場合の説明図 吹き出し内に行ごとにスクロール表示する場合の説明図 吹き出しの形状に応じて各行ごとに文字数を切り替えてスクロール表示する場合の説明図
　以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
　＜第１実施形態＞
　図１は本発明の好ましい実施形態に係る電子書籍閲覧システムの構成を示す。このシステムは、サーバ１と電子書籍ビューワ２とを含む。サーバ１は、特定の管理者の指示入力を受け付け可能な操作デバイス、各種情報の入力（取得）及び出力が可能な入出力デバイス、各種の演算処理及び制御を行なう制御デバイス、記憶デバイスを備えたコンピュータ装置である。電子書籍ビューワ２は、画像を表示可能な表示デバイス、音を出力可能な音出力デバイス、ユーザの指示入力を受け付け可能な操作デバイス、各種情報の入力（取得）及び出力が可能な入出力デバイス、各種の演算処理及び制御を行なう制御デバイスを備えたユーザ端末である。電子書籍ビューワ２は、例えば、携帯電話、携帯型ゲーム機、携帯型コンピュータ装置などの携帯端末で構成される。なお、サーバ１にアクセスする電子書籍ビューワ２は不特定多数であってもよいものとする。
　サーバ１は、解析部１０、データベース（ＤＢ）１１、操作部１６、入出力部１７を備える。
　ＤＢ１１は、電子コミック情報１２を記憶する。電子コミック情報の詳細は後述する。
　解析部１０は、ＣＰＵなどの制御デバイスで構成される。ＤＢ１１は、ハードディスクやメモリなどの記憶デバイスで構成される。操作部１６は、キーボード、マウス、タッチパッドなどの操作デバイスで構成される。
　電子コミック情報は、解析部１０から出力された解析結果、操作部１６から入力された情報、あるいは、入出力部１７を介して入力された情報を含む。
　解析部１０は、オリジナルコンテンツから生成されたデジタルのコンテンツ画像（マンガ画像）を解析し、コンテンツ画像の付帯情報を生成する。
　説明の簡略のため、オリジナルコンテンツはマンガ画像を含む書籍であり、配信されるコンテンツ画像はページ単位（又はコマ単位）の画像（実写、描画を問わない）であるものとする。また、コンテンツ画像は、図２Ａ～Ｄに示すような吹き出しと、吹き出し内の台詞を含んでいるものとする。ただし、吹き出し及び台詞の一方または両方がないページやコマがあってもよい。
　図３は、ヘッダ、ページ単位（又はコマ単位）のコンテンツ画像、及びコンテンツ画像の付帯情報によって構成された電子コミック情報を示す。本例では、電子コミック情報を、ひとつのファイルで構成しているが、コンテンツ画像と付帯情報とを異なるファイルに分けて格納し、複数ファイルで構成してもよい。
　ヘッダは、ファイルの属性（ファイル名など）を示す。
　コンテンツ画像は、ページ単位（又はコマ単位）のマンガの画像であり、ページ番号（又はコマ番号）に対応づけられている。コンテンツ画像は、例えば、スキャナなどでオリジナルコンテンツを電子データ化して作成される。オリジナルコンテンツは、マンガ、新聞、週刊誌、オフィス文書（プレゼンテーション文書など）、教科書、参考書など、ページ単位で組まれている。コンテンツ画像の保存形式は任意であり、ＰＤＦファイルやＪＰＥＧ画像ファイルなどの形式で保存される。
　コンテンツ画像は、概略画像、詳細画像（高解像度データ）を含み、それぞれ、ページ、コマあるいはアンカーポイントごとに用意される。拡大許可領域を示す情報が付加されていてもよい。
　付帯情報は、図３に示すように、検索情報、吹き出し情報、テキスト情報、登場人物の情報、表示制御情報、自動読み上げの属性情報、再生エフェクト情報、その他情報によって構成されている。
　検索情報は、検索に用いるタグ情報である。例えば、ページ番号（ページ識別情報）、コマ番号（コマ識別情報）、エピソード番号（エピソード識別情報、例えば第何話であるかを示す）、タイトル、作者、出版社（版権者）、総ページ数などの情報を含んでいてもよい。
　吹き出し情報は、ページ単位（又はコマ単位）のコンテンツ画像中の吹き出しに関する情報である。例えば、吹き出しのコンテンツ画像内での存在領域を示す吹き出し領域情報、吹き出しの形状、吹き出しの起点（吹き出しの頂点）の位置と向き、吹き出しの描線の属性（点線、実線など）、コンテンツ画像の要素（話者など）と吹き出しの起点との相対的位置関係（例えば吹き出しの頂点と吹き出しの頂点が指し示す話者の顔と最小間隔）、吹き出しのサイズ、吹き出しの話者の識別情報、吹き出しの属するコマなどである。吹き出し領域情報は、例えば、吹き出しの描線（枠線）のコンテンツ画像内での位置を示す情報（例えば描線上の吹き出し形状に対応する複数点の位置情報、あるいは描線全体のベクトル情報）である。吹き出し領域情報は、吹き出しの全領域（範囲）を示すビットマップ情報でもよい。また、吹き出しの特定位置（中心位置）と吹き出しのサイズによって吹き出し領域情報を表してもよい。例えば、図２Ａ～Ｄのような４つの吹き出し種類があれば、その各々に対応する識別情報Ａ～Ｄを吹き出しの描線の属性として記憶する。
　テキスト情報は、コンテンツ画像内のテキストに関する情報である。例えば、各コマおよび各吹き出しに対応する、テキスト（文章）、文字属性情報、行数、行間隔、文字間隔、表示切り替え方法、使用言語、縦書き／横書き、読み方向の区別などである。文字属性情報には、文字サイズ（ポイント数など）、文字種別（フォント、強調文字など）がある。テキスト情報には、吹き出し内の話者の台詞が含まれる。また、吹き出し内に配置された原文の台詞に対応する各種言語の翻訳文とその使用言語（２以上の言語の翻訳文でもよい）も、このテキスト情報に含まれうる。また、吹き出し外に配置されたテキスト（ナレーション、擬音を示す文字列など）やその翻訳文とそのテキストの属性（文字サイズ、フォント、文字装飾など）と、それらの音声読み上げ属性（ボリューム、スピード、繰り返し回数、開始／停止タイミングなど）、このテキスト情報に含まれうる。表示切り替え方法には、スクロールスピード、スクロール方向、スクロールの開始、終了、一時停止、繰り返しの方法などのスクロール制御情報（スクロール方法）を含みうる。
　登場人物の情報は、吹き出しの台詞の話者に関する情報である。例えば、話者（登場人物）のコンテンツ画像（概略画像および詳細画像）内での存在領域を示す話者領域情報（顔領域情報など）、話者の識別情報（名称など）、話者の属性（性別、年齢など）。なお、話者とは、吹き出しのセリフ（台詞）の発生源を意味し、人間だけでなく、動物、電話、パソコン、電子機器、ロボットなどの非生物も含む。
　表示制御情報は、ページ単位又はコマ単位の表示制御に関する情報である。この情報は、画面スクロールおよび／または画面切り替えを含む。画面スクロールの情報は、詳細情報として、スクロールスピード、スクロール方向、スクロール順、スクロールの開始、終了、一時停止、繰り返しの方法などを含みうる。画面切り替えの情報は、詳細情報として、切り替え単位（コマなど）、切り替えタイミングの決定方法（手動、自動、半自動）、切り替えに付随する表示効果（ワイプ、フェードイン／フェードアウト、ディゾルブ）などを含みうる。
　自動読み上げの属性情報は、例えば、読み上げ速度、音量、話者の感情などである。
　表示制御情報は再生シナリオを含む。再生シナリオは、コンテンツ画像の部分的な表示領域の単位となる詳細画像の拡大率、前のアンカーポイントに対応する詳細画像から次のアンカーポイントに対応する詳細画像への表示切り替えの速度および表示切り替え方法（スクロール、フェードアウト／フェードインなど）、各アンカーポイントまたは各コマでの視線の停止時間すなわち各アンカーポイントに対応する詳細画像の表示時間の長さである滞在時間、コンテンツ内の概観画像および詳細画像の位置づけ（ページ、セクション）、アンカーポイントの遷移順、見出し情報などを含む。アンカーポイントは、１ページごとの画像の部分領域（典型的にはコマかコマの一部）の視線の止まる位置（アイストップ）である。
　再生シナリオは、各アンカーポイントに対応する詳細画像のテキスト量に適合するような滞在時間を含む。各アンカーポイント周辺での詳細画像のテキスト量が大きければそれだけ一画面内の情報量が多くなるので、その分再生シナリオでは滞在時間が長く設定されている。
　あるいは、各アンカーポイントでの詳細画像の拡大率をサーバ１にアクセスしてきた電子書籍ビューワ２か、機種ごとの画面サイズに適合するような機種ごとの滞在時間を再生シナリオに設定する。
　あるいは、アンカーポイント間の表示切り替えの速度を再生シナリオに設定する。この速度は、再生状態情報として取得した、サーバ１にアクセスしてきた電子書籍ビューワ２のユーザに対応する過去の閲覧のスピードから決定してもよいし、同一の再生コンテンツを再生した複数の電子書籍ビューワ２から再生状態情報として取得した過去の閲覧のスピードを所定の算術式（平均など）に適用することで決定してもよい。
　表示切り替え方法は、電子書籍ビューワ２のユーザによる操作部２７への指示に応じて決定されてもよいし、所定のデフォルトの切り替え方法としてもよいし、コンテンツ解析情報に基づいて設定されてもよい。例えば、あるコマａのコンテンツ内のキャラクタの視線方向の移動先がアンカーポイントの移動方向の先であるコマｂと一致するならば、コマａからコマｂへの表示切り替え方法をスクロールに設定する。
　読み上げ音声に関する情報は、例えば、読み上げ音声の内容、開始タイミング／終了タイミング、読み上げスピード、読み上げ音声ボリューム、読み上げ話者属性（性別、年齢など）である。読み上げ音声の内容は、録音音声でもよいし、人工音声でもよい。読み上げ音声の内容が人工音声の場合は、これを吹き出しおよび／または付随音声の内容と共通化できる。
　また、付随音声に関する情報が含まれる。例えば、擬音や効果音の内容（原文および翻訳文のテキスト情報）、出現回数、出現コマ、ボリューム、開始タイミング／終了タイミング、スピード、音量。擬音は解析部１０によりコンテンツ画像から取得されたものでもよいし入出力部１７などから入力されたものでもよい。例えば、吹き出しに入っていない文字情報が擬音の内容となる。擬音に対応する各種言語の翻訳文も、この情報に含まれうる。
　再生エフェクト情報は、再生エフェクトに関する情報である。例えば、端末振動、画面を揺らす、画面フラッシュ、画面切り替えといったエフェクトの種類と開始タイミングである。
　その他の情報には、ページめくりに関する情報（たとえば、左開き／右開き）、改行方向（縦書きの場合）などのページ情報が含まれる。また、その他の情報には、ページ余白の領域とその領域に配置する広告データが含まれる。また、その他の情報には、変更可否情報が含まれる。変更可否情報は、レイアウト変更の可否など、オリジナルコンテンツからの改変の可否を示す設定情報である。例えば、翻訳文表示、吹き出し拡大、吹き出し形状変更、画像変更、台詞や擬音の音声読み上げ、ページ全体の左右反転などの可否を示す。なお、改変項目ごとに独立に改変の可否を設定可能である。例えば、翻訳文表示は許可するが、ページ全体の左右反転は禁止するといった設定が可能である。スクロール再生（スクロールビュー）は許可するが、コマ再生（コマビュー）は禁止するといった設定も可能である。
　サーバ１の解析部１０は、ＤＢ１１に蓄積されたコンテンツ画像を解析する。その解析の結果得られた付帯情報は、コンテンツ画像とともに、電子コミック情報となる。電子コミック情報は、ページ単位又はコマ単位でもよいし、エピソード単位でもよい。解析部１０によるコンテンツ画像の解析のためには、公知の画像解析技術、テキスト解析技術が使用される。例えば、顔、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、それらの画像情報に関する特徴量に基づき自動検出してもよい。コンテンツ画像の要素の自動検出はマシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の形状のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定する。
　また、ＯＣＲ（光学文字読取）により、吹き出し内の台詞（原文）を認識し、それを囲む領域を吹き出しの領域と認識してもよい。読み出された台詞の各文字は、文字の向きに応じてソートされる。例えば、台詞が縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。
　コマ番号または台詞番号は、所定のルールに従って決定される。例えば、コンテンツ解析結果の情報に含まれるコマまたは吹き出しの位置が最も右上のものから最も左下のものにかけて各コマまたは吹き出しの代表点（コマまたは吹き出しの中心や重心など）を順次水平方向に走査することでページ番号または台詞番号が決定される。
　各コマの代表点は、１ページごとのコンテンツの要素の視線の止まる位置（アンカーポイント）となり、そのアンカーポイントを起点に、コンテンツの表示単位がスクロールや切り替えによって切り替わる。
　あるいは、図示は省略するが、コンテンツの作者に応じたルールに従ってページ番号または台詞番号が決定されることもできる。
　あるいは、コンテンツ解析ルールは、コンテンツの作者や種類に応じた規定のルールだけでなく、人工知能により学習されたコンテンツの作者や種類に応じたルールでもよい。
　ルール学習は、例えば次のように行なう。まず、複数の基本パターンについてそれぞれ正解ルールを予め用意しておく。解析部１０は、複数の基本パターンについてそれぞれ特徴量（コマ境界線の太さや長さなど）を抽出する。そして解析部１０は、抽出された特徴量から、コンテンツ作成者の想定しているコマの読み進み順を推定する。解析部１０は、基本パターンごとに推定した読み進み順と正解ルールとを比較して、コマの読み進み順を推定するパラメータを最適化する。解析部１０は、この最適化されたパラメータに従ってマンガのコマの読み順を推定する。
　解析部１０は、ＤＢ１１に蓄積されたコンテンツ画像を解析する。解析の結果取得できた情報は、付帯情報となる。
　電子コミック情報には解析部１０のページ解析結果に関する情報が含まれる。解析部１０によるページ情報の解析および取得のためには、公知の画像解析技術、テキスト解析技術が使用される。例えば、顔、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、それらの画像情報に関する特徴量に基づき自動検出されてもよい。コンテンツの要素の自動検出はマシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の領域のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定する。
　あるいは、ＯＣＲにより、吹き出し内部のテキスト文章（セリフ）を認識し、それを囲む領域をセリフ領域と認識してもよい。読み出されたセリフの各文字は、文字の向きに応じてソートされる。例えば、セリフが縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。
　コマ番号またはセリフ番号は、所定のルールに従って決定される。例えば、コンテンツの種類がマンガの場合、コンテンツ解析情報に含まれるコマまたは吹き出しの位置が最も右上のものから最も左下のものにかけて各コマまたは吹き出しの代表点（コマまたは吹き出しの中心や重心など）を順次水平方向に走査することでページ番号またはセリフ番号が決定される。
　各コマの代表点は、１ページごとのコンテンツの要素の視線の止まる位置（アンカーポイント）となり、そのアンカーポイントを起点に、コンテンツの表示単位がスクロールや切り替えによって切り替わる。
　あるいは、図示は省略するが、コンテンツの作者に応じたルールに従ってページ番号またはセリフ番号が決定されることもできる。
　あるいは、コンテンツ解析ルールは、コンテンツの作者や種類に応じた規定のルールだけでなく、人工知能により学習されたコンテンツの作者や種類に応じたルールでもよい。
　ルール学習は、例えば次のように行なう。まず、複数の基本パターンについてそれぞれ正解ルールを予め用意しておく。解析部１０は、複数の基本パターンについてそれぞれ特徴量（コマ境界線の太さや長さなど）を抽出する。そして解析部１０は、抽出された特徴量から、コンテンツ作成者の想定しているコマの読み進み順を推定する。解析部１０は、基本パターンごとに推定した読み進み順と正解ルールとを比較して、コマの読み進み順を推定するパラメータを最適化する。解析部１０は、この最適化されたパラメータに従ってマンガのコマの読み順を推定する。
　説明の簡略のため、オリジナルコンテンツはマンガであり、オリジナルコンテンツ画像は、マンガの各ページに対応する画像であるとする。マンガとは、絵（実写、描画を問わない）とセリフの双方からなるコンテンツである。
　次に、電子書籍ビューワ２について説明する。
　電子書籍ビューワ２は、図１に示すように、データベース（ＤＢ）２１、表示部２４、表示制御部２５、音声再生部２６、操作部２７、入出力部２９、実行制御部３０を備える。
　ＤＢ２１は、電子コミック情報などの各種情報を格納する。電子コミック情報は、前述のように、コミックのページ毎又はコマ毎のコンテンツ画像と、コミックの登場人物の台詞が入る吹き出しのコンテンツ画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、表示部２４の画面にコンテンツ画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む。
　表示部２４は、画像を表示可能な表示デバイスで構成される表示手段である。表示部２４は、例えばＬＣＤにより構成される。
　表示制御部２５は、画像表示制御手段として、付帯情報内の表示制御情報に基づいて、コンテンツ画像を表示部２４の画面にスクロール再生（又はコマ再生）で表示させる。
　また、表示制御部２５は、翻訳文表示制御手段として、付帯情報内の吹き出し情報及びテキスト情報に基づいて、表示部２４の画面に表示されるコンテンツ画像中の吹き出し内の原文の台詞に替えて、その吹き出し内に翻訳文を表示させる。表示制御部２５は、具体的には、付帯情報のテキスト情報と文字属性情報とに基づいて、表示用の文字を生成する。
　音声再生部２６及びスピーカ２８は、自動読み上げ手段として、付帯情報のテキスト情報及び自動読み上げ属性情報に基づいて、コンテンツ画像内のテキストを読み上げる。
　操作部２７は、ユーザの指示入力を受け付ける。操作部２７は、表示部２４の画面上に配置したタッチセンサでもよいし、キー入力デバイス、ポインティングデバイスでもよい。
　入出力部２９は、各種情報の入出力を行なう。本例の入出力部２９は、サーバ１と通信する通信デバイスで構成されており、サーバ１に電子コミック情報要求を送信して、サーバ１から電子コミック情報を受信することで、電子コミック情報を取得する。入出力部２９は、本例のような通信手段には特に限定されず、コンピュータ読み取り可能な記録媒体に対する書き込み・読み出しを行なう手段であってもよい。
　実行制御部３０は、判別手段として、表示部２４の画面に表示される画像中の吹き出し内に、この吹き出しに対応する翻訳文の全文が入るか否かを判別する。実行制御部３０は、具体的には、ＤＢ２１に予め記憶された画面サイズ情報と、付帯情報の吹き出し情報及びテキスト情報とに基づいて、表示部２４の画面サイズに応じて表示される吹き出し内に、翻訳文の全文が予め設定された文字サイズで入るか否かを判別する。
　なお、表示部２４に表示される文字のサイズは、操作部２７の操作により、変更させることが可能である。
　表示制御部２５は、実行制御部３０により吹き出し内に翻訳文の全文が入ると判別されると、吹き出し内に翻訳文の全文を表示させ、実行制御部３０により前記翻訳文の全文が入らないと判別されると、吹き出し内で翻訳文をスクロールさせる。
　また、表示制御部２５は、表示部２４の画面に表示される画像中の吹き出し内に配置する翻訳文の行数、行間隔又は文字間隔を調整する機能を有する。実行制御部３０は、表示制御部２５により調整される場合の翻訳文の全文が、吹き出し内に入るか否かを判別する。
　また、表示制御部２５は、音声再生部２６での翻訳文の音声の再生スピードに合わせて、翻訳文をスクロール表示させてもよい。音声の再生スピードは、付帯情報から抽出すればよい。
　サーバ１のＤＢ１１の情報と電子書籍ビューワ２のＤＢ２１の情報は完全に同じである必要はない。ＤＢ１１は、様々なユーザからの要求に応えるため、様々な種類のコンテンツ画像、例えば、異なる作者のマンガの各巻の画像を格納するライブラリである。ＤＢ２１には、電子書籍ビューワ２のユーザが閲覧したい電子コミック情報のみが格納されていれば足りる。
　図４はサーバ１と電子書籍ビューワ２との間で実行される配信処理のフローチャートをである。Ｓ１・Ｓ４は電子書籍ビューワ２が実行し、Ｓ２・Ｓ３はサーバ１が実行する。この処理をサーバ１および電子書籍ビューワ２にそれぞれ実行させるプログラムは、サーバ１および電子書籍ビューワ２にそれぞれ備えられたコンピュータ読み取り可能な記憶媒体（ＲＡＭ、ＲＯＭ、ＣＤＲＯＭなど）に記憶されている。
　Ｓ１では、電子書籍ビューワ２は、入出力部２９を介して、コンテンツ要求をサーバ１に送信する。
　Ｓ２では、サーバ１は、コンテンツ要求を待機しており、入出力部１７を介して電子書籍ビューワ２からコンテンツ要求を受信すると、Ｓ３に進む。
　Ｓ３では、サーバ１は、ＤＢ１１に記憶されている電子コミック情報１２をコンテンツとして、入出力部１７を介して電子書籍ビューワ２に送信する。なお、電子コミック情報１２の送信は、ページ単位あるいはコマ単位で行われてもよい。
　Ｓ４では、電子書籍ビューワ２は、入出力部１７を介して、電子コミック情報１２を受信し、ＤＢ２１に格納する。
　本例では、電子書籍ビューワ２が、電子コミック情報１２を通信で取得する場合を例に説明したが、電子コミック情報の取得態様は特に限定されない。例えば、メモリカードなどの記録媒体から電子コミック情報を読み込むようにしてもよい。
　電子コミック情報を取得した電子書籍ビューワ２は、後述の表示処理に進む。
　図５は電子書籍ビューワ２の実行するスクロールビューの表示処理例（スクロール再生処理例）のフローチャートを示す。図６は電子書籍ビューワ２の実行するコマビューの表示処理例（コマ再生処理例）のフローチャートを示す。図５または図６のいずれかの処理は、操作部２７からの選択に従って実行される。
　図５を参照すると、Ｓ１０では、表示制御部２５は、ＤＢ２１の電子コミック情報２２に基づき、指定されたコンテンツ画像のページの最初の順のアンカーポイントをカレントアンカーポイントに設定する。
　Ｓ１１では、表示制御部２５は、当該ページ全体のコンテンツ画像からカレントアンカーポイントを基準にして、表示用の画像を切り出し、これをカレント画像とする。画像を切り出す代わりに、電子コミック情報２２から詳細画像を読み出してカレント画像とすることもできる。
　Ｓ１２では、表示制御部２５は、詳細画像を表示部２４に表示する。
　Ｓ１３では、表示制御部２５は、付帯情報に基づき、カレントアンカーポイントに対応する滞在時間が経過したか否かを判断する。Ｙｅｓの場合はＳ１４に進み、Ｎｏの場合はＳ１２に戻る。
　Ｓ１４では、表示制御部２５は、カレントアンカーポイントが当該ページの最後のアンカーポイントであるか否かを判断する。Ｙｅｓの場合はＳ２１に進み、当該ページの表示を終了する。そして、次のページについて、Ｓ１０以降を繰り返す。Ｎｏの場合はＳ１５に進む。
　Ｓ１５では、表示制御部２５は、カレントアンカーポイントの次の順のアンカーポイントを、新たにカレントアンカーポイントに設定する。
　Ｓ１６・Ｓ１７では、表示制御部２５は、当該ページ全体の画像からカレントアンカーポイントを基準にして、表示用の画像を切り出し、これを次の詳細画像とする。画像を切り出す代わりに、電子コミック情報２２の詳細画像を用いることもできる。
　Ｓ１８では、表示制御部２５は、現在表示されている詳細画像から次の詳細画像に向けて、コンテンツ画像を所定の増分ずつ（例えば１ドットずつ）スクロールしつつ表示する。
　Ｓ１９では、コンテンツ表示制御部２５は、コンテンツ画像のスクロール表示が次の詳細画像に到達したか否かを判断する。Ｙｅｓの場合はＳ１２に戻り、次の詳細画像を表示する。Ｎｏの場合はＳ１６に戻り、スクロールを継続する。
　図６を参照すると、Ｓ３１では、表示制御部２５は、指定されたページのコンテンツ画像のコマ順序を基準にして、最初のコマをカレントコマとする。
　Ｓ３２では、表示制御部２５は、カレントコマに対応する部分画像をコンテンツ画像から切り出し、これをカレントコマ画像とする。画像を切り出す代わりに、電子コミック情報２２から詳細画像を読み出して用いることもできる。
　Ｓ３３では、表示制御部２５は、カレントコマ画像を表示部２４に表示する。
　Ｓ３４では、表示制御部２５は、電子コミック情報２２の付帯情報に基づき、カレントコマに対応する滞在時間が経過したか否かを判断する。Ｙｅｓの場合はＳ３５に進み、Ｎｏの場合はＳ３３に戻る。
　Ｓ３５では、表示制御部２５は、カレントコマが当該ページの最後のコマであるか否かを判断する。Ｙｅｓの場合はＳ３６に進み、当該ページの表示を終了する。そして、次のページについて、Ｓ３１以降を繰り返す。Ｎｏの場合はＳ３７に進む。
　Ｓ３７では、表示制御部２５は、カレントコマの次の順のコマを、新たにカレントコマに設定する。そして、Ｓ３２に戻り、カレントコマに対応する部分画像を切り出すか、詳細画像を読み出し、これをカレントコマ画像とする。それ以降の処理は上記と同様である。
　図７は、電子書籍ビューワ２にて実行されるコンテンツ画像の表示処理（図５のＳ１２及び図６のＳ３３）の一例を示すフローチャートである。本処理は、電子書籍ビューワ２の制御デバイス（実行制御部３０）によって、ビューワプログラムに従って実行される。図８は、サーバ１から配信されたコンテンツ画像であって、吹き出し内に原文の台詞が入っているコンテンツ画像を示す。
　ステップＳ４０では、表示制御部２５は、ＤＢ２１の電子コミック情報２２に基づき、画像の表示処理を開始する。コンテンツ画像は、操作部２７に入力される画像送り指示に従って切り替わる。コンテンツ画像の切り替わる単位は、ページ（あるいはコマ）である。また、切り替わる順序は、ページ番号（あるいはコマ番号）に従う。ただし、ユーザがページ（あるいはコマ）の読みとばしなどの不規則な閲覧を希望する場合もあるため、この順序を無視したコンテンツ画像の切り替わり操作が許容されてもよい。
　ステップＳ４２では、表示制御部２５は、コンテンツ画像内に埋め込まれている原文のまま台詞を表示する原文表示を行なうか、コンテンツ画像の付帯情報に含まれる翻訳文を表示する翻訳文表示を行なうかを判定する。原文表示の場合にはステップＳ５２に進み、翻訳文表示の場合にはステップＳ４４に進む。
　例えば、操作部２７により、原文表示を行なうか翻訳文表示を行なうかの選択指示を受け付ける。本例では、原文表示をデフォルトとし、翻訳文表示が選択指示された場合のみ翻訳文表示を行なう。
　ステップＳ４４では、表示制御部２５は、付帯情報の吹き出し情報とテキスト情報とＤＢ２１に記憶されている画面サイズ情報とに基づいて、表示部２４の画面に表示されるコンテンツ画像中の吹き出しの領域内に、その吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する。Ｙｅｓ（吹き出しの領域内に翻訳文の全文が入る場合）であればステップＳ４６に進み、Ｎｏ（吹き出しの領域内に翻訳文の全文が入らない場合）であればステップＳ５０に進む。
　例えば、台詞の翻訳文が横書きである場合には、その翻訳文の横方向の各行ごとに、吹き出しの横方向の表示サイズと翻訳文１行の表示サイズとを比較して、翻訳文１行の表示サイズの方が大きい場合には、吹き出し内に翻訳文の全文が入らないため、吹き出しを拡大する必要があると判定する。台詞の翻訳文が縦書きである場合には、その翻訳文の縦方向の各行ごとに、吹き出しの縦方向の表示サイズと翻訳文１行の表示サイズとを比較して、翻訳文１行の表示サイズの方が大きい場合には、吹き出し内に翻訳文の全文が入らないため、吹き出しを拡大する必要があると判定する。
　吹き出しの領域内に翻訳文の全文が入ると判別された場合、ステップＳ４６にて、表示制御部２５は、コンテンツ画像の吹き出しの領域内に、翻訳文の全文を合成する。
　吹き出しの領域内に翻訳文の全文が入らないと判別された場合、ステップＳ５０にて、表示制御部２５は、コンテンツ画像の吹き出しの領域内に、スクロール翻訳文を合成する。スクロール翻訳文は、翻訳文の全文とスクロール方法を示すスクロール制御情報とを含む。なお、スクロール制御情報は、サーバ１から受信した電子コミック情報の付帯情報内のテキスト情報に含まれていた情報である。
　ステップＳ５２にて、表示制御部２５は、コンテンツ画像内の全ての吹き出しの翻訳文合成が終了したか否かを判定する。
　ステップＳ５４では、表示制御部２５は、コンテンツ画像を表示部２４に表示させる。原文表示（翻訳文非表示）の場合、例えば図８に示すコンテンツ画像が表示部２４の画面に表示される。翻訳文表示の場合であって、ステップＳ４４で翻訳文の全文が吹き出しの領域に入ると判別されていれば、図９中の左側の吹き出し内に示すように、翻訳文の全文（”You’re great. Ritsuko.）を吹き出し内に一度に表示させる。また、翻訳文表示の場合であって、ステップＳ４４で翻訳文の全文が吹き出しの領域に入らないと判別されていれば、図９中の右側の吹き出し内に示すように、翻訳文の全文（"An assistant has been ready for this situation.”）を吹き出し内でスクロールさせて表示させる。即ち、表示制御部２５は、付帯情報のスクロール制御情報に基づいて、吹き出し内で翻訳文をスクロール表示させる。
　以上のように本実施形態では、コンテンツ画像（ページ毎のページ画像又はコマ毎のコマ画像）と、そのコンテンツ画像内の吹き出しの領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、表示部２４の画面上でコンテンツ画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを有する電子コミックを取得し（Ｓ４）、取得された表示制御情報に基づいて表示部２４の画面上でコンテンツ画像をスクロール再生又はコマ再生で表示させる表示処理では、少なくとも吹き出し情報及びテキスト情報に基づいて、表示部２４の画面に表示されるコンテンツ画像中の吹き出し内に、その吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別し（Ｓ４４）、翻訳文の全文が入ると判別された場合には、コンテンツ画像中の吹き出し内の原文の台詞に替えて翻訳文の全文を吹き出し内に合成して表示させ（Ｓ４６及びＳ５４）、翻訳文の全文が入らないと判別された場合には、吹き出し内で翻訳文をスクロールさせる（Ｓ５０及びＳ５４）。
　したがって、吹き出しからはみ出てしまうような長い翻訳文であっても、吹き出し内で翻訳文をスクロール表示させることで、ユーザに翻訳文の全文を吹き出し内で閲覧させることができる。
　以下では、翻訳文スクロールの各種の実施例について、説明する。
　まず、翻訳文スクロールの第１実施例を説明する。実行制御部３０によって、吹き出し内に表示させる翻訳文の全文が予め設定された文字サイズで吹き出しの領域内に入ると判定された場合、表示制御部２５は、図１０に示すように、その翻訳文の全文（例えば“Now, I can speak English. Happy, happy, I’m happy.”）を吹き出し内に表示させる。その一方で、実行制御部３０によって、翻訳文の全文が予め設定された文字サイズで吹き出しの領域内に入らないと判定された場合、表示制御部２５は、翻訳文を吹き出し内で１行でスクロール表示させる。
　次に、翻訳文スクロールの第２実施例を説明する。第２実施例では、実行制御部３０によって、翻訳文の全文が予め設定された文字サイズで吹き出しの領域内に入らないと判定された場合、表示制御部２５は、図１１に示すように、翻訳文を吹き出し内で複数行にわたってエンドレスでスクロール表示させる。なお、図１１には４行表示した場合を示した。ユーザは、吹き出し内で第１行末から第２行先頭に連結し、第２行末から第３行先頭に連結し、第３行末から第４行先頭に連結してスクロールする翻訳文を見ることで、一度に多くの文字を見て翻訳文の内容を認識することができる。なお、スクロールの行数は特に限定されず、付帯情報及び吹き出し領域の表示サイズに基づいて表示制御部２５により切り替えられる。エンドレスで表示する代わりに、繰り返し回数を限定してもよい。
　次に、翻訳文スクロールの第３実施例を説明する。第３実施例では、実行制御部３０によって、翻訳文の全文が予め設定された文字サイズで吹き出しの領域内に入らないと判定された場合、表示制御部２５は、図１２に示すように、翻訳文を改行で区切って、文字列ごとにスクロール表示させる。本例では、吹き出しの第１行（上段行）で“Now, I can speak English.”をスクロール表示させ、吹き出しの第２行（下段行）で“Happy, happy, I’m happy.”をスクロール表示させている。このように文字列ごとにスクロール表示すると、ユーザが翻訳文の内容を認識し易くなる。例えば、表示制御部２５は、複数行に調整した翻訳文の全文を、１行ずつ、又は全行を同時に、スクロールさせる。
　次に、翻訳文スクロールの第４実施例を説明する。第４実施例では、実行制御部３０によって、翻訳文の全文が予め設定された文字サイズで吹き出しの領域内に入らないと判定された場合、表示制御部２５は、図１３に示すように、付帯情報の吹き出し情報に基づいて、行ごとの文字数を吹き出し形状に応じて切り替える。このようにすると、例えば円形状の吹き出しであっても、吹き出し形状に応じて同時に視認可能（表示可能）な文字数を最大とすることができる。
　本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行なってよいのはもちろんである。
　図１の実行制御部３０及び表示制御部２５は、図３の付帯情報に基づいて、本明細書に記載した以外の各種の制御処理（例えば、検索、翻訳文表示、自動読み上げ、再生エフェクト、その他）を行なってもよい。
　なお、ビューワ装置は、画像を表示可能な表示手段を備えたどのようなユーザ端末で実施してもよい。また、本明細書に記載のビューワ装置（実施形態では電子書籍ビューワ２）を実現させるビューワプログラムを記録した記録媒体はプログラムを記録可能などのような記録媒体であってもよい。
　１：サーバ、２：電子書籍ビューワ、２４：表示部、２５：表示制御部、２６：音声再生部、２７：操作部、２９：入出力部、３０：実行制御部

Claims (13)

  1. 　表示手段と、
    　コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、
    　前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、
    　前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、
    　前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記吹き出し内で前記翻訳文をスクロールさせる翻訳文表示制御手段と、
    　を備えたビューワ装置。
  2. 　前記判別手段は、前記表示手段の画面サイズに応じて表示される吹き出し内に、この吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する請求項１に記載のビューワ装置。
  3. 　前記テキスト情報は、文字サイズ及び文字種別を示す文字属性情報を含み、
    　前記翻訳文表示制御手段は、前記テキスト情報と前記文字属性情報とに基づいて表示用の文字を生成する請求項１又は２に記載のビューワ装置。
  4. 　前記文字サイズを変更させる文字サイズ変更手段を備えた請求項１から３のいずれか１項に記載のビューワ装置。
  5. 　前記翻訳文表示制御手段は、前記表示手段の画面に表示される画像中の吹き出し内に配置する前記翻訳文の行数、行間隔又は文字間隔を調整する機能を有し、
    　前記判別手段は、前記翻訳文表示制御手段により調整される場合の翻訳文の全文が、前記吹き出し内に入るか否かを判別する請求項１から４のいずれか１項に記載のビューワ装置。
  6. 　前記翻訳文表示制御手段は、前記調整手段により複数行に調整された翻訳文をスクロールさせる際に、１行ずつスクロールさせ、又は全行を同時にスクロールさせる請求項５に記載のビューワ装置。
  7. 　前記電子コミック情報は、前記翻訳文のスクロールスピード、スクロール方向、スクロールの開始、終了、一時停止、及び繰り返し方法のうちの少なくとも１つを含むスクロール方法に関する情報を含み、
    　前記翻訳文表示制御手段は、前記スクロール方法に関する情報に基づいて前記翻訳文をスクロールさせる請求項１から６のいずれか１項に記載のビューワ装置。
  8. 　前記翻訳文表示制御手段は、前記吹き出し領域内で前記翻訳文をスクロールさせる際に、前記翻訳文をエンドレスでスクロールさせる請求項１から７のいずれか１項に記載のビューワ装置。
  9. 　前記吹き出しに原文の台詞又は翻訳文を表示させるかを選択する選択手段を備え、
    　前記翻訳文表示制御手段は、前記選択手段により翻訳文の表示が選択された時のみ前記吹き出し内に前記翻訳文を表示させる請求項１から８のいずれか１項に記載のビューワ装置。
  10. 　前記翻訳文を音声再生する音声再生手段を備え、
    　前記翻訳文表示制御手段は、前記翻訳文の音声の再生スピードに合わせて前記翻訳文をスクロールさせる請求項１から９のうちいずれか１項に記載のビューワ装置。
  11. 　請求項１から１０のいずれか１項に記載のビューワ装置の機能を含むユーザ端末と、
    　前記ユーザ端末からの要求に応じて前記電子コミックの情報を提供するサーバと、
    　を備えた閲覧システム。
  12. 　請求項１から１０のいずれか１項に記載のビューワ装置を実現させるビューワプログラム。
  13. 　請求項１２に記載のビューワプログラムが記録された記録媒体。
PCT/JP2011/076991 2010-12-22 2011-11-24 ビューワ装置、閲覧システム、ビューワプログラム及び記録媒体 WO2012086359A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010286395A JP2012133663A (ja) 2010-12-22 2010-12-22 ビューワ装置、閲覧システム、ビューワプログラム及び記録媒体
JP2010-286395 2010-12-22

Publications (1)

Publication Number Publication Date
WO2012086359A1 true WO2012086359A1 (ja) 2012-06-28

Family

ID=46313641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/076991 WO2012086359A1 (ja) 2010-12-22 2011-11-24 ビューワ装置、閲覧システム、ビューワプログラム及び記録媒体

Country Status (2)

Country Link
JP (1) JP2012133663A (ja)
WO (1) WO2012086359A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018511102A (ja) * 2015-02-03 2018-04-19 ネイバーウェブトゥーン コーポレーション インターネット漫画コンテンツの流通のための方法とシステム、および記録媒体

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101724144B1 (ko) * 2015-01-28 2017-04-06 네이버 주식회사 만화 데이터 표시 장치 및 방법
CN105718448B (zh) * 2016-01-13 2019-03-19 北京新美互通科技有限公司 一种对输入字符进行自动翻译的方法和装置
WO2018029808A1 (ja) * 2016-08-10 2018-02-15 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体
KR102279164B1 (ko) * 2019-03-27 2021-07-19 네이버 주식회사 인공지능 모델을 이용한 이미지 편집 방법 및 장치
JP6726342B1 (ja) * 2019-07-23 2020-07-22 エヌエイチエヌ コーポレーション サーバ、プログラム、方法及びシステム
KR20220145038A (ko) * 2021-04-21 2022-10-28 삼성전자주식회사 번역을 수행하는 방법 및 전자 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073062A (ja) * 2000-08-23 2002-03-12 Sharp Corp 文章読み上げ装置及び方法並びにこれに利用される記憶媒体
JP2003022269A (ja) * 2001-07-09 2003-01-24 Kyodo Printing Co Ltd 漫画翻訳装置及びそのシステム並びに漫画翻訳方法
JP2010176429A (ja) * 2009-01-29 2010-08-12 Dainippon Printing Co Ltd 電子コンテンツ配信システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108716A (ja) * 1991-10-21 1993-04-30 Oki Electric Ind Co Ltd 機械翻訳装置
JP2001338307A (ja) * 2000-05-29 2001-12-07 Sharp Corp 電子まんが作成装置および電子まんが表示装置
JP3486159B2 (ja) * 2000-08-01 2004-01-13 克 三宅 漫画編集支援装置、漫画編集支援システム、および漫画編集支援プログラムを記録した記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073062A (ja) * 2000-08-23 2002-03-12 Sharp Corp 文章読み上げ装置及び方法並びにこれに利用される記憶媒体
JP2003022269A (ja) * 2001-07-09 2003-01-24 Kyodo Printing Co Ltd 漫画翻訳装置及びそのシステム並びに漫画翻訳方法
JP2010176429A (ja) * 2009-01-29 2010-08-12 Dainippon Printing Co Ltd 電子コンテンツ配信システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018511102A (ja) * 2015-02-03 2018-04-19 ネイバーウェブトゥーン コーポレーション インターネット漫画コンテンツの流通のための方法とシステム、および記録媒体

Also Published As

Publication number Publication date
JP2012133663A (ja) 2012-07-12

Similar Documents

Publication Publication Date Title
JP5674450B2 (ja) 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、該ビューワプログラムが記録された記録媒体ならびに電子コミックの表示方法
US8719029B2 (en) File format, server, viewer device for digital comic, digital comic generation device
JP5634853B2 (ja) 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、ならびに電子コミックの表示方法
US7603620B2 (en) Creating visualizations of documents
WO2012086359A1 (ja) ビューワ装置、閲覧システム、ビューワプログラム及び記録媒体
US8812969B2 (en) Methods for authoring and interacting with multimedia representations of documents
US20080235564A1 (en) Methods for converting electronic content descriptions
US11657725B2 (en) E-reader interface system with audio and highlighting synchronization for digital books
US20190196675A1 (en) Platform for educational and interactive ereaders and ebooks
US20070168852A1 (en) Methods for computing a navigation path
US20110097693A1 (en) Aligning chunk translations for language learners
US20120196260A1 (en) Electronic Comic (E-Comic) Metadata Processing
JP5674451B2 (ja) ビューワ装置、閲覧システム、ビューワプログラム及び記録媒体
JP5312420B2 (ja) コンテンツ解析装置、方法およびプログラム
CA2544391A1 (en) Information storage medium containing subtitles and processing apparatus therefor
KR101968599B1 (ko) 입력 텍스트에 따른 스토리 동영상 생성방법 및 장치
JP5083155B2 (ja) 辞書機能を備えた電子装置およびプログラム
JP6731011B2 (ja) 電子図書の表示用データの作成装置
KR101843133B1 (ko) 판서 영상 생성 방법, 장치 및 컴퓨터 프로그램
WO2014042051A1 (ja) コンテンツ作成装置、方法およびプログラム
JP2022051500A (ja) 関連情報提供方法及びシステム
Erol et al. Multimedia clip generation from documents for browsing on mobile devices
KR102566127B1 (ko) 웹툰을 이용한 외국어 학습 제공 시스템
KR101125358B1 (ko) 컴퓨터를 이용한 멀티미디어 프레젠테이션 운용장치 및 멀티미디어 프레젠테이션의 분할된 제어화면 배치방법
JPH11112698A (ja) 印刷システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11850426

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11850426

Country of ref document: EP

Kind code of ref document: A1