WO2019130492A1 - 漫画データ表示システム、方法及びプログラム - Google Patents

漫画データ表示システム、方法及びプログラム Download PDF

Info

Publication number
WO2019130492A1
WO2019130492A1 PCT/JP2017/047007 JP2017047007W WO2019130492A1 WO 2019130492 A1 WO2019130492 A1 WO 2019130492A1 JP 2017047007 W JP2017047007 W JP 2017047007W WO 2019130492 A1 WO2019130492 A1 WO 2019130492A1
Authority
WO
WIPO (PCT)
Prior art keywords
cartoon
data
frame
order
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/047007
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Priority to US16/958,814 priority Critical patent/US20210073458A1/en
Priority to PCT/JP2017/047007 priority patent/WO2019130492A1/ja
Priority to JP2019561483A priority patent/JP6924544B2/ja
Priority to CN201780097795.4A priority patent/CN111492408A/zh
Publication of WO2019130492A1 publication Critical patent/WO2019130492A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/106Display of layout of documents; Previewing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • G06F16/4387Presentation of query results by the use of playlists
    • G06F16/4393Multimedia presentations, e.g. slide shows, multimedia albums
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/61Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00Two-dimensional [2D] image generation
    • G06T11/60Creating or editing images; Combining images with text
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Definitions

  • the present invention relates to a cartoon data display system, method and program.
  • Manga is an entertainment familiar to many users around the world.
  • Patent Document 1 In the past, reading content printed on paper, such as books and magazines, was the mainstream of how to enjoy manga, but it has communication functions such as mobile phone terminals, smartphones and tablet terminals, and makes digital content clearer With the development of electronic devices that can be displayed, it is becoming mainstream to read comics using these electronic devices (Patent Document 1).
  • the screen When displaying cartoon data on a smartphone or tablet terminal, the screen is scrolled vertically or horizontally to display the contents in order.
  • a relatively small electronic device such as a smartphone with a display screen size of about 4 to 6 inches
  • one frame is displayed on the display screen to increase the visibility of the frame, and the frame It is preferable to display one frame at a time on the display screen at each transition. At that time, it is preferable to enlarge and display the size of the frame according to the size of the display screen.
  • a plurality of frames are usually drawn on one page, and furthermore, the size and arrangement of the frames are not constant.
  • the problem is how to display the frames in the order.
  • the present invention has been made in view of such a demand, and it is an object of the present invention to provide a system for displaying frames in order so that any comics can be scrolled and displayed on a terminal. .
  • the present invention provides the following solutions.
  • the invention according to the first feature is a cartoon data display system for displaying cartoon data on a terminal, and a frame sequential database storing learning results regarding transition of frames of the cartoon data, and cartoon shooting data obtained by shooting a cartoon
  • a cartoon data display system comprising: cartoon data acquisition means to be acquired; and frame display means for arranging and displaying frames included in the acquired cartoon shooting data in order based on the frame order database.
  • the terminal since the frames extracted from the cartoon are arranged in order using the frame order database in which the transition of learned frames is stored, the terminal regardless of the screen size It is possible to provide a system capable of sequentially displaying frames so that they can be scrolled and displayed.
  • An invention according to a second feature is the invention according to the first feature, wherein the frame display means arranges extracted frames vertically, and displays them in order by upper and lower slides with respect to the terminal. I will provide a.
  • the extracted frames are vertically arranged and displayed in order by the upper and lower slides to the terminal, a user interface capable of displaying the frames by an operation such as browsing a website with a browser Can provide a rich system.
  • An invention according to a third feature is the invention according to the first or second feature, wherein the frame display means learns and stores transition of a frame of cartoon data for each user. provide.
  • frames are displayed using a database in which the transition of frames is learned and stored for each user, it is possible to reflect habits and preferences when reading for each user, It is possible to provide a highly accurate system.
  • An invention according to a fourth feature is the invention according to the first feature, wherein the frame display means arranges the extracted frames side by side and displays them in order by the left and right slides with respect to the terminal. I will provide a.
  • the fourth aspect of the present invention it is possible to provide a system capable of reading in the sense of turning a page, since the frames are arranged and displayed in the normal reading direction of the cartoon.
  • An invention according to a fifth feature is the invention according to the first feature, further comprising a sound effect database in which a relation between contents included in the cartoon data and sound effects corresponding to the contents is stored,
  • the frame display means provides a cartoon data display system that outputs a sound corresponding to the displayed frame based on the sound effect database when the frame is displayed.
  • FIG. 1 is a block diagram showing the hardware configuration and software functions of the cartoon data display system 1 in the present embodiment.
  • FIG. 2 is a view showing an example of the frame order database 31 in the present embodiment.
  • FIG. 3 is a view showing an example of the sound effect database 32 in the present embodiment.
  • FIG. 4 is a flowchart showing the cartoon data display method according to the present embodiment.
  • FIG. 5 is a diagram for explaining the operation of the control unit 10 when carrying out the cartoon data display method.
  • FIG. 6 is a view following FIG.
  • FIG. 7 is a schematic view showing that a small piece in the present embodiment is enlarged and displayed.
  • FIG. 8 is a schematic view for explaining a display method when the frames are arranged in the vertical direction.
  • FIG. 1 is a block diagram for explaining the hardware configuration and software functions of the cartoon data display system 1 in the present embodiment.
  • the comic data display system 1 includes a control unit 10 that controls data, a communication unit 20 that communicates with other devices, a storage unit 30 that stores data, an input unit 40 that receives user operations, and a control unit 10. And a camera 60 for acquiring an image, and an audio output unit 70 for outputting an audio.
  • the control unit 10 includes a central processing unit (CPU), a random access memory (RAM), a read only memory (ROM), and the like.
  • CPU central processing unit
  • RAM random access memory
  • ROM read only memory
  • the communication unit 20 includes a device for enabling communication with another device, for example, a device compatible with Wi-Fi (Wireless Fidelity) compliant with IEEE 802.11.
  • Wi-Fi Wireless Fidelity
  • the control unit 10 reads a predetermined program and cooperates with the communication unit 20 as necessary to realize the cartoon data acquisition module 11 and the frame display module 12.
  • the storage unit 30 is a device that stores data and files, and includes a storage unit of data such as a hard disk, a semiconductor memory, a recording medium, a memory card, and the like.
  • a frame order database 31 a sound effect database 32, and an image information database 33 are stored.
  • the storage unit 30 can also store captured image data captured by a camera 60 described later.
  • FIG. 2 is a view showing an example of the frame order database 31.
  • the frame order database 31 an image template indicating an image of a comic frame division and a frame order template indicating the order of transition of frames in the image template are stored in association with each other.
  • the correct order of the frame transition is stored as a frame order template for each of a large number of image templates. Then, the provider of the cartoon data display system 1 causes the control unit 10 to perform a so-called AI (Artificial Intelligence) function to learn the correct order of the transition of the frame.
  • AI Artificial Intelligence
  • the frame order database 31 stores an image template indicating an image of a comic frame split.
  • the file format of the image template is not particularly limited as long as it is a file format of an image file.
  • JPEG data, BMP data, or other file format may be used.
  • the frame indicates transition in the order of “1”, “2”, “3”, “4” and “5”.
  • FIG. 3 is a diagram showing an example of the sound effect database 32.
  • the sound effect database 32 corresponds to an image template indicating an image of characters and patterns included in a photographed image when a cartoon is photographed, a text template corresponding to the image template, and a sound effect corresponding to the image template. It has been stored.
  • characters and sound effects corresponding to characters and patterns are stored as text templates and sound effect templates for each of a large number of image templates. Then, the provider of the cartoon data display system 1 causes the control unit 10 to exhibit a function of so-called AI (Artificial Intelligence) to learn correct sound effects and the like.
  • AI Artificial Intelligence
  • the sound effect database 32 stores an image template indicating an image of characters “doom”.
  • the file format of the image template is not particularly limited as long as it is a file format of an image file.
  • JPEG data, BMP data, or other file format may be used.
  • characters corresponding to the character image or design image stored in the image template are stored as text data. For example, if the image data of the character "doom" is stored as the image template, the text data "dorn" is stored as the text template.
  • the file format of the sound effect template is not particularly limited as long as it is an audio file format.
  • it may be any of WAVE format, AIFF format, MP3 format, AAC format, FLAC format, or any other file format.
  • the sound file of the explosion sound of "dawn" is stored as the sound effect template.
  • the image information database 33 stores information on the size of the image display unit 60 described later. For example, in one model, information is stored that the size of the image display unit 60 is 4 inches, the number of vertical pixels is 1136 pixels, and the number of horizontal pixels is 640 pixels.
  • the size of the image display unit 60 is 5.5 inches
  • the number of vertical pixels is 1920 pixels
  • the number of horizontal pixels is 1080 pixels.
  • the type of the input unit 40 is not particularly limited. Examples of the input unit 40 include a keyboard, a mouse, and a touch panel.
  • the type of the image display unit 50 is not particularly limited. Examples of the image display unit 50 include a monitor, a touch panel, and the like.
  • FIG. 4 is a flow chart showing a cartoon data display method using the cartoon data display system 1.
  • Step S10 Acquisition of Image
  • the control unit 10 of the comic data display system 1 executes the comic data acquisition module 11 to acquire comic photographing data photographed by the camera 60 (step S10).
  • FIG. 5A shows an example of cartoon shooting data shot by the camera 60.
  • a plurality of frames are drawn on one page, and the size and arrangement of the frames are not constant.
  • Step S20 Display of Frame
  • the control unit 10 executes the frame display module 12.
  • the control unit 10 reads out the frame order database 31 stored in the storage unit 30, and predicts and predicts the correct order of a plurality of frames included in the cartoon shooting data based on the order of frames learned in the past.
  • the screen display unit 50 is displayed in order according to the order (step S30).
  • control unit 10 reads the frame order database 31 stored in the storage unit 30, recognizes the comic image shooting data acquired in step S10, and selects an image from among the image templates stored in the frame order database 31. Find the closest image template.
  • the method of image recognition is not particularly limited, and may be a method known to date.
  • control unit 10 determines that the image template corresponding to the frame order identifier “1” is the closest image template. .
  • control unit 10 reads out the frame order template corresponding to the image template determined to be the closest, and assigns the frame order according to the read frame order tape rate to the cartoon shooting data acquired in step S10.
  • (B) of FIG. 5 shows an example of cartoon shooting data after the order of frames is assigned.
  • control unit 10 extracts frames one by one from the comic image photographing data in accordance with the allocated frame sequence, and displays the frames on the image display unit 50.
  • FIG. 6 shows one display example on the image display unit 50 at that time.
  • cartoons are displayed in the order according to the frame sequential tape rate.
  • the line between the top and bottom indicates a page break.
  • the order of the frames displayed on the image display unit 50 may not be correct. Therefore, the user confirms the order of the frames displayed on the screen display unit 50, performs correction to manually change the order if necessary, and the controller 10 executes rearrangement of the order of the frames in accordance with the correction instruction operation. It may be possible. If there is a correction, the order after correction is fixed as the order of the frames, and if there is no correction, the order as it is is fixed as the order of the frames.
  • FIG. 6B shows a display example on the image display unit 50 when the correction is made. In contrast to FIG. 6A, the order of the third piece and the fourth piece is reversed.
  • the control unit 10 stores the frame order determined in this manner in the frame order database 31 of the storage unit 30, so that the control unit 10 can learn as new data for performing prediction in the future. Further, data of learning contents may be transmittable to a server (not shown) managed by a provider of the cartoon data display system 1.
  • the server receives a plurality of pieces of user information, and distributes the received information to the user's terminal (manga data display system 1) at a predetermined timing, so that AI as a control unit 10 of the comic data display system 1 functions. Performance can be enhanced.
  • the size of the frame may be displayed by changing the magnification according to the size of the screen.
  • the control unit 10 calculates the size of each frame included in the cartoon shooting data, and sets it in a predetermined area of the storage unit 30. Then, the control unit 10 reads the image information database 33, and for each frame, calculates a magnification that can be displayed by the image display unit 50 and can be displayed as large as possible. Then, the control unit 10 enlarges and displays each frame included in the cartoon shooting data at the calculated magnification.
  • the frames are displayed in one line per screen, but may be displayed in two or more lines depending on the size of the screen of the terminal.
  • one-row display can be set, and in the case of a tablet terminal provided with a screen of 10 inches or more, switching to two-row display can be set.
  • FIG. 8 is a schematic view for explaining a display method when the frames are arranged in the vertical direction.
  • a method of displaying frames on the screen a method of scrolling and displaying a plurality of frames displayed in succession as shown in FIG. 8 (A) and as shown in FIG. 8 (B)
  • the user can scroll at a speed desired by the user, so reading can be performed at a speed according to the user's preference it can.
  • FIG. 8 (B) since the content of the previous frame is not known until it is displayed, it is more immersive and more realistic Can build a display system that can
  • the direction in which the frames are arranged may be the vertical direction or the horizontal direction.
  • the aligned frames are displayed by scrolling the screen up and down.
  • the screens are scrolled in the left and right to display the frames.
  • the learning method of frame division is configured to construct a database for each user and to decide the transition of the frame based thereon.
  • a database that reflects the habits and preferences of the user during reading, so the more you learn, the less the need for correction and the cartoon data display system that suits the user's preferences Can be realized.
  • the database for each user it is also possible to use a database storing data of frame divisions by various users via a network.
  • the reading of the database in step S20 is performed in cooperation with the communication unit 20.
  • the cartoon data display system 1 can be configured not only to display the extracted cartoon shooting data on the screen, but also to output voice simultaneously. That is, depending on the cartoon, sound effects such as “dawn” and “gagaha " may be described on the top.
  • the control unit 10 reads out the sound effect database 32, and reads out a character string or a specific pattern included in the cartoon shooting data.
  • the method of reading the character string may be a conventionally known character recognition method, and is not particularly limited.
  • the method of reading out a specific pattern may be a conventionally known image recognition method and is not particularly limited.
  • control unit 10 reads the sound effect according to the recognized character string or pattern, and outputs the sound effect from the sound output unit 70 at the timing when the recognized character string or pattern is displayed on the image display unit 50. By doing so, it becomes possible to construct a more realistic cartoon data display system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】任意の漫画に対して、端末でスクロールして表示できるようにコマを順番に表示するためのシステムを提供する。 【解決手段】本発明の漫画データ表示システム1において、制御部10は、漫画データ取得モジュール11を実行し、漫画撮影データを取得する。そして、制御部10は、コマ表示モジュール12を実行し、漫画データのコマの遷移に関する学習結果が記憶されたコマ順データベース31に基づいて、取得した漫画撮影データに含まれるコマを順番に並べて表示する。

Description

漫画データ表示システム、方法及びプログラム
 本発明は、漫画データ表示システム、方法及びプログラムに関する。
 漫画は、世界各国において多くのユーザに親しまれる娯楽である。
 従来は、単行本や雑誌等、紙面に印刷されたコンテンツを読むことが、漫画の楽しみ方の主流であったが、携帯電話端末、スマートフォンやタブレット端末等、通信機能を有し、デジタルコンテンツを鮮明に表示することができる電子機器の発達により、これらの電子機器を使用して漫画を読むことが主流になりつつある(特許文献1)。
特開2016-134179号公報
 スマートフォンやタブレット端末で漫画データを表示する際、画面を縦又は横にスクロールして順番に内容を表示することになる。特に、スマートフォンのように、表示画面の大きさが4インチから6インチ程度と比較的小さな電子機器に表示する際、コマの視認性を高めるため、表示画面に一つのコマを表示させ、コマが遷移する毎に、表示画面に一つのコマずつ表示させることが好ましい。その際、表示画面の大きさに応じて、コマの大きさを拡大して表示することが好ましい。
 ところが、漫画は、一枚のページに複数のコマが描かれていることが通常であり、しかも、それぞれのコマの大きさや並び方は一定ではない。一つのコマを拡大して順に画面に表示する場合、どのような順番で画面に表示するかが課題となる。
 本発明は、このような要望に鑑みてなされたものであり、任意の漫画に対して、端末でスクロールして表示できるようにコマを順番に表示するためのシステムを提供することを目的とする。
 本発明では、以下のような解決手段を提供する。
 第1の特徴に係る発明は、端末に漫画データを表示する漫画データ表示システムであって、漫画データのコマの遷移に関する学習結果が記憶されたコマ順データベースと、漫画を撮影した漫画撮影データを取得する漫画データ取得手段と、前記コマ順データベースに基づいて、取得した前記漫画撮影データに含まれるコマを順番に並べて表示するコマ表示手段と、を備える漫画データ表示システムを提供する。
 第1の特徴に係る発明によれば、漫画から抽出したコマを、学習されたコマの遷移が記憶されているコマ順データベースを使用して順番に並べるため、画面の大きさに関わらず、端末でスクロールして表示することができるようコマを順番に表示可能なシステムを提供できる。
 第2の特徴に係る発明は、第1の特徴に係る発明であって、前記コマ表示手段は、抽出したコマを縦に並べ、前記端末に対する上下のスライドで順番に表示する、漫画データ表示システムを提供する。
 第2の特徴に係る発明によれば、抽出したコマを縦に並べ、端末に対する上下のスライドで順番に表示するため、ブラウザでウェブサイトを閲覧するような操作でコマを表示可能な、ユーザーインターフェースに富んだシステムを提供できる。
 第3の特徴に係る発明は、第1又は第2の特徴に係る発明であって、前記コマ表示手段は、漫画データのコマの遷移をユーザ毎に学習して記憶した、漫画データ表示システムを提供する。
 第3の特徴に係る発明によれば、コマの遷移をユーザ毎に学習して記憶したデータベースを使用してコマを表示するため、ユーザごとの読む際の癖や好みを反映することができ、精度の高いシステムを提供できる。
 第4の特徴に係る発明は、第1の特徴に係る発明であって、前記コマ表示手段は、抽出したコマを横に並べ、前記端末に対する左右のスライドで順番に表示する、漫画データ表示システムを提供する。
 第4の特徴に係る発明によれば、通常の漫画を読む方向にコマを並べて表示するため、ページをめくるような感覚で読むことが可能なシステムを提供できる。
 第5の特徴に係る発明は、第1の特徴に係る発明であって、前記漫画データに含まれる内容と当該内容に対応する効果音との関係が記憶される効果音データベースをさらに備え、前記コマ表示手段は、コマを表示した際に、前記効果音データベースに基づいて、表示したコマに対応する音を出力する、漫画データ表示システムを提供する。
 第5の特徴に係る発明によれば、漫画に描かれたイラストだけでなく、音声を併せて使用するため、より叙情的で臨場感のあるシステムを提供できる。
 本発明によれば、任意の漫画に対して、コマを順番に並べて表示するためのシステムを提供できる。
図1は、本実施形態における漫画データ表示システム1のハードウェア構成とソフトウェア機能を示すブロック図である。 図2は、本実施形態におけるコマ順データベース31の一例を示す図である。 図3は、本実施形態における効果音データベース32の一例を示す図である。 図4は、本実施形態における漫画データ表示方法を示すフローチャートである。 図5は、上記漫画データ表示方法を実施する際の制御部10での動作を説明するための図である。 図6は、図5に続く図である。 図7は、本実施形態における小さいコマを拡大して表示することを示す模式図である。 図8は、コマを縦方向に並べる場合における、表示の方式を説明する模式図である。
 以下、本発明を実施するための形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
[漫画データ表示システム1の構成]
 図1は、本実施形態における漫画データ表示システム1のハードウェア構成とソフトウェア機能を説明するためのブロック図である。
 漫画データ表示システム1は、データを制御する制御部10と、他の機器と通信を行う通信部20と、データを記憶する記憶部30と、ユーザの操作を受け付ける入力部40と、制御部10で制御したデータや画像を出力表示する画像表示部50と、画像を取得するためのカメラ60と、音声を出力する音声出力部70とを備える。
 制御部10は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備える。
 通信部20は、他の機器と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWi-Fi(Wireless Fidelity)対応デバイスを備える。
 制御部10は、所定のプログラムを読み込み、必要に応じて通信部20と協働することで、漫画データ取得モジュール11と、コマ表示モジュール12とを実現する。
 記憶部30は、データやファイルを記憶する装置であって、ハードディスクや半導体メモリ、記録媒体、メモリカード等による、データのストレージ部を備える。記憶部30には、コマ順データベース31と、効果音データベース32と、画像情報データベース33とが記憶される。また、記憶部30には、後に説明するカメラ60で撮影した撮影画像データを記憶可能である。
 図2は、コマ順データベース31の一例を示す図である。コマ順データベース31には、漫画のコマ割りのイメージを示すイメージテンプレートと、当該イメージテンプレートにおけるコマの遷移の順番を示すコマ順テンプレートとが対応づけて記憶されている。
 初期設定として、漫画データ表示システム1の提供者側において、多数のイメージテンプレートの各々について、コマの遷移の正しい順番をコマ順テンプレートとして記憶させる。そして、漫画データ表示システム1の提供者は、制御部10に対し、いわゆるAI(Artificial Intelligence)の機能を発揮して、コマの遷移の正しい順番を学習させる。
 例えば、コマ順識別子「1」に関し、コマ順データベース31には、漫画のコマ割りのイメージを示すイメージテンプレートが記憶されている。イメージテンプレートのファイル形式は、画像ファイルのファイル形式であれば特に限定されない。例えば、JPEGデータであってもよいし、BMPデータであってもよいし、他のファイル形式であってもよい。
 そして、コマ順テンプレートを記憶する記憶領域には、コマの遷移の正しい順番が記憶されている。この場合、コマは、「1」、「2」、「3」、「4」、「5」の順番で遷移することを示している。
 図3は、効果音データベース32の一例を示す図である。効果音データベース32には、漫画を撮影したときの撮影画像に含まれる文字や絵柄のイメージを示すイメージテンプレートと、当該イメージテンプレートに応じたテキストテンプレートと、上記イメージテンプレートに応じた効果音とが対応づけて記憶されている。
 初期設定として、漫画データ表示システム1の提供者側において、多数のイメージテンプレートの各々について、文字や絵柄に応じた文字及び効果音を、それぞれテキストテンプレート及び効果音テンプレートとして記憶させる。そして、漫画データ表示システム1の提供者は、制御部10に対し、いわゆるAI(Artificial Intelligence)の機能を発揮して、正しい効果音等を学習させる。
 例えば、効果音識別子「1」に関し、効果音データベース32には、「ドーン」との文字のイメージを示すイメージテンプレートが記憶されている。イメージテンプレートのファイル形式は、画像ファイルのファイル形式であれば特に限定されない。例えば、JPEGデータであってもよいし、BMPデータであってもよいし、他のファイル形式であってもよい。
 そして、テキストテンプレートを記憶する記憶領域には、イメージテンプレートに記憶される文字画像あるいは図柄画像に応じた文字がテキストデータとして記憶される。例えば、イメージテンプレートとして「ドーン」との文字のイメージデータが記憶されていれば、テキストテンプレートとして「ドーン」とのテキストデータが記憶される。
 そして、効果音テンプレートを記憶する記憶領域には、イメージテンプレートに記憶される文字画像あるいは図柄画像に応じた効果音が音データとして記憶される。効果音テンプレートのファイル形式は、音声ファイルのファイル形式であれば特に限定されない。例えば、WAVE形式、AIFF形式、MP3形式、AAC形式、FLAC形式のいずれであってもよいし、他のファイル形式であってもよい。
 効果音識別子「1」であれば、効果音テンプレートとして「ドーン」との爆発音の音声ファイルが記憶されている。
 画像情報データベース33には、後に説明する画像表示部60の大きさに関する情報が記憶される。例えば、ある機種では、画像表示部60の大きさが4インチであり、縦のピクセル数が1136ピクセルであり、横のピクセル数が640ピクセルであるとの情報が記憶される。
 また、別の機種では、画像表示部60の大きさが5.5インチであり、縦のピクセル数が1920ピクセルであり、横のピクセル数が1080ピクセルであるとの情報が記憶される。
 図1に戻る。入力部40の種類は、特に限定されない。入力部40として、例えば、キーボード、マウス、タッチパネル等が挙げられる。
 画像表示部50の種類は、特に限定されない。画像表示部50として、例えば、モニタ、タッチパネル等が挙げられる。
[漫画データ表示システム1を用いた漫画データ表示方法を示すフローチャート]
 図4は、漫画データ表示システム1を用いた漫画データ表示方法を示すフローチャートである。
〔ステップS10:画像の取得〕
 最初に、漫画データ表示システム1の制御部10は、漫画データ取得モジュール11を実行し、カメラ60によって撮影された漫画撮影データを取得する(ステップS10)。
 図5の(A)は、カメラ60によって撮影された漫画撮影データの一例を示す。撮影された漫画は、一枚のページに複数のコマが描かれており、それぞれのコマの大きさや並び方が一定ではない。
〔ステップS20:コマの表示〕
 続いて、制御部10は、コマ表示モジュール12を実行する。このとき、制御部10は、記憶部30に記憶されたコマ順データベース31を読み出し、過去に学習されたコマ順に基づいて、漫画撮影データに含まれる複数のコマの正しい順番を予測し、予測した順番にしたがって、画面表示部50に順番に表示させる(ステップS30)。
 この処理において、制御部10は、記憶部30に記憶されたコマ順データベース31を読み出し、ステップS10で取得した漫画撮影データを画像認識し、コマ順データベース31に記憶されたイメージテンプレートの中から、最も近いイメージテンプレートを検索する。画像認識の手法は特に限定されず、これまで知られた手法でよい。
 例えば、ステップS10で取得した漫画撮影データが図5の(A)に示すデータである場合、制御部10は、コマ順識別子「1」に相当するイメージテンプレートが最も近いイメージテンプレートであると判別する。
 続いて、制御部10は、最も近いと判別したイメージテンプレートに応じたコマ順テンプレートを読み出し、読み出したコマ順テープレートに応じたコマ順を、ステップS10で取得した漫画撮影データに割り当てる。図5の(B)は、コマ順を割り当てた後の漫画撮影データの一例を示す。
 続いて、制御部10は、割り当てたコマ順にしたがって、漫画撮影データからコマを一つ一つ抽出し、画像表示部50に表示する。
 図6の(A)は、そのときの画像表示部50での一の表示例を示す。画像表示部50には、コマ順テープレートに応じた順番で漫画が表示される。図6の(A)において、コマとコマの間に入っている線は、ページの切れ目を示す。
 ところで、画像表示部50で表示されるコマの順番が正しくないこともあり得る。そこで、ユーザが画面表示部50に表示されたコマの順番を確認し、必要があれば順番を手動で入れ替える修正を行い、制御部10が修正の指示操作に応じてコマの順番の入れ替えを実行可能にしてもよい。修正があれば、修正後の順番がコマの順番として確定し、修正がなければ、そのままの順番がコマの順番として確定する。
 図6の(B)は、修正したときの画像表示部50での表示例を示す。図6の(A)と対比すると、3番目とされていたコマと、4番目とされていたコマの順序が入れ替えられている。
 制御部10が、このようにして確定したコマ順を記憶部30のコマ順データベース31が記憶することで、制御部10は、今後予測を行うための新たなデータとして学習することができる。また、学習内容のデータを、漫画データ表示システム1の提供者が管理するサーバ(図示せず)に送信可能にしてもよい。当該サーバでユーザの情報を複数受信し、受信した情報を、所定のタイミングでユーザの端末(漫画データ表示システム1)に配信することで、漫画データ表示システム1の制御部10が機能するAIとしての性能を高めることができる。
 また、コマの大きさを、画面の大きさに応じて倍率を変えて表示させるようにしてもよい。例えば、制御部10は、漫画撮影データに含まれるそれぞれのコマの大きさを計算し、記憶部30の所定領域にセットする。そして、制御部10は、画像情報データベース33を読み出し、それぞれのコマについて、画像表示部50で表示可能であり、かつ、できるだけ大きく表示可能な倍率を計算する。そして、制御部10は、漫画撮影データに含まれるそれぞれのコマについて、計算した倍率で拡大して表示する。
 例えば、図7の(A)に示すように、例えばコマが小さくて見にくい場合、図7の(B)に示すように、画面に収まるようにコマの大きさを変え、表示するよう構成することも可能である。このような構成とすることで、画面の小さなスマートフォンのような端末であっても、ユーザが容易に内容を視認することができる漫画データ表示システム1を構築することができる。
 本実施形態においては、コマは一画面につき一列に表示されているが、端末の画面の大きさに応じて、二列やそれ以上表示される構成としても構わない。例えば、スマートフォンであれば一列表示とし、10インチ以上の画面を備えたタブレット端末であれば二列表示に切り替えるよう設定することができる。このようにすることで、端末の画面表示の性能を十分に発揮しつつ使い勝手の良い漫画データ表示システムを実現することが可能となる。
 図8に、コマを縦方向に並べる場合における、表示の方式を説明する模式図を示す。コマを画面に表示する方法としては、図8(A)に示されるような、連続して表示される複数のコマをスクロールして表示させる方法、及び、図8(B)に示されるように、一度の表示で一つのコマのみ表示させ、画面をクリック又はタップすることで次のコマを表示させる方法がある。図8(A)に示されるような、複数のコマが連続して表示される方式の場合、ユーザの好みのスピードでスクロールすることができるため、ユーザの好みに合った速度で読み進めることができる。一方、図8(B)に示されるような、一度に一つのコマのみ表示される方式の場合、表示されるまで先のコマの内容が分からないため、より没入感及び臨場感を味わることができる表示システムを構築することができる。
 また、本実施形態においては、コマを縦方向に並べることを前提に説明しているが、コマを並べる方向としては、縦方向であっても横方向であっても構わない。縦方向にコマを並べる場合、上下に画面をスクロールすることにより、整列したコマを表示することとなるが、横方向に並べた場合、左右に画面をスクロールさせてコマを表示させることとなる。
 ところで、本実施形態においては、コマ割りの学習方法は、ユーザ毎にデータベースを構築し、それに基づいてコマの遷移を決めるよう構成されている。このようなシステムの場合、ユーザの読む際の癖や好みを反映させたデータベースを構築することが可能となるため、学習するほど、修正の必要性が低くユーザの好みに合った漫画データ表示システムの実現が可能となる。
 あるいは、ユーザごとのデータベースに替えて、様々なユーザによるコマ割りのデータが格納されているデータベースをネットワーク経由で使用することも可能である。この場合、ステップS20におけるデータベースの読み出しは、通信部20と協働して実行される。このように、多数のユーザによるデータが格納されているデータベースを使用する場合、現在解析しようとしている漫画と同一の漫画に関するコマ順データが既に存在している可能性が高いため、解析の時間や撮影の時間を省略することができ、使い勝手の良い漫画データ表示システムを構築することが可能となる。
 また、漫画データ表示システム1は、単に、抽出したマンガ撮影データを画面に表示させるだけでなく、同時に音声を出力するように構成することも可能である。すなわち、漫画によっては、「ドーン」「ガガガ・・・」等の効果音がコマに記載されていることがある。このような場合において、制御部10は、効果音データベース32を読み出し、漫画撮影データに含まれる文字列や特定の絵柄を読み出す。文字列を読み出す手法は、従来公知の文字認識方法でよく、特に限定されない。特定の絵柄を読み出す手法は、従来公知の画像認識方法でよく、特に限定されない。
 そして、制御部10は、認識した文字列あるいは絵柄に応じた効果音を読み出し、認識した文字列あるいは絵柄が画像表示部50に表示されたタイミングで、効果音を音声出力部70から出力する。そうすることにより、より臨場感のある漫画データ表示システムを構築することが可能となる。
 あるいは、実際に文字として記載されている効果音だけでなく、例えば、桜の木のイラストが描かれているコマを表示させる際に春を連想させる曲を出力する、あるいは、「卒業」という文字を認識したら卒業に関連した曲を出力する、というように、実際に記載された擬音語以外の音声を出力するよう構成することも可能である。このようなシステム構成とすることにより、より叙情的で臨場感のある漫画データ表示システムを構築することが可能となる。
 以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好
 1  漫画データ表示システム
 10 制御部
 11 漫画データ取得モジュール
 12 コマ抽出モジュール
 20 通信部
 30 記憶部
 31 コマ順データベース
 32 効果音データバース
 33 画面情報データベース
 40 入力部
 50 画像表示部
 60 カメラ
 70 音声出力部

 

Claims (7)

  1.  端末に漫画データを表示する漫画データ表示システムであって、
     漫画データのコマの遷移に関する学習結果が記憶されたコマ順データベースと、
     漫画を撮影した漫画撮影データを取得する漫画データ取得手段と、
     前記コマ順データベースに基づいて、取得した前記漫画撮影データに含まれるコマを順番に並べて表示するコマ表示手段と、を備える漫画データ表示システム。
  2.  前記コマ表示手段は、抽出したコマを縦に並べ、前記端末に対する上下のスライドで順番に表示する、請求項1に記載の漫画データ表示システム。
  3.  前記コマ順データベースは、前記漫画データのコマの遷移をユーザ毎に学習したデータベースである、請求項1又は2に記載の漫画データ表示システム。
  4.  前記コマ表示手段は、抽出したコマを横に並べ、前記端末に対する左右のスライドで順番に表示する、請求項1に記載の漫画データ表示システム。
  5.  前記漫画データに含まれる内容と当該内容に対応する効果音との関係が記憶される効果音データベースをさらに備え、
     前記コマ表示手段は、コマを表示した際に、前記効果音データベースに基づいて、表示したコマに対応する音を出力する、請求項1から4のいずれかに記載の漫画データ表示システム。
  6.  漫画を撮影した漫画撮影データを取得するステップと、
     漫画データのコマの遷移に関する学習結果が記憶されたコマ順データベースに応じて、取得した前記漫画撮影データに含まれるコマを順番に並べて表示するステップと、
    を有する漫画データ表示方法。
  7.  電子機器に、
     漫画を撮影した漫画撮影データを取得するステップと、
    を実行させるプログラム。

     
PCT/JP2017/047007 2017-12-27 2017-12-27 漫画データ表示システム、方法及びプログラム Ceased WO2019130492A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/958,814 US20210073458A1 (en) 2017-12-27 2017-12-27 Comic data display system, method, and program
PCT/JP2017/047007 WO2019130492A1 (ja) 2017-12-27 2017-12-27 漫画データ表示システム、方法及びプログラム
JP2019561483A JP6924544B2 (ja) 2017-12-27 2017-12-27 漫画データ表示システム、方法及びプログラム
CN201780097795.4A CN111492408A (zh) 2017-12-27 2017-12-27 漫画数据显示系统、方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/047007 WO2019130492A1 (ja) 2017-12-27 2017-12-27 漫画データ表示システム、方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2019130492A1 true WO2019130492A1 (ja) 2019-07-04

Family

ID=67063318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/047007 Ceased WO2019130492A1 (ja) 2017-12-27 2017-12-27 漫画データ表示システム、方法及びプログラム

Country Status (4)

Country Link
US (1) US20210073458A1 (ja)
JP (1) JP6924544B2 (ja)
CN (1) CN111492408A (ja)
WO (1) WO2019130492A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021014945A1 (ja) * 2019-07-23 2021-01-28 エヌエイチエヌ コーポレーション サーバ、プログラム、方法及びシステム
WO2021210233A1 (ja) * 2020-04-17 2021-10-21 株式会社セルシス 電子書籍のコンテンツ生成方法及びプログラム
JP2023144121A (ja) * 2019-10-08 2023-10-06 株式会社コミチ コマ抽出方法及びプログラム
JP2025505966A (ja) * 2022-01-28 2025-03-05 ジョンテ キム デジタル漫画提供方法、装置およびシステム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250004795A1 (en) * 2023-06-27 2025-01-02 Disney Enterprises, Inc. Activity-Based User Interface Personalization
US20250147639A1 (en) * 2023-11-07 2025-05-08 Global Publishing Interactive, Inc. Method and system for interactive navigation of media frames
US20250148608A1 (en) * 2023-11-07 2025-05-08 Global Publishing Interactive, Inc. Artificial Intelligence-Driven Automated Frame-to-Frame Panel Reading Experience for Graphic Narratives

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007114878A (ja) * 2005-10-18 2007-05-10 Taito Corp 漫画のページ認識方式および漫画情報再生システム
JP2012133662A (ja) * 2010-12-22 2012-07-12 Fujifilm Corp 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラムならびに該ビューワプログラムが記録された記録媒体
JP2016134179A (ja) * 2015-01-16 2016-07-25 ネイバー コーポレーションNAVER Corporation 漫画データ生成装置、その方法、そのコンピュータプログラム、及び漫画データ表示装置
WO2017130318A1 (ja) * 2016-01-27 2017-08-03 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5674450B2 (ja) * 2010-12-22 2015-02-25 富士フイルム株式会社 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、該ビューワプログラムが記録された記録媒体ならびに電子コミックの表示方法
JP5439454B2 (ja) * 2011-10-21 2014-03-12 富士フイルム株式会社 電子コミック編集装置、方法及びプログラム
CN102999758A (zh) * 2012-11-14 2013-03-27 北京大学 一种基于多边形检测的漫画图像版面理解系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007114878A (ja) * 2005-10-18 2007-05-10 Taito Corp 漫画のページ認識方式および漫画情報再生システム
JP2012133662A (ja) * 2010-12-22 2012-07-12 Fujifilm Corp 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラムならびに該ビューワプログラムが記録された記録媒体
JP2016134179A (ja) * 2015-01-16 2016-07-25 ネイバー コーポレーションNAVER Corporation 漫画データ生成装置、その方法、そのコンピュータプログラム、及び漫画データ表示装置
WO2017130318A1 (ja) * 2016-01-27 2017-08-03 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021014945A1 (ja) * 2019-07-23 2021-01-28 エヌエイチエヌ コーポレーション サーバ、プログラム、方法及びシステム
JP2021018728A (ja) * 2019-07-23 2021-02-15 エヌエイチエヌ コーポレーション サーバ、プログラム、方法及びシステム
JP2023144121A (ja) * 2019-10-08 2023-10-06 株式会社コミチ コマ抽出方法及びプログラム
JP7651204B2 (ja) 2019-10-08 2025-03-26 株式会社コミチ コマ抽出方法及びプログラム
WO2021210233A1 (ja) * 2020-04-17 2021-10-21 株式会社セルシス 電子書籍のコンテンツ生成方法及びプログラム
KR20220100730A (ko) * 2020-04-17 2022-07-15 가부시키가이샤 세루시스 전자서적의 콘텐츠 생성방법 및 컴퓨터 판독 가능 매체
KR102467919B1 (ko) 2020-04-17 2022-11-16 가부시키가이샤 세루시스 전자서적의 콘텐츠 생성방법 및 컴퓨터 판독 가능 매체
US11798212B2 (en) 2020-04-17 2023-10-24 CELSYS, Inc. Content generation method for electronic books and computer-readable medium
JP2025505966A (ja) * 2022-01-28 2025-03-05 ジョンテ キム デジタル漫画提供方法、装置およびシステム

Also Published As

Publication number Publication date
JP6924544B2 (ja) 2021-08-25
CN111492408A (zh) 2020-08-04
JPWO2019130492A1 (ja) 2020-11-19
US20210073458A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
JP6924544B2 (ja) 漫画データ表示システム、方法及びプログラム
US10579187B2 (en) Display control apparatus, display control method and display control program
US10896478B2 (en) Image grid with selectively prominent images
US10237622B2 (en) Page turning method, page turning apparatus and terminal as well as computer readable medium
US20150088669A1 (en) Apparatus and method for providing responsive user interface and electronic device-readable recording medium therefor
US12184926B2 (en) Systems and methods for improved searching and categorizing of media content items based on a destination for the media content machine learning
CN109828811B (zh) 一种卡片对象的展示方法和装置
CN108958857A (zh) 一种界面生成方法及装置
CN103488777A (zh) 一种调节网页展示效果的方法及系统
US20170161871A1 (en) Method and electronic device for previewing picture on intelligent terminal
CN109034242B (zh) 图像处理算法的评分方法、装置及系统
CN113626129A (zh) 一种页面颜色的确定方法、装置及电子设备
CN110286977B (zh) 显示方法及相关产品
CN106354378A (zh) 一种快速选中多个目标的方法和装置
CN117876540A (zh) 动画显示方法、装置、设备及计算机可读存储介质
WO2021120756A1 (zh) 显示方法、装置和计算机可读存储介质
JP2011086050A (ja) 情報処理端末及びコンピュータプログラム
CN110750659A (zh) 媒体资源动态显示方法、装置及存储介质
CN119311360A (zh) 图形用户界面的自适应布局方法、程序产品、设备及介质
CN117422803A (zh) 一种漫画的生成方法、装置、计算机设备及存储介质
CN104850316B (zh) 电子图书字体调整方法及装置
CN112990173A (zh) 阅读处理方法、装置及系统
KR101553272B1 (ko) 복수의 타이머를 사용하여 멀티미디어 콘텐츠를 저작하는 방법 및 복수의 타이머를 사용하여 멀티미디어 콘텐츠를 저작하는 저작 장치
JP7663050B2 (ja) コミック表示装置、プログラム、およびコミックの表示方法
CN108376161A (zh) 显示网页的方法、装置、终端及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17935853

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019561483

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17935853

Country of ref document: EP

Kind code of ref document: A1