WO2024089955A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2024089955A1
WO2024089955A1 PCT/JP2023/026393 JP2023026393W WO2024089955A1 WO 2024089955 A1 WO2024089955 A1 WO 2024089955A1 JP 2023026393 W JP2023026393 W JP 2023026393W WO 2024089955 A1 WO2024089955 A1 WO 2024089955A1
Authority
WO
WIPO (PCT)
Prior art keywords
comic
information
unit
text information
lines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/026393
Other languages
English (en)
French (fr)
Inventor
翔 前沖
邦宏 相場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2024552832A priority Critical patent/JP7853436B2/ja
Publication of WO2024089955A1 publication Critical patent/WO2024089955A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • This disclosure relates to an information processing device that determines the correspondence between animation scenes and comic processing units.
  • “comic” broadly means a manga, which is a story expressed with pictures and text, and may take the form of a printed and bound comic book, or an electronic comic that can be displayed and referenced on a mobile terminal, computer, etc.
  • “animation” refers to a moving image created by turning a manga into a moving image and inserting the lines of the characters, the sounds of their movements, etc.
  • “animation” will be abbreviated to "anime.”
  • Patent Document 1 discloses a technology that analyzes the character strings (text), images, etc. on each page of an electronic comic, compares the data obtained for each page, and obtains transition information between pages with similar data, but does not address the correspondence between anime scenes and comic scenes.
  • the purpose of this disclosure is to find the correspondence between anime scenes and comic scenes appropriately and with a low burden.
  • the information processing device includes an extraction unit that extracts text information representing sounds from images published in a comic for each comic processing unit, a comparison unit that compares the extracted text information for each comic processing unit with text information representing sounds in pre-prepared anime scenes to calculate the similarity, and a correspondence derivation unit that determines the correspondence between the anime scenes and the comic processing units based on the calculated similarity.
  • the extraction unit extracts text information representing sounds (e.g., dialogue, action sounds, etc.) from images published in the comic for each comic processing unit
  • the comparison unit compares the extracted text information for each comic processing unit with text information representing sounds in pre-prepared animation scenes to calculate similarity
  • the correspondence derivation unit determines the correspondence between the animation scenes and the comic processing units based on the calculated similarity. In this way, the correspondence between animation scenes and comic scenes can be determined appropriately and with a light burden.
  • FIG. 1 is a diagram for explaining an overview of an embodiment.
  • FIG. 2 is a functional block diagram of an information processing device according to an embodiment.
  • FIG. 2 is a flow diagram showing a process in an embodiment.
  • FIG. 11 is a diagram for explaining a process for extracting character information from a comic.
  • FIG. 13 is a diagram for explaining estimation of the order of lines.
  • FIG. 13 is a diagram for explaining same-speaker estimation of lines.
  • FIG. 13 is a diagram for explaining calculation of similarity between lines.
  • FIG. 13 is a diagram for explaining identification of a corresponding page.
  • FIG. 13 is a diagram showing an example of a comic purchase screen in which corresponding anime scenes are presented.
  • FIG. 13 is a diagram showing an example of an anime introduction page showing the corresponding volume of a corresponding comic.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of an information processing device.
  • FIG. 1 it is assumed that famous scenes in an anime are associated with lines, and the correspondence between anime scenes and comic scenes is found by matching (i.e., comparing and calculating the similarity) text information representing lines in various scenes of the anime that have been extracted in advance with text information representing lines obtained from a specific comic processing unit in the comic.
  • the text information representing lines in various scenes of the anime that have been extracted in advance (hereinafter referred to as "anime dialogue information") is assumed to have been obtained in advance from the lines (audio) by voice recognition or the like.
  • the text information representing the lines written in the comic is obtained by character recognition or the like, which will be described later.
  • each page of a comic may be each page of a comic, or two pages of a comic spread. If the latter is adopted, it means that the two pages of a comic spread are treated as one picture (image).
  • the information processing device 10 in the embodiment includes, as functional blocks for implementing the functions of the present disclosure, a dialogue information storage unit 15 that stores dialogue information of an anime acquired in advance, an extraction unit 11 that extracts text information representing sounds ("dialogue" in this embodiment) from images published in a comic for each comic page, a comparison unit 12 that compares the extracted text information for each comic page with the dialogue information of the anime acquired in advance (text information representing dialogue) and calculates a similarity, a correspondence derivation unit 13 that determines a correspondence between an anime scene and a comic page based on the calculated similarity, and an information presentation unit 14 that presents video image information of the corresponding anime scene on the comic sales page based on the obtained correspondence, and presents link information for transitioning to a comic sales page including the corresponding comic page on the anime introduction page. Details of the functions of each unit will be explained below along with the processing contents according to FIG. 3.
  • the extraction unit 11 estimates the order of lines and the identity of the speaker of the lines in the comic image data, and combines multiple lines based on the estimation results to extract text information representing the lines for each comic page (step S1 in Figure 3).
  • step S1 the extraction unit 11 identifies text areas from each page of the comic using existing text detection technology, performs character recognition using optical character recognition (OCR (Optical Character Recognition)) or the like, and extracts text information representing dialogue, while also obtaining frame layout information and speech bubble information using existing object detection technology.
  • OCR optical Character Recognition
  • the extraction unit 11 then performs "estimate the order of dialogue” and “estimate the identity of the speaker of the dialogue” as described below, and combines multiple lines of dialogue based on the estimation results to extract text information representing the dialogue for each comic page.
  • the extraction unit 11 estimates the frame order and the line order from the frame coordinate information and the line (speech bubble & character area) coordinate information, etc., using machine learning, as shown in FIG. 5, for example.
  • the extraction unit 11 estimates the line order as the standard expected movement of the reader's gaze based on the frame coordinate information and the line coordinate information, etc., grasped from the comic page.
  • the line order may be estimated using other metadata that can be grasped from the comic page, such as the line of sight movement of the speaker (character) of the line, as basic information.
  • the obtained line order is used as basic information for combining multiple lines, which will be described later.
  • the frame order and the dialogue order may be estimated using the above.
  • the movement of the gaze such as the order of frames and the order of dialogue
  • the order of dialogue is the order of arrows P1, P2, P3, P4, and P5.
  • the extraction unit 11 estimates the identity of the speaker of the line based on one or both of the position information of the speech bubble containing the line and the speaker grasped from the comic page, and the semantic connection between the lines. For example, as shown in Figure 6, the extraction unit 11 uses machine learning to estimate the identity of the speaker, using not only the coordinate information of the frame and the coordinate information and text information of the line (speech bubble and text area), but also the positional relationship with the speaker of the line (character), the type and orientation of the speech bubble, etc.
  • same speaker estimation using machine learning here is not limited to a specific method, and same speaker estimation may be performed using, for example, the paper "Research on Methods for Corresponding Dialogue and Speaker in Manga” by Kazuki Abe (address: https://dl.nkmr-lab.org/papers/227) and the paper “Speaker Estimation in Speech Bubbles in Manga Images” by Kazuyoshi Yamamoto (address: https://repository.dl.itc.u-tokyo.ac.jp/record/51209/files/48166452.pdf).
  • the extraction unit 11 estimates the order of the lines and the identity of the speakers of the lines, and combines multiple lines based on these estimation results to extract text information representing the lines from the comic image data for each comic page.
  • the sequence estimation result is lines A1 ⁇ A2 ⁇ A3 ⁇ B ⁇ C, and based on the same speaker estimation result that lines A1 to A3 are spoken by the same speaker, as shown in Figure 7, lines A1 to A3 are selectively combined from among the above lines A1 to A3, B, and C to form "line A,” and the sequence is estimated as "line A in frame 2" ⁇ "line B in frame 3" ⁇ "line C in frame 4.”
  • the joining of lines between different frames may be adjusted so that the sentence length after joining falls within the range of (sentence length L - predetermined allowable width ⁇ L) to (sentence length L + predetermined allowable width ⁇ L).
  • the comparison unit 12 compares the text information for each comic page extracted in step S1 with the dialogue information (text information representing dialogue) of the animation stored in the dialogue information storage unit 15, and calculates the similarity of these text (character string) pieces of information (step S2 in FIG. 3).
  • the comparison unit 12 uses, for example, edit distance, Jaccard coefficient, etc. as the similarity as shown in FIG. 7, and calculates the similarity S( Wq , Wn ,i ).
  • Wq is the dialogue information of the animation prepared in advance, and is the query used to identify the page.
  • Wn,i means a set of character strings present on the nth page of the comic.
  • the correspondence derivation unit 13 determines the correspondence between the animated scenes and the comic pages based on the calculated similarity (step S3 in FIG. 3). For example, as shown in FIG. 8, the correspondence derivation unit 13 performs matching for the prepared character strings using the similarity between the character strings as follows to identify the comic pages corresponding to the lines, and determines the correspondence between the animated scenes and the comic pages.
  • "edit distance" is used as the similarity.
  • the problem of identifying the comic page n* corresponding to the lines can be formulated as follows. In the above formula means extracting the string that has the smallest edit distance from the query string for each page, means that the page with the smallest distance from the query string is identified as the comic page n* corresponding to the dialogue.
  • the information presentation unit 14 presents video information of the corresponding anime scene on the comic sales page based on the correspondence obtained in step S3 (step S4 in Figure 3).
  • the information presentation unit 14 presents a famous anime scene that corresponds to the corresponding volume of the original comic on a detailed display screen of the original comic.
  • Figure 9 shows an example in which a famous anime scene that corresponds to volume 7 of the comic and the comic page that corresponds to the anime scene are presented on the sales page of "Work xxxx Comic Volume 7". In this way, by presenting the corresponding famous anime scene on the detailed display screen of the original comic, it is possible to promote sales of the corresponding volume of the original comic.
  • the information presentation unit 14 presents link information on the anime introduction page for transitioning to the sales page of the comic containing the corresponding comic page based on the correspondence obtained in step S3 (step S5 in FIG. 3). For example, as shown in FIG. 10, the information presentation unit 14 presents link information for transitioning to the sales page of the corresponding volume of the comic corresponding to the displayed famous scene while displaying the famous scene on the anime introduction page.
  • FIG. 10 shows an example in which, on the introduction page of "Work xxxx Anime", along with the famous scene of the anime, a comic page corresponding to the anime scene and a link (on-screen banner) for transitioning to the sales page of the corresponding comic volume (volume 7 of the comic) containing the comic page are presented, allowing the user to transition to the sales page and make a smooth purchase.
  • a link to the sales page of the corresponding comic volume (volume 7 of the comic) containing the comic page corresponding to the anime scene on the anime introduction page it is possible to promote sales of the corresponding comic volume corresponding to the anime scene.
  • the correspondence between anime scenes and comic scenes can be found appropriately and with a low burden.
  • the extraction unit 11 performs line order estimation and line same speaker estimation, and by combining multiple lines based on these estimation results, text information for each comic page can be extracted more accurately and appropriately. Note that it is not essential to perform both line order estimation and line same speaker estimation, and only one of them may be performed.
  • the text information of the comic page and the text information of the anime scene to be compared are described as text information representing the "lines" of the characters, but this is not limited to lines, and can also be widely applied to text information representing sounds, background sounds (wind sounds, rain sounds, etc.), animal cries, etc.
  • the gist of this disclosure lies in the following [1] to [5].
  • an extraction unit that extracts text information representing sounds from images published in a comic for each comic processing unit;
  • a comparison unit that compares the extracted text information for each comic processing unit with text information representing sounds in a prepared animation scene and calculates a similarity;
  • a correspondence derivation unit for determining a correspondence between the animation scene and the comic processing unit based on the calculated similarity;
  • An information processing device comprising: [2]
  • the text information for each comic processing unit and the text information representing sounds in the animation scene are text information representing dialogue.
  • the information processing device according to [1].
  • the extraction unit estimates an order of lines based on information including positional information of frames and lines grasped from the comic processing unit, and extracts text information for each of the comic processing units by combining a plurality of lines based on the obtained order of lines.
  • the information processing device according to [2].
  • the extraction unit estimates the identity of a speaker of a line based on one or both of information on a speech bubble containing the line and a speaker's position grasped from the comic processing unit and a semantic connection between the lines, and extracts text information for each of the comic processing units by combining a plurality of lines based on the obtained identity of the speaker.
  • the information processing device according to [2] or [3].
  • each functional block may be realized using one device that is physically or logically coupled, or may be realized using two or more devices that are physically or logically separated and directly or indirectly connected (for example, using wires, wirelessly, etc.).
  • the functional blocks may be realized by combining the one device or the multiple devices with software.
  • Functions include, but are not limited to, judgement, determination, judgment, calculation, computation, processing, derivation, investigation, search, confirmation, reception, transmission, output, access, resolution, selection, selection, establishment, comparison, assumption, expectation, regarding, broadcasting, notifying, communicating, forwarding, configuring, reconfiguring, allocating, mapping, and assignment.
  • a functional block (component) that performs the transmission function is called a transmitting unit or transmitter.
  • the information processing device 10 in this embodiment may function as a computer that executes the processing of the present disclosure.
  • FIG. 11 is a diagram showing an example of the hardware configuration of the information processing device 10.
  • the information processing device 10 described above may be physically configured as a computer device including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, etc.
  • the word “apparatus” can be interpreted as a circuit, device, unit, etc.
  • the hardware configuration of the information processing device 10 may be configured to include one or more of the devices shown in the figure, or may be configured to exclude some of the devices.
  • Each function of the information processing device 10 is realized by loading a specific software (program) onto hardware such as the processor 1001 and memory 1002, causing the processor 1001 to perform calculations, control communications via the communication device 1004, and control at least one of the reading and writing of data in the memory 1002 and storage 1003.
  • a specific software program
  • the processor 1001 for example, runs an operating system to control the entire computer.
  • the processor 1001 may be configured as a central processing unit (CPU) that includes an interface with peripheral devices, a control device, an arithmetic unit, registers, etc.
  • CPU central processing unit
  • the processor 1001 also reads out programs (program codes), software modules, data, etc. from at least one of the storage 1003 and the communication device 1004 into the memory 1002, and executes various processes according to these.
  • the programs used are those that cause a computer to execute at least some of the operations described in the above-mentioned embodiments.
  • the processor 1001 may be implemented by one or more chips.
  • the programs may be transmitted from a network via a telecommunications line.
  • Memory 1002 is a computer-readable recording medium, and may be composed of at least one of, for example, ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), RAM (Random Access Memory), etc. Memory 1002 may also be called a register, cache, main memory (primary storage device), etc. Memory 1002 can store executable programs (program codes), software modules, etc. for implementing a wireless communication method according to one embodiment of the present disclosure.
  • ROM Read Only Memory
  • EPROM Erasable Programmable ROM
  • EEPROM Electrical Erasable Programmable ROM
  • RAM Random Access Memory
  • Memory 1002 may also be called a register, cache, main memory (primary storage device), etc.
  • Memory 1002 can store executable programs (program codes), software modules, etc. for implementing a wireless communication method according to one embodiment of the present disclosure.
  • Storage 1003 is a computer-readable recording medium, and may be composed of at least one of an optical disk such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disk, a magneto-optical disk (e.g., a compact disk, a digital versatile disk, a Blu-ray (registered trademark) disk), a smart card, a flash memory (e.g., a card, a stick, a key drive), a floppy (registered trademark) disk, a magnetic strip, etc.
  • Storage 1003 may also be called an auxiliary storage device.
  • the above-mentioned storage medium may be, for example, a database, a server, or other suitable medium including at least one of memory 1002 and storage 1003.
  • the communication device 1004 is hardware (transmitting/receiving device) for communicating between computers via at least one of a wired network and a wireless network, and is also referred to as, for example, a network device, a network controller, a network card, a communication module, etc.
  • the communication device 1004 may be configured to include a high-frequency switch, a duplexer, a filter, a frequency synthesizer, etc., to realize, for example, at least one of Frequency Division Duplex (FDD) and Time Division Duplex (TDD).
  • FDD Frequency Division Duplex
  • TDD Time Division Duplex
  • the input device 1005 is an input device (e.g., a keyboard, a mouse, a microphone, a switch, a button, a sensor, etc.) that accepts input from the outside.
  • the output device 1006 is an output device (e.g., a display, a speaker, an LED lamp, etc.) that performs output to the outside. Note that the input device 1005 and the output device 1006 may be integrated into one structure (e.g., a touch panel).
  • each device such as the processor 1001 and memory 1002 is connected by a bus 1007 for communicating information.
  • the bus 1007 may be configured using a single bus, or may be configured using different buses between each device.
  • the information processing device 10 may be configured to include hardware such as a microprocessor, a digital signal processor (DSP), an application specific integrated circuit (ASIC), a programmable logic device (PLD), or a field programmable gate array (FPGA), and some or all of the functional blocks may be realized by the hardware.
  • the processor 1001 may be implemented using at least one of these pieces of hardware.
  • the notification of information is not limited to the aspects/embodiments described in this disclosure, and may be performed using other methods.
  • the notification of information may be performed by physical layer signaling (e.g., DCI (Downlink Control Information), UCI (Uplink Control Information)), higher layer signaling (e.g., RRC (Radio Resource Control) signaling, MAC (Medium Access Control) signaling, broadcast information (MIB (Master Information Block), SIB (System Information Block))), other signals, or a combination of these.
  • RRC signaling may be referred to as an RRC message, and may be, for example, an RRC Connection Setup message, an RRC Connection Reconfiguration message, etc.
  • Each aspect/embodiment described in this disclosure may be a mobile communication system (mobile communications system) for mobile communications over a wide range of networks, including LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), 6th generation mobile communication system (6G), xth generation mobile communication system (xG) (xG (x is, for example, an integer or a decimal number)), FRA (Future Ra).
  • the present invention may be applied to at least one of systems using IEEE 802.11 (Wi-Fi (registered trademark)), IEEE 802.16 (WiMAX (registered trademark)), IEEE 802.20, UWB (Ultra-WideBand), Bluetooth (registered trademark), and other appropriate systems, and next-generation systems that are expanded, modified, created, or defined based on these. It may also be applied to a combination of multiple systems (for example, a combination of at least one
  • the input and output information may be stored in a specific location (e.g., memory) or may be managed using a management table.
  • the input and output information may be overwritten, updated, or added to.
  • the output information may be deleted.
  • the input information may be sent to another device.
  • the determination may be based on a value represented by one bit (0 or 1), a Boolean value (true or false), or a numerical comparison (e.g., a comparison with a predetermined value).
  • notification of specific information is not limited to being done explicitly, but may be done implicitly (e.g., not notifying the specific information).
  • Software shall be construed broadly to mean instructions, instruction sets, code, code segments, program code, programs, subprograms, software modules, applications, software applications, software packages, routines, subroutines, objects, executable files, threads of execution, procedures, functions, etc., whether referred to as software, firmware, middleware, microcode, hardware description language, or otherwise.
  • Software, instructions, information, etc. may also be transmitted and received via a transmission medium.
  • a transmission medium For example, if the software is transmitted from a website, server, or other remote source using at least one of wired technologies (such as coaxial cable, fiber optic cable, twisted pair, Digital Subscriber Line (DSL)), and/or wireless technologies (such as infrared, microwave), then at least one of these wired and wireless technologies is included within the definition of a transmission medium.
  • wired technologies such as coaxial cable, fiber optic cable, twisted pair, Digital Subscriber Line (DSL)
  • wireless technologies such as infrared, microwave
  • the information, signals, etc. described in this disclosure may be represented using any of a variety of different technologies.
  • the data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description may be represented by voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, optical fields or photons, or any combination thereof.
  • At least one of the communication channel and the symbol may be a signal (signaling).
  • the signal may be a message.
  • the component carrier (CC) may be called a carrier frequency, a cell, a frequency carrier, etc.
  • system and “network” are used interchangeably.
  • a radio resource may be indicated by an index.
  • the names used for the above-mentioned parameters are not limiting in any respect. Furthermore, the formulas etc. using these parameters may differ from those explicitly disclosed in this disclosure.
  • the various communication channels (e.g., PUCCH, PDCCH, etc.) and information elements may be identified by any suitable names, and therefore the various names assigned to these various communication channels and information elements are not limiting in any respect.
  • determining may encompass a wide variety of actions.
  • Determining and “determining” may include, for example, judging, calculating, computing, processing, deriving, investigating, looking up, search, inquiry (e.g., searching in a table, database, or other data structure), and considering ascertaining as “judging” or “determining.”
  • determining and “determining” may include receiving (e.g., receiving information), transmitting (e.g., sending information), input, output, accessing (e.g., accessing data in memory), and considering ascertaining as “judging” or “determining.”
  • judgment” and “decision” can include considering resolving, selecting, choosing, establishing, comparing, etc., to have been “judged” or “decided.” In other words, “judgment” and “decision” can include considering some action to have been “judged” or “decided.” Additionally, “judgment (decision)” can be interpreted as “assuming,” “ex
  • the phrase “based on” does not mean “based only on,” unless expressly stated otherwise. In other words, the phrase “based on” means both “based only on” and “based at least on.”
  • any reference to an element using a designation such as "first,” “second,” etc., used in this disclosure does not generally limit the quantity or order of those elements. These designations may be used in this disclosure as a convenient method of distinguishing between two or more elements. Thus, a reference to a first and a second element does not imply that only two elements may be employed or that the first element must precede the second element in some way.
  • a and B are different may mean “A and B are different from each other.”
  • the term may also mean “A and B are each different from C.”
  • Terms such as “separate” and “combined” may also be interpreted in the same way as “different.”
  • 10 information processing device
  • 11 extraction unit
  • 12 comparison unit
  • 13 correspondence derivation unit
  • 14 information presentation unit
  • 15 dialogue information storage unit
  • 1001 processor
  • 1002 memory
  • 1003 storage
  • 1004 communication device
  • 1005 input device
  • 1006 output device
  • 1007 bus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

情報処理装置（１０）は、コミックに掲載された画像から、音を表すテキスト情報を、コミック処理単位ごとに抽出する抽出部（１１）と、抽出されたコミック処理単位ごとのテキスト情報と予め用意されたアニメシーンにおける音を表すテキスト情報とを比較し、類似度を算出する比較部（１２）と、算出された類似度に基づいて、アニメシーンとコミック処理単位との対応関係を求める対応導出部（１３）と、を備える。

Description

情報処理装置
　本開示は、アニメシーンとコミック処理単位との対応関係を求める情報処理装置に関する。なお、本明細書における「コミック」とは、絵と文字で表現された物語である漫画を広く意味し、その形態としては、印刷して製本された漫画本であってもよいし、携帯端末、コンピュータなどに表示して参照可能な電子コミックであってもよい。また、「アニメーション」とは、漫画を動画化し、登場人物のセリフ、動作音などを挿入して作成された動画を意味する。以下では「アニメーション」を「アニメ」と略称する。
　人気の有る漫画は、コミックとして販売されるとともに、動画化されアニメの映画又はテレビ番組として提供されることが多い。このような人気漫画のアニメを視聴したユーザが感情を動かされるようなアニメの名シーンは、当該アニメのみならず、その名シーンに対応するコミックシーンを含んだコミックを販売促進するチャンスと言われており、アニメシーンとコミックシーンとの対応関係を把握することは非常に重要である。
特開２０１２－１６８５９０号公報
　関連する技術として、特許文献１には、１つの電子コミックの各ページ内の文字列（テキスト）、画像等を解析して得られた各ページのデータ同士を比較して、データが類似するページ間の遷移情報を得る技術が開示されているが、アニメシーンとコミックシーンとの対応関係は対象とされていない。
　また、実際には、アニメとコミックとで絵柄が異なることは少なくなく、これらの絵が必ずしも似ているわけではないし、特にコミックでは、吹き出しが分かれるなどして、同一人物のセリフが一箇所から得られないこともありうる。そのため、人手によってアニメシーンとコミックシーンとの対応関係を適切に且つ軽い負担で求めることは困難であった。
　本開示は、上記の課題を踏まえ、アニメシーンとコミックシーンとの対応関係を適切に且つ軽い負担で求めることを目的とする。
　出願人は、アニメにおける印象的なシーンには印象的なセリフがセットであると仮定して、予め用意されたアニメの各セリフのテキスト情報と、コミック処理単位ごとに抽出されたテキスト情報とを比較し、その比較結果（類似度）からアニメシーンとコミック処理単位との対応関係を求めることを思い付いた。具体的には、本開示に係る情報処理装置は、コミックに掲載された画像から、音を表すテキスト情報を、コミック処理単位ごとに抽出する抽出部と、抽出されたコミック処理単位ごとのテキスト情報と、予め用意されたアニメシーンにおける音を表すテキスト情報とを比較し、類似度を算出する比較部と、算出された類似度に基づいて、アニメシーンとコミック処理単位との対応関係を求める対応導出部と、を備える。
　上記の情報処理装置では、抽出部が、コミックに掲載された画像から、音（例えば、セリフ、動作音など）を表すテキスト情報をコミック処理単位ごとに抽出し、比較部が、抽出されたコミック処理単位ごとのテキスト情報と、予め用意されたアニメシーンにおける音を表すテキスト情報とを比較して類似度を算出し、そして、対応導出部が、算出された類似度に基づいて、アニメシーンとコミック処理単位との対応関係を求める。このようにして、アニメシーンとコミックシーンとの対応関係を適切に且つ軽い負担で求めることができる。
　本開示によれば、アニメシーンとコミックシーンとの対応関係を適切に且つ軽い負担で求めることができる。
実施形態の概要を説明するための図である。 実施形態における情報処理装置の機能ブロック構成図である。 実施形態における処理を示すフロー図である。 コミックからの文字情報の抽出処理を説明するための図である。 セリフの順序推定を説明するための図である。 セリフの同一話者推定を説明するための図である。 セリフの類似度計算を説明するための図である。 対応ページの特定を説明するための図である。 コミック購買画面に対応アニメシーンを提示した例を示す図である。 アニメ紹介ページに対応コミックの対応巻を提示した例を示す図である。 情報処理装置のハードウェア構成例を示す図である。
　以下、図面を参照しながら、本開示に係る実施形態を説明する。下記の実施形態では、図１に示すように、アニメの名シーンにはセリフが紐づいていると仮定した上で、予め抽出されたアニメの様々なシーンのセリフを表すテキスト情報と、コミックにおける所定のコミック処理単位から取得されたセリフを表すテキスト情報とをマッチングする（即ち、比較して類似度を算出する）ことで、アニメシーンとコミックシーンとの対応関係を求める。なお、予め抽出されたアニメの様々なシーンのセリフを表すテキスト情報（以下「アニメのセリフ情報」と称する）は、音声認識等によってセリフ（音声）から事前に取得されているとする。一方、コミックに記載されたセリフを表すテキスト情報は、後述する文字認識などによって取得される。なお、上記の「コミック処理単位」としては、コミックの各ページを採用してもよいし、コミックの見開きの２ページを採用してもよい。このうち後者を採用する場合は、見開きの２ページを１枚の絵（画像）として取り扱うことを意味する。以下の実施形態では、「コミック処理単位」として、コミックの各ページを採用する場合について説明し、コミック処理単位とされる各ページを「コミックページ」と称する。
　図２に示すように、実施形態における情報処理装置１０は、本開示に係る機能を実現するための機能ブロックとして、事前に取得されたアニメのセリフ情報を記憶したセリフ情報記憶部１５と、コミックに掲載された画像から、音（本実施形態では「セリフ」）を表すテキスト情報をコミックページごとに抽出する抽出部１１と、抽出されたコミックページごとのテキスト情報と、事前に取得されたアニメのセリフ情報（セリフを表すテキスト情報）とを比較し、類似度を算出する比較部１２と、算出された類似度に基づいてアニメシーンとコミックページとの対応関係を求める対応導出部１３と、得られた対応関係に基づいて、コミック販売ページに、対応するアニメシーンの動画像情報を提示するとともに、アニメ紹介ページに、対応するコミックページを含むコミックの販売ページに遷移するためのリンク情報を提示する情報提示部１４と、を備える。各部の機能の詳細は、以下、図３に沿った処理内容とともに説明する。
　次に、図３のフロー図に沿って、図４～図１０を参照しながら、情報処理装置１０において実行される処理を説明する。
　まず、抽出部１１が、コミック画像データにおいて、セリフの順序推定およびセリフの話者の同一性推定を行い、推定結果に基づき複数のセリフを結合することで、セリフを表すテキスト情報をコミックページごとに抽出する（図３のステップＳ１）。
　図４に示すように、ステップＳ１において、抽出部１１は、コミックの各ページから、既存のテキスト検出技術を用いて文字領域を特定して、光学的文字認識（OCR（Optical　Character　Recognition））等によって文字認識を実施し、セリフを表すテキスト情報を抽出するとともに、既存の物体検出技術によって、コマ割り情報と吹き出し情報を取得する。その後、抽出部１１は、以下のような「セリフの順序推定」および「セリフの話者の同一性推定」を行い、推定結果に基づき複数のセリフを結合することで、セリフを表すテキスト情報をコミックページごとに抽出する。
　ここで、「セリフの順序推定」として、抽出部１１は、例えば図５に示すように、機械学習を用いてコマの座標情報とセリフ（吹き出し＆文字領域）の座標情報等からコマ順序およびセリフ順序を推定する。例えば、抽出部１１は、コミックページから把握されるコマの座標情報とセリフの座標情報等に基づいて、標準的に想定される読者の視線の動きとして、セリフの順序を推定する。なお、コマの座標情報およびセリフの座標情報以外に、セリフの話者（キャラクター）の視線の動線など、コミックページから把握可能なその他のメタデータを基礎情報として、セリフの順序を推定してもよい。得られたセリフの順序は、後述する複数のセリフの結合における基礎情報とされる。上記の機械学習を用いたコマ順序およびセリフ順序の推定方法は、特定の方法に限定されるものではなく、例えば、情報処理学会研究報告　Ｖｏｌ．２０１９－ＮＬ－２４１　Ｎｏ．２６　『座標情報に基づく漫画のオブジェクト順位推定』と題する既存技術（インターネットアドレス：
https://ipsj.ixsq.nii.ac.jp/ej/index.php?active_action=repository_view_main_item_detail&page_id=13&block_id=8&item_id=198867&item_no=1）
を用いて、コマ順序およびセリフ順序を推定してもよい。上記推定技術の基本的な考え方は、「コマの順序およびセリフの順序といった視線の動線には、一定の規則に基づく定石がある。これを、座標情報と座標遷移から学習することで推定させる」というものである。上記推定処理の結果、例えば、図５の右端に示すように、セリフの順序は矢印Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５の順序であるとの処理結果が得られる。
　また、「セリフの話者の同一性推定」として、抽出部１１は、コミックページから把握されるセリフを含んだ吹き出しおよび話者の位置情報と、セリフ同士の意味的な繋がり、のうち一方又は両方に基づいて、セリフの話者の同一性を推定する。例えば図６に示すように、抽出部１１は、機械学習を用いて、コマの座標情報とセリフ（吹き出しおよび文字領域）の座標情報およびテキスト情報に加えて、セリフの話者（キャラクター）との位置関係、吹き出しの種類および向き等を用いて、同一話者推定を行う。ここでの機械学習を用いた同一話者推定の方法は、特定の方法に限定されるものではなく、例えば、阿部和樹氏著作の論文『漫画におけるセリフと発話者の対応付け手法の研究』（アドレス：https://dl.nkmr-lab.org/papers/227）、山本和慶氏著作の論文『漫画画像における吹き出しの話者推定』（アドレス：https://repository.dl.itc.u-tokyo.ac.jp/record/51209/files/48166452.pdf）等を用いて、同一話者推定を行ってもよい。上記のような推定技術の基本的な考え方は、「主に「セリフと距離が近いキャラクターほど話者になりやすい」という傾向を学習させることで推定する。テキスト情報を使用する場合は、テキスト間の意味的なつながりの妥当性によって判断する。」というものである。上記のような推定処理の結果、例えば、図６の右側に示すように、セリフＡ１「ああ、いいぜ」、セリフＡ２「俺が！」、およびセリフＡ３「全員倒してやる！」は、同一話者によるセリフと推定されるが、セリフＢ「今年の大会が始まった。」およびセリフＣ「興味深い」との関係では同一話者によるセリフとは推定されない。以上のような図３のステップＳ１では、抽出部１１は、セリフの順序推定およびセリフの話者の同一性推定を行い、これらの推定結果に基づき複数のセリフを結合することで、コミック画像データから、セリフを表すテキスト情報をコミックページごとに抽出する。例えば、セリフＡ１→Ａ２→Ａ３→Ｂ→Ｃという順序推定の結果が得られ、セリフＡ１～Ａ３が同一話者によるという同一話者推定の結果が得られたことを受けて、図７に示すように、上記のセリフＡ１～Ａ３、ＢおよびＣのうち、セリフＡ１～Ａ３が選択的に結合されて「セリフＡ」とされ、「コマ２のセリフＡ」→「コマ３のセリフＢ」→「コマ４のセリフＣ」という順序が推定される。
　なお、上記では単純な例を示したが、事前に用意されたアニメシーンのセリフの長さ（以下「文長」という）Ｌとの関係で、異なるコマ間のセリフの結合は、結合後の文長が（文長Ｌ－所定の許容幅ΔＬ）から（文長Ｌ＋所定の許容幅ΔＬ）までの範囲内に収まるように調整してもよい。
　次に、比較部１２が、ステップＳ１で抽出されたコミックページごとのテキスト情報と、セリフ情報記憶部１５に記憶されたアニメのセリフ情報（セリフを表すテキスト情報）とを比較し、これらのテキスト（文字列）情報の類似度を算出する（図３のステップＳ２）。ここで、比較部１２は、例えば、図７に示すように、類似度としては編集距離、Jaccard係数などが用いられ、類似度S(Wq,Wn,i)を算出する。なお、Wqは、事前に用意したアニメのセリフ情報であり、ページ特定に使用するクエリとされる。Wn,iは、コミックのnページ目に存在する文字列の集合を意味する。
　次に、対応導出部１３が、算出された類似度に基づいて、アニメシーンとコミックページとの対応関係を求める（図３のステップＳ３）。例えば、図８に示すように、対応導出部１３は、準備した文字列について、下記の通り文字列同士の類似度を用いてマッチングを行うことで、セリフに対応するコミックページを特定し、アニメシーンとコミックページとの対応関係を求める。ここでは、類似度として「編集距離」を用いる例を説明する。セリフに対応するコミックページn*を特定する問題は、以下のように定式化できる。
上記式における
は、ページごとにクエリ文字列との編集距離が最小となる文字列を抽出することを意味し、
は、クエリ文字列との距離が最小となるページを、セリフに対応するコミックページn*として特定することを意味する。
　ここで、編集距離の例を以下に示す。同じセリフを文字起こししている前提であれば、多少の表記揺れがあっても、編集距離は大きくならない。
・編集距離＝２の例：アニメのセリフ「ああいいぜ。俺が全員倒してやる！」と、コミックページの文字列「ああ、いいぜ。俺が！全員倒してやる！」との距離
・編集距離＝７の例：アニメのセリフ「ああいいぜ。俺が全員倒してやる！」と、コミックページの文字列「ああいいぜ。俺がまとめて相手する！」との距離
・編集距離＝１４の例：アニメのセリフ「ああいいぜ。俺が全員倒してやる！」と、コミックページの文字列「まとめてかかってこい！」との距離
また、上記のような編集距離を求めるに際し、実際には、事前に一般的に行われるような表記揺れの統一、記号（句読点等）の除外処理等の前処理を施すことも想定している。なお、上記例では、値が小さくなるほど類似度が大きくなる「編集距離」を類似度として用いた例を示したが、値が大きくなるほど類似度が大きくなる「Jaccard係数」を類似度として用いる場合は、セリフに対応するコミックページn*を特定するための数式を適宜変換する必要がある。
　次に、情報提示部１４が、ステップＳ３で得られた対応関係に基づいて、コミック販売ページに、対応するアニメシーンの動画像情報を提示する（図３のステップＳ４）。例えば、図９に示すように、情報提示部１４は、原作コミックの詳細表示画面において、原作コミック対応巻に対応するアニメの名シーンを提示する。図９には、「作品xxxx　コミック７巻」の販売ページにおいて、当該コミック７巻に対応するアニメの名シーンと、アニメシーンに対応するコミックページとが提示された例を示す。このように、対応するアニメの名シーンを原作コミックの詳細表示画面に提示することで、原作コミック対応巻の販売促進につなげることができる。
　さらに、情報提示部１４が、ステップＳ３で得られた対応関係に基づいて、アニメ紹介ページに、対応するコミックページを含むコミックの販売ページに遷移するためのリンク情報を提示する（図３のステップＳ５）。例えば、図１０に示すように、情報提示部１４は、アニメ紹介ページにおいて、名シーンを表示しつつ、表示された名シーンに対応するコミックの対応巻の販売ページへ遷移するためのリンク情報を提示する。図１０には、「作品xxxx　アニメ」の紹介ページにおいて、アニメの名シーンとともに、当該アニメシーンに対応するコミックページ、および、当該コミックページを含むコミック対応巻（コミック７巻）の販売ページへ遷移するためのリンク（画面上のバナー）が提示され、ユーザが当該販売ページへ遷移してスムーズに購入できるようにした例を示す。このようにアニメ紹介ページに、アニメシーンに対応するコミックページを含むコミック対応巻（コミック７巻）の販売ページへのリンクを提示することで、アニメシーンに対応するコミック対応巻の販売促進につなげることができる。
　以上説明した実施形態によれば、アニメシーンとコミックシーンとの対応関係を適切に且つ軽い負担で求めることができる。このとき、対応関係を求めるにあたり、抽出部１１によって、セリフの順序推定およびセリフの同一話者推定を行い、これらの推定結果に基づき複数のセリフを結合することで、コミックページごとのテキスト情報をより精度良く適切に抽出することができる。なお、セリフの順序推定と同一話者推定の両方を実行することは必須ではなく、一方のみを実行してもよい。
　また、アニメシーンとコミックシーンとの対応関係を用いて、図９のように対応するアニメの名シーンを原作コミックの詳細表示画面に提示すること、および、図１０のようにアニメ紹介ページに、アニメシーンに対応するコミックページを含むコミック対応巻の販売ページへのリンクを提示することによって、コミック対応巻の販売促進につなげることができる。なお、図９に示す情報提示と図１０に示す情報提示の両方を実行することは必須ではなく、一方のみを実行してもよい。また、コミック対応巻の「販売」に限定されるものではなく、「レンタル」などの他の商取引形態にも適用可能である。
　なお、上記実施形態では、比較されるコミックページのテキスト情報およびアニメシーンのテキスト情報が、登場人物の「セリフ」を表すテキスト情報である場合を示したが、セリフに限定されるものではなく、物音、背景音（風の音、雨の音など）、動物の鳴き声などを表すテキスト情報にも広く適用可能である。
　なお、本開示の要旨は以下の［１］～［５］に存する。
［１］　コミックに掲載された画像から、音を表すテキスト情報を、コミック処理単位ごとに抽出する抽出部と、
　抽出されたコミック処理単位ごとのテキスト情報と、予め用意されたアニメシーンにおける音を表すテキスト情報とを比較し、類似度を算出する比較部と、
　算出された類似度に基づいて、アニメシーンとコミック処理単位との対応関係を求める対応導出部と、
　を備える情報処理装置。
［２］　前記コミック処理単位ごとのテキスト情報および前記アニメシーンにおける音を表すテキスト情報は、セリフを表すテキスト情報である、
　［１］に記載の情報処理装置。
［３］　前記抽出部は、前記コミック処理単位から把握される、コマおよびセリフの位置情報を含む情報に基づいて、セリフの順序を推定し、得られたセリフの順序に基づき複数のセリフを結合することで、前記コミック処理単位ごとのテキスト情報を抽出する、
　［２］に記載の情報処理装置。
［４］　前記抽出部は、前記コミック処理単位から把握されるセリフを含んだ吹き出しおよび話者の位置情報と、前記セリフ同士の意味的な繋がり、のうち一方又は両方に基づいて、セリフの話者の同一性を推定し、得られた話者の同一性に基づき複数のセリフを結合することで、前記コミック処理単位ごとのテキスト情報を抽出する、
　［２］又は［３］に記載の情報処理装置。
［５］　前記対応導出部により導出されたアニメシーンとコミック処理単位との対応関係に基づいて、
前記コミックを商取引するためのウェブページへの、対応する前記アニメシーンの動画像情報の提示、および、
前記アニメシーンを紹介するウェブページへの、対応するコミック処理単位を含むコミックを商取引するためのウェブページに遷移するためのリンク情報の提示、
のうち少なくとも一方を行う情報提示部、
　をさらに備える［１］～［４］の何れか一項に記載の情報処理装置。
　（用語の説明、ハードウェア構成（図１１）の説明など）
　なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
　機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting　unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
　例えば、本実施形態における情報処理装置１０は、本開示の処理を実行するコンピュータとして機能してもよい。図１１は、情報処理装置１０のハードウェア構成の一例を示す図である。上述の情報処理装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
　なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。情報処理装置１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
　情報処理装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインタフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）によって構成されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
　通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency　Division　Duplex）及び時分割複信（ＴＤＤ：Time　Division　Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
　また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
　また、情報処理装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。
　情報の通知は、本開示において説明した態様／実施形態に限られず、他の方法を用いて行われてもよい。例えば、情報の通知は、物理レイヤシグナリング（例えば、ＤＣＩ（Downlink　Control　Information）、ＵＣＩ（Uplink　Control　Information））、上位レイヤシグナリング（例えば、ＲＲＣ（Radio　Resource　Control）シグナリング、ＭＡＣ（Medium　Access　Control）シグナリング、報知情報（ＭＩＢ（Master　Information　Block）、ＳＩＢ（System　Information　Block）））、その他の信号又はこれらの組み合わせによって実施されてもよい。また、ＲＲＣシグナリングは、ＲＲＣメッセージと呼ばれてもよく、例えば、ＲＲＣ接続セットアップ（RRC　Connection　Setup）メッセージ、ＲＲＣ接続再構成（RRC　Connection　Reconfiguration）メッセージなどであってもよい。
　本開示において説明した各態様／実施形態は、ＬＴＥ（Long　Term　Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ　３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ（4th　generation　mobile　communication　system）、５Ｇ（5th　generation　mobile　communication　system）、6th　generation　mobile　communication　system（６Ｇ）、xth　generation　mobile　communication　system（ｘＧ）（ｘＧ（ｘは、例えば整数、小数））、ＦＲＡ（Future　Radio　Access）、ＮＲ（new　Radio）、New　radio　access（ＮＸ）、Future　generation　radio　access（ＦＸ）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra　Mobile　Broadband）、ＩＥＥＥ　８０２．１１（Ｗｉ－Ｆｉ（登録商標））、ＩＥＥＥ　８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ　８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張、修正、作成、規定された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥ及びＬＴＥ－Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。
　本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
　ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
　本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
　なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、通信チャネル及びシンボルの少なくとも一方は信号（シグナリング）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ：Component　Carrier）は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。
　本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
　また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。
　上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々な通信チャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素は、あらゆる好適な名称によって識別できるので、これらの様々な通信チャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。
　本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking　up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
　本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
　本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
　本開示において、例えば、英語でのa,　an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
　本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
　１０…情報処理装置、１１…抽出部、１２…比較部、１３…対応導出部、１４…情報提示部、１５…セリフ情報記憶部、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス。

Claims (5)

  1. 　コミックに掲載された画像から、音を表すテキスト情報を、所定のコミック処理単位ごとに抽出する抽出部と、
    　抽出されたコミック処理単位ごとのテキスト情報と、予め用意されたアニメシーンにおける音を表すテキスト情報とを比較し、類似度を算出する比較部と、
    　算出された類似度に基づいて、アニメシーンとコミック処理単位との対応関係を求める対応導出部と、
    　を備える情報処理装置。
  2. 　前記コミック処理単位ごとのテキスト情報および前記アニメシーンにおける音を表すテキスト情報は、セリフを表すテキスト情報である、
    　請求項１に記載の情報処理装置。
  3. 　前記抽出部は、前記コミック処理単位から把握される、コマおよびセリフの位置情報を含む情報に基づいて、セリフの順序を推定し、得られたセリフの順序に基づき複数のセリフを結合することで、前記コミック処理単位ごとのテキスト情報を抽出する、
    　請求項２に記載の情報処理装置。
  4. 　前記抽出部は、前記コミック処理単位から把握されるセリフを含んだ吹き出しおよび話者の位置情報と、前記セリフ同士の意味的な繋がり、のうち一方又は両方に基づいて、セリフの話者の同一性を推定し、得られた話者の同一性に基づき複数のセリフを結合することで、前記コミック処理単位ごとのテキスト情報を抽出する、
    　請求項２に記載の情報処理装置。
  5. 　前記対応導出部により導出されたアニメシーンとコミック処理単位との対応関係に基づいて、
    前記コミックを商取引するためのウェブページへの、対応する前記アニメシーンの動画像情報の提示、および、
    前記アニメシーンを紹介するウェブページへの、対応するコミック処理単位を含むコミックを商取引するためのウェブページに遷移するためのリンク情報の提示、
    のうち少なくとも一方を行う情報提示部、
    　をさらに備える請求項１に記載の情報処理装置。
PCT/JP2023/026393 2022-10-24 2023-07-19 情報処理装置 Ceased WO2024089955A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024552832A JP7853436B2 (ja) 2022-10-24 2023-07-19 情報処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-170082 2022-10-24
JP2022170082 2022-10-24

Publications (1)

Publication Number Publication Date
WO2024089955A1 true WO2024089955A1 (ja) 2024-05-02

Family

ID=90830534

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/026393 Ceased WO2024089955A1 (ja) 2022-10-24 2023-07-19 情報処理装置

Country Status (2)

Country Link
JP (1) JP7853436B2 (ja)
WO (1) WO2024089955A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7717939B1 (ja) * 2024-10-04 2025-08-04 株式会社Ｎｔｔドコモ 情報処理装置および情報処理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156838A (ja) * 2016-02-29 2017-09-07 フィールズ株式会社 プログラム、サーバ装置及びコンテンツ表示方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156838A (ja) * 2016-02-29 2017-09-07 フィールズ株式会社 プログラム、サーバ装置及びコンテンツ表示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7717939B1 (ja) * 2024-10-04 2025-08-04 株式会社Ｎｔｔドコモ 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
JP7853436B2 (ja) 2026-04-28
JPWO2024089955A1 (ja) 2024-05-02

Similar Documents

Publication Publication Date Title
CN111989685B (zh) 跨域个性化词汇的学习方法及其电子装置
KR102197364B1 (ko) 모바일 비디오 서치 기법
CN109189938B (zh) 用于更新知识图谱的方法和装置
CN105976818A (zh) 指令识别的处理方法及装置
US20150149893A1 (en) Multi-level List Detection Engine
JP2020149686A (ja) 画像処理方法、装置、サーバ及び記憶媒体
US20160055845A1 (en) Generating training data for disambiguation
CN104735468A (zh) 一种基于语义分析将图像合成新视频的方法及系统
US20160078083A1 (en) Image display device, method for driving the same, and computer readable recording medium
CN107797990A (zh) 用于确定文本核心语句的方法和装置
CN111666776A (zh) 文档翻译方法和装置、存储介质和电子设备
JPWO2020054451A1 (ja) 対話装置
CN112905838A (zh) 信息检索方法和装置、存储介质和电子设备
CN103412773A (zh) 一种获取文件的方法和设备
US12562147B2 (en) Synchronization method and apparatus for audio and text, device, and medium
WO2024089955A1 (ja) 情報処理装置
CN114357949A (zh) 文本协同编辑方法及相关装置、电子设备、存储介质
CN114299415B (zh) 一种视频切分方法、装置、电子设备以及存储介质
KR20190090636A (ko) 문서 자동 편집 방법
WO2023195914A2 (zh) 处理方法、装置、终端设备及介质
CN110910168A (zh) 一种文旅行业获客方法及设备
CN111930891B (zh) 基于知识图谱的检索文本扩展方法及相关装置
US20160048489A1 (en) Information processing device, data input assistance method, and program
CN114239501A (zh) 合同生成方法、装置、设备及介质
CN112579080A (zh) 一种生成用户界面代码的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23882172

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024552832

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23882172

Country of ref document: EP

Kind code of ref document: A1