WO2023145227A1 - コンテンツ評価装置、プログラム、方法、及びシステム - Google Patents

コンテンツ評価装置、プログラム、方法、及びシステム Download PDF

Info

Publication number
WO2023145227A1
WO2023145227A1 PCT/JP2022/043621 JP2022043621W WO2023145227A1 WO 2023145227 A1 WO2023145227 A1 WO 2023145227A1 JP 2022043621 W JP2022043621 W JP 2022043621W WO 2023145227 A1 WO2023145227 A1 WO 2023145227A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
information
state
data
display
Prior art date
Application number
PCT/JP2022/043621
Other languages
English (en)
French (fr)
Inventor
信孝 井出
浩 玉野
文太 田内
勁甫 柯
Original Assignee
株式会社ワコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ワコム filed Critical 株式会社ワコム
Publication of WO2023145227A1 publication Critical patent/WO2023145227A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard

Definitions

  • the present invention relates to a content evaluation device, program, method, and system.
  • the present invention has been made in view of such problems, and its object is to provide a content evaluation apparatus capable of giving users, including content creators and viewers, effective notices leading to subsequent creations. , a program, a method, and a system.
  • a content evaluation device includes a feature amount calculation unit that calculates a state feature amount related to a drawing state during a creation period from the start point to the end point of content creation, and the feature amount calculated by the feature amount calculation unit. and a display instruction unit for instructing display of picture pattern information indicating a picture pattern, which is a collection or trajectory of points in a feature quantity space for expressing the state feature quantity, or derived information derived from the picture pattern.
  • a content evaluation program includes a calculating step of calculating a state feature value related to a drawing state during a creation period from the start point to the end point of content creation, and expressing the calculated state feature value.
  • a content evaluation system comprises a user device having a display unit for displaying an image or video, and a server device configured to be communicable with the user device, wherein the server device , a feature amount calculation unit for calculating a state feature amount related to a drawing state within a creation period from the start point to the end point of creation of the content; and a state feature amount calculated by the feature amount calculation unit.
  • a display instructing unit for instructing the user device to display picture pattern information indicating a picture pattern that is a collection or locus of points on the feature amount space, or derived information derived from the picture pattern.
  • FIG. 1 is an overall configuration diagram of a content evaluation system in one embodiment of the present invention
  • FIG. 2 is a block diagram showing an example of a configuration of a server device in FIG. 1
  • FIG. FIG. 3 is a detailed functional block diagram of a feature amount calculation unit shown in FIG. 2
  • 4 is a flowchart showing an example of calculation operation of feature amount information by a server device
  • 2 is a diagram showing an example of content created using the user device of FIG. 1
  • FIG. 6A and 6B are diagrams showing the transition of the drawing state of the artwork in FIG. 5
  • FIG. FIG. 3 is a diagram showing an example of a data structure of content data in FIGS. 1 and 2
  • FIG. 4 is a diagram illustrating an example of a data structure of graph data in FIG. 3
  • FIG. 3 is a diagram showing an example of a data structure of picture pattern data; It is a figure which shows an example of the calculation method of a state feature-value. It is a figure which shows an example of the calculation method of the operation feature-value. It is a figure which shows an example of the visualized picture pattern.
  • 4 is a flow chart showing an example of a content playback display operation; 2 is a diagram showing an example of a content playback screen displayed on the display unit of FIG. 1; FIG. It is a figure which shows the 1st example of notice display. It is a figure which shows the 2nd example of notice display. It is a figure which shows an example of the selection method of a directly related word.
  • FIG. 11 is a diagram showing an example of a method of selecting euphemistic related words in the third example of notice display. It is a figure which shows the 4th example of notice display. It is a figure which shows an example of the data structure which expression conversion data has.
  • FIG. 1 is an overall configuration diagram of a content evaluation system 10 according to one embodiment of the present invention.
  • the content evaluation system 10 is provided to provide a "content evaluation service" for evaluating digitized content (so-called digital content).
  • this content evaluation system 10 includes one or more user devices 12, one or more electronic pens 14, and a server device 16 (corresponding to a "content evaluation device”). Configured.
  • Each user device 12 and server device 16 are communicably connected via a network NT.
  • the user device 12 is a computer owned by a user (for example, a content creator) who uses the content evaluation service, and is composed of, for example, a tablet, a smartphone, a personal computer, or the like.
  • the user device 12 is configured to generate content data D1 and related data D2, both of which will be described later, and to supply various data generated by itself to the server device 16 via the network NT.
  • the user device 12 specifically includes a processor 21 , a memory 22 , a communication unit 23 , a display unit 24 and a touch sensor 25 .
  • the processor 21 is composed of arithmetic processing units including a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and an MPU (Micro-Processing Unit).
  • the processor 21 reads out the programs and data stored in the memory 22 to perform generation processing for generating ink data describing content (hereinafter also referred to as digital ink), rendering processing for displaying content indicated by the digital ink, and the like. conduct.
  • digital ink ink data describing content
  • the memory 22 stores programs and data necessary for the processor 21 to control each component.
  • the memory 22 is composed of non-transitory and computer-readable storage media.
  • the computer-readable storage medium includes [1] a storage device such as a hard disk (HDD: Hard Disk Drive) and a solid state drive (SSD: Solid State Drive) built in a computer system, [2] a magneto-optical disk , ROM (Read Only Memory), CD (Compact Disk)-ROM, flash memory, and other portable media.
  • the communication unit 23 has a communication function of performing wired communication or wireless communication with an external device. Thereby, the user device 12 can exchange various data such as the content data D1, the related data D2, or the presentation data D3 with the server device 16, for example.
  • the display unit 24 can visually display content including images or videos, and is composed of, for example, a liquid crystal panel, an organic EL (Electro-Luminescence) panel, and electronic paper. By giving flexibility to the display unit 24, the user can perform various writing operations while the touch surface of the user device 12 is being curved or bent.
  • a liquid crystal panel an organic EL (Electro-Luminescence) panel
  • electronic paper By giving flexibility to the display unit 24, the user can perform various writing operations while the touch surface of the user device 12 is being curved or bent.
  • the touch sensor 25 is a capacitive sensor in which a plurality of sensor electrodes are arranged in a plane.
  • the touch sensor 25 includes, for example, a plurality of X-line electrodes for detecting the X-axis position of the sensor coordinate system and a plurality of Y-line electrodes for detecting the Y-axis position. be done.
  • the touch sensor 25 may be a self-capacitance sensor in which block-like electrodes are arranged in a two-dimensional lattice instead of the above-described mutual capacitance sensor.
  • the electronic pen 14 is a pen-type pointing device, and is configured to be capable of unidirectionally or bidirectionally communicating with the user device 12 .
  • the electronic pen 14 is, for example, an active electrostatic coupling (AES) or electromagnetic induction (EMR) stylus.
  • a student as a user can write a picture, a letter, or the like on the user device 12 by holding the electronic pen 14 and moving it while pressing the pen tip against the touch surface of the user device 12 .
  • the server device 16 is a computer that performs general control regarding content evaluation, and may be either a cloud type or an on-premise type.
  • the server device 16 is illustrated as a single computer, the server device 16 may alternatively be a group of computers constructing a distributed system.
  • FIG. 2 is a block diagram showing an example of the configuration of the server device 16 in FIG. 1. As shown in FIG. The server device 16 specifically includes a communication section 30 , a control section 32 and a storage section 34 .
  • the communication unit 30 is an interface that transmits and receives electrical signals to and from an external device. Thereby, the server device 16 can acquire at least one of the content data D1 and the related data D2 from the user device 12 and can provide the user device 12 with the presentation data D3 generated by itself.
  • the control unit 32 is composed of processors including a CPU and a GPU. By reading and executing the programs and data stored in the storage unit 34, the control unit 32 functions as the data acquisition unit 40, the feature amount calculation unit 42, the content evaluation unit 44, the information generation unit 46, and the display instruction unit 48. Function.
  • the data acquisition unit 40 acquires various data (for example, content data D1, related data D2, etc.) related to content to be evaluated.
  • the data acquisition unit 40 may acquire various data from an external device via communication, or may read and acquire various data from the storage unit 34 .
  • the feature quantity calculation unit 42 calculates a feature quantity related to content from at least one of the content data D1 and the related data D2 acquired by the data acquisition unit 40 .
  • This feature amount includes [1] a feature amount related to the rendering state of the content (hereinafter referred to as “state feature amount”) or [2] a feature amount related to individual operations performed to create the content (hereinafter referred to as “operation feature “Amount”).
  • state feature amount a feature amount related to the rendering state of the content
  • operation feature Amount a feature amount related to individual operations performed to create the content
  • the content evaluation unit 44 uses the time series of the state feature amount or operation feature amount calculated by the feature amount calculation unit 42 to perform evaluation processing for evaluating content.
  • the content evaluation unit 44 evaluates, for example, [1] the style of the content, [2] the habit of the creator, [3] the mental state of the creator, or [4] the state of the external environment.
  • the "style” means the individuality or thoughts of the creator appearing in the content.
  • Examples of "habits” include color usage, stroke drawing tendency, device usage tendency, degree of operational error, and the like.
  • Examples of the "psychological state” include various states such as drowsiness, relaxation, and tension, in addition to emotions including emotions.
  • Examples of the "external environment” include brightness, temperature, weather, and season of the surroundings.
  • the content evaluation unit 44 determines the time series of the feature amount corresponding to the content to be evaluated (that is, the first time series feature amount) and the time series of the feature amount that corresponds to the authentic content (that is, the second time series). feature amount), and based on this similarity, the authenticity of the content to be evaluated is determined.
  • Various indices including, for example, a correlation coefficient, a norm, etc. are used for this degree of similarity.
  • the content evaluation unit 44 can use the time series of the state feature amount or the operation feature amount calculated by the feature amount calculation unit 42 to estimate the type of creative process corresponding to the drawing state of the content.
  • types of creation processes include composition process, line drawing process, coloring process, and finishing process.
  • the coloring process may be subdivided into, for example, an undercoating process, a main coating process, and the like.
  • the information generation unit 46 uses the time series of various feature amounts (more specifically, state feature amounts or operation feature amounts) calculated by the feature amount calculation unit 42 to generate pattern information 54 or derived information 56, both of which will be described later. to generate Alternatively, the information generation section 46 generates evaluation result information 58 indicating the evaluation result by the content evaluation section 44 .
  • the display instruction unit 48 instructs display of information generated by the information generation unit 46 .
  • this "display” includes the presentation data D3 including the pattern information 54, the derivative information 56, or the evaluation result information 58 on the user apparatus 12 ( The case of transmitting to an external device such as FIG. 1) is also included.
  • the storage unit 34 stores programs and data necessary for the control unit 32 to control each component.
  • the storage unit 34 is composed of a non-transitory computer-readable storage medium.
  • the computer-readable storage medium includes [1] storage devices such as HDDs and SSDs built in computer systems, [2] magneto-optical disks, ROMs, CD-ROMs, portable media such as flash memories, etc. Configured.
  • a database related to word concepts hereinafter referred to as "concept graph 50”
  • a database related to contents hereinafter referred to as “content DB 52”
  • picture pattern information 54 is constructed in the storage unit 34.
  • derivative information 56 is constructed in the storage unit 34.
  • evaluation result information 58 is stored in the storage unit 34.
  • the concept graph 50 is a graph (that is, an ontology graph) showing relationships between words, and is composed of nodes and links (or edges). Coordinate values in an N-dimensional (for example, N ⁇ 3) feature amount space are associated with individual words forming a node. That is, individual words are quantified as "distributed representations" in natural language processing.
  • the concept graph 50 includes nouns, adjectives, adverbs, verbs, or compound words combining these.
  • the concept graph 50 is not limited to words that directly express the form of the content (for example, the type, color, shape, pattern, etc. of an object), but also contains conceptual and notional impressions including emotions and mental states. A denoting word may be registered.
  • the concept graph 50 is not limited to words that are used on a daily basis, and may include words that are not used on a daily basis (eg, fictitious objects, types of creative processes).
  • the concept graph 50 may be provided for each type of language such as Japanese, English, and Chinese. By selectively using the concept graph 50, it is possible to more precisely reflect cultural differences between countries or regions.
  • generated information includes picture pattern information 54, derived information 56 and evaluation result information 58.
  • the content data D1 is a collection of content elements that make up the content, and is configured so as to be able to express the creation process of the content.
  • the content data D1 consists of, for example, ink data (hereinafter referred to as digital ink) for representing handwritten content.
  • ink data hereinafter referred to as digital ink
  • Examples of “ink description languages” for describing digital ink include WILL (Wacom Ink Layer Language), InkML (Ink Markup Language), and ISF (Ink Serialized Format).
  • the content may be artwork (or digital art) including, for example, paintings, drawings, illustrations, characters, and the like.
  • the related data D2 includes various information related to content creation.
  • the related data D2 includes, for example, [1] Creator information including identification information and attributes of content creators, [2] Resolution, size and type of display unit 24, detection performance and type of touch sensor 25, brush “Setting conditions on the device driver side” including the shape of the pressure curve, etc. [3] “Setting conditions on the drawing application side” including content type, color palette and brush color information, visual effect settings, etc. [4] “Creator's operation history” that is sequentially stored through the execution of the drawing application, [5] "Biological data” that indicates the biometric signal of the creator at the time of content creation, or [6] at the time of content creation "environmental data” that indicates the state of the external environment of the
  • the picture pattern information 54 includes the picture pattern defined on the above feature amount space or the processed picture pattern.
  • the “picture pattern” means a set or trajectory of points on the feature amount space for representing the state feature amount.
  • Examples of the "processed picture pattern” include a picture pattern with a reduced number of dimensions (that is, a cross-sectional view) and a picture pattern with points thinned out.
  • the picture pattern information 54 is stored in association with the above creator information, more specifically, content or creator identification information.
  • the derivative information 56 is information derived from the picture pattern information 54, and includes, for example, visible information (hereinafter referred to as "notice information") for giving notice to the creator of the content.
  • notice information include [1] a word group as a state feature quantity, and [2] another expression that abstracts or euphemizes words included in this word group (for example, a symbol indicating the strength of a feature, a similar other words with a higher degree of volatility).
  • the derivative information 56 is stored in association with creator information (specifically, content or creator identification information).
  • the evaluation result information 58 indicates the evaluation result of the content by the content evaluation unit 44, and as an example of the evaluation result, [1] the result of individual evaluation including classification category, score, creation process, etc., [2] similarity, The results of comparative evaluations including authenticity determination and the like can be mentioned.
  • FIG. 3 is a detailed functional block diagram of the feature quantity calculator 42 shown in FIG.
  • the feature amount calculation unit 42 includes a data shaping unit 60, a rasterization processing unit 62, a word conversion unit 64, a data integration unit 66, a state feature amount calculation unit 68 (corresponding to a "first calculation unit”), and an operation feature amount calculation unit. 70 (corresponding to the “second calculator”).
  • the data shaping section 60 performs shaping processing on the content data D1 and the related data D2 acquired by the data acquiring section 40, and outputs shaped data (hereinafter referred to as "non-raster data"). Specifically, the data shaping unit 60 performs [1] an association process that associates both data, [2] an assignment process that assigns an order to a series of operations within the content creation period, and [3] an unnecessary data removal process. Perform removal processing to remove.
  • [1] operation data related to user operations canceled within the creation period [2] operation data related to user operations that do not contribute to the completion of the content
  • [3] the above-described association processing As an example of "unnecessary data", [1] operation data related to user operations canceled within the creation period, [2] operation data related to user operations that do not contribute to the completion of the content, [3] the above-described association processing.
  • the rasterization processing unit 62 performs "rasterization processing" for converting vector data included in the content data D1 acquired by the data acquisition unit 40 into raster data.
  • Vector data means stroke data that indicates the form of stroke (eg, shape, thickness, color, etc.).
  • Raster data means image data composed of a plurality of pixel values.
  • the word conversion unit 64 performs data conversion processing for converting input data into one or more words (hereinafter referred to as word group).
  • the word converter 64 includes a first converter for outputting the first word group and a second converter for outputting the second word group.
  • the first converter is composed of a learning device that receives the raster data from the rasterization processing unit 62 as input and outputs tensor data indicating the image detection result (existence probability regarding the type and position of the object).
  • This learner may be constructed by, for example, a machine-learned convolutional neural network (such as "Mask R-CNN").
  • the word conversion unit 64 refers to the graph data 72 describing the concept graph 50, and converts the word group registered in the concept graph 50 from among the word groups indicating the type of the object detected by the first converter to the "first 1 word group”.
  • the second converter is composed of a learning device that receives the non-raster data from the data shaping unit 60 as input and outputs the score for each word.
  • This learning device may be constructed by, for example, a machine-learned neural network (for example, “LightGBM” or “XGBoost”).
  • the word conversion unit 64 refers to the graph data 72 describing the concept graph 50, and among the word groups converted by the second converter, the word group registered in the concept graph 50 is defined as the "second word group”. decide.
  • the data integration unit 66 integrates the data for each operation (more specifically, the first word group and the second word group) sequentially obtained by the word conversion unit 64 .
  • This operation is a “stroke operation” for drawing a single stroke, but may be various user operations that may influence the creation of content in conjunction with or apart from this. Also, this integration may be performed in units of one operation, or may be performed in units of two or more consecutive operations.
  • the state feature amount calculation unit 68 calculates a feature amount (hereinafter referred to as "state feature amount”) relating to the drawing state of the content created through a series of operations based on at least both the raster data and the stroke data of the content. Calculate The time series of this state feature amount corresponds to a "picture pattern" which is a pattern unique to the content.
  • This state feature amount may be, for example, [1] types and numbers of words forming a word group, or [2] coordinate values on the feature amount space defined by the concept graph 50 .
  • the state feature quantity calculation section 68 may specify the type of language from the content data D1 or the related data D2, and calculate the time series of the state feature quantity using the concept graph 50 corresponding to the language type.
  • the operation feature amount calculation unit 70 uses the time series of the state feature amounts calculated by the state feature amount calculation unit 68 to obtain the amount of change in the state feature amount before and after a single or continuous operation, and from the amount of change, An operation feature amount related to the operation is calculated in chronological order.
  • the time series of this operation feature amount corresponds to a "picture pattern" which is a pattern unique to the content.
  • This operation feature amount is, for example, the magnitude or direction of a vector whose starting point is the first drawing state immediately before one operation is performed and whose ending point is the second drawing state immediately after one operation is performed.
  • the content evaluation system 10 in this embodiment is configured as described above. Next, the first operation of the content evaluation system 10, specifically, the calculation operation of the feature amount information by the server device 16 constituting a part of the content evaluation system 10, will be described with reference to the functional block diagram of FIG. 3 and the flowchart of FIG. , and FIGS. 5 to 12.
  • FIG. 3 the functional block diagram of FIG. 3 and the flowchart of FIG. , and FIGS. 5 to 12.
  • the data acquisition unit 40 acquires various data related to the content to be evaluated, for example, at least one of the content data D1 and the related data D2.
  • FIG. 5 is a diagram showing an example of content created using the user device 12 of FIG.
  • the content in this figure is an artwork 80 created by handwriting.
  • a content creator completes a desired artwork 80 while making full use of the user device 12 and the electronic pen 14 .
  • Artwork 80 is created through a series of creator operations or multiple types of creative processes.
  • FIG. 6 is a diagram showing the transition of the drawing state of the artwork 80 in FIG.
  • the first work-in-progress 80a shows the drawing state in the "composition process” for determining the overall composition.
  • the second work in process 80b shows the drawing state in the "line drawing process” for creating a line drawing.
  • a third work in progress 80c shows a drawing state in a "coloring step” in which coloring is performed.
  • the fourth in-process work 80d shows the drawing state in the "finishing process” for finishing.
  • FIG. 7 is a diagram showing an example of the data structure of the content data D1 of FIGS. 1 and 2.
  • FIG. The example of this figure shows the case where the content data D1 is digital ink.
  • Digital ink includes [1] document metadata, [2] ink semantics, [3] devices, [4] strokes, [5] classification data (groups ), and [6] have a data structure in which context data (contexts) are sequentially arranged.
  • the stroke data 82 is data for describing individual strokes that make up handwritten content, and indicates the shape of the strokes that make up the content and the stroke order of the strokes. As understood from FIG. 7, one stroke is described by a plurality of point data sequentially arranged within the ⁇ trace> tag. Each point data consists of at least the indicated position (X coordinate, Y coordinate) and is delimited by a delimiter such as a comma. For convenience of illustration, only point data indicating the start and end points of strokes are shown, and point data indicating a plurality of waypoints are omitted. This point data may include the order of stroke generation or editing, the writing pressure of the electronic pen 14, the posture, etc., in addition to the indicated position described above.
  • non-raster data (hereinafter also referred to as “non-raster data”) is associated with each stroke operation.
  • step SP14 the feature amount calculation unit 42 designates one rendering state that has not yet been selected within the content creation period.
  • the feature amount calculation unit 42 designates the drawing state in which the first stroke operation has been performed.
  • the rasterization processing unit 62 performs rasterization processing so as to reproduce the drawing state specified at step SP14. Specifically, the rasterization processing unit 62 performs drawing processing for adding one stroke to the most recent image. As a result, the raster data (that is, the image) to be converted is updated.
  • the word conversion unit 64 converts each data created in steps SP14 and SP16 into a word group consisting of one or more words. Specifically, the word conversion unit 64 converts the raster data from the rasterization processing unit 62 into the first word group, and converts the non-raster data from the data shaping unit 60 into the second word group.
  • the word conversion unit 64 refers to the graph data 72 describing the concept graph 50 when performing [1] conversion of raster data and [2] conversion of non-raster data.
  • FIG. 8 is a diagram showing an example of the data structure of the graph data 72 of FIG.
  • This graph data 72 is data in a table format that indicates the correspondence between "node information" regarding the nodes that constitute the graph and "link information" regarding the links that constitute the graph.
  • the node information includes, for example, a node ID (identification), a word name, a distributed expression (coordinate values in feature amount space), and a display flag.
  • the link information includes whether or not there is a link between nodes and a label given to each link.
  • the feature amount calculation unit 42 confirms whether or not data conversion has been completed for all stroke operations. Since the conversion has not yet been completed in the first process (step SP20: NO), the feature amount calculator 42 returns to step SP14.
  • step SP14 the feature amount calculation unit 42 designates the drawing state in which the second stroke operation was performed in the second process. Thereafter, the feature amount calculation unit 42 sequentially repeats the operations of steps SP14 to SP20 until the data conversion in all drawing states is completed. While repeating this operation, the data integration unit 66 collects and integrates data for each stroke operation. After that, when data conversion for all stroke operations is completed (step SP20: YES), the process proceeds to the next step SP22.
  • step SP22 the state feature quantity calculation unit 68 calculates a time series of state feature quantities using integrated data integrated through the execution of steps SP14 to SP20. As a result, the first picture pattern data representing the first picture pattern is generated.
  • FIG. 9 is a diagram showing an example of the data structure of the pattern data 74.
  • the picture pattern data 74 is data in a table format showing the correspondence between the "state ID", which is identification information of the drawing state of the artwork 80, and the "state feature amount” relating to the drawing state.
  • the state features include, for example, a first word group, a second word group, and coordinate values. This coordinate value is defined on an N-dimensional feature amount space 90 .
  • the number of dimensions N is an integer of 3 or more, preferably a numerical value on the order of several hundreds.
  • FIG. 10 is a diagram showing an example of a method of calculating the state feature quantity.
  • the feature amount space 90 is represented by a plane coordinate system having the first component and the second component as two axes.
  • a word group G1 corresponding to the first word group is composed of a plurality of (six in this figure) words 92 .
  • a word group G2 corresponding to the second word group is composed of a plurality of words 94 (seven words in this example).
  • the state feature amount calculation unit 68 obtains the sum set of the two word groups G1 and G2, and calculates the coordinate values of the representative point 96 of the point set as the feature amount in the drawing state (that is, the state feature amount).
  • the state feature quantity calculation unit 68 may obtain a union using all the words belonging to the word groups G1 and G2, or may find a word with a low degree of association with other words (specifically, a link The union may be obtained after excluding independent nodes that do not have Further, the state feature quantity calculation unit 68 may specify, for example, the center of gravity of the point set as the representative point 96, or may specify the representative point 96 using another statistical method.
  • the operation feature quantity calculation unit 70 calculates the time series of the operation feature quantity using the time series of the state feature quantity calculated at step SP22.
  • the second pattern data representing the second pattern is generated.
  • This second pattern data is, for example, data in a table format that indicates the correspondence between the "stroke ID" that is the identification information of the stroke operation and the "operation feature amount" for each stroke operation.
  • the operation feature amount includes, for example, increased words, decreased words, and displacement amount.
  • the displacement amount is defined on the N-dimensional feature amount space 90 in the same manner as the "coordinate value" in FIG.
  • FIG. 11 is a diagram schematically showing an example of a method for calculating operation feature amounts.
  • the feature amount space 90 is represented by a planar coordinate system having the first component and the second component as two axes, as in the case of FIG. 10 .
  • the asterisks in this figure indicate the positions of words defined by the concept graph 50 (so-called distributed representation).
  • the circles in this drawing indicate the position of the drawing state (that is, the state feature amount).
  • a vector (or displacement amount) starting at the position P and ending at the position Q corresponds to the i-th operation feature amount.
  • a vector (or displacement amount) starting at the position Q and ending at the position R corresponds to the (i+1)-th operation feature amount.
  • FIG. 12 is a diagram showing an example of the visualized pattern 100.
  • the feature amount space is represented by a plane coordinate system having the first component and the second component as two axes, as in FIGS. 10 and 11 .
  • a picture pattern 100 in this figure shows a series of creation processes from the start of creation of the artwork 80 to the end of the creation. More specifically, the picture pattern 100 is a set of representative points 96 (FIG. 10) calculated for each stroke operation. In the example of this figure, the picture pattern 100 is expressed as a set of points in the feature amount space. good too.
  • the feature amount calculation unit 42 stores the feature amount information calculated at steps SP22 and SP24. Specifically, the feature amount calculation unit 42 supplies the first pattern data and the second pattern data to the storage unit 34 in a state of being associated with the content or the creator. As a result, the first pattern data and the second pattern data are registered in the content DB 52 in a usable state. As described above, the server device 16 ends the operation shown in the flowchart of FIG.
  • the user device 12 starts reproducing and displaying the content when receiving an operation by the user.
  • the user device 12 transmits request data including creator information to the server device 16 .
  • the server device 16 After receiving the request data from the user device 12, the server device 16 reads and acquires from the content DB 52 various types of information related to the artwork 110 linked to the creator information.
  • the display instruction unit 48 of the server device 16 sends the presentation data D3 including the acquired various information (specifically, the content data D1, the picture pattern information 54, the derivative information 56, the evaluation result information 58, etc.) to the corresponding Send to user device 12 .
  • the processor 21 of the user device 12 generates a display signal using the presentation data D3 received from the server device 16 and supplies the display signal to the display unit 24 .
  • the content playback screen 108 is visualized and displayed within the display area of the display unit 24 .
  • FIG. 14 is a diagram showing an example of the content playback screen 108 displayed on the display unit 24 of FIG.
  • a drawing display field 112 indicating the drawing state of the artwork 110
  • user controls 116 and 118 regarding selection of the drawing state and information presentation for presenting the pattern information 54 or the evaluation result information 58 are provided.
  • a column 120, an information presentation column 122 for presenting derived information 56, a button 124 labeled [Save], and a button 126 labeled [Exit] are respectively arranged.
  • the user control 116 is composed of, for example, a slide bar, and is provided so that the completeness of the artwork 110 (any value from 0 to 100%) can be selected.
  • the user control 118 is composed of, for example, a plurality of buttons, and is provided so as to be able to execute various operations related to reproduction of the creation process of the artwork 110 .
  • [Save] button 124 corresponds to a user control for saving the captured image of content playback screen 108 .
  • the [End] button 126 corresponds to user control for ending display of the content playback screen 108 .
  • step SP32 in FIG. 13 the processor 21 of the user device 12 confirms whether or not to continue playing back and displaying the content. In the initial state, the end operation has not yet been performed (step SP32: NO), so the processor 21 proceeds to the next step SP34.
  • step SP34 the processor 21 of the user device 12 confirms whether or not a new drawing state has been selected.
  • the processor 21 of the user device 12 acquires various information corresponding to the drawing state newly selected at step SP34.
  • the user device 12 transmits request data including creator information and input information to the server device 16 .
  • the server device 16 After receiving the request data from the user device 12, the server device 16 reads and acquires from the content DB 52 various types of information related to the artwork 110 linked to the creator information.
  • the information generation unit 46 of the server device 16 generates the picture pattern information 54 or the derived information 56 according to the completeness (for example, 50%) specified from the input information.
  • new presentation data D3 is provided to the user device 12 by the same operation as in step SP30.
  • the processor 21 of the user device 12 updates the display content of the content reproduction screen 108 using the various information acquired at step SP36.
  • the drawing display field 112 and the information presentation fields 120 and 122 are updated according to the drawing state (that is, degree of completion) of the artwork 110 .
  • the processor 21 of the user device 12 repeats the operations of steps SP32 to SP38 until accepting the end operation by the user. For example, when the processor 21 accepts a touch operation on the [Save] button 124 in FIG. 14, the processor 21 saves the contents of the currently displayed content playback screen 108 as a captured image. On the other hand, the processor 21 terminates the operation of the flowchart shown in FIG. 13 when the [End] button 126 of FIG. 14 is received.
  • the user device 12 may display the pattern information 54, the derived information 56, or the evaluation result information 58 together with the artwork 110.
  • the "awareness information" which is one aspect of the derived information 56, it is possible to encourage the user to make new discoveries and interpretations of the artwork 110, and to provide new inspiration to the creator. is given. As a result, a 'positive spiral' is born in regards to art creation activities.
  • FIG. 15 is a diagram showing a first example of notice display.
  • a plurality of character strings 130 and 132 are randomly arranged in the information presentation column 122 .
  • Character string 130 represents a single word of normal sized characters.
  • Character string 132 indicates a single word consisting of characters having a larger than normal size. For example, if the state feature value is a group of words, the frequency of appearance of words in the n-th (n ⁇ 2) drawing states traced back from the current drawing state is obtained, and words with a relatively high frequency are displayed in a larger size. Is displayed. In this example, two strings 132 are highlighted, more specifically "Repressively" and "Unconcerned".
  • FIG. 16 is a diagram showing a second example of notice display.
  • This content reproduction screen 108 differs from the screen shown in FIG. 14 in the contents of the drawing display column 112 .
  • a rectangular frame 114 is superimposed on a portion of the artwork 110 that corresponds to a face area indicating the "face" of a person.
  • the position and shape of the rectangular frame 114 are determined by the output result (more specifically, the tensor data from the first converter) by the word converter 64 in FIG.
  • the user can associate "embarrassed” with the "face” by viewing the drawing display column 112 and the information presentation column 122 at the same time. In other words, it is suggested that the "face” was drawn under the subconscious feeling of "embarrassment".
  • FIG. 17 is a diagram showing an example of a method of selecting directly related terms.
  • the feature amount space 90 is represented by a plane coordinate system having the first component and the second component as two axes, as in the case of FIG. 10 .
  • the word group G1 consists of six words 92, and the word group G2 consists of seven words 94.
  • FIG. A line segment connecting the words 92 and 94 corresponds to a “link” defined by the concept graph 50 .
  • the specified word W1 is a word belonging to [1] word group G2 and specified by [2] information presentation field 122 .
  • the related word W2 is a word that [1] belongs to the word group G1, [2] has a connection relationship with the specified word W1, and [3] has the smallest number of links.
  • the related word W2 (word "face") corresponding to the designated word W1 (word “embarrassed”) is uniquely selected according to the selection rule described above.
  • the mark here, the bounding box surrounding the "face” area
  • the state feature here, the word “embarrassed”
  • the user can grasp the part of the artwork 110 that is the basis of the state feature amount, and it becomes easier to associate the drawing state with the state feature amount.
  • ⁇ Third example> Assume that the user visually recognizes the drawing display field 112 in FIG. 14 and performs an instruction operation to designate the position of an image part (for example, a “face” area) in which the user is interested. Then, the information presentation column 122, which is part of the content reproduction screen 108 of FIG. 14, is automatically updated. While the second example selects a directly related word, the third example selects a euphemistic related word.
  • FIG. 18 is a diagram showing an example of a method of selecting euphemistic related words in the third example of notice display.
  • the feature amount space 90 is represented by a planar coordinate system having the first component and the second component as two axes, as in the case of FIG. 17 .
  • a line segment connecting the words 92 and 94 corresponds to a "link" defined by the concept graph 50, as in the case of FIG.
  • the asterisks in this figure indicate words that are included in the selection candidates for the "noticing display” when the "display flag" of the graph data 72 (FIG. 8) is ON (flag value is 1).
  • the specified word W3 is a word that belongs to the [1] word group G1 and corresponds to the position within the image area specified by the [2] drawing display field 112 .
  • the related word W4 is a word that [1] belongs to the word group G2, [2] has a connection relationship with the specified word W3, and [3] has a display flag turned on.
  • the related word W4 is a word that [1] does not belong to the word group G1, [2] has a connection relationship with the specified word W3, [3] the display flag is ON, and [4] has the smallest number of links. be.
  • the related word W4 (or related word W5) corresponding to the specified word W3 (word "face") is selected according to the selection rule described above.
  • FIG. 19 is a diagram showing a fourth example of notice display.
  • Symbols 141 , 142 , and 143 representing flames are arranged in the information presentation column 122 .
  • the symbols 141 to 143 have different forms depending on the strength of the features possessed by the words.
  • characteristics is meant conceptual and notional impressions, including emotions and mental states. For example, since “flame” is a symbol that evokes "passion”, when expressing using a word that evokes "state of weak passion", symbol 141 indicating a flame with weak fire power is selected. Also, when expressing using a word that evokes a "state of moderate passion", a symbol 142 representing a flame with moderate fire power is selected. Furthermore, when expressing using a word that evokes "a state of strong passion", a symbol 143 indicating a flame with strong firepower is selected.
  • FIG. 20 is a diagram showing an example of the data structure of the expression conversion data 78.
  • This expression conversion data 78 defines the correspondence between the "node ID" which is the identification information of the nodes constituting the graph, the "symbol attribute” which indicates the attribute of the symbol, and the "expression level” which indicates the degree of expression. It is data in table format shown. Node IDs are assigned according to the same definition as the graph data 72 shown in FIG. Examples of symbol attributes include various types of symbols that can express the “strength” of words in multiple stages, including fire, sound, water, wind, radio waves, and the like. Expression levels are not limited to three levels of strong, medium, and weak, and two or four or more levels may be provided.
  • the information generation unit 46 (FIG. 3) of the server device 16 reads and refers to the graph data 72 of FIG. 8 and the expression conversion data 78 of FIG. ] After specifying the symbol attribute and [3] expression level, image data representing the corresponding symbol is created or obtained.
  • the user device 12 can display the symbols 141 to 143 in the information presentation field 122 using the image data included in the received presentation data D3.
  • the content evaluation system 10 in this embodiment includes one or a plurality of user devices 12 having a display unit (here, the display unit 24) that displays images or videos, and each user device 12. and a content evaluation device (here, the server device 16) configured to be communicable between them.
  • a display unit here, the display unit 24
  • a content evaluation device here, the server device 16
  • the server device 16 includes a feature amount calculation unit 42 for calculating a state feature amount related to a drawing state during the creation period from the start time to the end time of creation of the content (here, the artworks 80 and 110), and a feature amount calculation unit. Instruct display of pattern information 54 indicating pattern 100, which is a collection or trajectory of points on feature quantity space 90 for expressing the state feature quantity calculated by 42, or derivative information 56 derived from pattern 100. and a display instruction unit 48 for displaying.
  • one or more processors determine the drawing state within the creation period from the start point to the end point of creation of the artworks 80 and 110.
  • a calculation step (SP22 in FIG. 4) for calculating the state feature amount; pattern information 54 indicating the pattern 100, which is a collection or trajectory of points on the feature amount space 90 for expressing the calculated state feature amount;
  • an instruction step (SP30, SP38 in FIG. 13) for instructing display of derived information 56 derived from picture pattern 100 is executed.
  • the derivative information 56 may be notice information for giving notice to the creator or viewer of the artworks 80 and 110 .
  • Awareness information may include visual information that abstracts or euphemizes words corresponding to state features.
  • the visual information may include symbols 141-143 that indicate the strength of features possessed by the word.
  • the visible information may include other words (related words W2, W4, W5) related to the words (designated words W1, W3).
  • Another word may be an abstract word with an abstract meaning.
  • the feature amount calculation unit 42 converts the raster data of the artworks 80 and 110 into the first word group, The state feature amount may be calculated by converting the stroke data into a second word group and synthesizing the first word group and the second word group.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明は、コンテンツ評価装置、プログラム、方法、及びシステムに関する。コンテンツ評価装置（１６）は、コンテンツ（８０，１１０）の創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出し、状態特徴量を表現するための特徴量空間（９０）上の点の集合又は軌跡である絵紋（１００）を示す絵紋情報（５４）又は絵紋（１００）から派生した派生情報（５６）の表示を指示する。

Description

コンテンツ評価装置、プログラム、方法、及びシステム
　本発明は、コンテンツ評価装置、プログラム、方法、及びシステムに関する。
　従来から、コンピュータシステムを用いて、無体物であるデジタルコンテンツ（以下、単に「コンテンツ」ともいう）を複数のユーザ同士で共有するための技術が知られている（例えば、特許第６７３４５０２号公報を参照）。
特許第６７３４５０２号公報
　例えば、コンテンツの創作者や観察者を含むユーザに対して新たなインスピレーションを付与することができれば、アートの創作活動に関する「正のスパイラル」が生まれることが期待される。
　本発明はこのような問題に鑑みてなされたものであり、その目的は、コンテンツの創作者や鑑賞者を含むユーザに対して、次の創作に繋がる効果的な気づきを付与可能なコンテンツ評価装置、プログラム、方法、及びシステムを提供することにある。
　本発明の第１態様におけるコンテンツ評価装置は、コンテンツの創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出する特徴量算出部と、前記特徴量算出部により算出された前記状態特徴量を表現するための特徴量空間上の点の集合又は軌跡である絵紋を示す絵紋情報、又は前記絵紋から派生した派生情報の表示を指示する表示指示部と、を備える。
　本発明の第２態様におけるコンテンツ評価プログラムは、コンテンツの創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出する算出ステップと、算出された前記状態特徴量を表現するための特徴量空間上の点の集合又は軌跡である絵紋を示す絵紋情報、又は前記絵紋から派生した派生情報の表示を指示する指示ステップと、を１つ又複数のコンピュータに実行させる。
　本発明の第３態様におけるコンテンツ評価方法では、コンテンツの創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出する算出ステップと、算出された前記状態特徴量を表現するための特徴量空間上の点の集合又は軌跡である絵紋を示す絵紋情報、又は前記絵紋から派生した派生情報の表示を指示する指示ステップと、を１つ又複数のコンピュータが実行する。
　本発明の第４態様におけるコンテンツ評価システムは、画像又は映像を表示する表示部を有するユーザ装置と、前記ユーザ装置との間で通信可能に構成されるサーバ装置と、を備え、前記サーバ装置は、前記コンテンツの創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出する特徴量算出部と、前記特徴量算出部により算出された前記状態特徴量を表現するための特徴量空間上の点の集合又は軌跡である絵紋を示す絵紋情報、又は前記絵紋から派生した派生情報の表示を前記ユーザ装置に指示する表示指示部と、を備える。
　本発明によれば、コンテンツの創作者や鑑賞者を含むユーザに対して、次の創作に繋がる効果的な気づきを付与することができる。
本発明の一実施形態におけるコンテンツ評価システムの全体構成図である。 図１におけるサーバ装置の構成の一例を示すブロック図である。 図２に示す特徴量算出部の詳細な機能ブロック図である。 サーバ装置による特徴量情報の算出動作の一例を示すフローチャートである。 図１のユーザ装置を用いて創作されたコンテンツの一例を示す図である。 図５におけるアートワークの描画状態の遷移を示す図である。 図１及び図２のコンテンツデータが有するデータ構造の一例を示す図である。 図３のグラフデータが有するデータ構造の一例を示す図である。 絵紋データが有するデータ構造の一例を示す図である。 状態特徴量の算出方法の一例を示す図である。 操作特徴量の算出方法の一例を示す図である。 可視化された絵紋の一例を示す図である。 コンテンツの再生表示動作の一例を示すフローチャートである。 図１の表示ユニットに表示されるコンテンツ再生画面の一例を示す図である。 気づき表示の第１例を示す図である。 気づき表示の第２例を示す図である。 直接的な関連語の選択方法の一例を示す図である。 気づき表示の第３例における、婉曲的な関連語の選択方法の一例を示す図である。 気づき表示の第４例を示す図である。 表現変換データが有するデータ構造の一例を示す図である。
　以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。
［コンテンツ評価システム１０の構成］
＜全体構成＞
　図１は、本発明の一実施形態におけるコンテンツ評価システム１０の全体構成図である。コンテンツ評価システム１０は、電子化されたコンテンツ（いわゆるデジタルコンテンツ）を評価するための「コンテンツ評価サービス」を提供するために設けられる。このコンテンツ評価システム１０は、具体的には、１つ又は複数のユーザ装置１２と、１本又は複数本の電子ペン１４と、サーバ装置１６（「コンテンツ評価装置」に相当）と、を含んで構成される。各々のユーザ装置１２とサーバ装置１６とは、ネットワークＮＴを介して通信可能に接続されている。
　ユーザ装置１２は、コンテンツ評価サービスを利用するユーザ（例えば、コンテンツの創作者）が所有するコンピュータであって、例えば、タブレット、スマートフォン、パーソナルコンピュータなどから構成される。ユーザ装置１２は、いずれも後述するコンテンツデータＤ１及び関連データＤ２を生成し、自身が生成した各種データを、ネットワークＮＴを介してサーバ装置１６に供給可能に構成される。このユーザ装置１２は、具体的には、プロセッサ２１と、メモリ２２と、通信ユニット２３と、表示ユニット２４と、タッチセンサ２５と、を含んで構成される。
　プロセッサ２１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro-Processing Unit）を含む演算処理装置によって構成される。プロセッサ２１は、メモリ２２に格納されたプログラム及びデータを読み出すことで、コンテンツを記述するインクデータ（以下、デジタルインクともいう）を生成する生成処理、デジタルインクが示すコンテンツを表示させるレンダリング処理などを行う。
　メモリ２２は、プロセッサ２１が各構成要素を制御するのに必要なプログラム及びデータを記憶している。メモリ２２は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体から構成される。ここで、コンピュータ読み取り可能な記憶媒体は、［１］コンピュータシステムに内蔵されるハードディスク（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）などの記憶装置、［２］光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disk）－ＲＯＭ、フラッシュメモリなどの可搬媒体などから構成される。
　通信ユニット２３は、外部装置との間で有線通信又は無線通信を行う通信機能を有する。これにより、ユーザ装置１２は、例えば、サーバ装置１６との間で、コンテンツデータＤ１、関連データＤ２、又は提示データＤ３などの様々なデータのやり取りを行うことができる。
　表示ユニット２４は、画像又は映像を含むコンテンツを可視的に表示可能であり、例えば、液晶パネル、有機ＥＬ（Electro-Luminescence）パネル、電子ペーパーから構成される。なお、表示ユニット２４に可撓性をもたせることで、ユーザは、ユーザ装置１２のタッチ面を湾曲又は屈曲させた状態のまま、様々な筆記操作を行うことができる。
　タッチセンサ２５は、複数のセンサ電極を面状に配置してなる静電容量方式のセンサである。このタッチセンサ２５は、例えば、センサ座標系のＸ軸の位置を検出するための複数本のＸライン電極と、Ｙ軸の位置を検出するための複数本のＹライン電極と、を含んで構成される。なお、タッチセンサ２５は、上記した相互容量方式のセンサに代えて、ブロック状の電極を二次元格子状に配置した自己容量方式のセンサであってもよい。
　電子ペン１４は、ペン型のポインティングデバイスであり、ユーザ装置１２との間で一方向又は双方向に通信可能に構成される。この電子ペン１４は、例えば、アクティブ静電結合方式（ＡＥＳ）又は電磁誘導方式（ＥＭＲ）のスタイラスである。ユーザとしての生徒は、電子ペン１４を把持し、ユーザ装置１２が有するタッチ面にペン先を押し当てながら移動させることで、ユーザ装置１２に絵や文字などを書き込むことができる。
　サーバ装置１６は、コンテンツの評価に関する統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、サーバ装置１６を単体のコンピュータとして図示しているが、サーバ装置１６は、これに代わって分散システムを構築するコンピュータ群であってもよい。
＜サーバ装置１６のブロック図＞
　図２は、図１におけるサーバ装置１６の構成の一例を示すブロック図である。サーバ装置１６は、具体的には、通信部３０と、制御部３２と、記憶部３４と、を備える。
　通信部３０は、外部装置に対して電気信号を送受信するインターフェースである。これにより、サーバ装置１６は、コンテンツデータＤ１及び関連データＤ２のうち少なくとも一方をユーザ装置１２から取得するとともに、自身が生成した提示データＤ３をユーザ装置１２に提供することができる。
　制御部３２は、ＣＰＵやＧＰＵを含むプロセッサにより構成される。制御部３２は、記憶部３４に格納されたプログラム及びデータを読み出して実行することで、データ取得部４０、特徴量算出部４２、コンテンツ評価部４４、情報生成部４６、及び表示指示部４８として機能する。
　データ取得部４０は、評価対象であるコンテンツに関する各種データ（例えば、コンテンツデータＤ１や関連データＤ２など）を取得する。データ取得部４０は、通信を介して外部装置から各種データを取得してもよいし、各種データを記憶部３４から読み出して取得してもよい。
　特徴量算出部４２は、データ取得部４０により取得されたコンテンツデータＤ１及び関連データＤ２のうち少なくとも一方から、コンテンツに関する特徴量を算出する。この特徴量には、［１］コンテンツの描画状態に関する特徴量（以下「状態特徴量」という）又は［２］コンテンツを創作するために行われた個々の操作に関する特徴量（以下、「操作特徴量」という）が含まれる。特徴量算出部４２の具体的な構成については、図３で詳しく説明する。
　コンテンツ評価部４４は、特徴量算出部４２により算出された状態特徴量又は操作特徴量の時系列を用いて、コンテンツを評価する評価処理を行う。コンテンツ評価部４４は、例えば、［１］コンテンツの作風、［２］創作者の癖、［３］創作者の心理状態、又は［４］外部環境の状態を評価する。ここで、「作風」とは、コンテンツに現われた創作者の個性又は思想を意味する。「癖」の一例として、色使い、ストロークの描画傾向、機器の使い方の傾向、操作ミスの程度などが挙げられる。「心理状態」の一例として、喜怒哀楽を含む感情の他に、眠気、リラックス、緊張などの様々な状態が挙げられる。「外部環境」の一例として、周辺の明るさ、寒暖、天気、季節などが挙げられる。
　また、コンテンツ評価部４４は、評価対象のコンテンツに対応する特徴量の時系列（つまり、第１時系列特徴量）と、真正のコンテンツに対応する特徴量の時系列（つまり、第２時系列特徴量）との間の類似度を求め、この類似度に基づいて評価対象のコンテンツの真贋性を判定する。この類似度には、例えば、相関係数、ノルムなどを含む様々な指標が用いられる。
　また、コンテンツ評価部４４は、特徴量算出部４２により算出された状態特徴量又は操作特徴量の時系列を用いて、コンテンツの描画状態に対応する創作工程の種類を推定することができる。創作工程の種類の一例として、構図工程、線画工程、色付け工程、仕上げ工程などが挙げられる。また、色付け工程は、例えば、下塗り工程、本塗り工程などに細分化されてもよい。
　情報生成部４６は、特徴量算出部４２により算出された各種特徴量（より詳しくは、状態特徴量又は操作特徴量）の時系列を用いて、いずれも後述する絵紋情報５４又は派生情報５６を生成する。あるいは、情報生成部４６は、コンテンツ評価部４４による評価結果を示す評価結果情報５８を生成する。
　表示指示部４８は、情報生成部４６により生成された情報の表示を指示する。この「表示」には、サーバ装置１６に設けられる出力デバイス（不図示）に表示する場合の他に、絵紋情報５４、派生情報５６又は評価結果情報５８を含む提示データＤ３をユーザ装置１２（図１）などの外部装置に送信する場合も含まれる。
　記憶部３４は、制御部３２が各構成要素を制御するのに必要なプログラム及びデータを記憶している。記憶部３４は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。ここで、コンピュータ読み取り可能な記憶媒体は、［１］コンピュータシステムに内蔵されるＨＤＤ、ＳＳＤなどの記憶装置、［２］光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、フラッシュメモリなどの可搬媒体などから構成される。
　図２の例では、記憶部３４には、単語の概念に関するデータベース（以下、「概念グラフ５０」という）、コンテンツに関するデータベース（以下、「コンテンツＤＢ５２」という）が構築されるとともに、絵紋情報５４、派生情報５６、及び評価結果情報５８が格納されている。
　概念グラフ５０は、単語同士の関係性を示すグラフ（つまり、オントロジーグラフ）であり、ノード及びリンク（あるいはエッジ）により構成される。ノードを構成する個々の単語には、Ｎ次元（例えば、Ｎ≧３）の特徴量空間上の座標値が対応付けられている。つまり、個々の単語は、自然言語処理の「分散表現」として定量化されている。
　概念グラフ５０には、名詞、形容詞、副詞、動詞又はこれらを組み合わせた複合語が含まれる。また、概念グラフ５０には、コンテンツの形態を直接的に表現する単語（例えば、物体の種類・色彩・形状・模様など）に限られず、感情や精神状態を含む概念的・観念的な印象を示す単語が登録されてもよい。また、概念グラフ５０には、日常的に使用される単語に限られず、日常的に使用されない単語（例えば、架空の物体、創作工程の種類）であってもよい。また、概念グラフ５０は、日本語、英語、中国語などの言語の種類毎に設けられてもよい。概念グラフ５０を使い分けることで、国毎又は地域毎の文化の違いをより精緻に反映させることができる。
　コンテンツＤＢ５２は、［１］コンテンツデータＤ１、［２］関連データＤ２、及び［３］コンテンツデータＤ１又は関連データＤ２を用いて生成された情報（以下、生成情報）が関連付けて登録されている。この「生成情報」には、絵紋情報５４、派生情報５６及び評価結果情報５８が含まれる。
　コンテンツデータＤ１は、コンテンツを構成するコンテンツ要素の集合体であり、コンテンツの創作過程を表現可能に構成される。コンテンツデータＤ１は、例えば、手書きによるコンテンツを表現するためのインクデータ（以下、デジタルインク）からなる。デジタルインクを記述するための「インク記述言語」として、例えば、ＷＩＬＬ（Wacom Ink Layer Language）、ＩｎｋＭＬ（Ink Markup Language）、ＩＳＦ（Ink Serialized Format）が挙げられる。コンテンツは、例えば、絵画、書画、イラスト、文字などを含むアートワーク（あるいは、デジタルアート）であってもよい。
　関連データＤ２は、コンテンツの創作に関連する様々な情報を含む。関連データＤ２には、例えば、［１］コンテンツの創作者の識別情報や属性などを含む創作者情報、［２］表示ユニット２４の解像度・サイズ・種類、タッチセンサ２５の検出性能・種類、筆圧カーブの形状などを含む「デバイスドライバ側の設定条件」、［３］コンテンツの種類、カラーパレットやブラシの色情報、視覚効果の設定などを含む「描画アプリ側の設定条件」、［４］描画アプリの実行を通じ逐次的に記憶されている「創作者の操作履歴」、［５］コンテンツの創作時での創作者の生体信号を示す「生体データ」、又は［６］コンテンツの創作時での外部環境の状態を示す「環境データ」などが挙げられる。
　絵紋情報５４は、上記した特徴量空間上で定義される絵紋又は加工された絵紋を含む。ここで、「絵紋」は、状態特徴量を表現するための特徴量空間上の点の集合又は軌跡を意味する。「加工された絵紋」の一例として、次元数が削減された絵紋（すなわち、断面図）や、点数が間引かれた絵紋などが挙げられる。絵紋情報５４は、上記した創作者情報、具体的には、コンテンツ又は創作者の識別情報と対応付けて記憶されている。
　派生情報５６は、絵紋情報５４から派生した情報であり、例えば、コンテンツの創作者に気づきを与えるための可視情報（以下、「気づき情報」という）を含む。気づき情報の一例として、［１］状態特徴量としての単語群や、［２］この単語群に含まれる単語を抽象化又は婉曲化した別の表現（例えば、特徴の強さを示すシンボル、類似性が高い別の単語など）が挙げられる。派生情報５６は、絵紋情報５４と同様に、創作者情報（具体的には、コンテンツ又は創作者の識別情報）と対応付けて記憶されている。
　評価結果情報５８は、コンテンツ評価部４４によるコンテンツの評価結果を示しており、評価結果の一例として、［１］分類カテゴリー、得点、創作工程などを含む単体評価の結果、［２］類似度や真贋判定などを含む比較評価の結果が挙げられる。
＜特徴量算出部４２の機能ブロック図＞
　図３は、図２に示す特徴量算出部４２の詳細な機能ブロック図である。この特徴量算出部４２は、データ整形部６０、ラスタライズ処理部６２、単語変換部６４、データ統合部６６、状態特徴量算出部６８（「第１算出部」に相当）及び操作特徴量算出部７０（「第２算出部」に相当）として機能する。
　データ整形部６０は、データ取得部４０により取得されたコンテンツデータＤ１及び関連データＤ２に対して整形処理を行い、整形済みのデータ（以下、「非ラスタデータ」という）を出力する。具体的には、データ整形部６０は、［１］両方のデータ同士を関連付ける関連付け処理、［２］コンテンツの創作期間内における一連の操作に順番を付与する付与処理、［３］不要なデータを除去する除去処理を行う。ここで、「不要データ」の一例として、［１］創作期間内で取り消されたユーザ操作に関する操作データ、［２］コンテンツの完成に寄与しないユーザ操作に関する操作データ、［３］上記した関連付け処理を行った結果、整合性が認められない各種データなどが挙げられる。
　ラスタライズ処理部６２は、データ取得部４０により取得されたコンテンツデータＤ１に含まれるベクトルデータをラスタデータに変換する「ラスタライズ処理」を行う。ベクトルデータは、ストロークの形態（例えば、形状、太さ、色など）を示すストロークデータを意味する。ラスタデータは、複数の画素値から構成される画像データを意味する。
　単語変換部６４は、入力データを１つ又は２つ以上の単語（以下、単語群という）に変換するためのデータ変換処理を行う。単語変換部６４は、第１単語群を出力するための第１変換器と、第２単語群を出力するための第２変換器と、を備える。
　第１変換器は、ラスタライズ処理部６２からのラスタデータを入力とし、画像の検出結果（物体の種類及び位置に関する存在確率）を示すテンソルデータを出力とする学習器から構成される。この学習器は、例えば、機械学習がなされた畳み込みニューラルネットワーク（例えば、「Ｍａｓｋ　Ｒ－ＣＮＮ」など）により構築されてもよい。単語変換部６４は、概念グラフ５０を記述するグラフデータ７２を参照し、第１変換器により検出された物体の種類を示す単語群のうち、概念グラフ５０に登録されている単語群を「第１単語群」として決定する。
　第２変換器は、データ整形部６０からの非ラスタデータを入力とし、単語毎の得点を出力とする学習器から構成される。この学習器は、例えば、機械学習がなされたニューラルネットワーク（例えば、「ＬｉｇｈｔＧＢＭ」や「ＸＧＢｏｏｓｔ」など）により構築されてもよい。単語変換部６４は、概念グラフ５０を記述するグラフデータ７２を参照し、第２変換器により変換された単語群のうち、概念グラフ５０に登録されている単語群を「第２単語群」として決定する。
　データ統合部６６は、単語変換部６４により逐次的に得られた操作毎のデータ（より詳しくは、第１単語群及び第２単語群）を統合する。この操作は、１本のストロークを描画するための「ストローク操作」であるが、これと併せて又はこれとは別に、コンテンツの創作に影響し得る様々なユーザ操作であってもよい。また、この統合は、１つずつの操作単位で行われてもよいし、連続する２つ以上の操作単位で行われてもよい。
　状態特徴量算出部６８は、少なくとも、コンテンツのラスタデータ及びストロークデータの両方に基づいて、一連の操作を通じて創作されるコンテンツの描画状態に関する特徴量（以下、「状態特徴量」という）を時系列的に算出する。この状態特徴量の時系列は、コンテンツに固有の模様である「絵紋」に相当する。この状態特徴量は、例えば、［１］単語群を構成する単語の種類・個数、又は［２］概念グラフ５０により定義される特徴量空間上の座標値であってもよい。あるいは、状態特徴量算出部６８は、コンテンツデータＤ１又は関連データＤ２から言語の種類を特定し、言語の種類に対応する概念グラフ５０を用いて状態特徴量の時系列を算出してもよい。
　操作特徴量算出部７０は、状態特徴量算出部６８により算出された状態特徴量の時系列を用いて、単独の又は連続する操作の前後にわたる状態特徴量の変化量を求め、当該変化量から当該操作に関する操作特徴量を時系列的に算出する。この操作特徴量の時系列は、コンテンツに固有の模様である「絵紋」に相当する。この操作特徴量は、例えば、１つの操作が行われる直前の第１描画状態を始点とし、１つの操作が行われた直後の第２描画状態を終点とするベクトルの大きさ又は向きである。
［第１動作の説明：特徴量情報の算出］
　この実施形態におけるコンテンツ評価システム１０は、以上のように構成される。続いて、コンテンツ評価システム１０の第１動作、具体的には、コンテンツ評価システム１０の一部を構成するサーバ装置１６による特徴量情報の算出動作について、図３の機能ブロック図、図４のフローチャート、並びに図５～図１２を参照しながら説明する。
　図４のステップＳＰ１０において、データ取得部４０は、評価対象のコンテンツに関する各種データ、例えば、コンテンツデータＤ１及び関連データＤ２のうち少なくとも一方を取得する。
　図５は、図１のユーザ装置１２を用いて創作されたコンテンツの一例を示す図である。本図のコンテンツは、手書きにより創作されたアートワーク８０である。コンテンツの創作者は、ユーザ装置１２及び電子ペン１４を駆使しながら、所望のアートワーク８０を完成させる。アートワーク８０は、創作者による一連の操作、あるいは、複数種類の創作工程を通じて創作される。
　図６は、図５におけるアートワーク８０の描画状態の遷移を示す図である。１番目の仕掛り作品８０ａは、全体の構図を定める「構図工程」での描画状態を示している。２番目の仕掛り作品８０ｂは、線画を作成する「線画工程」での描画状態を示している。３番目の仕掛り作品８０ｃは、色塗りを行う「色付け工程」での描画状態を示している。４番目の仕掛り作品８０ｄは、仕上げるための「仕上げ工程」での描画状態を示している。
　図７は、図１及び図２のコンテンツデータＤ１が有するデータ構造の一例を示す図である。本図の例では、コンテンツデータＤ１がデジタルインクである場合を示している。デジタルインクは、[１]文書メタデータ（document metadata）、［２］意味データ（ink semantics）、［３］装置データ（devices）、［４］ストロークデータ（strokes）、［５］分類データ（groups）、及び［６］文脈データ（contexts）を順次配列してなるデータ構造を有する。
　ストロークデータ８２は、手書きによるコンテンツを構成する個々のストロークを記述するためのデータであり、コンテンツを構成するストロークの形状及び該ストロークの書き順を示している。図７から理解されるように、１本のストロークは、＜ｔｒａｃｅ＞タグ内に順次配列される複数のポイントデータにより記述される。各々のポイントデータは、少なくとも指示位置（Ｘ座標、Ｙ座標）からなり、カンマなどのデリミタで区切られる。図示の便宜上、ストロークの始点及び終点を示すポイントデータのみを表記し、複数の経由点を示すポイントデータを省略している。このポイントデータには、上記した指示位置の他に、ストロークの生成又は編集の順番や、電子ペン１４の筆圧、姿勢などが含まれてもよい。
　図４のステップＳＰ１２において、データ整形部６０は、ステップＳＰ１０で取得されたコンテンツデータＤ１及び関連データＤ２に対する整形処理を行う。この整形により、ラスタ形式ではないデータ（以下、「非ラスタデータ」ともいう）がストローク操作毎に対応付けられる。
　ステップＳＰ１４において、特徴量算出部４２は、コンテンツの創作期間内にてまだ選択されていない１つの描画状態を指定する。特徴量算出部４２は、１回目の処理にて、１番目のストローク操作が行われた描画状態を指定する。
　ステップＳＰ１６において、ラスタライズ処理部６２は、ステップＳＰ１４で指定された描画状態を再現するようにラスタライズ処理を行う。具体的には、ラスタライズ処理部６２は、直近の画像に対して１本のストロークを追加する描画処理を行う。これにより、変換対象であるラスタデータ（つまり、画像）が更新される。
　ステップＳＰ１８において、単語変換部６４は、ステップＳＰ１４，ＳＰ１６で作成された各データを１つ又は２つ以上の単語から構成される単語群に変換する。具体的には、単語変換部６４は、ラスタライズ処理部６２からのラスタデータを第１単語群に変換するとともに、データ整形部６０からの非ラスタデータを第２単語群に変換する。単語変換部６４は、［１］ラスタデータの変換及び［２］非ラスタデータの変換を行う際、概念グラフ５０を記述するグラフデータ７２を参照する。
　図８は、図３のグラフデータ７２が有するデータ構造の一例を示す図である。このグラフデータ７２は、グラフを構成するノードに関する「ノード情報」と、グラフを構成するリンクに関する「リンク情報」との間の対応関係を示すテーブル形式のデータである。ノード情報には、例えば、ノードＩＤ（identification）、単語名、分散表現（特徴量空間上の座標値）、表示フラグが含まれる。リンク情報には、ノード同士のリンクの有無や、各リンクに付与されるラベルが含まれる。
　図４のステップＳＰ２０において、特徴量算出部４２は、すべてのストローク操作でのデータ変換が終了したか否かを確認する。１回目の処理では変換がまだ終了していないので（ステップＳＰ２０：ＮＯ）、特徴量算出部４２は、ステップＳＰ１４に戻る。
　ステップＳＰ１４において、特徴量算出部４２は、２回目の処理において、２番目のストローク操作が行われた描画状態を指定する。以下、特徴量算出部４２は、すべての描画状態でのデータ変換が終了するまでの間、ステップＳＰ１４～ＳＰ２０の動作を順次繰り返す。この動作を繰り返している間、データ統合部６６は、ストローク操作毎にデータを集約して統合する。その後、すべてのストローク操作でのデータ変換が終了した場合（ステップＳＰ２０：ＹＥＳ）、次のステップＳＰ２２に進む。
　ステップＳＰ２２において、状態特徴量算出部６８は、ステップＳＰ１４～ＳＰ２０の実行を通じて統合された統合データを用いて、状態特徴量の時系列を算出する。これにより、第１の絵紋を示す第１絵紋データが生成される。
　図９は、絵紋データ７４が有するデータ構造の一例を示す図である。この絵紋データ７４は、アートワーク８０の描画状態の識別情報である「状態ＩＤ」と、描画状態に関する「状態特徴量」との間の対応関係を示すテーブル形式のデータである。状態特徴量には、例えば、第１単語群、第２単語群、及び座標値が含まれる。この座標値は、Ｎ次元の特徴量空間９０上で定義される。次元数Ｎは、３以上の整数であり、数百オーダーの数値であることが望ましい。
　図１０は、状態特徴量の算出方法の一例を示す図である。図示の便宜上、特徴量空間９０は、第１成分及び第２成分を二軸とする平面座標系で表現されている。第１単語群に相当する単語群Ｇ１は、複数個（本図例では、６個）の単語９２から構成される。第２単語群に相当する単語群Ｇ２は、複数個（本図例では、７個）の単語９４から構成される。
　ここで、状態特徴量算出部６８は、２つの単語群Ｇ１，Ｇ２の和集合を求め、点集合の代表点９６の座標値を描画状態における特徴量（つまり、状態特徴量）として算出する。状態特徴量算出部６８は、単語群Ｇ１，Ｇ２に属するすべての単語を用いて和集合を求めてもよいし、他の単語との間で関連度が低い単語（具体的には、リンクがない独立したノード）を除外した上で和集合を求めてもよい。また、状態特徴量算出部６８は、例えば、点集合の重心を代表点９６として特定してもよいし、他の統計的手法を用いて代表点９６を特定してもよい。
　図４のステップＳＰ２４において、操作特徴量算出部７０は、ステップＳＰ２２により算出された状態特徴量の時系列を用いて、操作特徴量の時系列を算出する。これにより、第２の絵紋を示す第２絵紋データが生成される。この第２絵紋データは、例えば、ストローク操作の識別情報である「ストロークＩＤ」と、各ストローク操作に関する「操作特徴量」との間の対応関係を示すテーブル形式のデータである。操作特徴量には、例えば、増加した単語、減少した単語、及び変位量が含まれる。変位量は、図９の「座標値」と同様に、Ｎ次元の特徴量空間９０上で定義される。
　図１１は、操作特徴量の算出方法の一例を模式的に示す図である。図示の便宜上、図１０の場合と同様に、特徴量空間９０は、第１成分及び第２成分を二軸とする平面座標系で表現されている。本図の星印は、概念グラフ５０により定義された単語の位置（いわゆる、分散表現）を示している。本図の丸印は、描画状態の位置（つまり、状態特徴量）を示している。
　例えば、ｉ番目の描画状態からｉ番目のストローク操作を行うことで、（ｉ＋１）番目の描画状態に遷移したとする。この場合、位置Ｐを始点とし、かつ位置Ｑを終点とするベクトル（あるいは変位量）が、ｉ番目の操作特徴量に相当する。以下、同様に、位置Ｑを始点とし、かつ位置Ｒを終点とするベクトル（あるいは変位量）が、（ｉ＋１）番目の操作特徴量に相当する。
　図１２は、可視化された絵紋１００の一例を示す図である。図示の便宜上、図１０及び図１１の場合と同様に、特徴量空間は、第１成分及び第２成分を二軸とする平面座標系で表現されている。本図の絵紋１００は、アートワーク８０の創作の開始時点から終了時点までの一連の創作過程を示している。より具体的には、絵紋１００は、ストローク操作毎に算出された代表点９６（図１０）の集合体である。本図の例では、絵紋１００は、特徴量空間上の点集合として表記されているが、これに代えて、各点を順次連結してなる１本の線（すなわち、軌跡）であってもよい。
　図４のステップＳＰ２６において、特徴量算出部４２は、ステップＳＰ２２，ＳＰ２４でそれぞれ算出された特徴量情報を保存する。具体的には、特徴量算出部４２は、第１絵紋データ及び第２絵紋データを、コンテンツ又は創作者と対応付けた状態にて記憶部３４に供給する。これにより、第１絵紋データ及び第２絵紋データが、それぞれ利用可能な状態でコンテンツＤＢ５２に登録される。以上のようにして、サーバ装置１６は、図４のフローチャートに示す動作を終了する。
［第２動作の説明：コンテンツの再生表示動作］
　続いて、コンテンツ評価システム１０の第２動作、具体的には、ユーザ装置１２及びサーバ装置１６の連携によるコンテンツの再生表示動作について、図１３のフローチャート及び図１４～図２０を参照しながら説明する。この動作において、ユーザは、コンテンツの創作者又は鑑賞者である。
＜全体動作＞
　図１３のステップＳＰ３０において、ユーザ装置１２は、ユーザによる操作を受け付けた場合、コンテンツの再生表示を開始する。この表示に先立ち、ユーザ装置１２は、創作者情報を含む要求データをサーバ装置１６に送信する。サーバ装置１６は、ユーザ装置１２からの要求データを受信した後、創作者情報に紐付けられたアートワーク１１０に関する各種情報をコンテンツＤＢ５２から読み出して取得する。その後、サーバ装置１６の表示指示部４８は、取得した各種情報（具体的には、コンテンツデータＤ１、絵紋情報５４、派生情報５６又は評価結果情報５８など）を含む提示データＤ３を、該当するユーザ装置１２に送信する。
　ユーザ装置１２のプロセッサ２１は、サーバ装置１６から受信した提示データＤ３を用いて表示信号を生成し、当該表示信号を表示ユニット２４に供給する。これにより、表示ユニット２４の表示領域内にコンテンツ再生画面１０８が可視化して表示される。
　図１４は、図１の表示ユニット２４に表示されるコンテンツ再生画面１０８の一例を示す図である。このコンテンツ再生画面１０８上に、アートワーク１１０の描画状態を示す描画表示欄１１２と、描画状態の選択に関するユーザコントロール１１６，１１８と、絵紋情報５４又は評価結果情報５８を提示するための情報提示欄１２０と、派生情報５６を提示するための情報提示欄１２２と、［保存］と表記されたボタン１２４と、［終了］と表記されたボタン１２６と、がそれぞれ配置されている。
　ユーザコントロール１１６は、例えば、スライドバーから構成されており、アートワーク１１０の完成度（０～１００％の任意の値）を選択可能に設けられる。ユーザコントロール１１８は、例えば、複数のボタンから構成されており、アートワーク１１０の創作過程の再生に関わる各種操作を実行可能に設けられる。［保存］ボタン１２４は、コンテンツ再生画面１０８のキャプチャ画像を保存するためのユーザコントロールに相当する。［終了］ボタン１２６は、コンテンツ再生画面１０８の表示を終了させるためのユーザコントロールに相当する。
　図１３のステップＳＰ３２において、ユーザ装置１２のプロセッサ２１は、コンテンツの再生表示を継続するか否かを確認する。初期状態では、まだ終了操作が行われていないので（ステップＳＰ３２：ＮＯ）、プロセッサ２１は、次のステップＳＰ３４に進む。
　ステップＳＰ３４において、ユーザ装置１２のプロセッサ２１は、新しい描画状態が選択されたか否かを確認する。初期状態では、描画状態が「完成度＝０％」に固定されているので（ステップＳＰ３４：ＮＯ）、プロセッサ２１は、ステップＳＰ３２に戻り、０％以外の描画状態が選択されるまでの間、ステップＳＰ３２，ＳＰ３４を順次繰り返す。
　例えば、ユーザが、図１４のユーザコントロール１１６を介して「完成度＝５０％」を選択する操作を行った場合、プロセッサ２１は、新しい描画状態が選択されたことを契機として（ステップＳＰ３４：ＹＥＳ）、次のステップＳＰ３６に進む。
　ステップＳＰ３６において、ユーザ装置１２のプロセッサ２１は、ステップＳＰ３４で新たに選択された描画状態に対応する各種情報を取得する。この取得に先立ち、ユーザ装置１２は、創作者情報や入力情報を含む要求データをサーバ装置１６に送信する。サーバ装置１６は、ユーザ装置１２からの要求データを受信した後、創作者情報に紐付けられたアートワーク１１０に関する各種情報をコンテンツＤＢ５２から読み出して取得する。その後、サーバ装置１６の情報生成部４６は、入力情報から特定される完成度（例えば、５０％）に応じた絵紋情報５４又は派生情報５６を生成する。以下、ステップＳＰ３０の場合と同様の動作により、新たな提示データＤ３がユーザ装置１２に提供される。
　ステップＳＰ３８において、ユーザ装置１２のプロセッサ２１は、ステップＳＰ３６で取得された各種情報を用いて、コンテンツ再生画面１０８の表示内容を更新する。これにより、描画表示欄１１２及び情報提示欄１２０，１２２がそれぞれ、アートワーク１１０の描画状態（つまり、完成度）に応じて更新される。
　その後、ステップＳＰ３２に戻って、ユーザ装置１２のプロセッサ２１は、ユーザによる終了操作を受け付けるまでの間、ステップＳＰ３２～ＳＰ３８の動作を繰り返す。例えば、プロセッサ２１は、図１４の［保存］ボタン１２４のタッチ操作を受け付けた場合、現時点で表示されているコンテンツ再生画面１０８の内容をキャプチャ画像として保存する。一方、プロセッサ２１は、図１４の［終了］ボタン１２６を受け付けたことを契機として、図１３に示すフローチャートの動作を終了する。
　このように、ユーザ装置１２は、絵紋情報５４、派生情報５６又は評価結果情報５８をアートワーク１１０と併せて表示させてもよい。特に、派生情報５６の一態様である「気づき情報」を可視化して表示することで、アートワーク１１０に対する新たな発見や解釈をユーザに促すことが可能となり、創作者に対して新たなインスピレーションが付与される。その結果、アートの創作活動に関する「正のスパイラル」が生まれる。
＜第１例＞
　図１５は、気づき表示の第１例を示す図である。情報提示欄１２２内には、複数の文字列１３０，１３２が無作為に配置されている。文字列１３０は、通常のサイズを有する文字からなる１つの単語を示す。文字列１３２は、通常よりも大きいサイズを有する文字からなる１つの単語を示す。例えば、状態特徴量が単語群である場合、現在の描画状態から遡ってｎ番目（ｎ≧２）までの描画状態における単語の出現頻度を求め、頻度が相対的に高い単語がより大きなサイズで表示される。本図の例では、２つの文字列１３２が、より詳しくは「抑圧的に（Repressively）」及び「無関心に（unconcerned）」が強調表示されている。
　このように、アートワーク１１０と併せてその描画状態に対応する単語群を表示させることで、ユーザは、単語群から連想される単語を一見して把握可能となり、アートワーク１１０の創作に対する印象や思い入れを深めることができる。
＜第２例＞
　ユーザは、図１５の情報提示欄１２２を視認し、興味を抱いた単語（ここでは、「恥ずかしい」）の位置にカーソル１３４を合わせる操作を行ったとする。そうすると、図１４のコンテンツ再生画面１０８の一部である描画表示欄１１２が自動的に更新される。
　図１６は、気づき表示の第２例を示す図である。このコンテンツ再生画面１０８は、図１４に示す画面と比べて、描画表示欄１１２の内容が異なっている。具体的には、アートワーク１１０のうち、人物の「顔」を示す顔領域に相当する箇所に矩形枠１１４が重ねて配置されている。矩形枠１１４の位置及び形状は、図３の単語変換部６４による出力結果（より詳しくは、第１変換器からのテンソルデータ）により定められる。ユーザは、描画表示欄１１２及び情報提示欄１２２を同時に視認することで、「恥ずかしい」と「顔」とを関連付けることができる。つまり、「恥ずかしい」という潜在意識下に「顔」が描画されたことが示唆される。
　図１７は、直接的な関連語の選択方法の一例を示す図である。特徴量空間９０は、図１０の場合と同様に、第１成分及び第２成分を二軸とする平面座標系で表現されている。単語群Ｇ１は６個の単語９２から構成されるとともに、単語群Ｇ２は７個の単語９４から構成される。ここで、単語９２，９４同士を連結する線分は、概念グラフ５０により定義される「リンク」に相当する。指定語Ｗ１は、［１］単語群Ｇ２に属し、かつ［２］情報提示欄１２２により指定された単語である。関連語Ｗ２は、［１］単語群Ｇ１に属し、［２］指定語Ｗ１との接続関係があり、かつ［３］リンク数が最小である単語である。例えば、上記した選択規則に従って、指定語Ｗ１（単語「恥ずかしい」）に対応する関連語Ｗ２（単語「顔」）が一意に選択される。
　このように、アートワーク１１０の表示領域のうち、状態特徴量（ここでは、単語「恥ずかしい」）に対応する位置（ここでは、「顔」領域を囲む境界ボックス）を部分的に強調するマーク（ここでは、矩形枠１１４）を表示させることで、ユーザは、状態特徴量の根拠となるアートワーク１１０の箇所を把握可能となり、描画状態と状態特徴量との関連付けを行いやすくなる。
＜第３例＞
　ユーザは、図１４の描画表示欄１１２を視認し、興味を抱いた画像部位（例えば、「顔」領域）の位置を指示する指示操作を行ったとする。そうすると、図１４のコンテンツ再生画面１０８の一部である情報提示欄１２２が自動的に更新される。第２例では直接的な関連語を選択しているが、第３例では婉曲的な関連語が選択される。
　図１８は、気づき表示の第３例における、婉曲的な関連語の選択方法の一例を示す図である。特徴量空間９０は、図１７の場合と同様に、第１成分及び第２成分を二軸とする平面座標系で表現されている。単語９２，９４同士を連結する線分は、図１７の場合と同様に、概念グラフ５０により定義される「リンク」に相当する。また、本図の星印は、グラフデータ７２（図８）の「表示フラグ」がオン（フラグ値が１）、つまり、「気づき表示」の選択候補に含まれる単語を示している。
　指定語Ｗ３は、［１］単語群Ｇ１に属し、かつ［２］描画表示欄１１２により指定された画像領域内の位置に対応する単語である。関連語Ｗ４は、［１］単語群Ｇ２に属し、［２］指定語Ｗ３との接続関係があり、かつ［３］表示フラグがオンである単語である。関連語Ｗ４は、［１］単語群Ｇ１に属さず、［２］指定語Ｗ３との接続関係があり、［３］表示フラグがオンであり、かつ［４］リンク数が最小である単語である。例えば、上記した選択規則に従って、指定語Ｗ３（単語「顔」）に対応する関連語Ｗ４（あるいは、関連語Ｗ５）が選択される。
　第２例のように、指定語Ｗ１に対する直接的な関連語Ｗ２をユーザに提示することで、描画状態と状態特徴量との関連付けを行いやすくなる反面、ユーザに対して強い先入観を与える傾向がある。そこで、指定語Ｗ３に対する婉曲的な関連語Ｗ４，Ｗ５をユーザに提示することで、描画状態と状態特徴量との間の関係性が間接的に示唆される。これにより、新たな発見や解釈の幅を無意識に狭めることなく、創作者に対して新たなインスピレーションを付与することができる。
＜第４例＞
　図１９は、気づき表示の第４例を示す図である。情報提示欄１２２内には、炎を示すシンボル１４１，１４２，１４３が配置されている。シンボル１４１～１４３は、単語が有する特徴の強さに応じて異なる形態を有する。この「特徴」とは、感情や精神状態を含む概念的・観念的な印象を意味する。例えば、「炎」は「情熱」を想起させるシンボルであることから、「情熱が弱い状態」が想起される単語を用いて表現する場合、火力が弱い炎を示すシンボル１４１が選択される。また、「情熱が中程度の状態」が想起される単語を用いて表現する場合、火力が中程度である炎を示すシンボル１４２が選択される。さらに、「情熱が強い状態」が想起される単語を用いて表現する場合、火力が強い炎を示すシンボル１４３が選択される。
　図２０は、表現変換データ７８が有するデータ構造の一例を示す図である。この表現変換データ７８は、グラフを構成するノードの識別情報である「ノードＩＤ」と、シンボルの属性を示す「シンボル属性」と、表現の程度を示す「表現レベル」との間の対応関係を示すテーブル形式のデータである。ノードＩＤは、図８に示すグラフデータ７２の場合と同一の定義に従って付与される。シンボル属性の一例として、炎や音の他に、水、風、電波などを含む、言葉が有する「強さ」を複数の段階で表現可能な様々な種類の記号が挙げられる。表現レベルは、強・中・弱の３レベルに限られず、２つ又は４つ以上のレベルが設けられてもよい。
　サーバ装置１６の情報生成部４６（図３）は、図８のグラフデータ７２及び図２０の表現変換データ７８を読み出して参照することで、シンボルとして表示する単語における［１］ノードＩＤ、［２］シンボル属性、及び［３］表現レベルを特定した後、該当するシンボルを示す画像データを作成又は取得する。ユーザ装置１２は、受信した提示データＤ３に含まれる画像データを用いて、シンボル１４１～１４３を情報提示欄１２２に表示させることができる。
　このように、単語の婉曲的な表現態様として、当該単語が有する特徴の強さを示すシンボル１４１～１４３をユーザに提示することで、描画状態と状態特徴量との間の関係性が間接的に示唆される。これにより、新たな発見や解釈の幅を無意識に狭めることなく、創作者又は鑑賞者に対して新たなインスピレーションを付与することができる。
［実施形態のまとめ］
　以上のように、この実施形態におけるコンテンツ評価システム１０は、画像又は映像を表示する表示部（ここでは、表示ユニット２４）を有する１つ又は複数のユーザ装置１２と、各々のユーザ装置１２との間で通信可能に構成されるコンテンツ評価装置（ここでは、サーバ装置１６）と、を備える。
　サーバ装置１６は、コンテンツ（ここでは、アートワーク８０，１１０）の創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出する特徴量算出部４２と、特徴量算出部４２により算出された状態特徴量を表現するための特徴量空間９０上の点の集合又は軌跡である絵紋１００を示す絵紋情報５４、又は絵紋１００から派生した派生情報５６の表示を指示する表示指示部４８と、を備える。
　また、この実施形態におけるコンテンツ評価方法及びプログラムによれば、１つ又は複数のプロセッサ（あるいは、コンピュータ）が、アートワーク８０，１１０の創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出する算出ステップ（図４のＳＰ２２）と、算出された状態特徴量を表現するための特徴量空間９０上の点の集合又は軌跡である絵紋１００を示す絵紋情報５４、又は絵紋１００から派生した派生情報５６の表示を指示する指示ステップ（図１３のＳＰ３０，ＳＰ３８）と、を実行する。
　このように、絵紋１００を示す絵紋情報５４又は絵紋１００から派生した派生情報５６をアートワーク８０，１１０と併せて表示させることで、コンテンツの創作者や鑑賞者を含むユーザに対して、次の創作に繋がる効果的な気づきを付与することができる。
　また、派生情報５６は、アートワーク８０，１１０の創作者又は鑑賞者に気づきを与えるための気づき情報であってもよい。気づき情報は、状態特徴量に対応する単語を抽象化又は婉曲化した可視情報を含んでもよい。可視情報は、単語が有する特徴の強さを示すシンボル１４１～１４３を含んでもよい。あるいは、可視情報は、単語（指定語Ｗ１，Ｗ３）に関連する別の単語（関連語Ｗ２，Ｗ４，Ｗ５）を含んでもよい。別の単語は、抽象的な意味を有する抽象語であってもよい。
　また、状態特徴量が１つ又は複数の単語からなる単語群である場合、特徴量算出部４２は、アートワーク８０，１１０のラスタデータを第１単語群に変換し、アートワーク８０，１１０のストロークデータを第２単語群に変換し、第１単語群及び第２単語群を合成することにより状態特徴量を算出してもよい。
［変形例］
　なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。あるいは、技術的に矛盾が生じない範囲でフローチャートを構成する各ステップの実行順を変更してもよい。
［符号の説明］
　１０…コンテンツ評価システム、１２…ユーザ装置、１４…電子ペン、１６…サーバ装置（コンテンツ評価装置）、４０…データ取得部、４２…特徴量算出部、４４…コンテンツ評価部、４６…情報生成部、４８…表示指示部、５０…概念グラフ、５４…絵紋情報、５６…派生情報、５８…評価結果情報、８０，１１０…アートワーク（コンテンツ）、９０…特徴量空間、１００…絵紋、１１４…矩形枠（気づき情報）、１２０，１２２‥情報提示欄、１３０，１３２…文字列（気づき情報）、１４１～１４３…シンボル（気づき情報）、Ｄ１…コンテンツデータ、Ｄ２…関連データ、Ｄ３…提示データ、Ｇ１…単語群（第１単語群）、Ｇ２…単語群（第２単語群）、Ｗ１，Ｗ３…指定語、Ｗ２，Ｗ４，Ｗ５…関連語

Claims (15)

  1. 　コンテンツの創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出する特徴量算出部と、
    　前記特徴量算出部により算出された前記状態特徴量を表現するための特徴量空間上の点の集合又は軌跡である絵紋を示す絵紋情報、又は前記絵紋から派生した派生情報の表示を指示する表示指示部と、
    　を備える、コンテンツ評価装置。
  2. 　前記派生情報は、前記コンテンツの創作者又は鑑賞者に気づきを与えるための気づき情報である、
    　請求項１に記載のコンテンツ評価装置。
  3. 　前記気づき情報は、前記状態特徴量に対応する単語を抽象化又は婉曲化した可視情報を含む、
    　請求項２に記載のコンテンツ評価装置。
  4. 　前記可視情報は、前記単語が有する特徴の強さを示すシンボルを含む、
    　請求項３に記載のコンテンツ評価装置。
  5. 　前記可視情報は、前記単語に関連する別の単語を含む、
    　請求項３に記載のコンテンツ評価装置。
  6. 　前記別の単語は、抽象的な意味を有する抽象語である、
    　請求項５に記載のコンテンツ評価装置。
  7. 　前記状態特徴量は、１つ又は複数の単語からなる単語群である、
    　請求項１に記載のコンテンツ評価装置。
  8. 　前記特徴量算出部は、前記コンテンツのラスタデータを第１単語群に変換し、前記コンテンツのストロークデータを第２単語群に変換し、前記第１単語群及び前記第２単語群を合成することにより前記状態特徴量を算出する、
    　請求項７に記載のコンテンツ評価装置。
  9. 　前記状態特徴量は、３よりも大きい次元数を有し、
    　前記絵紋情報は、次元数が３以下に削減された前記絵紋である、
    　請求項１に記載のコンテンツ評価装置。
  10. 　前記表示指示部は、前記絵紋情報又は前記派生情報を前記コンテンツと併せて表示させるように指示する、
    　請求項１に記載のコンテンツ評価装置。
  11. 　前記派生情報は、前記コンテンツがなす画像領域を部分的に強調するマークであり、
    　前記表示指示部は、前記状態特徴量に対応する位置にて前記マークの表示を指示する、
    　請求項１０に記載のコンテンツ評価装置。
  12. 　前記特徴量算出部により算出された前記状態特徴量を用いて前記コンテンツを評価するコンテンツ評価部をさらに備え、
    　前記派生情報は、前記コンテンツ評価部による評価結果を含む、
    　請求項１に記載のコンテンツ評価装置。
  13. 　コンテンツの創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出する算出ステップと、
    　算出された前記状態特徴量を表現するための特徴量空間上の点の集合又は軌跡である絵紋を示す絵紋情報、又は前記絵紋から派生した派生情報の表示を指示する指示ステップと、
    　を１つ又複数のコンピュータに実行させる、コンテンツ評価プログラム。
  14. 　コンテンツの創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出する算出ステップと、
    　算出された前記状態特徴量を表現するための特徴量空間上の点の集合又は軌跡である絵紋を示す絵紋情報、又は前記絵紋から派生した派生情報の表示を指示する指示ステップと、
    　を１つ又複数のコンピュータが実行する、コンテンツ評価方法。
  15. 　画像又は映像を表示する表示部を有するユーザ装置と、
    　前記ユーザ装置との間で通信可能に構成されるサーバ装置と、
    　を備え、
    　前記サーバ装置は、
    　コンテンツの創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出する特徴量算出部と、
    　前記特徴量算出部により算出された前記状態特徴量を表現するための特徴量空間上の点の集合又は軌跡である絵紋を示す絵紋情報、又は前記絵紋から派生した派生情報の表示を前記ユーザ装置に指示する表示指示部と、
    　を備える、コンテンツ評価システム。
PCT/JP2022/043621 2022-01-31 2022-11-25 コンテンツ評価装置、プログラム、方法、及びシステム WO2023145227A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-013012 2022-01-31
JP2022013012 2022-01-31

Publications (1)

Publication Number Publication Date
WO2023145227A1 true WO2023145227A1 (ja) 2023-08-03

Family

ID=87471441

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/043621 WO2023145227A1 (ja) 2022-01-31 2022-11-25 コンテンツ評価装置、プログラム、方法、及びシステム

Country Status (1)

Country Link
WO (1) WO2023145227A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010131280A (ja) * 2008-12-08 2010-06-17 Hitachi Ltd 精神状態判定支援方法および装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010131280A (ja) * 2008-12-08 2010-06-17 Hitachi Ltd 精神状態判定支援方法および装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KEIKO YAMAMOTO, YASUDA KAZUO, YAMAMOTO GOSHIRO, KURAMOTO ITARU, TSUJINO YOSHIHIRO, : "Drawing Learning Support System with Showing Stroking Motions of Learner Oneself", PROCEEDINGS OF INSTRUCTION 2014, INFORMATION PROCESSING SOCIETY OF JAPAN, 1 January 2014 (2014-01-01), pages 554 - 561, XP093080428, Retrieved from the Internet <URL:http://www.interaction-ipsj.org/proceedings/2014/data/20140220/C0-7.pdf> *

Similar Documents

Publication Publication Date Title
MacKenzie Human-computer interaction: An empirical research perspective
Lee et al. SketchStory: Telling more engaging stories with data through freeform sketching
US11422693B2 (en) Digital ink generating apparatus, method and program, and digital ink reproducing apparatus, method and program
O’Halloran et al. Challenges in designing digital interfaces for the study of multimodal phenomena
Liao et al. Pen-top feedback for paper-based interfaces
CN109657204A (zh) 使用非对称度量学习的自动配对字体
US11775147B2 (en) Ink annotation sharing method and system
Bornschein et al. Digital drawing tools for blind users: A state-of-the-art and requirement analysis
CN108885530A (zh) 用墨水命令来操作可视用户界面控件
Wang et al. Design of an interactive mind calligraphy system by affective computing and visualization techniques for real-time reflections of the writer’s emotions
CN111782131A (zh) 笔锋实现方法、装置、设备及可读存储介质
Campos et al. The hybrid stylus: a multi-surface active stylus for interacting with and handwriting on paper, tabletop display or both
WO2023145227A1 (ja) コンテンツ評価装置、プログラム、方法、及びシステム
Kwon et al. Supporting a crowd-powered accessible online art gallery for people with visual impairments: a feasibility study
JP7320157B1 (ja) コンテンツ評価装置、プログラム、方法、及びシステム
WO2023145429A1 (ja) コンテンツ評価装置、プログラム、方法、及びシステム
TWI291669B (en) Method of learning to write Chinese characters
JP7290281B2 (ja) 情報処理装置、情報システム、情報処理方法、およびプログラム
WO2023132177A1 (ja) コンテンツ評価装置、プログラム、方法、及びシステム
WO2023199531A1 (ja) コンテンツ評価システム、方法、及びプログラム
WO2024095859A1 (ja) 創作支援システム及び創作支援方法
WO2023067751A1 (ja) 情報共有システム、方法、及びプログラム
WO2023013203A1 (ja) 入力支援装置、方法、プログラム及び入力システム
JP4963633B2 (ja) 情報処理装置及び情報処理方法
JP6526504B2 (ja) デジタルインク生成装置、デジタルインク生成方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22924079

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023576653

Country of ref document: JP

Kind code of ref document: A