WO2024014240A1 - 情報処理プログラム、情報処理装置及び情報処理方法 - Google Patents
情報処理プログラム、情報処理装置及び情報処理方法 Download PDFInfo
- Publication number
- WO2024014240A1 WO2024014240A1 PCT/JP2023/022882 JP2023022882W WO2024014240A1 WO 2024014240 A1 WO2024014240 A1 WO 2024014240A1 JP 2023022882 W JP2023022882 W JP 2023022882W WO 2024014240 A1 WO2024014240 A1 WO 2024014240A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- input image
- design
- input
- impression
- information
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims description 53
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000013461 design Methods 0.000 claims abstract description 138
- 238000004458 analytical method Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 33
- 238000012986 modification Methods 0.000 claims description 21
- 230000004048 modification Effects 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 14
- 238000013459 approach Methods 0.000 abstract description 3
- 238000012937 correction Methods 0.000 description 48
- 238000012545 processing Methods 0.000 description 40
- 238000011156 evaluation Methods 0.000 description 32
- 230000008859 change Effects 0.000 description 16
- 239000003086 colorant Substances 0.000 description 14
- 238000003860 storage Methods 0.000 description 13
- 241000220225 Malus Species 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 235000014510 cooky Nutrition 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000011867 re-evaluation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Definitions
- the present invention relates to an information processing program, an information processing device, and an information processing method.
- a design evaluation device evaluates whether the material appearance of a design image to be evaluated matches the target audience, purpose, and target emotional expression (impression) (see Patent Document 1). .
- the present invention has been made in view of the problems in the prior art described above, and an object of the present invention is to make it possible to modify an image to suit a purpose without losing the characteristics of the design.
- the invention according to claim 1 provides a design characteristic information input step for receiving an input of design characteristic information for a design of an input image in a computer, and a purpose input step for receiving an input of a purpose for the input image.
- This is an information processing program for executing a determining step of determining presentation information for bringing the design closer to the purpose, and an output step of outputting the presentation information.
- the invention according to claim 2 is the information processing program according to claim 1, in which the presentation information includes a text modification proposal or a modified design proposal.
- the invention according to claim 3 is the information processing program according to claim 1 or 2, in which, in the purpose input step, input of a purpose impression indicating an impression desired to be expressed by the design of the input image is received, and in the determination step, , the presentation information is determined based on the design characteristic information, the analysis result, and the purpose impression.
- the input image is An estimated impression obtained by estimating the impression given by the input image from the feature amount is output as the analysis result.
- the invention according to claim 5 is the information processing program according to claim 4, in which, in the determining step, the degree of coincidence between the estimated impression or the estimated impression and the objective impression, and the estimated impression and the objective The feature quantity that causes the difference with the impression is determined as the presentation information.
- an input of an important area indicating a position of a portion to be highlighted in the design of the input image is accepted;
- saliency mapping processing is performed to quantify the degree of saliency for each pixel of the input image, and in the determining step, saliency mapping processing is performed based on the design characteristic information, the results of the saliency mapping processing, and the important region. , determine the presentation information.
- the invention according to claim 7 is the information processing program according to claim 6, in which, in the analyzing step, when the important area is a character string forming a word or a sentence, the important area is determined based on the size of the character string. A ratio to the size of the character string outside the area is calculated, and in the determining step, if the calculated ratio is less than or equal to a predetermined value, the character string in the important area is expanded or the character string outside the important area is expanded. It is determined as the presentation information that it is sufficient to reduce the size.
- the invention according to claim 8 includes a design characteristic information input means for receiving an input of design characteristic information for a design of an input image, a purpose input means for receiving an input of a purpose for the input image, and an analysis of the feature amount of the input image.
- an analysis means for analyzing the input image, and based on the design characteristic information, the analysis result by the analysis means, and the purpose, to bring the design of the input image closer to the purpose while maintaining the design characteristic information of the input image.
- the present invention is an information processing apparatus comprising: a determining means for determining presentation information; and an output means for outputting the presentation information.
- the invention according to claim 9 includes a design characteristic information input step of receiving an input of design characteristic information for a design of an input image, a purpose input step of receiving an input of a purpose for the input image, and analyzing a feature amount of the input image. and an analysis step to bring the design of the input image closer to the purpose while maintaining the design characteristic information of the input image based on the design characteristic information, the analysis result in the analysis step, and the purpose.
- This is an information processing method including a determining step of determining presentation information of and an outputting step of outputting the presentation information.
- FIG. 1 is a block diagram showing a functional configuration of an information processing device according to a first embodiment of the present invention. This is an example of an impression correspondence table.
- FIG. 3 is a diagram for explaining directions and angles on an image.
- FIG. 3 is a diagram for explaining the pixel value of each pixel forming an input image.
- 3 is a flowchart illustrating a correction point presentation process executed by the information processing device.
- 7 is a flowchart illustrating a correction point presentation process that involves specifying a target impression.
- This is an example of an input image.
- This is an example of a permanent area specification screen.
- This is an example of an invariant feature specification screen.
- This is an example of an evaluation area specification screen.
- This is an example of a dominant color analysis result screen.
- 12 is a flowchart illustrating correction point presentation processing that involves designation of important points in the second embodiment.
- 12 is a flowchart illustrating a modification point presentation process in a modification of the second embodiment. It is an example of a correction pattern in a 3rd embodiment.
- 13 is a flowchart illustrating a plurality of modification candidate presentation processing in the third embodiment.
- FIG. 1 shows a functional configuration of an information processing device 10 in the first embodiment.
- the information processing device 10 includes a control section 11, an operation section 12, a display section 13, a communication section 14, a storage section 15, etc., and each section is connected by a bus.
- the information processing device 10 is configured by a computer device such as a PC (Personal Computer).
- the control unit 11 is composed of a CPU (Central Processing Unit), a RAM (Random Access Memory), etc., and centrally controls the processing operations of each unit of the information processing device 10. Specifically, the CPU reads various processing programs stored in the storage unit 15, expands them to the RAM, and performs various processes in cooperation with the programs.
- a CPU Central Processing Unit
- RAM Random Access Memory
- the operation unit 12 includes a keyboard with cursor keys, character/number input keys, various function keys, etc., and a pointing device such as a mouse, and controls operation signals input by key operations on the keyboard or mouse operations. It is output to section 11. Further, the operation unit 12 may be configured with a touch panel stacked on the display unit 13, and may accept user input on the display screen and output an operation signal to the control unit 11 according to the position of the touch operation.
- the display unit 13 is configured with a monitor such as an LCD (Liquid Crystal Display), and displays various screens according to instructions from display signals input from the control unit 11.
- a monitor such as an LCD (Liquid Crystal Display)
- LCD Liquid Crystal Display
- the communication unit 14 is configured with a network interface, etc., and sends and receives data to and from an external device connected via a communication network such as a LAN (Local Area Network), WAN (Wide Area Network), or the Internet.
- a communication network such as a LAN (Local Area Network), WAN (Wide Area Network), or the Internet.
- the storage unit 15 is composed of an HDD (Hard Disk Drive), a nonvolatile semiconductor memory, and the like, and stores various processing programs, data necessary for executing the programs, and the like.
- HDD Hard Disk Drive
- the storage unit 15 stores an impression correspondence table 151 (database).
- the impression correspondence table 151 is an example of correspondence information in which the impression given by an image is associated with the feature amount of the image.
- the feature amount of the image is a value indicating the feature of the image, and is obtained from the image or additional information of the image.
- the impression correspondence table 151 includes impression words (adjectives, adjective verbs, figurative expressions) obtained by a plurality of subjects who are design experts or ordinary people evaluating the impressions of the sample images for each of the plurality of sample images. etc.) and the feature amount of the sample image.
- the impression word included in the impression correspondence table 151 indicates the average impression of all subjects.
- the impression correspondence table 151 it is possible to obtain the impression given by the image from the feature amount of the image, or to obtain the feature amount that the image should have from the impression desired for the image.
- FIG. 2 shows an example of the impression correspondence table 151.
- a plurality of color combinations (colors 1 to 3) are associated with impression words indicating impressions given by images as feature quantities of the image. Each color is indicated by RGB gradation values.
- feature quantities other than color may be included as feature quantities of images associated with each impression word.
- the impression correspondence table 151 is used, and the correspondence information is a correlation created based on the correspondence between the impression word of the sample image evaluated by a plurality of subjects and the feature amount of the sample image. It is also possible to use a formula.
- correspondence information for each of a plurality of sample images, a machine learning model that is trained using the feature values of the sample image as input and the impression words of the sample image evaluated by multiple subjects as output is used. Good too. Furthermore, based on this machine learning result, the feature amount corresponding to the specified impression word may be outputted.
- the control unit 11 receives input of design characteristic information for the design of the input image. That is, the control unit 11 functions as a design characteristic information input means.
- the design characteristic information is information indicating the characteristics of the design, and is information indicating the parts that the operator of the information processing device 10 does not want to change, the parts that he considers to be the characteristic points of the design, and the parts that he wants to be particular about.
- the control unit 11 receives input of the purpose of the input image (impression of target, area to be highlighted, etc.). That is, the control unit 11 functions as a purpose input means.
- the purpose of the input image is information indicating the goal that the user desires for the input image, and is the goal that the user aims for in order to achieve the desired effect.
- the control unit 11 receives an input of a target impression indicating the impression desired to be expressed by the design of the input image.
- the control unit 11 analyzes the feature amount of the input image. That is, the control unit 11 functions as an analysis means. For example, the control unit 11 estimates the impression given by the input image from the feature amount of the input image based on correspondence information (impression correspondence table 151) in which the impression given by the image is associated with the feature amount of the image. Output the impression as an analysis result. Furthermore, when a plurality of estimated impressions are obtained, the proportion (%) of each estimated impression may be calculated and included in the analysis results.
- the parameters (features) used to estimate the estimated impression of the input image include color, brightness, lightness, shape, image complexity, margin ratio, character area ratio (area ratio of the area occupied by characters), and jump ratio. (size ratio of character strings existing in an image), etc.
- the amount of blank space or the area occupied by characters may be used as parameters.
- Color is a numerical value expressed by color information that constitutes image data. “Color” is represented by, for example, gradation values of R (Red), G (Green), and B (Blue). In addition, Lab, CMYK, etc. may be used as long as the values represent colors, but here, a case where colors are expressed using R, G, and B gradation values will be described.
- Brightness is, for example, a value converted from R, G, B data to a brightness value.
- the brightness may be calculated by estimating the environment in which the image to be analyzed is observed by the viewer, determining coefficients necessary for conversion.
- Lightness is one of the attributes of color, and is a value that represents the brightness of the object color.
- Shape is a feature amount indicating the shape extracted from the image to be analyzed.
- the image is constructed by taking the x-axis (horizontal/horizontal direction) and y-axis (vertical direction) for the image, and setting the angle that coincides with the x-axis as 0 degrees.
- a feature value indicating whether the RGB values of each pixel are arranged continuously along a direction that coincides with 0 degrees, 45 degrees, 90 degrees, or 135 degrees is used as the "shape.”
- the target image is grayed out and represented only by the brightness distribution, and then a Gabor filter is created that matches the numerical array of tone values of the target image and an angle of 0 degrees, 45 degrees, 90 degrees, or 135 degrees.
- a convolution operation By performing a convolution operation on the numerical matrix, an image is generated in which the portion matching the angle is emphasized.
- the pixel values of the image thus obtained serve as feature quantities representing the shape.
- Complexity is a value that represents the degree to which lines that humans recognize as outlines occupy an image, and corresponds to the amount of so-called line drawings.
- the fractal dimension is calculated based on the box counting method for the distribution of tone values of each pixel forming the image data, and the calculated fractal dimension is taken as the degree of complexity. In this case, the minimum value of complexity is 1, and the more crowded the contours of the image, the greater the value of complexity.
- the "margin rate” is a value representing the degree to which an area that a person recognizes as a blank space occupies an image. For example, an area recognized as an object is extracted from the image, and the other area is defined as a blank space. As a method for extracting regions recognized as objects, machine learning results may be used, or objects may be manually specified on the image to be analyzed. Note that the margin rate has a negative correlation with the degree of complexity, and it may be determined that the lower the degree of complexity, the greater the margin rate.
- “Jump rate (character string size ratio)” extracts consecutive character strings without line breaks in an image as one block, and calculates the area of the area occupied by the extracted character string block. This is the ratio of the size of the character string in the image to the size of the character string. For example, if the jump rate of the largest character string in an image is 100, the sizes of other character strings are expressed as ratios.
- machine learning results may be used, or if the character data is image data in a file format that is saved separately from the image, the data portion recorded as characters may be used. may be extracted.
- the average color of the entire input image or the color scheme pattern can be used.
- the "color averaged over the entire input image” is the color obtained by averaging the pixel values (RGB gradation values) of each pixel composing the image. For example, as shown in FIG. 4, if the pixel values of each pixel (m vertically x n horizontally) constituting the input image are (Rij, Gij, Bij), then the average color (R, G, B ) is determined by the following equations (1) to (3).
- a "color pattern” is a combination of multiple colors (for example, 3 colors, 5 colors, 10 colors, etc.) obtained by performing color reduction processing to make similar colors in the input image the same color.
- the correspondence information (impression correspondence table 151) includes a combination of the color averaged over the entire image and the color scheme pattern. Impression words are associated with .
- the control unit 11 calculates the average color of the entire input image, and extracts a color scheme pattern from the input image by performing color reduction processing on the input image. Then, the control unit 11 refers to the correspondence information, obtains an impression word (which of the impression words included in the correspondence information is close to) corresponding to the color and color scheme averaged over the entire input image, and obtains the estimated impression. do.
- either one of the average color of the entire input image or the color scheme pattern may be used as a parameter when estimating the estimated impression of the input image.
- the control unit 11 changes the design of the input image to match the purpose while maintaining the design characteristic information of the input image, based on the design characteristic information, the analysis result of the feature amount of the input image, and the purpose of the input image. Determine the presentation information to bring it closer. That is, the control unit 11 functions as a determining means.
- the presentation information includes a textual revision proposal or a revised design proposal. Specifically, the control unit 11 determines presentation information based on design characteristic information, analysis results (estimated impression, feature amount, etc.), and target impression.
- control unit 11 determines the estimated impression obtained from the input image or the degree of matching between the estimated impression and the target impression as the presentation information. Furthermore, the control unit 11 determines, as presentation information, the feature amount that causes the difference between the estimated impression and the target impression. Specifically, the control unit 11 refers to the correspondence information stored in the storage unit 15, identifies important feature quantities for expressing the desired impression, and determines which feature quantity should be changed to improve the input image. Whether the estimated impression approaches the target impression is determined as presentation information.
- the control unit 11 outputs presentation information. That is, the control unit 11 functions as an output means. For example, the control unit 11 causes the display unit 13 to display the presentation information. Further, the control unit 11 may output the presentation information by transmitting the presentation information as data to an external device or recording it on a recording medium. Further, the control unit 11 may print out the presentation information using a printer or the like.
- FIG. 5 is a flowchart illustrating a correction location presentation process executed by the information processing device 10. This process is realized by software processing in cooperation with the CPU of the control unit 11 and the program stored in the storage unit 15.
- control unit 11 acquires a design image to be processed, which is input via the communication unit 14 (step S1).
- the control unit 11 receives input of design characteristic information for the design of the input image through the user's operation from the operation unit 12 (step S2).
- the user is an operator of the information processing device 10, such as a design creator or an orderer.
- the control unit 11 causes the display unit 13 to display the input image, and receives an operation from the operation unit 12 to designate an area that is not desired to be changed. Further, the control unit 11 receives, through an operation from the operation unit 12, designation of a feature amount that is not desired to be changed among the feature amounts of the input image.
- control unit 11 receives an input of a target evaluation item for the input image through the user's operation from the operation unit 12 (step S3).
- the control unit 11 accepts designation of an impression to be given to people (target impression) or an area to be highlighted as a purpose. Multiple purposes can be specified. For example, it is possible to specify a plurality of desired impressions, a plurality of areas to be highlighted, or a desired impression and an area to be highlighted, respectively.
- control unit 11 assigns serial numbers 1 to k to the input evaluation items (objectives) (step S4). Furthermore, the control unit 11 sets the initial value of the number of evaluation items K to k (step S5).
- the number of evaluation items K is the number of remaining evaluation items when evaluating the input image, such as whether it meets the purpose or not, and what should be done to bring it closer to the purpose. It is.
- control unit 11 determines whether the number of evaluation items K is 0, that is, whether the processing has been completed for all evaluation items (step S6).
- step S6 If the number of evaluation items K is not 0 (step S6; NO), that is, if there are unprocessed evaluation items remaining, the control unit 11 displays the input image on the display unit 13 and controls the input image from the operation unit 12. Through the operation, selection of a region to be evaluated in the input image is accepted for the evaluation item numbered K (step S7).
- control unit 11 analyzes the feature amount of the input image used for evaluation of the evaluation item numbered K (step S8).
- control unit 11 maintains the design characteristic information of the input image (design (without changing the characteristic information), and determines presentation information (revision proposals, types of features to be changed, etc.) for bringing the design of the input image closer to the purpose of the evaluation item number K (step S9 ).
- the presentation information includes, for example, information indicating in text the content of corrections/improvements to the input image, images obtained by correcting/improving the input image, and the like.
- control unit 11 displays the determined presentation information on the display unit 13 (step S10).
- control unit 11 subtracts 1 from the value of the number of evaluation items K to obtain a new number of evaluation items K (step S11), returns to step S6, and repeats the process.
- step S6 if the number of evaluation items K is 0 (step S6; YES), that is, if there are no unprocessed evaluation items, the correction part presentation process ends.
- FIG. 6 is a flowchart illustrating a correction point presentation process that involves specifying a target impression, which is executed by the information processing device 10. This process is realized by software processing in cooperation with the CPU of the control unit 11 and the program stored in the storage unit 15.
- control unit 11 acquires a design image to be processed, which is input via the communication unit 14 (step S21).
- FIG. 7 shows an example of the input image 20.
- the processing target is the package design of confectionery using apples.
- control unit 11 receives input of an area A that is not desired to be changed in the input image and a feature amount a that is not desired to be changed in the area A through the user's operation from the operation unit 12 (step S22).
- the region A that is not desired to be changed and the feature amount a that is not desired to be changed correspond to design characteristic information.
- control unit 11 causes the display unit 13 to display the input image, and receives an operation from the operation unit 12 to specify an area A that is not desired to be changed.
- FIG. 8 shows an example of the unchanged area designation screen 21 displayed on the display unit 13.
- an apple portion (area surrounded by a broken line) is specified as an area A on the input image that is not desired to be changed.
- control unit 11 causes the display unit 13 to display a plurality of feature quantities, and receives, through operation from the operation unit 12, designation of the feature quantity a that is not desired to be changed from among the feature quantities of the input image.
- FIG. 9 shows an example of the invariant feature specification screen 22 displayed on the display unit 13. On the unchangeable feature specification screen 22, "color" is specified as the feature a in area A that is not desired to be changed. Note that only one of the area A that is not desired to be changed and the feature amount a that is not desired to be changed may be specified.
- control unit 11 receives an input of a target impression (target impression) for the input image as a purpose for the input image through the user's operation from the operation unit 12 (step S23).
- the control unit 11 causes the display unit 13 to display a plurality of impression words such as “homely,” “relaxed,” and “active” as options, and by operating the operation unit 12, the desired impression is determined. Accept specifications.
- control unit 11 causes the display unit 13 to display the input image, and receives selection of a region to be evaluated in the input image by operating the operation unit 12 (step S24).
- FIG. 10 shows an example of the evaluation area designation screen 23 displayed on the display unit 13. On the evaluation region designation screen 23, the entire image (the region surrounded by a broken line) is designated as the region C to be evaluated on the input image.
- control unit 11 analyzes the feature amount of the input image and displays the feature amount obtained by the analysis on the display unit 13 (step S25). For example, the control unit 11 determines the dominant color (color pattern), complexity, and character area ratio as the feature amounts of the input image.
- FIG. 11A shows an example of the dominant color analysis result screen 24 displayed on the display unit 13.
- the control unit 11 performs a color reduction process on the colors of each pixel constituting the input image, combining mutually similar colors into the same color, and calculates the proportion (area ratio) that each of the combined colors occupies in the image.
- the dominant color analysis result screen 24 includes a stacked bar graph 241 showing the area ratio of each color after the color reduction process, and a correspondence table 242 showing the correspondence between the area ratio of each color after the color reduction process and the color name. .
- FIG. 11B shows an example of the complexity analysis result screen 25 displayed on the display unit 13.
- the control unit 11 calculates the degree of complexity by, for example, extracting a contour from the input image.
- the complexity analysis result screen 25 includes a processing image 251 generated when calculating the complexity of the input image and a complexity 252.
- FIG. 11C shows an example of the character area ratio analysis result screen 26 displayed on the display unit 13.
- the control unit 11 extracts a character area from the input image, and calculates the ratio of the character area to the entire image (character area ratio).
- the character area ratio analysis result screen 26 includes an input image 263 in which character areas 261 and 262 are shown, and a character area ratio 264.
- the control unit 11 estimates the estimated impression of the input image from the feature amount (step S26). Specifically, the control unit 11 refers to the impression correspondence table 151 stored in the storage unit 15, obtains an impression word corresponding to the dominant color, complexity level, and character area ratio, and sets it as an estimated impression. Note that instead of the impression correspondence table 151, a correlation formula or a machine learning model may be used as the correspondence information.
- the control unit 11 causes the display unit 13 to display the estimated impression of the input image (step S27).
- FIG. 12 shows an example of the analysis result display screen 27 displayed on the display unit 13.
- the analysis result display screen 27 displays an impression of "active” (50%) and an impression of "wild” (50%) as estimated impressions estimated from the input image.
- the control unit 11 causes the display unit 13 to display the target impression and the degree of coincidence between the estimated impression and the target impression (on the contrary, it may also be a value indicating the gap between the estimated impression and the target impression).
- FIG. 13 shows an example of the current status evaluation display screen 28 displayed on the display unit 13.
- the current evaluation display screen 28 displays a target impression 281 of "homely” and a degree of coincidence 282 (35%) between the estimated impression estimated from the input image and the target impression.
- the control unit 11 determines, as presentation information, a feature quantity other than the feature quantity a of the area A that should be changed in order to bring the design of the input image closer to the desired impression, and displays it. 13 (step S29). Specifically, the control unit 11 sets parameters that are recommended to be changed in order to fill the gap between the estimated impression of the input image and the target impression, based on the impression correspondence table 151 in which impression words and feature amounts are associated with each other. present. Regarding feature quantities other than feature quantity a, if they contribute to realizing the desired impression, they can be parameters recommended to be changed. On the other hand, the feature amount a is employed only for areas other than area A as a parameter that contributes to realizing the desired impression.
- FIG. 14 shows an example of the recommended change item display screen 29 displayed on the display unit 13.
- presentation information 291, 292 for approaching the desired impression and a target area 293 for the presentation information 291 are displayed.
- the target area 293 is an area (the area surrounded by a broken line) obtained by excluding the apple part (area A) from the entire input image.
- the presentation information 291 includes a modification proposal for bringing the color of the target area 293 closer to the color scheme indicated by the three-color color scheme regarding the parameter "color" that is recommended to be changed. This color scheme is a combination of colors that corresponds to the desired impression.
- the presentation information 292 includes a modification proposal to reduce the recommended parameter "character area ratio" to less than 10%. With this, the correction point presentation process that involves specifying the target impression is completed.
- FIG. 15 shows an example of the image 30 after correction.
- the corrected image 30 compared to the input image 20 (see FIG. 7), the color of areas other than area A (apple part) is changed to approach the "target impression", and the text "Organic Cookie” is changed. The size has become smaller (character area ratio has decreased).
- the control unit 11 When the user instructs re-evaluation of the corrected image by operating the operation unit 12, the control unit 11 performs a correction point presentation process (FIG. 6 Steps S25 to S28 (see) are performed, and the processing results are displayed on the display unit 13.
- a correction point presentation process FIG. 6 Steps S25 to S28 (see) are performed, and the processing results are displayed on the display unit 13.
- FIG. 16 shows an example of the analysis result display screen 31 displayed on the display unit 13.
- the analysis result display screen 31 displays an impression of "homey” (65%) and an impression of "relaxed” (35%) as estimated impressions estimated from the corrected image.
- FIG. 17 shows an example of the current status evaluation display screen 32 displayed on the display unit 13.
- the current evaluation display screen 32 displays a target impression 321 of "homely” and a degree of coincidence 322 of "65%” between the estimated impression estimated from the corrected image and the target impression.
- a new design can be created that takes into account the characteristics of the design (the parts that the designer is particular about). Contributing presentation information can be output.
- the information processing device 10 outputs presentation information that brings the design of the input image closer to the purpose while maintaining the design characteristic information of the input image, so the user can see the designer's individuality. You can modify the design to suit your purpose while still taking advantage of its distinctive features. Therefore, it is possible to modify the image to suit the purpose without losing the characteristics of the design.
- the results of designers' free ideas can be retained, the generation and development of unprecedented and novel designs is not hindered.
- the presented information includes text correction proposals and revised design proposals
- the user can refer to the presented information and modify the design of the input image to suit the purpose.
- presentation information that brings the design of the input image closer to the target impression is output without changing the design characteristics of the input image. can do.
- the current impression of the input image can be calculated. It can be used to modify the design.
- the estimated impression, the target impression, and the degree of matching between the estimated impression and the target impression are displayed, but it is not possible to display each piece of information. may be changeable as appropriate.
- FIG. 1 is used and illustration and description of the configuration will be omitted.
- the configuration and processing characteristic of the second embodiment will be described below.
- presentation information for making a specified location stand out is output.
- the control unit 11 of the information processing device 10 receives an input of an important area indicating the position of a portion to be highlighted in the design of the input image.
- the control unit 11 performs saliency mapping processing to quantify the degree of conspicuousness (that is, saliency) for each pixel of the input image.
- Salience mapping processing is image processing in which each pixel included in an image is represented by a value indicating the conspicuousness of the pixel portion. Specifically, in the saliency mapping process, areas with color contrast in the red-green direction and yellow-blue direction, areas with brightness contrast, and a predetermined direction (for example, when the angle is taken as in FIG. In , a portion where there is a straight line component (edge) that coincides with a direction of 45 degrees from 0 degrees to 315 degrees) is expressed by a high numerical value as a highly conspicuous portion (a portion that is easy to see).
- the presence of color contrast in the red-green direction corresponds to, for example, that the difference in values indicating colors in the red-green direction between adjacent pixels is equal to or greater than a predetermined value.
- the presence of color contrast in the yellow-blue direction corresponds to, for example, that the difference in values indicating colors in the yellow-blue direction between adjacent pixels is equal to or greater than a predetermined value.
- the existence of brightness contrast corresponds to, for example, that the difference in values indicating brightness between adjacent pixels is equal to or greater than a predetermined value.
- angles indicating the specified direction are 0 degrees and 180 degrees (horizontal direction), 45 degrees and 225 degrees (diagonally upward to the right), 90 degrees and 270 degrees (vertical direction), and 135 degrees and 315 degrees (diagonally downward to the right). directions) correspond to straight line components in the same direction.
- the control unit 11 determines presentation information for making the important region of the input image stand out while maintaining the design characteristic information of the input image, based on the design characteristic information, the result of the saliency mapping process, and the important region. Specifically, in order to increase the salience of the important area, the control unit 11 increases the contrast in each direction of red-green, yellow-blue, and brightness in the important area, or increases the contrast in a predetermined direction (every 45 degrees). It is determined as presentation information that a straight line component that matches the component should be added to the important region.
- the "color" of the "apple” area in the input image is specified as the design characteristic information (regions/features that you do not want to change), and the "apple” area is specified as the important area (the part you want to highlight).
- the background of the apple green is specified as the color contrast in the red-green direction between the apple area and its surroundings.
- the brightness contrast between the apple region and its surroundings may be increased by brightening or darkening the background of the apple.
- FIG. 18 is a flowchart illustrating a correction point presentation process that involves designation of important points, which is executed by the information processing device 10 in the second embodiment. This process is realized by software processing in cooperation with the CPU of the control unit 11 and the program stored in the storage unit 15.
- step S31 and step S32 is the same as the processing in step S21 and step S22 of the correction point presentation process (see FIG. 6) that involves designation of a target impression, so a description thereof will be omitted.
- FIG. 19 shows an example of the input image 40 input in step S31.
- FIG. 20 shows an example of the unchanged area designation screen 41 displayed on the display unit 13 in step S32. On the unchanged area designation screen 41, an apple part and a text part are designated as areas A on the input image that are not desired to be changed.
- FIG. 21 shows an example of the unchanged feature specification screen 42 displayed on the display unit 13 in step S32. On the unchanged feature specification screen 42, "color" is specified as the feature a in area A that is not desired to be changed.
- the control unit 11 analyzes the feature quantities (color contrast, brightness contrast, linear components, etc.) of the input image, creates a saliency map from the feature quantities, and displays the saliency map on the display unit 13 (step S33).
- FIG. 22 shows an example of the saliency map 43 displayed on the display unit 13.
- the saliency map 43 expresses each pixel with a color and density depending on the degree of saliency (noticability, conspicuousness), and for example, a portion with high saliency is displayed in red. Note that which color is assigned to the degree of saliency can be arbitrarily set.
- the control unit 11 receives an input of an area B (important area) that is desired to be highlighted on the input image as a purpose for the input image through the user's operation from the operation unit 12 (step S34).
- FIG. 23 shows an example of the important area designation screen 44 displayed on the display unit 13.
- a text portion is designated as an area B to be highlighted on the input image.
- the important area designation screen 44 and the saliency map 43 are displayed side by side, and the user specifies the area B to be highlighted on the important area designation screen 44 while referring to the current saliency on the saliency map 43. It may be possible.
- control unit 11 determines whether or not region B (important region) includes at least a part of region A (region that is not desired to be changed) (step S35).
- step S35 If region B does not include at least a part of region A (step S35; NO), that is, if there is no overlap between region B and region A, the control unit 11 recommends changes to make region B more noticeable.
- the item is determined as presentation information and displayed on the display unit 13 (step S36).
- step S35 if at least a part of area A is included in area B (step S35; YES), the control unit 11 presents a recommended change item that makes area B stand out using a feature other than feature a. It is determined as information and displayed on the display unit 13 (step S37).
- FIG. 24 shows an example of the recommended change item display screen 45 displayed on the display unit 13.
- the recommended change item display screen 45 displays presentation information 451 and 452 for making area B stand out.
- Presentation information 451 includes a modification proposal to make area B stand out by changing the color around area B to a brighter color and increasing the difference in brightness (luminance) between area B and the surrounding area.
- the presentation information 452 includes a modification proposal to make area B stand out by reducing the amount of writing (complexity) around area B.
- step S36 or step S37 the correction point presentation process that involves designation of important points ends.
- FIG. 25 shows an example of the image 46 after correction.
- the background design (leaves, cookies) is removed from the periphery of the text portion (area B) (the amount of writing is reduced), and as a result, the periphery of the text portion becomes brighter. As a result, the text portion of the corrected image 46 is more conspicuous than the input image 40 (see FIG. 19).
- the control unit 11 When the user instructs saliency mapping processing on the corrected image by operating the operation unit 12, the control unit 11 performs the saliency mapping processing on the corrected image, and the processing results are is displayed on the display unit 13.
- FIG. 26 shows the saliency map 47 for the corrected image.
- the saliency map 43 for the image before correction
- the saliency of area B (text portion) itself is low, and the surrounding area is more conspicuous, which is expected to result in less attention being drawn to the text. there were.
- area B character part
- the saliency around area B decreased, making area B more conspicuous.
- the user can confirm that the saliency of region B (text portion) has increased in the corrected image.
- the saliency map 43 before modification shown in FIG. 22 and the saliency map 47 after modification shown in FIG. 26 may be displayed side by side.
- the second embodiment like the first embodiment, it is possible to modify the image to suit the purpose without losing the characteristics of the design.
- the presentation information for increasing the saliency of the important area is displayed. It may also be presented. In other words, if the important area is originally conspicuous to some extent, the determination and output of presentation information can be omitted.
- saliency mapping processing is used as a method for quantitatively analyzing the degree of conspicuousness in an input image.
- image processing may be replaced with processing based on other theories or algorithms.
- saliency mapping processing is replaced with processing based on other theories or algorithms, in order to increase the saliency of important areas, it is necessary to increase the contrast in each direction of red-green, yellow-blue, and luminance.
- it is sufficient to add straight line components that match directional components (vertical, horizontal, diagonal) every 45 degrees to the important region.
- the control unit 11 of the information processing device 10 calculates the ratio of the size of the character string in the important region to the size of the character strings other than the important region. When the calculated ratio is less than or equal to a predetermined value, the control unit 11 determines as presentation information that the character string in the important area should be enlarged or the character string other than the important area should be reduced.
- the jump rate is the ratio of the "size of character strings in important areas" to the "size of character strings outside important areas.”
- FIG. 27 is a flowchart showing the modification point presentation process in the modified example. This process is realized by software processing in cooperation with the CPU of the control unit 11 and the program stored in the storage unit 15.
- steps S41 to S44 is the same as the processing in steps S31 to S34 of the correction point presentation process (see FIG. 18) that involves specifying important points, so the explanation will be omitted.
- control unit 11 determines whether the region B (important region) to be highlighted is a word or a character string forming a sentence (step S45). If area B is a character string (step S45; YES), the control unit 11 calculates the ratio (jump rate) of the size of the character string in area B to the size of character strings other than area B (step S46). ).
- control unit 11 determines whether the calculated jump rate is less than or equal to a predetermined value (step S47). If the jump rate is less than or equal to the predetermined value (step S47; YES), the control unit 11 determines whether or not region B includes at least a part of region A (region that is not desired to be changed) (step S47; YES). S48).
- the control unit 11 determines whether the feature amount a (the feature amount that you do not want to change) is the jump rate (Ste S49).
- step S48 if at least a part of region A is not included in region B (step S48; NO), or in step S49, if the feature amount a is not a jump rate (step S49; NO), the control unit 11 determines as presentation information that it is sufficient to enlarge the character string in area B or reduce the character strings in areas other than area B, and displays it on the display unit 13 (step S50).
- step S45 if region B is not a character string (step S45; NO), in step S47, if the jump rate is greater than a predetermined value (step S47; NO), or in step S49, the feature amount a is a jump rate. If there is (step S49; YES), the process moves to step S51.
- step S51 to step S53 is the same as the processing from step S35 to step S37 of the correction point presentation process (see FIG. 18) that involves specifying important points, so the explanation will be omitted.
- step S50, step S52, or step S53 the correction point presentation process in the modified example ends.
- the important area is a character string
- the ratio of the size of the character string to the size of character strings other than the important area is less than or equal to a predetermined value
- the character string in the important area is enlarged or It is possible to determine and output the presentation information that it is sufficient to reduce the character strings outside the area. Therefore, if the important area is a character string, a simple and easy-to-understand correction method of changing the size of the character string can be adopted.
- the input image is automatically corrected using a plurality of mutually different correction methods (correction patterns) based on the objective impression and important parts specified by the user, and a plurality of corrected images are presented as options. do.
- the control unit 11 of the information processing device 10 changes the design of the input image for the purpose while maintaining the design characteristic information of the input image based on the design characteristic information, the analysis result of the feature amount of the input image, and the purpose for the input image. Determine the presentation information to bring it closer to what is in line with.
- the control unit 11 generates a plurality of images (revised design proposals) that have been modified to bring the design of the input image closer to the intended purpose while maintaining the design characteristic information of the input image. For example, the control unit 11 automatically performs corrections according to a plurality of correction patterns in order to bring the input image closer to the desired impression, to make important areas of the input image stand out, or to achieve both. .
- the control unit 11 presents the plurality of corrected images as presentation information on the display unit 13, and allows the user to select a correction pattern to be applied.
- the control unit 11 receives a selection of a correction pattern to be applied by a user's operation from the operation unit 12.
- FIG. 28 shows an example of a correction pattern.
- each correction pattern it is determined whether or not to change each feature amount (color, shape, complexity, character area ratio, character jump rate, etc.).
- Each correction pattern has a different combination of feature values to be changed during correction.
- modified pattern 1 corresponds to a modified design proposal in which only "color” is changed and other feature amounts are not changed.
- modification pattern 2 corresponds to a modified design proposal in which only the "shape" is changed and other feature amounts are not changed.
- Each correction pattern is stored in the storage unit 15.
- FIG. 29 is a flowchart showing a plurality of modification candidate presentation processing executed by the information processing device 10 in the third embodiment. This process is realized by software processing in cooperation with the CPU of the control unit 11 and the program stored in the storage unit 15.
- step S61 and step S62 is the same as the processing in step S1 and step S2 of the correction point presentation process (see FIG. 5), so the explanation will be omitted.
- control unit 11 inputs the desired impression of the input image (target impression), one or both of the areas to be highlighted (important areas) on the input image, according to the user's operation from the operation unit 12. is accepted (step S63).
- control unit 11 determines whether a target impression has been designated as the purpose for the input image (step S64). If a target impression is specified as the purpose for the input image (step S64; YES), the control unit 11 analyzes the feature amount of the input image, and determines the input image from the feature amount based on the impression correspondence table 151. An estimated impression is estimated (step S65).
- control unit 11 determines whether an important region has been designated as the purpose for the input image (step S66). If an important region is specified as a purpose for the input image (step S66; YES), the control unit 11 analyzes the feature amount of the input image and creates a saliency map from the feature amount (step S67). Next, the control unit 11 generates a plurality of correction designs in order to bring the input image closer to the desired impression and to make important areas of the input image stand out while maintaining the design characteristic information of the input image according to the plurality of correction patterns. A plan is generated (step S68).
- step S66 if an important region is not specified as a purpose for the input image (step S66; NO), the control unit 11 inputs the input image while maintaining the design characteristic information of the input image according to the plurality of correction patterns. A plurality of modified design proposals are generated to bring the image closer to the desired impression (step S69).
- step S64 if the objective impression is not specified as the objective for the input image (step S64; NO), the control unit 11 determines whether or not an important area has been specified as the objective for the input image (Ste S70). If an important region is specified as a purpose for the input image (step S70; YES), the control unit 11 analyzes the feature amount of the input image and creates a saliency map from the feature amount (step S71). Next, the control unit 11 generates a plurality of modified design proposals for making the important areas of the input image stand out while maintaining the design characteristic information of the input image according to the plurality of modification patterns (step S72).
- steps S68, S69, and S72 it is not necessary to use all the modification patterns when generating multiple modified design proposals. For example, the user may appropriately select and use a number of correction patterns that are easy to compare.
- step S73 the control unit 11 causes the display unit 13 to display the plurality of generated revised design proposals. For example, the control unit 11 arranges a plurality of modified design proposals corresponding to each of the plurality of modification patterns shown in FIG. 28 and displays them on the display unit 13.
- control unit 11 receives the user's selection of a desired revised design proposal from among the multiple revised design proposals displayed on the display unit 13 through the user's operation from the operation unit 12 (step S74).
- step S74 After step S74 or in step S70, if an important region is not specified as a purpose for the input image (step S70; NO), the multiple modification candidate presentation process ends.
- the third embodiment like the first and second embodiments, it is possible to modify the image to suit the purpose without losing the design characteristics. becomes.
- the presentation information includes the modified design proposal.
- a plurality of images can be generated under mutually different conditions according to a plurality of correction patterns. Furthermore, by presenting a plurality of corrected images and allowing the user to select one, the user does not need to manually correct the input image, and can easily obtain a desired correction result for the input image.
- each of the modification proposals (recommended parameters/recommended items) presented as presentation information can be selected by the user's operation from the operation unit 12.
- the control unit 11 of the information processing device 10 may automatically correct the input image according to the correction plan selected by the user, and display the corrected image on the display unit 13.
- the programs for executing each process may be stored in a portable recording medium.
- a carrier wave may be used as a medium for providing program data via a communication line.
- the information processing program, information processing device, and information processing method according to the present invention can be used in the technical field of evaluating and modifying design images.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
デザインの特性を失うことなく、目的に合った画像への修正を可能とする。 入力画像のデザインに対するデザイン特性情報の入力を受け付け(ステップS2)、入力画像に対する目的の入力を受け付け(ステップS3)、入力画像の特徴量を分析し(ステップS8)、デザイン特性情報、分析結果及び目的に基づいて、入力画像のデザイン特性情報を維持しながら入力画像のデザインを目的に沿ったものに近付けるための提示情報を決定し(ステップS9)、提示情報を表示する(ステップS10)。
Description
本発明は、情報処理プログラム、情報処理装置及び情報処理方法に関する。
一般に、商品のパッケージや広告等には、様々なデザインの画像が用いられており、デザインによって、人に与える印象や目立つ箇所が異なる。従来は、デザイン画像が目的に沿った効果を発揮できるよう、デザイン作成者と発注者との間で、感覚的にデザイン画像の配色やデザインの配置等を決定していたが、デザイン画像が目的に沿ったものであるか否かを客観的に評価するシステムが望まれている。
例えば、評価対象のデザイン画像の材質感が、訴求対象者・用途・目標とする感性表現(印象)に合致しているか否かを評価するデザイン評価装置が提案されている(特許文献1参照)。
しかしながら、特許文献1に記載の発明によるデザイン評価結果に基づいて、デザイン画像を訴求対象者・用途・目標とする印象に合わせるように変更すると、デザイン作成者がデザインの特徴部分と考えていたデザインの特性(こだわり・変えたくない部分)が失われてしまう場合があった。
本発明は、上記の従来技術における問題に鑑みてなされたものであって、デザインの特性を失うことなく、目的に合った画像への修正を可能とすることを課題とする。
上記課題を解決するために、請求項1に記載の発明は、コンピューターに、入力画像のデザインに対するデザイン特性情報の入力を受け付けるデザイン特性情報入力ステップと、前記入力画像に対する目的の入力を受け付ける目的入力ステップと、前記入力画像の特徴量を分析する分析ステップと、前記デザイン特性情報、前記分析ステップにおける分析結果及び前記目的に基づいて、前記入力画像の前記デザイン特性情報を維持しながら前記入力画像のデザインを前記目的に沿ったものに近付けるための提示情報を決定する決定ステップと、前記提示情報を出力する出力ステップと、を実行させるための情報処理プログラムである。
請求項2に記載の発明は、請求項1に記載の情報処理プログラムにおいて、前記提示情報は、文章による修正案、又は、修正されたデザイン案を含む。
請求項3に記載の発明は、請求項1又は2に記載の情報処理プログラムにおいて、前記目的入力ステップでは、前記入力画像のデザインで表現したい印象を示す目的印象の入力を受け付け、前記決定ステップでは、前記デザイン特性情報、前記分析結果及び前記目的印象に基づいて、前記提示情報を決定する。
請求項4に記載の発明は、請求項3に記載の情報処理プログラムにおいて、前記分析ステップでは、画像が与える印象と当該画像の特徴量とが対応付けられた対応情報に基づいて、前記入力画像の特徴量から前記入力画像が与える印象を推定した推定印象を前記分析結果として出力する。
請求項5に記載の発明は、請求項4に記載の情報処理プログラムにおいて、前記決定ステップでは、前記推定印象、又は、前記推定印象と前記目的印象との一致度と、前記推定印象と前記目的印象との差異をもたらす原因となっている特徴量と、を前記提示情報として決定する。
請求項6に記載の発明は、請求項1又は2に記載の情報処理プログラムにおいて、前記目的入力ステップでは、前記入力画像のデザインで目立たせたい部分の位置を示す重要領域の入力を受け付け、前記分析ステップでは、前記入力画像の画素ごとに目立ち度を定量化する顕著性マップ化処理を行い、前記決定ステップでは、前記デザイン特性情報、前記顕著性マップ化処理の結果及び前記重要領域に基づいて、前記提示情報を決定する。
請求項7に記載の発明は、請求項6に記載の情報処理プログラムにおいて、前記分析ステップでは、前記重要領域が単語又は文を成す文字列であった場合に、その文字列のサイズの前記重要領域以外の文字列のサイズに対する比率を算出し、前記決定ステップでは、前記算出された比率が所定値以下の場合に、前記重要領域の文字列を拡大するか、前記重要領域以外の文字列を縮小すればよいことを、前記提示情報として決定する。
請求項8に記載の発明は、入力画像のデザインに対するデザイン特性情報の入力を受け付けるデザイン特性情報入力手段と、前記入力画像に対する目的の入力を受け付ける目的入力手段と、前記入力画像の特徴量を分析する分析手段と、前記デザイン特性情報、前記分析手段による分析結果及び前記目的に基づいて、前記入力画像の前記デザイン特性情報を維持しながら前記入力画像のデザインを前記目的に沿ったものに近付けるための提示情報を決定する決定手段と、前記提示情報を出力する出力手段と、を備える情報処理装置である。
請求項9に記載の発明は、入力画像のデザインに対するデザイン特性情報の入力を受け付けるデザイン特性情報入力ステップと、前記入力画像に対する目的の入力を受け付ける目的入力ステップと、前記入力画像の特徴量を分析する分析ステップと、前記デザイン特性情報、前記分析ステップにおける分析結果及び前記目的に基づいて、前記入力画像の前記デザイン特性情報を維持しながら前記入力画像のデザインを前記目的に沿ったものに近付けるための提示情報を決定する決定ステップと、前記提示情報を出力する出力ステップと、を含む情報処理方法である。
本発明によれば、デザインの特性を失うことなく、目的に合った画像への修正が可能となる。
以下、図面を参照して、本発明の実施の形態について説明する。ただし、発明の範囲は、図示例に限定されない。
[第1の実施の形態]
まず、本発明の第1の実施の形態について説明する。
図1に、第1の実施の形態における情報処理装置10の機能的構成を示す。図1に示すように、情報処理装置10は、制御部11、操作部12、表示部13、通信部14、記憶部15等を備えて構成されており、各部はバスにより接続されている。情報処理装置10は、PC(Personal Computer)等のコンピューター装置により構成されている。
まず、本発明の第1の実施の形態について説明する。
図1に、第1の実施の形態における情報処理装置10の機能的構成を示す。図1に示すように、情報処理装置10は、制御部11、操作部12、表示部13、通信部14、記憶部15等を備えて構成されており、各部はバスにより接続されている。情報処理装置10は、PC(Personal Computer)等のコンピューター装置により構成されている。
制御部11は、CPU(Central Processing Unit)、RAM(Random Access Memory)等から構成され、情報処理装置10の各部の処理動作を統括的に制御する。具体的には、CPUは、記憶部15に記憶されている各種処理プログラムを読み出してRAMに展開し、当該プログラムとの協働により各種処理を行う。
操作部12は、カーソルキー、文字・数字入力キー及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された操作信号を制御部11に出力する。また、操作部12は、表示部13に積層されたタッチパネルにより構成され、表示画面に対するユーザーの入力を受け付け、タッチ操作の位置に応じた操作信号を制御部11に出力することとしてもよい。
表示部13は、LCD(Liquid Crystal Display)等のモニターを備えて構成されており、制御部11から入力される表示信号の指示に従って、各種画面を表示する。
通信部14は、ネットワークインターフェース等により構成され、LAN(Local Area Network)やWAN(Wide Area Network)、インターネット等の通信ネットワークを介して接続された外部装置との間でデータの送受信を行う。
記憶部15は、HDD(Hard Disk Drive)や不揮発性の半導体メモリー等により構成され、各種処理プログラム、当該プログラムの実行に必要なデータ等を記憶している。
記憶部15には、印象対応テーブル151(データベース)が記憶されている。印象対応テーブル151は、画像が与える印象と、当該画像の特徴量と、が対応付けられた対応情報の一例である。画像の特徴量は、画像の特徴を示す値であり、画像又は画像の付帯情報から得られる。
印象対応テーブル151は、複数のサンプル画像のそれぞれに対して、デザインの専門家又は一般人である複数の被験者が当該サンプル画像の印象を評価して得られた印象語(形容詞、形容動詞、比喩表現等)と、当該サンプル画像の特徴量と、を対応付けることで、予め作成されている。印象対応テーブル151に含まれる印象語は、全被験者の平均的な印象を示している。なお、印象対応テーブル151を作成する際の官能評価においては、評価時の画像の順序が評価結果に影響しないように、各被験者に複数のサンプル画像をランダムに提示して印象を評価させることが望ましい。
印象対応テーブル151を参照することで、画像の特徴量からその画像が与える印象を取得したり、画像に求められる印象からその画像が備えるべき特徴量を取得したりすることができる。
図2に、印象対応テーブル151の例を示す。図2に示す印象対応テーブル151では、画像が与える印象を示す印象語に対して、画像の特徴量として、複数の色の組み合わせ(色1~3)が対応付けられている。各色は、RGBそれぞれの階調値で示されている。
なお、印象対応テーブル151において、各印象語と対応付けられる画像の特徴量として、色以外の特徴量が含まれていてもよい。
なお、印象対応テーブル151において、各印象語と対応付けられる画像の特徴量として、色以外の特徴量が含まれていてもよい。
ここでは、印象対応テーブル151を用いる場合について説明するが、対応情報として、複数の被験者によって評価されたサンプル画像の印象語と、サンプル画像の特徴量と、の対応関係に基づいて作成された相関式を用いることとしてもよい。
また、対応情報として、複数のサンプル画像のそれぞれについて、当該サンプル画像の特徴量を入力とし、複数の被験者によって評価された当該サンプル画像の印象語を出力として学習させた機械学習モデルを用いることとしてもよい。また、この機械学習結果に基づいて、指定された印象語から、当該印象語に対応する特徴量を出力することとしてもよい。
また、対応情報として、複数のサンプル画像のそれぞれについて、当該サンプル画像の特徴量を入力とし、複数の被験者によって評価された当該サンプル画像の印象語を出力として学習させた機械学習モデルを用いることとしてもよい。また、この機械学習結果に基づいて、指定された印象語から、当該印象語に対応する特徴量を出力することとしてもよい。
制御部11は、入力画像のデザインに対するデザイン特性情報の入力を受け付ける。すなわち、制御部11は、デザイン特性情報入力手段として機能する。デザイン特性情報は、デザインの特性を示す情報であり、情報処理装置10の操作者が変更したくない部分、デザインの特徴ポイントと捉えている部分、こだわりたい部分を示す情報である。
制御部11は、入力画像に対する目的(狙いの印象、目立たせたい領域等)の入力を受け付ける。すなわち、制御部11は、目的入力手段として機能する。入力画像に対する目的とは、ユーザーが入力画像に対して希望する目標を示す情報であり、ユーザーが希望する効果を発揮するために目指す到達点である。
具体的には、制御部11は、入力画像のデザインで表現したい印象を示す目的印象の入力を受け付ける。
具体的には、制御部11は、入力画像のデザインで表現したい印象を示す目的印象の入力を受け付ける。
制御部11は、入力画像の特徴量を分析する。すなわち、制御部11は、分析手段として機能する。
例えば、制御部11は、画像が与える印象と当該画像の特徴量とが対応付けられた対応情報(印象対応テーブル151)に基づいて、入力画像の特徴量から入力画像が与える印象を推定した推定印象を分析結果として出力する。また、複数の推定印象が得られる場合、各推定印象の割合(%)を算出して、分析結果に含めることとしてもよい。
例えば、制御部11は、画像が与える印象と当該画像の特徴量とが対応付けられた対応情報(印象対応テーブル151)に基づいて、入力画像の特徴量から入力画像が与える印象を推定した推定印象を分析結果として出力する。また、複数の推定印象が得られる場合、各推定印象の割合(%)を算出して、分析結果に含めることとしてもよい。
入力画像の推定印象を推定するために用いられるパラメーター(特徴量)として、色、輝度、明度、形状、画像の複雑度、余白率、文字面積率(文字が占める領域の面積率)、ジャンプ率(画像中に存在する文字列のサイズ比率)等が挙げられる。
画像全体のサイズが同じ画像については、余白量や文字が占める領域の面積をパラメーターとしてもよい。
画像全体のサイズが同じ画像については、余白量や文字が占める領域の面積をパラメーターとしてもよい。
「色」は、画像データを構成する色情報で表される数値である。「色」は、例えば、R(Red),G(Green),B(Blue)それぞれの階調値で表される。また、他に、色を表す値であれば、Lab、CMYK等でもよいが、ここでは、R,G,Bの階調値で色を表現した場合について説明する。
「輝度」は、例えば、R,G,Bデータから輝度値に変換した値である。また、分析対象となる画像が観察者に観察される環境を推定して、変換に必要な係数を決定し、輝度を算出してもよい。
「明度」は、色の属性の一つで、物体色の明るさを表す値である。
「形状」は、分析対象画像から抽出される形状を示す特徴量である。ここでは、図3に示すように、画像に対してx軸(水平方向・横方向)及びy軸(縦方向)を取り、x軸と一致する角度を0度としたときに、画像を構成する各画素のRGBいずれかの値が、0度、45度、90度、135度と一致する方向に沿って連続して配置されているかどうかを表す特徴量を、「形状」として用いる。例えば、対象画像をグレー化して輝度分布のみで表してから、対象画像の階調値の数値配列と、0度、45度、90度、135度のいずれかの角度に一致するガボールフィルターとなる数値行列を畳み込み演算することで、当該角度に一致する部分が強調された画像を生成する。こうして得らえた画像の画素値が、形状を表す特徴量となる。
「複雑度」は、画像中で、人が輪郭と認識する線が占める度合いを表す値であり、いわゆる線画の書き込み量等に相当する。例えば、画像データを構成する各画素の階調値の分布に対して、ボックスカウント法に基づいてフラクタル次元を算出し、算出されたフラクタル次元を複雑度とする。この場合、複雑度の最小値は1となり、画像の輪郭線が混みあっているほど、複雑度は大きな値になる。
「余白率」は、画像中で、人が余白と認識する領域が占める度合いを表す値である。例えば、画像中でオブジェクトと認識される領域を抽出し、それ以外の領域を余白と定義する。オブジェクトと認識される領域の抽出方法としては、機械学習された結果を利用してもよいし、分析対象画像上で手動でオブジェクトを指定することとしてもよい。
なお、余白率は、複雑度と負の相関関係があり、複雑度が小さいほど余白率が大きいと判断できる場合がある。
なお、余白率は、複雑度と負の相関関係があり、複雑度が小さいほど余白率が大きいと判断できる場合がある。
「文字面積率」は、文字が占める領域の面積の画像全体に対する比率である。
「ジャンプ率(文字列のサイズ比率)」は、画像中の文字について、改行されずに連続して並ぶ文字列を1塊として抽出し、抽出された文字列の塊が占める領域の面積を当該文字列のサイズとしたときの、当該画像中にある文字列のサイズの比率である。
例えば、ある一つの画像中で最もサイズが大きい文字列のジャンプ率を100として、他の文字列のサイズを比率で表す。
文字列の抽出方法としては、機械学習された結果を利用してもよいし、文字データが画像とは別に保存されるファイル形式の画像データである場合には、文字として記録されているデータ部分を抽出してもよい。
例えば、ある一つの画像中で最もサイズが大きい文字列のジャンプ率を100として、他の文字列のサイズを比率で表す。
文字列の抽出方法としては、機械学習された結果を利用してもよいし、文字データが画像とは別に保存されるファイル形式の画像データである場合には、文字として記録されているデータ部分を抽出してもよい。
入力画像の推定印象を推定する際のパラメーターのうち、「色」として、入力画像全体を平均した色、又は、配色パターンを用いることができる。
「入力画像全体を平均した色」は、画像を構成する各画素の画素値(RGB階調値)を平均した色である。例えば、図4に示すように、入力画像を構成する各画素(縦方向m個×横方向n個)の画素値を(Rij,Gij,Bij)とすると、平均した色(R,G,B)は、以下の式(1)~(3)により求められる。
「配色パターン」は、入力画像の中で類似する色を同色にする減色処理を行うことで得られた複数の色の組み合わせ(例えば、3色、5色、10色等)である。
入力画像の推定印象を推定する際のパラメーターとして、入力画像全体を平均した色及び配色パターンを用いる場合、対応情報(印象対応テーブル151)には、画像全体を平均した色と配色パターンとの組み合わせに対して、印象語が対応付けられている。
制御部11は、入力画像の分析において、入力画像全体を平均した色を求めるとともに、入力画像に対する減色処理により、入力画像から配色パターンを抽出する。そして、制御部11は、対応情報を参照して、入力画像全体を平均した色及び配色パターンに対応する印象語(対応情報に含まれる印象語のどれに近いか)を取得し、推定印象とする。
制御部11は、入力画像の分析において、入力画像全体を平均した色を求めるとともに、入力画像に対する減色処理により、入力画像から配色パターンを抽出する。そして、制御部11は、対応情報を参照して、入力画像全体を平均した色及び配色パターンに対応する印象語(対応情報に含まれる印象語のどれに近いか)を取得し、推定印象とする。
なお、入力画像の推定印象を推定する際のパラメーターとして、入力画像全体を平均した色、配色パターンのいずれか一方のみを用いることとしてもよい。
制御部11は、デザイン特性情報、入力画像の特徴量の分析結果、及び、入力画像に対する目的に基づいて、入力画像のデザイン特性情報を維持しながら入力画像のデザインを当該目的に沿ったものに近付けるための提示情報を決定する。すなわち、制御部11は、決定手段として機能する。
提示情報は、文章による修正案、又は、修正されたデザイン案を含む。
具体的には、制御部11は、デザイン特性情報、分析結果(推定印象、特徴量等)及び目的印象に基づいて、提示情報を決定する。
提示情報は、文章による修正案、又は、修正されたデザイン案を含む。
具体的には、制御部11は、デザイン特性情報、分析結果(推定印象、特徴量等)及び目的印象に基づいて、提示情報を決定する。
例えば、制御部11は、入力画像から得られた推定印象、又は、推定印象と目的印象との一致度を、提示情報として決定する。
また、制御部11は、推定印象と目的印象との差異をもたらす原因となっている特徴量を、提示情報として決定する。具体的には、制御部11は、記憶部15に記憶されている対応情報を参照して、目的印象を表現するために重要な特徴量を特定し、どの特徴量を変更すれば、入力画像の推定印象が目的印象に近付くかを、提示情報として決定する。
また、制御部11は、推定印象と目的印象との差異をもたらす原因となっている特徴量を、提示情報として決定する。具体的には、制御部11は、記憶部15に記憶されている対応情報を参照して、目的印象を表現するために重要な特徴量を特定し、どの特徴量を変更すれば、入力画像の推定印象が目的印象に近付くかを、提示情報として決定する。
制御部11は、提示情報を出力する。すなわち、制御部11は、出力手段として機能する。例えば、制御部11は、提示情報を表示部13に表示させる。また、制御部11は、提示情報をデータとして外部装置に送信したり、記録メディアに記録したりすることで、提示情報を出力してもよい。また、制御部11は、提示情報をプリンター等により印刷出力してもよい。
次に、情報処理装置10における動作について説明する。
図5は、情報処理装置10により実行される修正箇所提示処理を示すフローチャートである。この処理は、制御部11のCPUと記憶部15に記憶されているプログラムとの協働によるソフトウェア処理によって実現される。
図5は、情報処理装置10により実行される修正箇所提示処理を示すフローチャートである。この処理は、制御部11のCPUと記憶部15に記憶されているプログラムとの協働によるソフトウェア処理によって実現される。
まず、制御部11は、通信部14を介して入力された、処理対象とするデザイン画像を取得する(ステップS1)。
次に、制御部11は、ユーザーの操作部12からの操作により、入力画像のデザインに対するデザイン特性情報の入力を受け付ける(ステップS2)。ここで、ユーザーは、デザイン作成者、発注者等、情報処理装置10の操作者である。例えば、制御部11は、入力画像を表示部13に表示させ、操作部12からの操作により、変更したくない領域の指定を受け付ける。また、制御部11は、操作部12からの操作により、入力画像の特徴量のうち、変更したくない特徴量の指定を受け付ける。
次に、制御部11は、ユーザーの操作部12からの操作により、入力画像に対する目的とする評価項目の入力を受け付ける(ステップS3)。例えば、制御部11は、目的として、人に与えたい印象(狙いの印象)や、目立たせたい領域の指定を受け付ける。目的は、複数指定可能である。例えば、狙いの印象を複数指定したり、目立たせたい領域を複数指定したり、狙いの印象及び目立たせたい領域をそれぞれ指定したりすることができる。
次に、制御部11は、入力された評価項目(目的)に、1~kの通し番号を付ける(ステップS4)。
また、制御部11は、評価項目数Kの初期値をkに設定する(ステップS5)。評価項目数Kは、入力画像に対して、目的に沿ったものであるか否か、目的に沿ったものに近付けるためにはどうすべきか等の評価を行う際の、残りの評価項目の数である。
また、制御部11は、評価項目数Kの初期値をkに設定する(ステップS5)。評価項目数Kは、入力画像に対して、目的に沿ったものであるか否か、目的に沿ったものに近付けるためにはどうすべきか等の評価を行う際の、残りの評価項目の数である。
次に、制御部11は、評価項目数Kが0であるか否か、すなわち、全ての評価項目に対して処理が終了したか否かを判断する(ステップS6)。
評価項目数Kが0でない場合(ステップS6;NO)、すなわち、未処理の評価項目が残っている場合には、制御部11は、入力画像を表示部13に表示させ、操作部12からの操作により、番号Kの評価項目について、入力画像中で評価したい領域の選択を受け付ける(ステップS7)。
次に、制御部11は、番号Kの評価項目の評価に用いる、入力画像の特徴量を分析する(ステップS8)。
次に、制御部11は、デザイン特性情報、入力画像の特徴量の分析結果、及び、入力画像に対する目的(番号Kの評価項目)に基づいて、入力画像のデザイン特性情報を維持しながら(デザイン特性情報は変更せずに)、入力画像のデザインを番号Kの評価項目の目的に沿ったものに近付けるための提示情報(修正案、変更すべき特徴量の種類等)を決定する(ステップS9)。
提示情報には、例えば、入力画像に対する修正・改善内容を文章により示した情報、入力画像を修正・改善した画像等が含まれる。
提示情報には、例えば、入力画像に対する修正・改善内容を文章により示した情報、入力画像を修正・改善した画像等が含まれる。
次に、制御部11は、決定された提示情報を表示部13に表示させる(ステップS10)。
次に、制御部11は、評価項目数Kの値から1を減算して新たな評価項目数Kとし(ステップS11)、ステップS6に戻り、処理が繰り返される。
ステップS6において、評価項目数Kが0である場合(ステップS6;YES)、すなわち、未処理の評価項目がなくなった場合には、修正箇所提示処理が終了する。
次に、修正箇所提示処理を、より具体化した処理について説明する。
図6は、情報処理装置10により実行される目的印象の指定を伴う修正箇所提示処理を示すフローチャートである。この処理は、制御部11のCPUと記憶部15に記憶されているプログラムとの協働によるソフトウェア処理によって実現される。
図6は、情報処理装置10により実行される目的印象の指定を伴う修正箇所提示処理を示すフローチャートである。この処理は、制御部11のCPUと記憶部15に記憶されているプログラムとの協働によるソフトウェア処理によって実現される。
まず、制御部11は、通信部14を介して入力された、処理対象とするデザイン画像を取得する(ステップS21)。
図7に、入力画像20の例を示す。ここでは、リンゴを使った菓子類のパッケージデザインを処理対象とする。
図7に、入力画像20の例を示す。ここでは、リンゴを使った菓子類のパッケージデザインを処理対象とする。
次に、制御部11は、ユーザーの操作部12からの操作により、入力画像に対する変更したくない領域Aと、領域Aにおいて変更したくない特徴量aの入力を受け付ける(ステップS22)。つまり、変更したくない領域A及び変更したくない特徴量aが、デザイン特性情報に相当する。
例えば、制御部11は、入力画像を表示部13に表示させ、操作部12からの操作により、変更したくない領域Aの指定を受け付ける。
図8に、表示部13に表示される不変領域指定画面21の例を示す。不変領域指定画面21では、入力画像上の変更したくない領域Aとして、リンゴ部分(破線で囲まれた領域)が指定されている。
図8に、表示部13に表示される不変領域指定画面21の例を示す。不変領域指定画面21では、入力画像上の変更したくない領域Aとして、リンゴ部分(破線で囲まれた領域)が指定されている。
また、制御部11は、複数の特徴量を表示部13に表示させ、操作部12からの操作により、入力画像の特徴量のうち、変更したくない特徴量aの指定を受け付ける。
図9に、表示部13に表示される不変特徴量指定画面22の例を示す。不変特徴量指定画面22では、領域A内の変更したくない特徴量aとして、「色」が指定されている。
なお、変更したくない領域Aと変更したくない特徴量aの指定は、いずれか一方のみであってもよい。
図9に、表示部13に表示される不変特徴量指定画面22の例を示す。不変特徴量指定画面22では、領域A内の変更したくない特徴量aとして、「色」が指定されている。
なお、変更したくない領域Aと変更したくない特徴量aの指定は、いずれか一方のみであってもよい。
次に、制御部11は、ユーザーの操作部12からの操作により、入力画像に対する目的として、入力画像に対する狙いの印象(目的印象)の入力を受け付ける(ステップS23)。例えば、制御部11は、「家庭的な」、「くつろいだ」、「行動的な」等の複数の印象語を選択肢として表示部13に表示させ、操作部12からの操作により、目的印象の指定を受け付ける。
次に、制御部11は、入力画像を表示部13に表示させ、操作部12からの操作により、入力画像中で評価したい領域の選択を受け付ける(ステップS24)。
図10に、表示部13に表示される評価領域指定画面23の例を示す。評価領域指定画面23では、入力画像上で、評価したい領域Cとして、画像全体(破線で囲まれた領域)が指定されている。
図10に、表示部13に表示される評価領域指定画面23の例を示す。評価領域指定画面23では、入力画像上で、評価したい領域Cとして、画像全体(破線で囲まれた領域)が指定されている。
次に、制御部11は、入力画像の特徴量を分析し、分析により得られた特徴量を表示部13に表示させる(ステップS25)。例えば、制御部11は、入力画像の特徴量として、ドミナントカラー(配色パターン)、複雑度、文字面積率を求める。
図11Aに、表示部13に表示されるドミナントカラー分析結果画面24の例を示す。制御部11は、入力画像を構成する各画素の色について、相互に類似する色を同色にまとめる減色処理を行い、まとめられた複数の色のそれぞれが画像中で占める割合(面積率)を求める。ドミナントカラー分析結果画面24には、減色処理後の各色の面積率を示す積み上げ棒グラフ241と、減色処理後の各色の面積率と色の名称との対応関係を示す対応表242と、が含まれる。
図11Bに、表示部13に表示される複雑度分析結果画面25の例を示す。制御部11は、入力画像から輪郭を抽出する等して、複雑度を算出する。複雑度分析結果画面25には、入力画像の複雑度を算出する際に生成された処理用画像251と、複雑度252と、が含まれる。
図11Cに、表示部13に表示される文字面積率分析結果画面26の例を示す。制御部11は、入力画像から文字領域を抽出し、文字領域が画像全体に占める割合(文字面積率)を算出する。文字面積率分析結果画面26には、文字領域261,262が示された入力画像263と、文字面積率264と、が含まれる。
次に、制御部11は、特徴量から入力画像の推定印象を推定する(ステップS26)。具体的には、制御部11は、記憶部15に記憶されている印象対応テーブル151を参照して、ドミナントカラー、複雑度、文字面積率に対応する印象語を取得し、推定印象とする。なお、対応情報として、印象対応テーブル151に代えて、相関式や機械学習モデルを用いることとしてもよい。
次に、制御部11は、入力画像の推定印象を表示部13に表示させる(ステップS27)。
図12に、表示部13に表示される分析結果表示画面27の例を示す。分析結果表示画面27には、入力画像から推定された推定印象として、「行動的な」という印象(50%)と、「野生的な」という印象(50%)が表示されている。
図12に、表示部13に表示される分析結果表示画面27の例を示す。分析結果表示画面27には、入力画像から推定された推定印象として、「行動的な」という印象(50%)と、「野生的な」という印象(50%)が表示されている。
次に、制御部11は、目的印象と、推定印象と目的印象との一致度(逆に、推定印象と目的印象とのギャップを示す値でもよい。)と、を表示部13に表示させる(ステップS28)。
図13に、表示部13に表示される現状評価表示画面28の例を示す。現状評価表示画面28には、「家庭的な」という目的印象281と、入力画像から推定された推定印象と目的印象との一致度282(35%)と、が表示されている。
図13に、表示部13に表示される現状評価表示画面28の例を示す。現状評価表示画面28には、「家庭的な」という目的印象281と、入力画像から推定された推定印象と目的印象との一致度282(35%)と、が表示されている。
次に、制御部11は、領域Aの特徴量a以外の特徴量で、入力画像のデザインを目的印象に沿ったものに近付けるために変更した方がよい特徴量を提示情報として決定し、表示部13に表示させる(ステップS29)。具体的には、制御部11は、印象語と特徴量とが対応付けられた印象対応テーブル151に基づいて、入力画像の推定印象と目的印象とのギャップを埋めるために、変更を推奨するパラメーターを提示する。
特徴量a以外の特徴量については、目的印象の実現に寄与するものであれば、変更を推奨するパラメーターとなり得る。一方、特徴量aについては、領域A以外の領域に対してのみ、目的印象の実現に寄与するパラメーターとして採用される。
特徴量a以外の特徴量については、目的印象の実現に寄与するものであれば、変更を推奨するパラメーターとなり得る。一方、特徴量aについては、領域A以外の領域に対してのみ、目的印象の実現に寄与するパラメーターとして採用される。
図14に、表示部13に表示される変更推奨項目表示画面29の例を示す。変更推奨項目表示画面29には、目的印象に近付けるための提示情報291,292と、提示情報291の対象とする対象領域293と、が表示されている。
対象領域293は、入力画像全体からリンゴ部分(領域A)を除いた領域(破線で囲まれた部分)である。
提示情報291には、変更を推奨するパラメーター「色」について、対象領域293の色を、3色の配色パターンが示す配色に近付けるという修正案が含まれる。この配色パターンは、目的印象に対応する色の組み合わせである。
提示情報292には、変更を推奨するパラメーター「文字面積率」を10%未満にするという修正案が含まれる。
以上で、目的印象の指定を伴う修正箇所提示処理が終了する。
対象領域293は、入力画像全体からリンゴ部分(領域A)を除いた領域(破線で囲まれた部分)である。
提示情報291には、変更を推奨するパラメーター「色」について、対象領域293の色を、3色の配色パターンが示す配色に近付けるという修正案が含まれる。この配色パターンは、目的印象に対応する色の組み合わせである。
提示情報292には、変更を推奨するパラメーター「文字面積率」を10%未満にするという修正案が含まれる。
以上で、目的印象の指定を伴う修正箇所提示処理が終了する。
その後、ユーザーは、操作部12からの操作により、上記の処理結果を参考にして、入力画像に対して各パラメーター(色、文字面積率)を変更し、入力画像を修正する。
図15に、修正後の画像30の例を示す。修正後の画像30は、入力画像20(図7参照)と比較して、領域A(リンゴ部分)以外の領域の色が「目的印象」に近付くように変更され、「Organic Cookie」という文字のサイズが小さくなっている(文字面積率低下)。
図15に、修正後の画像30の例を示す。修正後の画像30は、入力画像20(図7参照)と比較して、領域A(リンゴ部分)以外の領域の色が「目的印象」に近付くように変更され、「Organic Cookie」という文字のサイズが小さくなっている(文字面積率低下)。
ユーザーが、操作部12からの操作により、修正後の画像に対して再評価を指示すると、制御部11は、修正後の画像を対象として、目的印象の指定を伴う修正箇所提示処理(図6参照)のステップS25~S28の処理を行い、処理結果を表示部13に表示させる。
図16に、表示部13に表示される分析結果表示画面31の例を示す。分析結果表示画面31には、修正後の画像から推定された推定印象として、「家庭的な」という印象(65%)と、「くつろいだ」という印象(35%)が表示されている。
図17に、表示部13に表示される現状評価表示画面32の例を示す。現状評価表示画面32には、「家庭的な」という目的印象321と、修正後の画像から推定された推定印象と目的印象との一致度322「65%」が表示されている。
図17に、表示部13に表示される現状評価表示画面32の例を示す。現状評価表示画面32には、「家庭的な」という目的印象321と、修正後の画像から推定された推定印象と目的印象との一致度322「65%」が表示されている。
以上説明したように、第1の実施の形態によれば、デザインの修正に関わる目的を入力することで、デザインの特性(デザイナーの個性となるこだわり部分)を考慮した、新しいデザインを生み出すことに寄与する提示情報を出力できる。情報処理装置10は、入力画像のデザイン特性情報を維持しながら入力画像のデザインを目的に沿ったものに近付けるための提示情報を出力するので、ユーザーは、デザイナーの個性が発揮されているような特徴的な部分を活かしたまま、そのデザインを目的に合った内容に修正することができる。したがって、デザインの特性を失うことなく、目的に合った画像への修正が可能となる。
また、デザイナーの自由な発想の成果を保持できるため、前例のない斬新なデザインの発生や発展を妨げない。
また、デザイナーの自由な発想の成果を保持できるため、前例のない斬新なデザインの発生や発展を妨げない。
また、提示情報は、文章による修正案や、修正されたデザイン案を含むので、ユーザーは、提示情報を参考にして、入力画像のデザインを目的に合った内容に修正することができる。
また、目的として、デザインで表現したい印象を示す目的印象を入力することで、入力画像のデザイン特性を変更することなく、入力画像のデザインを目的印象に沿ったものに近付けるための提示情報を出力することができる。
また、画像が与える印象と当該画像の特徴量とが対応付けられた対応情報に基づいて、入力画像の特徴量から入力画像が与える推定印象を出力することで、入力画像に対する現状の印象を、デザインの修正に利用することができる。
また、推定印象、推定印象と目的印象との一致度を提示情報として決定し、出力することで、入力画像に対する現状の印象や、現時点での目的印象への到達度をユーザーに提示することができる。
また、推定印象と目的印象との差異をもたらす原因となっている特徴量を提示情報として決定し、出力することで、変更すべき特徴量をユーザーに提示することができる。
また、推定印象と目的印象との差異をもたらす原因となっている特徴量を提示情報として決定し、出力することで、変更すべき特徴量をユーザーに提示することができる。
なお、図6に示す目的印象の指定を伴う修正箇所提示処理では、推定印象、目的印象、推定印象と目的印象との一致度を表示することとしたが、それぞれの情報を表示するか否かは、適宜変更可能としてもよい。
[第2の実施の形態]
次に、本発明を適用した第2の実施の形態について説明する。
第2の実施の形態における情報処理装置は、第1の実施の形態に示した情報処理装置10と同様の構成であるため、図1を流用して、その構成については図示及び説明を省略する。以下、第2の実施の形態に特徴的な構成及び処理について説明する。
第2の実施の形態では、指定箇所を目立たせるための提示情報を出力する場合について説明する。
次に、本発明を適用した第2の実施の形態について説明する。
第2の実施の形態における情報処理装置は、第1の実施の形態に示した情報処理装置10と同様の構成であるため、図1を流用して、その構成については図示及び説明を省略する。以下、第2の実施の形態に特徴的な構成及び処理について説明する。
第2の実施の形態では、指定箇所を目立たせるための提示情報を出力する場合について説明する。
情報処理装置10の制御部11は、入力画像のデザインで目立たせたい部分の位置を示す重要領域の入力を受け付ける。
制御部11は、入力画像の画素ごとに目立ち度(すなわち顕著性)を定量化する顕著性マップ化処理を行う。
制御部11は、入力画像の画素ごとに目立ち度(すなわち顕著性)を定量化する顕著性マップ化処理を行う。
顕著性マップ化処理とは、画像に含まれる各画素を、当該画素部分の目立ち度を示す値で表す画像処理である。具体的には、顕著性マップ化処理では、赤緑方向及び黄青方向それぞれの色コントラストがある部分と、輝度コントラストがある部分と、所定方向(例えば、図3と同様に角度を取った場合において、0度から315度まで45度ごとの方向)と一致する直線成分(エッジ)がある部分を、目立ち度が高い部分(視認しやすい部分)として、高い数値で表す。
赤緑方向の色コントラストがあることは、例えば、隣り合う画素間で、赤緑方向の色を示す値の差分が所定値以上であることに相当する。
黄青方向の色コントラストがあることは、例えば、隣り合う画素間で、黄青方向の色を示す値の差分が所定値以上であることに相当する。
輝度コントラストがあることは、例えば、隣り合う画素間で、輝度を示す値の差分が所定値以上であることに相当する。
黄青方向の色コントラストがあることは、例えば、隣り合う画素間で、黄青方向の色を示す値の差分が所定値以上であることに相当する。
輝度コントラストがあることは、例えば、隣り合う画素間で、輝度を示す値の差分が所定値以上であることに相当する。
また、所定方向を示す角度として、0度と180度(横方向)、45度と225度(右上がり斜め方向)、90度と270度(縦方向)、135度と315度(右下がり斜め方向)は、それぞれ同じ方向の直線成分に対応している。
制御部11は、デザイン特性情報、顕著性マップ化処理の結果及び重要領域に基づいて、入力画像のデザイン特性情報を維持しながら入力画像の重要領域を目立たせるための提示情報を決定する。
具体的には、制御部11は、重要領域の顕著性を上げるためには、重要領域において、赤緑、黄青、輝度の各方向のコントラストを上げるか、所定方向(45度ごと)の方向成分と一致する直線成分を重要領域に加えればよいことを、提示情報として決定する。
具体的には、制御部11は、重要領域の顕著性を上げるためには、重要領域において、赤緑、黄青、輝度の各方向のコントラストを上げるか、所定方向(45度ごと)の方向成分と一致する直線成分を重要領域に加えればよいことを、提示情報として決定する。
例えば、デザイン特性情報(変更したくない領域・特徴量)として入力画像中の「リンゴ」領域の「色」が指定され、重要領域(目立たせたい部分)として「リンゴ」領域が指定された場合、リンゴ(赤色とする。)を目立たせるためには、リンゴの背景を緑色にすることで、リンゴ領域とその周囲との間の赤緑方向の色コントラストを上げるという方法が考えられる。また、リンゴの背景を明るくするか、逆に暗くすることで、リンゴ領域とその周囲との間の輝度コントラストを上げてもよい。
次に、動作について説明する。
図18は、第2の実施の形態における情報処理装置10により実行される重要箇所の指定を伴う修正箇所提示処理を示すフローチャートである。この処理は、制御部11のCPUと記憶部15に記憶されているプログラムとの協働によるソフトウェア処理によって実現される。
図18は、第2の実施の形態における情報処理装置10により実行される重要箇所の指定を伴う修正箇所提示処理を示すフローチャートである。この処理は、制御部11のCPUと記憶部15に記憶されているプログラムとの協働によるソフトウェア処理によって実現される。
ステップS31及びステップS32の処理については、目的印象の指定を伴う修正箇所提示処理(図6参照)のステップS21及びステップS22の処理と同様であるため、説明を省略する。
図19に、ステップS31において入力される入力画像40の例を示す。
図20に、ステップS32において、表示部13に表示される不変領域指定画面41の例を示す。不変領域指定画面41では、入力画像上の変更したくない領域Aとして、リンゴ部分と、文字部分と、が指定されている。
図21に、ステップS32において、表示部13に表示される不変特徴量指定画面42の例を示す。不変特徴量指定画面42では、領域A内の変更したくない特徴量aとして、「色」が指定されている。
図20に、ステップS32において、表示部13に表示される不変領域指定画面41の例を示す。不変領域指定画面41では、入力画像上の変更したくない領域Aとして、リンゴ部分と、文字部分と、が指定されている。
図21に、ステップS32において、表示部13に表示される不変特徴量指定画面42の例を示す。不変特徴量指定画面42では、領域A内の変更したくない特徴量aとして、「色」が指定されている。
次に、制御部11は、入力画像の特徴量(色コントラスト、輝度コントラスト、直線成分等)を分析し、特徴量から顕著性マップを作成し、顕著性マップを表示部13に表示させる(ステップS33)。
図22に、表示部13に表示される顕著性マップ43の例を示す。顕著性マップ43は、顕著性(注目性、目立ち度)の度合いに応じた色や濃度で、各画素を表現したものであり、例えば、顕著性が高い部分を赤で表示する。なお、顕著性の度合いに対して、どの色を割り当てるかは、任意に設定可能である。
図22に、表示部13に表示される顕著性マップ43の例を示す。顕著性マップ43は、顕著性(注目性、目立ち度)の度合いに応じた色や濃度で、各画素を表現したものであり、例えば、顕著性が高い部分を赤で表示する。なお、顕著性の度合いに対して、どの色を割り当てるかは、任意に設定可能である。
次に、制御部11は、ユーザーの操作部12からの操作により、入力画像に対する目的として、入力画像上で目立たせたい領域B(重要領域)の入力を受け付ける(ステップS34)。
図23に、表示部13に表示される重要領域指定画面44の例を示す。重要領域指定画面44では、入力画像上で、目立たせたい領域Bとして、文字部分が指定されている。なお、重要領域指定画面44と顕著性マップ43とを並べて表示させ、ユーザーが、顕著性マップ43において、現状の顕著性を参考にしながら、重要領域指定画面44において、目立たせたい領域Bを指定可能としてもよい。
図23に、表示部13に表示される重要領域指定画面44の例を示す。重要領域指定画面44では、入力画像上で、目立たせたい領域Bとして、文字部分が指定されている。なお、重要領域指定画面44と顕著性マップ43とを並べて表示させ、ユーザーが、顕著性マップ43において、現状の顕著性を参考にしながら、重要領域指定画面44において、目立たせたい領域Bを指定可能としてもよい。
次に、制御部11は、領域B(重要領域)に領域A(変更したくない領域)の少なくとも一部が含まれるか否かを判断する(ステップS35)。
領域Bに領域Aの少なくとも一部が含まれない場合(ステップS35;NO)、すなわち、領域Bと領域Aとで重なる部分がない場合には、制御部11は、領域Bを目立たせる変更推奨項目を提示情報として決定し、表示部13に表示させる(ステップS36)。
ステップS35において、領域Bに領域Aの少なくとも一部が含まれる場合には(ステップS35;YES)、制御部11は、特徴量a以外の特徴量で、領域Bを目立たせる変更推奨項目を提示情報として決定し、表示部13に表示させる(ステップS37)。
図24に、表示部13に表示される変更推奨項目表示画面45の例を示す。変更推奨項目表示画面45には、領域Bを目立たせるための提示情報451,452が表示されている。
提示情報451には、領域Bの周辺をもっと明るい色に変更して、領域Bと周辺領域との明度(輝度)の差を大きくすることで、領域Bを目立たせるという修正案が含まれる。
提示情報452には、領域Bの周辺の書き込み量(複雑度)を減らすことで、領域Bを目立たせるという修正案が含まれる。
提示情報451には、領域Bの周辺をもっと明るい色に変更して、領域Bと周辺領域との明度(輝度)の差を大きくすることで、領域Bを目立たせるという修正案が含まれる。
提示情報452には、領域Bの周辺の書き込み量(複雑度)を減らすことで、領域Bを目立たせるという修正案が含まれる。
ステップS36又はステップS37の後、重要箇所の指定を伴う修正箇所提示処理が終了する。
その後、ユーザーは、操作部12からの操作により、上記の処理結果を参考にして、入力画像に対して各パラメーター(領域Bの周辺の色、複雑度)を変更し、入力画像を修正する。
図25に、修正後の画像46の例を示す。修正後の画像46では、文字部分(領域B)の周辺から背景部分のデザイン(葉っぱ・クッキー)がなくなり(書き込み量が減り)、これに伴い、文字部分の周辺が明るくなっている。結果として、修正後の画像46は、入力画像40(図19参照)と比較して、文字部分が目立つようになっている。
図25に、修正後の画像46の例を示す。修正後の画像46では、文字部分(領域B)の周辺から背景部分のデザイン(葉っぱ・クッキー)がなくなり(書き込み量が減り)、これに伴い、文字部分の周辺が明るくなっている。結果として、修正後の画像46は、入力画像40(図19参照)と比較して、文字部分が目立つようになっている。
ユーザーが、操作部12からの操作により、修正後の画像に対して顕著性マップ化処理を指示すると、制御部11は、修正後の画像を対象として、顕著性マップ化処理を行い、処理結果を表示部13に表示させる。
図26に、修正後の画像に対する顕著性マップ47を示す。
修正前の画像に対する顕著性マップ43(図22参照)では、領域B(文字部分)自体の顕著性は低く、その周辺の方が目立ってしまい、文字に注意が向かないと予想される結果であった。
一方、修正後は、図26に示すように、領域B(文字部分)が修正前よりも高い顕著性を示した他、領域Bの周辺の顕著性が下がり、領域Bが際立つようになった。
このような再評価結果から、ユーザーは、修正後の画像について、領域B(文字部分)の顕著性が上がったことを確認することができる。
修正前後の変化が分かりやすいように、図22に示す修正前の顕著性マップ43と、図26に示す修正後の顕著性マップ47と、を並べて表示させることとしてもよい。
修正前の画像に対する顕著性マップ43(図22参照)では、領域B(文字部分)自体の顕著性は低く、その周辺の方が目立ってしまい、文字に注意が向かないと予想される結果であった。
一方、修正後は、図26に示すように、領域B(文字部分)が修正前よりも高い顕著性を示した他、領域Bの周辺の顕著性が下がり、領域Bが際立つようになった。
このような再評価結果から、ユーザーは、修正後の画像について、領域B(文字部分)の顕著性が上がったことを確認することができる。
修正前後の変化が分かりやすいように、図22に示す修正前の顕著性マップ43と、図26に示す修正後の顕著性マップ47と、を並べて表示させることとしてもよい。
以上説明したように、第2の実施の形態によれば、第1の実施の形態と同様、デザインの特性を失うことなく、目的に合った画像への修正が可能となる。
また、目的として、目立たせたい部分の位置を示す重要領域を入力することで、入力画像のデザイン特性を変更することなく、入力画像の重要領域を目立たせるための提示情報を出力することができる。
また、顕著性マップ化処理により、入力画像の画素ごとに目立ち度を定量化することで、入力画像においてどこが目立っているのか、現状を把握することができるとともに、どこをどのように修正すれば重要領域が目立つようになるかを判断することができる。
なお、目立たせたい領域として指定された重要領域の顕著性を定量的に示す値(顕著性マップにおける画素値)が所定値以下の場合にのみ、重要領域の顕著性を上げるための提示情報を提示することとしてもよい。つまり、重要領域が元々ある程度目立っている場合には、提示情報の決定・出力を省略できる。
また、第2の実施の形態では、入力画像における目立ち度を定量的に分析する方法として、顕著性マップ化処理を用いる場合について説明したが、画像の観察者が目立つと感じられる部分を定量的に示す画像処理であれば、他の理論やアルゴリズムに基づく処理に置き換えてもよい。
顕著性マップ化処理を他の理論やアルゴリズムに基づく処理に置き換えた場合であっても、重要領域の顕著性を上げるためには、赤緑、黄青、輝度の各方向のコントラストを上げるか、45度ごとの方向成分(縦・横・斜め)と一致する直線成分を重要領域に加えればよいことを提示する。
顕著性マップ化処理を他の理論やアルゴリズムに基づく処理に置き換えた場合であっても、重要領域の顕著性を上げるためには、赤緑、黄青、輝度の各方向のコントラストを上げるか、45度ごとの方向成分(縦・横・斜め)と一致する直線成分を重要領域に加えればよいことを提示する。
[変形例]
次に、第2の実施の形態の変形例について説明する。ここでは、第2の実施の形態と異なる部分について説明する。
情報処理装置10の制御部11は、重要領域が単語又は文を成す文字列であった場合に、重要領域の文字列のサイズの重要領域以外の文字列のサイズに対する比率を算出する。
制御部11は、算出された比率が所定値以下の場合に、重要領域の文字列を拡大するか、重要領域以外の文字列を縮小すればよいことを、提示情報として決定する。
次に、第2の実施の形態の変形例について説明する。ここでは、第2の実施の形態と異なる部分について説明する。
情報処理装置10の制御部11は、重要領域が単語又は文を成す文字列であった場合に、重要領域の文字列のサイズの重要領域以外の文字列のサイズに対する比率を算出する。
制御部11は、算出された比率が所定値以下の場合に、重要領域の文字列を拡大するか、重要領域以外の文字列を縮小すればよいことを、提示情報として決定する。
ここでは、「重要領域の文字列のサイズ」の「重要領域以外の文字列のサイズ」に対する比率をジャンプ率とする。
図27は、変形例における修正箇所提示処理を示すフローチャートである。この処理は、制御部11のCPUと記憶部15に記憶されているプログラムとの協働によるソフトウェア処理によって実現される。
ステップS41~ステップS44の処理については、重要箇所の指定を伴う修正箇所提示処理(図18参照)のステップS31~ステップS34の処理と同様であるため、説明を省略する。
次に、制御部11は、目立たせたい領域B(重要領域)が単語又は文を成す文字列であるか否かを判断する(ステップS45)。
領域Bが文字列である場合には(ステップS45;YES)、制御部11は、領域Bの文字列のサイズの領域B以外の文字列のサイズに対する比率(ジャンプ率)を算出する(ステップS46)。
領域Bが文字列である場合には(ステップS45;YES)、制御部11は、領域Bの文字列のサイズの領域B以外の文字列のサイズに対する比率(ジャンプ率)を算出する(ステップS46)。
次に、制御部11は、算出されたジャンプ率が所定値以下であるか否かを判断する(ステップS47)。
ジャンプ率が所定値以下である場合には(ステップS47;YES)、制御部11は、領域Bに領域A(変更したくない領域)の少なくとも一部が含まれるか否かを判断する(ステップS48)。
ジャンプ率が所定値以下である場合には(ステップS47;YES)、制御部11は、領域Bに領域A(変更したくない領域)の少なくとも一部が含まれるか否かを判断する(ステップS48)。
領域Bに領域Aの少なくとも一部が含まれる場合には(ステップS48;YES)、制御部11は、特徴量a(変更したくない特徴量)がジャンプ率であるか否かを判断する(ステップS49)。
ステップS48において、領域Bに領域Aの少なくとも一部が含まれない場合(ステップS48;NO)、又は、ステップS49において、特徴量aがジャンプ率でない場合には(ステップS49;NO)、制御部11は、領域Bの文字列を拡大するか、領域B以外の文字列を縮小すればよいことを提示情報として決定し、表示部13に表示させる(ステップS50)。
ステップS45において、領域Bが文字列でない場合(ステップS45;NO)、ステップS47において、ジャンプ率が所定値より大きい場合(ステップS47;NO)、又は、ステップS49において、特徴量aがジャンプ率である場合には(ステップS49;YES)、ステップS51に移行する。
ステップS51~ステップS53の処理については、重要箇所の指定を伴う修正箇所提示処理(図18参照)のステップS35~ステップS37の処理と同様であるため、説明を省略する。
ステップS50、ステップS52又はステップS53の後、変形例における修正箇所提示処理が終了する。
ステップS50、ステップS52又はステップS53の後、変形例における修正箇所提示処理が終了する。
変形例によれば、重要領域が文字列であった場合、その文字列のサイズの重要領域以外の文字列のサイズに対する比率が所定値以下のときには、重要領域の文字列を拡大するか、重要領域以外の文字列を縮小すればよいことを、提示情報として決定し、出力することができる。したがって、重要領域が文字列であった場合、文字列のサイズの変更という簡単で理解しやすい修正方法を採用することができる。
[第3の実施の形態]
次に、本発明を適用した第3の実施の形態について説明する。
第3の実施の形態における情報処理装置は、第1の実施の形態に示した情報処理装置10と同様の構成であるため、図1を流用して、その構成については図示及び説明を省略する。以下、第3の実施の形態に特徴的な構成及び処理について説明する。
第3の実施の形態では、ユーザーが指定した目的印象や重要箇所に基づいて、相互に異なる複数の修正方法(修正パターン)で入力画像を自動修正し、複数の修正後の画像を選択肢として提示する。
次に、本発明を適用した第3の実施の形態について説明する。
第3の実施の形態における情報処理装置は、第1の実施の形態に示した情報処理装置10と同様の構成であるため、図1を流用して、その構成については図示及び説明を省略する。以下、第3の実施の形態に特徴的な構成及び処理について説明する。
第3の実施の形態では、ユーザーが指定した目的印象や重要箇所に基づいて、相互に異なる複数の修正方法(修正パターン)で入力画像を自動修正し、複数の修正後の画像を選択肢として提示する。
情報処理装置10の制御部11は、デザイン特性情報、入力画像の特徴量の分析結果、及び、入力画像に対する目的に基づいて、入力画像のデザイン特性情報を維持しながら入力画像のデザインを当該目的に沿ったものに近付けるための提示情報を決定する。
制御部11は、入力画像のデザイン特性情報を維持しながら入力画像のデザインを目的に沿ったものに近付けるような修正を施した画像(修正デザイン案)を複数生成する。例えば、制御部11は、入力画像を狙いの印象に近付けるため、入力画像の重要領域を目立たせるため、又は、それらの両方を実現させるための修正を、複数の修正パターンに従って自動的に実施する。
制御部11は、修正された複数の画像を提示情報として表示部13に提示し、ユーザーに適用する修正パターンを選択させる。制御部11は、ユーザーの操作部12からの操作により、適用したい修正パターンの選択を受け付ける。
図28に、修正パターンの例を示す。各修正パターンでは、各特徴量(色、形状、複雑度、文字面積率、文字ジャンプ率等)について、変更するか否かが定められている。修正パターンごとに、修正時に変更する特徴量の組み合わせが異なるものとなっている。例えば、修正パターン1は、「色」のみを変更し、他の特徴量については変更しない修正デザイン案に対応する。また、修正パターン2は、「形状」のみを変更し、他の特徴量については変更しない修正デザイン案に対応する。各修正パターンは、記憶部15に記憶されている。また、修正パターンとして、各特徴量を変更するか否かという情報に加え、各特徴量を変更する方向(どちら側に変更するか)、各特徴量を変更する度合い等が異なるものを予め用意しておいてもよい。
次に、動作について説明する。
図29は、第3の実施の形態における情報処理装置10により実行される複数の修正候補提示処理を示すフローチャートである。この処理は、制御部11のCPUと記憶部15に記憶されているプログラムとの協働によるソフトウェア処理によって実現される。
図29は、第3の実施の形態における情報処理装置10により実行される複数の修正候補提示処理を示すフローチャートである。この処理は、制御部11のCPUと記憶部15に記憶されているプログラムとの協働によるソフトウェア処理によって実現される。
ステップS61及びステップS62の処理については、修正箇所提示処理(図5参照)のステップS1及びステップS2の処理と同様であるため、説明を省略する。
次に、制御部11は、ユーザーの操作部12からの操作により、入力画像に対する狙いの印象(目的印象)、入力画像上で目立たせたい領域(重要領域)の一方のみ、又は、両方の入力を受け付ける(ステップS63)。
次に、制御部11は、入力画像に対する目的として、目的印象が指定されたか否かを判断する(ステップS64)。
入力画像に対する目的として、目的印象が指定された場合には(ステップS64;YES)、制御部11は、入力画像の特徴量を分析し、印象対応テーブル151に基づいて、特徴量から入力画像の推定印象を推定する(ステップS65)。
入力画像に対する目的として、目的印象が指定された場合には(ステップS64;YES)、制御部11は、入力画像の特徴量を分析し、印象対応テーブル151に基づいて、特徴量から入力画像の推定印象を推定する(ステップS65)。
次に、制御部11は、入力画像に対する目的として、重要領域が指定されたか否かを判断する(ステップS66)。
入力画像に対する目的として、重要領域が指定された場合には(ステップS66;YES)、制御部11は、入力画像の特徴量を分析し、特徴量から顕著性マップを作成する(ステップS67)。
次に、制御部11は、複数の修正パターンに従って、入力画像のデザイン特性情報を維持しながら、入力画像を目的印象に近付けるため、かつ、入力画像の重要領域を目立たせるための複数の修正デザイン案を生成する(ステップS68)。
入力画像に対する目的として、重要領域が指定された場合には(ステップS66;YES)、制御部11は、入力画像の特徴量を分析し、特徴量から顕著性マップを作成する(ステップS67)。
次に、制御部11は、複数の修正パターンに従って、入力画像のデザイン特性情報を維持しながら、入力画像を目的印象に近付けるため、かつ、入力画像の重要領域を目立たせるための複数の修正デザイン案を生成する(ステップS68)。
ステップS66において、入力画像に対する目的として、重要領域が指定されていない場合には(ステップS66;NO)、制御部11は、複数の修正パターンに従って、入力画像のデザイン特性情報を維持しながら、入力画像を目的印象に近付けるための複数の修正デザイン案を生成する(ステップS69)。
ステップS64において、入力画像に対する目的として、目的印象が指定されていない場合には(ステップS64;NO)、制御部11は、入力画像に対する目的として、重要領域が指定されたか否かを判断する(ステップS70)。
入力画像に対する目的として、重要領域が指定された場合には(ステップS70;YES)、制御部11は、入力画像の特徴量を分析し、特徴量から顕著性マップを作成する(ステップS71)。
次に、制御部11は、複数の修正パターンに従って、入力画像のデザイン特性情報を維持しながら、入力画像の重要領域を目立たせるための複数の修正デザイン案を生成する(ステップS72)。
入力画像に対する目的として、重要領域が指定された場合には(ステップS70;YES)、制御部11は、入力画像の特徴量を分析し、特徴量から顕著性マップを作成する(ステップS71)。
次に、制御部11は、複数の修正パターンに従って、入力画像のデザイン特性情報を維持しながら、入力画像の重要領域を目立たせるための複数の修正デザイン案を生成する(ステップS72)。
なお、ステップS68、ステップS69、ステップS72において、複数の修正デザイン案を生成する際に、必ずしも全ての修正パターンを使用しなくてもよい。例えば、ユーザーが比較しやすい数の修正パターンを適宜選択して使用してもよい。
ステップS68、ステップS69又はステップS72の後、制御部11は、生成された複数の修正デザイン案を表示部13に表示させる(ステップS73)。例えば、制御部11は、図28に示した複数に修正パターンのそれぞれに対応する複数の修正デザイン案を並べて、表示部13に表示させる。
次に、制御部11は、ユーザーの操作部12からの操作により、表示部13に表示されている複数の修正デザイン案の中から、ユーザーが望む修正デザイン案の選択を受け付ける(ステップS74)。
ステップS74の後、又は、ステップS70において、入力画像に対する目的として、重要領域が指定されていない場合には(ステップS70;NO)、複数の修正候補提示処理が終了する。
以上説明したように、第3の実施の形態によれば、第1の実施の形態及び第2の実施の形態と同様、デザインの特性を失うことなく、目的に合った画像への修正が可能となる。
また、入力画像のデザイン特性情報を維持しながら入力画像のデザインを目的に沿ったものに近付けるように自動修正した画像を提示する(すなわち、提示情報が、修正されたデザイン案を含む)ことで、ユーザーに修正後のイメージを伝えやすくなる。
また、入力画像のデザイン特性情報を維持しながら入力画像のデザインを目的に沿ったものに近付けるように自動修正した画像を提示する(すなわち、提示情報が、修正されたデザイン案を含む)ことで、ユーザーに修正後のイメージを伝えやすくなる。
また、複数の修正パターンに従って、相互に異なる条件で複数の画像(修正デザイン案)を生成することができる。
また、修正された複数の画像を提示し、ユーザーに選択させることで、ユーザーは、入力画像を手動で修正する必要がなくなり、入力画像に対する好みの修正結果を簡単に得ることができる。
また、修正された複数の画像を提示し、ユーザーに選択させることで、ユーザーは、入力画像を手動で修正する必要がなくなり、入力画像に対する好みの修正結果を簡単に得ることができる。
なお、上記各実施の形態における記述は、本発明に係る情報処理プログラム、情報処理装置及び情報処理方法の例であり、これに限定されるものではない。装置を構成する各部の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
例えば、各実施の形態における特徴的な処理を組み合わせることとしてもよい。
例えば、各実施の形態における特徴的な処理を組み合わせることとしてもよい。
また、第1の実施の形態又は第2の実施の形態において、提示情報として提示された修正案(変更推奨パラメーター・変更推奨項目)のそれぞれを、ユーザーの操作部12からの操作によって選択可能とし、情報処理装置10の制御部11が、ユーザーにより選択された修正案に従って、入力画像を自動的に修正し、表示部13に表示させることとしてもよい。
また、各処理を実行するためのプログラムは、可搬型記録媒体に格納されていてもよい。また、プログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ(搬送波)を適用することとしてもよい。
本発明に係る情報処理プログラム、情報処理装置及び情報処理方法は、デザイン画像を評価し、修正する技術分野において利用可能性がある。
10 情報処理装置
11 制御部
12 操作部
13 表示部
14 通信部
15 記憶部
20 入力画像
21 不変領域指定画面
22 不変特徴量指定画面
27 分析結果表示画面
28 現状評価表示画面
29 変更推奨項目表示画面
40 入力画像
41 不変領域指定画面
42 不変特徴量指定画面
43 顕著性マップ
44 重要領域指定画面
45 変更推奨項目表示画面
151 印象対応テーブル
11 制御部
12 操作部
13 表示部
14 通信部
15 記憶部
20 入力画像
21 不変領域指定画面
22 不変特徴量指定画面
27 分析結果表示画面
28 現状評価表示画面
29 変更推奨項目表示画面
40 入力画像
41 不変領域指定画面
42 不変特徴量指定画面
43 顕著性マップ
44 重要領域指定画面
45 変更推奨項目表示画面
151 印象対応テーブル
Claims (9)
- コンピューターに、
入力画像のデザインに対するデザイン特性情報の入力を受け付けるデザイン特性情報入力ステップと、
前記入力画像に対する目的の入力を受け付ける目的入力ステップと、
前記入力画像の特徴量を分析する分析ステップと、
前記デザイン特性情報、前記分析ステップにおける分析結果及び前記目的に基づいて、前記入力画像の前記デザイン特性情報を維持しながら前記入力画像のデザインを前記目的に沿ったものに近付けるための提示情報を決定する決定ステップと、
前記提示情報を出力する出力ステップと、
を実行させるための情報処理プログラム。 - 前記提示情報は、文章による修正案、又は、修正されたデザイン案を含む、
請求項1に記載の情報処理プログラム。 - 前記目的入力ステップでは、前記入力画像のデザインで表現したい印象を示す目的印象の入力を受け付け、
前記決定ステップでは、前記デザイン特性情報、前記分析結果及び前記目的印象に基づいて、前記提示情報を決定する、
請求項1又は2に記載の情報処理プログラム。 - 前記分析ステップでは、画像が与える印象と当該画像の特徴量とが対応付けられた対応情報に基づいて、前記入力画像の特徴量から前記入力画像が与える印象を推定した推定印象を前記分析結果として出力する、
請求項3に記載の情報処理プログラム。 - 前記決定ステップでは、前記推定印象、又は、前記推定印象と前記目的印象との一致度と、前記推定印象と前記目的印象との差異をもたらす原因となっている特徴量と、を前記提示情報として決定する、
請求項4に記載の情報処理プログラム。 - 前記目的入力ステップでは、前記入力画像のデザインで目立たせたい部分の位置を示す重要領域の入力を受け付け、
前記分析ステップでは、前記入力画像の画素ごとに目立ち度を定量化する顕著性マップ化処理を行い、
前記決定ステップでは、前記デザイン特性情報、前記顕著性マップ化処理の結果及び前記重要領域に基づいて、前記提示情報を決定する、
請求項1又は2に記載の情報処理プログラム。 - 前記分析ステップでは、前記重要領域が単語又は文を成す文字列であった場合に、その文字列のサイズの前記重要領域以外の文字列のサイズに対する比率を算出し、
前記決定ステップでは、前記算出された比率が所定値以下の場合に、前記重要領域の文字列を拡大するか、前記重要領域以外の文字列を縮小すればよいことを、前記提示情報として決定する、
請求項6に記載の情報処理プログラム。 - 入力画像のデザインに対するデザイン特性情報の入力を受け付けるデザイン特性情報入力手段と、
前記入力画像に対する目的の入力を受け付ける目的入力手段と、
前記入力画像の特徴量を分析する分析手段と、
前記デザイン特性情報、前記分析手段による分析結果及び前記目的に基づいて、前記入力画像の前記デザイン特性情報を維持しながら前記入力画像のデザインを前記目的に沿ったものに近付けるための提示情報を決定する決定手段と、
前記提示情報を出力する出力手段と、
を備える情報処理装置。 - 入力画像のデザインに対するデザイン特性情報の入力を受け付けるデザイン特性情報入力ステップと、
前記入力画像に対する目的の入力を受け付ける目的入力ステップと、
前記入力画像の特徴量を分析する分析ステップと、
前記デザイン特性情報、前記分析ステップにおける分析結果及び前記目的に基づいて、前記入力画像の前記デザイン特性情報を維持しながら前記入力画像のデザインを前記目的に沿ったものに近付けるための提示情報を決定する決定ステップと、
前記提示情報を出力する出力ステップと、
を含む情報処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-112261 | 2022-07-13 | ||
JP2022112261 | 2022-07-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024014240A1 true WO2024014240A1 (ja) | 2024-01-18 |
Family
ID=89536487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/022882 WO2024014240A1 (ja) | 2022-07-13 | 2023-06-21 | 情報処理プログラム、情報処理装置及び情報処理方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024014240A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005165437A (ja) * | 2003-11-28 | 2005-06-23 | Kyocera Mita Corp | デザイン支援システム |
JP2007280050A (ja) * | 2006-04-06 | 2007-10-25 | Fuji Xerox Co Ltd | イメージ情報評価方法 |
JP2014167673A (ja) * | 2013-02-28 | 2014-09-11 | Dainippon Printing Co Ltd | 顕著性分析装置 |
JP2017091310A (ja) * | 2015-11-12 | 2017-05-25 | 富士ゼロックス株式会社 | デザイン評価装置およびプログラム |
WO2017119124A1 (ja) * | 2016-01-08 | 2017-07-13 | 株式会社グラッドキューブ | ウェブページ作成支援装置、及び記憶媒体 |
JP2018010509A (ja) * | 2016-07-14 | 2018-01-18 | 株式会社リコー | 画像編集装置、画像編集方法、画像編集システム及びプログラム |
JP2022049110A (ja) * | 2020-09-16 | 2022-03-29 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置、画像処理システム及びプログラム |
-
2023
- 2023-06-21 WO PCT/JP2023/022882 patent/WO2024014240A1/ja unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005165437A (ja) * | 2003-11-28 | 2005-06-23 | Kyocera Mita Corp | デザイン支援システム |
JP2007280050A (ja) * | 2006-04-06 | 2007-10-25 | Fuji Xerox Co Ltd | イメージ情報評価方法 |
JP2014167673A (ja) * | 2013-02-28 | 2014-09-11 | Dainippon Printing Co Ltd | 顕著性分析装置 |
JP2017091310A (ja) * | 2015-11-12 | 2017-05-25 | 富士ゼロックス株式会社 | デザイン評価装置およびプログラム |
WO2017119124A1 (ja) * | 2016-01-08 | 2017-07-13 | 株式会社グラッドキューブ | ウェブページ作成支援装置、及び記憶媒体 |
JP2018010509A (ja) * | 2016-07-14 | 2018-01-18 | 株式会社リコー | 画像編集装置、画像編集方法、画像編集システム及びプログラム |
JP2022049110A (ja) * | 2020-09-16 | 2022-03-29 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置、画像処理システム及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4082591B2 (ja) | データ編集装置及びプログラム | |
JP4321549B2 (ja) | 文書作成システム、文書作成方法、プログラムおよび記憶媒体 | |
US9015581B2 (en) | Self-adjusting document layouts using system optimization modeling | |
CN101536078B (zh) | 改进图像蒙板 | |
JP5437150B2 (ja) | 複数色から成る複数のコントラスト要素を有するチャート内のトピック要素を強調表示する方法及びそのシステム | |
US20160041957A1 (en) | System and method for improving design of user documents | |
JP5999359B2 (ja) | 画像処理装置及び画像処理プログラム | |
US8798781B2 (en) | Method and system for converting an image to a color-reduced image mapped to embroidery thread colors | |
JP4400560B2 (ja) | デジタルコンテンツ作成システム、プログラムおよび記憶媒体 | |
US20050257127A1 (en) | Document production assist apparatus, document production assist program and storage medium, and document production assist method | |
US7650564B2 (en) | Global tone adjustment system for document files containing text, raster, and vector images | |
JP6006560B2 (ja) | ウェブコンテンツの色作成支援方法およびウェブコンテンツの色作成支援装置 | |
US9177528B2 (en) | Screen inspection device, screen inspection method, and program | |
JP7468061B2 (ja) | 画像処理装置、画像処理システムおよびプログラム | |
WO2024014240A1 (ja) | 情報処理プログラム、情報処理装置及び情報処理方法 | |
JP5490360B2 (ja) | ボールド化されたアンチエイリアシング・ビットマップを生成するための方法および記録媒体 | |
CN112927321B (zh) | 基于神经网络的图像智能设计方法、装置、设备及存储介质 | |
JP4998496B2 (ja) | 画像処理装置、情報処理装置および画像読取装置 | |
JP2024075015A (ja) | デザイン修正装置、プログラム及びデザイン修正方法 | |
JP2009218928A (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び画像処理記憶媒体 | |
Wang et al. | An Investigation into Aesthetic Assessment and Implementation Approaches for Graphic Design | |
JP4882523B2 (ja) | ドキュメント印象評価装置及びドキュメント印象評価プログラム | |
JP4410834B2 (ja) | 色認識プログラム | |
JP3598225B2 (ja) | 画像作成方法及びその装置 | |
Yigit et al. | Generating Web Template with Suitable Colors based on Genetic Algorithm. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23839415 Country of ref document: EP Kind code of ref document: A1 |