WO2013145446A1 - 色彩情報記憶装置、色彩情報記憶方法およびコンピュータ・プログラム - Google Patents

色彩情報記憶装置、色彩情報記憶方法およびコンピュータ・プログラム Download PDF

Info

Publication number
WO2013145446A1
WO2013145446A1 PCT/JP2012/080985 JP2012080985W WO2013145446A1 WO 2013145446 A1 WO2013145446 A1 WO 2013145446A1 JP 2012080985 W JP2012080985 W JP 2012080985W WO 2013145446 A1 WO2013145446 A1 WO 2013145446A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
character string
color information
information
image
Prior art date
Application number
PCT/JP2012/080985
Other languages
English (en)
French (fr)
Inventor
有美 矢野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2014507324A priority Critical patent/JP6048492B2/ja
Publication of WO2013145446A1 publication Critical patent/WO2013145446A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Definitions

  • the present invention relates to the technical field of information processing for extracting colors.
  • Color scheme evaluation and assistive technology are necessary for color scheme design with good usability.
  • the color arrangement evaluation device and the automatic color arrangement device disclosed in the patent document pay attention to the combination of colors and attribute information, evaluate whether the color arrangement is appropriate, and automatically perform the color arrangement.
  • the color arrangement evaluation apparatus disclosed in Patent Document 1 extracts color and image information from Web content and analyzes the layer / color arrangement information. Next, the color arrangement evaluation apparatus calculates an index value (brightness, hue, saturation) relating to readability from the color and image information. Finally, the color arrangement evaluation apparatus uses the calculated index value and evaluates readability in a multistage and comprehensive manner based on the analyzed information. In this way, the color arrangement evaluation apparatus checks the readability of the character color and the background color, and further presents a recommended color.
  • Patent Document 2 assigns a base color and an emphasis color according to the area and occupancy rate of objects constituting a document.
  • an accent color that is an emphasized color is arranged for an object having the smallest area
  • a base color that is a base color is arranged for an object having the largest area.
  • the device disclosed in Patent Document 3 has a color arrangement database that associates a “color combination” with a color arrangement mood related to the atmosphere given by the “color combination”.
  • the apparatus analyzes the input color arrangement information based on the information of the color arrangement database, and specifies the color arrangement mood according to the “color combination”.
  • a main object of the present invention is to provide a color information storage device or the like that can extract the meaning of a color.
  • the color information storage device has the following configuration.
  • the color information storage device includes a partial image specifying unit that specifies a partial area of an input image, color information that specifies a color included in the partial area, and a character string included in the partial area.
  • a color information storage method includes a step of specifying a partial area of an input image, color information for specifying a color included in the partial area, and the partial area. A character string to be stored, and a step of storing the color information and the character string in association with each other.
  • Another object of the present invention is to use a color information storage device having the above-described configuration and a computer program for realizing the corresponding method using a computer, and a computer-readable storage medium storing the computer program. Even achieved.
  • FIG. 1 is a block diagram showing a configuration of a color extraction device (color information storage device) according to the first embodiment.
  • a color extracting apparatus 101 includes a dividing unit 102 that is a partial image specifying unit that specifies a partial region of an input image, color information that specifies a color included in the partial region, and An acquisition unit 103 that is a partial image specifying unit that acquires a character string included in the partial region, and a creation unit 104 that is a storage unit that stores color information and a character string in association with each other.
  • FIG. 6 is a diagram illustrating an example of the color image table T1 according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of a color image table in the second embodiment as well as the first embodiment.
  • the color image table T1 includes a color name that is the name of the color, a notation using a hexadecimal number corresponding to the color name (hereinafter abbreviated as “hexadecimal notation”), a Hue / Lightness / Saturation value (hereinafter referred to as “Hex”). (Abbreviated as “HLS value”) and a character string or the like representing a color image.
  • the color image table T1 may be associated with values other than those described above.
  • the color image table T1 does not necessarily have to be associated with the information exemplified here.
  • FIG. 2 is a diagram illustrating an example of screen information in the first embodiment.
  • FIG. 2 is a diagram illustrating an example of screen information in the second embodiment as well as the first embodiment.
  • the screen information represents a title area 105 indicating the title of the screen, a navigation area 106 displaying the screen navigation, a heading area 107 indicating a headline, an input area 108 for inputting information and the like, and a label of the input area.
  • Information such as the label area 109 is included.
  • the screen information may include an area other than the above. Further, the screen information does not necessarily include the information exemplified here.
  • the color extracting apparatus 101 receives screen information I1 to be extracted used for constructing the color image table T1.
  • the screen information I1 is expressed using a language such as HyperText Markup Language (hereinafter abbreviated as “HTML”) and image data such as a bitmap format.
  • HTML HyperText Markup Language
  • image data such as a bitmap format.
  • HTML HyperText Markup Language
  • bitmap bitmap format
  • the dividing unit 102 divides a display image (hereinafter abbreviated as “screen”) into at least one or more small regions.
  • screen a display image
  • one small area corresponds to a description portion surrounded by a certain start tag and a corresponding end tag.
  • image data one small region corresponds to a region determined according to the result of image processing.
  • the description part surrounded by a certain start tag and the corresponding end tag is defined as “tag scope”.
  • the division unit 102 divides the display image into the small regions as described above based on the tag scope.
  • the dividing unit 102 divides the image data into small regions having similar characteristics using an existing image processing technique or the like. For example, when a screen as illustrated in FIG.
  • the dividing unit 102 divides the screen into a title area 105, a navigation area 106, a heading area 107, a label area 109, an input area 108,
  • the auxiliary information area 110, the auxiliary information area 111, the button area 112, and the background area 113 are divided into nine areas.
  • Each region shown in FIG. 2 is colored.
  • the title area 105 is colored with a dark blue color.
  • the navigation area 106 is colored gray.
  • the heading area 107 is colored in blue.
  • the input area 108 is colored white.
  • the auxiliary information area 110 is colored in red.
  • the auxiliary information area 111 is colored purple.
  • component means a small area divided according to tag scope analysis or image processing.
  • screen configuration indicates a state in which components on the screen are combined. Further, the examination of the screen configuration can be realized by extracting a tag scope or image processing technology as described above. Furthermore, “divided” includes the case where there is one component.
  • the acquisition unit 103 acquires a character string S1 representing the meaning conveyed by the information associated with the small area created by the dividing unit 102.
  • the character string S1 representing the meaning conveyed by the information associated with the small area represents the meaning of the information conveyed to the user who viewed the screen for each area.
  • the information associated with the area includes not only information existing in the area but also information such as an auxiliary information area and a label area related thereto.
  • the auxiliary information area 110 on the screen to be extracted is an area for displaying a sentence that conveys “prohibited”.
  • the acquisition unit 103 acquires the character string “prohibited” associated with the auxiliary information area 110.
  • FIG. 3 is a diagram illustrating an example of the area information table in the first embodiment.
  • FIG. 3 is a diagram showing an example of the area information table in the second embodiment as well as the first embodiment.
  • the area information table T2 is information about each small area in the image to be extracted, its position coordinates, its height, its width, and character information indicating the color of the small area (hereinafter abbreviated as “color information”). ), A character string representing the meaning conveyed by the display information existing there, and its attributes. Here, information represented by numerical values can also be used as the color information.
  • the dividing unit 102 divides the extraction target screen into at least one area. For example, when the screen information I1 on the screen to be extracted is described using HTML, the dividing unit 102 divides into small areas as described above according to the tag scope. Alternatively, when the screen information I1 on the screen to be extracted is described using image data, the dividing unit 102 divides the information into small areas as described above using an image processing technique or the like.
  • the acquisition unit 103 acquires the color information I2 of each small area divided by the dividing unit 102.
  • the acquisition unit 103 refers to a cascading style sheet (hereinafter sometimes referred to as CSS) and the like, and color information I2 in each small region, position coordinates, height, width, and its small size Get the attributes attached to the area. If the acquisition unit 103 determines that the color in the small area is not uniform, the acquisition unit 103 may perform a process of setting the median value or the like as a color representing the small area.
  • the acquisition unit 103 acquires a character string associated therewith for each small area divided by the dividing unit 102.
  • the method for obtaining the character string may be an Optical Character Reader (hereinafter abbreviated as “OCR”) or may be read as a character string.
  • OCR Optical Character Reader
  • the creation unit 104 associates the character string acquired by the acquisition unit 103, color information I2, position coordinates, height, width, region attributes, and the like for each small region.
  • the processing performed by the acquisition unit 103 and the creation unit 104 may be performed for all the small areas created by the division unit 102. Further, the processing performed by the acquisition unit 103 and the creation unit 104 may be performed on a small area where the acquisition unit 103 can acquire a character string.
  • the creating unit 104 performs the association as described above, and creates a row of the region information table T2 for the small region divided by the dividing unit 102.
  • FIG. 4 is a diagram illustrating an example of a basic color list in the first embodiment.
  • FIG. 4 is a diagram illustrating an example of the basic color list in the second embodiment as well as the first embodiment.
  • the basic color list associates a color name with information such as color information about the color.
  • the basic color list may associate information other than the above.
  • the basic color list does not necessarily have to associate all of the above information.
  • FIG. 5 is a diagram showing an example of the color image candidate table T3 created in the first embodiment.
  • FIG. 5 is a diagram illustrating an example of the color image candidate table T3 created in the second embodiment as well as the first embodiment.
  • the color image candidate table T3 associates a character string representing at least one color image candidate with the number of appearances of the character string representing each color image candidate with respect to one color information.
  • color image candidate table T3 in FIG. 5 is “red”, by referring to the line indicating that it is associated, “prohibited” appears 60 times and “error” appears 100 times. Means that. Each row in the table represents an association with each other. The same applies to other descriptions regardless of the type of table.
  • the creation unit 104 extracts a color name and color information associated therewith from the basic color list L1 as shown in FIG. Next, the creation unit 104 selects a line in which the color information in the area information table T2 as shown in FIG. 3 matches the color information described above, and acquires a character string representing the meaning conveyed by the display information of that line.
  • the creation unit 104 converts the character string S1 representing the meaning conveyed by the information associated with the small area to the character string representing the color image (in this case, the character string representing the color image is associated with the small area). Since it is the same as the value of the character string S1 representing the meaning conveyed by the information, it is hereinafter collectively referred to as “character string”), and is associated with the color information.
  • the creation unit 104 updates the color image candidate table T3 as shown in FIG. 5 by performing the following processing according to the association.
  • the creating unit 104 increases the number of appearances related to the set by one. Conversely, when a set of color information and a character string associated therewith does not exist in the color image candidate table T3, the creation unit 104 causes the color information, a character string associated therewith, and the number of appearances (value is 1). Associate with. Thereafter, the creation unit 104 adds the associated information to the color image candidate table T3.
  • the creation unit 104 creates the color image candidate table T3 by executing the above-described processing for all the regions held in the region information table T2.
  • the creation unit 104 extracts, for each color included in the color image candidate table T3, a character string associated with the color and the number of appearances of the combination. The creation unit 104 performs it for all colors appearing in the color image candidate table T3.
  • the creation unit 104 extracts from the sets all the sets whose number of appearances in the set is equal to or greater than a predetermined threshold Th1 (hereinafter simply referred to as “predetermined threshold”).
  • predetermined threshold a predetermined threshold
  • the creation unit 104 sets the color and character string sets included in the extracted set to one column while separating the character strings for each color. Thereafter, the creation unit 104 creates a color meaning list by associating the character string and color created as described above.
  • the creation unit 104 extracts color information related to colors included in the created color meaning list from the basic color list L1. Thereafter, the creation unit 104 extracts a character string related to the color information from the color meaning list. Next, the creation unit 104 associates the color information and the like extracted as described above with the character string, and registers the association in the color image table T1.
  • the creation unit 104 displays information indicating “not applicable” such as a blank as a character string representing the color image. Therefore, it is registered in the color image table T1.
  • the creation unit 104 creates a color image table T1.
  • the color image table T1 can be described as a database that associates color information with a character string and can search the character information associated with the color information with the color information.
  • FIG. 7 is a flowchart of processing in the color extracting apparatus according to the first embodiment.
  • the dividing unit 102 divides the screen into at least one or more small areas according to the results of the tag scope analysis and image processing as described above.
  • the acquisition unit 103 uses the information analyzed as described above to acquire the position coordinates, height, width, character string representing the meaning conveyed by the display information, and color information.
  • the creation unit 104 associates information regarding the area acquired as described above. By associating each acquired area, the creating unit 104 creates the area information table T2 (step S101).
  • the creation unit 104 creates the color image candidate table T3 by reading out the data associated with the color information from both the area information table T2 and the basic color list L1 and associating the retrieved data with each other (see FIG. Step S102).
  • the creation unit 104 checks whether or not the number of appearances of a character string representing a color image of each color in the color image candidate table T3 is equal to or greater than a predetermined threshold (step S103).
  • the creation unit 104 retrieves data related to the character string S3 whose number of appearances is equal to or greater than a predetermined threshold, and adds it to the color image table T1 (step S104). If the creation unit 104 determines that the number of occurrences of all character strings is less than a predetermined threshold for a certain color, the creation unit 104 generates information indicating “not applicable” and adds it to the color image table T1. (Step S105). The creation unit 104 performs the same process for all colors (step S106).
  • the color extracting apparatus associates a color with a character string representing the meaning conveyed by the display information of the area to which the color is assigned from the image information to be extracted in accordance with the above-described processing.
  • the relationship is registered in the color image table.
  • the color is associated with the character string representing the meaning conveyed by the display information of the area to which the color is assigned.
  • the color extracting apparatus According to the color extracting apparatus according to the first embodiment, it is possible to automatically extract the color database.
  • FIG. 8 is a block diagram illustrating a configuration of the color extracting device 114 according to the second embodiment.
  • the color extracting device 114 according to the second embodiment includes a dividing unit 102 that is a partial image specifying unit that specifies a partial region of an input image, color information that specifies a color included in the partial region, and , An acquisition unit 103 that is an information acquisition unit that acquires a character string included in a partial area, a creation unit 115 that is a storage unit that stores color information and a character string in association with each other, and calculates a similarity between character strings And a similarity calculation unit 116.
  • the similarity calculation unit 116 calculates a semantic similarity between a plurality of character strings.
  • a method for calculating the semantic similarity there is a technique such as latent semantic analysis (hereinafter referred to as “LSA”).
  • LSA represents, for example, a character string representing the meaning of a region and a character string representing a color image of the region as a vector in the semantic space.
  • LSA calculates the cosine of the angle formed by these vectors, and sets the result as the semantic similarity.
  • the semantic similarity is higher as the similarity between character strings is higher.
  • the semantic similarity in the color extracting device according to the second embodiment is not limited to the method described above.
  • the creation unit 115 creates a color image candidate table T3 and a color image table T1.
  • the method for creating the color image candidate table T3 is the same as in the first embodiment.
  • the creation unit 115 extracts, for each color included in the color image candidate table T3, a character string associated with the color and the number of appearances of the combination. Then, the creation unit 115 extracts a pair whose number of appearances in the pair is equal to or greater than the threshold Th1 from these pairs (a character string including a character string included in the extracted group is referred to as a character string S3). Sometimes). The creation unit 115 sets the color and character string S3 included in the extracted set to one column while separating the character string for each color. Thereafter, the creation unit 115 creates a color meaning list by associating the character string S3 created as described above with a color.
  • the creation unit 115 extracts color information related to colors included in the created color meaning list from the basic color list L1. Next, the creation unit 115 extracts a character string S3 related to the color information from the color meaning list. Then, the creating unit 115 associates the color information and the like extracted as described above with the character string S3, and registers the association in the color image table T1.
  • the creation unit 115 refers to the color image candidate table T3, and extracts a pair in which the number of appearances of the combination of the color and the character string is less than the threshold Th1 (consisting of the character string included in the extracted pair here).
  • the character string may be written as a character string S4).
  • the creation unit 115 uses the similarity calculation unit 116 to calculate the semantic similarity between the character string S3 and the character string S4. If the calculated semantic similarity is equal to or greater than a predetermined semantic similarity threshold Th2 (hereinafter simply referred to as “predetermined semantic similarity threshold”), the creation unit 115 sets the character string S4 to the color image table T1. Add to The creation unit 115 does not add if the calculated semantic similarity is less than a predetermined semantic similarity threshold.
  • the creation unit 115 adds the character string S4 as follows. For the combination of the character string S4 and the color whose calculated semantic similarity is equal to or greater than a predetermined semantic similarity threshold, the character string is divided into one column for each color. Thereafter, the creation unit 115 creates a color meaning list by associating the character string S4 that is made into one column with the color. Next, the creation unit 115 extracts color information related to colors included in the created color meaning list from the basic color list L1. Thereafter, the creation unit 115 extracts a character string S4 related to the color information from the color meaning list. Next, the creation unit 115 adds the character string S4 to the character string associated with the extracted color information in the color image table T1.
  • the creation unit 115 determines that the number of appearances of each color in the color image candidate table T3 is less than a predetermined threshold value, a character string representing the color image is displayed as “corresponding”. Information indicating “none” is entered, and after the same operation as described above, it is registered in the color image table T1.
  • FIG. 9 shows a flowchart of processing in the color extracting apparatus according to the second embodiment.
  • the creation unit 115 obtains a character string S3 whose appearance number is equal to or greater than a predetermined threshold Th1 with respect to a character string representing a color image of each color in the color image candidate table T3 (step S203). Then, the creation unit 115 extracts data related to the character string S3 and adds it to the color image table T1. This operation may be the same as step S104 in the creation unit 104 (FIG. 1).
  • the similarity calculation unit 116 calculates the similarity between the character string S3 and the character string S4 whose number of appearance is less than Th1 with respect to the character string representing the color image of each color (step S204). Then, the creating unit 115 determines whether or not the semantic similarity between the character string S3 and the character string S4 is equal to or greater than a predetermined semantic similarity threshold Th2 (step S205). If the semantic similarity is greater than or equal to Th2, it is added to the color image table T1 as described above (step S206). The creation unit 115 may execute this process for all the character strings S4 whose appearance numbers are less than Th1 with respect to the character strings representing the color images of the respective colors (step S207).
  • the creation unit 115 determines whether there is a character string corresponding to the color image (step S208). For example, the creating unit 115 can perform the determination in step S208 by checking whether there is one or more character strings S4 determined to be equal to or greater than Th2 in step S205. If it is determined in step S208 that there is no character string corresponding to the color image, the creation unit 115 adds information indicating “not applicable” to the color image table T1 (step S209).
  • the color extraction device according to the second embodiment is obtained by adding a similarity calculation unit 116 to the color extraction device according to the first embodiment, and the effect of the color extraction device according to the first embodiment is as follows. , As it is. That is, according to the color extracting apparatus according to the second embodiment, it is possible to automatically extract the color database.
  • the color extraction apparatus calculates the semantic similarity between a character string representing a color image candidate and a character string representing a color image. Therefore, in addition to the effect of the first embodiment, the effect of the color extracting device according to the second embodiment can acquire a color image character string with higher accuracy.
  • FIG. 10 is a diagram schematically illustrating a hardware configuration of a calculation processing device capable of realizing the color extraction device according to the embodiment.
  • FIG. 10 is a diagram schematically illustrating a hardware configuration of a calculation processing apparatus capable of realizing the color extraction apparatus according to the first or second embodiment.
  • the calculation processing device 122 includes a CPU (Central Processing Unit) 117, a memory 118, a disk 119, an output device 120, and an input device 121.
  • CPU Central Processing Unit
  • the CPU 117 copies a software program (computer program) stored in the disk 119 (hereinafter simply referred to as a program) to the memory 118 at the time of execution, and executes arithmetic processing.
  • the CPU 117 reads data necessary for program execution from the memory 118.
  • the CPU 117 displays the output result on the output device 120.
  • the CPU 117 reads the program from the input device 121.
  • the CPU 117 interprets and executes the color extraction program stored in the memory 118.
  • the CPU 117 sequentially performs processes according to the flowcharts (FIGS. 7 and 9) and expressions referred to in the above-described embodiments.
  • a partial image specifying unit for specifying a partial region of the input image, color information for specifying a color included in the partial region, a character string included in the partial region, the color information, and the color information A color information storage device including a storage unit that stores a character string in association with each other.
  • the storage unit determines whether or not to associate the color information and the character string according to the number of appearances or the appearance frequency of a combination in which both the color information and the character string appear, and determines to associate The color information storage device according to attachment 1, wherein the color information and the character string are associated with each other.
  • a similarity calculation unit that calculates the similarity of the character string, and the storage unit has a similarity between the character string determined not to be associated with the character string determined to be associated is equal to or greater than a threshold value
  • the color information storage device according to Supplementary Note 1 or Supplementary Note 2, wherein in some cases, the character string determined not to be associated is associated with the color information.
  • the image is created based on a description of HTML (HyperText Markup Language), and the partial image specifying unit specifies the partial region according to a tag scope analysis result.
  • HTML HyperText Markup Language
  • the color information storage device according to any one of the above.
  • the method further includes the step of calculating the similarity of the character string, and in the storing step, the similarity between the character string determined not to be associated and the character string determined to be associated is equal to or greater than a threshold value.
  • Appendix 9 A computer for specifying a partial area of an input image; color information for specifying a color included in the partial area; and an acquisition process for acquiring a character string included in the partial area; the color information; and A computer program that executes storage processing for storing a character string in association with each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Character Input (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】色が持つ意味を抽出することが可能な色彩情報記憶装置等を提供する。 【解決手段】色彩情報記憶装置は、入力画像の部分領域を特定する部分画像特定部と、部分領域に含まれる色を特定する色情報と、部分領域に含まれる文字列とを取得する情報取得部と、色情報と文字列とを関連付けて記憶する記憶部とを備える。

Description

色彩情報記憶装置、色彩情報記憶方法およびコンピュータ・プログラム
　本発明は、色彩を抽出する情報処理の技術分野に関する。
　配色評価や支援技術等は、ユーザビリティが良好となる配色設計のために、必要である。特許文献が開示する配色評価装置や自動配色装置は、色の組み合わせや属性情報に着目して、配色が適切か否かを評価し、自動的に配色する。
　特許文献１が開示する配色評価装置は、色や画像の情報をＷｅｂコンテンツから抽出し、階層・配色情報を解析する。次に、その配色評価装置は、上記の色や画像の情報から可読性に関わる指標値（明度・色相・彩度）を計算する。最後に、その配色評価装置は、計算した指標値を使い、解析した情報を基にして、可読性を多段的且つ総合的に評価する。そのようにして、その配色評価装置は、文字色と背景色の可読性を検査し、更に推薦色を提示する。
　特許文献２が開示する技術は、文書を構成するオブジェクトの面積や占有率に応じて、基調色や強調色を割り当てる。その技術は、最も面積が小さいオブジェクトに対して、強調色であるアクセントカラーを、最も面積が大きなオブジェクトに対して、基調色であるベースカラーを、それぞれ配色する。
　特許文献３が開示する装置は、「色の組み合わせ」と、その「色の組み合わせ」が与える雰囲気に関する配色ムードとを関連付けた配色データベースを持つ。その装置は、配色データベースの情報に基づいて、入力された配色情報を解析し、「色の組み合わせ」に応じて、配色ムードを特定する。
特開２００２－１９７４０３号公報 特開２００６－０５８９５０号公報 特開２０１１－２２１６０５号公報
　配色評価や配色設計支援のために、評価や設計支援をする判断基準となる色彩専門知識を保持する色彩データベースは、必要である。その色彩データベースを人手で構築するためには、多大な労力と時間が必要になる。
　そこで、本発明の主たる目的は、色が持つ意味を抽出することが可能な色彩情報記憶装置等を提供することである。
　本発明に係る色彩情報記憶装置は、以下の構成を備えることを特徴とする。
　即ち、本発明に係る色彩情報記憶装置は、入力画像の部分領域を特定する部分画像特定部と、前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得する情報取得部と、前記色情報と前記文字列とを関連付けて記憶する記憶部とを備える。
　また、本発明の他の見地として、本発明に係る色彩情報記憶方法は、入力画像の部分領域を特定するステップと、前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得するステップと、前記色情報と前記文字列とを関連付けて記憶するステップとを含む。
　また、同目的は、上記構成を有する色彩情報記憶装置、並びに対応する方法を、コンピュータを使って実現するコンピュータ・プログラム、及びそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記憶媒体を使っても達成される。
　本発明によれば、色が持つ意味を抽出することが可能な色彩情報記憶装置等を提供することができる。
第１の実施形態に係る色彩抽出装置の構成を示すブロック図である。 第１の実施形態における画面情報の一例を示す図である。 第１の実施形態における領域情報テーブルの一例を示す図である。 第１の実施形態における基本色リストの一例を示す図である。 第１の実施形態における作成する色彩イメージ候補テーブルの一例を示す図である。 第１の実施形態における色彩イメージテーブルの一例を示す図である。 第１の実施形態に係る色彩抽出装置における処理のフローチャートである。 第２の実施形態に係る色彩抽出装置の構成を示すブロック図である。 第２の実施形態に係る色彩抽出装置における処理のフローチャートである。 実施形態に係る色彩抽出装置を実現可能な計算処理装置のハードウェア構成を、概略的に示すブロック図である。
　次に、実施形態について図面を参照して説明する。
　＜第１の実施形態＞
　図１は、第１の実施形態に係る色彩抽出装置（色彩情報記憶装置）の構成を示すブロック図である。
　図１を参照すると、第１の実施形態に係る色彩抽出装置１０１は、入力画像の部分領域を特定する部分画像特定部である分割部１０２と、部分領域に含まれる色を特定する色情報と、部分領域に含まれる文字列とを取得する部分画像特定部である取得部１０３と、色情報と文字列とを関連付けて記憶する記憶部である作成部１０４とを備える。
　図６は、第１の実施形態における色彩イメージテーブルＴ１の一例を示す図である。図６は、第１の実施形態だけでなく、第２の実施形態における色彩イメージテーブルの一例を示す図でもある。色彩イメージテーブルＴ１は、色彩の名称である色名と、その色名に対応する１６進数を使った表記（以降、「１６進表記」と略記する）と、Ｈｕｅ・Ｌｉｇｈｔｎｅｓｓ・Ｓａｔｕｒａｔｉｏｎ値（以降、「ＨＬＳ値」と略記する）と、色彩イメージを表現する文字列等とを関連付けている。色彩イメージテーブルＴ１は、上記以外の値と関連付けしていてもよい。また、色彩イメージテーブルＴ１は、ここに例示した情報と、必ずしも関連付けをしていなくてもよい。
　図２は、第１の実施形態における画面情報の一例を示す図である。図２は、第１の実施形態だけでなく、第２の実施形態における画面情報の一例を示す図でもある。画面情報は、画面の題名を示すタイトル領域１０５と、画面のナビゲーションを表示するナビゲーション領域１０６と、見出しを表す見出し領域１０７と、情報などを入力する入力領域１０８と、その入力領域のラベルを表すラベル領域１０９等の情報を、含んでいる。画面情報は、上記以外の領域を含んでいてもよい。また、画面情報は、ここに例示した情報を必ずしも含んでいなくてもよい。
　次に、図１を使って、第１の実施形態に係る色彩抽出装置１０１の動作について説明する。色彩抽出装置１０１は、色彩イメージテーブルＴ１の構築に用いる抽出対象の画面情報Ｉ１を受け取る。画面情報Ｉ１は、ＨｙｐｅｒＴｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ等の（以降、「ＨＴＭＬ」と略記する）言語と、ビットマップ形式等の画像データ等とを使って、表現されている。作成する色彩イメージテーブルＴ１において領域数を表す行数は、画面情報Ｉ１に存在する領域数が多いほど、増える。以下では、ＨＴＭＬやビットマップなどの用語を使って説明を行うが、その他の言語や、フォーマットによって表現されていても、同様の動作をする。
　分割部１０２は、表示画像（以降、「画面」と略記する）を少なくとも１つ以上の小領域に分割する。例えば、抽出対象の画面における画面情報がＨＴＭＬを使って記述されている場合には、一つの小領域は、ある開始タグとそれに対応する終了タグとに囲まれた記述部分に対応する。また、抽出対象の画面が、画像データにより記述されている場合には、一つの小領域は、画像処理の結果に応じて決まる領域に対応する。
　本説明においては、ある開始タグとそれに対応する終了タグとに囲まれた記述部分を、「タグスコープ」と定義する。分割部１０２は、ＨＴＭＬなどの言語で記述されている場合には、タグスコープに基づいて、上記のように表示画像を各小領域に分ける。画面が画像データで記述されている場合には、分割部１０２は、既存の画像処理技術等を使って、その画像データを、類似した特徴を持つ小領域に分割する。例えば、図２に示すような画面が抽出対象である場合に、分割部１０２は、画面を、タイトル領域１０５と、ナビゲーション領域１０６と、見出し領域１０７と、ラベル領域１０９と、入力領域１０８と、補助情報領域１１０と、補助情報領域１１１と、ボタン領域１１２と、背景領域１１３との９つの領域に分割する。また、図２に示す各領域は、色付けが行われている。例えば、タイトル領域１０５は、濃紺色で色付けられている。ナビゲーション領域１０６は灰色で色付けられている。見出し領域１０７は青色で色付けられている。入力領域１０８は白色で色付けられている。補助情報領域１１０は、赤色で色付けられている。補助情報領域１１１は紫色で色付けられている。
　以下の説明において、「構成部品」は、タグスコープの解析や画像処理等に応じて分割した小領域を意味している。また、「画面構成」は、画面における構成部品を組み合わせた状態を指す。また、画面構成を調べることは、上述のように、タグスコープを抽出すること、あるいは画像処理技術等により、具体化することができる。さらに、「分割」は、構成部品が１つである場合も含んでいる。
　次に、取得部１０３は、分割部１０２が作成した小領域に関連付けされた情報が伝える意味を表す文字列Ｓ１を取得する。その小領域に関連付けされた情報が伝える意味を表す文字列Ｓ１は、領域ごとに、その画面を見た利用者に伝える情報の意味を表現している。領域に関連付けされた情報は、その領域に存在する情報だけではなく、補助情報領域とそれに関連したラベル領域などの情報を含んでいる。
　例えば、図２においては、抽出対象の画面における補助情報領域１１０は、「禁止」を伝える文章を表示する領域である。その場合、取得部１０３は、補助情報領域１１０に関連付けされた「禁止」という文字列を取得する。
　図３は、第１の実施形態における領域情報テーブルの一例を示す図である。図３は、第１の実施形態だけでなく、第２の実施形態における領域情報テーブルの一例を示す図でもある。領域情報テーブルＴ２は、抽出対象の画像における各小領域に関する情報を、その位置座標と、その高さと、その幅と、その小領域の色を表す文字情報（以降、「色情報」と略記する）と、そこに存在する表示情報が伝える意味を表す文字列と、その属性等とを関連付けしている。ここで、色情報として、数値で表現される情報を用いることもできる。
　図２及び図３を参照しながら、分割部１０２、取得部１０３の動作を説明する。以下の説明において、画面情報Ｉ１は、ＨＴＭＬを使って記述されていると仮定するが、ＨＴＭＬ以外の言語であってもよい。
　分割部１０２は、抽出対象画面を、少なくとも１つ以上の領域に分割する。例えば、抽出対象の画面における画面情報Ｉ１がＨＴＭＬを使って記述されている場合には、分割部１０２は、タグスコープに応じて、上記のように、小領域に分ける。あるいは、分割部１０２は、抽出対象の画面における画面情報Ｉ１が画像データを使って記述されている場合には、画像処理技術等を使って、上記のように、小領域に分ける。
　次に、取得部１０３は、分割部１０２が分割した各小領域の色情報Ｉ２を取得する。取得部１０３は、カスケーディングスタイルシート（Ｃａｓｃａｄｉｎｇ　Ｓｔｙｌｅ　Ｓｈｅｅｔｓ、以下、ＣＳＳと記すことがある）などを参照して、各小領域における色情報Ｉ２と、位置座標と、高さと、幅と、その小領域に付随した属性などを取得する。取得部１０３は、小領域内の色が均一でないと判定した場合には、中央値などをその小領域を表す色とする処理を行ってもよい。
　次に、取得部１０３は、分割部１０２が分割した小領域ごとに、そこに関連付けされた文字列を取得する。文字列の取得方法は、Ｏｐｔｉｃａｌ　Ｃｈａｒａｃｔｅｒ　Ｒｅａｄｅｒ（以降、「ＯＣＲ」と略記する）であってもよいし、文字列として読み取ってもよい。そして、作成部１０４は、小領域ごとに、取得部１０３が取得した文字列と、色情報Ｉ２と、位置座標と、高さと、幅と、領域の属性などを関連付けする。
　取得部１０３及び作成部１０４が実施する処理は、分割部１０２が作成したすべての小領域について行ってもよい。また、取得部１０３及び作成部１０４が実施する処理は、取得部１０３が文字列を取得できる小領域について行ってもよい。作成部１０４は、上記のように関連付けを行い、分割部１０２が分割した小領域に対する、領域情報テーブルＴ２の行を作成する。
　図４は、第１の実施形態における基本色リストの一例を示す図である。図４は、第１の実施形態だけでなく、第２の実施形態における基本色リストの一例を示す図である。基本色リストは、色名と、その色についての色情報等の情報とを、関連付けしている。基本色リストは、上記以外の情報を関連付けしていてもよい。また、基本色リストは、上記の情報を、必ずしもすべて関連付けしていなくてもよい。
　図５は、第１の実施形態において作成される色彩イメージ候補テーブルＴ３の一例を示す図である。図５は、第１の実施形態だけでなく、第２の実施形態における作成する色彩イメージ候補テーブルＴ３の一例を示す図である。色彩イメージ候補テーブルＴ３は、一つの色情報に対して、少なくとも１種類以上の色彩イメージ候補を表す文字列と、各色彩イメージ候補を表す文字列が出現する出現数とを、関連付けている。
　例えば、図５における色彩イメージ候補テーブルＴ３は、「赤」であれば、関連付いていることを表す行を参照することにより、「禁止」が６０回、「エラー」が１００回出現していることを意味する。テーブルにおける各行は、お互いに関連付いていることを表している。他の説明においても、テーブルの種類によらず、同様である。
　図４及び図５を参照しながら、作成部１０４の動作について説明をする。
　作成部１０４は、図４のような基本色リストＬ１から、色名とそれに関連付けされた色情報を抜き出す。次に、作成部１０４は、図３のような領域情報テーブルＴ２にある色情報が、前述の色情報に一致する行を選び、その行の表示情報が伝える意味を表す文字列を取得する。
　次に、作成部１０４は、その小領域に関連付けされた情報が伝える意味を表す文字列Ｓ１を、色彩イメージを表す文字列（この場合、色彩イメージを示す文字列は、小領域に関連付けされた情報が伝える意味を表す文字列Ｓ１の値と同じであるため、以降、統一して「文字列」として表記する。）とし、それと色情報とを関連付けする。次に、作成部１０４は、その関連付けに応じて、図５のような色彩イメージ候補テーブルＴ３を、以下の処理を行って、更新する。
　作成部１０４は、色彩イメージ候補テーブルＴ３に、既に、色情報とそれに関連する文字列との組が、関連付けされている場合に、その組に関連した出現数を１増やす。逆に、色情報とそれに関連する文字列との組が色彩イメージ候補テーブルＴ３に存在しない場合に、作成部１０４は、色情報とそれに関連する文字列と出現数（値は、１とする）とを関連付けする。その後に、作成部１０４は、その関連付けしたものを、色彩イメージ候補テーブルＴ３に追加する。
　作成部１０４は、領域情報テーブルＴ２が保有する全ての領域について上記処理を実行することによって、色彩イメージ候補テーブルＴ３を作成する。
　作成部１０４は、色彩イメージ候補テーブルＴ３に含まれる各色について、その色と関連付いた文字列と、それらの組み合わせの出現数とを組として取り出す。作成部１０４は、それを色彩イメージ候補テーブルＴ３に出現するすべての色について行う。
　次に、作成部１０４は、それらの組の中から、その組における出現数が所定の閾値Ｔｈ１（以降、単に「所定の閾値」と表す）以上の組を、すべて抽出する。作成部１０４は、抽出した組に含まれる、色と文字列との組について、色ごとに文字列を区切りながら１列にする。その後、作成部１０４は、上記のように作成した文字列と色とを関連付けすることによって、色彩意味リストを作成する。
　次に、作成部１０４は、基本色リストＬ１から、作成した色彩意味リストに含まれる色に関連する色情報を取り出す。その後、作成部１０４は、色彩意味リストにおいて、その色情報に関連する文字列を取り出す。次に、作成部１０４は、上記のように取り出した色情報等と文字列を関連付けし、その関連を色彩イメージテーブルＴ１に登録する。
　色彩イメージ候補テーブルＴ３における、各色について、その出現数が所定の閾値未満のものしか存在しない場合に、作成部１０４は、色彩イメージを表す文字列として、空欄などの「該当なし」を示す情報をいれ、色彩イメージテーブルＴ１に登録する。
　結果として、作成部１０４は、色彩イメージテーブルＴ１を作成する。色彩イメージテーブルＴ１は色情報と文字列とを関連付け、色情報で、その色情報と関連付けされた文字列を検索できるデータベースである、と説明されうる。
　図７は、第１の実施形態に係る色彩抽出装置における処理のフローチャートである。
　次に、図１及び図７を参照しながら、第１の実施形態に係る色彩抽出装置の処理フローについて説明する。
　分割部１０２は、上述のようなタグスコープの解析や画像処理等の結果に応じて、画面を少なくとも１つ以上の小領域に分割する。次に、取得部１０３は、上述のように解析した情報を使って、各領域の位置座標、高さ、幅、表示情報が伝える意味を表す文字列、色情報を取得する。次に、作成部１０４は、上記のように取得した領域に関する情報を、関連付けする。取得した各領域について関連付けをすることにより、作成部１０４が、領域情報テーブルＴ２を作成する（ステップＳ１０１）。
　次に、作成部１０４は、領域情報テーブルＴ２と基本色リストＬ１双方から、その色情報と関連付いたデータをそれぞれ読み出し、取り出したデータを関連付けすることで、色彩イメージ候補テーブルＴ３を作成する（ステップＳ１０２）。次に、作成部１０４は、色彩イメージ候補テーブルＴ３における、各色の色彩イメージを表す文字列に関し、その出現数が所定の閾値以上か否かを調べる（ステップＳ１０３）。
　作成部１０４は、出現数が所定の閾値以上の文字列Ｓ３に関連したデータを取り出し、それを、色彩イメージテーブルＴ１へ追加する（ステップＳ１０４）。作成部１０４は、ある色に関して、すべての文字列の出現数が所定の閾値未満であると判定した場合には、「該当なし」を示す情報を生成し、それを、色彩イメージテーブルＴ１へ追加する（ステップＳ１０５）。作成部１０４は、すべての色について同様の処理を行う（ステップＳ１０６）。
　第１の実施形態に係る色彩抽出装置は、上記のような処理に従い、抽出対象の画像情報から、色と、その色を割り当てた領域の表示情報が伝える意味を表す文字列との関連付けを行い、その関連を色彩イメージテーブルに登録する。
　その結果、第１の実施形態に係る色彩抽出装置によれば、色と、その色を割り当てた領域の表示情報が伝える意味を表す文字列とを関連付ける。その結果、第１の実施形態に係る色彩抽出装置によれば、抽出した色彩イメージテーブルに関連した、色彩イメージデータベースを自動で構築することが可能になる。
　即ち、第１の実施形態に係る色彩抽出装置によれば、色彩データベースを自動的に抽出することが可能になる。
　＜第２の実施形態＞
　次に、上述した第１の実施形態を基本とする第２の実施形態について説明する。以下の説明においては、本実施形態と第１の実施形態との差異を中心に説明する。上述した第１の実施形態と同様な構成については、同一の参照番号を付すことにより、重複する説明は省略する。
　図８及び図５を参照しながら、第２の実施形態に係る色彩抽出装置について説明する。図８は、第２の実施形態に係る色彩抽出装置１１４の構成を示すブロック図である。図８を参照すると、第２の実施形態に係る色彩抽出装置１１４は、入力画像の部分領域を特定する部分画像特定部である分割部１０２と、部分領域に含まれる色を特定する色情報と、部分領域に含まれる文字列とを取得する情報取得部である取得部１０３と、色情報と文字列とを関連付けて記憶する記憶部である作成部１１５と、文字列の類似度を計算する類似度計算部１１６とを備える。
　類似度計算部１１６は、複数の文字列間の意味的類似度を計算する。意味的類似度の計算方法の一例として、潜在意味解析（Ｌａｔｅｎｔ　Ｓｅｍａｎｔｉｃ　Ａｎａｌｙｓｉｓ）（以降、「ＬＳＡ」と記述する）などの手法がある。ＬＳＡは、例えば、領域の意味を表す文字列と、その領域の色彩イメージを表す文字列を、それぞれ意味空間内のベクトルとして表す。次に、ＬＳＡは、これらのベクトルの成す角の余弦を計算し、その結果を意味的類似度とする。意味的類似度は、文字列間の類似度が高いほど高い値になる。第２の実施形態に係る色彩抽出装置における意味的類似度は、上述した方法に限定されるものではない。
　作成部１１５は、色彩イメージ候補テーブルＴ３と、色彩イメージテーブルＴ１を作成する。色彩イメージ候補テーブルＴ３を作成する方法は、第一の実施形態と同様である。
　作成部１１５が色彩イメージテーブルＴ１を作成する方法について説明する。
　作成部１１５は、色彩イメージ候補テーブルＴ３に含まれる各色について、その色と関連付いた文字列と、それらの組み合わせの出現数とを組として取り出す。そして、作成部１１５は、それらの組の中から、その組における出現数が閾値Ｔｈ１以上の組を抽出する（ここで抽出された組に含まれる文字列からなる文字列を文字列Ｓ３と記すことがある）。作成部１１５は、抽出した組に含まれる、色と文字列Ｓ３との組について、色ごとに文字列を区切りながら１列にする。その後、作成部１１５は、上記のように作成した文字列Ｓ３と色とを関連付けすることによって、色彩意味リストを作成する。次に、作成部１１５は、基本色リストＬ１から、作成した色彩意味リストに含まれる色に関連する色情報を取り出す。次に、作成部１１５は、色彩意味リストにおいて、その色情報に関連する文字列Ｓ３を取り出す。そして、作成部１１５は、上記のように取り出した色情報等と文字列Ｓ３を関連付けし、その関連を色彩イメージテーブルＴ１に登録する。
　さらに、作成部１１５は、色彩イメージ候補テーブルＴ３を参照して、色と文字列との組み合わせの出現数が閾値Ｔｈ１未満の組を抽出する（ここで抽出された組に含まれる文字列からなる文字列を文字列Ｓ４と記すことがある）。そして、作成部１１５は、類似度計算部１１６を用いて、文字列Ｓ３と文字列Ｓ４との意味的類似度を計算する。計算された意味的類似度が所定の意味的類似度閾値Ｔｈ２（以降、単に「所定の意味的類似度閾値」と表す）以上であれば、作成部１１５は、文字列Ｓ４を色彩イメージテーブルＴ１に追加する。作成部１１５は、算出した意味的類似度が所定の意味的類似度閾値未満であれば、追加しない。
　作成部１１５が文字列Ｓ４を追加する方法は、例えば、以下のようである。計算された意味的類似度が所定の意味的類似度閾値以上である、文字列Ｓ４と色の組について、色ごとに文字列を区切りながら１列にする。その後、作成部１１５は、１列にされた文字列Ｓ４と色とを関連付けすることによって、色彩意味リストを作成する。次に、作成部１１５は、基本色リストＬ１から、作成した色彩意味リストに含まれる色に関連する色情報を取り出す。その後、作成部１１５は、色彩意味リストにおいて、その色情報に関連する文字列Ｓ４を取り出す。次に、作成部１１５は、色彩イメージテーブルＴ１において、取り出し色情報に関連付けされた文字列に、文字列Ｓ４を追加する。
　作成部１１５は、もし、色彩イメージ候補テーブルＴ３における、各色について、その出現数が所定の閾値未満のものしか存在しないと判定した場合には、色彩イメージを表す文字列として、空欄などの「該当なし」を示す情報をいれ、上記と同様の動作の後、色彩イメージテーブルＴ１に登録する。
　図９は、第２の実施形態に係る色彩抽出装置における処理のフローチャートを示している。
　次に、図９を参照しながら、第２の実施形態に係る色彩抽出装置における処理フローについて説明する。以下の説明においては、本実施形態と第１の実施形態との差異を中心に説明する。上述した第１の実施形態と同様な処理フローについては、同一の参照番号を付すことにより、重複する説明は省略する。
　作成部１１５は、色彩イメージ候補テーブルＴ３における、各色の色彩イメージを表す文字列に関し、その出現数が、所定の閾値Ｔｈ１以上である文字列Ｓ３を取得する（ステップＳ２０３）。そして、作成部１１５は、文字列Ｓ３に関連したデータを取り出し、色彩イメージテーブルＴ１へ追加する。この動作は、作成部１０４（図１）におけるステップＳ１０４と同様の動作でもよい。
　次に、類似度計算部１１６は、文字列Ｓ３と、各色の色彩イメージを表す文字列に関しその出現数がＴｈ１未満である文字列Ｓ４と、の類似度を算出する（ステップＳ２０４）。そして、作成部１１５は、文字列Ｓ３と文字列Ｓ４の意味的類似度が所定の意味的類似度閾値Ｔｈ２以上であるか否かを判定する（ステップＳ２０５）。意味的類似度がＴｈ２以上である場合、上述のように色彩イメージテーブルＴ１へ追加する（ステップＳ２０６）。作成部１１５は、この処理を、各色の色彩イメージを表す文字列に関しその出現数がＴｈ１未満である文字列Ｓ４のすべてについて実行してもよい（ステップＳ２０７）。作成部１１５は、色彩イメージに該当する文字列が存在するかどうかを判定する（ステップＳ２０８）。例えば、作成部１１５は、ステップＳ２０５で、Ｔｈ２以上であると判定された文字列Ｓ４の数が一つ以上あるかどうかを調べることによって、ステップＳ２０８の判定を行うことができる。そして、作成部１１５は、ステップＳ２０８で、色彩イメージに該当する文字列が存在しないと判定した場合、色彩イメージテーブルＴ１に「該当なし」を示す情報を追加する（ステップＳ２０９）。
　第２の実施形態に係る色彩抽出装置は、第１の実施形態に係る色彩抽出装置に、類似度計算部１１６が追加されたものであり、第１の実施形態に係る色彩抽出装置の効果は、そのまま保有している。即ち、第２の実施形態に係る色彩抽出装置によれば、色彩データベースを自動的に抽出することが可能になる。
　第２の実施形態に係る色彩抽出装置は、色彩イメージ候補を表す文字列と色彩イメージを表す文字列との意味的類似度を算出する。そのため、第２の実施形態に係る色彩抽出装置の効果は、第１の実施形態の効果に加え、より精度良く色彩イメージ文字列を取得することが可能になる。
　（ハードウェア構成例）
　図１０は実施形態に係る色彩抽出装置を実現可能な計算処理装置のハードウェア構成を、概略的に示す図である。
　次に、上述した各実施形態における色彩抽出装置を、１つの計算処理装置（情報処理装置、コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。但し、係る色彩抽出装置は、物理的または機能的に少なくとも２種類の計算処理装置を用いて実現してもよい。また、係る色彩抽出装置は、専用の装置として実現してもよい。
　図１０は、第１乃至第２の実施形態に係る色彩抽出装置を実現可能な計算処理装置のハードウェア構成を概略的に示す図である。計算処理装置１２２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１７、メモリ１１８、ディスク１１９、出力装置１２０、および入力装置１２１を有する。
　即ち、ＣＰＵ１１７は、ディスク１１９が記憶しているソフトウェア・プログラム（コンピュータ・プログラム）：以下、単にプログラムと称する）を、実行時にメモリ１１８にコピーし、演算処理を実行する。ＣＰＵ１１７は、プログラム実行に必要なデータをメモリ１１８から読み込む。表示が必要な場合には、ＣＰＵ１１７は、出力装置１２０に出力結果を表示する。外部からプログラムを入力する場合、ＣＰＵ１１７は、入力装置１２１からプログラムを読み取る。ＣＰＵ１１７は、メモリ１１８にある色彩抽出プログラム解釈し実行を行う。ＣＰＵ１１７は、上述した各実施形態において参照したフローチャート（図７、図９）、式に応じた処理を順次行う。
　以上実施形態について説明したが、上記実施形態は理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得ると共に、本発明にはその等価物も含まれる。
　尚、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　入力画像の部分領域を特定する部分画像特定部と、前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得する情報取得部と、前記色情報と前記文字列とを関連付けて記憶する記憶部とを備える色彩情報記憶装置。
　（付記２）
　前記記憶部は、前記色情報と前記文字列との両方が出現する組み合わせの出現数または出現頻度に応じて、前記色情報と前記文字列とを関連付けるか否かを判定し、関連付けると判定した場合に前記色情報と前記文字列とを関連付ける、付記１に記載の色彩情報記憶装置。
　（付記３）
　前記文字列の類似度を計算する類似度計算部、を更に備え、前記記憶部は、関連付けないと判定された前記文字列と、関連付けると判定された前記文字列との類似度が閾値以上である場合に、関連付けないと判定された前記文字列を前記色情報と関連付ける、付記１または付記２に記載の色彩情報記憶装置。
　（付記４）
　前記画像は、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）の記述に基づいて作成されるものであり、前記部分画像特定部は、タグスコープの解析結果に応じて、前記部分領域を特定する、付記１乃至付記３のいずれか１項記載の色彩情報記憶装置。
　（付記５）
　前記部分画像特定部は、画像処理の結果に応じて、前記部分領域を特定する、付記１乃至付記３のいずれか１項記載の色彩情報記憶装置。
　（付記６）
　入力画像の部分領域を特定するステップと、前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得するステップと、前記色情報と前記文字列とを関連付けて記憶するステップとを含む色彩情報記憶方法。
　（付記７）
　前記記憶するステップにおいて、前記色情報と前記文字列との両方が出現する組み合わせの出現数または出現頻度に応じて、前記色情報と前記文字列とを関連付けるか否かを判定し、関連付けると判定した場合に、前記色情報と前記文字列とを関連付ける、付記６に記載の色彩情報記憶方法。
　（付記８）
　前記文字列の類似度を計算するステップを更に含み、前記記憶するステップにおいて、関連付けないと判定された前記文字列と、関連付けると判定された前記文字列との類似度が閾値以上である場合に、関連付けないと判定された前記文字列を前記色情報と関連付ける、付記６または付記７に記載の色彩情報記憶方法。
　（付記９）
　コンピュータに、入力画像の部分領域を特定する特定処理と、前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得する取得処理と、前記色情報と前記文字列とを関連付けて記憶する記憶処理とを実行させるコンピュータ・プログラム。
　（付記１０）
　前記記憶処理において、前記色情報と前記文字列との両方が出現する組み合わせの出現数または出現頻度に応じて、前記色情報と前記文字列とを関連付けるか否かを判定し、関連付けると判定した場合に前記色情報と前記文字列とを関連付ける、付記９に記載のコンピュータ・プログラム。
　この出願は、２０１２年３月２９日に出願された日本出願特願２０１２－０７７５６４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　Ｉ１　　画面情報
　Ｔ１　　色彩イメージテーブル
　Ｔ２　　領域情報テーブル
　Ｔ３　　色彩イメージ候補テーブル
　Ｓ１　　小領域に関連付けされた情報が伝える意味を表す文字列
　Ｓ３　　閾値以上の文字列
　Ｔｈ１　　所定の閾値
　Ｔｈ２　　所定の意味的類似度閾値
　１０１　　色彩抽出装置
　１０２　　分割部
　１０３　　取得部
　１０４　　作成部
　１０５　　タイトル領域
　１０６　　ナビゲーション領域
　１０７　　見出し領域
　１０８　　入力領域
　１０９　　ラベル領域
　１１０　　補助情報領域
　１１１　　補助情報領域
　１１２　　ボタン領域
　１１３　　背景領域
　１１４　　色彩抽出装置
　１１５　　作成部
　１１６　　類似度計算部
　１１７　　ＣＰＵ
　１１８　　メモリ
　１１９　　ディスク
　１２０　　出力装置
　１２１　　入力装置
　１２２　　計算処理装置

Claims (10)

  1. 　入力画像の部分領域を特定する部分画像特定部と、
    　前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得する情報取得部と、
    　前記色情報と前記文字列とを関連付けて記憶する記憶部と
    を備える色彩情報記憶装置。
  2. 　前記記憶部は、前記色情報と前記文字列との両方が出現する組み合わせの出現数または出現頻度に応じて、前記色情報と前記文字列とを関連付けるか否かを判定し、関連付けると判定した場合に前記色情報と前記文字列とを関連付ける、
    請求項１に記載の色彩情報記憶装置。
  3. 　前記文字列の類似度を計算する類似度計算部、を更に備え、
    　前記記憶部は、関連付けないと判定された前記文字列と、関連付けると判定された前記文字列との類似度が閾値以上である場合に、関連付けないと判定された前記文字列を前記色情報と関連付ける、請求項１または請求項２に記載の色彩情報記憶装置。
  4. 　前記画像は、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）の記述に基づいて作成されるものであり、
    　前記部分画像特定部は、タグスコープの解析結果に応じて、前記部分領域を特定する、
    請求項１乃至請求項３のいずれか１項記載の色彩情報記憶装置。
  5. 　前記部分画像特定部は、画像処理の結果に応じて、前記部分領域を特定する、
    請求項１乃至請求項３のいずれか１項記載の色彩情報記憶装置。
  6. 　入力画像の部分領域を特定するステップと、
    　前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得するステップと、
    　前記色情報と前記文字列とを関連付けて記憶するステップと
    を含む色彩情報記憶方法。
  7. 　前記記憶するステップにおいて、前記色情報と前記文字列との両方が出現する組み合わせの出現数または出現頻度に応じて、前記色情報と前記文字列とを関連付けるか否かを判定し、関連付けると判定した場合に、前記色情報と前記文字列とを関連付ける、
    請求項６に記載の色彩情報記憶方法。
  8. 　前記文字列の類似度を計算するステップを更に含み、
    　前記記憶するステップにおいて、関連付けないと判定された前記文字列と、関連付けると判定された前記文字列との類似度が閾値以上である場合に、関連付けないと判定された前記文字列を前記色情報と関連付ける、
    請求項６または請求項７に記載の色彩情報記憶方法。
  9. 　コンピュータに、
    　入力画像の部分領域を特定する特定処理と、
    　前記部分領域に含まれる色を特定する色情報と、前記部分領域に含まれる文字列とを取得する取得処理と、
    　前記色情報と前記文字列とを関連付けて記憶する記憶処理と
    を実行させるコンピュータ・プログラム。
  10. 　前記記憶処理において、前記色情報と前記文字列との両方が出現する組み合わせの出現数または出現頻度に応じて、前記色情報と前記文字列とを関連付けるか否かを判定し、関連付けると判定した場合に前記色情報と前記文字列とを関連付ける、
    請求項９に記載のコンピュータ・プログラム。
PCT/JP2012/080985 2012-03-29 2012-11-29 色彩情報記憶装置、色彩情報記憶方法およびコンピュータ・プログラム WO2013145446A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014507324A JP6048492B2 (ja) 2012-03-29 2012-11-29 色彩情報記憶装置、色彩情報記憶方法およびコンピュータ・プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012077564 2012-03-29
JP2012-077564 2012-03-29

Publications (1)

Publication Number Publication Date
WO2013145446A1 true WO2013145446A1 (ja) 2013-10-03

Family

ID=49258779

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/080985 WO2013145446A1 (ja) 2012-03-29 2012-11-29 色彩情報記憶装置、色彩情報記憶方法およびコンピュータ・プログラム

Country Status (2)

Country Link
JP (1) JP6048492B2 (ja)
WO (1) WO2013145446A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11328188A (ja) * 1998-05-08 1999-11-30 Casio Comput Co Ltd データ記憶装置、及び記憶媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11328188A (ja) * 1998-05-08 1999-11-30 Casio Comput Co Ltd データ記憶装置、及び記憶媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUKIKO TANIGAWA: "Usability ni Hairyo shita Haishoku Hyoka Suisen Hoshiki no Teian to Sekkei Shien Tool eno Tekiyo", FIT2011 DAI 10 KAI FORUM ON INFORMATION TECHNOLOGY KOEN RONBUNSHU, vol. 3, 22 August 2011 (2011-08-22), pages 523 - 524 *
YUMI YANO: "Usabiligy Hyoka ni Okeru Haishoku Hyoka Suisen Hoshiki no Jitsu System eno Tekiyo", FIT2011 DAI 10 KAI FORUM ON INFORMATION TECHNOLOGY KOEN RONBUNSHU, vol. 3, 22 August 2011 (2011-08-22), pages 525 - 526 *

Also Published As

Publication number Publication date
JP6048492B2 (ja) 2016-12-21
JPWO2013145446A1 (ja) 2015-12-10

Similar Documents

Publication Publication Date Title
JP4461769B2 (ja) 文書検索・閲覧手法及び文書検索・閲覧装置
US9400808B2 (en) Color description analysis device, color description analysis method, and color description analysis program
US8930814B2 (en) Digital comic editor, method and non-transitory computer-readable medium
US20130100161A1 (en) Digital comic editor, method and non-transitory computer-readable medium
CN103384896A (zh) 数字漫画编辑装置及其方法
US9569146B2 (en) Information processor and automatic page replacement method
US11514700B2 (en) Image-processing device, image-processing method, and storage medium on which program is stored
EP3418889A1 (en) Software analysis apparatus and software analysis method
JP6044800B2 (ja) 色評価装置、色評価方法及びコンピュータ・プログラム
US9177528B2 (en) Screen inspection device, screen inspection method, and program
US11482029B2 (en) Image processing device, image processing method, and recording medium
JP2011123825A (ja) 文字認識方法、文字認識装置および文字認識プログラム
JP2013003906A (ja) 電子文書装飾装置及び電子文書装飾プログラム
JP6048492B2 (ja) 色彩情報記憶装置、色彩情報記憶方法およびコンピュータ・プログラム
US11606469B2 (en) Image processing system that computerizes document, control method thereof, and storage medium
WO2014083878A1 (ja) 情報処理装置及びプログラム
JP5288617B2 (ja) 文書管理システム、文書管理方法及びコンピュータプログラム
US20210042555A1 (en) Information Processing Apparatus and Table Recognition Method
JP2012064051A (ja) ヘルプ表示装置、ヘルプ表示方法及びヘルプ表示プログラム
KR20100115048A (ko) 복사 문서 판별 시스템 및 그 방법
US10613839B2 (en) Source code display device, source code display method, and computer readable recording medium having program for performing the same
US20110222795A1 (en) Image processing apparatus, image processing method, and storage medium
US20230112366A1 (en) Image output apparatus, method for controlling image output apparatus, and storage medium
US20240095985A1 (en) Image processing apparatus, image processing method, and storage medium
Zhu et al. Object Detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12872943

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014507324

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 12872943

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE