WO2014155745A1 - 画像処理装置、画像処理方法、情報記憶媒体、及びプログラム - Google Patents

画像処理装置、画像処理方法、情報記憶媒体、及びプログラム Download PDF

Info

Publication number
WO2014155745A1
WO2014155745A1 PCT/JP2013/059768 JP2013059768W WO2014155745A1 WO 2014155745 A1 WO2014155745 A1 WO 2014155745A1 JP 2013059768 W JP2013059768 W JP 2013059768W WO 2014155745 A1 WO2014155745 A1 WO 2014155745A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
text
character
correction target
specifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/059768
Other languages
English (en)
French (fr)
Inventor
宗 益子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Priority to JP2013550700A priority Critical patent/JP5512903B1/ja
Priority to PCT/JP2013/059768 priority patent/WO2014155745A1/ja
Priority to US14/439,662 priority patent/US9519984B2/en
Publication of WO2014155745A1 publication Critical patent/WO2014155745A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/10—Texturing; Colouring; Generation of textures or colours
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, an information storage medium, and a program, and more particularly to processing of an image integrated with text.
  • an image obtained by superimposing a text such as “last day” used in bargains on a background image including elements such as graphics for calling attention may be used.
  • text is read from such an image, translated into another language, and a new image is created by superimposing the translated text on the background image, the pre-translation text integrated with the image is removed. It is convenient if you can.
  • Patent Document 1 after a character is recognized from a bitmap image obtained by scanning a document in which characters are printed in black on a single color paper, the pixel on which the character is drawn is a pixel having the same attribute as that of the paper. And then re-translate the recognized character to obtain another new character and write it to the back-filled portion of the pixel.
  • the problem to be solved by the present invention is to increase the efficiency of the process of removing the text integrated with the image from the image in a series of processes for replacing the text integrated with the image with another text. It is.
  • the image processing apparatus is configured so that the first image represented in the original image and the second text represented in the cover image overlap the original image.
  • object specifying means for specifying a correction target part that is not covered by the part constituting the second text, and the color of the correction target part in the image
  • a correction unit that corrects the attribute
  • an output unit that outputs the data specifying the specified correction target portion in association with the composite image.
  • the image processing method of the present invention is a composite image in which the covering image is superimposed on the original image so that the first text represented in the original image and the second text represented in the covering image overlap.
  • the correction means for specifying the correction target portion that is not covered by the portion forming the second text among the portions forming the first text, and correcting the color attribute of the correction target portion in the image Data specifying the specified correction target portion is output in association with the composite image.
  • the program of the present invention is a composite image in which the covering image is superimposed on the original image so that the first text represented in the original image and the second text represented in the covering image overlap.
  • Object specifying means for specifying a correction target part that is not covered by the part forming the second text among the parts forming the first text, and correction means for correcting the color attribute of the correction target part in the image
  • the information storage medium of the present invention is a composite image in which the covering image is superimposed on the original image so that the first text represented in the original image and the second text represented in the covering image overlap.
  • the object specifying means for specifying the correction target part that is not covered by the part forming the second text among the parts forming the first text, and the color attribute of the correction target part in the image are corrected.
  • a computer-readable information storage medium storing a program for causing a computer to function as output means for outputting data specifying the specified correction target portion in association with the composite image.
  • the color attribute of at least a part of the part constituting the second text is the same as or substantially the same as the color attribute of at least a part of the part constituting the first text.
  • the image processing apparatus further includes combining means for generating a composite image by superimposing a cover image on the original image, the target specifying means specifies the correction target portion in the generated composite image, and the correcting means
  • the color attribute of the correction target part is determined by using the color attribute of the part corresponding to the correction target part in the approximate area approximated by the color attribute pattern of the target part and the adjacent part including the correction target part and the adjacent part. To do.
  • the correction unit specifies the approximate region in the synthesized image or the original image.
  • a search range including at least one of a portion constituting the first text and a portion constituting the second text and having a narrower search range than the entire synthesized image is obtained.
  • the image processing apparatus further includes range specifying means for specifying in the image, and the correction means specifies the approximate region within the specified search range.
  • the range specifying unit specifies the inside of a circumscribed rectangle including a portion constituting the first text and a portion constituting the second text as the search range.
  • the correction may further include range specifying means for specifying, in the original image, a search range that includes a portion constituting the first text and is narrower than the entire original image.
  • the means specifies the approximate region within the specified search range.
  • the synthesizing unit satisfies the predetermined condition relating to the degree to which the portion constituting the first text is covered by the portion constituting the second text. Is to be superimposed on the original image.
  • the information processing apparatus further includes a calculation unit that calculates a coverage ratio that represents a ratio of a portion that constitutes the first text covered by a portion that constitutes the second text.
  • a calculation unit that calculates a coverage ratio that represents a ratio of a portion that constitutes the first text covered by a portion that constitutes the second text.
  • the image processing apparatus further includes an erasing unit that erases the color attribute of the specified correction target portion, and the output unit selects a portion in the correction target image that lacks a color attribute as the correction target portion.
  • the composite image from which the color attribute of the correction target portion has been deleted is output to the correction means that recognizes as.
  • the correction unit is further provided.
  • the present invention since a portion that does not need to be corrected is excluded from the correction target, it is possible to improve the efficiency of the correction processing for removing the text integrated with the image from the image.
  • FIG. 1 It is a figure which shows an example of the hardware constitutions of the image processing apparatus which concerns on embodiment of this invention. It is a figure which shows an example of an image. It is a figure which shows an example of the image after an image process. It is a functional block diagram which shows an example of the function implement
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of an image processing apparatus 10 according to an embodiment of the present invention.
  • the image processing apparatus 10 is realized by, for example, a server computer, a desktop computer, a laptop computer, or a tablet computer.
  • the image processing apparatus 10 includes a control unit 11, a storage unit 12, an optical disc drive unit 13, a communication interface unit 14, an operation unit 15, a display unit 16, and an audio output unit 17.
  • the control unit 11 includes, for example, one or a plurality of microprocessors, and executes information processing according to an operating system or a program stored in the storage unit 12.
  • the storage unit 12 includes, for example, a RAM, a hard disk, or a solid state drive.
  • the optical disk drive unit 13 reads programs and data stored on an optical disk (information storage medium).
  • the program and data are supplied to the storage unit 12 via the optical disc. That is, the program and data are read from the optical disk by the optical disk drive unit 13 and stored in the storage unit 12.
  • the image processing apparatus 10 may include a component for reading a program or data stored in an information storage medium (for example, a memory card) other than the optical disk. And a program and data may be supplied to the memory
  • the communication interface unit 14 is an interface for connecting the image processing apparatus 10 to a communication network.
  • the image processing apparatus 10 can exchange data with other apparatuses via a communication network.
  • the program and data may be supplied to the storage unit 12 via a communication network.
  • the operation unit 15 is for a user to perform an operation.
  • a keyboard, a mouse, a touch pad, a touch panel, a stick (lever), or the like corresponds to the operation unit 15.
  • the display unit 16 is, for example, a liquid crystal display or an organic EL display.
  • the audio output unit 17 is, for example, a speaker or a headphone terminal.
  • the image processing apparatus 10 can access the database 20.
  • the database 20 may be realized in an apparatus (for example, a server) other than the image processing apparatus 10 or may be realized in the image processing apparatus 10.
  • the database 20 stores images. For example, an image used in a virtual shopping mall site provided by a web server (not shown) is stored in the database 20. That is, an image prepared by a person in charge at a store opening a virtual shopping street is stored in the database 20.
  • FIG. 2 is a diagram illustrating an example of the image 30 stored in the database 20.
  • An image 30 shown in FIG. 2 is an image in which the character string 32 and the background image 34 are integrated with the character string 32 represented on the background image 34.
  • the character string 32 represents a Japanese character string “last day” used in bargains, for example.
  • the background image 34 includes, for example, a graphic for calling attention, and includes two or more colors.
  • the background image 34 may include more complex elements than geometric figures, such as a photographed image.
  • the character string 32 is often written in a conspicuous color different from the background image.
  • the character strings 32 are often written in a single color and are often aligned in the horizontal direction, vertical direction, or diagonal direction.
  • FIG. 3 is a diagram illustrating an example of the image 39 after the image processing by the image processing apparatus 10.
  • the character string 37 obtained by converting the character string 32 of the image 30 is represented on the same background image 34 as the image 30, and the character string 37 and the background image 34 are integrated. It is an image.
  • the character string 37 represents, for example, an English character string “FINAL DAY” obtained by translating a Japanese character string “Final Day”.
  • the character string 32 before conversion is read from the image 30 as shown in FIG. 2 and converted into another language, and then a new image 39 including the character string 37 after conversion and the background image 34 is generated.
  • the technology to do is explained.
  • FIG. 4 is a functional block diagram showing functions related to the present invention among the functions realized by the image processing apparatus 10.
  • the image processing apparatus 10 includes an original image acquisition unit 41, a character recognition unit 42, a character string conversion unit 43, a character image acquisition unit 44, a synthesis position determination unit 45, an image synthesis unit 46, and a defect A complement 47 is included.
  • the character recognition unit 42 includes a constituent pixel specifying unit 42a and a character information acquisition unit 42b.
  • the defect complementing unit 47 includes a defective pixel specifying unit 47a, a target patch specifying unit 47b, a similar patch specifying unit 47c, and a pixel value determining unit 47d.
  • the functional blocks shown in FIG. 4 are realized by the control unit 11 of the image processing apparatus 10.
  • the original image acquisition unit 41 acquires the image 30 from the database 20 and outputs the image 30 to the character recognition unit 42, the image synthesis unit 46, and the loss complementation unit 47.
  • the character recognition unit 42 recognizes the character string 32 before conversion included in the image 30.
  • the character string 32 before conversion included in the image 30 is an example of the first text.
  • a known character recognition process called OCR Optical Character ⁇ Recognition
  • the character recognizing unit 42 specifies a character area 36 corresponding to each character of the character string 32, and collates the pattern in the character area 36 with a previously registered pattern. Thus, each character of the character string 32 is recognized.
  • the constituent pixel specifying unit 42a included in the character recognizing unit 42 specifies constituent pixels constituting the pre-conversion character string 32 included in the image 30, and generates a constituent pixel map representing the position of the constituent pixels as a composite position determining unit 45 and The data is output to the defect complementing unit 47.
  • the constituent pixels constituting the character string 32 before conversion are specified by binarizing the character area 36 shown in FIG.
  • the pattern of the constituent pixels is used for character recognition processing.
  • the character information acquisition unit 42b included in the character recognition unit 42 acquires character information representing the character string 32 before conversion by the character recognition process, and outputs the character information to the character string conversion unit 43.
  • the character information includes a character code of each character included in the character string 32, for example.
  • the character information representing the character string 32 before conversion is acquired by the character recognition process.
  • the present invention is not limited to this mode.
  • the character information representing the character string 32 before conversion is included in the image 30. It may be embeddable in a readable manner and obtain it.
  • the character string conversion unit 43 converts the character string 32 before conversion and converts the character information representing the character string 37 after conversion into the character image acquisition unit 44. Output to.
  • the converted character string 37 converted by the character string conversion unit 43 is an example of a second text.
  • the character string 32 is translated into another language. For example, a Japanese character string 32 “final day” is translated into an English character string 37 “FINAL DAY”.
  • the character string 32 may be converted into different types of characters in the same language.
  • the kanji character string 32 of “last day” may be converted to a hiragana character string “saisuibi” or a katakana character string “saishubi”.
  • the number of characters included in the character string is not limited to a plurality, and may be one.
  • the character string 32 when the character string 32 represents contents such as date and amount, the character string 32 may be updated to a character string representing new contents corresponding to the contents.
  • the control unit 11 acquires information such as the current date or amount and updates the character string 32 to a character string representing the date or amount.
  • the character image obtaining unit 44 obtains a character image representing the converted character string 37 from a font database (not shown), and combines the composition position determining unit 45 and the image.
  • the data is output to the combining unit 46.
  • the character image representing the converted character string 37 is rasterized and output.
  • the character image representing the converted character string 37 is output as it is.
  • the composite position determination unit 45 is an example of a calculation unit, and a portion in which non-transparent pixels of a character image constitute a character string 32 before conversion included in the image 30 as a portion constituting the character string 37 after conversion.
  • the composition position of the character image representing the character string 37 after the conversion is determined so that the degree of covering the constituent pixels as follows satisfies a predetermined condition.
  • the image composition unit 46 is an example of composition means, and composes a character image representing the character string 37 after conversion on the character string 32 before conversion of the image 30. Specifically, the character image representing the converted character string 37 is combined at the position determined by the combining position determination unit 45 on the image 30.
  • the defect complementing unit 47 regards a part that is not covered by the part that constitutes the converted character string 37 among the parts that constitute the character string 32 before the conversion of the image 30 as the correction target part, and the color attribute of the correction target part Correct. Specifically, the defect complementation unit 47 regards pixels that are not covered by the character image representing the character string 37 after conversion among the constituent pixels that constitute the character string 32 before conversion of the image 30 as defective pixels.
  • the pixel value of a pixel is complemented based on the pixel value of another pixel.
  • the missing pixel is an example of a correction target portion, and the pixel value is an example of a color attribute. A method for complementing the defective pixel will be described in detail later.
  • the missing pixel specifying unit 47a included in the missing complementing unit 47 is an example of a target specifying unit, an output unit, and an erasing unit, and the missing in the image 30 after the character image representing the converted character string 37 is synthesized. Specify the pixel.
  • the missing pixel specifying unit 47a associates the data specifying the missing pixel with the combined image 30 and outputs the data to the target patch specifying unit 47b and the pixel value determining unit 47d.
  • the data specifying the defective pixel includes, for example, coordinate data representing the position of the defective pixel in the combined image 30.
  • the target patch specifying unit 47b included in the defect complementing unit 47 specifies the target patch in the image 30 after the character image representing the converted character string 37 is synthesized.
  • the target patch is an example of a target region, and includes a defective pixel as a correction target portion and an adjacent pixel as an adjacent portion thereof.
  • the similar patch specifying unit 47c included in the defect complementing unit 47 is an example of a range specifying unit, and the character string 37 in the image 30 after the character image representing the character string 37 after conversion is synthesized or the character string 37 after conversion is displayed.
  • a similar patch corresponding to the target patch is specified in the image 30 before the character image to be represented is synthesized.
  • a similar patch is an example of an approximate region. Note that the similar patch specifying unit 47c may narrow down a search range for searching for a similar patch in the image 30 after combining or before.
  • the similar patch refers to a plurality of candidate patches identified in the image 30 that are similar to the target patch. Similarity means that the pixel values of adjacent pixels included in the target patch are close to the pixel values of the pixels in the candidate patch corresponding to the adjacent pixels.
  • the pixel value determining unit 47d included in the defect complementing unit 47 is an example of a correction unit, and determines the pixel value of the defective pixel based on the pixel value of the pixel included in the similar patch. Specifically, the pixel value of the missing pixel included in the target patch is determined based on the pixel value of the pixel in the similar patch corresponding to the missing pixel.
  • the functional blocks shown in FIG. 4 may be distributed to a plurality of devices.
  • character recognition processing by the character recognition unit 42, image synthesis processing by the image synthesis unit 46, and defect processing by the defect complementation unit 47 may be executed by different devices. Further, these processes may be separated in time, and in this case, data generated by the character recognition process or the image composition process may be temporarily stored in the database.
  • the client may execute a part of the processing in accordance with a command from the server.
  • the defect complementation unit 47 is a process executed by the image processing apparatus 10 in order to realize the missing pixel designation unit 47 a, the target patch identification unit 47 b, the similar patch identification unit 47 c, and the pixel value determination unit 47 d. It is a flowchart which shows an example.
  • the control unit 11 executes the processing shown in FIG. 5 according to the program, the control unit 11 causes the defect complementing unit 47, the defective pixel specifying unit 47a, the target patch specifying unit 47b, the similar patch specifying unit 47c, and the pixel value determining unit 47d. Will function as.
  • the details of the defect complementing unit 47, the defective pixel specifying unit 47a, the target patch specifying unit 47b, the similar patch specifying unit 47c, and the pixel value determining unit 47d will be described with reference to FIG.
  • control unit 11 acquires the constituent pixel map 50 of the pre-translation character string 32.
  • FIG. 7 is a diagram illustrating an example of the pre-translation character string 32 included in the image 30.
  • the character “A” is represented as a character included in the pre-translation character string 32.
  • the background of the character “A” is made colorless for easy understanding, but the background image 34 actually has one or more kinds of colors.
  • the image 30 has a character portion 33 related to the pre-translation character string 32 and a background portion 35 related to the background image 34.
  • each character of the pre-translation character string 32 when anti-aliasing is applied to each character of the pre-translation character string 32, a plurality of types of pixels having different brightness values exist in the vicinity of the boundary with the background portion 35 in the character portion 33.
  • the pixels of the character portion 33 included in the image 30 are specified as the constituent pixels constituting the pre-translation character string 32.
  • the character portion 33 is a pixel set including one or a plurality of constituent pixels constituting the pre-translation character string 32.
  • FIG. 8 is a diagram showing an example of the constituent pixel map 50 of the character string 32 before translation.
  • the constituent pixel map 50 includes constituent pixels 52 that constitute each character of the pre-translation character string 32 and non-constituent pixels 54 that are background pixels that do not constitute a character.
  • the pixels marked with “x” represent the constituent pixels 52
  • the pixels not marked with the “x” represent non-configured pixels 54.
  • the constituent pixel 52 of the constituent pixel map 50 shown in the figure corresponds to the pixel of the character portion 33 representing the character “A” in the image 30 shown in FIG.
  • control unit 11 acquires the character image 60 of the post-translation character string 37.
  • FIG. 9 is a diagram illustrating an example of the character image 60 of the translated character string 37.
  • the character “A” is represented as the character included in the translated character string 37.
  • the character image 60 includes non-transparent pixels 61 that constitute each character of the translated character string 37 and transparent pixels 63 that do not constitute a character.
  • the non-transparent pixel 61 includes a plurality of types of pixels having different brightness.
  • each part of the part (set of non-transparent pixels 61) constituting the post-translation character string 37 of the character image 60 corresponds to the character part 33 related to the pre-translation character string 32 of the image 30.
  • Each part has the same or substantially the same color attribute.
  • the size of the character image 60 of the translated character string 37 is the size of the character region 36 (see FIGS. 6 and 7) specified in the image 30 or a region in which a plurality of character regions 36 are connected. It is determined according to the size of.
  • the character image 60 of the translated character string is an example of a cover image.
  • the cover image may be, for example, an image obtained by combining the character image 60 with a transparent image having the same size as the original image 30.
  • control unit 11 acquires a synthesis position where the character image 60 representing the post-conversion character string 37 is synthesized on the image 30.
  • the composite position is determined by the composite position determination unit 45 shown in FIG. 4 based on the constituent pixel map 50 of the pre-translation character string 32 and the character image 60 of the post-translation character string 37. Specifically, the composition position determination unit 45 determines the composition position so that the coverage of the non-transparent pixels 61 of the character image 60 covering the constituent pixels 52 of the constituent pixel map 50 is greater than or equal to a predetermined threshold. . The coverage is expressed as a ratio of the number of constituent pixels 52 covered by the non-transparent pixels 61 of the character image 60 to the total number of constituent pixels 52 of the constituent pixel map 50. For example, the composition position determination unit 45 calculates the coverage ratio each time the character image 60 is moved one or more pixels on the constituent pixel map 50, and determines the position with the highest coverage ratio as the composition position. .
  • control unit 11 compares the constituent pixel map 50 of the pre-translation character string 32 with the character image 60 of the post-translation character string 37. As the position of the character image 60 when compared with the component pixel map 50, the composite position acquired in S3 is used.
  • FIG. 10 is a diagram showing an example of comparison between the constituent pixel map 50 and the character image 60 (note that FIG. 10 is also a diagram showing an example of synthesis of an image 30 and a character image 60 described later).
  • FIG. 10 is also a diagram showing an example of synthesis of an image 30 and a character image 60 described later.
  • the position of the constituent pixel 52 that is not covered by the non-transparent pixel 61 of the character image 60 that is, when the character image 60 is synthesized on the image 30,
  • the position of the character portion 33 that is not covered by the non-transparent pixel 61 of the character image 60 is specified.
  • control unit 11 determines the position of the constituent pixel 52 that is not covered by the non-transparent pixel 61 of the character image 60, which is specified by the comparison of S4, as the position of the defective pixel D.
  • the control unit 11 acquires the image 30 in which the character image 60 is synthesized.
  • the characters of the image 30 that are not covered with the non-transparent pixels 61 in the vicinity of the outer edge of the character represented by the non-transparent pixels 61 of the character image 60. A portion 33 is left.
  • the control unit 11 designates the pixel of the character portion 33 of the image 30 that is not covered by the non-transparent pixel 61 as the missing pixel D in the image 30 in which the character image 60 is synthesized. For example, at this time, the pixel value of the pixel designated as the defective pixel D is erased (that is, 0). Thus, when the pixel value of the pixel designated as the defective pixel D is erased, it is possible to simplify the complementing process described below.
  • the designation of the defective pixel D is not limited to the erasure of the pixel value. For example, coordinate data representing the position of the missing pixel D in the combined image 30 may be generated.
  • a complementing process for complementing the pixel value of the defective pixel D in the image 30 with the synthesized character image 60 based on the pixel values of other pixels is executed.
  • a known complementing method such as inpainting is applied.
  • the present invention is not limited to this, and other complementary methods such as linear interpolation may be used.
  • the control unit 11 selects one defective pixel D to be complemented from the plurality of defective pixels D.
  • the defective pixel D to be complemented is selected, the defective pixel D having a large number of adjacent pixels having pixel values is preferentially selected as the complement target. For example, when a plurality of missing pixels D are gathered, the missing pixels D close to the periphery are preferentially selected as complementing targets.
  • FIG. 11 is a diagram illustrating an example of specifying the target patch 7.
  • the target patch 7 has a defective pixel region 72 formed at the center and an adjacent pixel region 74 formed around the defective pixel region 72.
  • the defective pixel area 72 is an area for the defective pixel D selected as the complement target.
  • the adjacent pixel area 74 is an area for an adjacent pixel adjacent to the defective pixel D.
  • the adjacent pixels include four non-transparent pixels 61, three background portion 35 pixels, and one missing pixel D.
  • the non-transparent pixels 61 are concentrated on the right half of the target patch 7, and the pixels of the background portion 35 are concentrated on the left half of the target patch 7.
  • the size of the target patch 7 is 3 ⁇ 3 pixels, but may be larger than this.
  • the control unit 11 acquires the pixel value of the pixel of the target patch 7 specified in the image 30 in which the character image 60 is synthesized. Specifically, the control unit 11 acquires the pixel value of each pixel included in the adjacent pixel region 74 of the target patch 7.
  • the control unit 11 specifies the candidate patch 8 in the image 30 in which the character image 60 is synthesized, and acquires the pixel value of the pixel of the candidate patch 8 as shown in FIG. Specifically, the control unit 11 acquires the pixel value of each pixel included in the adjacent corresponding region 83 of the candidate patch 8.
  • the candidate patch 8 is a patch corresponding to the target patch 7 for determining a similar patch 9 similar to the target patch 7.
  • FIG. 12 is a diagram illustrating an example of specifying the similar patch 9.
  • the candidate patch 8 has a defect corresponding region 81 formed at the center and an adjacent corresponding region 83 formed around the candidate corresponding region 81.
  • the defect correspondence area 81 is an area corresponding to the defect pixel area 72 of the target patch 7.
  • the adjacent corresponding area 83 is an area corresponding to the adjacent pixel area 74 of the target patch 7.
  • the control unit 11 calculates the similarity between the pixel value of the pixel of the target patch 7 and the pixel value of the pixel of the candidate patch 8.
  • the similarity is, for example, the sum of squares of the difference between the pixel value of each pixel included in the adjacent pixel area 74 of the target patch 7 and the pixel value of each pixel included in the adjacent corresponding area 83 of the candidate patch 8.
  • S10 and S11 are repeated each time while shifting the candidate patch 8 by one or more pixels in the image 30 in which the character image 60 is synthesized (S12 and S13). Thereby, the similarity at each position of the candidate patch 8 is calculated.
  • the control unit 11 determines the similar patch 9 based on the similarity at each position of the candidate patch 8. Specifically, the candidate patch 8 having the highest similarity is determined as the similar patch 9.
  • the non-transparent pixels 61 are concentrated on the right half of the similar patch 9, and the pixels of the background portion 35 are concentrated on the left half of the similar patch 9. Yes.
  • the control unit 11 determines the pixel value of the defective pixel D based on the pixel value of the pixel of the similar patch 9. Specifically, the pixel value of the missing pixel D in the missing pixel region 72 of the target patch 7 is determined based on the pixel value of the pixel in the missing corresponding region 92 of the similar patch 9. For example, the same value as the pixel value of the pixel in the defect corresponding area 92 is applied as the pixel value of the defective pixel D in the defect pixel area 72. In this way, the pixel value of the defective pixel D to be complemented is complemented.
  • the pixel of the character portion 33 of the image 30 that is not covered with the non-transparent pixel 61 is regarded as the defective pixel D, and the defective pixel D Since the number of missing pixels D can be reduced as compared with the case where the pixel values of all the pixels of the character portion 33 of the image 30 are complemented, the processing load of the complement processing is reduced. Thus, efficiency can be improved.
  • the set of missing pixels D can be dispersed or reduced in size, so that it is possible to improve complementation accuracy.
  • the defective pixel D is likely to be generated near the outer edge of the character represented by the non-transparent pixel 61 of the character image 60
  • the character represented by the non-transparent pixel 61 in the target patch 7 is determined.
  • the outer edge is likely to be included (that is, the non-transparent pixel 61 and the background portion 35 are likely to be mixed in the target patch 7).
  • the similar patch 9 is also determined in the vicinity of the outer edge of the character represented by the non-transparent pixel 61, so that it is possible to improve the complementary accuracy in the vicinity of the outer edge of the character.
  • the character represented by the non-transparent pixel 61 of the character image 60 is anti-aliased, or when the background portion 35 of the image 30 is a fine pattern of two or more colors. Is particularly effective.
  • the identification of the similar patch 9 in S10 to S14 may be performed in the image 30 in which the character image 60 is not synthesized. That is, as illustrated in FIG. 13, the control unit 11 specifies each candidate patch 8 in the image 30 including the pre-translation character string 32, calculates the similarity, and includes the pre-translation character string 32 in the image 30.
  • the similar patch 9 may be determined by the above. According to this, based on the pixel value of the pixel of the similar patch 9 determined in the image 30 including the pre-translation character string 32, the target patch 7 identified in the image 30 synthesized with the character image 60 (FIG. 11). The pixel value of the defective pixel D is determined.
  • the character image 60 before the character image 60 is synthesized. It can be expected that the state of the pixels in the original image 30, particularly the state of the pixels near the outer edge of the character portion 33, can be reproduced more easily.
  • the identification of the similar patch 9 in S10 to S13 may be performed in a partial area (search area 38) corresponding to the pre-translation character string 32 in the image 30.
  • search area 38 is set so that the pre-translation character string 32 is included in the pre-combination image 30.
  • the search area 38 is set so that at least one of the pre-translation character string 32 and the post-translation character string 37 is included in the combined image 30.
  • the inside of the circumscribed rectangle including both the pre-translation character string 32 and the post-translation character string 37 is preferably set as the search area 38.
  • the similar patch 9 is easily determined in the vicinity of the outer edge of the character represented by the non-transparent pixel 61 (in the case of the image 30, in the vicinity of the outer edge of the character portion 33).
  • it has little effect on complementation accuracy. That is, by setting the search area 38 as described above, the search area 38 is narrowed down to an area where the similar patch 9 is likely to appear, so that the processing load of the complementary processing is further reduced and the efficiency is further improved. It is possible to make it.
  • the pixel value of the pixel designated as the defective pixel D is erased and the pixel value of the defective pixel D is complemented from 0 to a new value.
  • the present invention is not limited to this mode. Correction of increasing or decreasing the pixel value may be performed without deleting the pixel value of the pixel designated as the pixel D.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

　本発明の画像処理装置は、画像（３０）に表される第１のテキストと文字画像（６０）に表される第２のテキストとが重なるように画像（３０）上に文字画像（６０）が重畳された合成画像（３０），（６０）において、翻訳前文字列を構成する文字部分（３３）のうち、翻訳後文字列を構成する非透明画素（６１）により被覆されない部分を欠損画素Ｄとし、合成画像（３０），（６０）内の欠損画素Ｄの色属性を、合成画像（３０），（６０）内又は画像（３０）内の一部の色属性を利用して補正する。

Description

画像処理装置、画像処理方法、情報記憶媒体、及びプログラム
　本発明は、画像処理装置、画像処理方法、情報記憶媒体、及びプログラムに関し、特にはテキストと一体化した画像の処理に関する。
　画像処理の分野では、テキストと一体化した画像からテキストを除去したい場合がある。
　例えば、仮想商店街サイトでは、バーゲンなどで用いられる「最終日」等のテキストを、注意を喚起するための図形等の要素を含む背景画像に重畳させた画像が用いられることがある。こうした画像からテキストを読み取り、他の言語に翻訳した上で、翻訳後のテキストを上記背景画像に重畳させた新たな画像を生成する際に、画像と一体化している翻訳前のテキストを除去することができれば便利である。
　特許文献１には、単一色の用紙に黒で文字が印字された文書をスキャンして得たビットマップ画像から文字を認識した後、その文字を描画していた画素を用紙と同じ属性の画素で埋め戻し、その後、認識した文字を翻訳して別の新たな文字を取得し、画素の埋め戻された箇所に書き込む技術が開示されている。
特開２００６－２５１９０２号公報
　特許文献１に開示された技術では、後の工程で翻訳後の文字を書き込むにも関わらず、翻訳前の文字を描画していた全ての画素を用紙と同じ属性の画素で埋め戻していることから、効率が悪い。なお、背景が単一色でない場合に翻訳前の文字を描画していた全ての画素を埋め戻してから翻訳後の文字を書き込むのだとすれば、背景が複雑になって埋め戻しのための処理が複雑化すればするほど負担が増し、効率が下がるおそれがある。
　本発明が解決しようとする課題は、画像と一体化しているテキストを他のテキストに置換する一連の処理において、画像と一体化しているテキストを該画像から除去する処理の効率を高める、という点である。
　上記課題を解決するため、本発明の画像処理装置は、原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定する対象特定手段と、画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する出力手段と、を備える。
　また、本発明の画像処理方法は、原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定し、画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する。
　また、本発明のプログラムは、原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定する対象特定手段、及び、画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する出力手段、としてコンピュータを機能させる。
　また、本発明の情報記憶媒体は、原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定する対象特定手段、及び、画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する出力手段、としてコンピュータを機能させるプログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。
　また、本発明の一態様では、前記第２のテキストを構成する部分の少なくとも一部の色属性が前記第１のテキストを構成する部分の少なくとも一部の色属性と同一又は略同一である前記被覆画像を前記原画像上に重畳して前記合成画像を生成する合成手段をさらに備え、前記対象特定手段は、前記生成された合成画像において前記補正対象部分を特定し、前記補正手段は、前記補正対象部分とその隣接部分とを含む対象領域と隣接部分の色属性パターンが近似する近似領域における該補正対象部分に対応する部分の色属性を利用して、該補正対象部分の色属性を決定する。
　また、本発明の一態様では、前記補正手段は、前記近似領域を前記合成画像内又は前記原画像内で特定する。
　また、本発明の一態様では、前記第１のテキストを構成する部分と前記第２のテキストを構成する部分との少なくとも一方を含み、かつ前記合成画像の全体よりも狭い探索範囲を、該合成画像内において特定する範囲特定手段をさらに備え、前記補正手段は、前記特定された探索範囲内において前記近似領域を特定する。
　また、本発明の一態様では、前記範囲特定手段は、前記第１のテキストを構成する部分と前記第２のテキストを構成する部分とを含む外接矩形の内部を前記探索範囲として特定する。
　また、本発明の一態様では、前記第１のテキストを構成する部分を含み、かつ前記原画像の全体よりも狭い探索範囲を、該原画像内において特定する範囲特定手段をさらに備え、前記補正手段は、前記特定された探索範囲内において前記近似領域を特定する。
　また、本発明の一態様では、前記合成手段は、前記第２のテキストを構成する部分により前記第１のテキストを構成する部分が被覆される度合いに関する所定の条件を満たすように、前記被覆画像を前記原画像上に重畳させる位置を決定する。
　また、本発明の一態様では、前記第２のテキストを構成する部分により前記第１のテキストを構成する部分が被覆される割合を表す被覆率を算出する算出手段をさらに備え、前記合成手段は、前記算出された被覆率が所定の閾値以上又は超過の場合に、前記所定の条件を満たすと判定する。
　また、本発明の一態様では、前記特定された補正対象部分の色属性を消去する消去手段をさらに備え、前記出力手段は、補正対象の画像内における色属性が欠落した部分を前記補正対象部分として認識する前記補正手段に、前記補正対象部分の色属性が消去された前記合成画像を出力する。
　また、本発明の一態様では、前記補正手段をさらに備える。
　本発明によると、補正する必要のない部分が補正の対象から除外されるため、画像と一体化しているテキストを該画像から除去する補正処理の効率が高めることが可能である。
本発明の実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。 画像の一例を示す図である。 画像処理後の画像の一例を示す図である。 画像処理装置で実現される機能の一例を示す機能ブロック図である。 画像処理装置で実行される処理の一例を示すフローチャートである。 文字認識処理により特定される文字領域の一例を示す図である。 画像に含まれる翻訳前文字列の一例を示す図である。 翻訳前文字列の構成画素マップの一例を示す図である。 翻訳後文字列の文字画像の一例を示す図である。 画像と文字画像の合成（又は、構成画素マップと文字画像の比較）の一例を示す図である。 対象パッチの特定の一例を示す図である。 類似パッチの特定の一例を示す図である。 類似パッチの特定の他の一例を示す図である。 類似パッチを探索する領域の一例を示す図である。
　以下、本発明の実施形態の例について図面に基づき詳細に説明する。
　図１は、本発明の実施形態に係る画像処理装置１０のハードウェア構成の一例を示す図である。画像処理装置１０は、例えばサーバコンピュータ、デスクトップ型コンピュータ、ラップトップ型コンピュータ、又はタブレット型コンピュータ等によって実現される。
　図１に示されるように、画像処理装置１０は、制御部１１、記憶部１２、光ディスクドライブ部１３、通信インタフェース部１４、操作部１５、表示部１６、及び音声出力部１７を含んでいる。
　制御部１１は、例えば１又は複数のマイクロプロセッサを含み、記憶部１２に記憶されたオペレーティングシステム又はプログラムに従って情報処理を実行する。記憶部１２は、例えばＲＡＭ、ハードディスク、又はソリッドステートドライブを含んでいる。光ディスクドライブ部１３は、光ディスク（情報記憶媒体）に記憶されたプログラムやデータを読み取る。
　プログラムやデータは、光ディスクを介して記憶部１２に供給される。すなわち、プログラムやデータは、光ディスクドライブ部１３によって光ディスクから読み出され、記憶部１２に記憶される。なお、光ディスク以外の情報記憶媒体（例えばメモリカード）に記憶されたプログラム又はデータを読み取るための構成要素が画像処理装置１０に含まれていてもよい。そして、光ディスク以外の情報記憶媒体を介してプログラムやデータが記憶部１２に供給されるようにしてもよい。
　通信インタフェース部１４は、画像処理装置１０を通信ネットワークに接続するためのインタフェースである。画像処理装置１０は、通信ネットワークを介して他の装置とデータを授受できるようになっている。なお、プログラム及びデータは、通信ネットワークを介して記憶部１２に供給されるようにしてもよい。
　操作部１５は、ユーザが操作を行うためのものである。例えば、キーボード、マウス、タッチパッド、タッチパネル、又はスティック（レバー）等が操作部１５に相当する。表示部１６は、例えば液晶表示ディスプレイ又は有機ＥＬディスプレイ等である。音声出力部１７は、例えばスピーカ又はヘッドホン端子等である。
　画像処理装置１０は、データベース２０にアクセスできるようになっている。データベース２０は、画像処理装置１０以外の装置（例えばサーバ）において実現されていてもよいし、画像処理装置１０において実現されていてもよい。
　データベース２０には画像が記憶されている。例えば、図示しないＷｅｂサーバによって提供される仮想商店街サイトにおいて利用される画像が、データベース２０に記憶されている。すなわち、仮想商店街に出店している店舗の担当者によって用意された画像がデータベース２０に記憶されている。
　図２は、データベース２０に記憶される画像３０の一例を示す図である。図２に示される画像３０は、文字列３２が背景画像３４上に表された、文字列３２と背景画像３４が一体化した画像である。文字列３２は、例えばバーゲンなどで用いられる「最終日」という日本語の文字列を表している。また、背景画像３４は、例えば注意を喚起するための図形を含んでおり、２種類以上の色を含んでいる。また、背景画像３４は、実写された画像など、幾何学的な図形に比して複雑な要素を含んでいてもよい。
　なお、こうした画像３０では、一般的に、文字列３２が背景画像３４とは異なる目立つ色で書かれていることが多い。また、文字列３２は単色で書かれることが多く、横方向、縦方向、又は斜め方向に整列している場合が多い。
　図３は、画像処理装置１０による画像処理後の画像３９の一例を示す図である。図３に示される画像３９は、上記画像３０の文字列３２が変換された文字列３７が、上記画像３０と同じ背景画像３４上に表された、文字列３７と背景画像３４が一体化した画像である。文字列３７は、例えば「最終日」という日本語の文字列が翻訳された「ＦＩＮＡＬ　ＤＡＹ」という英語の文字列を表している。
　以下、図２に示されるような画像３０から変換前の文字列３２を読み取り、他の言語などに変換した上で、変換後の文字列３７と背景画像３４とを含む新たな画像３９を生成する技術について説明する。
　図４は、画像処理装置１０で実現される機能のうち、本発明に関連する機能を示す機能ブロック図である。図４に示されるように、画像処理装置１０は、原画像取得部４１、文字認識部４２、文字列変換部４３、文字画像取得部４４、合成位置決定部４５、画像合成部４６、及び欠損補完部４７を含んでいる。また、文字認識部４２は、構成画素特定部４２ａ、及び文字情報取得部４２ｂを含んでいる。また、欠損補完部４７は、欠損画素指定部４７ａ、対象パッチ特定部４７ｂ、類似パッチ特定部４７ｃ、及び画素値決定部４７ｄを含んでいる。図４に示される機能ブロックは、画像処理装置１０の制御部１１によって実現される。
　原画像取得部４１は、データベース２０から画像３０を取得し、文字認識部４２、画像合成部４６、及び欠損補完部４７に出力する。
　文字認識部４２は、画像３０に含まれる変換前の文字列３２を認識する。画像３０に含まれる変換前の文字列３２は、第１のテキストの一例である。文字認識部４２が実行する文字認識処理としては、例えばＯＣＲ（Optical Character Recognition）とも呼ばれる公知の文字認識処理が適用される。具体的には、文字認識部４２は、図６に示されるように文字列３２の各文字に対応する文字領域３６を特定し、文字領域３６内のパターンを予め登録されたパターンと照合することで、文字列３２の各文字を認識する。
　文字認識部４２に含まれる構成画素特定部４２ａは、画像３０に含まれる変換前の文字列３２を構成する構成画素を特定し、構成画素の位置を表す構成画素マップを合成位置決定部４５及び欠損補完部４７に出力する。変換前の文字列３２を構成する構成画素は、例えば、図６に示される文字領域３６内を２値化することで特定される。構成画素のパターンは、文字認識処理に利用される。
　文字認識部４２に含まれる文字情報取得部４２ｂは、文字認識処理により変換前の文字列３２を表す文字情報を取得し、文字列変換部４３に出力する。文字情報は、例えば文字列３２に含まれる各文字の文字コードを含んでいる。
　なお、本実施形態では、文字認識処理により変換前の文字列３２を表す文字情報を取得しているが、この態様に限られず、例えば、変換前の文字列３２を表す文字情報が画像３０に読み取り可能に埋め込まれていて、それを取得する態様であってもよい。
　文字列変換部４３は、変換前の文字列３２を表す文字情報が入力されると、変換前の文字列３２を変換して、変換後の文字列３７を表す文字情報を文字画像取得部４４に出力する。文字列変換部４３によって変換された変換後の文字列３７は、第２のテキストの一例である。本実施形態では、文字列３２は他の言語に翻訳される。例えば、「最終日」という日本語の文字列３２は、「ＦＩＮＡＬ　ＤＡＹ」という英語の文字列３７に翻訳される。
　この態様に限られず、文字列３２は同一言語の異なる種類の文字に変換されてもよい。例えば「最終日」という漢字の文字列３２は、「さいしゅうび」という平仮名の文字列に変換されてもよいし、「サイシュウビ」という片仮名の文字列に変換されてもよい。なお、文字列に含まれる文字の数は、複数に限られず１つであってもよい。
　また、例えば文字列３２が日付や金額などの内容を表す場合、文字列３２は、その内容に対応する新たな内容を表す文字列に更新されてもよい。例えば、制御部１１は、文字列３２が日付又は金額であることを認識すると、現在の日付又は金額などの情報を取得して、文字列３２を当該日付又は金額を表す文字列に更新する。
　文字画像取得部４４は、変換後の文字列３７を表す文字情報が入力されると、不図示のフォントデータベースから変換後の文字列３７を表す文字画像を取得し、合成位置決定部４５及び画像合成部４６に出力する。アウトラインフォントの場合、変換後の文字列３７を表す文字画像はラスタライズされた上で出力される。ビットマップフォントの場合、変換後の文字列３７を表す文字画像はそのまま出力される。
　合成位置決定部４５は、算出手段の一例であり、変換後の文字列３７を構成する部分としての、文字画像の非透明画素が、画像３０に含まれる変換前の文字列３２を構成する部分としての構成画素を被覆する度合いが所定の条件を満たすように、変換後の文字列３７を表す文字画像の合成位置を決定する。
　画像合成部４６は、合成手段の一例であり、変換後の文字列３７を表す文字画像を、画像３０の変換前の文字列３２上に合成する。具体的には、変換後の文字列３７を表す文字画像は、画像３０上の合成位置決定部４５により決定された位置に合成される。
　欠損補完部４７は、画像３０の変換前の文字列３２を構成する部分のうち、変換後の文字列３７を構成する部分に被覆されない部分を補正対象部分とみなして、補正対象部分の色属性を補正する。具体的には、欠損補完部４７は、画像３０の変換前の文字列３２を構成する構成画素のうち、変換後の文字列３７を表す文字画像に被覆されない画素を欠損画素とみなして、欠損画素の画素値を他の画素の画素値に基づいて補完する。欠損画素は補正対象部分の一例であり、画素値は色属性の一例である。欠損画素の補完方法については、後に詳しく述べる。
　欠損補完部４７に含まれる欠損画素指定部４７ａは、対象特定手段、出力手段、及び消去手段の一例であり、変換後の文字列３７を表す文字画像が合成された後の画像３０内の欠損画素を指定する。欠損画素指定部４７ａは、欠損画素を指定するデータを、合成後の画像３０と関連付けて、対象パッチ特定部４７ｂ及び画素値決定部４７ｄに出力する。欠損画素を指定するデータは、例えば、合成後の画像３０内における欠損画素の位置を表す座標データを含んでいる。
　欠損補完部４７に含まれる対象パッチ特定部４７ｂは、変換後の文字列３７を表す文字画像が合成された後の画像３０内で対象パッチを特定する。対象パッチは、対象領域の一例であり、補正対象部分としての欠損画素と、その隣接部分としての隣接画素と、を含む。
　欠損補完部４７に含まれる類似パッチ特定部４７ｃは、範囲特定手段の一例であり、変換後の文字列３７を表す文字画像が合成された後の画像３０内、又は変換後の文字列３７を表す文字画像が合成される前の画像３０内で、対象パッチに対応する類似パッチを特定する。類似パッチは、近似領域の一例である。なお、類似パッチ特定部４７ｃは、合成された後又は前の画像３０内で類似パッチを探索するための探索範囲を絞り込んでもよい。
　ここで、類似パッチとは、画像３０内で特定される複数の候補パッチの中で、対象パッチと類似するものを指す。類似するとは、対象パッチに含まれる隣接画素の画素値と、それら隣接画素に対応する候補パッチ内の画素の画素値と、が近いことを指す。
　欠損補完部４７に含まれる画素値決定部４７ｄは、補正手段の一例であり、類似パッチに含まれる画素の画素値に基づいて、欠損画素の画素値を決定する。具体的には、対象パッチに含まれる欠損画素の画素値が、その欠損画素に対応する類似パッチ内の画素の画素値に基づいて決定される。
　なお、図４に示される機能ブロックは、複数の装置に分散させてもよい。例えば、文字認識部４２による文字認識処理と、画像合成部４６による画像合成処理と、欠損補完部４７による欠陥処理と、が別々の装置で実行されてもよい。また、これらの処理が時間的に離れていてもよく、この場合、文字認識処理や画像合成処理で生成されるデータがデータベースに一時的に保持されてもよい。また、クライアントサーバシステムにおいて、サーバからの指令に応じてクライアントが一部の処理を実行してもよい。
　図５は、欠損補完部４７は、欠損画素指定部４７ａ、対象パッチ特定部４７ｂ、類似パッチ特定部４７ｃ、及び画素値決定部４７ｄを実現するために、画像処理装置１０で実行される処理の一例を示すフローチャートである。制御部１１が図５に示す処理をプログラムに従って実行することによって、制御部１１が欠損補完部４７、欠損画素指定部４７ａ、対象パッチ特定部４７ｂ、類似パッチ特定部４７ｃ、及び画素値決定部４７ｄとして機能するようになる。以下、図５を参照しながら、欠損補完部４７、欠損画素指定部４７ａ、対象パッチ特定部４７ｂ、類似パッチ特定部４７ｃ、及び画素値決定部４７ｄの詳細について説明する。
　図５のＳ１において、制御部１１は、翻訳前文字列３２の構成画素マップ５０を取得する。
　翻訳前文字列３２の構成画素マップ５０を説明する前に、画像３０に含まれる翻訳前文字列３２について説明する。図７は、画像３０に含まれる翻訳前文字列３２の一例を示す図である。同図では、理解を容易にするため、翻訳前文字列３２に含まれる文字として「あ」の文字を表している。また、同図では、理解を容易にするため「あ」の文字の背景を無色にしているが、実際には背景画像３４は１又は複数種類の色を有している。同図に示されるように、画像３０は、翻訳前文字列３２に係る文字部分３３と、背景画像３４に係る背景部分３５と、を有している。また、翻訳前文字列３２の各文字にアンチエイリアスが施されている場合、文字部分３３のうち、背景部分３５との境界付近には、明度が互いに異なる複数種類の画素が存在する。こうした画像３０に含まれる文字部分３３の画素が、翻訳前文字列３２を構成する構成画素として特定される。なお、文字部分３３は、翻訳前文字列３２を構成する１又は複数の構成画素を含む画素集合である。
　図８は、翻訳前文字列３２の構成画素マップ５０の一例を示す図である。構成画素マップ５０は、翻訳前文字列３２の各文字を構成する構成画素５２と、文字を構成しない背景の画素である非構成画素５４と、を有している。図中の×印が付された画素は構成画素５２を表し、×印が付されていない画素は非構成画素５４を表している。同図に示される構成画素マップ５０の構成画素５２は、上記図７に示される画像３０の「あ」の文字を表す文字部分３３の画素に対応している。
　図５のＳ２において、制御部１１は、翻訳後文字列３７の文字画像６０を取得する。
　図９は、翻訳後文字列３７の文字画像６０の一例を示す図である。同図では、理解を容易にするため、翻訳後文字列３７に含まれる文字として「Ａ」の文字を表している。文字画像６０は、翻訳後文字列３７の各文字を構成する非透明画素６１と、文字を構成しない透明画素６３と、を有している。また、翻訳後文字列３７の各文字にアンチエイリアスが施されている場合、非透明画素６１は、明度が互いに異なる複数種類の画素からなる。
　図７及び図９に示されるように、文字画像６０の翻訳後文字列３７を構成する部分（非透明画素６１の集合）の各部は、画像３０の翻訳前文字列３２に係る文字部分３３の各部と同一又は略同一の色属性を有している。
　なお、翻訳後文字列３７の文字画像６０の大きさは、画像３０内に特定される文字領域３６（図６及び図７を参照）の大きさ又は一連の複数の文字領域３６を連結した領域の大きさに応じて決定される。
　ここで、翻訳後文字列の文字画像６０は、被覆画像の一例である。被覆画像は、例えば、原画像３０と同じ大きさの透明画像に文字画像６０を合成した画像であってもよい。
　図５のＳ３において、制御部１１は、変換後文字列３７を表す文字画像６０を画像３０上に合成する合成位置を取得する。
　合成位置は、上記図４に示される合成位置決定部４５により、翻訳前文字列３２の構成画素マップ５０と、翻訳後文字列３７の文字画像６０とに基づいて決定されている。具体的には、合成位置決定部４５は、文字画像６０の非透明画素６１が構成画素マップ５０の構成画素５２を被覆する被覆率が所定の閾値以上又は超過となるように合成位置を決定する。被覆率は、構成画素マップ５０の構成画素５２の全数に対する、文字画像６０の非透明画素６１により被覆される構成画素５２の数の割合として表される。例えば、合成位置決定部４５は、構成画素マップ５０上で文字画像６０を１又は複数画素分ずつ移動させながら、その度に被覆率を算出し、被覆率が最も高い位置を合成位置として決定する。
　図５のＳ４において、制御部１１は、翻訳前文字列３２の構成画素マップ５０と、翻訳後文字列３７の文字画像６０とを比較する。構成画素マップ５０と比較する際の文字画像６０の位置としては、上記Ｓ３で取得した合成位置が用いられる。
　図１０は、構成画素マップ５０と文字画像６０の比較の一例を示す図である（なお、図１０は、後述する画像３０と文字画像６０の合成の一例を示す図でもある）。この比較により、構成画素マップデータ５０に含まれる構成画素５２のうち、文字画像６０の非透明画素６１に被覆されない構成画素５２の位置（すなわち、画像３０上に文字画像６０を合成したときに、文字画像６０の非透明画素６１に被覆されない文字部分３３の位置）が特定される。
　図５のＳ５において、制御部１１は、上記Ｓ４の比較により特定される、文字画像６０の非透明画素６１に被覆されない構成画素５２の位置を、欠損画素Ｄの位置として決定する。
　図５のＳ６において、制御部１１は、文字画像６０が合成された画像３０を取得する。図１０に示されるように、文字画像６０が合成された画像３０では、文字画像６０の非透明画素６１で表される文字の外縁近傍に、非透明画素６１に被覆されなかった画像３０の文字部分３３が残されている。
　図５のＳ７において、制御部１１は、文字画像６０が合成された画像３０において、非透明画素６１に被覆されなかった画像３０の文字部分３３の画素を欠損画素Ｄとみなして指定する。例えば、このとき、欠損画素Ｄとして指定される画素の画素値が消去される（すなわち０とされる）。このように欠損画素Ｄとして指定される画素の画素値を消去した場合、以下に説明する補完処理の簡易化を図ることが可能である。なお、欠損画素Ｄの指定は、このような画素値の消去に限られない。例えば、合成後の画像３０内における欠損画素Ｄの位置を表す座標データを生成してもよい。
　以下のＳ８～Ｓ１６では、文字画像６０が合成された画像３０における欠損画素Ｄの画素値を、他の画素の画素値に基づいて補完する補完処理が実行される。補完処理には、例えば公知のインペインティングなどの補完手法が適用される。なお、これに限られず、線形補間などの他の補完手法であってもよい。
　図５のＳ８において、制御部１１は、複数の欠損画素Ｄの中から、補完対象となる欠損画素Ｄを１つ選択する。補完対象となる欠損画素Ｄを選択する際、画素値を有する隣接画素の数が多い欠損画素Ｄから優先的に補完対象として選択される。例えば、複数の欠損画素Ｄが集合している場合には、周縁に近い欠損画素Ｄから優先的に補完対象として選択される。
　補完対象となる欠損画素Ｄが選択されると、文字画像６０が合成された画像３０内で対象パッチ７が特定される。図１１は、対象パッチ７の特定の一例を示す図である。対象パッチ７は、中央に形成された欠損画素領域７２と、その周囲に形成された隣接画素領域７４と、を有している。欠損画素領域７２は、補完対象として選択された欠損画素Ｄのための領域である。隣接画素領域７４は、その欠損画素Ｄと隣接する隣接画素のための領域である。図１１の例では、隣接画素には、４つの非透明画素６１と、３つの背景部分３５の画素と、１つの欠損画素Ｄと、が含まれている。特に、対象パッチ７の右半分に非透明画素６１が集中し、対象パッチ７の左半分に背景部分３５の画素が集中している。なお、本実施形態では、対象パッチ７の大きさは３×３画素分であるが、これよりも大きくてもよい。
　図５のＳ９において、制御部１１は、文字画像６０が合成された画像３０内で特定された対象パッチ７の画素の画素値を取得する。具体的には、制御部１１は、対象パッチ７の隣接画素領域７４に含まれる各画素の画素値を取得する。
　図５のＳ１０において、制御部１１は、文字画像６０が合成された画像３０内で候補パッチ８を特定して、図１２に示されるような候補パッチ８の画素の画素値を取得する。具体的には、制御部１１は、候補パッチ８の隣接対応領域８３に含まれる各画素の画素値を取得する。
　候補パッチ８は、対象パッチ７に類似する類似パッチ９を決定するための、対象パッチ７に対応するパッチである。図１２は、類似パッチ９の特定の一例を示す図である。候補パッチ８は、中央に形成された欠損対応領域８１と、その周囲に形成された隣接対応領域８３と、を有している。欠損対応領域８１は、対象パッチ７の欠損画素領域７２に対応する領域である。隣接対応領域８３は、対象パッチ７の隣接画素領域７４に対応する領域である。
　図５のＳ１１において、制御部１１は、対象パッチ７の画素の画素値と候補パッチ８の画素の画素値との類似度を算出する。類似度は、例えば、対象パッチ７の隣接画素領域７４に含まれる各画素の画素値と、候補パッチ８の隣接対応領域８３に含まれる各画素の画素値との差の二乗和などである。
　当該Ｓ１０及びＳ１１の処理は、文字画像６０が合成された画像３０内で候補パッチ８を１又は複数画素分ずつずらしながら、その度に繰り返される（Ｓ１２及びＳ１３）。これにより、候補パッチ８の各位置での類似度が算出される。
　図５のＳ１４において、制御部１１は、候補パッチ８の各位置での類似度に基づいて、類似パッチ９を決定する。具体的には、最も類似度が高い候補パッチ８が、類似パッチ９として決定される。図１２の例では、図１１で示された対象パッチ７と同様に、類似パッチ９の右半分に非透明画素６１が集中し、類似パッチ９の左半分に背景部分３５の画素が集中している。
　図５のＳ１５において、制御部１１は、類似パッチ９の画素の画素値に基づいて欠損画素Ｄの画素値を決定する。具体的には、類似パッチ９の欠損対応領域９２内の画素の画素値に基づいて、対象パッチ７の欠損画素領域７２内の欠損画素Ｄの画素値が決定される。例えば、欠損対応領域９２内の画素の画素値と同じ値が、欠損画素領域７２内の欠損画素Ｄの画素値として適用される。このようにして、補完対象となる欠損画素Ｄの画素値が補完される。
　以上のＳ８～Ｓ１５の処理は、補完対象となる欠損画素Ｄを順番に選択しながら、その度に繰り返される（Ｓ１６）。そして、全ての欠損画素Ｄで画素値が決定されると、一連の処理が終了する（Ｓ１６：ＹＥＳ）。例えば、複数の欠損画素Ｄが集合している場合には、周縁に近い欠損画素Ｄから順番に画素値が補完されていく。換言すると、欠損画素Ｄの集合の周縁が徐々に内側にシフトし、集合の大きさが徐々に小さくなって、最終的に消滅する。
　以上のように、本実施形態によると、文字画像６０が合成された画像３０において、非透明画素６１に被覆されなかった画像３０の文字部分３３の画素を欠損画素Ｄとみなして、欠損画素Ｄの画素値を補完することで、画像３０の文字部分３３の全ての画素の画素値を補完する場合よりも、欠損画素Ｄの数を低減することができるので、補完処理の処理負担を軽減して、効率を向上させることが可能である。また、本実施形態によると、欠損画素Ｄの集合を分散させたり、大きさを小さくできるので、補完精度の向上を図ることが可能である。
　また、本実施形態によると、文字画像６０の非透明画素６１で表される文字の外縁近傍に欠損画素Ｄが生成されやすいことから、対象パッチ７内に非透明画素６１で表される文字の外縁が含まれやすい（すなわち、対象パッチ７内に非透明画素６１と背景部分３５の画素とが混在しやすい）。これに伴い、類似パッチ９も、非透明画素６１で表される文字の外縁近傍において決定されることから、文字の外縁近傍における補完精度の向上を図ることも可能である。すなわち、翻訳前文字列３２を表す画像３０上に翻訳後文字列３７を表す文字画像６０を重畳させることで、類似パッチ９が出現しやすい状況が作り出されるので、補完処理の処理負担を軽減して、効率を向上させることが可能である。
　また、本実施形態は、文字画像６０の非透明画素６１で表される文字にアンチエイリアスが施されている場合や、画像３０の背景部分３５が２種類以上の色の細かな模様である場合に、特に有効である。
　なお、上記Ｓ１０～Ｓ１４における類似パッチ９の特定は、文字画像６０が合成されていない画像３０内で行われてもよい。すなわち、制御部１１は、図１３に示されるように、翻訳前文字列３２を含む画像３０内で候補パッチ８をそれぞれ特定し、類似度を算出し、翻訳前文字列３２を含む画像３０内で類似パッチ９を決定してもよい。これによると、翻訳前文字列３２を含む画像３０内で決定された類似パッチ９の画素の画素値に基づいて、文字画像６０が合成された画像３０内で特定された対象パッチ７（図１１を参照）の欠損画素Ｄの画素値が決定される。
　このように、文字画像６０が合成されていない、翻訳前文字列３２を含む画像３０内で類似パッチ９が決定されることにより、上述の効果に加えて、文字画像６０が合成される前の元の画像３０内の画素の状態、特に文字部分３３の外縁近傍の画素の状態をより再現しやすいという効果が期待できる。
　また、上記Ｓ１０～Ｓ１３における類似パッチ９の特定は、画像３０内の翻訳前文字列３２に対応する一部の領域（探索領域３８）の中で行われるようにしてもよい。例えば、図１４に示されるように、合成前の画像３０内に翻訳前文字列３２を含むように探索領域３８が設定される。
　また、合成後の画像３０内で類似パッチ９を特定する場合は、合成後の画像３０内に翻訳前文字列３２及び翻訳後文字列３７の少なくとも一方を含むように探索領域３８が設定される。このとき、翻訳前文字列３２及び翻訳後文字列３７の両方を含む外接矩形の内部を探索領域３８とすることが好ましい。
　類似度を算出する候補パッチ８の移動を探索領域３８内に限定することで、類似パッチ９を決定する計算処理の処理負担を軽減することが可能である。なお、上述したように、類似パッチ９は非透明画素６１で表される文字の外縁近傍（画像３０であれば、文字部分３３の外縁近傍）で決定されやすいことから、探索領域３８を限定しても補完精度への影響は少ない。すなわち、上記のように探索領域３８を設定することで、類似パッチ９が出現する可能性が高い領域に探索領域３８が絞られるので、補完処理の処理負担をより軽減して、効率をより向上させることが可能である。
　以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々の変形実施が当業者にとって可能であるのはもちろんである。
　上記実施形態では、欠損画素Ｄとして指定される画素の画素値を消去した上で、欠損画素Ｄの画素値を０から新たな値に補完していたが、この態様に限られず、例えば、欠損画素Ｄとして指定される画素の画素値を消去することなく、その画素値を増減等する補正を行ってもよい。
　１０　画像処理装置、１１　制御部、１２　記憶部、１３　光ディスクドライブ部、１４　通信インタフェース部、１５　操作部、１６　表示部、１７　音声出力部、２０　データベース、３０　画像（原画像の一例）、３２　文字列（翻訳前文字列）、３３　文字部分、３４　背景画像、３５　背景部分、３６　文字領域、３７　文字列（翻訳後文字列）、３８　探索領域、３９　画像、４１　原画像取得部、４２　文字認識部、４２ａ　構成画素特定部、４２ｂ　文字情報取得部、４３　文字列変換部、４４　文字画像取得部、４５　合成位置決定部（算出手段の一例）、４６　画像合成部（合成手段の一例）、４７　欠損補完部、４７ａ　欠損画素指定部（対象特定手段、出力手段、及び消去手段の一例）、４７ｂ　対象パッチ特定部、４７ｃ　類似パッチ特定部（範囲特定手段の一例）、４７ｄ　画素値決定部（補正手段の一例）、５０　構成画素マップ、５２　構成画素、５４　非構成画素、６０　文字画像、６１　非透明画素、６３　透明画素、７　対象パッチ、７２　欠損画素領域、７４　隣接画素領域、８　候補パッチ、８１　欠損対応領域、８３　隣接対応領域、９　類似パッチ、９２　欠損対応領域、Ｄ　欠損画素。

Claims (13)

  1. 　原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定する対象特定手段と、
    　画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する出力手段と、
    　を備える画像処理装置。
  2. 　前記第２のテキストを構成する部分の少なくとも一部の色属性が前記第１のテキストを構成する部分の少なくとも一部の色属性と同一又は略同一である前記被覆画像を前記原画像上に重畳して前記合成画像を生成する合成手段をさらに備え、
    　前記対象特定手段は、前記生成された合成画像において前記補正対象部分を特定し、
    　前記補正手段は、前記補正対象部分とその隣接部分とを含む対象領域と隣接部分の色属性パターンが近似する近似領域における該補正対象部分に対応する部分の色属性を利用して、該補正対象部分の色属性を決定する、
    　請求項１に記載の画像処理装置。
  3. 　前記補正手段は、前記近似領域を前記合成画像内又は前記原画像内で特定する、
    　請求項２に記載の画像処理装置。
  4. 　前記第１のテキストを構成する部分と前記第２のテキストを構成する部分との少なくとも一方を含み、かつ前記合成画像の全体よりも狭い探索範囲を、該合成画像内において特定する範囲特定手段をさらに備え、
    　前記補正手段は、前記特定された探索範囲内において前記近似領域を特定する、
    　請求項２または３に記載の画像処理装置。
  5. 　前記範囲特定手段は、前記第１のテキストを構成する部分と前記第２のテキストを構成する部分とを含む外接矩形の内部を前記探索範囲として特定する、
    　請求項４に記載の画像処理装置。
  6. 　前記第１のテキストを構成する部分を含み、かつ前記原画像の全体よりも狭い探索範囲を、該原画像内において特定する範囲特定手段をさらに備え、
    　前記補正手段は、前記特定された探索範囲内において前記近似領域を特定する、
    　請求項２または３に記載の画像処理装置。
  7. 　前記合成手段は、前記第２のテキストを構成する部分により前記第１のテキストを構成する部分が被覆される度合いに関する所定の条件を満たすように、前記被覆画像を前記原画像上に重畳させる位置を決定する、
    　請求項２ないし６の何れかに記載の画像処理装置。
  8. 　前記第２のテキストを構成する部分により前記第１のテキストを構成する部分が被覆される割合を表す被覆率を算出する算出手段をさらに備え、
    　前記合成手段は、前記算出された被覆率が所定の閾値以上又は超過の場合に、前記所定の条件を満たすと判定する、
    　請求項７に記載の画像処理装置。
  9. 　前記特定された補正対象部分の色属性を消去する消去手段をさらに備え、
    　前記出力手段は、補正対象の画像内における色属性が欠落した部分を前記補正対象部分として認識する前記補正手段に、前記補正対象部分の色属性が消去された前記合成画像を出力する、
    　請求項１ないし８の何れかに記載の画像処理装置。
  10. 　前記補正手段をさらに備える、
    　請求項１ないし９の何れかに記載の画像処理装置。
  11. 　原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定し、
    　画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する、
    　画像処理方法。
  12. 　原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定する対象特定手段、及び、
    　画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する出力手段、
    　としてコンピュータを機能させるプログラム。
  13. 　原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定する対象特定手段、及び、
    　画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する出力手段、
    　としてコンピュータを機能させるプログラムを記録したコンピュータ読み取り可能な情報記憶媒体。
PCT/JP2013/059768 2013-03-29 2013-03-29 画像処理装置、画像処理方法、情報記憶媒体、及びプログラム Ceased WO2014155745A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013550700A JP5512903B1 (ja) 2013-03-29 2013-03-29 画像処理装置、画像処理方法、情報記憶媒体、及びプログラム
PCT/JP2013/059768 WO2014155745A1 (ja) 2013-03-29 2013-03-29 画像処理装置、画像処理方法、情報記憶媒体、及びプログラム
US14/439,662 US9519984B2 (en) 2013-03-29 2013-03-29 Image processing device, image processing method, information storage medium, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/059768 WO2014155745A1 (ja) 2013-03-29 2013-03-29 画像処理装置、画像処理方法、情報記憶媒体、及びプログラム

Publications (1)

Publication Number Publication Date
WO2014155745A1 true WO2014155745A1 (ja) 2014-10-02

Family

ID=51031164

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/059768 Ceased WO2014155745A1 (ja) 2013-03-29 2013-03-29 画像処理装置、画像処理方法、情報記憶媒体、及びプログラム

Country Status (3)

Country Link
US (1) US9519984B2 (ja)
JP (1) JP5512903B1 (ja)
WO (1) WO2014155745A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032997B (zh) * 2019-01-07 2021-02-19 武汉大学 一种基于图像分割的自然场景文本定位方法
US11347381B2 (en) * 2019-06-13 2022-05-31 International Business Machines Corporation Dynamic synchronized image text localization
US11145119B2 (en) 2019-10-18 2021-10-12 Omniscient Neurotechnology Pty Limited Differential brain network analysis
CN111160265B (zh) * 2019-12-30 2023-01-10 Oppo（重庆）智能科技有限公司 文件转换方法、装置、存储介质及电子设备
WO2021230863A1 (en) 2020-05-13 2021-11-18 Google Llc Image replacement inpainting
CN114520875B (zh) * 2022-01-28 2024-04-02 西安维沃软件技术有限公司 视频处理方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251902A (ja) * 2005-03-08 2006-09-21 Fuji Xerox Co Ltd 翻訳文書画像生成装置、翻訳文書画像生成プログラム及び翻訳文書画像生成方法
JP2009053838A (ja) * 2007-08-24 2009-03-12 Fuji Xerox Co Ltd 翻訳装置及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030200078A1 (en) * 2002-04-19 2003-10-23 Huitao Luo System and method for language translation of character strings occurring in captured image data
JP2008084286A (ja) * 2006-09-01 2008-04-10 Toshiba Corp 電子漫画配信サーバ、および翻訳電子漫画作成装置
US8144990B2 (en) * 2007-03-22 2012-03-27 Sony Ericsson Mobile Communications Ab Translation and display of text in picture
US9104661B1 (en) * 2011-06-29 2015-08-11 Amazon Technologies, Inc. Translation of applications

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251902A (ja) * 2005-03-08 2006-09-21 Fuji Xerox Co Ltd 翻訳文書画像生成装置、翻訳文書画像生成プログラム及び翻訳文書画像生成方法
JP2009053838A (ja) * 2007-08-24 2009-03-12 Fuji Xerox Co Ltd 翻訳装置及びプログラム

Also Published As

Publication number Publication date
JP5512903B1 (ja) 2014-06-04
US9519984B2 (en) 2016-12-13
US20160035116A1 (en) 2016-02-04
JPWO2014155745A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP5512903B1 (ja) 画像処理装置、画像処理方法、情報記憶媒体、及びプログラム
JP2012203458A (ja) 画像処理装置及びプログラム
US7729013B2 (en) Image processing apparatus, image processing method, and computer program product
JP4142614B2 (ja) トラッピング方法、トラッピングプログラム、トラッピング装置および印刷システム
JP4125273B2 (ja) 画像処理装置及びその方法、プログラム
US20190361907A1 (en) Method for providing e-book service and computer program therefor
JP5858188B1 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN112927314A (zh) 一种图像数据处理方法、装置以及计算机设备
US9905030B2 (en) Image processing device, image processing method, information storage medium, and program
JP6337680B2 (ja) 画像処理システム、画像処理装置、プログラム及び画像処理方法
US9558574B2 (en) Method and system for conflating raster and vector data
JP5080297B2 (ja) 画像表示装置
US20120159292A1 (en) Method of processing an object-based image file with content type dependent image processing algorithms
JP5672168B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6194781B2 (ja) 画像処理装置及びプログラム
JP2006254342A (ja) 画像処理装置
JP2016139360A (ja) コンピュータプログラム及び制御装置
KR102853798B1 (ko) 디지털 문서에서의 컴포넌트 자동 조정 및 정렬 시스템 및 방법과 이를 수행하는 프로그램
JP4551906B2 (ja) 画像処理装置
CN111091606A (zh) 基于地图覆盖物渐变的解决方法
JP2010165070A (ja) 描画編集方法及び描画編集装置
JP4736489B2 (ja) 画像処理装置
JP2005142791A (ja) トラッピング方法、トラッピング装置、トラッピングプログラム、および印刷システム
KR100586602B1 (ko) 라스터 맵 오버레이 방법
JP2004126971A (ja) グラフィカルユーザインターフェース用部品生成装置、生成方法、生成プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013550700

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13880330

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14439662

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13880330

Country of ref document: EP

Kind code of ref document: A1