WO2022085076A1 - 方法、情報処理装置及びプログラム - Google Patents

方法、情報処理装置及びプログラム Download PDF

Info

Publication number
WO2022085076A1
WO2022085076A1 PCT/JP2020/039403 JP2020039403W WO2022085076A1 WO 2022085076 A1 WO2022085076 A1 WO 2022085076A1 JP 2020039403 W JP2020039403 W JP 2020039403W WO 2022085076 A1 WO2022085076 A1 WO 2022085076A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
document file
extracted
unit
Prior art date
Application number
PCT/JP2020/039403
Other languages
English (en)
French (fr)
Inventor
健太 菅原
Original Assignee
株式会社ラディウス・ファイブ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ラディウス・ファイブ filed Critical 株式会社ラディウス・ファイブ
Priority to PCT/JP2020/039403 priority Critical patent/WO2022085076A1/ja
Publication of WO2022085076A1 publication Critical patent/WO2022085076A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Definitions

  • This disclosure relates to methods, information processing devices and programs.
  • Patent Document 1 discloses a technique for matching a font displayed as a preview with a font of an actual printed matter with respect to a text font. ..
  • the font can be proofread by the technique disclosed in Patent Document 1, but it is difficult to proofread an object such as an image contained in the document file. Therefore, there is a limit to the proofreading of document files.
  • the present disclosure has been made in view of such problems, and an object of the present disclosure is to provide a method, an information processing apparatus, and a program capable of proofreading a document file with a higher degree of freedom.
  • a method relating to processing of a document file wherein the processor extracts the object from the data of the document file including the object, and processes the extracted object with respect to an image.
  • a method including performing a process of including the processed image obtained by the processing in a document file and outputting data of the document file including the processed image is provided.
  • an information processing apparatus for processing a document file, an object extraction unit that extracts the object from the data of the document file including the object, and an image for the extracted object.
  • An image processing unit that performs processing related to the above, a rewriting processing unit that includes the processed image obtained by the processing in the document file, an output control unit that outputs data of the document file including the processed image, and an output control unit.
  • An information processing device is provided.
  • it is a program for causing a computer to process a document file, and the computer is extracted by an object extraction unit that extracts the object from the data of the document file including the object.
  • the image processing unit that performs processing related to the image on the object, the rewriting processing unit that includes the processed image obtained by the processing in the document file, and the data of the document file including the processed image are output.
  • An output control unit and a program that functions as an output control unit are provided.
  • the document file can be proofread with a higher degree of freedom.
  • FIG. 1 is a diagram showing an overall configuration example of an image display system according to an embodiment of the present disclosure.
  • the system 1 of the present embodiment includes a server 10.
  • the server 10 is communicably connected to one or more user terminals 20 via the communication network NW.
  • the communication network NW is, for example, the Internet, and is constructed by a public telephone line network, a mobile phone line network, a wireless communication path, Ethernet (registered trademark), or the like.
  • the system 1 of the present embodiment extracts an object such as an image included in the created document file, performs image processing on the extracted object, and re-embeds the object after image processing in the document file. Then, the system 1 outputs a document file including the embedded image.
  • the output document file may be an update of the original document file or a newly generated document file.
  • the document file of the processing content includes a text composed of a natural language or the like, and may be text information to be processed.
  • the text is an example of an object. That is, the system 1 of the present embodiment may include a system that performs image processing based on such text information.
  • the file format of the output document file may be a file format different from the original document file (for example, an image file format or another document file format).
  • the above processing can be performed by the user operating the user terminal 20, selecting a document file to be subjected to a series of processing, and executing the series of processing on the selected document file.
  • the server 10 is a computer for processing a document file selected according to a user's operation on the user terminal 20.
  • the server 10 is an example of an information processing device.
  • the server 10 may be, for example, a personal computer, a workstation, or a virtual computer by cloud computing. It is assumed that the server 10 executes these functions as a so-called Web application.
  • the server 10 is shown as a single server in FIG. 1, the system 1 is not limited to this, and the system 1 has a plurality of processing servers including the server 10, and the processing in this system is performed by distributed processing. Can be done.
  • the increase / decrease in the number of servers that perform distributed processing can be dynamically changed according to the load of each processing and / or the size and / or number of document files and images to be processed. can. Further, the server 10 may process the document file online.
  • the user terminal 20 is a terminal device such as a mobile phone, a smartphone, a game machine, a tablet computer, or a personal computer.
  • the user terminal 20 displays a screen for selecting a document file to be processed, and transmits information regarding the selection of the document file by the user's operation to the server 10. Further, the user terminal 20 receives the processed data of the selected document file from the server 10.
  • application software a Web browser, or the like corresponding to the system 1 according to the present embodiment may be installed in the user terminal 20.
  • FIG. 2 is a diagram showing a hardware configuration example of the server 10 according to the present embodiment.
  • the server 10 includes at least a control unit 11, a memory 12, a storage 13, a transmission / reception unit 14, an input / output unit 15, and the like. These are electrically connected to each other through the bus 16.
  • the control unit 11 is an arithmetic unit that controls the operation of the entire processing server 1, controls the transmission and reception of data between each element, and performs information processing necessary for application execution and authentication processing.
  • the control unit 11 is, for example, a CPU (Central Processing Unit), and executes each information processing by executing a program or the like stored in the storage 13 and expanded in the memory 12.
  • the control unit 11 may be, for example, a GPU (Graphics Processing Unit) as a processor for image processing, and can simultaneously perform parallel processing of instructions from a CPU, which is a host, by a large number of cores. Further, the control unit 11 may simultaneously perform parallel processing by an accelerator or an accelerator cluster.
  • Examples of the accelerator include, and are not limited to, a CPU, GPU, FPGA, ASIC, a uniquely defined neural network dedicated arithmetic core, an arithmetic unit using light dedicated to inference, and the like.
  • known machine learning algorithms such as Boltzmann machine, Encoder-Decoder, GAN, VAE (Variational Autoencoder), and StyleTransfer are used.
  • the memory 12 includes a main storage composed of a volatile storage device such as a DRAM (Dynamic Random Access Memory) and an auxiliary storage composed of a non-volatile storage device such as a flash memory or an HDD (Hard Disk Drive). ..
  • the memory 12 is used as a work area or the like of the control unit 11, and also stores a BIOS (Basic Input / Output System) executed when the server 10 is started, various setting information, and the like. Further, the memory 12 may be used to store the automatically generated image data. In that case, the memory 12 may be, for example, VRAM (Video Random Access Memory).
  • the storage 13 stores various programs such as application programs.
  • a database (not shown) storing data used for each process may be built in the storage 13.
  • the transmission / reception unit 14 connects the server 10 to the communication network NW.
  • the transmission / reception unit 14 may be provided with a short-range communication interface such as Bluetooth (registered trademark) or Wi-Fi (registered trademark).
  • the transmission / reception unit 14 receives, for example, information about an image selected from the user terminal 20 or transmits image data automatically generated by the server 10 to the user terminal 20.
  • the input / output unit 15 is an information input device such as a keyboard, a mouse, a controller, and an output device such as a display.
  • the bus 16 is commonly connected to each of the above elements and transmits, for example, an address signal, a data signal, and various control signals.
  • FIG. 3 is a diagram showing a hardware configuration example of the user terminal 20 according to the present embodiment.
  • the user terminal 20 includes at least a control unit 21, a memory 22, a storage 23, a transmission / reception unit 24, an input / output unit 25, a display unit 26, and the like, which are electrically connected to each other through a bus 27. Since each component of the control unit 21, the memory 22, the storage 23, the transmission / reception unit 24, and the input / output unit 25 has the same hardware function as each component of the server 10 described above, the description thereof will be omitted.
  • the display unit 26 has a function of displaying various information.
  • the display unit 26 may be realized by, for example, a display or the like. Further, the display unit 26 may be realized by integrating the function with the input / output unit 25 such as a touch panel. In the present embodiment, the display unit 26 will be described as being realized by a touch panel (that is, one having a function of accepting a user's operation).
  • FIG. 4 is a diagram showing a functional configuration example of the control unit 11 according to the present embodiment.
  • the control unit 11 includes an acquisition unit 101, an object identification unit 102, an object extraction unit 103, a data analysis unit 104, an image processing unit 105, a rewriting processing unit 106, and an output control unit 107.
  • the control unit 11 included in the server 10 is stored in the storage 13. This is realized by reading the program to the memory 12 and executing it. Further, regarding the processing executed in each unit, parallel processing can be performed by a plurality of devices in the server 10 and / or another server according to the processing load and hardware resources.
  • the acquisition unit 101 has a function of acquiring various data.
  • the acquisition unit 101 acquires the document file data.
  • the acquisition unit 101 may acquire, for example, document file data stored in the storage 13 in advance or from external hardware such as the user terminal 20 through the input / output unit 15 or the like.
  • the document file in the present specification may be, for example, a PDF (Portable Document File) format file.
  • a document file in PDF format is a document file in which objects such as text and images are embedded.
  • the image quality of the embedded image or the like may deteriorate, or the image may be displayed in a form different from the original image at the time of actual printing or the like.
  • by selectively extracting such an image and performing image processing it is possible to obtain an appropriate image quality at the time of display.
  • the document file is not limited to the PDF format, and can be a file format such as a file format related to a word processor, a file format related to table calculation, a file format related to a presentation, and a file format related to image editing.
  • the file format may be PSD format, AI (Adobe Illustrator) format, Word format, Excel format, Powerpoint format, indesign format, or the like.
  • the acquisition unit 101 may acquire input information based on the user's operation on the user terminal 20 or the like, for example. Based on the acquired input information, for example, an image included in a document file is selected as an image processing target, and what kind of image processing is to be performed is selected.
  • the object specifying unit 102 has a function of specifying an image to be extracted from the data of the document file.
  • FIG. 5 is a diagram showing an example of a specific process by the object specifying unit 102 according to the present embodiment. As shown in the figure, it is assumed that the document file 1000 is displayed on the display unit 26 of the user terminal 20. The document file 1000 includes text 1001, image 1002, image 1003 and text 1004. Here, the object specifying unit 102 identifies at least one of the image 1002 and the image 1003 as an image to be processed.
  • the extracted image may be specified, for example, based on the user's input to the document file.
  • the object specifying unit 102 specifies the image 1002 as the image to be extracted when the image 1002 is selected as the extraction target by the user's operation on the user terminal 20 (for example, the operation of setting the selection area). You may.
  • the extracted image may be specified by analyzing the data of the document file.
  • the object identification unit 102 analyzes the data of the document file by the data analysis unit 104, which will be described later, and extracts a region recognized as image data (that is, an region corresponding to the image 1002 and the image 1003). It may be specified as an image to be performed. Further, the object specifying unit 102 may analyze the area based on the resolution of the image and specify the image to be extracted based on the analysis result. For example, a region (image) in which the resolution of the image is lower than a predetermined threshold value may be specified as the image to be extracted. This makes it possible to automatically extract images that require image processing.
  • the object specifying unit 102 may analyze the area based on the parameters related to the image quality of the image, and specify the image to be extracted based on the analysis result.
  • the parameters related to image quality are, for example, the dpi value as a parameter for measuring the resolution in an image, PSNR (Peak Signal-to-Noise Ratio) as a parameter for measuring room for image quality improvement, and the image is reduced to 1/2 by the bicubic method. After that, it may be the value of MS-SSIM (Multi-Scale Structural SIMilarity) with the original image obtained by magnifying the image twice again by the bicubic method.
  • MS-SSIM Multi-Scale Structural SIMilarity
  • FIG. 6 is a diagram showing an example of specific processing by the object identification unit 102 according to the present embodiment.
  • images 1002 and 1003 can be identified as extraction regions 1010 and extraction regions 1011.
  • the object specifying unit 102 can specify various objects included in the document file, such as text and moving images, as extraction targets.
  • the object extraction unit 103 has a function of extracting a specified image.
  • the specified images 1002 and 1003 extraction areas 1010 and 1011
  • the object extraction unit 103 may extract them as one image data.
  • the object extraction unit 103 is an example of an image extraction unit.
  • the object extraction unit 103 can extract various objects included in the document file, such as text and moving images, in addition to the image.
  • the data analysis unit 104 has a function of analyzing document file data.
  • the analysis result can be used, for example, as a condition for identifying or extracting an object as described above, or as a condition for improving efficiency in image processing.
  • the data analysis unit 104 may analyze the document file data composed of a plurality of pages, acquire the information of each page, and perform the analysis.
  • the information on each page includes, for example, information on image quality such as font, size and location of text contained in each page, image color, shape, position, resolution, brightness, saturation, hue and contrast, letter art, etc. Information can be included.
  • evaluation values as scores and rankings based on the uniformity among a plurality of pages and the quality of each page can be output.
  • the unity and quality may be determined in advance based on a learning model obtained by machine learning, for example.
  • the learning model may be updated with feedback from users and developers as appropriate.
  • Various processes based on the analysis results obtained by the data analysis unit 104 will be described later.
  • the image processing unit 105 performs processing related to the image on the extracted object.
  • the image processing unit 105 has a function of performing image processing on the extracted image.
  • the type of image processing by the image processing unit 105 is not particularly limited, and known image processing can be performed.
  • examples of image processing include super-resolution processing, high-resolution processing, style conversion processing, blur removal processing, coloring processing, color tone correction processing, HDR conversion processing, and various other processing.
  • Other image processing includes, for example, a process of generating a three-dimensional model from an image, a process of generating an image based on another viewpoint in a three-dimensional model generated from an image, a process of changing information about an environment contained in the image, and a process of changing information about the environment contained in the image.
  • a weight reduction process There can be at least one of a weight reduction process, a defect completion process, an object removal process, and a crop process to another image.
  • image processing may be based on machine learning. Further, such image processing may be performed by distributed processing by a plurality of servers. For example, when there are a plurality of extracted images, processing may be performed by a different server for each one or more images. Further, the image processing unit 105 may perform different processing for each of the images.
  • the image processing unit 105 may perform image processing on one of the images.
  • the plurality of images can be rewritten into one post-processed image that has been image-processed by the rewriting processing unit 106 described later. This makes it possible to reduce the load of image processing. Further, the image processing unit 105 may collectively perform image processing on the images included in one page.
  • the image processing unit 105 previously performs an image included in at least one page or more of the document file in advance before the processing related to the image identification by the object identification unit 102 and the image extraction by the object extraction unit 103.
  • Image processing temporary image processing
  • the image processing may be a processing having a lower processing load than the image processing performed after the extraction. This makes it possible to confirm in advance the finish of the document file after image processing.
  • the output control unit 107 which will be described later, may output the display related to the document file to which the temporary image processing has been performed to the display unit 26.
  • the image processing unit 105 may perform image processing on objects other than the images included in the document file. Specifically, the image processing unit 105 may perform image processing on the text included in the document file to generate an image. The image processing unit 105 may, for example, modify an image based on the information of the extracted text, or may perform a process of modifying another extracted image based on the information of the text.
  • the rewriting processing unit 106 has a function of including the processed image in the document file.
  • the rewriting processing unit 106 has a function of including the processed image in the document file instead of the image included in the document file.
  • FIG. 7 is a diagram showing an example of rewriting processing by the rewriting processing unit 106 according to the present embodiment. As shown in the figure, it is assumed that the document file 1100 is displayed on the display unit 26 of the user terminal 20. Document file 1100 includes text 1101, image 1102, image 1103 and text 1104. The texts 1101 and 1104 are similar to the texts 1001 and 1004 shown in FIGS. 5 and 6, but the images 1102 and 1103 are post-processed images obtained by performing image processing on the images 1002 and 1003. .. That is, the rewriting processing unit 106 performs a process of including the processed images 1102 and 1103 obtained by image processing each image in the area where the images 1002 and 1003 are located.
  • the rewriting processing unit 106 is not limited to having a function of simply embedding the processed image after image processing in the document file.
  • the rewriting processing unit 106 may perform processing for changing the arrangement or the like of objects (for example, images, texts, etc.). "Changing the placement, etc.” includes changing the object from its position in the original document file. Further, “changing the arrangement, etc.” may include changing the object itself contained in the original document file.
  • FIG. 8 is a diagram showing another example of the rewriting process by the rewrite processing unit 106 according to the present embodiment.
  • the positions of the image 1103 (after image processing) and the text 1104 included in the document file 1100 are different from the positions shown in FIG. 7.
  • the rewriting process is performed by the rewriting processing unit 106 so that the text is located on the left side and the image is located on the right side.
  • the rewriting processing unit 106 may, for example, analyze an image or text or the like based on an analysis result (for example, a tendency of text or image arrangement) obtained by analyzing a document file by the data analysis unit 104 or a predetermined rule.
  • the image to be changed in arrangement may be an image that has not been image-processed by the image processing unit 105.
  • the rewriting processing unit 106 may perform not only the processing of replacing the image with the image after the image processing but also the processing of changing the mode and arrangement of the image or the like in the document file.
  • the output control unit 107 has a function of outputting the data of the document file processed by the rewrite processing unit 106.
  • the output control unit 107 may output the data of the document file including the processed image.
  • the output mode is not particularly limited, but for example, when the system 1 is a web service or the like, the file format of the document file may be the same as before processing or may be a different file format. Further, the output mode may be image data corresponding to the display mode of the document file. Further, the data of the document file may be output and stored in the user terminal 20 or another server or the like.
  • the output control unit 107 may output the data of the document file and display a display for inputting feedback about the processed document file on the display unit 26 of the user terminal 20. This makes it possible to determine whether or not the document file is desired by the user, and the feedback based on the determination result can be used for re-learning the learning model described above. Further, the document file after such processing may be appropriately modified by an operation on the user terminal 20. The input information by such an operation is acquired by the acquisition unit 101, and the image processing or the like may be executed again by the image processing unit 105 or the like as appropriate based on the input information.
  • FIG. 9 is a flowchart showing a flow of processing executed by the system 1 of the present embodiment.
  • the acquisition unit 101 acquires the document file data from the user terminal 20 or the like (step SQ101).
  • the object specifying unit 102 specifies an image or the like to be extracted (step SQ102).
  • the object extraction unit 103 extracts the specified image (step SQ103).
  • the image processing unit 105 performs image processing on the specified image (step SQ104).
  • the rewriting processing unit 106 includes the processed image in the document file and arranges it (step SQ105). Then, the output control unit 107 outputs the processed document file data (step SQ106).
  • an object such as an image included in a document file is extracted, image processing is performed on the image, and the image after image processing is returned to the original document file (at that time, at that time). You may change the placement) easily.
  • the arrangement and design of images, texts, etc. included in the document file can be easily changed. Therefore, the document file can be proofread with a higher degree of freedom.
  • the rewriting processing unit 106 may also have a function of changing the arrangement of the image or text after the image processing, but the present technique is not limited to such an example.
  • the rewriting processing unit 106 may perform a process of changing at least one of at least one aspect and arrangement of the image and the object based on at least one of the image and the object contained in each of the plurality of pages. good.
  • the rewriting processing unit 106 may perform a process of automatically unifying the layout and design of each page.
  • the unifying process includes, for example, a process of adjusting the size, display mode (font, etc.), position, etc. of the image or text used on each page.
  • processing may be performed by, for example, the data analysis unit 104 analyzing information on the layout and design of a plurality of pages constituting the document file, and the rewriting processing unit 106 based on the analysis result. Further, in such processing, the rewriting processing unit 106 may change the mode and arrangement of objects such as images and texts based on a template prepared in advance.
  • FIGS. 10 and 11 are diagrams for showing an example of processing by the rewriting processing unit 106 according to the first modification of the present embodiment.
  • the document file 1200 is composed of a plurality of pages.
  • the document file 1200 includes pages 1201, 1202 and 1203.
  • Page 1201 contains text 2001 and image 2002
  • page 1202 contains images 2003 and text 2004,
  • page 1203 contains text 2005 and image 2006.
  • page 1202 has a layout different from that of other pages 1201 and 1203.
  • the text is arranged on the left side and the image is arranged on the right side, but on page 1202, the image is arranged on the upper side and the text is arranged on the lower side.
  • the image 2002 and the image 2006 are provided with a frame.
  • the data analysis unit 104 can analyze the data of the document file and output the analysis result that the arrangement and the design of the image are the basic patterns. Based on the analysis result, the rewriting processing unit 106 performs rewriting processing on the page 1202 having a layout and a design different from the above-mentioned basic pattern.
  • the image processing unit 105 may perform processing on the image.
  • the rewriting processing unit 106 performs processing for changing the mode and arrangement of objects such as images and texts included in page 1202 so as to have the same layout and design as pages 1201 and 1203. As shown in FIG. 11, the image 2003'of the page 1202'processed by the rewriting processing unit 106 is provided with the same frame as the images 2002 and 2006, and the text 2004'is on the left side of the page and the image 2003'. Can be repositioned on the right side of the page.
  • the rewriting processing unit 106 can easily edit a unified design for a document file composed of a plurality of pages. That is, the document file can be easily edited into a document file having a unified layout simply by loading the document file into the server 10.
  • the rewriting processing unit 106 may automatically edit the layout and design of each page according to the attributes of each page (for example, a page such as a table of contents, a title page, a content page, etc.). In particular, even a document file in which an object such as a PDF file is embedded can easily obtain a document file having a desired configuration.
  • the image processing unit 105 performs processing for each layer in a document file having a layer structure such as a PSD format, and then includes the processed layers in the document file.
  • the object specifying unit 102 specifies a layer to be extracted and processed.
  • the object extraction unit 103 extracts the specified layer.
  • the image processing unit 105 processes the extracted layer.
  • the processing here includes various image processing, image generation processing, image correction processing, and the like as described above.
  • the rewriting processing unit 106 performs a process of including the processed layer in the document.
  • the image processing unit 105 may perform image processing based on the information contained in each of the plurality of layers on one or more layers. ..
  • the processing for each layer may be the same processing or different processing. If the original document file is in a file format that does not have a layer structure, the image processing unit 105 divides the original document file into a plurality of layers, and the rewriting processing unit 106 writes the file as a file format that has a plurality of layer structures. You may.
  • the rewriting processing unit 106 can perform processing for changing the mode and arrangement of the layers. For example, the rewriting processing unit 106 may perform a process of changing the hierarchical relationship (arrangement) between layers.
  • the image processing unit 105 in this modification not only performs processing such as physical arrangement and adjustment in the document file, but also arranges and adjusts the layer structure itself, such as adjusting the overlapping relationship in the layer structure. Can be processed. Thereby, even in the document file having a layer structure, the document file having a desired aspect can be easily obtained.
  • the embodiments of the present disclosure are, for example, electronic devices, systems, methods performed on electronic devices or systems as described above, programs for operating electronic devices, and non-temporary tangible programs in which the programs are recorded.
  • the system 1 is composed of the server 10 and the user terminal 20, but the present technique is not limited to such an example.
  • the system 1 may be the same terminal or may be implemented by different terminals.
  • the system 1 may be configured only by the user terminal 20.
  • the functions of the server 10 may be realized by various hardware provided in the user terminal 20.
  • each step in the above embodiment does not necessarily have to be processed in chronological order in the order described as the flowchart.
  • each step in the processing of the above embodiment may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
  • the processor Extracting the object from the data in the document file that contains the object, Performing image-related processing on the extracted object and Performing the process of including the processed image obtained by the above process in the document file, and To output the data of the document file including the processed image, and How to include.
  • (Item 2) The method according to item 1, wherein the processor performs a process of including the processed image in the document file in place of the object included in the original document file.
  • (Item 3) The method of item 1 or 2, wherein the extracted object is identified based on user input to the document file.
  • (Item 4) The method according to item 3, wherein the object included in the document file is processed in advance based on machine learning before the selection based on the input by the user, and the extraction of the object is selected from the processed object. .. (Item 5)
  • (Item 6) The method according to any one of items 1 to 5, wherein the extracted object includes an image.
  • (Item 7) Item 6.
  • the method according to item 6, wherein the extracted image is specified by analysis based on the resolution of the image included in the document file.
  • (Item 8) The method according to item 6, wherein the extracted image is specified based on a parameter relating to the image quality of the image included in the document file.
  • the processing for the extracted image is super-resolution processing, high-resolution processing, style conversion processing, blur removal processing, coloring processing, color tone correction processing, HDR conversion processing, processing for generating a three-dimensional model from an image, and processing from an image. At least processing to generate an image based on other viewpoints in the generated 3D model, processing to change information about the environment contained in the image, processing to reduce weight, processing to complete defects, processing to remove objects, and processing to crop to other images.
  • the extracted object contains the text contained in the document file and contains The method according to any one of items 1 to 9, wherein the process performed on the extracted object includes an image generation process based on the text information or an image correction process based on the text information.
  • the processing is performed on at least one of the objects.
  • the method according to any one of items 1 to 10 wherein the processed image is included in the document file so as to correspond to each of the plurality of the same objects.
  • (Item 13) The method according to any one of items 1 to 11, further comprising performing a process of changing at least one of the aspects and arrangements of the objects.
  • (Item 14) The document file is composed of multiple pages. The method according to item 13, wherein the process of changing at least one of at least one of the embodiments and arrangements of the objects is performed based on at least one of the objects included in each of the plurality of pages.
  • (Item 15) The method according to any one of items 1 to 14, further comprising performing a process of changing the mode and arrangement of the processed image based on a user's input to the processed image.
  • the document file has a layered structure The method according to any one of items 1 to 15, wherein the process relating to the image for the layer and at least one of the processes for changing the mode and arrangement of the layer are performed.
  • Item 17 Item 6. The method according to any one of items 1 to 16, wherein the process is executed by distributed processing by a plurality of servers.
  • the document file is any one of items 1 to 17, including at least one of PDF (Portable Document File) format, PSD format, AI (Adobe Illustrator) format, Word format, Excel format, Powerpoint format and indesign format. The method described in.
  • An information processing device for processing document files is any one of items 1 to 17, including at least one of PDF (Portable Document File) format, PSD format, AI (Adobe Illustrator) format, Word format, Excel format, Powerpoint format and indesign format. The method described in.
  • Item 19 An information processing device for processing document files.
  • An object extractor that extracts the object from the data of the document file including the object, An image processing unit that performs image-related processing on the extracted objects, and The rewriting processing unit that includes the processed image obtained by the processing in the document file, and An output control unit that outputs the data of the document file including the processed image, and Information processing device equipped with.
  • Information processing device equipped with A program that lets a computer process document files.
  • the computer An object extractor that extracts the object from the data of the document file including the object, An image processing unit that performs image-related processing on the extracted objects, and A rewriting processing unit that includes the processed image obtained by the processing in the document file, and An output control unit that outputs the data of the document file including the processed image, and A program that functions as.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】ドキュメントファイルをより自由度高く校正することこと。 【解決手段】本開示に係るドキュメントファイルの処理に関する方法は、プロセッサが、オブジェクトを含むドキュメントファイルのデータから前記オブジェクトを抽出することと、抽出された前記オブジェクトに対して画像に関する処理を行うことと、前記処理されて得られる処理後画像を、ドキュメントファイルに含める処理を行うことと、前記処理後画像を含む前記ドキュメントファイルのデータを出力することと、を含む。

Description

方法、情報処理装置及びプログラム
 本開示は、方法、情報処理装置及びプログラムに関する。
 ドキュメントファイルの出力や印刷において、特許文献1には、テキストのフォントに対し、プレビューとして表示されるフォントと実際の印刷物のフォントとを一致させる技術が開示されている。。
特開2014-123168号公報
 直接的に修正が困難なドキュメントファイルにおいては、上記特許文献1に開示された技術によりフォントを校正することはできるが、ドキュメントファイルに含まれる画像等のオブジェクトに対する校正は困難である。そのため、ドキュメントファイルの校正に限度がある。
 本開示は、このような問題を鑑みてなされたものであり、ドキュメントファイルをより自由度高く校正することができる方法、情報処理装置及びプログラムを提供することを目的とする。
 本開示によれば、ドキュメントファイルの処理に関する方法であって、プロセッサが、オブジェクトを含むドキュメントファイルのデータから前記オブジェクトを抽出することと、抽出された前記オブジェクトに対して画像に関する処理を行うことと、前記処理されて得られる処理後画像を、ドキュメントファイルに含める処理を行うことと、前記処理後画像を含む前記ドキュメントファイルのデータを出力することと、を含む方法が提供される。
 また、本開示によれば、ドキュメントファイルの処理を行うための情報処理装置であって、オブジェクトを含むドキュメントファイルのデータから前記オブジェクトを抽出するオブジェクト抽出部と、抽出された前記オブジェクトに対して画像に関する処理を行う画像処理部と、前記処理されて得られる処理後画像を、前記ドキュメントファイルに含める書換処理部部と、前記処理後画像を含む前記ドキュメントファイルのデータを出力する出力制御部と、を備える情報処理装置が提供される。
 また、本開示によれば、コンピュータに、ドキュメントファイルの処理を行わせるためのプログラムであって、前記コンピュータを、オブジェクトを含むドキュメントファイルのデータから前記オブジェクトを抽出するオブジェクト抽出部と、抽出された前記オブジェクトに対して画像に関する処理を行う画像処理部と、前記処理されて得られる処理後画像を、前記ドキュメントファイルに含める書換処理部と、前記処理後画像を含む前記ドキュメントファイルのデータを出力する出力制御部と、として機能させるプログラムが提供される。
 その他本願が開示する課題やその解決方法については、本開示の実施形態の欄及び図面により明らかにされる。
 本開示によれば、ドキュメントファイルをより自由度高く校正することができる。
本開示の一実施形態に係るシステム1の全体構成例を示す図である。 同実施形態に係るサーバ10のハードウェア構成例を示す図である。 同実施形態に係るユーザ端末20のハードウェア構成例を示す図である。 同実施形態に係る制御部11の機能構成例を示す図である。 同実施形態に係るオブジェクト特定部102による特定処理の一例を示す図である。 同実施形態に係るオブジェクト特定部102による特定処理の一例を示す図である。 同実施形態に係る書換処理部106による書換処理の一例を示す図である。 同実施形態に係る書換処理部106による書換処理の他の例を示す図である。 同実施形態のシステム1により実行される処理の流れを示すフローチャートである。 本実施形態の第一の変形例に係る書換処理部106による処理の一例を示すための図である。 同変形例に係る書換処理部106による処理の一例を示すための図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 図1は、本開示の一実施形態に係る画像表示システムの全体構成例を示す図である。本実施形態のシステム1は、サーバ10を含んで構成される。サーバ10は、一又は複数のユーザ端末20と通信ネットワークNWを介して通信可能に接続される。通信ネットワークNWは、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット(登録商標)などにより構築される。
 本実施形態のシステム1は、作成されたドキュメントファイルに含まれる画像等のオブジェクトを抽出し、抽出されたオブジェクトに画像処理等を行い、画像処理後のオブジェクトをドキュメントファイルに再度埋め込む。そしてシステム1は、埋め込まれた画像を含むドキュメントファイルを出力するものである。出力されるドキュメントファイルは、元のドキュメントファイルを更新するものであってもよいし、新たに生成されるものであってもよい。また、処理内容のドキュメントファイルには、自然言語等により構成されるテキストを含むものであり、処理対象がかかるテキスト情報であってもよい。ここでは、テキストはオブジェクトの一例である。すなわち、本実施形態のシステム1は、かかるテキスト情報に基づいて画像処理を行うものも含みうる。また、出力されるドキュメントファイルのファイル形式は、元のドキュメントファイルとは異なるファイル形式(例えば、画像ファイル形式や、他のドキュメントファイル形式)であってもよい。例えば、ユーザがユーザ端末20を操作して、一連の処理を行う対象のドキュメントファイルを選択し、選択されたドキュメントファイルに対して一連の処理を実行することにより、上記の処理が行われ得る。
 サーバ10は、ユーザ端末20に対するユーザの操作に応じて選択されるドキュメントファイルに対して処理を行うためのコンピュータである。サーバ10は、情報処理装置の一例である。サーバ10は、たとえば、パーソナルコンピュータ、ワークステーション、またはクラウドコンピューティングによる仮想的なコンピュータであってもよい。サーバ10は、いわゆるWebアプリケーションとしてこれらの機能を実行することを想定する。なお、図1において、サーバ10は単一のサーバとして図示しているが、これに限らず、システム1は、サーバ10を含む複数の処理用サーバを有し、分散処理によって本システムにおける処理を実行することができる。また、ここで、分散処理を行うサーバの台数の増減を、各処理の負荷及び/または各処理を行う対象となるドキュメントファイルや画像のサイズおよび/または数に応じて動的に変更することもできる。また、サーバ10は、オンラインでドキュメントファイルを処理しても良い。
 ユーザ端末20は、携帯電話、スマートフォン、ゲーム機、タブレットコンピュータ、パーソナルコンピュータなどの端末機器である。
 ユーザ端末20は、処理する対象であるドキュメントファイルを選択するための画面を表示し、ユーザの操作によるドキュメントファイルの選択に関する情報をサーバ10に送信する。また、ユーザ端末20は、選択されたドキュメントファイルの処理後のデータをサーバ10から受信する。ユーザ端末20には、例えば、本実施形態に係るシステム1に対応するアプリケーションソフトやWebブラウザ等がインストールされていてもよい。
 図2は、本実施形態に係るサーバ10のハードウェア構成例を示す図である。サーバ10は、少なくとも、制御部11、メモリ12、ストレージ13、送受信部14及び入出力部15等を備える。これらはバス16を通じて相互に電気的に接続される。
 制御部11は、処理サーバ1全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。制御部11は、例えばCPU(Central Processing Unit)であり、ストレージ13に格納されメモリ12に展開されたプログラム等を実行して各情報処理を実施する。また、制御部11は、画像処理用のプロセッサとして、例えばGPU(Graphics Processing Unit)であってもよく、ホストであるCPUからの命令を多数のコアにより同時に並列処理を行うことができる。また、制御部11は、アクセラレーターや、アクセラレータークラスタにより同時に並列処理を行ってもよい。アクセラレーターとしては、例えば、CPU、GPU、FPGA、ASIC、独自定義のニューラルネットワーク専用演算コア、推論専用の光を用いた演算装置などが挙げられ、これらに限定されない。画像の自動生成処理は、例えば、ボルツマンマシン、Encoder-Decoder、GAN、VAE(Variational Autoencoder)、StyleTransfer等の公知の機械学習のアルゴリズムが用いられる。
 メモリ12は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ12は、制御部11のワークエリア等として使用され、また、サーバ10の起動時に実行されるBIOS(Basic Input/Output System)、及び各種設定情報等を格納する。また、メモリ12は、自動生成された画像データを格納するために用いられてもよい。その場合メモリ12は、例えば、VRAM(Video Random Access Memory)でありうる。
 ストレージ13は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース(図示せず)がストレージ13に構築されていてもよい。
 送受信部14は、サーバ10を通信ネットワークNWに接続する。なお、送受信部14は、Bluetooth(登録商標)やWi-Fi(登録商標)などの近距離通信インタフェースを備えていてもよい。送受信部14は、例えば、ユーザ端末20から選択された画像に関する情報を受信したり、サーバ10で自動生成した画像データをユーザ端末20に送信したりする。入出力部15は、キーボードやマウス類、コントローラ等の情報入力機器、及びディスプレイ等の出力機器である。
 バス16は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
 図3は、本実施形態に係るユーザ端末20のハードウェア構成例を示す図である。ユーザ端末20は、少なくとも、制御部21、メモリ22、ストレージ23、送受信部24、入出力部25、および表示部26等を備え、これらはバス27を通じて相互に電気的に接続される。制御部21、メモリ22、ストレージ23、送受信部24および入出力部25の各構成要素は上述したサーバ10の有する各構成要素のハードウェアとしての機能は同一であるため説明を省略する。
 表示部26は、各種情報を表示する機能を有する。表示部26は、例えば、ディスプレイ等により実現されてもよい。また、表示部26は、タッチパネルなど、入出力部25と機能が一体となって実現されるものであってもよい。本実施形態では、表示部26はタッチパネル(すなわちユーザの操作を受け付ける機能を有するもの)により実現されているものとして説明する。
 図4は、本実施形態に係る制御部11の機能構成例を示す図である。制御部11は、取得部101、オブジェクト特定部102、オブジェクト抽出部103、データ解析部104、画像処理部105、書換処理部106および出力制御部107を備える。
 なお、取得部101、オブジェクト特定部102、オブジェクト抽出部103、データ解析部104、画像処理部105、書換処理部106および出力制御部107は、サーバ10が備える制御部11がストレージ13に記憶されているプログラムをメモリ12に読み出して実行することにより実現される。また、各部で実行される処理について、その処理負荷やハードウェアリソースに応じて、サーバ10内の複数の装置、及び/または、他のサーバで並列処理を行うこともできる。
 取得部101は、各種データを取得する機能を有する。例えば、取得部101は、ドキュメントファイルデータを取得する。取得部101は、例えば、予めストレージ13に格納されているドキュメントファイルデータや、ユーザ端末20等の外部ハードウェアから入出力部15等を通じて取得してもよい。
 本明細書におけるドキュメントファイルとは、例えば、PDF(Portable Document File)形式のファイルであってもよい。PDF形式のドキュメントファイルは、テキストや画像等のオブジェクトが埋め込まれたドキュメントファイルである。PDFファイルは実際に紙等に印刷したり、スマートフォンやタブレット等のデバイスで閲覧したりする際に、共通のレイアウトを維持したまま表示させることが可能である。しかしながら、PDFファイル等に変換する際に、埋め込まれた画像等の画質が低下したり、実際の印刷時等において元の画像とは異なる態様で表示されることがある。本実施形態では、例えば、そのような画像を選択的に抽出し、画像処理を行うことで、表示の際に適切な画質となるようにすることができる。なお、ドキュメントファイルはPDF形式に限定されず、ワードプロセッサに係るファイル形式、表計算に係るファイル形式、プレゼンテーションに係るファイル形式、画像編集に係るファイル形式などのファイル形式を対象とすることができる。例えば、ファイル形式は、PSD形式、AI(Adobe Illustrator)形式、Word形式、Excel形式、Powerpoint形式またはindesign形式等であってもよい。
 また、取得部101は、例えば、ユーザ端末20等に対するユーザの操作に基づく入力情報を取得してもよい。取得した入力情報に基づき、例えば、ドキュメントファイルに含まれる画像が画像処理対象として選択されたり、どのような画像処理を行うかが選択されたりする。
 オブジェクト特定部102は、ドキュメントファイルのデータから、抽出対象である画像を特定する機能を有する。図5は、本実施形態に係るオブジェクト特定部102による特定処理の一例を示す図である。図示するように、ユーザ端末20の表示部26に、ドキュメントファイル1000が表示されているとする。ドキュメントファイル1000は、テキスト1001、画像1002、画像1003およびテキスト1004を含む。ここで、オブジェクト特定部102は、画像1002および画像1003の少なくともいずれかを画像処理対象の画像として特定する。
 抽出される画像は、例えば、ドキュメントファイルに対するユーザによる入力に基づいて特定されてもよい。具体的には、オブジェクト特定部102は、ユーザ端末20に対するユーザの操作(例えば選択領域を設定する操作)により、画像1002が抽出対象として選択された場合に、画像1002を抽出対象の画像として特定してもよい。
 また、抽出される画像は、ドキュメントファイルのデータを解析することにより特定されてもよい。具体的には、オブジェクト特定部102は、後述するデータ解析部104によりドキュメントファイルのデータを解析して画像データであると認識された領域(すなわち画像1002および画像1003に対応する領域)を、抽出される画像として特定してもよい。また、オブジェクト特定部102は、かかる領域について画像の解像度に基づく解析を行って、その解析結果に基づいて抽出される画像を特定してもよい。例えば、画像の解像度が所定の閾値を下回る領域(画像)を、抽出される画像として特定してもよい。これにより、画像処理が必要な画像について自動的に抽出することが可能となる。また、オブジェクト特定部102は、かかる領域について画像の画質に関するパラメータに基づく解析を行って、その解析結果に基づいて抽出される画像を特定してもよい。画質に関するパラメータは、例えば、画像内の解像度を測るパラメータとしてdpiの値、画質向上の余地を測るパラメータとしてPSNR(Peak Signal-to-Noise Ratio)や、画像をバイキュービック法で1/2に縮小した後に、再度2倍にバイキュービック法で拡大させて得られる元画像とのMS-SSIM(Multi-Scale Structural SIMilarity)の値であり得る。
 図6は、本実施形態に係るオブジェクト特定部102による特定処理の一例を示す図である。図示するように、画像1002および画像1003が、抽出領域1010および抽出領域1011として特定され得る。なお、オブジェクト特定部102は、画像の他に、テキストや動画など、ドキュメントファイルに含まれる各種オブジェクトを抽出対象として特定し得る。
 オブジェクト抽出部103は、特定された画像を抽出する機能を有する。例えば、図6に示した例では、特定された画像1002および1003(抽出領域1010および1011)を画像データとして抽出し、後述する画像処理のためのメモリ等に適宜出力され得る。なお、例えば、画像が1つのページに複数存在する場合は、例えば、オブジェクト抽出部103は、それらを一つの画像データとして抽出してもよい。なお、オブジェクト抽出部103は、画像抽出部の一例である。オブジェクト抽出部103は、画像の他に、テキストや動画など、ドキュメントファイルに含まれる各種オブジェクトを抽出し得る。
 データ解析部104は、ドキュメントファイルデータを解析する機能を有する。かかる解析結果は、例えば、前述したようなオブジェクトの特定や抽出のための条件として用いられたり、画像処理における効率化を図るための条件として用いられ得る。
 また、データ解析部104は、複数のページからなるドキュメントファイルデータを解析し、各ページの情報を取得し、解析を行ってもよい。各ページの情報とは、例えば、各ページに含まれるテキストのフォント、サイズおよび場所、画像の色、形状、位置、解像度、輝度、彩度、色相およびコントラスト等の画質に関する情報、並びにレターアート等の情報を含みうる。これらの解析結果としては、例えば、複数ページ間における統一性やそれぞれのページにおけるクオリティに基づく、スコアやランキングとしての評価値が出力され得る。統一性やクオリティは、例えば、予め機械学習により得られる学習モデルに基づいて決定されるものであってもよい。当該学習モデルは、適宜ユーザや開発者のフィードバックにより更新されるものであってもよい。このようなデータ解析部104により得られる解析結果に基づく各種処理については後述する。
 画像処理部105は、抽出されたオブジェクトに対して画像に関する処理を行う。本実施形態では、画像処理部105は、抽出された画像に対して画像処理を行う機能を有する。画像処理部105による画像処理の種類は特に限定されず、公知の画像処理を行うことができる。例えば、画像処理としては、超解像処理、高解像度処理、スタイル変換処理、ボケ除去処理、着彩処理、色調補正処理、HDR化処理その他の各種処理が挙げられる。その他の画像処理としては、例えば、画像から三次元モデルを生成する処理、画像から生成した三次元モデルにおける他の視点に基づく画像を生成する処理、画像に含まれる環境に関する情報を変更する処理、軽量化処理、欠損補完処理、オブジェクト除去処理、他の画像へのクロップ処理の少なくともいずれかがあり得る。かかる画像処理は、機械学習に基づくものであってもよい。また、かかる画像処理は、複数のサーバによる分散処理により行われてもよい。例えば、抽出された画像が複数である場合は、一以上の画像ごとにそれぞれ異なるサーバによって処理が行われてもよい。また、画像処理部105は、画像の各々についてそれぞれ異なる処理を行ってもよい。
 画像処理部105は、例えば、画像処理の対象となる画像が、ドキュメントファイルに複数含まれている場合に、そのうち一の画像に対して画像処理を行ってもよい。後述する書換処理部106により、該複数の画像は、画像処理がされた一の処理後画像にそれぞれ書き換えられ得る。これにより、画像処理の負荷を低減することができる。また、画像処理部105は、一のページに含まれる画像に対して、一括で画像処理を行ってもよい。
 また、画像処理部105は、オブジェクト特定部102による画像の特定や、オブジェクト抽出部103による画像の抽出に係る処理よりも前に、予めドキュメントファイルの少なくとも一ページ以上に含まれる画像に対して予め画像処理(仮の画像処理)を行ってもよい。この場合、画像処理は、抽出後に行われる画像処理よりも処理負荷の低い処理であってもよい。これにより、画像処理後のドキュメントファイルの仕上がりを予め確認することができる。この場合、後述する出力制御部107は、仮の画像処理を行ったドキュメントファイルに係る表示を表示部26に出力してもよい。
 また、画像処理部105は、ドキュメントファイルに含まれる画像以外のオブジェクトについての画像処理を行ってもよい。具体的には、画像処理部105は、ドキュメントファイルに含まれるテキストについて画像処理を行い、画像を生成してもよい。画像処理部105は、例えば、抽出されたテキストの情報に基づいて画像を修正してもよいし、かかるテキストの情報に基づいて、他に抽出された画像を修正する処理を行ってもよい。
 書換処理部106は、処理後画像をドキュメントファイルに含める機能を有する。例えば、書換処理部106は、処理後画像をドキュメントファイルに含まれる画像に代えてドキュメントファイルに含める機能を有する。図7は、本実施形態に係る書換処理部106による書換処理の一例を示す図である。図示するように、ユーザ端末20の表示部26に、ドキュメントファイル1100が表示されているとする。ドキュメントファイル1100は、テキスト1101、画像1102、画像1103およびテキスト1104を含む。テキスト1101および1104は、図5および図6に示したテキスト1001および1004と同様であるが、画像1102および1103は、画像1002および1003に対して画像処理を行って得られた処理後画像である。すなわち、書換処理部106は、画像1002および1003が位置していた領域に、各画像を画像処理して得られた処理後画像1102よび1103を含める処理を行う。
 なお、書換処理部106は、単に画像処理を行った処理後画像をドキュメントファイルに埋め込むだけの機能を有することに限定されない。例えば、書換処理部106は、オブジェクト(例えば、画像やテキスト等)の配置等を変更する処理を行ってもよい。「配置等を変更する」とは、オブジェクトを元のドキュメントファイルにおける位置から変更することを含む。さらに「配置等を変更する」は、元のドキュメントファイルに含まれるオブジェクトそのものを変更することを含みうる。
 図8は、本実施形態に係る書換処理部106による書換処理の他の例を示す図である。図8に示す例では、ドキュメントファイル1100に含まれる(画像処理後の)画像1103とテキスト1104との位置が、図7に示す位置とは異なる位置である。具体的には、図8に示す例では、ドキュメントファイルにおいて、テキストが左側に、画像が右側に位置するように、書換処理部106による書換処理が行われている。かかる書換処理部106は、例えば、データ解析部104によりドキュメントファイルを解析して得られる解析結果(例えばテキストや画像の配置の傾向等)や、予め定められたルールに基づいて、画像やテキスト等のオブジェクトの配置を変更してもよい。なお、配置の変更の対象となる画像は、画像処理部105による画像処理が行われていない画像であってもよい。このように、書換処理部106は、単に画像処理後の画像に差し替える処理を行うだけでなく、ドキュメントファイルにおける画像等の態様や配置を変更する処理を行ってもよい。
 書換処理部106による書換処理の変形例については後述する。
 出力制御部107は、書換処理部106により処理されたドキュメントファイルのデータを出力する機能を有する。例えば、出力制御部107は、処理後画像を含むドキュメントファイルのデータを出力し得る。出力態様は特に限定されないが、例えば、本システム1がウェブサービス等である場合は、ドキュメントファイルのファイル形式は、処理前と同様であってもよいし、異なるファイル形式であってもよい。また、出力態様は、ドキュメントファイルの表示態様に対応する画像データであってもよい。また、かかるドキュメントファイルのデータは、ユーザ端末20やその他のサーバ等に出力されて記憶されてもよい。
 また、出力制御部107は、ドキュメントファイルのデータを出力するとともに、処理されたドキュメントファイルについてのフィードバックを入力するための表示を、ユーザ端末20の表示部26に表示してもよい。これにより、ユーザが所望するドキュメントファイルであるかどうかを判定することが可能となり、また、その判定結果によるフィードバックを、上述した学習モデルの再学習のために用いることができる。また、かかる処理後のドキュメントファイルは、ユーザ端末20への操作により適宜修正可能なものであってもよい。かかる操作による入力情報は取得部101により取得され、かかる入力情報に基づき、適宜画像処理部105等により再度画像処理等が実行されてもよい。
 以上、制御部11のソフトウェア構成の各機能について説明した。次に、本実施形態に係るシステム1による処理の流れの一例について説明する。図9は、本実施形態のシステム1により実行される処理の流れを示すフローチャートである。
 まず、取得部101は、ユーザ端末20等からドキュメントファイルのデータを取得する(ステップSQ101)。次に、オブジェクト特定部102は抽出対象となる画像等を特定する(ステップSQ102)。次に、オブジェクト抽出部103は、特定された画像を抽出する(ステップSQ103)。
 次に、特定された画像に対して画像処理部105が画像処理を行う(ステップSQ104)。次に、書換処理部106は、処理後の画像をドキュメントファイルに含めて配置する(ステップSQ105)。そして、出力制御部107は、処理後のドキュメントファイルデータを出力する(ステップSQ106)。
 このように、本開示によれば、ドキュメントファイルに含まれる画像等のオブジェクトを抽出し、かかる画像に対して画像処理を行い、画像処理後の画像を元のドキュメントファイルに戻す(その際に、配置を変更してもよい)ことを簡単に行うことができる。また、ドキュメントファイルに含まれる画像やテキスト等の配置やデザインも、容易に変更することができる。よって、ドキュメントファイルをより自由度高く校正することができる。
 次に、本実施形態の第一の変形例について説明する。ここでは、書換処理部106の変形例について説明する。上記の実施形態において書換処理部106は、画像処理後の画像やテキストの配置を変更する機能も有しうるとしたが、本技術はかかる例に限定されない。例えば、書換処理部106は、複数のページのそれぞれに含まれる画像およびオブジェクトの少なくともいずれかに基づいて、画像およびオブジェクトの少なくともいずれかの態様および配置の少なくともいずれかを変更する処理を行ってもよい。より具体的には、ドキュメントファイルがプレゼンテーション用ファイルである場合に、各ページのレイアウトやデザインを自動的に統一化する処理を書換処理部106が行ってもよい。かかる統一化する処理は、例えば、各ページに用いられている画像やテキストのサイズ、表示態様(フォント等)、位置等を調整する処理を含む。かかる処理は、例えば、ドキュメントファイルを構成する複数のページにおけるレイアウトやデザインに関する情報をデータ解析部104が解析し、かかる解析結果に基づいて書換処理部106が行うものであってもよい。また、かかる処理は、予め用意されたテンプレートに基づいて、書換処理部106が画像やテキスト等のオブジェクトの態様や配置を変更するものであってもよい。
 図10および11は、本実施形態の第一の変形例に係る書換処理部106による処理の一例を示すための図である。図10に示すように、ドキュメントファイル1200は複数のページにより構成されている。ドキュメントファイル1200は、ページ1201、1202、1203を含む。ページ1201にはテキスト2001および画像2002が、ページ1202には画像2003およびテキスト2004が、ページ1203にはテキスト2005および画像2006が含まれている。このうち、ページ1202は、他のページ1201、1203とは異なるレイアウトを有している。ページ1201、1203においては左側にテキスト、右側に画像が配置されているが、ページ1202においては上側に画像、下側にテキストが配置されている。また、画像2002および画像2006には、枠が設けられている。例えば、データ解析部104は、ドキュメントファイルのデータを解析し、かかる配置および画像のデザインが基本のパターンであるという解析結果を出力しうる。書換処理部106は、かかる解析結果に基づいて、上記基本のパターンとは異なるレイアウトやデザインを有するページ1202に対して、書換処理を行う。なお、画像に対する処理については、画像処理部105が行ってもよい。
 書換処理部106は、例えば、ページ1202に含まれる画像やテキスト等のオブジェクトを、ページ1201やページ1203と同様のレイアウトやデザインとなるように、その態様や配置を変更する処理を行う。図11に示すように、書換処理部106により処理されたページ1202’の画像2003’には、画像2002、2006と同様の枠が設けられたり、テキスト2004’はページの左側に、画像2003’はページの右側に配置を変更され得る。
 このように、書換処理部106により、複数のページから構成されるドキュメントファイルに対して統一的なデザインを簡単に編集することができる。すなわち、ドキュメントファイルをサーバ10に読み込ませるだけで、簡単に統一的なレイアウトを有するドキュメントファイルに編集することができる。なお、書換処理部106は、ページごとの属性(例えば、目次等のページ、タイトルのページ、コンテンツのページ等)に応じて、そのページのレイアウトやデザインを自動的に編集してもよい。特に、PDFファイルのようなオブジェクトが埋め込まれたドキュメントファイルであっても、容易に所望の構成を有するドキュメントファイルを得ることができる。
 次に、本実施形態の第二の変形例について説明する。ここでは、画像処理部105が、PSD形式のようなレイヤー構造を有するドキュメントファイルにおいて、レイヤーごとに処理を行い、その後ドキュメントファイルに処理されたレイヤーを含める例について説明する。
 ドキュメントファイルがレイヤー構造を有する画像に関するファイルである場合、例えば、オブジェクト特定部102は、抽出して処理すべきレイヤーを特定する。オブジェクト抽出部103は、特定されたレイヤーを抽出する。画像処理部105は、抽出されたレイヤーに対して処理を行う。ここでの処理は、上述したような種々の画像処理や画像生成処理、画像修正処理等が含まれる。そして書換処理部106は、処理されたレイヤーをドキュメントに含める処理を行う。
 例えば、元のドキュメントファイルに複数のレイヤーが含まれている場合は、画像処理部105は、複数のレイヤーのそれぞれに含まれる情報に基づく画像処理を、一以上のレイヤーに対して行ってもよい。各レイヤーに対する処理は、同一の処理であってもよいし、相異なる処理であってもよい。また、元のドキュメントファイルがレイヤー構造を有しないファイル形式である場合は、画像処理部105により、複数のレイヤーに分割され、書換処理部106が複数のレイヤー構造を有するファイル形式として書き出す処理をしてもよい。なお、書換処理部106は、レイヤーの態様や配置を変更する処理を行いうる。例えば、書換処理部106は、レイヤー間の階層関係(配置)を変更する処理を行ってもよい。
 このように、本変形例における画像処理部105は、ドキュメントファイルにおける物理的な配置や調整等の処理を行うだけではなく、レイヤー構造における重なりの関係を調整する等、レイヤー構造そのものの配置や調整に関する処理を行いうる。これにより、レイヤー構造を有するドキュメントファイルにおいても、容易に所望の態様を有するドキュメントファイルを得ることができる。
 本開示の実施形態は、例えば、上記で説明したような電子機器、システム、電子機器またはシステムで実行される方法、電子機器を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記実施形態においては、システム1は、サーバ10とユーザ端末20とにより構成されていたが、本技術はかかる例に限定されない。例えば他の実施形態では、システム1は、同一の端末であってもよいし、異なる端末により実現されていてもよい。具体的には、システム1は、ユーザ端末20のみにより構成されてもよい。この場合、サーバ10が有している機能がユーザ端末20の備える各種ハードウェアにより実現されてもよい。
 また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(項目1)
 ドキュメントファイルの処理に関する方法であって、
 プロセッサが、
 オブジェクトを含むドキュメントファイルのデータから前記オブジェクトを抽出することと、
 抽出された前記オブジェクトに対して画像に関する処理を行うことと、
 前記処理されて得られる処理後画像を、ドキュメントファイルに含める処理を行うことと、
 前記処理後画像を含む前記ドキュメントファイルのデータを出力することと、
 を含む方法。
(項目2)
 前記プロセッサが、前記処理された処理後画像を、元の前記ドキュメントファイルに含まれる前記オブジェクトに代えて前記ドキュメントファイルに含める処理を行う、項目1に記載の方法。
(項目3)
 前記抽出されるオブジェクトは、前記ドキュメントファイルに対するユーザによる入力に基づいて特定される、項目1または2に記載の方法。
(項目4)
 前記ユーザによる入力に基づく選択の前に、予め前記ドキュメントファイルに含まれる前記オブジェクトに対して機械学習に基づく処理を行い、処理後オブジェクトから前記オブジェクトの抽出の選択を行う、項目3に記載の方法。
(項目5)
 前記抽出されるオブジェクトは、前記ドキュメントファイルのデータを解析することにより特定される、項目1~4のいずれか1項に記載の方法。
(項目6)
 前記抽出されるオブジェクトは画像を含む、項目1~5のいずれか1項に記載の方法。
(項目7)
 前記抽出される画像は、前記ドキュメントファイルに含まれる画像の解像度に基づく解析により特定される、項目6に記載の方法。
(項目8)
 前記抽出される画像は、前記ドキュメントファイルに含まれる画像の画質に関するパラメータに基づき特定される、項目6に記載の方法。
(項目9)
 前記抽出される画像に対する処理は、超解像処理、高解像度処理、スタイル変換処理、ボケ除去処理、着彩処理、色調補正処理、HDR化処理、画像から三次元モデルを生成する処理、画像から生成した三次元モデルにおける他の視点に基づく画像を生成する処理、画像に含まれる環境に関する情報を変更する処理、軽量化処理、欠損補完処理、オブジェクト除去処理、他の画像へのクロップ処理の少なくともいずれかを含む、項目6~8のいずれか1項に記載の方法。
(項目10)
 前記抽出されるオブジェクトは、前記ドキュメントファイルに含まれるテキストを含み、
 前記抽出されるオブジェクトに対して行う処理は、前記テキストの情報に基づく画像生成処理または前記テキストの情報に基づく画像修正処理を含む、項目1~9のいずれか1項に記載の方法。
(項目11)
 前記ドキュメントファイルが複数の同一のオブジェクトを含む場合に、前記オブジェクトのうち少なくとも一のオブジェクトに対して前記処理を行い、
 前記複数の同一のオブジェクトの各々に対応するように、前記処理後画像をそれぞれ前記ドキュメントファイルに含める処理を行う、項目1~10のいずれか1項に記載の方法。
(項目12)
 前記処理後画像を、前記ドキュメントファイルにおいて前記オブジェクトが配置されていた場所とは異なる位置に配置することを含む、項目1~11のいずれか1項に記載の方法。
(項目13)
 前記オブジェクトの態様および配置の少なくともいずれかを変更する処理を行うことをさらに含む、項目1~11のいずれか1項に記載の方法。
(項目14)
 前記ドキュメントファイルは、複数のページにより構成され、
 前記複数のページのそれぞれに含まれる前記オブジェクトの少なくともいずれかに基づいて、前記オブジェクトの少なくともいずれかの態様および配置の少なくともいずれかを変更する処理を行う、項目13に記載の方法。
(項目15)
 前記処理された処理後画像に対するユーザの入力に基づいて、前記処理後画像の態様および配置を変更する処理を行うことをさらに含む、項目1~14のいずれか1項に記載の方法。
(項目16)
 前記ドキュメントファイルはレイヤー構造を有し、
 レイヤーに対する画像に関する処理、並びに、前記レイヤーの態様および配置を変更する処理の少なくともいずれかを行う、項目1~15のいずれか1項に記載の方法。
(項目17)
 前記処理は、複数のサーバによる分散処理により実行される、項目1~16のいずれか1項に記載の方法。
(項目18)
 前記ドキュメントファイルは、PDF(Portable Document File)形式、PSD形式、AI(Adobe Illustrator)形式、Word形式、Excel形式、Powerpoint形式およびindesign形式の少なくともいずれかを含む、項目1~17のいずれか1項に記載の方法。
(項目19)
 ドキュメントファイルの処理を行うための情報処理装置であって、
 オブジェクトを含むドキュメントファイルのデータから前記オブジェクトを抽出するオブジェクト抽出部と、
 抽出された前記オブジェクトに対して画像に関する処理を行う画像処理部と、
 前記処理されて得られる処理後画像を、前記ドキュメントファイルに含める書換処理部部と、
 前記処理後画像を含む前記ドキュメントファイルのデータを出力する出力制御部と、
 を備える情報処理装置。
(項目20)
 コンピュータに、ドキュメントファイルの処理を行わせるためのプログラムであって、
 前記コンピュータを、
 オブジェクトを含むドキュメントファイルのデータから前記オブジェクトを抽出するオブジェクト抽出部と、
 抽出された前記オブジェクトに対して画像に関する処理を行う画像処理部と、
 前記処理されて得られる処理後画像を、前記ドキュメントファイルに含める書換処理部と、
 前記処理後画像を含む前記ドキュメントファイルのデータを出力する出力制御部と、
 として機能させるプログラム。
  1   システム
  10  サーバ
  11  制御部
  20  ユーザ端末
  101 取得部
  102 オブジェクト特定部
  103 オブジェクト抽出部
  104 データ解析部
  105 画像処理部
  106 書換処理部
  107 出力制御部

Claims (20)

  1.  ドキュメントファイルの処理に関する方法であって、
     プロセッサが、
     オブジェクトを含むドキュメントファイルのデータから前記オブジェクトを抽出することと、
     抽出された前記オブジェクトに対して画像に関する処理を行うことと、
     前記処理されて得られる処理後画像を、ドキュメントファイルに含める処理を行うことと、
     前記処理後画像を含む前記ドキュメントファイルのデータを出力することと、
     を含む方法。
  2.  前記プロセッサが、前記処理された処理後画像を、元の前記ドキュメントファイルに含まれる前記オブジェクトに代えて前記ドキュメントファイルに含める処理を行う、請求項1に記載の方法。
  3.  前記抽出されるオブジェクトは、前記ドキュメントファイルに対するユーザによる入力に基づいて特定される、請求項1または2に記載の方法。
  4.  前記ユーザによる入力に基づく選択の前に、予め前記ドキュメントファイルに含まれる前記オブジェクトに対して機械学習に基づく処理を行い、処理後オブジェクトから前記オブジェクトの抽出の選択を行う、請求項3に記載の方法。
  5.  前記抽出されるオブジェクトは、前記ドキュメントファイルのデータを解析することにより特定される、請求項1~4のいずれか1項に記載の方法。
  6.  前記抽出されるオブジェクトは画像を含む、請求項1~5のいずれか1項に記載の方法。
  7.  前記抽出される画像は、前記ドキュメントファイルに含まれる画像の解像度に基づく解析により特定される、請求項6に記載の方法。
  8.  前記抽出される画像は、前記ドキュメントファイルに含まれる画像の画質に関するパラメータに基づき特定される、請求項6に記載の方法。
  9.  前記抽出される画像に対する処理は、超解像処理、高解像度処理、スタイル変換処理、ボケ除去処理、着彩処理、色調補正処理、HDR化処理、画像から三次元モデルを生成する処理、画像から生成した三次元モデルにおける他の視点に基づく画像を生成する処理、画像に含まれる環境に関する情報を変更する処理、軽量化処理、欠損補完処理、オブジェクト除去処理、他の画像へのクロップ処理の少なくともいずれかを含む、請求項6~8のいずれか1項に記載の方法。
  10.  前記抽出されるオブジェクトは、前記ドキュメントファイルに含まれるテキストを含み、
     前記抽出されるオブジェクトに対して行う処理は、前記テキストの情報に基づく画像生成処理または前記テキストの情報に基づく画像修正処理を含む、請求項1~9のいずれか1項に記載の方法。
  11.  前記ドキュメントファイルが複数の同一のオブジェクトを含む場合に、前記オブジェクトのうち少なくとも一のオブジェクトに対して前記処理を行い、
     前記複数の同一のオブジェクトの各々に対応するように、前記処理後画像をそれぞれ前記ドキュメントファイルに含める処理を行う、請求項1~10のいずれか1項に記載の方法。
  12.  前記処理後画像を、前記ドキュメントファイルにおいて前記オブジェクトが配置されていた場所とは異なる位置に配置することを含む、請求項1~11のいずれか1項に記載の方法。
  13.  前記オブジェクトの態様および配置の少なくともいずれかを変更する処理を行うことをさらに含む、請求項1~11のいずれか1項に記載の方法。
  14.  前記ドキュメントファイルは、複数のページにより構成され、
     前記複数のページのそれぞれに含まれる前記オブジェクトの少なくともいずれかに基づいて、前記オブジェクトの少なくともいずれかの態様および配置の少なくともいずれかを変更する処理を行う、請求項13に記載の方法。
  15.  前記処理された処理後画像に対するユーザの入力に基づいて、前記処理後画像の態様および配置を変更する処理を行うことをさらに含む、請求項1~14のいずれか1項に記載の方法。
  16.  前記ドキュメントファイルはレイヤー構造を有し、
     レイヤーに対する画像に関する処理、並びに、前記レイヤーの態様および配置を変更する処理の少なくともいずれかを行う、請求項1~15のいずれか1項に記載の方法。
  17.  前記処理は、複数のサーバによる分散処理により実行される、請求項1~16のいずれか1項に記載の方法。
  18.  前記ドキュメントファイルは、PDF(Portable Document File)形式、PSD形式、AI(Adobe Illustrator)形式、Word形式、Excel形式、Powerpoint形式およびindesign形式の少なくともいずれかを含む、請求項1~17のいずれか1項に記載の方法。
  19.  ドキュメントファイルの処理を行うための情報処理装置であって、
     オブジェクトを含むドキュメントファイルのデータから前記オブジェクトを抽出するオブジェクト抽出部と、
     抽出された前記オブジェクトに対して画像に関する処理を行う画像処理部と、
     前記処理されて得られる処理後画像を、前記ドキュメントファイルに含める書換処理部部と、
     前記処理後画像を含む前記ドキュメントファイルのデータを出力する出力制御部と、
     を備える情報処理装置。
  20.  コンピュータに、ドキュメントファイルの処理を行わせるためのプログラムであって、
     前記コンピュータを、
     オブジェクトを含むドキュメントファイルのデータから前記オブジェクトを抽出するオブジェクト抽出部と、
     抽出された前記オブジェクトに対して画像に関する処理を行う画像処理部と、
     前記処理されて得られる処理後画像を、前記ドキュメントファイルに含める書換処理部と、
     前記処理後画像を含む前記ドキュメントファイルのデータを出力する出力制御部と、
     として機能させるプログラム。
PCT/JP2020/039403 2020-10-20 2020-10-20 方法、情報処理装置及びプログラム WO2022085076A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/039403 WO2022085076A1 (ja) 2020-10-20 2020-10-20 方法、情報処理装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/039403 WO2022085076A1 (ja) 2020-10-20 2020-10-20 方法、情報処理装置及びプログラム

Publications (1)

Publication Number Publication Date
WO2022085076A1 true WO2022085076A1 (ja) 2022-04-28

Family

ID=81290311

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039403 WO2022085076A1 (ja) 2020-10-20 2020-10-20 方法、情報処理装置及びプログラム

Country Status (1)

Country Link
WO (1) WO2022085076A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011141598A (ja) * 2010-01-05 2011-07-21 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2012014586A (ja) * 2010-07-02 2012-01-19 Ricoh Co Ltd 印刷制御プログラム、情報処理装置、記憶媒体、印刷装置、印刷システム
JP2017184047A (ja) * 2016-03-30 2017-10-05 キヤノンマーケティングジャパン株式会社 情報処理装置とその処理方法及びプログラム
US20190205636A1 (en) * 2018-01-02 2019-07-04 Bank Of America Corporation Artificial Intelligence Based Smart Data Engine

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011141598A (ja) * 2010-01-05 2011-07-21 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2012014586A (ja) * 2010-07-02 2012-01-19 Ricoh Co Ltd 印刷制御プログラム、情報処理装置、記憶媒体、印刷装置、印刷システム
JP2017184047A (ja) * 2016-03-30 2017-10-05 キヤノンマーケティングジャパン株式会社 情報処理装置とその処理方法及びプログラム
US20190205636A1 (en) * 2018-01-02 2019-07-04 Bank Of America Corporation Artificial Intelligence Based Smart Data Engine

Similar Documents

Publication Publication Date Title
JP4448537B2 (ja) グラフィック要素を含む文書同士を比較するシステム及び方法
US9484006B2 (en) Manipulation of textual content data for layered presentation
US20210241503A1 (en) Method and apparatus for automatic line drawing coloring and graphical user interface thereof
US20080225058A1 (en) Effects applied to images in a browser
US11321584B2 (en) Information processing device, information processing program, and information processing method
US9117314B2 (en) Information output apparatus, method, and recording medium for displaying information on a video display
CN110516186A (zh) 页面骨架自动化生成方法、设备、存储介质及装置
CN104517302A (zh) 显示设备和用于提供该显示设备的字体效果的方法
US20160314502A1 (en) System and method for streamlining the design and development process of multiple advertising units
JPWO2018203374A1 (ja) 線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラム
WO2022085076A1 (ja) 方法、情報処理装置及びプログラム
CN112734900A (zh) 阴影贴图的烘焙方法、装置、设备及计算机可读存储介质
JP2011511991A (ja) グラフィックディジタル文書の動画化装置および方法
CN111597151A (zh) 文件生成方法、装置、计算机设备和存储介质
JP7073082B2 (ja) プログラム、情報処理装置、および情報処理方法
JP5528410B2 (ja) ビューワ装置、サーバ装置、表示制御方法、電子コミック編集方法及びプログラム
CN111414218A (zh) 针对显示页面中字符对比度的调整方法、装置以及设备
JP2014023006A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2010009146A (ja) 文書処理方法および文書処理装置
CN113743071A (zh) 一种web端确定pdf发票模板的方法及系统
JP2022149705A (ja) 情報処理装置、情報処理方法及びプログラム
JP3787390B2 (ja) 文字データ作成装置および文字データ作成方法
DE102021005893A1 (de) Automatisierte digitale Werkzeugidentifikation aus einem Rasterbild
CN116034368A (zh) 用于驱动查看器的网络平台的操作方法及网络服务器
JP2022187739A (ja) 情報処理システム、情報処理方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20958629

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20958629

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP