WO2020059529A1 - 画像処理装置、画像処理方法及びプログラム、並びに携帯端末装置 - Google Patents

画像処理装置、画像処理方法及びプログラム、並びに携帯端末装置 Download PDF

Info

Publication number
WO2020059529A1
WO2020059529A1 PCT/JP2019/035058 JP2019035058W WO2020059529A1 WO 2020059529 A1 WO2020059529 A1 WO 2020059529A1 JP 2019035058 W JP2019035058 W JP 2019035058W WO 2020059529 A1 WO2020059529 A1 WO 2020059529A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
unit
image processing
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/035058
Other languages
English (en)
French (fr)
Inventor
誠 大関
和幸 板垣
喬俊 狩野
林　伸治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to CN201980061179.2A priority Critical patent/CN112740273B/zh
Priority to JP2020548322A priority patent/JP7170051B2/ja
Publication of WO2020059529A1 publication Critical patent/WO2020059529A1/ja
Priority to US17/204,784 priority patent/US11983877B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present invention relates to an image processing device, an image processing method and a program, and a mobile terminal device, and particularly to a technique for extracting a region of interest from an image.
  • Non-Patent Document 1 discloses a technique for performing segmentation by assigning meaningful labels to all pixels in an image using AI (Artificial Intelligence). ing.
  • Non-Patent Document 2 discloses a technique in which a user designates a selection range by dragging in a single stroke.
  • Patent Literature 1 discloses a technique for selecting a partial area from one image for image processing such as enlargement and trimming.
  • Non-Patent Document 1 has a problem that it cannot deal with data not used at the time of creating the AI.
  • the technique disclosed in Non-Patent Document 2 has a problem that many operations are required when selecting a fine region or when correcting an erroneous selection.
  • the output partial area is limited to a rectangular area, and a non-rectangular area cannot be extracted.
  • the present invention has been made in view of such circumstances, and it is an object of the present invention to provide an image processing apparatus, an image processing method, a program, and a portable terminal apparatus that more accurately extract a user's region of interest from an image with few operations.
  • an image processing apparatus includes an image acquisition unit that acquires an image, an area division unit that divides the acquired image into a plurality of areas, and at least one of a plurality of divided areas.
  • a selecting unit for selecting two regions an analyzing unit for analyzing a relationship between the selected region and a region other than the selected region, and belonging to the same group as the region selected from the analyzed relationships
  • an output unit that outputs a grouping candidate for the area.
  • the acquired image is divided into a plurality of regions, at least one of the plurality of divided regions is selected, and a relationship between the selected region and a region other than the selected region is selected.
  • Analysis and outputs the grouping candidates of the region belonging to the same group as the region selected from the analyzed relationship, so that the user's region of interest is extracted from the image as a grouping candidate more accurately with fewer operations. can do.
  • the output unit preferably outputs a plurality of grouping candidates. As a result, the user's region of interest can be more accurately extracted.
  • the selection unit selects at least one region based on a user input. Further, the selection unit may select at least one area based on the learned machine learning model. Thereby, the region of interest can be appropriately extracted.
  • the correction processing is preferably a geometric conversion processing.
  • the region of interest subjected to the geometric transformation processing can be extracted.
  • the correction process is preferably a contour line correction process. As a result, it is possible to extract a region of interest whose outline has been corrected.
  • the region dividing unit divides the image into a plurality of regions by performing clustering based on the pixel information.
  • the image can be appropriately divided into a plurality of regions.
  • the analysis unit analyzes a relationship between the selected region and a region adjacent to the selected region. Thereby, appropriate grouping candidates can be output.
  • the analysis unit analyzes the similarity between the selected area and an area other than the selected area. Thereby, appropriate grouping candidates can be output.
  • the analysis unit analyzes the relationship based on the learned machine learning model. Thereby, appropriate grouping candidates can be output.
  • the image forming apparatus further includes a limiting unit that limits a range from the acquired image, and the region dividing unit divides the image in the limited range into a plurality of regions. Thereby, a region of interest can be extracted from a necessary range in the image, and the amount of calculation can be reduced.
  • one mode of a mobile terminal device includes the image processing device described above, an imaging lens, an imaging element that captures an optical image formed by the imaging lens, and a display unit.
  • the image acquisition unit acquires image data output from the image sensor as an image
  • the output unit is a mobile terminal device that displays grouping candidates on a display unit.
  • one mode of an image processing method includes an image acquiring step of acquiring an image, an area dividing step of dividing the acquired image into a plurality of areas, and at least one of the plurality of divided areas.
  • the user's region of interest can be more accurately extracted from the image with a small number of operations.
  • a program for causing a computer to execute the above-described image processing method is also included in the present embodiment.
  • a user's region of interest can be more accurately extracted from an image with a small number of operations.
  • FIG. 1 is a front perspective view of the tablet PC.
  • FIG. 2 is a rear perspective view of the tablet PC.
  • FIG. 3 is a block diagram illustrating a system configuration of the tablet PC.
  • FIG. 4 is a block diagram illustrating a system configuration of the area extracting unit.
  • FIG. 5 is a flowchart showing the image processing method.
  • FIG. 6 is a diagram illustrating an example of an image in a range limited by the range limiting unit among the images acquired by the image acquiring unit.
  • FIG. 7 is a diagram illustrating an example of a plurality of regions divided by the region dividing unit.
  • FIG. 8 is an example of an analysis result of the analysis unit.
  • FIG. 9 is a diagram illustrating an example in which a character is divided into a plurality of regions.
  • FIG. 10 is a diagram illustrating an example in which each area forms one character.
  • FIG. 11 is a diagram illustrating an example in which each area forms one object.
  • FIG. 12 is a diagram
  • the image processing apparatus can accurately extract a user's region of interest from an image with a small number of operations. For example, an area of a logo or a signboard that is of interest to the user can be extracted from an image in which a logo or a signboard or the like is captured. Further, it is possible to extract a face paint pattern area from an image in which a face painted face is applied.
  • FIG. 1 is a front perspective view of a tablet-type computer terminal 10 (hereinafter, referred to as a tablet PC 10), which is an example of a portable terminal device to which the image processing apparatus according to the present embodiment is applied.
  • 2 is a rear perspective view.
  • the tablet PC 10 includes a flat casing 12 having a rectangular outline.
  • the housing 12 includes a touch panel display 14, operation buttons 16, a speaker 18, a built-in camera 20, and an external connection terminal 24.
  • FIG. 3 is a block diagram showing a system configuration of the tablet PC 10.
  • the tablet PC 10 includes a CPU (Central Processing Unit) 30 that controls the overall operation of the tablet PC 10.
  • the CPU 30 communicates with the main memory 34, the non-volatile memory 36, the mobile communication unit 38, the wireless LAN (Local Area Network) communication unit 40, the short-range wireless communication unit 42, and the wired communication via the system bus 32.
  • the unit 44, the touch panel display control unit 46, the key input unit 50, the audio processing unit 52, the imaging processing unit 54, and the area extracting unit 60 are connected.
  • the CPU 30 reads an OS (Operating System) stored in the non-volatile memory 36, an application program operating on the OS, fixed data, and the like, expands the data in the main memory 34, and executes the operation program. It functions as a control unit that controls the entire operation.
  • OS Operating System
  • the main memory 34 is constituted by, for example, a RAM (Random Access Memory) and functions as a work memory of the CPU 30.
  • the non-volatile memory 36 is formed of, for example, a flash EEPROM (Electrically Erasable Programmable Read Only Memory), and stores an OS, application programs, and various standard data.
  • the nonvolatile memory 36 functions as a storage unit of the tablet PC 10 and stores various data.
  • the mobile communication unit 38 communicates with the nearest wireless base station (not shown) via the antenna 38A by the fourth generation mobile communication system (4G: 4th @ Generation) or the 5th generation mobile communication system (5G: 5th @ Generation). Send and receive data.
  • fourth generation mobile communication system 4G: 4th @ Generation
  • 5th generation mobile communication system 5G: 5th @ Generation
  • the wireless LAN communication unit 40 communicates with an external device capable of wireless LAN access point or wireless LAN communication via an antenna 40A, for example, IEEE (Institute of Electrical and Electronics Electronics) 802.11a / b / g / n standard.
  • IEEE Institute of Electrical and Electronics Electronics 802.11a / b / g / n standard.
  • the wireless LAN communication according to the wireless LAN communication standard such as this is performed.
  • the short-range wireless communication unit 42 communicates with another Bluetooth (registered trademark) standard device in a class 2 (within a radius of about 10 m), for example, via the antenna 42A.
  • the wired communication unit 44 performs communication according to a predetermined communication standard with an external device connected via a cable (not shown) via the external connection terminal 24.
  • the touch panel display 14 (an example of a display unit) includes a display unit 14A such as a color LCD (Liquid Crystal Display) panel for displaying an image and the like, and a touch panel unit such as a transparent electrode that is arranged on the front of the color LCD panel and receives a touch input. 14B.
  • a display unit 14A such as a color LCD (Liquid Crystal Display) panel for displaying an image and the like
  • a touch panel unit such as a transparent electrode that is arranged on the front of the color LCD panel and receives a touch input. 14B.
  • the touch panel portion 14B is made of, for example, glass or plastic, and has a light-transmitting substrate body, a light-transmitting position detecting electrode provided in a planar shape on the substrate body, and a light-transmitting position detecting electrode.
  • 4 is a capacitive touch panel including an insulating layer provided.
  • the touch panel unit 14B is arranged on the front surface of the display unit 14A, and generates and outputs two-dimensional position coordinate information corresponding to a user's touch operation.
  • the touch panel display control unit 46 controls the touch panel display 14.
  • the touch panel display control unit 46 associates the coordinates of the image displayed on the display unit 14A with the coordinates of the touch operation on the touch panel unit 14B.
  • the display on the display unit 14A and the touch operation on the touch panel unit 14B are simply referred to as the display on the touch panel display 14 and the operation on the touch panel display 14.
  • the key input unit 50 is configured by a drive circuit that drives the plurality of operation buttons 16.
  • the audio processing unit 52 converts digital audio data supplied via the system bus 32 into an analog signal.
  • the analog audio signal is reproduced and output from the speaker 18.
  • the built-in camera 20 includes an imaging lens 20A and an imaging device 20B.
  • the imaging lens 20A forms an optical image of the incident subject.
  • the image sensor 20B captures the formed optical image and outputs an analog image signal.
  • the imaging processing unit 54 digitizes an analog image signal output from the built-in camera 20 (imaging element 20B), performs required signal processing, and outputs the digital image signal.
  • the region extracting unit 60 is an image processing device that extracts a region of interest of a user from an image displayed on the touch panel display 14.
  • FIG. 4 is a block diagram showing a system configuration of the area extracting unit 60.
  • the region extracting unit 60 includes an image acquiring unit 62, a region dividing unit 66, a selecting unit 68, an analyzing unit 70, and an output unit 72.
  • the touch panel display control unit 46 acquires a captured image (an example of image data output from the image sensor) captured by the built-in camera 20, for example, and causes the touch panel display 14 to display the captured image.
  • the touch panel display control unit 46 may acquire the image read from the non-volatile memory 36 and display the image on the touch panel display 14, or the mobile communication unit 38, the wireless LAN communication unit 40, the short-range wireless communication unit 42, and the wired
  • the image acquired via the communication unit 44 may be displayed on the touch panel display 14.
  • the image acquisition unit 62 acquires the images displayed on the touch panel display 14.
  • the image acquired by the image acquisition unit 62 may be a moving image.
  • the image acquisition section 62 includes a range limiting section 64.
  • the range limiting unit 64 limits the range of the image acquired by the image acquiring unit 62 according to, for example, a user input.
  • the user input to the range limiting unit 64 is performed by a user performing a touch operation such as surrounding a desired range of an image using the touch panel display 14.
  • the area dividing unit 66 divides the image acquired by the image acquiring unit 62 into a plurality of areas as preprocessing.
  • the region dividing unit 66 divides the range limited by the range limiting unit 64 in the image acquired by the image acquiring unit 62 into a plurality of regions. This makes it possible to reduce the number of calculations for extracting the region of interest as compared to the case where the entire image is divided into a plurality of regions.
  • the region dividing unit 66 divides an image into a plurality of regions by performing clustering based on, for example, pixel information.
  • the area dividing unit 66 may divide the area into a plurality of areas by applying, for example, SLIC (Simple Linear Iterative Clustering).
  • SLIC Simple Linear Iterative Clustering
  • the SLIC is an algorithm that takes an image as input, and outputs a division into superpixels that capture pixels that are close in terms of distance and color as a unit. By calculating a superpixel as preprocessing for image recognition, the amount of information of the image is reduced, and it becomes easier to apply another image recognition algorithm.
  • the selection unit 68 selects at least one of the plurality of divided areas.
  • the selection unit 68 selects an area based on, for example, a user input.
  • the user input to the selection unit 68 is performed by the user performing a touch operation such as tracing a desired area of the image using the touch panel display 14 or surrounding the desired area. By causing the user to select a region, a region of interest can be appropriately extracted.
  • the selection unit 68 may select an area based on a learned machine learning model.
  • the division result of the region division unit 66 is input to the learned machine learning model, the general user's region of interest is estimated in the learned machine learning model, and the estimated region of interest is output as the output of the selection unit 68. I just need.
  • the number of user operations can be reduced, and the region of interest can be appropriately extracted.
  • the learned machine learning model may additionally learn a region of interest selected by the user as learning data.
  • the analysis unit 70 analyzes a relationship (identity or similarity) between the region selected by the selection unit 68 and a region other than the selected region.
  • the analysis performed by the analysis unit 70 includes analyzing the similarity of each region from the similarity of the pixel values such as the color and luminance of the pixels included in each region. Note that the maximum similarity means that they are the same area. By analyzing the similarity, an appropriate grouping candidate can be output.
  • the analysis performed by the analysis unit 70 is not limited to the analysis of the similarity. For example, it includes analyzing whether or not each area has a meaningful relationship as an object, a character, or a character string when combined. In this case, the analysis unit 70 preferably uses a learned machine learning model.
  • the output unit 72 outputs a grouping candidate of an area belonging to the same group as the area selected by the selection unit 68 based on the relationship analyzed by the analysis unit 70.
  • the output unit 72 causes the touch panel display 14 to display, for example, a grouping candidate having the highest degree of certainty via the touch panel display control unit 46.
  • the display may be switched to different grouping candidates according to a user operation on the touch panel display 14.
  • the output unit 72 may sort the plurality of grouping candidates according to the degree of certainty and display the list on the touch panel display 14.
  • the output unit 72 may apply a learned machine learning model. It is also possible to simultaneously learn the learned machine learning models of the selecting unit 68, the analyzing unit 70, and the output unit 72.
  • the learned machine learning model described here may be subjected to further additional learning by applying a different learning data set. That is, the learned machine learning model is not limited to a model for which learning has been completed, but includes a model that can be updated later.
  • the output unit 72 includes a correction processing unit 74.
  • the correction processing unit 74 performs a correction process on the grouping candidates.
  • the correction process is a geometric transformation process such as distortion correction. Further, the correction processing may be an outline correction processing.
  • the output unit 72 outputs the grouping candidates subjected to the correction processing by the correction processing unit 74. As described above, the output unit 72 can output a grouping candidate whose geometric transformation processing or contour has been corrected.
  • FIG. 5 is a flowchart illustrating an image processing method by the tablet PC 10. As shown in FIG. 5, the image processing method includes an image acquisition step (step S1), an area division step (step S2), an area selection step (step S3), a relationship analysis step (step S4), and an output Step (step S5).
  • step S ⁇ b> 1 the image acquisition unit 62 acquires an image displayed on the touch panel display 14.
  • range limiting section 64 limits the range surrounded by the touch operation of touch panel display 14 by the user, from the images displayed on touch panel display 14.
  • FIG. 6 is a diagram illustrating an example of a range limited by the range limiting unit 64 in the image acquired by the image acquiring unit 62. As shown in FIG. 6, the region R1 is a region in a range limited by the range limiting unit 64.
  • step S2 the area dividing section 66 divides the image acquired by the image acquiring section 62 into a plurality of areas.
  • the region dividing unit 66 divides the range limited by the range limiting unit 64 in the image acquired by the image acquiring unit 62 into a plurality of regions.
  • FIG. 7 is a diagram showing an example of a plurality of areas divided by the area dividing unit 66. As shown in FIG. 7, the region R1 shown in FIG. 6 is divided into a plurality of regions R11 to R19.
  • step S3 the selection unit 68 selects at least one of the plurality of divided areas.
  • the touch panel display control unit 46 displays on the touch panel display 14 a message prompting the user to select an area.
  • the user surrounds a desired area by a touch operation on the touch panel display 14.
  • the selection unit 68 selects an area surrounded by a touch operation by the user from among the plurality of areas displayed on the touch panel display 14. For example, it is assumed that the region R13 is selected from the plurality of regions R11 to R19 shown in FIG.
  • step S4 the analysis unit 70 analyzes the relationship between the area selected in step S3 and an area other than the selected area.
  • the analysis unit 70 analyzes, for example, the similarity between the selected region R13 and the pixel values such as the color and luminance of the pixels included in each of the regions R11, R12, and R14 to R19 other than the region R13. I do.
  • the relationship between the distances between the regions may be analyzed.
  • the distance here may be a distance in a pixel unit or a distance in actual size conversion. It is considered that the closer the distances are, the higher the relationship is.
  • the analysis unit 70 may analyze the relationship between the selected region R13 and the region R14 adjacent to the region R13. Here, when it is determined that the relationship between the region R13 and the region R14 is high, the analysis unit 70 analyzes the relationship between the region R13 and the region R15 further adjacent to the region R14. As described above, when the adjacent region is a region having a high relationship, the analysis unit 70 may sequentially expand the adjacent regions to analyze the relationship. By analyzing the relationship between adjacent regions, appropriate grouping candidates can be output.
  • step S5 the output unit 72 outputs a grouping candidate of an area belonging to the same group as the area selected in step S3 based on the relationship analyzed in step S4.
  • the correction processing unit 74 may perform a geometric conversion process or a contour correction process.
  • the output unit 72 sorts the two grouping candidates according to the certainty factor and causes the touch panel display 14 to display them.
  • FIG. 8 is an example of a grouping candidate based on the analysis result of the analysis unit 70.
  • the region R13 selected in step S3 is grouped as the same region R22 as the regions R12, R14, and R15. Further, here, the region R11 is independently grouped with the region R21, and the regions R16 to R19 are grouped as the region R23.
  • the region R13 selected in step S3 is grouped as the same region R32 as the regions R12 and R14 to R19. Further, the region R11 is independently grouped as a region R31.
  • the output unit 72 causes the touch panel display 14 to display the grouping candidates G1 and the grouping candidates G2. Only the region R22 and the region R32 may be displayed as grouping candidates for the region R13 selected in step S3.
  • the user selects a desired grouping candidate from the plurality of grouping candidates displayed on the touch panel display 14 by a touch operation on the touch panel display 14, and determines the selected grouping candidate as the user's region of interest.
  • the output unit 72 displays the determined region of interest on the touch panel display 14 and stores it in the non-volatile memory 36, and ends the processing of this flowchart.
  • the output unit 72 may store all the grouping candidates in the nonvolatile memory 36.
  • the region of interest of the user can be more accurately extracted.
  • the analysis unit 70 analyzes the similarity of the pixel values such as the color and luminance of the pixel as the relationship, but the relationship analyzed by the analysis unit 70 is not limited to the similarity.
  • the relationship analyzed by the analysis unit 70 includes, when each region forms a part of a character, whether or not the relationship forms a character by combining them.
  • FIG. 9 is a diagram showing an example in which a character is divided into a plurality of areas.
  • the analysis unit 70 analyzes the relationship between “i” in the region R41 and “youn” in the region R42, and determines that the relationship forms one character “I”. Therefore, the output unit 72 groups and outputs the region R41 and the region R42 as one region R43.
  • the analysis unit 70 analyzes the relationship between “•” in the region R44 and “
  • the relationship analyzed by the analysis unit 70 is a relationship corresponding to any one of a single word, an abbreviation, a trade name, and the like when each area constitutes one character or a plurality of characters and is combined. Including whether there is.
  • FIG. 10 is a diagram showing an example in which each area forms one character.
  • the analysis unit 70 analyzes the relationship between “J” in the region R51 and “R” in the region R52, and forms a relationship that forms “JR” which is (part of) one trade name. Is determined to be. Therefore, the output unit 72 groups and outputs the region R51 and the region R52 as one region R53.
  • the analysis unit 70 sets the regions R12 to R19 shown in FIG. 7 in the regions consisting of the characters “F”, “U”, “J”, “I”, “F”, “I”, “L”, and “M”.
  • the output unit 72 groups and outputs these areas as “FUJI” and “FILM”.
  • the analysis unit 70 further analyzes the relationship between the region forming the word “FUJI” and the region forming the word “FILM”, and determines that the relationship forms the trade name “FUJIFILM”. You can also.
  • the output unit 72 groups and outputs these areas as “FUJIFILM”.
  • the relationship analyzed by the analysis unit 70 includes whether or not each region is a relationship that forms an object when combined.
  • FIG. 11 is a diagram showing an example in which each area forms one object.
  • the analysis unit 70 includes a region R61 and a region R62 of a metal portion, a region R63 of a resin portion, a region R64 of a plastic portion, a region R65 and a region R66 of a glass portion, a region R67 and a region R68 of a rubber portion.
  • the output unit 72 groups and outputs the regions R61 to R68 as one region R70.
  • the analysis unit 70 has analyzed the relationship between the selected selected region and the region adjacent to the selected region, but the region for analyzing the relationship is not limited to the adjacent region.
  • FIG. 12 is a diagram illustrating an example of a range limited by the range limiting unit 64, and is a diagram illustrating an example in which non-adjacent regions configure one object.
  • the image is divided into regions in a grid pattern, and regions R81 to R88 having high pixel value similarity relations are present in a dispersed manner without being adjacent to each other.
  • the analysis unit 70 analyzes the relationship not only for the region adjacent to the selected region R81 but also for the nearby region.
  • the nearby area refers to an area existing within a certain distance range.
  • the analysis unit 70 determines that among the regions near the region R81, the relationship between the region R81, the region R82, and the region R88 is high. In this case, the analysis unit 70 analyzes the relationship between the region R81 and the region near the region R82 and the region R88. As a result, the analysis unit 70 determines that the relationship between the region R81 and the regions R83 and R87 is high. As described above, when the nearby region is a region having a high relationship, the analysis unit 70 sequentially expands the nearby region and analyzes the relationship, so that the output unit 72 outputs the data as shown in FIG. , Regions R81 to R88 can be grouped and output as one region R90.
  • the output unit 72 may set only the regions R81 to R88 as the region R90, or may set the region R90 including a region existing between the regions other than the regions R81 to R88. When only the regions R81 to R88 are set as the region R90, a region existing between the regions may be treated as a transparent region.
  • the user when a user wants to extract a region of interest from an image, the user can extract the region of interest more accurately with a small number of operations.
  • a tablet-type computer terminal has been described as an example of a mobile terminal device to which the image processing apparatus is applied.
  • the image processing method described above may be configured as a program for causing a computer to realize each step, and may be configured as a non-temporary recording medium such as a CD-ROM (Compact Disk-Read Only Memory) storing the program. It is possible.
  • a CD-ROM Compact Disk-Read Only Memory
  • the hardware structure of the processing unit (processing unit) that executes various processes of the area extraction unit 60 is the following various processors.
  • Various processors include a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) and functions as various processing units, a GPU (Graphics Processing Unit), a processor specialized in image processing, Dedicated to execute specific processing such as Programmable Logic Device (PLD), which is a processor whose circuit configuration can be changed after manufacturing FPGA (Field Programmable Gate Array), etc., and ASIC (Application Specific Integrated Circuit).
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a combination of a CPU and a CPU). (Combination of GPUs). Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a server and a client, one processor is configured by a combination of one or more CPUs and software. There is a form in which a processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a form using a processor that realizes the functions of the entire system including a plurality of processing units with one integrated circuit (IC) chip is used.
  • IC integrated circuit
  • the various processing units are configured using one or more various processors as a hardware structure.
  • circuitry circuitry in which circuit elements such as semiconductor elements are combined.
  • Tablet computer terminal (tablet PC) 12 ... housing 14 ... touch panel display 14A ... display section 14B ... touch panel section 16 ... operation buttons 18 ... speaker 20 ... built-in camera 20A ... imaging lens 20B ... imaging element 24 ... external connection terminal 32 ... system bus 34 ... main memory 36 ...
  • Non-volatile memory 38 Mobile communication unit 38A Antenna 40 Wireless LAN communication unit 40A Antenna 42 Short-range wireless communication unit 42A Antenna 44 Wired communication unit 46 Touch panel display control unit 50 Key input unit 52 Voice processing Unit 54 imaging processing unit 60 area extracting unit 62 image acquiring unit 64 range limiting unit 66 area dividing unit 68 selecting unit 70 analyzing unit 72 output unit 74 correction processing units G1 and G2 grouping candidate R1 ... Regions R11 to R19 ... R21 to R23 ... Regions R31 and R32 ... R Each step of 1 ⁇ R46 ... region R51 ⁇ R53 ... region R61 ⁇ R68 ... region R70 ... region R81 ⁇ R88 ... region R90 ... areas S1 ⁇ S5 ... image processing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

少ない操作でより正確に画像からユーザの関心領域を抽出する画像処理装置、画像処理方法及びプログラム、並びに携帯端末装置を提供する。取得した画像を複数の領域に分割し、分割された複数の領域のうち少なくとも１つの領域を選択し、選択された領域と選択された領域以外の領域との間の関係性を解析し、解析された関係性から選択された領域と同一のグループに属する領域のグルーピング候補を出力する画像処理装置によって上記課題を解決する。

Description

画像処理装置、画像処理方法及びプログラム、並びに携帯端末装置
　本発明は画像処理装置、画像処理方法及びプログラム、並びに携帯端末装置に係り、特に画像から関心領域を抽出する技術に関する。
　ユーザが画像から所望の関心領域を抽出したいという要望がある。このような要望を実現するために、非特許文献１には、ＡＩ（Artificial Intelligence、人工知能）を用いて、画像内の全ての画素に意味のあるラベルを割り当ててセグメンテーションを行う技術が開示されている。また、非特許文献２には、ユーザが一筆描きの要領でドラッグ入力することで選択範囲を指定する技術が開示されている。
　さらに、特許文献１には、拡大、トリミング等の画像処理のために一つの画像から部分領域を選択する技術が開示されている。
特開２００５－０７８２９０号公報
TensorFlowでのDeepLabによるセマンティックイメージ セグメンテーション＜ＵＲＬ：https://developers-jp.googleblog.com/2018/04/semantic-image-segmentation-with.html＞ Adobe Photoshopのなげなわツール＜ＵＲＬ：https://helpx.adobe.com/jp/photoshop/kb/227192.html＞
　しかしながら、非特許文献１に開示された技術では、ＡＩ作成時に使用していないデータには対応できないという問題点があった。また、非特許文献２に開示された技術では、細かな領域を選択する際に、又は、誤選択を修正する際に、多くの操作を有するという問題点があった。
　さらに、特許文献１に記載の技術では、出力される部分領域は矩形の領域に限定されており、矩形でない領域を抽出することはできなかった。
　本発明はこのような事情に鑑みてなされたもので、少ない操作でより正確に画像からユーザの関心領域を抽出する画像処理装置、画像処理方法及びプログラム、並びに携帯端末装置を提供することを目的とする。
　上記目的を達成するために画像処理装置の一の態様は、画像を取得する画像取得部と、取得した画像を複数の領域に分割する領域分割部と、分割された複数の領域のうち少なくとも１つの領域を選択する選択部と、選択された領域と選択された領域以外の領域との間の関係性を解析する解析部と、解析された関係性から選択された領域と同一のグループに属する領域のグルーピング候補を出力する出力部と、を備えた画像処理装置である。
　本態様によれば、取得した画像を複数の領域に分割し、分割された複数の領域のうち少なくとも１つの領域を選択し、選択された領域と選択された領域以外の領域との間の関係性を解析し、解析された関係性から選択された領域と同一のグループに属する領域のグルーピング候補を出力するようにしたので、少ない操作でより正確に画像からユーザの関心領域をグルーピング候補として抽出することができる。
　出力部は、複数のグルーピング候補を出力することが好ましい。これにより、より正確にユーザの関心領域を抽出することができる。
　選択部は、ユーザ入力に基づいて少なくとも１つの領域を選択することが好ましい。また、選択部は、学習済み機械学習モデルに基づいて少なくとも１つの領域を選択してもよい。これにより、関心領域を適切に抽出することができる。
　グルーピング候補に対して補正処理を行う処理部を備えることが好ましい。これにより、補正処理された関心領域を抽出することができる。
　補正処理は幾何変換処理であることが好ましい。これにより、幾何変換処理された関心領域を抽出することができる。
　補正処理は輪郭線の修正処理であることが好ましい。これにより、輪郭線が修正処理された関心領域を抽出することができる。
　領域分割部は、画素情報に基づいてクラスタリングすることで複数の領域に分割することが好ましい。これにより、画像を適切に複数の領域に分割することができる。
　解析部は、選択された領域と選択された領域に隣接する領域との間の関係性を解析することが好ましい。これにより、適切なグルーピング候補を出力することができる。
　解析部は、選択された領域と選択された領域以外の領域との間の類似度を解析することが好ましい。これにより、適切なグルーピング候補を出力することができる。
　解析部は、学習済み機械学習モデルに基づいて関係性を解析することが好ましい。これにより、適切なグルーピング候補を出力することができる。
　取得した画像から範囲を限定する限定部を備え、領域分割部は、限定された範囲の画像を複数の領域に分割することが好ましい。これにより、画像のうち必要な範囲から関心領域を抽出することができ、演算量を減らすことができる。
　上記目的を達成するために携帯端末装置の一の態様は、上記に記載の画像処理装置と、撮像レンズと、撮像レンズにより結像される光学像を撮像する撮像素子と、表示部と、を備え、画像取得部は、撮像素子から出力される画像データを画像として取得し、出力部は、グルーピング候補を表示部に表示させる携帯端末装置である。
　本態様によれば、少ない操作でより正確に撮像した画像からユーザの関心領域を抽出し、抽出したグルーピング候補を表示部に表示させることができる。
　上記目的を達成するために画像処理方法の一の態様は、画像を取得する画像取得工程と、取得した画像を複数の領域に分割する領域分割工程と、分割された複数の領域のうち少なくとも１つの領域を選択する選択工程と、選択された領域と選択された領域以外の領域との間の関係性を解析する解析工程と、解析された関係性から選択された領域と同一のグループに属する領域のグルーピング候補を出力する出力工程と、を備えた画像処理方法である。
　本態様によれば、少ない操作でより正確に画像からユーザの関心領域を抽出することができる。上記の画像処理方法をコンピュータに実行させるためのプログラムも本態様に含まれる。
　本発明によれば、少ない操作でより正確に画像からユーザの関心領域を抽出することができる。
図１は、タブレットＰＣの正面斜視図である。 図２は、タブレットＰＣの背面斜視図である。 図３は、タブレットＰＣのシステム構成を示すブロック図である。 図４は、領域抽出部のシステム構成を示すブロック図である。 図５は、画像処理方法を示すフローチャートである。 図６は、画像取得部が取得した画像のうち範囲限定部によって限定された範囲の画像の一例を示す図である。 図７は、領域分割部によって分割された複数の領域の一例を示す図である。 図８は、解析部の解析結果の一例である。 図９は、文字が複数の領域に分割されている一例を示す図である。 図１０は、各領域が一文字を構成している一例を示す図である。 図１１は、各領域が１つのオブジェクトを構成している一例を示す図である。 図１２は、隣接しない各領域が１つのオブジェクトを構成している一例を示す図である。
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　＜タブレット型コンピュータ端末＞
　本実施形態に係る画像処理装置は、少ない操作で正確に画像からユーザの関心領域を抽出することができる。例えば、ロゴ又は看板等が写った画像から、ユーザの興味のあるロゴ又は看板の領域を抽出することができる。また、フェイスペイントが施された顔が写った画像から、フェイスペイントの図柄の領域を抽出することができる。
　図１は、本実施形態に係る画像処理装置を適用した携帯端末装置の一例であるタブレット型コンピュータ端末１０（以下、タブレットＰＣ１０と呼ぶ。ＰＣはPersonal Computerの略）の正面斜視図であり、図２は背面斜視図である。図１及び図２に示すように、タブレットＰＣ１０は、矩形の輪郭を有する平板状の筐体１２を備えている。筐体１２は、タッチパネルディスプレイ１４と、操作ボタン１６と、スピーカ１８と、内蔵カメラ２０と、外部接続端子２４と、を備えて構成される。
　図３は、タブレットＰＣ１０のシステム構成を示すブロック図である。図３に示すように、タブレットＰＣ１０は、タブレットＰＣ１０の全体の動作を制御するＣＰＵ（Central Processing Unit）３０を備えている。ＣＰＵ３０には、システムバス３２を介して、メインメモリ３４と、不揮発性メモリ３６と、モバイル通信部３８と、無線ＬＡＮ（Local Area Network）通信部４０と、近距離無線通信部４２と、有線通信部４４と、タッチパネルディスプレイ制御部４６と、キー入力部５０と、音声処理部５２と、撮像処理部５４と、領域抽出部６０と、が接続されている。
　ＣＰＵ３０は、不揮発性メモリ３６に記憶されたＯＳ（Operating System）、及びＯＳ上で動作するアプリケーションプログラム、及び定型データ等を読み出し、メインメモリ３４に展開して動作プログラムを実行することにより、このコンピュータ全体の動作を制御する制御部として機能する。
　メインメモリ３４は、例えば、ＲＡＭ（Random Access Memory）で構成され、ＣＰＵ３０のワークメモリとして機能する。
　不揮発性メモリ３６は、例えば、フラッシュＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）で構成され、ＯＳ、アプリケーションプログラム、及び各種定型データを記憶する。また、不揮発性メモリ３６は、タブレットＰＣ１０の記憶部として機能し、各種データを記憶する。
　モバイル通信部３８は、第４世代移動通信システム（４Ｇ：4th Generation）又は第５世代移動通信システム（５Ｇ：5th Generation）によって、アンテナ３８Ａを介して不図示の最寄りの無線基地局との間でデータの送受信を行う。
　無線ＬＡＮ通信部４０は、アンテナ４０Ａを介して、無線ＬＡＮアクセスポイント又は無線ＬＡＮ通信が可能な外部機器との間で例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇ／ｎ規格等の無線ＬＡＮ通信規格に従った無線ＬＡＮ通信を行う。
　近距離無線通信部４２は、アンテナ４２Ａを介して、例えばクラス２（半径約１０ｍ以内）の範囲にある他のＢｌｕｅｔｏｏｔｈ（登録商標）規格の機器との間で通信を行う。
　有線通信部４４は、外部接続端子２４を介して不図示のケーブルで接続された外部機器との間で所定の通信規格に従った通信を行う。
　タッチパネルディスプレイ１４（表示部の一例）は、画像等を表示するカラーＬＣＤ（Liquid Crystal Display）パネル等のディスプレイ部１４Ａと、カラーＬＣＤパネルの前面に配置され、タッチ入力を受け付ける透明電極等のタッチパネル部１４Ｂと、を備えている。
　タッチパネル部１４Ｂは、例えばガラス又はプラスチック等からなり、光透過性を有する基板本体と、基板本体の上に面状に設けられ、光透過性を有する位置検出用電極と、位置検出用電極上に設けられた絶縁層とを有する静電容量式タッチパネルである。タッチパネル部１４Ｂは、ディスプレイ部１４Ａの前面に配置されており、ユーザのタッチ操作に対応した２次元の位置座標情報を生成して出力する。
　タッチパネルディスプレイ制御部４６は、タッチパネルディスプレイ１４を制御する。タッチパネルディスプレイ制御部４６は、ディスプレイ部１４Ａに表示した画像の座標とタッチパネル部１４Ｂにおいてタッチ操作された座標とを対応付ける。
　なお、以下の説明において、ディスプレイ部１４Ａの表示、及びタッチパネル部１４Ｂに対するタッチ操作を、単にタッチパネルディスプレイ１４の表示、及びタッチパネルディスプレイ１４に対する操作と表記する。
　キー入力部５０は、複数の操作ボタン１６を駆動する駆動回路で構成される。
　音声処理部５２は、システムバス３２を介して与えられるデジタル音声データをアナログ化する。アナログ化された音声信号は、スピーカ１８から再生出力される。
　内蔵カメラ２０は、撮像レンズ２０Ａと、撮像素子２０Ｂとを備える。撮像レンズ２０Ａは、入射した被写体の光学像を結像させる。撮像素子２０Ｂは、結像された光学像を撮像し、アナログの画像信号を出力する。
　撮像処理部５４は、内蔵カメラ２０（撮像素子２０Ｂ）から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。
　領域抽出部６０は、タッチパネルディスプレイ１４に表示された画像からユーザの関心領域を抽出する画像処理装置である。
　図４は、領域抽出部６０のシステム構成を示すブロック図である。図４に示すように、領域抽出部６０は、画像取得部６２と、領域分割部６６と、選択部６８と、解析部７０と、出力部７２と、を備えている。
　タッチパネルディスプレイ制御部４６（図３参照）は、例えば内蔵カメラ２０によって撮像された撮像画像（撮像素子から出力される画像データの一例）を取得し、タッチパネルディスプレイ１４に表示させる。タッチパネルディスプレイ制御部４６は、不揮発性メモリ３６から読み出した画像を取得してタッチパネルディスプレイ１４に表示させてもよいし、モバイル通信部３８、無線ＬＡＮ通信部４０、近距離無線通信部４２、及び有線通信部４４を介して取得した画像をタッチパネルディスプレイ１４に表示させてもよい。画像取得部６２は、これらのタッチパネルディスプレイ１４に表示されている画像を取得する。画像取得部６２が取得する画像は、動画でもよい。
　また、画像取得部６２は、範囲限定部６４を備えている。範囲限定部６４は、例えばユーザ入力に従って、画像取得部６２が取得した画像の範囲を限定する。範囲限定部６４へのユーザ入力は、ユーザがタッチパネルディスプレイ１４を用いて画像の所望の範囲を囲む等のタッチ操作を行うことで行う。
　領域分割部６６は、前処理として、画像取得部６２が取得した画像を複数の領域に分割する。範囲限定部６４によって画像の範囲が限定されている場合は、領域分割部６６は、画像取得部６２が取得した画像のうち範囲限定部６４によって限定された範囲について複数の領域に分割する。これにより、画像全体について複数の領域に分割する場合よりも、関心領域の抽出の演算を減らすことができる。
　領域分割部６６は、例えば画素情報に基づいてクラスタリングすることで画像を複数の領域に分割する。これにより、画像を複数の領域に適切に分割することができる。また、領域分割部６６は、例えばＳＬＩＣ（Simple Linear Iterative Clustering）を適用して複数の領域に分割してもよい。ＳＬＩＣとは、画像を入力として、距離的、色的に近い画素をひとまとまりにとらえたsuperpixelへの分割を出力とするアルゴリズムである。画像認識の前処理としてsuperpixelを計算しておくことで、画像の情報量を減らし、他の画像認識アルゴリズムを適用しやすくなる。
　選択部６８は、分割された複数の領域のうち少なくとも１つの領域を選択する。選択部６８は、例えばユーザ入力に基づいて領域を選択する。選択部６８へのユーザ入力は、ユーザがタッチパネルディスプレイ１４を用いて画像の所望の領域をなぞる、又は所望の領域を囲む等のタッチ操作を行うことで行う。ユーザに領域を選択させることで、関心領域を適切に抽出することができる。
　また、選択部６８は、学習済み機械学習モデルに基づいて領域を選択してもよい。この場合は、領域分割部６６の分割結果を学習済み機械学習モデルに入力し、学習済み機械学習モデルにおいて一般的なユーザの関心領域を推定し、推定した関心領域を選択部６８の出力とすればよい。学習済み機械学習モデルに基づいて領域を選択することで、ユーザの操作を減らすことができ、関心領域を適切に抽出することができる。
　この学習済み機械学習モデルは、ユーザが選択した関心領域を学習データとして追加学習させてもよい。
　解析部７０は、選択部６８において選択された領域と選択された領域以外の領域との間の関係性（同一性、又は類似性）を解析する。解析部７０が行う解析は、各々の領域に含まれる画素の色及び輝度等の画素値の類似度から、領域毎の類似度を解析することを含む。なお、類似度が最大とは、両者が同一の領域であることを意味する。類似度を解析することで、適切なグルーピング候補を出力することができる。
　また、解析部７０が行う解析は類似度の解析に限定されない。例えば、各々の領域を組み合わせた際にオブジェクト、文字、又は文字列として意味を成す関係にあるか否かを解析することを含む。この場合は、解析部７０は、学習済み機械学習モデルが好適に用いられる。
　出力部７２は、解析部７０において解析された関係性から、選択部６８において選択された領域と同一のグループに属する領域のグルーピング候補を出力する。出力部７２は、タッチパネルディスプレイ制御部４６を介して、例えば最も確信度が高いグルーピング候補をタッチパネルディスプレイ１４に表示させる。複数のグルーピング候補が存在する場合、タッチパネルディスプレイ１４に対するユーザ操作に応じて、それぞれ異なるグルーピング候補の表示に切り替えてもよい。
　また、出力部７２は、複数のグルーピング候補について、確信度に応じてソートしてタッチパネルディスプレイ１４に一覧表示させてもよい。
　出力部７２は、学習済み機械学習モデルを適用してもよい。また、選択部６８、解析部７０、及び出力部７２の各学習済み機械学習モデルを同時に学習することも可能である。なお、ここでいう学習済み機械学習モデルは、異なる学習用データセットを適用して更なる追加学習が行われてもよい。即ち、学習済み機械学習モデルは、学習が完了したものに限定されず、後に更新され得るものを含む。
　また、出力部７２は、補正処理部７４を備えている。補正処理部７４は、グルーピング候補に対して補正処理を行う。補正処理は、例えば歪み補正等の幾何変換処理である。また、補正処理は、輪郭線の修正処理であってもよい。出力部７２は、補正処理部７４によって補正処理を施したグルーピング候補を出力する。このように、出力部７２は、幾何変換処理、又は輪郭線が修正処理されたグルーピング候補を出力することができる。
　＜画像処理方法＞
　図５は、タブレットＰＣ１０による画像処理方法を示すフローチャートである。図５に示すように、画像処理方法は、画像取得工程（ステップＳ１）と、領域分割工程（ステップＳ２）と、領域選択工程（ステップＳ３）と、関係性解析工程（ステップＳ４）と、出力工程（ステップＳ５）と、を含んでいる。
　ステップＳ１では、画像取得部６２は、タッチパネルディスプレイ１４に表示されている画像を取得する。ここでは、範囲限定部６４は、タッチパネルディスプレイ１４に表示された画像のうち、ユーザによるタッチパネルディスプレイ１４のタッチ操作により囲まれた範囲を限定する。
　図６は、画像取得部６２が取得した画像のうち範囲限定部６４によって限定された範囲の一例を示す図である。図６にように、領域Ｒ１が範囲限定部６４によって限定された範囲の領域である。
　ステップＳ２では、領域分割部６６は、画像取得部６２が取得した画像を複数の領域に分割する。ここでは、領域分割部６６は、画像取得部６２が取得した画像のうち範囲限定部６４によって限定された範囲を複数の領域に分割する。
　図７は、領域分割部６６によって分割された複数の領域の一例を示す図である。図７に示すように、図６に示した領域Ｒ１が複数の領域Ｒ１１～Ｒ１９に分割されている。
　ステップＳ３では、選択部６８は、分割された複数の領域のうち少なくとも１つの領域を選択する。ここでは、例えば、タッチパネルディスプレイ制御部４６において、ユーザによる領域選択を促す旨の表示をタッチパネルディスプレイ１４に行う。これに対して、ユーザは、タッチパネルディスプレイ１４のタッチ操作により所望の領域を囲む。選択部６８は、タッチパネルディスプレイ１４に表示された複数の領域のうち、ユーザによるタッチ操作により囲まれた領域を選択する。例えば、図７に示す複数の領域Ｒ１１～Ｒ１９のうち、領域Ｒ１３が選択されたものとする。
　ステップＳ４では、解析部７０は、ステップＳ３において選択された領域と選択された領域以外の領域との間の関係性を解析する。解析部７０は、例えば、選択された領域Ｒ１３と、領域Ｒ１３以外の領域Ｒ１１、Ｒ１２、Ｒ１４～Ｒ１９の全てについて、各々の領域に含まれる画素の色及び輝度等の画素値の類似度を解析する。また、各領域間の距離の関係性を解析してもよい。ここでの距離とは、画素単位での距離でもよいし、実寸換算した際の距離でもよい。互いの距離が近い領域ほど関係性が高いと考えられる。
　また、解析部７０は、選択された領域Ｒ１３と、領域Ｒ１３に隣接する領域Ｒ１４との関係性を解析してもよい。ここで領域Ｒ１３と領域Ｒ１４との関係性が高いと判断した場合には、解析部７０は、領域Ｒ１３と、領域Ｒ１４にさらに隣接する領域Ｒ１５との関係性を解析する。このように、解析部７０は、隣接する領域が関係性の高い領域である場合に、隣接する領域を順に広げて関係性を解析してもよい。隣接する領域について関係性を解析することで、適切なグルーピング候補を出力することができる。
　ステップＳ５では、出力部７２は、ステップＳ４において解析された関係性からステップＳ３において選択された領域と同一のグループに属する領域のグルーピング候補を出力する。補正処理部７４において、幾何変換処理、又は輪郭線の修正処理を施してもよい。ここでは、出力部７２は、２つのグルーピング候補について、確信度に応じてソートしてタッチパネルディスプレイ１４に表示させる。
　図８は、解析部７０の解析結果に基づくグルーピング候補の一例である。グルーピング候補Ｇ１は、ステップＳ３で選択された領域Ｒ１３は領域Ｒ１２、Ｒ１４、Ｒ１５と同じ領域Ｒ２２としてグルーピングされている。また、ここでは、領域Ｒ１１は単独で領域Ｒ２１とグルーピングされており、領域Ｒ１６～Ｒ１９は領域Ｒ２３としてグルーピングされている。
　一方、グルーピング候補Ｇ２は、ステップＳ３で選択された領域Ｒ１３は領域Ｒ１２、Ｒ１４～Ｒ１９と同じ領域Ｒ３２としてグルーピングされている。また、領域Ｒ１１は単独で領域Ｒ３１としてグルーピングされている。
　出力部７２は、グルーピング候補Ｇ１及びグルーピング候補Ｇ２を、それぞれタッチパネルディスプレイ１４に表示させる。ステップＳ３で選択された領域Ｒ１３に関するグルーピング候補として、領域Ｒ２２及び領域Ｒ３２のみを表示してもよい。
　タッチパネルディスプレイ１４に表示された複数のグルーピング候補のうち、ユーザがタッチパネルディスプレイ１４のタッチ操作により所望のグルーピング候補を選択することで、選択されたグルーピング候補をユーザの関心領域として決定する。出力部７２は、決定した関心領域についてタッチパネルディスプレイ１４への表示、及び不揮発性メモリ３６への記憶を行い、本フローチャートの処理を終了する。出力部７２は、全てのグルーピング候補を不揮発性メモリ３６に記憶させてもよい。
　このように、複数のグルーピング候補を表示し、ユーザに選択させることで、より正確にユーザの関心領域を抽出することができる。
　図８に示した例では、解析部７０は、画素の色及び輝度等の画素値の類似度を関係性として解析したが、解析部７０が解析する関係性は類似度に限定されない。
　例えば、解析部７０が解析する関係性は、各々の領域が文字の一部を構成している場合に、それらを組み合わせて１つの文字を構成する関係であるか否かを含む。
　図９は、文字が複数の領域に分割されている一例を示す図である。図９に示す場合は、解析部７０は、領域Ｒ４１の「イ」と領域Ｒ４２の「尹」との関係性を解析し、１つの文字「伊」を構成する関係であると判断する。したがって、出力部７２は、領域Ｒ４１と領域Ｒ４２とを１つの領域Ｒ４３としてグルーピングして出力する。
　同様に、解析部７０は、領域Ｒ４４の「・」と領域Ｒ４５の「|」との関係性を解析し、１つの文字「ｉ」を構成する関係であると判断する。したがって、出力部７２は、領域Ｒ４４と領域Ｒ４５とを１つの領域Ｒ４６としてグルーピングして出力する。
　また、解析部７０が解析する関係性は、各々の領域が一文字又は複数文字を構成している場合に、それらを組み合わせて１つの単語、略称、及び商号等のいずれかに該当する関係性であるか否かを含む。
　図１０は、各領域が一文字を構成している一例を示す図である。図１０に示す場合は、解析部７０は、領域Ｒ５１の「Ｊ」と領域Ｒ５２の「Ｒ」との関係性を解析し、１つの商号（の一部）である「ＪＲ」を構成する関係であると判断する。したがって、出力部７２は、領域Ｒ５１と領域Ｒ５２とを１つの領域Ｒ５３としてグルーピングして出力する。
　同様に、解析部７０は、図７に示した領域Ｒ１２～Ｒ１９について、それぞれ「Ｆ」「Ｕ」「Ｊ」「Ｉ」「Ｆ」「Ｉ」「Ｌ」「Ｍ」の文字からなる領域であると認識した場合、これらの領域の関係性を解析し、「ＦＵＪＩ」という単語を構成する領域と「ＦＩＬＭ」という単語を形成する関係であると判断することができる。したがって、出力部７２は、これらの領域を「ＦＵＪＩ」と「ＦＩＬＭ」としてグルーピングして出力する。
　この場合、解析部７０は、「ＦＵＪＩ」という単語を構成する領域と「ＦＩＬＭ」という単語を形成する領域との関係性をさらに解析し、「ＦＵＪＩＦＩＬＭ」という商号を形成する関係であると判断することもできる。この場合は、出力部７２は、これらの領域を「ＦＵＪＩＦＩＬＭ」としてグルーピングして出力する。
　さらに、解析部７０が解析する関係性は、各々の領域が、それぞれ組み合わせた際にオブジェクトを形成する関係性であるか否かを含む。
　図１１は、各領域が１つのオブジェクトを構成している一例を示す図である。図１１に示す場合は、解析部７０は、金属部の領域Ｒ６１及び領域Ｒ６２、樹脂部の領域Ｒ６３、プラスチック部の領域Ｒ６４、ガラス部の領域Ｒ６５及び領域Ｒ６６、ゴム部の領域Ｒ６７及び領域Ｒ６８の関係性を解析し、領域Ｒ６１～領域Ｒ６８が自動車を構成する関係性を有すると判断することができる。したがって、出力部７２は、領域Ｒ６１～領域Ｒ６８を１つの領域Ｒ７０としてグルーピングして出力する。
　ここまでの説明では、解析部７０は、選択された選択領域と選択領域に隣接する領域との関係性を解析してきたが、関係性を解析する領域は、隣接する領域に限定されない。
　図１２は、範囲限定部６４によって限定された範囲の一例を示す図であり、隣接しない各領域が１つのオブジェクトを構成している一例を示す図である。図１２に示す例では、画像が格子状に領域分割されており、画素値の類似度の関係性が互いに高い領域Ｒ８１～Ｒ８８がそれぞれ隣接せずに分散して存在している。
　ここで、選択部６８において、領域Ｒ８１が選択されたものとする。解析部７０は、選択された領域Ｒ８１に隣接する領域だけでなく、近傍の領域についても関係性を解析する。近傍の領域とは、一定の距離の範囲に存在する領域をいう。
　その結果、解析部７０は、領域Ｒ８１の近傍の領域のうち、領域Ｒ８１と、領域Ｒ８２及び領域Ｒ８８との関係性が高いと判断する。この場合、解析部７０は、領域Ｒ８２及び領域Ｒ８８のさらに近傍の領域について、領域Ｒ８１との関係性を解析する。その結果、解析部７０は、領域Ｒ８１と、領域Ｒ８３及び領域Ｒ８７との関係性が高いと判断する。このように、近傍の領域が関係性の高い領域である場合に、解析部７０が近傍の領域を順に広げて関係性を解析していくことで、出力部７２は、図１２に示すように、領域Ｒ８１～Ｒ８８を１つの領域Ｒ９０としてグルーピングして出力することができる。
　なお、出力部７２は、領域Ｒ８１～Ｒ８８のみを領域Ｒ９０としてもよいし、領域Ｒ８１～Ｒ８８以外の各領域の間に存在する領域を含めて領域Ｒ９０としてもよい。領域Ｒ８１～Ｒ８８のみを領域Ｒ９０とする場合は、各領域の間に存在する領域を透明領域として扱ってもよい。
　以上のように、本実施形態によれば、ユーザが画像から関心領域を抽出したい場合に、少ない操作でより正確に抽出することができる。
　＜その他＞
　ここでは画像処理装置を適用した携帯端末装置の一例としてタブレット型コンピュータ端末について説明したが、スマートフォン、携帯電話機等の移動体通信端末、ノート型のパーソナルコンピュータ等に適用することも可能である。
　上記の画像処理方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
　ここまで説明した実施形態において、領域抽出部６０の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
　本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
１０…タブレット型コンピュータ端末（タブレットＰＣ）
１２…筐体
１４…タッチパネルディスプレイ
１４Ａ…ディスプレイ部
１４Ｂ…タッチパネル部
１６…操作ボタン
１８…スピーカ
２０…内蔵カメラ
２０Ａ…撮像レンズ
２０Ｂ…撮像素子
２４…外部接続端子
３２…システムバス
３４…メインメモリ
３６…不揮発性メモリ
３８…モバイル通信部
３８Ａ…アンテナ
４０…無線ＬＡＮ通信部
４０Ａ…アンテナ
４２…近距離無線通信部
４２Ａ…アンテナ
４４…有線通信部
４６…タッチパネルディスプレイ制御部
５０…キー入力部
５２…音声処理部
５４…撮像処理部
６０…領域抽出部
６２…画像取得部
６４…範囲限定部
６６…領域分割部
６８…選択部
７０…解析部
７２…出力部
７４…補正処理部
Ｇ１，Ｇ２…グルーピング候補
Ｒ１…領域
Ｒ１１～Ｒ１９…領域
Ｒ２１～Ｒ２３…領域
Ｒ３１，Ｒ３２…領域
Ｒ４１～Ｒ４６…領域
Ｒ５１～Ｒ５３…領域
Ｒ６１～Ｒ６８…領域
Ｒ７０…領域
Ｒ８１～Ｒ８８…領域
Ｒ９０…領域
Ｓ１～Ｓ５…画像処理方法の各ステップ

Claims (16)

  1. 　画像を取得する画像取得部と、
    　前記取得した画像を複数の領域に分割する領域分割部と、
    　前記分割された複数の領域のうち少なくとも１つの領域を選択する選択部と、
    　前記選択された領域と前記選択された領域以外の領域との間の関係性を解析する解析部と、
    　前記解析された関係性から前記選択された領域と同一のグループに属する領域のグルーピング候補を出力する出力部と、
    　を備えた画像処理装置。
  2. 　前記出力部は、複数のグルーピング候補を出力する請求項１に記載の画像処理装置。
  3. 　前記選択部は、ユーザ入力に基づいて前記少なくとも１つの領域を選択する請求項１又は２に記載の画像処理装置。
  4. 　前記選択部は、学習済み機械学習モデルに基づいて前記少なくとも１つの領域を選択する請求項１又は２に記載の画像処理装置。
  5. 　前記グルーピング候補に対して補正処理を行う処理部を備える請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記補正処理は幾何変換処理である請求項５に記載の画像処理装置。
  7. 　前記補正処理は輪郭線の修正処理である請求項５に記載の画像処理装置。
  8. 　前記領域分割部は、画素情報に基づいてクラスタリングすることで前記複数の領域に分割する請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　前記解析部は、前記選択された領域と前記選択された領域に隣接する領域との間の関係性を解析する請求項１から８のいずれか１項に記載の画像処理装置。
  10. 　前記解析部は、前記選択された領域と前記選択された領域以外の領域との間の類似度を解析する請求項１から９のいずれか１項に記載の画像処理装置。
  11. 　前記解析部は、学習済み機械学習モデルに基づいて前記関係性を解析する請求項１から１０のいずれか１項に記載の画像処理装置。
  12. 　前記取得した画像から範囲を限定する限定部を備え、
    　前記領域分割部は、前記限定された範囲の画像を前記複数の領域に分割する請求項１から１１のいずれか１項に記載の画像処理装置。
  13. 　請求項１から１２のいずれか１項に記載の画像処理装置と、
    　撮像レンズと、
    　前記撮像レンズにより結像される光学像を撮像する撮像素子と、
    　表示部と、
    　を備え、
    　前記画像取得部は、前記撮像素子から出力される画像データを画像として取得し、
    　前記出力部は、前記グルーピング候補を前記表示部に表示させる携帯端末装置。
  14. 　画像を取得する画像取得工程と、
    　前記取得した画像を複数の領域に分割する領域分割工程と、
    　前記分割された複数の領域のうち少なくとも１つの領域を選択する選択工程と、
    　前記選択された領域と前記選択された領域以外の領域との間の関係性を解析する解析工程と、
    　前記解析された関係性から前記選択された領域と同一のグループに属する領域のグルーピング候補を出力する出力工程と、
    　を備えた画像処理方法。
  15. 　請求項１４に記載の画像処理方法をコンピュータに実行させるためのプログラム。
  16. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１５に記載のプログラムをコンピュータに実行させる記録媒体。
PCT/JP2019/035058 2018-09-20 2019-09-05 画像処理装置、画像処理方法及びプログラム、並びに携帯端末装置 Ceased WO2020059529A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980061179.2A CN112740273B (zh) 2018-09-20 2019-09-05 图像处理装置、方法、便携式终端装置及记录介质
JP2020548322A JP7170051B2 (ja) 2018-09-20 2019-09-05 画像処理装置、画像処理方法及びプログラム、並びに携帯端末装置
US17/204,784 US11983877B2 (en) 2018-09-20 2021-03-17 Image processing device, image processing method, program, and portable terminal device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018175767 2018-09-20
JP2018-175767 2018-09-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/204,784 Continuation US11983877B2 (en) 2018-09-20 2021-03-17 Image processing device, image processing method, program, and portable terminal device

Publications (1)

Publication Number Publication Date
WO2020059529A1 true WO2020059529A1 (ja) 2020-03-26

Family

ID=69887280

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/035058 Ceased WO2020059529A1 (ja) 2018-09-20 2019-09-05 画像処理装置、画像処理方法及びプログラム、並びに携帯端末装置

Country Status (4)

Country Link
US (1) US11983877B2 (ja)
JP (1) JP7170051B2 (ja)
CN (1) CN112740273B (ja)
WO (1) WO2020059529A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024106986A (ja) * 2023-01-27 2024-08-08 国立研究開発法人農業・食品産業技術総合研究機構 物体検出モデルの学習装置、学習方法、学習データの生成方法、学習プログラム及び記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001297303A (ja) * 2000-02-09 2001-10-26 Ricoh Co Ltd 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体
WO2013038872A1 (ja) * 2011-09-16 2013-03-21 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2014188753A1 (ja) * 2013-05-20 2014-11-27 オムロン株式会社 画像処理装置および画像処理方法
JP2016197362A (ja) * 2015-04-06 2016-11-24 富士通株式会社 範囲指定プログラム、範囲指定方法および範囲指定装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4380268B2 (ja) 2003-08-29 2009-12-09 セイコーエプソン株式会社 画像領域選択方法及び装置
JP2011216080A (ja) * 2010-03-18 2011-10-27 Canon Inc 画像処理装置、画像処理方法、および記憶媒体
JP6448325B2 (ja) * 2014-11-19 2019-01-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN109583285B (zh) * 2017-09-29 2023-03-07 阿里巴巴集团控股有限公司 对象识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001297303A (ja) * 2000-02-09 2001-10-26 Ricoh Co Ltd 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体
WO2013038872A1 (ja) * 2011-09-16 2013-03-21 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2014188753A1 (ja) * 2013-05-20 2014-11-27 オムロン株式会社 画像処理装置および画像処理方法
JP2016197362A (ja) * 2015-04-06 2016-11-24 富士通株式会社 範囲指定プログラム、範囲指定方法および範囲指定装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024106986A (ja) * 2023-01-27 2024-08-08 国立研究開発法人農業・食品産業技術総合研究機構 物体検出モデルの学習装置、学習方法、学習データの生成方法、学習プログラム及び記録媒体

Also Published As

Publication number Publication date
US11983877B2 (en) 2024-05-14
CN112740273A (zh) 2021-04-30
JP7170051B2 (ja) 2022-11-11
JPWO2020059529A1 (ja) 2021-08-30
CN112740273B (zh) 2025-05-02
US20210201500A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
CN110276344B (zh) 一种图像分割的方法、图像识别的方法以及相关装置
CN110232696B (zh) 一种图像区域分割的方法、模型训练的方法及装置
CN111739035B (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
US10832039B2 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
JP7386812B2 (ja) 照明推定
US9349076B1 (en) Template-based target object detection in an image
JP7264929B2 (ja) 背景なし画像の生成方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
JP2021502627A (ja) 深層ニューラルネットワークを用いた画像処理システム及び処理方法
KR20140047733A (ko) 현실 세계에서 표면들의 정보의 투영을 위한 동적 선택
US20180004355A1 (en) Feature characterization from infrared radiation
CN113971742A (zh) 关键点检测、模型的训练、直播方法、装置、设备及介质
JP2017220098A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び画像認識システム
JP7170051B2 (ja) 画像処理装置、画像処理方法及びプログラム、並びに携帯端末装置
WO2023272495A1 (zh) 徽标标注方法及装置、徽标检测模型更新方法及系统、存储介质
CN112740163B (zh) 带触摸屏显示器的器件及其控制方法
CN111862105A (zh) 图像的区域处理方法、装置和电子设备
US12073615B2 (en) Method, apparatus, and computer program product for identifying objects of interest within an image captured by a relocatable image capture device
CN111968030B (zh) 信息生成方法、装置、电子设备和计算机可读介质
KR102687528B1 (ko) 이미지 내의 텍스트를 삭제하는 방법 및 시스템
EP4195163A1 (en) Method, apparatus, and computer program product for identifying an object of interest within an image from a digital signature generated by a signature encoding module including a hypernetwork
CN107392972A (zh) 一种图像背景虚化方法、移动终端及计算机可读存储介质
CN118071806A (zh) 用于机器学习数据增强的图像纹理操纵
JP2017068827A (ja) パターン判別装置、情報処理装置、パターン判別方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19863828

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020548322

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19863828

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 201980061179.2

Country of ref document: CN