WO2006132194A1 - 情報処理装置及び情報処理方法、画像処理装置及び画像処理方法、並びにコンピュータ・プログラム - Google Patents

情報処理装置及び情報処理方法、画像処理装置及び画像処理方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
WO2006132194A1
WO2006132194A1 PCT/JP2006/311251 JP2006311251W WO2006132194A1 WO 2006132194 A1 WO2006132194 A1 WO 2006132194A1 JP 2006311251 W JP2006311251 W JP 2006311251W WO 2006132194 A1 WO2006132194 A1 WO 2006132194A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
node
integration
nodes
area
Prior art date
Application number
PCT/JP2006/311251
Other languages
English (en)
French (fr)
Inventor
Frank Nielsen
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to CN2006800204746A priority Critical patent/CN101194290B/zh
Priority to US11/913,264 priority patent/US8224089B2/en
Priority to JP2007520097A priority patent/JP4780106B2/ja
Priority to EP06747181A priority patent/EP1890268A1/en
Publication of WO2006132194A1 publication Critical patent/WO2006132194A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Definitions

  • the present invention relates to an information processing apparatus that handles enormous amounts of data, and relates to an information processing apparatus that grows raw data composed of a large number of nodes that cannot perceive each into a small number of perceptible units called segments.
  • the present invention relates to an image processing apparatus and an image processing method for generating and displaying a two-dimensional image of a physical object, and a computer 'program.
  • the present invention relates to an image processing apparatus, an image processing method, and a computer program that are handled as a collection or segment of a large number of nodes such as polygons and perform two-dimensional image processing of objects.
  • a mesh segmentation process is performed in which a polygon mesh is adjusted to an appropriate roughness by performing processing such as division of an image region and merge of the divided regions.
  • Image processing apparatus, image processing method, and computer program for example, 2D or 3D computer 'Image processing apparatus and image for performing progressive mesh segmentation processing according to applications using graphics'
  • the present invention relates to a processing method and a computer program.
  • CG computer 'graphics
  • This kind of graphic 'system is generally composed of a' geometry 'subsystem as the front end and a raster subsystem as the back end.
  • the geometry subsystem treats objects as a collection of many fine polygons (usually triangles), or polygon meshes, and coordinates such as coordinate transformation, clipping, and light source calculations for each vertex defining the polygon. Perform academic calculations.
  • the roughness of the mesh obtained by dividing the original object into regions greatly affects the processing load and image quality.
  • the number of vertices to be processed increases in proportion to this, and the processing amount also increases.
  • the size of the polygon is increased, the final image will be rough. For this reason, mesh segmentation processing that performs image segmentation, merges the segmented areas, etc., and adjusts the polygon mesh to an appropriate roughness according to the application using CG. Necessary.
  • Mesh segmentation is a fundamental technique for growing raw data into a small number of perceptible units called “segments”.
  • Mesh segmentation has been started in the early 1970s of computer image processing in the 1970s (for example, see Non-Patent Document 1), but is still an active field. From the beginning, mesh 'segmentation' has dealt with color images, moving images, distance images (known as depth images or range images), 3D solid data, 3D meshes, and so on.
  • Hierarchical segmentation can be realized by creating multiple polygon meshes (segments) with different roughness in the mesh 'segmentation process. In addition, the hierarchical mesh 'segmentation' is performed progressively or smoothly, which broadens the range of applications that use images.
  • Mesh 'segmentation' is basically processed based on the similarity between adjacent image regions.
  • the input video color signal is converted into a predetermined color space, and the initial video division is performed to divide the input video into a plurality of areas according to the positions of the color pixels of the input video in this color space
  • the divided regions are divided into a plurality of layers according to the horizontal adjacency relationship between the divided regions and the vertical inclusion relationship, and adjacent regions are grouped in each layer to form each layer. Extract vertical inclusion relations between area groups to structure the areas, and determine the coupling order between the areas according to the horizontal relation between the areas and the vertical inclusion relation between the area groups. Then, the success or failure of the connection between the adjacent regions is evaluated based on the determined combination order, and the regions are combined if it is determined that the evaluated regions are regions having substantially the same video characteristics. (See, for example, Patent Document 1) If).
  • Patent Document 1 Japanese Patent Laid-Open No. 2001-43380
  • Non-patent literature 1 A. Rosenfeld, 'Picture processing by computer (Acaaemi c Press, 1969)
  • Non-Patent Document 2 Sagi Katz and Ayellet Tal, "Hierarchical mesh decompo sition using fuzzy clustering and cots. (In Proc. SIGGRAPH (200 3). ACM Trans. OnGraphics22, 3 (2003), 382- 391)
  • An object of the present invention is to provide an excellent information processing apparatus and information processing capable of growing raw data composed of a large number of minute nodes that cannot be perceived individually into a small number of perceptible units called segments. It is to provide a method, as well as a computer 'program.
  • a further object of the present invention is to treat a physical object as an aggregate (that is, a segment) of a large number of fine nodes, and to grow the segment by an integration process between the nodes.
  • An object of the present invention is to provide an excellent image processing apparatus and image processing method capable of processing an image, and a computer program.
  • a further object of the present invention is a mesh segmentation process in which an image area is divided and the divided areas are merged to grow the area and adjust the polygonal mesh to an appropriate roughness. It is an object of the present invention to provide an excellent image processing apparatus and image processing method, and a computer program.
  • a further object of the present invention is to provide an excellent image processing apparatus capable of performing a progressive mesh segmentation process at high speed and with high accuracy in accordance with an application using a 2D or 3D computer 'graphics. And providing an image processing method and computer 'program.
  • the present invention has been made in consideration of the above problems, and a first aspect of the present invention is an information processing apparatus that handles data in which a topology is formed by a plurality of nodes each having an attribute value.
  • a topology evaluation unit that obtains a weighting factor of edges connecting nodes based on attribute values of nodes adjacent to each other on the topology, and sorts the edges based on the weighting factors;
  • a node integration processing unit It is an information processing apparatus characterized by comprising.
  • the integration of the nodes is repeatedly executed. From raw data consisting of many nodes that cannot be perceived, it can be grown into a small number of perceptible units called segments.
  • the statistical processing algorithm here, for example, whether adjacent nodes are similar based on a judgment formula that also derives the concentration in-equity phenomenon power in the attribute information of each node, In other words, it is determined whether or not the nodes can be integrated.
  • the node integration processing based on such a statistical processing algorithm can be performed at high speed because it is configured by a simple calculation that statistically processes attribute information possessed by each node. For example, millions of polygons can be processed per second using a general computer such as a personal computer.
  • a general computer such as a personal computer.
  • the parameter value included in the judgment formula it is possible to freely set the standard for integrating the nodes and to grow to the desired roughness segment, and the system has scalability.
  • the topology of a plurality of nodes constituting raw data is used as an input value, and node integration processing is performed recursively according to a statistical processing algorithm.
  • mesh growing that is, performing mesh growing
  • an arbitrarily rough segment can be generated.
  • a plurality of segments having different roughness can be generated smoothly.
  • the second aspect of the present invention is an image processing apparatus that handles an object as a polygonal mesh having a plurality of polygonal forces and performs image processing.
  • An adjacency graph input unit for inputting an adjacency graph describing a polygon mesh
  • An adjacent graph evaluation unit that compares attribute values of image regions connected by edges, assigns a weight factor to the edges based on the comparison result, and sorts the edges in the adjacent graph based on the weight values;
  • An image area integration processing unit that extracts image area pairs sandwiching edges according to the sorted order, evaluates whether the image areas should be integrated based on a statistical processing algorithm, and performs image area integration processing ,
  • An image processing apparatus comprising: The image processing apparatus can further include a micro area processing unit that processes a micro area remaining as a result of the image area integration processing.
  • a second aspect of the present invention relates to an image processing apparatus for generating and displaying a two-dimensional image of a two-dimensional or three-dimensional physical object.
  • the object to be processed is usually treated as an aggregate of many fine polygons (usually triangles), that is, a polygon mesh, and image processing is performed.
  • the roughness of the polygon mesh greatly affects the processing load and image quality, so the image area is divided and the divided areas are merged, and the polygon is changed according to the application using 3DCG. If the mesh is adjusted to an appropriate roughness, mesh mesh segmentation is required.
  • the application of images can be expanded by performing mesh segmentation progressively or smoothly.
  • the second aspect of the present invention by determining whether or not adjacent image regions should be integrated based on a statistical processing algorithm, a minute amount obtained by dividing a three-dimensional object is determined. From the large number of polygons, the integration of the image area is repeatedly executed to generate a polygonal mesh with the desired roughness.
  • the statistical processing algorithm here, for example, based on the judgment formula derived from the concentration imbalance phenomenon force in the area of the polygon constituting the image area, the adjacent image areas are similar to each other, in other words, the image area Determine whether can be integrated.
  • Integration processing of image regions based on such a statistical processing algorithm can be performed at high speed because it is configured by a simple calculation that statistically processes the area of a polygon. For example, millions of polygons can be processed per second using a general computer such as a personal computer. In addition, by adjusting the parameter values included in the judgment formula, it is possible to freely set a standard for integrating image regions and generate a polygon mesh with a desired roughness, and the system has scalability. [0025] Therefore, according to the present invention, a set of a large number of small polygons obtained by dividing a physical object to be processed is used as an input value, and an integration process of image regions composed of polygon meshes is performed according to a statistical processing algorithm.
  • a polygonal mesh having an arbitrary roughness By performing (ie, performing mesh growing), a polygonal mesh having an arbitrary roughness can be generated.
  • a plurality of polygon meshes having different roughness can be generated smoothly. In other words, it can be applied to various interactive applications that can realize progressive mesh 'segmentation.
  • Examples of mesh segmentation applications according to the present invention include parameterization and texture mapping, image morphing, multi-resolution modeling, image editing, image compression, animation, and shape matching. it can.
  • a polygonal mesh as an image region is expressed in the form of an adjacency graph (Incidence Graph) that describes the relationship between a plurality of polygons as its constituent elements.
  • an adjacency graph Incidence Graph
  • individual polygons constituting a polygon mesh are treated as nodes, and the corresponding nodes are connected using edges corresponding to the sides where adjacent polygons contact each other. Use the described adjacency graph as input.
  • sorting is performed by evaluating each edge of the input adjacent graph. Specifically, the edge is evaluated by comparing the attribute values of the image regions connected by the edge and assigning a weighting factor to the edge based on the comparison result.
  • the image region referred to here includes a polygon that is a minimum unit and an image region that is configured as a polygon mesh obtained by integrating a plurality of polygons.
  • the attribute value referred to here for example, the area of the image region (the average area of each polygon mesh integrated in the image region) is used, and the difference in the area between the image regions connected by the edge is determined as the edge. Can be given as a weight value. In this case, the smaller the area difference between image regions, the smaller the weight value, and the higher the processing order in subsequent image integration processing. Or, in addition to the polygonal area constituting the image area, pixel attribute information such as the normal direction and color of the image area (average color in the image area for at least one component of RGB) (however, In the case of polygon meshes with textures, edge weights can be given.
  • image regions connected by an edge are based on a judgment formula that also derives a concentration imbalance phenomenon force in the area of a polygon that forms the image region. Is determined based on the following statistical algorithm for the two image regions R and R connected by edges:
  • Image region R has area S and is composed of n polygons
  • image region R has kkk 1 area S and is composed of n polygons
  • A is the maximum area of the polygon.
  • the judgment formula based on the above statistical processing algorithm includes the parameter Q for controlling the roughness of the segmentation, the value of the parameter Q that can obtain the desired segmentation roughness is determined. External force can also be given. Further, when an external force is required for the desired segmentation roughness or the number of divided image areas, it may be converted into a corresponding parameter Q value and given to the system. By setting such flexible parameter Q, it is possible to realize progressive mesh segmentation, which makes it easy to apply to various interactive applications.
  • the node in the initial state is a minimum unit polygon in the adjacent graph.
  • the node grows into an image region composed of a polygon mesh made up of a plurality of polygons. To do.
  • the area and the number of polygons are calculated and stored as node statistical information. Is done. Further, when the integration of the image areas is executed, the area of the image area newly generated by the integration and the number of polygons are calculated, and the update process of the node statistical information is performed.
  • the area of the grown image area is enormous and the number of polygons becomes a large value.
  • the information about the polygon near the boundary is more important in determining whether the integration with the adjacent image area is correct or not. Fall into the result.
  • the above judgment formula based on the statistical processing algorithm cannot perform accurate boundary judgment.
  • Border Crust only the polygon in the vicinity of the border where each image region to be integrated, that is, “Border Crust” is left, and the subsequent image region integration processing may be performed.
  • Border Crust it is possible to make a success / failure judgment about the integration of the subsequent image areas more accurately than when using Circular Crust.
  • the adjacency graph must be updated in addition to the node statistics information alone, and the amount of calculation is enormous.
  • the third aspect of the present invention is described in a computer-readable format so that processing for handling data having a topology formed by a plurality of nodes each having an attribute value is executed on the computer.
  • a computer program that obtains a weighting factor of edges connecting nodes based on attribute values of adjacent nodes in the topology and sorts edges based on the weighting factors. Evaluation procedure;
  • a pair of nodes connected by edges is taken out, and the node is Node integration processing procedure for evaluating whether or not the nodes should be integrated based on a predetermined statistical processing algorithm, and performing node region integration processing;
  • the fourth aspect of the present invention is described in a computer-readable format so that an object is handled as a polygon mesh having a plurality of polygonal forces, and processing for image processing is executed on a computer.
  • the computer's program is based on the comparison result by comparing the adjacent graph input procedure for inputting the adjacent graph describing the polygonal mesh to the computer and the attribute value of each image area connected by the edge.
  • An adjacency graph evaluation procedure that assigns weight factors to edges and sorts edges in the adjacency graph based on weight values;
  • An image area integration processing procedure for extracting image area pairs that sandwich edges in the sorted order, evaluating whether image areas should be integrated based on a statistical processing algorithm, and performing image area integration processing ,
  • the computer 'program according to each of the third and fourth aspects of the present invention defines a computer program described in a computer-readable format so as to realize predetermined processing on the computer' system. Is. In other words, by installing the computer program according to the third and fourth aspects of the present invention in the computer system, a cooperative action is exhibited on the computer system, and the first aspect of the present invention. The same effects as the information processing apparatus according to the first aspect and the image processing apparatus according to the second aspect can be obtained.
  • an excellent information processing apparatus and information processing capable of growing raw data consisting of a large number of minute nodes that cannot be perceived individually into a small number of perceptible units called segments.
  • a method, as well as a computer 'program can be provided.
  • a two-dimensional or three-dimensional object is treated as a collection of a large number of fine polygons (usually triangles), that is, a polygon mesh, and the two-dimensional image is processed.
  • the mesh segmentation process to adjust the polygon mesh to an appropriate roughness can be suitably performed.
  • a progressive mesh 'segmentation process can be performed at high speed and with high V accuracy according to the computer's graphics-based abrasion.
  • the image processing apparatus can perform high-speed image area integration processing based on a statistical processing algorithm, and can perform progressive mesh segmentation processing even on a general computer. It is feasible.
  • the mesh segmentation process according to the present invention can freely set a standard for integrating image regions by adjusting a parameter value included in a determination formula, and can achieve a desired roughness.
  • a polygon mesh can be generated.
  • the system is also scalable and can be applied to various interactive applications such as parameterization and texture mapping, image morphing, multi-resolution modeling, image editing, image compression, animation, and shape matching. it can.
  • FIG. 1 is a diagram schematically showing a functional configuration of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an adjacency graph.
  • FIG. 3 is a diagram illustrating an adjacency graph.
  • FIG. 4 is a diagram for explaining a processing method for evaluating an edge.
  • FIG. 5 is a flowchart showing an example of a processing procedure for performing a mesh 'segmentation process.
  • FIG. 6 is a diagram showing an example of a segmentation result obtained interactively when a user sets a multi-scale parameter Q using a slide bar.
  • FIG. 7 is a diagram showing a state in which the image area integration processing has progressed.
  • FIG. 8 is a diagram showing a state in which only a polygon near the boundary, that is, “Circular Crust” is left over the entire circumference of the image area newly generated by integration.
  • Figure 9 shows mesh 'segmentation process with only "Circular Crust" left It is the flowchart which showed the process sequence for doing.
  • FIG. 10 is a diagram showing a state in which only a polygon in the vicinity of the boundary where each image region to be integrated touches, that is, “B order Crust” is left.
  • FIG. 11 is a flowchart showing a processing procedure for performing a mesh segmentation process in which only “Border Crust” is left.
  • FIG. 12 is a diagram showing a state in which Border Crust is extracted from adjacent image regions R ;
  • FIG. 13 is a diagram for explaining a process of updating an adjacency graph when a mesh segmentation process in which only “Border Crust” is left is performed.
  • FIG. 14 is a diagram showing how to adjust the number of image areas to be divided by setting the Q value via the operation of the slide “bar” during mesh “segmentation”.
  • FIG. 15 is a diagram showing how to adjust the number of image areas to be divided by setting the Q value via the operation of the slide “bar” during mesh “segmentation”.
  • FIG. 16 is a diagram showing how to adjust the number of image areas to be divided by setting the Q value via the operation of the slide bar during mesh “segmentation”.
  • FIG. 17 is a diagram schematically showing a functional configuration of an information processing apparatus according to an embodiment of the present invention.
  • FIG. 18 is a diagram schematically showing a state in which adjacent nodes are integrated to generate a new node.
  • FIG. 19 is a flowchart showing a procedure for performing segmentation processing by the information processing apparatus shown in FIG.
  • the present invention relates to an information processing apparatus that handles raw data in which a topology is formed by a large number of minute nodes that cannot perceive an individual, and a predetermined statistical processing algorithm for attribute information possessed by each node
  • a topology is formed by a large number of minute nodes that cannot perceive an individual
  • a predetermined statistical processing algorithm for attribute information possessed by each node
  • FIG. 17 schematically shows the functional configuration of the information processing apparatus according to an embodiment of the present invention.
  • the information processing apparatus 50 shown in the figure evaluates a node input unit 51 that inputs raw data having a topology formed by a plurality of nodes as a processing target, and each edge connecting adjacent nodes on the topology.
  • a topology evaluation unit 52 that performs sorting, and extracts a pair of nodes connected by edges according to the sorted order, and evaluates them based on a statistical processing algorithm!
  • a micro node processing unit 54 that processes the remaining fine nodes without growing into a sufficiently large segmentation as a result of the node integration process.
  • this type of image processing apparatus 10 may be designed as a dedicated hardware device, it corresponds to each functional module 51 to 54 on a general computer system such as a personal computer (PC). It can also be realized in the form of! / ⁇ when the application program that executes the processing is started.
  • a typical computer system uses, for example, Pentium (registered trademark) IV (1.6 GHz) of Intel Corporation as a processor, and has a main memory configured with 1 GB of RAM.
  • the application 'program is operating It can be coded in the C ++ language using the API (application 'programming' interface) provided by the 'system (OS).
  • the processing target data input to the node input unit 51 has a topology formed by a plurality of nodes.
  • the topology consists of multiple nodes and edges connecting the nodes, and each node has attribute information. Further, when the integration processing unit 53 performs integration between nodes, attribute information relating to a new node is calculated.
  • Topology evaluation unit 52 performs sorting by evaluating edges connecting adjacent nodes included in the input data. Specifically, the edge is evaluated by comparing the attribute values of the nodes connected by the edges and assigning a weighting factor to the edges based on the comparison result, and then using the weight values to determine the edges in the topology. Sorting. The weight value given to an edge serves as an index of similarity between image regions connected by the edge.
  • the area (the average value of the areas of all the original nodes integrated into the node) is used as attribute information, and the difference in area between nodes connected by edges is determined. Given as edge weight values, sorting is done in increasing order of weight values. In this case, the smaller the area difference between nodes, the smaller the weight value, and the higher the processing order in subsequent integration processing.
  • the edge weight value can be evaluated using pixel attribute information (average color of at least one component of RGB).
  • the integration processing unit 53 takes out a pair of nodes sandwiching the edges in the sorted order, and performs integration processing to grow the segmentation. Since the edge is given a weight as an index of the similarity between the image regions connected by the edge, performing the integration processing in ascending order of the weight preferentially executes the integration processing between similar nodes. Equivalent to.
  • the integration processing unit 53 determines whether or not to integrate a pair of nodes based on a statistical processing algorithm. Specifically, for the statistical information Stats.f (i) and Stats.f (j) that the adjacent nodes f (i) and f (j) have as attribute values, respectively, a judgment formula based on the following statistical algorithm ( When satisfying (Predicate), it is determined that nodes f (i) and f (j) should be integrated.
  • the above judgment formula is derived from statistical concentration inequality, which is a phenomenon appearing in the polygonal area constituting the image region. This phenomenon is common in the field of statistics as the central limit theorem.
  • the central limit theorem defines the error between the sample mean and the true mean. Regardless of the sample distribution, the error approximately follows a normal distribution when the number of samples is increased.
  • Q on the right side of the above equation is a parameter for controlling the roughness of the segmentation.
  • Q When Q is increased, the value on the right-hand side decreases, making it difficult to satisfy the judgment formula. As a result, node integration is suppressed.
  • Q when Q is set to a small value, the value on the right-hand side increases, and the judgment formula is easily satisfied, which promotes node integration, that is, segmentation growth.
  • Fig. 18 schematically shows how the i-th node Vi, j-th node, and Vj are integrated based on the integration judgment formula (merging Predicate), and a new node V 'is generated. Is shown.
  • Each node Vi and Vj includes a general information part such as the number of nodes Ni and Nj included in the node, identification information IDi and IDj, and a media (data) part for storing attribute information. Since the node in the initial state does not have its own power, the number of nodes N is 1, but the number of nodes N of V obtained by integration is Ni + Nj.
  • the new identification information ID is generated from the original identification information IDi and IDj using a disjoint set having a Union-Find data structure.
  • the attribute information of the media part is obtained from the statistical information from the attribute information of each node Vi and Vj.
  • the average color of each node Vi and Vj becomes the attribute information of the new node.
  • the area of a node Is the attribute information
  • the average area of each node Vi and Vj is the attribute information of the new sword.
  • the minute node processing unit 54 processes the remaining minute noise without growing into a sufficiently large segmentation as a result of the node integration processing. For example, a minute noise left without being integrated between or inside nodes that have grown into a large segmentation is integrated into one of the adjacent segmentations regardless of whether the judgment formula is satisfied or not, and the processing result To improve the appearance.
  • FIG. 19 shows a procedure of segmentation processing executed on the information processing apparatus 20 shown in FIG. 17 in the form of a flowchart.
  • raw data to be processed is input (step S21).
  • Raw data also serves as a node force that forms the topology.
  • the node input unit 51 scans the topology of the input data, assigns identification information IDi to each node Vi, and uses the identification information and attribute information stored in the media part of the node as node statistical information. Once registered, the initialization process is performed.
  • topology evaluation unit 52 performs sorting by evaluating each edge connecting adjacent nodes (step S32). Specifically, the attribute information difference between nodes connected by edges is given as edge weight values, and sorting is performed in the order of increasing weight values (increasing order).
  • the parameter Q for controlling the roughness of the segmentation is set via the parameter setting unit 55 (step S33).
  • the integration processing unit 53 extracts a pair of nodes connected by edges according to the sorted order (step S34). Then, the integration processing is performed based on whether these nodes satisfy the judgment formula based on the statistical algorithm (step S35).
  • the judgment formula used here derives the statistical concentration imbalance force, which is a phenomenon that appears in the area of the polygon that composes the image area (as described above).
  • the parameter Q set in step S33 is used as the judgment formula. Use.
  • the integration processing unit 3 When the integration processing unit 3 integrates the nodes, the integration processing unit 3 generates a new node V ', gives a new ID' for identifying the node, and sets the node newly generated by the integration. Attribute information is calculated and node statistical information is updated (step S36).
  • the integration processing unit 53 performs node update processing (step S37).
  • the weighting factor of each edge between adjacent nodes is recalculated, and the edge is resorted according to the weight value.
  • the process returns to step S34, and a pair of nodes connected by the edges is taken out in the sorted order, and the node integration process based on the statistical processing algorithm is repeated.
  • step S34 the micro region processing unit 54 processes the remaining fine nodes without growing into a sufficiently large segmentation (step S38). For example, a minute node left unintegrated during or inside a large segmentation is integrated into one of the adjacent segmentations regardless of whether the judgment formula is satisfied or not, and the processing result looks good To do.
  • the present invention can be applied to an image processing apparatus for generating and displaying a two-dimensional image of a two-dimensional or three-dimensional object.
  • 2D or 3D physical objects to be processed are treated as a collection of many fine polygons (usually triangles), ie polygon meshes, and image processing is performed.
  • Polygon mesh roughness greatly affects processing load and image quality. For this reason, it is necessary to perform processing such as dividing image areas and merging the divided areas, and adjusting the polygon mesh to an appropriate roughness according to the application that uses computer graphics. Segmentation processing is required. Progressive or smooth mesh segmentation broadens the range of applications that use images.
  • a three-dimensional object is determined by determining whether or not adjacent image regions should be integrated using a statistical processing algorithm.
  • the image area integration is repeatedly executed from a large number of small polygons obtained by dividing the image to generate a polygonal mesh having a desired roughness.
  • adjacent image areas can be integrated based on a judgment formula derived from the phenomenon of concentration in-equality phenomenon in a polygonal mesh as an image area. Determine whether or not.
  • Image region integration processing based on such a statistical processing algorithm is configured by a simple calculation of statistically processing the area of a polygon, so that high-speed processing is possible. For example, a millions of polygons can be processed per second using a common computer such as a personal 'computer.
  • a common computer such as a personal 'computer.
  • FIG. 1 schematically shows a functional configuration of an image processing apparatus according to an embodiment of the present invention.
  • the illustrated image processing apparatus 10 includes an image information input unit 1 that inputs 3D image information to be processed in the form of an adjacent graph, and an adjacent graph evaluation that performs sorting by evaluating each edge of the input adjacent graph.
  • Part 2 and an image region integration processing unit 3 that extracts a pair of image regions sandwiching the edges according to the sorted order, evaluates them based on a statistical processing algorithm, and performs mesh growing, and
  • a micro area processing unit 4 is provided for processing a micro area remaining as a result of the image area integration processing.
  • this type of image processing apparatus 10 may be designed as a dedicated hardware apparatus, it corresponds to each functional module 1 to 4 on a general computer system such as a personal computer (PC). It can also be realized by launching an application program that executes the process.
  • a general computer system uses, for example, Intel Pentium (registered trademark) IV (1.6 GHz) as a processor, and has a main memory composed of 1 GB of RAM.
  • Application programs can be coded in the C ++ language using, for example, API (application 'programming' interface) provided by OpenGL.
  • a polygon mesh as an image region is represented by an adjacency graph (Incidence Graph or Region A) that describes the relationship between the polygons that constitute its component.
  • djacent Graph RAG
  • the adjacency graph what is handled by force nodes and edges composed of multiple nodes and edges connecting the nodes varies. For example, if a polygon is a node, its side or vertex can be an edge. Or, if a polygon edge is a node, a vertex or polygon can be an edge. Alternatively, if the vertex is a node, a polygon side or polygon can be an edge.
  • the image processing apparatus 1 handles an adjacency graph configured with polygons as nodes and polygon edges as edges.
  • the image information input unit 1 uses the individual polygons constituting the polygon mesh as nodes, and the adjacent graph described by connecting the corresponding nodes using edges corresponding to the sides where the adjacent polygons touch each other.
  • each polygon T belonging to the target image area is associated with the node N. If there is a unique edge belonging to polygons T and T between node N and node N, it is generated as an edge e that connects both nodes.
  • the adjacency graph can be constructed directly from the vertex and face index arrays by performing polygon sorting according to edge endpoints.
  • Edges or edges belonging to individual polygons are polygon meshes, that is, edges that are borders of image areas (Boundary edges) and edges that are adjacent to other polygons in the polygon mesh instead of polygon meshes (Interior) Edge). Since the edge that hits the border of the image area belongs to only one polygon, only the edges other than the border (that is, inside the image area) are processed. This processing is sufficient if there is an index array of vertices and faces, and complicated adjacent data structures such as half-edge and quad-edge are not required.
  • FIG. 2 shows an example of the simplest adjacency graph.
  • the polygonal mesh shown on the left of the figure is composed of two triangles T and T that touch each other at the edge or edge e.
  • the adjacency graph describing this polygonal mesh is composed of two nodes N and N corresponding to each triangle T and T, and an edge e connecting both nodes, as shown on the right side of the figure.
  • FIG. 3 shows a configuration example of a slightly complicated adjacency graph.
  • the polygonal mesh shown on the left of the figure consists of seven triangles T to T, where ⁇ is in contact with ⁇ and ⁇ is ⁇
  • the adjacency graph describing this polygon mesh is constructed by connecting nodes corresponding to each triangle by edges or edges belonging to both adjacent triangles, as shown on the right side of the figure.
  • the node is a polygon that is a minimum unit of the polygon mesh in the initial state.
  • a certain! / ⁇ is an individual pixel in a 2D image, or a voxel in a 3D stereoscopic image.
  • the node grows into an image area composed of a polygonal mesh that also has a plurality of polygonal (or pixel or botacell) forces.
  • the number of polygons composing the image area, that is, the polygon mesh n (N) (initial value is 1) is stored as “node statistical information”.
  • the fact that each node holds the area and the number of polygons is the information necessary for determining whether or not the nodes, that is, the image regions have been successfully integrated, using a determination formula based on a statistical processing algorithm.
  • the adjacency graph evaluation unit 2 performs sorting by evaluating each edge of the input adjacency graph. Specifically, the edge evaluation is performed by comparing the attribute values of the image regions connected by the edges, assigning a weight factor to the edges based on the comparison result, and adding the weight factor to the edge graph based on the weight values. Sort the edges.
  • the image area referred to here includes an image area configured as a polygon which is a minimum unit and a polygon mesh obtained by integrating a plurality of polygons.
  • the attribute value for example, the area of the image area (the average value of the areas of all the polygons integrated in the image area) is used, and the difference in area between the image areas connected by the edge is represented by the weight of the edge. It is given as a value, and sorting is performed in order of increasing weight value (increasing order). In this case, the smaller the area difference between image regions, the smaller the weight value, and the higher the processing order in subsequent image integration processing.
  • FIG. 4 illustrates a processing method for evaluating an edge.
  • the weight value W (e) of the edge e is calculated by the following equation.
  • pixel attribute information such as the normal direction and color of the image area (average color of at least one component of RGB) (however, having a texture)
  • Edge weights can be given using the difference of various attribute values of adjacent vertices (such as polygon mesh).
  • V iXw + j.
  • Each inner pixel will have 4 adjacent nodes, and the total number of edges m will be 2wh—w—h.
  • nodes V and V
  • the weighting factor between and can be expressed by the following equation, for example.
  • the image region integration processing unit 3 takes out a pair of image regions sandwiching the edges in the sorted order, and performs integration processing (mesh growing). Since the edge is given a weight as an index of the similarity between the image regions connected by the edge, the integration processing between the similar image regions is preferentially performed by performing the integration processing in order of decreasing weight. Equivalent to doing this.
  • the image region integration processing unit 3 determines whether or not to integrate image region pairs connected by edges extracted in the sorted order, based on a statistical processing algorithm.
  • image region R has area S and is composed of n polygons k k k
  • image region R has area S and is composed of n polygons.
  • the A is the maximum area of the polygon, and Q is a parameter for controlling the roughness of the segmentation.
  • the above judgment formula is derived from a statistical concentration imbalance force, which is a phenomenon that appears in the area of the polygon that forms the image region. This phenomenon is common in the field of statistics as a central limit theorem (even if the population is an arbitrary distribution, if the population force increases in sample size, the distribution of the sample mean is It will eventually converge to a normal distribution).
  • Q on the right side of the above equation is a parameter for controlling the roughness of the segmentation.
  • Q is increased, the value on the right side becomes smaller and it becomes difficult to satisfy the judgment formula. As a result, integration of image areas is suppressed.
  • Q is set to a small value, the value on the right side becomes large and the judgment formula is easily satisfied, so that the integration of the image areas is promoted, and a coarser mesh 'segmentation result can be obtained.
  • edge weight is calculated based on RGB color information as shown in the above equation (4)
  • the following statistical algorithm is used for adjacent nodes V and V connected by the edge.
  • n and n are the number of pixels included in the corresponding node.
  • Q is Seg
  • the node grows to an image area composed of a polygon mesh composed of a plurality of polygons.
  • identification information id (N) for uniquely identifying each node N, the area area (N) of the corresponding image area (initially one polygon), and the corresponding image area
  • the image region integration processing unit 3 gives a new id for identifying a new node when the nodes are integrated, and calculates the area of the image region and the number of polygons newly generated by the integration.
  • the node statistics information is updated.
  • the Union-Find algorithm can be used to generate new identification information (see above).
  • the micro region processing unit 4 processes a micro region remaining as a result of the integration processing of the image regions. For example, a minute polygon mesh that is left unintegrated between or inside large image areas is integrated into one of the adjacent image areas, regardless of whether or not the judgment formula is satisfied, and the processing result looks great. To improve.
  • the minute region referred to here is, for example, a polygonal mesh having an area of less than several percent with respect to the entire mesh surface.
  • FIG. 5 shows, in the form of a flowchart, an example of a processing procedure for performing a mesh ′ segmentation process in the image processing apparatus 10 according to the present embodiment.
  • the image information input unit 1 inputs image information of a three-dimensional object to be processed (step Sl).
  • the image information is described in the form of an adjacency graph composed of polygons as nodes and polygon edges as edges (see the above and FIG. 3).
  • the image information input unit 1 scans the input adjacency graph, gives identification information id (N) to each node N, obtains the area of the corresponding polygon, and identifies identification information for each node, surface Register (initialize) the product and the number of polygons (initial value is 1) in the node statistics.
  • the pseudo program 'code that initializes the node statistics information is shown below. However, id () is an array that stores the identification information of the node indicated by the argument, area () is an array that stores the area of the node of the identification information indicated by the argument, and n () is indicated by the argument It is an array that stores the number of polygons that make up the identification information node.
  • the adjacent graph evaluation unit 2 performs sorting by evaluating each edge of the input adjacent graph (step S2). Specifically, the difference in area between image regions connected by edges is given as the edge weight value, and sorting is performed in ascending order of the weight value. The smaller the area difference between image regions, the smaller the weight value, and the higher the processing order in subsequent image integration processing.
  • a parameter Q for controlling the roughness of the segmentation is set from the parameter setting unit 5 (step S3).
  • the image region integration processing unit 3 takes out a pair of image regions sandwiching the edges in the sorted order (step S4). Then, integration processing is performed based on whether or not these image regions have a power that satisfies the judgment formula based on the statistical algorithm (step S5).
  • the judgment formula used here derives the statistical concentration imbalance force, which is a phenomenon that appears in the area of the polygon that composes the image area (described above), and the parameter Q set in step S3 Use.
  • each node N respect, and uniquely identified for identifying information id (Ni), and the corresponding image region area (first one polygon) has area (N), the corresponding There is a record that holds the number n (N) (initial value is 1) of the number of polygons composing the image area, that is, the polygon mesh (described above).
  • n initial value is 1
  • the image area integration processing unit 3 When the image areas are integrated, the image area integration processing unit 3 generates a new node, gives a new id for identifying this node, and creates the area and polygon of the image area newly generated by the integration.
  • the node statistics information is updated by calculating the number of nodes (step S6).
  • N or NV, whichever is the old identification information, is used as the identification information of the new V zone.
  • Robert Endre Ding & 1 ⁇ ! 1 devised 1; 1 ⁇ 011— ⁇ 1 (1 anoregorism (see above) can be used.
  • the micro region processing unit 4 processes the micro regions remaining as a result of the image region integration processing (Ste S7). For example, a minute polygon mesh that is left unintegrated between or inside large image areas is integrated into one of the adjacent image areas, regardless of whether or not the judgment formula is satisfied, and the processing result looks great. To improve.
  • the microregions referred to here are, for example, polygonal meshes having an area of less than several percent with respect to the entire mesh surface.
  • the image region integration processing based on the statistical processing algorithm as described above can be performed at high speed because it is configured by a simple calculation that statistically processes the area of a polygon. For example, a millions of polygons per second can be processed using a general computer system (described above).
  • a general computer system described above.
  • the parameter value Q included in the judgment formula it is possible to freely set a standard for integrating image areas and generate a polygonal mesh with a desired roughness, and the system has scalability. .
  • the user can interactively set the Q value via the parameter setting unit 5, for example. For example, you can prepare a slide bar on the display screen and enter Q on this bar.
  • Fig. 6 shows an example of the segmentation result obtained interactively when the user sets the multi-scale parameter Q using the slide bar.
  • the image region integration processing unit 3 and the micro region processing unit 4 need to perform repeated processing, and the processing time is almost linear.
  • Q is increased, the value on the right side decreases, making it difficult to satisfy the judgment formula. As a result, integration of image areas is suppressed.
  • Q is set to a small value, the value on the right side becomes large and the decision formula is easily satisfied, so that integration of the image areas is promoted and a coarser mesh 'segmentation result can be obtained.
  • the polygons near the boundary ie, “Circular Crust” around the entire circumference of the newly created image region are left, and the subsequent image regions Integration processing can be performed.
  • the update processing of the node statistical information that occurs when leaving this "Circular Crust” requires a relatively small amount of calculation and can accurately determine success / failure for subsequent image region integration.
  • Fig. 9 shows the processing procedure for performing the mesh 'segmentation process leaving only "Circular Crust" in the form of a flowchart.
  • the image information input unit 1 inputs image information of a three-dimensional object to be processed (step S11).
  • Image information is described in the form of an adjacency graph composed of polygons as nodes and polygon edges as edges (see above and Fig. 3).
  • the image information input unit 1 scans the input adjacency graph, gives identification information id (N) to each node N, obtains the area of the corresponding polygon, and identifies identification information for each node, Register (initialize) the area and the number of polygons (initial value is 1) in the node statistics. Since the initialization processing of node statistics is the same as that described in Fig. 5, the description is omitted here.
  • the adjacent graph evaluation unit 2 performs sorting by evaluating each edge of the input adjacent graph (step S12). Specifically, the difference in the area between the image regions connected by the edges is given as the edge weight value, and sorting is performed in order of decreasing weight value.
  • the parameter Q for controlling the roughness of the segmentation is set via the parameter setting unit 5 (step S13).
  • the image region integration processing unit 3 takes out a pair of image regions sandwiching the edges in the sorted order (step S14). Then, integration processing is performed based on whether or not these image regions satisfy the judgment formula based on the statistical algorithm (step S15).
  • the judgment formula used here also derives the statistical concentration imbalance force, which is a phenomenon that appears in the area of the polygon that composes the image area (described above), and the parameter Q set in step S13. Is used.
  • the image area integration processing unit 3 When the image areas are integrated, the image area integration processing unit 3 generates a new node and gives a new id for identifying this node, and the area of the image area newly generated by the integration.
  • the node statistics information is updated by calculating the number of polygons and the number of polygons (step S16).
  • Circle Crust is generated for the union RUR of these image regions. This processing is realized by applying processing such as morphology to the image area.
  • the micro region processing unit 4 processes the micro regions remaining as a result of the image region integration processing. (Step S17). For example, a minute polygon mesh that is left unintegrated between or inside large image areas is integrated into one of the adjacent image areas, regardless of whether or not the judgment formula is satisfied, and the processing result looks great. To improve.
  • the microregions referred to here are, for example, polygonal meshes having an area of less than several percent with respect to the entire mesh surface.
  • Border Crust the polygon near the border where each image area to be integrated touches, that is, "Border Crust" is left, and the subsequent image area integration processing is performed. It may be.
  • Border Crust it is possible to make a success / failure judgment about the integration of the subsequent image areas more accurately than when using the Circular Crust.
  • Border Crust not only the node statistical information but also the adjacency graph must be updated, so the amount of calculation becomes enormous.
  • FIG. 11 shows the processing procedure for performing the mesh 'segmentation process leaving only "Border Crust" in the form of a flowchart.
  • the image information input unit 1 inputs image information of a three-dimensional object to be processed (step S21).
  • Image information is described in the form of an adjacency graph composed of polygons as nodes and polygon edges as edges (see above and Fig. 3).
  • the image information input unit 1 scans the input adjacency graph, gives identification information id (N) to each node N, obtains the area of the corresponding polygon, and identifies identification information for each node, Register (initialize) the area and the number of polygons (initial value is 1) in the node statistics. Since the initialization processing of node statistics is the same as that described in Fig. 5, the description is omitted here.
  • the adjacent graph evaluation unit 2 evaluates each edge of the input adjacent graph and performs sorting (step S22). Specifically, the area between image areas connected by edges The difference is given as the edge weight value, and sorting is performed in the increasing order of the weight value.
  • the parameter Q for controlling the roughness of the segmentation is set via the parameter setting unit 5 (step S23).
  • the image area integration processing unit 3 takes out a pair of image areas sandwiching the edges in the sorted order (step S24). Then, integration processing is performed based on whether or not these image regions satisfy the judgment formula based on the statistical algorithm (step S25).
  • the judgment formula used here derives the statistical concentration imbalance force that appears in the area of the polygons that make up the image area (described above), and the parameter Q set in step S23. Is used.
  • the image area integration processing unit 3 When the image areas are integrated, the image area integration processing unit 3 generates a new node, gives a new id for identifying this node, and the area of the image area newly generated by the integration.
  • the node statistics information is updated by calculating the number of polygons and the number of polygons (step S26).
  • n (id ' ⁇ N l )) n (B i (j B
  • the node N and indicated by the argument of the Merge function are integrated. Then, the boundary that touches the image area of the node N in the image area R of the node N ; and the boundary that touches the image area of the node N in the image area R of the node are respectively extracted with the function Extract Boundary.
  • the previously obtained area (BUB) is substituted into the area (icf (N)) of the new node.
  • n (B. U B) is assigned to the number of polygons n (id '(N)) of the new sword.
  • the node statistical information update process is completed by giving new identification information icT (N) and icT (N) to the nodes N and N, respectively.
  • the image region integration processing unit 3 performs an adjacent graph update process (step S27).
  • the edge weighting factor included in the adjacent graph is recalculated, and the edge is resorted according to the weight value. Then, the process returns to step S24, a pair of image areas sandwiching the edges is taken out in the sorted order, and the image area integration process based on the statistical processing algorithm is repeated.
  • the identification information id (N) of all the image regions R adjacent to each of the image regions R and R to be processed for generating Border Crust is searched. And found out
  • FIG. 13 illustrates a state where the adjacency graph is updated.
  • R adjacent to R and R adjacent to R are found as image areas adjacent to each of the image areas R and R that are processing targets for generating Border Crystal.
  • Border Crystal it is assumed that R adjacent to R and R adjacent to R are found as image areas adjacent to each of the image areas R and R that are processing targets for generating Border Crystal.
  • the micro region processing unit 4 determines that the result of the image region integration processing is Then, the remaining fine area is processed (step S28). For example, a minute polygon mesh that is left unintegrated in or between large image areas is integrated into one of the adjacent image areas, regardless of whether or not the judgment formula is satisfied.
  • the micro area here is, for example, a polygonal mesh having an area of less than several percent with respect to the entire mesh surface.
  • the judgment formula (described above) used in the image region integration processing unit 3 includes the parameter Q for controlling the roughness of the segmentation, so that a parameter that provides the desired segmentation roughness can be obtained.
  • the value of Q can be given from the parameter setting section 5.
  • the parameter setting unit 5 may convert the parameter Q into the value of the corresponding parameter Q and give it to the system.
  • the user can give the number of image areas when performing mesh 'segmentation', and the integration of image areas based on statistical processing algorithms is fast, so the number of image areas can be changed dynamically, that is, freely. Can do.
  • the original 3D object is divided into N image areas. If the user responds to this processing result that the user wants a result divided into M areas, the parameter setting unit 5 obtains a Q value so that the image area becomes M, This is given to the image region integration processing unit 3 and the mesh 'segmentation process is re-executed.
  • the parameter setting unit 5 obtains a Q value so that the image area becomes M, This is given to the image region integration processing unit 3 and the mesh 'segmentation process is re-executed.
  • the progressive mesh 'segmentation is performed and the hierarchical segmentation is realized by inputting a plurality of Qs continuously by the parameter setting unit 5. can do. Since the image region integration process based on the statistical processing algorithm is fast, the user can change the number of image regions dynamically, that is, freely when performing mesh 'segmentation.
  • the present inventor has developed an image search ( shape matching). For example, a keyword can be set for each segmented image area and image search can be performed (for example, “Modeling by example” (In Proc. SIGGRAPH (2004) Vol. 23, Issue 3, pp. 652— 663)).
  • the present invention it is possible to construct keyword information having a hierarchical structure with respect to an image of an original three-dimensional object by assigning a keyword to each mesh segmentation layer.
  • search that is, shape matching
  • different search results can be obtained for each hierarchy.
  • the Q value can be controlled in the parameter setting unit 5 so that a desired search result can be obtained.
  • the number of image areas can be changed dynamically, that is, freely when mesh segmentation is performed, since the image area integration process based on the statistical processing algorithm is fast. It is. In other words, if the user resets the Q value via the parameter setting unit 5 according to the search result, the number of parts can be changed freely with just a ⁇ ⁇ operation. The degree control can be operated freely.
  • FIGS. 14 to 16 show how to adjust the number of image areas to be divided by setting the Q value via the operation of the slide bar during mesh 'segmentation'.
  • the number of integrated areas is 116, as shown in the upper right corner of the page.
  • the mesh 'segmentation process according to the present invention can freely set a standard for integrating image regions to generate a polygonal mesh with a desired roughness, and the system has scalability. It can be applied to a variety of interactive applications such as non-metallization and texture mapping, image shaping, multi-resolution modeling, image editing, image compression, animation, and shape matching.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

　インタラクティブなアプリケーションに適合するプログレッシブなメッシュ・セグメンテーション処理を高速且つ高い精度で行なう。 　画像処理装置１０は、処理対象となる３次元画像情報を隣接グラフの形式で入力する画像情報入力部１と、入力した隣接グラフの各エッジを評価してソーティングを行なう隣接グラフ評価部２と、ソーティングされた順に従ってエッジを挟む画像領域のペアを取り出し、これらを統計的処理アルゴリズムに基づいて評価して統合処理を行なう画像領域統合処理部３と、画像領域の統合処理をした結果として残された微細な領域を処理する微小領域処理部４を備える。  

Description

明 細 書
情報処理装置及び情報処理方法、画像処理装置及び画像処理方法、並 びにコンピュータ 'プログラム
技術分野
[0001] 本発明は、膨大なデータを取り扱う情報処理装置に係り、個々を知覚できない多数 のノードからなる生のデータをセグメントと呼ばれる知覚可能な少数の単位に成長さ せる情報処理装置に関する。
[0002] 具体的には、本発明は、物理的なオブジェクトの 2次元的イメージを生成し表示す るための画像処理装置及び画像処理方法、並びにコンピュータ 'プログラムに係り、 特に、オブジェクトを微細なポリゴンなどの多数のノードの集合体すなわちセグメントと して扱 、、オブジェクトの 2次元的イメージ処理などを行なう画像処理装置及び画像 処理方法、並びにコンピュータ ·プログラムに関する。
[0003] さら〖こ詳しくは、本発明は、画像領域の分割や、分割した領域の統合 (merge)など の処理を行な 、、多角形メッシュを適当な粗さに調整するメッシュ ·セグメンテーション 処理を行なう画像処理装置及び画像処理方法、並びにコンピュータ ·プログラムに係 り、例えば 2次元又は 3次元のコンピュータ 'グラフィックスを利用するアプリケーション に応じてプログレッシブなメッシュ ·セグメンテーション処理を行なう画像処理装置及 び画像処理方法、並びにコンピュータ ·プログラムに関する。
背景技術
[0004] コンピュータ上では、テキスト形式の文書ファイル以外に、音声、画像、自然言語な どさまざまなメディアをデジタルィ匕して、数学的に取り扱うことにより、情報の編集'カロ ェ、蓄積、管理、伝達、共有といった、より高度で多岐にわたるデータ処理を行なうこ とが可能となっている。例えば、コンピュータを用いて画像に対し変形や色の変更、 画質向上、再符号化などのデジタル ·イメージ処理を行なう画像処理技術は広範に 普及している。この画像処理技術には、風景写真の中で美観を損ねる電柱などの物 体を除去する特殊効果や、人間の顔力 動物の顔へ滑らかに変化させるモーフイン グなども含まれる。また、人工衛星カゝら送られてくる写真映像の処理や、 CTスキャナ で読み込まれた診断画像の処理など、画像処理技術は科学や医療などの各種専門 分野にも適用されている。
[0005] 例えば、 2次元又は 3次元の物理オブジェクトのイメージを生成し表示する画像処 理技術は「コンピュータ 'グラフィックス（CG)」と呼ばれ、脚光を浴びている。この種の グラフィック 'システムは、一般に、フロントエンドとしてのジオメトリ'サブシステムと、バ ックエンドとしてのラスタ ·サブシステムで構成される。このうち、ジォメトリ'サブシステ ムでは、オブジェクトを多数の微細なポリゴン (通常は 3角形)の集合体すなわち多角 形メッシュとして扱い、ポリゴンを定義する各頂点について、座標変換や、クリッピング 、光源計算といった幾何学計算を行なう。
[0006] ここで、元のオブジェクトを領域分割したメッシュの粗さは、処理負荷や画質に大き く影響する。元のオブジェクトをより微細な画像領域に領域分割すると、処理対象と する頂点の個数もこれに比例して増大するので、処理量も増大する。また、多角形の サイズを大きくすると、最終的な成果物としての画像は粗くなる。このため、画像領域 の分割や、分割した領域の統合 (merge)などの処理を行ない、 CGを利用するアプリ ケーシヨンに応じて多角形メッシュを適当な粗さに調整するというメッシュ'セグメンテ ーシヨン処理が必要となる。
[0007] メッシュ ·セグメンテーションは、生（raw)のデータを「セグメント（segment)」と呼ば れる知覚可能な少数の単位に成長させるための基本的な手法である。メッシュ ·セグ メンテーシヨンは、 1970代におけるコンピュータ画像処理の初期力 研究が始められ たが (例えば、非特許文献 1を参照のこと）、いまだ活発な分野である。当初より、メッ シュ'セグメンテーションは、カラー'イメージ、動画像、距離画像 (depth image若し くは range imageとして知られる）、 3次元立体データ、 3次元メッシュなどを取り扱つ ている。メッシュ 'セグメンテーション処理で粗さの異なる複数の多角形メッシュ（セグメ ント）を作成することにより、階層化セグメンテーションを実現することができる。また、 階層的なメッシュ 'セグメンテーションをプログレッシブすなわち滑らかに行なうことに より、画像を利用するアプリケーションの幅は広がる。
[0008] 例えば、ファジーな画像クラスタリング及び画像切断方法を利用した階層ィ匕メッシュ 分解を行なうメッシュ ·セグメンテーション処理にっ ヽて提案がなされて ヽる（例えば、 非特許文献 2を参照のこと)。
[0009] メッシュ 'セグメンテーションは、基本的には、隣接する画像領域間の類似度に基づ いて処理される。例えば、入力映像の色信号を所定の色空間に変換して、入力映像 の色画素がこの色空間で占める位置に応じて入力映像を複数の領域に分割する初 期映像分割を行な!ヽ、分割された領域間の水平的な隣接関係及び垂直的な包含関 係に応じて分割された領域を複数のレイヤに分け、各レイヤ内において隣接する領 域をグルーピングしてレイヤ毎に形成された領域グループ間の垂直的な包含関係を 抽出して領域を構造ィ匕し、各領域間の水平的な関係及び領域グループ間の垂直的 な包含関係に応じて各領域間の結合順位を決定し、決定された結合順位に基づい て隣接領域間の結合の成否を評価して、評価された領域が実質的に同一の映像特 性を有する領域であると判断されれば領域の結合を行なうことができる（例えば、特 許文献 1を参照のこと)。
[0010] し力しながら、従来のメッシュ 'セグメンテーション処理では主として、領域成長 (regi on growing)、又は階層的 Zixfe的 Z光'^ 1的 (hierarcical/ iterative/ spectra 1)なクラスタリングを行なう。すなわち配列を用いた代数演算を繰り返し行なうため、 処理速度が遅い。例えば、 400個程度のポリゴンを処理するのに 1〜57秒の時間を 要するため、粗さの異なる複数のメッシュ 'セグメンテーションをプログレッシブに生成 することは難しい。また、システムにスケーラビリティがなぐポリゴン数が増えると、処 理時間は著しく増大してしまう。このため、パーソナル 'コンピュータ（PC)のような一 般的な計算機で処理することは困難であり、また、実時間性が要求されるインタラクテ イブなアプリケーションに適用することはできない。また、元のオブジェクトに関するォ リジナルの情報が失われる、多数のパラメータ値を調整しなければならない、といった 問題もある。
[0011] 特許文献 1 :特開 2001— 43380号公報
非特干文献 1： A. Rosenfeld, 'Picture processing by computer (Acaaemi c Press, 1969)
非特許文献 2 : Sagi Katz and Ayellet Tal, "Hierarchical mesh decompo sition using fuzzy clustering and cots. (In Proc. SIGGRAPH (200 3) . ACM Trans. onGraphics22, 3 (2003) , 382— 391)
発明の開示
発明が解決しょうとする課題
[0012] 本発明の目的は、個々を知覚できない多数の微小なノードからなる生のデータをセ グメントと呼ばれる知覚可能な少数の単位に成長させることができる、優れた情報処 理装置及び情報処理方法、並びにコンピュータ 'プログラムを提供することにある。
[0013] 本発明のさらになる目的は、物理的なオブジェクトを多数の微細なノードの集合体（ すなわちセグメント）として扱い、ノード同士の統合処理によってセグメントを成長させ ることで、オブジェクトの 2次元的イメージを処理することができる、優れた画像処理装 置及び画像処理方法、並びにコンピュータ 'プログラムを提供することにある。
[0014] 本発明のさらなる目的は、画像領域の分割や、分割した領域の統合 (merge)など の処理を行なって領域を成長させ、多角形メッシュを適当な粗さに調整するメッシュ · セグメンテーション処理を好適に行なうことができる、優れた画像処理装置及び画像 処理方法、並びにコンピュータ 'プログラムを提供することにある。
[0015] 本発明のさらなる目的は、 2次元又は 3次元のコンピュータ 'グラフィックスを利用す るアプリケーションに応じてプログレッシブなメッシュ ·セグメンテーション処理を高速 且つ高い精度で行なうことができる、優れた画像処理装置及び画像処理方法、並び にコンピュータ 'プログラムを提供することにある。
課題を解決するための手段
[0016] 本発明は、上記課題を参酌してなされたものであり、その第 1の側面は、それぞれ 属性値を持つ複数のノードでトポロジが形成されたデータを取り扱う情報処理装置で あって、
前記トポロジ上で隣接するノード同士がそれぞれ持つ属性値に基づいてノード間を 結ぶエッジの重み因子を求め、重み因子に基づいてエッジをソーティングするトポロ ジ評価部と、
該ソーティングされた順に従って、エッジで結ばれるノードのペアを取り出して、該ノ ード同士を統合すべき力否かを所定の統計的処理アルゴリズムに基づいて評価し、 ノード領域の統合処理を行なうノード統合処理部と、 を具備することを特徴とする情報処理装置である。
[0017] 本発明の第 1の側面によれば、隣接するノード同士を統合すべき力否かを統計的 処理アルゴリズムに基づいて判断し、ノードの統合を繰り返し実行していくことにより、 個々を知覚できない多数のノードからなる生のデータから、セグメントと呼ばれる知覚 可能な少数の単位に成長させることができる。ここで言う統計的処理アルゴリズムで は、例えば各ノードがそれぞれ持つ属性情報における集中不均衡 (concentration in— equality)現象力も導き出される判断式に基づいて、隣接するノード同士が類 似するか、言 、換えればノードを統合することができるかどうかを判別する。
[0018] このような統計的処理アルゴリズムに基づくノードの統合処理は、各ノードが持つ属 性情報を統計処理するという簡素な計算で構成されることから高速ィ匕が可能である。 例えば、パーソナル 'コンピュータなどの一般的な計算機を用いて毎秒百万個の多 角形を処理することができる。また、判断式に含まれるパラメータ値を調整することに よって、ノード同士を統合する基準を自在に設定して、所望する粗さのセグメントまで 成長させることができ、システムはスケーラビリティを持つ。
[0019] したがって、本発明の第 1の側面によれば、生のデータを構成する複数のノードのト ポロジを入力値とし、ノードの統合処理を統計的処理アルゴリズムに従って再帰的に 行なって ヽく（すなわち、 mesh growingを行なう）ことで、任意の粗さのセグメントを 生成することができる。また、統計的処理アルゴリズムに基づく判断式のパラメータ値 を変更することで、粗さの異なる複数のセグメントを円滑に生成することができる。
[0020] また、本発明の第 2の側面は、オブジェクトを複数の多角形力もなる多角形メッシュ として扱 ヽ画像処理を行なう画像処理装置であって、
多角形メッシュを記述する隣接グラフを入力する隣接グラフ入力部と、
エッジで結ばれる各画像領域が持つ属性値を比較して比較結果に基づいて重み 因子をエッジに付与し、重み値に基づいて隣接グラフ中のエッジをソーティングする 隣接グラフ評価部と、
ソーティングされた順に従ってエッジを挟む画像領域のペアを取り出し、画像領域 同士を統計的処理アルゴリズムに基づ 、て統合すべきか否かを評価し、画像領域の 統合処理を行なう画像領域統合処理部と、 を具備することを特徴とする画像処理装置である。この画像処理装置は、画像領域 の統合処理をした結果として残された微細な領域を処理する微小領域処理部をさら に備えることができる。
[0021] 本発明の第 2の側面は、 2次元又は 3次元の物理オブジェクトの 2次元的イメージを 生成し表示するための画像処理装置に関する。コンピュータ ·グラフィックスの分野で は、通常、処理対象となるオブジェクトを多数の微細なポリゴン (通常は 3角形)の集 合体すなわち多角形メッシュとして扱い、画像処理を行なう。多角形メッシュの粗さは 、処理負荷や画質に大きく影響するため、画像領域の分割や、分割した領域の統合 (merge)などの処理を行な 、、 3DCGを利用するアプリケーションに応じて多角形メ ッシュを適当な粗さに調整すると 、うメッシュ ·セグメンテーション処理が必要となる。 また、メッシュ 'セグメンテーションをプログレッシブすなわち滑らかに行なうことにより、 画像を利用するアプリケーションの幅は広がる。
[0022] ところが、従来の手法で、処理速度が遅ぐ一般的な計算機ではプログレッシブなメ ッシュ 'セグメンテーション処理の実現が困難であるとともに、インタラクティブなアプリ ケーシヨンに適用することはできない。
[0023] これに対し、本発明の第 2の側面では、隣接する画像領域を統合すべきか否かを 統計的処理アルゴリズムに基づいて判断していくことにより、 3次元オブジェクトを分 割した微小な多数の多角形から、画像領域の統合を繰り返し実行して、所望する粗 さからなる多角形メッシュを生成するようにして!/、る。ここで言う統計的処理アルゴリズ ムでは、例えば画像領域を構成する多角形の面積における集中不均衡現象力 導 き出される判断式に基づいて、隣接する画像領域同士が類似するか、言い換えれば 画像領域を統合することができるかどうかを判別する。
[0024] このような統計的処理アルゴリズムに基づく画像領域の統合処理は、多角形の面積 を統計処理するという簡素な計算で構成されることから高速ィ匕が可能である。例えば 、パーソナル 'コンピュータなどの一般的な計算機を用いて毎秒百万個の多角形を 処理することができる。また、判断式に含まれるパラメータ値を調整することによって、 画像領域同士を統合する基準を自在に設定して、所望する粗さの多角形メッシュを 生成することができ、システムはスケーラビリティを持つ。 [0025] したがって、本発明によれば、処理対象とする物理オブジェクトを分割した微小な 多数の多角形の集合を入力値とし、多角形メッシュからなる画像領域の統合処理を 統計的処理アルゴリズムに従って行なっていく（すなわち、 mesh growingを行なう） ことで、任意の粗さの多角形メッシュを生成することができる。また、統計的処理アル ゴリズムに基づく判断式のノラメータ値を変更することで、粗さの異なる複数の多角 形メッシュを円滑に生成することができる。すなわち、プログレッシブなメッシュ'セグメ ンテーシヨンを実現できる、さまざまなインタラクティブなアプリケーションに適用するこ とがでさる。
[0026] 本発明に係るメッシュ 'セグメンテーションのアプリケーションとして、例えば、パラメ タリゼーシヨン及びテクスチャ.マッピング、画像変形 (morphing)、多解像度モデリン グ、画像編集、画像圧縮、アニメーション、並びに形状マッチングなどを挙げることが できる。
[0027] 画像処理の分野では一般に、画像領域としての多角形メッシュを、その構成要素と なる複数の多角形間の関係を記述した隣接グラフ (Incidence Graph)の形式で表 現する。本発明に係るメッシュ 'セグメンテーション方法では、多角形メッシュを構成す る個々の多角形をノードとして扱 、、隣接する多角形同士が接する辺に相当するエツ ジを用いて対応するノード間を結んで記述される隣接グラフを入力に用いる。
[0028] そして、本発明の第 2の側面に係るメッシュ 'セグメンテーション方法では、まず、入 力された隣接グラフの各エッジを評価してソーティングを行なう。エッジの評価は、具 体的には、エッジで結ばれる各画像領域が持つ属性値を比較して比較結果に基づ いて重み因子をエッジに付与する。ここで言う画像領域は、最小単位である多角形と 、複数の多角形を統合した多角形メッシュとして構成される画像領域を含む。
[0029] ここで言う属性値として、例えば、画像領域が持つ面積 (画像領域に統合された各 多角形メッシュが持つ平均面積)を用い、エッジで結ばれる画像領域間の面積の相 違をエッジの重み値として与えることができる。この場合、画像領域間の面積の差が 小さいほど重み値は小さくなり、後続の画像統合処理では処理順位が高くなる。ある いは、画像領域を構成する多角形の面積の他に、画像領域の法線方向、色などの 画素属性情報 (RGBのうち少なくとも 1成分についての画像領域内の平均色）（但し 、テクスチャを持つ多角形メッシュの場合）を用いてエッジの重みを与えることができ る。
[0030] 本発明の第 2の側面に係るメッシュ 'セグメンテーション方法では、画像領域を構成 する多角形の面積における集中不均衡現象力も導き出される判断式に基づいて、ェ ッジで結ばれる画像領域同士を統合すべき力どうかを判断するが、具体的には、エツ ジで結ばれる 2つの画像領域 R及び Rに関して以下の統計的アルゴリズムに基づく k 1
判断式を満たすときに、画像領域 R及び Rを統合すべきと判定する。但し、下式にお k 1
いて、画像領域 Rは面積 Sを持つとともに n個の多角形で構成され、画像領域 Rは k k k 1 面積 Sを持つとともに n個の多角形で構成されるとし、 Aは多角形の最大面積とし、 Q
1 1
はセグメンテーションの粗さを制御するためのパラメータとする。
[0031] [数 1]
Figure imgf000010_0001
[0032] 上記の統計的処理アルゴリズムに基づく判断式は、セグメンテーションの粗さを制 御するためのパラメータ Qを含んでいるので、所望のセグメンテーションの粗さが得ら れるようなパラメータ Qの値を外部力も与えることができる。また、所望するセグメンテ ーシヨンの粗さや分割した画像領域の個数が外部力 要求されたときに、該当するパ ラメータ Qの値に変換してシステムに与えるようにしてもよい。このような柔軟なパラメ ータ Qの設定を行なうことにより、プログレッシブなメッシュ 'セグメンテーションを実現 することができ、さまざまなインタラクティブ ·アプリケーションに適用し易くなる。
[0033] 初期状態のノードは、隣接グラフ中の最小単位の多角形である力 画像の統合処 理が進むと、ノードは複数の多角形からできた多角形メッシュで構成される画像領域 に成長する。ノードすなわち画像領域の統合の成否を統計的処理アルゴリズムに基 づく判断式により判定するために必要な情報として、各ノードにっ 、ての面積及び多 角形の個数が計算され、ノード統計情報として保持される。また、画像領域の統合を 実行したときには、統合して新たに生成された画像領域の面積及び多角形の個数を 算出して、ノード統計情報の更新処理が行なわれる。 [0034] ここで、画像領域の統合が進むと、成長した画像領域はその面積が巨大であるとと もに、多角形の個数も大きな値となる。このような場合、隣接する画像領域との統合の 正否を判断する上では、境界に近い多角形の情報がより重要であるにも拘らず、画 像領域の中央部力 余分な影響を受けるという結果に陥る。すなわち、統計的処理 アルゴリズムに基づく上記の判断式では正確な境界判定を行なえなくなる。
[0035] そこで、画像領域の統合を行なったときに、新たに生成された画像領域の「外皮 (C rust)」に相当する領域境界近辺の多角形のみを残して、以降の画像領域の統合に ついての成否判断を行なうようにしてもよい。この場合、統合して新たに生成される画 像領域全体ではなく、 "Crust"に相当する領域につ!、ての面積及び多角形の個数 を算出してノード統計情報の更新処理を行なう。
[0036] 「外皮」として、例えば統合して新たに生成された画像領域の全周に渡る境界近辺 の多角形すなわち" Circular Crust"のみを残して、以降の画像領域統合処理を行 なうようにすることができる。この" Circular Crust"を残す際に発生するノード統計 情報の更新処理は比較的計算量が少なぐ且つ以降の画像領域の統合についての 成否判断を正確にすることができる。
[0037] あるいは、「外皮」として、統合しょうとする各画像領域が接する境界近辺の多角形 すなわち" Border Crust"のみを残して、以降の画像領域統合処理を行なうようにし てもよい。この Border Crustを用いることにより、 Circular Crustを用いた場合より もより正確に以降の画像領域の統合についての成否判断を行なうことができる。但し 、 Border Crustを用いる場合には、ノード統計情報だけではなぐ隣接グラフも更 新しなければならな 、ので、その計算量は膨大となる。
[0038] また、本発明の第 3の側面は、それぞれ属性値を持つ複数のノードでトポロジが形 成されたデータを取り扱うための処理をコンピュータ上で実行するようにコンピュータ 可読形式で記述されたコンピュータ 'プログラムであって、前記コンピュータに対し、 前記トポロジ上で隣接するノード同士がそれぞれ持つ属性値に基づいてノード間を 結ぶエッジの重み因子を求め、重み因子に基づいてエッジをソーティングするトポロ ジ評価手順と、
該ソーティングされた順に従って、エッジで結ばれるノードのペアを取り出して、該ノ ード同士を統合すべき力否かを所定の統計的処理アルゴリズムに基づいて評価し、 ノード領域の統合処理を行なうノード統合処理手順と、
を実行させることを特徴とするコンピュータ ·プログラムである。
[0039] また、本発明の第 4の側面は、オブジェクトを複数の多角形力もなる多角形メッシュ として扱 、画像処理を行なうための処理をコンピュータ上で実行するようにコンビユー タ可読形式で記述されたコンピュータ 'プログラムであって、前記コンピュータに対し、 多角形メッシュを記述する隣接グラフを入力する隣接グラフ入力手順と、 エッジで結ばれる各画像領域が持つ属性値を比較して比較結果に基づいて重み 因子をエッジに付与し、重み値に基づいて隣接グラフ中のエッジをソーティングする 隣接グラフ評価手順と、
ソーティングされた順に従ってエッジを挟む画像領域のペアを取り出し、画像領域 同士を統計的処理アルゴリズムに基づ 、て統合すべきか否かを評価し、画像領域の 統合処理を行なう画像領域統合処理手順と、
を実行させることを特徴とするコンピュータ ·プログラムである。
[0040] 本発明の第 3及び第 4の各側面に係るコンピュータ 'プログラムは、コンピュータ'シ ステム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンビュ 一タ.プログラムを定義したものである。換言すれば、本発明の第 3及び第 4の各側面 に係るコンピュータ ·プログラムをコンピュータ ·システムにインストールすることによつ て、コンピュータ 'システム上では協働的作用が発揮され、本発明の第 1の側面に係 る情報処理装置、及び第 2の側面に係る画像処理装置と同様の作用効果をそれぞ れ得ることができる。
発明の効果
[0041] 本発明によれば、個々を知覚できない多数の微小なノードからなる生のデータをセ グメントと呼ばれる知覚可能な少数の単位に成長させることができる、優れた情報処 理装置及び情報処理方法、並びにコンピュータ 'プログラムを提供することができる。
[0042] また、本発明によれば、 2次元又は 3次元オブジェクトを多数の微細なポリゴン (通 常は 3角形)の集合体すなわち多角形メッシュとして扱い、その 2次元的イメージを処 理する際に、多角形メッシュを適当な粗さに調整するメッシュ ·セグメンテーション処 理を好適に行なうことができる。すなわち、コンピュータ 'グラフィックスを利用するアブ リケーシヨンに応じてプログレッシブなメッシュ 'セグメンテーション処理を高速且つ高 Vヽ精度で行なうことができる。
[0043] 本発明に係る画像処理装置は、統計的処理アルゴリズムに基づ!/ヽて高速な画像領 域の統合処理を行なうことができ、一般的な計算機上でもプログレッシブなメッシュ · セグメンテーション処理を実現可能である。
[0044] また、本発明に係るメッシュ ·セグメンテーション処理は、判断式に含まれるパラメ一 タ値を調整することにより、画像領域同士を統合する基準を自在に設定して、所望す る粗さの多角形メッシュを生成することができる。また、システムはスケーラビリティを 持ち、パラメタリゼーシヨン及びテクスチャ 'マッピング、画像変形 (morphing)、多解 像度モデリング、画像編集、画像圧縮、アニメーション、並びに形状マッチングなど、 さまざまなインタラクティブ ·アプリケーションに適用することができる。
[0045] 本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する 図面に基づくより詳細な説明によって明らかになるであろう。
図面の簡単な説明
[0046] [図 1]図 1は、本発明の一実施形態に係る画像処理装置の機能的構成を模式的に示 した図である。
[図 2]図 2は、隣接グラフを例示した図である。
[図 3]図 3は、隣接グラフを例示した図である。
[図 4]図 4は、エッジの評価を行なう処理方法を説明するための図である。
[図 5]図 5は、メッシュ'セグメンテーション処理を行なうための処理手順の一例を示し たフローチャートである。
[図 6]図 6は、スライド 'バーを用 、てユーザが多スケールのパラメータ Qを設定したと きにインタラクティブに得られるセグメンテーション結果の例を示した図である。
[図 7]図 7は、画像領域の統合処理が進んだ様子を示した図である。
[図 8]図 8は、統合して新たに生成された画像領域の全周に渡る境界近辺の多角形 すなわち" Circular Crust"のみを残した様子を示した図である。
[図 9]図 9は、 "Circular Crust"のみを残したメッシュ 'セグメンテーション処理を行 なうための処理手順を示したフローチャートである。
[図 10]図 10は、統合しょうとする各画像領域が接する境界近辺の多角形すなわち" B order Crust"のみを残した様子を示した図である。
[図 11]図 11は、 "Border Crust"のみを残したメッシュ 'セグメンテーション処理を行 なうための処理手順を示したフローチャートである。
[図 12]図 12は、隣接する画像領域 R;及び Rから Border Crustを取り出す様子を示 した図である。
[図 13]図 13は、 "Border Crust"のみを残したメッシュ.セグメンテーション処理を行 なった際の、隣接グラフを更新する処理を説明するための図である。
[図 14]図 14は、メッシュ 'セグメンテーション時に、スライド 'バーの操作を介して Q値 を設定して分割する画像領域数を調整する様子を示した図である。
[図 15]図 15は、メッシュ 'セグメンテーション時に、スライド 'バーの操作を介して Q値 を設定して分割する画像領域数を調整する様子を示した図である。
[図 16]図 16は、メッシュ 'セグメンテーション時に、スライド 'バーの操作を介して Q値 を設定して分割する画像領域数を調整する様子を示した図である。
[図 17]図 17は、本発明の一実施形態に係る情報処理装置の機能的構成を模式的 に示した図である。
[図 18]図 18は、隣接するノード同士を統合して新たなノードを生成する様子を模式 的に示した図である。
[図 19]図 19は、図 17に示した情報処理装置によってセグメンテーション処理を行なう 手順を示したフローチャートである。
符号の説明
1…画像情報入力部
2…隣接グラフ評価部
3…画像領域統合処理部
4…微小領域処理部
5…パラメータ設定部
10· · '画像処理装置 50· ··情報処理装置
51· ··ノード入力部
52· ··トポロジ評価部
53· ··統合処理部
54…微小ノード処理部
55· ··パラメータ設定部
発明を実施するための最良の形態
[0048] 以下、図面を参照しながら本発明の実施形態について詳解する。
[0049] 本発明は、個々を知覚できない多数の微小なノードによってトポロジが形成された 生のデータを扱う情報処理装置に関するものであり、各ノードが持つ属性情報に対し て所定の統計的処理アルゴリズムを施すことによって、隣接するノード同士を統合す べき力否かを統計的処理アルゴリズムに基づ 、て判断し、ノードの統合を繰り返し実 行していくことにより、個々を知覚できない多数のノードから、セグメントと呼ばれる知 覚可能な少数の単位に成長させるように構成されて 、る。
[0050] 図 17には、本発明の一実施形態に係る情報処理装置の機能的構成を模式的に示 している。図示の情報処理装置 50は、複数のノードによってトポロジが形成されてい る生のデータを処理対象として入力するノード入力部 51と、トポロジ上で隣接するノ ード同士を結んでいる各エッジを評価してソーティングを行なうトポロジ評価部 52と、 ソーティングされた順にしたがってエッジで結ばれるノードのペアを取り出し、これらを 統計的処理アルゴリズムに基づ!/、て評価して統合処理を行なう統合処理部 53と、ノ ードの統合処理をした結果として十分な大きさのセグメンテーションに成長せずに残 された微細のノードを処理する微小ノード処理部 54を備えている。
[0051] この種の画像処理装置 10は、専用のハードウェア装置としてデザインしてもよいが 、パーソナル 'コンピュータ (PC)などの一般的な計算機システム上で各機能モジュ ール 51〜 54に相当する処理を実行するアプリケーション'プログラムを起動すると!/ヽ う形態で実現することも可能である。一般的な計算機システムは、例えばプロセッサ に米インテル社の Pentium (登録商標） IV (1. 6GHz)を使用し、 1GBの RAMで構 成されるメイン'メモリを備える。また、アプリケーション 'プログラムは、オペレーティン グ 'システム（OS)で提供される API (アプリケーション 'プログラミング 'インターフエ一 ス）を利用して、 C++言語でコーディングすることができる。
[0052] ノード入力部 51に入力される処理対象データは、複数のノードによってトポロジが 形成されている。トポロジは、複数のノードと、ノード間を結ぶエッジで構成され、各ノ ードは属性情報を持っている。また、統合処理部 53によってノード同士の統合が行 なわれると、新たなノードに関する属性情報が算出される。
[0053] トポロジ評価部 52では、入力されたデータに含まれる隣接ノード間を結ぶエッジを 評価してソーティングを行なう。エッジの評価は、具体的には、エッジで結ばれる各ノ ードが持つ属性値を比較して比較結果に基づ 、て重み因子をエッジに付与し、重み 値に基づいてトポロジ中のエッジをソーティングする。エッジに与えられる重み値は、 当該エッジで結ばれる画像領域間の類似度の指標となる。
[0054] ノードが面積を持つ場合には、その属性情報として面積（当該ノードに統合された 元のすべてのノードの面積の平均値）を用い、エッジで結ばれるノード間の面積の相 違をエッジの重み値として与えて、重み値の小さい順（increasing order)にソーテ イングを行なう。この場合、ノード間の面積の差が小さいほど重み値は小さくなり、後 続の統合処理では処理順位が高くなる。あるいはノードが属性情報として色を持つ 場合、画素属性情報 (RGBのうちの少なくとも 1成分の平均色）を用いてエッジの重 み値を評価することができる。
[0055] 続いて、統合処理部 53では、ソーティングされた順に従ってエッジを挟むノードの ペアを取り出し、統合処理を行なってセグメンテーションを成長させる。エッジには、 エッジで結ばれる画像領域間の類似度の指標となる重みが与えられるので、重みが 小さい順に統合処理を行なうことは、類似するノード間の統合処理を優先的に実行 することに相当する。
[0056] 統合処理部 53では、ノードのペアに対し、統計的処理アルゴリズムに基づいて、統 合すべきかどうかを判断する。具体的には、隣接するノード f (i)及び f (j)がそれぞれ 属性値として持つ統計情報 Stats. f (i)及び Stats. f (j)に関して以下の統計的アル ゴリズムに基づく判断式 (Predicate)を満たすときに、ノード f (i)及び f (j)を統合すベ きと判定する。但し、下式において、ノード f (i)は N (i)個のノードを含むととも〖こノード f (j)は N (j)個のノードを含み、関数 b (x)は b (x) = (logx) /Q+ (KZx)であり、 Κ は定数、 Qはノードを統合して成長したセグメンテーションの粗さを制御するためのパ ラメータとする。
[0057] [数 2]
Stats.f{i)- Stats.f(jf ≤
Figure imgf000017_0001
+ b( N[j]) ...(2)
[0058] 上記の判断式は、画像領域を構成する多角形の面積において現れる現象である、 統計的な集中不均衡（statistical concentration inequality)から導き出される ものである。この現象は、統計学の分野では、中心極限定理（central limit theor em)として一般的である。中心極限定理は、標本平均と真の平均との誤差を規定す るもので、標本の分布がいかなる分布であっても、その誤差はサンプル数を大きくす ると近似的に正規分布に従う。
[0059] 上式の右辺の Qはセグメンテーションの粗さを制御するためのパラメータである。 Q を大きくとると右辺の値が小さくなり、判断式を満たすのが困難となる結果、ノードの 統合が抑制される。逆に、 Qを小さい値にすると右辺の値が大きくなり、判断式を容 易に満たすようになるので、ノードの統合すなわちセグメンテーションの成長が促進さ れる。
[0060] 図 18には、 i番目のノード Viと j番目のノードと Vjを統合の判断式（merging Predi cate)に基づいて統合処理して、新たなノード V'が生成される様子を模式的に示し ている。
[0061] 各ノード Vi及び Vjは、ノードに含まれるノードの個数 Ni及び Nj、識別情報 IDi及び I Djといった一般情報部と、属性情報を格納するメディア (データ)部で構成される。初 期状態のノードは、自身し力持たないからノードの個数 Nは 1であるが、統合して得ら れる V，のノード数 N，は Ni+Njとなる。また、新しい識別情報 ID，は、 Union— Find データ構造を持つ互いに素な集合を用いて、元の識別情報 IDi及び IDjから生成さ れる。また、メディア部の属性情報は、各ノード Vi及び Vjの属性情報から統計的演算 を基に求められる。例えば、ノードが持つ色情報が属性情報である場合には、各ノー ド Vi及び Vjの平均色が新しいノードの属性情報となる。あるいは、ノードが持つ面積 が属性情報である場合には、各ノード Vi及び Vjの平均面積が新 ソードの属性情 報となる。 Union— Findアルゴリズムに関しては、例えば、 R. E. Tarjan著" A clas s of algoritnms which require nonlinear time to maintain disjoint sets. " (J. Comput. Syst. Sci. , 18 (2) : 110- 127, 1979)を参照されたい。
[0062] 最後に、微小ノード処理部 54は、ノードの統合処理をした結果として十分な大きさ のセグメンテーションに成長することなく残された微細なノイズを処理する。例えば、 大きなセグメンテーションに成長したノードの間あるいは内部に、統合されないまま残 された微小なノイズを、判断式を満たすか否かに変わらず、隣接するいずれかのセグ メンテーシヨンに統合し、処理結果の見栄えを良くする。
[0063] 図 19には、図 17に示した情報処理装置 20上で実行されるセグメンテーション処理 の手順をフローチャートの形式で示して 、る。
[0064] まず、ノード入力部 51において、処理対象となる生のデータを入力する (ステップ S 21)。生のデータは、トポロジを形成するノード力もなる。ノード入力部 51は、入力さ れたデータのトポロジをスキャンして、各ノード Viに識別情報 IDiを付与するとともに、 その識別情報及びノードのメディア部に格納されている属性情報をノード統計情報 に登録すると 、つた初期化処理を行なう。
[0065] 次いで、トポロジ評価部 52では、隣接するノード同士を結ぶ各エッジを評価してソ 一ティングを行なう（ステップ S32)。具体的には、エッジで結ばれるノード間の属性情 報の相違をエッジの重み値として与えて、重み値の小さい順（increasing order)に ソーティングを行なう。
[0066] 続いて、パラメータ設定部 55を介して、セグメンテーションの粗さをコントロールする ためのパラメータ Qを設定する (ステップ S33)。
[0067] 統合処理部 53では、ソーティングされた順に従ってエッジで結ばれているノードの ペアを取り出す (ステップ S34)。そして、これらのノードが統計的アルゴリズムに基づ く判断式を満たす力どうかに基づいて統合処理を行なう（ステップ S35)。ここで用い る判断式は、画像領域を構成する多角形の面積において現れる現象である、統計的 な集中不均衡力 導き出されるものであり（前述）、ステップ S33で設定されたパラメ ータ Qを用いる。 [0068] 統合処理部 3は、ノード同士を統合したときには、新しいノード V'を生成して、このノ ードを識別するための新たな ID'を与え、統合により新たに生成されたノードの属性 情報を算出して、ノード統計情報の更新処理を行なう (ステップ S36)。
[0069] 続いて、統合処理部 53は、ノードの更新処理を行なう（ステップ S37)。すなわち、 隣接ノード間の各エッジの重み因子を再計算して、重み値の大きさによりエッジを再 ソーティングする。そして、ステップ S34に復帰して、ソーティングされた順に従ってェ ッジで結ばれるノードのペアを取り出し、統計的処理アルゴリズムに基づくノードの統 合処理を繰り返し行なう。
[0070] このようなノードの統合と、統合に伴うノード統計情報の更新処理を再帰的に繰り返 して 、くと、やがてパラメータ Qで閾値が設定される判断式を満たすノードの組み合 わせが見つ力もなくなる。すなわち、トポロジ中に未処理のエッジがなくなると (ステツ プ S34の No)、微小領域処理部 54は、十分な大きさのセグメンテーションに成長す ることなく残された微細なノードを処理する (ステップ S38)。例えば、大きなセグメンテ ーシヨンの間あるいは内部に、統合されないまま残された微小なノードを、判断式を 満たすか否かに変わらず、隣接するいずれかのセグメンテーションに統合し、処理結 果の見栄えを良くする。
[0071] 本発明は、 2次元又は 3次元オブジェクトの 2次元的イメージを生成し表示するため の画像処理装置に適用することができる。コンピュータ 'グラフィックスの分野では、通 常、処理対象となる 2次元又は 3次元の物理オブジェクトを多数の微細なポリゴン (通 常は 3角形)の集合体すなわち多角形メッシュとして扱い、画像処理を行なう。多角形 メッシュの粗さは、処理負荷や画質に大きく影響する。このため、画像領域の分割や 、分割した領域の統合 (merge)などの処理を行ない、コンピュータ 'グラフィックスを 利用するアプリケーションに応じて多角形メッシュを適当な粗さに調整するといぅメッ シュ ·セグメンテーション処理が必要となる。メッシュ ·セグメンテーションをプログレッ シブすなわち滑らかに行なうことにより、画像を利用するアプリケーションの幅は広が る。
[0072] 本発明に係るメッシュ ·セグメンテーションでは、統計的処理アルゴリズムを用いて 隣接する画像領域を統合すべき力否かを判断していくことにより、 3次元オブジェクト を分割した微小な多数の多角形から、画像領域の統合を繰り返し実行して、所望す る粗さからなる多角形メッシュを生成する。統計的処理アルゴリズムでは、画像領域と しての多角开メッシュにおける面積の集中不均衡（concentration in -equality) 現象カゝら導き出される判断式に基づいて、隣接する画像領域同士を統合することが できるかどうかを判別する。
[0073] このような統計的処理アルゴリズムに基づく画像領域の統合処理は、多角形の面積 を統計処理するという簡素な計算で構成されることから、高速ィ匕が可能である。例え ば、パーソナル 'コンピュータなどの一般的な計算機を用いて毎秒百万個の多角形 を処理することができる。また、判断式に含まれるパラメータ値を調整することによつ て、画像領域同士を統合する基準を自在に設定して、所望する粗さの多角形メッシュ を生成することができ、システムはスケーラビリティを持つ。
[0074] 図 1には、本発明の一実施形態に係る画像処理装置の機能的構成を模式的に示 している。図示の画像処理装置 10は、処理対象となる 3次元画像情報を隣接グラフ の形式で入力する画像情報入力部 1と、入力した隣接グラフの各エッジを評価してソ 一ティングを行なう隣接グラフ評価部 2と、ソーティングされた順に従ってエッジを挟 む画像領域のペアを取り出し、これらを統計的処理アルゴリズムに基づ 、て評価して 統合処理 (mesh growing)を行なう画像領域統合処理部 3と、画像領域の統合処 理をした結果として残された微細な領域を処理する微小領域処理部 4を備えている。
[0075] この種の画像処理装置 10は、専用のハードウェア装置としてデザインしてもよいが 、パーソナル 'コンピュータ (PC)などの一般的な計算機システム上で各機能モジュ ール 1〜4に相当する処理を実行するアプリケーション ·プログラムを起動するという形 態で実現することも可能である。一般的な計算機システムは、例えばプロセッサに米 インテル社の Pentium (登録商標） IV (1. 6GHz)を使用し、 1GBの RAMで構成さ れるメイン'メモリを備える。また、アプリケーション ·プログラムは、例えば OpenGLで 提供される API (アプリケーション 'プログラミング 'インターフェース）を利用して、 C++ 言語でコーディングすることができる。
[0076] 画像処理の分野では、画像領域としての多角形メッシュを、その構成要素となる複 数の多角形間の関係を記述した隣接グラフ（Incidence Graph若しくは Region A djacent Graph (RAG) )の形式で表現することは一般的に行なわれている。隣接 グラフの具体的な記述方法は幾つか挙げられる。隣接グラフは、複数のノードと、ノ 一ド間を結ぶエッジで構成される力 ノード及びエッジに何を扱うかはさまざまである 。例えば、多角形をノードとすると、その辺又は頂点をエッジにすることができる。ある いは、多角形の辺をノードとした場合、頂点又は多角形をエッジにすることができる。 あるいは、頂点をノードとした場合、多角形の辺又は多角形をエッジにすることができ る。
[0077] 本実施形態に係る画像処理装置 1では、多角形をノードとし、多角形の辺をエッジ として構成される隣接グラフを扱う。すなわち、画像情報入力部 1は、多角形メッシュ を構成する個々の多角形をノードとし、隣接する多角形同士が接する辺に相当する エッジを用いて対応するノード間を結んで記述される隣接グラフを入力データとする
[0078] ここで、隣接グラフの作成方法について説明しておく。
[0079] まず、対象とする画像領域に属する各多角形 Tをノード Nに関連付ける。そして、ノ ード Nとノード N間において、双方に対応する多角形 T及び Tに属する唯一の辺が あれば、両ノード間を結ぶエッジ eとして生成する。
[0080] 隣接グラフは、エッジの端点に従って多角形のソーティングを行なうことによって、 頂点及び面のインデックス配列から直接的に構築することができる。個々の多角形に 属する辺すなわちエッジは、多角形メッシュすなわち画像領域の境界となるエッジ (B oundary edge)と、多角形メッシュではなく多角形メッシュ内の隣接する他の多角 形と接するエッジ (Interior Edge)に分けられる。画像領域の境界に当たるエッジ は 1つの多角形にしか属さないので、境界以外 (すなわち画像領域の内側の）エッジ のみを処理対象にする。この処理には、頂点及び面のインデックス配列があれば十 分であり、 half- edge, quad— edgeといった複雑な隣接データ構造は必要でない。
[0081] 図 2には、最も単純な隣接グラフの例を示している。同図左に示す多角形メッシュは 、辺すなわちエッジ eで接する 2つの 3角形 T及び Tで構成される。この多角形メッシ ュを記述した隣接グラフは、同図右に示すように、各 3角形 T及び Tに相当する 2つ のノード N及び Nと、両ノードを結ぶエッジ eで構成される。 [0082] また、図 3には、少し複雑な隣接グラフの構成例を示している。同図左に示す多角 形メッシュは、 7個の 3角形 T〜Tで構成され、 Τは Τと接し、 Τは Τ
1、 Τ
1 7 1 2 2 3、 Τと接し、
4
Τは Τ及び Τと接し、 Τは Τ及び Τと接し、 Τは Τ及び Τと接し、 Τは Τ、 Τ、 Τと
3 2 6 4 2 5 5 4 6 6 3 5 7 接している。この多角形メッシュを記述した隣接グラフは、同図右に示すように、隣接 する双方の 3角形に属する辺すなわちエッジによってそれぞれの 3角形に相当するノ 一ド間を結んで構成される。
[0083] なお、ノードは、初期状態では多角形メッシュの最小単位の多角形である。ある!/ヽ は、 2次元イメージにおける個々のピクセルや、 3次元の立体イメージであればボクセ ル (voxel)が 1つのノードである。画像の統合処理が進むと、ノードは複数の多角形（ あるいは、ピクセル又はボタセル)力もなる多角形メッシュで構成される画像領域に成 長する。画像処理装置 1内では、各ノード Nに関して、一意に識別するための識別情 報 id (N )と、該当する画像領域 (最初は 1つの多角形)が持つ面積 area (N )と、該当 する画像領域すなわち多角形メッシュを構成する多角形の個数 n (N) (初期値は 1) を、「ノード統計情報」として保持している。各ノードが面積及び多角形の個数を保持 するのは、ノードすなわち画像領域の統合の成否を統計的処理アルゴリズムに基づ く判断式により判定処理するために必要な情報だ力 である。
[0084] 隣接グラフ評価部 2では、入力された隣接グラフの各エッジを評価してソーティング を行なう。エッジの評価は、具体的には、エッジで結ばれる各画像領域が持つ属性 値を比較して比較結果に基づ 、て重み因子をエッジに付与し、重み値に基づ 、て 隣接グラフ中のエッジをソーティングする。ここで言う画像領域は、最小単位である多 角形と、複数の多角形を統合した多角形メッシュとして構成される画像領域を含む。
[0085] 属性値として例えば画像領域が持つ面積 (画像領域に統合されたすベての多角形 の面積の平均値)を用い、エッジで結ばれる画像領域間の面積の相違をエッジの重 み値として与えて、重み値の小さい順（increasing order)にソーティングを行なう。 この場合、画像領域間の面積の差が小さいほど重み値は小さくなり、後続の画像統 合処理では処理順位が高くなる。
[0086] 図 4には、エッジの評価を行なう処理方法を図解して 、る。ここでは、エッジ eで接 する 2つの 3角形 T及び Tを想定し、その隣接グラフは、同図右に示すように、各 3角 形 T及び Tに相当する 2つのノード N及び Nと、両ノードを結ぶエッジ eで構成される
。ここで、多角形 Pの面積を求める関数 area (P)が定義されているとすると、エッジ e の重み値 W(e )は下式によって計算される。
[0087] [数 3]
W\e) = areai Τλ ) - areai Τ2 ^ · ' ·(3)
[0088] あるいは、画像領域を構成する多角形の面積の他に、画像領域の法線方向、色な どの画素属性情報 (RGBのうちの少なくとも 1成分の平均色）（但し、テクスチャを持 つ多角形メッシュの場合)といった、隣接する頂点が持つさまざまな属性値の差分を 用いてエッジの重みを与えることができる。
[0089] 例えば、幅 wで高さ hからなる RGBカラー画像にお!、て、 i行 j列目の画素のノードを Vとし、その識別情報を RegID (V ) =iXw+jとおく。内側の各画素は 4つの隣接ノ ードを持つことになり、エッジの総数 mは 2wh— w— hとなる。そして、ノード Vと V
， 間の重み因子は、例えば以下の式で表すことができる。
[0090] [数 4] E = ( ^. J = max ^ - ) |) · ' · (4)
[0091] 画像領域統合処理部 3では、ソーティングされた順に従ってエッジを挟む画像領域 のペアを取り出し、統合処理 (mesh growing)を行なう。エッジには、エッジで結ば れる画像領域間の類似度の指標となる重みが与えられるので、重みが小さ 、順に統 合処理を行なうことは、類似する画像領域間の統合処理を優先的に実行すること〖こ 相当する。
[0092] 画像領域統合処理部 3では、ソーティングされた順に従って取り出されたエッジで 結ばれる画像領域のペアに対し、統計的処理アルゴリズムに基づいて、統合すべき かどうかを判断する。
[0093] 具体的には、エッジの重みが上式（3)に示したように面積情報を基に算出される場 合には、エッジで結ばれる 2つの画像領域 R及び Rに関して、以下の統計的アルゴリ k 1 ズムに基づく判断式 (Predicate)を満たすときに、画像領域 R及び Rを統合すべき k 1
と判定する。但し、下式において、画像領域 Rは面積 Sを持つとともに n個の多角形 k k k で構成され、画像領域 Rは面積 Sを持つとともに n個の多角形で構成されるものとす
1 1 1
る。また、 Aは多角形の最大面積とし、 Qはセグメンテーションの粗さを制御するため のノ ラメータとする。
[0094] [数 5]
Figure imgf000024_0001
ノ
[0095] 上記の判断式は、画像領域を構成する多角形の面積において現れる現象である、 統計的な集中不均衡力 導き出されるものである。この現象は、統計学の分野では、 中心極限定理として一般的である (母集団が任意の分布であるとしても、その母集団 力 の標本の大きさを増大するならば、標本平均の分布はやがて正規分布へと収束 する)。
[0096] 上式の右辺の Qはセグメンテーションの粗さを制御するためのパラメータである。 Q を大きくとると右辺の値が小さくなり、判断式を満たすのが困難となる結果、画像領域 の統合が抑制される。逆に、 Qを小さい値にすると右辺の値が大きくなり、判断式を容 易に満たすようになるので、画像領域の統合が促進され、より粗いメッシュ'セグメン テーシヨン結果を得ることができる。
[0097] あるいは、エッジの重みが上式 (4)に示したように RGB色情報を基に算出される場 合には、エッジで結ばれる隣接ノード V及び V に関して、以下の統計的ァルゴリズ
，
ムに基づく判断式 (Predicate)を満たすときにノードを統合すべきと判定する。
[0098] [数 6] 職 (^( ,ゾ)— ,ゾ') )≤ )+ (",',,) …
[0099] 但し、上式中の関数 b (X)は以下の通りである。
[0100] [数 7] b(x) = (min(256, ) log x + 2 log 6wh) ...(7)
2Qx ，
[0101] 上式中で、 n並びに n は該当するノードに含まれる画素数である。また、 Qはセグ
， ，
メンテーシヨンの粗さを制御するためのパラメータとなる。
[0102] ノードは、初期状態では多角形メッシュの最小単位の多角形である力 画像領域の 統合処理が進むと、複数の多角形からなる多角形メッシュで構成される画像領域に 成長する。ノード統計情報では、各ノード Nに関して、一意に識別するための識別情 報 id (N )と、該当する画像領域 (最初は 1つの多角形)が持つ面積 area (N )と、該当 する画像領域すなわち多角形メッシュを構成する多角形の個数 n (N) (初期値は 1) などを保持するレコードが設けられている。そして、画像領域統合処理部 3は、ノード 同士を統合したときには、新しいノードを識別するための新たな idが与え、統合により 新たに生成された画像領域の面積及び多角形の個数を算出して、ノード統計情報の 更新処理を行なう。新たな識別情報の生成には、 Union— Findアルゴリズムを用い ることができる (前述)。
[0103] 微小領域処理部 4は、画像領域の統合処理をした結果として残された微細な領域 を処理する。例えば、大きな画像領域の間あるいは内部に、統合されないまま残され た微小な多角形メッシュを、判断式を満たすか否かに変わらず、隣接するいずれか の画像領域に統合し、処理結果の見栄えを良くする。ここで言う微小領域は、例えば メッシュ表面全体に対して数パーセント未満の面積しかない多角形メッシュである。
[0104] 図 5には、本実施形態に係る画像処理装置 10において、メッシュ'セグメンテーショ ン処理を行なうための処理手順の一例をフローチャートの形式で示している。
[0105] まず、画像情報入力部 1にお 、て、処理対象となる 3次元オブジェクトの画像情報 を入力する (ステップ Sl)。本実施形態では、画像情報は、多角形をノードとし、多角 形の辺をエッジとして構成される隣接グラフの形式で記述される（前述並びに図 3を 参照のこと)。
[0106] 画像情報入力部 1は、入力された隣接グラフをスキャンして、各ノード Nに識別情報 id (N )を付与するとともに、相当する多角形の面積を求め、ノード毎の識別情報、面 積、及び多角形の個数 (初期値は 1)をノード統計情報に登録 (初期化)する。ノード 統計情報を初期化する擬似プログラム 'コードを以下に示しておく。但し、 id ()は引数 で示されるノードの識別情報を格納する配列であり、 area ()は引数で示される識別 情報のノードの面積を格納する配列であり、 n()は引数で示される識別情報のノード を構成する多角形の個数を格納する配列である。
[0107] [数 8]
Figure imgf000026_0001
[0108] 隣接グラフから i番目に取り出されたノード Nに関し、識別情報 id (N )に iを代入し、 ノード Nの面積 area (i)に該当する多角形の面積 area (T)を代入し、多角形の個数 n (i)に初期値 1を代入する。
[0109] 次いで、隣接グラフ評価部 2では、入力された隣接グラフの各エッジを評価してソー ティングを行なう（ステップ S2)。具体的には、エッジで結ばれる画像領域間の面積の 相違をエッジの重み値として与えて、重み値の小さい順にソーティングを行なう。画像 領域間の面積の差が小さいほど重み値は小さくなり、後続の画像統合処理では処理 順位が高くなる。
[0110] 続いて、パラメータ設定部 5からセグメンテーションの粗さをコントロールするための ノ ラメータ Qを設定する (ステップ S3)。
[0111] 画像領域統合処理部 3では、ソーティングされた順に従ってエッジを挟む画像領域 のペアを取り出す (ステップ S4)。そして、これらの画像領域が統計的アルゴリズムに 基づく判断式を満たす力どうかに基づいて統合処理を行なう（ステップ S5)。ここで用 いる判断式は、画像領域を構成する多角形の面積において現れる現象である、統計 的な集中不均衡力 導き出されるものであり（前述）、ステップ S3で設定されたパラメ ータ Qを用いる。 [0112] ノード統計情報では、各ノード N;に関して、一意に識別するための識別情報 id(Ni) と、該当する画像領域 (最初は 1つの多角形)が持つ面積 area (N)と、該当する画像 領域すなわち多角形メッシュを構成する多角形の個数 n(N) (初期値は 1)などを保 持するレコードが設けられている（前述)。画像領域統合処理部 3は、画像領域同士 を統合したときには、新しいノードを生成して、このノードを識別するための新たな id を与え、統合により新たに生成された画像領域の面積及び多角形の個数を算出して 、ノード統計情報の更新処理を行なう（ステップ S6)。
[0113] 画像領域を統合し、その後にノード統計情報を更新する擬似プログラム 'コードを以 下に示しておく。但し、 Merge ()は、引数で示される各画像領域を統合処理する関 数である。
[0114] [数 9]
MergelN^Nj)
Figure imgf000027_0001
area\ id'i N: )) = areayid i N{ )) + area d (T ゾ ))
Figure imgf000027_0002
)) = n{id{Nl )) + n{id{N J )) (9) id(N)^id'(N)
id(NJ)^idf(NJ)
[0115] まず、 Merge関数の引数で示されるノード N及び Nの統合処理を行なう。そして、 各ノード N及び Nに対し同じ新規の識別情報 id' (N) =id' (N)を与えることで、両 画像領域が統合され、新しいノードが生成されたことを示す。本実施形態では、新し Vゾードの識別情報として N;又は N V、ずれか一方の旧識別情報を用いる。新 V ードに識別情報を与える際に、 Robert Endre 丁&1^!1が考案した1；1^011— ^1(1 ァノレゴリズム (前述）を使用することができる。
[0116] 続!、て、新し!/ソードの面積 area (id' (N ) )に元の各画像領域の面積の和 area (N ) + area (N)を代入するとともに、新しいノードの多角形の個数 n(icf (Ni))に元の各 画像領域の多角形の個数の和 n(id(N)) +n(id(N))を代入する。そして、元の各 ノード N;及び に対し新規の識別情報 icT (Ν;)及び icT (N)をそれぞれ与えることで 、ノード統計情報の更新処理を終える。
[0117] そして、隣接グラフ中のすべてのエッジについて処理を終えると (ステップ S4)、微 小領域処理部 4は、画像領域の統合処理をした結果として残された微細な領域を処 理する (ステップ S7)。例えば、大きな画像領域の間あるいは内部に、統合されない まま残された微小な多角形メッシュを、判断式を満たすか否かに変わらず、隣接する いずれかの画像領域に統合し、処理結果の見栄えを良くする。ここで言う微小領域 は、例えばメッシュ表面全体に対して数パーセント未満の面積しかな 、多角形メッシ ュである。
[0118] 上述したような統計的処理アルゴリズムに基づく画像領域の統合処理は、多角形の 面積を統計処理するという簡素な計算で構成されることから高速ィ匕が可能である。例 えば、一般的な計算機システム (前述)を用いて毎秒百万個程度の多角形を処理す ることができる。また、判断式に含まれるパラメータ値 Qを調整することによって、画像 領域同士を統合する基準を自在に設定して、所望する粗さの多角形メッシュを生成 することができ、システムはスケーラビリティを持つ。
[0119] ユーザは、例えばパラメータ設定部 5を介してインタラクティブに Qの値を設定する ことができる。例えば、表示画面上にスライド 'バーを用意して、このバー上で Qの入 力を行なうようにすることができる。図 6には、スライド 'バーを用いてユーザが多スケ ールのパラメータ Qを設定したときにインタラクティブに得られるセグメンテーション結 果の例を示している。異なる Qを入力すると、画像領域統合処理部 3及び微小領域 処理部 4は、繰り返し処理を行なう必要がある力 その処理時間にはほぼ線形性があ る。 Qを大きくとると右辺の値が小さくなり、判断式を満たすのが困難となる結果、画 像領域の統合が抑制される。逆に、 Qを小さい値にすると右辺の値が大きくなり、判 断式を容易に満たすようになるので、画像領域の統合が促進され、より粗いメッシュ' セグメンテーション結果を得ることができる。
[0120] ほとんどのメッシュがスキャンされるか又は概ね再メッシュ化されるので、多角形の 面積を統計的アルゴリズムに従って処理するだけで高い精度のセグメンテーションを 行なうことができる、という点を十分理解されたい。すなわち、メッシュは、法線や曲率 といった表面の特性を、暗に多角形の面積に符号ィ匕している。前処理段階では、任 意のメッシュがこのような条件に適合するように再メッシュ化するようにしてもよ!、。
[0121] ところで、画像領域の統合が進むと（図 7を参照のこと）、成長した画像領域はその 面積が巨大であるとともに、多角形の個数も大きな値となる。このような場合、隣接す る画像領域との統合の正否を判断する上では、境界に近い多角形の情報がより重要 であるにも拘らず、画像領域の中央部力も余分な影響を受けるという結果に陥る。す なわち、統計的処理アルゴリズムに基づく上記の判断式では正確な境界判定を行な えなくなるという問題がある。
[0122] そこで、画像領域の統合を行なったときに、新たに生成された画像領域の「外皮 (C rust)」に相当する領域境界近辺の多角形のみを残して、以降の画像領域の統合に ついての成否判断を行なうようにしてもよい。この場合、統合して新たに生成される画 像領域全体ではなく、 "Crust"に相当する領域につ!、ての面積及び多角形の個数 を算出してノード統計情報の更新処理を行なう。
[0123] 「外皮」として、例えば図 8に示すように、統合して新たに生成された画像領域の全 周に渡る境界近辺の多角形すなわち" Circular Crust"のみを残して、以降の画像 領域統合処理を行なうようにすることができる。この" Circular Crust"を残す際に発 生するノード統計情報の更新処理は比較的計算量が少なぐ且つ以降の画像領域 の統合についての成否判断を正確にすることができる。
[0124] 図 9には、 "Circular Crust"のみを残したメッシュ 'セグメンテーション処理を行な うための処理手順をフローチャートの形式で示している。
[0125] まず、画像情報入力部 1にお 、て、処理対象となる 3次元オブジェクトの画像情報 を入力する (ステップ S 11)。画像情報は、多角形をノードとし、多角形の辺をエッジと して構成される隣接グラフの形式で記述される（前述並びに図 3を参照のこと)。
[0126] 画像情報入力部 1は、入力された隣接グラフをスキャンして、各ノード Nに識別情報 id (N )を付与するとともに、相当する多角形の面積を求め、ノード毎の識別情報、面 積、及び多角形の個数 (初期値は 1)をノード統計情報に登録 (初期化)する。ノード 統計情報の初期化処理は図 5で説明した場合と同様なので、ここでは説明を省略す る。 [0127] 次いで、隣接グラフ評価部 2では、入力された隣接グラフの各エッジを評価してソー ティングを行なう（ステップ S12)。具体的には、エッジで結ばれる画像領域間の面積 の相違をエッジの重み値として与えて、重み値の小さ!/、順にソーティングを行なう。
[0128] 続 、て、パラメータ設定部 5を介して、セグメンテーションの粗さをコントロールする ためのパラメータ Qを設定する (ステップ S 13)。
[0129] 画像領域統合処理部 3では、ソーティングされた順に従ってエッジを挟む画像領域 のペアを取り出す (ステップ S 14)。そして、これらの画像領域が統計的アルゴリズム に基づく判断式を満たすかどうかに基づいて統合処理を行なう（ステップ S15)。ここ で用いる判断式は、画像領域を構成する多角形の面積にぉ 、て現れる現象である、 統計的な集中不均衡力も導き出されるものであり（前述）、ステップ S13で設定された ノ ラメータ Qを用いる。
[0130] 画像領域統合処理部 3は、画像領域同士を統合したときには、新 ゾードを生成 して、このノードを識別するための新たな idを与え、統合により新たに生成された画像 領域の面積及び多角形の個数を算出して、ノード統計情報の更新処理を行なう (ス テツプ S 16)。
[0131] "Circular Crust"のみを残して画像領域を統合し、その後にノード統計情報を更 新する擬似プログラム 'コードを以下に示しておく。但し、 Merge ()は引数で示される 各画像領域を統合処理する関数、 Extract ()は引数で示される識別情報に対応す る画像領域を抽出する関数、 Create Crust ()は引数で示される複数の領域の" Cir cular Crust"のみを残す処理を行なうための関数である。
[0132] [数 10]
Merge{Ni,Nf)
Extract(id(N})) = R}
Extract(id{N^)=Rj
Create Crust {Rt U R
Compute
Figure imgf000031_0001
U jj
Compute n{(2rust{Ri U ^7 ))
id'{N = id' Nj)
Figure imgf000031_0002
U R」 n(id'(Nl )) = n^rus^R, U R」 ))
Figure imgf000031_0003
[0133] まず、 Merge関数の引数で示されるノード N;及び Njの統合処理を行なう。そして、 各ノード N及び Nに対応する画像領域 R及び Rを、それぞれ関数 Extractを用いて 取り出す。但し、画像領域 Rは同じノード識別情報 id (N)を持つすべてのノード Nと i i 1 する（すなわち、 R = {N
i l I id(N)=id(N)})。
l i
[0134] 次いで、関数 Create Crustを用いて、これらの画像領域の和集合 R URに対す る Circle Crustを生成する。この処理は、画像領域に対し morphologyなどの処理 を適用することで実現する。
[0135] そして、得られた画像領域 Crust (R U R )につ 、て、面積 area (Crust (R U R ) )と
、領域を構成する多角形の数 n (Crust (R UR))を求める。
[0136] 次いで、元の各ノード N及び Nに対し同じ新規の識別情報 id' (N) =id' (N)を与 えることで、両画像領域が統合され、新しいノードが生成されたことを示す。新しいノ ードに識別情報を与える際に、 Robert Endre 丁&1^!1が考案した1；1^011— ^1(1 ァノレゴリズム (前述）を使用することができる。
[0137] 続 、て、新し!/ソードの面積 area (id' (N ) )に、先に求めた area (Crust (R U R ) ) を代入する。また、新し ソードの多角形の個数 n (id' (N) )に n (Crust (R U I^) )を 代入する。そして、各ノード N;及び に対し新規の識別情報 icT (Ν;)及び icT ( )を それぞれ与えることで、ノード統計情報の更新処理を終える。
[0138] そして、隣接グラフ中のすべてのエッジについて処理を終えると (ステップ S 14)、微 小領域処理部 4は、画像領域の統合処理をした結果として残された微細な領域を処 理する (ステップ S17)。例えば、大きな画像領域の間あるいは内部に、統合されない まま残された微小な多角形メッシュを、判断式を満たすか否かに変わらず、隣接する いずれかの画像領域に統合し、処理結果の見栄えを良くする。ここで言う微小領域 は、例えばメッシュ表面全体に対して数パーセント未満の面積しかな 、多角形メッシ ュである。
[0139] また、「外皮」として、図 10に示すように、統合しょうとする各画像領域が接する境界 近辺の多角形すなわち" Border Crust"のみを残して、以降の画像領域統合処理 を行なうようにしてもよい。この Border Crustを用いることにより、 Circular Crust を用いた場合よりもより正確に以降の画像領域の統合についての成否判断を行なう ことができる。但し、 Border Crustを用いる場合には、ノード統計情報だけではなく 、隣接グラフも更新しなければならないので、その計算量は膨大となる。
[0140] 図 11には、" Border Crust"のみを残したメッシュ 'セグメンテーション処理を行な うための処理手順をフローチャートの形式で示している。
[0141] まず、画像情報入力部 1にお 、て、処理対象となる 3次元オブジェクトの画像情報 を入力する (ステップ S21)。画像情報は、多角形をノードとし、多角形の辺をエッジと して構成される隣接グラフの形式で記述される（前述並びに図 3を参照のこと)。
[0142] 画像情報入力部 1は、入力された隣接グラフをスキャンして、各ノード Nに識別情報 id (N )を付与するとともに、相当する多角形の面積を求め、ノード毎の識別情報、面 積、及び多角形の個数 (初期値は 1)をノード統計情報に登録 (初期化)する。ノード 統計情報の初期化処理は図 5で説明した場合と同様なので、ここでは説明を省略す る。
[0143] 次いで、隣接グラフ評価部 2では、入力された隣接グラフの各エッジを評価してソー ティングを行なう（ステップ S22)。具体的には、エッジで結ばれる画像領域間の面積 の相違をエッジの重み値として与えて、重み値の小さい順（increasing order)にソ 一ティングを行なう。
[0144] 続 、て、パラメータ設定部 5を介して、セグメンテーションの粗さをコントロールする ためのパラメータ Qを設定する (ステップ S23)。
[0145] 画像領域統合処理部 3では、ソーティングされた順に従ってエッジを挟む画像領域 のペアを取り出す (ステップ S 24)。そして、これらの画像領域が統計的アルゴリズム に基づく判断式を満たすかどうかに基づいて統合処理を行なう（ステップ S25)。ここ で用いる判断式は、画像領域を構成する多角形の面積にぉ 、て現れる現象である、 統計的な集中不均衡力 導き出されるものであり（前述）、ステップ S23で設定された ノ ラメータ Qを用いる。
[0146] 画像領域統合処理部 3は、画像領域同士を統合したときには、新 ゾードを生成 して、このノードを識別するための新たな idを与え、統合により新たに生成された画像 領域の面積及び多角形の個数を算出して、ノード統計情報の更新処理を行なう (ス テツプ S 26)。
[0147] "Border Crust"のみを残して画像領域を統合し、その後にノード統計情報を更 新する擬似プログラム 'コードを以下に示しておく。但し、 Merge ()は引数で示される 各画像領域を統合処理する関数、 Extract Boundary ()は引数で示される識別情 報に対応する各画像領域間の境界を抽出する関数、 Create Crust ()は引数で示 される複数の領域の "Border Crust"のみを残す処理を行なうための関数である。
[0148] [数 11]
Merge(N N
Extract Bundary {id (TV, ), id (TV, ))
Figure imgf000034_0001
Extract Create Compute
Figure imgf000034_0002
Compute n{Bj U j )
Figure imgf000034_0003
n(id'{Nl)) = n(Bi [j B
Figure imgf000034_0004
[0149] まず、 Merge関数の引数で示されるノード N;及び の統合処理を行なう。そして、ノ ード N;の画像領域 Rのうちノード Nの画像領域に接する境界と、ノード の画像領域 Rのうちノード Nの画像領域に接する境界を、それぞれ関数 Extract Boundaryを
J i
用いて取り出す。
[0150] 次!、で、関数 Create Crustを用いて、これらの画像領域の和集合 R U Rにつ ヽ ての Border Crustを生成する。この処理は、一方の画像領域 Rから画像領域尺と 接する境界部分から一定の幅 (画素数)の領域 Bを切り取るとともに、他方の画像領 域 Rから画像領域 Rと接する境界部分から一定の幅 (画素数)の領域 Bを切り取り、こ れら切り取られた画像領域の和集合 B U Bを生成することに相当する（図 12を参照 のこと)。
[0151] そして、得られた画像領域 B U Bにつ 、て、面積 area (B U B )と、領域を構成する 多角形の数 n (B U B )を求める。
[0152] 次いで、各ノード N及び Nに対し同じ新規の識別情報 id' (N ) =id' (N )を与える ことで、両画像領域が統合され、新しいノードが生成されたことを示す。新しいノード に識別情報を与える際に、 Robert Endre Tarjanが考案した Union— Findアル ゴリズム (前述)を使用することができる。
[0153] 続いて、新しいノードの面積 area (icf (N ) )に、先に求めた area (B U B)を代入す る。また、新 ソードの多角形の個数 n (id' (N ) )に n (B. U B )を代入する。そして、 各ノード N及び Nに対し新規の識別情報 icT (N)及び icT (N)をそれぞれ与えること で、ノード統計情報の更新処理を終える。
[0154] 続、て、画像領域統合処理部 3は、隣接グラフの更新処理を行なう（ステップ S27)
。すなわち、隣接グラフに含まれるエッジの重み因子を再計算して、重み値の大きさ によりエッジを再ソーティングする。そして、ステップ S24に復帰して、ソーティングさ れた順に従ってエッジを挟む画像領域のペアを取り出し、統計的処理アルゴリズムに 基づく画像領域の統合処理を繰り返し行なう。
[0155] まず、 Border Crustを生成する処理対象となった画像領域 R及び Rのそれぞれ に隣接するすべての画像領域 Rの識別情報 id(N )を探索する。そして、見つけ出さ
1 1
れた画像領域に相当するノード Nと各処理対象ノード Nと Nとのエッジ e、 eがあれ
1 i j il J ば、これらの重みを再計算する。
[0156] 図 13には、隣接グラフを更新する様子を図解している。図示の例では Border Cr ustを生成する処理対象となった画像領域 R及び Rのそれぞれに隣接する画像領域 として、 Rに隣接する R、及び Rに隣接する Rが発見されたとする。この場合、以下の
i 1 j k
式に基づいて各エッジ e及び eの各重み W(e )及び W(e )を計算する。
fl jk fl jk
[0157] [数 12] w(en ) = area(R1 ) - area(Rl )
' area[R I一 rp κ, n in
•i ) - area Rk ) このような画像領域の統合と、統合に伴うノード統計情報の更新処理を再帰的に繰 り返していくと、やがてパラメータ Qで閾値が設定される判断式を満たす画像領域の 組み合わせが見つ力もなくなる。すなわち、隣接グラフ中に未処理のエッジがなくな ると (ステップ S24の No)、微小領域処理部 4は、画像領域の統合処理をした結果と して残された微細な領域を処理する (ステップ S 28)。例えば、大きな画像領域の間あ るいは内部に、統合されないまま残された微小な多角形メッシュを、判断式を満たす か否かに変わらず、隣接するいずれかの画像領域に統合し、処理結果の見栄えを良 くする。ここで言う微小領域は、例えばメッシュ表面全体に対して数パーセント未満の 面積しかな 、多角形メッシュである。
[0159] なお、画像領域統合処理部 3で使用する判断式 (前述）は、セグメンテーションの粗 さを制御するためのパラメータ Qを含んでいるので、所望のセグメンテーションの粗さ が得られるようなパラメータ Qの値をパラメータ設定部 5から与えることができる。また、 ユーザ力も所望するセグメンテーションの粗さが与えられたときに、ノ ラメータ設定部 5は、該当するパラメータ Qの値に変換してシステムに与えるようにしてもよい。ユーザ は、メッシュ 'セグメンテーションを行なう際に画像領域数を与えることができるとともに 、統計的処理アルゴリズムに基づく画像領域の統合処理は高速であることから、画像 領域数を動的すなわち自在に変更することができる。このような柔軟なパラメータ Qの 設定を行なうことにより、プログレッシブなメッシュ 'セグメンテーションを実現すること ができ、さまざまなインタラクティブ ·アプリケーションに適用し易くなる。
[0160] 例えば、 Qをある省略時値に設定してメッシュ 'セグメンテーション処理を行なった結 果を画面表示すると、元の 3次元オブジェクトが N個の画像領域に分割されていたと する。この処理結果に対し、ユーザから「M個の領域に分割した結果が欲しい」という 反応があった場合には、パラメータ設定部 5は、画像領域が M個になるような Qの値 を求め、これを画像領域統合処理部 3に与えて、メッシュ 'セグメンテーション処理を 再実行する。勿論、逐次的に変換処理を演算するのではなぐ Q値への変換早見表 を用意しておいてもよい。
[0161] 本実施形態に係る画像処理装置 10によれば、パラメータ設定部 5により複数の Qを 連続して入力することにより、プログレッシブなメッシュ 'セグメンテーションを行なうとと もに、階層化セグメンテーションを実現することができる。統計的処理アルゴリズムに 基づく画像領域の統合処理は高速であることから、メッシュ'セグメンテーションを行 なう際に、ユーザは、画像領域数を動的すなわち自在に変更することができる。
[0162] 本発明者は、階層化セグメンテーションの 1つのアプリケーションとして、画像検索（ shape matching)を考えている。例えば、セグメント化された画像領域毎にキーヮ ードを設けて、画像検索を行なうことができる（例えば、" Modeling by example" ( In Proc. SIGGRAPH (2004) Vol. 23, Issue3, pp. 652— 663)を参照のこ と)。
[0163] 本発明によれば、メッシュ 'セグメンテーションの階層毎にキーワードの付与を行なう ことで、元の 3次元オブジェクトのイメージに対し、階層構造のキーワード情報を構築 することができる。このような場合、同じ 3次元オブジェクトに対して検索すなわち shap e matchingを適用しても、階層毎に異なる検索結果を得ることができる。あるいは、 所望の検索結果が得られるようにパラメータ設定部 5において Qの値を制御すること ができる。
[0164] ここで重要なのは、統計的処理アルゴリズムに基づく画像領域の統合処理は高速 であることから、メッシュ 'セグメンテーションを行なう際に画像領域数を動的すなわち 自在に変更することができる、という点である。すなわち、ユーザは、検索結果に応じ て、パラメータ設定部 5を介して Q値を再設定すると ヽぅ操作だけですぐにパーツ数を 自由に変えることが可能であり、それによつて検索結果の類似度コントロールを自在 に操作することができる。
[0165] 画面上にスライド 'バーを設け、ユーザがスライダを移動した位置に応じてパラメ一 タ設定部 5が Q値を読み取るという実現形態が考えられる (前述)。図 14〜図 16には 、メッシュ 'セグメンテーション時に、スライド 'バーの操作を介して Q値を設定して分割 する画像領域数を調整する様子を示している。図 14に示すように、紙面左側のスライ ド 'バー上で比較的高い Q値を設定すると、画像領域の統合は抑制され、画像領域 数は多い、すなわち小さなセグメントが多くなる。同図では、紙面右上に表示されて いるように、統合された領域数は 116である。他方、図 15並びに図 16に示すように、 スライド 'バー上で比較的高い Q値を設定すると、画像領域の統合は促進され、画像 領域数は少ない、すなわち比較的大きなセグメントが多くなる。同図では、紙面右上 に表示されているように、統合された領域数は 10である。統計的処理アルゴリズムに 基づく画像領域の統合処理は高速であることから、このようなスライド 'バーの操作に 応じて、システムはすぐに画像領域数の異なるメッシュ ·セグメンテーション結果を求 め、ユーザに提示することができる。すなわち、ユーザは、画像領域数を動的すなわ ち自在に変更することができる。
産業上の利用可能性
[0166] 以上、特定の実施形態を参照しながら、本発明につ 、て詳解してきた。しかしなが ら、本発明の要旨を逸脱しな ヽ範囲で当業者が該実施形態の修正や代用を成し得 ることは自明である。
[0167] 本発明に係るメッシュ 'セグメンテーション処理は、画像領域同士を統合する基準を 自在に設定して、所望する粗さの多角形メッシュを生成することができ、システムはス ケーラビリティを持ち、ノラメタリゼーシヨン及びテクスチャ 'マッピング、画像変形 (mo rphing)、多解像度モデリング、画像編集、画像圧縮、アニメーション、並びに形状マ ツチングなど、さまざまなインタラクティブ ·アプリケーションに適用することができる。
[0168] 要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容 を限定的に解釈するべきではない。本発明の要旨を判断するためには、請求の範囲 の記載を参酌すべきである。

Claims

請求の範囲
[1] それぞれ属性値を持つ複数のノードでトポロジが形成されたデータを取り扱う情報 処理装置であって、
前記トポロジ上で隣接するノード同士がそれぞれ持つ属性値に基づいてノード間を 結ぶエッジの重み因子を求め、重み因子に基づいてエッジをソーティングするトポロ ジ評価部と、
該ソーティングされた順に従って、エッジで結ばれるノードのペアを取り出して、該ノ ード同士を統合すべき力否かを所定の統計的処理アルゴリズムに基づいて評価し、 ノード領域の統合処理を行なうノード統合処理部と、
を具備することを特徴とする情報処理装置。
[2] 前記ノード統合処理部によりノード同士の統合処理をした結果として、統合が十分 行なわれずに残された微細なノードを処理する微小ノード処理部をさらに備える、 ことを特徴とする請求項 1に記載の情報処理装置。
[3] 前記トポロジ評価部は、隣接するノードがそれぞれ持つ属性値の相違をエッジの重 み値として与えて、重み値の小さ!/、順にソーティングを行なう、
ことを特徴とする請求項 1に記載の情報処理装置。
[4] 前記ノード統合処理部は、隣接するノードがそれぞれ持つ属性値における集中不 均衡現象力 導き出される判断式に基づいて、ノード同士を統合すべきかどうかを判 断する、
ことを特徴とする請求項 1に記載の情報処理装置。
[5] 前記ノード統合処理部は、隣接するノード f (i)及び f (j)がそれぞれ属性値として持 つ統計情報 Stats. f (i)及び Stats. f (j)に関して以下の統計的アルゴリズムに基づ く判断式を満たすときに、ノード f (i)及び f (j)を統合すべきと判定する (但し、ノード f (i )は N (i)個のノードを含むとともにノード f (j)は N (j)個のノードを含み、関数 b (x)は b (X) = (logx) /Q + (KZx)であり、 Κは定数、 Qはノードを統合して成長したセグメ ンテーシヨンの粗さを制御するためのパラメータとする）、
ことを特徴とする請求項 1に記載の情報処理装置。
[数 1] Stats.f{i) - Stats.f(jf ≤
Figure imgf000040_0001
+ b(N[j])
[6] 各ノードに関するノード属性情報を保持するノード属性情報保持部をさらに備え、 前記ノード統合処理部は、ノードの統合を実行したときには、統合して新たに生成さ れたノードに関する属性情報を算出して前記ノード統計情報の更新処理を行なう、 ことを特徴とする請求項 1に記載の情報処理装置。
[7] 前記トポロジ評価部は、統合処理されたノードとその隣接ノードを結ぶエッジの重み 因子を更新されたノード属性情報に基づいて再計算して、重み値に基づいて前記ト ポロジ中のエッジを再ソーティングし、
前記ノード統合処理部は、前記統計的処理アルゴリズムに基づ!、て統合すべき画 像領域のペアがなくなるまでノードの統合とノード属性情報の更新を繰り返し行なう、 ことを特徴とする請求項 6に記載の情報処理装置。
[8] それぞれ属性値を持つ複数のノードでトポロジが形成されたデータを取り扱う情報 処理方法であって、
前記トポロジ上で隣接するノード同士がそれぞれ持つ属性値に基づいてノード間を 結ぶエッジの重み因子を求め、重み因子に基づいてエッジをソーティングするトポロ ジ評価ステップと、
該ソーティングされた順に従って、エッジで結ばれるノードのペアを取り出して、該ノ ード同士を統合すべき力否かを所定の統計的処理アルゴリズムに基づいて評価し、 ノード領域の統合処理を行なうノード統合処理ステップと、
を具備することを特徴とする情報処理方法。
[9] 前記ノード統合処理ステップにおいてノード同士の統合処理をした結果として、統 合が十分行なわれずに残された微細なノードを処理する微小ノード処理ステップをさ らに備える、
ことを特徴とする請求項 8に記載の情報処理方法。
[10] 前記トポロジ評価ステップでは、隣接するノードがそれぞれ持つ属性値の相違をェ ッジの重み値として与えて、重み値の小さ 、順にソーティングを行なう、 ことを特徴とする請求項 8に記載の情報処理方法。
[11] 前記ノード統合処理ステップでは、隣接するノードがそれぞれ持つ属性値における 集中不均衡現象力も導き出される判断式に基づいて、ノード同士を統合すべきかどう かを判断する、
ことを特徴とする請求項 8に記載の情報処理方法。
[12] 前記ノード統合処理ステップでは、隣接するノード f (i)及び f (j)がそれぞれ属性値 として持つ統計情報 Stats. f (i)及び Stats. f (j)に関して以下の統計的アルゴリズム に基づく判断式を満たすときに、ノード f (i)及び f (j)を統合すべきと判定する (但し、 ノード f (i)は N (i)個のノードを含むとともにノード f (j)は N (j)個のノードを含み、関数 b (X)は b (X) = (logx) ZQ+ (K/x)であり、 Κは定数、 Qはノードを統合して成長し たセグメンテーションの粗さを制御するためのパラメータとする）、
ことを特徴とする請求項 8に記載の情報処理方法。
Figure imgf000041_0001
[13] 各ノードに関するノード属性情報を保持するノード属性情報保持ステップをさらに 備え、
前記ノード統合処理ステップでは、ノードの統合を実行したときには、統合して新た に生成されたノードに関する属性情報を算出して前記ノード統計情報の更新処理を 行なう、
ことを特徴とする請求項 8に記載の情報処理方法。
[14] 統合処理されたノードとその隣接ノードを結ぶエッジの重み因子を更新されたノー ド属性情報に基づ 、て再計算して、重み値に基づ 、て前記トポロジ中のエッジを再 ソーティングするトポロジ再評価ステップをさらに備え、
前記統計的処理アルゴリズムに基づいて統合すべき画像領域のペアがなくなるま で、前記ノード統合処理ステップにおけるノードの統合とノード属性情報の更新を繰 り返し行なう、 ことを特徴とする請求項 13に記載の情報処理方法。
[15] オブジェクトを複数の多角形力もなる多角形メッシュとして扱 、画像処理を行なう画 像処理装置であって、
多角形メッシュを記述する隣接グラフを入力する隣接グラフ入力部と、
エッジで結ばれる各画像領域が持つ属性値を比較して比較結果に基づいて重み 因子をエッジに付与し、重み値に基づいて隣接グラフ中のエッジをソーティングする 隣接グラフ評価部と、
ソーティングされた順に従ってエッジを挟む画像領域のペアを取り出し、画像領域 同士を統計的処理アルゴリズムに基づ 、て統合すべきか否かを評価し、画像領域の 統合処理を行なう画像領域統合処理部と、
を具備することを特徴とする画像処理装置。
[16] 画像領域の統合処理をした結果として残された微細な領域を処理する微小領域処 理部をさらに備える、
ことを特徴とする請求項 15に記載の画像処理装置。
[17] 前記隣接グラフ入力部は、多角形メッシュを構成する個々の多角形をノードとして 扱い、隣接する多角形同士が接する辺に相当するエッジを用いて対応するノード間 を結んで記述される隣接グラフを入力する、
ことを特徴とする請求項 15に記載の画像処理装置。
[18] 前記隣接グラフ評価部は、隣接グラフのエッジで結ばれる各画像領域が持つ属性 値の相違をエッジの重み値として与えて、重み値の小さ!/、順にソーティングを行なう、 ことを特徴とする請求項 15に記載の画像処理装置。
[19] 前記隣接グラフ評価部は、画像領域が持つ属性値として、画像領域の面積 (画像 領域に含まれる多角形メッシュの平均面積）、法線方向、又は色 (画像領域内の RG
Bのうち少なくとも 1成分につ!、ての平均色)若しくはその他の画素属性情報を用いる ことを特徴とする請求項 18に記載の画像処理装置。
[20] 前記画像領域統合処理部は、画像領域を構成する多角形の面積における集中不 均衡現象力も導き出される判断式に基づ 、て、隣接グラフのエッジで結ばれる画像 領域同士を統合すべきかどうかを判断する、
ことを特徴とする請求項 15に記載の画像処理装置。
[21] 前記画像領域統合処理部は、隣接グラフのエッジで結ばれる 2つの画像領域 R及 k び Rに関して以下の統計的アルゴリズムに基づく判断式を満たすときに、画像領域 R
1
及び Rを統合すべきと判定する（但し、画像領域 Rは面積 Sを持つとともに n個の k 1 k k k 多角形で構成され、画像領域 Rは面積 Sを持つとともに n個の多角形で構成されると
1 1 1
し、 Aは多角形の最大面積とし、 Qはセグメンテーションの粗さを制御するためのパラ メータとする）、
ことを特徴とする請求項 15に記載の画像処理装置。
[数 3] 1 、 十一
Figure imgf000043_0001
n /ノ
[22] 前記判断式中のパラメータ Qを設定するパラメータ設定手段をさらに備える、
ことを特徴とする請求項 21に記載の画像処理装置。
[23] 所望のセグメンテーションの粗さが得られるようなパラメータ Qの値を前記パラメータ 設定手段に与えるセグメンテーション粗さ制御手段をさらに備える、
ことを特徴とする請求項 22に記載の画像処理装置。
[24] 前記セグメンテーション粗さ制御手段は、所望するセグメンテーションの粗さが外部 力 与えられたときに、当該粗さに相当するパラメータ Qの値に変換して前記パラメ一 タ設定手段に与える、
ことを特徴とする請求項 23に記載の画像処理装置。
[25] 隣接グラフの各ノードは対応する画像領域の面積及び多角形の個数に関するノー ド統計情報を保持するノード統計情報保持部をさらに備え、
前記画像領域統合処理部は、画像領域の統合を実行したときには、統合して新た に生成された画像領域の面積及び多角形の個数を算出して前記ノード統計情報の 更新処理を行なう、 ことを特徴とする請求項 15に記載の画像処理装置。
[26] 前記隣接グラフ評価部は、統合処理された画像領域とその隣接画像領域を結ぶェ ッジの重み因子を更新されたノード統計情報に基づいて再計算して、重み値に基づ いて隣接グラフ中のエッジを再ソーティングし、
前記画像領域統合処理部は、前記統計的処理アルゴリズムに基づ 、て統合すベ き画像領域のペアがなくなるまで画像領域の統合とノード統計情報の更新を繰り返し 行なう、
ことを特徴とする請求項 25に記載の画像処理装置。
[27] 前記画像領域統合処理部は、画像領域の統合を行なったときに、新たに生成され た画像領域の境界近辺の多角形力もなるクラストのみを残して、画像領域の面積及 び多角形の個数を算出して前記ノード統計部の更新処理を行ない、クラストを用いて 以降の画像領域の統合についての成否判断を行なう、
ことを特徴とする請求項 25に記載の画像処理装置。
[28] 前記画像領域統合処理部は、統合して新たに生成された画像領域の全周に渡る 境界近辺の多角形をクラストとして残す、
ことを特徴とする請求項 27に記載の画像処理装置。
[29] 前記画像領域統合処理部は、統合しょうとする各画像領域が接する境界近辺の多 角形をクラストとして残し、
該統合処理を行なったときに、前記隣接グラフ評価部は隣接グラフの再評価を行な
5、
ことを特徴とする請求項 27に記載の画像処理装置。
[30] オブジェクトを複数の多角形力もなる多角形メッシュとして扱 、画像処理を行なう画 像処理方法であって、
多角形メッシュを記述する隣接グラフを入力する隣接グラフ入力ステップと、 エッジで結ばれる各画像領域が持つ属性値を比較して比較結果に基づいて重み 因子をエッジに付与し、重み値に基づいて隣接グラフ中のエッジをソーティングする 隣接グラフ評価ステップと、
ソーティングされた順に従ってエッジを挟む画像領域のペアを取り出し、画像領域 同士を統計的処理アルゴリズムに基づ 、て統合すべきか否かを評価し、画像領域の 統合処理を行なう画像領域統合処理ステップと、
を具備することを特徴とする画像処理方法。
[31] 画像領域の統合処理をした結果として残された微細な領域を処理する微小領域処 理ステップをさらに備える、
ことを特徴とする請求項 30に記載の画像処理方法。
[32] 前記隣接グラフ入力ステップでは、多角形メッシュを構成する個々の多角形をノー ドとして扱い、隣接する多角形同士が接する辺に相当するエッジを用いて対応するノ 一ド間を結んで記述される隣接グラフを入力する、
ことを特徴とする請求項 30に記載の画像処理方法。
[33] 前記隣接グラフ評価ステップでは、エッジで結ばれる各画像領域が持つ属性値の 相違をエッジの重み値として与えて、重み値の小さ!/、順にソーティングを行なう、 ことを特徴とする請求項 30に記載の画像処理方法。
[34] 前記隣接グラフ評価ステップでは、画像領域が持つ属性値として、画像領域の面 積、法線方向、又は色若しくはその他の画素属性情報を用いる、
ことを特徴とする請求項 33に記載の画像処理方法。
[35] 前記画像領域統合処理ステップでは、画像領域を構成する多角形の面積における 集中不均衡現象力も導き出される判断式に基づいて、隣接グラフのエッジで結ばれ る画像領域同士を統合すべき力どうかを判断する、
ことを特徴とする請求項 30に記載の画像処理方法。
[36] 前記画像領域統合処理ステップでは、隣接グラフのエッジで結ばれる 2つの画像領 域 R及び Rに関して以下の統計的アルゴリズムに基づく判断式を満たすときに、画 k 1
像領域 R及び Rを統合すべきと判定する（但し、画像領域 Rは面積 Sを持つとともに k 1 k k
n個の多角形で構成され、画像領域 Rは面積 Sを持つとともに n個の多角形で構成 k 1 1 1
されるとし、 Aは多角形の最大面積とし、 Qはセグメンテーションの粗さを制御するた めのパラメータとする）、
ことを特徴とする請求項 30に記載の画像処理方法。
[数 4]
Figure imgf000046_0001
ノ
[37] 前記判断式中のパラメータ Qを設定するパラメータ設定手ステップをさらに備える、 ことを特徴とする請求項 36に記載の画像処理方法。
[38] 所望のセグメンテーションの粗さが得られるようなパラメータ Qの値を与えるセグメン テーシヨン粗さ制御ステップをさらに備える、
ことを特徴とする請求項 37に記載の画像処理方法。
[39] 前記セグメンテーション粗さ制御ステップでは、所望するセグメンテーションの粗さ が外部力も与えられたときに、当該粗さに相当するパラメータ Qの値に変換して前記 パラメータ設定手段に与える、
ことを特徴とする請求項 38に記載の画像処理方法。
[40] 隣接グラフの各ノードは対応する画像領域の面積及び多角形の個数に関するノー ド統計情報を保持するノード統計保持ステップをさらに備え、
前記画像領域統合処理ステップでは、画像領域の統合を実行したときには、統合 して新たに生成された画像領域の面積及び多角形の個数を算出して前記ノード統 計部の更新処理を行なう、
ことを特徴とする請求項 30に記載の画像処理方法。
[41] 統合処理された画像領域とその隣接画像領域を結ぶエッジの重み因子を更新され たノード統計情報に基づいて再計算して、重み値に基づいて隣接グラフ中のエッジ を再ソーティングする隣接グラフ再評価ステップをさらに備え、
前記統計的処理アルゴリズムに基づいて統合すべき画像領域のペアがなくなるま で、前記画像領域統合処理ステップにおける画像領域の統合とノード統計情報の更 新を繰り返し行なう、
ことを特徴とする請求項 40に記載の画像処理方法。
[42] 前記画像領域統合処理ステップでは、画像領域の統合を行なったときに、新たに 生成された画像領域の境界近辺の多角形からなるクラストのみを残して、画像領域 の面積及び多角形の個数を算出して前記ノード統計情報の更新処理を行ない、クラ ストを用いて以降の画像領域の統合にっ 、ての成否判断を行なう、
ことを特徴とする請求項 40に記載の画像処理方法。
[43] 前記画像領域統合処理ステップでは、統合して新たに生成された画像領域の全周 に渡る境界近辺の多角形をクラストとして残す、
ことを特徴とする請求項 42に記載の画像処理方法。
[44] 前記画像領域統合処理ステップでは、統合しょうとする各画像領域が接する境界 近辺の多角形をクラストとして残し、
該統合処理を行なったときに、前記隣接グラフ評価ステップにお ヽて隣接グラフの 再評価を行なう、
ことを特徴とする請求項 42に記載の画像処理方法。
[45] それぞれ属性値を持つ複数のノードでトポロジが形成されたデータを取り扱うため の処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンビュ 一タ.プログラムであって、前記コンピュータに対し、
前記トポロジ上で隣接するノード同士がそれぞれ持つ属性値に基づいてノード間を 結ぶエッジの重み因子を求め、重み因子に基づいてエッジをソーティングするトポロ ジ評価手順と、
該ソーティングされた順に従って、エッジで結ばれるノードのペアを取り出して、該ノ ード同士を統合すべき力否かを所定の統計的処理アルゴリズムに基づいて評価し、 ノード領域の統合処理を行なうノード統合処理手順と、
を実行させることを特徴とするコンピュータ ·プログラム。
[46] オブジェクトを複数の多角形力もなる多角形メッシュとして扱 、画像処理を行なうた めの処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコン ピュータ 'プログラムであって、前記コンピュータに対し、
多角形メッシュを記述する隣接グラフを入力する隣接グラフ入力手順と、 エッジで結ばれる各画像領域が持つ属性値を比較して比較結果に基づいて重み 因子をエッジに付与し、重み値に基づいて隣接グラフ中のエッジをソーティングする 隣接グラフ評価手順と、 ソーティングされた順に従ってエッジを挟む画像領域のペアを取り出し、画像領域 同士を統計的処理アルゴリズムに基づ 、て統合すべきか否かを評価し、画像領域の 統合処理を行なう画像領域統合処理手順と、
を実行させることを特徴とするコンピュータ ·プログラム。
PCT/JP2006/311251 2005-06-07 2006-06-05 情報処理装置及び情報処理方法、画像処理装置及び画像処理方法、並びにコンピュータ・プログラム WO2006132194A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2006800204746A CN101194290B (zh) 2005-06-07 2006-06-05 信息处理装置和信息处理方法、图像处理装置和图像处理方法
US11/913,264 US8224089B2 (en) 2005-06-07 2006-06-05 Information processing device and information processing method, image processing device and image processing method, and computer program
JP2007520097A JP4780106B2 (ja) 2005-06-07 2006-06-05 情報処理装置及び情報処理方法、画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
EP06747181A EP1890268A1 (en) 2005-06-07 2006-06-05 Image processing device and image processing method and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005166466 2005-06-07
JP2005-166466 2005-06-07

Publications (1)

Publication Number Publication Date
WO2006132194A1 true WO2006132194A1 (ja) 2006-12-14

Family

ID=37498395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/311251 WO2006132194A1 (ja) 2005-06-07 2006-06-05 情報処理装置及び情報処理方法、画像処理装置及び画像処理方法、並びにコンピュータ・プログラム

Country Status (6)

Country Link
US (1) US8224089B2 (ja)
EP (1) EP1890268A1 (ja)
JP (1) JP4780106B2 (ja)
KR (1) KR20080012954A (ja)
CN (1) CN101194290B (ja)
WO (1) WO2006132194A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8320672B2 (en) 2005-12-08 2012-11-27 Sony Corporation Image processing apparatus, image processing method, and computer program
CN105930204A (zh) * 2016-04-11 2016-09-07 沈阳东软医疗系统有限公司 一种单事件时间信息处理方法和装置
WO2020049619A1 (ja) * 2018-09-03 2020-03-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
CN117848423A (zh) * 2024-03-07 2024-04-09 南京中鑫智电科技有限公司 一种换流变阀侧套管壳体完整性的在线监测方法、系统、设备及介质

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008059081A (ja) * 2006-08-29 2008-03-13 Sony Corp 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP4539756B2 (ja) * 2008-04-14 2010-09-08 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
WO2009139161A1 (ja) * 2008-05-15 2009-11-19 株式会社ニコン 画像処理装置、画像処理方法、処理装置、処理方法およびプログラム
WO2010139091A1 (en) * 2009-06-03 2010-12-09 Google Inc. Co-selected image classification
US8526723B2 (en) * 2009-06-23 2013-09-03 Los Alamos National Security, Llc System and method for the detection of anomalies in an image
US8428354B2 (en) * 2009-06-23 2013-04-23 Los Alamos National Security, Llc Image segmentation by hierarchial agglomeration of polygons using ecological statistics
US9459851B2 (en) * 2010-06-25 2016-10-04 International Business Machines Corporation Arranging binary code based on call graph partitioning
US9177041B2 (en) * 2010-09-03 2015-11-03 Robert Lewis Jackson, JR. Automated stratification of graph display
US9280574B2 (en) 2010-09-03 2016-03-08 Robert Lewis Jackson, JR. Relative classification of data objects
JP5772446B2 (ja) * 2010-09-29 2015-09-02 株式会社ニコン 画像処理装置及び画像処理プログラム
WO2012155446A1 (zh) * 2011-07-18 2012-11-22 中兴通讯股份有限公司 局部图像平移方法及带有触摸屏的终端
CN103890814B (zh) * 2011-10-18 2017-08-29 英特尔公司 基于表面的图形处理
CN103164487B (zh) * 2011-12-19 2016-05-25 中国科学院声学研究所 一种基于密度与几何信息的数据聚类方法
US10110412B2 (en) * 2012-10-17 2018-10-23 Disney Enterprises, Inc. Dynamically allocated computing method and system for distributed node-based interactive workflows
JP6236817B2 (ja) * 2013-03-15 2017-11-29 株式会社リコー 画像形成装置
JP5367919B1 (ja) * 2013-07-22 2013-12-11 株式会社 ディー・エヌ・エー 画像処理装置及び画像処理プログラム
CN104463825B (zh) * 2013-09-16 2019-06-18 北京三星通信技术研究有限公司 用于在三维体积图像中检测对象的设备和方法
US11245593B2 (en) * 2016-04-25 2022-02-08 Vmware, Inc. Frequency-domain analysis of data-center operational and performance metrics
JP6712965B2 (ja) * 2017-04-25 2020-06-24 京セラ株式会社 電子機器、生成方法及び生成システム
KR101989029B1 (ko) * 2017-12-11 2019-06-13 한양대학교 산학협력단 복수의 쓰레드를 이용하는 그래프 엔진 및 그 그래프 엔진의 동작 방법
US11401786B2 (en) 2019-03-06 2022-08-02 Saudi Arabian Oil Company Systems and methods for hydrocarbon reservoir well connectivity graph optimization, simulation and development
JP7376881B2 (ja) * 2020-01-29 2023-11-09 ユーアイアーマー．コム エルエルシー 画像処理のためのシステム、方法、および装置
US11158031B1 (en) 2021-05-24 2021-10-26 ReportsNow, Inc. Systems, methods, and devices for image processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08138082A (ja) * 1994-11-07 1996-05-31 Internatl Business Mach Corp <Ibm> 四角形メッシュの生成方法及びシステム
JPH09128561A (ja) * 1995-10-30 1997-05-16 Chokosoku Network Computer Gijutsu Kenkyusho:Kk 三次元図形データ削減方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3973273B2 (ja) * 1997-09-22 2007-09-12 三洋電機株式会社 画像生成装置および画像生成方法
KR100294924B1 (ko) * 1999-06-24 2001-07-12 윤종용 영상분할 장치 및 방법
US6577759B1 (en) * 1999-08-17 2003-06-10 Koninklijke Philips Electronics N.V. System and method for performing region-based image retrieval using color-based segmentation
US6898316B2 (en) * 2001-11-09 2005-05-24 Arcsoft, Inc. Multiple image area detection in a digital image
US7623709B2 (en) * 2005-09-06 2009-11-24 General Electric Company Method and system for segmenting image data
JP2008059081A (ja) * 2006-08-29 2008-03-13 Sony Corp 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
US8073217B2 (en) * 2007-11-01 2011-12-06 Siemens Medical Solutions Usa, Inc. Structure segmentation via MAR-cut

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08138082A (ja) * 1994-11-07 1996-05-31 Internatl Business Mach Corp <Ibm> 四角形メッシュの生成方法及びシステム
JPH09128561A (ja) * 1995-10-30 1997-05-16 Chokosoku Network Computer Gijutsu Kenkyusho:Kk 三次元図形データ削減方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NIELSEN F. AND NOCK R.: "On Region Merging: The Statistical Soundness of Fast Sorting, with Applications", PROCEEDINGS OF THE 2003 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR'03), vol. 2, 2003, pages 19 - 26, XP010644583 *
NOCK R. AND NIELSEN F.: "Grouping with Bias Revisited", PROCEEDINGS OF THE 2004 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR'04), vol. 2, 2004, pages 460 - 465, XP010708678 *
NOCK R. AND NIELSEN F.: "Statistical Region Merging", IEEE TRANSACTIONS ON PATTERNS ANALYSIS AND MACHINE INTELLIGENCE, vol. 26, no. 11, 2004, pages 1452 - 1458, XP001211318 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8320672B2 (en) 2005-12-08 2012-11-27 Sony Corporation Image processing apparatus, image processing method, and computer program
CN105930204A (zh) * 2016-04-11 2016-09-07 沈阳东软医疗系统有限公司 一种单事件时间信息处理方法和装置
CN105930204B (zh) * 2016-04-11 2019-07-12 东软医疗系统股份有限公司 一种单事件时间信息处理方法和装置
WO2020049619A1 (ja) * 2018-09-03 2020-03-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
JPWO2020049619A1 (ja) * 2018-09-03 2021-06-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
JP6990777B2 (ja) 2018-09-03 2022-01-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
US11461957B2 (en) 2018-09-03 2022-10-04 Sony Interactive Entertainment Inc. Information processing device, information processing method, and program
CN117848423A (zh) * 2024-03-07 2024-04-09 南京中鑫智电科技有限公司 一种换流变阀侧套管壳体完整性的在线监测方法、系统、设备及介质
CN117848423B (zh) * 2024-03-07 2024-05-17 南京中鑫智电科技有限公司 一种换流变阀侧套管壳体完整性的在线监测方法、系统、设备及介质

Also Published As

Publication number Publication date
CN101194290A (zh) 2008-06-04
KR20080012954A (ko) 2008-02-12
EP1890268A1 (en) 2008-02-20
CN101194290B (zh) 2010-06-09
JP4780106B2 (ja) 2011-09-28
US20090175543A1 (en) 2009-07-09
JPWO2006132194A1 (ja) 2009-01-08
US8224089B2 (en) 2012-07-17

Similar Documents

Publication Publication Date Title
WO2006132194A1 (ja) 情報処理装置及び情報処理方法、画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
US10424087B2 (en) Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures
CN104933709B (zh) 基于先验信息的随机游走ct肺组织图像自动分割方法
JP6786497B2 (ja) 統計的技術を用いて形成されたデジタル歯冠モデルに表面詳細を追加するシステム及び方法
Ahmadi et al. Context-aware saliency detection for image retargeting using convolutional neural networks
Shabat et al. Design of porous micro-structures using curvature analysis for additive-manufacturing
Kolouri et al. Transport-based analysis, modeling, and learning from signal and data distributions
Krasnoshchekov et al. Order-k α-hulls and α-shapes
CN108492370A (zh) 基于TV和各向异性Laplacian正则项的三角网格滤波方法
Monga et al. Representing geometric structures in 3D tomography soil images: Application to pore-space modeling
Tsuchie et al. High-quality vertex clustering for surface mesh segmentation using Student-t mixture model
CN110176063B (zh) 一种基于人体拉普拉斯变形的服装变形方法
Zhao et al. NormalNet: Learning-based mesh normal denoising via local partition normalization
Lalos et al. Signal processing on static and dynamic 3d meshes: Sparse representations and applications
CN116993947B (zh) 一种三维场景可视化展示方法及系统
CN112884884A (zh) 一种候选区域生成方法及系统
CN110955809A (zh) 一种支持拓扑结构保持的高维数据可视化方法
US11645813B2 (en) Techniques for sculpting digital faces based on anatomical modeling
CN109410333A (zh) 一种高质量超面片聚类生成方法
CN108376390B (zh) 一种动态感知平滑滤波算法
Lavoué et al. Semi-sharp subdivision surface fitting based on feature lines approximation
JP2017043075A (ja) 立体物造形用データ削減装置
Calabuig-Barbero et al. Implementation of efficient surface discretisation algorithms adapted to geometric models specific to the footwear industry
Li et al. Cluster-based fine-to-coarse superpixel segmentation
CN117152311B (zh) 基于双分支网络的三维表情动画编辑方法及系统

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680020474.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007520097

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2006747181

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020077028730

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2006747181

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11913264

Country of ref document: US