WO2007108412A1 - ３次元データ処理システム - Google Patents

３次元データ処理システム Download PDF

Info

Publication number
WO2007108412A1
WO2007108412A1 PCT/JP2007/055385 JP2007055385W WO2007108412A1 WO 2007108412 A1 WO2007108412 A1 WO 2007108412A1 JP 2007055385 W JP2007055385 W JP 2007055385W WO 2007108412 A1 WO2007108412 A1 WO 2007108412A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
dimensional
unit
primary
compressed data
Prior art date
Application number
PCT/JP2007/055385
Other languages
English (en)
French (fr)
Inventor
Rui Ishiyama
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2008506278A priority Critical patent/JP4873004B2/ja
Publication of WO2007108412A1 publication Critical patent/WO2007108412A1/ja
Priority to US12/155,286 priority patent/US7876318B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Definitions

  • the present invention relates to a 3D data processing system that performs image recognition and object recognition by comparing 3D data and image data of an object to be collated with 3D data of a reference object.
  • Patent Document 1 describes an object collation device that collates image data to be matched with 3D data of a reference object registered in advance in a storage device.
  • the shape of a complex three-dimensional object such as a human body, that cannot be described by a combination of geometric shapes such as a cube or cylinder, is usually a small triangle or quadrilateral, called a polygon that is obtained by subdividing the surface of the object. It is expressed as a set of planes, and is described by data that arranges the coordinate values of each vertex in 3D space.
  • the color information (texture) on the object surface is represented by the luminance value as the color of the vertex of each polygon.
  • a two-dimensional coordinate system (s, t) is defined on the surface of the object so that the latitude and longitude are determined on the surface of the earth, and the coordinates are quantized at appropriate intervals.
  • This (s, t) is quantized at an appropriate interval, and the (x, y, z) coordinates and color information (r, g, b) of the corresponding polygon vertex are stored.
  • the dimensional shape and surface color information can be considered as an image in which each pixel has six elements ( X , y, z, r, g, b). Since 3D coordinates have a wider range than brightness values, 3D data is several times the amount of data compared to brightness images with the same level of resolution.
  • x, y, z are each 2 bytes
  • r, g, b is 1 byte each Even so, the amount of data exceeds 800 kilobytes.
  • Non-Patent Document 1 As a lossy compression technique, as described in Non-Patent Document 1, for example, vertices are deleted in order from the vertex with the shortest distance from the average polygon of adjacent polygons until the specified thinning rate is reached. A method has been proposed.
  • Patent Document 3 or Patent Document 4 describes a data compression technique that combines the advantages of both a high compression ratio, which is an advantage of an irreversible compression method, and high accuracy, which is an advantage of a lossless compression method. ing.
  • data obtained by compressing the original data with the lossy compression method is used as primary compressed data
  • the data obtained by compressing the difference between the restored data and the original data with the lossless compression method is subjected to the secondary compression.
  • Compressed data, and the set of primary compressed data and secondary compressed data is the compressed data of the original data.
  • This compression method is hereinafter referred to as a hybrid compression method.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2002-157595
  • Patent Document 2 Japanese Patent Laid-Open No. 2002-8060
  • Patent Document 3 Japanese Patent Laid-Open No. 63-45684
  • Patent Document 4 Japanese Patent Laid-Open No. 10-290460
  • Patent Document 5 Japanese Patent Laid-Open No. 10-285407
  • the client device 200 and the server device 100 are connected via the network 300, and 3D data of the object to be verified is transmitted from the client device 200 to the server device 100, and the server The device 100 collates with the 3D data of each reference object stored in the storage device 102, and displays the 3D data of the top several reference objects with high similarity on the display device 206 of the client device 200 as candidate data.
  • the server device 100 collates with the 3D data of each reference object stored in the storage device 102, and displays the 3D data of the top several reference objects with high similarity on the display device 206 of the client device 200 as candidate data.
  • 3D data of the original reference object can be accurately restored, so that the accuracy of verification of the object to be verified increases. Capacity increases.
  • 3D data of several reference objects with high similarity as candidate data from the server device 100 to the client device 200, even if it is sent in the compressed data state, it is sent more than in the case of the lossy compression method.
  • the amount of data increases and transmission takes time. Therefore, the candidate data is displayed on the display device 206 of the client device 200.
  • the subsequent processing is affected, for example, the time until is displayed becomes longer.
  • the original reference object's 3D data can be accurately restored using the primary compression data and secondary compression data, so the collation accuracy is high and the compression ratio is relatively high.
  • the storage capacity required for the storage device 102 is small, and the amount of transmission data when the candidate data is transmitted from the server device 100 to the client device 200 is also reduced.
  • the storage capacity and transmission data can be reduced to 6/10 compared to the case of storing and transmitting with 3D data.
  • the original 3D data is high-definition, it will have a capacity of 1 Mbyte or more, so even if the data is compressed to 6/10, the data transmission amount will be considerable.
  • the search for compressed data is performed on primary compressed data, and the search results are presented to the user. Since the data is decoded from the primary compressed data and the secondary compressed data, when this is applied to the data processing system shown in Fig. 12, matching with the object to be verified is performed with the primary compressed data! The candidate data is presented using data decoded from the primary compressed data and the secondary compressed data. Accordingly, the collation accuracy with the collation target object decreases as in the case of the lossy compression method. In addition, since the candidate data is presented using data decoded from the primary compressed data and the secondary compressed data, a certain amount of data transmission is required.
  • the present invention has been proposed in view of such circumstances, and an object of the present invention is to perform collation processing with high accuracy and to significantly reduce the amount of data necessary for presenting candidate data. It is to provide a three-dimensional data processing system.
  • the three-dimensional data processing system includes primary compressed data obtained by compressing three-dimensional data using a lossy compression method, and three-dimensional data restored from the primary compressed data and the original three-dimensional data.
  • 3D data of each reference object with a set of secondary compressed data to compensate for the error
  • the secondary compressed data may be data obtained by compressing a difference between the three-dimensional data restored from the primary compressed data and the original three-dimensional data.
  • the three-dimensional data processing system of the present invention includes a server device and a client device connected to each other via a network, the server device includes a storage device and a collation unit (unit), and the client device includes a candidate display unit. (Unit) may be provided.
  • a combination coefficient for synthesizing certain three-dimensional data by linearly combining a plurality of basic three-dimensional data is the certain three-dimensional data.
  • the compression method for the compressed data may be used.
  • the client device acquires the secondary compression data of the reference object requested by the user from the server device and decodes the primary compression data of the reference object.
  • Secondary decoding means (unit) for generating high-definition three-dimensional data by adding to the data may be provided.
  • the client device verifies whether the verification target data and the three-dimensional data generated by the secondary decoding means (unit) match each other. Even if it has a verification means (unit).
  • the three-dimensional data processing method of the present invention includes a first process in which the client device transmits the three-dimensional data of the object to be verified or the verification target data that is image data to the server device via the network; Primary compression data in which the server device compresses 3D data using the lossy compression method, and secondary compression to compensate for errors between the 3D data restored from the primary compression data and the original 3D data Read the primary compression data and secondary compression data of each reference object from a storage device that stores 3D data of each reference object as a data set.
  • the secondary compressed data may be data obtained by compressing the difference between the three-dimensional data restored from the primary compressed data force and the original three-dimensional data.
  • a combination coefficient for synthesizing certain three-dimensional data by linearly combining a plurality of basic three-dimensional data is given. It may be possible to use a compression method that uses compressed data of dimension data.
  • the server device of the present invention compensates for primary compressed data obtained by compressing three-dimensional data using an irreversible compression method, and errors between the three-dimensional data restored from the primary compressed data and the original three-dimensional data.
  • Storage device that stores the 3D data of each reference object as a set of secondary compressed data to be received and the client device's power via the network to receive the 3D data of the object to be verified or the verification target data that is image data
  • the received comparison target data is compared with the primary compressed data of the top reference objects having a high degree of similarity by comparing the primary compressed data of each reference object and the three-dimensional data decoded from the secondary compressed data.
  • a processing device that transmits the data to the client device via the network.
  • the secondary compressed data may be data obtained by compressing the difference between the three-dimensional data restored from the primary compressed data and the original three-dimensional data.
  • the client device of the present invention transmits a verification request including verification target data that is three-dimensional data or image data of an object to be verified to the server device via the network, and a reference object similar to the verification target data It is characterized by comprising collation request means (unit) for receiving the primary compressed data obtained by compressing the three-dimensional data by the lossy compression method from the server device, decoding it and displaying it on the display device.
  • collation request means unit
  • the secondary compressed data of the reference object is obtained from the server device, and the primary compressed data of the reference object is added to the decoded 3D data to generate highly precise 3D data. Yes, you may have more secondary decoding means (units)!
  • the program of the present invention compensates for errors between primary compressed data obtained by compressing three-dimensional data using an irreversible compression method, and three-dimensional data restored from the primary compressed data and the original three-dimensional data.
  • a computer equipped with a storage device that stores the 3D data of each reference object as a set of secondary compressed data of the above, and a client device via the network for 3D data of the object to be verified or data to be verified that is image data Means (unit) that also receives the force, means (unit) that collates the received data to be collated with the primary compression data and the three-dimensional data decoded from the secondary compression data of each reference object, high similarity, It is made to function as a means (unit) for transmitting primary compressed data of several upper reference objects to the client device via the network.
  • the secondary compressed data may be data obtained by compressing the difference between the three-dimensional data restored from the primary compressed data and the original three-dimensional data.
  • the program of the present invention is a means (unit) for sending a computer a verification request including verification target data that is three-dimensional data or image data of an object to be verified to a server device via a network.
  • the first compressed data obtained by compressing the three-dimensional data of the reference object similar to the above by the lossy compression method is received from the server device, decoded, and displayed as a means (unit).
  • the secondary compressed data of the reference object is acquired by the server device, and the primary compressed data of the reference object is added to the decoded 3D data to generate high-definition 3D data 2 You may make it function further as a next decoding means (unit).
  • verification means for verifying whether or not the collation target data matches the three-dimensional data generated by the secondary decoding means (unit), Let's make it work as well.
  • the secondary compressed data in the conventional technique is data obtained by compressing the difference between the three-dimensional data restored from the primary compressed data and the original three-dimensional data.
  • Force The secondary compressed data in the present invention is not limited to the difference, and may be data calculated separately.
  • the three-dimensional data of the reference object is compressed by the hybrid compression method and stored in the storage device.
  • the collation with the collation target data of the object to be collated is performed by the primary compression data and the secondary compression.
  • Data power Verification accuracy is improved by using restored 3D data, and candidate data is presented using 3D data restored only from primary compressed data, greatly increasing the amount of data required to present candidate data.
  • the verification target data is compared with the three-dimensional data of each reference object, and the three-dimensional data of the top several reference objects with high similarity are presented to the user as candidate data.
  • the accuracy of verification can be increased, and at the same time, the amount of data required to present candidate data can be greatly reduced.
  • collation with the data to be collated is performed with 3D data restored from the primary compressed data and the secondary compressed data, and candidate data is presented with 3D data restored from the primary compressed data alone. is there.
  • FIG. 1 is a block diagram of a three-dimensional data processing system according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration example of a registration unit in the three-dimensional data processing system according to the first embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of a storage format of compressed data of a reference object in the three-dimensional data processing system according to the first embodiment of the present invention.
  • FIG. 4 is a block diagram showing a configuration example of a collation-related part in the three-dimensional data processing system according to the first embodiment of the present invention.
  • FIG. 5 is a block diagram showing a configuration example of primary compression means (unit) in the three-dimensional data processing system according to the first embodiment of the present invention.
  • FIG. 6 is a block diagram showing a configuration example of primary decoding means (unit) in the three-dimensional data processing system according to the first embodiment of the present invention.
  • FIG. 7 is a block diagram of a three-dimensional data processing system according to the second embodiment of the present invention.
  • FIG. 8 is a block diagram showing a configuration example of a collation-related part in a three-dimensional data processing system according to a second embodiment of the present invention.
  • FIG. 9 is a block diagram of a three-dimensional data processing system according to a third embodiment of the present invention.
  • FIG. 10 is a block diagram showing a configuration example of a collation-related part in a three-dimensional data processing system according to a third embodiment of the present invention.
  • FIG. 11 is an explanatory diagram showing an example of a method for describing three-dimensional data.
  • FIG. 12 is an explanatory diagram of a conventional problem.
  • a server device 100 and a client device 200 are connected to each other through a network 300 so as to communicate with each other.
  • the server device 100 includes a processing device 101, a storage device 102 connected thereto, and a communication device 1
  • the storage device 102 is composed of a magnetic disk device or the like, and stores a program and various data.
  • the stored data includes 3D data of each reference object compressed by the hybrid compression method.
  • the communication device 103 is configured with a network interface card (NIC) or the like, and transmits / receives data to / from the client device 200 via the network 300.
  • NIC network interface card
  • the three-dimensional data input device 104 is configured by another computer (not shown), a storage medium force, a device that reads the three-dimensional data of the reference object, a device that measures the three-dimensional data of the reference object, or the like.
  • the processing device 101 is configured by a central processing unit of a computer that operates by program control, and performs the main control of the server device 100.
  • the processing apparatus 101 includes a registration unit 111, a collation unit 112, and a primary compressed data transmission unit 113.
  • the registration unit 111 receives the 3D data of the reference object input from the 3D data input device 104.
  • the data is compressed by the hybrid compression method and registered in the storage device 102.
  • the collation unit 112 receives a collation request including collation target data that is three-dimensional data or image data of an object to be collated from the client device 200 via the network 300, and stores each of the data stored in the storage device 102. It has a function of collating with 3D data of the reference object and returning a collation result including a list of several reference objects with high similarity to the client device 200.
  • the primary compressed data transmission unit 113 reads out the data requested from the client device 200 via the network 300 from the primary compressed data of each reference object stored in the storage device 102 from the storage device 102 to the client. It has the function to transmit to the device 200.
  • the client device 200 includes a processing device 201, a storage device 202, a communication device 203, a three-dimensional data input device 204, an image input device 205, a display device 206, and an input device 207 connected thereto. Consists of
  • the storage device 202 is configured by a magnetic disk device or the like, and stores a program and various data.
  • the communication device 203 is configured with a network interface card (NIC) or the like, and transmits / receives data to / from the server device 100 via the network 300.
  • NIC network interface card
  • the three-dimensional data input device 204 is composed of another computer (not shown), a device that reads the three-dimensional data of the object to be verified, and a device that measures the three-dimensional data of the object to be verified.
  • the image input device 205 is configured by a device or a scanner that reads the image data that the comparison target object is captured from another computer or storage medium (not shown), a camera that captures an image of the verification target object, and the like.
  • the display device 206 is configured with a liquid crystal display device or the like, and presents various data to the user.
  • the input device 207 is configured with a keyboard, a mouse, and the like, and receives various instructions and data from the user.
  • the processing device 201 is composed of a central processing unit of a computer that operates by program control, and performs the main control of the client device 200.
  • processing The apparatus 201 includes a verification request unit 211.
  • the collation request unit 211 collates the 3D data of the object to be collated input from the 3D data input device 204 or the image data of the object to be collated input from the image input device 205.
  • a verification request including data is transmitted to the server device 100 via the network 300, and a verification result including a list of several reference objects with high similarity is received as a response to the request, the verification result Is displayed on the display device 206.
  • a request for acquiring the primary compressed data of the selected reference object is sent to the server via the network 300.
  • the display device 206 has a function of displaying the decoded three-dimensional data on the display device 206.
  • registration unit 111 includes primary compression means (unit) 1111, primary decoding means (unit) 1112, residual calculation means (unit) 1113, secondary compression means (unit) 1114 and And output means (unit) 1115, which operate as follows.
  • the registration unit 111 transmits it to the primary compression means (unit) 1111 and the residual calculation means (unit) 1113. .
  • Primary compression means (unit) 1111 compresses the input three-dimensional data by a predetermined irreversible compression method, and obtains primary compressed data 11 lb as primary decoding means (unit) 11 12 And output means (unit) 1115 to output.
  • Primary decoding means (unit) 1112 decodes primary compressed data 11 lb by a predetermined data decoding method, and outputs the result to residual calculation means (unit) 1113 as primary decoded data 111c. . Since the primary compressed data 11 lb is the data compressed by the lossy compression method, the primary decoded data 11 lc decoded from it is completely identical to the original 3D data 11 la. Absent.
  • Residual calculation means (unit) 1113 calculates primary residual data 11 Id which is a difference between primary decoded data 111c and original three-dimensional data 11 la, and secondary compression means (unit) 1114 Output to.
  • the primary residual data 11 Id has the same number of vertices as the original 3D data 11 la, and the 3D coordinates and texture luminance value of each vertex are the same as those of the original 3D data 11 la and the primary decoded data. This is the difference between the values of the corresponding vertices.
  • the secondary compression means (unit) 1114 compresses the primary residual data 11 Id by a predetermined lossless compression method and outputs the compressed data to the output means (unit) 1115 as the secondary compressed data 11 le. .
  • the output means (unit) 1115 assigns a name to the combination of the primary compressed data 11 lb and the secondary compressed data 1 l ie as the compressed data 11 If of the original three-dimensional data 11 la, and the storage device 102 To remember.
  • attribute data describing individual 3D data may be stored as metadata.
  • Figure 3 shows an example of the compressed data storage format.
  • compressed data is stored in tabular form, one row of the table corresponds to one 3D data, and data name, metadata, primary compressed data, and secondary compressed data are stored. .
  • the compressed data storage format is not limited to the example in FIG. 3, and any method can be employed.
  • the reference object data which is the three-dimensional data or image data of the object to be verified, is transmitted from the client device 200 to the server device 100, and each reference object stored in the storage device 102 by the server device 100
  • the function of displaying the display device 206 of the client device 200 as candidate data using the three-dimensional data of the top-level reference objects having high similarity as the candidate data will be described. This function is realized by the collation unit 112 and the primary compressed data transmission unit 113 of the server device 100 and the collation request unit 211 of the client device 200.
  • collation request unit 211 of client device 200 includes collation data transmission means (unit) 2111, candidate reading means (unit) 2112, primary decoding means (unit) 2113, and candidate display means. (Unit) 2114, and collation unit 112 of server device 100 includes candidate reading means (unit) 1121, primary decoding means (unit) 1122, secondary decoding means (put) 1123 and similarity calculation means (Unit) 1124.
  • the collation request 21 lb including the image data 21 la as the data to be collated is sent to the collation unit 112 of the server apparatus 100.
  • the verification request 21 lb may include metadata for narrowing down the reference object in addition to the verification target data.
  • the collation unit 112 of the server apparatus 100 Upon receipt of the collation request 21 lb, the collation unit 112 of the server apparatus 100 notifies the candidate reading means (unit) 1121 to that effect and also compares the collation target data 112a included in the collation request 21 lb. Degree calculation means (unit) 1124 If metadata is included in the verification request 211b, it is transmitted to the candidate reading means (unit) 1121.
  • Candidate reading means (unit) 1121 reads the data name and primary compressed data 112b from each storage device 102 for each reference object, and outputs the data to primary decoding means (unit) 1122.
  • primary decoding means (unit) 1122 if metadata is given, a reference object having metadata that matches the given metadata is searched from the storage device 102, and the data name and primary compressed data are found only for the matching reference object. Is read. For example, if the 3D data is 3D data of a person's face and one of the metadata represents gender, if the given metadata is a woman, the reference object that has the metadata indicating a woman! Read the data name and primary compressed data only.
  • the primary decoding means (unit) 1122 decodes each of the input primary compressed data 112b, attaches the input data name, and forms secondary decoding means 112c as primary decoded data 112c. G) Output to 1123.
  • the secondary decryption means (unit) 1123 is the secondary compressed data of the reference object having the data name from the storage device 102 with the accompanying data name as a key.
  • 112d is read out, decoded to restore the primary residual data, and added to the primary decoded data 112c to restore the three-dimensional data 112e of the reference object.
  • the restored three-dimensional data 112e of each reference object is output to the similarity calculation means (unit) 1124.
  • the similarity calculation means (unit) 1124 includes the image data of the object to be collated given by the collation target data 112a and the three-dimensional of each reference object restored by the secondary decoding means (unit) 1123.
  • the data is collated and the similarity indicating how similar is calculated. Since the collation technique of an image and three-dimensional data has been conventionally proposed in Patent Document 1, for example, that technique can be used. Then, a collation result list 11 2f in which data names of a predetermined number of reference objects showing a degree of similarity higher than a predetermined threshold are arranged in descending order of similarity is generated, and a collation request source client device 200 is generated. To the verification request unit 211 of the network via the network 300. Note that the similarity calculation may take into account the metadata given to the verification target data. For example, when metadata that the age is in its 30s is input, processing such as correcting the similarity with the reference object that is in the 30s as the metadata may be corrected.
  • the collation request unit 211 of the client device 200 When the collation request unit 211 of the client device 200 receives the collation result list 112 f, it displays it on the display device 206 and transmits it to the candidate reading means (unit) 2112.
  • the user of the client device 200 can know the data names of reference objects similar to the image data 21 la of the object to be verified in order from the more similar ones by using the matching result list 112f displayed on the display device 206. .
  • the input device 207 selects a data name in the matching result list 112f and requests display.
  • the candidate reading means (unit) 2112 transmits the primary compressed data request 21 lc including the selected data name to the primary compressed data transmission unit 113 of the server apparatus 100 via the network 300.
  • the primary compressed data transmission unit 113 of the server device 100 reads the primary compressed data 113a of the reference object having the data name included in the primary compressed data request 211c from the storage device 102, and requests source candidate reading means (Unit) Send to 2112.
  • Candidate reading means (unit) 2112 outputs received primary compressed data 113a to primary decoding means (unit) 2113 as primary compressed data 21 Id.
  • the primary decoding means (unit) 211 3 decodes the primary compressed data 21 Id and outputs it to the candidate display means (unit) 2114 as the primary decoded data 21 le.
  • Candidate display means (unit) 2114 displays a three-dimensional image of the reference object represented by primary decoded data 211e on display device 206.
  • the user of the client device 200 can confirm the shape of the reference object determined to be similar to the collation target object! /. If the desired collation result is not obtained, the user returns to the collation data transmission means (unit) 2111 to change or modify the metadata, or to select the image data to be collated. It is possible to perform collation again by changing it.
  • the collation processing for the image data to be collated is performed using the original high-precision three-dimensional data obtained by decoding the secondary compressed data.
  • the collation result can be displayed at a high speed with a small data transfer amount. Therefore, the user can quickly determine the collation result and redo the collation, and finally obtain an accurate collation result at high speed.
  • the image data input from the image input device 205 is the verification target data.
  • the three-dimensional data input from the three-dimensional data input device 204 may be the verification target data. Data including both image data and 3D data may be used as data to be verified.
  • the collation result list is transmitted from the server apparatus 100 to the client apparatus 200, and the primary compressed data request specifying the data name in the collation result list is transmitted from the client apparatus 200 to the server apparatus 100.
  • the primary compressed data of the candidate reference object is transmitted from the server device 100 to the client device 200.
  • the verification result list is sent, the primary compressed data of the candidate reference object included in it is sent at the same time. May be sent from the server device 100 to the client device 200.
  • the force that the registration unit 111 for compressing and registering the three-dimensional data of the reference object in the storage device 102 is provided in the server device 100.
  • the compressed data generated by another computer is input to the storage device 102.
  • the registration unit 111 and the three-dimensional data input device 104 can be omitted from the server device 100.
  • the primary compression method in this example is suitable for compressing and storing a large number of data with similar structures, such as three-dimensional data of various human faces.
  • the primary compression means (unit) 1111 to which the primary compression method is applied is composed of corresponding point determination means (unit 111A and coefficient calculation means (unit) 1111B. Further, as data for use in primary compression, The reference three-dimensional data 102A and the base three-dimensional data group 102B are stored in the storage device 102.
  • a combination coefficient for synthesizing certain 3D data by linearly combining a plurality of 3D data is used as the compressed data of the 3D data. Vertices must be associated with multiple 3D data and 3D data to be combined.
  • the reference three-dimensional data 102A stored in the storage device 102 is three-dimensional data serving as a reference for determining such a vertex correspondence.
  • the base 3D data group 102B corresponds to a plurality of 3D data used for synthesis. Individual 3D data is based on the 3D data itself created by associating the vertices of the 3D data of a certain object with the vertices of the reference 3D data 102A, or many objects created in this way. This is the base data obtained from the 3D data by calculation such as principal component analysis.
  • Corresponding point determination means (unit) 1111A of the primary compression means (unit) 1111 is the synthesis target 3D data 1111C in which the vertex of the reference 3D data 102A is associated with the vertex of the input 3D data 11 la Create
  • the coefficient calculation means (unit) 1111B calculates a coupling coefficient for combining the plurality of base 3D data included in the base 3D data group 102B and combining the target 3D data 1 111C.
  • the calculated coupling coefficient is output as primary compression data 11 lb of 3D data 1 1 la.
  • 3D data 11 la is polygon data having 3D coordinates and brightness values of texture (surface color) images for each vertex.
  • the number of vertices is 100,000
  • 3D coordinates Assume that each xyz value is represented by a 16-bit floating point, and each texture luminance value rgb value is represented by an 8-bit integer.
  • the amount of data of the three-dimensional data 11 la is 100000 X (3 X 2 + 3 XI) bytes, that is, about 900 kilobytes.
  • Corresponding point determination means (unit) 1111 A first reads out the reference three-dimensional data 102 A serving as a reference for determining the correspondence relationship between vertices from the storage device 102.
  • the reference 3D data 102A has 90,000 vertices, the same unit as the 3D data 11 la, [mm], the 3D coordinates are represented by three 16-bit floating points, and the texture luminance value Is represented by three 8-bit integer luminance values (0 to 255) of rgb. If the 3D coordinate of the i-th vertex of the reference 3D data 102A is (X, y, z) and the texture luminance value is (r, g, b), the reference 3D data 102A has 3D shape and texture image respectively. Is expressed as one vector data in which the coordinate value and luminance value of each vertex are arranged as follows.
  • the corresponding point determining means (unit) 1111A determines the vertex of the three-dimensional data 11la corresponding to each vertex of the reference three-dimensional data 102A.
  • Various methods can be applied to this, but as an example, a method of searching for a vertex having the closest 3D coordinate and texture luminance value can be used.
  • the 3D coordinate of the j-th vertex of 3D data 11 la is (X t )
  • the synthesis target 3D data 1111C which is the 3D data 11 la for which the corresponding points have been determined, is one vector data in which the coordinate values or luminance values of the vertices are arranged for each of the 3D shape data and the texture image data. Represented as: That is, if the vertex of the 3D data 11 la corresponding to the vertex i of the reference 3D data 102A is j (i), the shape and texture of the synthesis target 3D data 1 111C are represented by the following vectors S and T, respectively.
  • T [r, g, b, r, g, b,
  • the coefficient calculation means (unit) 1111B reads from the storage device 102 the basis three-dimensional data group 102B, which is a three-dimensional data group of a sufficient number of objects that have been determined.
  • the basic three-dimensional data group 102B may be any of the following types.
  • 3D data type A type in which all 3D data of the basic 3D data group 102B uses the 3D data of the human face itself.
  • Basis data type All the basis 3D data that make up the basis 3D data group 102B A type that is the basis data obtained by calculating the 3D data force of many human faces collected. As an example of this, average 3D data and basic data obtained by principal component analysis can be used.
  • a part of the basis 3D data composing the basis 3D data group 102B is the basis data obtained by calculating the 3D data force of the faces of many people, and the remaining basis 3D A type in which the data is 3D data of a person's face.
  • the base 3D data group 102B has already been subjected to the corresponding point determination process similar to that for the 3D data 11 la.
  • the base 3D data group 102B uses a 3D data type.
  • the 3D shape and texture are represented by vectors, and the vertex corresponding to the vertex j of the reference 3D data 102A is j (0, the 3D shape of the kth base 3D data.
  • S and texture T are expressed as follows.
  • the coefficient calculation means (unit) 1111B calculates coefficients for synthesizing the synthesis target 3D data 1111C using the base 3D data group 102B.
  • the linear least squares method of the following equation is used, and n coefficients each describing the shape and texture of the 3D data 1111C to be synthesized ⁇ a ⁇ , ⁇ a sk
  • the coefficient calculation means (unit) 1111B outputs the calculated coefficient data ⁇ a ⁇ , ⁇ a ⁇ as the primary compressed data 111b of the tertiary sk tk original data 111a.
  • the primary decoding means (unit) 1112 for decoding the primary compressed data 111b generated by the primary compression means (unit) 1111 will be described.
  • the primary decoding means (unit) 2113 on the client device side has the same configuration as the primary decoding means (unit) 1112.
  • primary decoding means (unit) 1112 inputs primary compressed data 11 lb, and base 3D data group 102B used at the time of compression is indicated by primary compressed data 11 lb. It generates 3D data that is combined with the combination coefficient and outputs it as primary decoded data 111c.
  • the vectors S 'and T' representing the 3D shape and texture of the 3D data to be calculated are
  • coefficient data for restoring the 3D data 11 la using the basis 3D data group 102B is used as the primary compressed data of the 3D data 11 la.
  • the coefficient data is much smaller than the 3D data, so a high compression ratio can be achieved.
  • the 3D data 11 la is 900 kilobytes, while the coefficient data (primary compressed data) is only 400 bytes.
  • the restored 3D data (primary restored data) is calculated by combining the basis 3D data group 102B, and the number of vertices is the basis 3D data group 10 2B Therefore, even though an extremely high compression ratio is achieved, there is little degradation in resolution due to a decrease in the number of vertices due to data compression and restoration.
  • the 3D data before compression has 100,000 vertices and the 3D data to be compressed has 90,000 vertices, so the restored 3D data has 90,000 vertices.
  • the numerical values such as the number of vertices of input 3D data, the number of base 3D data, the number of vertices of reference 3D data, the number of shape data and luminance data, and the number of bits used here It is an example and it goes without saying that various changes can be made.
  • the data after the primary compression can be compressed by using a method such as a run-length code or a Noffman code. In this case, at the time of primary decoding, first, compression such as run length coding or Huffman coding is decoded.
  • the residual calculation means (unit) 1113 uses the corresponding vertex restoration data determined in the corresponding point determination processing (formulas (1), (2 ), And the difference between the original 3D data vertex data.
  • This processing is performed for all vertices, and the Q distribution falls within the range of -90 ⁇ s ⁇ 90, -9 0 ⁇ t ⁇ 90.
  • s, t is quantized from -90 to 90 at intervals of 5 degrees, and all the vertices corresponding to the same two-dimensional quantized coordinate (s, t) are collected, and the average three-dimensional coordinate (X, y, ⁇ ) and average texture luminance value (R, G, ⁇ ), and one representative point Q (51,
  • the primary decoding means (unit) 1112 and the primary decoding means (unit) 2113 the run-length code After decoding the compression such as Koffman code, the above example outputs 3D data with 1369 vertex data as the primary restoration data.
  • the residual calculation means (unit) 1113 calculates the primary residual data 11 Id as follows. First, for each vertex P of the original 3D data 11 la
  • First order residual data 11 Id vertex R 3D coordinates are the difference between 3D coordinates of Q and P, R text
  • the cheer luminance value is the difference between the Q and P texture luminance values.
  • the three-dimensional coordinates and texture luminance values of the residual data are residual data
  • a compression method using the fact that the value range of each element takes a narrow value can also be used.
  • the range of ⁇ 10 cm is measured by a 3D shape measurement device for each of the 3D data forces 3 ⁇ 4, y, z, and the measurement accuracy of 3D shape measurement is O.lmm.
  • the data type x, y, z values require 2000 steps, that is, a quantization bit number of 11 bits or more.
  • the number of quantum steps required to restore the original data with O. lmm accuracy is 20 steps. Five bits are fine. That is, secondary compressed data can be compressed to less than half of 3D data.
  • a reversible compression method such as a run-length code or a Norman code may be used.
  • the three-dimensional data processing system according to the second embodiment of the present invention is further improved in that the processing device 101 of the server device 100 is more secondary than the first embodiment of FIG.
  • the compressed data transmission unit 114 is provided, and the processing device 201 of the client device 200 is different in that a verification request unit 212 is provided instead of the verification request unit 211.
  • collation request unit 212 is different from collation request unit 211 shown in FIG. 4 in that it further includes secondary decoding means (unit) 2121.
  • This secondary decoding means (unit) 2121 selects the selected data name when the user selects a data name in the collation result list displayed on the display device 206 and requests acquisition of high-definition data.
  • the secondary compressed data request 212a is transmitted to the secondary compressed data transmission unit 114 of the server apparatus 100 via the network 300, and the residual data obtained by decoding the secondary compressed data returned as a response to the secondary compressed data transmitting unit 114 Unit) It has a function to restore the original 3D data from the corresponding primary decoded data decoded in 2113.
  • the three-dimensional data decoded by the secondary decoding means (unit) 2121 is stored in the storage device 202, for example.
  • the secondary compressed data transmitting unit 114 Upon receiving the secondary compressed data request 212a, the secondary compressed data transmitting unit 114 receives the secondary compressed data 114a of the reference object having the data name from the storage device 102 using the data name included therein as a key. Read and send function to requester via network 300
  • 3D data of the object to be collated or data to be collated which is image data, is transmitted from the client device 200 to the server device 100, and the server device 100 stores the storage device 102 for each of the stored reference objects 3
  • the operations up to displaying high-similarity! 3D data of the top several reference objects as candidate data on the display device 206 of the client device 200 are compared with the first embodiment. The same.
  • the user sends data to the secondary decoding means (unit) 2121. Request acquisition by name.
  • the secondary decoding means (unit) 2121 transmits a secondary compressed data request 2 12a including the designated data name to the secondary compressed data transmission unit 114 of the server apparatus 100 via the network 300.
  • the secondary compressed data transmission unit 114 receives the secondary compressed data request 212a, reads out the secondary compressed data 114a of the reference object having the data name from the storage device 102 using the data name contained therein as a key, and 2 Next decoding means (unit) Transmits to 2121.
  • the secondary decoding unit (unit) 2121 is the original three-dimensional from the residual data obtained by decoding the received secondary compressed data and the corresponding primary decoded data decoded by the primary decoding unit (unit) 2113. The data is restored and stored in the storage device 202, for example.
  • the same effect as in the first embodiment can be obtained, and the secondary compressed data of only the selected candidate among the candidates included in the matching result can be obtained from the server device. Therefore, the original high-definition 3D data is restored and the amount of data transfer can be reduced compared to the case of sending all candidate secondary compressed data.
  • the three-dimensional data processing system according to the third embodiment of the present invention is further verified by the processing device 201 of the client device 200 as compared with the second embodiment of FIG. It is different in that the unit 213 is provided.
  • the verification unit 213 receives the three-dimensional data restored from the secondary decoding means (unit) 212 1 of the verification request unit 212 and verifies from the verification data transmission means (unit) 21 11.
  • the target data is received and a verification process is performed to check whether they match.
  • a method called the superimpose method can be used.
  • the verification target data is an image, and the verification unit 112 uses the object verification method described in Patent Document 1 as the verification method.
  • the verification unit 213 displays an image that is data to be collated on the screen of the display device 206.
  • the image is generated as a comparative image as close as possible to the posture, and is displayed on the screen of the display device 206.
  • data such as the posture of the object and the illumination conditions are necessary.
  • the verification unit 213 can obtain the data for generating the comparison image by including these data in the collation result list and outputting them. This is just an example.
  • various methods such as the user correcting the posture in a timely manner or calculating the posture so that those parts match by specifying the characteristic parts of the object.
  • the user can determine whether or not the collation result is correct by visually comparing the comparison image generated by the above method and the input data image. If the determination is not correct, it is possible to return to the processing of the secondary decoding means (unit) 2121, specify another candidate, and perform verification again. It is also possible to return to the processing of the collation data transmission means (unit) 2111, correct or change the input data, and redo so as to obtain a correct collation result.
  • the same effect as in the second embodiment can be obtained, and the user can verify the matching result using accurate three-dimensional data. It is possible to obtain the verification result.
  • the present invention is not limited to the above examples, and various other additions and modifications can be made.
  • the present invention can be realized by a computer and a program as well as realizing the functions possessed by the computer in a single-duration manner.
  • the program is provided by being recorded on a computer-readable recording medium such as a magnetic disk or a semiconductor memory.
  • the program is read by the computer when the computer is started up and the computer is controlled by controlling the operation of the computer.
  • the server device or the client device in each of the embodiments is made to function.

Abstract

　照合処理を精度良く行うことができ、然も候補データの提示に必要なデータ量を大幅に削減できる３次元データ処理システムを提供する。記憶装置１０２は、３次元データを非可逆圧縮方式で圧縮した１次圧縮データと、１次圧縮データから復元した３次元データと元の３次元データとの誤差を補填するための２次圧縮データとの組で各基準物体の３次元データを記憶する。クライアント装置２００から照合対象となる物体の３次元データまたは画像データである照合対象データを受信すると、サーバ装置１００は、各基準物体の１次圧縮データおよび２次圧縮データから復号した３次元データと照合対象データとを照合し、類似度の高い上位幾つかの基準物体の１次圧縮データをクライアント装置２００に送信する。クライアント装置２００は、１次圧縮データを復号して表示装置２０６に表示する。

Description

明 細 書
3次元データ処理システム
技術分野
[0001] 本発明は、照合対象となる物体の 3次元データや画像データを基準物体の 3次元 データと照合することにより画像認識や物体認識を行う 3次元データ処理システムに 関する。
背景技術
[0002] 近年、 3次元物体の形状計測技術の進展により、幾何学的でない複雑かつ自由形 状の物体の高精度な 3次元データ（以下、 3Dデータとも称す）が得られるようになり、 人体の形状などを計測した 3Dデータがグラフィクス生成や画像認識システムなど様 々な分野で活用されはじめている。それにともない、大量の 3Dデータを蓄積し、必要 に応じて呼び出す記憶システムや、所望のデータを迅速に探し出すための検索シス テム、記憶されている 3Dデータ群と照合し、物体認識を行うシステムなど各種の 3次 元データ処理システムが提案ないし実用化されている。例えば、特許文献 1には、照 合対象の画像データを記憶装置に事前に登録された基準物体の 3Dデータと照合 する物体照合装置が記載されて 、る。
[0003] 立方体や円筒などの幾何学形状の組み合わせでは記述できない、例えば人体な ど複雑な 3次元物体の形状は、通常、物体表面を細力べ分割したポリゴンと呼ばれる 3角形や 4角形の小平面の集合として表現され、その各頂点の 3次元空間での座標 値を並べたデータで記述される。そして、物体表面の色情報 (テクスチャ）は、各ポリ ゴンの頂点の色として輝度値で表わされる。典型的な 3Dデータの表現の一例として 、地球の表面に緯度と経度が決まっているように、物体表面に 2次元の座標系 (s,t)を 定義し、その座標を適当な間隔で量子化した地点をポリゴン頂点とし、その 3次元座 標と色 (r,g,b輝度値)をデータとして記憶する方法がある。たとえば図 11のように、物 体の重心力 頂点を結んだ直線を延ばし、物体を囲む球体表面との交点 Qを求め、 その緯度と経度 (s,t)を計算する。この (s,t)を適当な間隔で量子化し、対応するポリゴ ン頂点の (x,y,z)座標と色情報 (r,g,b)を記憶する。この方法によれば、一つの物体の 3 次元形状と表面の色情報は、各画素が (X,y,z,r,g,b)の 6つの要素を持つ画像として考 えることができる。 3次元座標は輝度値よりも値域が広いため、 3次元データは同レべ ルの解像度の輝度画像に比べて数倍のデータ量となる。例えば 30cm X 30cmの表 面積を lmm間隔で量子化すると、解像度 300 X 300 = 9万点の頂点データとなり、 x, y,zを各 2バイト、 r,g,bを各 1バイトデータで記述しても 800キロバイトを超えるデータ量 となる。
[0004] このように 3次元データは画像データに比べて一般にデータ量が多くなるため、そ のサイズを削減するためにデータ圧縮が利用される。一般にデータ圧縮手法には、 圧縮データ力 元のデータを正しく復元できるが圧縮率はそれほど高くない可逆圧 縮方式と、復元精度は低いが高い圧縮率を実現できる非可逆圧縮方式との 2種類が あり、ポリゴンゃサーフェス表現された 3Dデータのデータ量を削減するために両方式 とも種々の方法が提案ないし実用化されている。例えば可逆圧縮技術としては、特許 文献 2に記載の技術がある。同技術では、隣接する複数の頂点をグループィ匕して代 表点を定め、その代表点力 の差分が小さ 、ことを利用してビット数の少な 、データ 型によって記述し、データ量を削減する。
また非可逆圧縮の技術としては、例えば非特許文献 1に記載されるように、隣接した ポリゴンの平均のポリゴンからの距離が短い頂点から順に、指定された間引き率に達 するまで頂点を消去して 、く方法が提案されて 、る。
[0005] 他方、非可逆圧縮方式の利点である高圧縮率と可逆圧縮方式の利点である高精 度との双方の利点を兼ね備えたデータ圧縮手法が、特許文献 3または特許文献 4に 記載されている。この技術では、元のデータを非可逆圧縮方式で圧縮したデータを 1 次圧縮データとし、この 1次圧縮データ力 復元したデータと元のデータとの差分を 可逆圧縮方式で圧縮したデータを 2次圧縮データとし、 1次圧縮データと 2次圧縮デ 一タの組を元のデータの圧縮データとする。この圧縮方式を以下、ハイブリッド圧縮 方式と呼ぶ。
[0006] このようなハイブリッド圧縮方式をデータ処理に適用した従来技術として、特許文献 5に記載されるデータ処理システムがある。同システムでは、圧縮データに対する検 索は、 1次圧縮データに対して行い、検索結果のユーザへの提示は、 1次圧縮デー タと 2次圧縮データとから復号したデータで行う（同文献の 64段落参照)。
[0007] 特許文献 1 :特開 2002— 157595号公報
特許文献 2 :特開 2002— 8060号公報
特許文献 3：特開昭 63—45684号公報
特許文献 4：特開平 10— 290460号公報
特許文献 5：特開平 10— 285407号公報
特干文献 1： Decimation of Triangle Meshes, Computer Graphics, 26, 2, July 1992, p65-70.
発明の開示
発明が解決しょうとする課題
[0008] 上掲各文献の開示事項は引用をもって本書に組み込み記載されるものとする。
今、図 12に示すように、クライアント装置 200とサーバ装置 100とがネットワーク 300 を介して接続されており、照合対象となる物体の 3Dデータをクライアント装置 200か らサーバ装置 100へ送信し、サーバ装置 100が記憶装置 102に記憶された各基準 物体の 3Dデータと照合し、類似度の高い上位幾つかの基準物体の 3Dデータを候 補データとしてクライアント装置 200の表示装置 206に表示するようなデータ処理シ ステムを考える。また、記憶装置 102に基準物体の 3Dデータをそのまま記憶すると 必要な記憶容量が嵩むため、圧縮データの形式で記憶するものとする。このとき、各 圧縮方式によって次のような問題が生じる。
[0009] まず非可逆圧縮方式を使用した場合、高い圧縮率が得られるために記憶装置 102 に必要な記憶容量は少なくて済む力 元の基準物体の 3Dデータを正確に復元でき ないため、照合対象物体の 3Dデータとの照合精度が低下する。
[0010] 次に可逆圧縮方式を使用した場合、元の基準物体の 3Dデータを正確に復元でき るため照合対象物体の照合精度は高まるが、圧縮率が低いために記憶装置 102に 必要な記憶容量が多くなる。また、類似度の高い上位幾つかの基準物体の 3Dデー タを候補データとしてサーバ装置 100からクライアント装置 200へ送信する際、圧縮 データの状態で送るにしても非可逆圧縮方式の場合よりは送信データ量が多くなり、 送信に時間がかかる。このため、クライアント装置 200の表示装置 206に候補データ が表示されるまでの時間が長くなる等、その後の処理にも影響が出る。
[0011] 最後にハイブリッド圧縮方式を使用した場合、 1次圧縮データおよび 2次圧縮デー タによって元の基準物体の 3Dデータが正確に復元できるため照合精度が高ぐまた 圧縮率も比較的高いため、記憶装置 102に必要な記憶容量が少なくて済み、かつサ ーバ装置 100からクライアント装置 200へ候補データを送信する際の送信データ量 も少なくなる。
ノ、イブリツド圧縮方式の手法によっても相違するが、例えば、 1次圧縮データが元の 3 Dデータの 1/10、 2次圧縮データが元の 3Dデータの 1/2とすると、全体では 6/10にな るので、 3Dデータで記憶、送信する場合に比べて、記憶容量および送信データを 6/ 10に削減することができる。しかしながら、元の 3Dデータが高精細なものであれば 1 Mバイト以上の容量になるため、 6/10に圧縮されたデータであっても、かなりのデー タ送信量になる。
[0012] なお、ハイブリッド圧縮方式をデータ処理に適用した特許文献 5に記載されるデー タ処理システムでは、圧縮データに対する検索は 1次圧縮データに対して行い、検 索結果のユーザへの提示は 1次圧縮データと 2次圧縮データとから復号したデータ で行っているため、これを図 12のデータ処理システムに適用した場合には、照合対 象物体との照合を 1次圧縮データで行!、、候補データの提示は 1次圧縮データと 2次 圧縮データとから復号したデータで行うことになる。したがって、非可逆圧縮方式の 場合と同様に照合対象物体との照合精度が低下する。また、候補データの提示も 1 次圧縮データと 2次圧縮データとから復号したデータで行うため、それなりのデータ 送信量が必要となる。
[0013] 本発明はこのような事情に鑑みて提案されたものであり、その目的は、照合処理を 精度良く行うことができ、然も候補データの提示に必要なデータ量を大幅に削減でき る 3次元データ処理システムを提供することにある。
課題を解決するための手段
[0014] 本発明の 3次元データ処理システムは、 3次元データを非可逆圧縮方式で圧縮し た 1次圧縮データ、および該 1次圧縮データから復元した 3次元データと元の 3次元 データとの誤差を補填するための 2次圧縮データの組で各基準物体の 3次元データ を記憶する記憶装置と、照合対象となる物体の 3次元データまたは画像データである 照合対象データと各基準物体の 1次圧縮データおよび 2次圧縮データから復号した 3次元データとを照合する照合手段 (ユニット)と、照合結果に含まれる類似度の高!、 上位幾つかの基準物体の 1次圧縮データを復号して表示装置に表示する候補表示 手段 (ユニット)とを備えることを特徴とする。
[0015] 本発明の 3次元データ処理システムにおいて、 2次圧縮データは、前記 1次圧縮デ 一タカ 復元した 3次元データと元の 3次元データとの差分を圧縮したデータであつ てもよい。
[0016] 本発明の 3次元データ処理システムにおいて、ネットワークを通じて相互に接続さ れたサーバ装置とクライアント装置とを備え、サーバ装置に記憶装置および照合手段 (ユニット)を備え、クライアント装置に候補表示手段 (ユニット)を備えるようにしてもよ い。
[0017] 本発明の 3次元データ処理システムにおいて、非可逆圧縮方式として、複数の基 底 3次元データを線形結合して或る 3次元データを合成するための結合係数を当該 或る 3次元データの圧縮データとする圧縮方式を使用するようにしてもよい。
[0018] 本発明の 3次元データ処理システムにおいて、クライアント装置に、ユーザから要求 された基準物体の 2次圧縮データをサーバ装置力 取得して当該基準物体の 1次圧 縮データを復号した 3次元データに加えることにより高精細な 3次元データを生成す る 2次復号手段 (ユニット）を備えるようにしてもよい。
[0019] 本発明の 3次元データ処理システムにおいて、クライアント装置に、照合対象デー タと 2次復号手段 (ユニット)で生成された 3次元データとがー致する力否かを検証す るための検証手段 (ユニット）を備えるようにしてもょ 、。
[0020] 本発明の 3次元データ処理方法は、クライアント装置が、照合対象となる物体の 3次 元データまたは画像データである照合対象データをネットワーク経由でサーバ装置 へ送信する第 1の処理と、サーバ装置が、 3次元データを非可逆圧縮方式で圧縮し た 1次圧縮データ、および該 1次圧縮データから復元した 3次元データと元の 3次元 データとの誤差を補填するための 2次圧縮データの組で各基準物体の 3次元データ を記憶する記憶装置から各基準物体の 1次圧縮データおよび 2次圧縮データを読み 出して復号した各基準物体の 3次元データと照合対象データとを照合し、類似度の 高い上位幾つかの基準物体の 1次圧縮データをネットワーク経由でクライアント装置 へ送信する第 2の処理と、クライアント装置が、受信した 1次圧縮データを復号して表 示装置に表示する第 3の処理とを含むことを特徴とする。
[0021] 本発明の 3次元データ処理方法において、 2次圧縮データは、前記 1次圧縮データ 力 復元した 3次元データと元の 3次元データとの差分を圧縮したデータであってもよ い。
[0022] 本発明の 3次元データ処理方法にお 、て、非可逆圧縮方式として、複数の基底 3 次元データを線形結合して或る 3次元データを合成するための結合係数を当該或る 3次元データの圧縮データとする圧縮方式を使用するようにしてもょ ヽ。
[0023] 本発明のサーバ装置は、 3次元データを非可逆圧縮方式で圧縮した 1次圧縮デー タ、および該 1次圧縮データから復元した 3次元データと元の 3次元データとの誤差 を補填するための 2次圧縮データの組で各基準物体の 3次元データを記憶する記憶 装置と、照合対象となる物体の 3次元データまたは画像データである照合対象デー タをネットワーク経由でクライアント装置力 受信し、該受信した照合対象データと、 各基準物体の 1次圧縮データおよび 2次圧縮データから復号した 3次元データとを照 合し、類似度の高い上位幾つかの基準物体の 1次圧縮データをネットワーク経由でク ライアント装置へ送信する処理装置とを備えることを特徴とする。
[0024] 本発明のサーバ装置において、 2次圧縮データは、前記 1次圧縮データから復元し た 3次元データと元の 3次元データとの差分を圧縮したデータであってもよい。
[0025] 本発明のクライアント装置は、照合対象となる物体の 3次元データまたは画像デー タである照合対象データを含む照合要求をネットワーク経由でサーバ装置へ送信し 、照合対象データに類似する基準物体の 3次元データを非可逆圧縮方式で圧縮し た 1次圧縮データをサーバ装置から受信して復号し表示装置に表示する照合要求 手段 (ユニット)を備えることを特徴とする。
[0026] 本発明のクライアント装置において、基準物体の 2次圧縮データをサーバ装置から 取得して基準物体の 1次圧縮データを復号した 3次元データに加えることにより高精 細な 3次元データを生成する 2次復号手段 (ユニット）をさらに備えるようにしてもよ!、。 [0027] 本発明のクライアント装置にぉ 、て、照合対象データと 2次復号手段 (ユニット)で生 成された 3次元データとがー致するか否かを検証するための検証手段 (ユニット）をさ らに備えるようにしてもよい。
[0028] 本発明のプログラムは、 3次元データを非可逆圧縮方式で圧縮した 1次圧縮データ 、および該 1次圧縮データから復元した 3次元データと元の 3次元データとの誤差を 補填するための 2次圧縮データの組で各基準物体の 3次元データを記憶する記憶装 置を備えたコンピュータを、照合対象となる物体の 3次元データまたは画像データで ある照合対象データをネットワーク経由でクライアント装置力も受信する手段 (ユニット )、該受信した照合対象データと、各基準物体の 1次圧縮データおよび 2次圧縮デー タから復号した 3次元データとを照合する手段 (ユニット）、類似度の高 、上位幾つか の基準物体の 1次圧縮データをネットワーク経由でクライアント装置へ送信する手段（ ユニット）、として機能させる。
[0029] 本発明のプログラムにおいて、 2次圧縮データは、前記 1次圧縮データから復元し た 3次元データと元の 3次元データとの差分を圧縮したデータであってもよい。
[0030] 本発明のプログラムは、コンピュータを、照合対象となる物体の 3次元データまたは 画像データである照合対象データを含む照合要求をネットワーク経由でサーバ装置 へ送信する手段 (ユニット）、照合対象データに類似する基準物体の 3次元データを 非可逆圧縮方式で圧縮した 1次圧縮データをサーバ装置から受信して復号し表示 装置に表示する手段 (ユニット)、として機能させる。
[0031] 本発明のプログラムにおいて、基準物体の 2次圧縮データをサーバ装置力 取得し て基準物体の 1次圧縮データを復号した 3次元データに加えることにより高精細な 3 次元データを生成する 2次復号手段 (ユニット）、としてさらに機能させるようにしてもよ い。
[0032] 本発明のプログラムにお 、て、照合対象データと 2次復号手段 (ユニット)で生成さ れた 3次元データとがー致する力否かを検証するための検証手段 (ユニット）、として さらに機能させるようにしてもょ 、。
[0033] なお、従来の技術 (ハイブリッド圧縮方式）における 2次圧縮データは、 1次圧縮デ 一タカ 復元した 3次元データと元の 3次元データとの差分を圧縮したデータである 力 本発明における 2次圧縮データは前記差分に限らず、別途計算されるデータで あってもよい。
[0034] 『作用』
本発明にあっては、基準物体の 3次元データがハイブリッド圧縮方式で圧縮されて 記憶装置に記憶されており、照合対象となる物体の照合対象データとの照合は 1次 圧縮データおよび 2次圧縮データ力 復元した 3次元データを用いて行うことで照合 精度を高め、候補データの提示は 1次圧縮データのみから復元した 3次元データで 行うことにより候補データの提示に必要なデータ量を大幅に削減するように作用する 発明の効果
[0035] 本発明によれば、照合対象データを各基準物体の 3次元データと照合し、類似度 の高い上位幾つかの基準物体の 3次元データを候補データとしてユーザに提示する データ処理システムにおける照合精度を高めることができると同時に、候補データの 提示に必要なデータ量を大幅に削減することができる。その理由は、照合対象デー タとの照合は 1次圧縮データおよび 2次圧縮データから復元した 3次元データで行い 、候補データの提示は 1次圧縮データのみ力も復元した 3次元データで行うからであ る。
[0036] また表示装置上の表示については、一般に或る程度以上の画質であれば多少画 質が劣化しても人は気付きにくい傾向があるため、 1次圧縮データのみから復元した 候補データを表示しても、 1次圧縮データおよび 2次圧縮データから復元した候補デ ータを表示する場合に比べて、利用者に特に不快な印象を与えることはな 、。
図面の簡単な説明
[0037] [図 1]本発明の第 1の実施の形態に力かる 3次元データ処理システムのブロック図で ある。
[図 2]本発明の第 1の実施の形態に力かる 3次元データ処理システムにおける登録部 の構成例を示すブロック図である。
[図 3]本発明の第 1の実施の形態に力かる 3次元データ処理システムにおける基準物 体の圧縮データの格納形式の一例を示す図である。 [図 4]本発明の第 1の実施の形態に力かる 3次元データ処理システムにおける照合関 連部分の構成例を示すブロック図である。
[図 5]本発明の第 1の実施の形態に力かる 3次元データ処理システムにおける 1次圧 縮手段 (ユニット）の構成例を示すブロック図である。
[図 6]本発明の第 1の実施の形態に力かる 3次元データ処理システムにおける 1次復 号手段 (ユニット）の構成例を示すブロック図である。
[図 7]本発明の第 2の実施の形態に力かる 3次元データ処理システムのブロック図で ある。
[図 8]本発明の第 2の実施の形態に力かる 3次元データ処理システムにおける照合関 連部分の構成例を示すブロック図である。
[図 9]本発明の第 3の実施の形態に力かる 3次元データ処理システムのブロック図で ある。
[図 10]本発明の第 3の実施の形態に力かる 3次元データ処理システムにおける照合 関連部分の構成例を示すブロック図である。
[図 11]3次元データの記述方法の一例の説明図である。
[図 12]従来の課題の説明図である。
符号の説明
100· ··サーバ装置
101· ··処理装置
102· "記憶装置
103· "通信装置
111· ··登録部
112· ··照合部
113· ••1次圧縮データ送信部
114· ••2次圧縮データ送信部
200· '·クライアント装置
201· ··処理装置
202· "記憶装置 203…通信装置
204· -3次元データ入力装置
205…画像入力装置
206…表示装置
207…入力装置
211、 212· ··照合要求部
213· ··検証部
発明を実施するための最良の形態
[0039] 次に本発明を実施するための最良の形態について図面を参照して詳細に説明す る。
[0040] 『第 1の実施の形態』
図 1を参照すると、本発明の第 1の実施の形態に力かる 3次元データ処理システム は、サーバ装置 100とクライアント装置 200とがネットワーク 300を通じて相互に通信 可能に接続されている。
[0041] サーバ装置 100は、処理装置 101と、これに接続された記憶装置 102、通信装置 1
03および 3次元データ入力装置 104と力も構成される。
[0042] 記憶装置 102は、磁気ディスク装置などで構成され、プログラムおよび各種のデー タを記憶する。記憶されるデータには、ハイブリッド圧縮方式で圧縮された各基準物 体の 3次元データが含まれる。
[0043] 通信装置 103は、ネットワークインタフェースカード (NIC)などで構成され、ネットヮ ーク 300を介してクライアント装置 200とデータの送受信を行う。
[0044] 3次元データ入力装置 104は、図示しない他のコンピュータや記憶媒体力 基準物 体の 3次元データを読み込む装置や、基準物体の 3次元データを計測する装置など で構成される。
[0045] 処理装置 101は、プログラム制御により動作するコンピュータの中央処理装置など で構成され、サーバ装置 100の主たる制御を行う。本実施の形態の場合、処理装置 101は、登録部 111、照合部 112および 1次圧縮データ送信部 113を有する。
[0046] 登録部 111は、 3次元データ入力装置 104から入力された基準物体の 3次元デー タをハイブリッド圧縮方式で圧縮し、記憶装置 102に登録する機能を持つ。
[0047] 照合部 112は、照合対象となる物体の 3次元データまたは画像データである照合 対象データを含む照合要求をネットワーク 300を介してクライアント装置 200から受け 付け、記憶装置 102に記憶された各基準物体の 3次元データと照合し、類似度の高 い上位幾つかの基準物体のリストを含む照合結果をクライアント装置 200に返却する 機能を持つ。
[0048] 1次圧縮データ送信部 113は、記憶装置 102に記憶された各基準物体の 1次圧縮 データのうち、ネットワーク 300経由でクライアント装置 200から要求されたデータを 記憶装置 102から読み出してクライアント装置 200へ送信する機能を持つ。
[0049] 他方、クライアント装置 200は、処理装置 201と、これに接続された記憶装置 202、 通信装置 203、 3次元データ入力装置 204、画像入力装置 205、表示装置 206およ び入力装置 207とから構成される。
[0050] 記憶装置 202は、磁気ディスク装置などで構成され、プログラムおよび各種のデー タを記憶する。
[0051] 通信装置 203は、ネットワークインタフェースカード (NIC)などで構成され、ネットヮ ーク 300を介してサーバ装置 100とデータの送受信を行う。
[0052] 3次元データ入力装置 204は、図示しない他のコンピュータや記憶媒体力 照合対 象物体の 3次元データを読み込む装置や、照合対象物体の 3次元データを計測する 装置などで構成される。
[0053] 画像入力装置 205は、図示しない他のコンピュータや記憶媒体から照合対象物体 が写って 1ヽる画像データを読み込む装置やスキャナ、照合対象物体の画像を撮影 するカメラなどで構成される。
[0054] 表示装置 206は、液晶ディスプレイ装置などで構成され、各種のデータをユーザに 提示する。
[0055] 入力装置 207は、キーボードやマウスなどで構成され、各種の指示やデータをユー ザ力 受け付ける。
[0056] 処理装置 201は、プログラム制御により動作するコンピュータの中央処理装置など で構成され、クライアント装置 200の主たる制御を行う。本実施の形態の場合、処理 装置 201は、照合要求部 211を有する。
[0057] 照合要求部 211は、 3次元データ入力装置 204から入力された照合対象となる物 体の 3次元データまたは画像入力装置 205から入力された照合対象となる物体の画 像データを照合対象データとして含む照合要求を、ネットワーク 300経由でサーバ装 置 100へ送信し、その要求に対する応答として、類似度の高い上位幾つかの基準物 体のリストを含む照合結果を受信した場合、この照合結果を表示装置 206に表示す る機能を持つ。また、照合結果に含まれるリスト中の何れかの基準物体が入力装置 2 07の操作によって利用者に選択されると、選択された基準物体の 1次圧縮データの 取得要求をネットワーク 300経由でサーバ装置 100へ送信し、その要求に対する応 答として 1次圧縮データを受信すると、それを復号した 3次元データを表示装置 206 に表示する機能を持つ。
[0058] 次に本実施の形態のより詳しい構成と動作を説明する。
[0059] まず、サーバ装置 100の記憶装置 102に各基準物体の 3次元データを圧縮して記 憶する機能を説明する。この機能は、サーバ装置 100の登録部 111により実現される
[0060] 図 2を参照すると、登録部 111は、一次圧縮手段 (ユニット） 1111、 1次復号手段（ ユニット） 1112、残差計算手段 (ユニット） 1113、 2次圧縮手段 (ユニット） 1114およ び出力手段 (ユニット） 1115から構成され、以下のように動作する。
[0061] 登録部 111は、 3次元データ入力装置 104から基準物体の 3次元データが入力さ れると、それを 1次圧縮手段 (ユニット） 1111と残差計算手段 (ユニット） 1113とに伝 達する。
[0062] 1次圧縮手段 (ユニット） 1111は、入力された 3次元データを予め定められた非可 逆圧縮方法でデータ圧縮し、 1次圧縮データ 11 lbとして 1次復号手段 (ユニット） 11 12および出力手段 (ユニット） 1115に出力する。
[0063] 1次復号手段 (ユニット） 1112は、 1次圧縮データ 11 lbを予め定められたデータ復 号方法により復号し、 1次復号データ 111cとして残差計算手段 (ユニット） 1113に出 力する。 1次圧縮データ 11 lbは非可逆圧縮方法により圧縮されたデータであるため 、それから復号した 1次復号データ 11 lcは元の 3次元データ 11 laと完全には一致し ない。
[0064] 残差計算手段（ユニット） 1113は、 1次復号データ 111cと元の 3次元データ 11 laと の差分である 1次残差データ 11 Idを計算し、 2次圧縮手段 (ユニット） 1114に出力す る。 1次残差データ 11 Idは、元の 3次元データ 11 laと同じ頂点数を持ち、その各頂 点の 3次元座標とテクスチャ輝度値は、元の 3次元データ 11 laと 1次復号後の対応 する頂点どうしの値の差分になる。
[0065] 2次圧縮手段 (ユニット） 1114は、 1次残差データ 11 Idを予め定められた可逆圧縮 方法によりデータ圧縮し、 2次圧縮データ 11 leとして出力手段 (ユニット） 1115に出 力する。
[0066] 出力手段（ユニット） 1115は、 1次圧縮データ 11 lbと 2次圧縮データ 1 l ieの組を、 元の 3次元データ 11 laの圧縮データ 11 Ifとして、名前を付けて記憶装置 102に記 憶する。このとき、個々の 3次元データを説明する属性データをメタデータとしてあわ せて記憶しても良い。図 3に圧縮データの格納形式の一例を示す。この例では表形 式で圧縮データを記憶しており、表の 1行が 1つの 3次元データに対応し、データ名と メタデータと 1次圧縮データと 2次圧縮データとが記憶されている。なお、圧縮データ の格納形式は図 3の例に限定されず、任意の方法を採用することが可能である。
[0067] 次に、照合対象となる物体の 3次元データまたは画像データである照合対象データ をクライアント装置 200からサーバ装置 100へ送信し、サーバ装置 100が記憶装置 1 02に記憶された各基準物体の 3次元データと照合し、類似度の高い上位幾つかの 基準物体の 3次元データを候補データとしてクライアント装置 200の表示装置 206〖こ 表示する機能を説明する。この機能は、サーバ装置 100の照合部 112および一次圧 縮データ送信部 113と、クライアント装置 200の照合要求部 211とで実現される。
[0068] 図 4を参照すると、クライアント装置 200の照合要求部 211は、照合データ送信手 段 (ユニット） 2111、候補読出手段 (ユニット） 2112、 1次復号手段 (ユニット） 2113お よび候補表示手段 (ユニット） 2114から構成され、サーバ装置 100の照合部 112は、 候補読出手段 (ユニット） 1121、 1次復号手段 (ユニット） 1122、 2次復号手段 (ュ- ット） 1123および類似度計算手段 (ユニット） 1124から構成される。
[0069] クライアント装置 100の照合要求部 211における照合データ送信手段 (ユニット） 21 11は、ユーザの操作により画像入力装置 205から照合対象物体の画像データ 21 la が入力されると、この画像データ 21 laを照合対象データとして含む照合要求 21 lb をサーバ装置 100の照合部 112へネットワーク 300経由で送信する。照合要求 21 lb には、照合対象データに加えて、基準物体を絞り込むためのメタデータが含まれてい ても良い。
[0070] サーバ装置 100の照合部 112は、照合要求 21 lbを受信すると、その旨を候補読 出手段 (ユニット） 1121に通知すると共に、照合要求 21 lbに含まれる照合対象デー タ 112aを類似度計算手段 (ユニット） 1124へ伝達する。また、照合要求 211bにメタ データが含まれていれば、それを候補読出手段 (ユニット） 1121へ伝達する。
[0071] 候補読出手段 (ユニット） 1121は、各基準物体のそれぞれについて、データ名およ び 1次圧縮データ 112bを記憶装置 102から読み出し、 1次復号手段 (ユニット） 112 2へ出力する。このとき、メタデータが与えられている場合には、与えられたメタデータ に合致するメタデータを持つ基準物体を記憶装置 102から検索し、合致する基準物 体についてのみデータ名および 1次圧縮データを読み出す。例えば、 3次元データ が人の顔の 3次元データであり、メタデータの一つが性別を表す場合、与えられたメ タデータが女性であれば、女性を示すメタデータを持つ基準物体につ!、てのみデー タ名および 1次圧縮データを読み出す。
[0072] 1次復号手段 (ユニット） 1122は、入力された 1次圧縮データ 112bのそれぞれを復 号し、入力されたデータ名を付けて 1次復号データ 112cとして 2次復号手段 (ュ -ッ ト） 1123へ出力する。
[0073] 2次復号手段（ユニット） 1123は、入力された 1次復号データ 112cのそれぞれにつ いて、付随するデータ名をキーに記憶装置 102から当該データ名を持つ基準物体の 2次圧縮データ 112dを読み出し、復号を行って 1次残差データを復元し、 1次復号 データ 112cに加算することにより、基準物体の 3次元データ 112eを復元する。復元 された各基準物体の 3次元データ 112eは、類似度計算手段 (ユニット） 1124へ出力 される。
[0074] 類似度計算手段 (ユニット） 1124は、照合対象データ 112aで与えられる照合対象 物体の画像データと 2次復号手段 (ユニット） 1123で復元された各基準物体の 3次元 データとを照合し、どの程度類似しているかを示す類似度を計算する。画像と 3次元 データとの照合技術は、従来より例えば特許文献 1などにおいて提案されているので 、その技術を使用することができる。そして、予め定められた閾値よりも高い類似度を 示した所定数の基準物体のデータ名を、類似度の高!、順に並べた照合結果リスト 11 2fを生成し、照合要求元のクライアント装置 200の照合要求部 211へネットワーク 30 0経由で送信する。なお、類似度の計算は、照合対象データに与えられたメタデータ を考慮しても良い。例えば、年齢が 30代であるというメタデータが入力された場合、メ タデータとして 30代の年齢である基準物体との類似度をより高く補正するなどの処理 を行っても良い。
[0075] クライアント装置 200の照合要求部 211は、照合結果リスト 112fを受信すると、それ を表示装置 206に表示すると共に候補読出手段 (ユニット） 2112へ伝達する。クライ アント装置 200のユーザは、表示装置 206に表示された照合結果リスト 112fにより、 照合対象物体の画像データ 21 laに類似する基準物体のデータ名をより類似するも のから順番に知ることができる。そして、それらの基準物体の 3次元データを表示装 置 206に表示して確認する場合、入力装置 207により照合結果リスト 112f中のデー タ名を選択して表示を要求する。この要求に応答して候補読出手段 (ユニット） 2112 は、選択されたデータ名を含む 1次圧縮データ要求 21 lcをネットワーク 300経由で サーバ装置 100の 1次圧縮データ送信部 113へ送信する。
[0076] サーバ装置 100の 1次圧縮データ送信部 113は、 1次圧縮データ要求 211cに含ま れるデータ名を持つ基準物体の 1次圧縮データ 113aを記憶装置 102から読み出し 、要求元の候補読出手段 (ユニット） 2112へ送信する。
[0077] 候補読出手段 (ユニット） 2112は、受信した 1次圧縮データ 113aを 1次復号手段（ ユニット） 2113へ 1次圧縮データ 21 Idとして出力する。 1次復号手段 (ユニット） 211 3は、この 1次圧縮データ 21 Idを復号し、 1次復号データ 21 leとして候補表示手段（ ユニット） 2114へ出力する。候補表示手段 (ユニット） 2114は、 1次復号データ 211e で表される基準物体の 3次元イメージを表示装置 206に表示する。これにより、クライ アント装置 200のユーザは、照合対象物体と類似して!/、ると判定された基準物体の 形状等を確認することができる。 [0078] なお、所望の照合結果が得られなかった場合、ユーザは、照合データ送信手段 (ュ ニット） 2111の処理に戻り、メタデータの変更や修正を行ったり、照合対象となる画像 データを変更するなどして、再度照合を行うことが可能である。
[0079] 以上のように本実施の形態によれば、照合対象となる画像データに対する照合処 理は 2次圧縮データを復号した元の高精度な 3次元データを用いて行われるので、 照合性能の低下はなぐまた、クライアント装置 200には、 1次圧縮データのみが伝送 されるので、データ転送量が少なぐ照合結果の表示を高速に行うことができる。この ため、ユーザが迅速に照合結果を判断して照合をやり直すことができ、最終的に正 確な照合結果を高速に得ることができる。
[0080] 以上の説明では、画像入力装置 205から入力された画像データを照合対象データ としたが、 3次元データ入力装置 204から入力された 3次元データを照合対象データ とすることもできるし、画像データと 3次元データの両者を含むデータを照合対象デ ータとしても良い。
[0081] また、照合結果リストをサーバ装置 100からクライアント装置 200へ送信し、照合結 果リスト中のデータ名を指定した 1次圧縮データ要求がクライアント装置 200からサー バ装置 100へ送信されてきた時点で、候補となる基準物体の 1次圧縮データをサー バ装置 100からクライアント装置 200へ送信するようにしたが、照合結果リストを送ると きに同時にそれに含まれる候補基準物体の 1次圧縮データをサーバ装置 100からク ライアント装置 200へ送信するようにしても良 、。
[0082] さらに、基準物体の 3次元データを圧縮して記憶装置 102へ登録する登録部 111 をサーバ装置 100に備えるようにした力 他のコンピュータで生成した圧縮データを 入力して記憶装置 102に記憶するようにしても良ぐその場合、登録部 111および 3 次元データ入力装置 104をサーバ装置 100から省略することができる。
[0083] 次に本実施の形態で用いる 1次圧縮方法とその復号方法、 2次圧縮方法とその復 号方法について説明する。
[0084] < 1次圧縮方法とその復号方法の例 1 >
この例の 1次圧縮方法は、様々な人の顔の 3次元データなど、類似した構造を持つ 多数のデータを圧縮して記憶するのに適した方法であり、図 5を参照すると、本例の 1次圧縮方法を適用した 1次圧縮手段 (ユニット） 1111は、対応点決定手段 (ユニット 111Aと係数計算手段 (ユニット） 1111Bとから構成される。また、 1次圧縮に使用 するためのデータとして、参照 3次元データ 102Aと基底 3次元データ群 102Bとが記 憶装置 102に記憶されている。
[0085] 本例の 1次圧縮方法では、複数の 3次元データを線形結合して或る 3次元データを 合成するための結合係数を当該 3次元データの圧縮データとするため、合成に使用 する複数の 3次元データと合成対象となる 3次元データとは頂点が対応付けられてい る必要がある。
記憶装置 102に記憶されている参照 3次元データ 102Aは、このような頂点の対応関 係を決める基準となる 3次元データである。また、基底 3次元データ群 102Bは、合成 に使用する複数の 3次元データに相当する。個々の基底 3次元データは、参照 3次 元データ 102Aの頂点に或る物体の 3次元データの頂点を対応付けることにより生成 された 3次元データそのもの、或いは、そのようにして作成された多数の物体につい ての 3次元データから主成分分析などの計算によって求めた基底データである。
[0086] 1次圧縮手段 (ユニット） 1111の対応点決定手段 (ユニット） 1111Aは、参照 3次元 データ 102Aの頂点に入力の 3次元データ 11 laの頂点を対応付けた合成対象 3次 元データ 1111Cを作成する。また係数計算手段 (ユニット） 1111Bは、基底 3次元デ ータ群 102Bに含まれる複数の基底 3次元データを結合して合成対象 3次元データ 1 111Cを合成するための結合係数を計算し、この計算した結合係数を 3次元データ 1 1 laの 1次圧縮データ 11 lbとして出力する。
[0087] 以下、本例の 1次圧縮手段 (ユニット） 1111の動作を詳細に説明する。
[0088] 圧縮対象となる基準物体の 3次元データ 11 laは様々なものが可能である力 ここ では、人の顔の 3次元データを圧縮する例をあげて説明する。また、 3次元データ 11 laは、各頂点について 3次元座標とテクスチャ (表面の色)画像の輝度値を持つポリ ゴンデータとなるものとし、一例として、頂点数は 10万点、 3次元座標の xyz値のそれ ぞれが 16ビット浮動小数点、テクスチャ輝度値の rgb値のそれぞれが 8ビット整数で それぞれ表されているとする。この場合、 3次元データ 11 laのデータ量は 100000 X (3 X 2+3 X I)バイト、すなわち約 900キロバイトになる。 [0089] 対応点決定手段 (ユニット） 1111 Aは、まず、頂点の対応関係を決める基準となる 参照 3次元データ 102Aを記憶装置 102から読み出す。ここでは一例として、参照 3 次元データ 102Aは 9万点の頂点を持ち、 3次元データ 11 laと同じぐ単位が [mm] の 3次元座標が 3つの 16ビット浮動小数点で表され、テクスチャ輝度値が rgbの 3つ の 8ビット整数の輝度値（0から 255)で表されているとする。参照 3次元データ 102A の i番目の頂点の 3次元座標を (X , y , z )、テクスチャ輝度値を (r , g , b )とすると、 参照 3次元データ 102Aは 3次元形状とテクスチャ画像それぞれが各頂点の座標値 および輝度値を並べた一つのベクトルデータとして以下のように表される。
S =[x , y , z , x , y , z , - ", x , ν , ζ ] …
r rl rl rl r2 r2 r2 r90000 r90000 r90000
T =[r , g , b , r , g , b , · ··, r , g , b ] · ·· (2)
r rl rl rl r2 r2 r2 r90000 r90000 r90000
[0090] 次に、対応点決定手段 (ユニット） 1111Aは、参照 3次元データ 102Aの各頂点に 対応する 3次元データ 11 laの頂点を決定する。これには様々な方法が適用可能で あるが、一例として、最も 3次元座標とテクスチャ輝度値の近い頂点を探索する方法 を用いることができる。たとえば、 3次元データ 11 laの j番目の頂点の 3次元座標を (X t
, y , ζ )、テクスチャ輝度を (r , g , b )とし、次式のコスト関数 Cを定義する。
j tj tj tj tj tj
C(i,j)={(x -x )2+(y -y )2+(z— z )2}
ri tj ri tj ri tj
+w{(r -r )2+(g -g )2+(b -b )2} - (3)
ri tj ri tj ri tj
参照 3次元データ 102Aの i番目 (i= l, · ··, 90000)の頂点に対応する 3次元デー タ 11 laの頂点は、コスト関数 C(i,j)を最小化する頂点 jを 3次元データ 11 laの頂点の 中から探すことで決定できる。また、 Cの値力 S小さい複数の頂点を集めて平均を取つ た頂点を対応点として定義するなどして、精度を高めることも可能である。重み wには 様々な値を用いることができる力 一例として w= l. 0としてもよい。
[0091] 対応点決定がなされた 3次元データ 11 laである合成対象 3次元データ 1111Cは、 3次元形状データとテクスチャ画像データそれぞれが、各頂点の座標値または輝度 値を並べた一つのベクトルデータとして表される。すなわち、参照 3次元データ 102A の頂点 iに対応する 3次元データ 11 laの頂点を j(i)とすると、合成対象 3次元データ 1 111Cの形状とテクスチャはそれぞれ次のベクトル S、 Tで表される。
t t
S =[x , y , z , x , y , ζ ，
t rj(l) rj(l) rj(l) rj(2) rj(2) rj(2) · ··, x , y , z ] - -- (4)
rj(90000) rj(90000) rj(90000)
T =[r , g , b , r , g , b ,
t rj(l) rj(l) rj(l) rj(2) rj(2) rj(2)
· ··, r , g , b ] · '· (5)
rj(90000) rj(90000) rj(90000)
[0092] 次に、係数計算手段 (ユニット） 1111Bは、あら力じめ定めた十分な数の物体の 3次 元データ群である基底 3次元データ群 102Bを記憶装置 102から読み出す。基底 3 次元データ群 102Bは、次の何れのタイプでも良い。
a) 3次元データタイプ：基底 3次元データ群 102Bを構成するすべての基底 3次元デ ータが人物の顔の 3次元データそのものを使用するタイプ。
b)基底データタイプ:基底 3次元データ群 102Bを構成するすべての基底 3次元デ タカ 集めた多数の人物の顔の 3次元データ力 計算によって求めた基底データ であるタイプ。この一例としては、平均 3次元データと主成分分析によって得られた基 底データとを用いることができる。
c)混在タイプ:基底 3次元データ群 102Bを構成する一部の基底 3次元データが、集 めた多数の人物の顔の 3次元データ力 計算によって求めた基底データであり、残り の基底 3次元データが人物の顔の 3次元データそのものであるタイプ。
[0093] 何れのタイプにおいても、基底 3次元データ群 102Bは、 3次元データ 11 laに対す るものと同様の対応点決定処理が既になされている。ここでは、基底 3次元データ群 102Bは 3次元データタイプを使用するものとする。基底 3次元データ群 102Bは、 3 次元形状とテクスチャがベクトルで表され、参照 3次元データ 102Aの頂点 jに対応す る頂点を j(0とすると、 k番目の基底 3次元データの 3次元形状 S とテクスチャ T はそ bk bk れぞれ以下のように表される。
["χ y X y
bk bkj(l) bkj(l) bkj(l) bkj(2) bkj(2) bkj(2)
· ·· x , y , z ] (6)
bkj(90000) bkj(90000) bkj(90000)
T =[r g b r g b
bk bkj(l) bkj(l) bkj(l) bkj(2) bkj(2) bkj(2)
· ··, r , g , b ] - -- (7)
bkj(90000) bkj(90000) bkj(90000)
[0094] 基底 3次元データの数は多 、ほど圧縮されたデータ力 復元される 3次元データの 精度は向上するが、データ圧縮の計算量や記憶容量が増加する。ここでは、一例と して 100人の人物の顔の 3次元データを事前に集めたものを使用する。 [0095] 次に、係数計算手段 (ユニット） 1111Bは、基底 3次元データ群 102Bを用いて合 成対象 3次元データ 1111Cを合成するための係数を計算する。 n (一例として n= 10 0)個の基底 3次元データを用いる場合は、次式の線形最小二乗法を用いて合成対 象 3次元データ 1111Cの形状、テクスチャを記述するそれぞれ n個の係数 { a }, {a sk
}(k=l, ···, 100)を求める。 i= argmm (8)
Figure imgf000022_0001
100
<¾ argmm ∑
1
[0096] 次に、係数計算手段 (ユニット） 1111Bは、計算された係数データ {a }, {a }を 3次 sk tk 元データ 111aの 1次圧縮データ 111bとして出力する。一例として、係数データを 16 ビット浮動小数点で求める場合、係数データのデータ量は 2 X 100 X 2=400バイトに なる。
[0097] 次に、 1次圧縮手段 (ユニット） 1111で生成された 1次圧縮データ 111bを復号する 1次復号手段 (ユニット） 1112の構成例について説明する。クライアント装置側の 1次 復号手段 (ユニット） 2113も 1次復号手段 (ユニット） 1112と同様の構成となる。
[0098] 図 6を参照すると、 1次復号手段 (ユニット） 1112は、 1次圧縮データ 11 lbを入力し 、圧縮時に使用された基底 3次元データ群 102Bを 1次圧縮データ 11 lbで示される 結合係数により結合した 3次元データを生成し、それを 1次復号データ 111cとして出 力する。 1次圧縮データ 11 lbを {« }, {a }(k=l, ···, 100)、基底 3次元データ群 1 sk tk
02Bの 3次元形状とテクスチャを前記（6)、（7)式で表される S T とすると、復元さ bk bk
れる 3次元データの 3次元形状とテクスチャを表すベクトル S 'と T 'は次式で計算さ t t
れる。
, 100 , ,
=∑ (¾ Sbk) · · · · (10) Tt ) · · · · i n )
Figure imgf000023_0001
[0099] このように本例の 1次圧縮方法では、基底 3次元データ群 102Bを用いて 3次元デ ータ 11 laを復元するための係数データを当該 3次元データ 11 laの 1次圧縮データ として生成するものであり、係数データは 3次元データに比べてはるかにデータ量が 小さいため、高い圧縮率を実現できる。ここで説明に用いた例では、 3次元データ 11 laが 900キロバイトであるのに対し、係数データ（1次圧縮データ）はわずか 400バイ トである。
[0100] また、本例の 1次圧縮方法では、復元される 3次元データ（1次復元データ）は基底 3次元データ群 102Bの組み合わせで計算され、頂点の数は基底 3次元データ群 10 2Bと同じになるため、きわめて高い圧縮率を達成しているにもかかわらず、データ圧 縮、復元による頂点数の減少による解像度の低下が少ない。一例としてここで説明し た例では、圧縮前の 3次元データは 10万頂点、圧縮対象 3次元データは 9万頂点で あるので、復元される 3次元データは 9万頂点である。
[0101] なお、ここで説明に用いた、入力 3次元データの頂点数、基底 3次元データの数、 参照 3次元データの頂点数、形状データや輝度データの数やビット数などの数値は あくまで一例であり、様々に変更可能であることはいうまでもない。また、 1次圧縮を行 つた後のデータに対して、ランレングス符号ィ匕ゃノヽフマン符号ィ匕などの手法を用いて 圧縮することもできる。この場合、 1次復号ィ匕時には、まずランレングス符号化やハフ マン符号化等の圧縮を復号する。
[0102] また、本例の 1次圧縮方法を用いた場合、残差計算手段 (ユニット） 1113は、前記 対応点決定処理において決定された対応する頂点の復元データ (数式（1) , (2)で 求めた座標または輝度値）と、元の 3Dデータの頂点のデータの差分を計算する。
[0103] < 1次圧縮方法とその復号方法の例 2 >
1次圧縮手段 (ユニット） 1111に適用可能な他の 1次圧縮方法は、以下のようにし てポリゴン頂点数を削減することによりデータ圧縮を行う。
[0104] 入力データの一例として、人の顔の 3次元データの場合を例として説明する。元の 3 次元データの頂点数が 1万点であつたと仮定する。まず、入力 3次元データの全頂点 の 3次元座標の平均値を計算し、重心とする。次に、図 11を参照して、重心から各頂 点 P(x,y,z)へ向かう直線と、重心を中心として入力 3次元データを包含する球表面と の交点 Qを求め、 Qの球体表面における経度、緯度を (s,t)として 2次元の座標 (s,t)を 各頂点に割り当てる。全頂点についてこの処理を行い、 Qの分布が- 90≤s≤ 90,-9 0≤t≤ 90の範囲に収まったとする。ここで、 s,tについて、 -90から 90までを 5度間隔 で量子化し、同じ 2次元量子化座標 (s,t)に対応する頂点を全てまとめて、平均の 3次 元座標 (X ,y ,ζ )と平均のテクスチャ輝度値 (R ,G ,Β )を計算し、 1つの代表点 Q (51,
m m m m m m リ
5j)(i,j=0, v,36)にまとめる処理を行う。この処理によって、頂点数は (180/5+1)*(1 80/5+1)=1369点に削減され (ある Q対応する頂点が存在しない場合はさらに数が 減少する)、元の 1万点のデータ量を 1/10程度に削減することができる。その後、 1次 圧縮を行った後のデータに対して、ランレングス符号ィ匕ゃノヽフマン符号ィ匕などの手 法を用いて圧縮することもできる。
[0105] 本例の 1次圧縮方法を用いた場合、削減された頂点データは復元できないため、 1 次復号手段 (ユニット） 1112および 1次復号手段 (ユニット） 2113では、ランレングス 符号ィ匕ゃノヽフマン符号ィ匕等の圧縮を復号した後、上記の例では 1369点の頂点デ ータを持つ 3次元データを 1次復元データとして出力する。
[0106] また本例の 1次圧縮方法を用いた場合、残差計算手段 (ユニット） 1113は、次のよ うにして 1次残差データ 11 Idを計算する。まず、元の 3Dデータ 11 laの各頂点 Pに
k 対し、本例と同様の 1次圧縮方法の処理によって、対応する代表点 Qを求める。 1次 残差データ 11 Idの頂点 Rの 3次元座標は、 Qと Pの 3次元座標の差分、 Rのテクス
k ij k k
チヤ輝度値は、 Qと Pのテクスチャ輝度値の差分とする。
ij k
[0107] 以上の 1次圧縮方法はあくまで一例であり、この他にも様々な 3次元データ圧縮方 法が利用可能である。
[0108] < 2次圧縮方法とその復号方法の例 >
1次残差データ 11 Idを圧縮する 2次圧縮手段 (ユニット） 1114の圧縮方法には、 様々なデータ圧縮方法が利用可能であるが、その一例として、ランレングス符号化や ハフマン符号ィ匕などの可逆圧縮手法を用いることができる。
[0109] また、残差データの 3次元座標やテクスチャ輝度値は残差データであるので、その 各要素の値のとる値域が狭いことを利用した圧縮方法も用いることができる。一例とし て、 3次元データ力 ¾,y,zそれぞれについて ± 10cmの範囲を 3次元形状計測装置に よって計測したデータであり、 3次元形状計測の計測精度が O.lmmであったとする。 この場合、精度劣化なく 3次元データを記述するためには、データ型として x,y,zの値 は 2000ステップすなわち 11ビット以上の量子化ビット数が必要である。しかし、 1次 残差データの x,y,zの値がそれぞれ士 1mm以内に収まった場合、 O. lmmの精度で元 のデータを復元するために必要な量子ィヒステップ数は 20ステップであり、 5ビットでよ い。すなわち、 2次圧縮データは 3次元データの半分以下に圧縮可能である。勿論、 さらにランレングス符号ィ匕ゃノヽフマン符号ィ匕などの可逆圧縮手法を用いてもよい。
[0110] 『第 2の実施の形態』
図 7を参照すると、本発明の第 2の実施の形態に力かる 3次元データ処理システム は、図 1の第 1の実施の形態と比較して、サーバ装置 100の処理装置 101がさらに 2 次圧縮データ送信部 114を備えており、クライアント装置 200の処理装置 201が照合 要求部 211の代わりに照合要求部 212を備えている点で相違する。
[0111] 図 8を参照すると、照合要求部 212は、図 4に示した照合要求部 211と比較して、 2 次復号手段 (ユニット） 2121をさらに有する点で相違する。この 2次復号手段 (ュニッ ト） 2121は、ユーザが表示装置 206に表示された照合結果リスト中のデータ名を選 択して高精細データの取得を要求した場合に、選択されたデータ名を含む 2次圧縮 データ要求 212aをネットワーク 300経由でサーバ装置 100の 2次圧縮データ送信部 114へ送信し、その応答として返却される 2次圧縮データを復号した残差データと、 1 次復号手段 (ユニット） 2113で復号された対応する 1次復号データとから元の 3次元 データを復元する機能を持つ。この 2次復号手段 (ユニット） 2121で復号された 3次 元データは、例えば記憶装置 202に保存される。
[0112] また 2次圧縮データ送信部 114は、 2次圧縮データ要求 212aを受信すると、それ に含まれるデータ名をキーに記憶装置 102から当該データ名を持つ基準物体の 2次 圧縮データ 114aを読み出し、ネットワーク 300経由で要求元に送信する機能を持つ
[0113] 次に本実施の形態の動作を説明する。 [0114] 照合対象となる物体の 3次元データまたは画像データである照合対象データをクラ イアント装置 200からサーバ装置 100へ送信し、サーバ装置 100が記憶装置 102〖こ 記憶された各基準物体の 3次元データと照合し、類似度の高!、上位幾つかの基準物 体の 3次元データを候補データとしてクライアント装置 200の表示装置 206に表示す るまでの動作は、第 1の実施の形態と同じである。本実施の形態の場合、表示された 候補データにっ 、て、元の高精細な 3次元データをクライアント装置 200側で必要と する場合、ユーザは 2次復号手段 (ユニット） 2121に対してデータ名を指定して取得 を要求する。
[0115] 2次復号手段 (ユニット） 2121は、指定されたデータ名を含む 2次圧縮データ要求 2 12aをネットワーク 300経由でサーバ装置 100の 2次圧縮データ送信部 114へ送信 する。 2次圧縮データ送信部 114は、この 2次圧縮データ要求 212aを受信し、それ に含まれるデータ名をキーに記憶装置 102から当該データ名を持つ基準物体の 2次 圧縮データ 114aを読み出し、 2次復号手段 (ユニット） 2121へ送信する。 2次復号手 段 (ユニット） 2121は、受信した 2次圧縮データを復号した残差データと、 1次復号手 段 (ユニット） 2113で復号された対応する 1次復号データとから元の 3次元データを 復元し、例えば記憶装置 202に記憶する。
[0116] 次に本実施の形態によれば、第 1の実施の形態と同様の効果が得られると共に、照 合結果に含まれる候補のうち、選択した候補のみの 2次圧縮データをサーバ装置か ら取得して元の高精細な 3次元データを復元するため、候補すベての 2次圧縮デー タを送信する場合に比べてデータ転送量を削減することができる。
[0117] 『第 3の実施の形態』
図 9を参照すると、本発明の第 3の実施の形態に力かる 3次元データ処理システム は、図 7の第 2の実施の形態と比較して、クライアント装置 200の処理装置 201がさら に検証部 213を備えている点で相違する。
[0118] 図 10を参照すると、検証部 213は、照合要求部 212の 2次復号手段 (ユニット） 212 1から復元された 3次元データを受け取ると共に、照合データ送信手段 (ユニット） 21 11から照合対象データを受け取り、両者が一致するかどうかを確認する検証処理を 行う。この検証処理には様々な方法が利用可能である力 一例として、以下に述べる ようなスーパーインポーズ法と呼ばれる方法が利用できる。なお、照合対象データは 画像とし、照合部 112では照合方法として特許文献 1に記載の物体照合方法を用い ているものとする。
[0119] まず、検証部 213は、照合対象データである画像を表示装置 206の画面に表示す る。次に、 2次復号手段 (ユニット） 2121で復号された 3次元データを用いて、前記画 像に姿勢などができるだけ近 、画像を比較画像として生成し、表示装置 206の画面 に重ねて表示する。この画像生成を行うためには物体の姿勢や照明条件などのデー タが必要であるが、特許文献 1の技術を用いた場合、これらのデータが照合処理に おいて同時に推定される。したがって、これらのデータを照合結果リストに含めて出 力しておくことで、検証部 213は前記比較画像生成のためのデータを得ることができ る。これはあくまで一例であり、そのほかにも、利用者が適時姿勢を修正したり、物体 の特徴的な部位を指定してそれらの部位が一致するように姿勢を計算したりするなど 、多様な方法が利用可能である。以上の手法により生成された比較画像と入力デー タの画像を利用者が目視で比較することにより、照合結果が正しいかどうかを判定す ることができる。もし、判定が正しくない場合、 2次復号手段 (ユニット） 2121の処理に 戻って別の候補を指定し、再度検証を行うこともできる。また、照合データ送信手段（ ユニット） 2111の処理に戻り、入力データの修正や変更を行い、正しい照合結果を 得るようにやり直すことも可能である。
[0120] 本実施の形態によれば、第 2の実施の形態と同様の効果が得られると共に、利用 者が正確な 3次元データを利用して照合結果を検証することができるので、正確な照 合結果を得ることが可能になる。
[0121] 以上本発明の実施の形態について説明したが、本発明は以上の例に限定されず その他各種の付加変更が可能である。また、本発明は、その有する機能をノ、一ドゥエ ァ的に実現することは勿論、コンピュータとプログラムとで実現することができる。プロ グラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて 提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンビュ ータの動作を制御することにより、そのコンピュータを前述した各実施の形態におけ るサーバ装置またはクライアント装置として機能させる。 産業上の利用可能性
[0122] 本発明によれば、多数の 3次元データを蓄積し、画像や 3次元データを用いて物体 を認識するシステムにおいて、認識性能を低下させずに、結果の表示や正確な照合 結果の取得を高速に行うことができる。
[0123] 本発明の全開示 (請求の範囲を含む)の枠内において、さらにその基本的技術思 想に基づいて、実施形態ないし実施例の変更 '調整が可能である。また、本発明の 請求の範囲（クレーム）の枠内にお!、て、種々の開示要素の多様な組み合せな！/、し 選択が可能である。

Claims

請求の範囲
[1] 3次元データを非可逆圧縮方式で圧縮した 1次圧縮データ、および、該 1次圧縮デ ータから復元した 3次元データと元の 3次元データとの誤差を補填するための 2次圧 縮データの組で各基準物体の 3次元データを記憶する記憶装置と、照合対象となる 物体の 3次元データまたは画像データである照合対象データと各基準物体の 1次圧 縮データおよび 2次圧縮データから復号した 3次元データとを照合する照合手段 (ュ ニット）と、照合結果に含まれる類似度の高い上位幾つかの基準物体の 1次圧縮デ 一タを復号して表示装置に表示する候補表示手段 (ユニット)とを備えることを特徴と する 3次元データ処理システム。
[2] 前記 2次圧縮データは、前記 1次圧縮データから復元した 3次元データと元の 3次 元データとの差分を圧縮したデータであることを特徴とする請求項 1記載の 3次元デ ータ処理システム。
[3] ネットワークを通じて相互に接続されたサーバ装置とクライアント装置とを備え、前 記サーバ装置に前記記憶装置および前記照合手段 (ユニット)を備え、前記クライァ ント装置に前記候補表示手段 (ユニット)を備えることを特徴とする請求項 1または 2記 載の 3次元データ処理システム。
[4] 前記非可逆圧縮方式として、複数の基底 3次元データを線形結合して或る 3次元 データを合成するための結合係数を当該或る 3次元データの圧縮データとする圧縮 方式を使用することを特徴とする請求項 1乃至 3のいずれか 1に記載の 3次元データ 処理システム。
[5] 前記クライアント装置に、ユーザから要求された基準物体の 2次圧縮データを前記 サーバ装置力 取得して当該基準物体の 1次圧縮データを復号した 3次元データに 加えることにより高精細な 3次元データを生成する 2次復号手段 (ユニット）を備えるこ とを特徴とする請求項 3記載の 3次元データ処理システム。
[6] 前記クライアント装置に、前記照合対象データと前記 2次復号手段 (ユニット)で生 成された 3次元データとがー致するか否かを検証するための検証手段 (ユニット）を備 えることを特徴とする請求項 5記載の 3次元データ処理システム。
[7] クライアント装置が、照合対象となる物体の 3次元データまたは画像データである照 合対象データをネットワーク経由でサーバ装置へ送信する第 1の処理と、 前記サーバ装置が、 3次元データを非可逆圧縮方式で圧縮した 1次圧縮データ、 および該 1次圧縮データ力 復元した 3次元データと元の 3次元データとの誤差を補 填するための 2次圧縮データの組で各基準物体の 3次元データを記憶する記憶装置 から各基準物体の 1次圧縮データおよび 2次圧縮データを読み出して復号した各基 準物体の 3次元データと前記照合対象データとを照合し、類似度の高い上位幾つか の基準物体の 1次圧縮データをネットワーク経由で前記クライアント装置へ送信する 第 2の処理と、
前記クライアント装置が、受信した 1次圧縮データを復号して表示装置に表示する 第 3の処理とを含むことを特徴とする 3次元データ処理方法。
[8] 前記 2次圧縮データは、前記 1次圧縮データから復元した 3次元データと元の 3次 元データとの差分を圧縮したデータであることを特徴とする請求項 7記載の 3次元デ ータ処理方法。
[9] 前記非可逆圧縮方式として、複数の基底 3次元データを線形結合して或る 3次元 データを合成するための結合係数を当該或る 3次元データの圧縮データとする圧縮 方式を使用することを特徴とする請求項 7または 8記載の 3次元データ処理方法。
[10] 3次元データを非可逆圧縮方式で圧縮した 1次圧縮データ、および該 1次圧縮デ ータから復元した 3次元データと元の 3次元データとの誤差を補填するための 2次圧 縮データの組で各基準物体の 3次元データを記憶する記憶装置と、照合対象となる 物体の 3次元データまたは画像データである照合対象データをネットワーク経由でク ライアント装置力 受信し、該受信した照合対象データと、各基準物体の 1次圧縮デ ータおよび 2次圧縮データから復号した 3次元データとを照合し、類似度の高!、上位 幾つかの基準物体の 1次圧縮データをネットワーク経由で前記クライアント装置へ送 信する処理装置とを備えることを特徴とするサーバ装置。
[11] 前記 2次圧縮データは、前記 1次圧縮データから復元した 3次元データと元の 3次 元データとの差分を圧縮したデータであることを特徴とする請求項 10記載のサーバ 装置。
[12] 照合対象となる物体の 3次元データまたは画像データである照合対象データを含 む照合要求をネットワーク経由でサーバ装置へ送信し、前記照合対象データに類似 する基準物体の 3次元データを非可逆圧縮方式で圧縮した 1次圧縮データを前記サ ーバ装置から受信して復号し表示装置に表示する照合要求手段 (ユニット)を備える ことを特徴とするクライアント装置。
[13] 前記基準物体の 2次圧縮データを前記サーバ装置から取得して前記基準物体の 1 次圧縮データを復号した 3次元データに加えることにより高精細な 3次元データを生 成する 2次復号手段 (ユニット）をさらに備えることを特徴とする請求項 12記載のクライ アント装置。
[14] 前記照合対象データと前記 2次復号手段 (ユニット)で生成された 3次元データとが 一致する力否かを検証するための検証手段をさらに備えることを特徴とする請求項 1 3記載のクライアント装置。
[15] 3次元データを非可逆圧縮方式で圧縮した 1次圧縮データ、および該 1次圧縮デ ータから復元した 3次元データと元の 3次元データとの誤差を補填するための 2次圧 縮データの組で各基準物体の 3次元データを記憶する記憶装置を備えたコンビユー タを、照合対象となる物体の 3次元データまたは画像データである照合対象データを ネットワーク経由でクライアント装置力も受信する手段 (ユニット）、該受信した照合対 象データと、各基準物体の 1次圧縮データおよび 2次圧縮データから復号した 3次元 データとを照合する手段 (ユニット）、類似度の高い上位幾つかの基準物体の 1次圧 縮データをネットワーク経由で前記クライアント装置へ送信する手段 (ユニット）、とし て機能させるためのプログラム。
[16] 前記 2次圧縮データは、前記 1次圧縮データから復元した 3次元データと元の 3次 元データとの差分を圧縮したデータであることを特徴とする請求項 15記載のプロダラ ム。
[17] コンピュータを、照合対象となる物体の 3次元データまたは画像データである照合 対象データを含む照合要求をネットワーク経由でサーバ装置へ送信する手段 (ュ- ット）、前記照合対象データに類似する基準物体の 3次元データを非可逆圧縮方式 で圧縮した 1次圧縮データを前記サーバ装置から受信して復号し表示装置に表示す る手段 (ユニット）、として機能させるためのプログラム。
[18] 前記基準物体の 2次圧縮データを前記サーバ装置から取得して前記基準物体の 1 次圧縮データを復号した 3次元データに加えることにより高精細な 3次元データを生 成する 2次復号手段 (ユニット）、としてさらに機能させるための請求項 17記載のプロ グラム。
[19] 前記照合対象データと前記 2次復号手段 (ユニット)で生成された 3次元データとが 一致する力否かを検証するための検証手段 (ユニット）、としてさらに機能させるため の請求項 18記載のプログラム。
PCT/JP2007/055385 2006-03-17 2007-03-16 ３次元データ処理システム WO2007108412A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008506278A JP4873004B2 (ja) 2006-03-17 2007-03-16 ３次元データ処理システム
US12/155,286 US7876318B2 (en) 2006-03-17 2008-06-02 Three-dimensional data processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006074054 2006-03-17
JP2006-074054 2006-03-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/155,286 Continuation US7876318B2 (en) 2006-03-17 2008-06-02 Three-dimensional data processing system

Publications (1)

Publication Number Publication Date
WO2007108412A1 true WO2007108412A1 (ja) 2007-09-27

Family

ID=38522442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/055385 WO2007108412A1 (ja) 2006-03-17 2007-03-16 ３次元データ処理システム

Country Status (3)

Country Link
US (1) US7876318B2 (ja)
JP (2) JP4873004B2 (ja)
WO (1) WO2007108412A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4970480B2 (ja) * 2009-03-06 2012-07-04 日産自動車株式会社 自動変速機の制御装置
JP5310130B2 (ja) * 2009-03-11 2013-10-09 オムロン株式会社 ３次元視覚センサによる認識結果の表示方法および３次元視覚センサ
JP5245938B2 (ja) 2009-03-12 2013-07-24 オムロン株式会社 ３次元認識結果の表示方法および３次元視覚センサ
JP2010210585A (ja) * 2009-03-12 2010-09-24 Omron Corp ３次元視覚センサにおけるモデル表示方法および３次元視覚センサ
JP5714232B2 (ja) * 2009-03-12 2015-05-07 オムロン株式会社 キャリブレーション装置および３次元計測のためのパラメータの精度の確認支援方法
JP5316118B2 (ja) * 2009-03-12 2013-10-16 オムロン株式会社 ３次元視覚センサ
JP5245937B2 (ja) * 2009-03-12 2013-07-24 オムロン株式会社 ３次元計測処理のパラメータの導出方法および３次元視覚センサ
JP5282614B2 (ja) * 2009-03-13 2013-09-04 オムロン株式会社 視覚認識処理用のモデルデータの登録方法および視覚センサ
JP2012100129A (ja) * 2010-11-04 2012-05-24 Jvc Kenwood Corp 画像処理方法及び画像処理装置
EP2738738A4 (en) * 2011-07-29 2016-03-09 Nec Corp COMPARISON / SEARCH SYSTEM, / COMPARISON / SEARCH SERVER, DEVICE FOR EXTRACTION OF PICTURE PROPERTIES, COMPARISON / SEARCH PROCESSES AND PROGRAM
CN107146274B (zh) * 2017-05-05 2021-06-22 上海兆芯集成电路有限公司 图像数据处理系统、纹理贴图压缩和产生全景视频的方法
US10360454B1 (en) * 2017-12-28 2019-07-23 Rovi Guides, Inc. Systems and methods for presenting supplemental content in augmented reality

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10285407A (ja) * 1997-03-28 1998-10-23 Internatl Business Mach Corp <Ibm> データ処理方法、データ処理システムおよび記録媒体
JP2005087069A (ja) * 2003-09-16 2005-04-07 Dainippon Printing Co Ltd 生物情報のロスレス符号化装置、検索装置、および三次元情報のロスレス符号化装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4903317A (en) 1986-06-24 1990-02-20 Kabushiki Kaisha Toshiba Image processing apparatus
JP2593453B2 (ja) 1986-08-12 1997-03-26 株式会社東芝 画像圧縮装置
JPH07240920A (ja) * 1994-02-28 1995-09-12 Fuji Film Micro Device Kk ディジタル画像データの圧縮および伸張
US7190284B1 (en) * 1994-11-16 2007-03-13 Dye Thomas A Selective lossless, lossy, or no compression of data based on address range, data type, and/or requesting agent
IL114475A0 (en) * 1995-07-06 1995-11-27 Grid Point Ltd Method for 2D and 3D image capturing representation processing and compression
JPH09171516A (ja) * 1995-10-18 1997-06-30 Canon Inc 情報管理方法及び装置
JPH10290460A (ja) 1997-04-16 1998-10-27 Toppan Printing Co Ltd 画像圧縮方法
US6459429B1 (en) * 1999-06-14 2002-10-01 Sun Microsystems, Inc. Segmenting compressed graphics data for parallel decompression and rendering
US7071935B1 (en) * 1999-06-14 2006-07-04 Sun Microsystems, Inc. Graphics system with just-in-time decompression of compressed graphics data
JP2002008060A (ja) 2000-06-23 2002-01-11 Hitachi Ltd データ処理方法、記録媒体及びデータ処理装置
JP4167390B2 (ja) 2000-11-20 2008-10-15 日本電気株式会社 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体
JP2002318534A (ja) * 2001-04-23 2002-10-31 Matsushita Electric Ind Co Ltd デジタル地図の位置情報伝達方法
CA2462595C (en) * 2001-10-11 2009-12-29 Yappa Corporation Web based 3d image display system
US7006656B2 (en) * 2001-10-15 2006-02-28 The Research Foundation Of Suny Lossless embedding of data in digital objects
JP4560832B2 (ja) * 2002-07-10 2010-10-13 日本電気株式会社 ３次元物体モデルを用いた画像照合システム及び画像照合プログラム
KR100513736B1 (ko) * 2002-12-05 2005-09-08 삼성전자주식회사 그래픽 데이터 압축에 관한 메타표현을 이용한 입력파일생성 방법 및 시스템
US7076735B2 (en) * 2003-07-21 2006-07-11 Landmark Graphics Corporation System and method for network transmission of graphical data through a distributed application
US7512279B2 (en) * 2005-06-22 2009-03-31 General Electric Company System, method and computer instructions for compression of four dimensional data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10285407A (ja) * 1997-03-28 1998-10-23 Internatl Business Mach Corp <Ibm> データ処理方法、データ処理システムおよび記録媒体
JP2005087069A (ja) * 2003-09-16 2005-04-07 Dainippon Printing Co Ltd 生物情報のロスレス符号化装置、検索装置、および三次元情報のロスレス符号化装置

Also Published As

Publication number Publication date
JP5240335B2 (ja) 2013-07-17
US7876318B2 (en) 2011-01-25
US20080303814A1 (en) 2008-12-11
JPWO2007108412A1 (ja) 2009-08-06
JP2011258240A (ja) 2011-12-22
JP4873004B2 (ja) 2012-02-08

Similar Documents

Publication Publication Date Title
WO2007108412A1 (ja) ３次元データ処理システム
JP3901644B2 (ja) テクスチャ画像圧縮装置及び方法、テクスチャ画像抽出装置及び方法、データ構造、記憶媒体
CN109257604A (zh) 一种基于tmc3点云编码器的颜色属性编码方法
Xu et al. Predictive generalized graph Fourier transform for attribute compression of dynamic point clouds
JP4384813B2 (ja) 時間依存ジオメトリの圧縮
JP5512704B2 (ja) ３次元メッシュモデルの符号化方法及び装置、並びに符号化された３次元メッシュモデルの復号方法及び装置
JP2019521417A (ja) シーンを表す点群を符号化する方法、符号化器システム、及びプログラムを記憶した非一時的コンピューター可読記録媒体
KR101164719B1 (ko) 효율적인 저장 및 전송을 위한 지리정보시스템의 벡터 맵 데이터 압축 방법
EP1978749B1 (en) Compression of multidimensional look-up tables for colour space conversion
US9253505B2 (en) System and method for image compression
US20030038798A1 (en) Method and system for processing, compressing, streaming, and interactive rendering of 3D color image data
JP4868171B2 (ja) データ圧縮方法及び装置、データ復元方法及び装置ならびにプログラム
US20100250588A1 (en) Image searching system and image searching method
Peng et al. Feature oriented progressive lossless mesh coding
JP2001160062A (ja) 画像データ検索装置
JP2013539125A (ja) エンコード方法、エンコード装置、デコード方法及びデコード装置
Ballester et al. Level lines selection with variational models for segmentation and encoding
US8553998B1 (en) Depthmap compression using a primitive
US8553997B1 (en) Depthmap compression
Khot et al. Road network compression techniques in spatiotemporal embedded systems: A survey
US20230084376A1 (en) Information processing device, 3d model generation method, and program
Wu et al. 3D mesh based inter-image prediction for image set compression
WO2013020174A1 (en) A method of processing information that is indicative of a shape
US20230274465A1 (en) Information compression system and information compression method
Prazeres Static Point Clouds Compression efficiency of MPEG point clouds coding standards

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07738830

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2008506278

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07738830

Country of ref document: EP

Kind code of ref document: A1