WO2022059670A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2022059670A1
WO2022059670A1 PCT/JP2021/033718 JP2021033718W WO2022059670A1 WO 2022059670 A1 WO2022059670 A1 WO 2022059670A1 JP 2021033718 W JP2021033718 W JP 2021033718W WO 2022059670 A1 WO2022059670 A1 WO 2022059670A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
vector
floor plan
image
unit
Prior art date
Application number
PCT/JP2021/033718
Other languages
English (en)
French (fr)
Inventor
太郎 楢原
俊彦 山崎
Original Assignee
国立大学法人東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京大学 filed Critical 国立大学法人東京大学
Priority to JP2022550562A priority Critical patent/JPWO2022059670A1/ja
Publication of WO2022059670A1 publication Critical patent/WO2022059670A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/16Real estate

Definitions

  • Some aspects of the present invention relate to, for example, an information processing device and an information processing method for evaluating a real estate property such as a house.
  • a property search service for searching for dwelling units such as condominiums and detached houses for rent or sale has been provided on websites on the Internet.
  • a search for real estate properties is usually performed by combining search conditions such as the nearest station, occupied area, rent, and keywords.
  • search result of the property information is acquired by searching the value of at least one of the items of the area where the property is located, the price range, the area range, the floor plan, the age of the building, and the occupancy period. It is stated that.
  • Patent Document 1 has such a sensory value. No consideration is given to enabling property valuation on a scale based on.
  • Some aspects of the present invention have been made in view of the above-mentioned problems, and one of the objects is to provide an information processing device, an information processing method, and a program capable of appropriately evaluating a property.
  • the information processing apparatus receives an input of a floor plan image of a target floor plan related to a property to be evaluated, and uses a machine learning device to generate a first evaluation vector related to a predetermined evaluation scale.
  • a structure evaluation unit that generates a second evaluation vector related to the predetermined evaluation scale by arithmetic processing on the unit, a room of the target floor plan, and a target graph structure in which the connection between the rooms is expressed as a node and an edge, and the first unit. It includes one evaluation vector and an output unit that outputs an evaluation value related to the predetermined evaluation scale using the second evaluation vector.
  • the information processing method includes a step of receiving an input of a floor plan image of a target floor plan related to a property to be evaluated and generating a first evaluation vector related to a predetermined evaluation scale using a machine learning device. , A step of generating a second evaluation vector according to the predetermined evaluation scale by arithmetic processing on the target graph structure in which the room of the target floor plan and the connection between the rooms are represented as nodes and edges, and the first evaluation vector.
  • the information processing apparatus performs a step of outputting an evaluation value related to the predetermined evaluation scale using the second evaluation vector.
  • the program receives input of a floor plan image of a target floor plan related to a property to be evaluated, and uses a machine learning device to generate a first evaluation vector related to a predetermined evaluation scale.
  • the computer is made to execute a process of outputting an evaluation value related to the predetermined evaluation scale using the evaluation vector.
  • the "part”, “means”, “device”, and “system” do not simply mean physical means, but the "part”, “means”, “device”, and “system”. Including the case where the function of "” is realized by software. Further, even if the functions of one "part”, “means”, “device”, or “system” are realized by two or more physical means or devices, two or more "parts” or “means”, The functions of "device” and “system” may be realized by one physical means or device.
  • FIG. 1 It is a figure which shows the specific example of the floor plan image. It is a figure which shows the specific example of the evaluation value for each evaluation item for a floor plan. It is a figure which shows the specific example in the case of expressing the floor plan image shown in FIG. 1 as a structural graph. It is a block diagram which shows the functional structure of the property evaluation apparatus which concerns on embodiment. It is a figure which shows the specific example of the subgraph which shows the structure of a part of the floor plan. It is a figure which shows the specific example of the subgraph which shows the structure of a part of the floor plan. It is a block diagram which shows the specific example of the hardware composition which can mount the property evaluation apparatus shown in FIG.
  • FIG. 1 shows a specific example of the floor plan image.
  • the floor plan image contains information such as the type and size of the rooms included in the property, the connections between the rooms, and the spatial arrangement of the rooms. What is important here is that the user can somehow predict the subjective quality such as living comfort by just looking at the floor plan image (floor plan) without looking at the actual property.
  • the property evaluation device which is the information processing device according to the present embodiment, evaluates the subjective quality such as living comfort. More specifically, the property evaluation device according to the present embodiment evaluates the quality that the user subjectively feels based on the neural network by using the floor plan image and the graph representation of the floor plan. be. Hereinafter, this method will be described in detail.
  • evaluation items (1) to (3) are evaluation items related to impression
  • (4) to (6) are evaluation items related to functionality
  • (7) to (9) are evaluation items related to environmental standards for floor plans. ..
  • Various evaluators of different genders and age groups are asked to evaluate each of these evaluation items on a five-point scale, for example. Then, it is obtained by standardizing the mean values of the obtained evaluation values among all the floor plans, for example, by normalizing between -1 and 1.
  • the evaluation value can be the evaluation value of each evaluation item for the floor plan.
  • FIG. 2 is an example of evaluation values obtained for each evaluation item for a certain floor plan. In the example of FIG. 2, the degree of variability among evaluators is indicated by an error bar in each bar graph. Further, by standardizing and normalizing the average value of the evaluation values of these evaluation items, a comprehensive evaluation value (hereinafter, also referred to as “total score”) can be obtained.
  • the floor plan can also be expressed as a graph structure with a node representing a room and an edge representing the connection between the rooms.
  • FIG. 3 shows an example in which the floor plan shown in FIG. 1 is represented as a graph structure.
  • the floor plans include, for example, walls, bedrooms (wbed in the example of Fig. 3), Japanese-style rooms (tatami), dining / kitchen (dk), toilets (wc), bathrooms (bath), washrooms (wash). ), Bathroom, entrance, corridor, stairs, closet (cl), doors, windows, etc. are included.
  • elements other than walls, doors, and windows are represented as nodes, and when the elements are connected (users can come and go), each node is connected by an edge. It is connected.
  • the graph structure can be appropriately created by the user by looking at the floor plan image, but as will be described later with reference to FIG. 7, a program for automatically generating the graph structure from the floor plan image by learning is prepared. Is also good.
  • a floor plan image (hereinafter, also referred to as a segment floor plan image) in which elements such as a bedroom, a Japanese-style room, and a dining room (hereinafter, also referred to as a segment) are repainted for each segment with respect to the floor plan image.
  • the segment floor plan image may also be appropriately created by the user by looking at the floor plan image, or a program automatically generated from the floor plan image by learning can be prepared as described later with reference to FIG. 7.
  • a learning data set consisting of a floor plan image, a segment floor plan image in which the floor plan image is color-coded for each segment, a graph structure of the floor plan, and an evaluation value.
  • the functional configuration of the property evaluation device 1 is roughly divided into a structural data processing unit 100, an image data processing unit 200, an arithmetic processing unit 300, and an evaluation output unit 400.
  • a total of 10 models can be individually prepared for each of the above 9 evaluation items and a total of 10 evaluation items of the total score.
  • the structural data processing unit 100 evaluates a structural graph or the like of a layout, and has a metadata input unit 110, a feature vector generation unit 120, a structural graph input unit 130, an actual subgraph vector generation unit 140, and a water supply subgraph vector generation unit. 150, MCS (Maximum Common Subgraph) graph similarity vector generation unit 160, arithmetic processing unit 171 and arithmetic processing unit 173 are included.
  • MCS Maximum Common Subgraph
  • the metadata input unit 110 and the feature vector generation unit 120 perform processing related to the metadata of the floor plan.
  • the metadata input unit 110 receives the values of the area and the number of each room type related to the floor plan of the evaluation target as the metadata related to the floor plan of the evaluation target.
  • the metadata can be appropriately created by the user by looking at the floor plan image, but as will be described later with reference to FIG. 7, a program for automatically generating the metadata from the floor plan image by learning is prepared. You can also do it.
  • the feature vector generation unit 120 standardizes the area and number of each room type input as the metadata related to the floor plan to be evaluated based on the values of a large number of floor plans, and features vectors representing the area and number of the room types. ) Is generated.
  • the feature vector can be standardized so that the distribution of the feature vector has an average value of 0 and a standard deviation of 1 for each floor plan included in the learning data set, for example.
  • the dimension of the feature vector is arbitrary, but it can be considered to be 35 dimensions, for example. It is also conceivable that the feature vector may include elements other than area and number.
  • the structure graph input unit 130, the actual subgraph vector generation unit 140, the water supply subgraph vector generation unit 150, and the MCS graph similarity vector generation unit 160 perform processing on the floor plan structure graph (exemplified in FIG. 3).
  • the structure graph input unit 130 receives the input of the structure graph prepared for the floor plan to be evaluated.
  • the structure graph may be appropriately created by the user by looking at the floor plan image, or a program automatically generated from the floor plan image by learning can be prepared.
  • the manifest subgraph vector generation unit 140 generates an manifest subgraph vector indicating whether or not the structural graph of the floor plan to be evaluated includes a plurality of predetermined subgraphs that are considered to contribute to the evaluation score.
  • the subgraph to be determined whether or not the actual subgraph vector generation unit 140 is included is of high importance and is considered to contribute to the high or low evaluation score.
  • the subgraph to be determined can be generated by the following procedure, for example.
  • TF-IDF Term Frequency-Inverse Document Frequency
  • the actual subgraph vector generation unit 140 determines whether or not each of these 176 subgraphs is included in the structural graph of the floor plan to be evaluated, and expresses the presence or absence by 1 or 0, respectively. Generates a 176-dimensional manifest subgraph vector.
  • FIGS. 5A and 5B Examples of subgraphs are shown in FIGS. 5A and 5B.
  • the example of FIG. 5A is a subgraph in which a dining kitchen and a toilet are nodes and are connected by an edge
  • the example of FIG. 5B is a subgraph in which a dining kitchen, a bedroom, and a balcony are nodes and each is connected by an edge. If a two-dimensional manifest subgraph vector is generated based on these two subgraphs, the manifest subgraph vector is (1,0).
  • Water supply subgraph vector generation unit 150 Wet areas such as dining / kitchen, washroom, bathroom, and toilet are especially important because they are personal spaces. Therefore, the water circulation subgraph vector generation unit 150 generates a water circulation subgraph vector indicating whether or not a plurality of predetermined water circulation subgraphs that are considered to contribute to the height of the evaluation score are included in the structure graph of the floor plan to be evaluated. do.
  • a subgraph connecting the four nodes of the dining / kitchen, the washroom, the bathroom, and the toilet is extracted from the structure graph of each floor plan constituting the learning data set.
  • another node such as a corridor (hereinafter, also referred to as “bridge node”) in order to form a water supply subgraph containing these four nodes
  • the bridge node is added to the water supply subgraph.
  • a predetermined number for example, 45
  • the water supply subgraph vector generation unit 150 determines whether or not each of these 45 water supply subgraphs is included in the structure graph of the floor plan to be evaluated, and expresses the presence or absence of each by 1 or 0, respectively. For example, a 45-dimensional water subgraph vector is generated.
  • the MCS graph similarity vector generation unit 160 has a similarity between the structural graph of the entire floor plan to be evaluated and the structural graph of each predetermined number (for example, 900) of the floor plans included in the training data set. Generate a vector. In this embodiment, the Maximum Common Subgraph similarity is used as the graph similarity. More specifically, the MCS graph similarity vector generation unit 160 has an MCS between the structural graph related to the floor plan to be evaluated and the structural graph related to each of, for example, 900 floor plans included in the training data set. By calculating the similarity, a 900-dimensional similarity vector is generated.
  • the MCS graph similarity is used to calculate the similarity between graphs, but the graph similarity may be calculated by another method.
  • the arithmetic processing unit 171 and the arithmetic processing unit 173 include a feature vector generated by the feature vector generation unit 120, an actual subgraph vector generated by the actual subgraph vector generation unit 140, and water generated by the water supply subgraph vector generation unit 150. Arithmetic processing is performed on the rotation subgraph vector and the similarity vector generated by the MCS graph similarity vector generation unit 160.
  • the 900-dimensional similarity vector generated by the MCS graph similarity vector generation unit 160 is first lowered to 256 dimensions by the FC layer (Fully Connected Layer) using LeakyReLU of the arithmetic processing unit 171 as an activation function. It is dimensioned. Then, the arithmetic processing unit 171 performs an operation by a batch normalization (Batch Normalization) and a LeakyReLU (Rectified LinearUnit) activation function (activation function) on the vector of 256 dimensions, for example, and drops out. Generate an improved generalization vector by Layer).
  • a 35-dimensional feature vector generated by the feature vector generation unit 120 For example, a 35-dimensional feature vector generated by the feature vector generation unit 120, a 176-dimensional manifest subgraph vector generated by the manifest subgraph vector generation unit 140, and a 45-dimensional feature vector generated by the water supply subgraph vector generation unit 150, for example.
  • the water supply subgraph vector is connected as one 256-dimensional (35-dimensional + 176-dimensional + 45-dimensional) feature vector, and then added to the vector output from the arithmetic processing unit 171 by the arithmetic processing unit 173.
  • the arithmetic processing unit 173 generates a 256-dimensional vector representing the evaluation of the structural data by performing arithmetic operations on the added vector by the FC layer and the dropout layer.
  • the vector representing the evaluation related to the structural data generated by the arithmetic processing unit 173 is output to the arithmetic processing unit 300 described later.
  • the image data processing unit 200 evaluates a floor plan image, and includes a floor plan image input unit 210, a segment floor plan image input unit 220, image calculation units 231 and 233, and a calculation processing unit 240.
  • the image data processing unit 200 inputs two types of images, a floor plan image and a segment floor plan image, from the floor plan image input unit 210 and the segment floor plan image input unit 220, respectively.
  • the floor plan image is an image created by a real estate agent or the like and normalized only in size (for example, a 224 ⁇ 224 RGB image)
  • the segment floor plan image is a room that constitutes the floor plan. It is recolored based on the consistent rules for each segment such as. That is, in the segment floor plan image, different colors are assigned to each segment such as the dining / kitchen, the bathroom, and the corridor.
  • the size of the segment floor plan image is normalized to the same size (for example, a 224 ⁇ 224 RGB image) as in the floor plan image.
  • the segment floor plan image may be appropriately created by the user by looking at the floor plan image, or a program automatically generated from the floor plan image by learning can be prepared.
  • ResNet50 which is a neural network
  • a 2048-dimensional vector of a pool 5 layer subjected to global average pooling (GAP) is extracted as a feature vector of a floor plan image.
  • GAP global average pooling
  • the image calculation unit 231 adds an FC layer and a dropout layer to the feature vector, and then outputs a 256-dimensional vector using the LeakyReLU function.
  • the image calculation unit 233 also outputs a 256-dimensional vector by performing the same calculation as the image calculation unit 231 on the segment floor plan image input from the segment floor plan image input unit 220.
  • the arithmetic processing unit 240 is a 256-dimensional vector representing an evaluation based on image data by adding the vectors output from the image arithmetic unit 231 and the image arithmetic unit 233 and then performing an operation by the FC layer and the dropout layer. To generate.
  • the vector representing the evaluation related to the image data generated by the arithmetic processing unit 240 is output to the arithmetic processing unit 300 described later.
  • the arithmetic processing unit 300 has a vector (for example, 256 dimensions) representing the evaluation of the structural data output from the structural data processing unit 100 and a vector (for example, 256 dimensions) representing the evaluation of the image data output from the image data processing unit 200. ), And after activation and dropout processing by the LeakyReLU function, it is reduced to one dimension by the FC layer, and the evaluation output unit 400 evaluates this calculation result for the evaluation item targeted by the model. Output as a value.
  • the property evaluation device 1 includes a control unit 601, a communication interface (I / F) unit 605, a storage unit 607, a display unit 611, and an input unit 613, and each unit is a bus line. It is connected via 615.
  • I / F communication interface
  • the control unit 601 includes a CPU (Central Processing Unit, not shown), a GPU (Graphics Processing Unit, not shown), a ROM (ReadOnlyMemory, not shown), a RAM (RandomAccessMemory) 603, and the like.
  • the control unit 601 is configured to be able to realize the above-mentioned property evaluation process in addition to the function as a general computer.
  • the structural data processing unit 100, the image data processing unit 200, the arithmetic processing unit 300, and the evaluation output unit 400 described with reference to FIG. 4 are temporarily stored in the RAM 603 and then operated on the CPU and the GPU. It can be realized as a control program 609.
  • the RAM 603 can temporarily hold a part or all of various data related to the floor plan to be evaluated and a learning data set in addition to the code included in the control program 609. Further, the RAM 603 is also used as a work area when the CPU executes various processes.
  • the communication I / F unit 605 is a device for data communication by wire or wirelessly with another information processing device such as a user terminal operated by the user.
  • the communication I / F unit 605 can input the floor plan of the evaluation target and the learning data set for learning the control program 609 according to FIG.
  • the storage unit 607 is a non-volatile storage medium such as an HDD (Hard Disk Drive) or a flash memory.
  • the storage unit 607 stores an operating system (OS), an application, and data (not shown) for realizing a function as a general computer.
  • the storage unit 607 stores the control program 609.
  • the structural data processing unit 100, the image data processing unit 200, the arithmetic processing unit 300, and the evaluation output unit 400 shown in FIG. 4 are temporarily stored in the RAM 603. Then, it can be realized by the control program 609 that operates on the CPU and the GPU.
  • the display unit 611 is a display device for presenting information to the user.
  • Specific examples of the display unit 611 include a liquid crystal display, an organic EL (Electro-Luminescence) display, and the like.
  • the input unit 613 is a device for receiving input from the user. Specific examples of the input unit 613 include a keyboard, a mouse, a touch panel, and the like.
  • the display unit 611 and the input unit 613 may be connected to the property evaluation device 1 from the outside via various interfaces such as USB (Universal Serial Bus) and a display port.
  • USB Universal Serial Bus
  • the property evaluation device 1 evaluates a property such as a condominium or a detached house based on a floor plan image and a graph representation of the floor plan based on a neural network to improve the subjective quality such as living comfort. Can be evaluated.
  • the property evaluation device 1 considers both the presence / absence of an actual subgraph that affects the evaluation of living comfort, the presence / absence of a water-related structure, the structural evaluation such as the overall floor plan, and the evaluation of the image itself. This makes it possible to evaluate living comfort with high accuracy.
  • the property evaluation device 1 has been described as receiving input of a segment floor plan image, a structure graph showing the floor plan structure, and metadata in addition to the floor plan image, but the present invention is not limited to this. ..
  • the floor plan image input unit 210 receives the input of the floor plan image, but the floor plan image is input.
  • the segment floor plan image generation unit 250 may automatically generate the segment floor plan image
  • the structure graph generation unit 180 may automatically generate the structure graph
  • the metadata generation unit 190 may automatically generate the metadata.
  • the segment layout image generation unit 250, the structure graph generation unit 180, and the metadata generation unit 190 prepare a training data set including the original layout image and the segment layout image, the structure graph, and the metadata as the correct answer data. However, it can be generated by training a machine learning device such as a neural network. By doing so, the user can evaluate the floor plan as long as the floor plan image is prepared.
  • the property evaluation device 1 evaluates four types of data: a floor plan image, a segment floor plan image, a structure graph showing the floor plan structure, and metadata, but not all data are necessarily evaluated. It is not necessary to use it, and it is possible to use some of them in combination.
  • the property evaluation device 1 may include evaluation processing based on data other than images and structural data.
  • the structural data processing unit 100 of the above embodiment generates a manifest subgraph, a water supply subgraph vector, and a similarity vector from the input or automatically generated structural graph, and generates a vector representing the evaluation of the structural data.
  • a partial structural graph that is considered to contribute to the high and low evaluation scores in advance, and to perform preprocessing such as vectorizing the structural graph whose evaluation has been determined by a questionnaire or the like together with the evaluation value.
  • preprocessing such as vectorizing the structural graph whose evaluation has been determined by a questionnaire or the like together with the evaluation value.
  • Workers' values and evaluation criteria may be involved in data collection and evaluation judgment related to such preprocessing.
  • the evaluation result can be actively adjusted by reflecting the values and evaluation criteria of the worker, it may be preferable when the evaluation result is used for a specific purpose.
  • the evaluation result when expecting more objective evaluation results, it is desirable to eliminate the influence of such workers as much as possible.
  • it is desired to combine the evaluation results obtained by pretreatment with the objective evaluation results so that the evaluation results do not lean too much toward the worker's values and evaluation criteria.
  • a trained graph neural network is adopted in this embodiment. More specifically, for example, the structure of the property for which each evaluation value obtained by the questionnaire for 10 items obtained by adding the comprehensive evaluation to the above-mentioned evaluation items (1) to (9) for the floor plan was used as the questionnaire target. Prepare a large number of training data associated with the graph as correct answer data. Then, these learning data are trained by a supervised learning method, and a trained graph neural network that outputs an evaluation vector for the input structural graph is obtained. Examples of the graph neural network that can be adopted in the present embodiment include GCN (Graph Convolution Networks) and GGNN (Gated graph neural network).
  • FIG. 8 is a block diagram showing the functional configuration of the property evaluation device using the learned graph neural network obtained in this way.
  • a graph calculation unit 161 is provided.
  • the graph calculation unit 161 inputs the structure graph generated by the structure graph generation unit into the trained graph neural network (GNN) and executes the calculation process. As a result, an evaluation vector representing the evaluation of the input structural data is obtained.
  • GNN trained graph neural network
  • the structural data processing unit 100 adds the evaluation vector obtained by the arithmetic processing unit 173 and the evaluation vector output by the graph arithmetic unit 161 and delivers it to the arithmetic processing unit 300.
  • the evaluation vector obtained from the calculation processing unit 173 can be combined with the evaluation vector output by the graph calculation unit 161. Therefore, the structural data processing unit 100 can be used by the operator. A more objective evaluation vector that is not too inclined to the values and evaluation criteria can be passed to the arithmetic processing unit 300.
  • each of the actual subgraph 140, the water supply subgraph vector generation unit 150, the MCS graph similarity vector generation unit 160, and the graph calculation unit 161 use the structural graph generated by the structural graph generation unit 180 to evaluate the vector.
  • the water supply subgraph vector generation unit 150 and the MCS graph similarity vector generation unit 160 may be omitted.
  • the configuration in which the evaluation vector is generated from the metadata generation unit 190 and the feature vector generation unit 120 may be omitted. Which evaluation vector to generate may be appropriately determined according to the target property group to which the property evaluation device 1 is applied, the usage mode of the user, and the like.
  • the property evaluation device 1 shown in FIG. 8 has a configuration in which the graph calculation unit 161 is added to the property evaluation device shown in FIG. 7, but the property evaluation device has the graph calculation unit 161 added to the property evaluation device shown in FIG. It may be a configuration in which the above is added, or a configuration in which a part of the generation part is omitted may be used. Further, as the graph neural network, a model in which parameters are randomly set may be used instead of the trained model.
  • FIG. 9 is a block diagram showing a functional configuration of the property evaluation device according to the modified example of the embodiment shown in FIG.
  • a configuration different from that of the property evaluation device 1 according to the embodiment of FIG. 4 will be described.
  • Other configurations are almost the same as those of the property evaluation device 1.
  • the arithmetic processing unit 171 and the arithmetic processing unit 173 and their surroundings described with reference to FIG. 4 can be configured as follows. That is, the similarity vector of, for example, 900 dimensions generated by the MCS graph similarity vector generation unit 160 is reduced to, for example, 256 dimensions by the FC layer (Fully Connected Layer).
  • FC layer Full Connected Layer
  • a 30-dimensional feature vector generated by the feature vector generation unit 120 is converted into 256 dimensions through the FC layer, and a 230-dimensional manifest subgraph vector and a water supply subgraph vector generated by the manifest subgraph vector generation unit 140, for example.
  • a 40-dimensional water supply subgraph vector generated by the generation unit 150 is connected as one 272-dimensional (230-dimensional + 40-dimensional) feature vector and similarly converted to 256 dimensions through the FC layer. Then, it is added by the arithmetic processing unit 173.
  • the arithmetic processing unit 173 generates a 256-dimensional vector representing the evaluation of the structural data by performing arithmetic operations on the added vector by the FC layer and the dropout layer.
  • the vector representing the evaluation related to the structural data generated by the arithmetic processing unit 173 is output to the arithmetic processing unit 300 described later.
  • the arithmetic processing unit 300 has a vector (for example, 256 dimensions) representing the evaluation of the structural data output from the structural data processing unit 100 and a vector (for example) representing the evaluation of the image data output from the image data processing unit 200. After adding 256 dimensions) and performing conversion and dropout processing by the FC layer, the dimension is reduced to one dimension by another FC layer, and the evaluation output unit 400 evaluates this calculation result as the target of the model. Output as the evaluation value of the item.
  • the property evaluation device can be configured even in such a modified example. Further, in the property evaluation device adopting the graph neural network described with reference to FIG. 8, the corresponding portion can be changed in the same manner.
  • the image data processing unit 200 generates an evaluation vector from the system for generating the evaluation vector from the floor plan image input unit 210 and the evaluation vector from the segment floor plan image input unit 220 or the segment floor plan image generation unit 250.
  • the configuration includes both systems, the configuration may include only one system.
  • the floor plan image input unit 210 inputs, for example, an unprocessed image that is simply cut out by scanning a floor plan posted in a catalog or the like by a property seller, but the evaluation result obtained from such an unprocessed image is independently input. In some cases, the combination with the evaluation result obtained from the structural data processing unit 100 is closer to the human sensory evaluation.
  • the texture and character information are removed from the raw image obtained by scanning the floor plan published in the catalog etc. by the vendor, and the evaluation result obtained from the processed image filled with each segment of the room is independently obtained from the structural data processing unit 100. In some cases, it is closer to a person's sensory evaluation when combined with the obtained evaluation results. That is, the configuration of the image data processing unit 200 may be appropriately determined according to the characteristics of the floor plan image to be used, the properties of the target property group, and the like.
  • 1 ... Property evaluation device, 100 ... Structural data processing unit, 110 ... Metadata input unit, 120 ... Feature vector generation unit, 130 ... Structural graph input unit, 140 ... Actual subgraph vector generation unit, 150 ... Water supply subgraph vector generation unit , 160 ... MCS graph similarity vector generation unit, 161 ... graph calculation unit, 171 ... arithmetic processing unit, 173 ... arithmetic processing unit, 180 ... structural graph generation unit, 190 ... metadata generation unit, 200 ... image data processing unit, 210 ... Layout image input unit, 220 ... Segment layout image input unit, 231 ... Image calculation unit, 233 ... Image calculation unit, 240 ... Calculation processing unit, 250 ...
  • Segment layout image generation unit 300 ... Calculation processing unit, 400 ... Evaluation Output unit, 601 ... Control unit, 603 ... RAM, 605 ... Communication interface (I / F) unit, 607 ... Storage unit, 609 ... Control program, 611 ... Display unit, 613 ... Input unit, 615 ... Bus line

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

評価対象の物件に係る対象間取りの間取り画像の入力を受け、機械学習器を用いて所定の評価尺度に係る第1評価ベクトルを生成する画像評価部と、前記対象間取りの部屋及び部屋間の接続がノード及びエッジとして表現される対象グラフ構造に対する演算処理により、前記所定の評価尺度に係る第2評価ベクトルを生成する構造評価部と、前記第1評価ベクトルと前記第2評価ベクトルを用いて前記所定の評価尺度に係る評価値を出力する出力部とを備える情報処理装置を提供する。

Description

情報処理装置、情報処理方法及びプログラム
 本発明に係るいくつかの態様は、例えば住宅等の不動産物件を評価するための情報処理装置及び情報処理方法に関する。
 近年、インターネット上のウェブサイト等において、例えば賃貸や販売用のマンションや一戸建て等の住戸を検索する物件検索サービスが提供されている。このような物件検索サービスでは、通常、最寄駅や専有面積、家賃、キーワード等の検索条件を組み合わせることにより不動産物件に対する検索が行われる。例えば特許文献1には、物件の位置するエリア、価格の範囲、面積の範囲、間取り、築年数、入居可能時期の少なくともいずれかの項目の値を検索することにより物件情報の検索結果を取得することが記載されている。
特開2011-008366号公報
 ここで、多くのユーザは、住心地や開放感、プライバシーの有無など、より感覚的な印象に基づき物件を評価することが多いが、特許文献1記載の手法では、このような感覚的な価値に基づく尺度での物件評価を可能とすることは何ら考慮されていない。
 本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、好適に物件を評価することのできる情報処理装置、情報処理方法、及びプログラムを提供することを目的の1つとする。
 本発明の1の態様に係る情報処理装置は、評価対象の物件に係る対象間取りの間取り画像の入力を受け、機械学習器を用いて所定の評価尺度に係る第1評価ベクトルを生成する画像評価部と、前記対象間取りの部屋及び部屋間の接続がノード及びエッジとして表現される対象グラフ構造に対する演算処理により、前記所定の評価尺度に係る第2評価ベクトルを生成する構造評価部と、前記第1評価ベクトルと前記第2評価ベクトルを用いて前記所定の評価尺度に係る評価値を出力する出力部とを備える。
 本発明の1の態様に係る情報処理方法は、評価対象の物件に係る対象間取りの間取り画像の入力を受け、機械学習器を用いて所定の評価尺度に係る第1評価ベクトルを生成するステップと、前記対象間取りの部屋及び部屋間の接続がノード及びエッジとして表現される対象グラフ構造に対する演算処理により、前記所定の評価尺度に係る第2評価ベクトルを生成するステップと、前記第1評価ベクトルと前記第2評価ベクトルを用いて前記所定の評価尺度に係る評価値を出力するステップとを情報処理装置が行う。
 本発明の1の態様に係るプログラムは、評価対象の物件に係る対象間取りの間取り画像の入力を受け、機械学習器を用いて所定の評価尺度に係る第1評価ベクトルを生成する処理と、前記対象間取りの部屋及び部屋間の接続がノード及びエッジとして表現される対象グラフ構造に対する演算処理により、前記所定の評価尺度に係る第2評価ベクトルを生成する処理と、前記第1評価ベクトルと前記第2評価ベクトルを用いて前記所定の評価尺度に係る評価値を出力する処理とをコンピュータに実行させる。
 なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や「手段」、「装置」、「システム」が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や「手段」、「装置」、「システム」の機能が1つの物理的手段や装置により実現されても良い。
間取り画像の具体例を示す図である。 間取りに対する評価項目毎の評価値の具体例を示す図である。 図1に示した間取り画像を構造グラフとして表現する場合の具体例を示す図である。 実施形態に係る物件評価装置の機能構成を示すブロック図である。 間取りの一部の構造を示すサブグラフの具体例を示す図である。 間取りの一部の構造を示すサブグラフの具体例を示す図である。 図4に示す物件評価装置を実装可能なハードウェア構成の具体例を示すブロック図である。 他の実施形態に係る物件評価装置の機能構成を示すブロック図である。 更に他の実施形態に係る物件評価装置の機能構成を示すブロック図である。 図4に示す実施形態の変形例に係る物件評価装置の機能構成を示すブロック図である。
 以下、図面を参照して本発明の実施形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載では、同一又は類似の部分には同一又は類似の符号を付している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
[1 概要]
 マンションやアパート、一戸建て等の不動産物件に係る間取り図(floor plan image)の情報は、長年に渡りユーザが物件を評価するために使用されてきた。図1に間取り画像の具体例を示す。間取り画像(floor plan image)には、物件に含まれる部屋のタイプ、大きさ、部屋間のつながり、部屋の空間的な配置等の情報が含まれる。ここで重要なのは、実際の物件を見ずとも、間取り画像(間取り図)を見るだけで、住み心地などの主観的な質をユーザはなんとなく予測できる点である。
 そこで、本実施形態に係る情報処理装置である物件評価装置は、このような住み心地等の主観的な質を評価する。より具体的には、本実施形態に係る物件評価装置は、間取り画像と、間取りのグラフ表現(graph representation)とを用いて、ニューラルネットワークベースで、ユーザが主観的に感じる質を評価するものである。以下、この手法について詳細に説明する。
[2 学習用データセットの作成]
 まず、前述のとおり、本実施形態に係る物件評価装置はニューラルネットワークベースで評価をおこなうため、当該ニューラルネットワークを学習させるための学習用データセットを用意する必要がある。学習用データセットの作成方法は種々考えられるが、例えば、多数の間取り画像を無作為に用意し、各々の画像に対し、評価者に主観的な質を評価させる方法が考えられる。主観的な質を評価する評価項目としては、例えば、以下の9つの評価尺度に関する評価項目を考えることができるが、これらに限られるものではない。
(1)開放感(Spaciousness):間取りは広々として開放的か。
(2)現代的(Modernity):間取りの印象がモダンで現代的か。
(3)高級感(Luxuriance):高級感があり、家賃が高額そうか。
(4)動線・配置(Connectivity):連結性、隣接性(adjacency)、及び居住者のための部屋の配置や回遊性(circulation)が効率的で、快適そうか。
(5)水回り(Wet Areas):キッチン、浴室、トイレの動線(traffic paths)が良いか。
(6)収納(Storage):収納スペースの位置や大きさが良好か。
(7)風通し(Airflow):間取り内の風通しが全体的に良好か。
(8)日当り(Solar Exposure):間取り内の日当りは良好か。
(9)プライバシー(Privacy):部屋の配置や隣接性は、各家族のプライバシーに十分配慮されているか。
 上記評価項目のうち、(1)~(3)が印象に関する評価項目、(4)~(6)が機能性に関する評価項目、(7)~(9)が間取りの環境基準に関する評価項目である。性別及び年齢層の異なる様々な評価者に、これらの評価項目の各々について例えば5段階で評価を求める。その上で、得られた評価値の評価者間での平均値(mean values)を全ての間取りで標準化(standardize)し、例えば-1~1の間で正規化(normalize)することにより得られる評価値を、間取りに対する各評価項目の評価値とすることができる。図2は、ある間取りに対し、各評価項目に対して得られる評価値の例である。図2の例では、評価者間でのばらつきの程度(degree of variability)は、各棒グラフにエラーバー(error bar)で示されている。さらに、これらの評価項目の評価値の平均値を標準化及び正規化することで、総合的な評価値(以下、「トータルスコア」ともいう。)を得ることができる。
 また、間取りは、部屋を表すノードと、部屋間のつながりを表すエッジを持つグラフ構造として表現することもできる。図3に、図1に示した間取りをグラフ構造として表現した例を示す。間取りには、例えば、壁、寝室(図3の例ではwbed)、和室(同tatami)、ダイニング・キッチン(同dk)、トイレ(同wc)、バスルーム(同bath)、洗面所(同wash)、バルコニー、玄関(同entrance)、廊下(corridor)、階段、クローゼット(同cl)、ドア、窓等の要素が含まれる。図3の例ではこのような要素のうち、壁、ドア、窓を除く要素がノードとして表現され、また、要素間が接続されている(ユーザが行き来できる)場合には各ノード間がエッジにより接続されている。なお、グラフ構造は、ユーザが間取り画像を見て適宜作成することも可能であるが、図7を参照しながら後述するように、学習により間取り画像からグラフ構造を自動生成するプログラムを用意しても良い。
 また、間取り画像に対し、寝室、和室、ダイニング等の要素(以下、セグメントともいう。)をセグメント毎に塗り直した間取り画像(以下、セグメント間取り画像ともいう。)を用意することもできる。当該セグメント間取り画像も、ユーザが間取り画像をみて適宜作成するようにしても良いし、図7を参照しながら後述するように、学習により間取り画像から自動生成するプログラムを用意することもできる。
 このようにして、間取り画像、当該間取り画像をセグメント毎に色分けしなおしたセグメント間取り画像、当該間取りのグラフ構造、及び、評価値からなる学習用データセットを作成することができる。
[3 物件評価装置の機能構成]
 以下、図4を参照しながら、本実施形態に係る物件評価装置1の機能構成を説明する。図4に示すとおり、物件評価装置1は、大きく分けて構造データ処理部100と、画像データ処理部200と、演算処理部300と、評価出力部400とを含む。なお、図4の例では1つのモデルしか図示していないが、上記9つの評価項目及びトータルスコアの計10の評価項目に対し、各々個別に計10のモデルを用意することができる。
[3.1 構造データ処理部100]
 構造データ処理部100は、間取りの構造グラフ等を評価するものであり、メタデータ入力部110、特徴ベクトル生成部120、構造グラフ入力部130、顕在サブグラフベクトル生成部140、水回りサブグラフベクトル生成部150、MCS(Maximum Common Subgraph)グラフ類似度ベクトル生成部160、演算処理部171、及び演算処理部173を含む。
[3.1.1 メタデータに係る処理]
 メタデータ入力部110及び特徴ベクトル生成部120は、間取りのメタデータに関する処理を行う。
 メタデータ入力部110は、評価対象の間取りに係る部屋タイプ毎の面積及び数の値を、評価対象の間取りに係るメタデータとして受ける。なお、当該メタデータは、ユーザが間取り画像を見て適宜作成することも可能であるが、図7を参照しながら後述するように、学習により間取り画像からメタデータを自動生成するプログラムを用意することもできる。
 特徴ベクトル生成部120は、評価対象の間取りに係るメタデータとして入力される部屋タイプ毎の面積と数を多数の間取りの値に基づき標準化し、部屋タイプの面積及び数を表す特徴ベクトル(feature vectors)を生成する。この際、特徴ベクトルは、たとえば、学習用データセットに含まれる各間取りに対し、特徴ベクトルの分布が平均値0、標準偏差1となるように標準化することができる。特徴ベクトルの次元は任意であるが、例えば35次元とすることが考えられる。また、特徴ベクトルに、面積及び数以外の要素を含むことも考えられる。
[3.1.2 構造グラフに係る処理]
 構造グラフ入力部130、顕在サブグラフベクトル生成部140、水回りサブグラフベクトル生成部150、及びMCSグラフ類似度ベクトル生成部160は、間取りの構造グラフ(図3に例示)に対する処理を行う。
[3.1.2.1 構造グラフ入力部130]
 構造グラフ入力部130は、評価対象の間取りに対し用意された構造グラフの入力を受ける。先述の通り、構造グラフは、ユーザが間取り画像を見て適宜作成するようにしても良いし、学習により間取り画像から自動生成するプログラムを用意することもできる。
[3.1.2.2 顕在サブグラフベクトル生成部140]
 顕在サブグラフベクトル生成部140は、評価対象の間取りの構造グラフに、評価スコアの高低に寄与すると考えられる複数かつ所定のサブグラフが含まれるか否かを表す顕在サブグラフ(emerging subgraph)ベクトルを生成する。
 ここで、顕在サブグラフベクトル生成部140が含まれるか否かを判定する対象となるサブグラフは、重要度が高く、評価スコアの高低に寄与すると考えられるものが望ましい。判定対象のサブグラフは、例えば、以下のような手順により生成することができる。
 まず、学習用データセットを構成する各間取りの構造グラフから、一定数以上(たとえば、学習用データ数1000に対し、5つ以上)の間取りで含まれるサブグラフを抽出する。なお、以下「10%」や「0.25」等の具体的な値を用いて説明するが、これらはあくまでも例示であり、異なる値を用いることができることは言うまでもない。
 次に、上記評価項目(ここでは9つの評価項目)とトータルスコアの10の評価値について、各々、評価値が上下10%の構造グラフに含まれる共通のサブグラフを抽出し、それらを合計20のクラス(評価項目10×上下2クラス)に分離する。さらに、その中でも最小支持閾値(minimum support threshold)以上の構造グラフが有するサブグラフのみを抽出し、評価値の上位10%からなる10クラスに属するサブグラフについては、そのクラスに関する質問項目の平均評価点(average evaluation score)を0.25以上となるサブグラフを抽出する。同様に、評価値の下位10%からなる10クラスに属するサブグラフについては、そのクラスに関する質問項目の平均評価点が0.25以下となるサブグラフを抽出する。
 上記20クラスの中から、さらに関連性が高く意味のある共通サブグラフを抽出するため、TF-IDF(Term Frequency - Inverse Document Frequency)を用いる。より具体的には、サブグラフに識別番号(identification numbers)を付与し、当該識別番号を20の異なる文書の中の単語とみなしたうえで、TF-IDFの値を計算することで、各クラスの集合の中で、各サブグラフがクラスにどれだけ関連性があるかを評価することができる。得られたTF-IDFの重み(TF-IDF weights)を元に、各クラスの質問項目毎に、間取りの上位10%又は下位10%に関連するサブグラフを抽出する。これにより、評価値の良し悪しにあまり貢献しない追加ノードを有するサブグラフを除外することができる。
 最後に、抽出された全てのサブグラフを、各クラスの平均評価値に基づきソートし、20クラスの各々に対し、上位15個のサブグラフを得ることにより、合計300個のサブグラフを抽出する。そして、それらの重複を排除することにより、評価値の算出への貢献の大きいサブグラフを得ることができる。ここでは、176のサブグラフが得られるものとする。
 顕在サブグラフベクトル生成部140は、前述のとおり、評価対象の間取りの構造グラフに、これらの176のサブグラフの各々が含まれるか否か判定し、その有無をそれぞれ1又は0で表現することにより、176次元の顕在サブグラフベクトルを生成する。
 サブグラフの例を、図5A及び図5Bに示す。図5Aの例は、ダイニング・キッチンとトイレをノードとし、両者をエッジで接続したサブグラフ、図5Bの例は、ダイニング・キッチン、寝室、バルコニーをノードとし、各々をエッジで接続したサブグラフである。この2つのサブグラフに基づき2次元の顕在サブグラフベクトルを生成するのであれば、顕在サブグラフベクトルは(1,0)となる。
[3.1.2.3 水回りサブグラフベクトル生成部150]
 ダイニング・キッチン、洗面所、バスルーム、トイレ等の水回り(wet area)は、個人的な空間であるため特に重要である。そこで、水回りサブグラフベクトル生成部150は、評価対象の間取りの構造グラフに、評価スコアの高低に寄与すると考えられる複数かつ所定の水回りサブグラフが含まれるか否かを表す水回りサブグラフベクトルを生成する。
 含まれるか否かの判定対象となる水回りサブグラフの抽出方法は種々考えられるが、例えば、以下のような方法が考えられる。まず、ダイニング・キッチン、洗面所、バスルーム、トイレの4つのノードを接続するサブグラフを、学習用データセットを構成する各間取りの構造グラフから抽出する。このとき、これらの4つのノードを含む水回りサブグラフを形成するために廊下等の別のノード(以下「ブリッジノード」ともいう。)を追加する必要がある場合には、ブリッジノードを水回りサブグラフに含める。このようにして抽出された水回りサブグラフの内、出現頻度の高い水回りサブグラフを所定数(例えば45個)抽出する。
 水回りサブグラフベクトル生成部150は、評価対象の間取りの構造グラフに、これらの45の水回りのサブグラフの各々が含まれるか否かを判定し、その有無をそれぞれ1又は0で表現することにより、例えば45次元の水回りサブグラフベクトルを生成する。
[3.1.2.4 MCSグラフ類似度ベクトル生成部160]
 MCSグラフ類似度ベクトル生成部160は、評価対象の間取り全体に係る構造グラフと、学習用データセットに含まれる所定数(例えば900)の各間取りに係る構造グラフとのグラフ類似度に係る類似度ベクトルを生成する。本実施形態では、グラフ類似度として最大共通サブグラフ(Maximum Common Subgraph)類似度を使用する。より具体的には、MCSグラフ類似度ベクトル生成部160は、評価対象の間取りに係る構造グラフと、学習用データセットに含まれる例えば900個の各間取りに係る構造グラフとの間で、各々MCS類似度を算出することにより、900次元の類似度ベクトルを生成する。これにより、評価対象の間取りに係る構造グラフの全体から間取りの大域的な構造(global structure)に関する特徴量を抽出することが可能である。
 なお、本実施形態ではMCSグラフ類似度をグラフ間の類似度を算出するために使用しているが、他の手法によりグラフ類似度を算出しても良い。
[3.1.3 演算処理部171及び演算処理部173]
 演算処理部171及び演算処理部173は、上記特徴ベクトル生成部120により生成された特徴ベクトル、顕在サブグラフベクトル生成部140により生成された顕在サブグラフベクトル、水回りサブグラフベクトル生成部150により生成された水回りサブグラフベクトル、及びMCSグラフ類似度ベクトル生成部160により生成された類似度ベクトルに対する演算処理を行う。
 MCSグラフ類似度ベクトル生成部160により生成された、例えば900次元の類似度ベクトルは、演算処理部171のLeakyReLUを活性化関数として用いたFC層(Fully Connected Layer)により、例えば256次元にまず低次元化される。その上で、演算処理部171は、例えば256次元の当該ベクトルに対し、バッチ正規化(Batch Normalization)及びLeakyReLU(Rectified Linear Unit)活性化関数(activation function)による演算をおこない、ドロップアウト層(Dropout Layer)により一般化を向上させた(improve generalization)ベクトルを生成する。
 上記特徴ベクトル生成部120により生成された例えば35次元の特徴ベクトル、顕在サブグラフベクトル生成部140により生成された例えば176次元の顕在サブグラフベクトル、水回りサブグラフベクトル生成部150により生成された例えば45次元の水回りサブグラフベクトルは、1つの256次元(35次元+176次元+45次元)の特徴ベクトルとして連結された上で、演算処理部171から出力されたベクトルと演算処理部173により加算される。演算処理部173は、加算されたベクトルに対し、FC層及びドロップアウト層による演算を施すことにより、構造データに対する評価を表す256次元のベクトルを生成する。演算処理部173が生成した、構造データに係る評価を表すベクトルは、後述の演算処理部300へ出力される。
[3.2 画像データに係る処理]
 画像データ処理部200は、間取り画像を評価するものであり、間取り画像入力部210、セグメント間取り画像入力部220、画像演算部231及び233、演算処理部240を含む。
[3.2.1 間取り画像入力部210、セグメント間取り画像入力部220]
 画像データ処理部200は、間取り画像入力部210及びセグメント間取り画像入力部220から、それぞれ間取り画像、及び、セグメント間取り画像の2種類の画像を入力とする。ここで、間取り画像は、不動産業者等により作成されたものを大きさのみ正規化したもの(例えば、224×224のRGB画像)であり、セグメント間取り画像は、間取り画像を、間取りを構成する部屋等のセグメント毎に一貫したルールに基づき色分けし直したものである。すなわち、セグメント間取り画像では、ダイニング・キッチン、浴室、廊下等のセグメント毎にそれぞれ割り当てられた異なる色に塗り分けられる。セグメント間取り画像の大きさは、間取り画像と同様、同じサイズ(例えば、224×224のRGB画像)に正規化される。先述のとおり、セグメント間取り画像は、ユーザが間取画像を見て適宜作成するようにしても良いし、学習により間取り画像から自動生成するプログラムを用意することもできる。
[3.2.2 画像演算部231及び画像演算部233]
 画像演算部231は、まず、間取り画像入力部210から入力された間取り画像(例えば224×224×3(=RGB3色))を入力とし、例えばImageNet上で事前学習した特徴抽出器として用いられる畳み込みニューラルネットワークであるResNet50を用いて、グローバル平均プーリング(Global Average Pooling(GAP))を施したpool5層の2048次元ベクトルを間取り画像の特徴ベクトルとして抽出する。画像演算部231は、当該特徴ベクトルに対しFC層及びドロップアウト層を追加したのち、LeakyReLU関数を用いて256次元のベクトルを出力する。
 画像演算部233も、セグメント間取り画像入力部220から入力されたセグメント間取り画像に対し、画像演算部231と同様の演算をおこなうことにより、256次元のベクトルを出力する。
[3.2.3 演算処理部240]
 演算処理部240は、画像演算部231及び画像演算部233から出力されたベクトルを加算したうえで、FC層及びドロップアウト層による演算を施すことにより、画像データに基づく評価を表す256次元のベクトルを生成する。演算処理部240が生成した画像データに係る評価を表すベクトルは、後述の演算処理部300へ出力される。
[3.3.3 演算処理部300及び評価出力部400]
 演算処理部300は、構造データ処理部100から出力される構造データに係る評価を表すベクトル(例えば256次元)と、画像データ処理部200から出力される画像データに対する評価を表すベクトル(例えば256次元)とを加算し、LeakyReLU関数による活性化及びドロップアウト処理を行った後、FC層により1次元に低次元化し、評価出力部400はこの演算結果を、当該モデルが対象とする評価項目の評価値として出力する。
[4 ハードウェア構成の具体例]
 以下、図6を参照しながら、物件評価装置1のハードウェア構成の具体例を示す。図6に示すように、物件評価装置1は、制御部601と、通信インタフェース(I/F)部605と、記憶部607と、表示部611と、入力部613とを含み、各部はバスライン615を介して接続される。
 制御部601は、CPU(Central Processing Unit。図示せず)、GPU(Graphics Processing Unit。図示せず)、ROM(Read Only Memory。図示せず)、RAM(Random Access Memory)603等を含む。制御部601は、記憶部607に記憶される制御プログラム609を実行することにより、一般的なコンピュータとしての機能に加え、上述した物件評価処理を実現可能に構成される。例えば、図4を参照しながら説明した構造データ処理部100、画像データ処理部200、演算処理部300、及び評価出力部400は、RAM603に一時記憶された上で、CPUおよびGPU上で動作する制御プログラム609として実現可能である。
 また、RAM603は、制御プログラム609に含まれるコードの他、評価対象の間取りに関する各種データや学習データセットの一部又は全部を一時的に保持しうる。さらにRAM603は、CPUが各種処理を実行する際のワークエリアとしても使用される。
 通信I/F部605は、例えばユーザの操作するユーザ端末等の他の情報処理装置との間で、有線又は無線によりデータ通信するためのデバイスである。評価対象の間取りの入力や、図4に係る制御プログラム609を学習させるための学習データセットの入力等は、例えば通信I/F部605が行うことができる。
 記憶部607は、例えばHDD(Hard Disk Drive)やフラッシュメモリ等の不揮発性の記憶媒体である。記憶部607は、一般的なコンピュータとしての機能を実現するためのオペレーティングシステム(OS)やアプリケーション、及びデータ(図示せず)を記憶する。また記憶部607は、制御プログラム609を記憶する、前述のとおり、図4に示した構造データ処理部100、画像データ処理部200、演算処理部300、及び評価出力部400は、RAM603に一時記憶された上で、CPUおよびGPU上で動作する制御プログラム609により実現することができる。
 表示部611は、ユーザに情報を提示するためのディスプレイ装置である。表示部611の具体例としては、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等が挙げられる。入力部613は、ユーザから入力を受け付けるためのデバイスである。入力部613の具体例としては、キーボードやマウス、タッチパネル等を挙げることができる。
 なお、表示部611及び入力部613は、USB(Universal Serial Bus)やディスプレイポート等の各種インタフェースを介して外部から物件評価装置1へ接続されても良い。
[5 本実施形態に係る効果]
 本実施形態に係る物件評価装置1は、例えばマンションや一戸建て等である物件を、間取り画像及び間取りのグラフ表現にもとづく評価を、ニューラルネットワークベースでおこなうことにより、住み心地等の主観的な質を評価することができる。特に、物件評価装置1は、住み心地の評価に影響を与える顕在サブグラフの有無や、水回り構造の有無、全体的な間取りといった構造面での評価、及び、画像そのものに対する評価の両者を考慮することにより、高い精度で住心地に係る評価を可能としている。
[6 その他の実施形態(1)]
 上記実施形態では、物件評価装置1は、間取り画像に加え、セグメント間取り画像、間取りの構造を表す構造グラフ、及びメタデータの入力を受けることとして説明していたが、これに限られるものではない。
 例えば図7に示すとおり、セグメント間取り画像生成部250、構造グラフ生成部180、及びメタデータ生成部190を有することにより、間取り画像入力部210にて間取り画像の入力は受けるものの、当該間取り画像にもとづき、セグメント間取り画像生成部250にてセグメント間取り画像を、構造グラフ生成部180により構造グラフと、メタデータ生成部190によりメタデータを、それぞれ自動生成しても良い。セグメント間取り画像生成部250、構造グラフ生成部180、及びメタデータ生成部190は、元となる間取り画像と、正解データとなるセグメント間取り画像、構造グラフ、及びメタデータとを含む学習データセットを用意し、それをニューラルネットワーク等の機械学習器に学習させることにより、生成することが可能である。
 このようにすることで、ユーザは間取り画像さえ用意すれば、当該間取りに対する評価を行うことが可能となる。
 また、上記実施形態では、物件評価装置1は、間取り画像、セグメント間取り画像、間取りの構造を表す構造グラフ、及びメタデータの4種類のデータに対する評価をおこなったが、必ずしも全てのデータを評価に利用する必要はなく、そのうちのいくつかを組み合わせて用いることも考えられる。あるいは、画像及び構造データ以外のデータに基づく評価処理を物件評価装置1に含んでも良い。
[7 その他の実施形態(2)]
 上記実施形態の構造データ処理部100は、入力され、または自動生成された構造グラフから、顕在サブグラフ、水回りサブグラフベクトル、類似度ベクトルを生成して構造データに対する評価を表すベクトルを生成した。これらの演算処理には、予め、評価スコアの高低に寄与すると考えられる部分的な構造グラフを用意したり、アンケート等により評価が定まった構造グラフをその評価値と共にベクトル化したりする前処理が必要であった。このような前処理に係るデータ収集や評価判断は、作業者の価値観や評価基準が入り込むことがあった。もちろん、作業者の価値観や評価基準を反映させることにより評価結果を能動的に調整することもできるので、評価結果を特定の用途に用いる場合などにおいては好ましい場合もある。一方で、より客観的な評価結果を期待する場合には、このような作業者の影響をできる限り省くことが望ましい。また、評価結果が作業者の価値観や評価基準に傾斜しすぎないよう、前処理を施して得た評価結果に客観的な評価結果を組み合わせたい場合もある。
 そこで、より客観的な評価結果を得る手法の一つとして、本実施形態においては学習済みのグラフニューラルネットワークを採用する。より具体的には、例えば、間取りに対する上述の(1)から(9)の評価項目に総合評価を加えた10項目に対してアンケートによって得られた各評価値を、アンケート対象とした物件の構造グラフに正解データとして関連付けた学習データを多数用意する。そして、これらの学習データを教師あり学習の手法により学習させ、入力された構造グラフに対する評価ベクトルを出力する学習済みのグラフニューラルネットワークを得る。本実施形態において採用し得るグラフニューラルネットワークの例としては、GCN(Graph Convolution Networks)や、GGNN(Gated graph neural network)が挙げられる。
 図8は、このように得た学習済みのグラフニューラルネットワークを採用した物件評価装置の機能構成を示すブロック図である。具体的には、図7に示した物件評価装置に加えてグラフ演算部161を備える。グラフ演算部161は、構造グラフ生成部が生成した構造グラフを学習済みのグラフニューラルネットワーク(GNN)へ入力して演算処理を実行する。その結果、入力した構造データに対する評価を表す評価ベクトルを得る。
 構造データ処理部100は、演算処理部173で得られた評価ベクトルと、グラフ演算部161が出力した評価ベクトルとを加算して演算処理部300へ引き渡す。なお、両評価ベクトルを加算する場合に、演算処理部300が受容する次元数に応じて低次元化する演算処理を施してもよい。
 このような機能構成を有する物件評価装置によれば、演算処理部173から得られる評価ベクトルにグラフ演算部161が出力する評価ベクトルを組み合わせることができるので、構造データ処理部100は、作業者の価値観や評価基準に傾斜しすぎない、より客観的な評価ベクトルを演算処理部300へ引き渡すことができる。
 なお、学習済みのグラフニューラルネットワークを採用した物件評価装置の機能構成は、図8の例に限らない。図8の例では、顕在サブグラフ140、水回りサブグラフベクトル生成部150、MCSグラフ類似度ベクトル生成部160、グラフ演算部161のそれぞれが、構造グラフ生成部180が生成した構造グラフを用いて評価ベクトルを生成するための演算を行うが、例えば、水回りサブグラフベクトル生成部150やMCSグラフ類似度ベクトル生成部160を省いても構わない。また、メタデータ生成部190及び特徴ベクトル生成部120から評価ベクトルを生成する構成を省いても構わない。物件評価装置1を適用する対象物件群やユーザの利用態様等に応じて、いずれの評価ベクトルを生成させるかを適宜決定すればよい。したがって、図8に示す物件評価装置1は図7に示した物件評価装置にグラフ演算部161を加える構成であったが、物件評価装置は、図4に示した物件評価装置にグラフ演算部161を加える構成であっても構わないし、一部の生成部を省いた構成であっても構わない。また、グラフニューラルネットワークは、学習済みモデルではなく、パラメータをランダムに設定したモデルを用いてもよい。
[8 その他の実施形態(3)]
 次に、図4を用いて説明した実施形態の変形例に係る物件評価装置1’について説明する。図9は、図4に示す実施形態の変形例に係る物件評価装置の機能構成を示すブロック図である。以下においては、図4の実施形態に係る物件評価装置1と異なる構成について説明する。他の構成については、概ね物件評価装置1と同様である。
 図4を用いて説明した演算処理部171及び演算処理部173とその周辺については、以下のように構成し得る。すなわち、MCSグラフ類似度ベクトル生成部160により生成された、例えば900次元の類似度ベクトルは、FC層(Fully Connected Layer)により、例えば256次元に低次元化される。
 上記特徴ベクトル生成部120により生成された例えば30次元の特徴ベクトルはFC層を通って256次元に変換され、顕在サブグラフベクトル生成部140により生成された例えば230次元の顕在サブグラフベクトル、水回りサブグラフベクトル生成部150により生成された例えば40次元の水回りサブグラフベクトルは、1つの272次元(230次元+40次元)の特徴ベクトルとして連結された上で同様にFC層を通って256次元に変換された上で、演算処理部173により加算される。演算処理部173は、加算されたベクトルに対し、FC層及びドロップアウト層による演算を施すことにより、構造データに対する評価を表す256次元のベクトルを生成する。演算処理部173が生成した、構造データに係る評価を表すベクトルは、後述の演算処理部300へ出力される。
 また、図4を用いて説明した演算処理部300及び評価出力部400とその周辺については、以下のように構成し得る。すなわち、演算処理部300は、構造データ処理部100から出力される構造データに係る評価を表すベクトル(例えば256次元)と、画像データ処理部200から出力される画像データに対する評価を表すベクトル(例えば256次元)とを加算し、FC層による変換及びドロップアウト処理を行った後、別のFC層により1次元に低次元化し、評価出力部400はこの演算結果を、当該モデルが対象とする評価項目の評価値として出力する。このような変形例においても物件評価装置を構成することができる。また、図8を用いて説明したグラフニューラルネットワークを採用した物件評価装置についても、対応箇所を同様に変更し得る。
[9 その他の変形例]
 また、以上説明した各実施形態においては、画像データ処理部200が、間取り画像入力部210から評価ベクトルを生成する系統と、セグメント間取り画像入力部220またはセグメント間取り画像生成部250から評価ベクトルを生成する系統の両系統を含む構成であったが、一方の系統のみを含む構成であっても構わない。間取り画像入力部210は、例えば物件の販売業者がカタログ等に掲載した間取り図をスキャンして切り出しただけの未加工画像を入力するが、そのような未加工画像から得られる評価結果を単独で、構造データ処理部100から得られる評価結果と組み合わせる方が、人の感覚的な評価に近づく場合もある。逆に、業者がカタログ等に掲載した間取り図をスキャンした未加工画像からテクスチャーや文字情報を除去し、部屋のセグメント毎に塗りつぶした加工画像から得られる評価結果を単独で構造データ処理部100から得られる評価結果と組み合わせる方が、人の感覚的な評価に近づく場合もある。すなわち、画像データ処理部200の構成についても、利用する間取り画像の特徴や対象物件群の性質等に応じて適宜決定すればよい。
[10 付記]
 なお、上述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は上述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
1…物件評価装置、100…構造データ処理部、110…メタデータ入力部、120…特徴ベクトル生成部、130…構造グラフ入力部、140…顕在サブグラフベクトル生成部、150…水回りサブグラフベクトル生成部、160…MCSグラフ類似度ベクトル生成部、161…グラフ演算部、171…演算処理部、173…演算処理部、180…構造グラフ生成部、190…メタデータ生成部、200…画像データ処理部、210…間取り画像入力部、220…セグメント間取り画像入力部、231…画像演算部、233…画像演算部、240…演算処理部、250…セグメント間取り画像生成部、300…演算処理部、400…評価出力部、601…制御部、603…RAM、605…通信インタフェース(I/F)部、607…記憶部、609…制御プログラム、611…表示部、613…入力部、615…バスライン
 
 

Claims (12)

  1.  評価対象の物件に係る対象間取りの間取り画像の入力を受け、機械学習器を用いて所定の評価尺度に係る第1評価ベクトルを生成する画像評価部と、
     前記対象間取りの部屋及び部屋間の接続がノード及びエッジとして表現される対象グラフ構造に対する演算処理により、前記所定の評価尺度に係る第2評価ベクトルを生成する構造評価部と、
     前記第1評価ベクトルと前記第2評価ベクトルを用いて前記所定の評価尺度に係る評価値を出力する出力部と
    を備える情報処理装置。
  2.  前記構造評価部は、前記対象グラフ構造に、間取り構造の一部を表す複数種のサブグラフが含まれるか否かを各々判定することにより顕在サブグラフベクトルを生成する第1生成部を含み、
     前記顕在サブグラフベクトルに対する演算処理により、前記第2評価ベクトルを生成する、
    請求項1記載の情報処理装置。
  3.  前記構造評価部は、前記対象グラフ構造に、水回りに係る間取り構造を表す複数種の水回りサブグラフが含まれるか否かを各々判定することにより水回りサブグラフベクトルを生成する第2生成部を含み、
     前記水回りサブグラフベクトルに対する演算処理により、前記第2評価ベクトルを生成する、
    請求項1又は請求項2記載の情報処理装置。
  4.  前記構造評価部は、複数の間取りをそれぞれ表す所定の複数種のグラフ構造と、前記対象グラフ構造との類似度を各々演算することにより類似度ベクトルを生成する第3生成部を含み、
     前記類似度ベクトルに対する演算処理により、前記第2評価ベクトルを生成する、
    請求項1乃至請求項3のいずれか1項記載の情報処理装置。
  5.  前記構造評価部は、前記対象間取りに含まれる部屋の種類毎の数及び面積を含むメタデータを表す特徴ベクトルを生成する第4生成部を含み、
     前記特徴ベクトルに対する演算処理により、前記第2評価ベクトルを生成する、
    請求項1乃至請求項4のいずれか1項記載の情報処理装置。
  6.  前記間取り画像から前記メタデータを生成するメタデータ生成部
    をさらに備える、請求項5記載の情報処理装置。
  7.  前記間取り画像から前記対象グラフ構造を生成するグラフ構造生成部
    をさらに備える、請求項1乃至請求項6のいずれか1項記載の情報処理装置。
  8.  前記構造評価部は、グラフニューラルネットワークへ前記対象グラフ構造を入力して演算することにより、前記第2評価ベクトルを生成する、
     請求項1から7のいずれか1項に記載の情報処理装置。
  9.  前記画像評価部は、
     前記間取り画像に対する特徴抽出器である前記機械学習器を用いて第1画像ベクトルを生成する第1画像演算部と、
     前記間取り画像をセグメント毎に塗り分けたセグメント間取り画像に対する特徴抽出器である前記機械学習器を用いて第2画像ベクトルを生成する第2画像演算部と
    を含み、前記第1画像ベクトル及び前記第2画像ベクトルを用いて前記第1評価ベクトルを生成する、
    請求項1乃至請求項8のいずれか1項記載の情報処理装置。
  10.  前記間取り画像から前記セグメント間取り画像を生成するセグメント間取り画像生成部
    をさらに備える、請求項9記載の情報処理装置。
  11.  評価対象の物件に係る対象間取りの間取り画像の入力を受け、機械学習器を用いて所定の評価尺度に係る第1評価ベクトルを生成するステップと、
     前記対象間取りの部屋及び部屋間の接続がノード及びエッジとして表現される対象グラフ構造に対する演算処理により、前記所定の評価尺度に係る第2評価ベクトルを生成するステップと、
     前記第1評価ベクトルと前記第2評価ベクトルを用いて前記所定の評価尺度に係る評価値を出力するステップと
    を情報処理装置が行う情報処理方法。
  12.  評価対象の物件に係る対象間取りの間取り画像の入力を受け、機械学習器を用いて所定の評価尺度に係る第1評価ベクトルを生成する処理と、
     前記対象間取りの部屋及び部屋間の接続がノード及びエッジとして表現される対象グラフ構造に対する演算処理により、前記所定の評価尺度に係る第2評価ベクトルを生成する処理と、
     前記第1評価ベクトルと前記第2評価ベクトルを用いて前記所定の評価尺度に係る評価値を出力する処理と
    をコンピュータに実行させるためのプログラム。
     
     
PCT/JP2021/033718 2020-09-16 2021-09-14 情報処理装置、情報処理方法及びプログラム WO2022059670A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022550562A JPWO2022059670A1 (ja) 2020-09-16 2021-09-14

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020155588 2020-09-16
JP2020-155588 2020-09-16

Publications (1)

Publication Number Publication Date
WO2022059670A1 true WO2022059670A1 (ja) 2022-03-24

Family

ID=80776102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/033718 WO2022059670A1 (ja) 2020-09-16 2021-09-14 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2022059670A1 (ja)
WO (1) WO2022059670A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024070586A1 (ja) * 2022-09-27 2024-04-04 富士フイルム株式会社 建物データ処理装置及び方法並びに建物データ構造
JP7466940B2 (ja) 2022-09-08 2024-04-15 アットホームラボ株式会社 間取り図画像を処理する情報処理装置、情報処理方法及び情報処理プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KATO NAOKI, YAMASAKI TOSHIHIKO, AIZAWA KIYOHARU, OHAMA TAKEMI: "Users' Preference Prediction of Real Estate Properties Based on Floor Plan Analysis", IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, INFORMATION & SYSTEMS SOCIETY, TOKYO., JP, vol. E103.D, no. 2, 1 February 2020 (2020-02-01), JP , pages 398 - 405, XP055912138, ISSN: 0916-8532, DOI: 10.1587/transinf.2019EDP7146 *
NARAHARA, TARO; WANG, XUETING; YAMASAKI, TOSHIHIKO: "2P6-GS-13-05 Construction and Analysis of a Large-scale Attractiveness Dataset for Real Estate Floor Plans", PROCEEDINGS OF THE 34TH ANNUAL CONFERENCE (2020) OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE (JSAI); JUNE 9-12, 2020, vol. 34, 12 June 2020 (2020-06-12) - 12 June 2020 (2020-06-12), pages 1 - 4, XP009535437 *
YAMASAKI, TOSHIHIKO: "Attractiveness computing in real estate tech using IoT", JOURNAL OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, vol. 32, no. 4, 1 July 2017 (2017-07-01), pages 536 - 541, XP009535212 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7466940B2 (ja) 2022-09-08 2024-04-15 アットホームラボ株式会社 間取り図画像を処理する情報処理装置、情報処理方法及び情報処理プログラム
WO2024070586A1 (ja) * 2022-09-27 2024-04-04 富士フイルム株式会社 建物データ処理装置及び方法並びに建物データ構造

Also Published As

Publication number Publication date
JPWO2022059670A1 (ja) 2022-03-24

Similar Documents

Publication Publication Date Title
Varma et al. House price prediction using machine learning and neural networks
WO2022059670A1 (ja) 情報処理装置、情報処理方法及びプログラム
Zhang et al. User-centered interior finishing material selection: An immersive virtual reality-based interactive approach
Chun Lin et al. Effectiveness comparison of the residential property mass appraisal methodologies in the USA
Książek et al. Computer-aided decision-making in construction project development
Ioannides et al. Interactions, neighborhood selection and housing demand
Oke et al. Students’ satisfaction with hostel accommodations in higher education institutions
US11682052B2 (en) Machine learning systems and methods for determining home value
JP6661193B2 (ja) 情報処理装置及び情報処理方法
Bhat A comprehensive dwelling unit choice model accommodating psychological constructs within a search strategy for consideration set formation
CN109961178B (zh) 户型改造信息的获取方法及装置
Lam et al. An artificial neural network and entropy model for residential property price forecasting in Hong Kong
CN110770782A (zh) 对住宅房地产布局数据进行收集、搜索、评价和排名的系统和方法
Abastante et al. The introduction of the SRF-II method to compare hypothesis of adaptive reuse for an iconic historical building
Liu et al. Implementation and evaluation of tourism industry: Evidentiary case study of night market development in Taiwan
Zhang et al. Integrated framework of knowledge-based decision support system for user-centered residential design
Mim et al. F-commerce and Urban Modernities: The Changing Terrain of Housing Design in Bangladesh
Narahara et al. Subjective functionality and comfort prediction for apartment floor plans and its application to intuitive online property search
Strug Automatic design quality evaluation using graph similarity measures
Winnicka-Jasłowska Quality analysis of Polish universities based on POE method-description of research experiences
JP7230288B1 (ja) 学習モデル
JP7160295B1 (ja) 学習モデルの生成方法、情報処理装置、情報処理方法、コンピュータプログラム
Uddin et al. Thermal and visual comforts of occupants for a naturally ventilated educational building in low-income economies: A machine learning approach
US20230360153A1 (en) Sell prediction device, sell prediction method, and recording medium
Garg et al. Identifying and modelling the factors of customer experience towards customers’ satisfaction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21869356

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022550562

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21869356

Country of ref document: EP

Kind code of ref document: A1