WO2024021359A1 - 基于图像脑敏感数据的建成环境主导色测度方法和系统 - Google Patents

基于图像脑敏感数据的建成环境主导色测度方法和系统 Download PDF

Info

Publication number
WO2024021359A1
WO2024021359A1 PCT/CN2022/130220 CN2022130220W WO2024021359A1 WO 2024021359 A1 WO2024021359 A1 WO 2024021359A1 CN 2022130220 W CN2022130220 W CN 2022130220W WO 2024021359 A1 WO2024021359 A1 WO 2024021359A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
dominant color
environment
image
dominant
Prior art date
Application number
PCT/CN2022/130220
Other languages
English (en)
French (fr)
Inventor
李哲
王立亚
韩笑
袁福甜
朱统一
黄若暄
高颖
曹银银
周正
赵恒毅
李洁
Original Assignee
东南大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东南大学 filed Critical 东南大学
Publication of WO2024021359A1 publication Critical patent/WO2024021359A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Definitions

  • the invention relates to the technical field of urban quality measurement, specifically a method and system for measuring dominant colors of built environment based on image brain sensitive data.
  • the dominant color of the built environment is an important part of environmental quality. It can usually effectively reveal the order and function of the built environment. It is considered to be a key clue to regional positioning and spatial organization, and plays an important role in improving the quality and efficiency of the environment. Due to the susceptibility and recognizability of environmental dominant colors themselves, environmental dominant colors can be effectively used in urban quality measurement tasks. For example, in urban renewal and protection, by optimizing the dominant color system of the built environment, measuring and improving The current situation of chaotic urban colors can be used to achieve a more unified and harmonious dominant color style of the old city; in terms of environmental planning and design, environmental standard colors can be established through environmental dominant color quality measurement, color design issues can be adjusted in a timely manner, and the planning and management level of the built environment can be improved.
  • the patent application number is CN202110987218.0, a street view image scoring method based on color distribution learning, which is based on machine learning and Street scene image scoring method for color distribution; for example, the patent application number is CN202110893036.7, a method and device for evaluating the color harmony of urban block buildings, which is based on the acquisition of architectural photo samples, photo color analysis, color area division, and beauty evaluation of the city.
  • a method to evaluate the color harmony of neighborhood buildings for example, the patent application number CN201910833403.7 is an urban landscape evaluation index calculation method based on artificial intelligence algorithms by establishing influence factor weights, collecting urban evaluation picture sets, landscape color richness scores, and factor targets Color landscape evaluation index calculation method based on evaluation function calculation.
  • the traditional environmental image evaluation process is cumbersome, the overall process cycle is too long, and the cost of manually identifying the quality of the dominant color of the environment is high, resulting in the inability to simultaneously feedback the dominant color information and affecting the accuracy and efficiency of the quality prediction of the dominant color of the environment. Therefore, when conducting environmental dominant color measurement analysis, existing technical methods suffer from basic data processing and analysis subjectivity, randomness, measurement model operation efficiency, accuracy and globality, etc., making it difficult to support complex and in-depth research on the dominant color measurement of the built environment.
  • a measurement method of the dominant color of the built environment combined with image brain sensitive data needs to be optimized, developed and applied in practice, which will help achieve accurate, multi-dimensional and holistic measurement of the dominant color of the built environment and environmental quality. analysis, thereby promoting the improvement of urban quality and efficiency.
  • the present invention provides a method and system for measuring the dominant colors of the built environment based on image brain sensitive data, which solves the problem of predicting the effect of non-linear models integrating multi-dimensional image color characteristics and environmental quality and traditional environmental images.
  • the evaluation process is cumbersome and the overall process cycle is too long, which results in the inability to synchronize feedback on dominant color information and affects the accuracy and efficiency of environmental dominant color quality prediction.
  • a method for measuring the dominant color of a built environment based on image brain-sensitive data includes:
  • obtaining the EEG data corresponding to the built environment image sample includes collecting EEG data of 1 built environment image sample for J subjects in the same laboratory environment, and obtaining I*J groups of EEG data, each The data volume of each group of data is n (d) , where d is the dominant color feature dimension of each group of data, and n is the number of EEG data samples collected in a single time.
  • the specific steps of calculating the body's sensitivity to the dominant color of the environment based on EEG data include:
  • E FT represents the brain electrical sensitivity index, 1 ⁇ k ⁇ 8, indicating the eight leads; P ⁇ (k), P ⁇ (k), and P ⁇ (k) are the leads ⁇ and ⁇ respectively. , the average relative power spectrum of theta frequency band;
  • the brain sensitivity index is dimensionless processed, specifically as follows:
  • Z j (i) represents the brain sensitivity of the j-th subject after dimensionless processing of the i-th image sample, and n represents the number of image samples;
  • the dominant color sensitivity values of the built environment are as follows:
  • the step of extracting dominant color feature parameters based on built environment image samples specifically includes:
  • S represents the sum of the distortion degrees of each color cluster
  • Q(n) represents the color value of the pixel
  • N represents the number of pixels in the color cluster
  • n represents the coordinates of the pixels in the environment image
  • d k represents the centroid of the k-th color
  • K represents the number of color clusters
  • r nk is a two-component, used to determine whether Q(n) belongs to the k-th color category
  • T k represents the number of pixels in the k-th color cluster
  • the image sample color extraction results obtain all color names associated with the image color cluster, and calculate the saturation, lightness, brightness, channel and color cluster color of the ⁇ k 1 , k 2 ,..., k j ⁇ th color category of the image sample
  • the area and perimeter of the block; the boundary of the color cluster color block is calculated from the average value of the pixel color, and is moderately smoothed to avoid measurement errors caused by simplified boundaries;
  • Color feature parameters of the environment including hue ratio, saturation ratio, brightness ratio, maximum color cluster area, color cluster area complexity, color cluster diversity, color cluster segmentation and similar color cluster spread;
  • H std represents the eigenvalue before normalization
  • H int represents the result of the eigenvalue after normalization
  • the specific steps of building a built environment dominant color measurement model and using sensitivity data and dominant color features as input for training include:
  • Hi represents the dominant color characteristic of the overall environment of the i-th image sample
  • yi represents the dominant color sensitivity value of the image sample
  • n represents the number of image samples
  • the Kaiser-Meyer-Olkin test and Bartlett spherical judgment are performed on the input feature parameters.
  • the step of inputting the environmental image to be analyzed into the trained model and obtaining the predicted dominant color sensitivity result specifically includes:
  • the hue ratio (HS), saturation ratio (BS), lightness ratio (VS), maximum color cluster area (MCA), color cluster area complexity (NPC), color cluster diversity (CDS), color cluster segmentation ( DPC) and the spread of similar color clusters (IPS) as influence indicators, the nonlinear regression model for predicting the dominant colors of the built environment is:
  • the formula for calculating the environmental dominant color quality score is:
  • H quality n ⁇ w 1 H 1 +5 ⁇ w 2 H 2 +4 ⁇ w 3 H 3 +w 4 H 4 +w 5 H 5 ++w 6 H 6 +w 7 H 7 +w 8 H 8
  • n represents the total number of hues in the color cluster
  • w represents the weight value of the dominant color feature
  • H represents the parameter of the dominant color feature
  • H quality is normalized to obtain the final environmental dominant color quality score.
  • a built environment dominant color measurement system based on image brain sensitive data includes:
  • the data acquisition and processing module is used to obtain EEG data corresponding to several built environment images and convert them into several built environment image sequence samples;
  • a brain sensitivity extraction module is used to extract the brain sensitivity index from the EEG data to obtain the sensitivity value of the dominant color of the built environment;
  • a dominant color feature extraction module used to perform image color recognition and segmentation from the image samples to obtain image color clusters and dominant color feature parameters
  • the environment dominant color measurement model training module is used to build the built environment dominant color measurement model, input sensitivity data and dominant color feature parameters, and use the XGBoost decision tree algorithm for training;
  • the feature importance identification module is used to identify important dominant color features and establish a comprehensive environmental dominant color measurement system based on the environmental dominant color feature selection table;
  • the quality quantitative assessment module is used for the application of built environment measurement methods, and evaluates the quality of dominant colors in the environment based on the weight of dominant color features.
  • the brain sensitivity extraction module specifically includes:
  • the EEG signal preprocessing unit is used to filter and correct artifacts on the original EEG data, remove data with amplitudes outside the 10 ⁇ V-100 ⁇ V range as bad leads, and perform reclassification and superposition averaging based on image samples;
  • the EEG frequency band extraction unit is used to extract the average relative power spectrum of the alpha frequency band, beta frequency band, and theta frequency band of eight leads;
  • a sensitivity index calculation unit is used to calculate the brain sensitivity index from the EEG characteristics
  • the dominant color sensitivity acquisition unit is used to obtain the sensitivity value of the dominant color of the built environment as training data for the environment dominant color measurement model.
  • the main color feature extraction module body includes:
  • a sample image processing unit used to convert the image sequence samples into data dimensions
  • a color cluster extraction unit is used to perform color recognition and segmentation on the image sequence samples to obtain the saturation, lightness, brightness, channel of the image samples and the area and perimeter of the color cluster blocks;
  • Dominant color feature selection unit used to construct dominant color features of the environment, including hue ratio, saturation ratio, brightness ratio, maximum color cluster area, color cluster area complexity, color cluster diversity, color cluster segmentation and similar color cluster spread Spend;
  • the feature parameter calculation unit is used to calculate the parameters of each main color feature respectively;
  • the normalization unit is used to encode the dominant color features as input features of the built environment dominant color measurement model, so that the environment dominant color feature parameters fall within the [0,1] interval.
  • the environmental dominant color measurement model training module specifically includes:
  • the environmental dominant color measurement model construction unit uses the XGBoost decision tree algorithm to establish a measurement model for the environmental dominant color sensitivity and dominant color characteristics;
  • Feature fusion unit used to speed up the training process
  • the environment dominant color measurement model training unit is used to train a nonlinear regression model using the environment's dominant color characteristics as an influence indicator
  • the environment dominant color sensitivity prediction unit is used to input the built environment image data to be predicted into the trained environment dominant color measurement model to obtain the predicted built environment dominant color sensitivity.
  • the present invention is a built environment dominant color measurement method and system based on image brain sensitive data, thereby effectively solving the problem of nonlinear model prediction effects of integrating image color characteristics and environmental quality, and the traditional environmental image evaluation process is cumbersome and the overall process cycle is too long. , leading to the problem that the dominant color information cannot be fed back synchronously, affecting the accuracy and efficiency of the environmental dominant color quality prediction.
  • Figure 1 is a flow chart of the dominant color measurement method of the built environment based on image brain sensitive data according to the present invention
  • Figure 2 is a schematic diagram of the acquisition lead electrodes in the visual area and occipital lobe area of the brain according to an embodiment of the present invention
  • Figure 3 is a brain sensitivity distribution diagram of built environment image samples according to an embodiment of the present invention.
  • Figure 4 is a roadmap of the XGBoost decision tree method according to the embodiment of the present invention.
  • Figure 5 is a schematic diagram of the prediction results of the built environment dominant color measurement model according to the embodiment of the present invention.
  • Figure 6 is a fitting curve diagram of the predicted environmental sensitivity and the actual environmental sensitivity of the measurement model according to the embodiment of the present invention.
  • this embodiment provides a method for measuring the dominant color of the built environment based on image brain sensitive data.
  • the method specifically includes:
  • EEG data corresponding to the built environment image sample The EEG data of I built environment image samples were collected for J subjects in the same laboratory environment, and I*J groups of EEG data were obtained.
  • the data volume of each group of data is n (d) , where, d is the dominant color feature dimension of each set of data, and n is the number of EEG data samples collected in a single time.
  • E-Prime experimental operating system was used to build a visual stimulation presentation and EEG data collection system. Each environmental image was displayed for 3 seconds and played for three rounds, and the original EEG signals of the subjects were collected in real time.
  • This step specifically includes:
  • EEG feature extraction In order to improve the speed of EEG feature extraction and reduce redundant calculations, electrode positioning, filtering, independent component analysis, artifact removal, baseline calibration and reclassification processing were performed on the original EEG data to obtain the difference wave of the sample visual stimulation data.
  • the amplitude of the wave represents the influence of the image sample on the sensitivity of the human brain;
  • E FT represents the brain electrical sensitivity index, 1 ⁇ k ⁇ 8, indicating the eight leads;
  • P ⁇ (k), P ⁇ (k), and P ⁇ (k) are the leads ⁇ , Average relative power spectrum of ⁇ and ⁇ frequency bands;
  • the brain sensitivity index is dimensionless processed, specifically as follows:
  • Z j (i) represents the brain sensitivity of the j-th subject after dimensionless processing of the i-th image sample, and n represents the number of image samples;
  • the dominant color sensitivity values of the built environment are as follows:
  • Dominant color sensitivity is used to measure the quality of dominant colors in the built environment.
  • the sensitivity value E AT ⁇ 60 the influence of dominant color sensitivity is deemed to be strong; when 40 ⁇ E AT ⁇ 60, the influence of dominant color sensitivity is deemed to be medium. ;0 ⁇ E AT ⁇ 40 indicates that the dominant color sensitivity has a weak influence.
  • the preprocessing and frequency band extraction of the original EEG data use the asa analysis software package of eego mylab.
  • This software has high EEG filtering and artifact correction speed.
  • the average electrode is used
  • the data whose amplitude is outside the range of 10 ⁇ V-100 ⁇ V are eliminated as bad conductors, the artifact interference of electrooculoscopy and electromyography is removed, and the image samples are reclassified and averaged by superimposition, and then their amplitude and phase are analyzed to capture Taking the average relative power spectrum of the ⁇ band, ⁇ band, and ⁇ band, the dominant color sensitivity value of the built environment image sample is finally obtained (as shown in Figure 3).
  • This step specifically includes:
  • S represents the sum of the distortion degrees of each color cluster
  • Q(n) represents the color value of the pixel
  • N represents the number of pixels in the color cluster
  • n represents the coordinates of the pixels in the environment image
  • d k represents the centroid of the k-th color.
  • K represents the number of color clusters
  • r nk is a two-component, used to determine whether Q(n) belongs to the k-th color category
  • T k represents the number of pixels in the k-th color cluster
  • the image sample color extraction results obtain all color names associated with the image color cluster, and calculate the saturation, lightness, brightness, channel and color cluster color of the ⁇ k 1 , k 2 ,..., k j ⁇ th color category of the image sample
  • the area and perimeter of the block; the boundary of the color cluster color block is calculated from the average value of the pixel color, and is moderately smoothed to avoid measurement errors caused by simplified boundaries;
  • the dominant color characteristic parameters of the constructed environment include hue ratio, saturation ratio, brightness ratio, maximum color cluster area, color cluster area complexity, color cluster diversity, color cluster segmentation and similar color cluster spread.
  • H std represents the eigenvalue before normalization
  • H int represents the result of the eigenvalue after normalization
  • K be [4, 6] to obtain a color cluster close to people's visual space (as shown in Figure 3), that is, the dominant color of the image sample.
  • the sum of squared errors (SSE) is used as the evaluation index.
  • SSE squared errors
  • the calculation of color cluster saturation and brightness uses OpenCV's own open source histogram estimator cv2.calcHist; the area and perimeter of the color cluster pixel color block use the Canny edge detector to calculate the environmental dominant color feature parameters of each image. variable.
  • the characteristic parameters of the dominant color of the environment all fall within the interval [0,1], and can be encoded as input features of the dominant color measurement model of the built environment.
  • This step specifically includes:
  • the built environment images and their brain-sensitive data were converted into several built environment sequence samples, and the XGBoost decision tree algorithm was used to build the built environment dominant color measurement model (as shown in Figure 5). 75% of the built environment sample data were used for training, and the rest were used as testing set;
  • the concatenated concatenation (Concat) method is used to fuse the 8-dimensional environment dominant color features to obtain the overall environment dominant color feature H all ;
  • Hi represents the dominant color characteristic of the overall environment of the i-th image sample
  • yi represents the dominant color sensitivity value of the image sample
  • n represents the number of image samples
  • the random search algorithm when training the built environment dominant color measurement model, the random search algorithm is used to optimize the parameters of the decision tree algorithm.
  • the network parameter settings are shown in Table 2.
  • the hyperparameters are optimized according to the model evaluation indicators, and K-fold is used.
  • Cross-validation, coefficient of determination (R 2 ), mean absolute error (MAE) and root mean square error (RMSE) were used to further evaluate the model (Table 3).
  • R 2 coefficient of determination
  • MAE mean absolute error
  • RMSE root mean square error
  • the parameter learning_rate is used to control the iteration rate
  • the LightGBM algorithm is used to accelerate the training process while ensuring accuracy.
  • This step specifically includes:
  • phase ratio HS
  • saturation ratio BS
  • brightness ratio VS
  • maximum color cluster area MCA
  • color cluster area complexity NPC
  • color cluster diversity CDS
  • color cluster segmentation DPC
  • IPS spread of similar color clusters
  • the prediction evaluation results of any feature and the dominant color sensitivity evaluation results of multiple sample images can be input into a preset loss function to obtain the prediction of the environment dominant color fusion features
  • the error between the result and the evaluation result is the output of the preset loss function to determine whether the training model has converged.
  • H quality n ⁇ w 1 H 1 +5 ⁇ w 2 H 2 +4 ⁇ w 3 H 3 +w 4 H 4 +w 5 H 5 ++w 6 H 6 +w 7 H 7 +w 8 H 8
  • n represents the total number of hues in the color cluster
  • w represents the weight value of the dominant color feature
  • H represents the parameter of the dominant color feature
  • H quality is normalized to obtain the final environmental dominant color quality score.
  • the color feature importance score is calculated according to the model, including the maximum color cluster area, color cluster segmentation, hue ratio, color cluster diversity, similar color cluster spread, saturation ratio, brightness ratio, and complex color cluster shape.
  • the degree scores are 8486.848, 4135.527, 3665.604, 1270.764, 764.674, 474.965, 440.531, 205.862 (Table 4). Therefore, combining the analysis results in Figures 5 and 6, it can be concluded that when planning and designing landscape colors, the maximum color cluster area, color cluster segmentation, hue ratio, and color cluster diversity of landscape colors should be considered. Part of the prediction results of the built environment samples are shown in Figure 6.
  • Table 4 Weight and importance distribution of environmental dominant color features
  • This embodiment provides a built environment dominant color measurement system based on image brain sensitive data.
  • the system includes:
  • the data acquisition and processing module is used to obtain EEG data corresponding to several built environment images and convert them into several built environment image sequence samples;
  • the brain sensitivity extraction module is used to extract the brain sensitivity index from the EEG data to obtain the sensitivity value of the dominant color of the built environment;
  • the dominant color feature extraction module is used to identify and segment image colors from image samples to obtain image color clusters and dominant color feature parameters
  • the environment dominant color measurement model training module is used to build the built environment dominant color measurement model, input sensitivity data and dominant color feature parameters, and use the XGBoost decision tree algorithm for training;
  • the feature importance identification module is used to identify important dominant color features and establish a comprehensive environmental dominant color measurement system based on the environmental dominant color feature selection table;
  • the quality quantitative assessment module is used for the application of built environment measurement methods, and evaluates the quality of dominant colors in the environment based on the weight of dominant color features.
  • the brain sensitivity extraction module specifically includes:
  • the EEG signal preprocessing unit is used to filter and correct artifacts on the original EEG data, remove data with amplitudes outside the 10 ⁇ V-100 ⁇ V range as bad conductors, and perform reclassification and superposition averaging based on image samples;
  • the EEG frequency band extraction unit is used to extract the average relative power spectrum of the alpha frequency band, beta frequency band, and theta frequency band of the eight leads;
  • a sensitivity index calculation unit is used to calculate the brain sensitivity index from the EEG characteristics
  • the dominant color sensitivity acquisition unit is used to obtain the sensitivity value of the dominant color of the built environment as training data for the environment dominant color measurement model.
  • the main color feature extraction module includes:
  • Sample image processing unit used to convert image sequence samples into data dimensions
  • the color cluster extraction unit is used to perform color recognition and segmentation of image sequence samples to obtain the saturation, lightness, brightness, channel of the image sample, and the area and perimeter of the color cluster color block;
  • Dominant color feature selection unit used to construct dominant color features of the environment, including hue ratio, saturation ratio, brightness ratio, maximum color cluster area, color cluster area complexity, color cluster diversity, color cluster segmentation and similar color cluster spread Spend;
  • the feature parameter calculation unit is used to calculate the parameters of each main color feature respectively;
  • the normalization unit is used to encode the dominant color features as input features of the built environment dominant color measurement model, so that the environment dominant color feature parameters fall within the [0,1] interval.
  • the environmental dominant color measurement model training module specifically includes:
  • the environmental dominant color measurement model construction unit uses the XGBoost decision tree algorithm to establish a measurement model for the environmental dominant color sensitivity and dominant color characteristics;
  • Feature fusion unit used to speed up the training process
  • the environment dominant color measurement model training unit is used to train a nonlinear regression model with the environment's dominant color features as the influencing index.
  • the parameter learning_rate is used to control the iteration rate and prevent over-fitting.
  • the LightGBM algorithm is used to ensure accuracy. Speed up the training process;
  • the environment dominant color sensitivity prediction unit is used to input the built environment image data to be predicted into the trained environment dominant color measurement model to obtain the predicted built environment dominant color sensitivity.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供基于图像脑敏感数据的建成环境主导色测度方法和系统，涉及城市品质测度领域。该基于图像脑敏感数据的建成环境主导色测度方法，包括获取建成环境图像样本对应脑电数据；基于脑电数据计算环境主导色的敏感度；根据建成环境图像样本提取主导色特征参数；搭建建成环境主导色测度模型，将敏感度数据和主导色特征作为输入进行训练；将待分析的环境图像输入到训练好的模型中，得到预测的主导色敏感度结果，解决了对融合图像色彩特征与环境品质的非线性模型预测的效果和传统环境图像评价过程繁琐，整体流程周期过长，导致无法同步地对主导色信息进行反馈、影响环境主导色品质预测的精度和效率的问题。

Description

基于图像脑敏感数据的建成环境主导色测度方法和系统 技术领域
本发明涉及城市品质测度技术领域，具体为基于图像脑敏感数据的建成环境主导色测度方法和系统。
背景技术
建成环境主导色是环境品质的重要内容，通常能够有效地揭示建成环境的秩序和功能，被认为是区域定位和空间组织的关键线索，对环境提质增效有着重要作用。由于环境主导色自身具备的易感性和可识别性等特质，环境主导色可以有效运用于城市品质测度任务上，例如，在城市更新保护方面中，通过优化建成环境的主导色系，测量并改善杂乱的城市色彩现状，以此达到较为统一协调的老城主导色风貌；在环境规划设计方面，通过环境主导色品质测度建立环境标准色，及时调整色彩设计问题，提升建成环境的规划管理水平。
近年来，为提高环境主导色对于环境品质的评估效果，越来越多的学者将图像数据与主导色预测联系起来。相关知识产权成果有：例如专利申请号为CN202110987218.0的一种基于色彩分布学习的街景图像评分方法，通过图像语义分割、图像实体色彩值计算、实体混合色评估、标签数据训练基于机器学习和色彩分布的街景图像评分方法；例如专利申请号为CN202110893036.7的一种城市街区建筑色彩和谐度评估方法与装置，通过建筑照片样本获取、照片取色分析、色彩区域划分、美景度评价的城市街区建筑色彩和谐度评估方法；例如专利申请号为CN201910833403.7的一种基于人工智算法的城市景观评价指标计算方法通过建立影响因子权重、采集城市评价图片集、景观色彩丰富度评分、因子目标评价函数计算的色彩景观评价指标计算方法。尽管基于图像数据的环 境主导色测度方法研究已取得一定进展，但对融合多维度图像主导色特征与环境品质的非线性模型预测效果问题仍需进一步解决。与此同时，传统环境图像评价过程繁琐，整体流程周期过长，人工识别环境主导色品质成本较高，导致无法同步地对主导色信息进行反馈、影响环境主导色品质预测的精度和效率。因此，现有技术方法在进行环境主导色测度分析时，具有基础数据处理分析主观性、随机性，测度模型运行效率、精度及全局性等不足，难以支撑复杂的建成环境主导色测度研究、深入指导建成环境景观主导色品质解析，一种结合图像脑敏感数据进行的建成环境主导色测度方法亟待优化发展并实践应用，有助于实现建成环境主导色与环境品质测度的精确、多维度、整体分析，进而推动城市品质的提质增效。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了基于图像脑敏感数据的建成环境主导色测度方法和系统，解决了对融合多维度的图像色彩特征与环境品质的非线性模型预测的效果和传统环境图像评价过程繁琐，整体流程周期过长，导致无法同步地对主导色信息进行反馈、影响环境主导色品质预测的精度和效率的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一方面，提供了一种基于图像脑敏感数据的建成环境主导色测度方法，所述方法包括：
获取建成环境图像样本对应脑电数据；
基于脑电数据计算环境主导色的敏感度；
根据建成环境图像样本提取主导色特征参数；
搭建建成环境主导色测度模型，将敏感度数据和主导色特征作为输入进行训练；
将待分析的环境图像输入到训练好的模型中，得到预测的主导色敏感度结果。
优选的，所述获取建成环境图像样本对应脑电数据包括对J位被试者在相同的实验室环境下进行I张建成环境图像样本脑电数据采集，得到I*J组脑电数据，每一组数据的数据量均为n (d)，其中，d是每组数据的主导色特征维度，n是单次采集的脑电数据样本数量。
优选的，所述基于脑电数据计算环境主导色的敏感度机体的具体步骤包括：
选取枕叶区域O1、OZ、O2、POZ、PO3、PO4、PO7、PO8八个导联对于建成环境图像样本刺激的前后3秒脑电信号；
通过原始脑电数据获取样本视觉刺激数据的差异波；
对每一导脑电信号做短时傅里叶变换，分别提取预处理后脑电数据的α频带8～13Hz、β频带14～41Hz、θ频带4～8Hz功率谱密度；
根据α频带、β频带、θ频带的平均相对功率谱计算脑电敏感度指数，从而得到图像样本建成环境主导色敏感度，计算过程如下：
Figure PCTCN2022130220-appb-000001
其中，E FT表示脑电敏感度指数，1≤k≤8，表示所述的八个导联；P θ(k)、P α(k)、P β(k)分别是导联α、β、θ频带的平均相对功率谱；
针对被试者个体差异的影响，对脑敏感度指数进行无量纲处理，具体为：
Figure PCTCN2022130220-appb-000002
其中，Z j(i)表示第j个被试者对第i张图像样本无量纲处理后的脑敏感度， n表示图像样本的数量；
建成环境主导色敏感度数值如下：
Figure PCTCN2022130220-appb-000003
优选的，所述根据建成环境图像样本提取主导色特征参数的步骤具体包括：
将样本图像{i 1,i 2,…,i m}进行数据维度转换，令图像缩放后的尺寸设为1024×600像素；
对图像进行色彩识别与分割，输出颜色簇划D＝{d 1,d 2,…,d k}，具体为：
Figure PCTCN2022130220-appb-000004
Figure PCTCN2022130220-appb-000005
其中，S表示各个颜色簇畸变程度之和，Q(n)表示该像素的颜色值，N表示颜色簇的像素数目，n表示环境图像像素点的坐标，d k表示第k类颜色的质心，K表示颜色簇数，r nk为二分量，用于判断Q(n)是否属于第k类颜色，T k表示第k个颜色簇的像素数目；
根据图像样本色彩提取结果，获取与图像颜色簇关联的所有颜色名称，计算图像样本第{k 1,k 2,…,k j}个颜色类别的饱和度、明度、亮度、通道以及颜色簇色块的面积和周长；颜色簇色块的边界由像素颜色的平均值计算得到，并经过适度平滑，避免因简化边界造成的测算误差；
构造环境主导色特征特征参数，包括色相比例、饱和度比例、明度比例、最大颜色簇面积、颜色簇面积复杂度、颜色簇多样性、颜色簇分割度和相似颜色簇蔓延度；
对环境主导色特征进行min-max归一化处理，具体为：
Figure PCTCN2022130220-appb-000006
其中，H std表示归一化前的特征值，H int表示归一化后所述特征值的结果。
优选的，所述搭建建成环境主导色测度模型，将敏感度数据和主导色特征作为输入进行训练的具体步骤包括：
将建成环境图像及其脑敏感数据转化为若干建成环境序列样本，使用XGBoost决策树算法搭建建成环境主导色测度模型，将75％建成环境样本数据进行训练，其余作为测试集；
利用串联拼接方法融合所述8个维度的环境主导色特征，得到总体环境主导色特征H all；
将敏感度数据和主导色特征参数输入建成环境主导色测度模型，具体为：
Z＝{(H i,y i)|i＝1,2,…,n}
其中，H i表示第i张图像样本的总体环境主导色特征，y i表示该图像样本的主导色敏感度数值，n表示图像样本的数量；
对输入特征参数进行Kaiser-Meyer-Olkin检验和Bartlett球面判断。
优选的，所述将待分析的环境图像输入到训练好的模型中，得到预测的主导色敏感度结果的步骤具体包括：
将色相比例(HS)、饱和度比例(BS)、明度比例(VS)、最大颜色簇面积(MCA)、颜色簇面积复杂度(NPC)、颜色簇多样性(CDS)、颜色簇分割度(DPC)和相似颜色簇蔓延度(IPS)作为影响指标得到关于建成环境主导色预测的非线性回归模型为：
Figure PCTCN2022130220-appb-000007
其中，
Figure PCTCN2022130220-appb-000008
表示预测的主导色敏感度数据，
Figure PCTCN2022130220-appb-000009
为达到最终训练的权重更加平滑，以避免过拟合现象，采用的损失函数为：
Figure PCTCN2022130220-appb-000010
其中，
Figure PCTCN2022130220-appb-000011
表示所述模型回归树所有预测参数与真实参数之差的集合，
Figure PCTCN2022130220-appb-000012
表示测量预测参数与目标参数之差，
Figure PCTCN2022130220-appb-000013
表示正则项优化函数，以避免过拟合，T表示所述回归树的叶子结点数，ω表示每个叶子结点的得分，η和ρ表示需要调参的系数；
计算所述模型的主导色特征重要性分数，具体为：
Figure PCTCN2022130220-appb-000014
其中，
Figure PCTCN2022130220-appb-000015
表示所述序列样本第i个主导色特征值的平均数，
Figure PCTCN2022130220-appb-000016
分别表示所有阳性样本和阴性样本特征值的平均数，r表示第i个环境主导色特征对应的实例；F(i)越大，表示所述特征对主导色敏感度的影响较大，由此可以筛选重点景观色彩特征，综合建立环境主导色量化体系，以此提环境规划设计品质；
计算所述模型的主导色特征权重，并根据特征权重进行环境主导色品质评估，具体处理过程如下：
Figure PCTCN2022130220-appb-000017
其中，
Figure PCTCN2022130220-appb-000018
表示所述建成环境序列样本第t个环境主导色特征的权重值，
Figure PCTCN2022130220-appb-000019
表示所述模型回归树叶片的所有样本的梯度统计的总和；
Figure PCTCN2022130220-appb-000020
表示所述模型回归树叶片所有样本的二阶统计的总和；
环境主导色品质分数计算公式为：
H quality＝n·w 1H 1+5·w 2H 2+4·w 3H 3+w 4H 4+w 5H 5++w 6H 6+w 7H 7+w 8H 8
其中，n表示颜色簇的色相总数，w表示主导色特征的权重值，H表示主导色特征的参变量，将H quality归一化得到最终的环境主导色品质分数。
又一方面，提供了一种基于图像脑敏感数据的建成环境主导色测度系统，所述系统包括：
数据采集处理模块，用于获取若干建成环境图像对应的脑电数据，转化为若干建成环境图像序列样本；
脑敏感度提取模块，用于从所述脑电数据中提取脑敏感度指数，得到建成环境主导色的敏感度数值；
主导色特征提取模块，用于从所述图像样本中进行图像色彩识别与分割，得到图像颜色簇和主导色特征参数；
环境主导色测度模型训练模块，用于搭建建成环境主导色测度模型，将敏感度数据和主导色特征参数输入，利用XGBoost决策树算法进行训练；
特征重要性识别模块，用于识别重要主导色特征，根据环境主导色特征选择表，建立综合环境主导色测度体系；
品质量化评估模块，用于建成环境测度方法应用，根据主导色特征权重进行环境主导色品质评估。
优选的，所述脑敏感度提取模块具体包括：
脑电信号预处理单元，用于对原始脑电数据进行过滤和伪像矫正，并将幅值在10μV-100μV区间范围以外的数据作为坏导剔除，根据图像样本进行重分类与叠加平均；
脑电频带提取单元，用于提取八个导联的α频带、β频带、θ频带的平均相 对功率谱；
敏感度指数计算单元，用于从脑电特征中计算脑敏感度指数；
主导色敏感度获取单元，用于得到建成环境主导色的敏感度数值，作为环境主导色测度模型的训练数据。
所述主导色特征提取模块体包括：
样本图像处理单元，用于将所述图像序列样本进行数据维度转换；
颜色簇提取单元，用于将所述图像序列样本进行色彩识别与分割，得到图像样本的饱和度、明度、亮度、通道以及颜色簇色块的面积和周长；
主导色特征选择单元，用于构造环境主导色特征，包括色相比例、饱和度比例、明度比例、最大颜色簇面积、颜色簇面积复杂度、颜色簇多样性、颜色簇分割度和相似颜色簇蔓延度；
特征参数计算单元，用于分别计算各主导色特征的参变量；
归一化单元，用于主导色特征能够编码为建成环境主导色测度模型的输入特征，使得环境主导色特征参数落在[0,1]区间内。
所述环境主导色测度模型训练模块具体包括：
环境主导色测度模型构建单元，利用XGBoost决策树算法建立对于环境主导色敏感度和主导色特征的测度模型；
特征融合单元，用于加速训练过程；
环境主导色测度模型训练单元，用于训练以环境主导色特征为影响指标的非线性回归模型；
环境主导色敏感度预测单元，用于将待预测的建成环境图像数据输入训练好的环境主导色测度模型，得到预测的建成环境主导色敏感度。
(三)有益效果
本发明基于图像脑敏感数据的建成环境主导色测度方法和系统，从而有效的解决了对融合图像色彩特征与环境品质的非线性模型预测的效果和传统环境图像评价过程繁琐，整体流程周期过长，导致无法同步地对主导色信息进行反馈、影响环境主导色品质预测的精度和效率的问题。
附图说明
图1为本发明基于图像脑敏感数据的建成环境主导色测度方法流程图；
图2为本发明实施例的大脑视觉区域和枕叶区域采集导联电极示意图；
图3为本发明实施例的建成环境图像样本脑敏感度分布图；
图4为本发明实施例的XGBoost决策树方法路线图；
图5为本发明实施例的建成环境主导色测度模型的预测结果示意图；
图6为本发明实施例测度模型的预测环境敏感度与实际环境敏感度的拟合曲线图。
具体实施方式
下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，本实施例提供一种基于图像脑敏感数据的建成环境主导色测度方法，该方法具体包括：
获取建成环境图像样本对应脑电数据。对J位被试者在相同的实验室环境下进行I张建成环境图像样本脑电数据采集，得到I*J组脑电数据，每一组数据的数据量均为n (d)，其中，d是每组数据的主导色特征维度，n是单次采集的脑电 数据样本数量。
本实施例中，所有被试者按照年龄及性别比例进行选择，其生理与心理状态均为健康、生活环境类似，并签署知情同意书。利用E-Prime实验操作系统搭建视觉刺激呈现和脑电数据收集系统，每张环境图像显示时长3s并播放三轮，实时采集被试者的原始脑电信号。
基于脑电数据计算环境主导色的敏感度，该步骤具体包括：
选取枕叶区域O1、OZ、O2、POZ、PO3、PO4、PO7、PO8八个导联(如图2所示)对于建成环境图像样本刺激的前后3秒脑电信号，该区域导联的脑电信号能较好反映环境色彩的视觉信息；
为了提高脑电特征提取速度，减少冗余计算，通过原始脑电数据进行电极定位、滤波、独立成分分析、伪迹去除、基线校准和重分类处理，求得样本视觉刺激数据的差异波，差异波幅值大小代表了该图像样本对人的脑敏感度影响力；
对每一导脑电信号做短时傅里叶变换，采用汉宁窗进行窗处理，分别提取预处理后脑电数据的α频带(8～13Hz)、β频带(14～41Hz)、θ频带(4～8Hz)功率谱密度；
根据α频带、β频带、θ频带的平均相对功率谱计算脑电敏感度指数(FTG)，从而得到图像样本建成环境主导色敏感度(ATD)，计算过程如下：
Figure PCTCN2022130220-appb-000021
式中，E FT表示脑电敏感度指数，1≤k≤8，表示所述的八个导联；P θ(k)、P α(k)、P β(k)分别是导联α、β、θ频带的平均相对功率谱；
针对到被试者个体差异的影响，对脑敏感度指数进行无量纲处理,具体为：
Figure PCTCN2022130220-appb-000022
式中，Z j(i)表示第j位被试者对第i张图像样本无量纲处理后的脑敏感度，n表示图像样本的数量；
建成环境主导色敏感度数值如下：
Figure PCTCN2022130220-appb-000023
主导色敏感度用以测量建成环境主导色品质，当敏感度数值E AT≥60，认定主导色敏感度的影响力较强；当40≤E AT＜60，认定主导色敏感度的影响力中等；0＜E AT＜40认定主导色敏感度的影响力较弱。
实施例中，原始脑电数据的预处理和频带提取采用eego mylab的asa分析软件包，该软件具有较高的脑电过滤和伪像矫正速度，通过导入所需导联电极位，采用平均电极参考，将幅值在10μV-100μV区间范围以外的数据作为坏导剔除，去除眼电、肌电的伪迹干扰，根据图像样本进行重分类与叠加平均，进而对其幅度和相位进行分析，抓取其中的α频带、β频带、θ频带平均相对功率谱，最终得到建成环境图像样本的主导色敏感度数值(如图3所示)。
根据建成环境图像样本提取主导色特征参数，该步骤具体包括：
将样本图像{i 1,i 2,…,i m}进行数据维度转换，令图像缩放后的尺寸设为1024×600像素；
对图像进行色彩识别与分割，输出颜色簇划D＝{d 1,d 2,…,d k}，具体为：
Figure PCTCN2022130220-appb-000024
Figure PCTCN2022130220-appb-000025
式中，S表示各个颜色簇畸变程度之和，Q(n)表示该像素的颜色值，N表 示颜色簇的像素数目，n表示环境图像像素点的坐标，d k表示第k类颜色的质心，K表示颜色簇数，r nk为二分量，用于判断Q(n)是否属于第k类颜色，T k表示第k个颜色簇的像素数目；
根据图像样本色彩提取结果，获取与图像颜色簇关联的所有颜色名称，计算图像样本第{k 1,k 2,…,k j}个颜色类别的饱和度、明度、亮度、通道以及颜色簇色块的面积和周长；颜色簇色块的边界由像素颜色的平均值计算得到，并经过适度平滑，避免因简化边界造成的测算误差；
构造环境主导色特征特征参数(表1)，包括色相比例、饱和度比例、明度比例、最大颜色簇面积、颜色簇面积复杂度、颜色簇多样性、颜色簇分割度和相似颜色簇蔓延度。
表1：环境主导色特征选择
Figure PCTCN2022130220-appb-000026
Figure PCTCN2022130220-appb-000027
对环境主导色特征进行min-max归一化处理，具体为：
Figure PCTCN2022130220-appb-000028
其中，H std表示归一化前的特征值，H int表示归一化后所述特征值的结果。
本实施例中，令K取[4,6]，得到接近人们视觉空间的颜色簇(如图3所示)即图像样本的主导色，利用误差平方和(SSE)作为评价指标，SSE值越小表示 数据点越接近于颜色簇的质心，即样本色彩的提取效果越好。颜色簇饱和度和明度的计算采用OpenCV自带的开源直方图估算器cv2.calcHist；颜色簇像素色块的面积和周长采用Canny边缘检测器，从而计算出每张图像的环境主导色特征参变量。通过归一化处理使得环境主导色特征参数均落在[0,1]区间内，能够编码为建成环境主导色测度模型的输入特征。
搭建建成环境主导色测度模型，将敏感度数据和主导色特征作为输入进行训练，该步骤具体包括：
将建成环境图像及其脑敏感数据转化为若干建成环境序列样本，使用XGBoost决策树算法搭建建成环境主导色测度模型(如图5所示)，将75％建成环境样本数据进行训练，其余作为测试集；
利用串联拼接(Concat)方法融合8个维度的环境主导色特征，得到总体环境主导色特征H all；
将敏感度数据和主导色特征参数输入建成环境主导色测度模型，具体为：
Z＝{(H i,y i)|i＝1,2,…,n}
其中，H i表示第i张图像样本的总体环境主导色特征，y i表示该图像样本的主导色敏感度数值，n表示图像样本的数量；
对输入特征参数进行Kaiser-Meyer-Olkin检验和Bartlett球面判断，若数据结果KMO值＞0.5，同时Bartlett球度检验概率P值＜0.05，则可进行主导色测度模型参数设置。
本实施例训练建成环境主导色测度模型时，利用随机搜索算法对决策树算法进行参数寻优，网络参数设置值如表2所示，进而根据模型评估指标进行超参数优化，并利用K-fold交叉验证、决定系数(R 2)、平均绝对误差(MAE)和均方根误差(RMSE)进一步进行模型评估(表3)，其中R 2越大表明模型的效果 越好，MAE、RMSE的值越小表明模型预测越准确。
为控制迭代速率，防止过拟合，利用参数learning_rate以控制迭代速率，同时采用LightGBM算法在保证精确度的前提下加速训练过程。
表2：XGBoost决策树算法参数设置
Figure PCTCN2022130220-appb-000029
表3：K-fold交叉验证下建成环境主导色测度模型性能评估结果
Figure PCTCN2022130220-appb-000030
将待分析的环境图像输入到训练好的模型中,得到预测的主导色敏感度结果，该步骤具体包括：
将相比例(HS)、饱和度比例(BS)、明度比例(VS)、最大颜色簇面积(MCA)、颜色簇面积复杂度(NPC)、颜色簇多样性(CDS)、颜色簇分割 度(DPC)和相似颜色簇蔓延度(IPS)作为影响指标得到关于建成环境主导色预测的非线性回归模型为：
Figure PCTCN2022130220-appb-000031
其中，
Figure PCTCN2022130220-appb-000032
表示预测的主导色敏感度数据，
Figure PCTCN2022130220-appb-000033
为达到最终训练的权重更加平滑，以避免过拟合现象，采用的损失函数为：
Figure PCTCN2022130220-appb-000034
式中，
Figure PCTCN2022130220-appb-000035
表示所述模型回归树所有预测参数与真实参数之差的集合，
Figure PCTCN2022130220-appb-000036
表示测量预测参数与目标参数之差，
Figure PCTCN2022130220-appb-000037
表示正则项优化函数，以避免过拟合，T表示所述回归树的叶子结点数，ω表示每个叶子结点的得分，η和ρ表示需要调参的系数；
本实施例中，当融合环境主导色特征时，可以将任一种特征的预测评价结果和多个样本图像主导色敏感度评价结果中输入预设的损失函数，得到环境主导色融合特征的预测结果和评价结果的误差，该误差即为预设的损失函数的输出，从而判断训练模型是否收敛。
计算模型的主导色特征重要性分数，具体为：
Figure PCTCN2022130220-appb-000038
式中，
Figure PCTCN2022130220-appb-000039
表示所述样本第i个主导色特征值的平均数，
Figure PCTCN2022130220-appb-000040
分别表示所有阳性样本和阴性样本特征值的平均数，r表示第i个环境主导色特征对应的实例；F(i)越大，表示特征对主导色敏感度的影响较大，由此可以筛选重点景观色彩特征，综合建立环境主导色量化体系，以此提环境规划设计品质。
计算模型的主导色特征权重，并根据特征权重进行环境主导色品质评估， 具体处理过程如下：
Figure PCTCN2022130220-appb-000041
式中，
Figure PCTCN2022130220-appb-000042
表示样本所述第t个环境主导色特征的权重值，
Figure PCTCN2022130220-appb-000043
表示所述模型回归树叶片的所有样本的梯度统计的总和；
Figure PCTCN2022130220-appb-000044
表示所述模型回归树叶片所有样本的二阶统计的总和；
环境主导色品质分数计算过程如下所示：
H quality＝n·w 1H 1+5·w 2H 2+4·w 3H 3+w 4H 4+w 5H 5++w 6H 6+w 7H 7+w 8H 8
其中，n表示颜色簇的色相总数，w表示主导色特征的权重值，H表示主导色特征的参变量，将H quality归一化得到最终的环境主导色品质分数。
本实施例中，根据模型计算色彩特征重要性分数，其中最大颜色簇面积、颜色簇分割度、色相比例、颜色簇多样性、相似颜色簇蔓延度、饱和度比例、明度比例、颜色簇形状复杂度的分数依次为8486.848、4135.527、3665.604、1270.764、764.674、474.965、440.531、205.862(表4)。因此，结合图5和图6中的分析结果得出，在景观色彩规划设计时，应重点考虑景观色彩的最大颜色簇面积、颜色簇分割度、色相比例以及颜色簇多样性。建成环境样本的部分预测结果如图6所示，其中9.28％的建成环境图像样本的主导色敏感度(ATD)≥70，78％的图像样本的主导色敏感度(ATD)≥40，均可被认为是获得一定关注的景观。在这样的情况下则基于主导色敏感度的高低(主导色敏感度越大说明配色效果越容易引起人们的关注和兴趣)，由此选出其中相对敏感度低的景观进行更新设计。
表4：环境主导色特征权重及重要性分布
Figure PCTCN2022130220-appb-000045
实施例二
本实施例，提供了一种基于图像脑敏感数据的建成环境主导色测度系统，该系统包括：
数据采集处理模块，用于获取若干建成环境图像对应的脑电数据，转化为若干建成环境图像序列样本；
脑敏感度提取模块，用于从脑电数据中提取脑敏感度指数，得到建成环境主导色的敏感度数值；
主导色特征提取模块，用于从图像样本中进行图像色彩识别与分割，得到图像颜色簇和主导色特征参数；
环境主导色测度模型训练模块，用于搭建建成环境主导色测度模型，将敏感度数据和主导色特征参数输入，利用XGBoost决策树算法进行训练；
特征重要性识别模块，用于识别重要主导色特征，根据环境主导色特征选择表，建立综合环境主导色测度体系；
品质量化评估模块，用于建成环境测度方法应用，根据主导色特征权重进行环境主导色品质评估。
脑敏感度提取模块具体包括：
脑电信号预处理单元，用于对原始脑电数据进行过滤和伪像矫正，并将幅值在10μV-100μV区间范围以外的数据作为坏导剔除，根据图像样本进行重分 类与叠加平均；
脑电频带提取单元，用于提取八个导联的α频带、β频带、θ频带的平均相对功率谱；
敏感度指数计算单元，用于从脑电特征中计算脑敏感度指数；
主导色敏感度获取单元，用于得到建成环境主导色的敏感度数值，作为环境主导色测度模型的训练数据。
主导色特征提取模块体包括：
样本图像处理单元，用于将图像序列样本进行数据维度转换；
颜色簇提取单元，用于将图像序列样本进行色彩识别与分割，得到图像样本的饱和度、明度、亮度、通道以及颜色簇色块的面积和周长；
主导色特征选择单元，用于构造环境主导色特征，包括色相比例、饱和度比例、明度比例、最大颜色簇面积、颜色簇面积复杂度、颜色簇多样性、颜色簇分割度和相似颜色簇蔓延度；
特征参数计算单元，用于分别计算各主导色特征的参变量；
归一化单元，用于主导色特征能够编码为建成环境主导色测度模型的输入特征，使得环境主导色特征参数落在[0,1]区间内。
环境主导色测度模型训练模块具体包括：
环境主导色测度模型构建单元，利用XGBoost决策树算法建立对于环境主导色敏感度和主导色特征的测度模型；
特征融合单元，用于加速训练过程；
环境主导色测度模型训练单元，用于训练以环境主导色特征为影响指标的非线性回归模型，训练时利用参数learning_rate以控制迭代速率，防止过拟合，同时采用LightGBM算法在保证精确度的前提下加速训练过程；
环境主导色敏感度预测单元，用于将待预测的建成环境图像数据输入训练好的环境主导色测度模型，得到预测的建成环境主导色敏感度。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

  1. 一种基于图像脑敏感数据的建成环境主导色测度方法，其特征在于，包括：
    获取建成环境图像样本对应脑电数据；
    基于脑电数据计算环境主导色敏感度；
    根据建成环境图像样本提取主导色特征参数；
    搭建建成环境主导色测度模型，将敏感度数据和主导色特征作为输入进行训练；
    将待分析的环境图像输入到训练好的模型中，得到预测的主导色敏感度结果。
  2. 根据权利要求1所述的一种基于图像脑敏感数据的建成环境主导色测度方法，其特征在于：所述获取建成环境图像样本对应脑电数据包括对J位被试者在相同的实验室环境下进行I张建成环境图像的脑电数据采集，得到I*J组脑电数据，每一组数据的数据量均为n (d)，其中，d是每组数据的主导色特征维度，n是单次采集的脑电数据样本数量。
  3. 根据权利要求2所述的一种基于图像脑敏感数据的建成环境主导色测度方法，其特征在于：所述基于脑电数据计算环境主导色敏感度的具体步骤包括：
    选取枕叶区域O1、OZ、O2、POZ、PO3、PO4、PO7、PO8八个导联对于建成环境图像样本刺激的前后3秒脑电信号；
    通过原始脑电数据获取图像样本视觉刺激数据的差异波；
    对每一导脑电信号做短时傅里叶变换，分别提取预处理后脑电数据的α频带8～13Hz、β频带14～41Hz、θ频带4～8Hz功率谱密度；
    根据α频带、β频带、θ频带的平均相对功率谱计算脑电敏感度指数，从而 得到图像样本建成环境主导色敏感度，计算过程如下：
    Figure PCTCN2022130220-appb-100001
    其中，E FT表示脑电敏感度指数，1≤k≤8，表示所述的八个导联；P θ(k)、P α(k)、P β(k)分别是导联α、β、θ频带的平均相对功率谱；
    针对被试者个体差异的影响，对脑敏感度指数进行无量纲处理，具体为：
    Figure PCTCN2022130220-appb-100002
    其中，Z j(i)表示第j位被试者对第i张图像样本无量纲处理后的脑敏感度，n表示图像样本的数量；
    建成环境主导色敏感度数值如下：
    Figure PCTCN2022130220-appb-100003
    其中，E AT表示图像样本建成环境主导色敏感度。
  4. 根据权利要求3所述的一种基于图像脑敏感数据的建成环境主导色测度方法，其特征在于：所述根据建成环境图像样本提取主导色特征参数的步骤具体包括：
    将图像样本{i 1,i 2,...,i m}进行数据维度转换，令图像缩放后的尺寸设为1024×600像素；
    对图像进行色彩识别与分割，输出颜色簇划D＝{d 1,d 2,...,d k}，具体为：
    Figure PCTCN2022130220-appb-100004
    Figure PCTCN2022130220-appb-100005
    其中，S表示各个颜色簇畸变程度之和，Q(n)表示该像素的颜色值，N表示颜色簇的像素数目，n表示环境图像像素点的坐标，d k表示第k类颜色的质心， K表示颜色簇数，r nk为二分量，用于判断Q(n)是否属于第k类颜色，T k表示第k个颜色簇的像素数目；
    根据图像样本色彩提取结果，获取与图像颜色簇关联的所有颜色名称，计算图像样本第{k 1,k 2,...,k j}个颜色类别的饱和度、明度、亮度、通道以及颜色簇色块的面积和周长；颜色簇色块的边界由像素颜色的平均值计算得到，并经过适度平滑，避免因简化边界造成的测算误差；
    构造环境主导色特征特征参数，包括色相比例、饱和度比例、明度比例、最大颜色簇面积、颜色簇面积复杂度、颜色簇多样性、颜色簇分割度和相似颜色簇蔓延度；
    对环境主导色特征进行min-max归一化处理，具体为：
    Figure PCTCN2022130220-appb-100006
    其中，H std表示归一化前的特征值，H int表示归一化后所述特征值的结果。
  5. 根据权利要求4所述的一种基于图像脑敏感数据的建成环境主导色测度方法，其特征在于：所述搭建建成环境主导色测度模型，将敏感度数据和主导色特征作为输入进行训练的具体步骤包括：
    将建成环境图像及其脑敏感数据转化为若干建成环境序列样本，使用XGBoost决策树算法搭建建成环境主导色测度模型，将75％序列样本数据进行训练，其余作为测试集；
    利用串联拼接方法融合所述8个维度的环境主导色特征，得到总体环境主导色特征H all；
    将敏感度数据和主导色特征参数输入建成环境主导色测度模型，具体为：
    Z＝{(H i,y i)|i＝1,2,...,n}
    其中，H i表示第i张图像样本的总体环境主导色特征，y i表示该图像样本的主导色敏感度数值，n表示图像样本的数量；
    对输入特征参数进行Kaiser-Meyer-Olkin检验和Bartlett球面判断。
  6. 根据权利要求5所述的一种基于图像脑敏感数据的建成环境主导色测度方法，其特征在于：所述将待分析的环境图像输入到训练好的模型中，得到预测的主导色敏感度结果的步骤具体包括：
    将色相比例、饱和度比例、明度比例、最大颜色簇面积、颜色簇面积复杂度、颜色簇多样性、颜色簇分割度和相似颜色簇蔓延度作为影响指标得到关于建成环境主导色预测的非线性回归模型为：
    Figure PCTCN2022130220-appb-100007
    其中，
    Figure PCTCN2022130220-appb-100008
    表示预测的主导色敏感度数据，
    Figure PCTCN2022130220-appb-100009
    HS表示色相比例，BS表示饱和度，VS表示明度，MCA表示最大颜色簇面积，DPC表示颜色簇分割度，NPC表示颜色簇多样性，IPS表示相似颜色簇蔓延度，CDS表示颜色簇形状复杂度；
    针对达到最终训练的权重更加平滑，以避免过拟合现象，采用的损失函数为：
    Figure PCTCN2022130220-appb-100010
    其中，
    Figure PCTCN2022130220-appb-100011
    表示所述模型回归树所有预测参数与真实参数之差的集合，
    Figure PCTCN2022130220-appb-100012
    表示测量预测参数与目标参数之差，
    Figure PCTCN2022130220-appb-100013
    表示正则项优化函数，以避免过拟合，T表示所述回归树的叶子结点数，ω表示每个叶子结点的得分，η和ρ表示需要调参的系数；
    计算所述模型的主导色特征重要性分数F(i)，具体为：
    Figure PCTCN2022130220-appb-100014
    其中，
    Figure PCTCN2022130220-appb-100015
    表示所述建成环境序列样本第i个主导色特征值的平均数，
    Figure PCTCN2022130220-appb-100016
    分别表示所有阳性样本和阴性样本特征值的平均数，r表示第i个环境主导色特征对应的实例；
    计算所述模型的主导色特征权重，并根据特征权重进行环境主导色品质评估，具体处理过程如下：
    Figure PCTCN2022130220-appb-100017
    其中，
    Figure PCTCN2022130220-appb-100018
    表示所述建成环境序列样本第t个环境主导色特征的权重值，
    Figure PCTCN2022130220-appb-100019
    表示所述模型回归树叶片的所有样本的梯度统计的总和；
    Figure PCTCN2022130220-appb-100020
    表示所述模型回归树叶片所有样本的二阶统计的总和；
    环境主导色品质分数计算公式为：
    H quality＝n·w 1H 1+5·w 2H 2+4·w 3H 3+w 4H 4+w 5H 5++w 6H 6+w 7H 7+w 8H 8
    其中，n表示颜色簇的色相总数，w表示主导色特征的权重值，H表示主导色特征的参变量，将H quality归一化得到最终的环境主导色品质分数。
  7. 一种基于图像脑敏感数据的建成环境主导色测度系统，其特征在于，所述系统包括：
    数据采集处理模块，用于获取若干建成环境图像及其对应的脑电数据，转化为若干建成环境序列样本；
    脑敏感度提取模块，用于从所述脑电数据中提取脑敏感度指数，得到建成 环境主导色的敏感度数值；
    主导色特征提取模块，用于从所述图像样本中进行图像色彩识别与分割，得到图像颜色簇和主导色特征参数；
    环境主导色测度模型训练模块，用于搭建建成环境主导色测度模型，将敏感度数据和主导色特征参数输入，利用XGBoost决策树算法进行训练；
    特征重要性识别模块，用于识别重要主导色特征，根据环境主导色特征选择表，建立综合环境主导色测度体系；
    品质量化评估模块，用于建成环境测度方法应用，根据主导色特征权重进行环境主导色品质评估。
  8. 根据权利要求7所示的一种基于图像脑敏感数据的建成环境主导色测度系统，其特征在于：所述脑敏感度提取模块具体包括：
    脑电信号预处理单元，用于对原始脑电数据进行过滤和伪像矫正，并将幅值在10μV-100μV区间范围以外的数据作为坏导剔除，根据图像样本进行重分类与叠加平均；
    脑电频带提取单元，用于提取八个导联的α频带、β频带、θ频带的平均相对功率谱；
    敏感度指数计算单元，用于从脑电特征中计算脑敏感度指数；
    主导色敏感度获取单元，用于得到建成环境主导色的敏感度数值，作为环境主导色测度模型的训练数据。
  9. 根据权利要求7所示的一种基于图像脑敏感数据的建成环境主导色测度系统，其特征在于：所述主导色特征提取模块体包括：
    样本图像处理单元，用于将所述图像样本进行数据维度转换；
    颜色簇提取单元，用于将所述图像样本进行色彩识别与分割，得到图像样 本的饱和度、明度、亮度、通道以及颜色簇色块的面积和周长；
    主导色特征选择单元，用于构造环境主导色特征，包括色相比例、饱和度比例、明度比例、最大颜色簇面积、颜色簇面积复杂度、颜色簇多样性、颜色簇分割度和相似颜色簇蔓延度；
    特征参数计算单元，用于分别计算各主导色特征的参变量；
    归一化单元，用于主导色特征能够编码为建成环境主导色测度模型的输入特征，使得环境主导色特征参数落在[0,1]区间内。
  10. 根据权利要求7所示的一种基于图像脑敏感数据的建成环境主导色测度系统，其特征在于：所述环境主导色测度模型训练模块具体包括：
    环境主导色测度模型构建单元，利用XGBoost决策树算法建立对于环境主导色敏感度和主导色特征的测度模型；
    特征融合单元，用于加速训练过程；
    环境主导色测度模型训练单元，用于训练以环境主导色特征为影响指标的非线性回归模型；
    环境主导色敏感度预测单元，用于将待预测的建成环境图像数据输入训练好的环境主导色测度模型，得到预测的建成环境主导色敏感度。
PCT/CN2022/130220 2022-07-27 2022-11-07 基于图像脑敏感数据的建成环境主导色测度方法和系统 WO2024021359A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210896092.0A CN115063653B (zh) 2022-07-27 2022-07-27 基于图像脑敏感数据的建成环境主导色测度方法和系统
CN202210896092.0 2022-07-27

Publications (1)

Publication Number Publication Date
WO2024021359A1 true WO2024021359A1 (zh) 2024-02-01

Family

ID=83207212

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/130220 WO2024021359A1 (zh) 2022-07-27 2022-11-07 基于图像脑敏感数据的建成环境主导色测度方法和系统

Country Status (2)

Country Link
CN (1) CN115063653B (zh)
WO (1) WO2024021359A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063653B (zh) * 2022-07-27 2023-05-23 东南大学 基于图像脑敏感数据的建成环境主导色测度方法和系统
CN115563484A (zh) * 2022-11-08 2023-01-03 东南大学 一种基于生理唤醒识别的街道绿化品质检测方法
CN117828106B (zh) * 2024-03-04 2024-05-28 国维技术有限公司 基于记忆强化算法结合大模型驱动实现个性化npc的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192552A1 (zh) * 2015-05-29 2016-12-08 华南理工大学 一种基于网络图片的建成环境景观特征识别方法
CN110135244A (zh) * 2019-04-02 2019-08-16 杭州电子科技大学 一种基于脑-机协同智能的表情识别方法
CN115063653A (zh) * 2022-07-27 2022-09-16 东南大学 基于图像脑敏感数据的建成环境主导色测度方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3111411A4 (en) * 2014-02-28 2017-08-09 Delos Living, LLC Systems, methods and articles for enhancing wellness associated with habitable environments
CN110751362A (zh) * 2019-09-04 2020-02-04 西安工程大学 一种基于人工智算法的城市景观评价指标计算方法
CN113610293A (zh) * 2021-08-04 2021-11-05 东南大学 一种城市街区建筑色彩和谐度评估方法与装置
CN113673456B (zh) * 2021-08-26 2024-03-26 江苏省城市规划设计研究院有限公司 一种基于色彩分布学习的街景图像评分方法
CN114298415B (zh) * 2021-12-29 2022-08-09 中国科学院地理科学与资源研究所 一种地理环境愉悦度的预测方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192552A1 (zh) * 2015-05-29 2016-12-08 华南理工大学 一种基于网络图片的建成环境景观特征识别方法
CN110135244A (zh) * 2019-04-02 2019-08-16 杭州电子科技大学 一种基于脑-机协同智能的表情识别方法
CN115063653A (zh) * 2022-07-27 2022-09-16 东南大学 基于图像脑敏感数据的建成环境主导色测度方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI ZHE; CHEN FEIFEI; HAN XIAO; ZHAO KAIYU: "The Principal Component Quantitative Analysis of Landscape Attraction Based on the EEG Technology-Taking Xuanwu Lake Park of Nanjing as the Example", CHINESE LANDSCAPE ARCHITECTURE, vol. 37, no. 7, 10 July 2021 (2021-07-10), pages 60 - 65, XP009552248, ISSN: 1000-6664 *
LI ZHE; WANG LIYA; GAO YING; LI JIE: "Quantitative Research on Landscape Emotion Based on Scenescape Electroencephalogram GRA-TOPSIS Model:A Case Study of Xiangyang Weidong Plant", LANDSCAPE ARCHITECTURE, vol. 29, no. 9, 10 September 2022 (2022-09-10), pages 33 - 40, XP009552249, ISSN: 1673-1530, DOI: 10.14085/j.fjyl.2022.09.0033.08 *

Also Published As

Publication number Publication date
CN115063653A (zh) 2022-09-16
CN115063653B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
WO2024021359A1 (zh) 基于图像脑敏感数据的建成环境主导色测度方法和系统
WO2021073462A1 (zh) 基于相似日负荷曲线的10kV静态负荷模型参数辨识方法
CN101756696B (zh) 多光子皮肤镜图像自动分析系统及其应用于恶性黑素瘤的诊断方法
CN103400146B (zh) 基于颜色建模的中医面色识别方法
CN201806692U (zh) 一种用于诊断恶性黑素细胞肿瘤的多光谱皮肤镜图像自动分析仪器
CN110400293B (zh) 一种基于深度森林分类的无参考图像质量评价方法
CN107368671A (zh) 基于大数据深度学习的良性胃炎病理诊断支持系统和方法
CN111507426B (zh) 基于视觉融合特征的无参考图像质量分级评价方法及装置
CN110731773B (zh) 一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法
CN103034838A (zh) 一种基于图像特征的特种车辆仪表类型识别与标定方法
CN108734205A (zh) 一种针对不同品种小麦种子的单粒定点识别技术
CN110495888B (zh) 一种基于中医舌、面图像的标准色卡及其应用
CN102855485B (zh) 一种小麦抽穗的自动检测方法
CN109344845A (zh) 一种基于Triplet深度神经网络结构的特征匹配方法
CN115994907B (zh) 用于食品检测机构综合信息的智能处理系统及方法
CN115563484A (zh) 一种基于生理唤醒识别的街道绿化品质检测方法
CN113657449A (zh) 一种含噪标注数据的中医舌象腐腻分类方法
CN112560896A (zh) 一种基于图像处理的水果品质筛选分类系统
CN112200238A (zh) 基于声响特征的硬岩拉剪破裂识别方法与装置
CN110766665A (zh) 基于强监督算法和深度学习网络的舌象数据分析方法
CN114596509A (zh) 一种基于机器视觉的水稻秧苗叶龄期识别方法
CN117250161B (zh) 一种大豆耐盐碱鉴定池的实时监测系统
CN113947796A (zh) 一种基于身份识别的人体温度趋势检测方法及装置
CN104573668A (zh) 基于光谱反射率的面部色泽适应性自动识别方法
CN117557840A (zh) 一种基于小样本学习的眼底病变分级方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 18039286

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22952796

Country of ref document: EP

Kind code of ref document: A1