WO2020170951A1 - 情報検索方法、情報検索装置、コンピュータプログラム - Google Patents

情報検索方法、情報検索装置、コンピュータプログラム Download PDF

Info

Publication number
WO2020170951A1
WO2020170951A1 PCT/JP2020/005683 JP2020005683W WO2020170951A1 WO 2020170951 A1 WO2020170951 A1 WO 2020170951A1 JP 2020005683 W JP2020005683 W JP 2020005683W WO 2020170951 A1 WO2020170951 A1 WO 2020170951A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature vector
concept
information
brain activity
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/005683
Other languages
English (en)
French (fr)
Inventor
伸志 西本
琢史 ▲柳▼澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
University of Osaka NUC
Original Assignee
Osaka University NUC
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC, National Institute of Information and Communications Technology filed Critical Osaka University NUC
Publication of WO2020170951A1 publication Critical patent/WO2020170951A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying

Definitions

  • the present invention relates to an information search device and an information search method for searching information.
  • the semantic space is a space that can handle various concepts as continuous quantities.
  • each piece of information is represented as a feature vector defined by the origin on the semantic space and the coordinate points representing the information.
  • the difference between the information is evaluated as a distance (or inner product) in the semantic space.
  • a technique for realizing a search based on the conceptual similarity of each information by using the distance between the information in the semantic space has also been proposed. This information retrieval technique is called “semantic retrieval” or “concept retrieval”.
  • Patent Document 1 a representation in the semantic space of the natural language description regarding the training material and the measurement result of the brain activity induced in the brain of the subject who views the training material, They are related in the semantic space.
  • the semantic space used in Patent Document 1 is constructed using a large-scale database such as a corpus, and it is possible to describe the semantic relationship of words that appear in the description using natural language regarding the training material. It is a semantic space.
  • search When searching for an abstract concept that a searcher recalls, the search is executed by typing a keyword (search query) that verifies the concept by typing or voice.
  • search query search query
  • not all images can be verbalized, and if they cannot be verbalized, an appropriate search cannot be performed.
  • Patent Document 1 it is possible to estimate from the measurement result of the brain activity evoked in the brain of the subject through the semantic relationship of words appearing in the description using natural language. Is.
  • the estimation result is based on the semantic relationship of words that appear in the description using natural language, and is a concept that is difficult to verbalize (for example, images, smells, tastes, etc. that cannot be accurately expressed in natural language). There was room for further improvement in that it was not possible to properly perform a search for ).
  • the number of words that can be used when verbalizing an abstract concept is finite, and if there is no suitable word, it is not possible to describe the abstract concept accurately. There was room for
  • One aspect of the present invention is to realize an information search method and an information search device that can appropriately perform a search targeting a concept that is difficult to verbalize.
  • an information search method for searching information containing a concept desired by a searcher from a search target information group, A brain activity input step of inputting a brain activity corresponding to a concept, and a brain activity input in the brain activity input step are projected onto the concept space using a predetermined learning model to project the brain activity.
  • an information search device that searches information containing a concept desired by a searcher from a search target information group, A brain activity input unit that inputs a brain activity corresponding to a concept, and the brain activity, projecting each concept included in the information group to be searched onto the concept space using a predetermined learning model, A feature vector determination unit that determines a feature vector corresponding to the position where the brain activity is projected, a query generation unit that generates a query including the feature vector determined by the feature vector determination unit, a feature vector included in the query, and A search execution unit that searches the information group of the search target for information including a concept associated with a feature vector similar to the feature vector; and a search result output unit that outputs the information searched by the search execution unit.
  • a computer program is a computer for causing a computer to execute processing for searching information including a concept desired by a searcher from a search target information group.
  • the process is a brain activity input step of inputting a brain activity corresponding to the desired concept, and the brain activity input in the brain activity input step is the search target using a predetermined learning model.
  • information including a query generation step of generating a query including the feature vector included in the query generated in the query generation step and a concept associated with a feature vector similar to the feature vector, It includes a concept search step of searching and an output step of outputting the information searched in the concept search step.
  • a computer-readable recording medium recording the above computer program is also included in the technical scope of the present invention.
  • FIG. 1 It is a functional block diagram showing an example of composition of an information search device concerning one embodiment of the present invention. It is a conceptual diagram which shows the outline of the information search method which concerns on 1 aspect of this invention. It is a flowchart which shows an example of the flow of a brain activity decoding and a concept search process.
  • A is a flowchart showing an example of a flow of processing for preparing a search target database
  • (b) is a flowchart showing an example of a flow of processing for preparing a brain activity decoder.
  • (A) is a figure which shows the structural example at the time of searching website information using an information search device
  • (b) is a structure of the information search system which searches website information by a communication terminal and a search service provision apparatus. It is a figure which shows an example.
  • FIG. 2 is a conceptual diagram showing an outline of the information search method according to one aspect of the present invention.
  • a feature vector in a concept space is determined from brain activity when a searcher is recalling an arbitrary concept desired to be searched, and a query for information search is generated from the determined feature vector. To do. This enables the concept search using the feature vector in the concept space as a search query for information search without verbalizing.
  • This information retrieval method is composed of brain activity decoding and concept retrieval processing, as indicated by the broken line in FIG.
  • the brain activity decoding is a process of outputting a concept recalled by a searcher as a feature vector in a concept space
  • the concept search process is a process of receiving a feature vector as a query and performing a search.
  • the brain activity decoding includes model learning processing of learning 1 and learning 2. Learning 1 and learning 2 are performed using a computer.
  • the training material is associated with a feature vector indicating a position in a concept space of a predetermined dimension (for example, 300 dimensions) using an arbitrary feature extraction algorithm.
  • the following may be applied as the feature extraction algorithm.
  • DNN Deep neural network
  • CNN Convolutional neural network
  • RNN Recurrent neural network
  • LSTM Long Short-Term Memory
  • Kinetic energy model ⁇ Natural language processing model.
  • the training material may be any material that gives the searcher a sensory training stimulus of at least one of visual sense, olfactory sense, taste sense, auditory sense, and tactile sense.
  • the training material may be, for example, a moving image, an image, music, a voice, a scent sample, a sentence, a color sample, or the like.
  • any information can be set as a search target in the information search method according to the present invention by previously associating with a feature vector in a conceptual space of a predetermined dimension (for example, 300 dimensions). ..
  • the search target can be prepared as follows, for example. -When document information is to be searched, each of the 1 million items published on Wikipedia is associated with a feature vector on a 200-dimensional feature space using LSTM. -When moving image information is to be searched, each of the 1 million moving images posted on YouTube (YouTube (registered trademark)) is associated with a feature vector in a 300-dimensional feature space using CNN. -When searching fragrance information, the molecular structure, chemical formula, and perceptual information of each of about 2000 kinds of odors registered in the fragrance information database are 100-dimensional characteristics using an auto encoder. Corresponds to the feature vector in space. Examples of the database relating to scent information include SuperScent (http://bioinf-services.charite.de/superscent/).
  • the vectorization method to be used can be selected depending on the search target. Specifically, if the search target is time-series data, a model of Recurrent Neural Network series such as LSTM is used, if it is image data, Deep Neural Network such as CNN, and if the sample does not necessarily have a teacher signal, an automatic encoder is used. Can be used. However, the above combination is just one example of use, and other vectorization methods cannot be used in each of the above combinations. In principle, almost any vectorization method can be applied to any data.
  • the training material is presented to the searcher in advance to give the training stimulus to the searcher, and the brain activity induced by the training stimulus to the searcher is measured.
  • the firing pattern of nerve cells in the brain B of the searcher and the activity pattern in one or more specific regions change.
  • Brain activity is measured by a functional magnetic resonance imaging device (fMRI: functional Magnetic Resonance Imaging) and a cranial nerve activity detection device that measures an electro-cortico-graphy (ECoG).
  • fMRI functional Magnetic Resonance Imaging
  • EoG electro-cortico-graphy
  • the present invention is not limited to this, and may be any one that can measure changes in the firing pattern and brain activity pattern of nerve cells in the brain B of the searcher, and is not limited to fMRI and ECoG.
  • brain activity in a specific region of the brain B for example, visual cortex, auditory cortex, association cortex, etc.
  • a predetermined number or more (for example, 8000) of measurement results of brain activity in the whole brain of the searcher are collected. Then, a learned model in which the following relationships (A) and (B) are learned is created.
  • a linear regression model (predetermined learning model) with L2 regularization (ridge regularization) can be applied to the creation of this learned model.
  • a feature vector in the concept space that represents the concept of the training material provided to the searcher that is, the feature vector associated in learning 1
  • B A feature vector corresponding to the position where the brain activity of the searcher is projected on the concept space.
  • Construction of the brain decoder is performed as follows, for example.
  • the model learning method to be used may be selected depending on the characteristics of the sample. For example, linear regression (with regularization) is optimally used when it is estimated that association can be performed in a manner close to linear regression, or when there is a limited number of samples.
  • the use of DNNs is optimal when higher nonlinearities are expected and samples are likely to be collected above a certain level.
  • the above combination is just one of the usage examples, and other model learning methods may be applied.
  • searcher views or recalls a video of a scene of a movie
  • information about the movie including the scene can be obtained as a search result.
  • the searcher recalls the odor that he or she smelled in the past, even if the odor is a scent that cannot be described in words, it is possible to search the sample for a candidate for a substance that emits the odor.
  • the searcher recalls the taste that he or she has tasted in the past, even if the taste has an odor that cannot be described in words, it is possible to obtain information about the dish of that taste as the search result.
  • a searcher listens to or recalls a melody of a song, even if he or she cannot remember the artist who provided the song of the melody or the name of the song, information about the song can be obtained as a search result. it can.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an information search device 10 according to an aspect.
  • the information search device 10 includes a brain activity measurement unit 31 (brain activity input unit), a control unit 1, a storage unit 2, and a search result output unit 42.
  • the control unit 1 includes a brain activity analysis unit 32, a feature vector determination unit 33, a query generation unit 34, and a search execution unit 41.
  • the storage unit 2 includes a concept space database 21 and a search target database 22.
  • the brain activity measurement unit 31, the brain activity analysis unit 32, and the feature vector determination unit 33 configure the brain activity decoder unit 30, and the search execution unit 41 and the search result output unit 42 configure the concept search engine unit 40.
  • the brain activity measuring unit 31 measures the brain activity of the searcher's brain B (also referred to as cranial nerve activity). Specifically, the brain activity measuring unit 31 measures the brain activity induced by the training stimulus to the searcher when the training stimulus is given to the searcher by presenting the training material to the searcher. Further, the brain activity measuring unit 31 measures brain activity when the searcher recalls a desired concept. The brain activity measurement unit 31 only needs to be able to detect a firing pattern of nerve cells in the brain B and a signal indicating activity change in a single or a plurality of specific regions, and for example, the following devices can be applied. Note that fMRI is more desirable in consideration of the burden on the body of the searcher. ⁇ Functional Magnetic Resonance Imaging (fMRI) A cranial nerve activity detection device that measures cortical EEG (Electro-Cortico-Graphy: ECoG).
  • EEG Electro-Cortico-Graphy: ECoG
  • the brain activity analysis unit 32 analyzes brain activity based on the measured signals. For example, when fMRI is applied as the brain activity measuring unit 31, the brain activity of the whole brain B can be three-dimensionally imaged with high resolution (for example, 2 mm square) and continuously recorded (for example, 3 hours). Is. The brain activity analysis unit 32 analyzes the temporal change pattern and localization pattern of brain activity in the image thus obtained.
  • the feature vector determination unit 33 projects the measured brain activity onto the concept space stored in the concept space database 21 using a predetermined learning model, and the feature vector corresponding to the position where the brain activity is projected. To decide.
  • the concept space is a space in which each concept included in the information group stored in the search target database 22 can be expressed as a feature vector in the virtual space.
  • the query generation unit 34 generates a query including the feature vector determined by the feature vector determination unit 33.
  • the search execution unit 41 refers to the concept space and retrieves information including the feature vector included in the query generated by the query generation unit 34 and the concept associated with the feature vector similar to the feature vector from the search target database 22. Search from.
  • the search result output unit 42 outputs the information searched by the search execution unit 41 as a search result.
  • the mode of outputting the search result is not particularly limited.
  • the search result output unit 42 may have a configuration including a display and a display control unit.
  • the information search device 10 When the information search device 10 targets the website information on the network 90 (see (a) of FIG. 5), the information search device 10 includes a communication unit (not shown) and stores the website information. The data may be collected via the network 90 and stored in the search target database 22.
  • the brain activity of the searcher when recalling a desired concept is projected onto the concept space, and the feature vector corresponding to the position where the brain activity is projected is determined. Then, a query including the determined feature vector is generated, and information including the feature vector included in the query and the concept associated with the feature vector similar to the feature vector is searched from the search target information group.
  • the search target information group includes information included in the search target database 22, website information on the network 90, and the like. A case where the website information on the network 90 is to be searched will be described later. Since the information search method according to the present invention does not verbalize the concept to be searched, the searcher does not have to worry about verbalizing the concept to be searched. It is also applicable to searchers in any native language.
  • FIG. 3 is a flowchart showing an example of the flow of brain activity decoding and concept retrieval processing.
  • 4A is a flowchart showing an example of the flow of processing for preparing the search target database, and
  • FIG. 4B is an example of the flow of preparation processing for the brain activity decoder. It is a flowchart shown.
  • the search target database 22 Prior to executing the concept search process, the search target database 22 is prepared in advance (step S100: search target preparation step). This step corresponds to learning 1 in FIG. Specifically, the search target information is stored in the search target database 22 by associating the feature vector in the conceptual space with the search target information (step S101 in FIG. 4). This step may be performed using, for example, a general-purpose personal computer.
  • a brain activity decoder is prepared in advance before executing the concept search process (step S110). Specifically, the feature vector in the concept space is associated with the training material (step S111 in FIG. 4). This step corresponds to learning 1 in FIG.
  • step S112 in FIG. 4 brain activity measurement step ( Second brain activity measurement step)
  • a learned model that learned the relationship between the feature vector in the concept space showing the concept of the training material presented to the searcher and the feature vector corresponding to the position of the searcher's brain activity projected on the concept space. Is created.
  • the created learned model is stored in the concept space database 21 (step S113 in FIG. 4: learned model creating process). These steps correspond to learning 2 in FIG.
  • the step S110 may be performed using a general-purpose computer, for example.
  • the concept space database 21 and the search target database 22 may be acquired from the computer that executes the processes of steps S100 and S110.
  • steps S100 and S110 are completed, the following steps S1 to S7 are performed.
  • the brain activity measuring unit 31 measures brain activity when the searcher recalls a desired concept and inputs it to the control unit 1 (the brain activity input step (first brain activity measurement Process)).
  • the brain activity used as an input during the search may be the one measured in real time during the search as described above, or the one measured in advance. Further, the brain activity used as an input at the time of retrieval may be the measured brain activity data itself or the processed data of the brain activity such as the feature amount extracted from the brain activity data.
  • step S2 the brain activity analysis unit 32 analyzes brain activity.
  • step S3 the feature vector determination unit 33 projects the brain activity measured in step S1 onto the concept space and determines the feature vector in the concept space corresponding to the position where the brain activity is projected (feature vector). Decision process).
  • step S4 the query generation unit 34 generates a query including the feature vector determined by the feature vector determination unit 33 in step S2, and outputs the query to the search execution unit 41 of the concept search engine unit 40 (query generation process). ).
  • the query generation unit 34 may generate a query including the identification information assigned to the concept space including the feature vector determined in step S3 and the feature vector determined in step S3.
  • step S5 the search execution unit 41 receives the input of the feature vector (step S5).
  • step S6 the search execution unit 41 searches for a concept associated with a feature vector that matches (and is close to) the feature vector included in the query (concept search step).
  • step S7 the search result output unit 42 outputs the search result (output step).
  • FIG. 5A is a diagram showing a configuration example in the case of searching website information using the information search device 10.
  • the information search device 10 shown in FIG. 5A can access the website information of the website A 80 a, the website B 80 b,... Via the network 90.
  • the information search device 10 associates the website information of the website A 80a, the website B 80b,... With the feature vector on the feature space using the model learning method via the network, and searches the search target database 22. I remember.
  • the information search system 100 in which the functions of the information search device 10 are distributed, may be configured to execute a concept search with website information as a search target.
  • FIG. 5B is a diagram showing a configuration example of the information search system 100 including the communication terminal 300 and the search service providing apparatus 400 and using the website information as the search target information group.
  • the information search system 100 includes a search service providing apparatus 400 connected to the network 90, and a communication terminal 300 similarly connected to the network 90 and communicatively connected to the search service providing apparatus 400. There is.
  • the communication terminal 300 does not have to be connected to the network 90 and may be, for example, connectable to the search service providing apparatus 400.
  • the communication terminal 300 includes a query generation unit 34, a concept space database 21, and a communication unit 310 that transmits a query generated from the feature vector determined by the brain activity decoder unit 30 to the search service providing apparatus 400.
  • the search service providing device 400 includes a concept search engine unit 40 that executes a search, a communication unit 410, a concept space database 21, and a website index 220.
  • both the communication terminal 300 and the search service providing apparatus 400 have a common concept space database 21.
  • a search based on the concept associated with the feature vector in the same concept space can be executed for the query from the communication terminal 300.
  • the number of search service providing devices 400 and the number of communication terminals 300 included in the information search system 100 are not limited to the example shown in FIG. That is, the search service providing apparatus 400 may be configured to receive queries from a plurality of communication terminals 300 and transmit search results to each of the queries from each communication terminal 300. Alternatively, there may be a plurality of search service providing devices 400, and different search service providing devices 400 may perform a search depending on the type and field of the query from the communication terminal 300.
  • the control block (particularly the brain activity analysis unit 32, the feature vector determination unit 33, the query generation unit 34, and the search execution unit 41) of the information search device 10 is a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like. ) Or software.
  • the information search device 10 includes a computer that executes the instructions of a program that is software that realizes each function.
  • the computer includes, for example, one or more processors and a computer-readable recording medium that stores the program. Then, in the computer, the processor reads the program from the recording medium and executes the program to achieve the object of the present invention.
  • a CPU Central Processing Unit
  • the recording medium a "non-transitory tangible medium” such as a ROM (Read Only Memory), a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. Further, a RAM (Random Access Memory) for expanding the above program may be further provided.
  • the program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program.
  • any transmission medium communication network, broadcast wave, etc.
  • one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the above program is realized by electronic transmission.
  • An information retrieval method is an information retrieval method for retrieving information including a concept desired by a searcher from an information group to be searched, and inputting a brain activity corresponding to the desired concept.
  • Brain activity input step (S1), and the brain activity input in the brain activity input step is projected onto the conceptual space using a predetermined learning model, and a feature vector corresponding to the position where the brain activity is projected.
  • a concept search step (S6) of searching the information group to be searched for information including a concept associated with a feature vector similar to the feature vector, and an output step of outputting the information searched in the concept search step. (S7) is included.
  • the brain activity of the searcher when the desired concept is recalled is determined by using a predetermined learning model to determine a feature vector corresponding to the position projected, and the feature vector is included.
  • a query is generated and information including a concept associated with a feature vector included in the query and a feature vector similar to the feature vector is searched from the search target information group. This makes it possible to perform a search for concepts that are difficult to verbalize and concepts that cannot be faithfully verbalized.
  • the training stimulus is given to the searcher by presenting the training material to the searcher in advance, and the training stimulus is given to the searcher.
  • the feature vector determination step (S3) further includes a learned model creation step (S113) of creating a learned model in which the relationship between the feature in the brain activity state of the searcher who has been stimulated is learned. ), based on the position where the brain activity input in the brain activity input step (S1) is projected onto the conceptual space and the learned model, a feature vector corresponding to the position where the brain activity is projected is obtained. You may decide.
  • the concept recalled by the searcher can be accurately associated as a feature vector in the concept space.
  • the training material gives the searcher a sensory training stimulus of at least one of visual sense, olfactory sense, taste sense, auditory sense, and tactile sense.
  • the learned model is referred to for each concept space by referring to a different concept space for each type of the training stimulus provided by the training material to the searcher.
  • Identification information is provided to each of the concept spaces created and different for each type of the training stimulus, and includes the feature vector determined in the feature vector determination step (S3) in the query generation step (S4).
  • a query including the identification information given to the concept space and the feature vector determined in the feature vector determination step (S3) is generated, and the feature vector included in the query is determined in the concept search step (S6).
  • the information including the concept associated with the feature vector and the feature vector similar to the feature vector is identified by referring to the concept space to which the identification information included in the query is given, You may search from the information group.
  • the search result output in the output step (S7) includes the identification information or information indicating a concept space to which the identification information is added. You may
  • An information search device (10) is an information search device (10) for searching information including a concept desired by a searcher from a search target information group, and corresponds to the desired concept.
  • a brain activity input unit (brain activity input unit 31) for inputting a brain activity to be performed, and the brain activity is projected on the concept space by using a predetermined learning model for each concept included in the information group to be searched.
  • a feature vector determination unit (33) that determines a feature vector corresponding to the position where the brain activity is projected
  • a query generation unit (generates a query that includes the feature vector determined by the feature vector determination unit (33) ( 34)
  • a search execution unit (41) for searching the information group to be searched for information including a feature vector included in the query and a concept associated with a feature vector similar to the feature vector, and the search.
  • a search result output unit (42) for outputting the information searched by the execution unit (41).
  • a computer program according to aspect 6 of the present invention is a computer program for causing a computer to execute a process for searching for information including a concept desired by a searcher from a search target information group, the process comprising: The brain activity input step (S1) for inputting the brain activity corresponding to the desired concept, and the brain activity input in the brain activity input step (S1) using the predetermined learning model as the search target information group.
  • Each concept included in the above is projected in the concept space, and a feature vector determining step (S3) for determining a feature vector corresponding to the position where the brain activity is projected, and a feature vector determining step (S3) are determined.
  • Information including a query generation step (S4) of generating a query including a feature vector, a feature vector included in the query generated in the query generation step (S4), and a concept associated with a feature vector similar to the feature vector Is included in the concept search step (S6) for searching from the information group to be searched, and an output step (S7) for outputting the information searched in the concept search step (S6).
  • Controller 2 Storage 10 Information Retrieval Device 21
  • Search target database (information group of search target) 30
  • Brain activity decoder section 31
  • Brain activity measurement section (Brain activity input section) 32
  • Brain activity analysis unit 33
  • Feature vector determination unit 34
  • Search execution unit 42
  • Search result output unit 40
  • Conceptual search engine unit 90

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

言語化が困難な概念を対象とした検索を行う。検索者が検索を所望する任意の概念を想起しているときの脳活動から、概念空間上の特徴ベクトルを決定し、決定した該特徴ベクトルから生成された情報検索用のクエリを用いて検索する。

Description

情報検索方法、情報検索装置、コンピュータプログラム
　本発明は、情報を検索する情報検索装置および情報検索方法などに関する。
　インターネットなどの普及によって、日々生成・蓄積されている大量かつ多様な様式（例えば、文書、地図、画像、および動画など）の情報を利用することが可能である。このような状況においては、蓄積した膨大な情報の中から所望の情報を効率的に検索するための情報検索技術が必要不可欠である。
　近年、多様な情報を意味空間（「概念空間」とも呼称される）における座標点として表現する手法が考案されている（例えば、非特許文献１参照）。ここで、意味空間とは、多様な概念を連続量として扱うことが可能な空間である。この手法によれば、各情報はそれぞれ、意味空間上の原点と当該情報を表す座標点とによって定義される特徴ベクトルとして表される。そして、情報間の差異は、意味空間における距離（または内積）として評価される。意味空間における情報間の距離を利用して、各情報の概念的な類似性に基づいた検索を実現する技術も提唱されている。この情報検索技術は、「セマンティック検索」あるいは「概念検索」と呼称されている。
　一方、特許文献１に開示されている技術では、訓練用素材に関する自然言語記述の意味空間上の表象と、該訓練用素材を視聴する被験者の脳において誘発される脳活動の計測結果とを、該意味空間上において関係付けている。特許文献１にて用いられている意味空間は、コーパス等の大規模データベースを用いて構築されたものであり、訓練用素材に関する自然言語を用いた記述に現れる単語の意味的関係を記述可能な意味空間である。
日本国公開特許公報「特開２０１６－１９５７１６号公報（公開日：２０１６年１１月２４日公開）」
Giunchiglia F. et al., "Concept Search.", In: Aroyo L. et al.(eds) "The Semantic Web; Research and Applications.", ESWC, Lecture Notes in Computer Science，vol. 5554, Springer, p.429-444，2009
　検索者が想起している抽象的な概念などを検索する場合、当該概念を言語化したキーワード（検索クエリ）を、タイピングまたは音声により入力することによって検索が実行されている。しかし、すべてのイメージが言語化できるとは限らず、言語化できないものであれば、適切な検索を実行することができない。
　例えば、特許文献１に開示されている技術によれば、被験者の脳において誘発される脳活動の計測結果から、自然言語を用いた記述に現れる単語の意味的関係を介して推定することは可能である。しかし、その推定結果は、自然言語を用いた記述に現れる単語の意味的関係に基づくものであり、言語化が困難な概念（例えば、自然言語では正確に表現し得ない映像、匂い、味など）を対象とした検索を適切に行うことができないという点でさらなる工夫の余地があった。また、抽象的な概念を言語化するときに使用可能な単語数は有限であり、適当な単語が存在しない場合には、抽象的な概念を正確に記述することができず、という点でも改善の余地があった。
　本発明の一態様は、言語化が困難な概念を対象とした検索を適切に行うことが可能な情報検索方法および情報検索装置などを実現することを目的とする。
　上記の課題を解決するために、本発明の一態様に係る情報検索方法は、検索者が所望する概念を含む情報を、検索対象の情報群から検索する情報検索方法であって、前記所望の概念に対応する脳活動を入力する脳活動入力工程と、前記脳活動入力工程において入力された脳活動を、所定の学習モデルを用いて前記概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定工程と、前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成するクエリ生成工程と、前記クエリ生成工程において生成したクエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する概念検索工程と、前記概念検索工程において検索された情報を出力する出力工程と、を含んでいる。
　上記の課題を解決するために、本発明の一態様に係る情報検索装置は、検索者が所望する概念を含む情報を、検索対象の情報群から検索する情報検索装置であって、前記所望の概念に対応する脳活動を入力する脳活動入力部と、前記脳活動を、前記検索対象の情報群に含まれる各概念を、所定の学習モデルを用いて前記概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定部と、前記特徴ベクトル決定部が決定した特徴ベクトルを含むクエリを生成するクエリ生成部と、前記クエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する検索実行部と、前記検索実行部が検索した情報を出力する検索結果出力部と、を備える。
　上記の課題を解決するために、本発明の一態様に係るコンピュータプログラムは、検索者が所望する概念を含む情報を、検索対象の情報群から検索するための処理をコンピュータに実行させるためのコンピュータプログラムであって、前記処理は、前記所望の概念に対応する脳活動を入力する脳活動入力工程と、前記脳活動入力工程において入力された脳活動を、所定の学習モデルを用いて前記検索対象の情報群に含まれる各概念を前記概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定工程と、前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成するクエリ生成工程と、前記クエリ生成工程において生成したクエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する概念検索工程と、前記概念検索工程において検索された情報を出力する出力工程と、を含んでいる。
　また、上記コンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の技術的範囲に含まれる。
　本発明の一態様によれば、言語化が困難な概念を対象とした検索を適切に行うことができる。
本発明の一実施形態に係る情報検索装置の構成例を示す機能ブロック図である。 本発明の一態様に係る情報検索方法の概要を示す概念図である。 脳活動デコーディングおよび概念検索処理の流れの一例を示すフローチャートである。 （ａ）は検索対象データベースの準備のための処理の流れの一例を示すフローチャートであり、（ｂ）は脳活動デコーダの準備のための処理の流れの一例を示すフローチャートである。 （ａ）は情報検索装置を用いてウェブサイト情報を検索する場合の構成例を示す図であり、（ｂ）は通信端末と検索サービス提供装置とによってウェブサイト情報を検索する情報検索システムの構成例を示す図である。
　〔実施形態１〕
　以下、本発明の一実施形態について、詳細に説明する。
　（情報検索方法の概略および効果）
　まず、本発明の一実施形態に係る情報検索方法の概要を、図２を用いて説明する。図２は、本発明の一態様に係る情報検索方法の概要を示す概念図である。この情報検索方法では、検索者が検索を所望する任意の概念を想起しているときの脳活動から、概念空間上の特徴ベクトルを決定し、決定した該特徴ベクトルから情報検索用のクエリを生成する。これにより、概念空間上の特徴ベクトルを、言語化することなく情報検索のための検索用のクエリとして利用した概念検索が可能となる。
　この情報検索方法は、図２において破線で示されているように、脳活動デコーディングと概念検索処理とで構成される。脳活動デコーディングは、検索者が想起している概念を概念空間上の特徴ベクトルとして出力する処理であり、概念検索処理は、特徴ベクトルをクエリとして受け付けて検索を行う処理である。脳活動デコーディングには、学習１および学習２というモデル学習処理が含まれている。なお、学習１および学習２は、コンピュータを用いて行われる。
　〔脳活動デコーディング〕
　学習１
　まず、学習１において、訓練用素材を、任意の特徴抽出アルゴリズムを用いて、所定の次元（例えば、３００次元）の概念空間上の位置を示す特徴ベクトルと対応付ける。特徴抽出アルゴリズムとしては、以下が適用され得る。
・深層ニューラルネットワーク（ＤＮＮ）
・畳み込みニューラルネットワーク（ＣＮＮ）
・オートエンコーダ（auto encoder）
・リカレントニューラルネットワーク（ＲＮＮ）
・ＬＳＴＭ（Long Short-Term Memory）などのニューラルネットワークモデル
・運動エネルギーモデル
・自然言語処理モデル。
　これにより、概念空間上の特徴ベクトル（座標）をクエリとして概念検索処理を実行したときに、該特徴ベクトルと類似した特徴ベクトルと関連付けられた訓練用素材を検索することが可能となる。ここで、訓練用素材としては、視覚、嗅覚、味覚、聴覚、触覚の少なくともいずれか１つの感覚的な訓練用刺激を検索者に与えるものであればよい。訓練用素材としては、例えば、動画、画像、音楽、音声、香りの標本、文章、色の標本などであってもよい。
　なお、訓練用素材と同様に、予め所定の次元（例えば、３００次元）の概念空間上の特徴ベクトルと対応付けることによって、任意の情報を本発明に係る情報検索方法における検索対象とすることができる。
　検索対象は、例えば、以下のように準備され得る。
・文書情報を検索対象とする場合、ウィキペディア（Wikipedia）に公開されている１００万項目のそれぞれを、ＬＳＴＭを用いて２００次元の特徴空間上の特徴ベクトルと対応付ける。
・動画情報を検索対象とする場合、ユーチューブ（YouTube（登録商標））に投稿されている１００万本の動画のそれぞれを、ＣＮＮを用いて３００次元の特徴空間上の特徴ベクトルと対応付ける。
・香りの情報を検索対象とする場合、香りの情報に関するデータベースに登録されている約２０００種類の匂いのそれぞれについて、その分子構造、化学式、および知覚情報を、オートエンコーダを用いて１００次元の特徴空間上の特徴ベクトルと対応付ける。香りの情報に関するデータベースとしては、例えば、SuperScent（http://bioinf-services.charite.de/superscent/）などが挙げられる。
　ここで、上記のように、検索対象によって、使用するベクトル化手法を選択することができる。具体的には、検索対象が時系列データであればＬＳＴＭ等のRecurrent Neural Network系列のモデルを、画像データであればＣＮＮ等のDeep Neural Networkを、教師信号が必ずしもないサンプルであればオートエンコーダを使うことが考えられる。ただし、上記の組み合わせはあくまで利用例の一つであり、上記の組み合わせのそれぞれにおいて、他のベクトル化手法が使えないわけではない。原理的には任意のデータについて、ほぼ任意のベクトル化手法が適用可能である。
　学習２
　次に、学習２において、事前に訓練用素材を検索者に提示することによって訓練用刺激を検索者に与え、該訓練用刺激が検索者に誘発する脳活動を計測する。与えられた訓練用刺激に応じて、検索者の脳Ｂの神経細胞の発火パターンや、単数または複数の特定領域での活動パターンに変化が生じる。
　脳活動は、機能的磁気共鳴画像装置（ｆＭＲＩ：functional Magnetic Resonance Imaging）および皮質脳波（Electro-Cortico-Graphy：ＥＣｏＧ）を計測する脳神経活動検出装置などによって計測する。なお、これに限定されるものではなく、検索者の脳Ｂの神経細胞の発火パターンおよび脳活動パターンの変化が計測できるものであればよく、ｆＭＲＩおよびＥＣｏＧに限定されない。また、全脳における脳活動を計測することが望ましいが、脳Ｂの特定領域（例えば、視覚野、聴覚野、および、連合野など）における脳活動を計測してもよい。
　学習２では、検索者の全脳における脳活動の計測結果を所定数以上（例えば、８０００）収集される。そして、以下の（Ａ）と（Ｂ）との関連性を学習した学習済モデルを作成する。この学習済モデルの作成には、Ｌ２正則化（リッジ正則化）付きの線形回帰モデル（所定の学習モデル）が適用され得る。
（Ａ）検索者に提供された訓練用素材の概念を表す概念空間上の特徴ベクトル（すなわち、学習１において対応付けられた特徴ベクトル）
（Ｂ）検索者の脳活動を概念空間上に投射した位置に対応する特徴ベクトル。
　脳デコーダの構築は、例えば、以下のように行われる。
　・１時間分のユーチューブ動画を訓練用素材として検索者に視聴させ、視聴中の検索者の脳Ｂにおける脳活動を、ｆＭＲＩを用いて、２ｍｍ角の解像度で１秒ごとに全脳スキャンを行う。このようにして計測することにより、全脳からおよそ８万ボクセルの空間情報が得られる。このようにして得られた空間情報について、検索者に視聴させた動画と対応した特徴空間との対応関係を、Ｌ２正則化付き線形回帰モデル（所定の学習モデル）を用いて学習する。
　・１００種類の匂い標本を体験中の検索者の脳Ｂにおける脳活動について、大脳皮質および脳底部に設置したＥＣｏＧおよび刺入電極（８０チャネル）で記録する。このようにして得られた皮質脳波について、検索者に体験させた匂い標本と対応した特徴空間との対応関係を、ＤＮＮ（所定の学習モデル）を用いて学習する。
　上記のように、サンプルの特性によって、使用するモデル学習の手法を選択してもよい。例えば、線形回帰に近い形で関連付けが可能と推定される場合には、あるいはサンプルに限りがある場合は（正則化付き）線形回帰の利用が最適である。より高度な非線形性が予想され、またサンプルが一定以上集められそうな場合には、ＤＮＮの利用が最適である。ただし、上記の組み合わせはあくまで利用例の一つであり、他のモデル学習の手法を適用してもよい。
　〔概念検索処理〕
　概念検索処理において、検索者が検索を所望する概念を脳内で想起しているときの脳活動を、学習済の脳デコーディングを適用して解析し、検索者が想起している概念に対応した３００次元の特徴ベクトルを得る。そして、得られた特徴ベクトルをクエリとして概念検索処理を実行する。
　このような情報検索方法を適用すれば、以下に示すような概念検索が可能となる。
・検索者が、映画のあるシーンの映像を視聴したり、想起したりすれば、当該シーンを含む映画に関する情報を検索結果として得ることができる。
・検索者が、過去に嗅いだ匂いを想起すれば、たとえ当該匂いが言葉では形容できない匂いであったとしても、その匂いを発する物質の候補を標本の中から検索することができる。
・検索者が、過去に味わった味を想起すれば、たとえ当該味が言葉では形容できない匂いであったとしても、その味の料理に関する情報を検索結果として得ることができる。
・検索者が、楽曲のメロディーを視聴したり、想起したりすれば、たとえ当該メロディーの楽曲を提供したアーティストやその楽曲名を思い出せなかったとしても、その楽曲に関する情報を検索結果として得ることができる。
　（情報検索装置１０の構成）
　続いて、図２において示した情報検索方法を実行する情報検索装置１０の構成について図１を用いて説明する。図１は、一態様に係る情報検索装置１０の概略構成の一例を示す図である。情報検索装置１０は、脳活動計測部３１（脳活動入力部）、制御部１、記憶部２、および検索結果出力部４２を備えている。制御部１は、脳活動解析部３２、特徴ベクトル決定部３３、クエリ生成部３４、および検索実行部４１を備えている。記憶部２は、概念空間データベース２１および検索対象データベース２２を備えている。
　脳活動計測部３１、脳活動解析部３２、および特徴ベクトル決定部３３は、脳活動デコーダ部３０を構成し、検索実行部４１および検索結果出力部４２は、概念検索エンジン部４０を構成する。
　脳活動計測部３１は、検索者の脳Ｂの脳活動（脳神経活動とも呼称される）を計測する。具体的には、脳活動計測部３１は、訓練用素材を検索者に提示することによって訓練用刺激を検索者に与えたときに、訓練用刺激が検索者に誘発する脳活動を計測する。また、脳活動計測部３１は、検索者が所望の概念を想起しているときの脳活動を計測する。脳活動計測部３１は、脳Ｂの神経細胞の発火パターンや、単数または複数の特定領域での活動変化を示す信号を検出可能であればよく、例えば、以下に挙げる装置が適用され得る。なお、検索者の身体への負担を考慮すれば、ｆＭＲＩがより望ましい。
・機能的磁気共鳴画像装置（ｆＭＲＩ： functional Magnetic Resonance Imaging）
・皮質脳波（Electro-Cortico-Graphy：ＥＣｏＧ）を計測する脳神経活動検出装置。
　脳活動解析部３２は、計測された信号に基づいて脳活動を解析する。例えば、ｆＭＲＩを脳活動計測部３１として適用した場合、全脳Ｂの脳活動を３次元的に高解像度（例えば２ｍｍ角）で撮像し、連続的に（例えば、３時間）記録することが可能である。脳活動解析部３２は、このようにして得られた画像における、脳活動の経時変動パターンおよび局在パターンなどを解析する。
　特徴ベクトル決定部３３は、計測された脳活動を、所定の学習モデルを用いて概念空間データベース２１に格納されている概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する。ここで、概念空間とは、検索対象データベース２２に格納された情報群に含まれる各概念を仮想的空間上の特徴ベクトルとして表現可能な空間である。
　クエリ生成部３４は、特徴ベクトル決定部３３が決定した特徴ベクトルを含むクエリを生成する。
　検索実行部４１は、概念空間を参照して、クエリ生成部３４が生成したクエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、検索対象データベース２２から検索する。
　検索結果出力部４２は、検索実行部４１が検索した情報を検索結果として出力する。検索結果を出力する態様には特に限定されない。例えば、検索結果をディスプレイに表示する場合、検索結果出力部４２は、ディスプレイおよび表示制御部を備える構成であればよい。
　なお、情報検索装置１０が、ネットワーク９０上のウェブサイト情報を検索対象とする場合（図５の（ａ）参照）、情報検索装置１０が通信部（図示せず）を備え、ウェブサイト情報を、ネットワーク９０を介して収集し、検索対象データベース２２に記憶する構成であってもよい。
　上記の構成によれば、所望の概念を想起しているときの検索者の脳活動を概念空間上に投射し、該脳活動を投射した位置に対応する特徴ベクトルを決定する。そして、決定した特徴ベクトルを含むクエリを生成し、該クエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、検索対象の情報群から検索する。このように構成すれば、言語化が困難な概念、および忠実に言語化することが不可能な概念を対象とした検索を実行することができる。ここで、検索対象の情報群としては、検索対象データベース２２に含まれる情報、およびネットワーク９０上のウェブサイト情報などが挙げられる。ネットワーク９０上のウェブサイト情報を検索対象とする場合については後に説明する。
　本発明に係る情報検索方法は検索したい概念を言語化しないため、検索者は、検索したい概念の言語化に悩む必要が無い。また、いかなる母国語の検索者に対しても適用可能である。
　（概念検索処理）
　次に、概念検索処理の流れについて図３および図４を用いて説明する。図３は、脳活動デコーディングおよび概念検索処理の流れの一例を示すフローチャートである。また、図４の（ａ）は、検索対象データベースの準備のための処理の流れの一例を示すフローチャートであり、図４の（ｂ）は、脳活動デコーダのための準備処理の流れの一例を示すフローチャートである。
　概念検索処理を実行する前に、予め、検索対象データベース２２が準備される（ステップＳ１００：検索対象準備工程）。この工程は、図２の学習１に相当する。具体的には、検索対象となる情報に概念空間上の特徴ベクトルを対応付けて（図４のステップＳ１０１）、検索対象の各情報を検索対象データベース２２に格納する。この工程は、例えば汎用のパーソナルコンピュータを用いて行われてもよい。
　ステップＳ１００と同様に、概念検索処理を実行する前に、予め、脳活動デコーダが準備される（ステップＳ１１０）。具体的には、訓練用素材に、概念空間上の特徴ベクトルが対応付けられる（図４のステップＳ１１１）。この工程は、図２の学習１に相当する。
　次に、訓練用素材を検索者に提示したときに、該訓練用素材が検索者に誘発する脳活動が計測され、制御部１に入力される（図４のステップＳ１１２：脳活動計測工程（第２の脳活動計測工程））。また、検索者に提示した訓練用素材の概念を示す概念空間上の特徴ベクトルと、検索者の脳活動を概念空間上に投射した位置に対応する特徴ベクトルとの関連性を学習した学習済モデルが作成される。作成された学習済モデルは、概念空間データベース２１に記憶される（図４のステップＳ１１３：学習済モデル作成工程）。これらの工程は、図２の学習２に相当する。
　なお、ステップＳ１００の工程と同様、ステップＳ１１０の工程は、例えば汎用のコンピュータを用いて行われてもよい。その場合、は、概念空間データベース２１および検索対象データベース２２を、ステップＳ１００およびステップＳ１１０の工程を実行したコンピュータから取得すればよい。
　ステップＳ１００およびステップＳ１１０が完了した後、以下のステップＳ１～Ｓ７の各工程を行う。
　まず、ステップＳ１において、脳活動計測部３１は、検索者が所望の概念を想起しているときの脳活動を計測し、制御部１に入力する（脳活動入力工程（第１の脳活動計測工程））。なお、検索時に入力として用いる脳活動には、このように検索時にリアルタイムに計測したものを用いてもよいが、あらかじめ計測しておいたものを用いてもよい。また、検索時に入力として用いる脳活動は、計測された脳活動データ自体でもよく、脳活動データから抽出した特徴量等の脳活動の加工データでもよい。
　続いて、ステップＳ２において、脳活動解析部３２は脳活動を解析する。ステップＳ３において、特徴ベクトル決定部３３は、ステップＳ１において計測された脳活動を概念空間上に投射して、該脳活動を投射した位置に対応する概念空間上の特徴ベクトルを決定する（特徴ベクトル決定工程）。
　次に、ステップＳ４において、クエリ生成部３４は、ステップＳ２において特徴ベクトル決定部３３が決定した特徴ベクトルを含むクエリを生成し、概念検索エンジン部４０の検索実行部４１に出力する（クエリ生成工程）。なお、クエリ生成部３４は、ステップＳ３において決定した特徴ベクトルを含む概念空間に付与された識別情報、および、ステップＳ３において決定した特徴ベクトルを含むクエリを生成してもよい。
　次に、ステップＳ５において、検索実行部４１は、特徴ベクトルの入力を受け付ける（ステップＳ５）。ステップＳ６において、検索実行部４１は、クエリに含まれる特徴ベクトルと一致する（および近い）特徴ベクトルに関連付けられた概念を検索する（概念検索工程）。
　次に、ステップＳ７において、検索結果出力部４２は、検索結果を出力する（出力工程）。
　〔実施形態２〕
　本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　インターネット上に存在する各種のウェブサイト情報を検索対象とする場合、例えば、図５に示すような構成とすればよい。図５の（ａ）は、情報検索装置１０を用いてウェブサイト情報を検索する場合の構成例を示す図である。
　図５の（ａ）に示す情報検索装置１０は、ネットワーク９０を介して、ウェブサイトＡ８０ａ、ウェブサイトＢ８０ｂ、・・・のウェブサイト情報にアクセスすることが可能である。
　情報検索装置１０は、ネットワークを介して、ウェブサイトＡ８０ａ、ウェブサイトＢ８０ｂ、・・・のウェブサイト情報を、モデル学習の手法を用いて特徴空間上の特徴ベクトルと対応付けて、検索対象データベース２２に記憶している。
　あるいは、情報検索装置１０の機能を分散させた情報検索システム１００が、ウェブサイト情報を検索対象とする概念検索を実行する構成であってもよい。図５の（ｂ）は、通信端末３００と検索サービス提供装置４００とを含み、ウェブサイト情報を検索対象の情報群とする情報検索システム１００の構成例を示す図である。
　情報検索システム１００は、ネットワーク９０に接続している検索サービス提供装置４００と、同様にネットワーク９０に接続しており、検索サービス提供装置４００と通信可能に接続されている通信端末３００とを備えている。なお、通信端末３００はネットワーク９０に接続していなくてもよく、例えば、検索サービス提供装置４００と接続可能であればよい。
　通信端末３００は、クエリ生成部３４、概念空間データベース２１、および脳活動デコーダ部３０が決定した特徴ベクトルから生成したクエリを検索サービス提供装置４００に送信する通信部３１０を備えている。
　一方、検索サービス提供装置４００は、検索を実行する概念検索エンジン部４０、通信部４１０、概念空間データベース２１、およびウェブサイトインデックス２２０を備えている。
　ここで、通信端末３００および検索サービス提供装置４００はともに、共通の概念空間データベース２１を備えている。これにより、通信端末３００からのクエリに対して、同じ概念空間上の特徴ベクトルと対応付けられた概念に基づく検索を実行することができる。
　なお、情報検索システム１００に含まれる検索サービス提供装置４００の数、および通信端末３００の数は、図５の（ｂ）に示す例に限定されない。すなわち、検索サービス提供装置４００は、複数の通信端末３００からのクエリを受信して、各通信端末３００からクエリのそれぞれに対して検索結果を送信する構成であってもよい。あるいは、検索サービス提供装置４００が複数存在しており、通信端末３００からのクエリの種別および分野に応じて、異なる検索サービス提供装置４００が検索を行う構成であってもよい。
　本発明に係る情報検索システムをこのように構成すれば、ウェブサイト情報を検索対象とすることが可能となる。
　〔ソフトウェアによる実現例〕
　情報検索装置１０の制御ブロック（特に脳活動解析部３２、特徴ベクトル決定部３３、クエリ生成部３４、および検索実行部４１）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、情報検索装置１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　〔まとめ〕
　本発明の態様１に係る情報検索方法は、検索者が所望する概念を含む情報を、検索対象の情報群から検索する情報検索方法であって、前記所望の概念に対応する脳活動を入力する脳活動入力工程（Ｓ１）と、前記脳活動入力工程において入力された脳活動を、所定の学習モデルを用いて前記概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定工程（Ｓ３）と、前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成するクエリ生成工程（Ｓ４）と、前記クエリ生成工程において生成したクエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する概念検索工程（Ｓ６）と、前記概念検索工程において検索された情報を出力する出力工程（Ｓ７）と、を含んでいる。
　上記の構成によれば、所望の概念を想起したときの検索者の脳活動を、所定の学習モデルを用いて概念空間上に投射した位置に対応する特徴ベクトルを決定し、該特徴ベクトルを含むクエリを生成し、該クエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトに関連付けられている概念を含む情報を、検索対象の情報群から検索する。これにより、言語化が困難な概念、および忠実に言語化することが不可能な概念を対象とした検索を実行することができる。
　本発明の態様２に係る情報検索方法は、上記態様１において、事前に訓練用素材を前記検索者に提示することによって訓練用刺激を前記検索者に与え、該訓練用刺激が前記検索者に誘発する脳活動を計測する脳活動計測工程（Ｓ１１２）と、前記脳活動計測工程において計測された脳活動を誘発した前記訓練用素材の概念を表す前記概念空間上の特徴ベクトルと、前記訓練用刺激を与えられた前記検索者の脳活動の状態における特徴と、の関連性を学習した学習済モデルを作成する学習済モデル作成工程（Ｓ１１３）と、をさらに含み、前記特徴ベクトル決定工程（Ｓ３）は、前記脳活動入力工程（Ｓ１）において入力された脳活動を前記概念空間上に投射した位置と、前記学習済モデルとに基づいて、該脳活動を投射した位置に対応する特徴ベクトルを決定してもよい。
　このように構成すれば、検索者が想起している概念を概念空間上の特徴ベクトルとして正確に対応付けることができる。
　本発明の態様３に係る情報検索方法では、上記態様２において、前記訓練用素材は、視覚、嗅覚、味覚、聴覚、触覚の少なくともいずれか１つの感覚的な訓練用刺激を前記検索者に与えるものであり、前記学習済モデル作成工程（Ｓ１１３）において、前記訓練用素材が前記検索者に与える前記訓練用刺激の種類毎に異なる概念空間を参照して、概念空間毎に前記学習済モデルを作成し、前記訓練用刺激の種類毎に異なる概念空間の各々には識別情報が付与されており、前記クエリ生成工程（Ｓ４）において、前記特徴ベクトル決定工程（Ｓ３）において決定した特徴ベクトルを含む概念空間に付与された識別情報、および、前記特徴ベクトル決定工程（Ｓ３）において決定した特徴ベクトルを含むクエリを生成し、前記概念検索工程（Ｓ６）において、前記クエリに含まれている特徴ベクトルを該クエリに含まれている前記識別情報が付与された概念空間を参照して特定し、該特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索してもよい。
　上記の構成によれば、視覚、嗅覚、味覚、聴覚、触覚などに関連する概念を、複数の概念空間上の特徴ベクトルとして対応付けることができる。これにより、言語化が困難な映像、匂い、味、音楽、感触などの概念を、複数の観点から解釈した場合の検索結果を出力することができる。
　本発明の態様４に係る情報検索方法では、上記態様３において、前記出力工程（Ｓ７）において出力される検索結果には、前記識別情報または該識別情報が付与された概念空間を示す情報が含まれてもよい。
　これにより、出力した検索結果が、どの概念空間を参照して検索された検索結果であるかを検索者に知らせることができる。
　本発明の態様５に係る情報検索装置（１０）は、検索者が所望する概念を含む情報を、検索対象の情報群から検索する情報検索装置（１０）であって、前記所望の概念に対応する脳活動を入力する脳活動入力部（脳活動入力部３１）と、前記脳活動を、前記検索対象の情報群に含まれる各概念を、所定の学習モデルを用いて前記概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定部（３３）と、前記特徴ベクトル決定部（３３）が決定した特徴ベクトルを含むクエリを生成するクエリ生成部（３４）と、前記クエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する検索実行部（４１）と、前記検索実行部（４１）が検索した情報を出力する検索結果出力部（４２）と、を備える。上記の構成によれば、上記態様１に係る情報検索方法と同様の効果を奏する。
　本発明の態様６に係るコンピュータプログラムは、検索者が所望する概念を含む情報を、検索対象の情報群から検索するための処理をコンピュータに実行させるためのコンピュータプログラムであって、前記処理は、前記所望の概念に対応する脳活動を入力する脳活動入力工程（Ｓ１）と、前記脳活動入力工程（Ｓ１）において入力された脳活動を、所定の学習モデルを用いて前記検索対象の情報群に含まれる各概念を前記概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定工程（Ｓ３）と、前記特徴ベクトル決定工程（Ｓ３）において決定した特徴ベクトルを含むクエリを生成するクエリ生成工程（Ｓ４）と、前記クエリ生成工程（Ｓ４）において生成したクエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する概念検索工程（Ｓ６）と、前記概念検索工程（Ｓ６）において検索された情報を出力する出力工程（Ｓ７）と、を含んでいる。上記の構成によれば、上記態様１に係る記情報検索方法と同様の効果を奏する。
　１　制御部
　２　記憶部
１０　情報検索装置
２１　概念空間データベース（概念空間、学習済モデル）
２２　検索対象データベース（検索対象の情報群）
３０　脳活動デコーダ部
３１　脳活動計測部（脳活動入力部）
３２　脳活動解析部
３３　特徴ベクトル決定部
３４　クエリ生成部
４１　検索実行部
４２　検索結果出力部
４０　概念検索エンジン部
９０　インターネット
２２０　ウェブサイトインデックス（検索対象の情報群）
３００　通信端末
４００　検索サービス提供装置
Ｓ１　脳活動入力工程
Ｓ３　特徴ベクトル決定工程
Ｓ４　クエリ生成工程
Ｓ６　概念検索工程
Ｓ７　出力工程
Ｓ１１２　脳活動計測工程
Ｓ１１３　学習済モデル作成工程

Claims (6)

  1. 　検索者が所望する概念を含む情報を、検索対象の情報群から検索する情報検索方法であって、
    　前記所望の概念に対応する脳活動を入力する脳活動入力工程と、
    　前記脳活動入力工程において入力された脳活動を、所定の学習モデルを用いて前記概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定工程と、
    　前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成するクエリ生成工程と、
    　前記クエリ生成工程において生成したクエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する概念検索工程と、
    　前記概念検索工程において検索された情報を出力する出力工程と、を含む、
    ことを特徴とする情報検索方法。
  2. 　事前に訓練用素材を前記検索者に提示することによって訓練用刺激を前記検索者に与え、該訓練用刺激が前記検索者に誘発する脳活動を計測する脳活動計測工程と、
    　前記脳活動計測工程において計測された脳活動を誘発した前記訓練用素材の概念を表す前記概念空間上の特徴ベクトルと、前記訓練用刺激を与えられた前記検索者の脳活動の状態における特徴と、の関連性を学習した学習済モデルを作成する学習済モデル作成工程と、をさらに含み、
    　前記特徴ベクトル決定工程は、
    　　前記脳活動入力工程において入力された脳活動を前記概念空間上に投射した位置と、前記学習済モデルとに基づいて、該脳活動を投射した位置に対応する特徴ベクトルを決定する、
    ことを特徴とする請求項１に記載の情報検索方法。
  3. 　前記訓練用素材は、視覚、嗅覚、味覚、聴覚、触覚の少なくともいずれか１つの感覚的な訓練用刺激を前記検索者に与えるものであり、
    　前記学習済モデル作成工程において、前記訓練用素材が前記検索者に与える前記訓練用刺激の種類毎に異なる概念空間を参照して、概念空間毎に前記学習済モデルを作成し、
    　前記訓練用刺激の種類毎に異なる概念空間の各々には識別情報が付与されており、
    　前記クエリ生成工程において、
    　　前記特徴ベクトル決定工程において決定した特徴ベクトルを含む概念空間に付与された識別情報、および、前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成し、
    　前記概念検索工程において、
    　　前記クエリに含まれている特徴ベクトルを該クエリに含まれている前記識別情報が付与された概念空間を参照して特定し、該特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する、
    ことを特徴とする請求項２に記載の情報検索方法。
  4. 　前記出力工程において出力される検索結果には、前記識別情報または該識別情報が付与された概念空間を示す情報が含まれる、
    ことを特徴とする請求項３に記載の情報検索方法。
  5. 　検索者が所望する概念を含む情報を、検索対象の情報群から検索する情報検索装置であって、
    　前記所望の概念に対応する脳活動を入力する脳活動入力部と、
    　前記脳活動を、前記検索対象の情報群に含まれる各概念を、所定の学習モデルを用いて前記概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定部と、
    　前記特徴ベクトル決定部が決定した特徴ベクトルを含むクエリを生成するクエリ生成部と、
    　前記クエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する検索実行部と、
    　前記検索実行部が検索した情報を出力する検索結果出力部と、を備える、
    ことを特徴とする情報検索装置。
  6. 　検索者が所望する概念を含む情報を、検索対象の情報群から検索するための処理をコンピュータに実行させるためのコンピュータプログラムであって、
    　前記処理は、
    　前記所望の概念に対応する脳活動を入力する脳活動入力工程と、
    　前記脳活動入力工程において入力された脳活動を、所定の学習モデルを用いて前記検索対象の情報群に含まれる各概念を前記概念空間上に投射して、該脳活動を投射した位置に対応する特徴ベクトルを決定する特徴ベクトル決定工程と、
    　前記特徴ベクトル決定工程において決定した特徴ベクトルを含むクエリを生成するクエリ生成工程と、
    　前記クエリ生成工程において生成したクエリに含まれる特徴ベクトルおよび該特徴ベクトルに類似する特徴ベクトルに関連付けられている概念を含む情報を、前記検索対象の情報群から検索する概念検索工程と、
    　前記概念検索工程において検索された情報を出力する出力工程と、を含む、
    ことを特徴とするコンピュータプログラム。
PCT/JP2020/005683 2019-02-18 2020-02-14 情報検索方法、情報検索装置、コンピュータプログラム Ceased WO2020170951A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019026363A JP7328636B2 (ja) 2019-02-18 2019-02-18 情報検索方法、情報検索装置、コンピュータプログラム
JP2019-026363 2019-11-28

Publications (1)

Publication Number Publication Date
WO2020170951A1 true WO2020170951A1 (ja) 2020-08-27

Family

ID=72144267

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005683 Ceased WO2020170951A1 (ja) 2019-02-18 2020-02-14 情報検索方法、情報検索装置、コンピュータプログラム

Country Status (2)

Country Link
JP (1) JP7328636B2 (ja)
WO (1) WO2020170951A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220196620A1 (en) * 2020-12-21 2022-06-23 Firmenich Sa Computer-implemented methods for training a neural network device and corresponding methods for generating a fragrance or flavor compositions

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008234031A (ja) * 2007-03-16 2008-10-02 Satoshi Yasuda 建築空間設計方法及びそれに用いる建築空間設計支援装置
JP2014115913A (ja) * 2012-12-11 2014-06-26 Advanced Telecommunication Research Institute International 脳情報処理装置、脳情報処理方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008234031A (ja) * 2007-03-16 2008-10-02 Satoshi Yasuda 建築空間設計方法及びそれに用いる建築空間設計支援装置
JP2014115913A (ja) * 2012-12-11 2014-06-26 Advanced Telecommunication Research Institute International 脳情報処理装置、脳情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP2020135268A (ja) 2020-08-31
JP7328636B2 (ja) 2023-08-17

Similar Documents

Publication Publication Date Title
CN111859149B (zh) 资讯信息推荐方法、装置、电子设备及存储介质
Kermani et al. Performance of the Levenberg–Marquardt neural network training method in electronic nose applications
CN108280155B (zh) 基于短视频的问题检索反馈方法、装置及其设备
CN108135520B (zh) 从功能性大脑图像生成心理内容的自然语言表示
US11928142B2 (en) Information processing apparatus and information processing method
US20150294010A1 (en) Search recommendation method and device
JP2018195078A (ja) 評価装置、評価方法、および評価プログラム
CN104915426B (zh) 信息排序方法、用于生成信息排序模型的方法及装置
CN106663210B (zh) 基于感受的多媒体处理
JP2012103955A (ja) プロファイル解析システム
US20210231449A1 (en) Deep User Modeling by Behavior
Cimen et al. Classification of human motion based on affective state descriptors
Woerner et al. Navigating data scarcity using foundation models: A benchmark of few-shot and zero-shot learning approaches in medical imaging
CN108182287A (zh) 一种自动问答方法、装置及服务器
Fan et al. Exploring stability-based voxel selection methods in mvpa using cognitive neuroimaging data: a comprehensive study
Liu et al. How to synthesize a large-scale and trainable micro-expression dataset?
Bainbridge et al. Memorability of visual stimuli and the role of processing efficiency
CN113724817A (zh) 基于人工智能的知识推荐方法、装置、计算机设备及介质
Rastelli et al. Neural dynamics of semantic control underlying generative storytelling
JP7328636B2 (ja) 情報検索方法、情報検索装置、コンピュータプログラム
EP3406191B1 (en) Material evaluation method and material evaluation device
KR101260728B1 (ko) 전자 코 시스템에서 특징 되먹임을 이용하는 시간 구간 선택 방법
Sang et al. Visual BFI: An exploratory study for image-based personality test
KR20230049486A (ko) 정치성향 분석 장치 및 이를 이용한 서비스 제공 방법
McGuire et al. What song am I thinking of?

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20759461

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20759461

Country of ref document: EP

Kind code of ref document: A1