WO2013018515A1 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- WO2013018515A1 WO2013018515A1 PCT/JP2012/067652 JP2012067652W WO2013018515A1 WO 2013018515 A1 WO2013018515 A1 WO 2013018515A1 JP 2012067652 W JP2012067652 W JP 2012067652W WO 2013018515 A1 WO2013018515 A1 WO 2013018515A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- content data
- unit
- information
- image
- information processing
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims description 39
- 238000005259 measurement Methods 0.000 claims abstract description 14
- 210000004556 brain Anatomy 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 11
- 238000003672 processing method Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 239000011295 pitch Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
Definitions
- the present invention relates to an information processing apparatus, an information processing method, and a program for processing information.
- the newspaper itself may not already exist.
- the article can be read by browsing the electronic data (hereinafter referred to as digital content) of the content corresponding to the newspaper.
- the digital content is searched and acquired by inputting a search keyword related to the digital content.
- an attribute such as text data is extracted from the viewed content data, the attribute is stored together with the content data, and when the content data is browsed later, the attribute stored with the content data is searched as a search key.
- a system for searching and acquiring the content data by inputting as (for example, refer to Patent Document 1) is disclosed.
- An object of the present invention is to provide an information processing apparatus, an information processing method, and a program that solve the above-described problems.
- the information processing apparatus of the present invention A measurement unit for measuring the electromagnetic characteristics of the user's brain; Analyzing the electromagnetic characteristics measured by the measurement unit, and based on the result of the analysis, an image generation unit that generates a perceptual image; A database storing multiple content data; A search unit that searches the database for content data including an object image among the perceptual images generated by the image generation unit; A collation unit that collates the feature amount of the perceptual image generated by the image generation unit with the feature amount of the content data acquired by the search unit; And an output unit that outputs the content data based on a result of collation in the collation unit.
- the information processing method of the present invention includes: A process for measuring the electromagnetic properties of the user's brain; Processing for analyzing the measured electromagnetic properties; A process of generating a perceptual image based on the result of the analysis; Processing for retrieving content data including an object image from the generated perceptual image from a database storing a plurality of content data; and A process of comparing the feature quantity of the generated perceptual image with the feature quantity of the acquired content data; Based on the result of the collation, the content data is output.
- the program of the present invention is A program for causing a computer to execute, Procedures for measuring the electromagnetic properties of the user's brain; Analyzing the measured electromagnetic properties; Generating a perceptual image based on the result of the analysis; A procedure for retrieving and acquiring content data including a target object image of the generated perceptual image from a database storing a plurality of content data; A procedure for comparing the feature quantity of the generated perceptual image with the feature quantity of the acquired content data; Based on the result of the collation, a procedure for outputting the content data is executed.
- FIG. 3 It is a figure which shows one Embodiment of the information processing apparatus of this invention. It is a figure which shows an example of the content data stored in the database shown in FIG. 3 is a flowchart for explaining an information processing method in the information processing apparatus shown in FIG. 1. It is a figure which shows other embodiment of the information processing apparatus of this invention.
- FIG. 1 is a diagram showing an embodiment of an information processing apparatus according to the present invention.
- the information processing apparatus 100 in this embodiment includes a measurement unit 110, an image generation unit 120, a database 130, a search unit 140, a collation unit 150, and an output unit 160.
- the information processing apparatus 100 may be a mobile terminal such as a mobile phone or a smartphone, a game machine, a desktop type, a tablet type or a notebook type PC (Personal Computer), another communication device, or a medical device.
- the measuring unit 110 measures electromagnetic characteristics such as visual association areas in the user's brain.
- the electromagnetic characteristics are those that show electrical characteristics in an electric field and magnetic characteristics in a magnetic field (for example, electromagnetic waves). Further, the measurement unit 110 outputs the measurement result to the image generation unit 120.
- the image generation unit 120 analyzes the measurement result output from the measurement unit 110. Further, the image generation unit 120 generates (reproduces) perceptual images such as characters, images, and videos perceived by the user in the past based on the analysis result.
- the processing of the measurement unit 110 and the image generation unit 120 is generally disclosed as a technique for reproducing an image from the movement of the human brain (for example, Reference 1 (Neuron, Volume 60, Issue 5, 915-929, 10 Dec. 2008, “Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders”), and the technology to extract and reanimate the brain information of animals and reanimate them (for example, Reference 2 (Theodore W Berger, Robert E Hampson, Dong Song, Anushka Goonawardena, Vasilis Z Marmarelis and Sam A Deadwyler, Journal of Neural Engineering 8 (2011) 046017 (11pp) It may be performed using a technique as described.
- Reference 1 Neuroon, Volume 60, Issue 5, 915-929, 10 Dec. 2008, “Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders”
- Reference 2 Theodore W Berger, Robert E Hampson, Dong Song, Anushka Goonawarden
- the image generation unit 120 outputs the object image in the generated perceptual image to the search unit 140.
- This object image is an image or video visually captured by the user.
- the target image is an image or video of the appearance of the vehicle on the Yamanote Line.
- the image generation unit 120 outputs the feature amount of the generated perceptual image to the collation unit 150.
- the feature amount is the feature of the image, such as the aspect ratio of the paper image, the layout of characters, images, and margins. It is information which shows.
- the perceptual image is a video image of a movie, video program, live, sports, etc.
- the combination, composition, arrangement, color, shape, movement of characters and appearances of at least some scenes of the video image This is information indicating the characteristics of the image, such as the color / shape of characters / images and their layout, and their aging.
- the database 130 stores a plurality of content data in advance.
- This content data is a newspaper, a magazine, a movie, a television program, an Internet distribution movie, and the like, and includes a still image and a movie.
- FIG. 2 is a diagram showing an example of content data stored in the database 130 shown in FIG.
- a plurality of content data are stored as files as shown in FIG. 2.
- the file format of the content data shown in FIG. 2 is exemplified by the extension using “jpg”, “avi”, and “mpg” as extensions, but is not limited thereto.
- the search unit 140 searches the database 130 for content data including the object image output from the image generation unit 120.
- the search unit 140 acquires (reads) the content data from the database 130.
- the acquired content data is a candidate for content data output by the output unit 160 described later, and there is a possibility that a plurality of content data is found.
- the search process of the search unit 140 may be a general text search process or an image (video) search process.
- the search unit 140 when the perceptual image is a character, the search unit 140 performs a text search in the database 130.
- the search unit 140 when the perceptual image is an image (including a logo) or a video, the search unit 140 performs an image search or video search within the database 130.
- the search unit 140 outputs the acquired content data to the collation unit 150.
- the collation unit 150 collates the feature amount of the perceptual image output from the image generation unit 120 with the feature amount of the content data output from the search unit 140. In addition, the collation unit 150 determines that the difference between the feature amount of the perceptual image output from the image generation unit 120 and the feature amount of the content data output from the search unit 140 is a preset range as a result of the collation. If the content data is within, the content data output from the search unit 140 is output to the output unit 160.
- the matching unit 150 selects, for example, a specific image, an object / character of a specific color / shape, a specific person, or a clothing such as a specific person, which easily remains in the user's memory, Matching may be performed using the selected feature amount.
- the content data output from the collation unit 150 to the output unit 160 is an image actually perceived by the user.
- search unit 140 and the matching unit 150 may be the same. That is, the process for specifying the content may be completed once.
- the output unit 160 outputs the content data output from the verification unit 150 as a result of the verification in the verification unit 150.
- the content data output method of the output unit 160 may be display (reproduction) of content data, transmission to another device, distribution over the Internet, printing, or the like.
- the output unit 160 may limit the number of times content data is output, or may limit the output of only one part of the content data. This restriction standard may be set in advance, may be calculated based on the output frequency or the like, or may be set from the outside. Further, the output unit 160 may set a time limit for output or reproduction.
- the information processing apparatus 100 may further include a billing processing unit, determine billing information based on conditions such as distribution and restriction of content data, and associate the billing information with user information.
- the information processing apparatus 100 may further include a related content presentation unit, and after content verification, content information related to the specified content and the content itself may be extracted from the database 130 and transferred to the output unit 160.
- the related content is, for example, the book when the poster of the book is specified, and the music data or other music or copyrighted work of the artist when the live video is specified.
- FIG. 3 is a flowchart for explaining an information processing method in the information processing apparatus 100 shown in FIG.
- the image generation unit 120 analyzes the electromagnetic characteristics measured by the measurement unit 110 in step 2. In step 3, the image generation unit 120 generates a perceptual image based on the result of the analysis.
- step 4 the search unit 140 searches the database 130 for content data including the object image in the perceptual image generated by the image generation unit 120.
- the search unit 140 acquires the corresponding content data from the database 130 in step 5. (read out).
- step 6 the collation unit 150 collates the feature amount of the perceptual image generated by the image generation unit 120 with the feature amount of the content data acquired by the search unit 140.
- step 7 If the difference between the feature amount of the perceptual image generated by the image generation unit 120 and the feature amount of the content data acquired by the search unit 140 is within a predetermined range as a result of the collation, in step 7, the content data Are determined as content data to be output, and in step 8, the output unit 160 outputs the content data.
- the content data once perceived by the user can be re-outputted only by the user remembering the content data.
- FIG. 4 is a diagram showing another embodiment of the information processing apparatus of the present invention.
- an information input unit 170 is added to the information processing apparatus 101 in the present embodiment in the form shown in FIG. 1, and a database 131 is provided instead of the database 130 in the form shown in FIG.
- a verification unit 151 is provided instead of the verification unit 150.
- the information input unit 170 inputs predetermined information (first information) by an external user operation.
- This input information may be voice information or position information indicating the position of the information processing apparatus 101.
- the information input unit 170 may be a microphone or the like that receives voice input.
- the information input unit 170 may acquire position information using a GPS (Global Positioning System) function.
- the information input unit 170 outputs the input information to the verification unit 151.
- the database 131 stores the same content data stored in the database 130, but additional information (second information) is added to the stored content data.
- This additional information may be audio information or position information.
- the collation unit 151 adds the feature amount of the perceptual image generated by the image generation unit 120 and the first information input to the information input unit 170 and the feature amount and content data of the content data acquired by the search unit 140.
- the second information is collated with each other.
- the content data is output to the output unit 160.
- the collating unit 151 may collate the voice, pitch, tone color, and voiceprint.
- a perceptual information recording unit for recording perceptual information such as characters, images, videos, sounds, pitches, and tones perceived by the user in the past is further provided. Then, the perceptual image generated by the image generation unit 120 and the information input to the information input unit 170 are collated with the perceptual information in the perceptual information recording unit. In this way, the perceptual information related to the content data that the user wants to obtain may be specified, and the corresponding content data may be output.
- each component provided in the information processing apparatuses 100 and 101 described above may be performed by a logic circuit produced according to the purpose.
- a computer program (hereinafter referred to as a program) in which processing contents are described as a procedure is recorded on a recording medium readable by the information processing apparatuses 100 and 101, and the program recorded on the recording medium is recorded on the information processing apparatus 100, 101. 101 may be read and executed.
- the recording media readable by the information processing apparatuses 100 and 101 are built in the information processing apparatuses 100 and 101 as well as transferable recording media such as a floppy (registered trademark) disk, a magneto-optical disk, a DVD, and a CD.
- the program recorded on the recording medium is read by a CPU (not shown) provided in the information processing apparatuses 100 and 101, and the same processing as described above is performed under the control of the CPU.
- the CPU operates as a computer that executes a program read from a recording medium on which the program is recorded.
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
測定部（１１０）が、利用者の脳の電磁気学的特性を測定し、イメージ生成部（１２０）が、測定部（１１０）が測定した電磁気学的特性を解析し、解析の結果に基づいて、知覚イメージを生成し、検索部（１４０）が、イメージ生成部（１２０）が生成した知覚イメージのうちの対象物画像が含まれるコンテンツデータを、複数のコンテンツデータを格納しているデータベース（１３０）から検索して取得し、照合部（１５０）が、イメージ生成部（１２０）が生成した知覚イメージの特徴量と、検索部（１４０）が取得したコンテンツデータの特徴量とを照合し、出力部（１６０）が、照合部（１５０）における照合の結果に基づいて、コンテンツデータを出力する。
Description
本発明は、情報を処理する情報処理装置、情報処理方法およびプログラムに関する。
近年、コンテンツデータの電子データ化が急速に広まっており、既存の媒体（新聞・雑誌・本等）と電子データ化されたものとが併存する状況が生まれている。
例えば、新聞で読んだ記事を、後でもう一度読みたいときに、新聞そのものが既にない場合がある。このような場合、この新聞に該当するコンテンツの電子データ（以下、デジタルコンテンツと称する）を閲覧することで、当該記事を読むことができる。
このようにデジタルコンテンツを閲覧する際、当該デジタルコンテンツに関連する検索キーワードを入力することで当該デジタルコンテンツを検索して取得する。
また、視聴したコンテンツデータからテキストデータ等の属性を抽出して、その属性を当該コンテンツデータと共に保存しておき、後で当該コンテンツデータを閲覧する際に、当該コンテンツデータと共に保存した属性を検索キーとして入力することで当該コンテンツデータを検索して取得するシステムが開示されている（例えば、特許文献１参照。）。
しかしながら、上述した技術において、デジタルコンテンツを検索するためのキーワードを利用者が入力しなければならなく、その手間がかかってしまうという問題点がある。これではデジタルコンテンツの活用が限られてしまう。
本発明の目的は、上述した課題を解決する情報処理装置、情報処理方法およびプログラムを提供することである。
本発明の情報処理装置は、
利用者の脳の電磁気学的特性を測定する測定部と、
前記測定部が測定した電磁気学的特性を解析し、該解析の結果に基づいて、知覚イメージを生成するイメージ生成部と、
複数のコンテンツデータを格納しているデータベースと、
前記イメージ生成部が生成した知覚イメージのうちの対象物画像が含まれるコンテンツデータを前記データベースから検索して取得する検索部と、
前記イメージ生成部が生成した知覚イメージの特徴量と、前記検索部が取得したコンテンツデータの特徴量とを照合する照合部と、
前記照合部における照合の結果に基づいて、前記コンテンツデータを出力する出力部とを有する。
利用者の脳の電磁気学的特性を測定する測定部と、
前記測定部が測定した電磁気学的特性を解析し、該解析の結果に基づいて、知覚イメージを生成するイメージ生成部と、
複数のコンテンツデータを格納しているデータベースと、
前記イメージ生成部が生成した知覚イメージのうちの対象物画像が含まれるコンテンツデータを前記データベースから検索して取得する検索部と、
前記イメージ生成部が生成した知覚イメージの特徴量と、前記検索部が取得したコンテンツデータの特徴量とを照合する照合部と、
前記照合部における照合の結果に基づいて、前記コンテンツデータを出力する出力部とを有する。
また、本発明の情報処理方法は、
利用者の脳の電磁気学的特性を測定する処理と、
前記測定した電磁気学的特性を解析する処理と、
前記解析の結果に基づいて、知覚イメージを生成する処理と、
前記生成した知覚イメージのうちの対象物画像が含まれるコンテンツデータを、複数のコンテンツデータを格納しているデータベースから検索して取得する処理と、
前記生成した知覚イメージの特徴量と、前記取得したコンテンツデータの特徴量とを照合する処理と、
前記照合の結果に基づいて、前記コンテンツデータを出力する処理とを行う。
利用者の脳の電磁気学的特性を測定する処理と、
前記測定した電磁気学的特性を解析する処理と、
前記解析の結果に基づいて、知覚イメージを生成する処理と、
前記生成した知覚イメージのうちの対象物画像が含まれるコンテンツデータを、複数のコンテンツデータを格納しているデータベースから検索して取得する処理と、
前記生成した知覚イメージの特徴量と、前記取得したコンテンツデータの特徴量とを照合する処理と、
前記照合の結果に基づいて、前記コンテンツデータを出力する処理とを行う。
また、本発明のプログラムは、
コンピュータに実行させるためのプログラムであって、
利用者の脳の電磁気学的特性を測定する手順と、
前記測定した電磁気学的特性を解析する手順と、
前記解析の結果に基づいて、知覚イメージを生成する手順と、
前記生成した知覚イメージのうちの対象物画像が含まれるコンテンツデータを、複数のコンテンツデータを格納しているデータベースから検索して取得する手順と、
前記生成した知覚イメージの特徴量と、前記取得したコンテンツデータの特徴量とを照合する手順と、
前記照合の結果に基づいて、前記コンテンツデータを出力する手順とを実行させる。
コンピュータに実行させるためのプログラムであって、
利用者の脳の電磁気学的特性を測定する手順と、
前記測定した電磁気学的特性を解析する手順と、
前記解析の結果に基づいて、知覚イメージを生成する手順と、
前記生成した知覚イメージのうちの対象物画像が含まれるコンテンツデータを、複数のコンテンツデータを格納しているデータベースから検索して取得する手順と、
前記生成した知覚イメージの特徴量と、前記取得したコンテンツデータの特徴量とを照合する手順と、
前記照合の結果に基づいて、前記コンテンツデータを出力する手順とを実行させる。
以上説明したように、本発明においては、一度閲覧した情報を再度閲覧するための手間を削減することができる。
以下に、本発明の実施の形態について図面を参照して説明する。
図１は、本発明の情報処理装置の実施の一形態を示す図である。
本形態における情報処理装置１００には図１に示すように、測定部１１０と、イメージ生成部１２０と、データベース１３０と、検索部１４０と、照合部１５０と、出力部１６０とが設けられている。なお、情報処理装置１００は、携帯電話やスマートフォン等の携帯端末、ゲーム機、デスクトップ型、タブレット型やノート型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、他の通信装置や医療機器であっても良い。
測定部１１０は、利用者の脳内の視覚連合野等の電磁気学的特性を測定する。ここで、電磁気学的特性とは、電場における電気的特性および磁場における磁気的特性を示すもの（例えば、電磁波等）である。また、測定部１１０は、測定結果をイメージ生成部１２０へ出力する。
イメージ生成部１２０は、測定部１１０から出力されてきた測定結果を解析する。また、イメージ生成部１２０は、その解析の結果に基づいて、利用者が過去に知覚した文字、画像、映像等の知覚イメージを生成（再現）する。
この測定部１１０およびイメージ生成部１２０の処理は、一般的に開示されている、人間の脳の動きから画像を再生する技術（例えば、文献１（Neuron, Volume 60, Issue 5, 915-929, 10 December 2008 "Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders"）に記載されているような技術）や、動物の脳を記憶情報を電子化して取り出し、蘇生させる技術（例えば、文献２（Theodore W Berger, Robert E Hampson, Dong Song, Anushka Goonawardena, Vasilis Z Marmarelis and Sam A Deadwyler, Journal of Neural Engineering 8 (2011) 046017 (11pp) “A cortical neural prosthesis for restoring and enhancing memory”）に記載されているような技術）を用いて行うもので良い。
また、イメージ生成部１２０は、生成した知覚イメージのうちの対象物画像を検索部１４０へ出力する。この対象物画像とは、利用者が視覚的にとらえた画像や映像等である。この対象物画像は、例えば、知覚イメージが山手線の車両の外観である場合、その山手線の車両の外観そのものの画像や映像である。
また、イメージ生成部１２０は、生成した知覚イメージの特徴量を照合部１５０へ出力する。
この特徴量とは、例えば、知覚イメージが、新聞、雑誌、ポスター、ウェブサイト等の紙面イメージである場合、その紙面イメージの縦横比や、文字・画像・余白のレイアウト等の、そのイメージの特徴を示す情報である。また、知覚イメージが、映画、映像番組、ライブ、スポーツ等の映像イメージである場合、その映像イメージの少なくとも一部のシーンの登場人物・登場物の組み合わせ・構図・配置・色・形・動作、文字・画像の色・形およびそれらのレイアウト、およびそれらの経時変化等の、そのイメージの特徴を示す情報である。
データベース１３０は、複数のコンテンツデータをあらかじめ格納する。このコンテンツデータは、新聞や雑誌、映画、テレビ番組、インターネット配信動画等であり、静止画や動画が含まれるものである。
図２は、図１に示したデータベース１３０に格納されているコンテンツデータの一例を示す図である。
図１に示したデータベース１３０には図２に示すように、複数のコンテンツデータがファイルとして格納されている。図２に示したコンテンツデータのファイルの形式は、拡張子をして「ｊｐｇ」、「ａｖｉ」および「ｍｐｇ」を用いるものを例に挙げているが、これらに限らない。
検索部１４０は、イメージ生成部１２０から出力されてきた対象物画像が含まれるコンテンツデータをデータベース１３０から検索する。また、検索部１４０は、検索の結果、検索対象のコンテンツデータが見つかった場合、当該コンテンツデータをデータベース１３０から取得する（読み出す）。この取得したコンテンツデータは、後述する出力部１６０が出力するコンテンツデータの候補となるものであり、複数のコンテンツデータが見つかる可能性もある。なお、検索部１４０の検索処理は、一般的なテキスト検索処理や画像（映像）検索処理で良い。
例えば、知覚イメージが文字である場合、検索部１４０は、データベース１３０内にてテキスト検索を行う。また、知覚イメージが画像（ロゴを含む）や映像である場合、検索部１４０は、データベース１３０内にて画像検索や映像検索を行う。
また、検索部１４０は、取得したコンテンツデータを照合部１５０へ出力する。
照合部１５０は、イメージ生成部１２０から出力されてきた知覚イメージの特徴量と、検索部１４０から出力されてきたコンテンツデータの特徴量とを照合する。また、照合部１５０は、照合の結果、イメージ生成部１２０から出力されてきた知覚イメージの特徴量と、検索部１４０から出力されてきたコンテンツデータの特徴量との差異が、あらかじめ設定された範囲内にある場合、その検索部１４０から出力されてきたコンテンツデータを出力部１６０へ出力する。なお、照合部１５０は、特徴量の中で、例えば、特定の画像、特定の色・形状の物・文字、特定の人物やその服装等の、利用者の記憶に残り易いものが選ばれ、その選ばれた特徴量を用いて照合を行うものであっても良い。なお、この照合部１５０から出力部１６０へ出力されるコンテンツデータが、利用者が実際に知覚したイメージとなる。
なお、検索部１４０と照合部１５０とは、同一であってもよい。つまり、コンテンツを特定する処理は一度で済ませてもよい。
出力部１６０は、照合部１５０における照合の結果、照合部１５０から出力されてきたコンテンツデータを出力する。このとき、出力部１６０のコンテンツデータの出力方法としては、コンテンツデータの表示（再生）や、他の装置への送信、インターネット上への配信、印刷等が考えられる。
また、出力部１６０は、コンテンツデータの出力回数を制限するものであっても良いし、コンテンツデータの１部だけを出力する制限を行うものであっても良い。この制限の基準は、あらかじめ設定されているものであっても良いし、出力頻度等に基づいて計算されるものであっても良いし、外部から設定できるものであっても良い。また、出力部１６０は、出力や再生に期限を設けてもよい。
また、情報処理装置１００は、さらに課金処理部を備え、コンテンツデータの配信や制限等の条件に基づいて、課金情報を決定し、利用者情報と関連付けてもよい。
また、情報処理装置１００は、関連コンテンツ提示部をさらに備え、コンテンツの照合後、特定したコンテンツに関連するコンテンツ情報やコンテンツそのものをデータベース１３０から抽出し、出力部１６０へ転送するものであってもよい。ここで、関連するコンテンツとは、例えば、書籍のポスターを特定した場合は当該書籍であり、また、ライブ映像を特定した場合はその音楽データや当該アーティストの他の音楽や著作物等である。
以下に、図１に示した情報処理装置１００における情報処理方法について説明する。
図３は、図１に示した情報処理装置１００における情報処理方法を説明するためのフローチャートである。
まず、ステップ１にて、測定部１１０が利用者の脳の電磁気学的特性を測定すると、ステップ２にて、測定部１１０が測定した電磁気学的特性をイメージ生成部１２０が解析する。また、ステップ３にて、イメージ生成部１２０は、その解析の結果に基づいて、知覚イメージを生成する。
続いて、ステップ４にて、イメージ生成部１２０が生成した知覚イメージのうちの対象物画像が含まれるコンテンツデータを、検索部１４０がデータベース１３０から検索する。
イメージ生成部１２０が生成した知覚イメージのうちの対象物画像が含まれるコンテンツデータがデータベース１３０に存在しない場合、処理は終了する。
一方、イメージ生成部１２０が生成した知覚イメージのうちの対象物画像が含まれるコンテンツデータがデータベース１３０に存在する場合は、ステップ５にて、該当するコンテンツデータを検索部１４０がデータベース１３０から取得する（読み出す）。
すると、ステップ６にて、イメージ生成部１２０が生成した知覚イメージの特徴量と、検索部１４０が取得したコンテンツデータの特徴量とを、照合部１５０が照合する。
照合の結果、イメージ生成部１２０が生成した知覚イメージの特徴量と、検索部１４０が取得したコンテンツデータの特徴量との差異が、所定の範囲内にある場合、ステップ７にて、そのコンテンツデータを、出力するコンテンツデータとして決定し、ステップ８にて、出力部１６０が当該コンテンツデータを出力する。
このように、利用者が一度知覚したコンテンツデータを、その利用者が当該コンテンツデータを思い出すだけで、当該コンテンツデータを再出力することができる。
図４は、本発明の情報処理装置の他の実施の形態を示す図である。
本形態における情報処理装置１０１には図４に示すように、図１に示した形態に情報入力部１７０が追加され、また、図１に示した形態におけるデータベース１３０の代わりにデータベース１３１が設けられ、また、照合部１５０の代わりに照合部１５１が設けられた形態となっている。
情報入力部１７０は、外部からの利用者の操作で所定の情報（第１の情報）を入力する。この入力される情報は、音声情報であっても良いし、情報処理装置１０１の存在位置を示す位置情報であっても良い。情報入力部１７０に入力される情報が音声情報である場合、情報入力部１７０は、音声の入力を受け付けるマイク等であっても良い。また、情報入力部１７０に入力される情報が位置情報である場合、情報入力部１７０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能を用いて位置情報を取得するものあっても良い。また、情報入力部１７０は、入力した情報を照合部１５１へ出力する。
また、データベース１３１は、データベース１３０に格納されるコンテンツデータと同じものを格納するが、格納されるコンテンツデータには付加情報（第２の情報）が付加されている。この付加情報は、音声情報であっても良いし、位置情報であっても良い。
また、照合部１５１は、イメージ生成部１２０が生成した知覚イメージの特徴量および情報入力部１７０に入力された第１の情報と、検索部１４０が取得したコンテンツデータの特徴量およびコンテンツデータに付加された第２の情報とをそれぞれ照合する。そして、照合の結果、それらがそれぞれ互いに合致した場合、当該コンテンツデータを出力部１６０へ出力する。例えば、第１および第２の情報が音声情報である場合、照合部１５１は、その中の音声、音程、音色や声紋を照合するものであっても良い。
また、利用者が過去に知覚した文字、画像、映像、音声、音程、音色等の知覚情報を記録する知覚情報記録部をさらに設ける。そして、イメージ生成部１２０が生成した知覚イメージや情報入力部１７０に入力された情報と、知覚情報記録部内の知覚情報とを照合する。こうすることで、利用者が入手したいコンテンツデータに関わる知覚情報を特定し、該当するコンテンツデータを出力するものであっても良い。
このように、追加の情報を用いることで、再出力するコンテンツデータについて、より精密な決定を行うことができる。
なお、上述した情報処理装置１００，１０１に設けられた各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）を情報処理装置１００，１０１にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを情報処理装置１００，１０１に読み込ませ、実行するものであっても良い。情報処理装置１００，１０１にて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ、ＣＤなどの移設可能な記録媒体の他、情報処理装置１００，１０１に内蔵されたＲＯＭ、ＲＡＭ等のメモリやＨＤＤ等を指す。この記録媒体に記録されたプログラムは、情報処理装置１００，１０１に設けられたＣＰＵ（不図示）にて読み込まれ、ＣＰＵの制御にて、上述したものと同様の処理が行われる。ここで、ＣＰＵは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１１年７月２９日に出願された日本出願特願２０１１－１６６４８８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
Claims (8)
- 利用者の脳の電磁気学的特性を測定する測定部と、
前記測定部が測定した電磁気学的特性を解析し、該解析の結果に基づいて、知覚イメージを生成するイメージ生成部と、
複数のコンテンツデータを格納しているデータベースと、
前記イメージ生成部が生成した知覚イメージのうちの対象物画像が含まれるコンテンツデータを前記データベースから検索して取得する検索部と、
前記イメージ生成部が生成した知覚イメージの特徴量と、前記検索部が取得したコンテンツデータの特徴量とを照合する照合部と、
前記照合部における照合の結果に基づいて、前記コンテンツデータを出力する出力部とを有する情報処理装置。 - 請求項１に記載の情報処理装置において、
前記出力部は、前記照合部における照合の結果、前記イメージ生成部が生成した知覚イメージの特徴量と、前記検索部が取得したコンテンツデータの特徴量との差異が、所定の範囲内にある場合、該コンテンツデータを出力することを特徴とする情報処理装置。 - 請求項１または請求項２に記載の情報処理装置において、
第１の情報を入力する情報入力部を有し、
前記データベースは、第２の情報が付加された前記コンテンツデータを格納し、
前記照合部は、前記イメージ生成部が生成した知覚イメージの特徴量および前記情報入力部に入力された前記第１の情報と、前記検索部が取得したコンテンツデータの特徴量および該コンテンツデータに付加された前記第２の情報とをそれぞれ照合することを特徴とする情報処理装置。 - 請求項３に記載の情報処理装置において、
前記情報入力部は、前記第１の情報として音声情報を入力し、
前記データベースは、前記第２の情報として音声情報を格納することを特徴とする情報処理装置。 - 請求項３に記載の情報処理装置において、
前記情報入力部は、前記第１の情報として位置情報を入力し、
前記データベースは、前記第２の情報として位置情報を格納することを特徴とする情報処理装置。 - 請求項１乃至５のいずれか１項に記載の情報処理装置において、
前記出力部は、前記コンテンツデータの出力回数を制限することを特徴とする情報処理装置。 - 利用者の脳の電磁気学的特性を測定する処理と、
前記測定した電磁気学的特性を解析する処理と、
前記解析の結果に基づいて、知覚イメージを生成する処理と、
前記生成した知覚イメージのうちの対象物画像が含まれるコンテンツデータを、複数のコンテンツデータを格納しているデータベースから検索して取得する処理と、
前記生成した知覚イメージの特徴量と、前記取得したコンテンツデータの特徴量とを照合する処理と、
前記照合の結果に基づいて、前記コンテンツデータを出力する処理とを行う情報処理方法。 - コンピュータに、
利用者の脳の電磁気学的特性を測定する手順と、
前記測定した電磁気学的特性を解析する手順と、
前記解析の結果に基づいて、知覚イメージを生成する手順と、
前記生成した知覚イメージのうちの対象物画像が含まれるコンテンツデータを、複数のコンテンツデータを格納しているデータベースから検索して取得する手順と、
前記生成した知覚イメージの特徴量と、前記取得したコンテンツデータの特徴量とを照合する手順と、
前記照合の結果に基づいて、前記コンテンツデータを出力する手順とを実行させるプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011-166488 | 2011-07-29 | ||
| JP2011166488 | 2011-07-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2013018515A1 true WO2013018515A1 (ja) | 2013-02-07 |
Family
ID=47629046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2012/067652 WO2013018515A1 (ja) | 2011-07-29 | 2012-07-11 | 情報処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2013018515A1 (ja) |
| WO (1) | WO2013018515A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014057710A1 (ja) * | 2012-10-11 | 2014-04-17 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 情報処理装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001084274A (ja) * | 1999-07-14 | 2001-03-30 | Fuji Photo Film Co Ltd | 画像検索方法および画像処理方法 |
| JP2007026216A (ja) * | 2005-07-19 | 2007-02-01 | Nec Corp | 情報提供システム、情報提供方法および情報提供プログラム |
| JP2008102594A (ja) * | 2006-10-17 | 2008-05-01 | Fujitsu Ltd | コンテンツの検索方法及び検索装置 |
-
2012
- 2012-07-11 JP JP2013526798A patent/JPWO2013018515A1/ja active Pending
- 2012-07-11 WO PCT/JP2012/067652 patent/WO2013018515A1/ja active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001084274A (ja) * | 1999-07-14 | 2001-03-30 | Fuji Photo Film Co Ltd | 画像検索方法および画像処理方法 |
| JP2007026216A (ja) * | 2005-07-19 | 2007-02-01 | Nec Corp | 情報提供システム、情報提供方法および情報提供プログラム |
| JP2008102594A (ja) * | 2006-10-17 | 2008-05-01 | Fujitsu Ltd | コンテンツの検索方法及び検索装置 |
Non-Patent Citations (1)
| Title |
|---|
| YOICHI MIYAWAKI ET AL.: "Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders", NEURON, vol. 60, no. 5, 10 December 2008 (2008-12-10), pages 915 - 929, Retrieved from the Internet <URL:http://download.cell.com/neuron/pdf/PIIS0896627308009586.pdf?intermediate=true> [retrieved on 20120815] * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014057710A1 (ja) * | 2012-10-11 | 2014-04-17 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 情報処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2013018515A1 (ja) | 2015-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Levy et al. | Music information retrieval using social tags and audio | |
| US8948515B2 (en) | Method and system for classifying one or more images | |
| US20180226063A1 (en) | Method for creating audio tracks for accompanying visual imagery | |
| CN106960051B (zh) | 基于电子书的音频播放方法、装置和终端设备 | |
| US20090259623A1 (en) | Systems and Methods for Associating Metadata with Media | |
| CN104735468B (zh) | 一种基于语义分析将图像合成新视频的方法及系统 | |
| US20140164507A1 (en) | Media content portions recommended | |
| US20140164506A1 (en) | Multimedia message having portions of networked media content | |
| US20140163957A1 (en) | Multimedia message having portions of media content based on interpretive meaning | |
| US20140164371A1 (en) | Extraction of media portions in association with correlated input | |
| US10104356B2 (en) | Scenario generation system, scenario generation method and scenario generation program | |
| WO2019245033A1 (ja) | 動画編集サーバおよびプログラム | |
| US20140161423A1 (en) | Message composition of media portions in association with image content | |
| Li et al. | Non-reference audio quality assessment for online live music recordings | |
| US20140163956A1 (en) | Message composition of media portions in association with correlated text | |
| JP2020065307A (ja) | サーバおよびプログラム、動画配信システム | |
| CN113822138A (zh) | 相似视频确定方法及装置 | |
| Cai et al. | Automated music video generation using web image resource | |
| US11410706B2 (en) | Content pushing method for display device, pushing device and display device | |
| WO2013018515A1 (ja) | 情報処理装置 | |
| JP2007079736A (ja) | データ編集装置、データ編集方法およびデータ編集プログラム | |
| JP2016534391A (ja) | 音声基盤再生情報生成及び認識方法及び記録媒体 | |
| Kuznetsov et al. | Searching for music: from melodies in mind to the resources on the web | |
| JP2008288804A (ja) | 画像再生装置、画像再生装置の制御方法および制御プログラム | |
| Phang et al. | Tools and technologies for enhancing access to audiovisual archives: The Singapore journey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12819685 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2013526798 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 12819685 Country of ref document: EP Kind code of ref document: A1 |