WO2014162756A1 - 情報処理装置、データ入力支援方法及びプログラム - Google Patents

情報処理装置、データ入力支援方法及びプログラム Download PDF

Info

Publication number
WO2014162756A1
WO2014162756A1 PCT/JP2014/050826 JP2014050826W WO2014162756A1 WO 2014162756 A1 WO2014162756 A1 WO 2014162756A1 JP 2014050826 W JP2014050826 W JP 2014050826W WO 2014162756 A1 WO2014162756 A1 WO 2014162756A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
input
data
interest data
interest
Prior art date
Application number
PCT/JP2014/050826
Other languages
English (en)
French (fr)
Inventor
健 宮下
友久 田中
木村　淳
統 大場
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/779,081 priority Critical patent/US9940316B2/en
Priority to CN201480018470.9A priority patent/CN105051734B/zh
Publication of WO2014162756A1 publication Critical patent/WO2014162756A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/174—Form filling; Merging

Definitions

  • This disclosure relates to an information processing apparatus, a data input support method, and a program.
  • data input support systems that present candidates of information to be input to the user when the user inputs information are widespread.
  • a data input support system for text input a system that predicts a next input word, character string, or the like based on an input character, word, character string, etc., and presents the candidate to the user It has been known.
  • Patent Document 1 discloses a technique for correcting a recognition error in a character recognition system, in which character recognition is performed on text input as a recognition target based on the appearance frequency of words and the graphic similarity of characters.
  • a technique for presenting word candidates for correcting the error is disclosed.
  • Patent Document 2 discloses a technique for presenting a word candidate estimated to be input next based on a word included in a sentence preceding the sentence being input.
  • the information presented as the input candidate is selected from the range related to the application to which the information is input.
  • the word presented as a candidate is a dictionary in which text data input in the past in the system or text data managed in the system is comprehensively collected.
  • the input candidates are not selected based on different types of applications that are not linked to each other or on different types of data.
  • the present disclosure proposes a new and improved information processing apparatus, data input support method, and program capable of further improving user convenience.
  • an update detection unit that detects an update of presentation information presented to a user during application execution, and at least information associated with the presentation information from which an update has been detected
  • An interest data extraction unit that extracts interest data, which is information related to an object of interest
  • an input context detection that detects an input context representing the processing status of the input information by the application for the input information that is about to be input during execution of the application
  • an input information candidate presenting unit that performs control to present input information candidates that are candidates for the input information from the data of interest based on the input context.
  • the update of the presentation information presented to the user during the execution of the application is detected, and includes at least information associated with the presentation information for which the update is detected, Extracting interest data, which is information relating to an object of interest, detecting an input context representing a processing status of the input information by the application for the input information about to be input during execution of the application, and the input context And a control for presenting input information candidates that are candidates for the input information from among the data of interest.
  • the computer includes at least a function of detecting an update of the presentation information presented to the user during execution of the application, and information associated with the presentation information in which the update is detected, and the application is being executed
  • the interest data is extracted with the presentation information being updated as a trigger, so that even if the data is between different applications or different data formats, the user can Interest data is extracted and shared in terms of whether it shows interest.
  • the options for selecting input information candidates are wider and more in line with the user's intentions. Presentation of input information candidates is realized.
  • FIG. 3 is a block diagram for explaining a hardware configuration of an information processing apparatus and a server according to an embodiment of the present disclosure.
  • Configuration of data input support system In the present embodiment, an update of the presentation information presented to the user during the execution of the application is detected, and an interest that includes at least information associated with the presentation information from which the update has been detected and represents an object of interest of the user during the execution of the application Data is extracted. An input context representing the processing status of the input information by the application is detected for the input information that is about to be input during execution of the application, and based on the input context, the input information is a candidate of input information. Control for presenting input information candidates is performed. In the following description, the above series of processing is referred to as data input support processing.
  • FIG. 1 is a functional block diagram illustrating a configuration example of a data input support system according to an embodiment of the present disclosure.
  • a data input support system 1 includes an information processing apparatus 10 that is a terminal operated by a user, and a server 20 that manages interest data described later. It is assumed that the information processing apparatus 10 and the server 20 are connected to each other so that various types of information can be communicated with each other by an arbitrary communication format regardless of wired or wireless.
  • the information processing apparatus 10 includes an input unit 110, an output unit 120, and a control unit 130.
  • the input unit 110 is an input interface for the user to input various information and instructions regarding processing operations to the information processing apparatus 10.
  • the input unit 110 is configured by an input device having operation means operated by a user, such as a mouse, a keyboard, and a touch panel.
  • the user can input various data processed by the application during execution of the application from the input unit 110.
  • mail software emailer
  • the user inputs the text of the mail created by the mailer via the input unit 110, or data attached to the created mail Can be selected.
  • photo browsing software photo browser
  • the user can specify photo data displayed by the photo browser via the input unit 110.
  • audio reproduction software media player
  • the user can specify audio data to be reproduced by the media player via the input unit 110.
  • various pieces of information input by the user from the input unit 110 during application execution are referred to as input information.
  • the output unit 120 is an output interface for outputting various types of information processed in the information processing apparatus 10 visually or audibly to the user.
  • the output unit 120 includes various output devices such as a display device that displays text data, photo data, and the like on a display screen, and an audio output device such as a speaker and headphones that outputs audio data as audio. .
  • the output unit 120 outputs various data processed by the application to the user during execution of the application. For example, in the example given in the description of the input unit 110 described above, when a mailer is executed as an application, the output unit 120 generates text data included in the text of an email created by the mailer, The content of the data attached to the received mail is displayed on the display screen.
  • the output unit 120 displays an image of photo data processed by the photo browser on the display screen. Further, for example, when a media player is executed as an application, the output unit 120 outputs the content of audio data reproduced by the media player as audio from a speaker or the like. Thus, it can be said that the information output from the output unit 120 during execution of the application is information visually or audibly presented to the user.
  • information output to the user by the output unit 120 is referred to as presentation information.
  • the present embodiment will be described by taking as an example a case where the presentation information is data visually displayed on the display screen of the output unit 120.
  • the control unit 130 controls the information processing apparatus 10 in an integrated manner, and performs various types of information processing in the data input support process according to the present embodiment. Hereinafter, the function and configuration of the control unit 130 will be described in detail.
  • the control unit 130 includes an application control unit 131, an update detection unit 132, an interest data extraction unit 133, an input context detection unit 134, and an input information candidate presentation unit 135.
  • the application control unit 131 performs various types of information processing during application execution, and integrally controls operations of various types of applications in the information processing apparatus 10. Specifically, the application control unit 131 processes information output from the information processing apparatus 10 and information input to the information processing apparatus 10 during application execution. For example, the application control unit 131 controls driving of the output unit 120 and causes the output unit 120 to output presentation information presented to the user during application execution. Further, for example, the application control unit 131 reflects input information input from the input unit 110 during execution of the application in the application being executed.
  • the application executed by the application control unit 131 may be any known application such as a mailer, a photo browser, a media player, a web browser, or a microblog (eg, Twitter (registered trademark)).
  • the update detection unit 132 detects an update of the presentation information presented to the user during application execution. Specifically, the update detection unit 132 monitors the operation of the application control unit 131 and detects whether the presentation information has been updated. For example, if the application being executed is a mailer, the update detection unit 132 presents when the display of the character string in the text input area of the mail displayed on the display screen of the output unit 120 is changed by the application control unit 131. Detect that information has been updated. For example, if the application being executed is a photo browser, the update detection unit 132 may update the presentation information when the application control unit 131 changes a photo displayed on the display screen of the output unit 120. Detects that.
  • the update detection unit 132 can detect that the presentation information has been updated by, for example, changing the display on the display screen of the output unit 120.
  • the update detection unit 132 detects an update of the presentation information
  • the update detection unit 132 transmits information to that effect (information indicating that the presentation information is updated) to the interest data extraction unit 133.
  • the interest data extraction unit 133 receives the information indicating that the presentation information has been updated from the update detection unit 132, the update is detected from various information processed by the application control unit 131 during the execution of the application.
  • Interest data is extracted that includes at least information associated with the presentation information and is information related to an object of interest of the user during execution of the application.
  • the interest data may include the presentation information itself.
  • the presentation information is information presented to the user during application execution. Therefore, the presentation information is information browsed by the user during execution of the application, and can be said to be information indicating the object of interest of the user.
  • the interest data extraction unit 133 can extract the interest data that is information related to the user's interest by extracting the presentation information in which the update is detected and the information accompanying the presentation information.
  • the interest data extraction unit 133 according to the present embodiment can extract the presentation information and the information accompanying the presentation information as the interest data by making an inquiry to the application control unit 131.
  • the information accompanying the presentation information may include metadata associated with the presentation information.
  • the presentation information that is actually visually presented to the user by the photo browser is image data included in the photo data.
  • the photo data includes information such as the title (label) as file information.
  • information such as the shooting date and time and the shooting location is included as, for example, Exif (Exchangeable Image File Format) information.
  • the file information, Exif information, and the like of these photographic data are not presentation information itself, but are metadata associated with the presentation information, and can be said to be information indicating an object of interest of the user.
  • the interest data extraction unit 133 can also extract metadata associated with such presentation information as interest data.
  • the information accompanying the presentation information may include the processing status of the presentation information by the application, that is, the context information of the presentation information.
  • the context information of the presentation information is information regarding how the presentation information has been processed by the application. For example, when the presentation information is a character string of a text input area that is being executed by the mailer, the context information of the presentation information is information that “the character string is displayed as a mail text in the mailer”. Good. Further, when the presentation information is a character string in an article in a blog (Blog (Weblog)) being executed by a Web browser, the context information of the presentation information is “the character string displayed as the text in the article in the blog.
  • the interest data extraction unit 133 can also extract the context information of such presentation information as interest data.
  • the information accompanying the presentation information may include original data to which the presentation information belongs.
  • the presentation information is image data of photographic data
  • the photographic data itself that is the original data to which the presentation information belongs is also information accompanying the presentation information. Therefore, the interest data extraction unit 133 can extract the photograph data itself, which is the original data to which the presentation information belongs, as interest data.
  • the interest data extraction unit 133 may detect any information as interest data as long as it is information related to the object of interest of the user during execution of the application.
  • the interest data extraction unit 133 transmits the extracted interest data to the interest data database (DB) 210 of the server 20 described later.
  • the interest data extraction unit 133 may receive various types of information related to the interest data from the application control unit 131 when extracting the interest data, and transmit the various types of information together with the interest data to the interest data DB 210. it can.
  • Various types of information related to the interest data include, for example, the time when the interest data was extracted (extraction time), the time used as input information (use time), the information source, the type of information, and the input information. It may be information such as the number of hits (number of hits).
  • the extraction time and the use time are collectively referred to as acquisition time. Specific examples of the interest data and various types of information related to the interest data will be described later with reference to FIG. 2 when the function of the interest data DB 210 is described.
  • the input context detection unit 134 detects, for input information about to be input during application execution, an input context representing the processing status of the input information by the application.
  • the input context is information indicating what information is being input as input information.
  • the input context includes information such as the data format of the input information, the type of input information, and the type of application to which the input information is to be input.
  • the data format of the input information indicates a data format such as text data, photo data, or audio data.
  • the type of input information means, for example, as input information information such as whether the input information is a character string, whether the character string represents a place name, a person name, or a general noun. Is shown.
  • the input context means the background (broadly defined context) that the input information is about to be input, and information about the application being executed (for example, a data format that can be input in the application, The type of information that would be input in the application) and the input information. Therefore, the input context detection unit 134 according to the present embodiment can detect the context information of such input information by receiving necessary information from the application control unit 131.
  • the function of the input context detection unit 134 will be specifically described with an example. For example, it is assumed that the letter “N” is input to the text input area for the mail body by the user via the input unit 110 while the mailer is being executed as an application.
  • the application control unit 131 to which this information is input displays the character “N” on the display screen of the output unit 120 and detects that the above information is input from the input unit 110 as input context detection. To the unit 134.
  • the application control unit 131 indicates that the application being executed is a mailer, that a character string (text data) is about to be input, and that the character “N” is actually input. Recognizes various types of information related to input information.
  • the input context detection unit 134 makes an inquiry to the application control unit 131, for example, that the input information is a character string starting from “N” (a character string starting from “N” is about to be input), Information such as the fact that the data format of the input information is text data and that the application to which the input information is input is a mailer can be detected as the input context.
  • the function of the input context detection unit 134 will be further described with another example.
  • the application control unit 131 to which this information is input causes the display unit of the output unit 120 to display photographic data that is a candidate for attached data, and inputs information indicating that the above information has been input from the input unit 110. It transmits to the context detection unit 134.
  • the application control unit 131 indicates that the application being executed is a mailer, that photo data is about to be input, and the location (path) of a folder in which photo data that is a candidate for attached data is stored. It recognizes various information related to the input information. Accordingly, the input context detection unit 134 makes an inquiry to the application control unit 131, for example, that the input information (data format of the input information) is photo data, and the location (path) of the folder in which the photo data is stored. , And information indicating that the application to which the input information is to be input is a mailer can be detected as the input context.
  • the input context detection unit 134 may detect any information as input context as long as it is information related to input information.
  • the input context detection unit 134 transmits the detected input context to the input information candidate presentation unit 135 and the server 20.
  • the input context detection unit 134 can transmit information about the time when the input context is detected together with the detected input context to the input information candidate presentation unit 135 and the server 20.
  • the server 20 performs processing for matching the detected input context with the interest data stored in the interest data DB 210.
  • the matching process is a process of selecting interest data that matches the input context from the interest data DB 210. Details of the matching process will be described later when the configuration of the server 20 is described.
  • the server 20 transmits the result of the matching process to the input information candidate presentation unit 135.
  • the input information candidate presentation unit 135 presents a control for presenting input information candidates that are candidates for input information from the interest data extracted by the interest data extraction unit 133 based on the input context detected by the input context detection unit 134. I do. Specifically, the input information candidate presentation unit 135 selects an input information candidate to be presented to the user based on the input context detected by the input context detection unit 134, and the input information candidate is input via the application control unit 131. Control to be displayed on the display screen of the output unit 120. Here, the input information candidate presentation unit 135 receives a result of the matching process between the input context and the interest data performed by the server 20, and presents the input information candidate from the interest data based on the matching result. May be performed. Further, the input information candidate presenting unit 135 may prioritize the input information candidates when presenting the input information candidates, and may present the input information candidates according to the priorities.
  • the server 20 includes an interest data DB 210 and a server control unit 220.
  • the interest data DB 210 is an example of a storage medium for storing various types of information processed by the server 20 and processed results.
  • the interest data DB 210 stores the interest data extracted by the interest data extraction unit 133 of the information processing apparatus 10.
  • the interest data DB 210 can manage the history of the interest data by storing the interest data and various types of information related to the interest data in association with each other.
  • FIG. 2 is an explanatory diagram for explaining an example of the interest data stored in the interest data DB 210 and various types of information related to the interest data.
  • the interest data is stored in the interest data DB 210 in association with various types of information related to the interest data, for example, the acquisition time of the interest data, the information source, the type of information, and the number of hits. .
  • the acquisition time indicates the time when the interest data is extracted by the interest data extraction unit 133 (extraction time) or the time when the interest data is used as input information (use time).
  • the information source indicates the type of original data or metadata from which interest data is extracted.
  • the type of information indicates the type (property) of interest data.
  • the number of hits indicates the number of times the interest data is used as input information.
  • FIG. 2 shows an example of interest data extracted in this series of operations.
  • the character string “New York City” and the character string “John”, which are the presentation information itself, are extracted as interest data by the interest data extraction unit 133, and the interest data DB 210 Is remembered.
  • the interest data “New York City” as the information related to the interest data, for example, the acquisition time “1:00”, the information source “comment text”, and the information type “place name” are stored in association with each other.
  • the interest data “John” as the information related to the interest data, for example, the acquisition time “10:00”, the information source “comment text”, and the information type “person name” are associated and stored. .
  • a DB in which words generally used as person names and place names are registered is prepared, and the interest data DB 210 is extracted. Information acquired by referring to the DB based on the interest data.
  • the character string “New York”, which is information accompanying the presentation information, is extracted as the interest data, not the presentation information itself.
  • the interest data “New York” is not the presentation information itself but information related to the position at the time of comment posting detected by GPS or the like. Therefore, as shown in FIG. 2, the interest data “New York” includes, for example, the acquisition time “10:00”, the information source “the position at the time of comment posting”, and the type of information as information related to the interest data.
  • “Location (GPS)” is associated and stored in the interest data DB 210.
  • information accompanying the presentation information is extracted as the interest data, not the picture image itself as the presentation information.
  • “Nottingham” that is the place where the photograph was taken and “10/2” that is the date and time when the photograph was taken are extracted as interest data from the Exif information of the photograph data that is the presentation information.
  • the character string “Nancy” included in the label of the photo data is extracted as the interest data from the file information of the photo data.
  • the interest data “Nottingham”, “10/2”, and “Nancy” are also stored in the interest data DB 210 in association with various information related to the interest data.
  • the interest data “Nottingham” includes, as information related to the interest data, for example, an acquisition time “2:00”, an information source “Exif information of photo data”, and an information type “ “Location (GPS)” is associated and stored in the interest data DB 210.
  • the information related to the interest data for example, the acquisition time “2:00”, the information source “Exif information of the photo data”, and the information type “date and time” are associated with the interest data “10/2”.
  • the interest data “Nancy” is associated with, for example, an acquisition time “2:00”, an information source “photo data label”, and an information type “person name” as information related to the interest data. It is stored in the data DB 210.
  • the interest data DB 210 stores the interest data in association with various types of information related to the interest data. Further, the interest data DB 210 can store the information while updating the information whenever new information regarding the interest data is input. That is, the interest data DB 210 can manage the history of interest data.
  • the hit number column the number of times that the interest data has been used as input information until then is input.
  • the interest data “New York”, “John”, “New York City”, “Nottingham”, “10/2”, and “Nancy” are extracted as character strings or numeric strings. Yes.
  • the server control unit 220 controls the server 20 in an integrated manner and performs various types of information processing in the data input support process according to the present embodiment.
  • the server control unit 220 refers to the interest data DB 210 to perform a matching process between the input context and the interest data.
  • the server control unit 220 includes an interest data matching unit 221.
  • the interest data matching unit 221 performs a matching process of selecting interest data that matches the input context detected by the input context detection unit 134 from the interest data DB 210.
  • the interest data matching unit 221 when the interest data matching unit 221 receives the input context of the input information from the input context detection unit 134, the interest data matching unit 221 selects the interest data stored in the interest data DB 210 that matches the input context. .
  • the data of interest that matches the input context selected in the matching process is also referred to as a matching candidate.
  • the function of the interest data matching unit 221 will be described by taking as an example a case where the input context detecting unit 134 detects that “a character string starting with“ N ”is about to be input” as the input context. This will be described in detail.
  • the interest data matching unit 221 receives “a character string starting from“ N ”is about to be input” as the input context, first, the interest data matching unit 221 first selects the data format from the interest data stored in the interest data DB 210. Interest data that is text data (character string). Then, interest data whose initial is “N” is further selected from the interest data as interest data that matches the input context. For example, in the example illustrated in FIG. 2, the interest data matching unit 221 selects “New York”, “New York City”, “Nottingham”, and “Nancy” as interest data that matches the input context.
  • interest data that matches the data format included in the input context may be selected.
  • interest data that matches the type of information may be selected.
  • various types of information included in the input context is compared with the interest data and the information related to the interest data, so that the interest data suitable for the input context is obtained. It may be selected.
  • the interest data matching unit 221 can determine the priority order when presenting it as input information candidates based on a predetermined method when selecting interest data that matches the input context.
  • the function of the interest data matching unit 221 is described in ⁇ 2. Specific examples of data input support processing> will be described in detail again.
  • the interest data matching unit 221 transmits the matching processing result (matching result) to the input information candidate presenting unit 135 of the information processing apparatus 10. Based on the result of the matching process, the input information candidate presentation unit 135 can select interest data that matches the input context as an input information candidate, and can perform control for presenting it to the user.
  • each component of the information processing apparatus 10 and the server 20 may be configured using general-purpose members or circuits, or may be configured by hardware specialized for the function of each component.
  • a CPU Central Processing Unit
  • the like may perform all the functions of each component. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.
  • the data input support system 1 includes the information processing apparatus 10 and the server 20 has been described.
  • the present embodiment is not limited to such an example. All of the functions of each functional block shown in FIG. 1 may be performed by one device, or may be performed by being distributed to two or more devices.
  • the information processing apparatus 10 may perform the functions of the interest data 210 and the interest data matching unit 221.
  • the information processing apparatus 10 may be an interface device that has only the functions of the input unit 110, the output unit 120, and the application control unit 131, that is, only to execute an application. May be performed.
  • the server 20 may be a server provided on the cloud, for example, and the information processing apparatus 10 and the server 20 may be connected to each other via a communication network (network).
  • the update detection unit 132 detects the update of the presentation information presented to the user during the application execution, and the interest data extraction unit 133 updates the information.
  • Interest data which is information related to the object of interest of the user during the execution of the application, is extracted including at least information accompanying the detected presentation information.
  • the interest data is extracted by using the update of the presentation information as a trigger, so that the data is in different data formats even between different applications. Also, interest data is extracted and shared from the viewpoint of whether the user is interested.
  • the input context that indicates the processing status of input information by the application is detected by the input context detection unit 134 for the input information that is about to be input during execution of the application.
  • the input information candidate presenting unit performs control for presenting input information candidates that are candidates for input information from the data of interest based on the input context.
  • interest data extracted in one application can be presented as input information candidates in another application.
  • not only the presentation information but also the information accompanying the presentation information is extracted as the interest data, so that more data is accumulated as the interest data. Therefore, the options for selecting input information candidates are wider, and a data input support system that is more convenient for the user is realized.
  • the input context detected by the input context detection unit 134 may include various types of information related to the input information such as the data format of the input information. Therefore, in the matching process between the input context and the interest data, matching candidates can be narrowed down based on more conditions, so that interest data that is more desirable as input information is presented to the user as input information candidates, User convenience is improved.
  • FIGS. 3 and 5 are explanatory diagrams for describing an example of a matching process between an input context and interest data.
  • FIG. 4 is an explanatory diagram illustrating an example of a display screen when input information candidates are presented to the user.
  • FIG. 3 shows the same interest data described with reference to FIG. 2 as an example of the interest data stored in the interest data DB 210. That is, the interest data “New York”, “New York City”, and “John” are extracted at the time of posting a comment using the miniblog at time 1:00, and by the photo browser performed at time 2:00. The interest data “Nottingham”, “10/2”, and “Nancy” are extracted at the time of browsing the photo, and are stored in the interest data DB 210 in association with various information related to the interest data as shown in FIG. In addition, about these interest data, since it is easy, the frequency
  • the input context detection unit 134 detects that “a character string starting with“ N ”is about to be input” as the input context.
  • the interest data matching unit 221 that has received the input context performs a matching process between the interest data stored in the interest data DB 210 and the input context.
  • interest data whose data format is text data (character string) is selected from the interest data stored in the interest data DB 210 as interest data that matches the input context.
  • interest data whose initial is “N” is selected from these interest data as a matching candidate that is interest data that matches the input context.
  • “John” and “10/2”, which are interest data that does not meet these conditions, are excluded from the matching candidates.
  • the exclusion from the matching candidate is expressed by drawing a strikethrough.
  • the interest data matching unit 221 can assign priorities as input information candidates to the matching candidates in the matching process.
  • the prioritization is performed, for example, by assigning a score (score) calculated based on a predetermined calculation formula to matching candidates.
  • a score score
  • number of times the interest data is used as input information number of hits.
  • the calculation formula is set so that the score becomes higher.
  • Such a calculation formula is expressed by, for example, the following formula (1).
  • Score (interesting data extraction time or interest data use time ⁇ input context detection time) + (number of interest data hits ⁇ 10) ...
  • the interest data corresponding to the presentation information most recently presented to the user, and the interest data used most recently by the user are given higher scores.
  • the priority as an information candidate becomes high. Therefore, it is possible to increase the priority of matching candidates that are more likely to be used as input information by the user.
  • the score calculated by the above formula (1) is described. Referring to FIG. 3, it can be seen that the interest data “Nottingham” and “Nancy” have relatively high scores, and the interest data “New York” and “New York City” have relatively low scores. In FIG. 3, description of the score column is omitted for the interest data “John” and “10/2” excluded from the matching candidates. The score calculation for the interest data excluded from the matching candidates may or may not be performed.
  • the interest data matching unit 221 transmits the result of these matching processes (matching result) to the input information candidate presenting unit 135.
  • the matching result includes information about the selected interest data (that is, a matching candidate) and its score.
  • the interest data matching unit 221 inputs the interest data “New York”, “New York City”, “Nottingham”, and “Nancy” as matching results, and input information of these interest data. It transmits to the candidate presentation part 135.
  • the input information candidate presenting unit 135 that has received the matching result displays the input information candidates on the display screen of the output unit 120 based on the content.
  • FIG. 4 shows an example of a display screen on which input information candidates are displayed.
  • FIG. 4 shows a state of the display screen 310 when the user is about to input a character string starting from the letter N in the text input area of the mailer body.
  • “Iwent to N ” which is text data input by the user, is displayed on the display screen 310.
  • An underline attached to “ N ” indicates that an input cursor for performing data input exists on “N”, and a character string starting from “N” is about to be input.
  • “Nottingham”, “Nancy”, “New York”, and “New York City” are displayed in a list form as input information candidates 320 at the bottom of the display screen 310. Further, the input information candidates 320 are displayed in order from the highest score calculated by the interest data matching unit 221.
  • the user can input the character string by selecting the character string that the user wants to input from the displayed input information candidates 320.
  • the input information candidates 320 are displayed in order from the highest score, candidates that are more likely to be used as input information by the user are displayed in a place that is easily noticed by the user, User convenience is improved.
  • the interest data extraction unit 133 can acquire the latest information from the application control unit 131 as information related to the interest data when the character string “New York City” is extracted as the interest data again.
  • the extraction time or use time of the interest data “New York City” and the number of hits are updated from the stage shown in FIG.
  • FIG. 5 shows an example of the interest data stored in the interest data DB 210 after the user selects “New York City” from the input information candidates. Referring to FIG. 5, the acquisition time of the interest data “New York City” is updated to “3:00” and the hit count is updated to “1” as compared to FIG. 3.
  • the interest data matching unit 221 performs the matching process between the interest data stored in the interest data DB 210 and the input context again.
  • the interest data stored in the interest data DB 210 is, for example, in the state shown in FIG. Has been updated. Therefore, the score calculation result is also different from the example shown in FIG. 3, and in the example shown in FIG. 5, the score of the interest data “New York City” is higher than the score of other interest data. This is because the above equation (1) is set so that the score becomes higher as the acquisition time of the interest data is closest. Therefore, when the input information candidate is displayed again on the display screen based on the matching result, “New York City” among the input information candidates is displayed in a place that is most easily noticeable by the user. Convenience in selecting input information is improved.
  • FIGS. 6, 7, 8, and 9 data input support processing when input information is photo data will be described.
  • 6, 7, and 8 are explanatory diagrams for describing an example of a matching process between an input context and interest data.
  • FIG. 9 is an explanatory diagram illustrating an example of a display screen when input information candidates are presented to the user.
  • FIGS. 6, 7, and 8 in order to explain the data input support process when “the data format of the input information is photo data” is detected as the input context, Shows photograph data, and furthermore, interest data extracted as information accompanying the presentation information related to these photograph data is shown in association with each photograph data.
  • FIG. 6 shows interest data stored in the interest data DB 210 after a photograph is viewed using a photo browser as an example of interest data.
  • a photo with a photo ID “ID-A” is viewed at a time 1:00 by a photo browser
  • a photo with a photo ID “ID-B” is viewed at a time 2:00
  • a time 3 Assume that a photo with a photo ID “ID-C” is viewed at 00.
  • the interest data extraction unit 133 simultaneously extracts not only the image data included in those photographs that are the presentation information but also information associated with the presentation information.
  • the photo ID is “ID-A”, “New York” that is the shooting location of the photo from the Exif information of the photo, and “John” that is the name of the photo from the photo label, Extracted as interest data.
  • the photo has a photo ID “ID-B”, “Paris”, which is the shooting location of the photo, from the Exif information of the photo, and “Nancy”, which is the name of the photo, from the photo label, Extracted as interest data.
  • the photo ID-C “New York”, which is the shooting location of the photo, is extracted as interest data from the Exif information of the photo. Similar to the example shown in FIG.
  • these interest data are associated with information such as an acquisition time, an information source, an information type, and the number of hits, which are information related to these interest data. Is remembered.
  • photographic data is illustrated as the interest data, and further, the interest data extracted as information accompanying the presentation information related to these photographic data is displayed for each photographic data. Therefore, the interest data “New York”, “John”, “Paris”, and “Nancy” are illustrated in association with the photo ID of the photo data. For the interest data, the current hit count is set to “0” for simplicity.
  • FIG. 7 also shows the result of the score calculation in the interest data matching unit 221 when “input data format is photo data” is detected as the input context at this stage. . Referring to the score column, the score of the photo data with the photo ID “ID-A” with the hit number “1” is higher than the score of the other photo data.
  • the user uses the mailer and inputs the character string “New York” in the text input area. Then, the acquisition time of the interest data “New York” is updated to “5:00”, and the hit count is updated to “1”. Further, as shown in FIG. 8, the acquisition time of the photo ID “ID-A” and “ID-C”, which is the photo data associated with the interest data “New York”, is updated to 5:00. . In addition, the hit number of the photo data with the photo ID “ID-A” is updated to “2”, and the hit number of the photo data with the photo ID “ID-C” is updated to “1”. In this embodiment, as shown in FIGS. 6, 7, and 8, when other interest data is associated with the interest data (photo data in FIGS. 6, 7, and 8), the acquisition is performed. Information related to the data of interest such as time and the number of hits may be shared with each other by these data of interest.
  • the input context detection unit 134 detects that the data format of the input information is photo data as the input context.
  • the interest data matching unit 221 that has received the input context performs a matching process between the interest data stored in the interest data DB 210 and the input context. In the matching process, interest data whose data format is photograph data is selected from interest data stored in the interest data DB 210 as interest data that matches the input context. In the example shown in FIG.
  • the interest data matching unit 221 selects photo data with photo IDs “ID-A”, “ID-B”, and “ID-C” as matching candidates, and the above formula (1) ) To calculate the score for these photo data. Then, the interest data matching unit 221 obtains, as a matching result, photo data with photo IDs “ID-A”, “ID-B”, “ID-C”, and scores of these photo data as input information candidate presenting units. 135.
  • the input information candidate presenting unit 135 that has received the matching result displays the input information candidates on the display screen of the output unit 120 based on the content.
  • FIG. 9 shows an example of a display screen 310 on which input information candidates are displayed.
  • FIG. 9 shows a state of the display screen 310 when the photograph data to be attached to the mail is selected by the user.
  • thumbnails of photo data with photo IDs “ID-A”, “ID-B”, and “ID-C” are displayed in a list as input information candidates.
  • these input information candidates are displayed in order from the highest score calculated by the interest data matching unit 221.
  • input information candidates are displayed in the order of “ID-A”, “ID-C”, and “ID-B” based on the score calculation result shown in FIG. ing.
  • the display screen 310 may also display attachable photo data that is not stored in the interest data DB 210, such as photo data with a photo ID “ID-D”.
  • the input priority may be lower than the input information candidate selected from the interest data. This is because the input information candidate selected from the interest data indicates the target of the user's interest more and is more likely to be selected as input information.
  • the user can attach the photograph data to the mail by selecting the photograph data that the user wants to input from the input information candidates displayed on the display screen 310.
  • the input information candidates are displayed in order from the highest score, the candidates that are more likely to be used as input information by the user are displayed in a place where the user can easily recognize them. The convenience is improved.
  • the data input support processing according to the present embodiment has been described in detail with a specific example with reference to FIGS. 3, 4, 5, 6, 7, 8, and 9.
  • the data input support process according to the present embodiment is not limited to the above example, and various other information may be used as the interest data, the input context, and the input information.
  • the interest data matching unit 221 sets the “information type” to “person name” from the interest data stored in the interest data DB 210. May be selected as a matching candidate.
  • interest data having different data formats are extracted between different applications, and input information candidates are selected from the interest data. Therefore, data input support processing linked to each other is realized even between different applications. For example, assume that a mailer creates and sends an email immediately after posting a comment via a miniblog. As described above, when the posting of the comment and the creation of the mail are continuously performed, there is a high possibility that the text of the comment and the content of the mail are related to each other. In the data input support processing according to the present embodiment, immediately after posting a comment in which a character string meaning a person's name and / or place name is entered in the text, an email is created and an attempt is made to attach photo data to the email.
  • a photo related to a person name and / or place name input in the text of a comment is displayed with a higher priority.
  • interest data is extracted across different applications and input information candidates are selected between different applications, a data input support process that is more convenient for the user is realized.
  • FIG. 10 is a flowchart showing a processing procedure of the data input support method according to the present embodiment.
  • the update detection unit 132 detects whether or not the presentation information presented to the user during the application execution has been updated (step S401). If no update is detected, the process proceeds to step S407 to be described later.
  • the interest data extraction unit 133 extracts the interest data that includes at least information associated with the presentation information from which the update has been detected and is information on the target of the user's interest during the execution of the application. (Step S403).
  • the interest data may be any information as long as it is information related to the user's interest, and the interest data extraction unit 133 may extract various types of information related to the user's interest as interest data. it can.
  • the interest data extracted in step S403 is stored in the interest data DB 210 (step S405).
  • the interest data may be stored in association with various information related to the interest data.
  • the various information related to the interest data may be, for example, the acquisition time of the interest data, the information source, the type of information, the number of hits, and the like.
  • the interest data extraction in step S403 and the interest data storage in step S405 are performed whenever the presentation information is updated. Accordingly, the interest data stored in the interest data DB 210 may be updated as needed, and the interest data DB 210 may manage the history of the interest data.
  • the input context detection unit 134 detects an input context representing the processing status of the input information by the application for the input information that is about to be input during the execution of the application (step S409).
  • the input context may be any information as long as it is information related to the input information, and the input context detection unit 134 can detect various types of information related to the input information as the input context.
  • the interest data matching unit 221 When the input context is detected, the interest data matching unit 221 performs a matching process for selecting the interest data that matches the detected input context from the interest data DB (step S411). In the matching processing, various types of information included in the input context is compared with the interest data and information related to the interest data, so that interest data that matches the input context is selected as a matching candidate. Also.
  • the interest data matching unit 221 may calculate a score for determining a priority order as an input information candidate for each matching candidate in the matching process.
  • step S413 input information candidates that are candidates for input information are presented from the interest data. Specifically, based on the result of the matching process in step S411, the input information candidate is presented from the interest data under the control of the input information candidate presenting unit 135. The user can perform smooth data input by selecting desired input information from the presented input information candidates.
  • step S401 After the data input by the user is performed, the process returns to step S401, and the series of processes shown in FIG. 10 is repeated. Also, if no update is detected in step S407, the process returns to step S401, and the series of processes shown in FIG. 10 is repeated.
  • the processing procedure of the data input support method according to the present embodiment has been described above with reference to FIG. Note that the flow illustrated in FIG. 10 is an example of a processing procedure of the data input support method according to the present embodiment, and the processing illustrated in each step may not be performed in the order illustrated in FIG. For example, the series of processes shown in steps S401 to S405 is performed as needed during the processes in the other steps. That is, the interest data may be extracted and stored as needed even while the input context is detected or the input information candidate is presented. This is because input information and input information candidates themselves are also presentation information and can be a target from which interest data is extracted.
  • FIG. 11 is a block diagram for explaining a hardware configuration of the information processing apparatus 10 and the server 20 according to the embodiment of the present disclosure.
  • the information processing apparatus 10 and the server 20 mainly include a CPU 901, a ROM 903, and a RAM 905. Further, the information processing apparatus 10 and the server 20 further include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, and a communication device 921. A drive 923 and a connection port 925.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls all or a part of the operations in the information processing apparatus 10 and the server 20 according to various programs recorded in the ROM 903, the RAM 905, the storage apparatus 919, or the removable recording medium 929. To do.
  • the ROM 903 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 905 temporarily stores programs used by the CPU 901, parameters that change as appropriate during execution of the programs, and the like. These are connected to each other by a host bus 907 constituted by an internal bus such as a CPU bus.
  • the CPU 901, the ROM 903, and the RAM 905 correspond to, for example, the control unit 130 and the server control unit 220 illustrated in FIG.
  • the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is an operation means operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, remote control means (so-called remote control) using infrared rays or other radio waves, or may be a mobile phone or a PDA corresponding to the operation of the information processing device 10 and the server 20.
  • An external connection device 931 may be used.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by a user using the above-described operation means and outputs the input signal to the CPU 901, for example.
  • the user of the information processing device 10 and the server 20 can input various data and instruct processing operations to the information processing device 10 and the server 20 by operating the input device 915.
  • the input device 915 corresponds to, for example, the input unit 110 illustrated in FIG.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as lamps, audio output devices such as speakers and headphones, printer devices, and the like.
  • the output device 917 outputs, for example, results obtained by various processes performed by the information processing device 10 and the server 20. Specifically, the display device visually displays results obtained by various processes performed by the information processing device 10 and the server 20 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the output device 917 corresponds to, for example, the output unit 120 illustrated in FIG.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 10 and the server 20.
  • the storage device 919 corresponds to, for example, the interest data DB 210 shown in FIG.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores various information processed in the data input support process according to the present embodiment, such as a program executed by the CPU 901 and various data.
  • the storage device 919 stores a history of interest data extracted by the interest data extraction unit 133.
  • the information processing apparatus 10 and the server 20 may further include the following components.
  • the communication device 921 is a communication interface configured by a communication device for connecting to a communication network (network) 927, for example.
  • the communication device 921 is, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 921 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 921 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or other communication devices.
  • the network 927 connected to the communication device 921 is configured by a wired or wireless network, and may be, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the information processing apparatus 10 and the server 20 communicate with each other via the communication apparatus 921 and the network 927, thereby allowing various types of information such as interest data, input contexts, matching results, and the like. Transmission and reception may be performed. Further, the information processing apparatus 10 may install various applications or communicate various information processed by the applications via the communication apparatus 921.
  • the drive 923 is a recording medium reader / writer, and is built in or externally attached to the information processing apparatus 10 and the server 20.
  • the drive 923 reads information recorded on a removable recording medium 929 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 905.
  • the drive 923 can also write a record to a removable recording medium 929 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the removable recording medium 929 is, for example, a DVD medium, an HD-DVD medium, a Blu-ray (registered trademark) medium, or the like.
  • the removable recording medium 929 may be a compact flash (registered trademark) (CompactFlash: CF), a flash memory, an SD memory card (Secure Digital memory card), or the like. Further, the removable recording medium 929 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • the drive 923 writes various information processed by various applications installed in the information processing apparatus 10 and various information processed in the data input support processing to the removable recording medium 929. And reading may be performed.
  • the connection port 925 is a port for directly connecting a device to the information processing apparatus 10 and the server 20.
  • Examples of the connection port 925 include a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, and the like.
  • As another example of the connection port 925 there are an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, and the like.
  • the connection port 925 By connecting the external connection device 931 to the connection port 925, the information processing apparatus 10 and the server 20 directly acquire various data from the external connection device 931, or provide various data to the external connection device 931. To do.
  • various information processed by various applications installed in the information processing apparatus 10 and various information processed in the data input support process are transmitted to the external connection device 931 by the connection port 925. Transmission / reception may be performed.
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing the functions of the information processing apparatus 10 and the server 20 according to the present embodiment as described above can be produced and installed in a personal computer or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the update detection unit 132 detects an update of the presentation information presented to the user during application execution, and the interest data extraction unit 133 includes at least information associated with the presentation information for which the update is detected.
  • Interest data that is information related to the object of interest of the user during application execution is extracted.
  • the interest data is extracted by using the update of the presentation information as a trigger, so that the data is in different data formats even between different applications. Also, interest data is extracted and shared from the viewpoint of whether the user is interested.
  • the input context that indicates the processing status of input information by the application is detected by the input context detection unit 134 for the input information that is about to be input during the execution of the application. Based on the input context, control is performed to present input information candidates that are candidates for input information from the interest data.
  • input information candidates are presented from interest data shared between different applications, for example, interest data extracted in one application can be presented as input information candidates in another application.
  • interest data extracted in one application can be presented as input information candidates in another application.
  • not only the presentation information but also the information accompanying the presentation information is extracted as the interest data, so that more data is accumulated as the interest data. Therefore, the options for selecting input information candidates are wider, and a data input support system that is more convenient for the user is realized.
  • the input context detected by the input context detection unit 134 may include various types of information related to the input information, such as the data format of the input information and the type of the input information. Therefore, in the matching process between the input context and the interest data, matching candidates can be narrowed down based on more conditions, so that interest data that is more desirable as input information is presented to the user as input information candidates, User convenience is improved.
  • interest data having different data formats is extracted between different applications, and input information candidates are selected from the interest data. Therefore, data input support processing linked to each other is realized even between different applications. For example, assume that a mailer creates and sends an email immediately after posting a comment via a miniblog. As described above, when the posting of the comment and the creation of the mail are continuously performed, there is a high possibility that the text of the comment and the content of the mail are related to each other. In the data input support processing according to the present embodiment, immediately after posting a comment in which a character string meaning a person's name and / or place name is entered in the text, an email is created and an attempt is made to attach photo data to the email.
  • a photo related to a person name and / or place name input in the text of a comment is displayed with a higher priority.
  • interest data is extracted across different applications and input information candidates are selected between different applications, a data input support process that is more convenient for the user is realized.
  • the embodiment has been described in which the acquisition time and the number of hits are used to calculate the score for determining the priority order as the input information candidate in the matching process.
  • the present embodiment is not limited to this example.
  • a mathematical formula in which other elements are added may be used.
  • different mathematical formulas may be used depending on the type of application that was executed when the input context was detected (that is, the application for which input information is about to be input).
  • mathematical formulas that take into account application characteristics may be set.
  • the interest data DB 210 may statistically manage the interest data, and the matching process may be performed using the statistical values. For example, if a user posts a comment using a mini-blog, the user can statistically manage information such as a position (GPS) where the user posts a comment, an acquisition time, etc. Character strings that frequently appear in comments posted at time and place can be identified.
  • GPS position
  • the user creates and transmits mail using a mailer information on a partner to whom the user transmits mail is extracted as various types of information regarding interest data, and statistically managed.
  • the interest data matching unit 221 may perform a score calculation process so that such a character string has a high score in the matching process.
  • the presentation information is data visually displayed on the display screen of the output unit 120.
  • the presentation information may be audio data that is output from the audio output device of the output unit 120 and presented auditorily to the user.
  • the interest data includes, for example, the singer, composer, songwriter, genre of the piece of music, date of publication (period) ) Or the like.
  • the input context may be information indicating that music data to be played back by the media player is input, and the input information candidate is sent to the user by the matching process with the interest data. May be presented.
  • An update detection unit that detects an update of presentation information presented to a user during application execution, and at least information associated with the presentation information from which an update has been detected, and an object of interest of the user during execution of the application
  • An interest data extraction unit that extracts interest data that is information on
  • an input context detection unit that detects an input context that represents the processing status of the input information by the application for input information that is about to be input during application execution
  • An information processing apparatus comprising: an input information candidate presenting unit that performs control to present an input information candidate that is a candidate for the input information from the interest data based on the input context.
  • An interest data matching unit that performs a matching process for selecting the interest data that matches the input context from the interest data DB in which the history of the extracted interest data is stored, and presents the input information candidate
  • the information processing apparatus according to (1), wherein the unit presents the input information candidates based on a result of the matching process.
  • the latest time when the interest data was extracted, the latest time when the interest data was used as the input information, and the interest data were used as the input information.
  • the information processing apparatus according to (2) wherein the information includes at least one of the number of times.
  • the said interest data matching part calculates the score for determining the priority at the time of presenting an input information candidate about each of the said input information candidate to select,
  • the said (2) or (3) Information processing device .
  • the information processing apparatus calculates the score of the interest data higher as the number of times the interest data is used as the input information increases.
  • the interest data matching unit calculates the score of the interest data higher as the latest time when the interest data is used as the input information is closer to the time when the input context is detected.
  • the information processing apparatus according to (4) or (5).
  • the interest data matching unit calculates the score of the interest data higher as the latest time at which the interest data is extracted is closer to the time at which the input context is detected.
  • the information processing apparatus according to any one of (6).
  • (8) The information processing apparatus according to any one of (4) to (7), wherein the input information candidate presenting unit presents the input information candidates in the priority order based on the score.
  • the information processing apparatus according to any one of (1) to (8), wherein the information accompanying the presentation information includes metadata associated with the presentation information.
  • the information processing apparatus according to any one of (1) to (10), wherein the interest data includes the presentation information.
  • the input context includes information related to a data format of the input information.
  • the input context includes information related to a type of information of the input information.
  • the information processing apparatus according to any one of (1) to (13), wherein the interest data includes a character string presented during execution of an application having a text data input function.
  • the interest data is information accompanying a photo presented during execution of an application having a photo browsing function, the location where the photo was taken, the date and time when the photo was taken, and the photo
  • the information processing apparatus according to any one of (1) to (14), including information on at least one of an arbitrary word or a character string representing a word group included in a label.
  • the input context includes any information detected during execution of an application having a photo data input function to the effect that the photo data is to be input, according to any one of (1) to (16).
  • the information processing apparatus described.
  • Information related to an object of interest of the user during the execution of the application including at least information associated with the presentation information from which the update has been detected, which is detected when updating the presentation information presented to the user during the execution of the application Extracting the interest data, detecting an input context representing the processing status of the input information by the application for the input information about to be input during the execution of the application, and based on the input context, Performing a control of presenting input information candidates that are candidates for the input information from interest data.
  • the computer includes at least a function of detecting an update of the presentation information presented to the user during the execution of the application, and information associated with the presentation information from which the update has been detected. Based on the input context, a function of extracting interest data that is information related to a target, a function of detecting an input context representing the processing status of the input information by the application, and the input information about to be input during application execution And a function of performing control to present input information candidates that are candidates for the input information from the interest data.

Abstract

【課題】ユーザの利便性をより向上させることを可能とする。 【解決手段】アプリケーション実行中にユーザに提示される提示情報の更新を検出する更新検出部と、更新が検出された前記提示情報に付随する情報を少なくとも含み、前記アプリケーション実行中におけるユーザの興味の対象に関する情報である関心データを抽出する関心データ抽出部と、アプリケーション実行中に入力されようとしている入力情報について、当該アプリケーションによる前記入力情報の処理状況を表す入力コンテキストを検出する入力コンテキスト検出部と、前記入力コンテキストに基づいて、前記関心データの中から前記入力情報の候補である入力情報候補を提示する制御を行う入力情報候補提示部と、を備える、情報処理装置を提供する。

Description

情報処理装置、データ入力支援方法及びプログラム
　本開示は、情報処理装置、データ入力支援方法及びプログラムに関する。
　各種の情報処理端末において実行されるアプリケーションにおいては、ユーザが情報を入力する際に、その入力しようとしている情報の候補をユーザに対して提示する、データ入力支援システムが普及している。例えば、テキスト入力におけるデータ入力支援システムとしては、入力された文字や単語、文字列等に基づいて、次に入力される単語や文字列等を予測し、その候補をユーザに対して提示するシステムが知られている。
　例えば、特許文献１には、文字認識システムにおける認識誤りを訂正する技術であって、認識対象として入力したテキストに対して、単語の出現頻度と文字の図形的類似度とに基づいて、文字認識の誤りを訂正するための単語候補を提示する技術が開示されている。また、特許文献２には、入力中の文に先行する文に含まれる単語に基づいて、次に入力されることが推定される単語候補を提示する技術が開示されている。
特開平１１－３２８３１７号公報 特開２０１２－１５５５２０号公報
　しかしながら、従来のデータ入力支援システムにおいては、入力候補として提示される情報は、その情報が入力されようとしているアプリケーションが関知する範囲内から選択されていた。例えば、上記特許文献１、２に記載の技術では、候補として提示される単語は、そのシステムにおいて過去に入力されたテキストデータや、そのシステムにおいて管理されるテキストデータが網羅的に収集された辞書等に基づいて選択されるものであり、互いに連携していない別種のアプリケーションや、異なる形式のデータに基づいて入力候補を選択することは行われていない。
　一方、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）やスマートフォン等の端末においては、互いに異なる多様な種類のアプリケーションをインストールし、１台の端末でそれらを複合的に用いる使用方法が一般的である。そこで、互いに異なるアプリケーション間や、異なるファイル形式のデータ間の連携も考慮した、ユーザにとってより利便性の高いデータ入力支援システムが求められていた。
　そこで、本開示では、ユーザの利便性をより向上させることが可能な、新規かつ改良された情報処理装置、データ入力支援方法及びプログラムを提案する。
　本開示によれば、アプリケーション実行中にユーザに提示される提示情報の更新を検出する更新検出部と、更新が検出された前記提示情報に付随する情報を少なくとも含み、前記アプリケーション実行中におけるユーザの興味の対象に関する情報である関心データを抽出する関心データ抽出部と、アプリケーション実行中に入力されようとしている入力情報について、当該アプリケーションによる前記入力情報の処理状況を表す入力コンテキストを検出する入力コンテキスト検出部と、前記入力コンテキストに基づいて、前記関心データの中から前記入力情報の候補である入力情報候補を提示する制御を行う入力情報候補提示部と、を備える、情報処理装置が提供される。
　また、本開示によれば、アプリケーション実行中にユーザに提示される提示情報の更新を検出することと、更新が検出された前記提示情報に付随する情報を少なくとも含み、前記アプリケーション実行中におけるユーザの興味の対象に関する情報である関心データを抽出することと、アプリケーション実行中に入力されようとしている入力情報について、当該アプリケーションによる前記入力情報の処理状況を表す入力コンテキストを検出することと、前記入力コンテキストに基づいて、前記関心データの中から前記入力情報の候補である入力情報候補を提示する制御を行うことと、を含む、データ入力支援方法が提供される。
　また、本開示によれば、コンピュータに、アプリケーション実行中にユーザに提示される提示情報の更新を検出する機能と、更新が検出された前記提示情報に付随する情報を少なくとも含み、前記アプリケーション実行中におけるユーザの興味の対象に関する情報である関心データを抽出する機能と、アプリケーション実行中に入力されようとしている入力情報について、当該アプリケーションによる前記入力情報の処理状況を表す入力コンテキストを検出する機能と、前記入力コンテキストに基づいて、前記関心データの中から前記入力情報の候補である入力情報候補を提示する制御を行う機能と、を実現させるためのプログラムが提供される。
　本開示によれば、提示情報に更新があったことをトリガーとして関心データが抽出されることにより、互いに異なるアプリケーションの間であっても、また互いに異なるデータ形式のデータであっても、ユーザが興味を示しているかどうかという観点から関心データが抽出され、共有される。また、異なるアプリケーション間で共有された関心データ、又は異なるデータ形式の関心データから入力情報候補が提示されるため、入力情報候補が選択される際の選択肢がより幅広くなり、よりユーザの意向に沿った入力情報候補の提示が実現される。
　以上説明したように本開示によれば、ユーザの利便性をより向上させることが可能となる。
本開示の一実施形態に係るデータ入力支援システムの一構成例を示す機能ブロック図である。 関心データＤＢに記憶される関心データ及び関心データに関連する各種の情報の一例について説明するための説明図である。 入力コンテキストと関心データとのマッチング処理の一例について説明するための説明図である。 入力情報候補がユーザに提示される際の表示画面の一例について説明する説明図である。 入力コンテキストと関心データとのマッチング処理の他の一例について説明するための説明図である。 入力コンテキストと関心データとのマッチング処理の他の一例について説明するための説明図である。 入力コンテキストと関心データとのマッチング処理の他の一例について説明するための説明図である。 入力コンテキストと関心データとのマッチング処理の他の一例について説明するための説明図である。 入力情報候補がユーザに提示される際の表示画面の他の一例について説明する説明図である。 本実施形態に係るデータ入力支援方法の処理手順を示すフロー図である。 本開示の実施形態に係る情報処理装置及びサーバのハードウェア構成を説明するためのブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．データ入力支援システムの構成
　　１－１．情報処理装置の構成
　　１－２．サーバの構成
　２．データ入力支援処理の具体例
　　２－１．入力情報がテキストデータである場合
　　２－２．入力情報が写真データである場合
　３．データ入力支援方法の処理手順
　４．ハードウェア構成
　５．まとめ
　＜１．データ入力支援システムの構成＞
　本実施形態においては、アプリケーション実行中にユーザに提示される提示情報の更新が検出され、更新が検出された提示情報に付随する情報を少なくとも含み、アプリケーション実行中におけるユーザの興味の対象を表す関心データが抽出される。また、アプリケーション実行中に入力されようとしている入力情報について、当該アプリケーションによる前記入力情報の処理状況を表す入力コンテキストが検出され、当該入力コンテキストに基づいて、関心データの中から入力情報の候補である入力情報候補を提示する制御が行われる。以下の説明では、上記の一連の処理のことを、データ入力支援処理と呼称することとする。
　まず、図１を参照して、上記の本実施形態に係るデータ入力支援処理を実行するためのデータ入力支援システムの概略構成について説明する。図１は、本開示の一実施形態に係るデータ入力支援システムの一構成例を示す機能ブロック図である。
　図１を参照すると、本実施形態に係るデータ入力支援システム１は、ユーザによって操作される端末である情報処理装置１０と、後述する関心データを管理するサーバ２０と、から構成される。なお、情報処理装置１０とサーバ２０とは、有線又は無線を問わない任意の通信形式によって、各種の情報を互いに通信可能に接続されているものとする。
　［１－１．情報処理装置の構成］
　まず、情報処理装置１０の概略構成について説明する。情報処理装置１０は、入力部１１０、出力部１２０及び制御部１３０を備える。
　入力部１１０は、ユーザが情報処理装置１０に各種の情報や処理動作に関する命令等を入力するための入力インターフェースである。入力部１１０は、例えば、マウス、キーボード、タッチパネル等、ユーザによって操作される操作手段を有する入力装置によって構成される。本実施形態においては、ユーザは、入力部１１０から、アプリケーションの実行中に当該アプリケーションによって処理される各種のデータを入力することができる。例えば、アプリケーションとしてメールソフト（メーラー）が実行されている場合には、ユーザは、入力部１１０を介して、当該メーラーによって作成されるメールの文面を入力したり、作成されたメールに添付するデータを選択したりすることができる。また、例えば、アプリケーションとして写真閲覧ソフト（写真ブラウザ）が実行されている場合には、ユーザは、入力部１１０を介して、当該写真ブラウザによって表示される写真データを指定することができる。また、例えば、アプリケーションとして音声再生ソフト（メディアプレイヤー）が実行されている場合には、ユーザは、入力部１１０を介して、当該メディアプレイヤーによって再生される音声データを指定することができる。以下の説明では、アプリケーション実行中に入力部１１０からユーザによって入力される各種の情報のことを、入力情報と呼称する。
　出力部１２０は、情報処理装置１０において処理される各種の情報をユーザに対して視覚的又は聴覚的に出力するための出力インターフェースである。出力部１２０は、例えば、テキストデータや写真データ等を表示画面上に表示する表示装置や、音声データを音声として出力するスピーカやヘッドホン等の音声出力装置等の、各種の出力装置によって構成される。本実施形態においては、出力部１２０は、アプリケーションの実行中に当該アプリケーションによって処理される各種のデータをユーザに対して出力する。例えば、上記入力部１１０の説明において挙げた例であれば、アプリケーションとしてメーラーが実行されている場合には、出力部１２０は、当該メーラーによって作成されるメールの文面に含まれるテキストデータや、作成されたメールに添付されるデータの内容を表示画面上に表示させる。また、例えば、アプリケーションとして写真ブラウザが実行されている場合には、出力部１２０は、当該写真ブラウザによって処理される写真データの画像を表示画面上に表示させる。また、例えば、アプリケーションとしてメディアプレイヤーが実行されている場合には、出力部１２０は、当該メディアプレイヤーによって再生される音声データの内容をスピーカ等から音声として出力させる。このように、アプリケーション実行中に出力部１２０から出力される情報は、視覚的又は聴覚的にユーザに対して提示される情報であるといえる。以下の説明では、出力部１２０によってユーザに対して出力される情報のことを提示情報と呼称する。なお、以下の説明では、提示情報が、出力部１２０の表示画面に視覚的に表示されるデータである場合を例に挙げて、本実施形態についての説明を行うこととする。
　制御部１３０は、情報処理装置１０を統合的に制御するとともに、本実施形態に係るデータ入力支援処理における各種の情報処理を行う。以下、制御部１３０の機能及び構成について詳細に説明する。
　制御部１３０は、アプリケーション制御部１３１、更新検出部１３２、関心データ抽出部１３３、入力コンテキスト検出部１３４及び入力情報候補提示部１３５を有する。
　アプリケーション制御部１３１は、アプリケーション実行中における各種の情報処理を行い、情報処理装置１０での各種のアプリケーションの動作を統合的に制御する。具体的には、アプリケーション制御部１３１は、アプリケーション実行中に情報処理装置１０から出力される情報及び情報処理装置１０に入力される情報を処理する。例えば、アプリケーション制御部１３１は、出力部１２０の駆動を制御し、アプリケーション実行中にユーザに対して提示される提示情報を出力部１２０に出力させる。また、例えば、アプリケーション制御部１３１は、アプリケーション実行中に入力部１１０から入力された入力情報を、実行中のアプリケーションに反映させる。アプリケーション制御部１３１が実行するアプリケーションは、例えば、メーラー、写真ブラウザ、メディアプレイヤー、ウェブブラウザ、ミニブログ（Ｍｉｃｒｏｂｌｏｇｇｉｎｇ、例えば、Ｔｗｉｔｔｅｒ（登録商標））等、あらゆる公知のアプリケーションであってよい。
　更新検出部１３２は、アプリケーション実行中にユーザに提示される提示情報の更新を検出する。具体的には、更新検出部１３２は、アプリケーション制御部１３１の動作を監視し、提示情報が更新されたかどうかを検出する。例えば、実行中のアプリケーションがメーラーであれば、アプリケーション制御部１３１によって出力部１２０の表示画面に表示されるメールのテキスト入力エリアの文字列の表示が変更された場合に、更新検出部１３２は提示情報に更新があった旨を検出する。また、例えば、実行中のアプリケーションが写真ブラウザであれば、アプリケーション制御部１３１によって出力部１２０の表示画面に表示される写真が変更された場合に、更新検出部１３２は、提示情報に更新があった旨を検出する。このように、更新検出部１３２は、例えば出力部１２０の表示画面の表示が変更されることによって、提示情報が更新されたことを検出することができる。更新検出部１３２は、提示情報の更新を検出すると、その旨の情報（提示情報に更新がある旨の情報）を関心データ抽出部１３３に送信する。
　関心データ抽出部１３３は、更新検出部１３２から提示情報に更新があった旨の情報を受信すると、アプリケーション制御部１３１によってアプリケーション実行中に処理される各種の情報の中から、更新が検出された前記提示情報に付随する情報を少なくとも含み、前記アプリケーション実行中におけるユーザの興味の対象に関する情報である関心データを抽出する。また、関心データには、提示情報そのものも含まれてもよい。ここで、上述したように、提示情報はアプリケーション実行中にユーザに対して提示される情報である。従って、提示情報はアプリケーション実行中にユーザによって閲覧された情報であり、ユーザの興味の対象を示す情報であるといえる。従って、関心データ抽出部１３３は、更新が検出された提示情報及び当該提示情報に付随する情報を抽出することにより、ユーザの興味の対象に関する情報である関心データを抽出することができる。このように、本実施形態に係る関心データ抽出部１３３は、アプリケーション制御部１３１に問い合わせることにより、提示情報及び提示情報に付随する情報を関心データとして抽出することができる。
　ここで、提示情報に付随する情報は、提示情報に関連付けられているメタデータを含んでもよい。例えば、アプリケーションが写真ブラウザである場合、当該写真ブラウザによって実際にユーザに視覚的に提示される提示情報は、当該写真データに含まれる画像データである。しかし、写真データには、そのタイトル（ラベル）等の情報がファイル情報として含まれている。また、その撮影日時や撮影場所等の情報が、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ　Ｉｍａｇｅ　Ｆｉｌｅ　Ｆｏｒｍａｔ）情報として含まれている。これらの写真データのファイル情報やＥｘｉｆ情報等は、提示情報そのものではないが、提示情報に関連付けられているメタデータであり、ユーザの興味の対象を示す情報であるといえる。本実施形態に係る関心データ抽出部１３３は、このような提示情報に関連付けられているメタデータも、関心データとして抽出することができる。
　また、提示情報に付随する情報は、アプリケーションによる当該提示情報の処理状況、すなわち、提示情報のコンテキスト情報を含んでもよい。具体的には、提示情報のコンテキスト情報とは、当該提示情報がアプリケーションによってどのように処理されたか、に関する情報である。例えば、提示情報がメーラー実行中のテキスト入力エリアの文字列である場合、提示情報のコンテキスト情報は、「その文字列がメーラーにおけるメールの文面として表示されたものである」旨の情報であってよい。また、提示情報がＷｅｂブラウザ実行中のブログ（Ｂｌｏｇ（Ｗｅｂｌｏｇ））における記事内の文字列である場合、提示情報のコンテキスト情報は、「その文字列がブログにおける記事内の文面として表示されたものである」旨の情報であってよい。以上例示したような提示情報のコンテキスト情報は、提示情報そのものではないが、提示情報がどのような状況において提示されたかを示す動的なメタデータであり、ユーザの興味の対象を示す情報であるといえる。本実施形態に係る関心データ抽出部１３３は、このような提示情報のコンテキスト情報も関心データとして抽出することができる。
　また、提示情報に付随する情報は、提示情報が属する元のデータを含んでもよい。例えば、上記例示したように、提示情報が写真データの画像データである場合、提示情報が属する元のデータである写真データ自体も提示情報に付随する情報であると言える。従って、関心データ抽出部１３３は、提示情報が属する元のデータである写真データ自体を関心データとして抽出することができる。
　なお、本実施形態に係る関心データは、以上例示した情報に限定されない。関心データ抽出部１３３は、アプリケーション実行中におけるユーザの興味の対象に関する情報であれば、あらゆる情報を関心データとして検出してよい。
　関心データ抽出部１３３は、抽出した関心データを後述するサーバ２０の関心データデータベース（ＤＢ）２１０に送信する。また、関心データ抽出部１３３は、関心データを抽出する際に当該関心データに関連する各種の情報をアプリケーション制御部１３１から受け取り、これらの各種の情報を関心データとともに関心データＤＢ２１０に送信することができる。関心データに関連する各種の情報とは、例えば、当該関心データが抽出された時刻（抽出時刻）、入力情報として利用された時刻（利用時刻）、情報源、情報の種類、入力情報として利用された回数（ヒット数）等の情報であってよい。なお、以下の説明では、上記抽出時刻と上記利用時刻とを合わせて、取得時刻とも呼称する。関心データ及び関心データに関連する各種の情報の具体例については、関心データＤＢ２１０の機能について説明する際に、図２を参照して後述する。
　入力コンテキスト検出部１３４は、アプリケーション実行中に入力されようとしている入力情報について、当該アプリケーションによる前記入力情報の処理状況を表す入力コンテキストを検出する。ここで、入力コンテキストとは、入力情報としてどのような情報が入力されようとしているか、を示す情報である。例えば、入力コンテキストには、入力情報のデータ形式や、入力情報の種類、入力情報が入力されようとしたアプリケーションの種類等の情報が含まれる。入力情報のデータ形式とは、例えば、テキストデータ、写真データ、音声データといった、データ形式を示すものである。また、入力情報の種類とは、例えば、入力情報が文字列であったとすると、その文字列が地名を表すのか、人名を表すのか、一般名詞を表すのか、といった、入力情報の情報としての意味を示すものである。このように、入力コンテキストとは、いわば、入力情報が入力されようとしている背景（広義の文脈）を意味するものであり、実行中のアプリケーションに関する情報（例えば、そのアプリケーションにおいて入力可能なデータ形式、そのアプリケーションにおいて入力されるであろう情報の種類）及び入力情報に基づいて検出され得る。従って、本実施形態に係る入力コンテキスト検出部１３４は、アプリケーション制御部１３１から必要な情報を受信することにより、このような入力情報のコンテキスト情報を検出することができる。
　入力コンテキスト検出部１３４の機能について、例を挙げて具体的に説明する。例えば、アプリケーションとしてメーラーが実行中に、入力部１１０を介して、ユーザによってメール本文用のテキスト入力エリアに「Ｎ」という文字が入力されたとする。この情報が入力されたアプリケーション制御部１３１は、出力部１２０の表示画面に当該「Ｎ」という文字を表示させるとともに、入力部１１０から上記のような情報が入力された旨の情報を入力コンテキスト検出部１３４に送信する。ここで、アプリケーション制御部１３１は、実行中のアプリケーションがメーラーであること、文字列（テキストデータ）が入力されようとしていること、及び、実際に「Ｎ」という文字が入力されたこと等の、入力された情報に関する各種の情報を認識している。従って、入力コンテキスト検出部１３４は、アプリケーション制御部１３１に問い合わせることにより、例えば、入力情報が「Ｎ」から始まる文字列であること（「Ｎ」から始まる文字列が入力されようとしていること）、入力情報のデータ形式がテキストデータであること、及び、入力情報が入力されようとしているアプリケーションがメーラーであること等の情報を、入力コンテキストとして検出することができる。
　入力コンテキスト検出部１３４の機能について、別の例を挙げて更に説明する。例えば、アプリケーションとしてメーラーが実行中に、入力部１１０を介して、ユーザによって添付データ入力エリアが選択され、添付データを選択する段階において写真データが保存されているフォルダが指定された旨の情報が入力されたとする。この情報が入力されたアプリケーション制御部１３１は、出力部１２０の表示画面に添付データの候補である写真データを表示させるとともに、入力部１１０から上記のような情報が入力された旨の情報を入力コンテキスト検出部１３４に送信する。ここで、アプリケーション制御部１３１は、実行中のアプリケーションがメーラーであること、写真データが入力されようとしていること、及び、添付データの候補である写真データが保存されているフォルダの場所（パス）等の、入力された情報に関する各種の情報を認識している。従って、入力コンテキスト検出部１３４は、アプリケーション制御部１３１に問い合わせることにより、例えば、入力情報（入力情報のデータ形式）が写真データであること、当該写真データが保存されているフォルダの場所（パス）、及び、入力情報が入力されようとしているアプリケーションがメーラーであること等の情報を、入力コンテキストとして検出することができる。
　なお、本実施形態に係る入力コンテキストは、以上例示した情報に限定されない。入力コンテキスト検出部１３４は、入力情報に関する情報であれば、あらゆる情報を入力コンテキストとして検出してよい。
　入力コンテキスト検出部１３４は、検出した入力コンテキストを入力情報候補提示部１３５及びサーバ２０に送信する。入力コンテキスト検出部１３４は、検出した入力コンテキストとともに、当該入力コンテキストを検出した時刻の情報も入力情報候補提示部１３５及びサーバ２０に送信することができる。
　サーバ２０では、検出された入力コンテキストと、関心データＤＢ２１０に記憶されている関心データとをマッチングする処理が行われる。マッチング処理とは、関心データＤＢ２１０から、入力コンテキストに適合する関心データを選択する処理のことである。当該マッチング処理の詳細については、サーバ２０の構成について説明する際に後述する。サーバ２０は、マッチング処理の結果を、入力情報候補提示部１３５に送信する。
　入力情報候補提示部１３５は、入力コンテキスト検出部１３４によって検出された入力コンテキストに基づいて、関心データ抽出部１３３によって抽出された関心データの中から入力情報の候補である入力情報候補を提示する制御を行う。具体的には、入力情報候補提示部１３５は、入力コンテキスト検出部１３４によって検出された入力コンテキストに基づいて、ユーザに提示する入力情報候補を選択し、当該入力情報候補をアプリケーション制御部１３１を介して出力部１２０の表示画面に表示させる制御を行う。ここで、入力情報候補提示部１３５は、サーバ２０によって行われる入力コンテキストと関心データとのマッチング処理の結果を受信し、当該マッチング結果に基づいて、関心データの中から入力情報候補を提示する制御を行ってもよい。また、入力情報候補提示部１３５は、入力情報候補を提示させる際に、入力情報候補に優先順位を付けて、当該優先順位に応じて入力情報候補を提示させてもよい。
　［１－２．サーバの構成］
　次に、サーバ２０の概略構成について説明する。サーバ２０は、関心データＤＢ２１０及びサーバ制御部２２０を備える。
　関心データＤＢ２１０は、サーバ２０によって処理される各種の情報や、処理された結果を記憶するための記憶媒体の一例である。本実施形態においては、関心データＤＢ２１０は、情報処理装置１０の関心データ抽出部１３３によって抽出された関心データを記憶する。また、関心データＤＢ２１０は、関心データと関心データに関連する各種の情報とを関連付けて記憶することにより、関心データの履歴を管理することができる。
　ここで、関心データＤＢ２１０に記憶される関心データ及び関心データに関連する各種の情報の一例について、図２を参照して説明する。図２は、関心データＤＢ２１０に記憶される関心データ及び関心データに関連する各種の情報の一例について説明するための説明図である。
　図２を参照すると、関心データは、関心データに関連する各種の情報、例えば、当該関心データの取得時刻、情報源、情報の種類、ヒット数と関連付けられて、関心データＤＢ２１０に記憶されている。
　取得時刻とは関心データ抽出部１３３によって関心データが抽出された時刻（抽出時刻）又は関心データが入力情報として利用された時刻（利用時刻）を示す。また、情報源とは関心データが抽出された元のデータ又はメタデータの種類を示す。また、情報の種類とは関心データの種類（性質）を示す。また、ヒット数とは関心データが入力情報として利用された回数を示す。
　例えば、ユーザが、まず、時刻１：００にミニブログを利用して文字列「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」及び文字列「Ｊｏｈｎ」を文面に含むコメントを投稿し、次いで、時刻２：００に写真ブラウザを利用してある写真データを閲覧したとする。図２は、この一連の操作において抽出される関心データの一例を示している。
　まず、１：００に行われたミニブログに関する操作においては、提示情報そのものである文字列「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」及び文字列「Ｊｏｈｎ」が関心データ抽出部１３３によって関心データとして抽出され、関心データＤＢ２１０に記憶される。また、関心データ「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」には、当該関心データに関連する情報として、例えば、取得時刻「１：００」、情報源「コメント文面」、情報の種類「地名」が関連付けられて記憶される。同様に、関心データ「Ｊｏｈｎ」には、当該関心データに関連する情報として、例えば、取得時刻「１：００」、情報源「コメント文面」、情報の種類「人名」が関連付けられて記憶される。ここで、情報の種類である「人名」や「地名」等の情報は、例えば人名や地名として一般的に用いられる単語が登録されたＤＢ等が別に用意されており、関心データＤＢ２１０が抽出された関心データに基づいて当該ＤＢを参照することにより取得される情報であってよい。
　また、上記ミニブログに関する操作においては、提示情報そのものではなく、提示情報に付随する情報である文字列「Ｎｅｗ　Ｙｏｒｋ」が関心データとして抽出される。当該関心データ「Ｎｅｗ　Ｙｏｒｋ」は、提示情報そのものではなく、ＧＰＳ等によって検出された、コメント投稿時の位置に関する情報である。従って、図２に示すように、関心データ「Ｎｅｗ　Ｙｏｒｋ」には、当該関心データに関連する情報として、例えば、取得時刻「１：００」、情報源「コメント投稿時の位置」、情報の種類「位置（ＧＰＳ）」が関連付けられて、関心データＤＢ２１０に記憶される。
　次に、２：００に行われた写真ブラウザに関する操作においては、提示情報である写真の画像そのものではなく、提示情報に付随する情報が関心データとして抽出されている。例えば、提示情報である写真データのＥｘｉｆ情報から、当該写真が撮影された場所である「Ｎｏｔｔｉｎｇｈａｍ」及び当該写真が撮影された日時である「１０／２」が関心データとして抽出される。また、写真データのファイル情報から、写真データのラベルに含まれる文字列「Ｎａｎｃｙ」が関心データとして抽出される。
　また、これらの関心データ「Ｎｏｔｔｉｎｇｈａｍ」、「１０／２」及び「Ｎａｎｃｙ」も、関心データに関連する各種の情報と関連付けられて関心データＤＢ２１０に記憶される。例えば、図２に示すように、関心データ「Ｎｏｔｔｉｎｇｈａｍ」には、当該関心データに関連する情報として、例えば、取得時刻「２：００」、情報源「写真データのＥｘｉｆ情報」、情報の種類「位置（ＧＰＳ）」が関連付けられて、関心データＤＢ２１０に記憶される。また、関心データ「１０／２」には、当該関心データに関連する情報として、例えば、取得時刻「２：００」、情報源「写真データのＥｘｉｆ情報」、情報の種類「日時」が関連付けられて、関心データＤＢ２１０に記憶される。また、関心データ「Ｎａｎｃｙ」には、当該関心データに関連する情報として、例えば、取得時刻「２：００」、情報源「写真データのラベル」、情報の種類「人名」が関連付けられて、関心データＤＢ２１０に記憶される。
　以上図２を参照して説明したように、本実施形態に係る関心データＤＢ２１０は、関心データを、関心データと関連する各種の情報と関連付けて記憶する。また、関心データＤＢ２１０は、関心データに関する新たな情報が入力される度に、その情報を随時更新しながら記憶することができる。つまり、関心データＤＢ２１０は、関心データの履歴を管理することができる。
　なお、ヒット数の欄には、その関心データが、それまでに入力情報として利用された回数が入力されるが、図２に示す例では、簡単のため、全ての関心データについてヒット数は「０」としている。また、図２に示す例では、関心データ「Ｎｅｗ　Ｙｏｒｋ」、「Ｊｏｈｎ」、「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」、「Ｎｏｔｔｉｎｇｈａｍ」、「１０／２」及び「Ｎａｎｃｙ」は、文字列又は数字列として抽出されている。
　図１に戻り、サーバ２０の構成についての説明を続ける。
　サーバ制御部２２０は、サーバ２０を統合的に制御するとともに、本実施形態に係るデータ入力支援処理における各種の情報処理を行う。本実施形態においては、サーバ制御部２２０は、関心データＤＢ２１０を参照することにより、入力コンテキストと関心データとのマッチング処理を行う。
　サーバ制御部２２０の構成についてより詳細に説明する。サーバ制御部２２０は、関心データマッチング部２２１を有する。関心データマッチング部２２１は、関心データＤＢ２１０から、入力コンテキスト検出部１３４によって検出された入力コンテキストに適合する関心データを選択するマッチング処理を行う。
　具体的には、関心データマッチング部２２１は、入力コンテキスト検出部１３４から入力情報の入力コンテキストを受信すると、関心データＤＢ２１０に記憶されている関心データの中から、当該入力コンテキストに当てはまるものを選択する。以下の説明では、マッチング処理において選択される入力コンテキストに適合する関心データのことを、マッチング候補とも呼称する。
　ここで、入力コンテキスト検出部１３４によって、入力コンテキストとして、「「Ｎ」から始まる文字列が入力されようとしていること」が検出された場合を例に挙げて、関心データマッチング部２２１の機能についてより詳細に説明する。例えば、関心データマッチング部２２１は、入力コンテキストとして「「Ｎ」から始まる文字列が入力されようとしていること」を受信すると、まず、関心データＤＢ２１０に記憶されている関心データの中から、データ形式がテキストデータ（文字列）である関心データを選択する。そして、それらの関心データの中から、更に頭文字が「Ｎ」である関心データを、入力コンテキストと適合する関心データとして選択する。例えば、図２に示す例であれば、関心データマッチング部２２１は、入力コンテキストに適合する関心データとして、「Ｎｅｗ　Ｙｏｒｋ」、「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」、「Ｎｏｔｔｉｎｇｈａｍ」及び「Ｎａｎｃｙ」を選択する。
　このように、本実施形態に係るマッチング処理においては、入力コンテキストに含まれるデータ形式と適合する関心データが選択されてもよい。また、例えば、入力コンテキストに入力情報の種類に関する情報が含まれる場合には、当該情報の種類と適合する関心データが選択されてもよい。
　このように、本実施形態に係るマッチング処理においては、入力コンテキストに含まれる各種の情報と、関心データ及び関心データに関連する情報との比較が行われることにより、入力コンテキストに適合する関心データが選択されてもよい。
　更に、関心データマッチング部２２１は、入力コンテキストに適合する関心データを選択する際に、入力情報候補として提示する際の優先順位を所定の方法に基づいて決定することができる。なお、関心データマッチング部２２１の機能については、下記＜２．データ入力支援処理の具体例＞で改めて詳細に説明する。
　関心データマッチング部２２１は、マッチング処理の結果（マッチング結果）を情報処理装置１０の入力情報候補提示部１３５に送信する。入力情報候補提示部１３５は、当該マッチング処理の結果に基づいて、入力コンテキストに適合する関心データを入力情報候補として選択し、ユーザに対して提示する制御を行うことができる。
　以上、図１を参照して、本実施形態に係る情報処理装置１０及びサーバ２０の機能の一例、特に制御部１３０及びサーバ制御部２２０の機能の一例について詳細に示した。なお、情報処理装置１０及びサーバ２０の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、制御部１３０及びサーバ制御部２２０については、各構成要素の機能を、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
　また、図１に示す例では、データ入力支援システム１が情報処理装置１０とサーバ２０とから構成される場合について説明したが、本実施形態はかかる例に限定されない。図１に示す各機能ブロックが有する機能は、１つの装置によってその全てが行われてもよいし、２つ以上の複数の装置に分散されて行われてもよい。例えば、関心データ２１０及び関心データマッチング部２２１の機能を、情報処理装置１０が行ってもよい。また、例えば、情報処理装置１０は入力部１１０、出力部１２０及びアプリケーション制御部１３１の機能のみを有する、いわばアプリケーションを実行するためだけのインターフェース機器であってもよく、その他の機能が全てサーバ２０によって行われてもよい。なお、サーバ２０は、例えばクラウド上に設けられるサーバであってもよく、情報処理装置１０とサーバ２０とは、通信網（ネットワーク）を介して互いに通信可能に接続されていてもよい。
　なお、情報処理装置１０及びサーバ２０のハードウェア構成については、＜４．ハードウェア構成＞で詳しく説明する。
　以上説明したように、本実施形態に係るデータ入力支援システム１においては、更新検出部１３２によって、アプリケーション実行中にユーザに提示される提示情報の更新が検出され、関心データ抽出部１３３によって、更新が検出された提示情報に付随する情報を少なくとも含み、アプリケーション実行中におけるユーザの興味の対象に関する情報である関心データが抽出される。このように、本実施形態においては、提示情報に更新があったことをトリガーとして関心データが抽出されることにより、互いに異なるアプリケーションの間であっても、また互いに異なるデータ形式のデータであっても、ユーザが興味を示しているかどうかという観点から関心データが抽出され、共有される。
　更に、本実施形態に係るデータ入力支援システム１においては、入力コンテキスト検出部１３４によって、アプリケーション実行中に入力されようとしている入力情報について、当該アプリケーションによる入力情報の処理状況を表す入力コンテキストが検出され、入力情報候補提示部によって、入力コンテキストに基づいて、関心データの中から入力情報の候補である入力情報候補を提示する制御が行われる。このように、異なるアプリケーション間で共有された関心データから入力情報候補が提示されるため、例えば、あるアプリケーションにおいて抽出された関心データが他のアプリケーションにおける入力情報候補として提示され得る。また、本実施形態においては、関心データとして、提示情報だけでなく、提示情報に付随する情報も抽出されるため、より多くのデータが関心データとして蓄積される。従って、入力情報候補が選択される際の選択肢がより幅広くなり、ユーザにとって利便性のより高いデータ入力支援システムが実現される。
　更に、本実施形態に係るデータ入力支援システム１においては、入力コンテキスト検出部１３４によって検出される入力コンテキストは、入力情報のデータ形式等、入力情報に関する各種の情報を含んでもよい。従って、入力コンテキストと関心データとのマッチング処理において、より多くの条件に基づいてマッチング候補を絞り込むことができるため、より入力情報として望ましい関心データが入力情報候補してユーザに提示されることとなり、ユーザの利便性が向上する。
　＜２．データ入力支援処理の具体例＞
　次に、本実施形態に係るデータ入力支援処理について具体的に例を挙げて詳しく説明する。以下では、入力情報がテキストデータである場合及び入力情報が写真データである場合について説明する。
　［２－１．入力情報がテキストデータである場合］
　まず、図３、図４及び図５を参照して、入力情報がテキストデータである場合のデータ入力支援処理について説明する。図３及び図５は、入力コンテキストと関心データとのマッチング処理の一例について説明するための説明図である。図４は、入力情報候補がユーザに提示される際の表示画面の一例について説明する説明図である。
　図３には、関心データＤＢ２１０に記憶されている関心データの一例として、図２を参照して説明した関心データと同じものを示している。すなわち、時刻１：００に行われたミニブログを利用したコメントの投稿時に関心データ「Ｎｅｗ　Ｙｏｒｋ」、「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」及び「Ｊｏｈｎ」が抽出され、時刻２：００に行われた写真ブラウザによる写真の閲覧時に関心データ「Ｎｏｔｔｉｎｇｈａｍ」、「１０／２」及び「Ｎａｎｃｙ」が抽出され、図３に示すように関心データに関する各種の情報と関連付けられて関心データＤＢ２１０に記憶されている。なお、これらの関心データについては、簡単のため、関心データが入力情報として利用された回数（ヒット数）は「０」であるとしている。
　ここで、例えば、ユーザが、メーラー実行中にテキスト入力エリアに文を入力し始めたとする。そして、例えば、時刻３：００に、入力コンテキスト検出部１３４によって、入力コンテキストとして、「「Ｎ」から始まる文字列が入力されようとしていること」が検出されたとする。当該入力コンテキストを受信した関心データマッチング部２２１は、関心データＤＢ２１０に記憶されている関心データと、当該入力コンテキストとのマッチング処理を行う。マッチング処理では、まず、関心データＤＢ２１０に記憶されている関心データの中から、データ形式がテキストデータ（文字列）である関心データが入力コンテキストと適合する関心データとして選択される。更に、それらの関心データの中から、頭文字が「Ｎ」である関心データが、入力コンテキストと適合する関心データであるマッチング候補として選択される。図３に示す例では、これらの条件に適合しない関心データである、「Ｊｏｈｎ」及び「１０／２」がマッチング候補から除外される。図３では、マッチング候補から除外されたことを、取り消し線を引くことで表現している。
　更に、関心データマッチング部２２１は、マッチング処理において、マッチング候補に対して入力情報候補としての優先順位を付けることができる。当該優先順位付けは、例えば、所定の計算式に基づいて算出されるスコア（得点）をマッチング候補に対して付すことによって行われる。本実施形態においては、その関心データが抽出されてから又は入力情報として利用されてからの経過時間が短いほど得点が高く、かつ、関心データが入力情報として利用された回数（ヒット数）が多いほど得点が高くなるように、計算式が設定される。このような計算式は、例えば下記数式（１）で表現される。
　得点＝（関心データ抽出時間又は関心データ利用時刻－入力コンテキスト検出時刻）＋（関心データのヒット数×１０）
　…（１）
　上記数式（１）を用いることにより、ユーザに対して直近に提示された提示情報に対応する関心データほど、また、ユーザが直近に利用した関心データほど、高い得点が付されることとなり、入力情報候補としての優先順位が高くなる。従って、ユーザによって入力情報としてより利用される可能性が高いマッチング候補の優先順位を高くすることができる。
　図３に示す「得点」欄には、上記数式（１）によって算出された得点が記載されている。図３を参照すると、関心データ「Ｎｏｔｔｉｎｇｈａｍ」及び「Ｎａｎｃｙ」が比較的得点が高く、関心データ「Ｎｅｗ　Ｙｏｒｋ」及び「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」が比較的得点が低いことが分かる。なお、図３では、マッチング候補から除外された関心データ「Ｊｏｈｎ」及び「１０／２」については、得点欄の記載を省略している。マッチング候補から除外された関心データについての得点計算は行われてもよいし行われなくてもよい。
　関心データマッチング部２２１は、これらのマッチング処理の結果（マッチング結果）を入力情報候補提示部１３５に送信する。ここで、マッチング結果には、選択された関心データ（すなわち、マッチング候補）及びその得点についての情報が含まれる。図３に示す例であれば、関心データマッチング部２２１は、マッチング結果として関心データ「Ｎｅｗ　Ｙｏｒｋ」、「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」、「Ｎｏｔｔｉｎｇｈａｍ」及び「Ｎａｎｃｙ」と、これらの関心データの得点を入力情報候補提示部１３５に送信する。
　マッチング結果を受信した入力情報候補提示部１３５は、その内容に基づいて、入力情報候補を出力部１２０の表示画面に表示させる。図４は、入力情報候補が表示された表示画面の一例を示している。
　図４には、ユーザによって、メーラー本文のテキスト入力エリアにＮという文字から開始される文字列が入力されようとしている際の表示画面３１０の様子が示されている。具体的には、表示画面３１０上に、ユーザによって入力されたテキストデータである「Ｉ　ｗｅｎｔ　ｔｏ　Ｎ」が表示されている。「Ｎ」に付された下線は、データ入力を行うための入力カーソルが「Ｎ」上に存在しており、「Ｎ」から始まる文字列が入力されようとしていることを示している。また、表示画面３１０の下部には、入力情報候補３２０として、「Ｎｏｔｔｉｎｇｈａｍ」、「Ｎａｎｃｙ」、「Ｎｅｗ　Ｙｏｒｋ」及び「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」がリスト状に表示されている。また、入力情報候補３２０は、関心データマッチング部２２１によって算出された得点が高い方から順に表示されている。
　ユーザは、表示されている入力情報候補３２０の中から、自身が入力したい文字列を選択することにより、当該文字列の入力を行うことができる。また、その際、入力情報候補３２０は得点が高い方から順に表示されているため、ユーザによって入力情報としてより利用される可能性が高い候補がユーザの目につきやすい場所に表示されることとなり、ユーザの利便性が向上される。
　ここで、図４に示す表示画面３１０において、ユーザによって、入力情報として「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」が選択されたとする。すると、表示画面３１０には、「Ｉ　ｗｅｎｔ　ｔｏ　Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」という文字列が表示されるため、文字列「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」が関心データ抽出部１３３によって再び関心データとして抽出されることとなる。また、関心データ抽出部１３３は、文字列「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」を再び関心データとして抽出する際に、関心データに関連する情報として、最新の情報をアプリケーション制御部１３１から取得することができる。上記の例であれば、関心データ「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」の抽出時刻又は利用時刻と、ヒット数とが、図３に示した段階から更新される。図５には、このような、ユーザが入力情報候補の中から「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」を選択した後の関心データＤＢ２１０に記憶されている関心データの一例が図示されている。図５を参照すると、図３と比較して、関心データ「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」の取得時間が「３：００」に更新され、ヒット数が「１」に更新されている。
　ここで、時刻４：００に、再び入力コンテキストとして、メーラー本文のテキスト入力エリアに「Ｎという文字から開始される文字列が入力されようとしていること」が検出されたとする。関心データマッチング部２２１によって、関心データＤＢ２１０に記憶されている関心データと当該入力コンテキストとのマッチング処理が再度行われるが、関心データＤＢ２１０に記憶されている関心データは、例えば図５に示す状態に更新されている。従って、得点の算出結果も図３に示す例とは異なり、図５に示す例では、関心データ「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」の得点が他の関心データの得点よりも高くなる。これは、上記数式（１）が、関心データの取得時刻が直近であるほど得点が高くなるように設定されているからである。従って、マッチング結果に基づいて入力情報候補が再度表示画面に表示される際には、入力情報候補の中で「Ｎｅｗ　Ｙｏｒｋ　Ｃｉｔｙ」が最もユーザの目につきやすい場所に表示されることとなり、ユーザによる入力情報の選択における利便性が向上する。
　［２－２．入力情報が写真データである場合］
　次に、図６、図７、図８及び図９を参照して、入力情報が写真データである場合のデータ入力支援処理について説明する。図６、図７及び図８は、入力コンテキストと関心データとのマッチング処理の一例について説明するための説明図である。図９は、入力情報候補がユーザに提示される際の表示画面の一例について説明する説明図である。なお、図６、図７及び図８に示す例では、入力コンテキストとして、「入力情報のデータ形式が写真データであること」が検出された場合のデータ入力支援処理について説明するため、関心データとしては写真データを図示しており、更に、これらの写真データに係る提示情報に付随する情報として抽出された関心データを当該写真データごとに関連付けて図示している。
　図６には、関心データの一例として、写真ブラウザを利用して写真が閲覧された後の関心データＤＢ２１０に記憶されている関心データが示されている。ここでは、写真ブラウザによって、時刻１：００に写真ＩＤが「ＩＤ－Ａ」である写真が閲覧され、時刻２：００に写真ＩＤが「ＩＤ－Ｂ」である写真が閲覧され、時刻３：００に写真ＩＤが「ＩＤ－Ｃ」である写真が閲覧されたとする。すると、関心データ抽出部１３３は、提示情報であるそれらの写真に含まれる画像データだけでなく、提示情報に付随する情報も同時に抽出する。例えば、写真ＩＤが「ＩＤ－Ａ」である写真であれば、写真のＥｘｉｆ情報から当該写真の撮影場所である「Ｎｅｗ　Ｙｏｒｋ」が、写真のラベルから当該写真に関する人名である「Ｊｏｈｎ」が、関心データとして抽出される。同様に、写真ＩＤが「ＩＤ－Ｂ」である写真であれば、写真のＥｘｉｆ情報から当該写真の撮影場所である「Ｐａｒｉｓ」が、写真のラベルから当該写真に関する人名である「Ｎａｎｃｙ」が、関心データとして抽出される。更に、同様に、写真ＩＤが「ＩＤ－Ｃ」である写真であれば、写真のＥｘｉｆ情報から当該写真の撮影場所である「Ｎｅｗ　Ｙｏｒｋ」が、関心データとして抽出される。また、これらの関心データは、図２に示した例と同様、これらの関心データに関連する情報である、取得時刻、情報源、情報の種類、ヒット数等の情報と関連付けられて関心データＤＢ２１０に記憶される。なお、図６に示す例では、上述したように、関心データとして写真データを図示しており、更に、これらの写真データに係る提示情報に付随する情報として抽出された関心データを当該写真データごとに関連付けて図示しているため、関心データ「Ｎｅｗ　Ｙｏｒｋ」、「Ｊｏｈｎ」、「Ｐａｒｉｓ」、「Ｎａｎｃｙ」が、写真データの写真ＩＤと関連付けられて図示されている。また、これらの関心データについては、簡単のため、現状でのヒット数を「０」としている。
　ここで、４：００に、ユーザがミニブログを利用し、文字列「Ｊｏｈｎ」を含むコメントを投稿したとする。すると、関心データ「Ｊｏｈｎ」の取得時刻が「４：００」に更新され、ヒット数が「１」に更新される。また、図７に示すように、関心データ「Ｊｏｈｎ」と関連付けられている写真データである、写真ＩＤが「ＩＤ－Ａ」の写真データについての取得時刻及びヒット数も、それぞれ、「４：００」及び「１」に更新される。また、図７には、この段階で、入力コンテキストとして「入力情報のデータ形式が写真データであること」が検出された場合の、関心データマッチング部２２１における得点計算の結果についても図示されている。得点の欄を参照すると、ヒット数が「１」である写真ＩＤが「ＩＤ－Ａ」の写真データの得点が、他の写真データの得点よりも高くなっている。
　ここで、更に、５：００に、ユーザがメーラーを利用し、テキスト入力エリアに文字列「Ｎｅｗ　Ｙｏｒｋ」を入力したとする。すると、関心データ「Ｎｅｗ　Ｙｏｒｋ」の取得時刻が「５：００」に更新され、ヒット数が「１」に更新される。また、図８に示すように、関心データ「Ｎｅｗ　Ｙｏｒｋ」と関連付けられている写真データである、写真ＩＤが「ＩＤ－Ａ」、「ＩＤ－Ｃ」の取得時刻が５：００に更新される。また、写真ＩＤが「ＩＤ－Ａ」の写真データのヒット数が「２」に更新され、写真ＩＤが「ＩＤ－Ｃ」の写真データのヒット数が「１」に更新される。本実施形態においては、図６、図７及び図８に示すように、関心データ（図６、図７及び図８では写真データ）に更に他の関心データが関連付けられている場合には、取得時刻やヒット数等の関心データに関連する情報は、これらの関心データによって互いに共有されてよい。
　ここで、図８に示す状態になった直後に、ユーザがメールに添付データとして写真データを添付しようとしたとする。そして、入力コンテキスト検出部１３４によって入力コンテキストとして「入力情報のデータ形式が写真データであること」が検出されたとする。当該入力コンテキストを受信した関心データマッチング部２２１は、関心データＤＢ２１０に記憶されている関心データと、当該入力コンテキストとのマッチング処理を行う。マッチング処理では、関心データＤＢ２１０に記憶されている関心データの中から、データ形式が写真データである関心データが入力コンテキストと適合する関心データとして選択される。図８に示す例であれば、関心データマッチング部２２１は、写真ＩＤが「ＩＤ－Ａ」、「ＩＤ－Ｂ」、「ＩＤ－Ｃ」の写真データをマッチング候補として選択し、上記数式（１）に基づいてこれらの写真データの得点を計算する。そして、関心データマッチング部２２１は、マッチング結果として、写真ＩＤが「ＩＤ－Ａ」、「ＩＤ－Ｂ」、「ＩＤ－Ｃ」の写真データと、これらの写真データの得点を入力情報候補提示部１３５に送信する。
　マッチング結果を受信した入力情報候補提示部１３５は、その内容に基づいて、入力情報候補を出力部１２０の表示画面に表示させる。図９は、入力情報候補が表示された表示画面３１０の一例を示している。
　図９には、ユーザによってメールに添付する写真データが選択される際の表示画面３１０の様子が示されている。具体的には、表示画面３１０上には、入力情報候補として、写真ＩＤが「ＩＤ－Ａ」、「ＩＤ－Ｂ」、「ＩＤ－Ｃ」の写真データのサムネイルがリスト状に表示されている。また、これらの入力情報候補は、関心データマッチング部２２１によって算出された得点が高い方から順に表示されている。図９に示す例であれば、図８に示す得点の算出結果に基づいて、写真ＩＤが「ＩＤ－Ａ」、「ＩＤ－Ｃ」、「ＩＤ－Ｂ」の順に、入力情報候補が表示されている。なお、表示画面３１０には、例えば写真ＩＤが「ＩＤ－Ｄ」の写真データのように、関心データＤＢ２１０には記憶されていないが添付可能な写真データも併せて表示されてもよい。ただし、関心データＤＢ２１０には記憶されていないが添付可能な写真データが併せて表示される場合には、関心データから選択された入力情報候補よりも入力の優先順位が低く扱われてよい。関心データから選択された入力情報候補の方が、よりユーザの興味の対象を示すものであり、入力情報として選択される可能性が高いからである。
　ユーザは、表示画面３１０に表示されている入力情報候補の中から、自身が入力したい写真データを選択することにより、メールへの当該写真データの添付を行うことができる。また、その際、入力情報候補は得点が高い方から順に表示されているため、ユーザによって入力情報としてより利用される可能性が高い候補がユーザの目につきやすい場所に表示されることとなり、ユーザの利便性が向上される。
　以上、図３、図４、図５、図６、図７、図８及び図９を参照して、本実施形態に係るデータ入力支援処理について、具体例を挙げて詳細に説明した。なお、本実施形態に係るデータ入力支援処理は、上記の例に限定されず、関心データ、入力コンテキスト、入力情報としては、他の各種の情報が用いられてよい。例えば、入力コンテキストが「入力情報の種類が人名であること」を含む場合、関心データマッチング部２２１は、関心データＤＢ２１０に記憶されている関心データの中から、「情報の種類」が「人名」である関心データをマッチング候補として選択してもよい。
　以上説明したように、本実施形態においては、互いに異なるアプリケーション間で、互いに異なるデータ形式を有する関心データが抽出され、当該関心データの中から入力情報候補が選択される。従って、互いに異なるアプリケーション間であっても、互いに連携したデータ入力支援処理が実現される。例えば、ミニブログによってコメントを投稿した直後にメーラーでメールを作成して送信する場合を想定する。このように、コメントの投稿とメールの作成とが連続的に行われる場合、コメントの文面とメールの内容とは関連したものである可能性が高い。本実施形態に係るデータ入力支援処理では、文面に人名及び／又は地名等を意味する文字列が入力されたコメントを投稿した直後に、メールを作成して当該メールに写真データを添付しようとした場合、添付する写真データの候補として、コメントの文面に入力した人名及び／又は地名等に関連する写真ほど優先順位が高い状態で表示される。このように、本実施形態においては、互いに異なるアプリケーション間で、横断的に関心データが抽出され、入力情報候補が選択されるため、よりユーザにとって利便性の高いデータ入力支援処理が実現される。
　＜３．データ入力支援方法の処理手順＞
　次に、図１０を参照して、本実施形態に係るデータ入力支援方法の処理手順について説明する。図１０は、本実施形態に係るデータ入力支援方法の処理手順を示すフロー図である。
　図１０を参照すると、まず、更新検出部１３２によって、アプリケーション実行中にユーザに提示される提示情報に更新があったかどうかが検出される（ステップＳ４０１）。更新が検出されなかった場合は、後述するステップＳ４０７に進む。
　一方、更新が検出された場合は、関心データ抽出部１３３によって、更新が検出された提示情報に付随する情報を少なくとも含み、アプリケーション実行中におけるユーザの興味の対象に関する情報である関心データが抽出される（ステップＳ４０３）。なお、関心データは、ユーザの興味の対象に関する情報であればどのような情報であってもよく、関心データ抽出部１３３は、ユーザの興味の対象に関する各種の情報を関心データとして抽出することができる。
　ステップＳ４０３で抽出された関心データは、関心データＤＢ２１０に保存される（ステップＳ４０５）。なお、関心データＤＢ２１０では、関心データは、関心データに関する各種の情報と関連付けて保存されてよい。関心データに関する各種の情報とは、例えば、当該関心データの取得時刻、情報源、情報の種類、ヒット数等であってよい。なお、ステップＳ４０３における関心データの抽出及びステップＳ４０５における関心データの保存は、提示情報が更新される毎に随時行われる。従って、関心データＤＢ２１０に保存される関心データは随時更新され、関心データＤＢ２１０は関心データの履歴を管理してもよい。
　次に、アプリケーション制御部１３１によって、アプリケーション実行中に入力されようとしている入力情報が検出されたかどうかが検出される（ステップＳ４０７）。更新が検出された場合は、入力コンテキスト検出部１３４によって、アプリケーション実行中に入力されようとしている入力情報について、当該アプリケーションによる入力情報の処理状況を表す入力コンテキストが検出される（ステップＳ４０９）。なお、入力コンテキストは、入力情報に関する情報であればどのような情報であってもよく、入力コンテキスト検出部１３４は、入力情報に関する各種の情報を入力コンテキストとして検出することができる。
　入力コンテキストが検出されると、関心データマッチング部２２１によって、関心データＤＢから、検出された入力コンテキストに適合する関心データを選択するマッチング処理が行われる（ステップＳ４１１）。当該マッチング処理では、入力コンテキストに含まれる各種の情報と、関心データ及び関心データに関連する情報とが比較されることにより、入力コンテキストに適合する関心データがマッチング候補として選択される。また。関心データマッチング部２２１は、当該マッチング処理において、各マッチング候補に対して、入力情報候補としての優先順位を決定するための得点を計算してもよい。
　次に、入力情報候補提示部１３５の制御により、検出された入力コンテキストに基づいて、関心データの中から入力情報の候補である入力情報候補が提示される（ステップＳ４１３）。具体的には、ステップＳ４１１におけるマッチング処理の結果に基づいて、入力情報候補提示部１３５の制御により、関心データの中から入力情報候補が提示される。ユーザは、提示された入力情報候補の中から、所望の入力情報を選択することにより、スムーズなデータ入力を行うことができる。
　ユーザによるデータ入力が行われた後は、ステップＳ４０１に戻り、図１０に示す一連の処理が繰り返される。また、ステップＳ４０７で更新が検出されなかった場合にも、ステップＳ４０１に戻り、図１０に示す一連の処理が繰り返される。
　以上、図１０を参照して、本実施形態に係るデータ入力支援方法の処理手順について説明した。なお、図１０に図示したフローは、本実施形態に係るデータ入力支援方法の処理手順の一例であり、各ステップに示す処理は、図１０に示す順番で実行されなくてもよい。例えば、ステップＳ４０１～ステップＳ４０５に示す一連の処理は、それ以外の各ステップにおける処理の間も、随時行われる。つまり、入力コンテキストが検出されている間や、入力情報候補が提示されている間であっても、関心データは随時抽出され、保存されてもよい。入力情報や入力情報候補自体も提示情報であり、関心データが抽出される対象であり得るからである。
　＜４．ハードウェア構成＞
　次に、図１１を参照しながら、本開示の実施形態に係る情報処理装置１０及びサーバ２０のハードウェア構成について、詳細に説明する。図１１は、本開示の実施形態に係る情報処理装置１０及びサーバ２０のハードウェア構成を説明するためのブロック図である。
　情報処理装置１０及びサーバ２０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置１０及びサーバ２０は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、通信装置９２１と、ドライブ９２３と、接続ポート９２５と、を備える。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９又はリムーバブル記録媒体９２９に記録された各種プログラムに従って、情報処理装置１０及びサーバ２０内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。ＣＰＵ９０１、ＲＯＭ９０３及びＲＡＭ９０５は、本実施形態においては、例えば、図１に示す制御部１３０及びサーバ制御部２２０に対応している。
　ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置１０及びサーバ２０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９３１であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置１０及びサーバ２０のユーザは、この入力装置９１５を操作することにより、情報処理装置１０及びサーバ２０に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９１５は、本実施形態においては、例えば、図１に示す入力部１１０に対応している。
　出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置１０及びサーバ２０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１０及びサーバ２０が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９１７は、本実施形態においては、例えば、図１に示す出力部１２０に対応している。
　ストレージ装置９１９は、情報処理装置１０及びサーバ２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、本実施形態においては、例えば、図１に示す関心データＤＢ２１０に対応している。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等、本実施形態に係るデータ入力支援処理において処理される各種の情報を格納する。例えば、ストレージ装置９１９は、関心データ抽出部１３３によって抽出された関心データの履歴を格納する。
　また、図１には明示しなかったが、本実施形態に係る情報処理装置１０及びサーバ２０は、以下の構成部材を更に備えてもよい。
　通信装置９２１は、例えば、通信網（ネットワーク）９２７に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２１は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９２１は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２１は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２１に接続されるネットワーク９２７は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。本実施形態においては、情報処理装置１０とサーバ２０とが、通信装置９２１やネットワーク９２７を介して互いに通信を行うことにより、各種の情報、例えば、関心データや入力コンテキスト、マッチング結果等の情報の送受信を行ってもよい。また、情報処理装置１０が、通信装置９２１を介して、各種のアプリケーションをインストールしたり、当該アプリケーションによって処理される各種の情報の通信を行ったりしてもよい。
　ドライブ９２３は、記録媒体用リーダライタであり、情報処理装置１０及びサーバ２０に内蔵、あるいは外付けされる。ドライブ９２３は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２９に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２３は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２９に記録を書き込むことも可能である。リムーバブル記録媒体９２９は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２９は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ　ｍｅｍｏｒｙ　ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２９は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ　ｃａｒｄ）又は電子機器等であってもよい。本実施形態においては、ドライブ９２３によって、リムーバブル記録媒体９２９に対して、情報処理装置１０にインストールされた各種のアプリケーションによって処理される各種の情報やデータ入力支援処理において処理される各種の情報の書き込み及び読出しが行われてもよい。
　接続ポート９２５は、機器を情報処理装置１０及びサーバ２０に直接接続するためのポートである。接続ポート９２５の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２５の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２５に外部接続機器９３１を接続することで、情報処理装置１０及びサーバ２０は、外部接続機器９３１から直接各種のデータを取得したり、外部接続機器９３１に各種のデータを提供したりする。本実施形態においては、接続ポート９２５によって、外部接続機器９３１に対して、情報処理装置１０にインストールされた各種のアプリケーションによって処理される各種の情報やデータ入力支援処理において処理される各種の情報の送受信が行われてもよい。
　以上、本開示の実施形態に係る情報処理装置１０及びサーバ２０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置１０及びサーバ２０の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
　＜５．まとめ＞
　以上説明したように、本実施形態においては、以下の効果を得ることができる。
　本実施形態においては、更新検出部１３２によって、アプリケーション実行中にユーザに提示される提示情報の更新が検出され、関心データ抽出部１３３によって、更新が検出された提示情報に付随する情報を少なくとも含み、アプリケーション実行中におけるユーザの興味の対象に関する情報である関心データが抽出される。このように、本実施形態においては、提示情報に更新があったことをトリガーとして関心データが抽出されることにより、互いに異なるアプリケーションの間であっても、また互いに異なるデータ形式のデータであっても、ユーザが興味を示しているかどうかという観点から関心データが抽出され、共有される。
　更に、本実施形態においては、入力コンテキスト検出部１３４によって、アプリケーション実行中に入力されようとしている入力情報について、当該アプリケーションによる入力情報の処理状況を表す入力コンテキストが検出され、入力情報候補提示部によって、入力コンテキストに基づいて、関心データの中から入力情報の候補である入力情報候補を提示する制御が行われる。このように、異なるアプリケーション間で共有された関心データから入力情報候補が提示されるため、例えば、あるアプリケーションにおいて抽出された関心データが他のアプリケーションにおける入力情報候補として提示され得る。また、本実施形態においては、関心データとして、提示情報だけでなく、提示情報に付随する情報も抽出されるため、より多くのデータが関心データとして蓄積される。従って、入力情報候補が選択される際の選択肢がより幅広くなり、ユーザにとって利便性のより高いデータ入力支援システムが実現される。
　更に、本実施形態においては、入力コンテキスト検出部１３４によって検出される入力コンテキストは、入力情報のデータ形式や、入力情報の種類等、入力情報に関する各種の情報を含んでもよい。従って、入力コンテキストと関心データとのマッチング処理において、より多くの条件に基づいてマッチング候補を絞り込むことができるため、より入力情報として望ましい関心データが入力情報候補してユーザに提示されることとなり、ユーザの利便性が向上する。
　更に、本実施形態においては、上述したように、互いに異なるアプリケーション間で、互いに異なるデータ形式を有する関心データが抽出され、当該関心データの中から入力情報候補が選択される。従って、互いに異なるアプリケーション間であっても、互いに連携したデータ入力支援処理が実現される。例えば、ミニブログによってコメントを投稿した直後にメーラーでメールを作成して送信する場合を想定する。このように、コメントの投稿とメールの作成とが連続的に行われる場合、コメントの文面とメールの内容とは関連したものである可能性が高い。本実施形態に係るデータ入力支援処理では、文面に人名及び／又は地名等を意味する文字列が入力されたコメントを投稿した直後に、メールを作成して当該メールに写真データを添付しようとした場合、添付する写真データの候補として、コメントの文面に入力した人名及び／又は地名等に関連する写真ほど優先順位が高い状態で表示される。このように、本実施形態においては、互いに異なるアプリケーション間で、横断的に関心データが抽出され、入力情報候補が選択されるため、よりユーザにとって利便性の高いデータ入力支援処理が実現される。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記では、マッチング処理における入力情報候補としての優先順位を決定するための得点の算出に、取得時刻及びヒット数が用いられる実施形態について説明したが、本実施形態はかかる例に限定されない。得点の算出には他の要素が加味された数式が用いられてもよい。また、得点の算出には、入力コンテキストが検出された際に実行されていたアプリケーション（すなわち、入力情報が入力されようとしているアプリケーション）の種類に応じて、異なる数式が用いられてもよい。アプリケーションごとに異なる数式が用いられる場合には、アプリケーションの特性を考慮した数式がそれぞれ設定されてよい。
　また、例えば、本実施形態に係る関心データＤＢ２１０は、関心データを統計的に管理してもよく、その統計値を利用してマッチング処理が行われてもよい。例えば、ユーザがミニブログを利用してコメントを投稿する場合であれば、ユーザがコメントを投稿する位置（ＧＰＳ）や、取得時刻等の情報を統計的に管理することにより、ユーザがある特定の時刻や場所において投稿するコメントに頻繁に表れる文字列を特定することができる。また、例えば、ユーザがメーラーを利用してメールを作成、送信する場合であれば、ユーザがメールを送信する相手についての情報を関心データに関する各種の情報として抽出し、統計的に管理することにより、ユーザがある特定の相手に送信するコメントに頻繁に表れる文字列を特定することができる。関心データマッチング部２２１は、マッチング処理においてこのような文字列が高得点となるように、得点の算出処理を行ってもよい。
　また、上記では、提示情報が出力部１２０の表示画面に視覚的に表示されるデータである実施形態について説明したが、本実施形態はかかる例に限定されない。例えば、提示情報は、出力部１２０の音声出力装置から出力され、ユーザに対して聴覚的に提示される音声データであってもよい。例えば、提示情報が楽曲に関するデータである場合、関心データは、提示情報に付随する情報として、例えばその楽曲の歌手や、作曲家、作詞家、その楽曲のジャンル、発表された年月日（時代）等の情報を含んでもよい。また、その場合、例えば、入力コンテキストは、メディアプレイヤーで再生する楽曲データが入力されようとしている旨の情報であってよく、上記の関心データとのマッチング処理により、入力情報候補がユーザに対して提示されてもよい。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）アプリケーション実行中にユーザに提示される提示情報の更新を検出する更新検出部と、更新が検出された前記提示情報に付随する情報を少なくとも含み、前記アプリケーション実行中におけるユーザの興味の対象に関する情報である関心データを抽出する関心データ抽出部と、アプリケーション実行中に入力されようとしている入力情報について、当該アプリケーションによる前記入力情報の処理状況を表す入力コンテキストを検出する入力コンテキスト検出部と、前記入力コンテキストに基づいて、前記関心データの中から前記入力情報の候補である入力情報候補を提示する制御を行う入力情報候補提示部と、を備える、情報処理装置。
（２）抽出された前記関心データの履歴が保存された関心データＤＢから、前記入力コンテキストに適合する前記関心データを選択するマッチング処理を行う関心データマッチング部、を更に備え、前記入力情報候補提示部は、前記マッチング処理の結果に基づいて、前記入力情報候補を提示させる、前記（１）に記載の情報処理装置。
（３）前記関心データの履歴には、前記関心データが抽出された最新の時刻と、前記関心データが前記入力情報として使用された最新の時刻と、前記関心データが前記入力情報として使用された回数と、の少なくともいずれかの情報が含まれる、前記（２）に記載の情報処理装置。
（４）前記関心データマッチング部は、選択する前記入力情報候補の各々について、入力情報候補を提示する際の優先順位を決定するための得点を算出する、前記（２）又は（３）に記載の情報処理装置。
（５）前記関心データマッチング部は、前記関心データが前記入力情報として使用された回数が多いほど、当該関心データの前記得点を高く算出する、前記（４）に記載の情報処理装置。
（６）前記関心データマッチング部は、前記関心データが前記入力情報として使用された最新の時刻が、前記入力コンテキストが検出された時刻に近いほど、当該関心データの前記得点を高く算出する、前記（４）又は（５）に記載の情報処理装置。
（７）前記関心データマッチング部は、前記関心データが抽出された最新の時刻が、前記入力コンテキストが検出された時刻に近いほど、当該関心データの前記得点を高く算出する、前記（４）～（６）のいずれか１項に記載の情報処理装置。
（８）前記入力情報候補提示部は、前記得点に基づく前記優先順位の順番で、前記入力情報候補を提示させる、前記（４）～（７）のいずれか１項に記載の情報処理装置。
（９）前記提示情報に付随する情報は、前記提示情報に関連付けられたメタデータを含む、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）前記提示情報に付随する情報は、前記提示情報が提示されたアプリケーションにおける当該提示情報の処理状況に関する情報を含む、前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１１）前記関心データは、前記提示情報を含む、前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）前記入力コンテキストは、前記入力情報のデータ形式に関する情報を含む、前記（１）～（１１）のいずれか１項に記載の情報処理装置。
（１３）前記入力コンテキストは、前記入力情報の情報の種類に関する情報を含む、前記（１）～（１２）のいずれか１項に記載の情報処理装置。
（１４）前記関心データは、テキストデータの入力機能を有するアプリケーション実行中に提示された文字列を含む、前記（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）前記関心データは、写真の閲覧機能を有するアプリケーション実行中に提示された写真に付随する情報である、前記写真が撮影された場所と、前記写真が撮影された日時と、前記写真のラベルに含まれる任意の単語又は単語群を表す文字列と、の少なくともいずれかの情報を含む、前記（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）前記入力コンテキストは、テキストデータの入力機能を有するアプリケーション実行中に検出された、所定の頭文字から始まる単語が入力されようとしている旨の情報を含む、前記（１）～（１５）のいずれか１項に記載の情報処理装置。
（１７）前記入力コンテキストは、写真データの入力機能を有するアプリケーション実行中に検出された、写真データを入力しようとしている旨の情報を含む、前記（１）～（１６）のいずれか１項に記載の情報処理装置。
（１８）アプリケーション実行中にユーザに提示される提示情報の更新を検出することと、更新が検出された前記提示情報に付随する情報を少なくとも含み、前記アプリケーション実行中におけるユーザの興味の対象に関する情報である関心データを抽出することと、アプリケーション実行中に入力されようとしている入力情報について、当該アプリケーションによる前記入力情報の処理状況を表す入力コンテキストを検出することと、前記入力コンテキストに基づいて、前記関心データの中から前記入力情報の候補である入力情報候補を提示する制御を行うことと、を含む、データ入力支援方法。
（１９）コンピュータに、アプリケーション実行中にユーザに提示される提示情報の更新を検出する機能と、更新が検出された前記提示情報に付随する情報を少なくとも含み、前記アプリケーション実行中におけるユーザの興味の対象に関する情報である関心データを抽出する機能と、アプリケーション実行中に入力されようとしている入力情報について、当該アプリケーションによる前記入力情報の処理状況を表す入力コンテキストを検出する機能と、前記入力コンテキストに基づいて、前記関心データの中から前記入力情報の候補である入力情報候補を提示する制御を行う機能と、を実現させるためのプログラム。
　１　　データ入力支援システム
　１０　　情報処理装置
　２０　　サーバ
　１１０　　入力部
　１２０　　出力部
　１３０　　制御部
　１３１　　アプリケーション制御部
　１３２　　更新検出部
　１３３　　関心データ抽出部
　１３４　　入力コンテキスト検出部
　１３５　　入力情報候補提示部
　２１０　　関心データＤＢ
　２２０　　サーバ制御部
　２２１　　関心データマッチング部

Claims (19)

  1. 　アプリケーション実行中にユーザに提示される提示情報の更新を検出する更新検出部と、
    　更新が検出された前記提示情報に付随する情報を少なくとも含み、前記アプリケーション実行中におけるユーザの興味の対象に関する情報である関心データを抽出する関心データ抽出部と、
    　アプリケーション実行中に入力されようとしている入力情報について、当該アプリケーションによる前記入力情報の処理状況を表す入力コンテキストを検出する入力コンテキスト検出部と、
    　前記入力コンテキストに基づいて、前記関心データの中から前記入力情報の候補である入力情報候補を提示する制御を行う入力情報候補提示部と、
    　を備える、情報処理装置。
  2. 　抽出された前記関心データの履歴が保存された関心データＤＢから、前記入力コンテキストに適合する前記関心データを選択するマッチング処理を行う関心データマッチング部、
    　を更に備え、
    　前記入力情報候補提示部は、前記マッチング処理の結果に基づいて、前記入力情報候補を提示させる、
    　請求項１に記載の情報処理装置。
  3. 　前記関心データの履歴には、前記関心データが抽出された最新の時刻と、前記関心データが前記入力情報として使用された最新の時刻と、前記関心データが前記入力情報として使用された回数と、の少なくともいずれかの情報が含まれる、
    　請求項２に記載の情報処理装置。
  4. 　前記関心データマッチング部は、選択する前記入力情報候補の各々について、入力情報候補を提示する際の優先順位を決定するための得点を算出する、
    　請求項２に記載の情報処理装置。
  5. 　前記関心データマッチング部は、前記関心データが前記入力情報として使用された回数が多いほど、当該関心データの前記得点を高く算出する、
    　請求項４に記載の情報処理装置。
  6. 　前記関心データマッチング部は、前記関心データが前記入力情報として使用された最新の時刻が、前記入力コンテキストが検出された時刻に近いほど、当該関心データの前記得点を高く算出する、
    　請求項４に記載の情報処理装置。
  7. 　前記関心データマッチング部は、前記関心データが抽出された最新の時刻が、前記入力コンテキストが検出された時刻に近いほど、当該関心データの前記得点を高く算出する、
    　請求項４に記載の情報処理装置。
  8. 　前記入力情報候補提示部は、前記得点に基づく前記優先順位の順番で、前記入力情報候補を提示させる、
    　請求項４に記載の情報処理装置。
  9. 　前記提示情報に付随する情報は、前記提示情報に関連付けられたメタデータを含む、
    　請求項１に記載の情報処理装置。
  10. 　前記提示情報に付随する情報は、前記提示情報が提示されたアプリケーションにおける当該提示情報の処理状況に関する情報を含む、
    　請求項１に記載の情報処理装置。
  11. 　前記関心データは、前記提示情報を含む、
    　請求項１に記載の情報処理装置。
  12. 　前記入力コンテキストは、前記入力情報のデータ形式に関する情報を含む、
    　請求項１に記載の情報処理装置。
  13. 　前記入力コンテキストは、前記入力情報の情報の種類に関する情報を含む、
    　請求項１に記載の情報処理装置。
  14. 　前記関心データは、テキストデータの入力機能を有するアプリケーション実行中に提示された文字列を含む、
    　請求項１に記載の情報処理装置。
  15. 　前記関心データは、写真の閲覧機能を有するアプリケーション実行中に提示された写真に付随する情報である、前記写真が撮影された場所と、前記写真が撮影された日時と、前記写真のラベルに含まれる任意の単語又は単語群を表す文字列と、の少なくともいずれかの情報を含む、
    　請求項１に記載の情報処理装置。
  16. 　前記入力コンテキストは、テキストデータの入力機能を有するアプリケーション実行中に検出された、所定の頭文字から始まる単語が入力されようとしている旨の情報を含む、
    　請求項１に記載の情報処理装置。
  17. 　前記入力コンテキストは、写真データの入力機能を有するアプリケーション実行中に検出された、写真データを入力しようとしている旨の情報を含む、
    　請求項１に記載の情報処理装置。
  18. 　アプリケーション実行中にユーザに提示される提示情報の更新を検出することと、
    　更新が検出された前記提示情報に付随する情報を少なくとも含み、前記アプリケーション実行中におけるユーザの興味の対象に関する情報である関心データを抽出することと、
    　アプリケーション実行中に入力されようとしている入力情報について、当該アプリケーションによる前記入力情報の処理状況を表す入力コンテキストを検出することと、
    　前記入力コンテキストに基づいて、前記関心データの中から前記入力情報の候補である入力情報候補を提示する制御を行うことと、
    　を含む、データ入力支援方法。
  19. 　コンピュータに、
    　アプリケーション実行中にユーザに提示される提示情報の更新を検出する機能と、
    　更新が検出された前記提示情報に付随する情報を少なくとも含み、前記アプリケーション実行中におけるユーザの興味の対象に関する情報である関心データを抽出する機能と、
    　アプリケーション実行中に入力されようとしている入力情報について、当該アプリケーションによる前記入力情報の処理状況を表す入力コンテキストを検出する機能と、
    　前記入力コンテキストに基づいて、前記関心データの中から前記入力情報の候補である入力情報候補を提示する制御を行う機能と、
    　を実現させるためのプログラム。
PCT/JP2014/050826 2013-04-04 2014-01-17 情報処理装置、データ入力支援方法及びプログラム WO2014162756A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/779,081 US9940316B2 (en) 2013-04-04 2014-01-17 Determining user interest data from different types of inputted context during execution of an application
CN201480018470.9A CN105051734B (zh) 2013-04-04 2014-01-17 信息处理设备、数据输入辅助方法以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-078462 2013-04-04
JP2013078462 2013-04-04

Publications (1)

Publication Number Publication Date
WO2014162756A1 true WO2014162756A1 (ja) 2014-10-09

Family

ID=51658063

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/050826 WO2014162756A1 (ja) 2013-04-04 2014-01-17 情報処理装置、データ入力支援方法及びプログラム

Country Status (3)

Country Link
US (1) US9940316B2 (ja)
CN (1) CN105051734B (ja)
WO (1) WO2014162756A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11520412B2 (en) * 2017-03-06 2022-12-06 Microsoft Technology Licensing, Llc Data input system/example generator
WO2019138651A1 (ja) * 2018-01-10 2019-07-18 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN111984132B (zh) * 2020-07-07 2021-07-27 北京语言大学 一种根据上下文环境进行信息输入的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292394A (ja) * 2000-02-21 2001-10-19 Hewlett Packard Co <Hp> 画像記録の組を強化する方法
WO2008152765A1 (ja) * 2007-06-11 2008-12-18 Mitsubishi Electric Corporation ナビゲーション装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805911A (en) * 1995-02-01 1998-09-08 Microsoft Corporation Word prediction system
JP4066507B2 (ja) 1998-05-11 2008-03-26 日本電信電話株式会社 日本語文字認識誤り訂正方法及び装置、並びに、誤り訂正プログラムを記録した記録媒体
US7584120B1 (en) * 1999-04-07 2009-09-01 Cbs Interactive Inc. Method and apparatus for defining data of interest
JP3923803B2 (ja) * 2002-01-11 2007-06-06 富士通株式会社 入力予測処理プログラム
US7660779B2 (en) * 2004-05-12 2010-02-09 Microsoft Corporation Intelligent autofill
US7647312B2 (en) * 2005-05-12 2010-01-12 Microsoft Corporation System and method for automatic generation of suggested inline search terms
US20080126075A1 (en) * 2006-11-27 2008-05-29 Sony Ericsson Mobile Communications Ab Input prediction
FR2910143B1 (fr) * 2006-12-19 2009-04-03 Eastman Kodak Co Procede pour predire automatiquement des mots dans un texte associe a un message multimedia
US8078978B2 (en) * 2007-10-19 2011-12-13 Google Inc. Method and system for predicting text
JP5386806B2 (ja) * 2007-08-17 2014-01-15 富士通株式会社 情報処理方法、情報処理装置、および、情報処理プログラム
US8504488B2 (en) * 2008-04-30 2013-08-06 Cisco Technology, Inc. Network data mining to determine user interest
US8677236B2 (en) * 2008-12-19 2014-03-18 Microsoft Corporation Contact-specific and location-aware lexicon prediction
US8504437B1 (en) * 2009-11-04 2013-08-06 Google Inc. Dynamically selecting and presenting content relevant to user input
US9129012B2 (en) * 2010-02-03 2015-09-08 Google Inc. Information search system with real-time feedback
US8782556B2 (en) * 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
WO2012008167A1 (ja) * 2010-07-13 2012-01-19 オムロン株式会社 文字入力における候補の表示方法
JP5553037B2 (ja) 2011-01-26 2014-07-16 富士ゼロックス株式会社 文章入力支援システム、文章入力支援装置、参照情報作成装置及びプログラム
US9244905B2 (en) * 2012-12-06 2016-01-26 Microsoft Technology Licensing, Llc Communication context based predictive-text suggestion
US9578461B2 (en) * 2012-12-17 2017-02-21 Microsoft Technology Licensing, Llc Location context, supplemental information, and suggestions for meeting locations
US9235626B2 (en) * 2013-03-13 2016-01-12 Google Inc. Automatic generation of snippets based on context and user interest
JP6029195B2 (ja) * 2013-03-18 2016-11-24 Ｎｅｃソリューションイノベータ株式会社 入力支援システム、入力支援方法および入力支援プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292394A (ja) * 2000-02-21 2001-10-19 Hewlett Packard Co <Hp> 画像記録の組を強化する方法
WO2008152765A1 (ja) * 2007-06-11 2008-12-18 Mitsubishi Electric Corporation ナビゲーション装置

Also Published As

Publication number Publication date
CN105051734B (zh) 2019-06-11
US20160048489A1 (en) 2016-02-18
CN105051734A (zh) 2015-11-11
US9940316B2 (en) 2018-04-10

Similar Documents

Publication Publication Date Title
US11256865B2 (en) Method and apparatus for sending sticker image during chat session
US11243996B2 (en) Digital asset search user interface
US8515984B2 (en) Extensible search term suggestion engine
CN110457504B (zh) 数字资产搜索技术
JP5799621B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9465802B2 (en) Content storage processing system, content storage processing method, and semiconductor integrated circuit
WO2019144850A1 (zh) 一种基于视频内容的视频搜索方法和视频搜索装置
US20140108541A1 (en) Terminal apparatus, terminal control method, information processing apparatus, information processing method, and program
US20160179899A1 (en) Method of providing content and electronic apparatus performing the method
JP2011076566A (ja) 情報処理装置、端末装置、サーバ装置、通信システム、表示制御方法、プログラム、およびコンピュータ読取り可能な記録媒体
US20140278961A1 (en) Information processing device and program
EP4254222A2 (en) Visual menu
JP5779492B2 (ja) 入力補助装置、入力補助システムおよび入力補助方法
WO2014162756A1 (ja) 情報処理装置、データ入力支援方法及びプログラム
US20130263276A1 (en) Information processing apparatus, information processing method, information processing system, and program
CN108009251A (zh) 一种图像文件搜索方法及装置
CN114297143A (zh) 一种搜索文件的方法、显示文件的方法、装置及移动终端
CN113407775B (zh) 视频搜索方法、装置及电子设备
WO2015000433A1 (zh) 一种多媒体查找方法、终端、服务器及系统
JP2014146248A (ja) 表示制御装置、表示制御方法およびプログラム
JP5102883B2 (ja) ユーザ発言抽出装置とその方法と、プログラム
WO2017071241A1 (zh) 通信录中联系人的信息处理方法、装置和移动终端
JP4331177B2 (ja) 情報検索システム、情報検索方法及び情報検索プログラム
CN110929122B (zh) 一种数据处理方法、装置和用于数据处理的装置
JP2011170743A (ja) 通信装置、コンテンツ検索方法およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480018470.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14778969

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14779081

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14778969

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP