WO2017179258A1 - 情報処理装置、及び情報処理方法 - Google Patents

情報処理装置、及び情報処理方法 Download PDF

Info

Publication number
WO2017179258A1
WO2017179258A1 PCT/JP2017/001903 JP2017001903W WO2017179258A1 WO 2017179258 A1 WO2017179258 A1 WO 2017179258A1 JP 2017001903 W JP2017001903 W JP 2017001903W WO 2017179258 A1 WO2017179258 A1 WO 2017179258A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
display size
information processing
class
processing apparatus
Prior art date
Application number
PCT/JP2017/001903
Other languages
English (en)
French (fr)
Inventor
愉希夫 大渕
井手　直紀
啓 福井
由幸 小林
慎吾 高松
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17782077.6A priority Critical patent/EP3444731A4/en
Priority to JP2018511887A priority patent/JP6977715B2/ja
Priority to US16/081,235 priority patent/US10891765B2/en
Publication of WO2017179258A1 publication Critical patent/WO2017179258A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Definitions

  • the present disclosure relates to an information processing apparatus and an information processing method.
  • supervised learning performs learning based on teacher data (a combination of data and a label labeled with the data).
  • teacher data a combination of data and a label labeled with the data.
  • the cost for labeling may increase. .
  • Patent Document 1 does not label all input image data, but performs age estimation using image data labeled only for some representative data.
  • a technique for reducing the cost associated with labeling is disclosed.
  • An information processing apparatus based on the distance between the position of the data arranged based on the likelihood vector obtained by recognition of data based on learning of the label corresponding to the class and the position of the class to which the data belongs, includes a display size determination unit that determines a display size of the data, and a communication control unit that transmits the display size.
  • an input unit that accepts a change of a display target, and an arrangement based on a likelihood vector obtained by recognition of data based on learning of a label corresponding to a class in response to the change of the display target
  • an information processing apparatus comprising: a display size determining unit that determines a display size of the data based on a distance between the position of the data to be processed and a position of a class to which the data belongs.
  • a processor determines a display size of the data based on a distance between the position of the data and the position of the class to which the data belongs.
  • FIG. 1 is an explanatory diagram for describing a configuration example of an information processing system 1000 according to an embodiment of the present disclosure.
  • the information processing system 1000 according to the present embodiment is an information processing system for labeling data learned in machine learning.
  • the data according to the present disclosure is not particularly limited, and may be, for example, image data, audio data, text data, and the like.
  • the data that is learned and recognized in the present embodiment is image data.
  • the present embodiment class that the image data belongs to the image data for learning (for example, the type of object included in the image data). ) Will be described.
  • an information processing system 1000 includes a client terminal 1, a server 2, and a communication network 5.
  • a client terminal 1 includes a client terminal 1 and a server 2 included in the information processing system 1000 according to the present embodiment.
  • the client terminal 1 is an information processing apparatus used for a user who performs labeling.
  • the user performs labeling by giving a label to the learning image data displayed on the client terminal 1.
  • the label information (label information) given by the user is provided to the server 2 via the communication network 5.
  • the image data for learning displayed by the client terminal 1 may be provided from the server 2 to the client terminal 1 via the communication network 5.
  • the client terminal 1 receives from the server 2 the graph information for visualizing the recognition result and the display size of the image data, and performs display processing based on the graph information and the display size.
  • the server 2 receives from the server 2 the graph information for visualizing the recognition result and the display size of the image data, and performs display processing based on the graph information and the display size.
  • the server 2 is an information processing apparatus that learns labeled image data and recognizes image data.
  • the labeled image data is so-called teacher data, and is obtained by associating the label information received from the client terminal 1 via the communication network 5 with the image data.
  • the server 2 performs graph generation for display by the client terminal 1 and visualization of the recognition result, and determination of the display size of each image data based on the recognition result, and displays the graph information and the display size in the client terminal 1. Send to.
  • a configuration example of the server 2 will be described later with reference to FIG.
  • the communication network 5 is a wired or wireless transmission path for information transmitted from a device or system connected to the communication network 5.
  • the communication network 5 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs including Ethernet (Registered Trademark), a WAN (Wide Area Network), and the like.
  • the communication network 5 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the control unit 10 controls each configuration of the client terminal 1.
  • the control unit 10 also functions as a communication control unit 101, a display control unit 103, and a label control unit 105, as shown in FIG.
  • the communication control unit 101 controls communication by the communication unit 12.
  • the communication control unit 101 controls the communication unit 12 to receive image data, graph information, a display size, and the like from the server 2.
  • the communication control unit 101 controls the communication unit 12 to cause the server 2 to transmit label information.
  • the label information may be generated by a label control unit 105, which will be described later, based on a user input, for example.
  • the display control unit 103 controls display by the display unit 14 (performs processing related to display). For example, the display control unit 103 causes the display unit 14 to display image data received from the server 2. Further, the display control unit 103 may cause the display unit 14 to display the image data based on the graph information received from the server 2 and the display size.
  • the label control unit 105 generates label information (label information) based on user input.
  • the label information generated by the label control unit 105 may include a label and information that associates the label with the image data (for example, identification information of the image data).
  • the label control unit 105 may generate the label information by associating the image data displayed on the display unit 14 with the user input obtained via the operation unit 16.
  • the label information generated by the label control unit 105 is transmitted to the server 2 by communication control of the communication control unit 101.
  • the communication unit 12 (reception unit) is a communication interface that mediates communication with other devices.
  • the communication unit 12 supports an arbitrary wireless communication protocol or wired communication protocol, and establishes a communication connection with another device via, for example, the communication network 5 shown in FIG. Thereby, for example, the client terminal 1 can transmit label information to the server 2 connected to the communication network 5 and can receive graph information and display size from the server 2.
  • the display unit 14 is a display that displays various screens under the control of the display control unit 103.
  • the display unit 14 may display a plurality of image data or a label input screen.
  • the display unit 14 may be realized in various forms according to the form of the client terminal 1.
  • the operation unit 16 receives a user input and provides it to the control unit 10. For example, the user may select the image data to be labeled by operating the operation unit 16. Note that the user may select one or more image data to be labeled. Further, the user may operate the operation unit 16 and input a label to be given to the image data. In addition, the user may operate the operation unit 16 to input a change in display target (for example, enlargement, movement, rotation, etc. of the display target range).
  • the operation unit 16 may be realized by, for example, a mouse, a keyboard, a touch panel, a button, a switch, a line-of-sight input device, a gesture input device, a voice input device, or the like.
  • FIG. 2 is an explanatory diagram for explaining a configuration example of the server 2 according to the present embodiment.
  • the server 2 is an information processing apparatus that includes a control unit 20, a communication unit 22, and a storage unit 24.
  • the control unit 20 controls each component of the server 2. Further, as illustrated in FIG. 2, the control unit 20 also functions as a communication control unit 201, a learning unit 202, a recognition unit 203, an arrangement control unit 204, and a display size determination unit 205.
  • the communication control unit 201 controls communication by the communication unit 22.
  • the communication control unit 201 controls the communication unit 22 to receive label information from the client terminal 1.
  • the communication control unit 201 controls the communication unit 22 to transmit image data, graph information, display size, and the like.
  • the learning unit 202 performs learning based on the labeled image data in which the label information received from the client terminal 1 is associated with the image data.
  • the learning method by the learning unit 202 is not particularly limited, but may be a method based on a machine learning algorithm such as a neural network, a decision tree, or SVM (Support Vector Machine).
  • a classifier that classifies image data into one of a plurality of classes is constructed.
  • the recognition unit 203 specifies a likelihood vector including a likelihood indicating how much each image data is likely to belong to each class, and based on the likelihood vector, each image data is You may classify into classes. For example, the recognition unit 203 may classify the image data into a class corresponding to the highest likelihood in the likelihood vector related to the image data. Further, the recognition unit 203 classifies the image data into a class corresponding to the highest likelihood when the highest likelihood value in the likelihood vector related to the image data is equal to or greater than a predetermined threshold. Also good.
  • image data classified into a class may be referred to as image data belonging to the class.
  • the arrangement control unit 204 arranges the image data based on the likelihood vector in the recognition of the image data by the recognition unit 203. For example, the arrangement control unit 204 may arrange each image data by generating a graph that visualizes the recognition result based on the recognition result by the recognition unit 203.
  • the method of generating a graph by the placement control unit 204 is not particularly limited, but for example, the graph generated by the placement control unit 204 may be a graph based on a dynamic model (force-based graph). In such a case, the arrangement control unit 204 generates a graph by assigning forces (forces) to the vertices and sides of the graph and specifying a stable state with low mechanical energy.
  • the graph generation by the placement control unit 204 will be described as an example where the placement control unit 204 generates a graph based on the dynamic model.
  • the arrangement control unit 204 may set sides between classes and assign a force based on the similarity between classes to the sides between classes. For example, the force assigned to the side between classes may be set to increase as the degree of similarity between classes increases. With such a configuration, similar classes are easily arranged at close positions, and image data belonging to the classes are also easily arranged at close positions.
  • the similarity between classes may be specified based on the likelihood vector of image data belonging to each class, for example.
  • the average value of the likelihood corresponding to the second class or in the likelihood vector of the image data classified into the second class
  • the similarity between the first class and the second class may be specified based on an average value of likelihood corresponding to one class.
  • the display size determination unit 205 determines the display size of the image data based on the distance between the position of the image data arranged by the arrangement control unit 204 and the position of the class to which the image data belongs. For example, the display size determination unit 205 may determine the display size such that the display size of the image data increases as the distance increases. With such a configuration, image data with a low likelihood and a high possibility of being misrecognized has a larger display size, and the user can more easily find data for which a correct label is desired.
  • the display size determination unit 205 may determine the display size based further on the class radius described above. For example, the display size may be determined such that the display size increases as the ratio of the distance to the class radius increases. According to such a configuration, the display size is normalized by the class radius. For example, even if the image data belongs to a class having a small class radius, image data that is likely to be erroneously recognized is displayed large.
  • the display size determination unit 205 makes the display size larger than the other image data when the distance related to the image data or the ratio of the distance to the class radius is larger than a predetermined threshold.
  • the display size may be determined.
  • the image data of the outer edge of the cloud (circle indicating the class range) is displayed large, and the other image data is displayed small.
  • the communication unit 22 is a communication interface that mediates communication with other devices.
  • the communication unit 22 supports an arbitrary wireless communication protocol or wired communication protocol, and establishes a communication connection with another device via, for example, the communication network 5 illustrated in FIG.
  • the server 2 can receive the label information from the client terminal 1 connected to the communication network 5, and can transmit the graph information and the display size to the client terminal 1.
  • the storage unit 24 stores a program and parameters for each component of the server 2 to function.
  • the storage unit 24 stores learning image data and label information received from the client terminal 1.
  • Example of operation The configuration example of the information processing system 1000 according to the present embodiment has been described above. Subsequently, an operation example of the information processing system 1000 according to the present embodiment will be described with reference to FIGS. In the following, first, the processing flow of the information processing system 1000 will be described with reference to FIG. 3, and examples of screen transitions displayed on the client terminal 1 in this embodiment will be described with reference to FIGS.
  • FIG. 3 is a sequence diagram showing a processing flow of the information processing system 1000 according to the present embodiment.
  • image data for learning is transmitted from the server 2 to the client terminal 1 (S100). Subsequently, the client terminal 1 displays image data (S102). In step S102, since no label is given to the image data and the server 2 does not recognize the image data, for example, the image data are all displayed at random positions with the same display size. May be.
  • step S104 image data to be labeled is selected (S104).
  • step S106 a label is attached to the image data selected in step S104 (S106).
  • labeling may be performed by the user inputting a label, or labeling may be performed by the user selecting a label from among labels prepared in advance or already input by the user. It may be done.
  • step S104 and step S106 a plurality of image data may be selected and labeled, or steps S104 and S106 are repeated to label a plurality of labels. Also good.
  • the label information obtained by labeling in step S106 is transmitted from the client terminal 1 to the server 2 (S108).
  • the learning unit 202 of the server 2 that has received the label information performs learning using the labeled image data (S110).
  • the recognition unit 203 of the server 2 identifies a likelihood vector related to the image data based on the learning result of step S110, and recognizes (classifies) the image data based on the likelihood vector (S112).
  • the arrangement control unit 204 of the server 2 arranges the class and the image data by generating a graph based on the likelihood vector (S114). Based on the arranged class and the position of the image data, the display size determining unit 205 of the server 2 determines the display size (S116).
  • the graph information (graph information) generated in step S114 and the display size determined in step S116 are transmitted from the server 2 to the client terminal 1 (S118).
  • the process is finished.
  • the server 2 is notified that the labeling is completed, and the label corresponding to the class to which each image data currently belongs may be labeled as the label of the image data.
  • step S122 If it is selected in step S122 that labeling has not ended (NO in S122), the user operates the client terminal 1 to select a cloud that includes image data that the user wants to label. (S124).
  • the display control unit 103 of the client terminal 1 changes the display size of the image data included in the selected cloud to the display size received from the server 2 in step S118 (S126). Subsequently, the process returns to step S104 and is repeated until it is selected by the user that labeling has been completed.
  • FIGS. 4 to 10 are explanatory diagrams illustrating screen examples displayed on the display unit 14 by the display control unit 103 of the client terminal 1 according to the present embodiment. In the following description, the processing steps shown in FIG. 3 are referred to as appropriate.
  • the image data D120 is selected in step S104 of FIG. 3, the image data D120 is enlarged and can be labeled as shown in the screen G200 shown in FIG.
  • the user can easily perform labeling while checking details of the image data D120.
  • the display is updated as shown in a screen G300 shown in FIG. 6 in step S120 of FIG.
  • the cloud C10 corresponding to the class Car is displayed, and the image data D102, D104, D112, D114, D120, D122, D124, and D126 belonging to the class Car are displayed in the cloud C10. .
  • image data having a low likelihood related to the class Car corresponding to the cloud C10 and having a high possibility of being erroneously recognized is easily displayed at a position far from the center position of the cloud C10 (the position of the class Car).
  • the display size of the image data is changed as shown in a screen G400 shown in FIG. 7 in step S126 of FIG.
  • the image data D104, D114, D122, and D126 arranged at positions far from the center position (class Car position) C12 of the cloud C10 are larger in display size than the other image data. It is displayed.
  • the image data D126 is enlarged and can be labeled as shown in the screen G500 in FIG.
  • step S120 in FIG. 3 the display is updated as shown in a screen G600 shown in FIG.
  • a cloud C10 corresponding to the class Car and a cloud C20 corresponding to the class Plane are displayed.
  • image data D102, D112, D120, and D124 belonging to the class Car are displayed in the cloud C10
  • image data D104, D114, D122, and D126 belonging to the class Plane are displayed in the cloud C20, respectively. Is done.
  • image data that has a low likelihood related to the class corresponding to each cloud and is likely to be misrecognized is likely to be displayed at a position far from the center position of each cloud.
  • step S122 of FIG. 3 the user confirms the screen G600 and selects that labeling has been completed.
  • the display size of each image data may be changed to the display size received from the server 2.
  • a range in the screen may be selected instead of the cloud, and the display size of the image data included in the selected range may be changed to the display size received from the server 2.
  • image data may be selected instead of the cloud, and the display size of the selected image data may be changed to the display size received from the server 2.
  • image data is clustered and displayed. Therefore, when a plurality of image data is selected and the same labeling is performed, the user Makes it easier to select image data.
  • the above clustering may be performed by the recognition unit 203 of the server 2, for example.
  • the arrangement control unit 204 has described an example in which classes and image data are arranged by generating a graph based on a dynamic model (force-based graph).
  • the present technology is not limited to such an example. .
  • FIG. 11 is an explanatory diagram for explaining a configuration example of the client terminal 1-2 according to the present modification.
  • the client terminal 1-2 is an information processing apparatus including a control unit 11, a communication unit 12, a display unit 14, and an operation unit 16. Note that, in the configuration illustrated in FIG. 11, the substantially same configuration as each configuration illustrated in FIG.
  • the communication control unit 102 controls communication by the communication unit 12 in the same manner as the communication control unit 101 described with reference to FIG.
  • the communication control unit 101 controls the communication unit 12 to receive image data, likelihood vectors, and the like from the server 2.
  • the communication control unit 101 controls the communication unit 12 to cause the server 2 to transmit label information.
  • the arrangement control unit 107 arranges image data and classes based on the likelihood vector received from the server 2.
  • the arrangement method of the image data and the class by the arrangement control unit 107 is the same as the arrangement method by the arrangement control unit 204 described with reference to FIG.
  • FIG. 12 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 900 illustrated in FIG. 12 can implement, for example, the client terminal 1, the server 2, or the client terminal 1-2 illustrated in FIGS.
  • Information processing by the client terminal 1, the server 2, or the client terminal 1-2 according to the present embodiment is realized by cooperation of software and hardware described below.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • CPU901 can form the control part 10 shown in FIG. 1, the control part 20 shown in FIG. 2, and the control part 11 shown in FIG. 11, for example.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904 a is connected to an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device in which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 900.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the CPU 901.
  • a user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 906.
  • the input device 906 can form, for example, the operation unit 16 shown in FIG.
  • the output device 907 is formed of a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as lamps, audio output devices such as speakers and headphones, printer devices, and the like.
  • the output device 907 outputs results obtained by various processes performed by the information processing device 900.
  • the display device visually displays results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the display device can form, for example, the display unit 14 shown in FIG.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 900.
  • the storage apparatus 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form, for example, the storage unit 24 shown in FIG.
  • the drive 909 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads information recorded on a removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the sensor 915 is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor.
  • the sensor 915 acquires information on the state of the information processing apparatus 900 itself, such as the posture and movement speed of the information processing apparatus 900, and information on the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900.
  • Sensor 915 may also include a GPS sensor that receives GPS signals and measures the latitude, longitude, and altitude of the device.
  • each of the above components may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing each function of the information processing apparatus 900 according to the present embodiment as described above can be produced and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the data to be labeled is image data
  • the present technology is not limited to such an example.
  • the data to be labeled may be text data or voice data.
  • the display size determination unit may determine the display size (character size) of the text data.
  • each step in the above embodiment does not necessarily have to be processed in time series in the order described as a sequence diagram.
  • each step in the processing of the above embodiment may be processed in an order different from the order described as the sequence diagram or may be processed in parallel.
  • the display size of the data is A display size determining unit to determine; A communication control unit for transmitting the display size;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the display size determination unit determines the display size such that the display size increases as the distance from the position of the class to which the data belongs increases. (3) The information processing apparatus according to (1) or (2), wherein the display size determination unit determines a display size further based on a radius of a circle indicating the range of the class.
  • the information processing apparatus determines the display size such that the display size increases as the ratio of the distance to the radius increases.
  • the display size determination unit determines the display size so that the display size is increased when a ratio of the distance to the radius is larger than a predetermined threshold.
  • the information processing apparatus further includes an arrangement control unit that arranges the data, The information processing apparatus according to any one of (1) to (5), wherein the arrangement control unit arranges the data by generating a graph having the class and the data as vertices. (7) The information processing apparatus according to (6), wherein the arrangement control unit generates the graph based on a dynamic model.
  • the information processing apparatus according to any one of (1) to (11), further including a display control unit configured to display the data with the display size.
  • the data includes image data.
  • a receiver for receiving the display size;
  • a processing unit that performs processing based on the display size;
  • An information processing apparatus comprising: (15) Based on the distance between the position of the data arranged based on the likelihood vector obtained by recognition of data based on learning of the label corresponding to the class and the position of the class to which the data belongs, the display size of the data is The processor decides, Sending the display size;
  • An information processing method including: (16) An input unit for accepting a change in display target; In response to the change of the display object, the distance between the position of the data arranged based on the likelihood vector obtained by the recognition of the

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

【課題】情報処理装置、及び情報処理方法を提供する。 【解決手段】クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、前記表示サイズを送信させる、通信制御部と、を備える情報処理装置。

Description

情報処理装置、及び情報処理方法
　本開示は、情報処理装置、及び情報処理方法に関する。
　近年、分類や認識を行うための機械学習に係る技術が盛んに研究されている。機械学習に係る技術のうち、例えば教師あり学習は、教師データ（データとデータにラベル付けされたラベルの組み合わせ）に基づいて学習を行う。教師あり学習において、高精度な分類や認識を行うためには大量の教師データを用意することが望ましいが、大量の教師データを用意するためには、ラベル付けに係るコストが大きくなる恐れがある。
　例えば、特許文献１には、入力される画像データの全てに対してラベル付けを行わず、一部の代表的なデータに対してのみラベル付けされた画像データを用いて年齢推定を行うことで、ラベル付けに係るコストを削減する技術が開示されている。
特開２０１０－２５７４０９号公報
　上記のような機械学習分野では、データに対するラベル付けのさらなる効率化が望まれている。
　本開示によれば、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、前記表示サイズを送信させる、通信制御部と、を備える情報処理装置が提供される。
　また、本開示によれば、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、決定された前記データの表示サイズを受信する受信部と、前記表示サイズに基づいて処理を行う処理部と、を備える情報処理装置が提供される。
　また、本開示によれば、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズをプロセッサが決定することと、前記表示サイズを送信させることと、を含む情報処理方法が提供される。
　また、本開示によれば、表示対象の変更を受け付ける入力部と、前記表示対象の変更に呼応して、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、を備える情報処理装置が提供される。
　また、本開示によれば、表示対象の変更を受け付けることと、前記表示対象の変更に呼応して、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズをプロセッサが決定することと、を含む情報処理方法が提供される。
　以上説明したように本開示によれば、データに対するラベル付けをより効率化することが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システム１０００の構成例を説明するための説明図である。 同実施形態に係るサーバ２の構成例を説明するための説明図である。 同実施形態による情報処理システム１０００の処理フローを示すシーケンス図である。 同実施形態に係る画面例を示す説明図である。 同実施形態に係る画面例を示す説明図である。 同実施形態に係る画面例を示す説明図である。 同実施形態に係る画面例を示す説明図である。 同実施形態に係る画面例を示す説明図である。 同実施形態に係る画面例を示す説明図である。 同実施形態に係る画面例を示す説明図である。 変形例に係るクライアント端末１－２の構成例を説明するための説明図である。 ハードウェア構成例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．構成例＞＞
　　＜１－１．全体構成＞
　　＜１－２．クライアント端末＞
　　＜１－３．サーバ＞
　＜＜２．動作例＞＞
　　＜２－１．処理フロー＞
　　＜２－２．画面遷移例＞
　＜＜３．変形例＞＞
　　＜３－１．変形例１＞
　　＜３－２．変形例２＞
　　＜３－３．変形例３＞
　　＜３－４．変形例４＞
　＜＜４．ハードウェア構成例＞＞
　＜＜５．むすび＞＞
　＜＜１．構成例＞＞
　まず、図１を参照しながら、本開示の一実施形態の構成例を説明する。図１は本開示の一実施形態に係る情報処理システム１０００の構成例を説明するための説明図である。本実施形態に係る情報処理システム１０００は、機械学習において学習されるデータに、ラベル付けを行うための情報処理システムである。
　本開示に係るデータは特に限定されず、例えば画像データ、音声データ、テキストデータ等であってもよいが、以下では本実施形態において学習、及び認識されるデータは画像データであるとして説明を行う。また、以下では、本実施形態は画像データを複数のクラスに分類するための分類器を構築するために、学習用の画像データに当該画像データが属するクラス（例えば画像データに含まれる物体の種別）を示すラベルが付けられる例を説明する。
　図１に示すように、本実施形態に係る情報処理システム１０００は、クライアント端末１、サーバ２、及び通信網５を含む。以下では、本実施形態に係る情報処理システム１０００の全体構成を説明した後、本実施形態に係る情報処理システム１０００に含まれるクライアント端末１、及びサーバ２の構成例について順次説明する。
　　＜１－１．全体構成＞
　クライアント端末１は、ラベル付けを行うユーザに用いられる情報処理装置である。ユーザは、クライアント端末１に表示された学習用の画像データに、ラベルを与えることで、ラベル付けを行う。ユーザによって与えられたラベルの情報（ラベル情報）は、通信網５を介してサーバ２に提供される。なお、クライアント端末１が表示する学習用の画像データは、サーバ２から通信網５を介してクライアント端末１に提供されてもよい。
　また、クライアント端末１は、サーバ２から、認識結果を可視化するグラフ情報と、画像データの表示サイズとを受信し、グラフ情報と当該表示サイズとに基づいて、表示処理を行う。後述するように、クライアント端末１に表示される画像データは、認識されたクラスが誤っている可能性が高い程大きく表示されるため、ユーザは正しいラベルを付けることが望ましいデータを見つけやすくなり、効率的にラベル付けすることが出来る。
　サーバ２は、ラベル付き画像データの学習、及び画像データの認識を行う情報処理装置である。なお、ラベル付き画像データは、所謂教師データであり、通信網５を介してクライアント端末１から受信したラベル情報と、画像データを対応付けることで得られる。
　また、サーバ２は、認識結果に基づいて、クライアント端末１による表示、及び認識結果の可視化のためのグラフ生成と、各画像データの表示サイズの決定を行い、グラフ情報と表示サイズをクライアント端末１に送信する。なお、サーバ２の構成例については、図２を参照して後述する。
　通信網５は、通信網５に接続されている装置、またはシステムから送信される情報の有線、または無線の伝送路である。例えば、通信網５は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等を含んでもよい。また、通信網５は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）等の専用回線網を含んでもよい。
　　＜１－２．クライアント端末＞
　以上、本実施形態による情報処理システム１０００の全体構成例を説明した。続いて、本実施形態に係るクライアント端末１の構成例を説明する。図１に示すように、本実施形態に係るクライアント端末１は、制御部１０、通信部１２、表示部１４、操作部１６を備える情報処理装置である。なお、クライアント端末１は、例えばＰＣ（Personal　Computer）、携帯電話、スマートフォン、タブレットＰＣ等であってもよいし、ＨＭＤ（Head　Mounted　Display）等のウェアラブルデバイスであってもよい。
　制御部１０は、クライアント端末１の各構成を制御する。また、制御部１０は、図１に示すように、通信制御部１０１、表示制御部１０３、及びラベル制御部１０５としても機能する。
　通信制御部１０１は、通信部１２による通信を制御する。例えば、通信制御部１０１は、通信部１２を制御して、サーバ２から画像データやグラフ情報、表示サイズ等を受信させる。また、通信制御部１０１は、通信部１２を制御して、ラベル情報をサーバ２に送信させる。なお、ラベル情報は、例えばユーザの入力に基づいて、後述するラベル制御部１０５により生成されてもよい。
　表示制御部１０３は、表示部１４による表示を制御する（表示に係る処理を行う）。例えば、表示制御部１０３は、サーバ２から受信される画像データを表示部１４に表示させる。また、表示制御部１０３は、サーバ２から受信されるグラフ情報、及び表示サイズにさらに基づいて、画像データを表示部１４に表示させてもよい。
　なお、表示制御部１０３の制御により表示部１４に表示される画面、及び画面遷移例の詳細については、図４～１０を参照して後述する。
　ラベル制御部１０５は、ユーザの入力に基づいて、ラベルの情報（ラベル情報）を生成する。例えば、ラベル制御部１０５が生成するラベル情報には、ラベル、及び当該ラベルと画像データを対応付ける情報（例えば画像データの識別情報）が含まれてもよい。係る場合、例えばラベル制御部１０５は、表示部１４に表示された画像データと、操作部１６を介して得られるユーザの入力と、を対応付けることで、ラベル情報を生成してもよい。ラベル制御部１０５が生成したラベル情報は、通信制御部１０１の通信制御により、サーバ２に送信される。
　通信部１２（受信部）は、他の装置との間の通信を仲介する通信インタフェースである。通信部１２は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１に示す通信網５を介して他の装置との間の通信接続を確立する。それにより、例えば、クライアント端末１が通信網５に接続されたサーバ２にラベル情報を送信し、及びサーバ２からグラフ情報、及び表示サイズを受信することが可能となる。
　表示部１４は、表示制御部１０３に制御されて、様々な画面を表示するディスプレイである。例えば、表示部１４は、複数の画像データを表示してもよいし、ラベルの入力画面を表示してもよい。なお、表示部１４は、クライアント端末１の形態に応じた様々な形態で実現されてもよい。
　操作部１６（入力部）は、ユーザの入力を受け付け、制御部１０に提供する。例えば、ユーザは、操作部１６を操作して、ラベル付けを行う画像データを選択してもよい。なお、ユーザはラベル付けを行う画像データを１または複数選択してもよい。また、ユーザは、操作部１６を操作して、画像データに与えるラベルを入力してもよい。また、ユーザは、操作部１６を操作して、表示対象の変更（例えば表示対象範囲の拡大、移動、回転等）を入力してもよい。なお、操作部１６は、例えばマウス、キーボード、タッチパネル、ボタン、スイッチ、視線入力装置、ジェスチャ入力装置、音声入力装置などにより実現されてもよい。
　　＜１－３．サーバ＞
　以上、本実施形態に係るクライアント端末１の構成例を説明した。続いて、図２を参照して、本実施形態に係るサーバ２の構成例を説明する。図２は、本実施形態に係るサーバ２の構成例を説明するための説明図である。図２に示すように、サーバ２は、制御部２０、通信部２２、及び記憶部２４を備える情報処理装置である。
　制御部２０は、サーバ２の各構成を制御する。また、制御部２０は、図２に示すように、通信制御部２０１、学習部２０２、認識部２０３、配置制御部２０４、及び表示サイズ決定部２０５としても機能する。
　通信制御部２０１は、通信部２２による通信を制御する。例えば、通信制御部２０１は、通信部２２を制御して、クライアント端末１からラベル情報を受信させる。また、通信制御部２０１は、通信部２２を制御して、画像データ、グラフ情報、及び表示サイズ等を送信させる。
　学習部２０２は、クライアント端末１から受信されたラベル情報と画像データとを対応付けたラベル付き画像データに基づいて、学習を行う。学習部２０２による学習の方法は特に限定されないが、例えばニューラルネットワーク、決定木、ＳＶＭ（Support　Vector　Machine）等の機械学習アルゴリズムに基づく方法であってもよい。学習部２０２による学習の結果、例えば、画像データを複数のクラスのいずれかに分類する分類器が構築される。
　認識部２０３は、学習部２０２による学習結果（分類器）に基づいて、画像データの認識（分類）を行う。認識部２０３による認識の方法は、例えば学習部２０２において用いられた機械学習アルゴリズムに応じた方法であってもよい。なお、認識部２０３による認識の対象となる画像データは、クライアント端末１の画面に表示されたが、ラベル付けされていない画像データを含み得る。
　本実施形態に係る認識部２０３は、例えば各画像データが、どの程度各クラスらしいかを示す尤度を含む尤度ベクトルを特定し、当該尤度ベクトルに基づいて、各画像データをいずれかのクラスに分類してもよい。例えば、認識部２０３は、画像データに係る尤度ベクトルにおいて、最も高い尤度に対応するクラスに、当該画像データを分類してもよい。また、認識部２０３は、画像データに係る尤度ベクトルにおいて、最も高い尤度の値が所定の閾値以上である場合に、当該最も高い尤度に対応するクラスに、当該画像データを分類してもよい。なお、以下では、クラスに分類された画像データを当該クラスに属する画像データと呼ぶ場合がある。
　配置制御部２０４は、認識部２０３による画像データの認識における尤度ベクトルに基づいて、画像データを配置する。例えば、配置制御部２０４は、認識部２０３による認識結果に基づいて、認識結果を可視化するグラフを生成することで、各画像データを配置してもよい。
　配置制御部２０４によるグラフの生成方法は特に限定されないが、例えば、配置制御部２０４により生成されるグラフは、力学モデルに基づくグラフ（フォースベースドグラフ）であってもよい。係る場合、配置制御部２０４は、グラフの頂点と辺にフォース（力）を割り当て、力学的エネルギーの低い安定状態を特定することで、グラフを生成する。以下、配置制御部２０４が力学モデルに基づくグラフを生成する場合を例に、配置制御部２０４によるグラフ生成の説明を行う。
　例えば、配置制御部２０４は、各クラス、及び、各画像データを頂点として設定してもよい。また、配置制御部２０４は、各クラスと各画像データとの間に辺を設定し、各画像データの尤度ベクトルに基づくフォースを、各クラスと各画像データの間の辺に割り当ててもよい。クラスと画像データの間の辺に割り当てられるフォースは、当該画像データに係る尤度ベクトルにおいて、当該クラスに係る尤度が大きい程、大きくなるように設定されてもよい。係る構成により、画像データは、当該画像データに係る尤度ベクトルにおいて高い値の尤度に対応するクラスと近い位置に、配置されやすくなる。また、画像データは、誤認識が発生している可能性が高い程、当該画像データが属するクラスの位置から遠くに配置されやすくなる。
　また、配置制御部２０４は、クラスが複数存在する場合に、クラス間に辺を設定し、クラス間の類似度に基づくフォースを、クラス間の辺に割り当ててもよい。例えば、クラス間の辺に割り当てられるフォースは、クラス間の類似度が大きい程、大きくなるように設定されてもよい。係る構成により、類似するクラス同士が近い位置に配置されやすくなり、当該クラスに属する画像データ同士も近い位置に配置されやすくなる。
　なお、クラス間の類似度は、例えば各クラスに属する画像データの尤度ベクトルに基づいて特定されてもよい。例えば、第一のクラスに分類された画像データの尤度ベクトルにおける、第二のクラスに対応する尤度の平均値、または、第二のクラスに分類された画像データの尤度ベクトルにおける、第一のクラスに対応する尤度の平均値、に基づいて、第一のクラスと第二のクラスの間の類似度が特定されもよい。係る構成により、誤認識されやすいクラス同士が近い位置に配置されやすくなり、当該クラスに分類された画像データ同士も近い位置に配置されやすくなる。その結果、ユーザは正しいラベルを付けることが望ましいデータを見つけやすくなり、より効率的なラベル付けが可能となる。
　また、配置制御部２０４は、クラスの位置を中心とし、当該クラスに分類された画像データのうち当該クラスの位置から最も遠い位置にある画像データと当該クラスとの距離を半径とした円を、当該クラスの範囲を示すクラウドとして設定する。なお、以下では、上述したクラウド（クラスの範囲を示す円）の半径を、クラス半径と呼ぶ場合がある。また、配置制御部２０４により設定されたクラウドは、例えばクライアント端末１の表示部１４に表示されてもよい。
　上述した配置制御部２０４により生成されたグラフの情報（グラフ情報）は、クライアント端末１に送信される。例えば、グラフ情報には、画像データの位置、クラスの位置、クラスに対応するクラウドの半径、等の情報が含まれてもよい。係る構成により、クライアント端末１は、認識結果を可視化すると共に、誤認識されている可能性の高い画像データを大きく表示することが可能となり、ユーザは、正しいラベルを付けることが望ましいデータを見つけやすくなる。
　表示サイズ決定部２０５は、配置制御部２０４により配置された画像データの位置と、当該画像データが属するクラスの位置との距離に基づいて、画像データの表示サイズを決定する。例えば、表示サイズ決定部２０５は、当該距離が大きい程、当該画像データの表示サイズが大きくなるように、表示サイズを決定してもよい。係る構成により、尤度が低く誤認識されている可能性が高い画像データ程、表示サイズが大きくなり、ユーザは正しいラベルを付けることが望ましいデータをより見つけやすくなる。
　また、表示サイズ決定部２０５は、上述したクラス半径にさらに基づいて、表示サイズを決定してもよい。例えば、当該クラス半径に対する当該距離の比が大きい程、表示サイズが大きくなるように、表示サイズを決定してもよい。係る構成によれば、表示サイズがクラス半径により正規化され、例えば、クラス半径が小さいクラスに属する画像データであっても、誤認識されている可能性が高い画像データが大きく表示される。
　また、表示サイズ決定部２０５は、画像データに係る当該距離、または、当該クラス半径に対する当該距離の比が、所定の閾値よりも大きい場合に、表示サイズが他の画像データよりも大きくなるように、表示サイズを決定してもよい。係る場合、クラウド（クラスの範囲を示す円）の外縁部の画像データが大きく表示され、それ以外の画像データは小さく表示される。係る構成により、例えば画像データが多数ある場合に、大きく表示される画像データが絞られ、ユーザは正しいラベルを付けることが望ましいデータをより見つけやすくなる。
　通信部２２は、他の装置との間の通信を仲介する通信インタフェースである。通信部２２は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１に示した通信網５を介して他の装置との間の通信接続を確立する。それにより、例えば、サーバ２が通信網５に接続されたクライアント端末１からにラベル情報を受信し、及びクライアント端末１にグラフ情報、及び表示サイズを送信することが可能となる。
　記憶部２４は、サーバ２の各構成が機能するためのプログラムやパラメータを記憶する。また、記憶部２４は、学習用の画像データ、及びクライアント端末１から受信したラベル情報を記憶する。
　＜＜２．動作例＞＞
　以上、本実施形態による情報処理システム１０００の構成例について説明した。続いて、本実施形態による情報処理システム１０００の動作例について、図３～１０を参照して説明する。以下では、まず情報処理システム１０００の処理フローについて図３を参照して説明した後、本実施形態においてクライアント端末１に表示される画面の遷移例について図４～１０を参照して説明する。
　　＜２－１．処理フロー＞
　図３は、本実施形態による情報処理システム１０００の処理フローを示すシーケンス図である。
　図３に示すように、まずサーバ２からクライアント端末１に学習用の画像データが送信される（Ｓ１００）。続いて、クライアント端末１が、画像データを表示する（Ｓ１０２）。なお、ステップＳ１０２においては、画像データにラベルが与えられておらず、また、サーバ２での認識も行われていないため、例えば画像データがランダムな位置に、全て同一の表示サイズで、表示されてもよい。
　続いて、ユーザがクライアント端末１を操作することにより、ラベル付けを行う画像データが選択される（Ｓ１０４）。続いて、ステップＳ１０４で選択された画像データにラベルが付けられる（Ｓ１０６）。ステップＳ１０６において、例えばユーザがラベルを入力することでラベル付けが行われてもよいし、予め用意され、または既にユーザにより入力されたラベルの中から、ユーザがラベルを選択することでラベル付けが行われてもよい。
　なお、ステップＳ１０４、及びステップＳ１０６において、複数の画像データが選択されてラベル付けが行われてもよいし、ステップＳ１０４、及びステップＳ１０６が繰り返されて、複数のラベルについてのラベル付けが行われてもよい。
　続いて、ステップＳ１０６のラベル付けにより得られたラベル情報がクライアント端末１からサーバ２に送信される（Ｓ１０８）。ラベル情報を受信したサーバ２の学習部２０２は、ラベル付けされた画像データを用いて、学習を行う（Ｓ１１０）。さらに、サーバ２の認識部２０３は、ステップＳ１１０の学習結果に基づいて、画像データに係る尤度ベクトルを特定し、尤度ベクトルに基づいて画像データを認識（分類）する（Ｓ１１２）。
　続いて、サーバ２の配置制御部２０４は、尤度ベクトルに基づいてグラフを生成することで、クラスと画像データを配置する（Ｓ１１４）。配置されたクラスと画像データの位置に基づいて、サーバ２の表示サイズ決定部２０５が、表示サイズを決定する（Ｓ１１６）。
　続いて、ステップＳ１１４で生成されたグラフの情報（グラフ情報）と、ステップＳ１１６で決定された表示サイズが、サーバ２からクライアント端末１に送信される（Ｓ１１８）。グラフ情報と表示サイズを受信したクライアント端末１は、ステップＳ１１４で配置された位置にクラスと画像データが表示されるように、表示を更新する（Ｓ１２０）。
　表示を確認したユーザの操作により、ラベル付けが終了したと選択された場合（Ｓ１２２においてＹＥＳ）、処理は終了する。なお、係る場合、サーバ２にラベル付けが終了したことが通知されて、現時点で各画像データが属するクラスに対応するラベルが、当該画像データのラベルとしてラベル付けされてもよい。
　ステップＳ１２２においてラベル付けが終了していないと選択された場合（Ｓ１２２においてＮＯ）、ユーザがクライアント端末１を操作することで、ユーザがラベル付けを行いたい画像データが含まれているクラウドが選択される（Ｓ１２４）。
　続いて、クライアント端末１の表示制御部１０３は、選択されたクラウドに含まれる画像データの表示サイズを、ステップＳ１１８でサーバ２から受信した表示サイズに変更する（Ｓ１２６）。続いて、処理はステップＳ１０４に戻り、ユーザによりラベル付けが終了したと選択されるまで繰り返される。
　　＜２－２．画面遷移例＞
　以上、本実施形態による情報処理システム１０００の処理フローを説明した。続いて、画像データにラベル付けが行われる場合に、クライアント端末１に表示される画面の遷移の具体例について図４～１０を参照して説明する。図４～１０は、本実施形態に係るクライアント端末１の表示制御部１０３が表示部１４に表示させる画面例を示す説明図である。なお、以下では、図３に示した処理ステップを適宜参照しながら説明を行う。
　まず、図３のステップＳ１０２において、図４に示す画面Ｇ１００のように画像データＤ１０２～Ｄ１３４がランダムな位置に、全て同一の表示サイズで、表示される。
　続いて、図３のステップＳ１０４において、画像データＤ１２０が選択されると、図５に示す画面Ｇ２００のように、画像データＤ１２０が拡大され、画像データＤ１２０にラベル付けすることが可能となる。選択された画像データＤ１２０が拡大されることで、ユーザは画像データＤ１２０の詳細を確認しながらラベル付けし易くなる。
　以下では、図５に示す画面Ｇ２００において、ユーザが画像データＤ１２０に「Ｃａｒ」というラベルを付けたものとして、説明を続ける。
　図３のステップＳ１０６～Ｓ１１８の処理が行われた後、図３のステップＳ１２０において、図６に示す画面Ｇ３００のように表示が更新される。図６に示す画面Ｇ３００には、クラスＣａｒに対応するクラウドＣ１０が表示され、クラウドＣ１０内に、クラスＣａｒに属する画像データＤ１０２、Ｄ１０４、Ｄ１１２、Ｄ１１４、Ｄ１２０、Ｄ１２２、Ｄ１２４、Ｄ１２６が表示される。また、クラウドＣ１０に対応するクラスＣａｒに係る尤度が低く、誤認識されている可能性が高い画像データは、クラウドＣ１０の中心位置（クラスＣａｒの位置）から遠い位置に表示されやすい。
　続いて、図３のステップＳ１２４において、ユーザによりクラウドが選択されると、図３のステップＳ１２６において、図７に示す画面Ｇ４００のように画像データの表示サイズが変更される。図７に示す画面Ｇ４００の例では、クラウドＣ１０の中心位置（クラスＣａｒの位置）Ｃ１２から遠い位置に配置された画像データＤ１０４、Ｄ１１４、Ｄ１２２、Ｄ１２６が、他の画像データよりも大きい表示サイズで表示されている。係る構成により、誤認識されている可能性が高い画像データが大きい表示サイズで表示されるため、ユーザは大きい表示サイズで表示された画像データを確認して、正しいラベルを付けることが望ましいデータをより容易に選択することが可能となる。
　処理が図３のステップＳ１０４に戻り、画像データＤ１２６が選択されると、図８に示す画面Ｇ５００のように、画像データＤ１２６が拡大され、画像データＤ１２６にラベル付けすることが可能となる。
　以下では、図８に示す画面Ｇ５００において、ユーザが画像データＤ１２６に「Ｐｌａｎｅ」というラベルを付けたものとして、説明を続ける。
　図３のステップＳ１０６～Ｓ１１８の処理が再度行われた後、図３のステップＳ１２０において、図９に示す画面Ｇ６００のように表示が更新される。図９に示す画面Ｇ９００には、クラスＣａｒに対応するクラウドＣ１０と、クラスＰｌａｎｅに対応するクラウドＣ２０が表示される。また、図９に示すように、クラウドＣ１０内に、クラスＣａｒに属する画像データＤ１０２、Ｄ１１２、Ｄ１２０、Ｄ１２４が、クラウドＣ２０内に、クラスＰｌａｎｅに属する画像データＤ１０４、Ｄ１１４、Ｄ１２２、Ｄ１２６がそれぞれ表示される。また、各クラウドに対応するクラスに係る尤度が低く、誤認識されている可能性が高い画像データは、各クラウドの中心位置から遠い位置に表示されやすい。
　上記のようなラベル付けを繰り返すことで、図１０に示す画面Ｇ６００のように、全ての画像データがクラウドＣ１０、Ｃ２０、Ｃ３０、Ｃ４０のいずれかに含まれる。例えば図３のステップＳ１２２において、ユーザは画面Ｇ６００を確認し、ラベル付けが終了したと選択する。
　＜＜３．変形例＞＞
　以上、本開示の一実施形態を説明した。以下では、本開示の一実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、各変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。
　　＜３－１．変形例１＞
　上記実施形態ではステップＳ１２４においてクラウドが選択された後に、選択されたクラウドに含まれる画像データの表示サイズがサーバ２から受信した表示サイズに変更される（Ｓ１２６）例を説明したが、本技術は係る例に限定されない。
　例えば、ステップＳ１２０における表示更新の際に、各画像データの表示サイズがサーバ２から受信した表示サイズに変更されてもよい。また、ステップＳ１２４において、クラウドの代わりに、画面中の範囲が選択され、選択された範囲に含まれる画像データの表示サイズが、サーバ２から受信した表示サイズに変更されてもよい。また、ステップＳ１２４において、クラウドの代わりに、画像データが選択され、選択された画像データの表示サイズが、サーバ２から受信した表示サイズに変更されてもよい。
　　＜３－２．変形例２＞
　また、上記実施形態では、ラベル付けが一度も行われていない初期の状態（ステップＳ１０２、画面Ｇ１００）において、画像データがランダムな位置に、全て同一の表示サイズで、表示される例を説明したが、本技術は係る例に限定されない。例えば、k-means法等の教師なし学習手法により、画像データがクラスタリングされた結果が、ステップＳ１０２において表示されてもよい。
　係る構成によれば、ラベル付けが一度も行われていない初期の状態においても、画像データがクラスタリングされて表示されるため、複数の画像データを選択して同一のラベル付けを行う場合に、ユーザは画像データを選択し易くなる。なお、上記のクラスタリングは、例えばサーバ２の認識部２０３により行われてもよい。
　　＜３－３．変形例３＞
　また、上記実施形態では、配置制御部２０４は、力学モデルに基づくグラフ（フォースベースドグラフ）を生成することで、クラスと画像データを配置する例を説明したが、本技術は係る例に限定されない。
　例えば、画像データの尤度ベクトルに含まれる、当該画像データが属するクラスに係る尤度の大きさに基づいて、当該クラスと画像データとの距離が決定されてもよい。さらに、当該画像データの尤度ベクトルに含まれる、当該クラス以外のクラスに係る尤度の大きさに基づいて、当該クラスから見た当該画像データの角度が決定されてもよい。
　　＜３－４．変形例４＞
　また、上記実施形態では、図１、及び図２を参照してクライアント端末１、及びサーバ２が有する機能を説明したが、本技術は係る例に限定されない。例えば、上記実施形態で説明したクライアント端末１の機能をサーバ２が有してもよいし、上記実施形態で説明したサーバ２の機能をクライアント端末１が有してもよい。以下では、変形例として、クライアント端末が、上記実施形態で説明した配置制御部、及び表示サイズ決定部の機能を有する例を説明する。
　図１１は、本変形例に係るクライアント端末１－２の構成例を説明するための説明図である。図１１に示すように、クライアント端末１－２は、制御部１１、通信部１２、表示部１４、及び操作部１６を備える情報処理装置である。なお、図１１に示す構成のうち、図１に示した各構成と実質的に同様の構成については同一の符号を付してあるため、説明を省略する。
　制御部１１は、クライアント端末１－２の各構成を制御する。また、制御部１１は、図１１に示すように、通信制御部１０２、表示制御部１０３、ラベル制御部１０５、配置制御部１０７、及び表示サイズ決定部１０９としても機能する。
　通信制御部１０２は、図１を参照して説明した通信制御部１０１と同様に、通信部１２による通信を制御する。例えば、通信制御部１０１は、通信部１２を制御して、サーバ２から画像データや尤度ベクトル等を受信させる。また、通信制御部１０１は、通信部１２を制御して、ラベル情報をサーバ２に送信させる。
　また、通信制御部１０２は、制御部１１が有する各部の間の通信を制御してもよい。例えば、通信制御部１０２は、配置制御部１０７と表示サイズ決定部１０９の間の通信、及び配置制御部１０７と表示制御部１０３の間の通信を制御して、グラフ情報を配置制御部１０７から表示サイズ決定部１０９、及び表示制御部１０３へ送信させてもよい。また、通信制御部１０２は、表示サイズ決定部１０９と表示制御部１０３の間の通信を制御して、表示サイズを、表示サイズ決定部１０９から表示制御部１０３へ送信させてもよい。
　配置制御部１０７は、サーバ２から受信される尤度ベクトルに基づいて、画像データ、及びクラスの配置を行う。配置制御部１０７による画像データ、及びクラスの配置方法は、例えば図２を参照して説明した配置制御部２０４による配置方法と同様であるため、説明を省略する。
　表示サイズ決定部１０９は、配置制御部１０７により配置された画像データの位置と、当該画像データが属するクラスの位置との距離に基づいて、画像データの表示サイズを決定する。例えば、表示サイズ決定部１０９は、操作部１６（入力部）が受け付けた表示対象の変更（例えば表示対象範囲の拡大、移動、回転等）に呼応して、表示対象に含まれる画像データの表示サイズを決定してもよい。係る構成によれば、ラベルの更新を伴わずに表示対象の変更が入力された場合に、クライアント端末１－２は、サーバ２と通信することなく、表示サイズを決定し、表示を更新することが可能である。なお、表示サイズ決定部１０９による表示サイズの決定方法は、例えば図２を参照して説明した表示サイズ決定部２０５による表示サイズの決定方法と同様であるため、説明を省略する。
　＜＜４．ハードウェア構成例＞＞
　以上、本開示の実施形態を説明した。最後に、図１２を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１２は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１２に示す情報処理装置９００は、例えば、図１、２、１１にそれぞれ示したクライアント端末１、サーバ２、またはクライアント端末１－２を実現し得る。本実施形態に係るクライアント端末１、サーバ２、またはクライアント端末１－２による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図１２に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図１に示す制御部１０や、図２に示す制御部２０、図１１に示す制御部１１を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、図１に示す操作部１６を形成し得る。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置は、例えば、図１に示す表示部１４を形成し得る。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図２に示す記憶部２４を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図１、図１１に示す通信部１２、及び図２に示す通信部２２を形成し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。
　以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜５．むすび＞＞
　以上、説明したように、本開示の実施形態によれば、データに対するラベル付けをより効率化することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　上記では、ラベル付けされるデータが画像データである例を説明したが、本技術は係る例に限定されない。例えばラベル付けされるデータは、テキストデータや音声データ等であってもよい。例えば、認識対象データがテキストデータである場合、表示サイズ決定部により、テキストデータの表示サイズ（文字サイズ）が決定されてもよい。
　また、上記実施形態における各ステップは、必ずしもシーケンス図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、シーケンス図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、
　前記表示サイズを送信させる、通信制御部と、
　を備える情報処理装置。
（２）
　前記表示サイズ決定部は、前記データが属する前記クラスの位置からの前記距離が大きい程、前記表示サイズが大きくなるように、前記表示サイズを決定する、前記（１）に記載の情報処理装置。
（３）
　前記表示サイズ決定部は、前記クラスの範囲を示す円の半径にさらに基づいて、表示サイズを決定する、前記（１）または（２）に記載の情報処理装置。
（４）
　前記表示サイズ決定部は、前記半径に対する前記距離の比が大きい程、前記表示サイズが大きくなるように、前記表示サイズを決定する、前記（３）に記載の情報処理装置。
（５）
　前記表示サイズ決定部は、前記半径に対する前記距離の比が所定の閾値より大きい場合に、前記表示サイズが大きくなるように、前記表示サイズを決定する、前記（３）に記載の情報処理装置。
（６）
　前記情報処理装置は、前記データを配置する配置制御部を更に備え、
　前記配置制御部は、前記クラス、及び前記データを頂点とするグラフを生成することで、前記データを配置する、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記配置制御部は、力学モデルに基づいて、前記グラフを生成する、前記（６）に記載の情報処理装置。
（８）
　前記配置制御部は、前記クラスと前記データとの間の辺に、前記尤度ベクトルに基づくフォースを割り当てる、前記（７）に記載の情報処理装置。
（９）
　前記配置制御部は、前記尤度ベクトルにおける前記クラスに係る尤度が大きい程、前記クラスと前記データとの間の辺に割り当てられる前記フォースが大きくなるように、前記フォースを割り当てる、前記（８）に記載の情報処理装置。
（１０）
　前記配置制御部は、クラス間の辺に、前記クラス間の類似度に基づくフォースを割り当てる、前記（６）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記配置制御部は、前記クラス間の類似度が大きい程、前記クラス間の辺に割り当てられるフォースが大きくなるように、前記フォースを割り当てる、前記（１０）に記載の情報処理装置。
（１２）
　前記情報処理装置は、前記表示サイズで、前記データを表示させる表示制御部をさらに備える、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記データは、画像データを含む、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、決定された前記データの表示サイズを受信する受信部と、
　前記表示サイズに基づいて処理を行う処理部と、
　を備える情報処理装置。
（１５）
　クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズをプロセッサが決定することと、
　前記表示サイズを送信させることと、
　を含む情報処理方法。
（１６）
　表示対象の変更を受け付ける入力部と、
　前記表示対象の変更に呼応して、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、
　を備える情報処理装置。
（１７）
　表示対象の変更を受け付けることと、
　前記表示対象の変更に呼応して、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズをプロセッサが決定することと、
　を含む情報処理方法。
　１　クライアント端末
　２　サーバ
　５　通信網
　１０、１１　制御部
　１２　通信部
　１４　表示部
　１６　操作部
　２０　制御部
　２２　通信部
　２４　記憶部
　１０１、１０２　通信制御部
　１０３　表示制御部
　１０５　ラベル制御部
　１０７　配置制御部
　１０９　表示サイズ決定部
　２０１　通信制御部
　２０２　学習部
　２０３　認識部
　２０４　配置制御部
　２０５　表示サイズ決定部

Claims (17)

  1. 　クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、
    　前記表示サイズを送信させる、通信制御部と、
    　を備える情報処理装置。
  2. 　前記表示サイズ決定部は、前記データが属する前記クラスの位置からの前記距離が大きい程、前記表示サイズが大きくなるように、前記表示サイズを決定する、請求項１に記載の情報処理装置。
  3. 　前記表示サイズ決定部は、前記クラスの範囲を示す円の半径にさらに基づいて、表示サイズを決定する、請求項１に記載の情報処理装置。
  4. 　前記表示サイズ決定部は、前記半径に対する前記距離の比が大きい程、前記表示サイズが大きくなるように、前記表示サイズを決定する、請求項３に記載の情報処理装置。
  5. 　前記表示サイズ決定部は、前記半径に対する前記距離の比が所定の閾値より大きい場合に、前記表示サイズが大きくなるように、前記表示サイズを決定する、請求項３に記載の情報処理装置。
  6. 　前記情報処理装置は、前記データを配置する配置制御部を更に備え、
    　前記配置制御部は、前記クラス、及び前記データを頂点とするグラフを生成することで、前記データを配置する、請求項１に記載の情報処理装置。
  7. 　前記配置制御部は、力学モデルに基づいて、前記グラフを生成する、請求項６に記載の情報処理装置。
  8. 　前記配置制御部は、前記クラスと前記データとの間の辺に、前記尤度ベクトルに基づくフォースを割り当てる、請求項７に記載の情報処理装置。
  9. 　前記配置制御部は、前記尤度ベクトルにおける前記クラスに係る尤度が大きい程、前記クラスと前記データとの間の辺に割り当てられる前記フォースが大きくなるように、前記フォースを割り当てる、請求項８に記載の情報処理装置。
  10. 　前記配置制御部は、クラス間の辺に、前記クラス間の類似度に基づくフォースを割り当てる、請求項６に記載の情報処理装置。
  11. 　前記配置制御部は、前記クラス間の類似度が大きい程、前記クラス間の辺に割り当てられるフォースが大きくなるように、前記フォースを割り当てる、請求項１０に記載の情報処理装置。
  12. 　前記情報処理装置は、前記表示サイズで、前記データを表示させる表示制御部をさらに備える、請求項１に記載の情報処理装置。
  13. 　前記データは、画像データを含む、請求項１に記載の情報処理装置。
  14. 　クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、決定された前記データの表示サイズを受信する受信部と、
    　前記表示サイズに基づいて処理を行う処理部と、
    　を備える情報処理装置。
  15. 　クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズをプロセッサが決定することと、
    　前記表示サイズを送信させることと、
    　を含む情報処理方法。
  16. 　表示対象の変更を受け付ける入力部と、
    　前記表示対象の変更に呼応して、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、
    　を備える情報処理装置。
  17. 　表示対象の変更を受け付けることと、
    　前記表示対象の変更に呼応して、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズをプロセッサが決定することと、
    　を含む情報処理方法。
PCT/JP2017/001903 2016-04-11 2017-01-20 情報処理装置、及び情報処理方法 WO2017179258A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17782077.6A EP3444731A4 (en) 2016-04-11 2017-01-20 INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
JP2018511887A JP6977715B2 (ja) 2016-04-11 2017-01-20 情報処理装置、及び情報処理方法
US16/081,235 US10891765B2 (en) 2016-04-11 2017-01-20 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-079006 2016-04-11
JP2016079006 2016-04-11

Publications (1)

Publication Number Publication Date
WO2017179258A1 true WO2017179258A1 (ja) 2017-10-19

Family

ID=60042516

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/001903 WO2017179258A1 (ja) 2016-04-11 2017-01-20 情報処理装置、及び情報処理方法

Country Status (4)

Country Link
US (1) US10891765B2 (ja)
EP (1) EP3444731A4 (ja)
JP (1) JP6977715B2 (ja)
WO (1) WO2017179258A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013274A (ja) * 2018-07-17 2020-01-23 富士通株式会社 表示プログラム、表示装置及び表示方法
WO2020099986A1 (ja) * 2018-11-15 2020-05-22 株式会社半導体エネルギー研究所 コンテンツの分類方法
JPWO2021181654A1 (ja) * 2020-03-13 2021-09-16

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190207889A1 (en) * 2018-01-03 2019-07-04 International Business Machines Corporation Filtering graphic content in a message to determine whether to render the graphic content or a descriptive classification of the graphic content
US11494616B2 (en) * 2019-05-09 2022-11-08 Shenzhen Malong Technologies Co., Ltd. Decoupling category-wise independence and relevance with self-attention for multi-label image classification
US11347565B1 (en) * 2021-06-30 2022-05-31 United Services Automobile Association (Usaa) System and method for app-to-app content reconfiguration
CN115190515B (zh) * 2022-09-14 2022-12-23 良业科技集团股份有限公司 适用于文旅物联控制的通讯数据处理方法、系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001175380A (ja) * 1999-12-20 2001-06-29 Wellstone Inc 情報インデックス表示方法とその装置
JP2001351127A (ja) * 2000-06-07 2001-12-21 Sharp Corp データ表示システム
JP2009110151A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2012069097A (ja) * 2010-08-26 2012-04-05 Canon Inc データ検索結果の表示方法およびデータ検索結果の表示装置、プログラム
JP2013025645A (ja) * 2011-07-22 2013-02-04 Canon Inc 情報処理装置、情報処理方法およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4465534B2 (ja) * 2004-03-31 2010-05-19 パイオニア株式会社 画像検索方法、装置及びプログラムを記録した記録媒体
JP4456617B2 (ja) * 2007-04-16 2010-04-28 富士通株式会社 類似分析装置、画像表示装置、および画像表示プログラム
US8774526B2 (en) * 2010-02-08 2014-07-08 Microsoft Corporation Intelligent image search results summarization and browsing
US20130125069A1 (en) * 2011-09-06 2013-05-16 Lubomir D. Bourdev System and Method for Interactive Labeling of a Collection of Images
JP5610655B2 (ja) * 2011-12-29 2014-10-22 楽天株式会社 情報処理システム、情報処理システムの制御方法、プログラム、及び情報記憶媒体
US10198590B2 (en) * 2015-11-11 2019-02-05 Adobe Inc. Content sharing collections and navigation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001175380A (ja) * 1999-12-20 2001-06-29 Wellstone Inc 情報インデックス表示方法とその装置
JP2001351127A (ja) * 2000-06-07 2001-12-21 Sharp Corp データ表示システム
JP2009110151A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2012069097A (ja) * 2010-08-26 2012-04-05 Canon Inc データ検索結果の表示方法およびデータ検索結果の表示装置、プログラム
JP2013025645A (ja) * 2011-07-22 2013-02-04 Canon Inc 情報処理装置、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3444731A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013274A (ja) * 2018-07-17 2020-01-23 富士通株式会社 表示プログラム、表示装置及び表示方法
WO2020099986A1 (ja) * 2018-11-15 2020-05-22 株式会社半導体エネルギー研究所 コンテンツの分類方法
JPWO2020099986A1 (ja) * 2018-11-15 2021-11-04 株式会社半導体エネルギー研究所 コンテンツの分類方法
JPWO2021181654A1 (ja) * 2020-03-13 2021-09-16
WO2021181654A1 (ja) * 2020-03-13 2021-09-16 三菱電機株式会社 情報処理装置、プログラム及び情報処理方法
JP7130153B2 (ja) 2020-03-13 2022-09-02 三菱電機株式会社 情報処理装置、プログラム及び情報処理方法
KR20220127347A (ko) * 2020-03-13 2022-09-19 미쓰비시덴키 가부시키가이샤 정보 처리 장치, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 정보 처리 방법
KR102552786B1 (ko) 2020-03-13 2023-07-06 미쓰비시덴키 가부시키가이샤 정보 처리 장치, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 정보 처리 방법

Also Published As

Publication number Publication date
US10891765B2 (en) 2021-01-12
US20190035122A1 (en) 2019-01-31
EP3444731A4 (en) 2019-05-08
EP3444731A1 (en) 2019-02-20
JPWO2017179258A1 (ja) 2019-02-14
JP6977715B2 (ja) 2021-12-08

Similar Documents

Publication Publication Date Title
JP6977715B2 (ja) 情報処理装置、及び情報処理方法
US20170243578A1 (en) Voice processing method and device
KR20160091725A (ko) 음성 인식 방법 및 장치
WO2015127739A1 (zh) 联系人的分组处理方法及装置
CN108764051B (zh) 图像处理方法、装置及移动终端
US11531835B2 (en) Electronic device for controlling predefined function based on response time of external electronic device on user input, and method thereof
TWI834837B (zh) 用於訓練神經網路的方法及系統
WO2018107580A1 (zh) 一种信息提示的方法及装置
US20220108713A1 (en) Acoustic zooming
CN111354434A (zh) 电子装置及其提供信息的方法
EP4235379A1 (en) Electronic device and multi-window control method of electronic device
TW202034648A (zh) 無線通信系統以及操作無線通信系統的方法
US20230164103A1 (en) Electronic device providing notification and method for operating the same
US20200125398A1 (en) Information processing apparatus, method for processing information, and program
JP2016143310A (ja) 情報処理装置、画像処理方法及びプログラム
US20170206898A1 (en) Systems and methods for assisting automatic speech recognition
WO2016206642A1 (zh) 机器人的控制数据的生成方法及装置
RU2540844C2 (ru) Способ и устройство для выбора приемника
WO2016189905A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11163378B2 (en) Electronic device and operating method therefor
US11928263B2 (en) Electronic device for processing user input and method thereof
US11997445B2 (en) Systems and methods for live conversation using hearing devices
WO2018139050A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN109313506A (zh) 信息处理装置、信息处理方法和程序
US12067171B1 (en) Systems and methods for operating artificial reality devices using gestures

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018511887

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017782077

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017782077

Country of ref document: EP

Effective date: 20181112

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17782077

Country of ref document: EP

Kind code of ref document: A1