WO2019065582A1 - 画像データ判別システム、画像データ判別プログラム、画像データ判別方法、及び撮像システム - Google Patents

画像データ判別システム、画像データ判別プログラム、画像データ判別方法、及び撮像システム Download PDF

Info

Publication number
WO2019065582A1
WO2019065582A1 PCT/JP2018/035326 JP2018035326W WO2019065582A1 WO 2019065582 A1 WO2019065582 A1 WO 2019065582A1 JP 2018035326 W JP2018035326 W JP 2018035326W WO 2019065582 A1 WO2019065582 A1 WO 2019065582A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
classification
unit
information
classification rule
Prior art date
Application number
PCT/JP2018/035326
Other languages
English (en)
French (fr)
Inventor
裕貴 市村
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2019065582A1 publication Critical patent/WO2019065582A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems

Definitions

  • the present invention relates to an image data discrimination system, an image data discrimination program, an image data discrimination method, and an imaging system, and more particularly to discrimination and classification of image data.
  • An imaging device such as a digital camera that stores image data using a format of electronic data is known. Organizing a large amount of image data captured using a digital camera is a cumbersome task for the user. A user can spend an enormous amount of time manually organizing a large amount of image data.
  • Patent Document 1 describes an imaging device that automatically adds image classification information to image data obtained by imaging for the purpose of facilitating management of a large amount of image data stored in the imaging device. There is.
  • the imaging device described in Patent Document 1 analyzes image data, performs image recognition processing with registered image information, generates image classification information, and classifies the image data into an image group based on the image classification information. I remember.
  • Patent Document 2 describes an image classification device using a machine learning method.
  • the image classification device described in Patent Document 2 is configured to be able to classify an image reflecting the user's intention.
  • Patent Document 2 describes the generation of model data used for image classification.
  • the image classification device described in Patent Document 2 corrects and updates model data according to the content of the user's correction operation when the user receives correction of a mistake in the automatic classification result.
  • Patent Document 3 describes a keyword assignment device that assigns a keyword that reflects the preference of the user by changing the hierarchy of the keyword assigned to the input image according to the keyword classification frequency.
  • Patent Document 1 automatically adds the image classification information to all image data obtained by image pickup, it is possible to use personal image data that reflects the user's preference. It is difficult to classify.
  • the image classification device described in Patent Document 2 causes the user to reflect the correction of the error of the automatic classification result in the correction update of the model data
  • the image data stored in the imaging device of the user is the model data. It has not been reflected in the correction update.
  • Patent Document 3 changes the hierarchy of keywords assigned to an input image to enable detailed classification, Patent Document 3 does not describe updating of the resolution structure of keywords.
  • An object of the present invention is to provide an image data discrimination system, an image data discrimination program, an image data discrimination method, and an imaging system.
  • An image data discrimination system includes an image data acquisition unit configured to acquire first image data captured using a user's imaging device and to which classification information is added, and a second target to which classification information is added.
  • a classification rule acquiring unit for acquiring a classification rule for image data
  • a classification rule updating unit for updating the classification rule based on the correspondence between the first image data and the classification information attached to the first image data.
  • the classification rule is updated using the first image data which is imaged using the imaging device of the user and to which the classification information is added. Therefore, based on the first image data obtained by imaging by the user and the classification information added to the first image data, the classification rule to which personal classification information in which the preference of the user is reflected can be added is obtained It is possible.
  • the imaging device of the user is an imaging device used by the user for imaging, and represents an imaging device in which a first image to which classification information used for updating classification rules is added is stored.
  • the classification rule is a rule used when automatically assigning classification information representing the type of image data, an attribute of the image data, and the like to the image data.
  • a tag is an example of classification information.
  • An example of the first image data is image data stored in an image data storage unit provided in the imaging device of the user.
  • the second image data may be acquired from the imaging device of the user.
  • the second image data may be stored from a storage device of the user.
  • the second image data may be acquired from a storage device connected to the network.
  • the second image data image data to which classification information has not been applied is applied.
  • the second image data may be image data to which classification information is added.
  • new classification information is given to the second image data, both the given classification information and the newly given classification information can be used.
  • new classification information is added to the second image data, the added classification information may be deleted.
  • the second aspect is the image data discrimination system according to the first aspect, wherein the classification rule is applied to the discrimination unit for assigning the classification information to the second image data, and the update request for outputting the update request information for prompting the update of the classification rule.
  • An information output unit, the update prompting information output unit using the determination unit to assign classification information to the second image data, image data to which the classification information is not attached, and an image to which the intended classification information is not attached The update prompting information may be output when at least one of the data is a predetermined number or more, or a predetermined ratio to the number of image data to be determined.
  • the update request information of the classification rule is output according to the addition result of the classification information added to the second image data using the determination unit. This may motivate the user to update the classification rules.
  • the classification rule update unit may update the classification rule when the update prompting information is output.
  • the classification rule is automatically updated according to the addition result of the classification information added to the second image data using the determination unit.
  • the image data discrimination system of the second aspect or the third aspect may be configured to include a correction unit that corrects classification information attached to the second image data using the discrimination unit.
  • the fourth aspect it is possible to correct the classification information provided based on the classification rule. This allows the user to customize classification information.
  • the classification rule updating unit updates the classification rule based on the correspondence between the second image data and the classification information corrected using the correction unit. It is also good.
  • the classification rule is updated based on the correspondence between the second image data and the corrected classification information. This is expected to improve the accuracy of classification rules.
  • a sixth aspect is the image data discrimination system according to any one of the first aspect to the fifth aspect, wherein the image data acquisition unit is a third storage unit storing the third image data to which the classification information is added.
  • the image data is acquired, and the classification rule update unit determines the correspondence between the first image data and the classification information attached to the first image data, and the third image data and the classification information attached to the third image data.
  • the classification rule may be updated based on the correspondence relationship.
  • the third image data may compensate for the number of image data belonging to the same category.
  • the third image data may be supplemented with image data belonging to different categories.
  • a seventh aspect is the image data discrimination system according to the sixth aspect, wherein the classification rule update unit selects third image data corresponding to the selection information from the image data stored in the storage unit, and the image data acquisition unit Alternatively, third image data corresponding to the selection information may be acquired.
  • the seventh aspect when acquiring the third image data, it is possible to acquire the third image data according to the preference of the user using selection information according to the preference of the user.
  • the classification rule acquiring unit is determined based on image data management information for managing the first image data in the imaging device of the user.
  • the classification rules may be acquired.
  • the eighth aspect it is possible to use the relationship between the first image data and the management information of the first image data as the initial state of the classification rule.
  • a ninth aspect relates to the image data discrimination system according to any one of the first aspect to the eighth aspect, wherein the classification rule updating unit classifies the image data management information for managing the first image data in the imaging device of the user.
  • the rules may be updated.
  • the classification rule can be updated using the relationship between the first image data and the image data management information of the first image data.
  • management information of image data examples include file management information that manages files of image data, and folder management information that manages folders in which files of image data are stored.
  • a tenth aspect is the image data discrimination system according to any one of the first aspect to the ninth aspect, including a classification rule transmission unit that transmits the classification rule updated using the classification rule update unit to the imaging device. It may be
  • the imaging device it is possible to automatically assign classification information to image data obtained by imaging.
  • the classification rule updating unit sets the correspondence between the classification information and the image data to which the classification information is added as correct data.
  • the classification rules may be updated using machine learning.
  • An image data discrimination system is an image data discrimination system including an imaging device communicably connected to a computer via a network, wherein the computer is imaged using a user's imaging device, and An image data acquisition unit for acquiring first image data to which classification information is added; a classification rule acquisition unit for acquiring classification rules for second image data to which classification information is to be added; first image data; It is an image data discrimination system provided with the classification rule updating part which updates a classification rule based on correspondence with classification information given to image data.
  • the same effect as that of the first aspect can be obtained.
  • the second image data can be transmitted from the imaging device of the user to the computer via the network.
  • a server device communicably connected to a computer via a network, and third image data to which classification information is added are stored, and the server device
  • the image data acquisition unit acquires the third image data from the storage unit
  • the classification rule update unit associates the first image data with the classification information attached to the first image data.
  • the classification rule may be updated based on the relationship and the correspondence between the third image data and the classification information assigned to the third image data.
  • the third image data can be acquired from the storage unit included in the server device. This makes it possible to obtain third image data from among a large number of image data.
  • the imaging device may be communicably connected to the computer via the network.
  • the imaging device can obtain classification rules from a computer via a network.
  • An image data discrimination program is an image data acquisition function for acquiring first image data captured with a user's imaging device and to which classification information is added to a computer, an object to which classification information is added
  • a classification rule acquisition function that acquires classification rules for the second image data
  • a classification rule update function that updates classification rules based on the correspondence between the first image data and the classification information attached to the first image data It is an image data discrimination program to be performed.
  • the same matters as the matters specified in the second to eleventh, thirteenth, and fourteenth aspects can be combined as appropriate.
  • the component carrying the processing or function specified in the image data judgment system can be grasped as the component of the image data judgment program carrying the processing or function corresponding to this.
  • a fifteenth aspect is a system having at least one or more processors and at least one or more memories, wherein the processor is a first image captured using a user's imaging device and provided with classification information.
  • An image data acquisition function of acquiring data, a classification rule acquisition function of acquiring classification rules for second image data to which classification information is to be applied, first image data, and classification information attached to first image data The present invention can be configured as a system that implements a classification rule update function that updates classification rules based on correspondence relationships.
  • An image data discrimination method is an image data acquisition step of acquiring first image data captured using an imaging device of a user and to which classification information is added, and a second of an object to which classification information is added And a classification rule updating step of updating the classification rule based on the correspondence between the first image data and the classification information given to the first image data. It is an image data discrimination method.
  • the same matters as the matters specified in the second aspect to the eleventh aspect, the thirteenth aspect, and the fourteenth aspect can be combined as appropriate.
  • the component carrying the processing or function specified in the image data judgment system can be grasped as a component of the image data judgment method carrying the processing or function corresponding to this.
  • An imaging system is an imaging device of a user, including a determination unit configured to image a subject and apply classification rules set in advance to image data obtained by imaging to provide classification information.
  • An imaging device an image data acquisition unit for acquiring first image data imaged with a user's imaging device and to which classification information is added, and a classification rule for second image data to which classification information is to be added
  • An imaging system comprising: a classification rule acquisition unit; and a classification rule update unit that updates the classification rule based on the correspondence between the first image data and the classification information attached to the first image data.
  • the same matters as the matters specified in the second to eleventh, thirteenth, and fourteenth aspects can be combined as appropriate.
  • the component carrying the processing or function specified in the image data discrimination system can be grasped as the component of the imaging system carrying the processing or function corresponding thereto.
  • An eighteenth aspect is the imaging system according to the seventeenth aspect, further comprising a classification rule transmission unit that transmits the classification rule updated using the classification rule update unit to the imaging device, and the imaging device is updated using the classification rule update unit It is good also as composition provided with the classification rule receiving part which receives the classified classification rule.
  • the imaging device can obtain the updated classification rule. This makes it possible to automatically assign classification information to image data obtained by imaging using an imaging device.
  • the classification rule is updated using the first image data which is imaged using the imaging device of the user and to which the classification information is added.
  • FIG. 1 is a block diagram showing an entire configuration of an imaging system.
  • FIG. 2 is a block diagram showing a schematic configuration of the camera shown in FIG.
  • FIG. 3 is a block diagram showing a schematic configuration of the computer shown in FIG.
  • FIG. 4 is a flow chart showing the flow of the procedure of discriminator generation.
  • FIG. 5 is a flowchart showing the flow of the procedure for updating the classifier.
  • FIG. 6 is a view showing an example of a keyword input screen in image collection.
  • FIG. 7 is an explanatory diagram of an example of folder information in the camera.
  • FIG. 8 is an explanatory diagram of an example in which folder information is applied to a tag.
  • FIG. 9 is an explanatory diagram of an example of a feature amount database for each tag.
  • FIG. 1 is a block diagram showing an entire configuration of an imaging system.
  • FIG. 2 is a block diagram showing a schematic configuration of the camera shown in FIG.
  • FIG. 3 is a block diagram showing a schematic configuration of
  • FIG. 10 is an explanatory diagram of an example of the update request information output.
  • FIG. 11 is an explanatory diagram of an example of a tag input screen in the manual correction of a tag.
  • FIG. 12 is a block diagram of an imaging system showing an application example of a network system.
  • FIG. 1 is a block diagram showing an entire configuration of an imaging system.
  • the imaging system 10 shown in FIG. 1 has an image data discrimination function.
  • the image data discrimination function is a function of automatically performing a tag representing the content of image data, the type of image data, the attribute of the image data, and the like with respect to the image data.
  • the tag attached to the image data can be used as a search key when searching for desired image data among a plurality of image data.
  • the imaging system 10 shown in FIG. 1 includes a computer 12 and a camera 14.
  • the PC attached to the computer 12 is an abbreviation of personal computer in English, which represents a personal computer.
  • the computer 12 is communicably connected to the camera 14.
  • the computer 12 is connected to cloud computing denoted by reference numeral 16.
  • cloud computing is described as a cloud.
  • the cloud 16 is a network system including at least one computer.
  • the network system to which the computer 12 is connected is not limited to the cloud computing system.
  • the computer 12 can be connected to any network system.
  • the computer 12 is communicably connected to the portable terminal 18.
  • Examples of the portable terminal 18 include portable computers, tablet terminals, and portable communication devices such as smartphones. Wireless communication is applied to communication between the computer 12 and the portable terminal 18.
  • the computer 12 can obtain image data 30 from a camera 14 communicably connected. Further, the computer 12 can acquire the image data 32 from the cloud 16 communicably connected.
  • the image data 30 transmitted from the camera 14 to the computer 12 corresponds to first image data.
  • the image data 32 transmitted from the cloud 16 to the computer 12 corresponds to third image data.
  • the computer 12 includes a discriminator generation unit 20.
  • the computer 12 includes a learning device 22.
  • the discriminator generation unit 20 generates a discriminator that applies a tag to the image data. Also, the discriminator generation unit 20 updates the discriminator. Illustration of the discriminator in the computer 12 is omitted.
  • the discriminator includes a processor that performs signal processing, a program that causes the processor to perform signal processing, and a tagging rule that is applied to the signal processing.
  • the generation of discriminator represents the generation of tagging rules.
  • Discriminator updates represent tagging rule updates.
  • the discriminator corresponds to a discriminator.
  • discriminator in the following description may be used as a term that means a tagging rule that implements the function of the discriminator.
  • the tag is an example of classification information.
  • Tagging rules are an example of classification rules.
  • the image data to be tagged in the computer 12 corresponds to second image data. Image data to be tagged may be acquired from the camera 14, a storage device of a user (not shown), a storage device (not shown) capable of communicating with the computer 12, or the like.
  • the image data to be tagged may be untagged or may be tagged.
  • the previously added tag and the new tag may be used in combination, or the previously added tag may be deleted.
  • the learning device 22 performs machine learning.
  • the discriminator generation unit 20 generates a tagging rule to be applied to the discriminator using the learning device 22. Also, the discriminator generation unit 20 updates the tagging rule applied to the discriminator using the learning device 22.
  • machine learning using correct data of correspondence between image data and a tag is applied. The correct answer data may be called supervised data. In addition, machine learning may apply unsupervised learning.
  • the tagging rule of the classifier generated using the classifier generation unit 20 is transmitted from the computer 12 to the camera 14 via the communication function of the computer 12 and the communication function of the camera 14.
  • the camera 14 comprises a discriminator 40.
  • the discriminator 40 automatically assigns a tag to image data obtained by imaging using the imaging function of the camera 14. That is, the camera 14 is a camera having an automatic tagging function.
  • the discriminator 40 includes a processor that executes signal processing, a program that causes the processor to execute signal processing, and tagging rules applied to the signal processing.
  • the camera 14 can download the latest tagging rules from the computer 12 and update the tagging rules applied to the discriminator 40.
  • updating of the tagging rules applied to the discriminator may be referred to as updating of the discriminator.
  • generation of a tagging rule applied to a discriminator may be described as generation of a discriminator.
  • FIG. 2 is a block diagram showing a schematic configuration of the camera shown in FIG.
  • the camera 14 is a digital camera that generates image data in a digital format of a subject.
  • the camera 14 includes an imaging unit 41, a signal processing unit 42, and a camera control unit 44.
  • the imaging unit 41 includes an imaging lens (not shown) and an image sensor (not shown).
  • the imaging lens is configured by combining a plurality of lenses.
  • the imaging lens includes a focusing lens group (not shown) and a zoom lens group (not shown).
  • the imaging unit 41 includes a focus lens group drive unit that drives the focus lens group, and a zoom lens group drive unit that drives the zoom lens group.
  • the focus lens group drive unit and the zoom lens group drive unit include an actuator and an actuator drive circuit.
  • the focus lens group drive unit, the zoom lens group drive unit, the actuator, and the actuator drive circuit are not shown.
  • the focus lens group drive unit is operated to move the focus lens group along the optical axis of the focus lens group. This adjusts the focus.
  • the zoom lens group drive unit is operated to move the zoom lens group along the optical axis of the zoom lens group. This adjusts the zoom.
  • the photographing lens may include a diaphragm and a diaphragm driving unit (not shown).
  • the diaphragm drive mechanism adjusts the aperture of the diaphragm. Thereby, adjustment of the incident light quantity to an image sensor is possible.
  • the image sensor receives light passing through the imaging lens to capture an image.
  • the image sensor is configured of a known two-dimensional image sensor such as a CMOS type or a CCD type.
  • CMOS is an abbreviation of complementary metal-oxide semiconductor, which is an English notation representing a complementary metal oxide semiconductor.
  • CCD is an abbreviation for charge coupled device which stands for charge coupled device.
  • the signal processing unit 42 includes an analog signal processing unit (not shown) and a digital signal processing unit (not shown).
  • the analog signal processing unit takes in an analog image signal for each pixel output from the image sensor of the imaging unit 41, and performs signal processing on the analog image signal.
  • Signal processing for an analog image signal includes correlated double sampling processing, amplification processing, and the like.
  • the analog signal processor includes an ADC.
  • the ADC converts an analog image signal into a digital image signal and outputs it.
  • ADC is an abbreviation of analog to digital converter, which is an English-language notation for an analog-to-digital converter.
  • An analog-to-digital converter may be called an AD converter.
  • the digital signal processing unit takes in the digital image signal output from the analog signal processing unit, performs signal processing on the digital image signal, and generates image data.
  • the generated image data is stored in the storage unit 48 via the camera control unit 44.
  • Signal processing on digital image signals includes tone conversion processing, white balance correction processing, gamma correction processing, synchronization processing, YC conversion processing, and the like.
  • Y represents luminance.
  • C represents a color difference.
  • the digital signal processing unit detects the information of the brightness of the subject necessary for the exposure control based on the captured image signal. Information on the detected brightness of the subject is output to the camera control unit 44.
  • the digital signal processing unit detects information of the contrast of the subject necessary for the autofocus control based on the captured image signal.
  • the detected contrast information is output to the camera control unit 44.
  • the camera control unit 44 functions as a control unit that generally controls the entire operation of the camera 14. Further, the camera control unit 44 functions as an arithmetic processing unit that calculates a physical quantity necessary for controlling the camera 14.
  • the camera control unit 44 is configured using a computer including a CPU, a RAM, and a ROM, or a microcomputer.
  • the CPU is an abbreviation of central processing unit, which is an English notation representing a central processing unit.
  • the RAM is an abbreviation of random access memory, which is an English notation representing a storage element that can be read out immediately.
  • the ROM is an abbreviation of read only memory, which is an English notation representing a read only memory element.
  • the camera control unit 44 executes a focus control program, an exposure control program, a display control program, and the like to realize various functions.
  • the program executed by the camera control unit 44 and various data required for control executed by the camera control unit 44 are stored in the ROM.
  • the camera 14 includes a display unit 46.
  • the display unit 46 is provided on the back of the main body of the camera 14.
  • the display unit 46 uses an LCD.
  • LCD is an abbreviation for liquid crystal display, which is an English notation for liquid crystal display devices.
  • the display of the display unit 46 is controlled via an LCD driver (not shown).
  • the display unit 46 displays a through image of the subject.
  • the image data stored in the storage unit 48 is displayed.
  • the display unit 46 displays the tag added to the image data.
  • the display content of the display unit 46 is switched according to the mode setting of the camera 14.
  • the storage unit 48 stores various data including image data.
  • the storage unit 48 includes a built-in memory and a control circuit that reads and writes data from and to the built-in memory.
  • the built-in memory is configured of non-volatile memory such as EEPROM. Reading and writing of data with respect to the storage unit 48 is controlled using the camera control unit 44.
  • EEPROM is an abbreviation of electrically erasable programmable read only memory, which is an English notation representing an electrically erasable and writable storage element.
  • the storage unit 48 can be configured using an external memory such as a memory card.
  • the camera 14 includes a card slot or the like for loading a memory card.
  • the operation unit 50 outputs a signal corresponding to the operation of each operation member to the camera control unit 44.
  • Examples of the operation member disposed in front of the camera 14 include a power button, a shutter button, and a moving image shooting button.
  • Examples of operation members disposed on the back of the camera 14 include a wide-angle zoom button, a telephoto zoom button, a playback button, a lock release button, a selector button, a display / return button, a continuous shooting switching button, and the like.
  • the communication unit 52 communicates with an external device using radio or wire under the control of the camera control unit 44, and transmits / receives various signals to / from each other.
  • the communication method is not particularly limited, and is a commonly used communication method, such as a communication method based on the wireless LAN standard, a communication method based on the specific power saving wireless standard, a communication method using a mobile telephone network, etc. And a communication method according to the USB standard, etc. are used.
  • LAN is an abbreviation of local area network.
  • USB is an abbreviation of universal serial bus.
  • the camera 14 includes a discriminator 40.
  • the discriminator 40 shown in FIG. 2 is the discriminator shown in FIG. Here, the description of the discriminator 40 is omitted.
  • FIG. 3 is a block diagram showing a schematic configuration of the computer shown in FIG.
  • the computer 12 includes a computer control unit 60, a classifier generation unit 20, a learning device 22, an image data acquisition unit 62, a classifier storage unit 64, a classifier correction unit 66, an update request information output unit 68, a communication unit 70, and an operation unit. 72, a display unit 74, and a program storage unit 76.
  • the computer control unit 60 is an overall control unit of the computer 12.
  • the computer control unit 60 can apply the same configuration as the camera control unit 44 shown in FIG.
  • the discriminator generation unit 20 generates a discriminator not shown.
  • the classifier is stored in the classifier storage unit 64.
  • the classifier generation unit 20 may generate a default classifier.
  • the generation of the discriminator mentioned here is an aspect of acquisition of the discriminator.
  • the discriminator generation unit 20 is an example of a classification rule acquisition unit.
  • the classifier generation unit 20 may acquire a default classifier.
  • the discriminator generation unit 20 is an example of a classification rule update unit.
  • the learning device 22 is the learning device 22 shown in FIG. Here, the explanation of the learning device 22 is omitted.
  • the image data acquisition unit 62 acquires image data via the communication unit 70.
  • the image data acquisition unit 62 acquires image data used when generating a discriminator.
  • the image data acquisition unit 62 acquires image data of a target to which a tag is to be attached using a discriminator.
  • the image data acquisition unit 62 can acquire the image data 30 from the camera 14 shown in FIG. Further, the image data acquisition unit 62 illustrated in FIG. 3 may acquire the image data 32 from the cloud 16 illustrated in FIG. 1.
  • the classifier storage unit 64 applies a tagging rule applied to a classifier generated using the classifier generation unit 20 or a tagging rule applied to a classifier updated using the classifier generation unit 20.
  • a semiconductor storage medium such as a memory device and a storage medium such as a magnetic storage medium such as a hard disk are applied.
  • Discriminator correction section The classifier correction unit 66 manually corrects the tagging rule based on the information input from the outside. Examples of the information input from the outside include information input by operating the operation unit 72 by the user.
  • the update prompting information output unit 68 outputs update prompting information for prompting an update of the discriminator.
  • the update request information output formats such as text information and voice information can be applied.
  • the communication unit 70 communicates with an external device using radio or wire under the control of the computer control unit 60, and transmits / receives various signals to / from each other.
  • the same configuration as that of the communication unit 52 of the camera 14 shown in FIG. 2 is applicable.
  • Operation part operates operation members such as a keyboard and a mouse to convert input information into an electric signal. An electrical signal representing input information output from the operation unit 72 is transmitted to the computer control unit 60.
  • Display section a display device such as an LCD display device is applied.
  • the display unit 74 can display an image corresponding to the image data acquired using the image data acquisition unit 62.
  • the display unit 74 can display the update prompting information output as the text information from the update prompting information output unit 68.
  • the display unit 74 may be shared with at least a part of the operation unit 72 by applying a touch panel display device.
  • Program storage unit The program storage unit 76 stores various programs used by the computer control unit 60 for various processes.
  • the computer control unit 60 reads a program from the program storage unit 76 and executes the program to execute various processes.
  • FIG. 4 is a flowchart showing the flow of the procedure of the classifier generation method.
  • the image data acquisition step S10 transmits image data from the camera 14 shown in FIG. 2 to the computer 12 shown in FIG.
  • the image data acquisition unit 62 of the computer 12 acquires the image data transmitted from the camera 14 shown in FIG.
  • the image data acquired by the computer 12 shown in FIG. 3 is image data to which a tag used to generate a discriminator is attached.
  • image data is acquired from the camera 14 shown in FIG. 2 which is the camera of the user.
  • the process proceeds to a classifier generation and selection process S12.
  • discriminator generation and selection step S12 whether or not to generate a discriminator is selected in accordance with the selection information input using the operation unit 72 of the computer 12 shown in FIG.
  • the discriminator generation / selection step S12 shown in FIG. 4 when generation of a discriminator is selected, the determination is Yes. In the case of a Yes determination, the process proceeds to a use image selection step S14. On the other hand, when the generation of the classifier is not selected in the classifier generation and selection step S12, the determination is No. If the determination is No, the discriminator generation method ends.
  • the use image selection step S14 it is selected based on the selection information input using the operation unit 72 shown in FIG. 3 whether or not only the user's image is to be used.
  • the image of the user is image data acquired from the camera 14 shown in FIG. 2 by the computer 12 shown in FIG. 3 in the image data acquisition step S10 shown in FIG.
  • the process proceeds to the tagging step S18.
  • the determination is No. If the determination is No, the process proceeds to the image data collecting step S16.
  • the discriminator shown in FIG. The generation unit 20 may automatically select.
  • the image data is insufficient only with the user's image, the number of image data in any category is insufficient in the discriminator generation, and the number of categories of image data is insufficient in the discriminator generation.
  • the computer 12 shown in FIG. 3 collects image data 32 from the cloud 16 shown in FIG.
  • a keyword search can be applied to image acquisition in the image data acquisition step S16.
  • the keyword can be input using the operation unit 72 of the computer 12 shown in FIG.
  • the term “cooking” is set as a keyword, and image data tagged as “cooking” and image data tagged as "categorizing terms of cooking such as Japanese food and Western food” are collected.
  • image data collecting step S16 a plurality of keywords may be set, and a logical product of a plurality of keywords or a logical sum of a plurality of keywords may be used.
  • keyword is a keyword that can be associated with a scene where the user has little opportunity to perform imaging. For example, a user who has little opportunity to capture a landscape sets a keyword related to the landscape and collects image data associated with the keyword.
  • the keyword is an example of selection information.
  • Information representing a keyword used for the search is transmitted to the cloud 16 of FIG. 1 via the communication unit 70 of the computer 12 shown in FIG.
  • the cloud 16 of FIG. 1 collects tagged image data corresponding to the keyword transmitted from the computer 12.
  • the cloud 16 transmits the collected tagged image data to the computer 12.
  • the process proceeds to the tagging step S18 shown in FIG.
  • the discriminator generation unit 20 shown in FIG. 3 attaches a tag to the image data to which the tag is not attached among the image data used to generate the discriminator.
  • supervised learning data is generated in which a combination of image data and a tag is a correct pair.
  • the correct answer pair can apply a combination of image data to which a tag is attached and a tag attached to the image data. For example, image data already tagged using a user's smartphone or the like and image data used for past learning can be applied as a correct pair.
  • the process proceeds to a classifier generation step S20.
  • the discriminator generation step S20 machine learning is performed using the correct pair generated in the tagging step S18 to generate a discriminator.
  • the learning device 22 shown in FIG. 3 is applied.
  • the discriminator generation step S20 shown in FIG. 4 as a result of machine learning, a database representing the correspondence between each tag and the feature amount of image data corresponding to each tag is created.
  • the process proceeds to a discriminator download step S22.
  • the tagging rule which is the discriminator generated in the discriminator generation step S20, is transmitted from the computer 12 shown in FIG. 3 to the camera 14 shown in FIG. The camera 14 applies the tagging rules to the discriminator 40.
  • the discriminator generation unit 20, the computer control unit 60, and the communication unit 70 of the computer 12 illustrated in FIG. 3 are an example of components of a classification rule transmission unit that transmits classification rules.
  • the communication unit 52 of the camera 14 and the camera control unit 44 illustrated in FIG. 2 are an example of components of the classification rule reception unit.
  • the classifier generation method ends.
  • the camera 14 shown in FIG. 2 uses the discriminator 40 to automatically attach a tag to image data obtained by capturing immediately after capturing.
  • the discriminator 40 downloaded to the camera 14 extracts the feature points of the image data obtained by imaging using the image recognition technology, and calculates the feature amount. Then, with reference to a database representing the correspondence with the feature amounts of the image data corresponding to the respective tags, tagging corresponding to the feature amounts of the image data is performed.
  • FIG. 5 is a flowchart showing the flow of the procedure of the classifier updating method.
  • the flowchart shown in FIG. 5 shows a procedure for updating a tagging rule, which is a discriminator generated using the discriminator generation method shown in FIG.
  • the image acquisition step S100 shown in FIG. 5 is similar to the image data acquisition step S10 shown in FIG.
  • the computer 12 shown in FIG. 3 acquires tagged image data used for updating the discriminator.
  • the classifier update selection step S104 is similar to the classifier generation selection step S12 shown in FIG. If generation of a classifier is not selected in the classifier update selection step S104, the determination is No. If the determination is No, the process proceeds to the determination result determination step S106.
  • the classifier generation method shown in FIG. 4 may be used to generate a classifier.
  • the generated discriminator is a discriminator to be updated.
  • N is an integer of 1 or more. N is determined according to the performance of the discriminator and the performance required of the discriminator.
  • step S108 using the update prompting information output unit 68 of the computer 12 shown in FIG. 3, information prompting that the discriminator should be updated is outputted. Character information representing the update prompting information can be displayed on the display unit 74 of the computer 12.
  • the process proceeds to the use image selection step S110. That is, when the update request information is output, the discriminator generation unit 20 of the computer 12 shown in FIG. 3 automatically updates the discriminator.
  • the process proceeds to the use image selection step S110.
  • the use image selection step S110 is the same as the use image selection step S14 shown in FIG.
  • the image data of the user in the use image selection step S110 shown in FIG. 5 is the image data transmitted from the camera 14 shown in FIG. 2 acquired in the image acquisition step S100.
  • the determination is No. If the determination is No, the process proceeds to the image data collecting step S112.
  • the image data collecting step S112 is similar to the image data collecting step S16 shown in FIG. After the image data collecting step S112, the process proceeds to the classifier updating step S114 shown in FIG. On the other hand, in the use image selection step S110, when the classifier is updated using only the image of the user, the determination is Yes. In the case of a Yes determination, the process proceeds to the classifier updating step S114.
  • the classifier generation unit 20 of the computer 12 shown in FIG. 3 receives the image data of the user acquired in the image acquisition step S100, or the image data of the user acquired in the image acquisition step S100, and the image data The classifier is updated using the image data acquired in the collection step S112.
  • the updating of the discriminator is performed by executing machine learning using the discriminator generating unit 20 of the computer 12 shown in FIG. 3 as in the discriminator generating step S20 shown in FIG.
  • the process proceeds to the determination result determination step S116.
  • the classifier updating step S114 includes a classification rule acquiring step as a component.
  • the classifier update step S114 includes a classification rule update step as a component.
  • the determination result determination step S116 using the classifier updated in the classifier update step S114, tagging is performed on the image data to which the tag has not been assigned. In the determination result determination step S116, if there is image data that can not satisfy the result of the tagging, the determination is No. If the determination is No, the process proceeds to the classifier correction step S118.
  • image data to which no tag is attached image data to which a tag different from the tag considered by the user is attached
  • image data to which a tag different from the tag considered by the user is attached image data to which a tag different from the tag considered by the user is attached
  • Image data etc. which you want to give are mentioned.
  • the user performs manual correction of the tag using the operation unit 72 of the computer 12 shown in FIG.
  • the tagged image data is a tag.
  • the tag is changed manually. After the classifier correction step S118, the process proceeds to a classifier update step S114.
  • the classifier update step S114 the classifier is updated using the image data whose tag has been corrected and the corrected tag. Thereafter, the discriminator update step S114, the discriminant result determination step S116, and the discriminator correction step S118 are repeatedly executed until the determination result in the discrimination result determination step S116 becomes Yes.
  • the determination is Yes.
  • the discriminator update method ends.
  • classifier generation method shown in FIG. 4 and the classifier update method shown in FIG. 5 are not limited to the above example.
  • the discriminator generation method shown in FIG. 4 and the discriminator update method shown in FIG. 5 can add, delete, and change processes.
  • FIG. 6 is a view showing an example of a keyword input screen in image collection.
  • the search screen 100 shown in FIG. 6 is displayed on the display unit 74 of the computer 12 shown in FIG. 3 in the image data collection step S16 shown in FIG. 4 and the image data collection step S112 shown in FIG.
  • the image data stored in the cloud 16 can be extracted using the keyword as a search key.
  • the user can input a keyword on the search screen 100 shown in FIG. 6 using the operation unit 72 of the computer 12 shown in FIG.
  • the search screen 100 shown in FIG. 6 displays a first keyword input unit 102, a second keyword input unit 104, and a third keyword input unit 106 that can input three types of keywords.
  • the search screen 100 shown in FIG. 6 is configured to be able to set a logical product of three types of keywords as a search keyword.
  • a disjunction of a plurality of keywords may be settable as a search keyword.
  • the logical product and the logical sum may be configured to be switchable.
  • the first keyword input unit 102 shown in FIG. 6 receives plant observation as a keyword. Also, in the second keyword input unit 104, Tohoku is input as a keyword. The plant observation and the image data to which the tag of Tohoku is added, which is the input information of the search screen 100, are collected.
  • the search screen 100 shown in FIG. 6 displays an add button 108 for adding a keyword.
  • the user can operate the add button 108 to add a keyword.
  • the search screen 100 displays an OK button 110 for confirming the keyword.
  • the user can operate the OK button 110 to confirm the keyword.
  • FIG. 7 is an explanatory diagram of an example of folder information in the camera.
  • Folder information is an example of image data management information that manages first image data.
  • the picture folder 120 illustrated in FIG. 7 is an example of an area in which the image data is stored in the storage unit 48 of the camera 14 illustrated in FIG. 2. Image data obtained by imaging using the camera 14 is temporarily stored in the picture folder 120.
  • the camera 14 generates one or more subfolders in the picture folder 120.
  • the camera 14 is configured to be able to save image data to a subfolder generated by the user.
  • a travel folder 122, a cooking folder 124, and a sports folder 126 are generated as subfolders.
  • the travel folder 122, the cooking folder 124, and the sports folder 126 have folder names assigned by the user.
  • the travel in the travel folder 122, the food in the cooking folder 124, and the sport in the sports folder 126 are folder names given by the user.
  • the folder name is an example of folder information.
  • the camera 14 is configured to be able to generate one or more subfolders in the subfolders.
  • the Kyushu folder 128 shown in FIG. 7 is a sub-folder generated in the travel folder 122.
  • the beverage folder 130 is a sub-folder generated in the cooking folder 124.
  • the marathon folder 132 is a subfolder generated in the sports folder 126.
  • the Kyushu in the Kyushu folder 128, the drink in the drink folder 130, and the marathon in the marathon folder 132 are folder names assigned by the user.
  • the Kyushu folder 128 has a file name of AAA0001.
  • the image data 134 of jpg and the file name is AAA0002.
  • Image data 136 of jpg is stored.
  • jpg is an extension representing a JPEG format file.
  • JPEG is an abbreviation of Joint Photographic Experts Group.
  • the beverage folder 130 has a file name of BBB0003.
  • the image data 138 of jpg and the file name are BBB0004.
  • Image data 140 of jpg is stored.
  • the marathon folder 132 has a file name of CCC0005.
  • the image data 142 of jpg and the file name are CCC0006.
  • Image data 144 of jpg is stored.
  • image data 134 may be assigned as a tag for travel and Kyushu.
  • image data in which a folder name is applied to a tag of image data may be used.
  • FIG. 8 is an explanatory diagram of an example in which folder information is applied to a tag. As shown in FIG. 8, each image data is given a folder name of the upper hierarchy as Tag 1. Further, each image data is given a folder name of a lower hierarchy as Tag2. The tags Tag1, Tag2, and Tag3 shown in FIG. 8 represent tags.
  • the hierarchical structure of folder information is applied to the hierarchical structure of tags. This makes it possible to construct the hierarchical structure of tags without taking time and effort to construct the hierarchical structure of tags. Adoption of the hierarchical structure of tags can contribute to the improvement of tagging accuracy.
  • FIG. 9 is an explanatory diagram of an example of a feature amount database for each tag.
  • the feature database 200 shown in FIG. 9 is generated in the discriminator generation step S20 shown in FIG. Also, the feature database 200 shown in FIG. 9 is updated in the classifier update step S114 shown in FIG.
  • the feature amount database 200 shown in FIG. 9 represents the relationship between the feature amount 202 derived by analyzing image data and the tag 204.
  • the feature amount database 200 represents the relationship between each of the feature amounts 202 from the image data 134 to the image data 144 shown in FIG.
  • the feature quantity 202 of the image data can be derived using an image analysis process including area extraction of the image data and calculation of the feature quantity 202 for each area.
  • region extraction of image data include contour extraction, shape extraction, and size extraction.
  • each evaluation value As an example of derivation of the feature quantity 202 for each area, there is an example of calculating each evaluation value using information such as color and contrast, and calculating and deriving each evaluation value.
  • FIG. 9 five-digit numerical values are shown as an example of the feature quantity 202.
  • the alphabet representing the feature quantity 202 means any numerical value.
  • FIG. 10 is an explanatory diagram of an example of the update request information output.
  • FIG. 10 shows an aspect in which character information is displayed on the display unit 74 of the computer 12 shown in FIG. 3 as the update request information 222.
  • the update prompting information output screen 220 shown in FIG. 10 displays text information indicating that there are N or more images that can not be tagged and that the discriminator is prompted to be updated.
  • the discriminator generation unit 20 of the computer 12 shown in FIG. 3 executes the update of the discriminator.
  • the number of pieces of image data to which an intended tag is not attached may be added to the number of pieces of image data that can not be determined.
  • the number of pieces of image data to which the intended tag is not attached may be applied instead of the number of pieces of image data that can not be determined.
  • FIG. 11 is a diagram showing an example of a tag input screen in the manual correction of a tag.
  • the discriminator correction step S118 shown in FIG. 5 the automatically attached tag is manually corrected using the discriminator.
  • the discriminator correction unit 66 illustrated in FIG. 3 causes the display unit 74 to display the tag correction screen 240.
  • the user can select image data to be manually corrected from the file list 242 by operating the operation unit 72.
  • the image data selected by the user is displayed on the image display unit 244.
  • the user can operate the operation unit 72 to correct the tag attached to the image data selected by the user.
  • the display of the image selected by the user is omitted.
  • Tag 1 is corrected to course food. Also, Tag 2 has been modified to a free drink. Furthermore, a soft drink is added as Tag3.
  • the discriminator correction step S118 shown in FIG. 5 it is possible to customize the tag automatically added to the image data by applying the discriminator updated using the discriminator generation unit 20 shown in FIG. is there. Further, in the classifier update step S114 shown in FIG. 5, the classifier can be updated using the manually corrected tag. Thus, it is possible to update the discriminator that enables personal tagging in which the user's preference is reflected.
  • the classifier 40 downloaded to the camera 14 shown in FIG. 2 may work in real time, and may display a tag on the display unit 46 of the camera 14 before imaging. For example, a tag may be added to the through image, and the tag may be superimposed on the through image. As a result, it is possible to grasp before the imaging that the determination result is incorrect and a tag not intended by the user is given. In addition, when the determination result is incorrect, it can be a standard for updating the discriminator 40.
  • a discriminator can be used to manually correct the attached tag. In this way, it is possible to obtain a discriminator in which the preference of the user is more reflected.
  • image data 32 is collected from the cloud 16 to generate a classifier or update the classifier.
  • image data 32 is collected from the cloud 16 to generate a classifier or update the classifier.
  • the lack of the number of image data, the lack of the type of image data, and the like can be avoided.
  • the folder information of the user's camera is used as a tag for generating a classifier and updating a classifier. As a result, it is possible to generate a discriminator reflecting the preference of the user represented in the folder information of the user's camera and to update the discriminator.
  • FIG. 12 is a block diagram of an imaging system showing an application example of a network system.
  • the computer 12, the camera 14, and the server device 304 are communicably connected to each other via the network 302.
  • the cloud 16 shown in FIG. 1 can be replaced with a network system including the network 302, the server device 304, and the image data storage device 306 shown in FIG.
  • the network 302 shown in FIG. 12 may be communicably connected to the portable terminal 18 shown in FIG.
  • the server device 304 includes an image data storage device 306 in which a plurality of image data are stored.
  • the computer 12 can transmit a search condition for image data to the server device 304 via the network 302.
  • a search key is an example of the search condition.
  • the search conditions correspond to the keywords shown in FIG.
  • the search condition is an example of selection information.
  • the server device 304 can search for a plurality of image data stored in the image data storage device 306 using the search conditions transmitted from the computer 12.
  • the server device 304 can extract image data that matches the search condition.
  • the server apparatus 304 can transmit the extracted image data to the computer 12 via the network 302.
  • the server apparatus 304 illustrated in FIG. 12 can be configured using one computer or a plurality of computers.
  • the image data storage device 306 can be configured using one storage device or a plurality of storage devices.
  • the image data storage device 306 illustrated in FIG. 12 may be an external device of the server device 304.
  • the image data storage device 306 may be directly connected to the network 302 without passing through the server device 304. These are examples of storage units provided in the server device.
  • An imaging system to which a network system is applied can obtain the following effects.
  • the tag attached image data is collected from an image data storage 306 connected to the computer 12 via the network 302. This makes it possible to collect image data that matches the search condition among more image data.
  • the imaging system described above can be configured as an image data discrimination system.
  • an image data discrimination system including the computer 12 and the cloud 16 shown in FIG. 1 can be configured.
  • This image data discrimination system is communicably connected to the camera 14 shown in FIG. 1 or FIG.
  • the image data discrimination system acquires tagged image data from the camera 14.
  • the image data discrimination system downloads at least one of a discriminator generated using the computer 12 and a discriminator updated using the computer 12 to the camera 14.
  • the classifier updating method can be grasped as an image data discrimination method applied to the image data discrimination system.
  • the image data discrimination method may include the discriminator generation method, an example of which is shown in FIG.
  • each function of image data discrimination is realized by the computer 12.
  • the hardware configuration for realizing these functions is not limited to this. It can be realized by various processors.
  • Various types of processors include CPUs that are general-purpose processors that function as processing units that execute software and perform various types of processing, and specific types such as PLDs and ASICs that are processors whose circuit configurations can be changed after manufacturing such as FPGAs. It includes a dedicated electric circuit, which is a processor having a circuit configuration specially designed to execute processing.
  • Software is synonymous with program.
  • FPGA Field Programmable Gate Array
  • PLD is an abbreviation of Programmable Logic Device, which is an English-language notation for a programmable logic device.
  • ASIC is an abbreviation of Application Specific Integrated Circuit, which is an English-language notation for Application Specific Integrated Circuit.
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types. For example, it may be configured by a plurality of FPGAs, or may be configured by a combination of a CPU and an FPGA.
  • a plurality of processing units may be configured by one processor.
  • a plurality of processing units are configured by one processor
  • first, one processor is configured by a combination of one or more CPUs and software as represented by computers such as clients and servers; There is a form in which this processor functions as a plurality of processing units.
  • the various processing units are configured using one or more of the various processors as a hardware structure.
  • SoC is an abbreviation of System On Chip, which is an English notation representing a system on chip.
  • IC is an abbreviation for Integrated Circuit which stands for integrated circuit.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit combining circuit elements such as semiconductor elements.
  • the imaging system, the classifier update method, the image data discrimination system, and the image data discrimination method described above can be applied to a program that realizes the function of each part or the function of each process using the computer 12.
  • An image data discrimination program can be configured to cause the computer 12 to execute a classifier update function of updating the classifier based on the relationship between the tag-attached image data and the tag acquired from the T.14.
  • a non-temporary, computer-readable recording medium such as a hard disk, a CD (Compact Disk), a DVD (Digital Versatile Disk), various semiconductor memories, etc. in which the image data discrimination program is stored.
  • the classifier acquisition function corresponds to the classification rule acquisition function.
  • the classifier update function corresponds to the classification rule update function.
  • Imaging represents a concept that includes imaging.
  • the imaging may include both still image acquisition and moving image acquisition.
  • An imaging device represents a concept that includes a camera.
  • a digital camera is an example of an imaging device.
  • a photograph may include a form in which an image is recorded on photo paper, and a form in which an image is displayed on a display device.
  • the image data represents an electrical signal representative of the image.

Abstract

ユーザの撮像装置を用いて撮像して得られた画像データに応じて、画像データに分類情報を付与する際の分類規則の更新を可能とする、画像データ判別システム、画像データ判別プログラム、画像データ判別方法、及び撮像システムを提供する。ユーザの撮像装置を用いて撮影され、かつ分類情報が付与された第一画像データを取得する画像データ取得部（６２）と、分類情報を付与する対象の第二画像データに対する分類規則を取得する分類規則取得部（２０）と、第一画像データと、第一画像データに付与された分類情報との対応関係に基づいて分類規則を更新する分類規則更新部（２０）と、を備える。

Description

画像データ判別システム、画像データ判別プログラム、画像データ判別方法、及び撮像システム
　本発明は画像データ判別システム、画像データ判別プログラム、画像データ判別方法、及び撮像システムに係り、特に画像データの判別、及び分類に関する。
　電子データの形式を用いて画像データを記憶するデジタルカメラ等の撮像装置が知られている。デジタルカメラを用いて撮像した大量の画像データの整理は、ユーザにとって煩雑な作業である。ユーザはマニュアルで大量の画像データを整理するために膨大な期間を費やしてしまうことがあり得る。
　特許文献１は、撮像装置に記憶される大量の画像データの管理を容易にすることを目的として、撮像して得られた画像データに画像分類情報を自動的に付加する撮像装置が記載されている。特許文献１に記載の撮像装置は、画像データを解析し、登録された画像情報との画像認識処理を実施し、画像分類情報を生成し、画像分類情報に基づき、画像データを画像群に分類し記憶する。
　特許文献２は、機械学習の手法を用いた画像分類装置が記載されている。特許文献２に記載の画像分類装置は、ユーザの意図を反映した画像の分類が可能に構成されている。具体的には、特許文献２には画像の分類に用いるモデルデータの生成について記載されている。
　また、特許文献２に記載の画像分類装置は、ユーザが自動分類結果の間違いの修正を受け付ける際に、ユーザの修正操作を受け付けた内容に応じて、モデルデータを修正更新している。
　特許文献３は、キーワードの分類頻度に応じて、入力画像に付与するキーワードの階層を変更して、ユーザの嗜好を反映したキーワードを付与するキーワード付与装置が記載されている。
特開２００９－１６５００７号公報 国際公開第２０１２／０７３４２１号 特開２０１２－１５５５２４号公報
　しかしながら、特許文献１に記載の撮像装置は、撮像して得られた全ての画像データについて、画像分類情報を自動的に付加しているので、ユーザはユーザの嗜好を反映したパーソナルな画像データの分類を行うことが困難である。
　特許文献２に記載の画像分類装置は、自動分類結果の間違いの修正を、ユーザがモデルデータの修正更新に反映させているものの、ユーザの撮像装置に記憶されている画像データは、モデルデータの修正更新に反映されていない。
　特許文献３に記載のキーワード付与装置は、入力画像に付与するキーワードの階層を変更して詳細な分類を可能とするものの、特許文献３には、キーワードの解像構造の更新に関する記載はない。
　本発明はこのような事情に鑑みてなされたもので、ユーザの撮像装置を用いて撮像して得られた画像データに応じて、画像データに分類情報を付与する際の分類規則の更新を可能とする、画像データ判別システム、画像データ判別プログラム、画像データ判別方法、及び撮像システムを提供することを目的とする。
　上記目的を達成するために、次の発明態様を提供する。
　第１態様に係る画像データ判別システムは、ユーザの撮像装置を用いて撮像され、かつ分類情報が付与された第一画像データを取得する画像データ取得部と、分類情報を付与する対象の第二画像データに対する分類規則を取得する分類規則取得部と、第一画像データと、第一画像データに付与された分類情報との対応関係に基づいて分類規則を更新する分類規則更新部と、を備えた画像データ判別システムである。
　第１態様によれば、ユーザの撮像装置を用いて撮像され、かつ分類情報が付与された第一画像データを用いて分類規則が更新される。これにより、ユーザが撮像して得られた第一画像データ、及び第一画像データに付与された分類情報に基づいて、ユーザの嗜好が反映されたパーソナルな分類情報を付与可能な分類規則を得ることが可能である。
　ユーザの撮像装置は、ユーザが撮像に使用した撮像装置であり、分類規則の更新に用いられる分類情報が付与された第一画像が記憶されている撮像装置を表す。
　分類規則は、画像データの種類、及び画像データの属性等を表す分類情報を画像データに自動的に付与する際に用いられる規則である。分類情報の一例としてタグが挙げられる。
　第一画像データの例として、ユーザの撮像装置に備えられる画像データ記憶部に記憶されている画像データが挙げられる。
　第二画像データはユーザの撮像装置から取得してもよい。第二画像データはユーザの記憶装置から記憶してもよい。第二画像データはネットワークに接続された記憶装置から取得してもよい。
　第二画像データは分類情報が未付与の画像データが適用される。第二画像データは分類情報が付与されている画像データであってもよい。第二画像データに新たな分類情報が付与された場合、付与済の分類情報、及び新たに付与された分類情報の両者を使用し得る。第二画像データに新たな分類情報が付与された場合に付与済の分類情報を削除してもよい。
　第２態様は、第１態様の画像データ判別システムにおいて、分類規則を適用して、第二画像データに分類情報を付与する判別部と、分類規則の更新を促す更新催促情報を出力する更新催促情報出力部と、を備え、更新催促情報出力部は、判別部を用いて第二画像データに分類情報を付与した際に、分類情報が付与されない画像データ、及び意図する分類情報が付与されない画像データの少なくともいずれか一方が、予め定められた枚数以上、又は判別対象の画像データの数に対して予め定められた割合以上の場合に、更新催促情報を出力する構成としてもよい。
　第２態様によれば、判別部を用いて第二画像データに付与された分類情報の付与結果に応じて、分類規則の更新催促情報が出力される。これにより、ユーザが分類規則を更新する動機となり得る。
　更新催促情報の出力形態は、文字情報を用いた形態、及び音声情報を用いた形態などを適用可能である。
　第３態様は、第２態様の画像データ判別システムにおいて、分類規則更新部は、更新催促情報が出力された場合に分類規則の更新を実行する構成としてもよい。
　第３態様によれば、判別部を用いて第二画像データに付与された分類情報の付与結果に応じて、分類規則が自動的に更新される。
　第４態様は、第２態様又は第３態様の画像データ判別システムにおいて、判別部を用いて第二画像データに付与された分類情報を修正する修正部を備えた構成としてもよい。
　第４態様によれば、分類規則に基づいて付与された分類情報の修正が可能である。これにより、ユーザは分類情報のカスタマイズが可能である。
　第５態様は、第４態様の画像データ判別システムにおいて、分類規則更新部は、第二画像データと修正部を用いて修正された分類情報との対応関係に基づいて分類規則を更新する構成としてもよい。
　第５態様によれば、第二画像データに付与された分類情報が修正された場合に、第二画像データと修正された分類情報との対応関係に基づいて分類規則が更新される。これにより、分類規則の精度の向上が見込まれる。
　第６態様は、第１態様から第５態様のいずれか一態様の画像データ判別システムにおいて、画像データ取得部は、分類情報が付与されている第三画像データが記憶される記憶部から第三画像データを取得し、分類規則更新部は、第一画像データと第一画像データに付与された分類情報との対応関係、及び第三画像データと第三画像データに付与された分類情報との対応関係に基づいて分類規則を更新する構成としてもよい。
　第６態様によれば、分類規則を更新する際の画像データの不足を補うことが可能となる。第三画像データは、同一のカテゴリーに属する画像データの数を補ってもよい。第三画像データは、異なるカテゴリーに属する画像データを補ってもよい。
　第７態様は、第６態様の画像データ判別システムにおいて、分類規則更新部は、記憶部に記憶されている画像データから、選択情報に対応する第三画像データを選択し、画像データ取得部は、選択情報に対応する第三画像データを取得する構成としてもよい。
　第７態様によれば、第三画像データを取得する際に、ユーザの嗜好に応じた選択情報を用いて、ユーザの嗜好に応じた第三画像データの取得が可能である。
　第８態様は、第１態様から第７態様のいずれか一態様の画像データ判別システムにおいて、分類規則取得部は、ユーザの撮像装置において第一画像データを管理する画像データ管理情報に基づいて定められた分類規則を取得する構成としてもよい。
　第８態様によれば、分類規則の初期状態として、第一画像データと第一画像データの管理情報との関係を用いることが可能である。
　第９態様は、第１態様から第８態様のいずれか一態様の画像データ判別システムにおいて、分類規則更新部は、ユーザの撮像装置において第一画像データを管理する画像データ管理情報を用いて分類規則を更新する構成としてもよい。
　第９態様によれば、第一画像データと第一画像データの画像データ管理情報との関係を用いて、分類規則の更新が可能である。
　画像データの管理情報の例としては、画像データのファイルを管理するファイル管理情報、及び画像データのファイルが記憶されるフォルダを管理するフォルダ管理情報等が挙げられる。
　第１０態様は、第１態様から第９態様のいずれか一態様の画像データ判別システムにおいて、分類規則更新部を用いて更新された分類規則を撮像装置に送信する分類規則送信部を備えた構成としてもよい。
　第１０態様によれば、撮像装置において、撮像して得られた画像データに対して分類情報を自動的に付与することが可能である。
　第１１態様は、第１態様から第１０態様のいずれか一態様の画像データ判別システムにおいて、分類規則更新部は、分類情報と分類情報が付与された画像データとの対応関係を正解データとして、機械学習を用いて分類規則を更新する構成としてもよい。
　第１１態様によれば、分類規則を更新する度に、精度の高い分類情報の付与が可能となる。
　第１２態様に係る画像データ判別システムは、ネットワークを介してコンピュータと通信可能に接続された撮像装置を備えた画像データ判別システムであって、コンピュータは、ユーザの撮像装置を用いて撮像され、かつ分類情報が付与された第一画像データを取得する画像データ取得部と、分類情報を付与する対象の第二画像データに対する分類規則を取得する分類規則取得部と、第一画像データと、第一画像データに付与された分類情報との対応関係に基づいて分類規則を更新する分類規則更新部と、を備えた画像データ判別システムである。
　第１２態様によれば、第１態様と同様の効果を得ることができる。また、ネットワークを介してユーザの撮像装置からコンピュータへ第二画像データの送信が可能である。
　第１３態様は、第１２態様の画像データ判別システムにおいて、ネットワークを介してコンピュータと通信可能に接続されるサーバ装置と、分類情報が付与されている第三画像データが記憶され、かつサーバ装置に備えられる記憶部と、を備え、画像データ取得部は、記憶部から第三画像データを取得し、分類規則更新部は、第一画像データと第一画像データに付与された分類情報との対応関係、及び第三画像データと第三画像データに付与された分類情報との対応関係に基づいて分類規則を更新する構成としてもよい。
　第１３態様によれば、サーバ装置が備える記憶部から、第三画像データの取得が可能である。これにより、多数の画像データの中から第三画像データの取得が可能となる。
　第１４態様は、第１２態様又は第１３態様の画像データ判別システムにおいて、撮像装置は、ネットワークを介してコンピュータと通信可能に接続される構成としてもよい。
　第１４態様によれば、撮像装置はネットワークを介してコンピュータから分類規則を取得することが可能である。
　第１５態様に係る画像データ判別プログラムは、コンピュータに、ユーザの撮像装置を用いて撮像され、かつ分類情報が付与された第一画像データを取得する画像データ取得機能、分類情報を付与する対象の第二画像データに対する分類規則を取得する分類規則取得機能、及び第一画像データと、第一画像データに付与された分類情報との対応関係に基づいて分類規則を更新する分類規則更新機能を実現させる画像データ判別プログラムである。
　第１５態様によれば、第１態様と同様の効果を得ることができる。
　第１５態様において、第２態様から第１１態様、第１３態様、及び第１４態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像データ判別システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像データ判別プログラムの構成要素として把握することができる。
　第１５態様は、少なくとも一つ以上のプロセッサと、少なくとも一つ以上のメモリとを有するシステムであって、プロセッサは、ユーザの撮像装置を用いて撮影され、かつ分類情報が付与された第一画像データを取得する画像データ取得機能、分類情報を付与する対象の第二画像データに対する分類規則を取得する分類規則取得機能、及び　第一画像データと、第一画像データに付与された分類情報との対応関係に基づいて分類規則を更新する分類規則更新機能を実現させるシステムとして構成し得る。
　第１６態様に係る画像データ判別方法は、ユーザの撮像装置を用いて撮像され、かつ分類情報が付与された第一画像データを取得する画像データ取得工程と、分類情報を付与する対象の第二画像データに対する分類規則を取得する分類規則取得工程と、第一画像データと、第一画像データに付与された分類情報との対応関係に基づいて分類規則を更新する分類規則更新工程と、を含む画像データ判別方法である。
　第１６態様によれば、第１態様と同様の効果を得ることができる。
　第１６態様において、第２態様から第１１態様、第１３態様、及び第１４態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像データ判別システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像データ判別方法の構成要素として把握することができる。
　第１７態様に係る撮像システムは、ユーザの撮像装置であり、被写体を撮像し、撮像して得られた画像データに予め定められた分類規則を適用して分類情報を付与する判別部を備えた撮像装置と、ユーザの撮像装置を用いて撮像され、かつ分類情報が付与された第一画像データを取得する画像データ取得部と、分類情報を付与する対象の第二画像データに対する分類規則を取得する分類規則取得部と、第一画像データと、第一画像データに付与された分類情報との対応関係に基づいて分類規則を更新する分類規則更新部と、を備えた撮像システムである。
　第１７態様によれば、第１態様と同様の効果を得ることができる。
　第１７態様において、第２態様から第１１態様、第１３態様、及び第１４態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像データ判別システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う撮像システムの構成要素として把握することができる。
　第１８態様は、第１７態様の撮像システムにおいて、分類規則更新部を用いて更新された分類規則を撮像装置に送信する分類規則送信部を備え、撮像装置は、分類規則更新部を用いて更新された分類規則を受信する分類規則受信部を備えた構成としてもよい。
　第１８態様によれば、撮像装置は更新された分類規則を取得可能である。これにより、撮像装置を用いて撮像して得られた画像データに対して分類情報を自動的に付与することが可能である。
　本発明によれば、ユーザの撮像装置を用いて撮像され、かつ分類情報が付与された第一画像データを用いて分類規則が更新される。これにより、ユーザが撮像して得られた第一画像データ、及び第一画像データに付与された分類情報に基づく、ユーザの嗜好が反映されたパーソナルな分類情報を付与可能な分類規則を得ることが可能である。
図１は撮像システムの全体構成を示すブロック図である。 図２は図１に示したカメラの概略構成を示すブロック図である。 図３は図１に示したコンピュータの概略構成を示すブロック図である。 図４は判別器生成の手順の流れを示すフローチャートである。 図５は判別器更新の手順の流れを示すフローチャートである。 図６は画像収集におけるキーワード入力画面の一例を示す図である。 図７はカメラにおけるフォルダ情報の一例の説明図である。 図８はフォルダ情報をタグに適用した一例の説明図である。 図９はタグごとの特徴量データベースの一例の説明図である。 図１０は更新催促情報出力の一例の説明図である。 図１１はタグの手動修正におけるタグ入力画面の一例の説明図である。 図１２はネットワークシステムの適用例を示す撮像システムのブロック図である。
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。
　［撮像システム］
　〔全体構成〕
　図１は撮像システムの全体構成を示すブロック図である。図１に示した撮像システム１０は、画像データ判別機能を有している。画像データ判別機能は、画像データの内容、画像データの種類、及び画像データの属性等を表すタグを画像データに対して自動的する機能である。画像データに付与されたタグは、複数の画像データの中から所望の画像データを検索する際の検索キーとして使用し得る。
　図１に示した撮像システム１０は、コンピュータ１２、カメラ１４を備える。コンピュータ１２に付したＰＣはパーソナルコンピュータを表す英語表記のpersonal computerの省略語である。
　コンピュータ１２は、カメラ１４と通信可能に接続される。また、コンピュータ１２は、符号１６を付したクラウドコンピューティングと接続される。以下、クラウドコンピューティングはクラウドと記載する。
　クラウド１６は、少なくとも一台のコンピュータが含まれるネットワークシステムである。なお、コンピュータ１２が接続されるネットワークシステムは、クラウドコンピューティングシステムに限定されない。コンピュータ１２は任意のネットワークシステムと接続可能である。
　コンピュータ１２は、携帯端末１８と通信可能に接続される。携帯端末１８の例として、携帯型コンピュータ、タブレット端末、及びスマートフォンなどの携帯型通信装置等が挙げられる。コンピュータ１２と携帯端末１８との通信は無線通信が適用される。
　コンピュータ１２は、通信可能に接続されたカメラ１４から画像データ３０を取得可能である。また、コンピュータ１２は、通信可能に接続されたクラウド１６から画像データ３２を取得可能である。
　カメラ１４からコンピュータ１２へ送信される画像データ３０は第一画像データに相当する。クラウド１６からコンピュータ１２へ送信される画像データ３２は第三画像データに相当する。
　コンピュータ１２は、判別器生成部２０を備える。コンピュータ１２は、学習器２２を備える。判別器生成部２０は、画像データに対してタグを付与する判別器を生成する。また、判別器生成部２０は判別器を更新する。コンピュータ１２における判別器の図示は省略する。
　判別器は、信号処理を実行するプロセッサ、プロセッサに信号処理を実行させるプログラム、及び信号処理に適用されるタグ付け規則等を含んで構成される。判別器の生成はタグ付け規則の生成を表す。判別器の更新はタグ付け規則の更新を表す。判別器は判別部に相当する。以下の説明における判別器という用語は、判別器の機能を実現するタグ付け規則を意味する用語として使用する場合がある。
　タグは分類情報の一例である。タグ付け規則は分類規則の一例である。コンピュータ１２においてタグ付けの対象とされる画像データは第二画像データに相当する。タグ付けの対象とされる画像データはカメラ１４、図示しないユーザの記憶装置、及びコンピュータ１２と通信可能な図示しない記憶装置等から取得し得る。
　タグ付けの対象とされる画像データはタグが未付与でもよいし、タグが付与済でもよい。タグが付与済の画像データに新たなタグが付与された場合、先に付与されたタグと新たなタグとを併用してもよいし、先に付与されたタグを削除してもよい。
　学習器２２は、機械学習を実行する。判別器生成部２０は、学習器２２を用いて判別器に適用されるタグ付け規則を生成する。また、判別器生成部２０は、学習器２２を用いて判別器に適用されるタグ付け規則を更新する。本実施形態では、画像データとタグとの対応関係の正解データを用いた機械学習が適用される。正解データは教師付きデータと呼ばれる場合がある。なお、機械学習は教師なし学習を適用してもよい。
　判別器生成部２０を用いて生成された判別器のタグ付け規則は、コンピュータ１２の通信機能、及びカメラ１４の通信機能を介して、コンピュータ１２からカメラ１４へ送信される。
　カメラ１４は判別器４０を備える。判別器４０は、カメラ１４の撮像機能を用いて撮像して得られた画像データに対してタグを自動的に付与する。すなわち、カメラ１４は自動タグ付け機能を有するカメラである。
　コンピュータ１２の判別器と同様に、判別器４０は、信号処理を実行するプロセッサ、プロセッサに信号処理を実行させるプログラム、及び信号処理に適用されるタグ付け規則等を含んで構成される。
　カメラ１４は、コンピュータ１２から最新のタグ付け規則をダウンロードして、判別器４０に適用されるタグ付け規則の更新が可能である。以下、判別器に適用されるタグ付け規則の更新は、判別器の更新と記載することある。また、判別器に適用されるタグ付け規則の生成は、判別器の生成と記載することがある。
　〔カメラの構成〕
　図２は図１に示したカメラの概略構成を示すブロック図である。カメラ１４は被写体のデジタル形式の画像データを生成するデジタルカメラである。カメラ１４は撮像部４１、信号処理部４２、及びカメラ制御部４４を備える。
　《撮像部》
　撮像部４１は、図示しない撮像レンズ、及び図示しないイメージセンサを備える。撮像レンズは複数枚のレンズを組み合わせて構成される。撮像レンズは、図示しないフォーカスレンズ群、及び図示しないズームレンズ群を備える。
　撮像部４１は、フォーカスレンズ群を駆動するフォーカスレンズ群駆動部、及びズームレンズ群を駆動するズームレンズ群駆動部を備える。フォーカスレンズ群駆動部、及びズームレンズ群駆動部は、アクチュエータ、及びアクチュエータ駆動回路を備える。フォーカスレンズ群駆動部、ズームレンズ群駆動部、アクチュエータ、及びアクチュエータ駆動回路の図示は省略する。
　フォーカスレンズ群駆動部を動作させて、フォーカスレンズ群の光軸に沿ってフォーカスレンズ群を移動させる。これにより、焦点が調整される。ズームレンズ群駆動部を動作させて、ズームレンズ群の光軸に沿ってズームレンズ群を移動させる。これにより、ズームが調整される。
　撮影レンズは、図示しない絞り、及び絞り駆動部を備えてもよい。絞り駆動機構は絞りの開口量を調整する。これにより、イメージセンサへの入射光量の調整が可能である。
　イメージセンサは、撮像レンズを通る光を受光して画像を撮像する。イメージセンサは、ＣＭＯＳ型、ＣＣＤ型等の公知の二次元のイメージセンサで構成される。なお、ＣＭＯＳは、相補型金属酸化膜半導体を表す英語表記であるcomplementary metal-oxide semiconductorの省略語である。ＣＣＤは、電荷結合素子を表すcharge coupled deviceの省略語である。
　《信号処理部》
　信号処理部４２は、図示しないアナログ信号処理部、及び図示しないデジタル信号処理部を備える。アナログ信号処理部は、撮像部４１のイメージセンサから出力される画素ごとのアナログの画像信号を取り込み、アナログの画像信号に対して信号処理を施す。アナログの画像信号に対する信号処理は、相関二重サンプリング処理、及び増幅処理等が含まれる。
　アナログ信号処理部はＡＤＣを備える。ＡＤＣはアナログの画像信号をデジタルの画像信号に変換して出力する。ＡＤＣはアナログデジタル変換器を表す英語表記であるanalog to digital converterの省略語である。アナログデジタル変換器はＡＤコンバータと呼ばれることがある。
　デジタル信号処理部は、アナログ信号処理部から出力されるデジタルの画像信号を取り込み、デジタル画像信号に対して信号処理を施して、画像データを生成する。生成された画像データは、カメラ制御部４４を介して記憶部４８に記憶される。
　デジタル画像信号に対する信号処理は、階調変換処理、ホワイトバランス補正処理、ガンマ補正処理、同時化処理及びＹＣ変換処理等が含まれる。Ｙは輝度を表す。Ｃは色差を表す。
　また、デジタル信号処理部は、取り込んだ画像信号に基づいて、露出制御に必要な被写体の明るさの情報を検出する。検出された被写体の明るさの情報は、カメラ制御部４４に出力される。
　更に、デジタル信号処理部は、取り込んだ画像信号に基づいて、オートフォーカス制御に必要な被写体のコントラストの情報を検出する。検出されたコントラストの情報は、カメラ制御部４４に出力される。
　《カメラ制御部》
　カメラ制御部４４は、カメラ１４の全体の動作を統括制御する制御部として機能する。また、カメラ制御部４４は、カメラ１４の制御に必要な物理量を演算する演算処理部として機能する。カメラ制御部４４は、ＣＰＵ、ＲＡＭ、及びＲＯＭを備えたコンピュータ、又はマイクロコンピュータを用いて構成される。
　ＣＰＵは中央処理装置を表す英語表記であるcentral processing unitの省略語である。ＲＡＭは即時読み出し可能な記憶素子を表す英語表記であるrandom access memoryの省略語である。ＲＯＭは読み出し専用の記憶素子を表す英語表記であるread only memoryの省略語である。
　カメラ制御部４４は、フォーカス制御プログラム、露出制御プログラム、及び表示制御プログラム等を実行し、各種機能を実現する。カメラ制御部４４が実行するプログラム、及びカメラ制御部４４が実行する制御に必要な各種データ等は、ＲＯＭに格納される。
　《表示部》
　カメラ１４は表示部４６を備える。表示部４６は、カメラ１４の本体の背面に備えられる。表示部４６はＬＣＤが用いられる。ＬＣＤは液晶表示装置を表す英語表記であるliquid crystal displayの省略語である。表示部４６は、図示しないＬＣＤドライバを介して表示が制御される。
　カメラ１４の撮像モードにおいて、表示部４６は被写体のスルー画を表示する。カメラ１４の再生モードにおいて、記憶部４８に記憶されている画像データを表示する。表示部４６は画像データを表示する際に、画像データに付加されているタグを表示させる。表示部４６はカメラ１４のモード設定に応じて、表示内容が切り替えられる。
　《記憶部》
　記憶部４８は、画像データを含む各種データを記憶する。記憶部４８は、内蔵メモリ、及び内蔵メモリに対してデータの読み書きを行う制御回路を備える。
　内蔵メモリは、ＥＥＰＲＯＭ等の不揮発性メモリで構成される。記憶部４８に対するデータの読み書きは、カメラ制御部４４を用いて制御される。ＥＥＰＲＯＭは、電気的に消去、及び書き込みが可能な記憶素子を表す英語表記であるelectrically erasable programmable read only memoryの省略語である。
　記憶部４８は、メモリカード等の外部メモリを用いて構成し得る。記憶部４８がメモリカード等の外部メモリを用いて構成される場合、メモリカードを装填するためのカードスロット等をカメラ１４が備える。
　《操作部》
　操作部５０は、各操作部材の操作に応じた信号をカメラ制御部４４に出力する。カメラ１４の正面に配置される操作部材の一例として、電源ボタン、シャッターボタン、及び動画撮影ボタン等が挙げられる。
　カメラ１４の背面に配置される操作部材の一例として、広角ズームボタン、望遠ズームボタン、再生ボタン、ロック解除ボタン、セレクターボタン、表示／戻るボタン、連写切り替えボタン等が挙げられる。
　《通信部》
　通信部５２は、カメラ制御部４４による制御の下、外部機器との間で無線、又は有線を用いて通信し、互いに各種信号を送受信する。通信の方式は、特に限定されるものではなく、一般的に用いられる通信方式である、無線ＬＡＮ規格による通信方式、特定省電力無線規格による通信方式、及び携帯電話網を利用した通信方式等並びに、ＵＳＢ規格による通信方式等が使用される。なお、ＬＡＮはlocal area networkの省略語である。ＵＳＢはuniversal serial busの省略語である。
　《判別器》
　カメラ１４は、判別器４０を備える。図２に示した判別器４０は図１に示した判別器である。ここでは、判別器４０の説明は省略する。
　〔コンピュータの構成〕
　図３は図１に示したコンピュータの概略構成を示すブロック図である。コンピュータ１２は、コンピュータ制御部６０、判別器生成部２０、学習器２２、画像データ取得部６２、判別器記憶部６４、判別器修正部６６、更新催促情報出力部６８、通信部７０、操作部７２、表示部７４、及びプログラム記憶部７６を備える。
　《コンピュータ制御部》
　コンピュータ制御部６０は、コンピュータ１２の全体制御部である。コンピュータ制御部６０は、図２に示したカメラ制御部４４と同様の構成を適用し得る。
　《判別器生成部》
　判別器生成部２０は、図示しない判別器を生成する。判別器は判別器記憶部６４に記憶される。判別器を更新する際に、判別器生成部２０は、デフォルトの判別器を生成してもよい。ここでいう判別器の生成は、判別器の取得の一態様である。判別器生成部２０は分類規則取得部の一例である。
　また、判別器を更新する際に、判別器生成部２０は、デフォルトの判別器を取得してもよい。判別器生成部２０は分類規則更新部の一例である。
　《学習器》
　学習器２２は、図１に示した学習器２２である。ここでは、学習器２２の説明は省略する。
　《画像データ取得部》
　画像データ取得部６２は、通信部７０を介して画像データを取得する。画像データ取得部６２は判別器を生成する際に使用される画像データを取得する。画像データ取得部６２は判別器を用いてタグを付与する対象の画像データを取得する。
　画像データ取得部６２は、図１に示したカメラ１４から画像データ３０を取得し得る。また、図３に示した画像データ取得部６２は、図１に示したクラウド１６から画像データ３２を取得し得る。
　《判別器記憶部》
　判別器記憶部６４は、判別器生成部２０を用いて生成された判別器に適用されるタグ付け規則、又は判別器生成部２０を用いて更新された判別器に適用されるタグ付け規則を記憶する。判別器記憶部６４はメモリ素子等の半導体記憶媒体、及びハードディスクなどの磁気記憶媒体等の記憶媒体が適用される。
　《判別器修正部》
　判別器修正部６６は、外部から入力された情報に基づいてタグ付け規則を手動修正する。外部から入力された情報の例として、ユーザが操作部７２を操作して入力した情報が挙げられる。
　《更新催促情報出力》
　更新催促情報出力部６８は、判別器の更新を促す更新催促情報を出力する。更新催促情報は、文字情報、及び音声情報等の出力形式を適用可能である。
　《通信部》
　通信部７０は、コンピュータ制御部６０による制御の下、外部機器との間で無線、又は有線を用いて通信し、互いに各種信号を送受信する。図２に示したカメラ１４の通信部５２と同様の構成を適用可能である。
　《操作部》
　操作部７２は、キーボード、及びマウス等の操作部材を操作して入力された情報を電気信号に変換する。操作部７２から出力された入力情報を表す電気信号はコンピュータ制御部６０へ送信される。
　《表示部》
　表示部７４は、ＬＣＤディスプレイ装置等の表示装置が適用される。表示部７４は、画像データ取得部６２を用いて取得した画像データに対応する画像を表示することが可能である。表示部７４は、更新催促情報出力部６８から文字情報として出力された更新催促情報を表示させることが可能である。表示部７４は、タッチパネル方式のディスプレイ装置を適用して、操作部７２の少なくとも一部と兼用されてもよい。
　《プログラム記憶部》
　プログラム記憶部７６は、コンピュータ制御部６０が各種処理に使用する、各種プログラムが記憶される。コンピュータ制御部６０は、プログラム記憶部７６からプログラムを読み出し、実行して各種処理を実行する。
　［画像判別方法のフローチャート］
　〔判別器生成方法のフローチャート〕
　図４は判別器生成方法の手順の流れを示すフローチャートである。画像データ取得工程Ｓ１０は、図２に示したカメラ１４から、図３に示したコンピュータ１２へ画像データを送信する。コンピュータ１２の画像データ取得部６２は、図２に示したカメラ１４から送信された画像データを取得する。
　図４に示した画像データ取得工程Ｓ１０において、図３に示したコンピュータ１２が取得する画像データは、判別器の生成に使用されるタグが付与された画像データである。図４に示した画像データ取得工程Ｓ１０では、ユーザのカメラである、図２に示したカメラ１４から画像データを取得する。
　図４に示した画像データ取得工程Ｓ１０の後に、判別器生成選択工程Ｓ１２へ進む。判別器生成選択工程Ｓ１２では、図３に示したコンピュータ１２の操作部７２を用いて入力された選択情報に応じて、判別器を生成するか否かを選択する。
　図４に示した判別器生成選択工程Ｓ１２において、判別器の生成が選択された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、使用画像選択工程Ｓ１４へ進む。一方、判別器生成選択工程Ｓ１２において、判別器の生成が選択されない場合はＮｏ判定となる。Ｎｏ判定の場合は判別器生成方法を終了する。
　使用画像選択工程Ｓ１４では、図３に示した操作部７２を用いて入力された選択情報に基づいて、ユーザの画像のみを用いるか否かを選択する。ユーザの画像とは、図４に示した画像データ取得工程Ｓ１０において、図３に示したコンピュータ１２が図２に示したカメラ１４から取得した画像データである。
　図４に示した使用画像選択工程Ｓ１４において、ユーザの画像のみを用いて判別器を生成する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合はタグ付け工程Ｓ１８へ進む。一方、使用画像選択工程Ｓ１４において、ユーザの画像のみでは画像データが不足する場合は、Ｎｏ判定となる。Ｎｏ判定の場合は画像データ収集工程Ｓ１６へ進む。
　図４に示した使用画像選択工程Ｓ１４では、図３に示したコンピュータ１２の操作部７２を用いてユーザが入力した選択情報に応じて、ユーザの画像のみでは画像データが不足するか否かを選択してもよい。
　図４に示した使用画像選択工程Ｓ１４では、画像データ取得工程Ｓ１０において取得した画像データ数等に応じて、ユーザの画像のみでは画像データが不足するか否かを、図３に示した判別器生成部２０が自動選択してもよい。
　ユーザの画像のみでは画像データが不足する場合は、判別器生成において任意のカテゴリーにおける画像データ数が不足する場合、及び判別器生成において画像データのカテゴリー数が不足する場合の少なくともいずれか一方が含まれる。
　画像データ収集工程Ｓ１６では、図３に示したコンピュータ１２は、図１に示したクラウド１６から画像データ３２を収集する。画像データ収集工程Ｓ１６における画像収集では、キーワード検索を適用可能である。キーワードは図３に示したコンピュータ１２の操作部７２を用いて入力可能である。
　例えば、料理という用語をキーワードに設定して、料理というタグが付与された画像データ、並びに和食、及び洋食といった料理という用語を分類する用語がタグとして付与された画像データを収集する。画像データ収集工程Ｓ１６では、複数のキーワードを設定し、複数のキーワードの論理積、又は複数のキーワードの論理和を用いてもよい。
　キーワードの他の例として、ユーザが撮像を行う機会が少ないシーンに関連付けが可能なキーワードが挙げられる。例えば、風景の撮像を行う機会が少ないユーザは、風景に関連するキーワードを設定し、キーワードに関連付けされた画像データを収集する。キーワードは選択情報の一例である。
　検索に用いられるキーワードを表す情報は、図３に示したコンピュータ１２の通信部７０を介して、図１のクラウド１６へ送信される。図１のクラウド１６はコンピュータ１２から送信されたキーワードに対応するタグ付きの画像データを収集する。クラウド１６は収集したタグ付き画像データをコンピュータ１２へ送信する。
　画像データ収集工程Ｓ１６において、図３に示したコンピュータ１２が画像データを取得した後に、図４に示したタグ付け工程Ｓ１８へ進む。
　タグ付け工程Ｓ１８では、図３に示した判別器生成部２０は、判別器の生成に用いられる画像データのうち、タグが未付与の画像データにタグを付与する。図４に示したタグ付け工程Ｓ１８では、画像データとタグとの組み合わせを正解ペアとする、教師付き学習データを生成する。
　正解ペアは、タグが付与されている画像データと、その画像データに付与されているタグとの組み合わせを適用し得る。例えば、ユーザのスマートフォン等を用いて既にタグ付け済の画像データ、及び過去の学習に用いた画像データを正解ペアとして適用し得る。
　図４に示したタグ付け工程Ｓ１８の後に、判別器生成工程Ｓ２０へ進む。判別器生成工程Ｓ２０では、タグ付け工程Ｓ１８において生成された正解ペアを用いて機械学習を実行して、判別器を生成する。機械学習は、図３に示した学習器２２が適用される。図４に示した判別器生成工程Ｓ２０では、機械学習の結果として、各タグと、各タグに対応する画像データの特徴量との対応関係を表すデータベースを作成する。
　判別器生成工程Ｓ２０の後に、判別器ダウンロード工程Ｓ２２へ進む。判別器ダウンロード工程Ｓ２２では、判別器生成工程Ｓ２０において生成された判別器である、タグ付け規則が、図３に示したコンピュータ１２から、図２に示したカメラ１４へ送信される。カメラ１４は、タグ付け規則を判別器４０に適用する。
　図３に示したコンピュータ１２の判別器生成部２０、コンピュータ制御部６０、及び通信部７０は、分類規則を送信する分類規則送信部の構成要素の一例である。図２に示したカメラ１４の通信部５２、及びカメラ制御部４４は、分類規則受信部の構成要素の一例である。
　図４に示した判別器ダウンロード工程Ｓ２２の後に、判別器生成方法は終了する。図２に示したカメラ１４は、判別器４０を用いて、撮像後直ちに撮影して得られた画像データにタグを自動的に付与する。
　カメラ１４にダウンロードされた判別器４０は、画像認識技術を用いて、撮像して得られた画像データの特徴点を抽出し、特徴量を算出する。そして、各タグに対応する画像データの特徴量との対応関係を表すデータベースを参照して、画像データの特徴量に対応するタグ付けを行う。
　〔判別器更新方法フローチャート〕
　図５は判別器更新方法の手順の流れを示すフローチャートである。図５に示したフローチャートは、図４に示した判別器生成方法を用いて生成された判別器である、タグ付け規則を更新する手順を示す。
　図５に示した画像取得工程Ｓ１００では、図４に示した画像データ取得工程Ｓ１０と同様である。図５に示した画像取得工程Ｓ１００では、図３に示したコンピュータ１２は、判別器の更新に使用するタグ付きの画像データを取得する。
　図５に示した画像取得工程Ｓ１００の後に、判別器更新選択工程Ｓ１０４へ進む。判別器更新選択工程Ｓ１０４は、図４に示した判別器生成選択工程Ｓ１２と同様である。判別器更新選択工程Ｓ１０４において、判別器の生成が選択されない場合はＮｏ判定となる。Ｎｏ判定の場合は、判別結果判定工程Ｓ１０６へ進む。
　判別器更新選択工程Ｓ１０４において、更新対象の判別器が存在しない場合は、図４に示した判別器生成方法を用いて判別器を生成してもよい。生成された判別器は更新対象の判別器とされる。
　図５に示した判別結果判定工程Ｓ１０６では、タグが未付与の画像データを取得し、既存の判別器を用いて画像データのタグ付けを実行する。既存の判別器は、図３に示したカメラ１４から取得してもよい。判別できない画像がＮ枚未満の場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は判別器更新方法は終了する。Ｎは１以上の整数である。Ｎは判別器の性能、及び判別器に要求される性能に応じて決められる。
　一方、判別結果判定工程Ｓ１０６において、判別できない画像がＮ枚以上の場合はＮｏ判定となる。Ｎｏ判定の場合は、図４に示した更新催促情報出力工程Ｓ１０８へ進む。Ｎ枚以上は、予め定められた枚数以上に相当する。
　更新催促情報出力工程Ｓ１０８では、図３に示したコンピュータ１２の更新催促情報出力部６８を用いて、判別器を更新した方がよいことを催促する情報を出力する。更新催促情報を表す文字情報は、コンピュータ１２の表示部７４に表示させることが可能である。
　図５に示した更新催促情報出力工程Ｓ１０８において、更新催促情報が出力された後に、使用画像選択工程Ｓ１１０へ進む。すなわち、更新催促情報が出力された場合、図３に示したコンピュータ１２の判別器生成部２０は自動的に判別器を更新する。
　一方、図５に示した判別器更新選択工程Ｓ１０４において、判別器の更新が選択された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、使用画像選択工程Ｓ１１０へ進む。使用画像選択工程Ｓ１１０は、図４に示した使用画像選択工程Ｓ１４と同様である。
　図５に示した使用画像選択工程Ｓ１１０におけるユーザの画像データは、画像取得工程Ｓ１００において取得した、図２に示したカメラ１４から送信された画像データである。図５に示した使用画像選択工程Ｓ１１０において、ユーザの画像のみでは画像データが不足する場合は、Ｎｏ判定となる。Ｎｏ判定の場合は、画像データ収集工程Ｓ１１２へ進む。
　画像データ収集工程Ｓ１１２は、図４に示した画像データ収集工程Ｓ１６と同様である。画像データ収集工程Ｓ１１２の後に、図５に示した判別器更新工程Ｓ１１４へ進む。一方、使用画像選択工程Ｓ１１０において、ユーザの画像のみを用いて判別器を更新する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は判別器更新工程Ｓ１１４へ進む。
　判別器更新工程Ｓ１１４では、図３に示したコンピュータ１２の判別器生成部２０は、画像取得工程Ｓ１００において取得したユーザの画像データ、若しくは画像取得工程Ｓ１００において取得したユーザの画像データ、及び画像データ収集工程Ｓ１１２において取得した画像データを用いて判別器を更新する。
　判別器の更新は、図４に示した判別器生成工程Ｓ２０と同様に、図３に示したコンピュータ１２の判別器生成部２０を用いて、機械学習を実行して行われる。図５に示した判別器更新工程Ｓ１１４の後に、判別結果判定工程Ｓ１１６へ進む。
　判別器更新工程Ｓ１１４は、分類規則取得工程が構成要素として含まれる。判別器更新工程Ｓ１１４は、分類規則更新工程が構成要素として含まれる。
　判別結果判定工程Ｓ１１６では、判別器更新工程Ｓ１１４において更新された判別器を用いて、タグが未付与の画像データに対してタグ付けを実行する。判別結果判定工程Ｓ１１６において、タグ付けの結果が満足できない画像データが存在する場合はＮｏ判定となる。Ｎｏ判定の場合は判別器修正工程Ｓ１１８へ進む。
　タグ付けの結果が満足できない画像データの例として、タグが付与されていない画像データ、ユーザが考えていたタグと相違するタグが付与された画像データ、及びユーザが付与されたタグと異なるタグを付与したい画像データ等が挙げられる。
　判別器修正工程Ｓ１１８では、図３に示したコンピュータ１２の操作部７２を用いて、ユーザがタグの手動修正を行う。
　すなわち、図５に示した判別結果判定工程Ｓ１１６では、判別器において画像認識を用いて画像の特徴点を抽出してタグ付けを行った結果に満足がいかない場合は、タグ付けした画像データがタグとマッチしているかを、マニュアルで画像とタグとを確認する。判別器修正工程Ｓ１１８では、マニュアルでタグを変更する。判別器修正工程Ｓ１１８の後に、判別器更新工程Ｓ１１４へ進む。
　判別器更新工程Ｓ１１４では、タグが修正された画像データ、及び修正されたタグを用いて、判別器が更新される。以降、判別結果判定工程Ｓ１１６においてＹｅｓ判定となるまで、判別器更新工程Ｓ１１４、判別結果判定工程Ｓ１１６、判別器修正工程Ｓ１１８が繰り返し実行される。
　一方、判別結果判定工程Ｓ１１６において、ユーザがタグ付けの結果に満足した場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、更新された判別器が図３に示したカメラ１４へダウンロードされた後に、判別器更新方法は終了する。
　なお、図４に示した判別器生成方法、及び図５に示した判別器更新方法は、上記の例に限定されない。図４に示した判別器生成方法、及び図５に示した判別器更新方法は、工程の追加、削除、及び変更が可能である。
　〔画像収集の例〕
　図６は画像収集におけるキーワード入力画面の一例を示す図である。図６に示した検索画面１００は、図４に示した画像データ収集工程Ｓ１６、及び図５に示した画像データ収集工程Ｓ１１２において、図３に示したコンピュータ１２の表示部７４に表示される。図１に示したクラウド１６から画像データ３２を収集する場合、キーワードを検索キーとして、クラウド１６に記憶されている画像データを抽出可能である。
　ユーザは、図３に示したコンピュータ１２の操作部７２を用いて、図６に示した検索画面１００のキーワードを入力し得る。図６に示した検索画面１００は、三種類のキーワードを入力し得る、第一キーワード入力部１０２、第二キーワード入力部１０４、及び第三キーワード入力部１０６が表示される。
　また、図６に示した検索画面１００は、三種類のキーワードの論理積を検索キーワードとして設定可能に構成されている。複数のキーワードの論理和を検索キーワードとして設定可能に構成してもよい。論理積と論理和とを切り替え可能に構成してもよい。
　図６に示した第一キーワード入力部１０２はキーワードとして植物観察が入力されている。また、第二キーワード入力部１０４はキーワードとして東北が入力されている。検索画面１００の入力情報である、植物観察、及び東北のタグが付与された画像データが収集される。
　図６に示した検索画面１００は、キーワードを追加する追加ボタン１０８が表示される。ユーザは、追加ボタン１０８を操作してキーワードを追加することが可能である。また、検索画面１００はキーワードを確定させるオーケーボタン１１０が表示される。ユーザは、オーケーボタン１１０を操作してキーワードを確定させることが可能である。
　〔フォルダ情報をタグに適用する例〕
　図４に示したタグ付け工程Ｓ１８において、図２に示したカメラ１４のフォルダ情報をタグに適用する例について説明する。図７はカメラにおけるフォルダ情報の一例の説明図である。フォルダ情報は、第一画像データを管理する画像データ管理情報の一例である。
　図７には、図２に示したカメラ１４の記憶部４８に含まれる画像データが保存される領域のファイル管理構造が模式的に図示されている。
　図７に示したピクチャフォルダ１２０は、図２に示したカメラ１４の記憶部４８における画像データが保存される領域の一例である。カメラ１４を用いて撮像して得られた画像データは、一旦、ピクチャフォルダ１２０に保存される。
　カメラ１４は、ピクチャフォルダ１２０に一つ以上のサブフォルダが生成される。カメラ１４は、ユーザが生成したサブフォルダへ画像データを保存可能に構成される。図７に示したピクチャフォルダ１２０は、サブフォルダとして、旅行フォルダ１２２、料理フォルダ１２４、及びスポーツフォルダ１２６が生成されている。
　旅行フォルダ１２２、料理フォルダ１２４、及びスポーツフォルダ１２６は、ユーザが付与したフォルダ名を有している。旅行フォルダ１２２の旅行、料理フォルダ１２４の料理、及びスポーツフォルダ１２６のスポーツは、ユーザが付与したフォルダ名である。なお、フォルダ名はフォルダ情報の一例である。
　カメラ１４は、サブフォルダ内にも、一つ以上のサブフォルダを生成可能に構成されている。図７に示した九州フォルダ１２８は旅行フォルダ１２２内に生成されたサブフォルダである。飲物フォルダ１３０は料理フォルダ１２４に生成されたサブフォルダである。マラソンフォルダ１３２はスポーツフォルダ１２６に生成されたサブフォルダである。
　九州フォルダ１２８の九州、飲物フォルダ１３０の飲物、及びマラソンフォルダ１３２のマラソンは、ユーザが付与したフォルダ名である。
　九州フォルダ１２８は、ファイル名がＡＡＡ０００１．ｊｐｇの画像データ１３４、及びファイル名がＡＡＡ０００２．ｊｐｇの画像データ１３６が記憶される。なお、ｊｐｇはＪＰＥＧ形式のファイルを表す拡張子である。ＪＰＥＧはJoint Photographic Experts Groupの省略語である。
　飲物フォルダ１３０は、ファイル名がＢＢＢ０００３．ｊｐｇの画像データ１３８、及びファイル名がＢＢＢ０００４．ｊｐｇの画像データ１４０が記憶される。マラソンフォルダ１３２は、ファイル名がＣＣＣ０００５．ｊｐｇの画像データ１４２、及びファイル名がＣＣＣ０００６．ｊｐｇの画像データ１４４が記憶される。
　図３に示したコンピュータ１２において判別器を生成する際に、図４に示したタグ付け工程Ｓ１８において、フォルダ名を画像データのタグに使用することが可能である。例えば、画像データ１３４は旅行、及び九州をタグとして付与し得る。図５に示した判別器更新工程Ｓ１１４において、判別器を更新する際に、画像データのタグにフォルダ名が適用された画像データを用いてもよい。
　図８はフォルダ情報をタグに適用した一例の説明図である。図８に示すように、各画像データは、Ｔａｇ１として上位階層のフォルダ名が付与される。また、各画像データは、Ｔａｇ２として下位階層のフォルダ名が付与される。図８に示したＴａｇ１、及びＴａｇ２、及びＴａｇ３のＴａｇはタグを表す。
　また、フォルダ情報の階層構造がタグの階層構造に適用される。これにより、タグの階層構造の構築の手間をかけずに、タグの階層構造の構築が可能である。タグの階層構造の採用は、タグ付けの精度向上に寄与し得る。
　〔タグごとの特徴量データベースの具体例〕
　図９はタグごとの特徴量データベースの一例の説明図である。図９に示した特徴量データベース２００は、図４に示した判別器生成工程Ｓ２０において生成される。また、図９に示した特徴量データベース２００は、図５に示した判別器更新工程Ｓ１１４において更新される。
　図９に示した特徴量データベース２００は、画像データを解析して導出された特徴量２０２と、タグ２０４との関係を表す。特徴量データベース２００は、図７に示した画像データ１３４から画像データ１４４までのそれぞれの特徴量２０２と、タグ２０４との関係を表す。
　画像データの特徴量２０２は、画像データの領域抽出、及び領域ごとの特徴量２０２の算出を含む画像解析処理を用いて導出可能である。画像データの領域抽出の例として、輪郭抽出、形状抽出、及びサイズ抽出等が挙げられる。
　領域ごとの特徴量２０２の導出例として、色、及びコントラスト等の情報を用いて、それぞれの評価値を算出し、それぞれの評価値を演算して導出する例が挙げられる。図９には、特徴量２０２の例として五桁の数値を示した。特徴量２０２を表すアルファベットは任意の数値を意味する。
　〔更新催促情報表示の具体例〕
　《更新催促情報出力画面》
　図１０は更新催促情報出力の一例の説明図である。図１０には、更新催促情報２２２として、図３に示したコンピュータ１２の表示部７４に文字情報を表示させる態様を示す。図１０に示した更新催促情報出力画面２２０は、タグ付けできない画像がＮ枚以上あること、及び判別器の更新を催促することを表す文字情報が表示される。
　更新催促情報出力画面２２０のオーケーボタン２２４をユーザが操作した場合、図３に示したコンピュータ１２の判別器生成部２０は、判別器の更新を実行する。
　《更新催促情報出力の変形例》
　図５に示した判別結果判定工程Ｓ１０６では、判別対象の画像データの数に対して判別できない画像データの数の割合がＭパーセント以上の場合に、図１０に一例を示す更新催促情報２２２を出力してもよい。Ｍパーセント以上は予め定められた割合以上に相当する。
　判別結果判定工程Ｓ１０６では、判別できない画像データの数に、意図するタグが付与されていない画像データの数を加算してもよい。判別結果判定工程Ｓ１０６では、判別できない画像データの数に代わり、意図するタグが付与されていない画像データの数を適用してもよい。
　〔タグの手動修正例〕
　図１１はタグの手動修正におけるタグ入力画面の一例を示す図である。図５に示した判別器修正工程Ｓ１１８では、判別器を用いて自動的に付与されたタグを手動修正する。タグを手動修正する場合に、図３に示した判別器修正部６６は、表示部７４にタグ修正画面２４０を表示させる。
　ユーザは、操作部７２を操作してファイル一覧２４２からタグの手動修正を行う画像データを選択可能である。ユーザが選択した画像データは画像表示部２４４に表示される。ユーザは操作部７２を操作して、ユーザが選択した画像データに付与されたタグを修正することが可能である。なお、図１１ではユーザが選択した画像の表示を省略する。
　図１１に示した手動修正の例では、Ｔａｇ１がコース料理に修正されている。また、Ｔａｇ２がフリードリンクに修正されている。更に、Ｔａｇ３として清涼飲料水が追加されている。
　図５に示した判別器修正工程Ｓ１１８では、図３に示した判別器生成部２０を用いて更新された判別器を適用して、自動的に画像データに付与されたタグのカスタマイズが可能である。また、図５に示した判別器更新工程Ｓ１１４では、手動修正されたタグを用いて判別器の更新が可能である。これにより、ユーザの嗜好が反映されたパーソナルなタグ付けを可能とする判別器の更新が可能である。
　［変形例］
　図２に示したカメラ１４にダウンロードした判別器４０がリアルタイムに働き、撮像前にカメラ１４の表示部４６にタグを表示してもよい。例えば、スルー画にタグを付与し、スルー画にタグを重畳表示してもよい。これにより、判別結果が間違っていて、ユーザが意図しないタグが付与されることを撮像前に把握することが可能となる。また、判別結果が間違っている場合は、判別器４０の更新の目安となり得る。
　［作用効果］
　上記の如く構成された撮像システムは以下の作用効果を得ることが可能である。
　〔作用効果１〕
　ユーザのカメラ記憶される画像データであり、予めタグが付与された画像データを用いて、画像データにタグを付与する判別器を更新する。これにより、ユーザの嗜好が反映されたパーソナルなタグ付けを可能とする判別器を取得し得る。
　〔作用効果２〕
　Ｎを整数とし、タグが付与されない画像データがＮ枚以上の場合に判別器の更新を催促する更新催促情報が出力される。これにより、ユーザは判別器を更新する必要性を把握し得る。更新催促情報が出力された場合、判別器が自動的に更新される。これにより、タグ付け精度が高い判別器の取得が可能となる。
　〔作用効果３〕
　判別器を用いて付与されたタグを手動修正し得る。これにより、ユーザの嗜好がより反映された判別器の取得が可能である。
　〔作用効果４〕
　ユーザのカメラに記憶される画像データに加えて、クラウド１６から画像データ３２を収集し、判別器を生成し、又は判別器を更新する。これにより、画像データの数の不足、及び画像データの種類の不足等を回避し得る。また、ユーザがあまり撮像しないシーンの画像データを用いた判別器の生成、及び判別器の更新が可能であり、判別器のタグ付けの精度向上が見込まれる。
　〔作用効果５〕
　判別器の生成、及び判別器の更新に、ユーザのカメラのフォルダ情報をタグとして使用する。これにより、ユーザのカメラのフォルダ情報に表されたユーザの嗜好が反映された判別器の生成、及び判別器の更新が可能である。
　〔作用効果６〕
　判別器の生成、及び判別器の更新に機械学習を適用する。これにより、判別器を更新する度に精度の高いタグ付けが可能となる。
　〔作用効果７〕
　カメラ１４はコンピュータ１２において更新された判別器をダウンロードする。これにより、更新後の判別器を用いて、カメラ１４を用いて撮像して得られた画像データへの、ユーザの嗜好が反映されたタグ付けが可能となる。
　［ネットワークシステムの適用例］
　図１２はネットワークシステムの適用例を示す撮像システムのブロック図である。図１２に示した撮像システム３００は、ネットワーク３０２を介して、コンピュータ１２、カメラ１４、及びサーバ装置３０４のそれぞれが、互いに通信可能に接続される。
　すなわち、図１に示したクラウド１６は、図１２に示したネットワーク３０２、サーバ装置３０４、及び画像データ記憶装置３０６を含むネットワークシステムと置き換え可能である。図１２に示したネットワーク３０２は、図１に示した携帯端末１８が通信可能に接続されてもよい。
　サーバ装置３０４は、複数の画像データが記憶される画像データ記憶装置３０６を備える。コンピュータ１２は、ネットワーク３０２を介してサーバ装置３０４へ画像データの検索条件を送信可能である。検索条件の一例として検索キーが挙げられる。検索条件は図６に示したキーワードに相当する。検索条件は選択情報の一例である。
　サーバ装置３０４は、コンピュータ１２から送信された検索条件を用いて、画像データ記憶装置３０６に記憶されている複数の画像データを検索可能である。サーバ装置３０４は、検索条件に合致する画像データを抽出可能である。サーバ装置３０４は、ネットワーク３０２を介して、抽出した画像データをコンピュータ１２へ送信可能である。
　図１２に示したサーバ装置３０４は、一つのコンピュータ、又は複数のコンピュータを用いて構成可能である。画像データ記憶装置３０６は、一つの記憶装置、又は複数の記憶装置を用いて構成可能である。
　図１２に示した画像データ記憶装置３０６は、サーバ装置３０４の外部装置であってもよい。画像データ記憶装置３０６は、サーバ装置３０４を介さずに、直接、ネットワーク３０２と接続されてもよい。これらは、サーバ装置に備えられる記憶部の一例である。
　［ネットワークシステムが適用された撮像システムの作用効果］
　ネットワークシステムが適用された撮像システムは、以下の作用効果を得ることが可能である。
　〔作用効果１〕
　ネットワーク３０２を介してコンピュータ１２と接続された画像データ記憶装置３０６から、タグが付与された画像データを収集する。これにより、より多くの画像データの中から検索条件に合致した画像データの収集が可能となる。
　〔作用効果２〕
　ユーザがあまり撮像しないシーン、及び被写体の画像データの取得が可能である。これにより、判別器４０のタグ付け精度の向上が見込まれる。
　［画像データ判別システムへの適用例］
　先に説明した撮像システムは、画像データ判別システムとして構成可能である。例えば、図１に示したコンピュータ１２、及びクラウド１６を備えた画像データ判別システムを構成可能である。また、図１２に示したコンピュータ１２、及びサーバ装置３０４、及び画像データ記憶装置３０６を備えた画像データ判別システムを構成可能である。
　この画像データ判別システムは、図１、又は図１２に示したカメラ１４と通信可能に接続される。画像データ判別システムは、カメラ１４からタグ付きの画像データを取得する。また、画像データ判別システムは、コンピュータ１２を用いて生成された判別器、及びコンピュータ１２を用いて更新された判別器の少なくともいずれか一方を、カメラ１４へダウンロードする。
　また、図５に一例を示した判別器更新方法は、画像データ判別システムに適用される画像データ判別方法として把握し得る。画像データ判別方法は、図４に一例を示した判別器生成方法を含んで構成されてもよい。
　［ハードウェア構成の変形例］
　上記実施の形態では、画像データ判別の各機能をコンピュータ１２に実現させているが、これらの機能を実現するためのハードウェア的な構成は、これに限定されるものではない。各種のプロセッサで実現させることができる。各種のプロセッサには、ソフトウェアを実行して各種の処理を行う処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡなどの製造後に回路構成を変更可能なプロセッサであるＰＬＤ、ＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。ソフトウェアはプログラムと同義である。
　なお、ＦＰＧＡは製造後に購入者や設計者が構成を設定できる集積回路を表す英語表記であるField Programmable Gate Arrayの省略語である。ＰＬＤはプログラマブルロジックデバイスを表す英語表記であるProgrammable Logic Deviceの省略語である。ＡＳＩＣは特定用途向け集積回路を表す英語表記であるApplication Specific Integrated Circuitの省略語である。
　一つの処理部は、これら各種のプロセッサのうちの一つで構成されていてもよいし、同種又は異種の二つ以上のプロセッサで構成されていてもよい。例えば、複数のＦＰＧＡで構成されてもよいし、ＣＰＵ及びＦＰＧＡの組み合わせで構成されてもよい。
　また、複数の処理部を一つのプロセッサで構成してもよい。複数の処理部を一つのプロセッサで構成する例としては、第一に、クライアント、サーバなどのコンピュータに代表されるように、一つ以上のＣＰＵとソフトウェアとの組合せで一つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、ＳｏＣなどに代表されるように、複数の処理部を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを一つ以上用いて構成される。なお、ＳｏＣはシステムオンチップを表す英語表記であるSystem On Chipの省略語である。ＩＣは集積回路を表すIntegrated Circuitの省略語である。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。
　［画像データ判別プログラムへの適用例］
　先に説明した撮像システム、判別器更新方法、画像データ判別システム、及び画像データ判別方法は、コンピュータ１２を用いて、各部の機能、又は各工程の機能を実現させるプログラムへ適用可能である。
　例えば、ユーザのカメラ１４からタグ付きの画像データ３０を取得する画像データ取得機能、タグを付与する対象の画像データに対してタグを付与する判別器を取得する判別器取得機能、及びユーザのカメラ１４から取得したタグ付きの画像データとタグとの関係に基づいて判別器を更新する判別器更新機能を、コンピュータ１２に実行させる画像データ判別プログラムを構成し得る。更に、画像データ判別プログラムを格納した、ハードディスク、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、各種半導体メモリ等の、非一時的かつコンピュータ読取可能な記録媒体を構成することが可能である。
　判別器取得機能は分類規則取得機能に相当する。判別器更新機能は分類規則更新機能に相当する。
　［実施形態及び変形例等の組み合わせについて］
　上記の実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
　［用語の説明］
　撮像は、撮影を含む概念を表す。撮像は静止画像の取得、及び動画像の取得のいずれも含み得る。
　撮像装置は、カメラを含む概念を表す。デジタルカメラは撮像装置の一例である。写真は、写真用紙に画像が記録された形態、及び表示装置に画像が表示された形態を含み得る。
　画像データは、画像を表す電気信号を示す。
　以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
１０　撮像システム
１２　コンピュータ
１４　カメラ
１６　クラウド
１８　携帯端末
２０　判別器生成部
２２　学習器
３０、３２　画像データ
４０　判別器
４１　撮像部
４２　信号処理部
４４　カメラ制御部
４６、７４　表示部
４８　記憶部
５０、７２　操作部
５２、７０　通信部
６０　コンピュータ制御部
６２　画像データ取得部
６４　判別器記憶部
６６　判別器修正部
６８　更新催促情報出力部
７６　プログラム記憶部
１００　検索画面
１０２　第一キーワード入力部
１０４　第二キーワード入力部
１０６　第三キーワード入力部
１０８　追加ボタン
１１０、２２４　オーケーボタン
１２０　ピクチャフォルダ
１２２　旅行フォルダ
１２４　料理フォルダ
１２６　スポーツフォルダ
１２８　九州フォルダ
１３０　飲物フォルダ
１３２　マラソンフォルダ
１３４、１３６、１３８、１４０、１４２、１４４　画像データ
２００　特徴量データベース
２０２　特徴量
２０４　タグ
２２０　更新催促情報出力画面
２２２　更新催促情報
２４０　タグ修正画面
２４２　ファイル一覧
２４４　画像表示部
３００　撮像システム
３０２　ネットワーク
３０４　サーバ装置
３０６　画像データ記憶装置
Ｓ１０～Ｓ２２　判別器生成方法の各工程
Ｓ１００～Ｓ１１８　判別器更新方法の各工程

Claims (19)

  1. 　ユーザの撮像装置を用いて撮像され、かつ分類情報が付与された第一画像データを取得する画像データ取得部と、
    　分類情報を付与する対象の第二画像データに対する分類規則を取得する分類規則取得部と、
    　前記第一画像データと、前記第一画像データに付与された分類情報との対応関係に基づいて前記分類規則を更新する分類規則更新部と、
    　を備えた画像データ判別システム。
  2. 　前記分類規則を適用して、前記第二画像データに分類情報を付与する判別部と、
    　前記分類規則の更新を促す更新催促情報を出力する更新催促情報出力部と、
    　を備え、
    　更新催促情報出力部は、前記判別部を用いて前記第二画像データに分類情報を付与した際に、分類情報が付与されない画像データ、及び意図する分類情報が付与されない画像データの少なくともいずれか一方が、予め定められた枚数以上、又は判別対象の画像データの数に対して予め定められた割合以上の場合に、前記更新催促情報を出力する請求項１に記載の画像データ判別システム。
  3. 　前記分類規則更新部は、前記更新催促情報が出力された場合に前記分類規則の更新を実行する請求項２に記載の画像データ判別システム。
  4. 　前記判別部を用いて前記第二画像データに付与された分類情報を修正する修正部を備えた請求項２又は３に記載の画像データ判別システム。
  5. 　前記分類規則更新部は、前記第二画像データと前記修正部を用いて修正された分類情報との対応関係に基づいて前記分類規則を更新する請求項４に記載の画像データ判別システム。
  6. 　前記画像データ取得部は、分類情報が付与されている第三画像データが記憶される記憶部から前記第三画像データを取得し、
    　前記分類規則更新部は、前記第一画像データと前記第一画像データに付与された分類情報との対応関係、及び前記第三画像データと前記第三画像データに付与された分類情報との対応関係に基づいて前記分類規則を更新する請求項１から５のいずれか一項に記載の画像データ判別システム。
  7. 　前記分類規則更新部は、前記記憶部に記憶されている画像データから、選択情報に対応する前記第三画像データを選択し、
    　前記画像データ取得部は、前記選択情報に対応する前記第三画像データを取得する請求項６に記載の画像データ判別システム。
  8. 　前記分類規則取得部は、前記ユーザの撮像装置において前記第一画像データを管理する画像データ管理情報に基づいて定められた分類規則を取得する請求項１から７のいずれか一項に記載の画像データ判別システム。
  9. 　前記分類規則更新部は、前記ユーザの撮像装置において前記第一画像データを管理する画像データ管理情報を用いて前記分類規則を更新する請求項１から８のいずれか一項に記載の画像データ判別システム。
  10. 　前記分類規則更新部を用いて更新された前記分類規則を撮像装置に送信する分類規則送信部を備えた請求項１から９のいずれか一項に記載の画像データ判別システム。
  11. 　前記分類規則更新部は、分類情報と分類情報が付与された画像データとの対応関係を正解データとして、機械学習を用いて前記分類規則を更新する請求項１から１０のいずれか一項に記載の画像データ判別システム。
  12. 　ネットワークを介してコンピュータと通信可能に接続された撮像装置を備えた画像データ判別システムであって、
    　前記コンピュータは、
    　ユーザの撮像装置を用いて撮像され、かつ分類情報が付与された第一画像データを取得する画像データ取得部と、
    　分類情報を付与する対象の第二画像データに対する分類規則を取得する分類規則取得部と、
    　前記第一画像データと、前記第一画像データに付与された分類情報との対応関係に基づいて前記分類規則を更新する分類規則更新部と、
    　を備えた画像データ判別システム。
  13. 　ネットワークを介して前記コンピュータと通信可能に接続されるサーバ装置と、
    　分類情報が付与されている第三画像データが記憶され、かつ前記サーバ装置に備えられる記憶部と、
    　を備え、
    　前記画像データ取得部は、前記記憶部から前記第三画像データを取得し、
    　前記分類規則更新部は、前記第一画像データと前記第一画像データに付与された分類情報との対応関係、及び前記第三画像データと前記第三画像データに付与された分類情報との対応関係に基づいて前記分類規則を更新する請求項１２に記載の画像データ判別システム。
  14. 　前記撮像装置は、ネットワークを介して前記コンピュータと通信可能に接続される請求項１２又は１３に記載の画像データ判別システム。
  15. 　コンピュータに、
    　ユーザの撮像装置を用いて撮像され、かつ分類情報が付与された第一画像データを取得する画像データ取得機能、
    　分類情報を付与する対象の第二画像データに対する分類規則を取得する分類規則取得機能、及び
    　前記第一画像データと、前記第一画像データに付与された分類情報との対応関係に基づいて前記分類規則を更新する分類規則更新機能を実現させる画像データ判別プログラム。
  16. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    　ユーザの撮像装置を用いて撮像され、かつ分類情報が付与された第一画像データを取得する画像データ取得機能、
    　分類情報を付与する対象の第二画像データに対する分類規則を取得する分類規則取得機能、及び
    　前記第一画像データと、前記第一画像データに付与された分類情報との対応関係に基づいて前記分類規則を更新する分類規則更新機能をコンピュータに実現させる記録媒体。
  17. 　ユーザの撮像装置を用いて撮像され、かつ分類情報が付与された第一画像データを取得する画像データ取得工程と、
    　分類情報を付与する対象の第二画像データに対する分類規則を取得する分類規則取得工程と、
    　前記第一画像データと、前記第一画像データに付与された分類情報との対応関係に基づいて前記分類規則を更新する分類規則更新工程と、
    　を含む画像データ判別方法。
  18. 　ユーザの撮像装置であり、被写体を撮像し、撮像して得られた画像データに予め定められた分類規則を適用して分類情報を付与する判別部を備えた撮像装置と、
    　前記ユーザの撮像装置を用いて撮像され、かつ分類情報が付与された第一画像データを取得する画像データ取得部と、
    　分類情報を付与する対象の第二画像データに対する分類規則を取得する分類規則取得部と、
    　前記第一画像データと、前記第一画像データに付与された分類情報との対応関係に基づいて前記分類規則を更新する分類規則更新部と、
    　を備えた撮像システム。
  19. 　前記分類規則更新部を用いて更新された前記分類規則を撮像装置に送信する分類規則送信部を備え、
    　前記撮像装置は、前記分類規則更新部を用いて更新された前記分類規則を受信する分類規則受信部を備えた請求項１８に記載の撮像システム。
PCT/JP2018/035326 2017-09-29 2018-09-25 画像データ判別システム、画像データ判別プログラム、画像データ判別方法、及び撮像システム WO2019065582A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-190539 2017-09-29
JP2017190539 2017-09-29

Publications (1)

Publication Number Publication Date
WO2019065582A1 true WO2019065582A1 (ja) 2019-04-04

Family

ID=65902875

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/035326 WO2019065582A1 (ja) 2017-09-29 2018-09-25 画像データ判別システム、画像データ判別プログラム、画像データ判別方法、及び撮像システム

Country Status (1)

Country Link
WO (1) WO2019065582A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039262A1 (ja) * 2019-08-27 2021-03-04 キヤノン株式会社 情報処理装置およびその制御方法およびプログラム
WO2023008171A1 (ja) * 2021-07-30 2023-02-02 富士フイルム株式会社 データ作成装置、データ作成方法、プログラムおよび記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295879A (ja) * 2003-03-12 2004-10-21 Hitachi High-Technologies Corp 欠陥分類方法
JP2010157154A (ja) * 2008-12-29 2010-07-15 Hitachi High-Technologies Corp 画像分類基準更新方法、プログラムおよび画像分類装置
WO2011092793A1 (ja) * 2010-01-29 2011-08-04 パナソニック株式会社 データ処理装置
JP2011192091A (ja) * 2010-03-15 2011-09-29 Omron Corp 画像属性判別装置、属性判別支援装置、画像属性判別方法、属性判別支援装置の制御方法、および、制御プログラム
JP2017515189A (ja) * 2014-03-07 2017-06-08 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 写真管理

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295879A (ja) * 2003-03-12 2004-10-21 Hitachi High-Technologies Corp 欠陥分類方法
JP2010157154A (ja) * 2008-12-29 2010-07-15 Hitachi High-Technologies Corp 画像分類基準更新方法、プログラムおよび画像分類装置
WO2011092793A1 (ja) * 2010-01-29 2011-08-04 パナソニック株式会社 データ処理装置
JP2011192091A (ja) * 2010-03-15 2011-09-29 Omron Corp 画像属性判別装置、属性判別支援装置、画像属性判別方法、属性判別支援装置の制御方法、および、制御プログラム
JP2017515189A (ja) * 2014-03-07 2017-06-08 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 写真管理

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039262A1 (ja) * 2019-08-27 2021-03-04 キヤノン株式会社 情報処理装置およびその制御方法およびプログラム
WO2023008171A1 (ja) * 2021-07-30 2023-02-02 富士フイルム株式会社 データ作成装置、データ作成方法、プログラムおよび記録媒体

Similar Documents

Publication Publication Date Title
JP4232774B2 (ja) 情報処理装置および方法、並びにプログラム
US8330830B2 (en) Camera user input based image value index
JP5364573B2 (ja) 不完全なデータからの評価指標
US7742083B2 (en) In-camera dud image management
US20120188382A1 (en) Automatic selection of digital images from a multi-sourced collection of digital images
US20170078611A1 (en) Camera user input based image value index
JP2008071112A (ja) 画像分類装置、画像分類方法及びプログラム
JP2010506297A (ja) 画像レコードアクセス用異分類クラスタランキング
CN111866392B (zh) 拍摄提示方法、装置、存储介质及电子设备
US11165964B2 (en) Image capture apparatus and method for controlling the same
US8237802B2 (en) Method and apparatus for determining shaken image by using auto focusing
KR101595263B1 (ko) 앨범 관리 방법 및 장치
WO2019065582A1 (ja) 画像データ判別システム、画像データ判別プログラム、画像データ判別方法、及び撮像システム
JP2007184888A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
JP2007133838A (ja) 画像表示方法及び画像表示プログラム
JP5402026B2 (ja) 電子カメラおよび画像処理プログラム
KR20100076793A (ko) 디지털 이미지 처리 장치 및 방법, 컴퓨터 판독가능 저장매체, 및 전자 장치 및 그 제어 방법
US20220114207A1 (en) Method and system for image searching and evaluation using tags
JP2012079354A (ja) 画像表示制御装置、画像表示制御方法及びプログラム
US20200092484A1 (en) Image display control apparatus, image display control method, program, and recording medium
JP2003022443A (ja) 画像比較装置、画像比較方法、画像比較用プログラム、撮影装置、及び撮影方法。
KR20150096552A (ko) 사진 앨범 또는 사진 액자를 이용한 온라인 사진 서비스 시스템 및 방법
US20240040232A1 (en) Information processing apparatus, method thereof, and program thereof, and information processing system
WO2024062912A1 (ja) 表示制御装置、表示制御装置の作動方法、および表示制御装置の作動プログラム
WO2023127366A1 (ja) 画像ファイル変換方法、画像ファイル変換装置、及びプログラム

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 18862218

Country of ref document: EP

Kind code of ref document: A1