WO2010047336A1 - 画像撮影システム及び画像撮影方法 - Google Patents

画像撮影システム及び画像撮影方法 Download PDF

Info

Publication number
WO2010047336A1
WO2010047336A1 PCT/JP2009/068076 JP2009068076W WO2010047336A1 WO 2010047336 A1 WO2010047336 A1 WO 2010047336A1 JP 2009068076 W JP2009068076 W JP 2009068076W WO 2010047336 A1 WO2010047336 A1 WO 2010047336A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
shooting
image
unit
image data
Prior art date
Application number
PCT/JP2009/068076
Other languages
English (en)
French (fr)
Inventor
宏之 高橋
秀五 高橋
秀二 清水
健太郎 酒匂
規角 大沢
Original Assignee
株式会社キャメロット
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社キャメロット filed Critical 株式会社キャメロット
Priority to US13/124,954 priority Critical patent/US20110199511A1/en
Priority to JP2010534819A priority patent/JPWO2010047336A1/ja
Publication of WO2010047336A1 publication Critical patent/WO2010047336A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185—Image output
    • H04N1/00198—Creation of a soft photo presentation, e.g. digital slide-show
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00453—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00458—Sequential viewing of a plurality of images, e.g. browsing or scrolling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2166—Intermediate information storage for mass storage, e.g. in document filing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2166—Intermediate information storage for mass storage, e.g. in document filing systems
    • H04N1/2179—Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries
    • H04N1/2183—Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries the stored images being distributed among a plurality of different locations, e.g. among a plurality of users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3247—Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data

Definitions

  • the present invention relates to an image capturing system and an image capturing method in an information processing terminal having an image capturing function such as a mobile phone terminal and a PDA (Personal Digital Assistance).
  • an image capturing function such as a mobile phone terminal and a PDA (Personal Digital Assistance).
  • it has relatively few operation buttons and a small display interface like a digital camera or a mobile phone.
  • the complexity of operation work for the management increases and the burden on the user further increases.
  • the present invention automatically classifies image files in an information processing terminal equipped with an image capturing function for capturing an image such as a mobile phone terminal or a PDA in consideration of position information and time information as well as the content of shooting. It is another object of the present invention to provide an image capturing system and an image capturing method that can reduce the burden on the user in managing image files.
  • the present invention provides an imaging unit that captures an image, a shooting mode setting unit that sets a shooting mode for shooting by the imaging unit, position information that indicates the position of the device at the time of shooting, And a shooting time information acquisition unit that acquires current time information as shooting time information, and setting of shooting mode and shooting time information at the time of shooting of the image data to the image data shot by the imaging unit.
  • An additional information processing unit to be added as attribute information about contents, an attribute data added by the additional information processing unit, an image data storage unit for storing image data, and image data stored in the image data storage unit for each image
  • a display control unit for searching and displaying according to the attribute information.
  • Another invention is an image capturing method by an image capturing unit that captures an image, and includes the following steps.
  • (1) Shooting mode setting step for setting a shooting mode for shooting by the imaging unit (2) During shooting, acquisition of shooting time information that acquires position information indicating the position of the own device and current time information as shooting time information
  • Step (3) Image capturing step for capturing an image (4) Image mode captured at the time of capturing the image data and information at the time of capturing are added to the image data captured at the image capturing step as attribute information regarding the contents of each image data.
  • the shooting mode information at the time of shooting, the position information of the own device, and the shooting time information can be added to the image data, and the image data is searched according to the attribute information. It can be saved as possible.
  • the subject's attributes can be estimated to some extent based on the optical shooting mode according to the location and time zone, such as portrait shooting mode at a specific location or time zone, landscape shooting mode, still-image close-up mode, etc.
  • the captured image data can be classified according to the estimation. As a result, the burden of image data classification work by the user can be reduced.
  • the camera further includes a shooting time setting storage unit that associates position information and time information with a shooting mode and stores them as shooting mode settings, and the shooting mode setting unit includes the shooting time information acquired by the shooting time information acquisition unit. Accordingly, it is preferable to refer to the mode setting and set the referenced shooting mode for the imaging unit.
  • the shooting setting storage unit stores shooting mode information in advance in association with position information and time information, when the position information and time information are acquired during shooting, The shooting mode can be set, and the burden of the user to select the shooting mode can be further reduced.
  • the shooting mode stored in the shooting time setting storage unit is added or changed in association with the position information and time information when the user manually changes the shooting setting. Also good.
  • the image processing apparatus further includes a schedule storage unit that stores and holds position information, time information, and schedule content related to the user's schedule as schedule information, and the shooting mode setting unit uses the schedule information when referring to the mode setting. It is preferable to set the shooting mode for the imaging unit based on the position information, the time information, and the type of schedule content included.
  • the shooting mode is set by giving priority to the schedule information scheduled by the user, it is possible to reflect the user's action schedule and estimate the attribute of the image data more accurately.
  • the schedule information includes the details of the schedule such as “birthday” or “overseas travel”. By doing so, it is possible to accurately sort image data.
  • the display control unit has a calendar display function including the current date, and the calendar display function stores, in the image data storage unit, a date part before the current date with the current date as a boundary. It is preferable to display a list of the image data that has been displayed, and display the schedule information stored in the schedule storage unit in the month and date after the current date.
  • an operation history recording unit that records a history of shooting modes set by the shooting mode setting unit, and a tutorial storage unit that stores information about usage examples of shooting modes as tutorial information in association with position information and time information; Based on the unused shooting mode extracted by the operation history analysis unit that analyzes the shooting mode history and extracts the unused shooting mode, the tutorial information is referred to and the unused shooting mode is extracted.
  • a tutorial acquisition unit that acquires usage examples of shooting modes, and location information, time information, and schedule content types according to usage examples included in the tutorial information acquired by the tutorial acquisition unit are added to the schedule information as user schedules. It is preferable to further include a tutorial setting unit.
  • the face portion of the person is detected, the face detection unit for calculating the coordinate position of the detected face portion in the basic image, and the face portion detected by the face detection unit is converted into image data of a specific shape
  • a face seal generation unit, and the shooting mode setting unit can select a shooting mode including a face portion detection process by the face detection unit and an image data conversion process by the face seal generation unit, and record an operation history.
  • the unit preferably records the history of the shooting mode including the detection process and the conversion process selected by the shooting mode setting unit in the operation history.
  • the user's face of the image taken by the user can be partially detected and saved as a face sticker that can be used for icons, etc., so each user can use the person's face for various purposes can do. Furthermore, since the shooting mode including the detection process and the conversion process is also stored in the shooting time setting storage unit, automatic setting during shooting in shooting mode and tutorial setting when not in use can be performed.
  • an information processing terminal equipped with an image capturing function for capturing an image such as a mobile phone terminal or a PDA
  • the contents of shooting are taken into account automatically. It is possible to classify the image files and reduce the burden on the user in managing the image files.
  • FIG. 1 is a conceptual diagram illustrating an overall configuration of an image capturing system according to an embodiment. It is a front view which shows the external appearance of the portable terminal which concerns on embodiment. It is a block diagram which shows the internal structure which concerns on the image imaging system of the portable terminal which concerns on embodiment. It is explanatory drawing which shows the display screen of the calendar function which concerns on embodiment. It is explanatory drawing which shows the display screen of the folder which stores the image data which concerns on embodiment. It is explanatory drawing which shows the screen transition of the schedule function which concerns on embodiment. It is explanatory drawing which shows the other screen transition of the schedule function which concerns on embodiment. It is explanatory drawing of the face seal function which concerns on embodiment.
  • FIG. 1 is a conceptual diagram illustrating the overall configuration of the image capturing system according to the present embodiment
  • FIG. 2 is a front view illustrating the appearance of the mobile terminal 1.
  • the image capturing system according to the present embodiment is roughly configured by a camera-equipped mobile terminal 1 used by a user and a content server 3 installed on the Internet 2.
  • the content server 3 is a server that distributes additional content and tutorial information, and includes, for example, a Web server.
  • This content server is a server computer that transmits information such as HTML (HyperText Markup Language) files, image files, music files, etc. in a document system such as WWW (World Wide Web) or software having the function. Information such as documents and images is stored, and the information is transmitted through the Internet 2 in response to a request from the portable terminal 1.
  • the content data distributed by the content server 3 can be preinstalled in the mobile terminal 1 and stored in the mobile terminal 1 in advance, and the mobile terminal 1 can store the content data in its own device. If the content data is searched and not stored in the own device, a distribution request may be made to the content server 3 and downloaded.
  • the data storage unit content server 3 includes a regional image storage unit 31 that stores content data such as regional image data in association with location information, and as regional images, background data and wallpaper data of local attractions and specialties, It serves as a regional image distribution server that distributes content including regional image data unique to each region, such as frames and templates such as “face-up signboards” depicting characters in each region.
  • a regional image storage unit 31 that stores content data such as regional image data in association with location information, and as regional images, background data and wallpaper data of local attractions and specialties, It serves as a regional image distribution server that distributes content including regional image data unique to each region, such as frames and templates such as “face-up signboards” depicting characters in each region.
  • the content unique to each region includes “recommended information” ranking topics related to the region (sightseeing spots, special products, store information, other news), and map data. .
  • the camera-equipped mobile terminal 1 is a portable telephone using wireless communication, communicates wirelessly with a relay point such as the base station 22 and can receive communication services such as calls and data communication while moving.
  • Examples of the communication system of the cellular phone include an FDMA system, a TDMA system, a CDMA system, a W-CDMA, a PHS (Personal Handyphone System) system, and the like.
  • this mobile phone has functions such as an application software execution function or a GPS (Global Positioning System) function, and also functions as a personal digital assistant (PDA).
  • PDA personal digital assistant
  • the camera function of the portable terminal 1 is an imaging function for optically taking a digital image.
  • the position information acquisition function is a function for acquiring and recording position information indicating the position of the own device at the time of shooting.
  • a method of detecting the position of the own device based on a signal from the satellite 21 or a method of detecting the position based on the radio wave intensity from the radio base station 22 of the mobile phone can be considered.
  • the portable terminal 1 includes an operation button 116 for a user to perform an input operation, an operation device 116 such as a jog dial and a touch panel, and an image display unit 113.
  • the image display unit 113 displays a main screen 401 and a calendar UI 402 as GUIs.
  • FIG. 3 is a block diagram showing an internal configuration according to the image photographing system of the mobile terminal 1.
  • the “module” used in the description refers to a functional unit that is configured by hardware such as an apparatus or a device, software having the function, or a combination thereof, and achieves a predetermined operation. .
  • the mobile terminal 1 includes an image capturing unit 106, a shutter control unit 107, a face detection unit 109, a shooting mode setting unit 104, an additional information processing unit 105, and a shooting time information acquisition unit as image capturing modules. 102, a shooting setting storage unit 103, and a data storage unit 122.
  • the imaging unit 106 is a module that optically captures a digital image, executes an imaging process in accordance with control from the shutter control unit 107, and stores the captured image in the data storage unit 122 as image data D1.
  • the shutter control unit 107 receives an operation signal based on a user operation from the operation device through the operation signal acquisition unit 108 and executes a photographing process.
  • the facial expression recognition unit 109a in the face detection unit 109 An automatic shooting mode for automatically performing shooting processing may be added at the moment when a specific facial expression such as a smile is recognized.
  • the additional information processing unit 105 is a module that adds attribute information as tag information to the image data D1 captured by the image capturing unit 106.
  • the additional information processing unit 105 captures the image data D1 acquired from the image capturing mode setting unit 104 at the time of image capturing,
  • the shooting time information (position information, time, etc.) acquired from the shooting time information acquisition unit 102 is added as attribute information regarding the contents of each image data D1.
  • As a method for adding the tag information it is conceivable that the tag information is directly stored in the image data D1, or another file data is used as management data (metadata) associated with the image data D1.
  • the contents of the schedule (location, participant, event contents) corresponding to the photographing time can be recorded in association with the attribute information of the photographed image data.
  • the tag information the face of a person shown in the image may be recognized and the feature of the face may be included.
  • the facial features may be recorded, for example, by identifying a person with reference to a face sticker (face photo information) set in the address book or the like and associating it with the address book or the like.
  • facial expressions such as a smile may be recognized, and the facial expressions may be included in the tag information.
  • images taken with smile recognition can be classified by tag information “smile”, and an album in which smile images are collected can be automatically generated.
  • this tag information can be displayed in a list for each image, and can be edited, changed, deleted, added, etc. by user operation.
  • the attribute information included in the tag information can be used for album classification of the image, automatic mail generation when attached to an electronic mail, and the like.
  • the shooting mode setting unit 104 is a module for setting a shooting mode for shooting by the imaging unit 106.
  • This shooting mode includes settings such as shutter speed, exposure (aperture), focal length, presence / absence of flash, filter, and so on. Blurred shooting), Landscape mode (Adjusted to focus evenly from short distance to long distance: Including commemorative photos with multiple subjects), Close-up mode (Photo taken close to the subject) ), Sport mode (shooting at a high shutter speed, including continuous shooting, etc.), night portrait (such as shooting a person with a night view in the background) Adjustment of the aperture), flash emission prohibition mode (shooting outdoors), and the like.
  • basic settings included in this shooting mode include settings for image size, image quality (resolution), and storage destination (main body or recording medium, etc.).
  • a selection (combination) pattern of suitable shooting settings and functions may be displayed and selected as the type of camera.
  • the mode that allows users to set all the shooting functions themselves is set to ⁇ Dedicated Pro Camera ''
  • the mode for shooting at night or indoors with high sensitivity setting is set to ⁇ High Sensitivity Camera ''
  • the mode that allows you to add frames and write letters and pictures after shooting is called ⁇ Purikura Camera ''
  • the mode that transforms shot images and combines other images is ⁇ “Party camera”, “art camera” mode that can effect effects such as sepia tone, oil painting touch, pseudo fisheye lens, filter processing, etc., 2D barcode and QR code analysis, character recognition functions such as OCR
  • the mode that can perform image analysis such as the face recognition function is set to “Search camera”, or the movie is shot and the shot movie / image is uploaded.
  • Other shooting modes can be displayed by adding a comment to the captured image and uploading it to a website on the Internet as a “blog camera”, or by outputting the sound of animals such as dogs and cats.
  • a mode suitable for taking a close-up shot of a still life such as “pet camera” as a mode for drawing attention to the camera or cooking can be set as a “cooking camera”.
  • the shooting mode setting unit 104 sets the shooting mode for the imaging unit 106 based on the current time, the position information included in the schedule information, the time information, and the type of the scheduled content when referring to the mode setting. It is possible to make corrections, and to display a message recommending a better shooting mode setting. For example, if the current time is a trip listed in the schedule, the portrait mode setting is set as the default, and if the party is in a party, “Party Camera”, “Purikura Camera”, etc. are preferentially set. Output a message that recommends use. If the current time is at night, the “high sensitivity camera” may be recommended. Further, in conjunction with the setting of the shooting mode, a message recommending other functions, such as recommending the use of a local frame or the use of a navigation function by GPS, may be output.
  • the shooting setting storage unit 103 is a storage device such as a non-volatile memory that stores and holds table data for selecting a shooting mode according to a place and time when the shooting mode setting unit 104 sets a shooting mode. It is. Specifically, table data in which position information and time information are associated with shooting modes is stored as a mode setting table T1, and the position information and time information are received in response to a request from the shooting mode setting unit 104.
  • the mode setting table T1 is referred to, and the shooting mode to be used for shooting is read out and sent to the shooting mode setting unit 104.
  • the shooting mode setting unit 104 refers to the mode setting according to the shooting time information acquired by the shooting time information acquisition unit 102 and sets the referenced shooting mode for the imaging unit 106.
  • the shooting time information acquisition unit 102 acquires a position information acquisition unit 102a that acquires position information indicating the position of the own device at the time of shooting, and a clock unit that acquires current time information as shooting time information. 102b, and upon completion of shooting, in response to a request from the additional information processing unit 105, each data acquired from the position information acquisition unit 102a and the clock unit 102b is input to the additional information processing unit 105 as shooting time information. .
  • the position information acquisition unit 102a is a module that acquires and records position information indicating the position of the own device at the time of shooting.
  • the position information acquisition unit 102a detects the position of the own device by a signal from the satellite 21 like GPS, The position is detected by the radio wave intensity from the radio base station 22 of the mobile phone.
  • the clock unit 102b is a module that measures the current time, and may be a time display that manages a time zone and takes into account a time difference in accordance with the position information acquired by the position information acquisition unit 102a.
  • the data storage unit 122 is a storage device that stores various types of data.
  • the captured image data D1, the processing data acquired from the content server 3, the combined image data obtained by combining them, and the image data D1 Edited data (for example, face seal) that has been processed is accumulated.
  • the data storage unit 122 distributes and stores the image data D1 in a plurality of folders 122a to 122c according to the attribute information (tag information) added by the additional information processing unit 105.
  • the images are stored in the folders according to the tag information.
  • the present invention is not limited to this, and the actual storage location is specified in the basic settings. It is preferable to use a typical folder (for example, “My picture”), and perform classification based on pseudo-assignment based on tag information added to each image when displaying a list or album.
  • the folders 122a to 122c are displayed as icons so that the image data can be stored according to themes, as shown in FIG. 5 (b).
  • the image data stored in the folder can be browsed.
  • this image data is browsed by referring to the attribute information (tag information) described above as a keyword, searching for the same / similar attribute information, and detecting related image data. You can also browse.
  • As a display method for browsing image data low-resolution image data for thumbnails with a small data capacity may be displayed.
  • This photo album is an album in which images are automatically classified according to tag information, and each image is classified according to the attribute of each image included in the tag information. Note that the same image appears to be stored in a plurality of folders (albums) because the same image data is classified into a plurality of albums by the number of tag information. .
  • the types of photo albums can be classified according to the items described in the tag information.
  • the photo albums can be classified during the period of the schedule category (such as “travel”), For each type), grouped by the person in the image and their attributes (for example, “family”), or grouped by a calendar date (a specific date such as a birthday).
  • the face detection unit 109 extracts a certain geometric shape formed by eyes, nose, mouth, and the like, detects a human face part, and calculates a coordinate position of the detected face part in the basic image. It is a module to do. This face detection process is executed from the previous stage of the photographing operation. As shown in FIG. 8A, the detected face is highlighted as a marking 408a on the finder screen, and the distance to the subject is measured. It also works with an autofocus function that performs focusing according to distance.
  • the face detection unit 109 has a facial expression recognition unit 109a that recognizes a predetermined facial expression such as a smile of a person to be photographed, and recognizes the face part and the facial expression from the monitor image at the time of photographing. , And a function of inputting the recognition result to the shutter control unit 107.
  • the shutter control unit 107 inputs a control signal for causing the imaging unit 106 to perform a shutter operation according to the input recognition result.
  • Information related to facial features and expressions recognized by the face detection unit 109 and facial expression recognition unit 109a is described in the tag information, and each image is classified by a person in the image or classified by the type of facial expression. be able to.
  • facial features for example, a person may be specified by collating face stickers registered in the address book.
  • the mobile terminal 1 includes an editing processing unit 110 and an editing data generation unit 111 as editing processing modules.
  • the editing processing unit 110 is a module that executes various editing processes in accordance with the operation of the operator. In conjunction with the GUI, a photo retouching process such as drawing a picture on an image with a touch pen or writing characters or the like. In addition, it is possible to perform an image composition process for compositing an image such as a frame image or a background image with a taken basic image.
  • the editing processing unit 110 also has a function of displaying a list of tag information associated with each image and editing such information as addition, deletion, and change.
  • the editing processing unit 110 also includes an e-mail generation unit 110a that generates an e-mail and transmits it via the communication I / F 101.
  • the e-mail generation unit 110a has a function of transmitting the image stored in the image data storage unit 122 and the captured image D1 as an attachment to the e-mail, and based on the tag information of the image data, the necessary items Can be automatically generated. For example, the person shown in the tag information is read out, the person is searched from the address book, and the e-mail address or name detected from the address book is automatically described as the e-mail destination address. To do. Also, from the information described in the tag information or the associated schedule information (history information), the location, time, and event content when the image was taken is extracted to create a sentence, and the sentence is electronic You may make it quote in the text and title of a mail.
  • the e-mail generator 110a also has a function of inserting a face seal as a pictograph during editing of the mail text.
  • a person's name and face seal insertion processing may be associated with the dictionary conversion function, and when the person's name is described in a sentence, it may be automatically converted or inserted as a face seal.
  • the e-mail generation unit 110a also has a function of automatically inserting an e-mail by quoting the contents of the schedule when generating the e-mail. For example, an address book is searched from the name of a person related to the schedule described in the schedule, and the e-mail title and text are created from the event contents in the schedule with the mail address of the person as the destination.
  • the editing data generation unit 111 is a module that generates editing data as a result of the editing operation by the editing processing unit 110, and the generated data is stored in the data storage unit 122.
  • the edit data generation unit 111 also stores the tag information related to the edited image data in the data storage unit 122 together with the edited image data.
  • the edit data generation unit 111 includes an image composition unit 111a.
  • the image composition unit 111a uses the image captured by the image capturing unit 106 as a basic image D11, and the other image data D12 with respect to the basic image D11. Synthesize.
  • the composition processing by the image composition unit 111a can also be controlled by an editing operation on the editing processing unit 110.
  • the image composition unit 111a has a function of a face seal generation unit that converts the face portion detected by the face detection unit 109 into face seals 501a to 501c that are image data of a specific shape.
  • the face seals 501a to 501c superimpose, for example, the image data of a costume on the basic image with reference to the coordinate position of the face portion detected by the face detection unit 109, and cut out the image.
  • This face seal generation process is automatically executed by default when the face detection unit 109 detects a face part. Therefore, the user can consciously generate the face seal manually, and the face seal is automatically generated and accumulated every time the face part is photographed.
  • the image composition unit 111a uses the coordinate position of the face portion detected by the face detection unit 109 as a reference, and the basic image that has been photographed. You may make it synthesize
  • This additional image may be installed and stored in advance in the mobile terminal 1 or may be downloaded from the content server 3.
  • the face sticker generated by the image compositing unit 111a can be stored in association with a person registered in the address book, and the face sticker of the person can be used for operations and data related to each person. Can do.
  • a face sticker can be displayed as an address book index, and a face sticker can be displayed as an icon as a photo album index.
  • This face seal can also be used as a pictograph meaning each person when composing an e-mail. When a person name registered in the address book is described in the e-mail, the person name is automatically entered. The face seal may be detected and added to the sentence.
  • an operation signal acquisition unit 108 As a user interface system module, an operation signal acquisition unit 108, a display control unit 112, an image display unit 113, a schedule storage unit 121, an operation history recording unit 123, and a tutorial storage unit 124 And a tutorial setting unit 114.
  • the operation signal acquisition unit 108 is a module that acquires an operation signal from an operation device based on a user operation and inputs an execution command corresponding to the operation signal to the shutter control unit 107 and the editing processing unit 110.
  • the operation device here includes a touch panel, operation buttons, an acceleration sensor, and the like. This operation signal is transmitted to each module to be operated, and is transmitted to the operation history recording unit 123 and accumulated as log data D3.
  • the display control unit 112 is a module that generates image data to be displayed on the image display unit 113, which is a GUI. At the time of shooting, the display control unit 112 displays a finder image captured by the imaging unit 106 or at the time of editing. The change of the image such as an icon based on the user operation signal acquired by the operation signal acquisition unit 108 is displayed. As an icon display method by the display control unit 112, as shown in FIG. 15, the icons 601 are arranged in a spiral shape (spiral shape) on the image display unit 113, and a spiral is formed by a user's rotation operation.
  • the icon When the icon is rotated clockwise or counterclockwise, the icon may be moved from the center to the outside while expanding, or from the outside to the center while the icon is being reduced, while the size is enlarged or reduced.
  • the user's rotation operation for example, it is conceivable whether a wheel unit for rotating operation is physically provided in the mobile phone body, or whether rotation of the pointing point on the touch panel is detected as the operation. .
  • the display control unit 112 is provided with a slide show function for sequentially reproducing a plurality of images stored in the image data storage unit 122 in order.
  • a slide show function for sequentially reproducing a plurality of images stored in the image data storage unit 122 in order.
  • tag information which is a standard for classifying photo albums is collated, and information related to the tag information (photographed location, time, shooting mode, schedule of the time, Local information about the location) can be displayed together.
  • information related to the tag information photographed location, time, shooting mode, schedule of the time, Local information about the location
  • the photo album is related to travel
  • local information on the travel destination a map, a movement trajectory based on the navigation history, and the like may be displayed as an introduction to the slide show.
  • the display order of images included in the slide show can be set to the order of the shooting time, and when the shooting mode is a photo booth camera, the slide show frame is changed like a photo booth note, etc. An effect may be executed.
  • the display control unit 112 has a function of displaying the attribute information of the data stored in the data storage unit 122 as face seals 501a to 501c.
  • attribute information tag information
  • a face sticker is displayed as an icon indicating the person.
  • the association between the tag information and the face seal can be based on address book data, for example. That is, using a person registered in the address book as a reference, the photographed image or face seal is recorded in association with the person.
  • the display control unit 112 also has a function of searching for and reading data stored in the data storage unit 122.
  • a calendar UI (FIGS. 9A to 9C) and a mail browsing UI are provided. By selecting an operation on (FIGS. 8C and 8D), the corresponding data can be read out.
  • the schedule storage unit 121 is a storage device that stores and holds position information, time information, and schedule content types related to a user's schedule as schedule information D2. This schedule information can be customized by each user, and is displayed on the calendar UI 402 as shown in FIGS. Specifically, the calendar UI 402 by the display control unit 112 is a calendar display function including the current date, and the date and time portion 404 prior to the current date is stored as data with a grid 405 indicating the current date as a boundary. The schedule information stored in the schedule storage unit 121 is displayed in the month and day portion 406 after the current date, as a list display of the image data D1 stored in the unit 122.
  • the schedule information D2 for example, as shown in FIG. 6, if the user has made a "daily meal" plan for recording daily meals together with image data, as shown in FIG.
  • the folder 122c related to the plan can be created.
  • the snapshot photography mode is recorded in the mode setting table T1 in association with the time zone of meals three times a day and the position information of the home.
  • a pop-up message 407 as shown in FIG. 6C is displayed, and the mode setting table T1 is automatically read out, and a snapshot of the meal is taken.
  • a shooting mode suitable for shooting is prepared.
  • the schedule information D2 for example, as shown in FIG. 7A, the user makes a travel plan, and as shown in FIG. 7B, at a predetermined place and time. Assume that you have recorded a meeting schedule in the schedule. Then, as shown in FIG. 7C, a pop-up message 407 is displayed when the meeting time and place recorded in the schedule is reached, and the mode is automatically set as shown in FIG. 7D.
  • the table T1 is read, the camera is automatically activated, and a shooting mode suitable for taking a snapshot of a person is prepared.
  • the tutorial storage unit 124 is a storage device that stores information related to usage examples of the shooting mode as tutorial information 124a in association with position information and time information.
  • the tutorial stored in the tutorial storage unit 124 is a teaching material that explains how to use the shooting function and the like, and causes the moving image, the still image, the text text, and each function module of the mobile terminal 1 to be executed.
  • Content data including a script (program).
  • the current position is measured by using position information acquisition means such as GPS, and the recommended spot near the current location, the area information such as store information, gourmet information, and special products are displayed and output.
  • the local information may be local information distributed from the content server 3, and is preferably displayed by ranking according to its importance (recommended level). This ranking may include movie performance, CD, Chaku-Uta download count, TV audience rating, and search count.
  • a character string is displayed by a pop-up 407 as shown in FIGS. 10 (a) to 10 (c) and FIGS. 11 (a) to 11 (d).
  • a guidance 601 by a still image and a schedule notification pop-up screen 602c are displayed, and explanations of usage examples are advanced in an interactive manner in accordance with a user's response operation for character information and voice output such as a balloon 602a by a character 602b.
  • the browser function is automatically activated and the Internet is accessed or the local information data stored in the main unit is accessed in advance to recommend and explain the recommended function. , Display related information (ranking information, etc.).
  • the tutorial information that prompts the user to use the camera function is activated, and the camera shooting screen is activated while guiding the user's operation.
  • the case where the tutorial information is distributed as a present from the content server 3 is taken as an example, and the schedule according to the theme of “Let's play with the camera” is created by starting the tutorial information (FIG. 11B).
  • a folder 122 dedicated to this tutorial has been generated (FIG. 11A).
  • the operation guidance by the character 602b is started, and the operation lesson of “exposure correction” is proceeding in an interactive manner in accordance with the user's response operation (FIG. 11D). .
  • Such a tutorial analyzes a user operation history and is executed for an unused function.
  • the execution is set by the tutorial setting unit 114.
  • the contents of the schedule registered in the schedule are periodically monitored, and when the scheduled time registered in the schedule is reached, an explanation of the recommended functions and alerts for the schedule time are provided. , Display related information by recommended research.
  • the current time and current position are acquired from the shooting time information acquisition unit 102, and the function according to the situation (time, place, etc.) is explained and related information is displayed by recommended research. Also good.
  • the tutorial setting unit 114 is a module that adds the position information, time information, and the type of schedule content corresponding to the usage example included in the tutorial information 124a acquired by the tutorial acquisition unit 114a to the schedule information as a user schedule.
  • a tutorial acquisition unit 114a and an operation history analysis unit 114b are included.
  • the operation history analysis unit 114b is a module that analyzes the shooting mode history and extracts unused shooting modes.
  • the tutorial acquisition unit 114a is based on the unused shooting mode extracted by the operation history analysis unit 114b, the schedule registered in the schedule 121, and the function corresponding to the situation acquired by the shooting time information acquisition unit 102. This module refers to the information 124a and obtains a tutorial on the unused shooting mode and other functions.
  • the operation history recording unit 123 is a storage device that records the shooting mode history set by the shooting mode setting unit as log data D3, and the mode setting history based on the user operation is accumulated as the log data D3.
  • FIG. 12 is a flowchart showing the operation of the image photographing system according to this embodiment.
  • the position information and current time information of the own device are acquired periodically by loop processing (S101 and S102), and the schedule information D2 is referred to, whether or not it is at the scheduled place / time, or is scheduled It is determined whether or not the user has started the operation voluntarily at an outside place / time (S103 and S104). As long as the user does not perform an operation and a predetermined time does not arrive, a standby state is set (“N” in S103 and S104).
  • the schedule in step S104 may be a schedule for starting the operation lesson tutorial described above. That is, in the tutorial information 124a, information related to the usage example of the shooting mode is stored in association with the position information and the time information, and the position information, the time information, and the schedule according to the usage example included in the tutorial information 124a are stored. By adding the content type as schedule of the user to the schedule information, an operation lesson in unused shooting mode is scheduled as the schedule of the user.
  • shooting is performed in the shooting mode selected by the user (S105 and S107),
  • the photographing mode is added to the log data D3 (S108).
  • table data in which position information and time information are associated with a shooting mode is stored in the shooting time setting storage unit 103 as a shooting mode setting T1 in advance, and a shooting mode setting step (S105). ),
  • the mode setting T1 is referred to according to the shooting time information acquired in the shooting time information acquisition step (S101), and the referred shooting mode T1 is set for the imaging unit 106.
  • the photographing mode is automatically selected to prompt the photographing operation (S106), and when the photographing operation is performed (S107).
  • the shooting mode is added to the log data D3 (S108).
  • the schedule information includes position information, time information, and schedule content types related to the user's schedule, and is included in the schedule information D2 when referring to mode setting in the shooting mode setting step (S106). Based on the position information, time information, and scheduled content type, the shooting mode for the imaging unit is set. In the schedule information D2, for example, the contents of the schedule such as “birthday” or “overseas travel” are described. Therefore, by using the type of the contents of the schedule as a keyword, a more accurate shooting mode Can be set.
  • the image data D1 is sorted according to the attribute information including the shooting location / time and the shooting mode, and stored in the folders 122a to 122c of the data storage unit 122.
  • the image data D1 stored in the folders 122a to 122c can be displayed as a list on the calendar UI by displaying icons according to the attribute information of the images.
  • the date and time part before the current date is set as a list display of the image data D1 stored in the data storage unit 122 with the current date as a boundary, and the current date is displayed.
  • the later date part is set as a display of the schedule information D2 stored in the schedule storage unit 121.
  • the calendar and schedule are displayed in a spiral shape with the calendar date as an icon 601, and the display is changed by moving the spiral display forward and backward by a rotation operation by the user. Also good.
  • a face sticker in which the face portion of a person is converted into image data of a specific shape can be generated, and the face sticker can be freely pasted in the calendar UI as an icon image. .
  • the face seal can be associated with image tag information, address book, schedule, and the like.
  • schedule information location, participant, event content
  • the tag information the face of a person shown in the image can be recognized and the feature of the face can be included.
  • the facial features can be recorded, for example, by identifying a person with reference to a face sticker set in the address book and associating it with the address book.
  • an expression such as a smile may be recognized, and the expression may be included in the tag information.
  • images taken with smile recognition can be classified by tag information “smile”, and an album in which smile images are collected can be automatically generated.
  • the image composition unit 111a described above has a function of downloading additional data specific to a specific region by data transmission / reception with the content server 3, and combining the image data specific to the region with the image data of the face seal.
  • the image composition function can be used in combination when generating the above-described face seal.
  • FIG. 13 is a flowchart showing the operation of the image composition unit 111a according to this embodiment.
  • an image is taken by the imaging unit 106 (S201).
  • an “automatic shooting mode” in which the finder image is always monitored by the imaging unit 106 may be executed.
  • the facial expression recognition unit 109a performs facial expression recognition on the finder image taken by the imaging unit 106 to recognize a predetermined facial expression, such as a smile, of the person to be photographed.
  • the photographing process is automatically executed.
  • step S201 the image data captured by the imaging unit 106 is recorded as a basic image in the data storage unit 122 (S202), and a face is detected in the basic image (S203).
  • the face detection unit 109 calculates the coordinate position of the detected face part in the basic image.
  • the position information of the own device at the time of shooting is acquired and recorded, and this position information is transmitted to the content server 3 (S204).
  • the content server 3 that has received this position information (S301) searches the area image storage database for area image data associated with the position information based on the received position information at the time of shooting (S302), and selects it.
  • the image is returned (S303).
  • the distribution of the regional image data by the content server 3 can be omitted when the regional image data is preinstalled in the portable terminal 1 and stored in the portable terminal 1. Therefore, the processing in steps S204 and S301 to 303 may be executed when the portable terminal 1 searches for content data in the own device and is not stored in the own device.
  • “recommended information” ranking the topics related to the region (sightseeing spots, special products, store information, other news) in addition to the above regional image data.
  • map data is included, and these pieces of information can be used for the above-described tutorial, photo album of captured images, presentation of a slide show during image reproduction, and the like.
  • the camera side that has received the regional image data or read out the data in its own device and acquired the regional image data (S205) synthesizes the acquired regional image data D12 with the basic image D11 (S206).
  • the image synthesis unit 111a synthesizes the regional image data D12 with the basic image D11 based on the coordinate position of the face part detected by the face detection unit 109.
  • This composite editing operation can be performed by an operation device 116 such as a GUI or a numeric keypad as shown in FIG.
  • an operation device 116 such as a GUI or a numeric keypad as shown in FIG.
  • a basic image D11 related to shooting (or editing) is displayed on the GUI, and a plurality of icons 1162 of the acquired area image data are listed in the icon area 1161, and these icons 1162 are displayed as
  • the area image data D12 to be combined can be selected by clicking with the pointer 1163.
  • the image data thus captured or edited and stored can be subjected to other editing operations such as photo retouch processing (S207). Thereafter, the editing operation is terminated (“N” in S208), and the edited image data is saved (S209).
  • the image data is stored in the data storage unit 122 in association with the position information.
  • the position information of the accumulated image is generated as index information (tag information) (S210) and displayed as an icon on the GUI.
  • index information tag information
  • the corresponding image and related data or program can be retrieved from the data storage unit 122 and read or activated.
  • the face seal generated in this way can be read and viewed on the GUI by selecting an index icon by a selection operation such as a touch operation.
  • the shooting mode information at the time of shooting, the position information of the own device, and the shooting time information can be added to the image data D1 for the shot image.
  • Data D1 can be automatically sorted and stored.
  • the subject's attributes can be estimated to some extent based on the optical shooting mode according to the location and time zone, such as portrait shooting mode at a specific location or time zone, landscape shooting mode, still-image close-up mode, etc.
  • the photographed image data D1 can be classified according to the estimation. As a result, the burden of image data classification work by the user can be reduced.
  • the shooting mode setting for the imaging unit is set based on the position information, time information, and schedule content type included in the schedule. Therefore, it is possible to prioritize the schedule information scheduled by the user and set the shooting mode, and to reflect the user's action schedule and to estimate the attribute of the image data D1 more accurately.
  • the schedule information includes the contents of the schedule such as “birthday” or “overseas travel”, so the mode setting table T1 is based on a keyword. Therefore, the image data D1 can be accurately sorted.
  • the calendar UI uses the current date as a boundary, the month and date part before the current date is displayed as a list of the image data D1 stored in the image data storage unit, and is later than the current date. Since the date and time portion is displayed as the schedule information stored in the schedule storage unit, the past can have a function as a diary of image data D1 for each month and day, and the future Since the schedule can be described and displayed, it can have a schedule function as a notebook. Since these displays are displayed on a single calendar with the current date as the boundary, the diary and notebook GUIs can be combined into one, improving visibility and increasing the display area. It is possible to reduce the size, and the display area with a limited area can be used effectively.
  • the tutorial mode is automatically started at an appropriate place and time zone, and the user can be prompted to use the unused function.
  • the face of the person in the image taken by the user can be partially detected and stored as a face sticker that can be used for an icon or the like, each user can use the face part of the person for various purposes. Can be used. Furthermore, since the shooting mode including the detection process and the conversion process is also stored in the shooting time setting storage unit, automatic setting during shooting in shooting mode and tutorial setting when not in use can be performed.

Abstract

【課題】画像を撮影する撮像機能を備えた情報処理端末において、位置情報や時間情報の他、撮影の内容を加味して、自動的に画像ファイルを分類し、画像ファイルの管理におけるユーザーの負担を軽減する。 【解決手段】 　画像を撮影する撮像部と、撮像部による撮影の撮影モードを設定する撮影モード設定部と、撮影の際に、自機の位置を示す位置情報、及び現在の時刻情報を撮影時情報として取得する撮影時情報取得部と、撮像部が撮影した画像データに、当該画像データの撮影時における撮影モードの設定、及び撮影時情報を、各画像データの内容に関する属性情報として付加する付加情報処理部と、付加情報処理部により付加された属性情報とともに、画像データを格納する画像データ蓄積部と、画像データ蓄積部に格納された画像データを、各画像の属性情報に応じて検索して表示する表示制御部とを備える。

Description

画像撮影システム及び画像撮影方法
　本発明は、携帯電話端末やＰＤＡ（Personal Digital Assistance）などの画像を撮影する撮像機能を備えた情報処理端末における画像撮影システム及び画像撮影方法に関する。
　近年、デジタルカメラやカメラ付き携帯電話などの携帯端末の普及が進み、多くのユーザーが様々なシーンで撮影することが多くなってきている。また、携帯端末の記録媒体として用いられるメモリカード等の大容量化・低価格化により、ユーザーは大量の画像ファイルを手軽に持ち運ぶことができるようになった。
　これにより、ユーザーにとっては、記録媒体に格納された画像ファイルの管理負担も増大するという傾向があり、特に、デジタルカメラや携帯電話のように、比較的少ない操作ボタンや小型の表示インターフェースを備えた情報機器では、その管理のための操作作業の繁雑さが増し、ユーザーの負担がさらに増大するという問題があった。
　これらに応える技術として、画像ファイルに含まれる撮影時の地理的位置情報に応じて、半自動的に複数の画像ファイルを分類し、分類に従って振り分けて蓄積することにより、画像ファイルの管理における、ユーザーの負担を軽減する技術がある（例えば、特許文献１参照）。
特開２００３－２９８９８７号公報
　しかしながら、上記特許文献１においては、ユーザーが撮影をした位置情報に従って単に画像ファイルを分類することから、その撮影した内容によって分類することができなかった。そのため、例えば、自宅で毎日、ペットや子供の成長を撮影する場合と自宅で毎日の食事の献立を撮影する場合とでも、単に自宅としての位置情報でしか分類できず、最も多く撮影している位置情報が同一フォルダ内に分類されてしまい、再度ユーザーによる分類作業を行う必要が生じるというという問題があった。
　そこで、本発明は、携帯電話端末やＰＤＡなどの画像を撮影する撮像機能を備えた情報処理端末において、位置情報や時間情報の他、撮影の内容を加味して、自動的に画像ファイルを分類し、画像ファイルの管理におけるユーザーの負担を軽減できる画像撮影システム及び画像撮影方法を提供することを課題とする。
　上記課題を解決するために、本発明は、画像を撮影する撮像部と、撮像部による撮影の撮影モードを設定する撮影モード設定部と、撮影の際に、自機の位置を示す位置情報、及び現在の時刻情報を撮影時情報として取得する撮影時情報取得部と、撮像部が撮影した画像データに、当該画像データの撮影時における撮影モードの設定、及び撮影時情報を、各画像データの内容に関する属性情報として付加する付加情報処理部と、付加情報処理部により付加された属性情報とともに、画像データを格納する画像データ蓄積部と、画像データ蓄積部に格納された画像データを、各画像の属性情報に応じて検索して表示する表示制御部とを備える。
　他の発明は、画像を撮影する撮像部による画像撮影方法であって、以下のステップを有する。
（１）撮像部による撮影の撮影モードを設定する撮影モード設定ステップ
（２）撮影の際に、自機の位置を示す位置情報、及び現在の時刻情報を撮影時情報として取得する撮影時情報取得ステップ
（３）画像を撮影する撮像ステップ
（４）撮像ステップで撮影した画像データに、当該画像データの撮影時における撮影モードの設定、及び撮影時情報を、各画像データの内容に関する属性情報として付加する付加情報処理ステップ
（５）付加情報処理部により付加された属性情報とともに、画像データを画像データ蓄積部に格納する画像データ格納ステップ
（６）画像データ蓄積部に格納された画像データを、各画像の属性情報に応じて検索して表示する表示制御ステップ
　これらの発明によれば、撮影した画像について、撮影時の撮影モード情報、自機の位置情報及び撮影時刻情報を画像データに付加することができるので、その属性情報に応じて、画像データを検索可能に保存することができる。例えば、特定の場所や時間帯における人物撮影モードや、風景撮影モード、静物撮影の接写モードなど、場所及び時間帯に応じた光学的な撮影モードに基づいて被写体の属性をある程度推定することができ、撮影した画像データをその推定に応じて分類することができる。この結果、ユーザーによる画像データ分類作業の負担を軽減することができる。
　上記発明において、位置情報及び時刻情報と、撮影モードとを関連づけて撮影モード設定として記憶する撮影時設定記憶部をさらに備え、撮影モード設定部は、撮影時情報取得部が取得した撮影時情報に応じて、モード設定を参照し、参照された撮影モードを撮像部に対して設定することが好ましい。
　この場合には、撮影時設定記憶部が、予め位置情報及び時刻情報に関連づけて撮影モード情報を記憶しておくので、撮影時において、撮影時に位置情報、時刻情報取得した際には、速やかに撮影モードを設定することができ、ユーザー自身による撮影モード選択作業の負担をより軽減することできる。なお、この撮影時設定記憶部に記憶される撮影モードは、ユーザーが手動で撮影時の設定を変更した場合に、その撮影モードを位置情報及び時刻情報に関連づけて、追加又は変更するようにしてもよい。
　上記発明において、ユーザーの予定に関する位置情報、時刻情報及び予定内容の種別を、スケジュール情報として記憶保持するスケジュール記憶部をさらに備え、撮影モード設定部は、モード設定を参照する際に、スケジュール情報に含まれる位置情報、時刻情報及び予定内容の種別に基づいて、撮像部に対する撮影モードの設定をすることが好ましい。
　この場合には、ユーザーが予定しているスケジュール情報を優先させて、撮影モードの設定するので、ユーザーの行動予定を反映させて、より正確な画像データの属性を推定することができる。また、スケジュール情報には、位置情報及び時刻情報の他に、例えば「誕生日」であるとか「海外旅行」といったように予定の内容が記載されていることから、その予定の内容の種別をキーワードとすることによって画像データの振り分けを正確に行うことができる。
　上記発明において、表示制御部は、現在の日にちを含むカレンダー表示機能を備え、カレンダー表示機能は、現在の日にちを境界として、現在の日にちよりも前の月日部分を、画像データ蓄積部に格納された画像データの一覧表示とし、現在の日にちよりも後の月日部分をスケジュール記憶部に記憶されたスケジュール情報の表示とすることが好ましい。
　この場合には、現在の日にちより前の月日部分は、月日毎の画像データの閲覧することができるので、画像データ検索において多数の画像データから検索する手間を省くことができ、目的とする画像の発見を容易にすることができる。また、月日毎のユーザーの行動も閲覧することができるので、日記帳としての機能を持つことができる。一方、現在の日にちよりも後の月日部分については、ユーザーの予定を記載及び表示することが可能なので、手帳としてのスケジュール機能を持つことができる。そして、これらの表示は、現在の日にちを境界として１つのカレンダーに表示されるため、日記帳と手帳のＧＵＩを１つにまとめることができ、見やすさを向上させることができるとともに、表示面積を縮小でき、限られた面積の表示部を有効に活用することができる。
　上記発明において、撮影モード設定部が設定した撮影モードの履歴を記録する動作履歴記録部と、撮影モードの使用例に関する情報を、位置情報及び時刻情報と関連づけてチュートリアル情報として記憶するチュートリアル記憶部と、撮影モードの履歴を解析し、未使用の撮影モードを抽出する動作履歴解析部と、動作履歴解析部が抽出した未使用の撮影モードに基づいて、チュートリアル情報を参照して、当該未使用の撮影モードの使用例を取得するチュートリアル取得部と、チュートリアル取得部が取得したチュートリアル情報に含まれる位置情報、時刻情報、及び使用例に応じた予定内容の種別を、ユーザーの予定としてスケジュール情報に追加するチュートリアル設定部とをさらに備えることが好ましい。
　この場合には、ユーザー毎に異なる未使用の撮影モードの案内及び操作説明等を、使用例に関する情報としてスケジュールに追加するので、ユーザーが不知又は不明であった撮影機能の操作レッスンを、ユーザーの予定としてスケジュールすることができる。この結果、適切な場所、及び時間帯において自動的にチュートリアルモードが開始され、未使用であった機能の利用をユーザーに促すことができる。
　上記発明において、人物の顔部分を検出するとともに、検出した顔部分の、基本画像中における座標位置を算出する顔検出部と、顔検出部が検出した顔部分を特定の形状の画像データに変換するフェイスシール生成部とをさらに備え、撮影モード設定部は、顔検出部による顔部分の検出処理、及びフェイスシール生成部による画像データの変換処理を含む撮影モードを選択可能であり、動作履歴記録部は、撮影モード設定部が選択した検出処理及び変換処理とを含む撮影モードの履歴を動作履歴に含めて記録することが好ましい。
　この場合には、ユーザーが撮影した画像の人物の顔を部分的に検出し、アイコンなどに利用可能なフェイスシールとして保存することができるので、各ユーザーが人物の顔部分を様々な用途に使用することができる。さらに、検出処理及び変換処理とを含む撮影モードについても撮影時設定記憶部に記憶していることで、撮影モードの撮影時のおける自動設定や、未使用時のチュートリアル設定も可能となる。
　以上述べたように、この発明によれば、携帯電話端末やＰＤＡなどの画像を撮影する撮像機能を備えた情報処理端末において、位置情報や時間情報の他、撮影の内容を加味して、自動的に画像ファイルを分類し、画像ファイルの管理におけるユーザーの負担を軽減することができる。
実施形態に係る画像撮影システムの全体構成を示す概念図である。 実施形態に係る携帯端末の外観を示す正面図である。 実施形態に係る携帯端末の画像撮影システムに係る内部構成を示すブロック図である。 実施形態に係るカレンダー機能の表示画面を示す説明図である。 実施形態に係る画像データを格納するフォルダの表示画面を示す説明図である。 実施形態に係るスケジュール機能の画面遷移を示す説明図である。 実施形態に係るスケジュール機能の他の画面遷移を示す説明図である。 実施形態に係るフェイスシール機能の説明図である。 実施形態に係るフェイスシール機能の使用例を示す画面の説明図である。 実施形態に係るチュートリアル機能の画面遷移を示す説明図である。 実施形態に係るチュートリアル機能の他の画面遷移を示す説明図である。 実施形態に係る画像撮影システムの動作を示すフローチャート図である。 実施形態に係る合成画像撮影システムの動作を示すフローチャート図である。 実施形態に係るＧＵＩの操作例を示す説明図である。 実施形態に係るＧＵＩの他の表示例を示す説明図である。
　以下に添付図面を参照して、本発明に係る画像撮影システムの実施形態を詳細に説明する。図１は、本実施形態に係る画像撮影システムの全体構成を示す概念図であり、図２は、携帯端末１の外観を示す正面図である。本実施形態において画像撮影システムは、図１に示すように、ユーザーが使用するカメラ付き携帯端末１と、インターネット２上に設置されたコンテンツサーバー３とから概略構成される。
　コンテンツサーバー３は、本実施形態では、付加的なコンテンツやチュートリアル情報の配信を行うサーバーであり、例えば、Ｗｅｂサーバー等で構成される。このコンテンツサーバーとしては、ＷＷＷ（World Wide Web）等のドキュメントシステムにおいて、ＨＴＭＬ（HyperText Markup Language）ファイルや画像ファイル、音楽ファイルなどの情報送信を行うサーバーコンピュータ或いはその機能を持ったソフトウェアであり、ＨＴＭＬ文書や画像などの情報を蓄積しておき、携帯端末１からの要求に応じて、インターネット２を通じて、これらの情報を送信する。なお、このコンテンツサーバー３によって配信されるコンテンツデーターは、その全部または一部を携帯端末１に予めインストールして、携帯端末１内に保存しておくこともでき、携帯端末１側で自機内のコンテンツデータを検索し、自機内に保存されていない場合に、コンテンツサーバー３に対して配信要求を行い、ダウンロードするようにしてもよい。
　また、このデータ蓄積部コンテンツサーバー３は、位置情報に地域画像データ等のコンテンツデータを関連付けて蓄積する地域画像蓄積部３１を備え、地域画像として各地域の名所や名物の背景データや壁紙データ、その土地々々のキャラクターを描いた「顔出し看板」のようなフレームやテンプレートなど、各地域独自の地域画像データを含むコンテンツをその地域限定で配信する地域画像配信サーバーとしての機能を果たす。
　なお、この各地域独自のコンテンツとしては、上記地域画像データの他、その地域に関するトピックス（観光スポット、特産物、店舗情報、その他のニュース）をランキングした「おすすめ情報」や、地図データが含まれる。
　カメラ付き携帯端末１は、無線通信を利用した、携帯可能な電話機であり、基地局２２等の中継点と無線で通信し、通話やデータ通信等の通信サービスを移動しつつ受けることができる。この携帯電話機の通信方式としては、例えば、ＦＤＭＡ方式、ＴＤＭＡ方式、ＣＤＭＡ方式、Ｗ－ＣＤＭＡの他、ＰＨＳ（Personal Handyphone System）方式等が挙げられる。また、この携帯電話機は、デジタルカメラ機能の他、アプリケーションソフトの実行機能、あるいはＧＰＳ（Global Positioning System）機能等の機能が搭載され、携帯情報端末（ＰＤＡ）としての機能も果たす。
　この携帯端末１のカメラ機能は、光学的にデジタル画像を撮影する撮像機能である。また、位置情報取得機能は、撮影時における自機の位置を示す位置情報を取得し、記録する機能であり、この位置情報取得機能としては、図１に示すように、例えば、ＧＰＳのように、衛星２１からの信号によって自機の位置を検出する方法や、携帯電話の無線基地局２２からの電波強度などによって位置を検出する方法が考えられる。
　そして、この携帯端末１は、図２に示すように、ユーザーが入力操作を行うための操作ボタンや等をジョグダイヤル、タッチパネルなどの操作デバイス１１６を備えるとともに、画像表示部１１３を備えており、この画像表示部１１３には、ＧＵＩとしてメイン画面４０１及びカレンダーＵＩ４０２が表示される。
　図３は、携帯端末１の画像撮影システムに係る内部構成を示すブロック図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
　先ず、携帯端末１は、画像撮影系のモジュールとして、撮像部１０６と、シャッター制御部１０７と、顔検出部１０９と、撮影モード設定部１０４と、付加情報処理部１０５と、撮影時情報取得部１０２と、撮影時設定記憶部１０３と、データ蓄積部１２２とを備えている。
　撮像部１０６は、光学的にデジタル画像を撮影するモジュールであり、シャッター制御部１０７からの制御に応じて撮像処理を実行し、撮影された画像を画像データＤ１としてデータ蓄積部１２２に蓄積する。なお、シャッター制御部１０７は、操作信号取得部１０８を通じて、操作デバイスからユーザー操作に基づく操作信号が入力されて撮影処理を実行するが、例えば、顔検出部１０９内の表情認識部１０９ａが、被写体の笑顔など、特定の表情を認識した瞬間に、自動的に撮影処理を実行する自動撮影モードを付加してもよい。
　付加情報処理部１０５は、撮像部１０６が撮影した画像データＤ１に属性情報をタグ情報として付加するモジュールであり、撮影モード設定部１０４から取得した当該画像データＤ１の撮影時における撮影モード設定と、撮影時情報取得部１０２から取得した撮影時情報（位置情報、時刻など）を、各画像データＤ１の内容に関する属性情報として付加する。このタグ情報の付加方式としては、画像データＤ１内に直接保持させるか、画像データＤ１に関連づけられた管理データ（メタデータ）として別ファイルデータとすることが考えられる。
　また、このタグ情報には、撮影した画像データの属性情報に関連づけて、その撮影時刻に対応するスケジュールの内容（場所、参加者、イベント内容）を記録することができる。さらに、このタグ情報としては、画像に写っている人物の顔を認識し、その顔の特徴を含めるようにしてもよい。この顔の特徴は、例えば、アドレス帳に設定されているフェイスシール（顔フォト情報）などを参照して、人物を特定し、アドレス帳などに関連づけて記録するようにしてもよい。
　また、この顔認識に際し、笑顔などの表情を認識するようにし、その表情をタグ情報に含めるようにしてもよい。この場合には、例えば、笑顔認識で撮影した画像を「スマイル」というタグ情報により分類し、笑顔の画像が集合されたアルバムを自動生成することができる。
　なお、このタグ情報は、画像毎に一覧表示することが可能であり、ユーザー操作により、変更、削除、追加等の編集を行うことができる。そして、タグ情報に含まれたこれらの属性情報は、当該画像のアルバム分類や、電子メールに添付して送信する際のメール自動生成などに利用することができる。
　撮影モード設定部１０４は、撮像部１０６による撮影の撮影モードを設定するモジュールである。この撮影モードとしては、シャッター速度や露出（絞り）、焦点距離、フラッシュの有無、フィルターなどの設定があり、具体的には、ポートレートモード（人物がひきたつよう、絞りを調整して背景を少しぼかして撮影）、風景モード（近距離から遠距離まで均一にピントが合うように調整して撮影：複数の被写体が集合した記念写真なども含まれる）、クローズアップモード（被写体に接近して撮影）、スポーツモード（シャッター速度を高速にして撮影：連写撮影なども含まれる）、夜景ポートレート（夜景をバックの人物撮影など、中心となる被写体など局所的な光量に適合させてシャッター速度や絞りを調整）、ストロボ発光禁止モード（屋外での撮影）などが挙げられる。また、この撮影モードに含まれる基本的な設定として、画像サイズや、画質（解像度）、保存先（本体又は記録メディアなど）の設定が含まれる。
　なお、この撮影モードは、ユーザーの理解を容易にするために、例えば、適した撮影設定や機能の選択（組み合わせ）パターンをカメラの種類として表示し、選択させるようにしてもよい。例えば、搭載されている全ての撮影機能をユーザーが自分で設定できるモードを「こだわりプロカメラ」としたり、高感度設定で、夜間や屋内での撮影を行うモードを「高感度カメラ」としたり、肌色を補正する機能を備え、撮影後にフレームを付けたり文字や絵を書込ができるモードを「プリクラカメラ」としたり、撮影した画像を変形したり、他の画像を合成したりするモードを「パーティーカメラ」としたり、セピア調や油絵タッチ、疑似魚眼レンズ、フィルター加工などのエフェクト処理を行えるモードを「アートカメラ」としたり、二次元バーコードやＱＲコードの解析や、OCR等の文字認識機能、顔認識機能など画像解析を行えるモードを「サーチカメラ」としたり、動画の撮影や撮影したの動画・画像のアップロードを実行するモードを「ビデオカメラ」としたりすることができる。その他の撮影モードの表示としては、撮影した画像にコメントを付加してインターネット上のＷｅｂサイトにアップロードするモードを「ブログカメラ」としたり、犬や猫などの動物の鳴き声を出力して、動物をカメラに注目させるモードとして「ペットカメラ」や、料理など、静物の近距離撮影に適したモードを「お料理カメラ」としたりすることもできる。
　なお、上記撮影モード設定部１０４は、モード設定を参照する際に、現在時刻や、スケジュール情報に含まれる位置情報、時刻情報及び予定内容の種別に基づいて、撮像部１０６に対する撮影モードの設定を補正することができ、また、よりよい撮影モードの設定を推奨するようなメッセージを表示することもできる。例えば、現在時刻が、スケジュールに記載された旅行中であれば、ポートレートモードの設定をデフォルトとしたり、パーティー中であれば、「パーティーカメラ」や「プリクラカメラ」などを優先的に設定したり、使用を推奨するメッセージを出力する。また、現在時刻が夜間であれば、上記「高感度カメラ」を推奨するようにしてもよい。さらに、この撮影モードの設定と合わせて、ご当地フレームの利用や、ＧＰＳによるナビゲーション機能の利用を推奨するなど、他の機能を推奨するメッセージを出力するようにしてもよい。
　撮影時設定記憶部１０３は、撮影モード設定部１０４が撮影モードの設定を行う際に、場所、時刻に応じた撮影モードを選択するためのテーブルデータを記憶保持する不揮発性のメモリなどの記憶装置である。具体的には、位置情報及び時刻情報と、撮影モードとを関連づけたテーブルデータを、モード設定テーブルＴ１として記憶しており、撮影モード設定部１０４からの要求に応じて、位置情報及び時刻情報とからモード設定テーブルＴ１を参照し、撮影に用いるべき撮影モードを読み出して、撮影モード設定部１０４に送出する。撮影モード設定部１０４は、撮影時情報取得部１０２が取得した撮影時情報に応じて、モード設定を参照し、参照された撮影モードを撮像部１０６に対して設定する。
　撮影時情報取得部１０２は、本実施形態では、撮影の際に、自機の位置を示す位置情報を取得する位置情報取得部１０２ａと、及び現在の時刻情報を撮影時情報として取得する時計部１０２ｂとを有しており、撮影完了時に、付加情報処理部１０５から要求に応じて、位置情報取得部１０２ａ及び時計部１０２ｂから取得した各データを撮影時情報として付加情報処理部１０５に入力する。
　位置情報取得部１０２ａは、撮影時における自機の位置を示す位置情報を取得し、記録するモジュールであり、例えば、ＧＰＳのように、衛星２１からの信号によって自機の位置を検出したり、携帯電話の無線基地局２２からの電波強度などによって位置を検出する。時計部１０２ｂは、現在時刻を測定するモジュールであり、位置情報取得部１０２ａが取得した位置情報に応じて、タイムゾーンを管理し時差などを加味した時刻表示としてもよい。
　データ蓄積部１２２は、各種データを蓄積する記憶装置であり、撮影された画像データＤ１や、コンテンツサーバー３から取得された加工用データ、これらが合成された合成画像データ、及び各画像データＤ１に加工を施した編集データ（例えば、フェイスシール）などが蓄積されている。また、このデータ蓄積部１２２では、付加情報処理部１０５により付加された属性情報（タグ情報）に応じて、画像データＤ１を、複数のフォルダ１２２ａ～ｃに振り分けて格納する。なお、本実施形態では、タグ情報に応じたフォルダに振り分けて画像を蓄積するようにしたが、本発明はこれに限定されるものではなく、実際の格納場所は、基本設定で指定された一般的なフォルダー（例えば、「マイピクチャ」など）とし、一覧表示やアルバム表示に際し、各画像に付加されたタグ情報に基づいた振り分けを擬似的に実行し、分類表示することが好ましい。
　このフォルダ１２２ａ～ｃは、図５（ａ）に示すように、テーマ別に画像データを格納できるように、フォトアルバムに見立てたフォルダがアイコン表示され、図５（ｂ）に示すように、任意のフォルダをクリックすることによって、フォルダ内に収納された画像データを閲覧することができる。なお、この画像データの閲覧は、フォルダ単位での閲覧の他に、上述した属性情報（タグ情報）をキーワードとして参照し、同一・類似の属性情報で検索し、関連のある画像データを検出し、閲覧することもできる。また、画像データ閲覧用の表示方式としては、データ容量の小さいサムネイル用の低解像度の画像データを表示するようにしてもよい。
　このフォトアルバムは、タグ情報に従って、自動的に画像を分類してアルバム化したものであり、タグ情報に含まれる各画像の属性に応じて、各画像を分類する。なお、同一の画像が複数のフォルダ（アルバム）内に格納されているように見えるが、これは、同一の画像データについて、そのタグ情報の数だけ、複数のアルバムに分類されているためである。
　このフォトアルバムの種類としては、上記タグ情報に記述される項目毎に分類することができ、例えば、スケジュールのカテゴリー（「旅行」など）の期間中に撮影されものを纏めたり、撮影モード（カメラの種類）毎に纏めたり、画像に写っている人やその属性（例えば、「ファミリー」など）で纏めたり、カレンダーの日付（誕生日などの特定の日にち）で纏めたりすることができる。
　顔検出部１０９は、目、鼻、口などにより形成される一定の幾何学的形状を抽出して、人物の顔部分を検出するとともに、検出した顔部分の、基本画像中における座標位置を算出するモジュールである。この顔検出処理は、撮影操作の前段階から実行され、図８（ａ）に示すように、検出された顔がファインダー画面上にマーキング４０８ａとして強調され、その被写体までの距離を測定し、その距離に応じたフォーカシングを行うオートフォーカス機能とも連動するようになっている。
　なお、この顔検出部１０９は、撮影対象となる人物の笑顔など、所定の表情を認識する表情認識部１０９ａを有しており、撮影時のモニター映像の中から顔部分及びその表情を認識し、その認識結果をシャッター制御部１０７に入力する機能を備えている。シャッター制御部１０７は、入力された認識結果に応じて撮像部１０６に、シャッター動作を実行させる制御信号を入力する。この顔検出部１０９や表情認識部１０９ａによって認識された顔の特徴や表情に関する情報を上記タグ情報に記述し、各画像を、画像内の人物で分類したり、表情の種別で分類したりすることができる。顔の特徴に関しては、例えば、アドレス帳に登録されたフェイスシールを照合して、人物を特定するようにしてもよい。
　また、携帯端末１において、編集処理系のモジュールとして、編集処理部１１０と、編集データ生成部１１１とを備えている。
　編集処理部１１０は、操作者の操作に従って、各種編集処理を実行するモジュールであり、ＧＵＩと連動して、タッチペンなどで画像上に絵を描き加えたり、文字等を書き込んだり等のフォトレタッチ処理の他、撮影した基本画像に対してフレーム画像や背景画像などの画像を合成する画像合成処理を行うことができる。また、この編集処理部１１０では、各画像に対応付けられたタグ情報を一覧表示し、追加、削除、変更等の編集をする機能も備えている。
　また、この編集処理部１１０は、電子メールを生成し、通信Ｉ/Ｆ１０１を通じて送信する電子メール生成部１１０ａも備えている。この電子メール生成部１１０ａは、画像データ蓄積部１２２に蓄積された画像や、撮影された画像Ｄ１を、電子メールに添付して送信する機能であり、画像データのタグ情報に基づいて、必要事項が記述された電子メールを自動生成することができる。例えば、タグ情報に記述された、写真に写っている人物を読み出し、その人物をアドレス帳から検索し、そのアドレス帳から検出されたメールアドレスや氏名を、電子メールの宛先アドレスとして自動的に記述する。また、タグ情報に記述された情報、或いは関連づけられたスケジュール情報（履歴情報）から、その画像が撮影された時の場所や、時刻、イベント内容を抽出して文章を作成し、その文章を電子メールの本文やタイトルに引用するようにしてもよい。
　また、電子メール生成部１１０ａは、メール本文の編集中に、フェイスシールを絵文字として挿入する機能も備えている。例えば、辞書変換機能に、人物の氏名とフェイスシール挿入処理とを関連づけておき、文章中にその人物の氏名が記載されると、自動的にフェイスシールとして変換或いは挿入するようにしてもよい。
　また、電子メール生成部１１０ａは、電子メールを生成する際に、スケジュールの内容を引用して、電子メールを自動的に挿入する機能も備えている。例えば、スケジュールに記載された予定に関係する人物の氏名から、アドレス帳を検索し、その人物のメールアドレスを宛先とし、予定にあるイベント内容から電子メールのタイトルや本文を作成する。
　編集データ生成部１１１は、上記編集処理部１１０により編集操作の結果である編集データを生成するモジュールであり、生成されたデータはデータ蓄積部１２２に蓄積される。また、この編集データ生成部１１１は、編集処理された画像データとともに、これと関連するタグ情報もデータ蓄積部１２２に蓄積する。編集データ生成部１１１は、画像合成部１１１ａを備えており、この画像合成部１１１ａは、撮像部１０６が撮像した画像を基本画像Ｄ１１とし、この基本画像Ｄ１１に対して、他の画像データＤ１２を合成する。この画像合成部１１１ａによる合成処理も、上記編集処理部１１０に対する編集操作によって制御することができる。
　また、この画像合成部１１１ａは、図８に示すように、顔検出部１０９が検出した顔部分を特定の形状の画像データであるフェイスシール５０１ａ～ｃに変換するフェイスシール生成部の機能を備えている。このフェイスシール５０１ａ～ｃは、顔検出部１０９が検出した顔部分の座標位置を基準として、基本画像に対し、例えば着ぐるみの画像データなどを重ね合わせたり、画像の切り出しを行い、図８（ｂ）に示すような様々な形状のアイコン画像データとして生成される。なお、このフェイスシールの生成処理は、デフォルトでは顔検出部１０９が顔部分を検出した場合に自動的に実行されるようになっている。このため、ユーザーが意識的にフェイスシールを手動で生成することもでき、さらには顔部分が撮影される毎に自動的にフェイスシールが生成され、蓄積されるようになっている。
　また、このフェイスシールの作成に際し、画像合成部１１１ａは、図１４（ａ）～（ｃ）に示すように、顔検出部１０９により検出された顔部分の座標位置を基準とし、撮影された基本画像に対して、位置情報に応じたその土地々々のキャラクターのかぶり物をモチーフとした付加画像を合成するようにしてもよい。この付加画像は、携帯端末１内に予めインストールされて保存しておいてもよく、コンテンツサーバー３からダウンロードするようにしてもよい。
　なお、この画像合成部１１１ａで生成されたフェイスシールは、アドレス帳に登録された人物と関連づけて蓄積することができ、各人物に関連する操作やデータに、その人物のフェイスシールを利用することができる。例えば、アドレス帳のインデックスとしてフェイスシールを表示したり、フォトアルバムのインデックスとしてフェイスシールをアイコン表示させたりすることもできる。また、このフェイスシールは、電子メールを作成する際に、各人物を意味する絵文字として用いることもでき、アドレス帳に登録された人物名を電子メール内に記述すると、その人物名を自動的に検出してフェイスシールを、文章内に追加するようにしてもよい。
　前記携帯端末１において、ユーザーインターフェース系のモジュールとして、操作信号取得部１０８と、表示制御部１１２と、画像表示部１１３と、スケジュール記憶部１２１と、動作履歴記録部１２３と、チュートリアル記憶部１２４と、チュートリアル設定部１１４とを備えている。
　操作信号取得部１０８は、ユーザー操作に基づく操作デバイスからの操作信号を取得し、操作信号に応じた実行命令をシャッター制御部１０７や編集処理部１１０に入力するモジュールである。ここでの操作デバイスとしては、タッチパネルや操作ボタン、加速度センサなどが含まれる。この操作信号は、操作対象となる各モジュールに送出されるとともに、動作履歴記録部１２３に送信されログデータＤ３として蓄積される。
　表示制御部１１２は、ＧＵＩである画像表示部１１３に表示される画像データを生成するモジュールであり、撮影時においては、撮像部１０６が撮影しているファインダー画像を表示したり、編集時においては、操作信号取得部１０８が取得したユーザー操作信号に基づくアイコン等の画像の変化を表示する。なお、この表示制御部１１２によるアイコンの表示方法としては、図１５に示すように、アイコン６０１を、画像表示部１１３上に、螺旋状（渦巻き状）に配置し、ユーザーの回転操作により、渦巻きが右回り又は左回りすることにより、アイコンが拡大しながら中央から外方へ、又はアイコンが縮小しながら外方から中央へと、その大きさを拡大・縮小しながら移動するようにしてもよい。このユーザーの回転操作としては、例えば、回転操作するためのホイール部を携帯電話機本体に物理的に設けるか、或いは、タッチパネル上での指示点の回転移動をその操作として検出するか等が考えられる。
　また、表示制御部１１２には、画像データ蓄積部１２２に蓄積された複数の画像を順番に連続的に再生するスライドショー機能が備えられている。このスライドショー機能では、上述したフォトアルバム単位で再生することができ、このスライドショーの再生に際し、種々の演出を施すことができる。
　このスライドショーの演出としては、例えば、フォトアルバムの分類の基準となっているタグ情報を照合し、そのタグ情報に関連する情報（撮影された場所、時刻、撮影モード、その時刻のスケジュールや、その場所に関するご当地情報など）を合わせて表示することができる。具体的には、フォトアルバムが旅行に関するものであるときには、スライドショーのイントロダクションとして、その旅行先のご当地情報、地図、ナビゲーション履歴に基づく移動軌跡などを表示してもよい。また、スライドショーに含まれる画像の表示順序を、撮影時刻の順序とすることもできる他、撮影モードがプリクラカメラなどのときにスライドショーのフレームをプリクラノートのように変更するなど、撮影モードに応じた演出を実行するようにしてもよい。
　また、本実施形態に係る表示制御部１１２は、データ蓄積部１２２に蓄積されたデータの属性情報をフェイスシール５０１ａ～５０１ｃとして表示する機能を備えている。例えば、カメラで撮影された画像に写っている人物を属性情報（タグ情報）として記録されている場合に、その人物を示すアイコンとしてフェイスシールを表示する。このタグ情報とフェイスシールの関連づけは、例えば、アドレス帳のデータを基準とすることができる。すなわち、アドレス帳に登録されている人物を基準として、その人物に撮影画像や、フェイスシールを対応付けて記録する。
　また、表示制御部１１２は、データ蓄積部１２２内に蓄積されたデータを検索して読み出す機能も備えており、ＧＵＩ上において、カレンダーＵＩ（図９（ａ）～（ｃ））やメール閲覧ＵＩ（図８（ｃ）及び（ｄ））上で操作選択することにより、該当するデータを読み出すことができる。
　スケジュール記憶部１２１は、ユーザーの予定に関する位置情報、時刻情報及び予定内容の種別を、スケジュール情報Ｄ２として記憶保持する記憶装置である。このスケジュール情報は、各ユーザーがカスタマイズ可能であり、図４（ａ）～（ｃ）に示すようなカレンダーＵＩ４０２に表示される。具体的に、表示制御部１１２によるカレンダーＵＩ４０２は、現在の日にちを含むカレンダー表示機能であり、現在の日にちを示すグリッド４０５を境界として、現在の日にちよりも前の月日部分４０４を、データ蓄積部１２２に格納された画像データＤ１の一覧表示とし、現在の日にちよりも後の月日部分４０６に、スケジュール記憶部１２１に記憶されたスケジュール情報を表示する。
　また、このスケジュール情報Ｄ２としては、例えば、図６に示すように、ユーザーが毎日の食事を画像データとともに記録する「毎日のごはん」計画を立てていたとすると、図６（ａ）に示すように、その計画に関するフォルダ１２２ｃを作成することができる。このフォルダ１２２ｃには、図６（ｂ）に示すように、一日三回の食事の時間帯や自宅の位置情報に関連づけられてスナップ写真撮影モードが、モード設定テーブルＴ１に記録される。そして、スケジュールに記録された時刻及び場所になったときに、図６（ｃ）に示すような、ポップアップメッセージ４０７が表示され、自動的にモード設定テーブルＴ１が読み出されて、食事のスナップ写真撮影に適した撮影モードが準備される。
　また、このスケジュール情報Ｄ２の他の例としては、例えば、図７（ａ）に示すように、ユーザーが旅行の計画を立てて、図７（ｂ）に示すように、所定の場所及び時刻に待ち合わせの予定をスケジュールに記録したとする。そして、図７（ｃ）に示すように、スケジュールに記録された待ち合わせの時刻及び場所になったときに、ポップアップメッセージ４０７が表示され、図７（ｄ）に示すように、自動的にモード設定テーブルＴ１が読み出されて、自動的にカメラが起動され、人物のスナップ写真撮影に適した撮影モードが準備される。
　チュートリアル記憶部１２４は、撮影モードの使用例に関する情報を、位置情報及び時刻情報と関連づけてチュートリアル情報１２４ａとして記憶する記憶装置である。このチュートリアル記憶部１２４に蓄積されているチュートリアルは、本実施形態では、撮影機能に関する使用方法などを解説した教材であり、動画や静止画、文章テキスト、及び携帯端末１の各機能モジュールを実行させるスクリプト（プログラム）を含むコンテンツデータである。
　また、このチュートリアルとしては、撮影モードの使用例に関する情報の他、お薦めの機能についての説明であったり、インターネット上から配信される情報データ（お薦めリサーチ）の表示であってもよい。このお薦めリサーチ機能としては、例えば、ＧＰＳなどの位置情報取得手段を用いて現在位置を測定し、現在地近辺のお薦めスポットや、店舗情報、グルメ情報、特産品などの地域情報を表示出力するものであってもよい。この地域情報は、コンテンツサーバー３から配信されるご当地情報であってもよく、また、その重要度（お薦め度）に応じてランキングして表示されていることが好ましい。このランキングとしては、映画興行成績や、ＣＤ、着うたのダウンロード数、テレビ視聴率、検索数を含めてもよい。
　さらに、このチュートリアルとしては、スケジュールに登録されている予定の内容（場所、日時、イベント内容）に応じて、そのシチュエーションに適した機能を選択して、推薦する形式で、その使用例を説明するようにしてもよい。また、このスケジュールと連携した情報としては、そのスケジュールの予定の内容に基づいて、関連する情報データをインターネット上から収集し、プッシュ情報として表示するようにしてもよい。
　また、このチュートリアルとしては、当該携帯端末に搭載された他の機能の使用を推奨し、その使用方法を説明するものであってもよい。例えば、携帯端末に備えられた通信機能及びブラウザ機能を用いて、チケットの購入や、商品の購入、コンテンツのダウンロードなどの操作手順を説明する。これらチケットや、商品、コンテンツについては、上述したランキング表示機能と連動させて、お薦めリサーチの結果として表示させてもよい。
　本実施形態では、このチュートリアルのスクリプトが実行されると、図１０（ａ）～（ｃ）及び図１１（ａ）～（ｄ）に示すような、ポップアップ４０７により文字列が表示され、動画や静止画によるガイダンス６０１及びスケジュールの通知ポップアップ画面６０２ｃが表示されるとともに、キャラクター６０２ｂによる吹出６０２ａなど、文字情報や音声出力がユーザーの応答操作に従って、使用例の解説が対話形式で進行される。
　また、チュートリアルが上記お薦めリサーチであるときには、自動的にブラウザ機能が起動し、インターネットなどにアクセスするか、或いは予め本体内蓄積されたローカルの情報データにアクセスし、お薦めの機能の推奨や、説明、関連情報（ランキング情報等）の表示を実行する。
　図１０及び図１１に示した例では、カメラ機能の使用を促すチュートリアル情報が、起動され、ユーザーの操作を誘導しつつ、カメラ撮影画面を起動している。なお、ここでは、チュートリアル情報がコンテンツサーバー３からプレゼントとして配信された場合を例とし、チュートリアル情報の起動により、「カメラで遊ぼう」というテーマに則ったスケジュールが組まれ（図１１（ｂ））、このチュートリアル専用のフォルダ１２２が生成されている（図１１（ａ））。スケジュールの到来により（図１１（ｃ））、キャラクター６０２ｂによる操作の誘導が開始され、ユーザーの応答操作に従って、「露出補正」の操作レッスンが対話形式で進行されている（図１１（ｄ））。
　そして、このようなチュートリアルは、ユーザー操作の履歴を解析し、未使用の機能に対して実行されるようになっており、その実行は、チュートリアル設定部１１４により設定される。また、チュートリアルの実行としては、スケジュールに登録された予定の内容を周期的に監視し、スケジュールに登録された予定の時刻になった際に、そのスケジュール時間のアラートともに、お薦めの機能の説明や、お薦めリサーチによる関連情報の表示を行う。また、このチュートリアルの実行時に、撮影時情報取得部１０２から現在時刻や現在位置を取得し、そのシチュエーション（時刻、場所等）に応じた機能の説明や、お薦めリサーチによる関連情報の表示を行ってもよい。
　チュートリアル設定部１１４は、チュートリアル取得部１１４ａが取得したチュートリアル情報１２４ａに含まれる位置情報、時刻情報、及び使用例に応じた予定内容の種別を、ユーザーの予定としてスケジュール情報に追加するモジュールである。本実施形態では、チュートリアル取得部１１４ａと、動作履歴解析部１１４ｂとを有する。動作履歴解析部１１４ｂは、撮影モードの履歴を解析し、未使用の撮影モードを抽出するモジュールである。チュートリアル取得部１１４ａは、動作履歴解析部１１４ｂが抽出した未使用の撮影モードや、スケジュール１２１に登録された予定の内容、撮影時情報取得部１０２が取得したシチュエーションに応じた機能に基づいて、チュートリアル情報１２４ａを参照して、当該未使用の撮影モードやその他の機能のチュートリアルを取得するモジュールである。
　動作履歴記録部１２３は、撮影モード設定部が設定した撮影モードの履歴をログデータＤ３として記録する記憶装置であり、ユーザー操作に基づくモード設定の履歴がログデータＤ３として蓄積される。
（画像撮影方法）
　以上の構成を有する画像撮影システムを動作させることによって、本発明の画像撮影方法を実施することができる。図１２は、本実施形態に係る画像撮影システムの動作を示すフローチャート図である。
　先ず、ループ処理により周期的に、自機の位置情報及び現在の時刻情報を取得するとともに（Ｓ１０１及びＳ１０２）、スケジュール情報Ｄ２を参照し、スケジュールされた場所・時刻にあるか否か、或いは予定外の場所・時刻にユーザーが自主的に操作を開始したか否かを判断する（Ｓ１０３及びＳ１０４）。ユーザーが操作をせず、所定の時刻が到来しない限り、待機状態となる（Ｓ１０３及びＳ１０４における“Ｎ”）。
　なお、このステップＳ１０４におけるスケジュールは、上述した操作レッスンのチュートリアル開始の予定であってもよい。すなわち、チュートリアル情報１２４ａには、撮影モードの使用例に関する情報が、位置情報及び時刻情報と関連づけて記憶されており、このチュートリアル情報１２４ａに含まれる位置情報、時刻情報、及び使用例に応じた予定内容の種別を、ユーザーの予定としてスケジュール情報に追加することによって、未使用の撮影モードの操作レッスンが、ユーザーの予定としてスケジュールされることとなる。
　そして、予定の時刻が到来する前に、ユーザーも自主的な撮影開始操作があった場合には（Ｓ１０３における“Ｙ”）、ユーザーが選択した撮影モードにより撮影を実行し（Ｓ１０５及びＳ１０７）、その撮影モードをログデータＤ３に追記する（Ｓ１０８）。なお、本実施形態では、予め、位置情報及び時刻情報と、撮影モードとが関連づけられたテーブルデータが、撮影モード設定Ｔ１として撮影時設定記憶部１０３に記憶されており、撮影モード設定ステップ（Ｓ１０５）では、撮影時情報取得ステップ（Ｓ１０１）で取得した撮影時情報に応じて、モード設定Ｔ１を参照し、参照された撮影モードＴ１を撮像部１０６に対して設定する。
　一方、ステップＳ１０４において、スケジュールされた場所・時刻となったときには（ステップＳ１０４における“Ｙ”）、自動的に撮影モードを選択し、撮影動作を促し（Ｓ１０６）、撮影操作があったときには（Ｓ１０７）、その撮影モードをログデータＤ３に追記する（Ｓ１０８）。なお、スケジュール情報には、ユーザーの予定に関する位置情報、時刻情報及び予定内容の種別が記録されており、撮影モード設定ステップ（Ｓ１０６）では、モード設定を参照する際に、スケジュール情報Ｄ２に含まれる位置情報、時刻情報及び予定内容の種別に基づいて、撮像部に対する撮影モードの設定をする。スケジュール情報Ｄ２には、例えば「誕生日」であるとか「海外旅行」といったように予定の内容が記載されていることから、その予定の内容の種別をキーワードとすることにより、より正確な撮影モードを設定することができる。
　そして、撮影がされた場所・時刻及び撮影モードを含む属性情報に応じて、画像データＤ１を振り分けてデータ蓄積部１２２の各フォルダ１２２ａ～ｃ等に格納する。この各フォルダ１２２ａ～ｃに格納された画像データＤ１を、各画像の属性情報に応じたアイコン表示によって、カレンダーＵＩで一覧表示することができる。具体的に、このカレンダーの表示では、現在の日にちを境界として、現在の日にちよりも前の月日部分を、データ蓄積部１２２に格納された画像データＤ１の一覧表示とし、現在の日にちよりも後の月日部分をスケジュール記憶部１２１に記憶されたスケジュール情報Ｄ２の表示とする。このカレンダーやスケジュールの表示としては、図１５に示すように、カレンダーの日にちをアイコン６０１として渦巻き状に配置し、ユーザーによる回転操作により螺旋表示を前進後退させて、表示範囲を変更させるようにしてもよい。
　なお、この撮影に際しては、人物の顔部分を特定の形状の画像データに変換したフェイスシールを生成することができ、このフェイスシールは、アイコン画像として、カレンダーＵＩ内に自由に貼り付けることができる。
　また、フェイスシールは、画像のタグ情報や、アドレス帳、スケジュール等と関連づけることができる。例えば、タグ情報に、撮影した画像データの属性情報に関連づけて、その撮影時刻に対応するスケジュールの内容（場所、参加者、イベント内容）を記録することができる。さらに、このタグ情報としては、画像に写っている人物の顔を認識し、その顔の特徴を含めることができる。この顔の特徴は、例えば、アドレス帳に設定されているフェイスシールなどを参照して、人物を特定し、アドレス帳などに関連づけて記録することもできる。また、この顔認識に際し、笑顔などの表情を認識するようにし、その表情をタグ情報に含めるようにしてもよい。この場合には、例えば、笑顔認識で撮影した画像を「スマイル」というタグ情報により分類し、笑顔の画像が集合されたアルバムを自動生成することができる。
（合成画像撮影方法）
　さらに、上述した画像合成部１１１ａは、コンテンツサーバー３とのデータ送受信により、特定の地域に固有の付加データをダウンロードして、上記フェイスシールの画像データにその地域固有の画像データを合成する機能を備えており、上述したフェイスシールの生成に際しては、この画像合成機能を併用することができる。図１３は、本実施形態に係る画像合成部１１１ａの動作を示すフローチャート図である。
　先ず、撮像部１０６により画像を撮影する（Ｓ２０１）。この撮影に際し、本実施形態では、撮像部１０６により常にファインダー画像を監視する「自動撮影モード」を実行してもよい。このモードでは、撮像部１０６において撮されるファインダー画像に対して、表情認識部１０９ａにより、撮影対象となる人物の、例えば笑顔などの所定の表情を認識する表情認識を行い、笑顔を認識した瞬間に、自動的に撮影処理を実行する。
　ステップＳ２０１において、撮像部１０６により撮影された画像データは、基本画像としてデータ蓄積部１２２に記録され（Ｓ２０２）、基本画像内において、顔の検出が行われる（Ｓ２０３）。この顔部分の検出に際し、顔検出部１０９では、検出した顔部分の基本画像中における座標位置を算出しておく。
　また、この撮影操作に応じて、撮影時における自機の位置情報が取得され、記録されるとともに、この位置情報がコンテンツサーバー３に送信される（Ｓ２０４）。この位置情報を受信したコンテンツサーバー３は（Ｓ３０１）は、受信した撮影時の位置情報に基づいて、地域画像蓄積データベースから、位置情報に関連付けられた地域画像データを検索し（Ｓ３０２）、選択した画像を返信する（Ｓ３０３）。なお、このコンテンツサーバー３による地域画像データの配信は、地域画像データが携帯端末１に予めインストールされ、携帯端末１内に保存されている場合には省略することができる。したがって、上記ステップＳ２０４及びＳ３０１～３０３の処理は、携帯端末１側で自機内のコンテンツデータを検索し、自機内に保存されていない場合に実行するようにしてもよい。
　なお、このコンテンツサーバ３から配信される各地域独自のコンテンツとしては、上記地域画像データの他、その地域に関するトピックス（観光スポット、特産物、店舗情報、その他のニュース）をランキングした「おすすめ情報」や、地図データが含まれ、これらの情報は、上述したチュートリアルや、撮影した画像のフォトアルバム、画像再生時のスライドショーの演出などに利用することができる。
　地域画像データを受信し、または自機内におけるデータを読み出して地域画像データを取得したカメラ側は（Ｓ２０５）、基本画像Ｄ１１に対して、取得された地域画像データＤ１２を合成する（Ｓ２０６）。この画像合成に際し、画像合成部１１１ａは、顔検出部１０９により検出された顔部分の座標位置を基準として、基本画像Ｄ１１に対して地域画像データＤ１２を合成する。
　この合成編集の操作は、図１４に示すようなＧＵＩやテンキー等の操作デバイス１１６により行うことができる。本実施形態では、ＧＵＩ上に撮影（若しくは編集）に係る基本画像Ｄ１１が表示されるとともに、取得された地域画像データのアイコン１１６２が、アイコンエリア１１６１内に複数列記され、これらのアイコン１１６２を、例えばポインタ１１６３によってクリックすることにより、合成される地域画像データＤ１２を選択することができる。
　このようにして撮影又は編集されて蓄積された画像データに対しては、他のフォトレタッチ処理等の編集操作を施すことができる（Ｓ２０７）。その後、編集作業を終了することにより（Ｓ２０８における“Ｎ”）、編集された画像データが保存される（Ｓ２０９）。
　この画像データの保存に際し、本実施形態では、位置情報と関連付けてデータ蓄積部１２２に蓄積する。このとき、蓄積された画像の位置情報をインデックス情報（タグ情報）として生成する（Ｓ２１０）とともに、ＧＵＩ上にアイコンとして表示する。そして、ＧＵＩに表示されたインデックス（タグ情報）を選択することにより、該当する画像や関連するデータ若しくはプログラムをデータ蓄積部１２２から検索して読み出す、又は起動することができる。そして、このようにして生成されたフェイスシールは、ＧＵＩにおいて、インデックスアイコンをタッチ操作等の選択操作によって読み出して閲覧することができる。
（作用・効果）
　以上説明した実施形態によれば、撮影した画像について、撮影時の撮影モード情報、自機の位置情報及び撮影時刻情報を画像データＤ１に付加することができるので、その属性情報に応じて、画像データＤ１を自動で振り分けて保存することができる。例えば、特定の場所や時間帯における人物撮影モードや、風景撮影モード、静物撮影の接写モードなど、場所及び時間帯に応じた光学的な撮影モードに基づいて被写体の属性をある程度推定することができ、撮影した画像データＤ１をその推定に応じて分類することができる。この結果、ユーザーによる画像データの分類作業の負担を軽減することができる。
　また、本実施形態では、モード設定を参照する際に、スケジュール情報がある場合には、このスケジュールに含まれる位置情報、時刻情報及び予定内容の種別に基づいて、撮像部に対する撮影モードの設定をすることから、ユーザーが予定しているスケジュール情報を優先させて、撮影モードの設定することができ、ユーザーの行動予定を反映させて、より正確な画像データＤ１の属性を推定することができる。また、スケジュール情報には、位置情報及び時刻情報の他に、例えば「誕生日」であるとか「海外旅行」といったように予定の内容が記載されていることから、モード設定テーブルＴ１についてキーワードに基づいた検索を可能とすることにより、画像データＤ１の振り分けを正確に行うことができる。
　本実施形態では、カレンダーＵＩが、現在の日にちを境界として、現在の日にちよりも前の月日部分を、画像データ蓄積部に格納された画像データＤ１の一覧表示とし、現在の日にちよりも後の月日部分をスケジュール記憶部に記憶されたスケジュール情報の表示としていることから、過去に関しては、月日毎の画像データＤ１などの日記帳としての機能を持つことができ、未来については、ユーザーの予定を記載及び表示することが可能なので、手帳としてのスケジュール機能を持つことができる。そして、これらの表示は、現在の日にちを境界として１つのカレンダーに表示されるため、日記帳と手帳のＧＵＩを１つにまとめることができ、見やすさを向上させることができるとともに、表示面積を縮小でき、限られた面積の表示部を有効に活用することができる。
　さらに、本実施形態では、ユーザー毎に異なる未使用の撮影モードの案内及び操作説明等をチュートリアルとしてスケジュールに追加するので、ユーザーが不知又は不明であった撮影機能の操作レッスンを、ユーザーの予定としてスケジュールすることができる。この結果、適切な場所、及び時間帯において自動的にチュートリアルモードが開始され、未使用であった機能の利用をユーザーに促すことができる。
　さらに本実施形態では、ユーザーが撮影した画像の人物の顔を部分的に検出し、アイコンなどに利用可能なフェイスシールとして保存することができるので、各ユーザーが人物の顔部分を様々な用途に使用することができる。さらに、検出処理及び変換処理とを含む撮影モードについても撮影時設定記憶部に記憶していることで、撮影モードの撮影時のおける自動設定や、未使用時のチュートリアル設定も可能となる。
　Ｄ１…画像データ
　Ｄ２…スケジュール情報
　Ｄ３…ログデータ
　Ｔ１…モード設定テーブル
　１…携帯端末
　２…インターネット
　３…コンテンツサーバー
　２１…衛星
　２２…無線基地局
　１０２…撮影時情報取得部
　１０２ａ…位置情報取得部
　１０２ｂ…時計部
　１０３…撮影時設定記憶部
　１０４…撮影モード設定部
　１０５…付加情報処理部
　１０６…撮像部
　１０７…シャッター制御部
　１０８…操作信号取得部
　１０９…顔検出部
　１０９ａ…表情認識部
　１１０…編集処理部
　１１０ａ…電子メール生成部
　１１１…編集データ生成部
　１１１ａ…画像合成部
　１１２…表示制御部
　１１３…画像表示部
　１１４…チュートリアル設定部
　１１４ａ…チュートリアル取得部
　１１４ｂ…動作履歴解析部
　１１６…操作デバイス
　１２１…スケジュール記憶部
　１２２…データ蓄積部
　１２２ａ～ｃ…フォルダ
　１２３…動作履歴記録部
　１２４…チュートリアル記憶部
　１２４ａ…チュートリアル情報

Claims (12)

  1. 　画像を撮影する撮像部と、
    　前記撮像部による撮影の撮影モードを設定する撮影モード設定部と、
    　撮影の際に、自機の位置を示す位置情報、及び現在の時刻情報を撮影時情報として取得する撮影時情報取得部と、
    　前記撮像部が撮影した画像データに、当該画像データの撮影時における前記撮影モードの設定、及び前記撮影時情報を、各画像データの内容に関する属性情報として付加する付加情報処理部と、
    　前記付加情報処理部により付加された属性情報とともに、前記画像データを格納する画像データ蓄積部と、
    　前記画像データ蓄積部に格納された画像データを、各画像の属性情報に応じて一覧表示する表示制御部と
    を備えることを特徴とする画像撮影システム。
  2. 　前記位置情報及び時刻情報と、撮影モードとを関連づけて撮影モード設定として記憶する撮影時設定記憶部をさらに備え、
    　前記撮影モード設定部は、撮影時情報取得部が取得した撮影時情報に応じて、前記モード設定を参照し、参照された撮影モードを前記撮像部に対して設定する
    ことを特徴とする請求項１に記載の画像撮影システム。
  3. 　ユーザーの予定に関する位置情報、時刻情報及び予定内容の種別を、スケジュール情報として記憶保持するスケジュール記憶部をさらに備え、
    　前記撮影モード設定部は、前記モード設定を参照する際に、前記スケジュール情報に含まれる位置情報、時刻情報及び予定内容の種別に基づいて、前記撮像部に対する前記撮影モードの設定をする
    ことを特徴とする請求項２に記載の画像撮影システム。
  4. 　前記表示制御部は、現在の日にちを含むカレンダー表示機能を備え、
    　前記カレンダー表示機能は、前記現在の日にちを境界として、該現在の日にちよりも前の月日部分を、前記画像データ蓄積部に格納された画像データの一覧表示とし、該現在の日にちよりも後の月日部分を前記スケジュール記憶部に記憶されたスケジュール情報の表示とする
    ことを特徴とする請求項３に記載の画像撮影システム。
  5. 　前記撮影モード設定部が設定した撮影モードの履歴を記録する動作履歴記録部と、
    　前記撮影モードの使用例に関する情報を、位置情報及び時刻情報と関連づけてチュートリアル情報として記憶するチュートリアル記憶部と、
    　前記撮影モードの履歴を解析し、未使用の撮影モードを抽出する動作履歴解析部と、
    　前記動作履歴解析部が抽出した未使用の撮影モードに基づいて、前記チュートリアル情報を参照して、当該未使用の撮影モードの使用例を取得するチュートリアル取得部と、
    　前記チュートリアル取得部が取得したチュートリアル情報に含まれる位置情報、時刻情報、及び使用例に応じた予定内容の種別を、前記ユーザーの予定として前記スケジュール情報に追加するチュートリアル設定部と
    をさらに備えることを特徴とする請求項３に記載の画像撮影システム。
  6. 　人物の顔部分を検出するとともに、検出した該顔部分の、前記基本画像中における座標位置を算出する顔検出部と、
    　前記顔検出部が検出した顔部分を特定の形状の画像データに変換するフェイスシール生成部と
    をさらに備え、
    　前記撮影モード設定部は、前記顔検出部による顔部分の検出処理、及び前記フェイスシール生成部による画像データの変換処理を含む撮影モードを選択可能であり、
    　前記動作履歴記録部は、前記撮影モード設定部が選択した検出処理及び前記変換処理とを含む撮影モードの履歴を前記動作履歴に含めて記録する
    ことを特徴とする請求項１に記載の画像撮影システム。
  7. 　画像を撮影する撮像部による画像撮影方法であって、
    　前記撮像部による撮影の撮影モードを設定する撮影モード設定ステップと、
    　撮影の際に、自機の位置を示す位置情報、及び現在の時刻情報を撮影時情報として取得する撮影時情報取得ステップと、
    　画像を撮影する撮像ステップと、
    　前記撮像ステップで撮影した画像データに、当該画像データの撮影時における前記撮影モードの設定、及び前記撮影時情報を、各画像データの内容に関する属性情報として付加する付加情報処理ステップと、
    　前記付加情報処理ステップで付加された属性情報とともに、前記画像データを画像データ蓄積部に格納する画像データ格納ステップと、
    　前記画像データ蓄積部に格納された画像データを、各画像の属性情報に応じて検索して表示する表示制御ステップと
    を備えることを特徴とする画像撮影方法。
  8. 　予め、前記位置情報及び時刻情報と、撮影モードとを関連づけて撮影モード設定として撮影時設定記憶部に記憶しておき、
    　前記撮影モード設定ステップでは、前記撮影時情報取得ステップで取得した撮影時情報に応じて、前記モード設定を参照し、参照された撮影モードを前記撮像部に対して設定する
    ことを特徴とする請求項７に記載の画像撮影方法。
  9. 　前記撮影モード設定ステップに先行して、ユーザーの予定に関する位置情報、時刻情報及び予定内容の種別を、スケジュール情報としてスケジュール記憶部に記憶保持するスケジュール記憶ステップをさらに備え、
    　前記撮影モード設定ステップでは、前記モード設定を参照する際に、前記スケジュール情報に含まれる位置情報、時刻情報及び予定内容の種別に基づいて、前記撮像部に対する前記撮影モードの設定をする
    ことを特徴とする請求項８に記載の画像撮影方法。
  10. 　前記表示制御ステップでは、現在の日にちを含むカレンダーを表示し、
    　前記カレンダーの表示では、前記現在の日にちを境界として、該現在の日にちよりも前の月日部分を、前記画像データ蓄積部に格納された画像データの一覧表示とし、該現在の日にちよりも後の月日部分を前記スケジュール記憶部に記憶されたスケジュール情報の表示とする
    ことを特徴とする請求項９に記載の画像撮影方法。
  11. 　予め、前記撮影モードの使用例に関する情報を、位置情報及び時刻情報と関連づけてチュートリアル情報としてチュートリアル記憶部に記憶しておき、
    　前記撮影モード設定ステップで設定した撮影モードの履歴を記録する動作履歴記録ステップと、
    　前記撮影モードの履歴を解析し、未使用の撮影モードを抽出する動作履歴解析ステップと、
    　前記動作履歴解析ステップで抽出した未使用の撮影モードに基づいて、前記チュートリアル情報を参照して、当該未使用の撮影モードの使用例を取得するチュートリアル取得ステップと、
    　前記チュートリアル取得ステップで取得したチュートリアル情報に含まれる位置情報、時刻情報、及び使用例に応じた予定内容の種別を、前記ユーザーの予定として前記スケジュール情報に追加するチュートリアル設定ステップと
    をさらに備えることを特徴とする請求項９に記載の画像撮影方法。
  12. 　前記画像データ格納ステップに先行させて、
    　人物の顔部分を検出するとともに、検出した該顔部分の、前記基本画像中における座標位置を算出し、
    　検出された前記顔部分を特定の形状の画像データに変換し、
    　前記撮影モード設定ステップでは、前記顔部分の検出処理、及び前記画像データの変換処理を含む撮影モードを選択可能であり、
    　前記動作履歴記録ステップでは、前記撮影モード設定ステップで選択した検出処理及び前記変換処理とを含む撮影モードの履歴を前記動作履歴に含めて記録する
    ことを特徴とする請求項７に記載の画像撮影方法。
PCT/JP2009/068076 2008-10-20 2009-10-20 画像撮影システム及び画像撮影方法 WO2010047336A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/124,954 US20110199511A1 (en) 2008-10-20 2009-10-20 Image photographing system and image photographing method
JP2010534819A JPWO2010047336A1 (ja) 2008-10-20 2009-10-20 画像撮影システム及び画像撮影方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008270360 2008-10-20
JP2008-270360 2008-10-20

Publications (1)

Publication Number Publication Date
WO2010047336A1 true WO2010047336A1 (ja) 2010-04-29

Family

ID=42119373

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/068076 WO2010047336A1 (ja) 2008-10-20 2009-10-20 画像撮影システム及び画像撮影方法

Country Status (3)

Country Link
US (1) US20110199511A1 (ja)
JP (1) JPWO2010047336A1 (ja)
WO (1) WO2010047336A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012018061A1 (en) 2010-08-03 2012-02-09 Ricoh Company, Ltd. Imaging apparatus and imaging method
KR20150099317A (ko) * 2014-02-21 2015-08-31 삼성전자주식회사 이미지 처리 방법 및 장치
CN106878568A (zh) * 2017-04-12 2017-06-20 中山市读书郎电子有限公司 一种手机使用模式的优化切换方案
JP2017526074A (ja) * 2014-08-21 2017-09-07 ホアウェイ・テクノロジーズ・カンパニー・リミテッド メッセージングおよびソーシャル・ネットワーキング・アプリケーションのためのユーザ表情ライブラリを生成するシステムおよび方法
JP2018007018A (ja) * 2016-07-01 2018-01-11 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP2020188448A (ja) * 2019-05-14 2020-11-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像装置及び撮像方法
JP7463071B2 (ja) 2019-10-07 2024-04-08 キヤノン株式会社 電子機器および電子機器の制御方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120028491A (ko) * 2010-09-15 2012-03-23 삼성전자주식회사 이미지 데이터 관리장치 및 방법
WO2012036331A1 (ko) * 2010-09-17 2012-03-22 엘지전자 주식회사 이동 통신 단말기에서의 스케쥴 입력 방법 및 장치
EP2442550B1 (en) * 2010-10-14 2015-06-17 Sony Corporation Image capturing device, system and method
GB2496893A (en) 2011-11-25 2013-05-29 Nokia Corp Presenting Name Bubbles at Different Image Zoom Levels
WO2014050189A1 (ja) * 2012-09-27 2014-04-03 富士フイルム株式会社 撮像装置及び画像処理方法
KR101709482B1 (ko) * 2013-01-16 2017-02-23 삼성전자주식회사 서버 장치 및 서버의 제어 방법
EP3161727A4 (en) * 2014-06-24 2018-02-14 Pic2go Ltd. Photo tagging system and method
US10593023B2 (en) * 2018-02-13 2020-03-17 Adobe Inc. Deep-learning-based automatic skin retouching
CN111163258B (zh) * 2018-11-07 2023-04-18 中兴通讯股份有限公司 一种图像存储控制方法、设备和存储介质
CN110377772A (zh) * 2019-06-26 2019-10-25 华为技术有限公司 一种内容查找方法、相关设备及计算机可读存储介质
CN111159113A (zh) * 2019-12-24 2020-05-15 广东电网有限责任公司 一种便携式数码拍照设备系统及照片筛选方法
CN114554179B (zh) * 2022-02-24 2023-08-15 北京蜂巢世纪科技有限公司 基于目标模型的自动拍摄方法、系统、终端及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010178A (ja) * 2000-06-19 2002-01-11 Sony Corp 画像管理システム及び画像管理方法、並びに、記憶媒体
JP2005091659A (ja) * 2003-09-17 2005-04-07 Casio Comput Co Ltd カメラ装置、カメラ制御プログラム及びカメラシステム
JP2005286379A (ja) * 2004-03-26 2005-10-13 Fuji Photo Film Co Ltd 撮影補助システム及び撮影補助方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003298987A (ja) * 2002-03-29 2003-10-17 Mitsubishi Electric Corp 携帯型通信装置及び画像保存方法
US20050122405A1 (en) * 2003-12-09 2005-06-09 Voss James S. Digital cameras and methods using GPS/time-based and/or location data to provide scene selection, and dynamic illumination and exposure adjustment
JP2011109428A (ja) * 2009-11-18 2011-06-02 Sony Corp 情報処理装置、情報処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010178A (ja) * 2000-06-19 2002-01-11 Sony Corp 画像管理システム及び画像管理方法、並びに、記憶媒体
JP2005091659A (ja) * 2003-09-17 2005-04-07 Casio Comput Co Ltd カメラ装置、カメラ制御プログラム及びカメラシステム
JP2005286379A (ja) * 2004-03-26 2005-10-13 Fuji Photo Film Co Ltd 撮影補助システム及び撮影補助方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAORU MISAKI: "SmartWrite/SmartCalendar Tegaru ni Kakeru Memo to Memo to Shashin o Mitsuzukeru Calendar Kankyo no Teian", INFORMATION PROCESSING SOCIETY OF JAPAN KENKYU HOKOKU, vol. 2005, no. 71, 22 July 2005 (2005-07-22), pages 71 - 76 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012018061A1 (en) 2010-08-03 2012-02-09 Ricoh Company, Ltd. Imaging apparatus and imaging method
EP2601781A1 (en) * 2010-08-03 2013-06-12 Ricoh Company, Limited Imaging apparatus and imaging method
EP2601781A4 (en) * 2010-08-03 2014-08-27 Ricoh Co Ltd IMAGE FORMING APPARATUS AND IMAGE FORMING METHOD
US8982239B2 (en) 2010-08-03 2015-03-17 Ricoh Company, Ltd. Imaging apparatus and imaging method for recording shooting completion information
KR20150099317A (ko) * 2014-02-21 2015-08-31 삼성전자주식회사 이미지 처리 방법 및 장치
KR102327779B1 (ko) * 2014-02-21 2021-11-18 삼성전자주식회사 이미지 처리 방법 및 장치
JP2017526074A (ja) * 2014-08-21 2017-09-07 ホアウェイ・テクノロジーズ・カンパニー・リミテッド メッセージングおよびソーシャル・ネットワーキング・アプリケーションのためのユーザ表情ライブラリを生成するシステムおよび方法
JP2018007018A (ja) * 2016-07-01 2018-01-11 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
CN106878568A (zh) * 2017-04-12 2017-06-20 中山市读书郎电子有限公司 一种手机使用模式的优化切换方案
JP2020188448A (ja) * 2019-05-14 2020-11-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像装置及び撮像方法
JP7463071B2 (ja) 2019-10-07 2024-04-08 キヤノン株式会社 電子機器および電子機器の制御方法

Also Published As

Publication number Publication date
JPWO2010047336A1 (ja) 2012-03-22
US20110199511A1 (en) 2011-08-18

Similar Documents

Publication Publication Date Title
JP5611829B2 (ja) 情報処理装置の動作制御システム及び動作制御方法
WO2010047336A1 (ja) 画像撮影システム及び画像撮影方法
US7734654B2 (en) Method and system for linking digital pictures to electronic documents
US8279173B2 (en) User interface for selecting a photo tag
CN101329678B (zh) 基于元数据搜索和命名条目
WO2019109245A1 (zh) 一种故事相册的显示方法及装置
US20080317346A1 (en) Character and Object Recognition with a Mobile Photographic Device
EP1990744B1 (en) User interface for editing photo tags
CA2630947C (en) User interface for selecting a photo tag
US9449646B2 (en) Methods and systems for media file management
KR101871779B1 (ko) 사진 촬영 및 관리 어플리케이션을 구비한 단말기
EP2711853B1 (en) Methods and systems for media file management
JP2006350550A (ja) アルバムコンテンツ自動作成方法及びシステム
JP5601125B2 (ja) エディタプログラム、エディタ画面表示方法及びエディタプログラムを搭載した情報処理装置
JP2004240579A (ja) 画像サーバおよび画像サーバ制御プログラム
KR20220105958A (ko) 일기장 자동화 시스템 및 일기장 자동 생성 방법
KR20140031436A (ko) 스마트 기기를 이용한 북마크 기반의 도서 콘텐츠 및 메모 관리 서비스 제공 방법
Heid et al. iPhoto'11: The Macintosh iLife Guide to using iPhoto with OS X Lion and iCloud
Anon et al. Aperture? Exposed: The Mac? Photographer's Guide to Taming the Workflow
Bove ILife'11 For Dummies
JP2005352923A (ja) 情報蓄積装置及び情報蓄積方法
JP2009260596A (ja) 画像群再生装置、画像群再生方法、および画像群再生用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09822033

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010534819

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13124954

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09822033

Country of ref document: EP

Kind code of ref document: A1