WO2017002505A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2017002505A1
WO2017002505A1 PCT/JP2016/065999 JP2016065999W WO2017002505A1 WO 2017002505 A1 WO2017002505 A1 WO 2017002505A1 JP 2016065999 W JP2016065999 W JP 2016065999W WO 2017002505 A1 WO2017002505 A1 WO 2017002505A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
information processing
display pattern
display
processing apparatus
Prior art date
Application number
PCT/JP2016/065999
Other languages
English (en)
French (fr)
Inventor
康之 須木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/738,707 priority Critical patent/US20180181281A1/en
Priority to JP2017526225A priority patent/JPWO2017002505A1/ja
Publication of WO2017002505A1 publication Critical patent/WO2017002505A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/006Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Japanese Patent Laid-Open No. 2004-133867 describes that when the association between photo data and position information is not appropriately performed due to a shift or time difference of the internal clock of the camera, the user can easily correct the association.
  • a technique for providing a UI User Interface
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program that can further improve user convenience.
  • a display pattern determination unit that determines a display pattern of a plurality of images, wherein the display pattern determination unit includes a plurality of position information including position information associated with each of the plurality of images.
  • An information processing apparatus is provided that determines a display pattern in which the plurality of images are arranged together with a map including a location corresponding to the position information based on how the images are scattered.
  • the processor includes determining a display pattern of a plurality of images, and including a plurality of pieces of position information including position information associated with each of the plurality of images.
  • An information processing method is provided in which a display pattern in which the plurality of images are arranged together with a map including a location corresponding to the position information is determined.
  • a function of determining a display pattern of a plurality of images is realized in a computer, and a plurality of pieces of position information including position information associated with each of the plurality of images are scattered.
  • a program is provided in which a display pattern in which the plurality of images are arranged together with a map including a place corresponding to the position information is determined.
  • a display pattern for displaying a plurality of images is determined, based on how the positional information associated with the plurality of images (for example, photographs taken with a camera) is scattered.
  • the display pattern in which the plurality of images are arranged together with the map including the location corresponding to the position information is determined.
  • the map may represent a user's movement history at the time of image creation (photographing). Therefore, by displaying the image and the map together, the user (viewer) can not only view the contents of the image but also the situation in which the image was created, for example, the place where the user visited during the trip. It can be grasped at the same time.
  • images can be organized and edited with higher convenience for the user.
  • FIG. 6 is a diagram illustrating an example of an image arrangement in a display pattern A.
  • FIG. 6 is a diagram illustrating an example of an image arrangement in a display pattern B.
  • FIG. 6 is a diagram illustrating an example of an image arrangement in a display pattern C.
  • FIG. 6 is a diagram illustrating an example of an image arrangement in a display pattern D.
  • FIG. It is a figure which shows the example of a display at the time of the scroll of the display pattern B.
  • FIG. It is a figure which shows the example of a display at the time of the scroll of the display pattern B.
  • FIG. It is a figure which shows the example of a display at the time of the scroll of the display pattern B.
  • FIG. It is a figure which shows the example of a display at the time of the scroll of the display pattern B.
  • an information processing terminal is a device which has a touch panel
  • it is a figure which shows the display screen which concerns on UI provided at the time of the setup of a photo delivery service. It is a figure which shows the display screen which concerns on UI provided at the time of the confirmation of the photo album before delivery. It is a figure which shows the display screen which concerns on UI provided with respect to a receiver at the time of browsing a photo album, when an information processing terminal is PC. It is a figure which shows the display screen which concerns on UI provided with respect to a receiver at the time of browsing a photo album, when an information processing terminal is PC.
  • an information processing terminal When an information processing terminal is a device which has a touch panel, it is a figure which shows the display screen which concerns on UI provided with respect to a receiver at the time of browsing a photo album.
  • an information processing terminal When an information processing terminal is a device which has a touch panel, it is a figure which shows the display screen which concerns on UI provided with respect to a receiver at the time of browsing a photo album.
  • an information processing terminal is a device which has a touch panel, it is a figure which shows the display screen which concerns on UI provided with respect to a receiver at the time of browsing a photo album. It is a figure which shows the display screen which concerns on UI provided with respect to a sender when the information regarding a favorite photograph is fed back.
  • FIG. 12 is a diagram showing another display example in display pattern B.
  • FIG. 12 is a diagram showing another display example in display pattern B.
  • FIG. 12 is a diagram showing another display example in display pattern B.
  • FIG. 12 is a diagram showing another display example in display pattern B.
  • FIG. 12 is a diagram showing another display example in display pattern B.
  • FIG. 12 is a diagram showing another display example in display pattern B.
  • FIG. 12 is a diagram showing another display example in display pattern B.
  • FIG. 12 is a diagram showing another display example in display pattern B.
  • FIG. It is a block diagram which shows an example of the hardware constitutions of the information processing apparatus which concerns on this embodiment.
  • FIG. 1 is a functional block diagram illustrating an example of a functional configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 10 includes a control unit 110 and a storage unit 120 as its functions.
  • the control unit 110 includes an image data acquisition unit 111, an image data extraction unit 112, a display pattern determination unit 113, and a display screen generation unit 114 as functions thereof.
  • the information processing apparatus 10 extracts some image data from a plurality of image data based on a predetermined condition, determines a display pattern that is an arrangement pattern of an image related to the extracted image data, and determines the determined display Processing for generating a display screen on which images are arranged according to a pattern is executed.
  • the image data processed by the information processing apparatus 10 is photo data
  • “creating an image (data)” is also expressed as “taking an image (photograph)”.
  • the present embodiment is not limited to such an example, and the type of image data processed by the information processing apparatus 10 may be arbitrary.
  • image data that is, electronic image data
  • image data an image related to the image data.
  • the control unit 110 includes, for example, various processors such as a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and an ASIC (Application Specific Integrated Circuit), and executes predetermined arithmetic processing 10 Control means for controlling the operation.
  • processors such as a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and an ASIC (Application Specific Integrated Circuit)
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the image data acquisition unit 111 acquires electronic data (image data) of a plurality of images possessed by the user.
  • the image data is photo data taken by a user, for example.
  • the image data acquisition unit 111 acquires image data stored in a predetermined storage area (for example, a folder designated in advance) in the information processing apparatus 10 by the user.
  • a predetermined storage area for example, a folder designated in advance
  • the present embodiment is not limited to such an example, and the image data acquisition unit 111 automatically acquires any image data stored in the information processing apparatus 10 by searching the storage area of the information processing apparatus 10. May be.
  • the image data acquisition unit 111 also acquires metadata associated with the image data when acquiring the image data.
  • the metadata includes, for example, position information indicating the place where the image was taken (that is, the place where the image was taken), time information showing the date and time when the image was taken (that is, the date and time when the image was taken), and a photograph.
  • Model information indicating the model of the selected camera may be included. If the relationship between the model information and the camera owner is known in advance, the metadata indicates the person who took the image (that is, the photographer) based on the model information. Photographer information may be included.
  • the metadata may include various types of information that are generally included in the metadata of photo data.
  • the image data acquisition unit 111 provides the acquired image data to the image data extraction unit 112.
  • the image data acquisition unit 111 may store the acquired image data in the storage unit 120, and the image data extraction unit 112 accesses the storage unit 120 to acquire the image data, thereby performing processing described later. May be executed.
  • the image data extraction unit 112 is finally included in the display screen based on a predetermined condition from the plurality of image data acquired by the image data acquisition unit 111 (that is, finally presented to the user). ) Extract image data.
  • a display screen in which image data is collected every predetermined period such as one month is generated.
  • images acquired within a corresponding period are arranged in a predetermined display pattern. Therefore, for example, when a very large amount of image data is acquired in a predetermined period, if all of the image data is arranged on the display screen, the display screen becomes complicated, and the user who views the display screen There is a concern that visibility may be reduced.
  • a predetermined number of image data is extracted by the image data extraction unit 112, and only images related to the extracted image data are displayed.
  • the number of image data extracted by the image data extraction unit 112 may be set as appropriate by the designer or user of the information processing apparatus 10.
  • the number of the image data is considered to be about 30 to 50 from the viewpoint of usability when arranged on one display screen.
  • the image data extraction unit 112 classifies a plurality of image data acquired during a predetermined period for each event, and extracts a predetermined number of image data according to a predetermined priority for each event.
  • a technique for classifying image data for each event for example, a technique for classifying photo data according to a shooting location and a shooting time is known. Since various known methods may be used for event clustering, detailed description thereof is omitted here.
  • event clustering the methods disclosed in Japanese Patent Application Laid-Open Nos. 2008-250605 and 2011-113270, which are prior applications by the present applicant, can be used.
  • the number of image data extractions for each event may be appropriately determined in consideration of the total number of image data extracted by the image data extraction unit 112. For example, in the case where the total number of image data extracted by the image data extraction unit 112 is set to 30, when the image data acquired in a predetermined period as a result of event clustering is classified into three events, The image data extraction unit 112 may equally extract 10 pieces of image data for each event.
  • the image data extraction unit 112 may set the importance level for each event. If there is a difference in the importance level between events, the image data extraction unit 112 sets the image data for each event at a ratio corresponding to the importance level. May be extracted. For example, when it is estimated that the images are taken at a place away from the user's daily life range based on the position information of the image data, the images are usually Since it is considered that the image was taken during an event different from life, the degree of importance can be set high. Alternatively, based on the number of image data for each event, it may be determined that an event to which a larger number of image data belongs has higher importance.
  • the image data extraction unit 112 sets a priority for each image data so that the priority is higher for an image including the person X designated in advance by the user, and the image data is extracted for each event according to the priority. Can be extracted.
  • the priority can be set as shown in Table 1 below, for example.
  • whether or not the person X is included in the image may be performed by various known techniques such as face recognition and person recognition. Whether the image is the face of the person X or the whole image may be determined by various known composition recognition techniques.
  • the image data extraction unit 112 extracts the image data when the composition of the images is similar. These image data may be regarded as the same image data, and only one of them may be extracted. At that time, the image data extraction unit 112 may preferentially select a specific facial expression such as an image in which the person X is more smiling using a face recognition technique or the like.
  • the image data extraction unit 112 provides the extracted image data to the display pattern determination unit 113.
  • the image data extraction unit 112 may store the extracted image data in the storage unit 120, and the display pattern determination unit 113 accesses the storage unit 120 to acquire the image data, thereby executing processing described later. May be.
  • the image data extraction unit 112 classifies a plurality of image data for each event, but the present embodiment is not limited to such an example.
  • the image data extraction unit 112 may classify the image data for each category according to a predetermined standard, and extract a predetermined number of image data for each category, and the category is not limited to an event.
  • the image data extraction unit 112 may classify the image data based on the time information of the image data according to the date and time when the image was taken, for example, every predetermined period such as every week.
  • the image data extraction unit 112 uses the priority based on the person included in the image as the priority as a reference for extracting the image data.
  • the present embodiment is not limited to this example.
  • the image data extraction unit 112 uses the priority based on the time when the image was taken by the user (time when the photo was taken) or the place where the user took the image (place where the photo was taken). Data may be extracted.
  • the image data extraction unit 112 is based on the time information and / or location information of the image data, and the image is taken within a predetermined period appropriately designated by the user, or is taken at a predetermined location. A higher priority may be set for the image, and the image data may be extracted according to the priority.
  • the display pattern determination unit 113 determines a display pattern for displaying an image related to the image data extracted by the image data extraction unit 112 on the display screen.
  • the display pattern indicates a pattern of image arrangement on the display screen. On the display pattern, for example, thumbnails of images can be displayed in a predetermined pattern.
  • templates of a plurality of display patterns are prepared, and the display pattern determination unit 113 determines one display pattern for each event from the templates of the plurality of display patterns. The same display pattern may be determined for each event, or a different display pattern may be determined for each event. A specific example of the display pattern and details of the display pattern determination process will be described later in (2. Example of Display Pattern).
  • the display pattern determination unit 113 provides the display screen generation unit 114 with information about the determined display pattern for each event.
  • the display pattern determination unit 113 may store information about the determined display pattern for each event in the storage unit 120, and the display screen generation unit 114 accesses the storage unit 120 to obtain information about the display pattern.
  • the processing described below may be executed by acquiring the information.
  • the display screen generation unit 114 uses the display pattern for each event determined by the display pattern determination unit 113 to generate a display screen that is finally presented to the user.
  • Information about the display screen generated by the display screen generation unit 114 is transmitted to a display device included in the information processing apparatus 10 itself, an information processing terminal possessed by the user, and the like, and presented to the user.
  • the display screen generation unit 114 may store information about the generated display screen in the storage unit 120.
  • the display device, the information processing terminal, and the like access the storage unit 120 to obtain information about the display screen. You may perform the display process of the said display screen to self by acquiring information.
  • FIG. 2 is a diagram illustrating a configuration of a display screen according to the present embodiment.
  • one display screen is generated in correspondence with a predetermined period from which image data is extracted by the image data extraction unit 112.
  • FIG. 2 as an example, a configuration example of a display screen when the predetermined period is one month is shown.
  • the display screen includes a cover image area 501 in which a cover image is displayed, a first area 503 in which an image is arranged in a first display pattern (pattern C in the illustrated example), A second area 505 in which an image is arranged in two display patterns (pattern A in the example shown), and a third area 507 in which an image is arranged in a third display pattern (pattern B in the example shown) Are arranged in this order.
  • the first display pattern, the second display pattern, and the third display pattern are the first event, the second event, and the third event that occur during the target period (that is, one month). It corresponds to each.
  • these display patterns are arranged from top to bottom in the order in which events occur, that is, in time series order. That is, it can be said that the display screen as a whole is an image obtained during one month arranged for each event and in chronological order.
  • a display indicating the title of the display screen for example, a display indicating the period corresponding to the display screen (such as “August 2014”) is made.
  • the entire display screen shown in FIG. 2 may not be presented at one time.
  • the vertical direction of the display screen is displayed in the display area of the information processing terminal held by the user. Only a partial area is displayed, and the user can view the display screen while scrolling the display in the vertical direction. By browsing the display screen in order from the top, the user can visually recognize events that occurred within that period in time series.
  • the display screen is configured by three display areas 503, 505, and 507 according to three types of display patterns according to the three events.
  • the present embodiment is not limited to such an example.
  • the display screen may not necessarily be configured by a plurality of types of display patterns, and the display screen may be configured by a single type of display pattern.
  • the user may be able to edit the display screen automatically generated by the display screen generation unit 114 as appropriate.
  • the user can replace an image included in the display screen or change the size of the image.
  • the storage unit 120 is configured by various storage devices such as a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device, and is a storage unit that stores various types of information. .
  • a magnetic storage device such as an HDD (Hard Disk Drive)
  • a semiconductor storage device such as an SSD
  • an optical storage device such as an optical disk drive
  • a magneto-optical storage device such as a magnetic storage device
  • Various types of information processed by the control unit 110, results processed by the control unit 110, and the like can be stored in the storage unit 120.
  • the storage unit 120 may include image data acquired by the image data acquisition unit 111, image data extracted by the image data extraction unit 112, information about the display pattern determined by the display pattern determination unit 113, and / or display. Information about the display screen generated by the screen generation unit 114 is stored. Further, for example, the storage unit 120 stores information on the criteria for classification of image data, the criteria for extraction of image data, and the like used when the image data extraction unit 112 extracts image data. Further, for example, the storage unit 120 stores information about a display pattern template and a reference for determining a display pattern, which is used when the display pattern determining unit 113 determines a display pattern.
  • the information processing apparatus 10 only needs to be configured to realize the functions described above, and the specific hardware configuration is not limited.
  • the information processing apparatus 10 may be a desktop PC (Personal Computer), a tablet PC, a smartphone, a wearable device (for example, a spectacle-type terminal, a head mounted display (HMD), or the like).
  • the information processing apparatus 10 may be a server that is installed on a network (so-called cloud) and specialized for arithmetic processing.
  • each function shown in FIG. 1 does not necessarily have to be executed by one device, and may be executed by cooperation of a plurality of devices.
  • the information processing apparatus illustrated in FIG. 1 is configured such that one apparatus having a part of the functions of the information processing apparatus 10 illustrated in FIG. 1 is communicably connected to another apparatus having another function. 10 may be realized.
  • a computer program for realizing each function of the information processing apparatus 10 shown in FIG. 1, particularly the control unit 110, and to mount the computer program on a processing apparatus such as a PC.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the display pattern determination unit 113 described above can determine one display pattern from the following display patterns A to D according to a predetermined condition.
  • four display patterns display pattern A to display pattern D
  • the present embodiment is not limited to this example, and other various display patterns may be used.
  • FIG. 3 is a diagram illustrating an arrangement example of images in the display pattern A. Note that FIG. 3 showing each display pattern and FIGS. 4 to 6 to be described later also show specific examples of the cover image shown in FIG.
  • the cover image includes, for example, a representative image that symbolizes a period during which image data is extracted, and a title that indicates the period.
  • the characters “2014 August” are displayed together with the image representing the event that occurred in that month.
  • the images are grouped for each day when a plurality of images are taken and arranged so as to be laid out in a tile shape.
  • Each image arranged may be an image itself related to image data, or may be an edited image (for example, an image trimmed in a range including at least a predetermined person). Or the thumbnail of the image which concerns on image data, or the thing which the said thumbnail was edited may be sufficient.
  • the image groups are arranged in chronological order from top to bottom.
  • the displayed image is the image itself related to the image data, the edited image, the thumbnail of the image, and the thumbnail. May have been edited.
  • the display size of each image in the display patterns A to D may be appropriately determined according to the priority at the time of image data extraction described above, for example, so that an image with a higher priority is displayed larger.
  • FIG. 3 in order to explain the display pattern A, the entire display that can be displayed to the user is shown for convenience, but the area (actually presented to the user at one time ( That is, the area displayed at once on the display device being observed by the user may be a part thereof.
  • a region presented to the user at a time is surrounded by a broken line.
  • 4 to 6 also illustrate the entire display that can be displayed to the user for the sake of convenience for the image groups arranged in other display patterns (display pattern B to display pattern D).
  • a region that is actually presented to the user at one time is surrounded by a broken line.
  • the display pattern A can be suitably used when, for example, the number of extracted images is larger than a predetermined threshold value.
  • display pattern A since a relatively large number of images are presented to the user, the user can see more images and can know the details of the event in more detail.
  • FIG. 4 is a diagram illustrating an image arrangement example in the display pattern B. As illustrated in FIG. Since the cover image is the same as that shown in FIG. 3, detailed description thereof is omitted.
  • a plurality of images are arranged together with a surrounding map including the shooting location of the images.
  • these images can be displayed in association with the place where the image is taken on the map.
  • the relationship between the shooting location on the map and the image shot at the shooting location is expressed by connecting both with a line.
  • the date when the image group was shot is displayed. Further, in the vicinity of each image, the time when the image was taken is also displayed. In addition, the image groups are arranged in chronological order from top to bottom.
  • the display pattern B can be suitably used when, for example, an image is taken at a place where the user does not usually go (for example, when a photograph is taken at a travel destination).
  • the display pattern B since the movement history and the photograph taken during the movement are displayed in association with each other, the display pattern B is considered to be suitable for an event with an emphasis on “movement”. It is. For example, by using the display pattern B, it is possible to grasp a change in scenery during movement in association with the shooting location.
  • the display pattern determination unit 113 determines how the position information of the image data is scattered (for example, variance, distribution, standard deviation, difference between the average value and the farthest value, most east (north) and most west (south)). It is possible to determine whether or not to adopt the display pattern B on the basis of (a set value evaluation such as a difference value between the values). For example, when the location information is scattered (a large variance), it is considered that the user is taking an image while moving a long distance, and therefore the display pattern B is preferably used. Can be done.
  • information about the user's action history may be input to the information processing apparatus 10 together with the image data, and the display pattern determination unit 113 determines the shooting location of the image based on the action history.
  • the display pattern B can be adopted when the user is distant from the presumed behavior range of daily life by a predetermined threshold or more (a predetermined distance or more).
  • the information about the action history may be acquired based on the position information and time information of the image data, or may be acquired based on an action log acquired by a wearable device possessed by the user, for example.
  • an image is displayed in association with the shooting location, so that the user can view the image together with information about the location, such as a travel destination, and the situation when the image was shot is displayed. Deeper recognition.
  • the above-mentioned predetermined threshold value that is a criterion for whether or not to adopt the display pattern B may be set as appropriate based on the user's behavior history.
  • the threshold value may be set according to the frequency obtained based on the action history and the frequency at which the user has taken an image within a predetermined period. For example, even in a park near the user's home or the like, if the frequency that the user has visited the park is low, the display pattern B may be adopted for an image taken in the park. And if the frequency that the user went to the park increased, going to the park may be part of daily life for the user, so the display pattern B is adopted Instead, other display patterns may be employed.
  • the frequency of visiting each location above may be reset at a predetermined timing.
  • the predetermined period for obtaining the frequency may be a predetermined period retroactive from the current time point, and may be updated as needed. Therefore, for example, when a place visited frequently at a certain time in the past and once it was excluded from the target of the display pattern B, after a predetermined interval such as 1 year The display pattern B may be applied to an image taken again at the place.
  • the display patterns A, C, and D a part of the display shown in FIGS. 3, 5, and 6 in the vertical direction is continuously changed according to the user's scroll operation. It can be presented to the user.
  • the display according to the display pattern B shown in FIG. 4 is merely for convenience.
  • the display pattern B the display that can be actually presented to the user when the scroll operation is performed is shown in FIG. A part of the display is not extracted as it is. That is, in the display pattern B, a display change different from other display patterns occurs during the scroll operation.
  • a display example at the time of the scroll operation in the display pattern B will be described in detail later with reference to FIGS. 7A to 7I.
  • FIG. 5 is a diagram illustrating an arrangement example of images in the display pattern C. As illustrated in FIG. Since the cover image is the same as that shown in FIG. 3, detailed description thereof is omitted.
  • display pattern C for each day, some of the images photographed on that day are collected and arranged.
  • the number of images per day is, for example, about 4-5.
  • Each image can be displayed so as to occupy a relatively large area compared to the display pattern A.
  • the image groups are arranged in chronological order from top to bottom.
  • the display pattern C is similar to the display pattern A in that the images are arranged and arranged for each day, but the number of images to be displayed is smaller than the display pattern A.
  • the display pattern C can be suitably employed when, for example, the number of extracted image data is smaller than a predetermined threshold value. In the display pattern C, even when the number of extracted image data is small, it is possible to provide a display that informs the user of the outline of the event.
  • the display pattern C has a caption (for example, “XX ’s birthday”) indicating the contents of the event that occurred on that day, as shown in the figure. ”,“ I went to ZZ on YY day ”, etc.) may be displayed.
  • the caption may be input by a user who saved the image data in the information processing apparatus 10, or based on the result of analyzing the image data, position information of the image data, time information of the image data, and the like.
  • the information processing apparatus 10 may automatically generate the information.
  • FIG. 6 is a diagram illustrating an arrangement example of images in the display pattern D. As illustrated in FIG. Since the cover image is the same as that shown in FIG. 3, detailed description thereof is omitted.
  • each image can be displayed so as to occupy a relatively large area compared to the display pattern A.
  • the image groups are arranged in chronological order from top to bottom.
  • the image groups are arranged in chronological order from top to bottom.
  • the margin between the images occupies a relatively large area compared to the display pattern A and the display pattern C. Similar to the display pattern C, in the margin, a caption indicating the content of the event that occurred on the day is displayed for each day. Since the margin is large, the number of captions displayed is larger than that of the display pattern C. Similar to the display pattern C, the caption may be input by the user, or may be automatically generated by the information processing apparatus 10.
  • the display pattern D can be suitably used, for example, when the number of extracted images is extremely small, or when event clustering is not performed during image extraction.
  • captions are attached to about 1 to 3 images, so even if the number of extracted images is extremely small or no classification by event is performed, the user can It is possible to recognize the situation in which those images are captured by the caption.
  • captions are automatically generated by the information processing apparatus 10
  • various known natural language processing analyzes such as syntax analysis are performed on the generated captions, and the contents of the captions indicate the situation.
  • the display pattern D may be adopted when it is determined that it is meaningful to the user for grasping.
  • the display pattern D is a display pattern that can provide more useful information to the user by using the caption more actively and presenting the caption and the image in a balanced combination to the user. It can be said that.
  • any one of the display patterns A to D described above is selected for each event, and by combining these display patterns, a plurality of images according to each display pattern are continuously displayed.
  • the Rukoto Here, in a general page-separated photo book or slide show, the contents simply appear sequentially following the user's scrolling operation.
  • an image can be displayed as a group for each event.
  • an arrangement and appearance in accordance with the metadata of the image are realized. In this way, the expression according to the meaning of the image is made, so that a story of a series of image groups can be conveyed to the viewing user.
  • one display pattern is determined for one event, but the present embodiment is not limited to this example.
  • the display pattern B is applied to a photograph taken during the movement in order to represent the state during the movement.
  • Any one of the display patterns A to D may be applied to the photograph taken at the destination in order to represent the state of the destination (to be described later (5-2. Image Extraction Processing and Display Pattern). See also Decision Processing Criteria)).
  • FIGS. 7A to 7I are diagrams showing display examples when the display pattern B is scrolled. 7A to 7I, the display transition at the time of scrolling in the display pattern B shown in FIG. 4 is illustrated in order along the time series.
  • the photographer is taking a picture while moving between multiple countries.
  • the initial display in the display pattern B until the image group captured in the first country is displayed, in the second country from the display of the image group captured in the first country.
  • a state of display transition until switching to the display of the photographed image group will be described.
  • FIG. 7A shows a state in which a scroll operation is performed by a predetermined amount of movement, and all images associated with the first map are displayed with a predetermined size.
  • each image is displayed on the map of the second country while being gradually enlarged in the order of time when the images were taken, as in FIGS. 7B to 7F. It will follow (FIG. 7I).
  • the display example when the display pattern B is scrolled has been described above with reference to FIGS. 7A to 7I.
  • the display transition is performed in the reverse direction. May transition (i.e., the display may transition so that each image disappears while gradually becoming smaller).
  • thumbnails of images, edited images (trimmed only part of images), and the like can be displayed.
  • the image is displayed in full size. Can be displayed.
  • FIG. 8 is a diagram showing an example of display transition when an image is selected by the user. As shown in FIG. 8, when an image is selected by the user, the selected image is enlarged and the trimmed portion is restored, and the entire image of the image is visually recognized by the user. It can be displayed over the entire display area. In this way, the user can observe the entire image of the image by appropriately selecting the image of interest from the images displayed according to any one of the display patterns A to D. .
  • FIG. 9 is a flowchart illustrating an example of a processing procedure of the information processing method according to the present embodiment. Note that the processing in each step shown in FIG. 9 corresponds to the processing executed in the information processing apparatus 10 shown in FIG. Since details of the processing executed in the information processing apparatus 10 have already been described with reference to FIG. 1, in the following description of the information processing method according to the present embodiment, only an overview of the processing in each step will be described. The details of each process will be omitted.
  • step S101 image data is acquired (step S101).
  • the processing in step S101 corresponds to the processing executed by the image data acquisition unit 111 shown in FIG.
  • image data to be included in the display screen is extracted from the acquired image data (step S103).
  • the image data is classified by event clustering, and a predetermined number of image data is extracted according to a predetermined priority for each event.
  • the processing in step S103 corresponds to the processing executed by the image data extraction unit 112 shown in FIG.
  • step S105 it is determined whether or not event clustering is being performed at the time of image data extraction in step S103. If event clustering has not been executed, the display pattern D is determined as the display pattern (step S107). Note that, as described in (2. Examples of display pattern), the determination criterion for using the display pattern D is not limited to whether or not event clustering has been executed, and the contents of automatically generated captions, It may be the number of extracted images.
  • step S109 it is determined whether or not the degree of variance of the position information of the extracted image data is greater than or equal to a predetermined threshold value.
  • the variance of the position information is greater than or equal to a predetermined threshold value, the extracted images are considered to have been taken at locations far away from each other.
  • step S113 it is determined whether the number of extracted image data is greater than or equal to a predetermined threshold value.
  • the threshold value is “10”, for example.
  • the present embodiment is not limited to such an example, and the threshold value is appropriately determined by a designer or a user of the information processing apparatus 10 in consideration of a specific image arrangement in the display pattern A and the display pattern C. May be set.
  • step S115 If the number of extracted image data is greater than or equal to a predetermined threshold, display pattern A is determined as the display pattern (step S115). If the number of extracted image data is less than the predetermined threshold value, the display pattern C is determined as the display pattern (step S117).
  • step S105 If event clustering is performed in step S105 and image data is extracted for each event, the processing in steps S109 to S117 is performed for each event, and the display pattern is determined for each event.
  • step S119 a display screen is generated using the determined display pattern. Specifically, in step S119, a display in which an image group is continuously arranged according to each display pattern by arranging regions in which images are arranged according to each determined display pattern from top to bottom according to time series. A screen is generated.
  • the display screen may be configured by an image group arranged according to only one type of display pattern. Note that the processing in step S119 corresponds to the processing executed by the display screen generation unit 114 shown in FIG.
  • the information processing apparatus 10 automatically organizes and edits images (photos and the like) saved by one user, and distributes the edited image collection (album for photos) to other users.
  • the image data is photo data.
  • a system configuration and a UI provided to a user when using the photo delivery service when the information processing apparatus 10 is applied to the photo delivery service will be specifically described.
  • FIG. 10 is a diagram illustrating an overview of a photo delivery service to which the information processing apparatus 10 according to the present embodiment can be applied.
  • FIG. 11 is a block diagram illustrating a functional configuration of a system when the information processing apparatus 10 according to the present embodiment is applied to a photo delivery service.
  • the photo delivery service in the photo delivery service, one user takes a picture with a smartphone, a digital camera, etc., and stores it in a server on a network, for example.
  • the server corresponds to the information processing device 10 described above, and appropriately edits stored photos, for example, a photo album in which the photos are collected every month (the display generated by the display screen generation unit 114 described above). Corresponding to the screen).
  • the server distributes the generated photo album (that is, information about the display screen) to other users.
  • the other user can browse the photo album using, for example, a PC, a smartphone, a tablet, a television device having a network connection function, or the like.
  • a photo album in which a photograph taken by one user is edited is periodically distributed to other users.
  • a user who takes a picture and saves it on a server is also called a sender, and a user to whom a photo album is distributed is called a receiver.
  • the photo delivery service may be provided with a function of notifying the sender of a favorite photo selected by the receiver from the browsed photos.
  • the sender can know the reaction of the recipient who viewed the photo album, so the sender can react to the recipient when taking a photo to generate the photo album for the next delivery. You can take a photo with reference.
  • information about the favorite photo selected by the receiver may be reflected when the photo album to be distributed next time is generated. For example, when a photo album to be distributed next time is generated, a photo including a person included in a favorite photo may be preferentially extracted.
  • the photo delivery service is used by families living in distant places. For example, when the grandparents and their children and grandchildren live apart from each other, their children, who are the senders, photographed their own children in their daily lives (ie, grandchildren as seen from the grandparents). And photos that represent the lives of their families are stored on the server. The recipient's grandparents can check the status of children and grandchildren living apart from each other by browsing regularly distributed photo albums.
  • a notification indicating the content can be sent to the child couple.
  • the child couple who has received the notification can take measures such as taking more grandchild photos in the future shooting so that the photo album at the next distribution includes more grandchild photos. Thereby, the grandparents can view more grandchild photos in the next photo album.
  • the system 1 includes an information processing apparatus 10a, a sender-side information processing terminal 20, and a receiver-side information processing terminal 30.
  • the information processing terminals 20 and 30 are, for example, a desktop PC, a tablet PC, a smartphone, a wearable device, or the like.
  • the types of the information processing terminals 20 and 30 are not limited to this example, and the information processing terminals 20 and 30 may have at least a connection function with a network and a display function for displaying a photo. Any type of device may be used. That is, although not shown, the information processing terminals 20 and 30 include a communication unit for exchanging various types of information with the information processing apparatus 10a, a display unit for visually displaying various types of information, and the display unit. Functions as a display control unit or the like for controlling the operation. Since these functions may be the same as those provided in a general existing information processing terminal, detailed description thereof is omitted here.
  • the sender stores (transmits) the photo data in the information processing apparatus 10a via the information processing terminal 20.
  • the information processing terminal 20 itself may have a camera, and the sender may transmit the photograph taken by the information processing terminal 20 to the information processing apparatus 10 as it is.
  • the sender can browse the photo album generated by the information processing apparatus 10a via the information processing terminal 20. At this time, for the photo album before distribution, the sender may be able to edit the photo album via the information processing terminal 20, for example, by replacing the photo.
  • the recipient views the photo album that is periodically distributed via the information processing terminal 30. Further, the receiver can select a favorite photo from the photo album via the information processing terminal 30, and can feed back (FB) the result to the information processing apparatus 10a.
  • FB feed back
  • the selection of a favorite photo is provided, for example, with a function of selecting a favorite photo in a photo album, and may be explicitly performed by a sender. In this case, it may be possible to select the degree of favorite quantitatively, for example, by evaluating a photograph in five stages.
  • the selection of a favorite photo may be automatically detected according to the behavior of the recipient who is browsing the photo album. For example, whether or not a photo has been selected while browsing a photo album (that is, whether or not a photo has been browsed in full size), and scrolling of the photo album is stopped and the display area of the information processing terminal 30 is displayed.
  • the information processing terminal 30 can automatically select a favorite photo depending on whether or not a photo is displayed for a predetermined time or more.
  • the information processing terminal 30 may be provided with a function of detecting the line of sight of the receiver.
  • the information processing terminal 30 automatically selects a photo in which the line of sight of the receiver in the photo album is concentrated for a predetermined time as a favorite photo. You may choose.
  • the favorite photo is selected based on the number of times the photo is selected, the time when the photo is displayed, the time when the line of sight is directed toward the photo, and the like. The degree may be evaluated quantitatively.
  • the information processing apparatus 10a corresponds to the information processing apparatus 10 described with reference to FIG.
  • the information processing apparatus 10a receives photo data from the information processing terminal 20 on the sender side, and generates a photo album. Then, the information processing apparatus 10a distributes the generated photo album to the information processing terminal 30 on the receiving side. Further, the information processing apparatus 10a can receive the FB result of the favorite photograph from the information processing terminal 30 on the receiver side and notify the information processing terminal 20 on the sender side of the FB result.
  • the information processing apparatus 10a corresponds to the information processing apparatus 10 described with reference to FIG. 1 in which a function of an FB acquisition unit 115 described later is added. Therefore, in the following description of the functional configuration of the information processing apparatus 10a, detailed description of the functions already described will be omitted, and items different from the information processing apparatus 10 described above will be mainly described.
  • the information processing apparatus 10a includes a control unit 110a and a storage unit 120 as its functions.
  • the control unit 110a includes an image data acquisition unit 111, an image data extraction unit 112, a display pattern determination unit 113, a display screen generation unit 114, and an FB acquisition unit 115 as its functions.
  • the functions of the storage unit 120, the image data acquisition unit 111, the image data extraction unit 112, the display pattern determination unit 113, and the display screen generation unit 114 are substantially the same as those functions in the information processing apparatus 10.
  • the image data acquisition unit 111 receives photo data from the information processing terminal 20, and the display screen generation unit 114 provides information about the display screen generated for the information processing terminal 30 (that is, a photo album). Information about).
  • the display pattern determination unit 113 and the display screen generation unit 114 generate a photo album for notifying the sender of information about a favorite photo described later.
  • the FB acquisition unit 115 acquires information about a favorite photo selected from the photo album from the information processing terminal 30. Detection of a favorite photograph can be appropriately executed by the information processing terminal 30 according to the above-described procedure.
  • the FB acquisition unit 115 provides information about the favorite photograph to the image data extraction unit 112, the display pattern determination unit 113, and the display screen generation unit 114.
  • the image data extraction unit 112 can change a criterion for extracting photo data for generating a photo album to be distributed next time based on information about favorite photos. For example, the image data extraction unit 112 changes the criterion for extracting the photo data so that more photo data that includes a person included in the favorite photo is extracted.
  • the display pattern determination unit 113 and the display screen generation unit 114 may modify the distributed photo album based on the information about the favorite photo, and newly generate a photo album for notification to the sender. it can.
  • the display pattern determination unit 113 and the display screen generation unit 114 highlight the favorite photo selected by the receiver in the photo album.
  • the highlighting may be, for example, displaying a favorite photo larger than other photos or adding a frame to the favorite photo.
  • the FB acquisition unit 115 transmits information about the favorite photograph to the information processing terminal 20 on the sender side.
  • the FB acquisition unit 115 distributes the notification photo album generated by the display pattern determination unit 113 and the display screen generation unit 114 to the information processing terminal 20.
  • the sender who has browsed the notification photo album can easily check the photograph that the receiver likes by checking the highlighted photograph, for example.
  • FIGS. 12 to 24 show display screens related to the UI provided to the sender, that is, display screens that can be displayed on the information processing terminal 20.
  • 19 to 23 show display screens related to the UI provided to the receiver, that is, display screens that can be displayed on the information processing terminal 30.
  • the display screens related to these various UIs are generated by the information processing apparatus 10a and transmitted to the information processing terminals 20 and 30, so that they are displayed to the user via the display units of the information processing terminals 20 and 30. obtain.
  • FIG. 12 to FIG. 16 are diagrams showing display screens related to the UI provided to the sender at the time of setting up the photo delivery service.
  • a display example when the information processing terminal 20 is a PC is illustrated.
  • the sender performs various operations by selecting a GUI (Graphical User Interface) component in the display area using a mouse, for example, with a pointer or the like.
  • a UI may be provided.
  • the photograph data already collected by the sender is stored in the information processing apparatus 10a as needed.
  • a screen showing an outline of the photo delivery service is displayed to the sender.
  • the sender clicks on the icon indicating “start” the screen transitions to a screen for inputting various information related to distribution as shown in FIG.
  • the sender can input information such as a name (family name) indicating a distribution source, an e-mail address of a distribution destination, a distribution date, and the like via the display screen.
  • the screen changes to a screen for selecting persons to be included in the photo album as shown in FIG.
  • a representative photograph showing the person's face is displayed, and an input field for inputting the person's name is displayed.
  • the face photograph is extracted from the stored photograph by the information processing apparatus 10a by face recognition processing and person recognition processing.
  • the sender inputs an appropriate name according to the photo and associates the face with the name.
  • the screen transitions to a screen for performing a more detailed association between the face and the name as shown in FIG.
  • the information processing apparatus 10a determines that the photograph represents the person.
  • a plurality of candidate face photos can be displayed.
  • the sender selects a photo representing the corresponding person from these photos. Since the face recognition process and the person recognition process performed by the information processing apparatus 10a are not necessarily performed with high accuracy, the photographic data includes the designated person after such detailed association is performed. In the process of extracting, the accuracy of the process can be improved.
  • the screen changes to a screen for selecting a person to be included in the photo album as shown in FIG.
  • the sender can select a person to be extracted mainly when extracting photo data to be included in the photo album, and a person related to the person to be extracted.
  • the image data extraction unit 112 of the information processing apparatus 10a sets a priority, and extracts photo data according to the priority. Thereafter, the display pattern determination unit 113 and the display screen generation unit 114 execute the above-described processing, and a photo album is generated.
  • the information processing terminal 20 may not be a PC, and may be a device having a touch panel such as a smartphone.
  • the UI assumes that various operations are performed by the sender selecting a GUI component in the display area using an operation tool such as a finger. Can be provided.
  • FIG. 17 is a diagram illustrating a display screen related to a UI provided when setting up a photo delivery service when the information processing terminal 20 is a device having a touch panel.
  • the display in case the information processing terminal 20 is a smart phone is shown as an example.
  • the display screen shown in FIG. 17 is displayed when the information processing terminal 20 shown in FIGS. 12 to 16 is a PC, except that the selection operation by the user is changed from the click operation by the mouse to the tap operation by the finger. It is almost the same as the screen.
  • a screen for explaining the outline of the photo delivery service (corresponding to the display screen shown in FIG. 12) is displayed ((a)).
  • a screen for inputting various information related to distribution (corresponding to the display screen shown in FIG. 13) is displayed ((c)).
  • a sign-in for associating the sender with the photo delivery service is provided.
  • a screen for (1) may be displayed.
  • the screen transitions to a screen for selecting persons to be included in the photo album (corresponding to the display screen shown in FIG. 16) ((d)).
  • a screen for associating a face photograph with a name as shown in FIGS. 14 and 15 may be displayed as appropriate.
  • FIG. 18 is a diagram showing a display screen related to the UI provided when the photo album before distribution is confirmed.
  • the information processing terminal 20 is a device having a touch panel (specifically, a smartphone) is illustrated.
  • the information processing terminal 20 is a PC, sending is performed.
  • a similar screen may be displayed only by a different manual operation method.
  • information indicating that a photo album has been generated and information indicating the number of days until distribution of the photo album are notified to the information processing terminal 20 ((a)).
  • the timing at which the notification is made may be appropriately set by the sender, for example, one week before the delivery date or the previous day.
  • the sender can access a screen displaying a list of titles of photo albums generated every month in order to sign in to the photo delivery service and confirm the generated photo album ((b) ).
  • the photo album shown in “2014 August” at the top of the list is before distribution, and the number of days until the distribution date is displayed on the list.
  • the sender scrolls the list and selects the title of the photo album whose contents are to be confirmed from the list, the contents of the corresponding photo album can be displayed.
  • the sender can edit the photo album as appropriate. For example, by selecting a photo included in the photo album, an icon 509 for editing the photo is displayed ((d)). For example, as shown in the figure, icons 509 indicating trimming, deletion, change of brightness, rotation, and the like may be displayed at four corners of the selected rectangular photograph. By appropriately selecting these icons 509, the sender can delete the photo and include another photo instead, or perform various editing processes on the photo (for example, change the trimming range or change the brightness) , Rotation, etc.). Note that the type of icon (that is, the type of editing process for a photo) is not limited to this example, and various types of processing generally performed when editing a photo may be executed.
  • the photo album reflecting the edited content is stored in the information processing apparatus 10a as the latest photo album. Then, the latest photo album is distributed to the receiver on the set distribution date.
  • FIGS. 19 and 20 are diagrams showing display screens related to a UI provided to a receiver when browsing a photo album.
  • a display example when the information processing terminal 30 is a PC is illustrated.
  • a UI can be provided assuming that various operations are performed by the recipient selecting, for example, a GUI component in the display area using a mouse or the like using a pointer or the like.
  • an electronic mail indicating that the photo album has been distributed is transmitted from the information processing apparatus 10a to the information processing terminal 30 on the receiver side.
  • a link is affixed to the body of the e-mail, and when the recipient selects the link, a browser for browsing the photo album is launched.
  • FIG. 19 shows a state in which the browser is launched and the photo album is displayed on the display screen of the information processing terminal 30.
  • the receiver can view and confirm the contents of the photo album while scrolling the display in the vertical direction.
  • the recipient selects one of the photos in the photo album, the selected photo is enlarged and displayed in full size, as shown in FIG.
  • the information processing terminal 30 may not be a PC, and may be a device having a touch panel such as a tablet PC.
  • a UI that assumes that the receiver performs various operations by selecting a GUI component in the display area using an operating tool such as a finger, for example. Can be provided.
  • FIGS. 21 to 23 are diagrams illustrating display screens related to a UI provided to a receiver when browsing a photo album when the information processing terminal 30 is a device having a touch panel.
  • FIGS. 21 to 23 show displays when the information processing terminal 30 is a tablet PC as an example.
  • the display screens shown in FIGS. 21 to 23 are the same as those shown in FIGS. 19 and 20, except that the operation by the user is changed from the operation by the mouse to the operation through the touch panel by the finger or the like. Is substantially the same as the display screen.
  • a browser for browsing the photo album is launched.
  • a screen for browsing the photo album is displayed on the information processing terminal 30, first, as shown in FIG. A screen showing a list of titles of the photo albums generated for each may be displayed.
  • the recipient scrolls the list and selects the title of the photo album whose contents are to be confirmed from the list, the contents of the corresponding photo album can be displayed.
  • a photo album of August 2014 (corresponding to the display screen shown in FIG. 19) is displayed.
  • the receiver can view and confirm the contents of the photo album while scrolling the display in the vertical direction.
  • the recipient selects one of the photos in the photo album, the selected photo is enlarged and displayed in full size (corresponding to the display screen shown in FIG. 20). To do).
  • FIG. 24 is a diagram illustrating a display screen related to a UI provided to a sender when information about a favorite photograph is fed back.
  • the display is shown when the information processing terminal 20 is a smartphone.
  • the information processing terminal 20 is a PC, the same applies except that the operation method by the sender is different. May be displayed.
  • the receiver browses the photo album, for example, as shown in FIG. 24, information that the receiver has viewed the photo album is notified to the information processing terminal 20 on the sender side ((a)).
  • a browser for browsing the photo album is launched, and a screen displaying a list of titles of photo albums generated every month, for example, is displayed ((b)).
  • the sender can scroll the list and select a photo album to be browsed from the list.
  • the photo album of August 2014 is displayed ((c)).
  • the sender can browse the photo album while scrolling.
  • the recipient's favorite photo is highlighted.
  • a favorite photo is displayed larger than other photos, and is displayed with a frame (enclosed by a thick line).
  • the sender who browsed the photo album can check the favorite photograph by referring to the highlighting. In this way, when there is some FB from the receiver who viewed the photo album, the sender also browses the photo album in the same way, and what kind of reaction has occurred to which photo, the action of the receiver It can be confirmed to relive.
  • FIGS. 25 to 30 are diagrams showing other display examples in the display pattern B.
  • the display pattern B is not limited to such an example.
  • the image may be directly displayed at a position corresponding to the shooting location on the map.
  • the user viewing the display screen more intuitively associates the shooting location with the image than in the case where the connection is indicated by a line as shown in FIG. I can grasp it.
  • the travel route of the photographer may be displayed together on the map.
  • the movement path may be created, for example, by the information processing apparatuses 10 and 10a connecting the position information of the image data in order of shooting time, or the position information of the wearable device possessed by the user or the device that shot the photo itself. May be created based on the history of the position information.
  • the movement path of the photographer may be displayed together on the map. By displaying the movement route together, the user viewing the display pattern can recognize the movement trajectory of the photographer together with each image.
  • the latest image that is, the image taken at the latest time among the displayed images
  • the background map may be moved and displayed so as to be positioned approximately at the center in the display area.
  • the display is sequentially switched by the scroll operation in the vertical direction, but unlike the other display patterns, the display is simply moved in the vertical direction. Therefore, the scroll operation direction and the display change direction are not necessarily linked. Therefore, some users may feel uncomfortable with the operation. Therefore, in the display pattern B, the display may be controlled so that the image moves in conjunction with the scroll operation. Thereby, the user can also visually obtain the feeling of performing the scroll operation, and the operability of the user can be improved.
  • FIG. 28 shows a display example when the image moves in conjunction with such a scroll operation.
  • the image swings downward to resist the direction of the scroll operation as if inertial force is acting.
  • a state of slight movement is illustrated.
  • the method of displaying the movement of the image is not limited to such an example, and the movement of the image may be expressed in any way as long as the user can feel that the scroll operation is being performed.
  • an indicator indicating which position in the entire display pattern corresponds to the currently viewed portion in the display pattern 511 may be displayed.
  • the indicator 511 is configured so that a plurality of circles are displayed vertically arranged and a circle corresponding to the currently viewed portion is displayed larger than the other circles. .
  • the number of circles in the indicator 511 may correspond to the number of images arranged on the display pattern.
  • the circle corresponding to each image may be enlarged in conjunction with the enlargement of each image.
  • the circles corresponding to the images can be arranged from top to bottom in correspondence with the order in which the images are enlarged and displayed, that is, in chronological order. That is, as the images are sequentially enlarged and displayed, the position of the circle enlarged and displayed on the indicator 511 moves from top to bottom.
  • FIG. 30 shows another display example of the indicator 511.
  • the indicator 511 is displayed with, for example, a plurality of circles arranged in the vertical direction, and other circles scroll in the display as if the droplets moved. It may be configured to move and display in the vertical direction in conjunction with the operation ((a)).
  • the indicator 511 displays a plurality of circles arranged in the vertical direction and connected to each other by a straight line, and a circle corresponding to the currently viewed portion is displayed larger than the other circles. (B)).
  • any display that is generally used as an indicator in scroll display may be applied to the indicator 511.
  • the scroll operation direction and the display change direction are not necessarily linked, and therefore it is difficult for the user to determine the end point of the scroll display (the bottom end of the display pattern). Can also occur.
  • the indicator 511 described above such a problem that the end point is difficult to understand can be solved.
  • a UI that notifies the user of the end point of the scroll display may be provided together with or instead of the indicator 511.
  • the UI for example, when the scroll display reaches the end point, the lower end is lit and displayed, and when the scroll display reaches the end point, the entire display is moved (so-called bounce back).
  • Various UIs used for the scroll display to notify the end point may be used.
  • the reference when the image data extraction unit 112 extracts image data and the reference when the display pattern determination unit 113 determines the display pattern are not limited to those described in the above embodiment.
  • the image data extraction unit 112 and the display pattern determination unit 113 comprehensively consider the user's behavior history, the history of image data acquired in the past, the FB result by the receiver, and the like to extract the image and display pattern to be extracted. Can be determined.
  • the information processing apparatuses 10 and 10a based on the user's behavior history and / or image data history, where the user usually acquires many images, the frequency at which the user went to the place where the image was taken, Whether the same image is taken at the same place, the number of images taken within one event, the distance the user moves from home, the distance the user moves within one event, within one event
  • the density of the shooting locations of the images can be analyzed, the interval between the shooting times of the images within one event, and the like.
  • the display pattern determination unit 113 not only disperses the position information but also takes into account the analysis result, and confirms that the user is going to a place far away from the action range of daily life (ie, traveling)
  • Display pattern B can be determined as a display pattern.
  • the display pattern determination unit 113 is photographed at an event intended for “movement”, such as an image group photographed when the user goes to cycling based on the analysis result.
  • Display pattern B is adopted for the image group.
  • an event aimed at “movement” it is considered that there is a desire to see a change in scenery during movement, and therefore, display pattern B in which a map and an image are displayed in association with each other can be suitably employed. It is.
  • the line extending from the shooting location is linked to the image to show the association between them, or the map is enlarged and displayed, thereby improving the visibility of the image.
  • Various arrangements for the layout may be made.
  • the display pattern determination unit 113 performs “behavior” at a location after movement, such as an image group taken when a user participates in a workshop, based on the analysis result.
  • the display pattern D is adopted for the image group.
  • it is not an image showing what kind of place it is, but an image showing the state of "behavior” and the result (in the above example, the state of the work and the created work piece Therefore, a display pattern D that can display the image relatively large and display the captions of these images can be suitably employed.
  • the display pattern determination unit 113 is an image group that is captured at the same level while the target image group is moving to the destination and at the destination based on the analysis result. In some cases (for example, when heading from the home to the grandparent's house), a combination of the display pattern B and the display pattern D is adopted for the image group.
  • the display pattern determination unit 113 employs the display pattern B for an image captured while moving from the home to the destination in order to associate the movement history with the image.
  • the image data extraction unit 112 can prevent the image data from being extracted when a similar image has been taken in the same place in the past.
  • the image data extraction unit 112 and the display pattern determination unit 113 increase the ratio of extracting an image similar to a favorite image based on the FB result by the receiver, or an image similar to the image selected as the favorite. Can be made larger than other images in the display pattern.
  • the method for performing the scroll operation when browsing the display screen is not uniquely limited, and may be performed by various methods.
  • a scroll operation may be performed by moving an indicator bar with a pointer, rotating a mouse wheel, or the like.
  • a scroll operation may be performed by a drag operation or the like in the vertical direction.
  • a scrolling operation may be performed via the input device.
  • the user may perform a scroll operation by moving the line of sight up and down.
  • a scroll operation may be performed by the user performing a gesture.
  • the information processing terminals 20 and 30 are provided with a function of detecting their own tilt using a gyro sensor or the like, the user performs a scroll operation by performing an operation of tilting the information processing terminals 20 and 30. It may be broken.
  • the scroll display of the display screen does not necessarily have to be performed according to the user's scroll operation, and the display screen may be automatically scroll-displayed at a predetermined speed.
  • the user may be able to stop the scroll display at an arbitrary timing by an appropriate operation such as a mouse click or a tap operation on the touch panel.
  • the information display method in the information processing terminals 20 and 30, particularly the display method of the display screen (photo album), is not limited to a unique one, and various display methods may be used.
  • the information processing terminals 20 and 30 may include a display device and display various information such as a photo album on the display screen of the display device.
  • various known display devices such as a CRT (Cathode Ray Tube) display device, a liquid crystal display device, a plasma display device, and an EL (Electroluminescence) display device may be used.
  • the information processing terminals 20 and 30 may include a projector device and project and display various information such as a photo album on a screen or a wall surface by the projector device.
  • the information processing terminals 20 and 30 may be combined with a table top interactive system, and may display various information such as a photo album on the table top.
  • a table top interactive system is, for example, a method in which an image is projected onto the top surface of a table from above, and the user's hand movement on the top surface is detected by a sensor so that the user can This is a system that can directly execute various operations on displayed virtual objects. For example, a photo album scroll operation is performed by a direct gesture on the photo album displayed on the table top (for example, moving the hand along the vertical direction of the photo album on the displayed photo album). obtain.
  • the information processing terminals 20 and 30 may display various information such as a photo album in an overlay on the real space by using AR (Augmented Reality) technology.
  • the information processing terminals 20 and 30 have a camera and a display device capable of photographing the surroundings, display the surrounding space photographed by the camera on the display screen of the display device, and display a photo album or the like on the display screen. Is displayed as an overlay.
  • the information processing terminals 20 and 30 may be eyeglass-type wearable devices or transmissive HMDs, and by displaying a photo album or the like on the display surface, the user directly observes the display surface.
  • the photo album or the like may be displayed in an overlay on the surrounding space.
  • a photo album scroll operation is performed by a direct gesture (for example, an operation of moving a hand along the vertical direction of the photo album on the displayed photo album) with respect to the photo album displayed in the space. obtain.
  • FIG. 31 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the present embodiment. 31 can realize the information processing apparatus 10 shown in FIG. 1, the information processing apparatus 10a shown in FIG. 11, and the information processing terminals 20 and 30 shown in FIG.
  • the information processing apparatus 900 includes a CPU 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a communication device 921, a drive 923, and a connection port 925.
  • the information processing apparatus 900 may include a processing circuit such as a DSP or an ASIC in place of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 929.
  • the ROM 903 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 905 temporarily stores programs used in the execution of the CPU 901, parameters at the time of execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus.
  • the functions of the information processing apparatuses 10 and 10a and the information processing terminals 20 and 30 described above can be realized by the CPU 901 operating according to a predetermined program.
  • the CPU 901 can correspond to the control units 110 and 110a shown in FIGS.
  • the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is configured by a device operated by a user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device (so-called remote controller) that uses infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 900. It may be 931.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user using the above-described operation means and outputs the input signal to the CPU 901, for example.
  • a user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 915.
  • a scroll operation for browsing a display screen (photo album) can be performed by the user via the input device 915.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as lamps, audio output devices such as speakers and headphones, printer devices, and the like.
  • the output device 917 outputs results obtained by various processes performed by the information processing apparatus 900.
  • the display device visually displays results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • a display screen photo album
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 919 can correspond to the storage unit 120 illustrated in FIGS. 1 and 11.
  • the communication device 921 is a communication interface configured by a communication device for connecting to the network 927, for example.
  • the communication device 921 is, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 921 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 921 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or other communication devices.
  • the network 927 connected to the communication device 921 is configured by a wired or wireless network, and may be, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the information processing devices 10 and 10a and the information processing terminals 20 and 30 can be connected to each other via the network 927 by the communication device 921.
  • the drive 923 is a recording medium reader / writer, and is built in or externally attached to the information processing apparatus 900.
  • the drive 923 reads information recorded on a removable recording medium 929 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 905.
  • the drive 923 can also write information to a removable recording medium 929 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the removable recording medium 929 is, for example, a DVD medium, an HD-DVD medium, a Blu-ray (registered trademark) medium, or the like.
  • the removable recording medium 929 may be a compact flash (registered trademark) (CompactFlash: CF), a flash memory, an SD memory card (Secure Digital memory card), or the like. Further, the removable recording medium 929 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like. In this embodiment, various types of information processed by the CPU 901 may be read from the removable recording medium 929 or written to the removable recording medium 929 by the drive 923.
  • CompactFlash CompactFlash: CF
  • flash memory Secure Digital memory card
  • SD memory card Secure Digital memory card
  • the connection port 925 is a port for directly connecting a device to the information processing apparatus 900.
  • Examples of the connection port 925 include a USB (Universal Serial Bus) port, an IEEE 1394 port, and a SCSI (Small Computer System Interface) port.
  • As another example of the connection port 925 there are an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, and the like.
  • the information processing apparatus 900 acquires various data directly from the external connection device 931 or provides various data to the external connection device 931.
  • various types of information processed by the CPU 901 may be acquired from the external connection device 931 or output to the external connection device 931 via the connection port 925.
  • the information processing apparatus 900 may further be provided with a camera (imaging apparatus) and / or a sensor.
  • a photo album can be generated based on a photograph taken by the camera.
  • the sensor may be various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, a force sensor, and a GPS (Global Positioning System) sensor.
  • a user's action history may be acquired or a scroll operation may be performed based on detection values obtained by these sensors.
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing each function of the information processing apparatus 900 according to the present embodiment as described above can be produced and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the map displayed in the display pattern B is a map related to a place where the user has performed, such as a travel destination map, but the present technology is not limited to such an example.
  • a plurality of images may be taken by an endoscope, and the map may be a human body map showing a place where a photograph is taken by the endoscope.
  • the location in the patient's body cavity and the photograph taken at that location can be displayed in association with each other, so when the doctor or the patient himself / herself refers to the examination result by the endoscope, the relationship between the two Can be grasped intuitively, and the inspection result can be confirmed more easily.
  • the endoscope may be a so-called capsule endoscope.
  • the system 1 described above may be used to monitor the state (health state) of the recipient.
  • the system 1 may be equipped with a function that, when a recipient browses a photo album distributed, the sender is notified that the photo album has been browsed. For example, if the sender is a son couple and the recipient is a grandparent, and the photo album is delivered, but the above notification does not arrive under the sender, the recipient confirms the photo album. There is a possibility that something is wrong with the recipient.
  • the system 1 may function as a so-called “watching system” for elderly people living apart.
  • a display pattern determination unit that determines a display pattern of a plurality of images, wherein the display pattern determination unit includes a plurality of pieces of position information including position information associated with each of the plurality of images.
  • An information processing apparatus that determines a display pattern in which the plurality of images are arranged together with a map including a location corresponding to the position information.
  • the display pattern determination unit determines a display pattern in which the plurality of images are arranged together with a map including a location corresponding to the position information, based on how the plurality of pieces of position information are scattered.
  • the information processing apparatus according to 1).
  • the display pattern determination unit determines a display pattern in which the plurality of images are arranged together with the map in response to determining that the dispersion of the position information is more than a predetermined reference.
  • the position information associated with each of the plurality of images is position information indicating a place where the plurality of images are acquired, and the display pattern determination unit is configured to take action of the user who created the plurality of images.
  • the information processing apparatus according to (3), wherein the predetermined reference is determined based on a history.
  • the display pattern determination unit is acquired at a place where the frequency is low, according to the frequency at which the user who is obtained based on the action history went to the place where the plurality of images were created within a predetermined period.
  • the information processing apparatus wherein the predetermined reference is determined so that a display pattern arranged together with the map is determined for the plurality of images.
  • requiring the frequency which the user went to the place which produced the said several image is a predetermined period which goes back from the present time, and is updated at any time, The said (5) Information processing device.
  • the display pattern determination unit determines, as the predetermined reference, a value corresponding to a user's daily activity range estimated based on the behavior history. apparatus.
  • the plurality of images are arranged in association with locations corresponding to the position information of the plurality of images on the map, respectively.
  • the information processing apparatus according to any one of (1) to (7).
  • the information processing apparatus according to (8), wherein the plurality of images are displayed by being connected to a place corresponding to the position information on the map by a line.
  • the plurality of images When the display according to the display pattern in which the plurality of images are arranged together with the map is scrolled, the plurality of images respond to the scrolling based on time information associated with the plurality of images, respectively.
  • the information processing apparatus according to any one of (1) to (10), wherein the information processing apparatus is sequentially displayed in time series.
  • the plurality of images When the plurality of images are sequentially displayed in response to scrolling, a location corresponding to the position information of the most recently displayed image is positioned approximately at the center of the display area being browsed by the user.
  • the information processing apparatus according to (11) wherein the display of the map changes.
  • an indicator indicating the progress of the scrolling is also displayed.
  • the position information associated with each of the plurality of images is position information indicating a place where the plurality of images are created, and the user's information when the plurality of images are created on the map
  • the information processing apparatus according to any one of (1) to (13), wherein a movement route is displayed.
  • the plurality of images are photographs, position information associated with each of the plurality of images is position information indicating a shooting location of the photograph, and time information associated with each of the plurality of images is The information processing apparatus according to any one of (1) to (14), wherein the information is time information indicating a shooting time of the photograph.
  • the display apparatus according to any one of (2) to (15), wherein the plurality of images are classified into categories according to a predetermined criterion, and the display pattern determination unit determines the display pattern for each category.
  • a display screen generation unit that generates a display screen in which the plurality of images are arranged in time series in each category by combining the display patterns for each category determined by the display pattern determination unit,
  • the information processing apparatus according to (16) further including: (18) The information processing apparatus according to (16) or (17), wherein the category classification is performed by event clustering.
  • the processor determines the display pattern of the plurality of images, and includes the plurality of positions based on how the plurality of pieces of position information are scattered, including position information associated with each of the plurality of images.
  • positioned with the map containing the place corresponding to the said positional information is determined.
  • a function for determining a display pattern of a plurality of images is realized in a computer, and based on how to disperse a plurality of pieces of position information including position information associated with each of the plurality of images.
  • a program in which a display pattern in which a plurality of images are arranged together with a map including a location corresponding to the position information is determined.

Abstract

【課題】ユーザの利便性をより向上させることを可能にする。 【解決手段】複数の画像の表示パターンを決定する表示パターン決定部、を備え、前記表示パターン決定部は、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンを決定する、情報処理装置を提供する。

Description

情報処理装置、情報処理方法及びプログラム
 本開示は、情報処理装置、情報処理方法及びプログラムに関する。
 一般的に、写真データに対して、その写真が撮影された撮影場所の位置情報をメタ情報として付加することが広く行われている。例えば、特許文献1には、カメラの内部時計のずれや時差等により写真データと位置情報との関連付けが適切に行われていない場合に、ユーザが容易にその関連付けを修正できるようにするためのUI(User Interface)を提供する技術が開示されている。
特開2009-171269号公報
 一方、ユーザが所持する複数の画像データ(例えば写真データ)を自動的に整理、編集するシステムが存在する。このようなシステムにおいて複数の画像データを整理、編集する際に、画像データに関連付けられている位置情報を用いることにより、ユーザにとってより利便性の高いシステムを提供できる可能性がある。
 そこで、本開示では、ユーザの利便性をより向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。
 本開示によれば、複数の画像の表示パターンを決定する表示パターン決定部、を備え、前記表示パターン決定部は、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンを決定する、情報処理装置が提供される。
 また、本開示によれば、プロセッサが、複数の画像の表示パターンを決定すること、を含み、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンが決定される、情報処理方法が提供される。
 また、本開示によれば、コンピュータに、複数の画像の表示パターンを決定する機能、を実現させ、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンが決定される、プログラムが提供される。
 本開示によれば、複数の画像を表示する際の表示パターンが決定される際に、当該複数の画像(例えばカメラで撮影された写真)にそれぞれ紐付けられた位置情報の散らばりかたに基づいて、当該複数の画像が位置情報に対応する場所を含む地図とともに配置された表示パターンが決定される。当該地図は、画像作成時(写真撮影時)のユーザの移動の履歴を表すものであり得る。従って、画像と地図とが併せて表示されることにより、ユーザ(閲覧者)は、それらの画像の内容はもちろん、それらの画像が作成された状況、例えば旅行中にユーザが立ち寄った場所等も同時に把握することができる。このように、本開示によれば、ユーザにとってより利便性高く、画像が整理、編集され得る。
 以上説明したように本開示によれば、ユーザの利便性をより向上させることが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
本実施形態に係る情報処理装置の機能構成の一例を示す機能ブロック図である。 本実施形態に係る表示画面の構成を示す図である。 表示パターンAにおける画像の配置例を示す図である。 表示パターンBにおける画像の配置例を示す図である。 表示パターンCにおける画像の配置例を示す図である。 表示パターンDにおける画像の配置例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 ユーザによって画像が選択された際の表示の遷移の一例を示す図である。 本実施形態に係る情報処理方法の処理手順の一例を示すフロー図である。 本実施形態に係る情報処理装置が適用され得るフォトデリバリーサービスの概要を示す図である。 本実施形態に係る情報処理装置がフォトデリバリーサービスに適用された場合のシステムの機能構成を示すブロック図である。 情報処理端末がPCである場合において、フォトデリバリーサービスのセットアップ時に送り手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がPCである場合において、フォトデリバリーサービスのセットアップ時に送り手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がPCである場合において、フォトデリバリーサービスのセットアップ時に送り手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がPCである場合において、フォトデリバリーサービスのセットアップ時に送り手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がPCである場合において、フォトデリバリーサービスのセットアップ時に送り手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がタッチパネルを有するデバイスである場合において、フォトデリバリーサービスのセットアップ時に提供されるUIに係る表示画面を示す図である。 配信前のフォトアルバムの確認時に提供されるUIに係る表示画面を示す図である。 情報処理端末がPCである場合において、フォトアルバムの閲覧時に受け手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がPCである場合において、フォトアルバムの閲覧時に受け手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がタッチパネルを有するデバイスである場合において、フォトアルバムの閲覧時に受け手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がタッチパネルを有するデバイスである場合において、フォトアルバムの閲覧時に受け手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がタッチパネルを有するデバイスである場合において、フォトアルバムの閲覧時に受け手に対して提供されるUIに係る表示画面を示す図である。 お気に入りの写真についての情報がフィードバックされる際に、送り手に対して提供されるUIに係る表示画面を示す図である。 表示パターンBにおける他の表示例を示す図である。 表示パターンBにおける他の表示例を示す図である。 表示パターンBにおける他の表示例を示す図である。 表示パターンBにおける他の表示例を示す図である。 表示パターンBにおける他の表示例を示す図である。 表示パターンBにおける他の表示例を示す図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.情報処理装置の構成
 2.表示パターンの例
  2-1.各表示パターンの全体像
  2-2.表示パターンBのスクロール時の表示例
  2-3.画像選択時の表示例
 3.情報処理方法
 4.適用例
  4-1.システムの構成
  4-2.UIの例
   4-2-1.フォトアルバム生成時(送り手側)
   4-2-2.フォトアルバム閲覧時(受け手側)
   4-2-3.フィードバック時(送り手側)
 5.変形例
  5-1.表示パターンBにおける他の表示例
  5-2.画像抽出処理及び表示パターン決定処理の基準
  5-3.スクロール操作
  5-4.表示装置
 6.ハードウェア構成
 7.補足
 (1.情報処理装置の構成)
 図1を参照して、本開示の一実施形態に係る情報処理装置の構成について説明する。図1は、本実施形態に係る情報処理装置の機能構成の一例を示す機能ブロック図である。
 図1を参照すると、本実施形態に係る情報処理装置10は、その機能として、制御部110と、記憶部120と、を備える。また、制御部110は、その機能として、画像データ取得部111と、画像データ抽出部112と、表示パターン決定部113と、表示画面生成部114と、を有する。情報処理装置10は、複数の画像データの中から所定の条件に基づいていくつかの画像データを抽出し、抽出した画像データに係る画像の配置パターンである表示パターンを決定し、決定された表示パターンに従って画像が配置された表示画面を生成する処理を実行する。
 なお、以下では、一例として、情報処理装置10によって処理される画像データが写真データである場合について説明する。そのため、以下の説明においては、「画像(データ)を作成する」ことを、「画像(写真)を撮影する」等とも表現する。ただし、本実施形態はかかる例に限定されず、情報処理装置10によって処理される画像データの種類は任意であってよい。
 また、実際には情報処理装置10によって処理されるものは「画像データ」(すなわち画像の電子データ)であり、実際にユーザに対して表示される「画像」は、当該画像データに係る画像である。しかし、以下の説明では、記載が冗長になることを避けるために、便宜的に、本来は「画像データに係る画像」を意味する場合であっても、単に「画像」と記載することがある。
 制御部110は、例えばCPU(Central Processing Unit)やDSP(Digital Signal Pocessor)、ASIC(Application Specific Integrated Circuit)等の各種のプロセッサによって構成され、所定の演算処理を実行することにより情報処理装置10の動作を制御する制御手段である。制御部110を構成するプロセッサが所定のプログラムに従って動作することにより、上記の各機能が実現される。
 画像データ取得部111は、ユーザが所持する複数の画像の電子データ(画像データ)を取得する。当該画像データは、例えばユーザによって撮影された写真データである。
 例えば、画像データ取得部111は、ユーザが情報処理装置10内の所定の記憶領域(例えば予め指定されたフォルダ)に格納した画像データを取得する。ただし、本実施形態はかかる例に限定されず、画像データ取得部111は、情報処理装置10の記憶領域を検索することにより情報処理装置10内に保存されているあらゆる画像データを自動的に取得してもよい。
 また、画像データ取得部111は、画像データを取得する際に、当該画像データに紐付けられているメタデータも併せて取得する。当該メタデータには、例えば、画像が撮影された場所(すなわち、写真の撮影場所)を示す位置情報や、画像が撮影された日時(すなわち、写真の撮影日時)を示す時刻情報、写真を撮影したカメラの機種を示す機種情報等が含まれ得る。また、機種情報とそのカメラの所持者との関連が予め分かっている場合であれば、当該メタデータには、機種情報に基づいて、画像を撮影した人物(すなわち、写真の撮影者)を示す撮影者情報が含まれていてもよい。その他、当該メタデータには、一般的に写真データのメタデータに含まれている各種の情報が含まれていてよい。
 画像データ取得部111は、取得した画像データを画像データ抽出部112に提供する。あるいは、画像データ取得部111は、取得した画像データを記憶部120に格納してもよく、画像データ抽出部112は、記憶部120にアクセスして画像データを取得することにより、後述する処理を実行してもよい。
 画像データ抽出部112は、画像データ取得部111によって取得された複数の画像データの中から、所定の条件に基づいて最終的に表示画面に含める(すなわち、最終的にユーザに対して提示される)画像データを抽出する。後述するように、本実施形態では、例えば1ヶ月間等、所定の期間ごとに画像データがまとめられた表示画面が生成される。1つの表示画面には、対応する期間内に取得された画像が所定の表示パターンで配置される。従って、例えば所定の期間に非常に多くの画像データが取得された場合には、その全てが表示画面に配置されると、当該表示画面が煩雑になってしまい、当該表示画面を閲覧するユーザの視認性が低下することが懸念される。
 よって、画像データ抽出部112によって所定の数の画像データを抽出し、抽出された画像データに係る画像のみが表示されるようにしているのである。なお、画像データ抽出部112が抽出する画像データの数は、情報処理装置10の設計者やユーザ等によって適宜設定されてよい。例えば、当該画像データの数は、1つの表示画面に配置された場合におけるユーザビリティの観点から、30~50枚程度が適当であると考えられる。
 例えば、画像データ抽出部112は、所定の期間に取得された複数の画像データをイベントごとに分類し、イベントごとに所定の優先度に従って所定の数の画像データを抽出する。ここで、画像データをイベントごとに分類する技術(イベントクラスタリング)としては、例えば撮影場所や撮影時刻に応じて写真データを分類する技術が知られている。イベントクラスタリングとしては、各種の公知の手法が用いられてよいため、ここでは詳細な説明は省略する。例えば、イベントクラスタリングとしては、本願出願人による先行出願である特開2008-250605号公報や特開2011-113270号公報に開示されている方法を用いることができる。
 また、イベントごとの画像データの抽出数は、画像データ抽出部112が抽出する全画像データ数を考慮して適宜決定されてよい。例えば、画像データ抽出部112が抽出する全画像データ数が30枚に設定されている場合において、イベントクラスタリングの結果所定の期間に取得された画像データが3つのイベントに分類された場合には、画像データ抽出部112は、均等に、イベントごとに10ずつ画像データを抽出してよい。
 ただし、画像データ抽出部112は、イベントごとに重要度を設定してもよく、イベント間の当該重要度に差が存在する場合には、当該重要度に応じた比率でイベントごとに画像データを抽出してよい。例えば、画像データの位置情報に基づいて、それらの画像がユーザの普段の生活範囲から離れた場所で撮影されたものであると推測される場合には、それらの画像は、旅行等、普段の生活とは異なるイベント中に撮影されたものであると考えられるため、その重要度が高く設定され得る。あるいは、イベントごとの画像データの数に基づいて、より多くの数の画像データが属するイベントほど重要度が高いと判断されてもよい。
 また、画像データ抽出部112が画像データを抽出する基準となる優先度としては、画像に含まれる人物に応じた優先度が好適に用いられ得る。例えば、画像データ抽出部112は、予めユーザによって指定された人物Xを含む画像ほど優先度が高くなるように各画像データに対して優先度を設定し、当該優先度に従ってイベントごとに画像データを抽出することができる。当該優先度は、例えば下記表1のように設定され得る。
Figure JPOXMLDOC01-appb-T000001
 なお、画像に人物Xが含まれているかどうか(写真に人物Xが写っているかどうか)は、顔認識、人物認識等、各種の公知の技術によって行われてよい。また、画像が人物Xの顔であるか、又は全体像であるかは、各種の公知の構図認識技術によって判断されてよい。
 ここで、画像データ抽出部112は、同程度の優先度を有する画像データが複数存在する場合であっても、それらの画像の構図が類似している場合には、画像データを抽出する際に、それらの画像データを同一の画像データとみなし、そのうちの一方のみを抽出してもよい。また、その際、画像データ抽出部112は、顔認識技術等を用いて、例えば人物Xがより笑顔である画像等、特定の表情のものを優先的に選択してもよい。
 画像データ抽出部112は、抽出した画像データを表示パターン決定部113に提供する。あるいは、画像データ抽出部112は、抽出した画像データを記憶部120に格納してもよく、表示パターン決定部113は記憶部120にアクセスして画像データを取得することにより、後述する処理を実行してもよい。
 なお、上記の例では、画像データ抽出部112は、複数の画像データをイベントごとに分類していたが、本実施形態はかかる例に限定されない。画像データ抽出部112は、所定の基準に従ったカテゴリごとに画像データを分類し、当該カテゴリごとに所定の数の画像データを抽出すればよく、当該カテゴリはイベントに限定されない。例えば、画像データ抽出部112は、画像データの時刻情報に基づいて、画像が撮影された日時に応じて、例えば1週間ごと等所定の期間ごとに画像データを分類してもよい。
 また、上記の例では、画像データ抽出部112は、画像データを抽出する基準となる優先度として、画像に含まれる人物に基づく優先度を用いていたが、本実施形態はかかる例に限定されない。例えば、画像データ抽出部112は、ユーザによって画像が撮影された時刻(写真が撮影された時刻)やユーザによって画像が撮影された場所(写真が撮影された場所)に基づく優先度を用いて画像データを抽出してもよい。具体的には、画像データ抽出部112は、画像データの時刻情報及び/又は場所情報に基づいて、ユーザによって適宜指定される所定の期間内に撮影された画像や、所定の場所において撮影された画像に対して、より高い優先度を設定し、その優先度に従って画像データを抽出してよい。
 表示パターン決定部113は、画像データ抽出部112によって抽出された画像データに係る画像を表示画面に表示する際の表示パターンを決定する。表示パターンは、表示画面における画像の配置のパターンを示すものである。表示パターン上では、例えば画像のサムネイルが、所定のパターンで表示され得る。本実施形態では、複数の表示パターンのひな形が用意されており、表示パターン決定部113は、これら複数の表示パターンのひな形の中から、イベントごとに一の表示パターンを決定する。イベントごとに同一の表示パターンが決定されてもよいし、イベントごとに異なる表示パターンが決定されてもよい。なお、表示パターンの具体例や、表示パターンの決定処理の詳細については、下記(2.表示パターンの例)で後述する。
 表示パターン決定部113は、決定したイベントごとの表示パターンについての情報を表示画面生成部114に提供する。あるいは、表示パターン決定部113は、決定したイベントごとの表示パターンについての情報を記憶部120に格納してもよく、表示画面生成部114は記憶部120にアクセスして当該表示パターンについての情報を取得することにより、後述する処理を実行してもよい。
 表示画面生成部114は、表示パターン決定部113によって決定されたイベントごとの表示パターンを用いて、最終的にユーザに対して提示される表示画面を生成する。表示画面生成部114によって生成された表示画面についての情報が、情報処理装置10自体が有する表示装置、又はユーザが所持する情報処理端末等に送信され、ユーザに対して提示される。なお、表示画面生成部114は、生成した表示画面についての情報を記憶部120に格納してもよく、上記表示装置や上記情報処理端末等は、記憶部120にアクセスして当該表示画面についての情報を取得することにより、自身への当該表示画面の表示処理を実行してもよい。
 ここで、図2を参照して、表示画面生成部114によって生成される表示画面の構成について説明する。図2は、本実施形態に係る表示画面の構成を示す図である。
 本実施形態では、画像データ抽出部112によって画像データが抽出された対象である所定の期間に対応して、一の表示画面が生成される。図2では、一例として、当該所定の期間が1ヶ月である場合における表示画面の構成例を示している。
 図2に示すように、表示画面は、カバー画像が表示されるカバー画像領域501と、第1の表示パターン(図示する例ではパターンC)で画像が配置された第1の領域503と、第2の表示パターン(図示する例ではパターンA)で画像が配置された第2の領域505と、第3の表示パターン(図示する例ではパターンB)で画像が配置された第3の領域507と、がこの順に連なって構成される。
 ここで、第1の表示パターン、第2の表示パターン及び第3の表示パターンは、対象としている期間(すなわち1ヶ月)の間に発生した第1のイベント、第2のイベント及び第3のイベントにそれぞれ対応している。また、これらの表示パターンは、イベントが発生した順に、すなわち時系列順に上から下に向かって並べられる。つまり、表示画面は、全体として、1ヶ月の間に取得された画像が、イベントごとにかつ時系列順に並べられたものであると言える。カバー画像領域501には、表示画面の表題を示すような表示、例えば、その表示画面に対応する期間を示す表示(「2014年8月」等)がなされる。
 実際にユーザが表示画面を閲覧する場合には、図2に示す表示画面の全てが1度に提示されなくてもよく、例えばユーザが有する情報処理端末の表示領域に、当該表示画面の上下方向における一部領域のみが表示され、ユーザは、上下方向に表示をスクロールさせながら、表示画面を閲覧することができる。ユーザは、上から順に表示画面を閲覧していくことにより、その期間内に生じたイベントを、時系列に沿って、画像によって視覚的に認識することができる。
 なお、図示する例では、1ヶ月間に3つのイベントが発生し、当該3つのイベントに応じて3種類の表示パターンによる3つの表示領域503、505、507によって表示画面が構成されているが、本実施形態はかかる例に限定されない。所定の期間内に生じたイベントの数が異なる場合には、当然、当該イベントの数に応じて表示画面を構成する表示パターンの種類の数は変更され得る。また、必ずしも複数の種類の表示パターンによって表示画面が構成されなくてもよく、1つの種類の表示パターンによって表示画面が構成されてもよい。
 また、ユーザが、表示画面生成部114によって自動生成された表示画面を適宜編集できてもよい。例えば、ユーザは、表示画面に含まれる画像を差し替えたり、画像の大きさを変更したりすることができる。
 記憶部120は、例えばHDD(Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等の各種の記憶デバイスによって構成され、各種の情報を記憶する記憶手段である。記憶部120には、制御部110が処理する各種の情報、及び制御部110によって処理された結果等が格納され得る。
 例えば、記憶部120は、画像データ取得部111によって取得された画像データ、画像データ抽出部112によって抽出された画像データ、表示パターン決定部113によって決定された表示パターンについての情報、及び/又は表示画面生成部114によって生成された表示画面についての情報を記憶する。また、例えば、記憶部120は、画像データ抽出部112が画像データを抽出する際に用いる、画像データの分類の基準や、画像データの抽出の基準等についての情報を記憶する。また、例えば、記憶部120は、表示パターン決定部113が表示パターンを決定する際に用いる、表示パターンのひな形や、表示パターンの決定の基準についての情報を記憶する。
 以上、図1を参照して、本実施形態に係る情報処理装置の機能構成について説明した。なお、情報処理装置10は、以上説明した機能を実現可能に構成されればよく、その具体的なハードウェア構成は限定されない。例えば、情報処理装置10は、デスクトップPC(Personal Computer)や、タブレットPC、スマートフォン、ウェアラブルデバイス(例えば、眼鏡型端末、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等)等であり得る。あるいは、情報処理装置10は、ネットワーク上(いわゆるクラウド上)に設置される、演算処理に特化したサーバであってもよい。
 また、図1に示す各機能は、必ずしも1台の装置において実行されなくてもよく、複数の装置の協働によって実行されてもよい。例えば、図1に示す情報処理装置10の各機能のうちの一部の機能を有する一の装置が、他の機能を有する他の装置と通信可能に接続されることにより、図示する情報処理装置10と同等の機能が実現されてもよい。
 また、図1に示す情報処理装置10、特に制御部110の各機能を実現するためのコンピュータプログラムを作製し、PC等の処理装置に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 (2.表示パターンの例)
 (2-1.各表示パターンの全体像)
 本実施形態における表示パターンのいくつかの例について説明する。本実施形態では、上述した表示パターン決定部113は、以下に示す表示パターンA~表示パターンDの中から、所定の条件に従って、一の表示パターンを決定し得る。なお、ここでは、例として、4つの表示パターン(表示パターンA~表示パターンD)について説明するが、本実施形態はかかる例に限定されず、他の各種の表示パターンが用いられてよい。
 (表示パターンA)
 図3を参照して、表示パターンAについて説明する。図3は、表示パターンAにおける画像の配置例を示す図である。なお、各表示パターンを示す図3及び後述する図4-図6では、図2に示すカバー画像の具体例も併せて図示している。
 図3を参照すると、最上段に配されるカバー画像と、当該カバー画像の下段に表示パターンAに従って配置された画像群が図示されている。カバー画像は、例えば、画像データが抽出された期間を象徴するような代表的な画像と、当該期間を示す表題と、からなる。図示する例では、画像データが抽出された期間は1ヶ月であるため、その月に発生したイベントを表す画像とともに「2014 August」の文字が表示されている。
 表示パターンAでは、複数の画像が撮影された日にちごとにまとめられ、かつ、タイル状に敷き詰められるように並べられる。並べられる各画像は、画像データに係る画像そのものであってもよいし、当該画像が編集されたもの(例えば少なくとも所定の人物を含む範囲でトリミングされた画像)であってもよい。あるいは、画像データに係る画像のサムネイル、又は当該サムネイルが編集されたものであってもよい。また、画像群は、上から下に向かって時系列順に並べられている。
 なお、他の表示パターン(表示パターンB~表示パターンD)においても、同様に、表示される画像は、画像データに係る画像そのもの、当該画像が編集されたもの、当該画像のサムネイル、及び当該サムネイルが編集されたもののいずれかであってよい。また、表示パターンA~表示パターンDにおける各画像の表示の大きさは、上述した画像データ抽出時の優先度に従って、例えば優先度が大きい画像ほどより大きく表示されるように適宜決定されてよい。
 ここで、図3では、表示パターンAについて説明するために、便宜的にユーザに対して表示され得る表示の全体を図示しているが、実際にユーザに対して1度に提示される領域(すなわち、ユーザが観察している表示装置に1度に表示される領域)は、その一部であってよい。図3では、一例として、当該ユーザに対して1度に提示される領域を破線で囲って示している。なお、図4-図6でも同様に、他の表示パターン(表示パターンB~表示パターンD)で配置された画像群について、便宜的にユーザに対して表示され得る表示の全体を図示するとともに、実際にユーザに対して1度に提示される領域を破線で囲って示している。ユーザは、各表示パターンで表示された画像群を観察する際には、表示を上下方向にスクロールさせながら、時系列に沿って当該画像群を観察することができる。
 表示パターンAは、例えば抽出された画像の数が所定のしきい値よりも多い場合に好適に採用され得る。表示パターンAでは、比較的多くの画像がユーザに対して提示されることとなるため、ユーザはより多くの画像を見ることができ、イベントの内容をより詳細に知ることができる。
 (表示パターンB)
 図4を参照して、表示パターンBについて説明する。図4は、表示パターンBにおける画像の配置例を示す図である。なお、カバー画像は図3に示すものと同様であるため、詳細な説明は省略する。
 図4を参照すると、表示パターンBでは、画像の撮影場所を含む周辺の地図とともに、複数の画像が配置される。また、これらの画像は、当該地図上における当該画像が撮影された場所と、関連付けて表示され得る。図示する例では、地図上の撮影場所と、当該撮影場所で撮影された画像と、の関連が、両者が線で結ばれることによって表現されている。
 画像群の近傍には、当該画像群を撮影した日付が表示される。また、各画像の近傍には、当該画像が撮影された時刻が併せて表示されている。また、画像群は、上から下に向かって時系列順に並べられている。
 表示パターンBは、例えばユーザが普段は赴かないような場所で画像が撮影された場合(例えば旅行先で写真が撮影された場合等)に好適に採用され得る。表示パターンBでは、移動の履歴と、その移動中に撮影された写真とが関連付けて表示されるため、表示パターンBは、「移動」に重点が置かれたイベントに適していると考えられるからである。例えば、表示パターンBを用いることにより、移動中における景色の変化を、その撮影場所と関連付けて把握することができる。
 例えば、表示パターン決定部113は、画像データの位置情報の散らばりかた(例えば、分散、分布、標準偏差、平均値と最も離れた値との差分、最も東(北)と最も西(南)との値の差分値等の集合値評価)に基づいて、表示パターンBを採用するか否かを決定することができる。例えば、位置情報の散らばりかたがばらついている(分散が大きい)場合には、ユーザが長い距離を移動しながら画像を撮影している場合であると考えられるため、好適に表示パターンBが採用され得る。
 具体的には、例えば、情報処理装置10に、画像データとともに、ユーザの行動履歴についての情報が入力されてもよく、表示パターン決定部113は、画像の撮影場所が、当該行動履歴に基づいて推測されるユーザの日常生活の行動範囲から所定のしきい値以上(所定の距離以上)離れている場合に、表示パターンBを採用することができる。ここで、当該行動履歴についての情報は、画像データの位置情報及び時刻情報に基づいて取得されてもよいし、例えばユーザが所持するウェアラブルデバイスが取得した行動ログに基づいて取得されてもよい。
 このように、表示パターンBでは、撮影場所と関連付けて画像が表示されるため、ユーザは、例えば旅行先等、場所についての情報とともに画像を見ることができ、画像が撮影された際の状況をより深く認識することができる。
 なお、表示パターンBを採用するかどうかの基準となる上記の所定のしきい値は、ユーザの行動履歴に基づいて適宜設定されてよい。例えば、当該しきい値は、行動履歴に基づいて求められる、ユーザが所定の期間内に画像を撮影した場所に行った頻度に応じて、設定されてよい。例えば、ユーザの自宅の近くの公園等であっても、ユーザが当該公園に行った頻度が少ない場合には、当該公園で撮影された画像に対して、表示パターンBが採用されてよい。そして、もしもユーザが当該公園に赴いた頻度が多くなった場合には、当該公園に行くことは、当該ユーザにとっては日常生活の一部となっている可能性があるため、表示パターンBは採用されず、他の表示パターンが採用され得る。
 ただし、上記の各場所に赴いた頻度は、所定のタイミングでリセットされてよい。例えば、当該頻度を求めるための上記所定の期間は、現在時点から遡った所定の期間であってよく、随時更新されてよい。従って、例えば、過去のある時期に頻繁に訪れていた場所であって、一旦は表示パターンBの対象外となった場所であっても、1年ぶり等所定の間隔を空けて赴いた場合には、再度当該場所で撮影された画像に対して、表示パターンBが適用されてよい。
 ここで、表示パターンA、C、Dでは、図3、図5及び図6にそれぞれ図示する表示の上下方向における一部を抜き出したものが、そのまま、ユーザのスクロール操作に従って連続的に変化して当該ユーザに対して提示され得る。しかしながら、図4に示す表示パターンBに従った表示はあくまで便宜的なものであって、表示パターンBでは、スクロール操作をした際に実際にユーザに対して提示され得る表示は、図4に図示する表示の一部がそのまま抜き出されたものではない。つまり、表示パターンBでは、スクロール操作時に他の表示パターンとは異なる表示の変化が生じる。表示パターンBにおけるスクロール操作時の表示例については、図7A-図7Iを参照して後程詳しく説明する。
 (表示パターンC)
 図5を参照して、表示パターンCについて説明する。図5は、表示パターンCにおける画像の配置例を示す図である。なお、カバー画像は図3に示すものと同様であるため、詳細な説明は省略する。
 図5を参照すると、表示パターンCでは、日にちごとに、当該日にちに撮影された画像のうちのいくつかがまとめられて並べられる。日にちごとの画像は、例えば4~5枚程度である。各画像は、表示パターンAと比べて比較的大きな領域を占めるように表示され得る。また、画像群は、上から下に向かって時系列順に並べられている。
 表示パターンCは、日にちごとに画像がまとめられて並べられる点で、表示パターンAと類似するが、表示される画像数は表示パターンAよりも少ない。このように、表示パターンCは、例えば抽出された画像データの数が所定のしきい値よりも少ない場合に好適に採用され得る。表示パターンCでは、抽出された画像データの数が少ない場合であっても、ユーザに対してイベントの概要を知らせる表示を提供することができる。
 なお、その際、画像による情報量の不足を補うために、表示パターンCでは、図示するように、日にちごとに、当該日にちに生じたイベントの内容を示すキャプション(例えば、「XX君の誕生日」、「YY日にZZに遊びに行った」等)が表示されてもよい。当該キャプションは、画像データを情報処理装置10に保存したユーザが入力したものであってもよいし、画像データを解析した結果や、画像データの位置情報、画像データの時刻情報等に基づいて、情報処理装置10が自動的に生成したものであってもよい。
 (パターンD)
 図6を参照して、表示パターンDについて説明する。図6は、表示パターンDにおける画像の配置例を示す図である。なお、カバー画像は図3に示すものと同様であるため、詳細な説明は省略する。
 図6を参照すると、表示パターンDでは、日にちごとに、当該日にちに撮影された画像のうちの1~3つ程度がまとめられて並べられる。各画像は、表示パターンAと比べて比較的大きな領域を占めるように表示され得る。また、画像群は、上から下に向かって時系列順に並べられている。また、画像群は、上から下に向かって時系列順に並べられている。
 表示パターンDでは、各画像間の余白が、表示パターンA及び表示パターンCと比べて比較的大きな領域を占めている。当該余白には、表示パターンCと同様に、日にちごとに、当該日にちに生じたイベントの内容を示すキャプションが表示される。余白が大きい分、表示されるキャプションの数は表示パターンCよりも多い。当該キャプションは、表示パターンCと同様に、ユーザが入力したものであってもよいし、情報処理装置10が自動的に生成したものであってもよい。
 表示パターンDは、例えば、抽出された画像の数が極端に少ない場合や、画像抽出時にイベントクラスタリングを行わなかった場合等に、好適に採用され得る。パターンDでは、画像1~3つ程度に対してキャプションがそれぞれ付されるため、抽出された画像の数が極端に少ない場合や、イベントによる分類が行われなかった場合であっても、ユーザは、当該キャプションによってそれらの画像が撮影された状況を認識することができる。
 あるいは、情報処理装置10によってキャプションが自動的に生成される場合には、生成された当該キャプションに対して構文解析等の各種の公知の自然言語処理解析が行われ、当該キャプションの内容が状況の把握のためにユーザにとって有意義であると判断された場合に、表示パターンDが採用されてもよい。
 このように、表示パターンDは、キャプションをより積極的に利用し、キャプションと画像とをバランスよく組み合わせてユーザに対して提示することにより、ユーザに対してより有用な情報を提供し得る表示パターンであると言える。
 以上、本実施形態における表示パターンのいくつかの例について説明した。本実施形態では、イベントごとに上述した表示パターンA~表示パターンDのいずれかが選択され、これらの表示パターンが組み合わされることにより、各表示パターンに従った複数の画像が、連続的に表示されることとなる。ここで、一般的なページ区切りのフォトブックや、スライドショーでは、ユーザのスクロール操作に追随して、単純にコンテンツが順次現れるだけである。一方、本実施形態によれば、上記のように、イベントごとのまとまりとして画像が表示され得る。また、表示パターンBのように、画像のメタデータ(写真の場所移動や撮影時間)に合わせた配置や現れ方が実現される。このように、画像の持つ意味に応じた表現がなされることにより、閲覧するユーザに対して一連の画像群のストーリーをより伝えることができる。
 なお、上記の例では、1つのイベントに対して1つの表示パターンが決定されていたが、本実施形態はかかる例に限定されない。例えば、長距離の移動をした後にその目的地に数日間滞在するという一連のイベントにおいては、移動中に撮影された写真に対してはその移動中の様子を表すために表示パターンBが適用され、目的地において撮影された写真に対しては当該目的地の様子を表すために表示パターンA~表示パターンDのいずれかが適用されてよい(後述する(5-2.画像抽出処理及び表示パターン決定処理の基準)も参照)。
 (2-2.表示パターンBのスクロール時の表示例)
 図7A-図7Iを参照して、表示パターンBのスクロール時の表示例について説明する。図7A-図7Iは、表示パターンBのスクロール時の表示例を示す図である。図7A-図7Iでは、図4に示す表示パターンBにおけるスクロール時の表示の遷移を時系列に沿って順に図示している。
 図4に示す表示例では、撮影者は複数の国を移動しながら写真を撮影している。ここでは、表示パターンBにおける当初の表示から1つ目の国で撮影された画像群が表示されるまでと、当該1つ目の国で撮影された画像群の表示から2つ目の国で撮影された画像群の表示に切り替わるまでの表示の遷移の様子について説明する。
 表示パターンBでは、まず、撮影場所を含む周辺の地図のみが表示される(図7A)。そして、スクロールするにつれて、日付が表示されるとともに、撮影時刻順に、各画像がそれぞれに定められた所定の大きさになるまで徐々に拡大されながら表示されていく(図7B-図7F)。図7Fは、所定の移動量の分だけスクロール操作が行われ、1つ目の地図に対応付けられている画像が全て所定の大きさで表示された様子を示している。
 この状態から更に表示をスクロールしていくと、1つ目の地図、及び当該地図に対応付けられていた画像の表示が徐々に薄れ(図7G)、2つ目の国の地図が背景に表示される(図7H)。そして、更にスクロール操作が行われることにより、2つ目の国の地図に対しても、図7B-図7Fと同様に、画像が撮影された時刻順に、各画像が徐々に拡大されながら表示されていくことになる(図7I)。
 以上、図7A-図7Iを参照して、表示パターンBのスクロール時の表示例について説明した。なお、下方向にスクロール操作を行い、時系列順に表示が切り替えられている場合において、途中でユーザが逆方向にスクロール操作を行った場合には、以上説明した表示の遷移とは逆方向に表示が遷移し得る(すなわち、各画像が徐々に小さくなりながら消えるように表示が遷移し得る)。
 (2-3.画像選択時の表示例)
 以上説明した表示パターンA~表示パターンDでは、画像のサムネイルや画像が編集されたもの(画像の一部のみがトリミングされたもの)等が表示され得る。本実施形態では、表示パターンA~表示パターンDのいずれかに従って表示された画像を見ているユーザが、これらの画像のうち、詳細に見たい画像を選択することにより、当該画像がフルサイズで表示され得る。
 図8は、ユーザによって画像が選択された際の表示の遷移の一例を示す図である。図8に示すように、ユーザによって画像が選択された場合には、選択された画像が拡大され、かつ、トリミングされていた部分が復旧されて、当該画像の全体像が、ユーザによって視認される表示領域の全域に表示され得る。このようにして、ユーザは、表示パターンA~表示パターンDのいずれかに従って表示された画像の中から、気になった画像を適宜選択することにより、当該画像の全体像を観察することができる。
 (3.情報処理方法)
 図9を参照して、本実施形態に係る情報処理方法の処理手順について説明する。図9は、本実施形態に係る情報処理方法の処理手順の一例を示すフロー図である。なお、図9に示す各ステップにおける処理は、図1に示す情報処理装置10において実行される処理に対応する。情報処理装置10において実行される処理の詳細については図1を参照して既に説明しているため、以下の本実施形態に係る情報処理方法についての説明では、各ステップにおける処理についての概要のみを記載し、各処理の詳細については説明を省略する。
 図9を参照すると、本実施形態に係る情報処理方法では、まず、画像データが取得される(ステップS101)。ステップS101における処理は、図1に示す画像データ取得部111によって実行される処理に対応している。
 次に、取得された画像データの中から、表示画面に含める画像データが抽出される(ステップS103)。例えば、ステップS103における処理では、イベントクラスタリングによって画像データが分類され、イベントごとに所定の優先度に従って所定の数の画像データが抽出される。ステップS103における処理は、図1に示す画像データ抽出部112によって実行される処理に対応している。
 以降のステップS105~ステップS117における処理は、表示パターン決定部113によって実行される処理に対応している。ステップS105では、ステップS103における画像データ抽出時にイベントクラスタリングを実行しているかどうかが判断される。イベントクラスタリングが実行されていない場合には、表示パターンとして表示パターンDが決定される(ステップS107)。なお、上記(2.表示パターンの例)で説明したように、表示パターンDが採用される判断基準は、イベントクラスタリングを実行したか否かに限定されず、自動生成されたキャプションの内容や、抽出された画像の枚数等であってもよい。
 一方、ステップS105においてイベントクラスタリングが実行されていると判断された場合には、ステップS109に進む。ステップS109では、抽出された画像データの位置情報の分散の大きさが所定のしきい値以上かどうかが判断される。位置情報の分散の大きさが所定のしきい値以上である場合には、抽出された画像は互いに大きく離れた場所で撮影されたものであると考えられるため、抽出された画像データの中に、例えば旅行先等、ユーザの日常生活の行動範囲とは離れた場所で撮影された画像データが含まれている可能性が高い。従って、この場合には、表示パターンとして表示パターンBが決定される(ステップS111)。
 一方、ステップS109において位置情報の分散の大きさが所定のしきい値よりも小さいと判断された場合には、ステップS113に進む。ステップS113では、抽出された画像データの数が所定のしきい値以上かどうかが判断される。当該しきい値は、例えば「10」である。ただし、本実施形態はかかる例に限定されず、当該しきい値は、表示パターンA及び表示パターンCにおける具体的な画像の配置を考慮して、情報処理装置10の設計者又はユーザ等によって適宜設定されてよい。
 抽出された画像データの数が所定のしきい値以上である場合には、表示パターンとして表示パターンAが決定される(ステップS115)。抽出された画像データの数が所定のしきい値よりも少ない場合には、表示パターンとして表示パターンCが決定される(ステップS117)。
 ステップS105においてイベントクラスタリングが行われ、イベントごとに画像データが抽出されている場合には、イベントごとにステップS109~ステップS117における処理が行われ、イベントごとに表示パターンが決定される。
 ステップS107、ステップS111、ステップS115又はステップS117において(イベントごとの)表示パターンが決定されたら、ステップS119に進む。ステップS119では、決定された表示パターンを用いて表示画面が生成される。具体的には、ステップS119では、決定された各表示パターンに従って画像が配置された領域を時系列に従って上から下に向かって並べることにより、各表示パターンに従って画像群が連続的に配された表示画面が生成される。もちろん、1種類の表示パターンのみに従って配置された画像群によって、表示画面が構成されてもよい。なお、ステップS119における処理は、図1に示す表示画面生成部114によって実行される処理に対応している。
 以上、図9を参照して、本実施形態に係る情報処理方法の処理手順について説明した。
 (4.適用例)
 以上説明した本実施形態に係る情報処理装置10の適用例について説明する。例えば、情報処理装置10は、一のユーザによって保存された画像(写真等)を自動的に整理、編集し、編集された画像集(写真であればアルバム)を、他のユーザに対して配信するサービス(以下、画像データが写真データであるものをフォトデリバリーサービスと呼称する)に、好適に適用され得る。以下では、情報処理装置10がフォトデリバリーサービスに適用された場合における、システムの構成や、当該フォトデリバリーサービスを利用時にユーザに対して提供されるUIについて具体的に説明する。
 (4-1.システムの構成)
 図10及び図11を参照して、本実施形態に係る情報処理装置10がフォトデリバリーサービスに適用された場合のシステムの構成について説明する。図10は、本実施形態に係る情報処理装置10が適用され得るフォトデリバリーサービスの概要を示す図である。図11は、本実施形態に係る情報処理装置10がフォトデリバリーサービスに適用された場合のシステムの機能構成を示すブロック図である。
 まず、図10を参照して、本実施形態に係る情報処理装置10が適用され得るフォトデリバリーサービスの概要について説明する。図10に示すように、フォトデリバリーサービスでは、一のユーザがスマートフォン、デジタルカメラ等によって写真を撮影し、例えばネットワーク上のサーバに保存する。当該サーバは、上述した情報処理装置10に対応するものであり、保存された写真を適宜編集し、例えば1ヶ月ごとに写真がまとめられたフォトアルバム(上述した表示画面生成部114が生成する表示画面に対応する)を生成する。サーバは、生成したフォトアルバム(すなわち、表示画面についての情報)を他のユーザに配信する。当該他のユーザは、例えばPCやスマートフォン、タブレット、ネットワーク接続機能を有するテレビジョン装置等を用いて、フォトアルバムを閲覧することができる。
 このように、当該フォトデリバリーサービスによれば、例えば1ヶ月に1回等、定期的に、一のユーザが撮影した写真が編集されたフォトアルバムが他のユーザに対して配信される。以下の説明では、写真を撮影してサーバに保存するユーザのことを送り手とも呼称し、フォトアルバムが配信されるユーザのことを受け手とも呼称する。
 また、フォトデリバリーサービスには、閲覧した写真の中から受け手が選択したお気に入りの写真が、送り手に対して通知される機能が備えられてもよい。当該機能によれば、フォトアルバムを閲覧した受け手の反応を送り手が知ることができるので、送り手は、次回配信時のフォトアルバムを生成するための写真を撮影する際に、受け手の反応を参考にして写真を撮影することができる。
 また、受け手が選択したお気に入りの写真についての情報が、次回に配信されるフォトアルバムの生成時に反映されてもよい。例えば、次回に配信されるフォトアルバムを生成する際に、お気に入りの写真に含まれる人物を含む写真が優先的に抽出されてもよい。
 フォトデリバリーサービスの典型的な利用例としては、互いに離れた場所に住む家族間での利用が想定される。例えば、祖父母と、その子ども夫婦及び孫と、が互いに離れて住んでいる場合に、送り手である子ども夫婦が、普段の生活の中で撮影した自身の子ども(すなわち、祖父母から見た孫)の写真や自分たち家族の生活を表す写真を、サーバに保存する。受け手である祖父母は、定期的に配信されるフォトアルバムを閲覧することにより、離れて暮らす子ども夫婦や孫たちの様子を確認することができる。
 また、例えば、祖父母がフォトアルバムを閲覧した際に、孫の写真がお気に入りの写真として選択された場合には、当該内容を示す通知が子ども夫婦に対して通知され得る。当該通知を受け取った子ども夫婦は、次回配信時のフォトアルバムにはより多くの孫の写真が含まれるように、これからの撮影において孫の写真をより多く撮影する等の対応を取ることができる。これにより、祖父母は、次のフォトアルバムにおいて、より多くの孫の写真を閲覧することができる。
 次に、図11を参照して、本実施形態に係る情報処理装置10がフォトデリバリーサービスに適用された場合のシステムの機能構成について説明する。図11を参照すると、システム1は、情報処理装置10aと、送り手側の情報処理端末20と、受け手側の情報処理端末30と、から構成される。
 情報処理端末20、30は、例えばデスクトップPCや、タブレットPC、スマートフォン、ウェアラブルデバイス等である。ただし、情報処理端末20、30の種類はかかる例に限定されず、情報処理端末20、30は、ネットワークとの接続機能、及び写真を表示するための表示機能を少なくとも有すればよく、どのような種類の装置であってもよい。つまり、図示は省略するが、情報処理端末20、30は、情報処理装置10aと各種の情報をやり取りするための通信部や、各種の情報を視覚的に表示するための表示部、当該表示部の動作を制御する表示制御部等の機能を有する。これらの機能は、一般的な既存の情報処理端末に備えられる機能と同様であってよいため、ここではその詳細な説明を省略する。
 送り手は、情報処理端末20を介して、写真データを情報処理装置10aに保存する(送信する)。なお、情報処理端末20自体がカメラを有していてもよく、送り手は、情報処理端末20によって撮影した写真をそのまま情報処理装置10に送信してもよい。
 また、送り手は、情報処理装置10aによって生成されたフォトアルバムを情報処理端末20を介して閲覧することができる。この際、配信前のフォトアルバムについては、送り手は、例えば写真を差し替える等、情報処理端末20を介して当該フォトアルバムを編集することができてもよい。
 受け手は、情報処理端末30を介して、定期的に配信されるフォトアルバムを閲覧する。また、受け手は、情報処理端末30を介して、フォトアルバムの中からお気に入りの写真を選択し、その結果を情報処理装置10aに対してフィードバック(FB)することができる。
 なお、お気に入りの写真の選択は、例えばフォトアルバムにお気に入りの写真を選択する機能が設けられており、送り手によって明示的に行われてもよい。この場合には、例えば写真を5段階で評価する等、お気に入りの度合いを定量的に選択することができてもよい。
 あるいは、お気に入りの写真の選択は、フォトアルバムを閲覧している受け手の行動に応じて自動的に検出されてもよい。例えば、フォトアルバムを閲覧している最中に写真が選択されたか否か(すなわち、フルサイズで写真が閲覧されたか否か)や、フォトアルバムのスクロールが停止され情報処理端末30の表示領域に所定の時間以上写真が表示されたか否か等に応じて、情報処理端末30がお気に入りの写真を自動的に選択することができる。また、情報処理端末30に受け手の視線の検出機能が設けられていてもよく、情報処理端末30は、フォトアルバムにおいて所定の時間以上受け手の視線が集中された写真をお気に入りの写真として自動的に選択してもよい。情報処理端末30がお気に入りの写真を自動的に選択する場合には、例えば写真が選択された回数、写真が表示されていた時間、写真に対して視線が向かっていた時間等に基づいて、お気に入りの度合いが定量的に評価されてもよい。
 情報処理装置10aは、図1を参照して説明した情報処理装置10に対応するものである。情報処理装置10aは、送り手側の情報処理端末20から写真データを受信し、フォトアルバムを生成する。そして、情報処理装置10aは、生成したフォトアルバムを受け手側の情報処理端末30に対して配信する。また、情報処理装置10aは、受け手側の情報処理端末30からお気に入りの写真についてのFBの結果を受信し、当該FBの結果を送り手側の情報処理端末20に対して通知することができる。
 なお、情報処理装置10aは、図1を参照して説明した情報処理装置10に対して、後述するFB取得部115の機能が追加されたものに対応する。従って、以下の情報処理装置10aの機能構成についての説明では、既に説明した機能についてはその詳細な説明を省略し、上述した情報処理装置10と相違する事項について主に説明する。
 情報処理装置10aは、その機能として、制御部110aと、記憶部120と、を備える。また、制御部110aは、その機能として、画像データ取得部111と、画像データ抽出部112と、表示パターン決定部113と、表示画面生成部114と、FB取得部115と、を有する。
 記憶部120、画像データ取得部111、画像データ抽出部112、表示パターン決定部113及び表示画面生成部114の機能は、情報処理装置10におけるこれらの機能と略同様である。ただし、情報処理装置10aでは、画像データ取得部111は情報処理端末20から写真データを受信し、表示画面生成部114は情報処理端末30に対して生成した表示画面についての情報(すなわち、フォトアルバムについての情報)を送信する。また、表示パターン決定部113及び表示画面生成部114は、後述するお気に入りの写真についての情報を送り手に通知するためのフォトアルバムを生成する。
 FB取得部115は、情報処理端末30から、フォトアルバムの中から選択されたお気に入りの写真についての情報を取得する。お気に入りの写真の検出は、上述した手順によって情報処理端末30によって適宜実行され得る。
 FB取得部115は、お気に入りの写真についての情報を、画像データ抽出部112、表示パターン決定部113及び表示画面生成部114に提供する。画像データ抽出部112は、お気に入りの写真についての情報に基づいて、次回に配信されるフォトアルバムを生成するための写真データを抽出する際の判定基準を変更することができる。例えば、画像データ抽出部112は、お気に入りの写真に含まれる人物が写っている写真データがより多く抽出されるように、写真データを抽出する際の判定基準を変更する。
 また、表示パターン決定部113及び表示画面生成部114は、お気に入りの写真についての情報に基づいて、配信済みのフォトアルバムを修正し、送り手への通知用のフォトアルバムを新たに生成することができる。例えば、表示パターン決定部113及び表示画面生成部114は、フォトアルバム内の、受け手によって選択されたお気に入りの写真を強調表示する。当該強調表示は、例えば、お気に入りの写真を他の写真よりも大きく表示する又はお気に入りの写真に枠を付与する、等であり得る。
 また、FB取得部115は、お気に入りの写真についての情報を送り手側の情報処理端末20に送信する。例えば、FB取得部115は、表示パターン決定部113及び表示画面生成部114によって生成された通知用のフォトアルバムを情報処理端末20に配信する。当該通知用のフォトアルバムを閲覧した送り手は、例えば強調表示された写真を確認することにより、受け手が気に入った写真を容易に確認することができる。
 以上、システム1の構成について説明した。
 (4-2.UIの例)
 図12-図24を参照して、以上説明したシステム1において送り手及び受け手に対して提供されるUIの例について説明する。図12-図18及び図24は、送り手に対して提供されるUIに係る表示画面、すなわち、情報処理端末20に表示され得る表示画面を表している。また、図19-図23は、受け手に対して提供されるUIに係る表示画面、すなわち、情報処理端末30に表示され得る表示画面を表している。これらの各種のUIに係る表示画面は、情報処理装置10aによって生成され、情報処理端末20、30に送信されることにより、情報処理端末20、30の表示部を介してユーザに対して表示され得る。
 (4-2-1.フォトアルバム生成時(送り手側))
 (セットアップ時)
 図12-図16は、フォトデリバリーサービスのセットアップ時に送り手に対して提供されるUIに係る表示画面を示す図である。ここでは、一例として、情報処理端末20がPCである場合における表示例について図示している。情報処理端末20がPCである場合には、送り手が、例えばマウスを用いてポインタ等によって表示領域内のGUI(Graphical User Interface)部品を選択することにより各種の操作が行われることを想定したUIが提供され得る。なお、セットアップ時には、送り手によって、既に、撮り溜めた写真データが情報処理装置10aに随時保存されているとする。
 システム1を利用する際には、まず、図12に示すように、送り手に対してフォトデリバリーサービスの概要を示す画面が表示される。送り手が「開始」を示すアイコンをクリックすると、図13に示すような、配信に係る各種の情報を入力する画面に遷移する。送り手は、当該表示画面を介して、例えば、配信元を示す名前(家族の名前)、配信先の電子メールのアドレス、配信日等の情報を入力することができる。
 送り手が「次のページに進む」旨を示すアイコンをクリックすると、図14に示すような、フォトアルバムに含める人物を選択する画面に遷移する。当該画面では、その人物の顔を示す代表的な写真が表示されるとともに、その人物の名前を入力するための入力欄が表示される。当該顔写真は、例えば、情報処理装置10aによって、保存されている写真の中から、顔認識処理及び人物認識処理によって抽出されたものである。送り手は、写真に応じて適宜名前を入力し、顔と名前とを対応付ける。
 送り手が名前の入力が終了した旨のアイコン(「OK」を示すアイコン)をクリックすると、図15に示すような、顔と名前とのより詳細な対応付けを行う画面に遷移する。当該画面では、例えば、図14に示す表示画面において名前を入力した人物のうちの1人の人物(図示する例では「たろう」)について、情報処理装置10aが当該人物を表す写真であると判断した顔写真の候補が複数表示され得る。送り手は、これらの写真の中から、該当する人物を表す写真を選択する。情報処理装置10aによる顔認識処理及び人物認識処理が、必ずしも高精度に行われるとは限らないため、このような詳細な対応付けが行われることにより、その後、指定した人物を含むように写真データを抽出する処理において、当該処理の精度を向上させることができる。
 送り手が写真の選択が終了した旨のアイコン(「確定」を示すアイコン)をクリックすると、図16に示すような、フォトアルバムに含める人物をより詳細に選択する画面に遷移する。当該画面では、送り手は、フォトアルバムに含める写真データを抽出する際に主に抽出する人物、及び当該主に抽出する人物に関係する人物を選択することができる。
 以上でセットアップが終了する。図16に示す表示画面における選択結果に応じて、情報処理装置10aの画像データ抽出部112が、優先度を設定し、当該優先度に従って写真データを抽出する。以降、表示パターン決定部113及び表示画面生成部114が、上述した処理を実行し、フォトアルバムが生成されることとなる。
 ここで、情報処理端末20はPCでなくてもよく、例えばスマートフォン等のタッチパネルを有するデバイスであってもよい。情報処理端末20がタッチパネルを有するデバイスである場合には、送り手が、例えば指等の操作体を用いて表示領域内のGUI部品を選択することにより各種の操作が行われることを想定したUIが提供され得る。
 図17にその一例を示す。図17は、情報処理端末20がタッチパネルを有するデバイスである場合において、フォトデリバリーサービスのセットアップ時に提供されるUIに係る表示画面を示す図である。なお、図17では、一例として、情報処理端末20がスマートフォンである場合における表示を示している。
 図17に示す表示画面は、ユーザによる選択操作がマウスによるクリック操作から指によるタップ操作に変更されること以外は、図12-図16に示した、情報処理端末20がPCである場合における表示画面と略同一である。
 すなわち、図17に示すように、セットアップ時には、まず、フォトデリバリーサービスの概要を説明する画面(図12に示す表示画面に対応する)が表示される((a))。次いで、配信に係る各種の情報を入力する画面(図13に示す表示画面に対応する)が表示される((c))。なお、図12-図16では図示を省略していたが、配信に係る各種の情報を入力する画面に遷移する前に、図17に示すように、送り手をフォトデリバリーサービスに紐付けるサインインのための画面が表示されてもよい((b))。
 配信に係る各種の情報の入力が終了すると、フォトアルバムに含める人物を選択する画面(図16に示す表示画面に対応する)に遷移する((d))。なお、図17では図示を省略しているが、図14及び図15に示すような、顔写真と名前とを対応付けるための画面が適宜表示されてもよい。
 (フォトアルバム確認時)
 システム1では、情報処理装置10aによってフォトアルバムが生成された際に、当該フォトアルバムが配信される前に、送り手がその内容を確認可能な機能が設けられていてもよい。図18は、このような配信前のフォトアルバムの確認時に提供されるUIに係る表示画面を示す図である。ここでは、一例として、情報処理端末20がタッチパネルを有するデバイス(具体的にはスマートフォン)である場合における表示例について図示しているが、情報処理端末20がPCである場合であっても、送り手による操作方法が異なるだけで同様の画面が表示されてよい。
 図18を参照すると、例えば、フォトアルバムが生成された旨の情報及びフォトアルバムの配信までの日数を示す情報が、情報処理端末20に対して通知される((a))。当該通知がなされるタイミングは、例えば配信日の1週間前又は前日等、送り手によって適宜設定可能であってよい。
 送り手は、フォトデリバリーサービスにサインインし、生成されたフォトアルバムを確認するために、月ごとに生成されたフォトアルバムの表題のリストが表示された画面にアクセスすることができる((b))。図示する例では、リストの最上段の「2014 August」に示されるフォトアルバムは配信前であり、リスト上に配信日までの日数が表示されている。送り手が、当該リストをスクロールし、当該リストの中から内容を確認したいフォトアルバムの表題を選択することにより、対応するフォトアルバムの内容が表示され得る。
 例えば、配信前のフォトアルバムを確認するために、送り手が「2014 August」を選択したとする。この場合には、図示するように、2014年8月のフォトアルバムが表示される((c))。送り手は、上下方向に表示をスクロールさせながら、当該フォトアルバムの内容を閲覧し、確認することができる。
 また、当該画面において、送り手は、フォトアルバムを適宜編集することができる。例えば、フォトアルバムに含まれる写真を選択することにより、当該写真を編集するためのアイコン509が表示される((d))。例えば、図示するように、選択された矩形の写真の4隅に、トリミング、削除、明度の変更、回転等を示すアイコン509がそれぞれ表示され得る。送り手は、これらのアイコン509を適宜選択することにより、その写真を削除して代わりに他の写真を含めたり、その写真に対する各種の編集処理(例えば、トリミングの範囲を変更や、明度の変更、回転等)を行ったりすることができる。なお、アイコンの種類(すなわち、写真に対する編集処理の種類)はかかる例に限定されず、一般的に写真を編集する際に行われる各種の処理が実行可能であってよい。
 送り手によってフォトアルバムが編集された場合には、その編集内容が反映されたフォトアルバムが最新のフォトアルバムとして情報処理装置10aに保存される。そして、設定された配信日に、当該最新のフォトアルバムが受け手に対して配信されることとなる。
 以上、フォトアルバムの生成時において送り手に対して提供されるUIについて説明した。
 (4-2-2.フォトアルバム閲覧時(受け手側))
 図19及び図20は、フォトアルバムの閲覧時に受け手に対して提供されるUIに係る表示画面を示す図である。ここでは、一例として、情報処理端末30がPCである場合における表示例について図示している。情報処理端末30がPCである場合には、受け手が、例えばマウスを用いてポインタ等によって表示領域内のGUI部品を選択することにより各種の操作が行われることを想定したUIが提供され得る。
 フォトアルバムが配信されると、例えば当該フォトアルバムが配信された旨の電子メールが、情報処理装置10aから受け手側の情報処理端末30に対して送信される。当該電子メールの本文には、例えばリンクが貼付されており、受け手が当該リンクを選択することにより、フォトアルバムを閲覧するためのブラウザが立ち上がる。
 図19は、ブラウザが立ち上がり、情報処理端末30の表示画面にフォトアルバムが表示された様子を示している。受け手は、上下方向に表示をスクロールさせながら、当該フォトアルバムの内容を閲覧し、確認することができる。受け手が当該フォトアルバム内の写真のうちの1つを選択すると、図20に示すように、その選択された写真が拡大されてフルサイズで表示される。
 ここで、情報処理端末30はPCでなくてもよく、例えばタブレットPC等のタッチパネルを有するデバイスであってもよい。情報処理端末30がタッチパネルを有するデバイスである場合には、受け手が、例えば指等の操作体を用いて表示領域内のGUI部品を選択することにより各種の操作が行われることを想定したUIが提供され得る。
 図21-図23にその一例を示す。図21-図23は、情報処理端末30がタッチパネルを有するデバイスである場合において、フォトアルバムの閲覧時に受け手に対して提供されるUIに係る表示画面を示す図である。なお、図21-図23では、一例として、情報処理端末30がタブレットPCである場合における表示を示している。
 図21-図23に示す表示画面は、ユーザによる操作がマウスによる操作から指等によるタッチパネルを介した操作に変更されること以外は、図19及び図20に示した、情報処理端末30がPCである場合における表示画面と略同一である。
 すなわち、例えば、受け手が、フォトアルバムの配信を通知する電子メールに含まれるリンクを選択することにより、フォトアルバムを閲覧するためのブラウザが立ち上がる。上記のPCの場合には図示を省略していたが、ブラウザが立ち上がり、フォトアルバムを閲覧するための画面が情報処理端末30に表示される際には、まず、図21に示すように、月ごとに生成されたフォトアルバムの表題のリストを示す画面が表示されてもよい。受け手が、当該リストをスクロールし、当該リストの中から内容を確認したいフォトアルバムの表題を選択することにより、対応するフォトアルバムの内容が表示され得る。
 例えば、受け手が「2014 August」を選択したとする。この場合には、図22に示すように、2014年8月のフォトアルバム(図19に示す表示画面に対応する)が表示される。受け手は、上下方向に表示をスクロールさせながら、当該フォトアルバムの内容を閲覧し、確認することができる。また、受け手が当該フォトアルバム内の写真のうちの1つを選択すると、図23に示すように、その選択された写真が拡大されてフルサイズで表示される(図20に示す表示画面に対応する)。
 以上、フォトアルバムの閲覧時に受け手に対して提供されるUIについて説明した。
 (4-2-3.フィードバック時(送り手側))
 上述したように、システム1では、受け手がフォトアルバムを閲覧した際に、手動で又は自動的に受け手のお気に入りの写真が検出され、当該お気に入りの写真についての情報が送り手に対してフィードバックされる機能が設けられていてもよい。図24は、お気に入りの写真についての情報がフィードバックされる際に、送り手に対して提供されるUIに係る表示画面を示す図である。なお、図24では、一例として、情報処理端末20がスマートフォンである場合における表示を示しているが、情報処理端末20がPCである場合であっても、送り手による操作方法が異なるだけで同様の画面が表示されてよい。
 受け手がフォトアルバムを閲覧すると、例えば、図24に示すように、受け手がフォトアルバムを閲覧した旨の情報が、送り手側の情報処理端末20に対して通知される((a))。当該通知を示すアイコンを選択すると、フォトアルバムを閲覧するためのブラウザが立ち上がり、例えば月ごとに生成されたフォトアルバムの表題のリストが表示された画面が表示される((b))。送り手は、当該リストをスクロールし、当該リストの中から、閲覧したいフォトアルバムを選択することができる。
 例えば、送り手が、最新のフォトアルバムである「2014 August」を選択すると、2014年8月のフォトアルバムが表示される((c))。送り手は、スクロール表示させながら、当該フォトアルバムを閲覧することができる。ここで、当該フォトアルバムでは、受け手のお気に入りの写真が強調表示されている。図示する例では、お気に入りの写真が、他の写真よりも大きく表示されるとともに、枠が付されて(太線によって囲まれて)表示されている。フォトアルバムを閲覧した送り手は、当該強調表示を参照することにより、受け手が気に入った写真を確認することができる。このように、フォトアルバムを閲覧した受け手から何らかのFBがあった場合に、送り手も同様にフォトアルバムを閲覧していくことにより、どの写真にどのような反応があったのか、受け手のアクションを追体験するように確認することができる。
 以上、お気に入りの写真のフィードバック時に送り手に対して提供されるUIについて説明した。
 (5.変形例)
 以上説明した実施形態におけるいくつかの変形例について説明する。
 (5-1.表示パターンBにおける他の表示例)
 図25-図30を参照して、表示パターンBにおける他の表示例について説明する。図25-図30は、表示パターンBにおける他の表示例を示す図である。上述した図4に示す表示例では、表示パターンBでは、地図上の撮影場所と、当該撮影場所で撮影された画像と、の関連が、両者が線で結ばれることによって表現されていた。ただし、表示パターンBはかかる例に限定されない。
 例えば、図25に示すように、地図上の撮影場所に対応する位置に、画像が直接表示されてもよい。当該表示例によれば、図4に示すように線で結ばれて関連が示される場合に比べて、表示画面を閲覧しているユーザは、より直感的に、撮影場所と画像との結び付きを把握することができる。
 また、この場合、図26に示すように、地図上に撮影者の移動経路が併せて表示されてもよい。当該移動経路は、例えば、情報処理装置10、10aが画像データの位置情報を撮影時刻順につなぎ合わせることによって作成されてもよいし、ユーザが所持するウェアラブルデバイスや写真を撮影したデバイス自体の位置情報の履歴を情報処理装置10、10aが取得することにより、当該位置情報の履歴に基づいて作成されてもよい。また、図27に示すように、撮影場所と画像との関連が両者が線で結ばれることによって表現される場合においても、地図上に撮影者の移動経路が併せて表示されてもよい。移動経路が併せて表示されることにより、表示パターンを閲覧しているユーザは、各画像とともに撮影者の移動の軌跡を認識することができる。
 なお、図25-図27に示すように拡大された地図上に画像群が表示される場合には、最新の画像(すなわち表示されている画像の中で最も遅い時刻に撮影された画像)が表示領域内の略中心に位置するように、背景の地図が動いて表示されてもよい。これにより、表示パターンを閲覧しているユーザは、撮影者の移動の軌跡をより直感的に認識することができる。また、その際には、図26及び図27に示すように、移動経路が併せて表示されると、移動に応じた地図の変化が、閲覧しているユーザにとってとり把握しやすくなる。
 ここで、表示パターンBでは、図7A-図7Iを参照して説明したように、上下方向のスクロール操作によって表示が順次切り換わるが、他の表示パターンとは異なり表示が単純に上下方向に移動する訳ではないため、必ずしもスクロール操作の方向と表示の変化の方向とが連動していない。従って、ユーザによっては操作に違和感を覚える可能性がある。そこで、表示パターンBでは、スクロール操作に連動して画像が移動するように、その表示が制御されてもよい。これにより、ユーザは、スクロール操作をしている感覚を視覚的にも得ることができ、ユーザの操作性を向上させることができる。
 図28は、このようなスクロール操作に連動して画像が移動する場合の一表示例を示している。図28では、一例として、表示全体を上方向に送るようなスクロール操作に応じて、あたかも慣性力が働いているかのように、スクロール操作の方向に抵抗するように画像が下方向に揺れるように僅かに移動する様子を図示している。ただし、画像の移動を表示する方法はかかる例に限定されず、ユーザにスクロール操作を行っていることが実感され得るような方法であれば、画像の移動はどのように表現されてもよい。
 また、スクロール操作時のユーザの操作性を向上させる他の表示方法として、図29に示すように、表示パターン内に現在閲覧している部分が表示パターン全体の中のどの位置に当たるかを示すインジケータ511が表示されてもよい。図示する例では、複数の丸が上下方向に並べられて表示されるとともに、現在閲覧している部分に対応する丸が他の丸よりも大きく表示されるように、インジケータ511が構成されている。
 なお、インジケータ511の丸の数は、表示パターン上に配置される画像の数と対応していてもよい。そして、例えば図7A-図7Iに示すように画像が徐々に拡大されながら表示される場合には、各画像の拡大と連動して、各画像に対応する丸が拡大されてもよい。この場合には、画像が拡大表示される順番、すなわち時系列順に対応して、各画像に対応する丸が上から下に向かって並べられ得る。つまり、画像が順次拡大表示されていくのにつれて、インジケータ511において拡大表示される丸の位置が上から下に向かって移動していくこととなる。
 なお、インジケータ511はかかる例に限定されず、他の形状であってもよい。図30には、インジケータ511の他の表示例を示している。図30に示すように、インジケータ511は、例えば、複数の丸が上下方向に並べられて表示されるとともに、その表示の中を他の丸が、あたかも液滴が移動するかのように、スクロール操作に連動して上下方向に移動して表示されるように、構成されてもよい((a))。あるいは、例えば、インジケータ511は、複数の丸が上下方向に並べられるとともにそれらの丸が直線によって接続されて表示され、現在閲覧している部分に対応する丸が他の丸よりも大きく表示されるように、構成されてもよい((b))。その他、一般的にスクロール表示の際にインジケータとして用いられているあらゆる表示が、インジケータ511に適用されてよい。
 ここで、上記のように、表示パターンBでは、必ずしもスクロール操作の方向と表示の変化の方向とが連動しないため、ユーザにとっては、スクロール表示の終点(表示パターンの最も下端)が分かり難いという問題も生じ得る。上述したインジケータ511を設けることにより、このような終点が分かり難いという問題も解消し得る。なお、インジケータ511とともに、又はインジケータ511に代えて、スクロール表示の終点をユーザに対して知らせるUIが提供されてもよい。当該UIとしては、例えば、スクロール表示が終点に達した場合に下端を光って表示させる、スクロール表示が終点に達した場合に跳ね返るように表示全体を移動させる(いわゆるバウンスバック)等、一般的にスクロール表示が終点を通知するために用いられている各種のUIが用いられてよい。
 (5-2.画像抽出処理及び表示パターン決定処理の基準)
 画像データ抽出部112が画像データを抽出する際の基準、及び表示パターン決定部113が表示パターンを決定する際の基準は、上記実施形態で記載したものに限定されない。画像データ抽出部112及び表示パターン決定部113は、ユーザの行動履歴や、過去に取得された画像データの履歴、受け手によるFBの結果等を総合的に勘案して、抽出する画像や表示パターンを決定することができる。
 例えば、情報処理装置10、10aでは、ユーザの行動履歴及び/又は画像データの履歴に基づいて、ユーザが普段どこで画像を多く取得しているか、ユーザが画像を撮影した場所に赴いた頻度、過去に同じ場所で同様の画像が撮影されているかどうか、1つのイベント内で撮影された画像の数、自宅からのユーザの移動距離、1つのイベント内でのユーザの移動距離、1つのイベント内での画像の撮影場所の密集度、1つのイベント内での画像の撮影時刻の間隔等が分析され得る。
 例えば、表示パターン決定部113は、位置情報の散らばりかただけではなく、当該分析結果も加味して、ユーザが日常生活の行動範囲からかなり遠くの場所まで行っていること(すなわち、旅行に行っていること)を推定し、表示パターンとして表示パターンBを決定することができる。
 また、例えば、表示パターン決定部113は、上記分析結果に基づいて、対象としている画像群がユーザがサイクリングに行ったときに撮影された画像群等、「移動」を目的としたイベントにおいて撮影された画像群であると推定される場合には、当該画像群に対して、表示パターンBを採用する。このような「移動」を目的としたイベントでは、移動中の景色の変化を見たいという要望があると考えられるため、地図と画像とが関連付けて表示される表示パターンBが好適に採用され得るのである。なお、この際、例えばサイクリング中であっても、観光地に立ち寄って画像を撮影した場合等、所定の地点で多くの画像が撮影されている場合(所定の地点での画像の撮影場所の密集度が大きい場合)には、図4に示すようにその撮影場所から伸びる線と画像とを結び付けて両者の関連付けを示したり、地図が拡大されて表示されたり等、画像の視認性を向上するためのレイアウト上の種々の工夫がなされてよい。
 また、例えば、表示パターン決定部113は、上記分析結果に基づいて、対象としている画像群がユーザが工作教室に参加したときに撮影された画像群等、移動後の場所での「行動」を目的としたイベントにおいて撮影された画像群であると推定される場合には、当該画像群に対して、表示パターンDを採用する。このような「行動」を目的としたイベントでは、どのような場所かを示す画像ではなく、「行動」の様子や結果を示す画像(上記の例であれば工作の様子や作成された工作物を示す画像)を見たいという要望があると考えられるため、画像が比較的大きく表示されるとともに、これらの画像のキャプションが表示され得る表示パターンDが好適に採用され得るのである。
 また、例えば、表示パターン決定部113は、上記分析結果に基づいて、対象としている画像群が、目的地まで移動している最中において、及び目的地において、それぞれ同程度撮影された画像群である場合(例えば、自宅から祖父母の家に向かった場合等)には、当該画像群に対して、表示パターンB及び表示パターンDが組み合わされたものを採用する。例えば、表示パターン決定部113は、自宅から目的地に移動している間に撮影された画像に対しては、移動の履歴と画像とを関連付けるために、表示パターンBを採用する。そして、表示パターン決定部113は、目的地において撮影された画像に対しては、当該目的地の様子をより詳細に示すために、表示パターンCを採用する。
 また、画像データ抽出部112は、上記分析結果に基づいて、過去に同じ場所で同様の画像が撮影されている場合には、当該画像データを抽出の対象としないようにすることができる。
 あるいは、画像データ抽出部112及び表示パターン決定部113は、受け手によるFBの結果に基づいて、お気に入りの画像と類似する画像を抽出する割合を増やしたり、当該お気に入りと選択された画像と類似する画像が表示パターン内に表示される大きさを他の画像よりも大きくしたりすることができる。
 (5-3.スクロール操作)
 本実施形態においては、表示画面を閲覧する際のスクロール操作を行うための方法は一意に限定されず、各種の方法によって行われてよい。例えば、情報処理端末20、30が、マウスによって操作入力を行うものである場合には、ポインタによるインジケータバーの移動、マウスのホイールの回転等によって、スクロール操作が行われてよい。また、例えば、情報処理端末20、30が、タッチパネルによって操作入力を行うものである場合には、上下方向へのドラッグ操作等によって、スクロール操作が行われてよい。また、例えば、情報処理端末20、30が、十字キー等の方向を指示し得る入力デバイスを有する場合には、当該入力デバイスを介して、スクロール操作が行われてよい。
 あるいは、情報処理端末20、30にユーザの視線検出機能が設けられている場合には、ユーザが視線を上下方向に移動させることによってスクロール操作が行われてもよい。また、情報処理端末20、30にユーザの動きを検出する機能が設けられている場合には、ユーザがジェスチャを行うことによってスクロール操作が行われてもよい。また、情報処理端末20、30にジャイロセンサ等を用いて自身の傾きを検出する機能が設けられている場合には、ユーザが情報処理端末20、30を傾ける動作を行うことによってスクロール操作が行われてもよい。
 更に、表示画面のスクロール表示は、必ずしもユーザのスクロール操作に応じて行われなくてもよく、表示画面が自動的に所定の速度でスクロール表示されてもよい。この場合には、ユーザは、例えばマウスのクリックやタッチパネルへのタップ操作等、適当な操作により、任意のタイミングでスクロール表示を停止することができてもよい。
 (5-4.表示装置)
 本実施形態では、情報処理端末20、30における情報の表示方法、特に表示画面(フォトアルバム)の表示方法は、一意に限定されず、各種の表示方法が用いられてよい。例えば、情報処理端末20、30は、ディスプレイ装置を有し、当該ディスプレイ装置の表示画面にフォトアルバム等の各種の情報を表示してよい。当該ディスプレイ装置としては、例えばCRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、EL(Electroluminescence)ディスプレイ装置等、各種の公知のディスプレイ装置が用いられてよい。
 あるいは、情報処理端末20、30は、プロジェクター装置を有し、当該プロジェクター装置によってスクリーン又は壁面等にフォトアルバム等の各種の情報を投影して表示してもよい。
 あるいは、情報処理端末20、30は、テーブルトップのインタラクティブシステムと組み合わされてもよく、フォトアルバム等の各種の情報をテーブルトップに表示してもよい。テーブルトップのインタラクティブシステムとは、例えばテーブルの天面に上方から映像を投影するとともに、当該天面上でのユーザの手の動き等をセンサによって検出することにより、ユーザが、当該天面上に表示された仮想的なオブジェクトに対して直接各種の操作を実行可能なシステムである。例えば、テーブルトップに表示されたフォトアルバムに対する直接的なジェスチャ(例えば表示されたフォトアルバムの上で、手をフォトアルバムの上下方向に沿って動かす動作等)によって、フォトアルバムのスクロール操作が行われ得る。
 あるいは、情報処理端末20、30は、AR(Augmented Reality)技術を用いて、現実の空間上にフォトアルバム等の各種の情報をオーバーレイ表示してもよい。例えば、情報処理端末20、30は、周囲を撮影可能なカメラとディスプレイ装置を有し、当該カメラによって撮影した周囲の空間をそのディスプレイ装置の表示画面に表示するとともに、当該表示画面にフォトアルバム等をオーバーレイ表示する。あるいは、情報処理端末20、30は、眼鏡型のウェアラブルデバイスや、透過型のHMDであってよく、その表示面にフォトアルバム等を表示することにより、ユーザが当該表示面を介して直接観察している周囲の空間上に当該フォトアルバム等をオーバーレイ表示してもよい。
 また、AR技術を用いて空間上にフォトアルバム等がオーバーレイ表示される場合には、当該空間内でのユーザの手等の動きがセンサによって検出され、例えばオーバーレイ表示されている仮想的なオブジェクトに対して、ユーザが直接各種の操作を実行可能であってよい。例えば、空間上に表示されたフォトアルバムに対する直接的なジェスチャ(例えば表示されたフォトアルバムの上で、手をフォトアルバムの上下方向に沿って動かす動作等)によって、フォトアルバムのスクロール操作が行われ得る。
 (6.ハードウェア構成)
 図31を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図31は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図31に示す情報処理装置900は、図1に示す情報処理装置10、図11に示す情報処理装置10a、及び図11に示す情報処理端末20、30を実現し得るものである。
 情報処理装置900は、CPU901、ROM(Read Only Memory)903及びRAM(Random Access Memory)905を備える。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、通信装置921、ドライブ923及び接続ポート925を備えてもよい。情報処理装置900は、CPU901に代えて、又はこれとともに、DSP若しくはASIC等の処理回路を有してもよい。
 CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919又はリムーバブル記録媒体929に記録された各種のプログラムに従って、情報処理装置900内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行時のパラメータ等を一次記憶する。CPU901、ROM903及びRAM905は、CPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。本実施形態では、例えばCPU901が所定のプログラムに従って動作することにより、上述した情報処理装置10、10a及び情報処理端末20、30の各機能が実現され得る。CPU901は、図1及び図11に示す制御部110、110aに対応し得るものである。
 ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス911に接続されている。
 入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等、ユーザによって操作される装置によって構成される。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置(いわゆる、リモコン)であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器931であってもよい。更に、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置900のユーザは、この入力装置915を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。本実施形態では、ユーザによって、入力装置915を介して、例えば、表示画面(フォトアルバム)を閲覧するためのスクロール操作等が行われ得る。
 出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置917は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。本実施形態では、当該表示装置に、例えば表示画面(フォトアルバム)が表示され得る。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
 ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。本実施形態では、ストレージ装置919は、図1及び図11に示す記憶部120に対応し得るものである。
 通信装置921は、例えば、ネットワーク927に接続するための通信デバイス等で構成された通信インターフェースである。通信装置921は、例えば、有線若しくは無線LAN(Local Area Network)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置921は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置921は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置921に接続されるネットワーク927は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。本実施形態では、例えば、情報処理装置10、10a及び情報処理端末20、30が、通信装置921によって、ネットワーク927を介して互いに通信可能に接続され得る。
 ドライブ923は、記録媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ923は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体929に記録されている情報を読み出して、RAM905に出力する。また、ドライブ923は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体929に情報を書き込むことも可能である。リムーバブル記録媒体929は、例えば、DVDメディア、HD-DVDメディア、Blu-ray(登録商標)メディア等である。また、リムーバブル記録媒体929は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ又はSDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体929は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。本実施形態では、CPU901によって処理される各種の情報が、ドライブ923によって、リムーバブル記録媒体929から読み出されたり、リムーバブル記録媒体929に書き込まれたりしてもよい。
 接続ポート925は、機器を情報処理装置900に直接接続するためのポートである。接続ポート925の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート及びSCSI(Small Computer System Interface)ポート等がある。接続ポート925の別の例として、RS-232Cポート、光オーディオ端子及びHDMI(登録商標)(High-Definition Multimedia Interface)ポート等がある。この接続ポート925に外部接続機器931を接続することで、情報処理装置900は、外部接続機器931から直接各種のデータを取得したり、外部接続機器931に各種のデータを提供したりする。本実施形態では、CPU901によって処理される各種の情報が、接続ポート925を介して、外部接続機器931から取得されたり、外部接続機器931に出力されたりしてもよい。
 なお、図示は省略するが、情報処理装置900には、カメラ(撮像装置)及び/又はセンサが更に設けられてもよい。情報処理装置900では、当該カメラによって撮影された写真に基づいて、フォトアルバムが生成され得る。また、当該センサは、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ、GPS(Global Positioning System)センサ等の各種のセンサであってよい。情報処理装置900では、これらのセンサによる検出値に基づいて、ユーザの行動履歴が取得されたり、スクロール操作が行われたりしてよい。
 以上、本実施形態に係る情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
 なお、上述のような本実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 (7.補足)
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的なものではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
 例えば、上記実施形態では、表示パターンBにおいて表示される地図は、例えば旅行先の地図等、ユーザが行った場所に係る地図であったが、本技術はかかる例に限定されない。例えば、複数の画像(写真)は、内視鏡によって撮影されたものであり、当該地図は、当該内視鏡による写真の撮影場所を示す人体の地図であってもよい。この場合には、患者の体腔内の場所と、当該場所で撮影された写真とが関連付けて表示され得るため、医師又は患者自身が内視鏡による検査結果を参照する際に、両者の関係性を直感的に把握することができ、検査結果の確認がより容易になる。なお、当該内視鏡は、いわゆるカプセル内視鏡であってもよい。
 また、上述したシステム1は、受け手の様子(健康状態)をモニタするために用いられてもよい。例えば、システム1に、受け手が配信されたフォトアルバムを閲覧した際に、その閲覧した旨の通知が送り手に対してなされる機能が搭載されていてよい。例えば、送り手が息子夫婦であり、受け手が祖父母である場合に、フォトアルバムが配信されたにもかかわらず、送り手の下に上記通知が届かない場合には、受け手がフォトアルバムを確認していない可能性があり、受け手の身に何か異常が発生している恐れがある。このように、システム1は、離れて暮らす高齢者に対する、いわゆる「見守りシステム」として機能してもよい。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)複数の画像の表示パターンを決定する表示パターン決定部、を備え、前記表示パターン決定部は、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンを決定する、情報処理装置。
(2)前記表示パターン決定部は、前記複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンを決定する、前記(1)に記載の情報処理装置。
(3)前記表示パターン決定部は、前記位置情報の散らばりかたが所定の基準よりもばらついていると判断されることに応じて、前記複数の画像が地図とともに配置された表示パターンを決定する、前記(2)に記載の情報処理装置。
(4)前記複数の画像にそれぞれ紐付けられた位置情報は、前記複数の画像が取得された場所を示す位置情報であり、前記表示パターン決定部は、前記複数の画像を作成したユーザの行動履歴に基づいて、前記所定の基準を決定する、前記(3)に記載の情報処理装置。
(5)前記表示パターン決定部は、前記行動履歴に基づいて求められるユーザが所定の期間内に前記複数の画像を作成した場所に行った頻度に応じて、当該頻度が少ない場所で取得された前記複数の画像に対して前記地図とともに配置される表示パターンが決定されるように、前記所定の基準を決定する、前記(4)に記載の情報処理装置。
(6)ユーザが前記複数の画像を作成した場所に行った頻度を求める際の前記所定の期間は、現在時点から遡った所定の期間であり、随時更新される、前記(5)に記載の情報処理装置。
(7)前記表示パターン決定部は、前記行動履歴に基づいて推定されるユーザの日常生活での行動範囲に対応する値を、前記所定の基準として決定する、前記(4)に記載の情報処理装置。
(8)前記複数の画像が地図とともに配置された表示パターンでは、前記複数の画像は、前記地図上における前記複数の画像の各々の前記位置情報に対応する場所とそれぞれ関連付けて配置される、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(9)前記複数の画像は、前記地図上の前記位置情報に対応する場所上にそれぞれ配置される、前記(8)に記載の情報処理装置。
(10)前記複数の画像は、前記地図上の前記位置情報に対応する場所とそれぞれ線によって結ばれて表示される、前記(8)に記載の情報処理装置。
(11)前記複数の画像が地図とともに配置された表示パターンに係る表示がスクロールされる際に、前記複数の画像が、前記複数の画像にそれぞれ紐付けられた時刻情報に基づいて、スクロールに応じて時系列に沿って順次表示される、前記(1)~(10)のいずれか1項に記載の情報処理装置。
(12)前記複数の画像がスクロールに応じて順次表示される際に、直近で表示された前記画像の前記位置情報に対応する場所が、ユーザが閲覧している表示領域の略中央に位置するように、前記地図の表示が変化する、前記(11)に記載の情報処理装置。
(13)前記スクロールの進捗具合を示すインジケータが併せて表示される、前記(11)又は(12)に記載の情報処理装置。
(14)前記複数の画像にそれぞれ紐付けられた位置情報は、前記複数の画像が作成された場所を示す位置情報であり、前記地図上に、前記複数の画像が作成された際のユーザの移動経路が表示される、前記(1)~(13)のいずれか1項に記載の情報処理装置。
(15)前記複数の画像は写真であり、前記複数の画像にそれぞれ紐付けられた位置情報は前記写真の撮影場所を示す位置情報であり、前記複数の画像にそれぞれ紐付けられた時刻情報は前記写真の撮影時刻を示す時刻情報である、前記(1)~(14)のいずれか1項に記載の情報処理装置。
(16)前記複数の画像が所定の基準に従ったカテゴリに分類され、前記表示パターン決定部は、前記カテゴリごとに前記表示パターンを決定する、前記(2)~(15)のいずれか1項に記載の情報処理装置。
(17)前記表示パターン決定部によって決定された前記カテゴリごとの前記表示パターンを組み合わせることにより、前記複数の画像が前記カテゴリごとにかつ時系列順に並べられた表示画面を生成する表示画面生成部、を更に備える、前記(16)に記載の情報処理装置。
(18)前記カテゴリの分類は、イベントクラスタリングによって行われる、前記(16)又は(17)に記載の情報処理装置。
(19)プロセッサが、複数の画像の表示パターンを決定すること、を含み、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンが決定される、情報処理方法。
(20)コンピュータに、複数の画像の表示パターンを決定する機能、を実現させ、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンが決定される、プログラム。
 1  システム
 10、10a  情報処理装置
 20、30  情報処理端末
 110、110a  制御部
 111  画像データ取得部
 112  画像データ抽出部
 113  表示パターン決定部
 114  表示画面生成部
 115  FB取得部
 120  記憶部

Claims (20)

  1.  複数の画像の表示パターンを決定する表示パターン決定部、
     を備え、
     前記表示パターン決定部は、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンを決定する、
     情報処理装置。
  2.  前記表示パターン決定部は、前記複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンを決定する、
     請求項1に記載の情報処理装置。
  3.  前記表示パターン決定部は、前記位置情報の散らばりかたが所定の基準よりもばらついていると判断されることに応じて、前記複数の画像が地図とともに配置された表示パターンを決定する、
     請求項2に記載の情報処理装置。
  4.  前記複数の画像にそれぞれ紐付けられた位置情報は、前記複数の画像が取得された場所を示す位置情報であり、
     前記表示パターン決定部は、前記複数の画像を作成したユーザの行動履歴に基づいて、前記所定の基準を決定する、
     請求項3に記載の情報処理装置。
  5.  前記表示パターン決定部は、前記行動履歴に基づいて求められるユーザが所定の期間内に前記複数の画像を作成した場所に行った頻度に応じて、当該頻度が少ない場所で取得された前記複数の画像に対して前記地図とともに配置される表示パターンが決定されるように、前記所定の基準を決定する、
     請求項4に記載の情報処理装置。
  6.  ユーザが前記複数の画像を作成した場所に行った頻度を求める際の前記所定の期間は、現在時点から遡った所定の期間であり、随時更新される、
     請求項5に記載の情報処理装置。
  7.  前記表示パターン決定部は、前記行動履歴に基づいて推定されるユーザの日常生活での行動範囲に対応する値を、前記所定の基準として決定する、
     請求項4に記載の情報処理装置。
  8.  前記複数の画像が地図とともに配置された表示パターンでは、前記複数の画像は、前記地図上における前記複数の画像の各々の前記位置情報に対応する場所とそれぞれ関連付けて配置される、
     請求項1に記載の情報処理装置。
  9.  前記複数の画像は、前記地図上の前記位置情報に対応する場所上にそれぞれ配置される、
     請求項8に記載の情報処理装置。
  10.  前記複数の画像は、前記地図上の前記位置情報に対応する場所とそれぞれ線によって結ばれて表示される、
     請求項8に記載の情報処理装置。
  11.  前記複数の画像が地図とともに配置された表示パターンに係る表示がスクロールされる際に、前記複数の画像が、前記複数の画像にそれぞれ紐付けられた時刻情報に基づいて、スクロールに応じて時系列に沿って順次表示される、
     請求項1に記載の情報処理装置。
  12.  前記複数の画像がスクロールに応じて順次表示される際に、直近で表示された前記画像の前記位置情報に対応する場所が、ユーザが閲覧している表示領域の略中央に位置するように、前記地図の表示が変化する、
     請求項11に記載の情報処理装置。
  13.  前記スクロールの進捗具合を示すインジケータが併せて表示される、
     請求項11に記載の情報処理装置。
  14.  前記複数の画像にそれぞれ紐付けられた位置情報は、前記複数の画像が作成された場所を示す位置情報であり、
     前記地図上に、前記複数の画像が作成された際のユーザの移動経路が表示される、
     請求項1に記載の情報処理装置。
  15.  前記複数の画像は写真であり、前記複数の画像にそれぞれ紐付けられた位置情報は前記写真の撮影場所を示す位置情報であり、前記複数の画像にそれぞれ紐付けられた時刻情報は前記写真の撮影時刻を示す時刻情報である、
     請求項1に記載の情報処理装置。
  16.  前記複数の画像が所定の基準に従ったカテゴリに分類され、
     前記表示パターン決定部は、前記カテゴリごとに前記表示パターンを決定する、
     請求項2に記載の情報処理装置。
  17.  前記表示パターン決定部によって決定された前記カテゴリごとの前記表示パターンを組み合わせることにより、前記複数の画像が前記カテゴリごとにかつ時系列順に並べられた表示画面を生成する表示画面生成部、を更に備える、
     請求項16に記載の情報処理装置。
  18.  前記カテゴリの分類は、イベントクラスタリングによって行われる、
     請求項16に記載の情報処理装置。
  19.  プロセッサが、複数の画像の表示パターンを決定すること、
     を含み、
     前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンが決定される、
     情報処理方法。
  20.  コンピュータに、
     複数の画像の表示パターンを決定する機能、
     を実現させ、
     前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンが決定される、
     プログラム。
PCT/JP2016/065999 2015-06-30 2016-05-31 情報処理装置、情報処理方法及びプログラム WO2017002505A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/738,707 US20180181281A1 (en) 2015-06-30 2016-05-31 Information processing apparatus, information processing method, and program
JP2017526225A JPWO2017002505A1 (ja) 2015-06-30 2016-05-31 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015131362 2015-06-30
JP2015-131362 2015-06-30

Publications (1)

Publication Number Publication Date
WO2017002505A1 true WO2017002505A1 (ja) 2017-01-05

Family

ID=57609502

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/065999 WO2017002505A1 (ja) 2015-06-30 2016-05-31 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20180181281A1 (ja)
JP (1) JPWO2017002505A1 (ja)
WO (1) WO2017002505A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019021236A (ja) * 2017-07-21 2019-02-07 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP2020134998A (ja) * 2019-02-13 2020-08-31 ヤフー株式会社 重要点検出装置、重要点検出方法、及び重要点検出プログラム
JP2020140557A (ja) * 2019-02-28 2020-09-03 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP2021010101A (ja) * 2019-07-01 2021-01-28 株式会社日立製作所 遠隔作業支援システム
JP2021517677A (ja) * 2019-04-09 2021-07-26 クーパン コーポレイション 画像の効率的な管理及び変更のためのシステム及び方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
JP7057382B2 (ja) * 2018-02-08 2022-04-19 富士フイルム株式会社 電子アルバム装置とその作動方法および作動プログラム
US10936178B2 (en) 2019-01-07 2021-03-02 MemoryWeb, LLC Systems and methods for analyzing and organizing digital photos and videos
US11520465B2 (en) * 2019-05-06 2022-12-06 Apple Inc. Curated media library
JP7277275B2 (ja) * 2019-06-13 2023-05-18 キヤノン株式会社 プログラム、情報処理装置、および情報処理方法
US11675475B2 (en) * 2019-07-09 2023-06-13 Rovi Guides, Inc. System and methods to denote unshared content to be shared
JP2021145203A (ja) * 2020-03-11 2021-09-24 キヤノン株式会社 画像処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160058A (ja) * 1999-12-03 2001-06-12 Sony Corp 情報処理装置および情報処理方法、並びにプログラム格納媒体
JP2007322847A (ja) * 2006-06-02 2007-12-13 Fujifilm Corp 画像表示方法及び装置並びにプログラム
JP2011118648A (ja) * 2009-12-03 2011-06-16 Sony Computer Entertainment Inc 情報処理装置、情報提供システム、および情報処理方法
JP2012008069A (ja) * 2010-06-28 2012-01-12 Sharp Corp 位置表示装置、位置表示方法及び位置表示プログラム
JP2015069313A (ja) * 2013-09-27 2015-04-13 株式会社日立ソリューションズ東日本 電子アルバム装置

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3906938B2 (ja) * 1997-02-18 2007-04-18 富士フイルム株式会社 画像再生方法及び画像データ管理方法
US7970240B1 (en) * 2001-12-17 2011-06-28 Google Inc. Method and apparatus for archiving and visualizing digital images
JP2003216621A (ja) * 2002-01-23 2003-07-31 Fuji Photo Film Co Ltd プログラム、画像管理装置、及び画像管理方法
US7194527B2 (en) * 2002-06-18 2007-03-20 Microsoft Corporation Media variations browser
WO2005076985A2 (en) * 2004-02-04 2005-08-25 Digimarc Corporation Digital watermarking image signals on-chip and photographic travel logs through digital watermarking
US8456488B2 (en) * 2004-10-06 2013-06-04 Apple Inc. Displaying digital images using groups, stacks, and version sets
US20070070233A1 (en) * 2005-09-28 2007-03-29 Patterson Raul D System and method for correlating captured images with their site locations on maps
US7617246B2 (en) * 2006-02-21 2009-11-10 Geopeg, Inc. System and method for geo-coding user generated content
US9507778B2 (en) * 2006-05-19 2016-11-29 Yahoo! Inc. Summarization of media object collections
US7945848B2 (en) * 2006-06-21 2011-05-17 Microsoft Corporation Dynamically modifying a theme-based media presentation
JP4775179B2 (ja) * 2006-08-28 2011-09-21 ソニー株式会社 表示のスクロール方法、表示装置および表示プログラム
EP2088778B1 (en) * 2006-10-04 2013-12-18 Nikon Corporation Electronic apparatus and electronic camera
US7792868B2 (en) * 2006-11-10 2010-09-07 Microsoft Corporation Data object linking and browsing tool
KR20100005152A (ko) * 2007-05-30 2010-01-13 가부시키가이샤 나비타이무쟈판 지도 표시 시스템, 지도 표시 장치 및 지도 표시 방법
JP4752827B2 (ja) * 2007-09-04 2011-08-17 ソニー株式会社 地図情報表示装置、地図情報表示方法、及びプログラム
JP5186903B2 (ja) * 2007-11-30 2013-04-24 ソニー株式会社 地図表示装置と地図表示方法および撮像装置
US8212784B2 (en) * 2007-12-13 2012-07-03 Microsoft Corporation Selection and display of media associated with a geographic area based on gesture input
US8832119B2 (en) * 2008-06-12 2014-09-09 Fuji Xerox Co., Ltd. Systems and methods for organizing files in a graph-based layout
US20100017704A1 (en) * 2008-07-18 2010-01-21 Yahoo! Inc. Dynamic content layout
US9032320B2 (en) * 2008-09-08 2015-05-12 Disney Enterprises, Inc. Time and location based GUI for accessing media
EP2351352A4 (en) * 2008-10-26 2012-11-14 Hewlett Packard Development Co ARRANGEMENT OF PICTURES TO PAGES WITH CONTENT-BASED FILTERING AND THEMED-BASED CLUSTERING
US20100171763A1 (en) * 2009-01-05 2010-07-08 Apple Inc. Organizing Digital Images Based on Locations of Capture
US8321395B2 (en) * 2009-08-26 2012-11-27 Apple Inc. Associating digital images with waypoints
US8839131B2 (en) * 2009-08-26 2014-09-16 Apple Inc. Tracking device movement and captured images
JP2011054075A (ja) * 2009-09-04 2011-03-17 Olympus Imaging Corp 画像制御装置およびプログラム
US8271497B2 (en) * 2009-12-03 2012-09-18 Sony Computer Entertainment Inc. Information processing apparatus and information processing method outputting information on movement of person
KR101604843B1 (ko) * 2009-12-30 2016-03-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8843855B2 (en) * 2010-01-25 2014-09-23 Linx Systems, Inc. Displaying maps of measured events
US8543333B2 (en) * 2010-03-03 2013-09-24 Htc Corporation Method, system, apparatus and computer-readable medium for browsing spot information
US8988456B2 (en) * 2010-03-25 2015-03-24 Apple Inc. Generating digital media presentation layouts dynamically based on image features
JP5615023B2 (ja) * 2010-04-13 2014-10-29 キヤノン株式会社 表示制御装置及び表示制御方法
KR20110139375A (ko) * 2010-06-23 2011-12-29 삼성전자주식회사 위치 정보가 포함된 이미지의 디스플레이 방법 및 장치
US8326327B2 (en) * 2010-08-27 2012-12-04 Research In Motion Limited System and method for determining action spot locations relative to the location of a mobile device
US8584015B2 (en) * 2010-10-19 2013-11-12 Apple Inc. Presenting media content items using geographical data
US8736442B2 (en) * 2011-06-08 2014-05-27 Apple Inc. Automatic identification and storage of frequently visited locations
US9946429B2 (en) * 2011-06-17 2018-04-17 Microsoft Technology Licensing, Llc Hierarchical, zoomable presentations of media sets
US20120327257A1 (en) * 2011-06-24 2012-12-27 O'keefe Brian Joseph Photo product using images from different locations
US9336240B2 (en) * 2011-07-15 2016-05-10 Apple Inc. Geo-tagging digital images
US9074901B1 (en) * 2011-09-22 2015-07-07 Google Inc. System and method for automatically generating an electronic journal
JP5978610B2 (ja) * 2011-12-09 2016-08-24 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5932354B2 (ja) * 2012-01-20 2016-06-08 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム
JP5921233B2 (ja) * 2012-02-06 2016-05-24 キヤノン株式会社 画像管理装置及びその制御方法、並びにプログラム
US9547668B2 (en) * 2012-10-29 2017-01-17 Dropbox, Inc. Event-based content item view
US20150178786A1 (en) * 2012-12-25 2015-06-25 Catharina A.J. Claessens Pictollage: Image-Based Contextual Advertising Through Programmatically Composed Collages
KR102045957B1 (ko) * 2013-01-18 2019-11-18 삼성전자 주식회사 휴대단말의 촬영 방법 및 장치
US9047847B2 (en) * 2013-02-05 2015-06-02 Facebook, Inc. Displaying clusters of media items on a map using representative media items
US9413837B2 (en) * 2013-02-06 2016-08-09 Facebook, Inc. Routine deviation notification
US20140317511A1 (en) * 2013-04-18 2014-10-23 Google Inc. Systems and Methods for Generating Photographic Tours of Geographic Locations
US11170037B2 (en) * 2014-06-11 2021-11-09 Kodak Alaris Inc. Method for creating view-based representations from multimedia collections
US20160125062A1 (en) * 2014-10-30 2016-05-05 Futurewei Technologies, Inc. Multi-scale timeling photograph album management with incremental spectral photograph clustering
US9851870B2 (en) * 2015-03-17 2017-12-26 Raytheon Company Multi-dimensional video navigation system and method using interactive map paths

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160058A (ja) * 1999-12-03 2001-06-12 Sony Corp 情報処理装置および情報処理方法、並びにプログラム格納媒体
JP2007322847A (ja) * 2006-06-02 2007-12-13 Fujifilm Corp 画像表示方法及び装置並びにプログラム
JP2011118648A (ja) * 2009-12-03 2011-06-16 Sony Computer Entertainment Inc 情報処理装置、情報提供システム、および情報処理方法
JP2012008069A (ja) * 2010-06-28 2012-01-12 Sharp Corp 位置表示装置、位置表示方法及び位置表示プログラム
JP2015069313A (ja) * 2013-09-27 2015-04-13 株式会社日立ソリューションズ東日本 電子アルバム装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019021236A (ja) * 2017-07-21 2019-02-07 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP2020134998A (ja) * 2019-02-13 2020-08-31 ヤフー株式会社 重要点検出装置、重要点検出方法、及び重要点検出プログラム
JP7091267B2 (ja) 2019-02-13 2022-06-27 ヤフー株式会社 重要点検出装置、重要点検出方法、及び重要点検出プログラム
JP2020140557A (ja) * 2019-02-28 2020-09-03 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP7336211B2 (ja) 2019-02-28 2023-08-31 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP2021517677A (ja) * 2019-04-09 2021-07-26 クーパン コーポレイション 画像の効率的な管理及び変更のためのシステム及び方法
US11232618B2 (en) 2019-04-09 2022-01-25 Coupang Corp. Systems and methods for efficient management and modification of images
JP2021010101A (ja) * 2019-07-01 2021-01-28 株式会社日立製作所 遠隔作業支援システム
JP7372061B2 (ja) 2019-07-01 2023-10-31 株式会社日立製作所 遠隔作業支援システム

Also Published As

Publication number Publication date
JPWO2017002505A1 (ja) 2018-04-19
US20180181281A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
WO2017002505A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11227446B2 (en) Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
EP3844598B1 (en) Video clip object tracking
US11941223B2 (en) User interfaces for retrieving contextually relevant media content
CN104885048B (zh) 用于管理数字内容项的系统和方法
CN114026831A (zh) 3d对象摄像头定制系统
US11810220B2 (en) 3D captions with face tracking
US11775165B2 (en) 3D cutout image modification
US8259995B1 (en) Designating a tag icon
US7813526B1 (en) Normalizing detected objects
US7694885B1 (en) Indicating a tag with visual data
US11908093B2 (en) 3D captions with semantic graphical elements
US20230143275A1 (en) Software clipboard
CN115315726A (zh) Diy效果图像修改
US11671696B2 (en) User interfaces for managing visual content in media
CN116671121A (zh) 用于多视频片段捕获的ar内容
JP2014052915A (ja) 電子機器、表示制御方法及びプログラム
US20230229279A1 (en) User interfaces for managing visual content in media
US11962561B2 (en) Immersive message management
AU2022261717B2 (en) User interfaces for managing visual content in media

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16817614

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017526225

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15738707

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16817614

Country of ref document: EP

Kind code of ref document: A1