WO2019155852A1 - 電子アルバム装置とその作動方法および作動プログラム - Google Patents

電子アルバム装置とその作動方法および作動プログラム Download PDF

Info

Publication number
WO2019155852A1
WO2019155852A1 PCT/JP2019/001484 JP2019001484W WO2019155852A1 WO 2019155852 A1 WO2019155852 A1 WO 2019155852A1 JP 2019001484 W JP2019001484 W JP 2019001484W WO 2019155852 A1 WO2019155852 A1 WO 2019155852A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
album
instruction
display
album page
Prior art date
Application number
PCT/JP2019/001484
Other languages
English (en)
French (fr)
Inventor
繭子 生田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019570645A priority Critical patent/JP7057382B2/ja
Priority to CN201980012537.0A priority patent/CN111712858B/zh
Publication of WO2019155852A1 publication Critical patent/WO2019155852A1/ja
Priority to US16/986,480 priority patent/US11178291B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167Processing or editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169Digital image input
    • H04N1/00177Digital image input from a user terminal, e.g. personal computer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00196Creation of a photo-montage, e.g. photoalbum
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning

Definitions

  • the present invention relates to an electronic album device, its operating method and operating program.
  • Patent Document 1 An electronic album device that includes an album page in which a plurality of images are arranged in accordance with the user's preference and generates an album screen that is displayed on a touch panel display (hereinafter referred to as a touch panel) has become widespread (see Patent Document 1). .
  • the paragraph [0203] of the specification of Patent Document 1 and FIG. 16B describe that images are arranged on an album page according to a display order based on attributes such as shooting date and time. It is described that when the album page cannot be displayed on the touch panel display at once, the album page is scroll-displayed in accordance with a scroll instruction from the user.
  • the user selects an image that the user wants to put in the electronic album and an image that the user does not want to put. Then, images that you do not want to put in the electronic album are deleted from the album page. However, it is not always possible to select images once, and there are users who want to put images once deleted from the album page into the album page.
  • the present inventor is considering an electronic album apparatus that accepts an instruction to return a deleted image, which is an image deleted from the album page according to a user instruction, to the album page.
  • a deleted image which is an image deleted from the album page according to a user instruction
  • it is sufficient that the number of deleted images is relatively small.
  • the number of deleted images is enormous, it takes time for the user to search for a desired deleted image to be returned to the album page.
  • An object of the present invention is to provide an electronic album device, an operation method thereof, and an operation program capable of re-inserting an image once deleted from the album page into the album page without taking time and effort.
  • an electronic album device includes an album page including a plurality of album pages arranged to generate an album screen to be displayed on a touch panel display, and a gesture instruction to the touch panel display.
  • An instruction receiving unit that receives a scroll instruction for an album page, and an instruction receiving unit that receives a return instruction for returning a deleted image that has been deleted from the album page to the album page as a gesture instruction.
  • An album editing unit that executes an album editing process including a scroll display process for scrolling a page and a return process for returning a deleted image to an album page in response to a return instruction. From the current scroll display position Editing to extract the same attribute image that is a deleted image having the same attribute as the image existing in the album page, and to perform a list display process for displaying the extracted list of the same attribute image side by side with the album page A part.
  • the album editing unit arranges images on the album page according to the display order based on the attribute.
  • the album editor will delete the deleted image with the same attribute as the group with the largest image share on the album page. It is preferable to extract as the same attribute image.
  • the screen generation unit displays the images in a display form in which the groups can be identified.
  • the instruction receiving unit receives a list display instruction and a non-display instruction as gesture instructions, and the album editing unit executes list display processing according to the display instruction, and hides the list according to the non-display instruction. It is preferable to execute a list non-display process.
  • the attribute is based on at least one of the image quality, the subject reflected in the image, the image shooting date and time, and the image shooting location.
  • the screen generation unit is an image display cell that displays an image, and an album in which image display cells whose sizes change to a positive integer multiple of a unit cell are arranged in a grid with reference to a unit cell whose size is defined in advance. It is preferable to generate a page.
  • the instruction accepting unit accepts an enlargement instruction for enlarging and displaying an image in the album page as a gesture instruction, and the album editing unit recognizes an enlargement instructed image as an enlargement instructed image as an album editing process; Deletion to delete from the album page an enlargement process for enlarging the enlargement target image recognized by the recognition process and an image that is different from the enlargement target image and that overlaps the enlargement area that is the area after the enlargement of the enlargement target image It is preferable that the image that has been subjected to the deletion process is treated as a deletion image.
  • the enlarged area is preferably a positive integer multiple of the unit cell.
  • the instruction receiving unit preferably receives, as an enlargement instruction, a swipe instruction that traces the album page with one finger along the enlargement area, starting from the enlargement target image.
  • the operation method of the electronic album apparatus includes a screen generation step of generating an album screen including an album page on which a plurality of images are arranged, and an instruction reception step of receiving a gesture instruction to the touch panel display.
  • An instruction receiving step for receiving an instruction to scroll the album page and an instruction to return the deleted image, which is an image deleted from the album page, to the album page as a gesture instruction, and scrolling the album page in response to the scroll instruction
  • An album editing step for executing an album editing process including a scroll display process and a return process for returning a deleted image to an album page in response to a return instruction.
  • the album editing process includes: scroll Executes an extraction process that extracts the same attribute image that has the same attribute as the image existing in the album page at the indicated position, and a list display process that displays the extracted list of the same attribute images side by side with the album page An album editing step.
  • An operation program for an electronic album device includes an album page including a plurality of images arranged on an album page, a screen generation function for generating an album screen displayed on the touch panel display, and an instruction reception function for receiving a gesture instruction to the touch panel display As a gesture instruction, an instruction reception function for receiving an instruction to scroll the album page and an instruction to return the deleted image, which is an image deleted from the album page, to the album page, and scrolling the album page in response to the scroll instruction
  • An album editing function that executes an album editing process including a scroll display process and a return process for returning a deleted image to an album page in response to a return instruction.
  • Scroll display position An album that executes an extraction process for extracting the same attribute image, which is a deleted image having the same attribute as an image existing in the album page, and a list display process for displaying the extracted list of the same attribute images side by side with the album page Let the computer execute editing functions.
  • the present invention accepts a return instruction for returning a deleted image deleted from the album page to the album page, and executes a return process for returning the deleted image to the album page in response to the return instruction.
  • the same attribute image that is the deleted image with the same attribute as the image existing in the album page at the current scroll display position is extracted, and the extracted list of the same attribute image is displayed side by side with the album page.
  • an electronic album apparatus capable of re-inserting an image once deleted from the album page into the album page, an operating method thereof, and an operating program.
  • FIGS. 7A and 7B are diagrams illustrating a state in which the trimming position of an image is adjusted.
  • FIG. 7A illustrates a state before adjustment
  • FIG. 7B illustrates a state before adjustment
  • FIG. 8A and 8B are diagrams showing a state of scroll display, in which FIG. 8A shows a case where there is a non-display portion at the bottom of the album page, and FIG. It is a figure which shows the mode of an expansion instruction
  • FIG. 10A shows a part of the album page
  • FIG. 10A shows before enlargement processing
  • FIG. 10B shows after enlargement processing.
  • album management information It is a figure which shows album management information.
  • FIG. 19A is a diagram illustrating an example in which unit cells are connected in the column direction in accordance with an enlargement instruction for moving a finger linearly along the column direction, and FIG. Each after treatment is shown.
  • FIG. 19A is a diagram illustrating an example in which unit cells are connected in the column direction in accordance with an enlargement instruction for moving a finger linearly along the column direction, and FIG. Each after treatment is shown.
  • FIG. 20A is a diagram showing an example in which unit cells are connected over a plurality of rows and a plurality of columns in accordance with an enlargement instruction for moving a finger over a plurality of rows and a plurality of columns, and FIG. Each after the enlargement process is shown.
  • FIG. 21A is a diagram illustrating an example in which an enlargement instruction and an enlargement display are performed a plurality of times in an album page, FIG. 21A shows before the enlargement process, and FIG. It is a figure which shows the example which designates the image after expansion as an image to be expanded, FIG. 22A shows before an enlargement process, FIG. 22B shows after an enlargement process, respectively.
  • FIG. 23A shows before an enlargement process
  • FIG. 23B shows after an enlargement process, respectively.
  • FIG. 24A shows before an expansion process
  • FIG. 24B shows each after an expansion process.
  • It is a flowchart which shows the process sequence of the smart phone which functions as an electronic album apparatus. It is a flowchart which shows the process sequence of the smart phone at the time of receiving a scroll instruction. It is a flowchart which shows the process sequence of the smart phone at the time of receiving an expansion instruction.
  • FIG. 10 is a diagram illustrating a state in which a deleted image having the same attribute as the group having the largest occupied area is extracted as the same attribute image when images of a plurality of groups having different attributes are mixed in the album page.
  • FIG. 10 is a diagram illustrating a state in which when an image of a plurality of groups having different attributes is mixed in an album page, a deleted image having the same attribute as the group having the largest number of image cells after enlargement is extracted as the same attribute image.
  • FIG. 35A is a diagram showing a case where an image display cell of an image after enlargement to be undoed in the enlargement process exists in a non-display portion.
  • FIG. 35A shows before undo and
  • FIG. 36A is a diagram showing a case where an image display cell of an image after enlargement to be undoed in the enlargement process exists in a non-display portion.
  • FIG. 36A shows before undo and
  • FIG. 36B shows after undo.
  • FIG. 38A shows before an enlargement process
  • FIG. 38B shows after an enlargement process, respectively.
  • a smartphone 10 corresponding to the electronic album device of the present invention is a kind of portable information terminal that a user 11 carries and uses.
  • the smartphone 10 functions as a mobile phone or a digital camera.
  • the smartphone 10 also functions as a computer that executes various application programs (hereinafter abbreviated as applications).
  • An electronic album application 30 (see FIG. 3) corresponding to the operation program of the electronic album device of the present invention is installed in the smartphone 10 as one of the applications.
  • the smartphone 10 that is a computer functions as an electronic album device.
  • the electronic album application 30 is for the user 11 to browse an image IM such as a photograph taken with the smartphone 10 or a photograph taken from a website, and to create an electronic album in which a plurality of images IM are arranged in accordance with the user 11's taste. It is an app.
  • the image IM in the image IM, in the Exif (Exchangeable Image File Format) area of the data file constituting the image IM, various incidental information such as the shooting date and time (GPS (Global Positioning System) longitude and latitude information) It is stored in association with an image ID (Identification Data) for identifying the image IM.
  • GPS Global Positioning System
  • image ID Identity Data
  • the electronic album application 30 generates the album screen 12 and displays the generated album screen 12 on the touch panel 13 provided on the front surface of the smartphone 10.
  • the album screen 12 includes an album page 14 on which a plurality of images IM are arranged.
  • the undo button 15 is a button for returning the enlargement process for enlarging the image IM.
  • the list display button 16 is a button for displaying a list (hereinafter referred to as an identical attribute image list) 60 (see FIG. 12) of identical attribute images IMS (see FIG. 12).
  • the list display button 16 has an appearance like a cardboard box into which a deleted image IMD (see FIG. 10), which is an image IM deleted from the album page 14, is thrown at random.
  • the same attribute image IMS is a deleted image IMD having the same attribute as the image IM present in the album page 14 at the current scroll display position.
  • image display cells CE are arranged in a grid.
  • the image display cell CE is a rectangular frame that displays an image IM for one frame.
  • each image display cell CE is a square frame having a horizontal width that can be arranged with four gaps 17 in the row direction (horizontal direction) of the album page 14.
  • the square-shaped image display cell CE is the minimum unit of the image display cell CE and corresponds to a unit cell UCE whose size is defined in advance. As will be described in detail later, the size of the image display cell CE changes to a positive integer (1, 2, 3, 4,...) Times the unit cell UCE.
  • the image display cells CE in the initial state need be unit cells UCE.
  • the image IM whose evaluation is higher than the threshold is automatically enlarged, and the image display cell CE of the image IM is changed from the initial state.
  • the unit cell UCE may be multiple times (for example, 4 times 2 rows ⁇ 2 columns).
  • the same processing may be performed on an image IM whose evaluation value based on the image quality of the image IM described later is higher than a threshold value.
  • the image display cells CE are arranged with a gap 17 in the column direction (vertical direction).
  • the above-mentioned “image display cells CE are arranged in a grid” means that the gaps 17 separating the image display cells CE extend in the row direction and the column direction of the album page 14, and each image display cell CE has a grid cell. It means the form which comprises.
  • the electronic album application 30 can enlarge and display the image IM in response to a gesture instruction on the touch panel 13 by the finger F of the user 11 (for example, an index finger, see FIG. 7).
  • the user 11 causes the electronic album application 30 to execute a desired album editing process through a gesture instruction.
  • the smartphone 10 includes a storage device 20, a memory 21, a CPU (Central Processing Unit) 22, and a communication unit 23 in addition to the touch panel 13 described above. These are interconnected via a data bus 24.
  • a storage device 20 includes a storage device 20, a memory 21, a CPU (Central Processing Unit) 22, and a communication unit 23 in addition to the touch panel 13 described above. These are interconnected via a data bus 24.
  • CPU Central Processing Unit
  • the touch panel 13 includes a thin flat display 25 such as a liquid crystal display or an organic EL (Electroluminescence) display, and a thin flat touch pad 26 disposed on the display 25.
  • a thin flat display 25 such as a liquid crystal display or an organic EL (Electroluminescence) display
  • a thin flat touch pad 26 disposed on the display 25.
  • Various screens including the album screen 12 are displayed on the display 25.
  • the touch pad 26 detects contact of the finger F of the user 11 and recognizes a gesture instruction.
  • the storage device 20 is a non-volatile semiconductor memory such as a flash memory or an SSD (Solid State Drive).
  • the storage device 20 stores a control program such as an operating system, various applications including the electronic album application 30, GUI (Graphical User Interface) data of various screens associated with these programs, and the like.
  • the user 11 can optionally download the application 11 from the application distribution server to the smartphone 10 through a network 27 such as a mobile communication network or the Internet, such as the electronic album application 30. Includes installed ones.
  • the memory 21 is a work memory for the CPU 22 to execute processing, and is composed of a RAM (Random Access Memory).
  • the CPU 22 loads the program stored in the storage device 20 into the memory 21 and executes processing according to the program, thereby comprehensively controlling each unit of the smartphone 10.
  • the communication unit 23 is an interface for wireless communication and performs transmission control related to wireless communication.
  • the wireless communication interface includes a mobile communication interface connected to a mobile communication network, an IEEE (The Institute of Electrical and Electronics Engineers, Inc.) 802.11 series wireless LAN (Local Area Network) standard connected to a wireless router. And an interface for short-range wireless communication using infrared rays or the like.
  • the smartphone 10 is connected to the network 27 via the communication unit 23.
  • the storage device 20 stores an electronic album application 30 and album management information 31 generated by the electronic album application 30.
  • the storage device 20 also has an image storage unit 32 in which the image IM is stored together with the image ID and the accompanying information.
  • the album editing unit 36 includes a screen generation unit 40, a scroll display processing unit 41, a return processing unit 42, an extraction unit 43, and a list display processing unit 44.
  • the instruction receiving unit 35 has an instruction receiving function for receiving a gesture instruction input via the touch pad 26.
  • the instruction receiving unit 35 outputs information related to the received gesture instruction to the album editing unit 36.
  • the gesture instruction mainly relates to editing of the electronic album, and includes a scroll instruction for scrolling the album page 14 and the same attribute image list 60, a return instruction for returning the deleted image IMD to the album page 14, and an image IM within the album page 14. Includes an enlargement instruction for enlarging and displaying.
  • the album editing unit 36 has an album editing function for executing various album editing processes in accordance with information on the gesture instruction from the instruction receiving unit 35.
  • the screen generator 40 has a screen generation function for generating the album screen 12.
  • the screen generation unit 40 outputs the generated album screen 12 to the display 25.
  • the scroll display processing unit 41 executes scroll display processing for scrolling and displaying the album page 14 and the same attribute image list 60 in response to a scroll instruction.
  • the return processing unit executes return processing for returning the deleted image IMD to the album page 14 in response to the return instruction.
  • the extraction unit 43 executes an extraction process for extracting the same attribute image IMS from the plurality of deleted images IMD.
  • the extraction unit 43 outputs the extracted identical attribute image IMS to the list display processing unit 44.
  • the list display processing unit 44 generates the same attribute image list 60 based on the same attribute image IMS from the extraction unit 43. Then, a list display process for displaying the same attribute image list 60 side by side with the album page 14 is executed.
  • the album editing unit 36 executes an enlargement process for enlarging the enlargement target image IMT (see FIG. 9), which is the image IM instructed to enlarge. Also, the album editing unit 36 executes a deletion process for deleting the image IM from the album page 14.
  • the image IM to be deleted is an image IM that is different from the enlargement target image IMT, and is an image IM that overlaps the enlargement area ER (see FIG. 9), which is an area after enlargement of the enlargement target image IMT. .
  • An image IM that overlaps the enlarged area ER and is deleted from the album page 14 is treated as a deleted image IMD.
  • the enlargement target image IMT that has been subjected to the enlargement process by the album editing unit 36 is expressed as an enlarged image IME (see FIG. 10).
  • the screen generation unit 40 Prior to the output of the album screen 12, the screen generation unit 40 outputs a reception screen (not shown) for accepting designation regarding the attribute of the image IM arranged on the album page 14 to the display 25.
  • the album editing unit 36 reads all the images IM from the image storage unit 32. Then, all the read images IM are arranged on the album page 14.
  • the album editing unit 36 takes an image IM taken at the specified shooting date / time or shooting location as an image. A search is made from the storage unit 32 and the searched image IM is arranged on the album page 14.
  • the album editing unit 36 distributes the images IM on the album page 14 in accordance with the display order based on the attributes.
  • FIG. 4 exemplifies the setting of the display order in which the shooting date and time are arranged from the top to the bottom and from the left to the right of the album page 14 in order from the oldest image IM to the newest image IM.
  • the image IM displayed in the leftmost image display cell CE in the top row of the album page 14 has the oldest shooting date and time
  • the image IM displayed on the screen has the newest shooting date.
  • the creation date / time of the data file of the image IM may be used instead of the shooting date / time.
  • the shooting date / time is not recorded in the Exif area and the image IM is captured from the website
  • the date / time when the image IM is captured from the website may be used instead of the shooting date / time.
  • the shooting date / time is not recorded in the Exif area
  • the date / time of creation of the data file of the image IM or the date / time when the image IM was imported from the website may be recorded in the shooting date / time area of the Exif area. Good.
  • the image quality of the image IM it is determined whether the brightness, saturation, color, blur, blur, composition, etc. of the image IM are appropriate, and an image quality evaluation value is calculated based on the determination result.
  • the display order is set such that the image IM is arranged in order from the image IM having the highest evaluation value to the image IM having the lowest evaluation value from the top to the bottom and from the left to the right.
  • the calculated evaluation value is associated with the image IM and stored in the image storage unit 32 as supplementary information.
  • the evaluation value derivation method is conventionally known as described in, for example, Japanese Patent No. 5655112, and thus detailed description thereof is omitted.
  • a person is registered with importance in advance, and the face of the person shown in the image IM is extracted. Then, for example, the display order is set such that the person whose face is extracted is arranged in order from the image IM with the highest importance to the image IM with the lowest importance from the top to the bottom and from the left to the right of the album page 14.
  • the person from which the face is extracted is stored in the image storage unit 32 in association with the image IM as supplementary information.
  • image IMs are grouped by prefecture or city.
  • the display order is set such that the album page 14 is arranged from top to bottom and from left to right in order from north to south and from east to west.
  • Such setting of the display order can be freely selected by the user 11 on the reception screen, for example.
  • the display order is not based on any one of the image quality, the subject, the shooting date and time, and the shooting location, but may be a composite order such as shooting date order and image quality order.
  • the album editing unit 36 trims the image IM in accordance with the shape of the image display cell CE.
  • the image display cell CE is a unit cell UCE, which is a square frame.
  • the image IM has a rectangular shape with an aspect ratio of 16: 9.
  • the album editing unit 36 reduces the size of the image IM so that the length of one side of the image display cell CE matches the length of the image IM in the column direction.
  • the image display cell CE is assigned to the central portion of the reduced image IM.
  • the left and right ends (indicated by hatching) of the image IM other than the central portion to which the image display cell CE is addressed are trimmed.
  • the image display cell CE displaying the trimmed image IM is arranged at the position of the album page 14 corresponding to the display order.
  • the album editing unit 36 repeats the series of processes shown in steps ST1 to ST4 for the number of images IM arranged on the album page 14.
  • the album editing unit 36 displays the trimming position adjustment screen 45 shown in FIG. Let The trimming position adjustment screen 45 displays the image display cell CE selected by the double tap instruction and the image IM thereof, and a cancel button 46 and a check button 47 are provided below the image display cell CE.
  • the trimming position of the image IM can be adjusted. Specifically, as shown in FIG. 7A, when the finger F is touched to the image IM in the trimming position adjustment screen 45 and a gesture instruction is given to move the finger F in a desired direction (here, the right direction). 7B, the image display cell CE is fixed, and the image IM is moved in the moving direction of the finger F. Thus, the trimming position of the image IM is adjusted.
  • the trimming position adjustment screen 45 disappears and the album page 14 with the trimmed position adjusted image IM is displayed.
  • the cancel button 46 is selected, the trimming position adjustment screen 45 disappears without adjusting the trimming position of the image IM.
  • the trimming position adjustment on the trimming position adjustment screen 45 can be performed not only on the image IM displayed on the unit cell UCE but also on the enlarged image IME.
  • the scroll instruction for the album page 14 is a gesture instruction (flick instruction) for paying the inside of the album page 14 with the finger F up and down.
  • 8A shows a case where there is a non-display portion 50 indicated by a broken line at the bottom of the album page 14, and
  • FIG. 8B shows a case where there is a non-display portion 50 on the top of the album page 14, respectively.
  • the scroll display processing unit 41 scrolls and displays the non-display portion 50 at the bottom of the album page 14, as shown in FIG. 8B.
  • a downward flick instruction is received by the instruction receiving unit 35 in FIG.
  • the scroll display processing unit 41 scrolls and displays the non-display portion 50 at the top of the album page 14 as shown in FIG. 8A.
  • the scroll instruction and scroll display processing for the same attribute image list 60 are the same as those for the album page 14.
  • the enlargement instruction is a swipe instruction that traces the album page 14 with one finger F of the user 11 from the enlargement target image IMT. More specifically, the enlargement instruction starts with a gesture instruction that selects the enlargement target image IMT by touching the enlargement target image IMT with the finger F for a predetermined time (for example, 2 seconds). Next, a gesture instruction is given to move the finger F touching the enlargement target image IMT along the enlargement region ER that the user 11 wants to enlarge the enlargement target image IMT. Finally, a gesture instruction for releasing the finger F from the end point of the enlarged area ER is issued.
  • the enlargement region ER is a trajectory TR traced with the finger F from the image display cell CE of the enlargement target image IMT which is the start point of the swipe instruction finger F to the end image display cell CE where the finger F is released at the end of the swipe instruction.
  • This is an area where the image display cell CE overlapping with the gap 17 is connected.
  • the image display cell CE is based on the unit cell UCE.
  • the enlarged region ER connecting the image display cells CE overlapping the trajectory TR traced with the finger F is a region that is a positive integer multiple of the unit cell UCE.
  • the enlarged region ER is slightly larger than the positive integer multiple of the unit cell UCE by the gap 17, but is ignored because the gap 17 is extremely narrow.
  • the instruction receiving unit 35 receives the swipe instruction as described above as an enlargement instruction.
  • the instruction receiving unit 35 outputs position information of the enlargement target image IMT and position information of the enlargement area ER to the album editing unit 36 as information relating to the enlargement instruction.
  • the position information of the enlargement target image IMT is information indicating which image display cell CE in the album page 14 is selected as the enlargement target image IMT. Specifically, the position information of the enlargement target image IMT is address information indicating the row and column in which the image display cell CE of the image IM selected as the enlargement target image IMT is located. The position information of the enlarged region ER is also address information of the image display cell CE that overlaps the trajectory TR traced with the finger F.
  • the image IM of the image display cell CE in the third row from the top and the second column from the left is selected as the enlargement target image IMT, and the image display in the third row from the top and the fourth column from the left is displayed.
  • the state up to the cell CE is designated as the enlarged region ER.
  • the deleted image IMD is the image IM of the image display cell CE in the third row from the top and the third column from the left, and the image IM of the image display cell CE in the third row from the top and the fourth column from the left. (See FIG. 10A).
  • the album editing unit 36 recognizes which image IM the enlargement target image IMT is based on the position information of the enlargement target image IMT. That is, the album editing unit 36 executes recognition processing for recognizing the enlargement target image IMT as album editing processing. Further, the album editing unit 36 grasps the number of unit cells UCE corresponding to the enlarged area ER and the shape of the enlarged area ER based on the position information of the enlarged area ER.
  • FIG. 10A shows a state before the enlargement process in the example of FIG. 9, and FIG. 10B shows a state after the enlargement process.
  • the image display cell CE of the enlargement target image IMT remains the square unit cell UCE.
  • the enlargement target image IMT after the enlargement process that is, the image display cell CE (enlargement region ER) of the enlarged image IME is equivalent to three unit cells UCE and has a horizontally long rectangular shape.
  • the image IM has been deleted by performing a deletion process in the album editing unit 36.
  • the undo button 15 is selected in FIG. 10B, the state before the enlargement process in FIG. 10A is restored.
  • FIG. 11 shows specific contents of the enlargement process in the examples of FIGS. 9 and 10.
  • the album editing unit 36 first enlarges the size of the enlargement target image IMT, as shown in step ST10, and enlarges the area ER that is a new image display cell CE.
  • the length in the row direction and the length in the row direction of the enlargement target image IMT are matched to obtain an enlarged image IME. That is, the album editing unit 36 enlarges the size of the image IM recognized as the enlargement target image IMT according to the size of the enlargement area ER that grasps how many unit cells UCE correspond to.
  • step ST2 of FIG. 5 the image display cell CE (enlarged region ER) is assigned to the central portion of the enlarged image IME.
  • step ST3 of FIG. 5 the upper and lower ends (indicated by hatching) of the enlarged image IME other than the central portion to which the image display cell CE is addressed are trimmed.
  • step ST4 of FIG. 5 the image display cell CE displaying the trimmed enlarged image IME is displayed on the position of the album page 14 corresponding to the enlarged region ER. To arrange.
  • the list display processing unit 44 displays the same attribute image list 60 side by side with the album page 14. That is, the selection of the list display button 16 corresponds to a display instruction for the identical attribute image list 60.
  • image display cells CE of the same attribute image IMS are displayed.
  • the list display processing unit 44 displays the image display cells CE of the identical attribute image IMS side by side in the identical attribute image list 60 as shown in the figure.
  • the display order is, for example, from top to bottom and from left to right in order from the oldest image IM to the newest image IM.
  • the image IM and the image display cell CE of the album page 14 are grayed out as indicated by a broken line.
  • the list display processing unit 44 executes a list non-display process for hiding the same attribute image list 60. That is, the re-selection of the list display button 16 corresponds to a non-display instruction for the same attribute image list 60.
  • the return instruction is a gesture instruction (drag and drop) in which a desired image display cell CE in the same attribute image list 60 is touched with the finger F and the finger F is moved to the album page 14 while maintaining the state. Instructions).
  • the return processing unit 42 executes a return process for returning the same attribute image IMS displayed in the image display cell CE touched with the finger F to the original position on the album page 14.
  • the album editing unit 36 displays the image display cell for which the drag and drop instruction has been given.
  • a deletion process is executed on the image IM displayed on the CE. That is, in the display state shown in FIG. 12, the image IM can be transferred between the album page 14 and the same attribute image list 60. Note that the image IM displayed in the image display cell CE for which the drag & drop instruction has been given on the album page 14 is also handled as the deleted image IMD.
  • the album management information 31 is divided into an image IM displayed on the album page 14 and a deleted image IMD.
  • the image ID and layout information are stored in association with each other.
  • the deleted image IMD only the image ID is stored.
  • Layout information consists of address information and other trimming position information.
  • the address information indicates the row and column of the album page 14 on which the image display cell CE of the image IM displayed on the album page 14 is arranged.
  • the address information is a combination of the character “CE” and a two-digit number, such as CE11, CE12, CE13,. As shown in FIG. 15, the first digit of the two-digit number represents the row of the album page 14 and the second digit represents the column. For example, the address information of the image display cell CE in the second row from the top of the album page 14 and the third column from the left is CE23.
  • the size and shape of the image display cell CE displaying the image IM can be grasped. Specifically, among the images IM displayed on the album page 14, only one address information is stored is the image IM displayed on the square unit cell UCE. On the other hand, what stores a plurality of address information is an enlarged image IME in which the enlarged region ER connecting the unit cells UCE represented by the address information is the image display cell CE. That is, the address information of the enlarged image IME is nothing but the position information of the enlargement target image IMT and the position information of the enlargement area ER that are output from the instruction receiving unit 35 to the album editing unit 36.
  • the image IM having the image ID IM010 stores CE32, CE33, and CE34 as address information. Therefore, as shown in FIG. 15, the image display cell CE of the image IM of IM010 has three unit cells UCE in the second to fourth columns from the left in the third row from the top, connected in the row direction. It turns out that it is the rectangular-shaped expansion area
  • the instruction receiving unit 35 receives the selection of the list display button 16 as a display instruction for the same attribute image list 60.
  • the instruction receiving unit 35 outputs the received display instruction to the extracting unit 43.
  • the extracting unit 43 receives the display instruction from the instruction receiving unit 35 and causes the scroll display processing unit 41 to output scroll position information.
  • the scroll position information is information indicating the scroll display position of the current album page 14. Based on the scroll position information and the address information of the image IM displayed on the album page 14 of the album management information 31, the extraction unit 43 grasps the image IM existing in the album page 14 at the current scroll display position. To do. Further, the extraction unit 43 grasps the deleted image IMD from the image ID of the deleted image IMD in the album management information 31.
  • the extraction unit 43 reads the supplementary information of the image IM and the supplementary information of the deleted image IMD existing in the album page 14 at the current scroll display position from the image storage unit 32, and grasps these attributes. Then, the same attribute image IMS having the same attribute as the image IM existing in the album page 14 at the current scroll display position is extracted from the deleted image IMD.
  • FIG. 17 shows an example where the shooting date / time is selected as the setting of the display order of the images IM in the album page 14 and the attribute is the shooting date of the shooting date / time.
  • the shooting date of the image IM existing in the album page 14 at the current scroll display position is 2018.01.14 and 2018.01.21
  • the shooting date of the deleted image IMD is as shown in Table 65
  • the extraction unit 43 uses the same attribute for the deleted image IMD with the image ID IM050 and IM051 having the shooting date 2018.01.14 and the deleted image IMD with the image ID IM060 and IM061 having the shooting date 2018.01.21. Extract as image IMS.
  • FIG. 18 shows an example in which the shooting location is selected as the setting of the display order of the images IM in the album page 14 and the attribute is a prefecture in the shooting location.
  • the prefecture of the shooting location of the image IM existing in the album page 14 at the current scroll display position is Saitama Prefecture and Chiba Prefecture
  • the prefecture of the shooting location of the deleted image IMD is as shown in Table 66
  • the extraction unit 43 obtains a deleted image IMD whose image ID is IM110, IM111, IM112, IM113, and a deleted image IMD whose image ID is IM120, which is Chiba prefecture. Extracted as the same attribute image IMS.
  • FIGS. 9 to 11 show examples in which unit cells UCE are connected in the row direction and enlarged display is performed in response to an enlargement instruction for moving the finger F linearly along the row direction.
  • variations of the enlargement instruction and the enlargement display are not limited to the examples of FIGS.
  • FIG. 19 is an example in which unit cells UCE are connected in the column direction instead of the row direction and enlarged display is performed in response to an enlargement instruction for moving the finger F linearly along the column direction instead of the row direction.
  • the enlargement instruction is performed by moving the finger F along the column direction starting from the image display cell CE of the image IM having the image ID IM004 and the address information CE14, and the image ID is IM016,
  • the end point is the image display cell CE of the image IM whose address information is CE44. In this case, as shown in FIG.
  • each image IM with image IDs IM008, IM012, and IM016 displayed in each image display cell CE of CE24, CE34, and CE44 is a deleted image IMD.
  • FIG. 20 shows that unit cells UCE are connected not only to one row or only to one column but also to multiple rows and multiple columns instead of only one row or only one column in response to an enlargement instruction to move the finger F across multiple rows and multiple columns.
  • the enlargement instruction is the image display cell CE of CE43, CE44, CE54, CE53, and CE52 starting from the image display cell CE of the image IM having the image ID IM014 and the address information CE42.
  • the finger F is moved so as to draw an ellipse clockwise so as to overlap with the image ID, and the image ID is again returned to the image display cell CE of the image IM of IM014.
  • an image IM whose image ID is IM014, which is an image to be enlarged IMT is an enlargement in which the image display cells CE of CE42, CE43, CE44, CE52, CE53, and CE54 are connected in the matrix direction. It is enlarged and displayed in the area ER.
  • each image IM with image ID IM015, IM016, IM018, IM019, and IM020 displayed in each image display cell CE of CE43, CE44, CE52, CE53, and CE54 is a deleted image IMD.
  • FIG. 21 shows an example in which the enlargement instruction and the enlargement display are performed a plurality of times within the album page 14.
  • FIG. 21A shows a state in which the image IM having the image ID IM014 is enlarged and displayed in the enlarged region ER in which the image display cells CE of CE42, CE43, CE44, CE52, CE53, and CE54 are connected in the matrix direction, as in FIG. 20B. Is shown. Then, as shown in the trajectory TR, a circle is drawn clockwise so as to overlap with the image display cells CE of CE12, CE22, and CE21, starting from the image display cell CE of the image IM having the image ID IM001 and the address information CE11.
  • the figure shows a case where the finger F is moved as drawn and an enlargement instruction is given to return to the image display cell CE of the image IM having the image ID IM001 again.
  • the image IM having the image ID IM001 which is the enlargement target image IMT, is enlarged to the enlargement region ER in which the image display cells CE of CE11, CE12, CE21, and CE22 are connected in the matrix direction. Is displayed.
  • each image IM with image IDs IM002, IM005, and IM006 displayed in each image display cell CE of CE12, CE21, and CE22 is a deleted image IMD.
  • FIG. 22 shows an example in which the enlarged image IME is designated as the enlargement target image IMT.
  • the enlargement instruction includes the image display cell CE of the enlarged image IME with the image ID IM014 and the address information CE42, CE43, CE44, CE52, CE53, CE54 as the start point, CE64, CE63.
  • the finger F is moved so as to draw an ellipse clockwise so as to overlap each image display cell CE of CE62, and the image ID is again returned to the image display cell CE of the image IM of IM014.
  • FIG. 22 shows an example in which the enlarged image IME is designated as the enlargement target image IMT.
  • the image IM having the image ID IM014, which is the post-enlargement image IME and the enlargement target image IMT is CE42, CE43, CE44, CE52, CE53, CE54, CE62, CE63, CE64.
  • each image IM with image IDs IM022, IM023, and IM024 displayed in each image display cell CE of CE62, CE63, and CE64 is a deleted image IMD.
  • FIG. 23 shows an example in which the image display cell CE is traced in a ring shape with the finger F.
  • the enlargement instruction is performed by using the image display cell CE of the image IM having the image ID IM006 and the address information CE22 as the start point, each of CE23, CE24, CE34, CE44, CE43, CE42, and CE32.
  • the finger F is moved so as to draw a square in a clockwise direction so as to overlap with the image display cell CE, and the image ID is again returned to the image display cell CE of the image IM of IM006. That is, each of the eight image display cells CE surrounding the image display cell CE of the CE 33 is traced with the finger F in a ring shape.
  • the image IM having the image ID IM006, which is the enlargement target image IMT is displayed in the matrix direction with the image display cells CE of CE22, CE23, CE24, CE32, CE34, CE42, CE43, and CE44. Is enlarged and displayed in an annular enlarged region ER connected to the.
  • each image IM of image ID IM007, IM008, IM010, IM012, IM014, IM015, IM016 displayed in each image display cell CE of CE23, CE24, CE32, CE34, CE42, CE43, CE44 is Deleted image IMD.
  • FIG. 24 is another example when the image display cell CE is traced in a ring shape with the finger F, as in FIG.
  • the enlarged region ER is an annular region in FIG. 23, FIG. 24 is different. That is, as shown in FIG. 24B, the image IM having the image ID IM006, which is the enlargement target image IMT, is a matrix of the image display cells CE of CE22, CE23, CE24, CE32, CE33, CE34, CE42, CE43, and CE44. It is enlarged and displayed in a square-shaped enlarged region ER connected in the direction.
  • each of the image IDs IM007, IM008, IM010, IM011, IM012, IM014, IM015, and IM016 displayed in the image display cells CE of CE23, CE24, CE32, CE33, CE34, CE42, CE43, and CE44 is shown.
  • the image IM is the deleted image IMD.
  • FIGS. 23 and 24 Any of the modes shown in FIGS. 23 and 24 may be adopted.
  • the configuration shown in FIGS. 23 and 24 may be employed, and the configuration may be switched according to the selection of the user 11.
  • the image IM obtained by panoramic imaging of a mountain range is set to an enlarged region ER that is long in the row direction
  • the image IM obtained by shooting a vertically long building from the bottom is set to an enlarged region ER that is long in the column direction. It can be set to an appropriate shape according to the image IM.
  • the enlarged image IME may become the deleted image IMD depending on the way of enlargement instruction.
  • album editing processes executed by the album editing unit 36 in addition to those described above. For example, there are a process for changing the display order of the image display cells CE in the album page 14 and a process for enlarging and displaying the image IM in the album page 14 on the entire display 25.
  • the processing for changing the display order of the image display cells CE includes, for example, an option for selecting the image display cell CE of the desired image IM with the finger F and permitting the change of the display order of the image display cell CE.
  • the dialog is displayed, and is executed in response to a gesture instruction for selecting the option in the dialog.
  • an option for selecting the image display cell CE of the desired image IM with the finger F and enlarging and displaying the image IM on the entire display 25 Is displayed in response to a gesture instruction for selecting an option in the dialog.
  • the user 11 enlarges and displays a desired image IM, deletes an unnecessary image IM, or changes the display order of the image display cells CE, and displays the image IM in the album page 14 according to his / her preference. Layout.
  • the user 11 designates a rectangular area (hereinafter referred to as an electronic album area) AR in the album page 14 currently displayed on the album screen 12, and designates the designated electronic
  • the album area AR can be newly stored in the image storage unit 32 as an image IM, or set as a standby image of the smartphone 10.
  • the electronic album area AR can also order prints from a print order receiving server existing on the network 27.
  • the width in the row direction is the same as that of the album page 14, and the width in the column direction is variable.
  • the electronic album area AR is movable along the column direction with the unit cell UCE as a movement unit.
  • step ST100 of FIG. 25 when the electronic album application 30 is activated, an instruction receiving unit 35 and an album editing unit 36 are constructed in the CPU 22, as shown in FIG. Thereby, the smartphone 10 functions as an electronic album device.
  • a reception screen is generated by the screen generation unit 40 and output to the display 25 (step ST110).
  • all the images IM are read from the image storage unit 32 by the album editing unit 36 and all the images IM are arranged on the album page 14.
  • the image IM having the designated attribute is searched from the image storage unit 32 by the album editing unit 36, and the searched image IM is arranged on the album page 14.
  • the album screen 12 including the album page 14 on which a plurality of images IM are arranged is generated by the screen generation unit 40 and output to the display 25 as shown in FIG. 1 and the like (step ST120, screen generation step).
  • the position of the image IM to be arranged on the album page 14 is determined according to the display order setting based on the attribute, and each image IM is arranged at the determined position of the album page 14.
  • a gesture instruction is awaited (step ST130).
  • album editing processing corresponding to the gesture instruction is executed by the album editing unit 36 (step ST140, album editing step).
  • the album editing unit 36 outputs the album screen 12 after execution of the album editing process to the display 25 (step ST150).
  • the series of processes shown in steps ST130 to ST150 is repeated until the electronic album application 30 is terminated (YES in step ST160).
  • FIG. 26 to FIG. 29 describe the album editing process for each gesture instruction.
  • a flick instruction for paying the inside of the album page 14 with the finger F up and down is received by the instruction receiving unit 35 as a scroll instruction (step ST130-1, instruction receiving step), it is shown in FIG.
  • the scroll display processing section 41 executes the scroll display processing (step ST140-1, album editing step).
  • FIG. 27 when a swipe instruction that traces the album page 14 with one finger F of the user 11 is received as an enlargement instruction by the instruction receiving unit 35 (step ST130-2, instruction receiving step), FIG. 10 and FIG.
  • the album editing unit 36 performs recognition processing, enlargement processing, and deletion processing for the enlargement target image IMT (step ST140-2, album editing step). More specifically, the enlarged image IME is enlarged and displayed in the enlarged area ER. Further, the image IM overlapping the enlarged area ER is deleted from the album page 14.
  • a desired image display cell CE in the same attribute image list 60 is touched with a finger F, and a drag and drop instruction for moving the finger F to the album page 14 while maintaining the state is an instruction receiving unit 35 as a return instruction.
  • Step ST130-4 instruction receiving step
  • the same attribute image IMS displayed on the image display cell CE touched with the finger F is displayed by the return processing unit 42 as shown in FIG.
  • Return processing for returning the album page 14 to the original position is executed (step ST140-5, album editing step). If the list display button 16 is selected again while the same attribute image list 60 is displayed, the list display processing unit 44 executes list non-display processing, and the display of the same attribute image list 60 disappears.
  • a return instruction for returning the deleted image IMD deleted from the album page 14 to the album page 14 is accepted and a return process for returning the deleted image IMD to the album page 14 is executed in response to the return instruction, a plurality of deleted images IMD are stored. Since the same attribute image IMS having the same attribute as the image IM existing in the album page 14 at the current scroll display position is extracted and the same attribute image list 60 is displayed side by side with the album page 14, the user 11 Can easily find the desired deleted image IMD to be returned to the album page 14. Therefore, the deleted image IMD once deleted from the album page 14 without taking time and effort. Can be re-entered into the album page 14.
  • the album editing unit 36 arranges the images IM on the album page 14 in accordance with the display order based on the attributes, the images IM having the same attributes can be contained in a group of areas and have a good appearance. Accordingly, the same attribute images IMS can also be grouped into the same group to some extent.
  • the deleted image IMD (the same attribute image IMS ) Can be displayed only when it is desired to return to the album page 14.
  • the same attribute image list 60 may be always displayed, the display of the album page 14 is pressed accordingly. For this reason, switching between display and non-display of the same attribute image list 60 is preferable when a portable information terminal having a relatively small size of the display 25 such as the smartphone 10 is used as an electronic album device.
  • image display cells CE whose size is changed to a positive integer multiple of the unit cell UCE are arranged in a grid pattern with the unit cell UCE as a reference.
  • the enlargement area ER of the enlargement target image IMT is an area that is a positive integer multiple of the unit cell UCE. Therefore, the display of the image IM on the album page 14 is orderly.
  • the instruction accepting unit 35 accepts, as an enlargement instruction, a swipe instruction that traces the album page 14 with one finger F along the enlargement area ER from the enlargement target image IMT.
  • a swipe instruction can be a relatively fine instruction. For this reason, it is particularly effective when a portable information terminal having a relatively small size of the display 25 such as the smartphone 10 is used as the electronic album device.
  • the extraction unit 43 determines that the album page 14
  • the deleted image IMD having the same attribute as that of the group having the largest occupation ratio of the image IM is extracted as the same attribute image IMS.
  • the album page 14 includes the images IM of the three groups of attributes P, Q, and R, and the occupation ratio (the occupied area in this case) of the image IM of the group of the attribute Q in the album page 14 is the largest.
  • the attribute of the deleted image IMD is as shown in Table 70
  • the extraction unit 43 selects the deleted image IMD having the same Q as the group having the largest occupation ratio and the image IDs IM205, IM206, IM207, and IM208. Extracted as the same attribute image IMS.
  • the deleted image IMD with the attribute P of the image ID IM200, and the deleted images IMD with the attributes ID R225 and IM226 of the attribute R are not extracted as the same attribute image IMS.
  • FIG. 31 shows another example of this embodiment. That is, in FIG. 30, the occupation ratio is the occupation area, but in FIG. 31, the occupation ratio is the number of image display cells CE of the enlarged image IME (hereinafter abbreviated as the number of enlarged image cells).
  • the extracting unit 43 deletes the deleted image IMD having the same X as the group having the largest occupation ratio and the image IDs IM310, IM311, IM315, IM316, and IM317. Are extracted as the same attribute image IMS.
  • the user 11 gives a scroll instruction to scroll and display the image IM arranged in the electronic album area AR on the album page 14.
  • the group having the largest occupation ratio in the album page 14 is displayed. Is a group that the user 11 has particularly focused on the electronic album area AR. For this reason, the deleted image IMD that the user 11 wants to return to the album page 14 is also likely to be a deleted image IMD having the same attribute as the group having the largest occupation ratio in the album page 14.
  • the deleted image IMD having the same attribute as the group having the largest occupation ratio of the image IM in the album page 14 is extracted as the same attribute image IMS as described above, the deleted image IMD more matching the intention of the user 11 is obtained. It can be displayed in the same attribute image list 60, and the deleted image IMD once deleted from the album page 14 can be reinserted into the album page 14 without further trouble.
  • the electronic album area AR is shown in FIG. 33 rather than the images IM having different attributes (here, the images IM whose shooting dates are 2018.01.14 and 2018.01.21) are mixed.
  • the user 11 issues a return instruction to the deleted image IMD (deleted image IMD whose shooting date is 2018.01.14) having the same attribute as the image IM arranged in the electronic album area AR. Is easily expected to do. Therefore, it is very effective to extract the deleted image IMD having the same attribute as the group having the largest occupation ratio of the image IM in the album page 14 as the same attribute image IMS.
  • the occupation area shown in FIG. 30 is the occupation ratio
  • the aspect in which the number of image cells after enlargement is shown in FIG. 31 is the occupation ratio.
  • the occupation area of each group when the occupation area of each group is the same, it is not possible to select the group having the largest occupation ratio, but if the mode shown in FIG. The possibility of selecting the group with the largest occupation ratio increases.
  • the album page 14 can be selected as in the first embodiment.
  • a deleted image IMD having the same attribute as the image IM existing therein is extracted as the same attribute image IMS.
  • the occupation ratio is not limited to the occupation area shown in FIG. 30 and the number of image cells after enlargement shown in FIG.
  • the number of image display cells CE may be simply used.
  • the screen generating unit 40 can identify the group.
  • the image IM is displayed in the display form.
  • FIG. 34 exemplifies a case where the image IMs with the shooting dates 2018.01.27, 2018.01.28, and 2018.02.03 are mixed in the album page 14.
  • the screen generation unit 40 displays the image IM in a display form in which the group can be identified by changing the color of the gap 17 for each group as indicated by hatching.
  • the image IM is displayed in a display form in which the group can be identified, it is a good mark for setting the electronic album area AR.
  • the user 11 can easily avoid the state shown in FIG. 32 in which the images IM having different attributes are mixed in the electronic album area AR.
  • the group may be surrounded by a frame line instead of or in addition to changing the color of the gap 17 as described above.
  • the album editing unit 36 Pops up an undo display dialog 75 on the album screen 12.
  • an image display cell CE of the enlarged image IME to be undoed in the enlargement process and an image display cell CE of the image IM returned to the state before the enlargement process are displayed with the down arrow interposed therebetween. Is done.
  • the undo display dialog 75 is automatically displayed after being displayed for a predetermined time (for example, 3 seconds).
  • the undo display dialog 75 it is obvious that the enlarged image IME has been returned to the state before the enlargement process. For this reason, the user 11 does not need to scroll the non-display portion 50 by performing a scroll instruction in order to confirm whether or not the enlarged image IME has returned to the state before the enlargement process.
  • the deletion process is executed to delete the deletion image IMD from the album page 14.
  • the image display cell CE of the deletion image IMD is thrown into the cardboard box-like list display button 16.
  • An animation may be displayed. In this way, it can be seen at a glance what image IM is deleted from the album page 14.
  • a gesture instruction to touch the image display cell CE of the enlargement target image IMT with two fingers F (for example, thumb and index finger) and push the image display cell CE with the two fingers F (Pinch out instruction) may be used as an enlargement instruction.
  • a swipe instruction is issued to touch a single finger F on the image display cell CE of the enlargement target image IMT and move the finger F in a spiral shape within the image display cell CE.
  • an enlargement instruction may be used.
  • the finger F is moved so that the spiral becomes longer in the row direction, and when the enlargement target image IMT is desired to be enlarged in the row direction, the spiral becomes longer in the row direction.
  • the finger F is moved as follows. When it is desired to enlarge the enlargement target image IMT in the row direction and the column direction, the finger F is moved so that the spiral becomes longer in the oblique direction.
  • the display order of the image display cells CE is shifted without performing the deletion process for the image IM arranged after the enlargement target image IMT. That is, when this spiral gesture instruction is accepted, the deleted image IMD is not generated.
  • two types of enlargement instructions may be prepared, one for generating the deleted image IMD and the other for not generating the deleted image IMD.
  • the user 11 who does not intend to delete another image IM accompanying the enlargement of the enlargement target image IMT may perform the spiral gesture instruction shown in FIG. 38 in which the deletion image IMD does not occur. Therefore, it is possible to flexibly respond to the intentions of various users 11.
  • the index finger swipe instruction and thumb swipe instruction can be distinguished by fingerprint authentication or finger contact area, etc., and the delete image IMD is generated when the index finger swipe instruction is generated, and the thumb swipe instruction is generated. It may be separated from what is not.
  • the unit cell UCE is not limited to a square shape but may be a rectangular shape. Further, the image display cells CE may be arranged without leaving the gap 17.
  • the selection instruction for the enlargement target image IMT is a gesture instruction for touching the image display cell CE of the enlargement target image IMT with the finger F for a predetermined time, but the present invention is not limited to this.
  • a gesture instruction single tap instruction
  • a swipe instruction that is performed following a single tap instruction is recognized as an enlargement instruction, and is distinguished from a scroll instruction that is a gesture instruction in which the inside of the album page 14 or the like is paid with the finger F up and down.
  • the following method can be adopted for the selection instruction of the enlargement target image IMT. That is, first, a dialog provided with an option for shifting to an enlargement processing mode for enlarging a desired image IM is displayed. Then, after a gesture instruction for selecting an option for shifting to the enlargement processing mode is given, a gesture instruction for touching the finger F for a predetermined time or a swipe instruction without a single tap instruction is accepted as an enlargement instruction. In this case, the image IM of the image display cell CE (the image display cell CE at the start point of the swipe instruction) first touched by the swipe instruction is recognized as the enlargement target image IMT.
  • a swipe instruction to the album page 14 is accepted as a scroll instruction in the same manner as the flick instruction.
  • the enlargement instruction can be completed only with the swipe instruction without giving a gesture instruction for touching the finger F for a predetermined time or a single tap instruction.
  • the following method is also conceivable as a method for distinguishing the enlargement instruction from the scroll instruction. That is, a scroll bar is provided at the end of the album page 14 or the like. Then, only a gesture instruction for the scroll bar is accepted as a scroll instruction, and a gesture instruction for a portion where image display cells CE other than the scroll bar are arranged is not accepted as a scroll instruction. In this way, since the gesture instruction to the scroll bar is accepted as a scroll instruction, and the gesture instruction to a part other than the scroll bar is accepted as an enlargement instruction or the like, the enlargement instruction and the scroll instruction can be distinguished. In this case as well, as in the case of preparing the enlargement processing mode, a gesture instruction that touches the finger F for a predetermined time or a swipe instruction that does not involve a single tap instruction may be accepted as an enlargement instruction.
  • the electronic album device may be any other portable information terminal such as a tablet computer or a notebook computer and having a touch panel.
  • the network server existing on the network 27 may be assigned the function of the electronic album device.
  • the portable information terminal such as the smartphone 10 transmits a gesture instruction such as an enlargement instruction to the network server and receives the screen data of the album screen 12 from the network server.
  • the portable information terminal reproduces and displays the screen data of the album screen 12 on a web browser, for example.
  • network servers have relatively abundant resources. For this reason, if the network server has the function of the electronic album device, the processing speed can be remarkably improved. Therefore, as long as the environment of the network 27 is in place, it is preferable that the network server has the function of the electronic album device rather than the portable information terminal has the function of the electronic album device.
  • the functions of the electronic album device may be shared between the portable information terminal and the network server.
  • the portable information terminal has the functions of the instruction reception unit 35, the extraction unit 43, and the list display processing unit 44
  • the network server has the functions of the screen generation unit 40, the scroll display processing unit 41, and the return processing unit 42.
  • the image storage unit 32 may not be in the storage device of the electronic album apparatus, and the image storage unit 32 may be arranged in an image storage server existing on the network 27.
  • the album editing unit 36 accesses the image storage server via the network 27 and reads the image IM from the image storage unit 32 in the image storage server.
  • the hardware configuration of the computer system can be appropriately changed according to required performance such as processing capability, safety and reliability.
  • required performance such as processing capability, safety and reliability.
  • various applications such as the electronic album application 30 can be duplicated or distributed and stored in a plurality of storage devices for the purpose of ensuring safety and reliability. Is possible.
  • a processing unit that executes various processes such as the instruction receiving unit 35, the album editing unit 36, the screen generation unit 40, the scroll display processing unit 41, the return processing unit 42, the extraction unit 43, and the list display processing unit 44.
  • the hardware structure of (processing unit) is, for example, the CPU 22 that is a general-purpose processor that functions as various processing units by executing software (electronic album application 30) as described above.
  • processors may be used instead of all or part of the functions realized by the CPU 22.
  • a programmable logic device PLD: Programmable Logic Device
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • a dedicated electric circuit which is a processor having a circuit configuration specifically designed to execute processing is included.
  • the hardware structure of these various processors is an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • a screen generation processor including an album page on which a plurality of images are arranged and generating an album screen displayed on a touch panel display;
  • An instruction receiving processor for receiving a gesture instruction to the touch panel display, and as the gesture instruction, an instruction to scroll the album page and an instruction to return a deleted image, which is the image deleted from the album page, to the album page.
  • An instruction receiving processor for receiving, An album editing processor that executes an album editing process including a scroll display process that scrolls and displays the album page in response to the scroll instruction, and a return process that returns the deleted image to the album page in response to the return instruction.
  • an extraction process for extracting the same attribute image having the same attribute as that of the image existing in the album page at the current scroll display position from the plurality of the deleted images
  • an album editing processor for executing a list display process for displaying the extracted list of the same attribute images side by side with the album page.
  • the present invention extends to a storage medium for storing a program in addition to the program.

Abstract

手間を掛けることなく、アルバムページから一旦削除した画像をアルバムページに入れ直すことが可能な電子アルバム装置とその作動方法および作動プログラムを提供する。 指示受付部35は、アルバムページ14から削除された削除画像IMDをアルバムページ14に戻す戻し指示を受け付ける。戻し処理部42は、戻し指示に応じて削除画像IMDをアルバムページ14に戻す戻し処理を実行する。抽出部43は、複数の削除画像IMDの中から、現在のスクロール表示の位置においてアルバムページ14内に存在する画像IMと属性が同じ削除画像IMDである同一属性画像IMSを抽出する抽出処理を実行する。リスト表示処理部44は、同一属性画像IMSのリスト60を、アルバムページ14と並べて表示するリスト表示処理を実行する。

Description

電子アルバム装置とその作動方法および作動プログラム
 本発明は、電子アルバム装置とその作動方法および作動プログラムに関する。
 ユーザの趣向に沿って複数の画像が配されたアルバムページを含み、タッチパネルディスプレイ(以下、タッチパネルと略す)に表示されるアルバム画面を生成する電子アルバム装置が普及している(特許文献1参照)。特許文献1の明細書段落[0203]および図16(b)には、撮影日時等の属性に基づく表示順序にしたがって、アルバムページに画像を配することが記載されている。そして、アルバムページがタッチパネルディスプレイに一度に表示しきれない場合には、ユーザからのスクロール指示に応じてアルバムページをスクロール表示することが記載されている。
特開2017-117479号公報
 電子アルバムの作成に際して、ユーザは、電子アルバムに入れたい画像と入れたくない画像を取捨選択する。そして、電子アルバムに入れたくないと考えた画像はアルバムページから削除する。しかしながら、画像の取捨選択は必ずしも一度きりという訳にはいかず、アルバムページから一旦削除した画像をアルバムページに入れ直したいと思うユーザもいる。
 そこで本発明者は、ユーザの指示でアルバムページから削除された画像である削除画像をアルバムページに戻す戻し指示を受け付ける電子アルバム装置を検討している。この場合、削除画像の数が比較的少なければよいが、削除画像の数が膨大であると、アルバムページに戻そうとする所望の削除画像をユーザが探すのに手間が掛かる。
 本発明は、手間を掛けることなく、アルバムページから一旦削除した画像をアルバムページに入れ直すことが可能な電子アルバム装置とその作動方法および作動プログラムを提供することを目的とする。
 上記目的を達成するために、本発明の電子アルバム装置は、複数の画像が配されたアルバムページを含み、タッチパネルディスプレイに表示されるアルバム画面を生成する画面生成部と、タッチパネルディスプレイへのジェスチャ指示を受け付ける指示受付部であり、ジェスチャ指示として、アルバムページのスクロール指示、並びにアルバムページから削除された画像である削除画像をアルバムページに戻す戻し指示を受け付ける指示受付部と、スクロール指示に応じてアルバムページをスクロール表示するスクロール表示処理と、戻し指示に応じて削除画像をアルバムページに戻す戻し処理とを含むアルバム編集処理を実行するアルバム編集部であって、アルバム編集処理として、複数の削除画像の中から、現在のスクロール表示の位置においてアルバムページ内に存在する画像と属性が同じ削除画像である同一属性画像を抽出する抽出処理と、抽出した同一属性画像のリストを、アルバムページと並べて表示するリスト表示処理とを実行するアルバム編集部とを備える。
 アルバム編集部は、属性に基づく表示順序にしたがって、アルバムページに画像を配することが好ましい。
 現在のスクロール表示の位置において、アルバムページ内に属性が異なる複数のグループの画像が混在していた場合、アルバム編集部は、アルバムページにおける画像の占有割合が最大のグループと属性が同じ削除画像を、同一属性画像として抽出することが好ましい。
 現在のスクロール表示の位置において、アルバムページ内に属性が異なる複数のグループの画像が混在していた場合、画面生成部は、グループが識別可能な表示形態で画像を表示することが好ましい。
 指示受付部は、ジェスチャ指示として、リストの表示指示および非表示指示を受け付け、アルバム編集部は、表示指示に応じてリスト表示処理を実行し、非表示指示に応じて、リストを非表示とするリスト非表示処理を実行することが好ましい。
 属性は、画像の画質、画像に映る被写体、画像の撮影日時、画像の撮影場所のうちの少なくともいずれか1つに基づくものであることが好ましい。
 画面生成部は、画像を表示する画像表示セルであり、予めサイズが規定された単位セルを基準として、単位セルの正の整数倍に大きさが変化する画像表示セルをグリッド状に配列したアルバムページを生成することが好ましい。
 指示受付部は、ジェスチャ指示として、アルバムページ内で画像を拡大表示する拡大指示を受け付け、アルバム編集部は、アルバム編集処理として、拡大指示された画像である拡大対象画像を認識する認識処理と、認識処理で認識された拡大対象画像を拡大する拡大処理と、拡大対象画像とは別の画像であって、拡大対象画像の拡大後の領域である拡大領域に重なる画像をアルバムページから削除する削除処理とを実行し、削除処理された画像が削除画像として扱われることが好ましい。
 拡大領域は、単位セルの正の整数倍の大きさの領域であることが好ましい。
 指示受付部は、拡大対象画像を始点として、拡大領域に沿ってアルバムページ内を1本の指でなぞるスワイプ指示を、拡大指示として受け付けることが好ましい。
 本発明の電子アルバム装置の作動方法は、複数の画像が配されたアルバムページを含み、タッチパネルディスプレイに表示されるアルバム画面を生成する画面生成ステップと、タッチパネルディスプレイへのジェスチャ指示を受け付ける指示受付ステップであり、ジェスチャ指示として、アルバムページのスクロール指示、並びにアルバムページから削除された画像である削除画像をアルバムページに戻す戻し指示を受け付ける指示受付ステップと、スクロール指示に応じてアルバムページをスクロール表示するスクロール表示処理と、戻し指示に応じて削除画像をアルバムページに戻す戻し処理とを含むアルバム編集処理を実行するアルバム編集ステップであって、アルバム編集処理として、複数の削除画像の中から、現在のスクロール表示の位置においてアルバムページ内に存在する画像と属性が同じ削除画像である同一属性画像を抽出する抽出処理と、抽出した同一属性画像のリストを、アルバムページと並べて表示するリスト表示処理とを実行するアルバム編集ステップとを備える。
 本発明の電子アルバム装置の作動プログラムは、複数の画像が配されたアルバムページを含み、タッチパネルディスプレイに表示されるアルバム画面を生成する画面生成機能と、タッチパネルディスプレイへのジェスチャ指示を受け付ける指示受付機能であり、ジェスチャ指示として、アルバムページのスクロール指示、並びにアルバムページから削除された画像である削除画像をアルバムページに戻す戻し指示を受け付ける指示受付機能と、スクロール指示に応じてアルバムページをスクロール表示するスクロール表示処理と、戻し指示に応じて削除画像をアルバムページに戻す戻し処理とを含むアルバム編集処理を実行するアルバム編集機能であって、アルバム編集処理として、複数の削除画像の中から、現在のスクロール表示の位置においてアルバムページ内に存在する画像と属性が同じ削除画像である同一属性画像を抽出する抽出処理と、抽出した同一属性画像のリストを、アルバムページと並べて表示するリスト表示処理とを実行するアルバム編集機能とを、コンピュータに実行させる。
 本発明は、アルバムページから削除された削除画像をアルバムページに戻す戻し指示を受け付け、戻し指示に応じて削除画像をアルバムページに戻す戻し処理を実行する場合に、複数の削除画像の中から、現在のスクロール表示の位置においてアルバムページ内に存在する画像と属性が同じ削除画像である同一属性画像を抽出し、抽出した同一属性画像のリストを、アルバムページと並べて表示するので、手間を掛けることなく、アルバムページから一旦削除した画像をアルバムページに入れ直すことが可能な電子アルバム装置とその作動方法および作動プログラムを提供することができる。
電子アルバム装置として機能するスマートフォンと、そのタッチパネルに表示されるアルバム画面を示す図である。 スマートフォンを構成するコンピュータのブロック図である。 スマートフォンのストレージデバイスおよびCPUのブロック図である。 属性に基づく表示順序の設定にしたがって、アルバムページに配する画像の位置を決定する様子を示す図である。 アルバムページに画像を配する処理の説明図である。 トリミング位置調整画面を示す図である。 画像のトリミング位置を調整する様子を示す図であり、図7Aは調整前、図7Bは調整後をそれぞれ示す。 スクロール表示の様子を示す図であり、図8Aは、アルバムページの下部に非表示部分がある場合、図8Bは、アルバムページの上部に非表示部分がある場合をそれぞれ示す。 拡大指示の様子を示す図である。 アルバムページの一部を抜粋した図であり、図10Aは拡大処理前、図10Bは拡大処理後をそれぞれ示す。 拡大処理の説明図である。 アルバム画面に同一属性画像リストを表示した状態を示す図である。 同一属性画像リストの同一属性画像をアルバムページにドラッグ&ドロップする様子を示す図である。 アルバム管理情報を示す図である。 画像表示セルに画像IDおよびアドレス情報を記したアルバム画面を示す図である。 抽出処理の様子を示す図である。 属性が撮影日時のうちの撮影日であった場合の抽出処理を示す図である。 属性が撮影場所のうちの都道府県であった場合の抽出処理を示す図である。 列方向に沿って直線状に指を移動させる拡大指示に応じて、列方向に単位セルが繋げられて拡大表示がなされる例を示す図であり、図19Aは拡大処理前、図19Bは拡大処理後をそれぞれ示す。 複数行および複数列にわたって指を移動させる拡大指示に応じて、複数行および複数列にわたって単位セルが繋げられて拡大表示がなされる例を示す図であり、図20Aは拡大処理前、図20Bは拡大処理後をそれぞれ示す。 アルバムページ内で拡大指示および拡大表示が複数回行われる例を示す図であり、図21Aは拡大処理前、図21Bは拡大処理後をそれぞれ示す。 拡大後画像を拡大対象画像に指定する例を示す図であり、図22Aは拡大処理前、図22Bは拡大処理後をそれぞれ示す。 画像表示セルを指で環状になぞった場合の例を示す図であり、図23Aは拡大処理前、図23Bは拡大処理後をそれぞれ示す。 画像表示セルを指で環状になぞった場合の別の例を示す図であり、図24Aは拡大処理前、図24Bは拡大処理後をそれぞれ示す。 電子アルバム装置として機能するスマートフォンの処理手順を示すフローチャートである。 スクロール指示を受け付けた場合のスマートフォンの処理手順を示すフローチャートである。 拡大指示を受け付けた場合のスマートフォンの処理手順を示すフローチャートである。 表示指示を受け付けた場合のスマートフォンの処理手順を示すフローチャートである。 戻し指示を受け付けた場合のスマートフォンの処理手順を示すフローチャートである。 アルバムページ内に属性が異なる複数のグループの画像が混在していた場合、占有面積が最大のグループと属性が同じ削除画像を同一属性画像として抽出する様子を示す図である。 アルバムページ内に属性が異なる複数のグループの画像が混在していた場合、拡大後画像セル個数が最大のグループと属性が同じ削除画像を同一属性画像として抽出する様子を示す図である。 電子アルバム領域に属性が異なる画像が混在している状態を示す図である。 電子アルバム領域に属性が同じ画像を配した状態を示す図である。 アルバムページ内に属性が異なる複数のグループの画像が混在していた場合、グループが識別可能な表示形態で画像IMを表示する様子を示す図である。 拡大処理のアンドゥの対象の拡大後画像の画像表示セルが非表示部分に存在していた場合を示す図であり、図35Aはアンドゥ前、図35Bはアンドゥ後をそれぞれ示す。 拡大処理のアンドゥの対象の拡大後画像の画像表示セルが非表示部分に存在していた場合を示す図であり、図36Aはアンドゥ前、図36Bはアンドゥ後をそれぞれ示す。 削除画像の画像表示セルが削除画像リスト表示ボタンに放り込まれるようなアニメーションを表示する様子を示す図である。 拡大対象画像の画像表示セルへの渦巻状のジェスチャ指示を拡大指示として受け付ける態様を示す図であり、図38Aは拡大処理前、図38Bは拡大処理後をそれぞれ示す。
 [第1実施形態]
 図1において、本発明の電子アルバム装置に相当するスマートフォン10は、ユーザ11が持ち歩いて使用する携帯情報端末の一種である。スマートフォン10は、周知のように、携帯電話やデジタルカメラとして機能する。
 また、スマートフォン10は、各種のアプリケーションプログラム(以下、アプリと略す)を実行するコンピュータとしても機能する。スマートフォン10には、アプリの1つとして、本発明の電子アルバム装置の作動プログラムに相当する電子アルバムアプリ30(図3参照)がインストールされている。電子アルバムアプリ30が起動されることにより、コンピュータであるスマートフォン10は電子アルバム装置として機能する。電子アルバムアプリ30は、スマートフォン10で撮影した写真やウェブサイトから取り込んだ写真等の画像IMをユーザ11が閲覧し、ユーザ11の趣向に沿って複数の画像IMを配した電子アルバムを作成するためのアプリである。
 画像IMには、画像IMを構成するデータファイルのExif(Exchangeable Image File Format)領域に、撮影日時、撮影場所(GPS(Global Positioning System)の経緯度、高度情報)といった様々な付帯情報が、各画像IMを識別するための画像ID(Identification Data)とともに関連付けて記憶されている。
 電子アルバムアプリ30はアルバム画面12を生成し、生成したアルバム画面12を、スマートフォン10の前面に設けられたタッチパネル13に表示する。アルバム画面12は、複数の画像IMが配されたアルバムページ14を含む。
 アルバム画面12の上部には、アンドゥボタン15およびリスト表示ボタン16が設けられている。アンドゥボタン15は、画像IMを拡大する拡大処理を元に戻すためのボタンである。リスト表示ボタン16は、同一属性画像IMS(図12参照)のリスト(以下、同一属性画像リストという)60(図12参照)を表示するためのボタンである。リスト表示ボタン16は、アルバムページ14から削除された画像IMである削除画像IMD(図10参照)が無造作に放り込まれる段ボール箱のような外観をしている。ここで、同一属性画像IMSは、現在のスクロール表示の位置においてアルバムページ14内に存在する画像IMと属性が同じ削除画像IMDである。
 アルバムページ14には、画像表示セルCEがグリッド状に配列されている。画像表示セルCEは、1コマ分の画像IMを表示する矩形状の枠である。図1に示す初期状態では、各画像表示セルCEは、アルバムページ14の行方向(横方向)に隙間17を空けて4個並べることが可能な横幅をもつ正方形状の枠である。この正方形状の枠の画像表示セルCEが画像表示セルCEの最小単位であり、予めサイズが規定された単位セルUCEに相当する。詳しくは後述するように、画像表示セルCEは、単位セルUCEの正の整数(1、2、3、4、・・・)倍に大きさが変化する。
 なお、初期状態において全ての画像表示セルCEが単位セルUCEでなくてもよい。例えば、画像IMに対するユーザ11の評価が付帯情報として記憶されている場合、評価が閾値よりも高い画像IMに自動的に拡大処理を施して、当該画像IMの画像表示セルCEを、初期状態から単位セルUCEの複数倍(例えば2行×2列の4倍等)としてもよい。あるいは、後述する画像IMの画質に基づく評価値が閾値よりも高い画像IMに、同様の処理を施してもよい。
 各画像表示セルCEは、列方向(縦方向)においても隙間17を空けて並べられている。上述の「画像表示セルCEがグリッド状に配列」とは、各画像表示セルCEを隔てる隙間17がアルバムページ14の行方向および列方向に延びていて、各画像表示セルCEがグリッドの桝目を構成している形態を意味する。
 電子アルバムアプリ30では、ユーザ11の指F(例えば人差し指、図7参照)によるタッチパネル13へのジェスチャ指示に応じて、画像IMを拡大表示したりすることが可能である。ユーザ11は、ジェスチャ指示を通じて電子アルバムアプリ30に所望のアルバム編集処理を実行させる。
 図2において、スマートフォン10は、前述のタッチパネル13の他に、ストレージデバイス20、メモリ21、CPU(Central Processing Unit)22、および通信部23を備えている。これらはデータバス24を介して相互接続されている。
 タッチパネル13は、液晶ディスプレイ、有機EL(Electroluminescence)ディスプレイ等の薄い平面状のディスプレイ25と、ディスプレイ25上に配置される、これも薄い平面状のタッチパッド26とで構成される。ディスプレイ25にはアルバム画面12を含む各種画面が表示される。タッチパッド26はユーザ11の指Fの接触を検知し、ジェスチャ指示を認識する。
 ストレージデバイス20は、フラッシュメモリやSSD(Solid State Drive)等の不揮発性の半導体メモリである。ストレージデバイス20には、オペレーティングシステム等の制御プログラムや電子アルバムアプリ30を含む各種アプリ、およびこれらのプログラムに付随する各種画面のGUI(Graphical User Interface)データ等が記憶されている。アプリには、スマートフォン10にプリインストールされているものの他、電子アルバムアプリ30のように、移動体通信網やインターネット等のネットワーク27を通じて、ユーザ11が任意でアプリ配信サーバからスマートフォン10にダウンロードしてインストールしたものも含まれる。
 メモリ21は、CPU22が処理を実行するためのワークメモリであり、RAM(Random Access Memory)で構成される。CPU22は、ストレージデバイス20に記憶されたプログラムをメモリ21へロードして、プログラムにしたがった処理を実行することにより、スマートフォン10の各部を統括的に制御する。
 通信部23は、無線通信用のインタフェースであり、無線通信に関わる伝送制御を行う。無線通信用のインタフェースには、移動体通信網に接続するモバイル通信インタフェース、無線ルータに接続するIEEE(The Institute of Electrical and Electronics Engineers,Inc.)802.11シリーズの無線LAN(Local Area Network)規格のインタフェース、赤外線等を使用する近距離無線通信用のインタフェース等が含まれる。スマートフォン10は、この通信部23を介してネットワーク27に接続する。
 図3において、ストレージデバイス20には、電子アルバムアプリ30、および電子アルバムアプリ30が生成するアルバム管理情報31が格納されている。また、ストレージデバイス20は、画像IDおよび付帯情報とともに画像IMが格納される画像格納部32を有している。
 電子アルバムアプリ30が起動されると、CPU22は、指示受付部35およびアルバム編集部36として機能する。アルバム編集部36は、画面生成部40、スクロール表示処理部41、戻し処理部42、抽出部43、およびリスト表示処理部44を備えている。
 指示受付部35は、タッチパッド26を介して入力されるジェスチャ指示を受け付ける指示受付機能を担う。指示受付部35は、受け付けたジェスチャ指示に関する情報をアルバム編集部36に出力する。ジェスチャ指示は、主として電子アルバムの編集に関わるものであり、アルバムページ14および同一属性画像リスト60をスクロール表示させるスクロール指示、削除画像IMDをアルバムページ14に戻す戻し指示、アルバムページ14内で画像IMを拡大表示する拡大指示等を含む。
 アルバム編集部36は、指示受付部35からのジェスチャ指示に関する情報に応じて、各種のアルバム編集処理を実行するアルバム編集機能を担う。
 画面生成部40は、アルバム画面12を生成する画面生成機能を担う。画面生成部40は、生成したアルバム画面12をディスプレイ25に出力する。
 スクロール表示処理部41は、スクロール指示に応じて、アルバムページ14および同一属性画像リスト60をスクロール表示させるスクロール表示処理を実行する。戻し処理部は、戻し指示に応じて削除画像IMDをアルバムページ14に戻す戻し処理を実行する。
 抽出部43は、複数の削除画像IMDの中から同一属性画像IMSを抽出する抽出処理を実行する。抽出部43は、抽出した同一属性画像IMSをリスト表示処理部44に出力する。リスト表示処理部44は、抽出部43からの同一属性画像IMSに基づいて同一属性画像リスト60を生成する。そして、同一属性画像リスト60をアルバムページ14と並べて表示するリスト表示処理を実行する。
 アルバム編集部36は、拡大指示された画像IMである拡大対象画像IMT(図9参照)を拡大する拡大処理を実行する。また、アルバム編集部36は、画像IMをアルバムページ14から削除する削除処理を実行する。
 ここで、削除処理される画像IMは、拡大対象画像IMTとは別の画像IMであって、拡大対象画像IMTの拡大後の領域である拡大領域ER(図9参照)に重なる画像IMである。この拡大領域ERに重なる画像IMであってアルバムページ14から削除される画像IMが削除画像IMDとして扱われる。なお、以下では、アルバム編集部36で拡大処理が実行された拡大対象画像IMTを拡大後画像IME(図10参照)と表現する。
 画面生成部40は、アルバム画面12の出力に先立ち、アルバムページ14に配する画像IMの属性に関する指定を受け付ける受付画面(図示せず)をディスプレイ25に出力する。この受付画面において特にユーザ11から指定がない場合、アルバム編集部36は、全ての画像IMを画像格納部32から読み出す。そして、読み出した全ての画像IMをアルバムページ14に配する。一方、受付画面において、ユーザ11から、属性として、例えば特定の撮影日時や撮影場所の指定があった場合は、アルバム編集部36は、指定された撮影日時や撮影場所で撮影した画像IMを画像格納部32から検索し、検索した画像IMをアルバムページ14に配する。
 図4に示すように、アルバム編集部36は、属性に基づく表示順序にしたがって、アルバムページ14に画像IMを配する。図4では、撮影日時が古い画像IMから新しい画像IMの順に、アルバムページ14の上から下、および左から右に配する、という表示順序の設定を例示している。この場合、アルバムページ14の一番上の行の左端の画像表示セルCEに表示された画像IMが最も撮影日時が古いもので、アルバムページ14の一番下の行の右端の画像表示セルCEに表示された画像IMが最も撮影日時が新しいものとなる。
 撮影日時がExif領域に記録されていなかった場合は、撮影日時の代わりに、画像IMのデータファイルの作成日時を用いてもよい。また、撮影日時がExif領域に記録されておらず、かつ画像IMがウェブサイトから取り込んだものであった場合は、撮影日時の代わりに、画像IMをウェブサイトから取り込んだ日時を用いてもよい。さらに、撮影日時がExif領域に記録されていなかった場合、Exif領域の撮影日時を記録する領域に、画像IMのデータファイルの作成日時、あるいは画像IMをウェブサイトから取り込んだ日時を記録してもよい。
 属性には、上記の撮影日時の他に、画像IMの画質、画像IMに映る被写体、画像IMの撮影場所に基づくものがある。画質の場合は、画像IMの明るさ、彩度、色味、ボケ、ブレ、構図等が適正であるか否かを判断し、判断結果に基づいて画質の評価値を算出する。そして、例えば評価値が高い画像IMから低い画像IMの順に、アルバムページ14の上から下、および左から右に配する、という表示順序の設定とする。算出した評価値は、付帯情報として画像IMに関連付けられて画像格納部32に格納される。なお、こうした評価値の導出方法は、例えば特許第5655112号に記載されている通り従来公知のものであるため、詳細な説明は省略する。
 被写体の場合は、例えば、事前に重要度とともに人物を登録しておき、画像IMに映る人物の顔を抽出する。そして、例えば顔を抽出した人物の重要度が高い画像IMから低い画像IMの順に、アルバムページ14の上から下、および左から右に配する、という表示順序の設定とする。顔を抽出した人物は、付帯情報として画像IMに関連付けられて画像格納部32に格納される。
 撮影場所の場合は、都道府県や市区町村別に画像IMをグループ分けする。そして、例えば北から南、東から西の順に、アルバムページ14の上から下、および左から右に配する、という表示順序の設定とする。
 こうした表示順序の設定は、例えば受付画面においてユーザ11が自由に選択可能である。なお、表示順序としては、上記の画質、被写体、撮影日時、撮影場所のうちのいずれか1つに基づくものではなく、例えば撮影日時順かつ画質順等、複合的なものでもよい。
 図5に示すように、アルバム編集部36は、アルバムページ14に画像IMを配する際に、画像表示セルCEの形状に合わせて画像IMをトリミングする。図5の例では、画像表示セルCEは単位セルUCEであり、正方形状の枠である。対して画像IMは、アスペクト比が16対9の長方形状である。
 アルバム編集部36は、まず、ステップST1に示すように、画像IMのサイズを縮小して、画像表示セルCEの一辺の長さと画像IMの列方向の長さを一致させる。次いでステップST2に示すように、縮小した画像IMの中心部分に画像表示セルCEを宛がう。続けてステップST3に示すように、画像表示セルCEが宛がわれた中心部分以外の画像IMの左右両端(ハッチングで示す)をトリミングする。最後にステップST4に示すように、トリミング済みの画像IMを表示した画像表示セルCEを、表示順序に応じたアルバムページ14の位置に配する。アルバム編集部36は、ステップST1~ST4で示した一連の処理を、アルバムページ14に配する画像IMの個数分繰り返し行う。
 アルバムページ14において画像表示セルCEを2回連続して指Fで叩くジェスチャ指示(ダブルタップ指示)がなされた場合、アルバム編集部36は、図6に示すトリミング位置調整画面45をディスプレイ25に表示させる。トリミング位置調整画面45には、ダブルタップ指示で選択された画像表示セルCEとその画像IMが表示され、その下部にはキャンセルボタン46およびチェックボタン47が設けられている。
 図7に示すように、トリミング位置調整画面45では、画像IMのトリミング位置を調整することが可能である。具体的には図7Aに示すように、トリミング位置調整画面45内の画像IMに指Fが触れられて、指Fが所望の方向(ここでは右方向)に移動されるジェスチャ指示がなされた場合、図7Bに示すように、画像表示セルCEは固定で、画像IMが指Fの移動方向に移動される。こうして画像IMのトリミング位置が調整される。
 画像IMのトリミング位置の調整後、チェックボタン47が選択された場合、トリミング位置調整画面45の表示が消え、トリミング位置調整済みの画像IMが配されたアルバムページ14が表示される。キャンセルボタン46が選択された場合は、画像IMのトリミング位置が調整されることなくトリミング位置調整画面45の表示が消える。なお、このトリミング位置調整画面45によるトリミング位置の調整は、単位セルUCEに表示された画像IMだけでなく、拡大後画像IMEについても行うことが可能である。
 図8に示すように、アルバムページ14に対するスクロール指示は、アルバムページ14の内部を上下に指Fで払うジェスチャ指示(フリック指示)である。図8Aは、アルバムページ14の下部に、破線で示す非表示部分50がある場合、図8Bは、逆にアルバムページ14の上部に非表示部分50がある場合をそれぞれ示す。図8Aにおいて上方向へのフリック指示が指示受付部35で受け付けられた場合、スクロール表示処理部41は、図8Bに示すように、アルバムページ14の下部の非表示部分50をスクロール表示させる。逆に図8Bにおいて下方向のフリック指示が指示受付部35で受け付けられた場合、スクロール表示処理部41は、図8Aに示すように、アルバムページ14の上部の非表示部分50をスクロール表示させる。なお、図示は省略するが、同一属性画像リスト60に対するスクロール指示およびスクロール表示処理も、アルバムページ14に対するものと同様である。
 図9において、拡大指示は、拡大対象画像IMTを始点として、アルバムページ14内をユーザ11の1本の指Fでなぞるスワイプ指示である。より詳しくは、拡大指示は、まず、拡大対象画像IMTに指Fを所定時間(例えば2秒)触れて拡大対象画像IMTを選択するジェスチャ指示から始まる。次いで、拡大対象画像IMTに触れた指Fを、ユーザ11が拡大対象画像IMTを拡大したいと考える拡大領域ERに沿って移動させるジェスチャ指示がなされる。最後に、拡大領域ERの終点から指Fを離すジェスチャ指示がなされる。
 拡大領域ERは、スワイプ指示の指Fの始点である拡大対象画像IMTの画像表示セルCEから、スワイプ指示の最後に指Fを離した終点の画像表示セルCEまで、指Fでなぞった軌跡TRに重なる画像表示セルCEを、隙間17もろとも繋げた領域である。前述のように、画像表示セルCEは、単位セルUCEを基準とする。このため、指Fでなぞった軌跡TRに重なる画像表示セルCEを繋げた拡大領域ERは、単位セルUCEの正の整数倍の大きさの領域であるといえる。なお、拡大領域ERは、正確には、隙間17の分、単位セルUCEの正の整数倍よりも若干大きくなるが、隙間17は極めて狭いとして無視する。
 指示受付部35は、上述のようなスワイプ指示を、拡大指示として受け付ける。指示受付部35は、拡大指示に関する情報として、拡大対象画像IMTの位置情報、および拡大領域ERの位置情報をアルバム編集部36に出力する。
 拡大対象画像IMTの位置情報は、アルバムページ14内のどの画像表示セルCEの画像IMが拡大対象画像IMTとして選択されたかを示す情報である。具体的には、拡大対象画像IMTの位置情報は、拡大対象画像IMTとして選択された画像IMの画像表示セルCEが位置する行および列を示すアドレス情報である。拡大領域ERの位置情報も同じく、指Fでなぞった軌跡TRに重なる画像表示セルCEのアドレス情報である。
 図9では、アルバムページ14の上から3行目かつ左から2列目の画像表示セルCEの画像IMが拡大対象画像IMTとして選択され、上から3行目かつ左から4列目の画像表示セルCEまでが拡大領域ERに指定された様子を示している。この場合、削除画像IMDは、上から3行目かつ左から3列目の画像表示セルCEの画像IM、および上から3行目かつ左から4列目の画像表示セルCEの画像IMである(図10A参照)。
 アルバム編集部36は、拡大対象画像IMTの位置情報に基づいて、拡大対象画像IMTがどの画像IMかを認識する。すなわち、アルバム編集部36は、アルバム編集処理として、拡大対象画像IMTを認識する認識処理を実行する。また、アルバム編集部36は、拡大領域ERの位置情報に基づいて、拡大領域ERが単位セルUCEの何個分に相当し、かつ拡大領域ERがどういった形状であるかを把握する。
 図10Aは、図9の例における拡大処理前の様子を、図10Bは拡大処理後の様子をそれぞれ示す。図10Aでは、拡大対象画像IMTの画像表示セルCEは、正方形状の単位セルUCEのままである。一方、図10Bでは、拡大処理後の拡大対象画像IMT、すなわち拡大後画像IMEの画像表示セルCE(拡大領域ER)は、単位セルUCE3個分であり、横長の長方形状となっている。図10Bでは、図10Aにおいて上から3行目かつ左から3列目の画像表示セルCEに配された画像IM、および上から3行目かつ左から4列目の画像表示セルCEに配された画像IMは、アルバム編集部36で削除処理が実行されて削除されている。図10Bにおいてアンドゥボタン15が選択された場合は、図10Aの拡大処理前の状態に戻される。
 図11は、図9および図10の例における拡大処理の具体的な内容を示す。アルバム編集部36は、図5のステップST1に示したのと同様に、まず、ステップST10に示すように、拡大対象画像IMTのサイズを拡大して、新たな画像表示セルCEである拡大領域ERの行方向の長さと拡大対象画像IMTの行方向の長さを一致させ、拡大後画像IMEとする。すなわち、アルバム編集部36は、拡大対象画像IMTと認識した画像IMのサイズを、単位セルUCEの何個分に相当するかを把握した拡大領域ERのサイズに合わせて拡大する。
 次いで、図5のステップST2に示したのと同様に、ステップST20に示すように、拡大後画像IMEの中心部分に画像表示セルCE(拡大領域ER)を宛がう。続けて、図5のステップST3に示したのと同様に、ステップST30に示すように、画像表示セルCEが宛がわれた中心部分以外の拡大後画像IMEの上下両端(ハッチングで示す)をトリミングする。最後に、図5のステップST4に示したのと同様に、ステップST40に示すように、トリミング済みの拡大後画像IMEを表示した画像表示セルCEを、拡大領域ERに対応するアルバムページ14の位置に配する。
 図12において、ハッチングで示すように指Fでリスト表示ボタン16が選択された場合、リスト表示処理部44は、同一属性画像リスト60をアルバムページ14と並べて表示する。すなわち、リスト表示ボタン16の選択が、同一属性画像リスト60の表示指示に該当する。
 同一属性画像リスト60には、同一属性画像IMSの画像表示セルCEが表示される。同一属性画像IMSが複数ある場合は、リスト表示処理部44は、同一属性画像IMSの画像表示セルCEを、図示するように同一属性画像リスト60に並べて表示する。表示順序は、アルバムページ14と同じく、例えば撮影日時が古い画像IMから新しい画像IMの順に、上から下、および左から右である。同一属性画像リスト60が表示されている間は、アルバムページ14の画像IMおよび画像表示セルCEは、破線で示すようにグレーアウトされる。
 リスト表示処理部44は、同一属性画像リスト60が表示された状態でリスト表示ボタン16が再度選択された場合、同一属性画像リスト60を非表示とするリスト非表示処理を実行する。すなわち、リスト表示ボタン16の再度の選択が、同一属性画像リスト60の非表示指示に該当する。
 図13に示すように、戻し指示は、同一属性画像リスト60の所望の画像表示セルCEを指Fで触れ、その状態を維持したままアルバムページ14に指Fを移動させるジェスチャ指示(ドラッグ&ドロップ指示)である。この戻し指示がなされた場合、戻し処理部42は、指Fで触れられた画像表示セルCEに表示された同一属性画像IMSを、アルバムページ14の元の位置に戻す戻し処理を実行する。
 また、これとは逆に、アルバムページ14の画像表示セルCEを同一属性画像リスト60に移動させるドラッグ&ドロップ指示がなされた場合、アルバム編集部36は、ドラッグ&ドロップ指示がなされた画像表示セルCEに表示された画像IMに削除処理を実行する。つまり図12に示す表示状態では、アルバムページ14と同一属性画像リスト60間で、画像IMを行き来させることができる。なお、アルバムページ14においてドラッグ&ドロップ指示がなされた画像表示セルCEに表示された画像IMも、削除画像IMDとして扱われる。
 図14において、アルバム管理情報31は、アルバムページ14に表示される画像IMと、削除画像IMDとに分けられている。アルバムページ14に表示される画像IMの場合は、画像IDとレイアウト情報が関連付けて記憶されている。一方、削除画像IMDの場合は、画像IDのみが記憶されている。
 レイアウト情報は、アドレス情報やその他トリミング位置情報等で構成される。アドレス情報は、アルバムページ14に表示される画像IMの画像表示セルCEが配されるアルバムページ14の行および列を示すものである。
 アドレス情報は、CE11、CE12、CE13、・・・等、文字「CE」と2桁の数字を組み合わせたものである。図15に示すように、2桁の数字のうちの1桁目がアルバムページ14の行、2桁目が列をそれぞれ表す。例えば、アルバムページ14の上から2行目かつ左から3列目の画像表示セルCEのアドレス情報はCE23である。
 アドレス情報によれば、当該画像IMを表示する画像表示セルCEのサイズおよび形状を把握することができる。具体的には、アルバムページ14に表示される画像IMのうち、アドレス情報が1つだけ記憶されているものは、正方形状の単位セルUCEに表示される画像IMである。対して、アドレス情報が複数記憶されているものは、当該アドレス情報で表される単位セルUCEを繋げた拡大領域ERを画像表示セルCEとする拡大後画像IMEである。すなわち、拡大後画像IMEのアドレス情報は、指示受付部35からアルバム編集部36に出力される、拡大対象画像IMTの位置情報、および拡大領域ERの位置情報に他ならない。
 例えば画像IDがIM010の画像IMには、アドレス情報としてCE32、CE33、CE34が記憶されている。したがって、IM010の画像IMの画像表示セルCEは、図15に示すように、上から3行目の左から2列目~4列目の3個の単位セルUCEが行方向に繋げられた、図10Bにも示した長方形状の拡大領域ERであることが分かる。
 図16に示すように、指示受付部35は、リスト表示ボタン16の選択を、同一属性画像リスト60の表示指示として受け付ける。指示受付部35は、受け付けた表示指示を抽出部43に出力する。
 抽出部43は、指示受付部35からの表示指示を受けて、スクロール表示処理部41にスクロール位置情報を出力させる。スクロール位置情報は、現在のアルバムページ14のスクロール表示の位置を示す情報である。このスクロール位置情報、およびアルバム管理情報31のアルバムページ14に表示される画像IMのアドレス情報を元に、抽出部43は、現在のスクロール表示の位置においてアルバムページ14内に存在する画像IMを把握する。また、抽出部43は、アルバム管理情報31の削除画像IMDの画像IDから、削除画像IMDを把握する。
 抽出部43は、現在のスクロール表示の位置においてアルバムページ14内に存在する画像IMの付帯情報、および削除画像IMDの付帯情報を、画像格納部32から読み出して、これらの属性を把握する。そして、削除画像IMDの中から、現在のスクロール表示の位置においてアルバムページ14内に存在する画像IMと属性が同じ同一属性画像IMSを抽出する。
 図17は、アルバムページ14内の画像IMの表示順序の設定として撮影日時が選択され、属性が撮影日時のうちの撮影日であった場合の例である。現在のスクロール表示の位置においてアルバムページ14内に存在する画像IMの撮影日が、2018.01.14と2018.01.21で、削除画像IMDの撮影日が表65に示す如くであった場合、抽出部43は、撮影日が2018.01.14の画像IDがIM050、IM051の削除画像IMD、および撮影日が2018.01.21の画像IDがIM060、IM061の削除画像IMDを、同一属性画像IMSとして抽出する。
 図18は、アルバムページ14内の画像IMの表示順序の設定として撮影場所が選択され、属性が撮影場所のうちの都道府県であった場合の例である。現在のスクロール表示の位置においてアルバムページ14内に存在する画像IMの撮影場所の都道府県が、埼玉県と千葉県で、削除画像IMDの撮影場所の都道府県が表66に示す如くであった場合、抽出部43は、撮影場所の都道府県が埼玉県の画像IDがIM110、IM111、IM112、IM113の削除画像IMD、および撮影場所の都道府県が千葉県の画像IDがIM120の削除画像IMDを、同一属性画像IMSとして抽出する。
 図9~図11では、行方向に沿って直線状に指Fを移動させる拡大指示に応じて、単位セルUCEが行方向に繋げられて拡大表示がなされる例を示した。しかし、図19~図24に示すように、拡大指示および拡大表示のバリエーションは、図9~図11の例に限定されない。
 図19は、行方向ではなく列方向に沿って直線状に指Fを移動させる拡大指示に応じて、行方向ではなく列方向に単位セルUCEが繋げられて拡大表示がなされる例である。図19Aの軌跡TRに示すように、拡大指示は、画像IDがIM004、アドレス情報がCE14の画像IMの画像表示セルCEを始点として列方向に沿って指Fを移動させ、画像IDがIM016、アドレス情報がCE44の画像IMの画像表示セルCEを終点とするものである。この場合、図19Bに示すように、拡大対象画像IMTである、画像IDがIM004の画像IMが、CE14、CE24、CE34、CE44の各画像表示セルCEを列方向に繋げた拡大領域ERに拡大表示される。
 図19では、CE24、CE34、CE44の各画像表示セルCEに表示された、画像IDがIM008、IM012、IM016の各画像IMが、削除画像IMDである。
 図20は、一行のみ、または一列のみではなく、複数行および複数列にわたって指Fを移動させる拡大指示に応じて、一行のみ、または一列のみではなく、複数行および複数列にわたって単位セルUCEが繋げられて拡大表示がなされる例である。図20Aの軌跡TRに示すように、拡大指示は、画像IDがIM014、アドレス情報がCE42の画像IMの画像表示セルCEを始点として、CE43、CE44、CE54、CE53、CE52の各画像表示セルCEと重なるように、時計回りに楕円を描くように指Fを移動させ、再び画像IDがIM014の画像IMの画像表示セルCEに戻るものである。この場合、図20Bに示すように、拡大対象画像IMTである、画像IDがIM014の画像IMが、CE42、CE43、CE44、CE52、CE53、CE54の各画像表示セルCEを行列方向に繋げた拡大領域ERに拡大表示される。
 図20では、CE43、CE44、CE52、CE53、CE54の各画像表示セルCEに表示された、画像IDがIM015、IM016、IM018、IM019、IM020の各画像IMが、削除画像IMDである。
 図21は、アルバムページ14内で拡大指示および拡大表示が複数回行われる例である。図21Aは、図20Bと同じく、画像IDがIM014の画像IMが、CE42、CE43、CE44、CE52、CE53、CE54の各画像表示セルCEを行列方向に繋げた拡大領域ERに拡大表示された状態を示している。そして、軌跡TRに示すように、画像IDがIM001、アドレス情報がCE11の画像IMの画像表示セルCEを始点として、CE12、CE22、CE21の画像表示セルCEと重なるように、時計回りに円を描くように指Fを移動させ、再び画像IDがIM001の画像IMの画像表示セルCEに戻る拡大指示が行われた場合を示している。この場合、図21Bに示すように、拡大対象画像IMTである、画像IDがIM001の画像IMが、CE11、CE12、CE21、CE22の各画像表示セルCEを行列方向に繋げた拡大領域ERに拡大表示される。
 図21では、CE12、CE21、CE22の各画像表示セルCEに表示された、画像IDがIM002、IM005、IM006の各画像IMが、削除画像IMDである。
 図22は、拡大後画像IMEを拡大対象画像IMTに指定する例である。図22Aの軌跡TRに示すように、拡大指示は、画像IDがIM014、アドレス情報がCE42、CE43、CE44、CE52、CE53、CE54の拡大後画像IMEの画像表示セルCEを始点として、CE64、CE63、CE62の各画像表示セルCEと重なるように、時計回りに楕円を描くように指Fを移動させ、再び画像IDがIM014の画像IMの画像表示セルCEに戻るものである。この場合、図22Bに示すように、拡大後画像IMEであって拡大対象画像IMTである、画像IDがIM014の画像IMが、CE42、CE43、CE44、CE52、CE53、CE54、CE62、CE63、CE64の各画像表示セルCEを行列方向に繋げた拡大領域ERに拡大表示される。
 図22では、CE62、CE63、CE64の各画像表示セルCEに表示された、画像IDがIM022、IM023、IM024の各画像IMが、削除画像IMDである。
 図23は、画像表示セルCEを指Fで環状になぞった場合の例である。図23Aの軌跡TRに示すように、拡大指示は、画像IDがIM006、アドレス情報がCE22の画像IMの画像表示セルCEを始点として、CE23、CE24、CE34、CE44、CE43、CE42、CE32の各画像表示セルCEと重なるように、時計回りに正方形を描くように指Fを移動させ、再び画像IDがIM006の画像IMの画像表示セルCEに戻るものである。つまり、CE33の画像表示セルCEを取り囲む8個の各画像表示セルCEを指Fで環状になぞるものである。この場合、図23Bに示すように、拡大対象画像IMTである、画像IDがIM006の画像IMが、CE22、CE23、CE24、CE32、CE34、CE42、CE43、CE44の各画像表示セルCEを行列方向に繋げた環状の拡大領域ERに拡大表示される。
 図23では、CE23、CE24、CE32、CE34、CE42、CE43、CE44の各画像表示セルCEに表示された、画像IDがIM007、IM008、IM010、IM012、IM014、IM015、IM016の各画像IMが、削除画像IMDである。
 図24は、図23と同じく、画像表示セルCEを指Fで環状になぞった場合の別の例である。図23では拡大領域ERを環状の領域としたが、図24は異なる。すなわち、図24Bに示すように、拡大対象画像IMTである、画像IDがIM006の画像IMが、CE22、CE23、CE24、CE32、CE33、CE34、CE42、CE43、CE44の各画像表示セルCEを行列方向に繋げた正方形状の拡大領域ERに拡大表示される。
 図24では、CE23、CE24、CE32、CE33、CE34、CE42、CE43、CE44の各画像表示セルCEに表示された、画像IDがIM007、IM008、IM010、IM011、IM012、IM014、IM015、IM016の各画像IMが、削除画像IMDである。
 図23と図24に示す態様は、いずれを採用してもよい。図23と図24に示す態様を両方採用し、ユーザ11の選択に応じて切り替える構成でもよい。
 このように、拡大指示および拡大表示のバリエーションは様々である。したがって、例えば、山並みをパノラマ撮影した画像IMについては行方向に長い拡大領域ERとし、縦長の建造物を下から撮影した画像IMについては列方向に長い拡大領域ERとする等、拡大領域ERを画像IMに応じた適切な形状とすることができる。
 なお、図示は省略するが、拡大指示の仕方によっては、拡大後画像IMEが削除画像IMDとなることもあり得る。
 アルバム編集部36が実行するアルバム編集処理には、上記に示したものの他にも色々ある。例えば、アルバムページ14内の画像表示セルCEの表示順序を変更する処理、アルバムページ14内の画像IMをディスプレイ25全体に拡大表示させる処理等がある。
 画像表示セルCEの表示順序を変更する処理は、例えば、所望の画像IMの画像表示セルCEを指Fで選択して、画像表示セルCEの表示順序の変更を許可する旨の選択肢が設けられたダイアログを表示させ、ダイアログ内の当該選択肢を選択するジェスチャ指示を契機に実行される。アルバムページ14内の画像IMをディスプレイ25全体に拡大表示させる処理も同様に、所望の画像IMの画像表示セルCEを指Fで選択して、画像IMをディスプレイ25全体に拡大表示させる旨の選択肢が設けられたダイアログを表示させ、ダイアログ内の選択肢を選択するジェスチャ指示を契機に実行される。ユーザ11は、所望の画像IMを拡大表示したり、不要な画像IMを削除したり、画像表示セルCEの表示順序を変更したりして、アルバムページ14内の画像IMを自らの趣向に沿ったレイアウトとする。
 図24Bに代表して示すように、ユーザ11は、現在アルバム画面12に表示されているアルバムページ14のうちの矩形状の領域(以下、電子アルバム領域という)ARを指定して、指定した電子アルバム領域ARを新たに画像IMとして画像格納部32に格納したり、スマートフォン10の待ち受け画像に設定したりすることが可能である。また、電子アルバム領域ARは、ネットワーク27上に存在するプリント注文受付サーバにプリントを注文することもできる。
 電子アルバム領域ARは、行方向の幅はアルバムページ14と同じで固定で、列方向の幅が可変である。また、電子アルバム領域ARは、単位セルUCEを移動単位として列方向に沿って移動可能である。
 次に、上記構成を備えるスマートフォン10の作用について、図25~図29のフローチャートを参照して説明する。まず、図25のステップST100に示すように、電子アルバムアプリ30が起動されると、図3に示したように、CPU22に指示受付部35およびアルバム編集部36が構築される。これにより、スマートフォン10は電子アルバム装置として機能する。
 電子アルバムアプリ30の起動後、画面生成部40により受付画面が生成されてディスプレイ25に出力される(ステップST110)。受付画面で特に指定がない場合は、全ての画像IMがアルバム編集部36により画像格納部32から読み出され、全ての画像IMがアルバムページ14に配される。一方、受付画面で属性が指定された場合は、指定された属性をもつ画像IMがアルバム編集部36により画像格納部32から検索され、検索された画像IMがアルバムページ14に配される。こうして複数の画像IMが配されたアルバムページ14を含むアルバム画面12が画面生成部40で生成され、図1等に示したようにディスプレイ25に出力される(ステップST120、画面生成ステップ)。図4に示したように、属性に基づく表示順序の設定にしたがって、アルバムページ14に配する画像IMの位置が決定され、決定されたアルバムページ14の位置に各画像IMが配される。
 指示受付部35では、ジェスチャ指示が待ち受けられている(ステップST130)。指示受付部35でジェスチャ指示が受け付けられた場合(ステップST130でYES、指示受付ステップ)、ジェスチャ指示に応じたアルバム編集処理がアルバム編集部36で実行される(ステップST140、アルバム編集ステップ)。そして、アルバム編集部36により、アルバム編集処理実行後のアルバム画面12がディスプレイ25に出力される(ステップST150)。ステップST130~ステップST150に示した一連の処理は、電子アルバムアプリ30が終了される(ステップST160でYES)まで繰り返し続けられる。
 図26~図29は、各ジェスチャ指示に対するアルバム編集処理を記載したものである。まず、図26において、アルバムページ14の内部を上下に指Fで払うフリック指示が、スクロール指示として指示受付部35で受け付けられた場合(ステップST130-1、指示受付ステップ)、図8に示したように、スクロール表示処理部41でスクロール表示処理が実行される(ステップST140-1、アルバム編集ステップ)。
 図27において、アルバムページ14内をユーザ11の1本の指Fでなぞるスワイプ指示が、拡大指示として指示受付部35で受け付けられた場合(ステップST130-2、指示受付ステップ)、図10および図11に示したように、アルバム編集部36で拡大対象画像IMTの認識処理、拡大処理、削除処理が実行される(ステップST140-2、アルバム編集ステップ)。より具体的には、拡大領域ERに拡大後画像IMEが拡大表示される。また、拡大領域ERに重なる画像IMがアルバムページ14から削除される。
 図28において、指Fでリスト表示ボタン16を選択する指示が、表示指示として指示受付部35で受け付けられた場合(ステップST130-3、指示受付ステップ)、図16~図18に示したように、抽出部43により抽出処理が実行され、現在のスクロール表示の位置においてアルバムページ14内に存在する画像IMの属性、および削除画像IMDの属性に基づいて、削除画像IMDの中から、同一属性画像IMSが抽出される(ステップST140-3、アルバム編集ステップ)。そして、図12に示したように、リスト表示処理部44によりリスト表示処理が実行され、同一属性画像リスト60がアルバムページ14と並べて表示される(ステップST140-4、アルバム編集ステップ)。
 図29において、同一属性画像リスト60の所望の画像表示セルCEを指Fで触れ、その状態を維持したままアルバムページ14に指Fを移動させるドラッグ&ドロップ指示が、戻し指示として指示受付部35で受け付けられた場合(ステップST130-4、指示受付ステップ)、図13に示したように、戻し処理部42により、指Fで触れられた画像表示セルCEに表示された同一属性画像IMSを、アルバムページ14の元の位置に戻す戻し処理が実行される(ステップST140-5、アルバム編集ステップ)。なお、同一属性画像リスト60が表示された状態でリスト表示ボタン16が再度選択された場合、リスト表示処理部44によりリスト非表示処理が実行され、同一属性画像リスト60の表示が消える。
   以上説明したように、電子アルバム装置として機能するスマートフォン10において、
 アルバムページ14から削除された削除画像IMDをアルバムページ14に戻す戻し指示
 を受け付け、戻し指示に応じて削除画像IMDをアルバムページ14に戻す戻し処理を実
 行する場合に、複数の削除画像IMDの中から、現在のスクロール表示の位置においてア
 ルバムページ14内に存在する画像IMと属性が同じ同一属性画像IMSを抽出し、同一
 属性画像リスト60を、アルバムページ14と並べて表示するので、ユーザ11は、アル
 バムページ14に戻そうとする所望の削除画像IMDを簡単に見つけることができる。し
 たがって、手間を掛けることなく、アルバムページ14から一旦削除した削除画像IMD
 をアルバムページ14に入れ直すことが可能となる。
   アルバム編集部36は、属性に基づく表示順序にしたがって、アルバムページ14に画
 像IMを配するので、属性が同じ画像IMが一かたまりの領域に収まり、見栄えがよい。
 また、これに伴って同一属性画像IMSも、ある程度属性が同じグループにまとめること
 ができる。
   リスト表示ボタン16の選択による表示指示および非表示指示に応じて、同一属性画像
 リスト60の表示および非表示を切り替えるので、削除画像IMD(同一属性画像IMS
 )をアルバムページ14に戻したいときだけ、同一属性画像リスト60を表示することが
 できる。同一属性画像リスト60を常時表示してもよいが、その分アルバムページ14の
 表示が圧迫される。このため、同一属性画像リスト60の表示、非表示を切り替え可能と
 したほうが、スマートフォン10等、ディスプレイ25のサイズが比較的小さい携帯情報
 端末を電子アルバム装置として使用する場合に好適である。
 アルバムページ14には、単位セルUCEを基準として、単位セルUCEの正の整数倍に大きさが変化する画像表示セルCEがグリッド状に配列されている。そして、拡大対象画像IMTの拡大領域ERは、単位セルUCEの正の整数倍の大きさの領域である。したがって、アルバムページ14における画像IMの表示が整然としたものとなる。
 指示受付部35は、拡大対象画像IMTを始点として、拡大領域ERに沿ってアルバムページ14内を1本の指Fでなぞるスワイプ指示を、拡大指示として受け付ける。こうしたスワイプ指示は比較的細かな指示が可能である。このため、スマートフォン10等、ディスプレイ25のサイズが比較的小さい携帯情報端末を電子アルバム装置として使用する場合に特に有効である。
 [第2実施形態]
 図30および図31に示す第2実施形態では、現在のスクロール表示の位置において、アルバムページ14内に属性が異なる複数のグループの画像IMが混在していた場合、抽出部43は、アルバムページ14における画像IMの占有割合が最大のグループと属性が同じ削除画像IMDを、同一属性画像IMSとして抽出する。
 図30は、アルバムページ14に属性P、Q、Rの3つのグループの画像IMが混在していて、属性Qのグループの画像IMのアルバムページ14における占有割合(ここでは占有面積)が最大である場合を例示している。削除画像IMDの属性が表70に示す如くであった場合、抽出部43は、占有割合が最大のグループと属性が同じQの、画像IDがIM205、IM206、IM207、IM208の削除画像IMDを、同一属性画像IMSとして抽出する。属性がPの画像IDがIM200の削除画像IMD、および属性がRの画像IDがIM225、IM226の削除画像IMDは、同一属性画像IMSとして抽出しない。
 図31は本実施形態の別の例である。すなわち、図30では占有割合を占有面積としたが、図31では、占有割合を拡大後画像IMEの画像表示セルCEの個数(以下、拡大後画像セル個数と略す)としている。
 図31は、アルバムページ14に属性X、Yの2つのグループの画像IMが混在していて、属性Xのグループの拡大後画像セル個数が2個、属性Yのグループの拡大後画像セル個数が0個で、属性Xのグループの画像IMのアルバムページ14における占有割合が最大である場合を例示している。削除画像IMDの属性が表71に示す如くであった場合、抽出部43は、占有割合が最大のグループと属性が同じXの、画像IDがIM310、IM311、IM315、IM316、IM317の削除画像IMDを、同一属性画像IMSとして抽出する。
 ユーザ11はスクロール指示をして電子アルバム領域ARに配する画像IMをアルバムページ14にスクロール表示させるが、ユーザ11がスクロール指示の手を止めたときに、アルバムページ14において占有割合が最大のグループは、ユーザ11が特に電子アルバム領域ARに配したいと注目したグループである。このため、ユーザ11がアルバムページ14に戻したいと考える削除画像IMDも、アルバムページ14において占有割合が最大のグループと属性が同じ削除画像IMDである確率が高いと思われる。
 そこで、上記のようにアルバムページ14における画像IMの占有割合が最大のグループと属性が同じ削除画像IMDを、同一属性画像IMSとして抽出すれば、よりユーザ11の意向に合致した削除画像IMDを、同一属性画像リスト60に表示することができ、さらに手間を掛けることなく、アルバムページ14から一旦削除した削除画像IMDをアルバムページ14に入れ直すことが可能となる。
 図32に示すように、電子アルバム領域ARに属性が異なる画像IM(ここでは撮影日が2018.01.14と2018.01.21の画像IM)が混在しているよりも、図33に示すように、電子アルバム領域ARに属性が同じ画像IMを配したほうが、統一感のある電子アルバムを作成することができる。このため、図32の状態においては、ユーザ11が、電子アルバム領域ARに配する画像IMと属性が同じ削除画像IMD(撮影日が2018.01.14の削除画像IMD)に対して戻し指示をすることが容易に予想される。したがって、アルバムページ14における画像IMの占有割合が最大のグループと属性が同じ削除画像IMDを、同一属性画像IMSとして抽出することは、非常に効果がある。
 図30に示した占有面積を占有割合とする態様と、図31に示した拡大後画像セル個数を占有割合とする態様とを複合して実施してもよい。例えば図30に示した態様のみであると、各グループの占有面積が同じ場合は、占有割合が最大のグループを選定することができないが、図31に示した態様を複合して実施すれば、占有割合が最大のグループを選定できる可能性が高まる。
 なお、各グループの占有面積が同じ、および/または、各グループの拡大後画像セル個数が同じで、占有割合が最大のグループを選定できない場合は、上記第1実施形態のように、アルバムページ14内に存在する画像IMと属性が同じ削除画像IMDを、同一属性画像IMSとして抽出する。
 占有割合は、図30に示した占有面積、図31に示した拡大後画像セル個数に限らない。単純に画像表示セルCEの個数でもよい。
 [第3実施形態]
 図34に示す第3実施形態では、現在のスクロール表示の位置において、アルバムページ14内に属性が異なる複数のグループの画像IMが混在していた場合、画面生成部40は、グループが識別可能な表示形態で画像IMを表示する。
 図34は、アルバムページ14内に、撮影日が2018.01.27、2018.01.28、2018.02.03の画像IMが混在していた場合を例示している。この場合、画面生成部40は、ハッチングで示すようにグループ毎に隙間17の色を変更することで、グループが識別可能な表示形態で画像IMを表示する。
 このように、グループが識別可能な表示形態で画像IMを表示すれば、電子アルバム領域ARを設定する際のよい目印となる。ユーザ11は、電子アルバム領域ARに属性が異なる画像IMが混在している図32に示した状態を容易に避けることができる。なお、上記のように隙間17の色を変更することに代えて、あるいは加えて、グループを枠線で囲ってもよい。
 図35Aに示すように、拡大処理のアンドゥの対象の拡大後画像IMEの画像表示セルCEが非表示部分50に存在していた場合を考える。この状態でアンドゥボタン15が選択された場合は、図35Bに示すように、非表示部分50において拡大後画像IMEが拡大処理前の状態に戻される。非表示部分50において拡大後画像IMEが拡大処理前の状態に戻されるので、ユーザ11は、拡大後画像IMEが本当に拡大処理前の状態に戻されたか否かがよく分からない。このためユーザ11は、スクロール指示を行って非表示部分50をスクロール表示して、拡大後画像IMEが拡大処理前の状態に戻ったかどうかを確認する必要がある。
 そこで、図36Bに示すように、拡大処理のアンドゥの対象の拡大後画像IMEの画像表示セルCEが非表示部分50に存在していて、アンドゥボタン15が選択された場合は、アルバム編集部36は、アンドゥ表示ダイアログ75をアルバム画面12にポップアップ表示する。アンドゥ表示ダイアログ75には、下矢印を挟んで、拡大処理のアンドゥの対象の拡大後画像IMEの画像表示セルCEと、拡大処理前の状態に戻された画像IMの画像表示セルCEとが表示される。アンドゥ表示ダイアログ75は、所定時間(例えば3秒)表示された後、自動的に表示が消える。
 アンドゥ表示ダイアログ75によれば、拡大後画像IMEが拡大処理前の状態に戻されたことが一目瞭然である。このため、ユーザ11は、拡大後画像IMEが拡大処理前の状態に戻ったかどうかを確認するためにスクロール指示を行って非表示部分50をスクロール表示する必要がなくなる。
 なお、図37に示すように、削除処理を実行してアルバムページ14から削除画像IMDを削除する場合に、削除画像IMDの画像表示セルCEが段ボール箱状のリスト表示ボタン16に放り込まれるようなアニメーションを表示してもよい。こうすれば、どういった画像IMがアルバムページ14から削除されるかが一目で分かる。
 スワイプ指示に代えて、あるいは加えて、拡大対象画像IMTの画像表示セルCEに2本の指F(例えば親指と人差し指)を触れて、画像表示セルCEを2本の指Fで押し広げるジェスチャ指示(ピンチアウト指示)を拡大指示としてもよい。
 あるいは図38Aに軌跡TRで示すように、拡大対象画像IMTの画像表示セルCEに1本の指Fを触れて、画像表示セルCE内で指Fを渦巻状に移動させるジェスチャ指示を、スワイプ指示に加えて拡大指示としてもよい。拡大対象画像IMTを行方向に拡大したい場合には、渦巻が行方向に長くなるように指Fを移動させ、拡大対象画像IMTを列方向に拡大したい場合には、渦巻が列方向に長くなるように指Fを移動させる。拡大対象画像IMTを行方向および列方向に拡大したい場合には、渦巻が斜め方向に長くなるように指Fを移動させる。
 この場合、図38Bに示すように、拡大対象画像IMT以降に配されていた画像IMは、削除処理が実行されることなく、画像表示セルCEの表示順序がずらされるのみである。つまり、この渦巻状のジェスチャ指示を受け付けた場合は、削除画像IMDは発生しない。
 このように、削除画像IMDが発生するものと発生しないものの2種類の拡大指示を用意しておいても構わない。拡大対象画像IMTの拡大に伴う他の画像IMの削除を意図しないユーザ11は、削除画像IMDが発生しない図38に示す渦巻状のジェスチャ指示を行えばよい。したがって、様々なユーザ11の意図に柔軟に応えることができる。
 指紋認証や指の接触面積の違い等で人差し指によるスワイプ指示と親指によるスワイプ指示を区別可能な構成とし、人差し指によるスワイプ指示を削除画像IMDが発生するもの、親指によるスワイプ指示を削除画像IMDが発生しないものと切り分けてもよい。
 単位セルUCEは、正方形状に限らず長方形状でもよい。また、隙間17を空けることなく画像表示セルCEを並べてもよい。
 上記各実施形態では、拡大対象画像IMTの選択指示を、拡大対象画像IMTの画像表示セルCEに指Fを所定時間触れるジェスチャ指示としたが、本発明はこれに限定されない。拡大対象画像IMTの画像表示セルCEを1回指Fで叩くジェスチャ指示(シングルタップ指示)を、拡大対象画像IMTの選択指示としてもよい。この場合、シングルタップ指示に続いて行われるスワイプ指示を拡大指示として認識し、アルバムページ14等の内部を上下に指Fで払うジェスチャ指示であるスクロール指示とは区別する。
 また、拡大対象画像IMTの選択指示には、次のような方法も採用可能である。すなわち、まず、所望の画像IMを拡大処理する拡大処理モードに移行する旨の選択肢が設けられたダイアログを表示させる。そして、拡大処理モードに移行する旨の選択肢を選択するジェスチャ指示がなされた後は、指Fを所定時間触れるジェスチャ指示、あるいはシングルタップ指示を伴わないスワイプ指示を、拡大指示として受け付ける。この場合、スワイプ指示で最初に指Fが触れた画像表示セルCE(スワイプ指示の始点の画像表示セルCE)の画像IMが、拡大対象画像IMTとして認識される。
 拡大処理モードへの移行前(拡大処理モードの解除後)は、アルバムページ14へのスワイプ指示を、フリック指示と同様、スクロール指示として受け付ける。こうすれば、拡大処理モードに移行した後は、指Fを所定時間触れるジェスチャ指示、あるいはシングルタップ指示をすることなく、スワイプ指示のみで拡大指示を済ませることができる。
 拡大指示とスクロール指示を区別する方法としては、以下の方法も考えられる。すなわち、アルバムページ14等の端部にスクロールバーを設ける。そして、このスクロールバーに対するジェスチャ指示のみをスクロール指示として受け付け、スクロールバー以外の画像表示セルCEが並べられた部分へのジェスチャ指示はスクロール指示として受け付けない。こうすれば、スクロールバーへのジェスチャ指示はスクロール指示として受け付けられ、スクロールバー以外の部分へのジェスチャ指示は拡大指示等として受け付けられるので、拡大指示とスクロール指示を区別することができる。なお、この場合も上記拡大処理モードを用意する場合と同様に、指Fを所定時間触れるジェスチャ指示、あるいはシングルタップ指示を伴わないスワイプ指示を、拡大指示として受け付けてもよい。
 図19等で示したように、列方向に沿って直線状に指Fを移動させるスワイプ指示を拡大指示として行う場合には、列方向に沿って指Fを払うフリック指示(スクロール指示)との区別が特に問題となるが、上述した様々な方法により、拡大指示とスクロール指示とを明確に区別することができる。
 電子アルバム装置としてスマートフォン10を例示したが、本発明はこれに限定されない。電子アルバム装置は、タブレット型コンピュータやノート型パソコン等の他の携帯情報端末であってタッチパネルを有するものであればよい。
 また、ネットワーク27上に存在するネットワークサーバに電子アルバム装置の機能を担わせてもよい。この場合、スマートフォン10等の携帯情報端末は、ネットワークサーバに拡大指示等のジェスチャ指示を送信し、かつネットワークサーバからアルバム画面12の画面データを受信する。携帯情報端末は、アルバム画面12の画面データを、例えばウェブブラウザ上に再現して表示する。
 携帯情報端末はリソースが限られているが、ネットワークサーバは比較的豊富なリソースをもつ。このため、ネットワークサーバに電子アルバム装置の機能を担わせれば、処理速度の格段の向上が見込める。したがって、ネットワーク27の環境が整ってさえいれば、携帯情報端末に電子アルバム装置の機能を担わせるよりも、ネットワークサーバに電子アルバム装置の機能を担わせるほうが好適である。
 なお、携帯情報端末とネットワークサーバに電子アルバム装置の機能を分担して担わせてもよい。例えば携帯情報端末に指示受付部35と抽出部43とリスト表示処理部44の機能を担わせ、ネットワークサーバに画面生成部40とスクロール表示処理部41と戻し処理部42の機能を担わせる。
 画像格納部32も同様に電子アルバム装置のストレージデバイス内になくてもよく、ネットワーク27上に存在する画像蓄積サーバに画像格納部32を配置してもよい。この場合、アルバム編集部36は、ネットワーク27経由で画像蓄積サーバにアクセスして、画像蓄積サーバ内の画像格納部32から画像IMを読み出す。
 このように、コンピュータシステムのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、電子アルバムアプリ30等の様々なアプリについても、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
 上記各実施形態において、指示受付部35、アルバム編集部36、画面生成部40、スクロール表示処理部41、戻し処理部42、抽出部43、リスト表示処理部44といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、例えば、上述したように、ソフトウエア(電子アルバムアプリ30)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU22である。
 また、CPU22が実現する機能の全部または一部に代えて、次のような各種のプロセッサを使用してもよい。各種のプロセッサとしては、例えば、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(PLD;Programmable Logic Device)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
 以上の説明から、以下の付記項に示す発明を把握することができる。
 [付記項1]
 複数の画像が配されたアルバムページを含み、タッチパネルディスプレイに表示されるアルバム画面を生成する画面生成プロセッサと、
 前記タッチパネルディスプレイへのジェスチャ指示を受け付ける指示受付プロセッサであり、前記ジェスチャ指示として、前記アルバムページのスクロール指示、並びに前記アルバムページから削除された前記画像である削除画像を前記アルバムページに戻す戻し指示を受け付ける指示受付プロセッサと、
 前記スクロール指示に応じて前記アルバムページをスクロール表示するスクロール表示処理と、前記戻し指示に応じて前記削除画像を前記アルバムページに戻す戻し処理とを含むアルバム編集処理を実行するアルバム編集プロセッサであって、前記アルバム編集処理として、複数の前記削除画像の中から、現在の前記スクロール表示の位置において前記アルバムページ内に存在する前記画像と属性が同じ前記削除画像である同一属性画像を抽出する抽出処理と、抽出した前記同一属性画像のリストを、前記アルバムページと並べて表示するリスト表示処理とを実行するアルバム編集プロセッサとを備える電子アルバム装置。
 上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。
 10 スマートフォン
 11 ユーザ
 12 アルバム画面
 13 タッチパネルディスプレイ(タッチパネル)
 14 アルバムページ
 15 アンドゥボタン
 16 リスト表示ボタン
 17 隙間
 20 ストレージデバイス
 21 メモリ
 22 CPU
 23 通信部
 24 データバス
 25 ディスプレイ
 26 タッチパッド
 27 ネットワーク
 30 電子アルバムアプリ(電子アルバムアプリケーションプログラム)
 31 アルバム管理情報
 32 画像格納部
 35 指示受付部
 36 アルバム編集部
 40 画面生成部
 41 スクロール表示処理部
 42 戻し処理部
 43 抽出部
 44 リスト表示処理部
 45 トリミング位置調整画面
 46 キャンセルボタン
 47 チェックボタン
 50 非表示部分
 60 同一属性画像リスト
 65、66、70、71 表
 75 アンドゥ表示ダイアログ
 IM 画像
 IMT 拡大対象画像
 IME 拡大後画像
 IMD 削除画像
 IMS 同一属性画像
 CE 画像表示セル
 UCE 単位セル
 F 指
 TR 軌跡
 ER 拡大領域
 AR 電子アルバム領域
 ST1~ST4、ST10~ST40、ST100~ST160、ST130-1~ST130-4、ST140-1~ST140-5 ステップ

Claims (12)

  1.  複数の画像が配されたアルバムページを含み、タッチパネルディスプレイに表示されるアルバム画面を生成する画面生成部と、
     前記タッチパネルディスプレイへのジェスチャ指示を受け付ける指示受付部であり、前記ジェスチャ指示として、前記アルバムページのスクロール指示、並びに前記アルバムページから削除された前記画像である削除画像を前記アルバムページに戻す戻し指示を受け付ける指示受付部と、
     前記スクロール指示に応じて前記アルバムページをスクロール表示するスクロール表示処理と、前記戻し指示に応じて前記削除画像を前記アルバムページに戻す戻し処理とを含むアルバム編集処理を実行するアルバム編集部であって、前記アルバム編集処理として、複数の前記削除画像の中から、現在の前記スクロール表示の位置において前記アルバムページ内に存在する前記画像と属性が同じ前記削除画像である同一属性画像を抽出する抽出処理と、抽出した前記同一属性画像のリストを、前記アルバムページと並べて表示するリスト表示処理とを実行するアルバム編集部とを備える電子アルバム装置。
  2.  前記アルバム編集部は、前記属性に基づく表示順序にしたがって、前記アルバムページに前記画像を配する請求項1に記載の電子アルバム装置。
  3.  現在の前記スクロール表示の位置において、前記アルバムページ内に前記属性が異なる複数のグループの前記画像が混在していた場合、前記アルバム編集部は、前記アルバムページにおける前記画像の占有割合が最大の前記グループと前記属性が同じ前記削除画像を、前記同一属性画像として抽出する請求項2に記載の電子アルバム装置。
  4.  現在の前記スクロール表示の位置において、前記アルバムページ内に前記属性が異なる複数のグループの前記画像が混在していた場合、前記画面生成部は、前記グループが識別可能な表示形態で前記画像を表示する請求項2または3に記載の電子アルバム装置。
  5.  前記指示受付部は、前記ジェスチャ指示として、前記リストの表示指示および非表示指示を受け付け、
     前記アルバム編集部は、前記表示指示に応じて前記リスト表示処理を実行し、前記非表示指示に応じて、前記リストを非表示とするリスト非表示処理を実行する請求項1ないし4のいずれか1項に記載の電子アルバム装置。
  6.  前記属性は、前記画像の画質、前記画像に映る被写体、前記画像の撮影日時、前記画像の撮影場所のうちの少なくともいずれか1つに基づくものである請求項1ないし5のいずれか1項に記載の電子アルバム装置。
  7.  前記画面生成部は、前記画像を表示する画像表示セルであり、予めサイズが規定された単位セルを基準として、前記単位セルの正の整数倍に大きさが変化する画像表示セルをグリッド状に配列した前記アルバムページを生成する請求項1ないし6のいずれか1項に記載の電子アルバム装置。
  8.  前記指示受付部は、前記ジェスチャ指示として、前記アルバムページ内で前記画像を拡大表示する拡大指示を受け付け、
     前記アルバム編集部は、前記アルバム編集処理として、前記拡大指示された前記画像である拡大対象画像を認識する認識処理と、前記認識処理で認識された前記拡大対象画像を拡大する拡大処理と、前記拡大対象画像とは別の前記画像であって、前記拡大対象画像の拡大後の領域である拡大領域に重なる前記画像を前記アルバムページから削除する削除処理とを実行し、
     前記削除処理された前記画像が前記削除画像として扱われる請求項1ないし7のいずれか1項に記載の電子アルバム装置。
  9.  請求項7を引用する請求項8に記載の電子アルバム装置において、
     前記拡大領域は、前記単位セルの正の整数倍の大きさの領域である電子アルバム装置。
  10.  前記指示受付部は、前記拡大対象画像を始点として、前記拡大領域に沿って前記アルバムページ内を1本の指でなぞるスワイプ指示を、前記拡大指示として受け付ける請求項8または9に記載の電子アルバム装置。
  11.  複数の画像が配されたアルバムページを含み、タッチパネルディスプレイに表示されるアルバム画面を生成する画面生成ステップと、
     前記タッチパネルディスプレイへのジェスチャ指示を受け付ける指示受付ステップであり、前記ジェスチャ指示として、前記アルバムページのスクロール指示、並びに前記アルバムページから削除された前記画像である削除画像を前記アルバムページに戻す戻し指示を受け付ける指示受付ステップと、
     前記スクロール指示に応じて前記アルバムページをスクロール表示するスクロール表示処理と、前記戻し指示に応じて前記削除画像を前記アルバムページに戻す戻し処理とを含むアルバム編集処理を実行するアルバム編集ステップであって、前記アルバム編集処理として、複数の前記削除画像の中から、現在の前記スクロール表示の位置において前記アルバムページ内に存在する前記画像と属性が同じ前記削除画像である同一属性画像を抽出する抽出処理と、抽出した前記同一属性画像のリストを、前記アルバムページと並べて表示するリスト表示処理とを実行するアルバム編集ステップとを備える電子アルバム装置の作動方法。
  12.  複数の画像が配されたアルバムページを含み、タッチパネルディスプレイに表示されるアルバム画面を生成する画面生成機能と、
     前記タッチパネルディスプレイへのジェスチャ指示を受け付ける指示受付機能であり、前記ジェスチャ指示として、前記アルバムページのスクロール指示、並びに前記アルバムページから削除された前記画像である削除画像を前記アルバムページに戻す戻し指示を受け付ける指示受付機能と、
       前記スクロール指示に応じて前記アルバムページをスクロール表示するスクロール表示
     処理と、前記戻し指示に応じて前記削除画像を前記アルバムページに戻す戻し処理とを含
     むアルバム編集処理を実行するアルバム編集機能であって、前記アルバム編集処理として
     、複数の前記削除画像の中から、現在の前記スクロール表示の位置において前記アルバム
     ページ内に存在する前記画像と属性が同じ前記削除画像である同一属性画像を抽出する抽
     出処理と、抽出した前記同一属性画像のリストを、前記アルバムページと並べて表示する
     リスト表示処理とを実行するアルバム編集機能とを、コンピュータに実行させる電子アル
     バム装置の作動プログラム。


     
PCT/JP2019/001484 2018-02-08 2019-01-18 電子アルバム装置とその作動方法および作動プログラム WO2019155852A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019570645A JP7057382B2 (ja) 2018-02-08 2019-01-18 電子アルバム装置とその作動方法および作動プログラム
CN201980012537.0A CN111712858B (zh) 2018-02-08 2019-01-18 电子相册装置及其工作方法和非暂时性计算机可读介质
US16/986,480 US11178291B2 (en) 2018-02-08 2020-08-06 Electronic album apparatus, and operation method and operation program for the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018020905 2018-02-08
JP2018-020905 2018-02-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/986,480 Continuation US11178291B2 (en) 2018-02-08 2020-08-06 Electronic album apparatus, and operation method and operation program for the same

Publications (1)

Publication Number Publication Date
WO2019155852A1 true WO2019155852A1 (ja) 2019-08-15

Family

ID=67548461

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/001484 WO2019155852A1 (ja) 2018-02-08 2019-01-18 電子アルバム装置とその作動方法および作動プログラム

Country Status (4)

Country Link
US (1) US11178291B2 (ja)
JP (1) JP7057382B2 (ja)
CN (1) CN111712858B (ja)
WO (1) WO2019155852A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022196476A1 (ja) * 2021-03-16 2022-09-22 富士フイルム株式会社 電子機器、電子機器の制御方法及び電子機器の制御プログラム
JP7423444B2 (ja) 2020-06-24 2024-01-29 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6979472B2 (ja) * 2018-02-08 2021-12-15 富士フイルム株式会社 電子アルバム装置とその作動方法および作動プログラム
CN109597542A (zh) * 2018-10-08 2019-04-09 华为技术有限公司 一种相册展示方法、电子设备及存储介质
JP2021015345A (ja) * 2019-07-10 2021-02-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、および表示制御装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191701A (ja) * 2013-03-28 2014-10-06 Fujifilm Corp 画像検索装置およびその動作制御方法ならびに画像検索サーバ
JP2017117479A (ja) * 2017-01-31 2017-06-29 フリュー株式会社 サーバ、制御方法、制御プログラムおよび記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005159902A (ja) * 2003-11-27 2005-06-16 Olympus Corp 画像管理装置及び画像管理方法
JP2009087330A (ja) * 2007-09-11 2009-04-23 Nikon Corp 電子アルバム提供システムおよびファイル提供システム
JP5383211B2 (ja) * 2009-01-13 2014-01-08 キヤノン株式会社 情報処理システム、情報処理装置、情報処理装置の制御方法、及び制御プログラム
JP5638896B2 (ja) * 2010-09-21 2014-12-10 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
JP5655112B2 (ja) 2012-09-14 2015-01-14 富士フイルム株式会社 合成画像作成システム、画像処理装置および画像処理方法
JP5859471B2 (ja) * 2013-03-19 2016-02-10 富士フイルム株式会社 電子アルバム作成装置および電子アルバムの製造方法
JP5883837B2 (ja) * 2013-09-30 2016-03-15 富士フイルム株式会社 電子アルバム用人物画像決定装置ならびにその制御方法,その制御プログラムおよびその制御プログラムを格納した記録媒体
JP6323465B2 (ja) * 2014-01-15 2018-05-16 富士通株式会社 アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
CN104199750B (zh) * 2014-08-26 2017-07-28 上海天脉聚源文化传媒有限公司 一种linux系统的文件恢复方法及装置
CN104915202B (zh) * 2015-06-05 2018-01-19 广东欧珀移动通信有限公司 一种截图方法及装置
US20180181281A1 (en) * 2015-06-30 2018-06-28 Sony Corporation Information processing apparatus, information processing method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191701A (ja) * 2013-03-28 2014-10-06 Fujifilm Corp 画像検索装置およびその動作制御方法ならびに画像検索サーバ
JP2017117479A (ja) * 2017-01-31 2017-06-29 フリュー株式会社 サーバ、制御方法、制御プログラムおよび記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7423444B2 (ja) 2020-06-24 2024-01-29 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
WO2022196476A1 (ja) * 2021-03-16 2022-09-22 富士フイルム株式会社 電子機器、電子機器の制御方法及び電子機器の制御プログラム

Also Published As

Publication number Publication date
CN111712858B (zh) 2023-05-23
US20200366798A1 (en) 2020-11-19
JPWO2019155852A1 (ja) 2021-02-04
US11178291B2 (en) 2021-11-16
JP7057382B2 (ja) 2022-04-19
CN111712858A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
WO2019155852A1 (ja) 電子アルバム装置とその作動方法および作動プログラム
JP5908130B2 (ja) ジャーナルを生成するためのアプリケーション
WO2016155645A1 (zh) 一种移动终端搜索图片的预览方法和装置
US9436673B2 (en) Automatic application of templates to content
US10067657B2 (en) User configurable quick groups
EP3528140A1 (en) Picture processing method, device, electronic device and graphic user interface
US20130132876A1 (en) Mobile information device and content display method
TW201137729A (en) Gallery application for content viewing
US20170116706A1 (en) Method for displaying a picture on a terminal, and the terminal
CN109218819B (zh) 一种视频预览方法及移动终端
KR20170011177A (ko) 디스플레이 장치 및 그 제어 방법
JP6979472B2 (ja) 電子アルバム装置とその作動方法および作動プログラム
JP2020052541A (ja) 画像表示制御装置、画像表示制御装置の作動プログラム、及び作動方法
US20150046796A1 (en) Page formation method and electronic device supporting the method
US10162507B2 (en) Display control apparatus, display control system, a method of controlling display, and program
US20120324380A1 (en) Method and apparatus for controlling a spatial relationship between at least two groups of content during movement of the content
JP2020052542A (ja) 画像表示制御装置、画像表示制御装置の作動プログラム、及び作動方法
WO2023241612A1 (zh) 文件选择方法、装置、电子设备及可读存储介质
JP2013025441A (ja) 情報処理装置、システム、方法及びプログラム
US11436776B2 (en) Information processing apparatus and control method thereof
WO2019150724A1 (ja) 電子アルバム装置、電子アルバム装置の作動方法および作動プログラム
US9019295B1 (en) Personalized tagging of media on mobile devices
CN103106079B (zh) 数字内容阅读器及其显示方法
US9594738B2 (en) Displaying changes related to pages located before and after a currently displayed page
CN114117084A (zh) 相册生成方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19750863

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019570645

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19750863

Country of ref document: EP

Kind code of ref document: A1