WO2011052678A1 - 画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および、画像処理プログラム Download PDF

Info

Publication number
WO2011052678A1
WO2011052678A1 PCT/JP2010/069159 JP2010069159W WO2011052678A1 WO 2011052678 A1 WO2011052678 A1 WO 2011052678A1 JP 2010069159 W JP2010069159 W JP 2010069159W WO 2011052678 A1 WO2011052678 A1 WO 2011052678A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
divided
feature amount
display order
Prior art date
Application number
PCT/JP2010/069159
Other languages
English (en)
French (fr)
Inventor
書勉 何
志学 岩淵
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to EP10826810.3A priority Critical patent/EP2495663B1/en
Priority to US13/504,854 priority patent/US8699795B2/en
Priority to ES10826810T priority patent/ES2570253T3/es
Publication of WO2011052678A1 publication Critical patent/WO2011052678A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9558—Details of hyperlinks; Management of linked annotations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents

Definitions

  • the present invention relates to a technical field of an image processing apparatus, an image processing method, and an image processing program for performing image processing of image data stored in a database.
  • portable terminals such as portable wireless telephones have become widespread, and users can easily browse videos such as Web pages and broadcast programs on the go with a portable terminal.
  • Patent Document 1 discloses the following portable terminal technology.
  • the mobile terminal displays the original image data by reducing the number of pixels to the number of pixels of the display unit.
  • a position is designated on the image by the pointing device, corresponding coordinates in the original image data are calculated, and based on the corresponding coordinates, an image area equal to the number of pixels of the display unit is designated in the original image data.
  • the image data is displayed on the display unit as a partially enlarged image without changing the number of pixels of the image data.
  • high-resolution images such as still images of several megapixels to gigapixels such as detailed map data and moving images such as high-definition television broadcasts are released on the web, It can be browsed by a personal computer or the like.
  • the present invention has been made in view of such a problem, and an example of the problem is to provide an image processing device, an image processing method, and an image processing program for the convenience of a user in a mobile terminal. With the goal.
  • the present invention also provides an image processing apparatus, an image processing method, and an image processing apparatus that extracts a characteristic area in one image and automatically displays the characteristic area for the user without being directly operated by the user.
  • An object of the present invention is to provide an image processing program.
  • the invention according to claim 1 is characterized in that a feature amount calculating means for calculating a feature amount of a region of an image and a plurality of images having at least one different size based on the feature amount.
  • a feature amount calculating means for calculating a feature amount of a region of an image and a plurality of images having at least one different size based on the feature amount.
  • an image dividing unit that divides the image into partial regions to obtain a divided image
  • a display order determining unit that determines a display order of the plurality of divided images based on the feature amount of each of the divided images
  • Link area setting means for setting a link area for linking to a predetermined Web page.
  • the image processing apparatus further includes a transmission unit configured to transmit the image data of the divided image and the data of the link area based on the display order.
  • the invention according to claim 3 is the image processing apparatus according to claim 1 or 2, wherein the display order determining means determines the display order based on user information.
  • the image processing apparatus further includes a link area visualization unit that performs image processing so that the link area is visible.
  • the related product link means for associating the related product related to the divided image with the link area is further provided. It is characterized by that.
  • the feature amount includes a hue value, a saturation value, a lightness value of the image, It is at least one of the hue direction component, the saturation direction component, and the brightness direction component.
  • the invention according to claim 7 is a divided image obtained by dividing the image into a plurality of partial regions having different sizes based on the feature amount calculating step for calculating the feature amount of the region of the image and the feature amount.
  • An image dividing step for obtaining the image, a display order determining means for determining a display order of the plurality of divided images based on the feature amount of each of the divided images, and a link to a predetermined Web page in association with the divided images A link area setting step for setting the link area.
  • the computer divides the image into a plurality of partial regions having different sizes based on the feature amount calculating means for calculating the feature amount of the region of the image.
  • Image dividing means for obtaining divided images
  • display order determining means for determining the display order of the plurality of divided images based on the feature quantities of the divided images
  • a link to a predetermined Web page in association with the divided images It is made to function as a link area setting means for setting a link area for this purpose.
  • the computer divides the image into a plurality of partial regions having different sizes based on the feature amount calculating means for calculating the feature amount of the region of the image.
  • Image dividing means for obtaining divided images
  • display order determining means for determining the display order of the plurality of divided images based on the feature quantities of the divided images
  • An image processing program is recorded that functions as a link area setting means for setting a link area to be used.
  • a feature amount of a region of an image is calculated, and based on the feature amount, an image is divided into a plurality of partial regions having different sizes to obtain divided images, and features of the respective divided images are obtained.
  • the display order of a plurality of divided images is determined, and a link area for linking to a predetermined web page is set in association with the divided images, so that the user can directly select the divided images set with the link areas. Since it is automatically played back on the mobile terminal without being operated, other information can be accessed by clicking or the like at a place where the user is concerned. Therefore, the convenience of the user at the terminal can be improved.
  • FIG. 1 is a schematic diagram illustrating a schematic configuration example of an image processing server system according to a first embodiment of the present invention. It is a block diagram which shows an example of schematic structure of the image processing server of FIG. It is a schematic diagram which shows an example of the image data from which the resolution differs in the database of the image server of FIG. It is a flowchart which shows an example of the scenario reproduction
  • FIG. 4 is a schematic diagram illustrating an example in which the original image of FIG. 3 is divided into rectangular areas.
  • FIG. 5 is a flowchart illustrating an example of a sub-routine based on feature amounts in FIG. 4.
  • FIG. It is a schematic diagram which shows an example of a mode that the image of FIG. 5 was divided
  • FIG. 9 is a flowchart illustrating an example of a basic rectangular area expansion subroutine in FIG. 8.
  • FIG. (A) to (D) are schematic views showing an example of how to expand the basic rectangular area in FIG. It is a schematic diagram which shows an example by which the image was divided
  • FIG. 7 is a schematic diagram illustrating an example in which the rectangular area of FIG. 6 is further divided into rectangular areas based on feature amounts. It is a schematic diagram which shows an example of a user history acquisition mode for scenario reproduction
  • FIG. 1 is a schematic diagram showing a schematic configuration example of an image processing server system according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an example of a schematic configuration of the image processing server.
  • an image processing server system 10 as an example of an image processing apparatus includes an image processing server 11 that performs image processing based on a request from a mobile terminal 20, a processing result of the image processing server 11, and a Web server 30.
  • a database server 12 for storing the image data, and a communication server 13 that communicates with the mobile terminal 20 and the Web server 30.
  • the image server system 10 is connected to a network 3 such as the Internet, the portable terminal 20 is connected to a mobile communication network 2, and the mobile communication network 2 and the network 3 are used for protocol conversion, conversion of a language describing content, and the like. Connected by a gateway or the like.
  • the image server system 10 is connected to a Web server 30 that holds data such as HTML (HyperText Markup Language) documents and images via a network 3 such as the Internet. Then, the mobile terminal 20 transmits information such as a URL (Uniform ⁇ ⁇ Resource Locator) of an image to be browsed, that is, an original image, to the image server system 10.
  • a URL Uniform ⁇ ⁇ Resource Locator
  • the image server system 10 receives original image data related to the original image from the Web server 30 corresponding to the URL, creates original image information related to the original image from the original image data, and stores the original image data in the portable terminal 20. For example, information about the original image and image data are transmitted to the mobile terminal 20.
  • the URL of the image server system 10 as the access destination is incorporated in the software on the mobile terminal 20 side, and the URL of the Web server 30 as the original image data destination can be directly input on the mobile terminal 20 side, When a location where the URL of the Web server 30 is embedded is clicked, request information is transmitted from the portable terminal 20 to the image server system 10.
  • the image server system 10 can provide the mobile terminal 20 with the original image data that has been subjected to predetermined processing.
  • the portable terminal 20 acquires information from the Web server 30 or the like via the image server system 10 based on the installed software.
  • the original image data may be data in the image server system 10.
  • the image processing server 11 functioning as a computer controls the entire image processing server 11 and performs image processing calculations, and a memory that stores intermediate results of the control unit 11 a and the like.
  • a communication unit 11c that communicates with the database server 12 and the communication server 13, a display unit 11d that displays images, text, and the like, and an operation unit 11e that includes a keyboard, a mouse, and the like.
  • a bus 11f is connected by a bus 11f.
  • the control unit 11a has a CPU (Central Processing Unit) and compresses the image data downloaded from the Web server 30 to reduce the resolution of the image, or functions as a feature amount calculation unit that calculates a feature amount from the image data. Various image processing is performed.
  • the CPU is a multi-core type having a plurality of CPU cores in one CPU package, and can perform parallel processing.
  • the storage unit 11b includes a RAM (Random Access Memory), a ROM (Read Only Memory), a hard disk, and the like, and is loaded with an image processing program and forms a memory space for holding image data.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the communication unit 11c communicates with the database server 12 and the communication server 13 via a local area network.
  • the display unit 11d is configured by a CRT (CathodeathRay Tube), a liquid crystal display element, an EL (Electro Luminescence) element, or the like.
  • the database server 12 controls a database composed of hard disks.
  • the database of the database server 12 stores image data downloaded from the Web server 30, data obtained by image processing of this data, requests from the mobile terminal 20, and the like.
  • the communication server 13 communicates with the mobile terminal 20 via the base station of the mobile communication network 2 or communicates with the Web server 30 via the network 3. Functions as a gateway or authentication server.
  • the mobile terminal 20 includes a display unit 21 that displays an image, text, and the like, an operation unit 22 that is used to operate a pointer displayed on the display unit 21, and the like (not illustrated).
  • a wireless communication unit that performs transmission and reception with the image server system 10, a voice input / output unit that inputs and outputs voice for a call, a storage unit that stores data transmitted from the image server system 10, and the portable terminal 20
  • the control part etc. which perform various control of are provided.
  • the display unit 21 is configured by a liquid crystal display element or an EL (Electro Luminescence) element.
  • the operation unit 22 includes various keys. The user uses the operation unit 22 to move the pointer displayed on the display unit 21 or to select and confirm an image portion.
  • FIG. 3 is a schematic diagram showing an example of image data with different resolutions in the database of the image server.
  • the image (original image) 40 is a schematic diagram illustrating an example of an original image corresponding to original image data existing in the database of the Web server 30 or the image processing server system 10.
  • the Web server 30 has original image data indicated by the URL of the image requested by the user from the portable terminal 20, and has, for example, image data of the original image 40 as shown in FIG.
  • the image data of the original image 40 is image data having a size of several mega to gigapixels such as detailed map data, and it is assumed that the mobile terminal 20 cannot display the image data as it is.
  • the image data of the original image 40 downloaded from the Web server 30 to the image server system 10 is stored in the database server 12. Then, the image processing server 11 performs image processing on the image data of the original image 40, and creates image data such as images 41, 42, and 45 with various resolutions, image data of partial images that the user is likely to focus on, and the like.
  • the original image information related to the original image 40 include information on the number of pixels (resolution) and the ratio between the width and the height relating to the original image data and the image data having various resolutions that have been created.
  • FIG. 4 is a flowchart showing an example of scenario reproduction by the image processing server 11.
  • FIG. 5 is a schematic diagram illustrating an example of an image obtained as a result of calculating the feature amount for each pixel of the original image data in FIG. 3.
  • FIG. 6 is a schematic diagram illustrating an example in which an original image is divided into rectangular areas.
  • FIG. 7 is a schematic diagram showing an example of scenario playback.
  • the control unit 11a of the image processing server 11 receives from the portable terminal 20 information on a URL where an image of a certain site exists, information on a desired compression rate (image resolution level), and the like. At this time, the control unit 11a also receives information on the function of the mobile terminal 20 such as the screen size and resolution of the display unit 21 in the mobile terminal 20.
  • the control unit 11a of the image server 11 accesses the Web server 30 corresponding to the requested URL, downloads the image data of the original image 40 as shown in FIG. 3, and stores the original data in the database via the database server 12. The image data of the image 40 is stored.
  • the control unit 11a of the image processing server 11 divides the image into partial regions based on the feature amount to obtain divided images (step S1). Specifically, first, as shown in FIG. 5, a feature amount is calculated for the original image 40 to obtain an image 50. Then, as shown in FIG. 6, the image is divided into a plurality of partial regions (divided images P1, P2, P3) having different sizes based on the feature amount. Most images will result in unequal split images.
  • the feature amount is an index representing the importance of an object present in a still image in human visual recognition.
  • hue, saturation, brightness, and the contour (edge) of an object are important factors. Note that details of feature amount calculation and image division based on the feature amount will be described later.
  • the image processing server 11 functions as an example of a feature amount calculating unit that calculates a feature amount of an image region.
  • the image processing server 11 obtains a divided image by dividing an image such as the original image 40 into a plurality of partial areas having different sizes based on the feature amount.
  • control unit 11a creates an image of each level of image resolution with respect to the original image 40 (step S2). Specifically, when the data amount of the image data of the original image 40 is large with respect to the display function or the like of the mobile terminal 20, the control unit 11a performs low-resolution image images of each level of the original image 40 based on image compression. Create data. For example, the control unit 11a reduces the image size of the original image 40 and creates image data of the low-resolution image 45 in which the number of pixels is reduced to fit on the screen of the display unit 21, images 41 and 42, and the like. .
  • the control unit 11a when the resolution is lowered to reduce the number of pixels, the control unit 11a once divides the original image data of the original image 40 into a plurality of regions to obtain divided images.
  • the control unit 11a obtains a low resolution divided image by reducing the resolution of each divided image by parallel processing using a multi-core CPU or the like, and then integrates them to obtain a low resolution integrated image.
  • the image to be compressed and reduced in resolution is first divided into divided images, and the divided images are compressed by parallel processing using a plurality of resolution reduction means, it is possible to achieve high-speed image compression. .
  • requirement the image which responded to a request
  • control unit 11a ranks each divided image based on the feature amount (step S3). Specifically, as illustrated in FIG. 6, the control unit 11a, for each of the divided images P1, P2, P3, and the like based on the feature amount, in descending order of the feature value of each divided image. Rank. As the feature value of each divided image P1, P2, P3, etc., the average value of the feature values in the partial areas of each divided image is used.
  • control unit 11a determines the display order based on the feature amount (step S4). Specifically, the control unit 11a extracts a higher-order divided image having a certain feature amount or higher, and sets the display order so that the upper divided image is preferentially displayed in the image 51. As described above, the control unit 11a functions as an example of a display order determining unit that determines the display order of a plurality of divided images based on the feature amounts of the respective divided images.
  • the control unit 11a determines a display area near the divided image to be displayed (step S5). Specifically, as illustrated in FIG. 6, the control unit 11 a determines display frames 46 ⁇ / b> A, 47 ⁇ / b> A, and 48 ⁇ / b> A that indicate display areas so as to include some or all of the divided images P ⁇ b> 1, P ⁇ b> 2, and P ⁇ b> 3.
  • the size of the display frame 46 ⁇ / b> A is determined by the size of the display unit 21 of the mobile terminal 20 and the resolution necessary for displaying the divided image P ⁇ b> 1 on the display unit 21.
  • the display frame 47A is determined so as to include the divided image P2.
  • the display frames corresponding to the display frames 46A, 47A, and 48A are the display frames 46B, 47B, and 47C.
  • the control unit 11a determines a link area based on the feature amount (step S6). Specifically, in the divided images P1, P2, and P3 displayed on the user's mobile terminal 20, the control unit 11a includes a link area including all or part of the divided images and link frames 51a and 51b surrounding the link area. , 51c.
  • the information about the link area and the link frame is described in a markup language such as HTML, for example.
  • control unit 11a determines the link frames 51a, 51b, and 51c centering on the high feature amount in the divided image.
  • the link frames 51a, 51b, and 51c may be determined by referring to the images 50 and 51 in which the human represents the feature amount of the image 40 like a thermograph.
  • the control unit 11a functions as an example of a link area setting unit that sets a link area for linking to a predetermined Web page in association with a divided image. For example, the control unit 11a sets a link area near the divided image, or sets a link area in the divided image.
  • the control unit 11a associates the link area with the product (step S7).
  • the control unit 11a as an example of related products related to the divided images, information on products and services related to the items shown in the images of the divided images P1, P2, and P3 (for example, HTML of the product page) Data) is retrieved from the database of the database server 12. More specifically, since the face of the divided image P1 is the main image, the control unit 11a requests the URL of the product or service related to the face from the database server 12, and the divided image P2 has the main clock. Since it is an image, the control unit 11a requests the database server 12 for the URL of a product or service related to the clock. Then, the control unit 11a transmits data to the database server 12 so that the coordinates and resolution information of the link frames 51a, 51b, and 51c are associated with the extracted URL and stored in the database of the database server 12. .
  • the product may be automatically extracted by image recognition, but display software that searches for and displays product and service information together with the image 40, the image 50 showing the feature amount, the image 51 showing the division, and the like.
  • An information provider or the like who wants to provide a product or service may associate a product or service that the user wants to sell while viewing the image displayed on the display unit 11d of the image processing server 11.
  • the control unit 11a functions as an example of related product link means for associating related products related to the divided image with the link area.
  • the control unit 11a transmits the image data to the mobile terminal 20 based on the display order (step S8). Specifically, the control unit 11a and the communication unit 11c transmit the image data of the image 46, the image 47, and the image 48 corresponding to the display frames 46B, 47B, and 48B through the communication server 13 as illustrated in FIG. Are sequentially transmitted to the mobile terminal 20. These image data include information of link areas such as link frames 51a, 51b, 51c described in a markup language such as HTML. Thus, the control unit 11a functions as an example of a transmission unit that transmits the image data of the divided images and the data of the link area based on the display order.
  • FIG. 8 is a flowchart showing an example of a division subroutine based on feature values.
  • FIG. 9 is a schematic diagram illustrating an example of a state in which an image of feature amount image data is divided into basic rectangular areas serving as basic units.
  • control unit 11a of the image processing server 11 calculates a feature amount for each pixel of the image data of the original image 40 (step S10). As described above, the control unit 11a calculates the feature amount of the region such as the original image 40 as an example of the feature amount calculation unit.
  • the visual feature amount is based on the hue value, the saturation value, the brightness value, the hue direction component, the saturation direction component, and the brightness direction component.
  • the feature amount was calculated.
  • the hue value, the saturation value, and the lightness value were obtained by a general formula for converting RGB (Red, Green, Blue) data into HSV (Hue, Saturation, Value) data. Further, the maximum values obtained by the Gabor filters of 0 °, 45 °, 90 °, and 135 ° were used for the directional components of hue, saturation, and lightness.
  • the feature amount is a value obtained by weighting and adding these six components.
  • examples of the feature amount include at least the hue value, the saturation value, the brightness value, the hue direction component, the saturation direction component, and the brightness direction component of the image such as the original image 40.
  • control unit 11a calculates the image data of the image 50 of the heat map as shown in FIG.
  • FIG. 5 is a diagram schematically showing a heat map of the original image 40 for the sake of explanation only.
  • the control unit 11a divides the image 50 of the heat map diagram into basic rectangular areas as shown in FIG. 9 (step S11).
  • the size of the basic rectangular area serving as the basic unit is a width w0 and a height h0.
  • a natural number multiple of the width w0 and the height h0 is the length of the side of the image 57.
  • the width w0 and the height h0 may be the same, or the ratio between the width w0 and the height h0 may be the same as the ratio of the display unit 21 of the mobile terminal 20.
  • the origin is the upper left in the drawing, the x axis is the right direction, and the y axis is the downward direction.
  • control unit 11a expands the rectangular area based on the feature amount and divides the rectangular area (step S12).
  • the control unit 11a combines adjacent basic rectangular areas having close feature values, and divides the image into areas that are easily noticed by humans.
  • the rectangular area makes it easy to perform subsequent processing and processing in the mobile terminal 20.
  • FIG. 10 is a flowchart showing an example of a subroutine for expanding a basic rectangular area as a unit.
  • FIGS. 11A to 11D are schematic views showing an example of how to expand the basic rectangular area.
  • FIG. 12 is a schematic diagram illustrating an example in which an image is divided into rectangular areas in accordance with the process of expanding the basic rectangular area.
  • the control unit 11a selects an arbitrary basic rectangular area from the image 57 divided into basic rectangular areas (step S20). For example, as shown in FIG. 9, a basic rectangular area Ri is selected from an image 57.
  • the control unit 11a calculates the expansion direction of the rectangular area (step S21). Specifically, as shown in FIG. 11, it expands in four directions.
  • the first extension direction as shown in FIG. 11A, in the basic rectangular region Ri, the direction ( ⁇ x, 0), the direction (0, ⁇ y), and the direction ( ⁇ x, ⁇ y)
  • the basic rectangular area Ri is expanded by the adjacent basic rectangular areas.
  • the second extension direction as shown in FIG. 11B, basic rectangular areas adjacent to the direction (x, 0), the direction (0, -y), and the direction (x, -y), respectively.
  • the basic rectangular area Ri is expanded by a minute.
  • the third extension direction as shown in FIG.
  • the basic rectangular area Ri is expanded.
  • the fourth extension direction as shown in FIG. 11D, the basic rectangle area and the basic rectangle adjacent to the direction (x, 0), the direction (0, y), and the direction (x, y), respectively.
  • the area Ri is expanded. Note that, as shown in FIG. 11, the shapes of these expanded rectangular areas are similar to the shapes of the basic rectangular areas.
  • control unit 11a determines whether or not a basic rectangular area exists in the extension direction (step S22). If there is at least one extension direction (step S22; YES), the control unit 11a calculates an average feature amount in the basic rectangular area and the selected rectangular area in each extension direction (step S23). Specifically, as illustrated in FIG. 11, the control unit 11a calculates an average feature amount in the basic rectangular area in each extension direction and the rectangular area (basic rectangular area Ri) selected in step S20. .
  • the control unit 11a selects an extended rectangular area closest to the rectangular area for which the feature amount is selected (step S24). For example, in FIG. 11A, the feature values of all the expanded partial regions are the same, and in FIG. 11B, the feature values of one expanded partial region are the same, and FIG. ), The feature values of the two expanded partial regions are the same. In FIG. 11D, the feature values of the two expanded partial regions are the same. Accordingly, the extended rectangular area obtained by extending the basic rectangular area in the extending direction as shown in FIG. 11A becomes the selected extended rectangular area. In FIG. 11, the hatching pattern of each basic rectangular area indicates the feature value.
  • control unit 11a calculates a difference between the feature amount of the selected rectangular area and the feature amount of the selected extended rectangular area (step S25). Specifically, as illustrated in FIG. 11A, the control unit 11a calculates a difference between the feature amount of the selected rectangular region (basic rectangular region Ri) and the feature amount of the selected extended rectangular region. To do. Then, the control unit 11a determines whether or not the difference between the feature amounts is equal to or greater than a threshold value (step S26).
  • step S26 If the difference in feature amount is smaller than the threshold (step S26; NO), the control unit 11a sets the calculated extended rectangular area as the selected rectangular area (step S27), returns to step S21, and further expands it.
  • step S26 if the difference between the feature amounts is equal to or greater than the threshold value (step S26; YES), the control unit 11a ends the extension of the rectangular area and determines whether or not an unselected basic rectangular area exists (step S28). ).
  • the unselected rectangular area includes the basic rectangular area used for expansion.
  • step S26 if the difference between the feature amounts is equal to or larger than the threshold value, the expanded portion of the selected extended rectangular region is also an unselected basic rectangular region.
  • step S28 If there is an unselected basic rectangular area (step S28; YES), the control unit 11a returns to step S20 and extends from a different basic rectangular area.
  • step S22; NO If there is no extending direction (step S22; NO) and there is no unselected basic rectangular area (step S28; NO), that is, if all the basic rectangular areas are used, the control unit 11a executes a subroutine. finish.
  • the image 50 of the heat map diagram is divided into rectangular regions similar to the basic rectangular region in the example of the present embodiment. Note that when expansion is started from the basic rectangular region R1, there is a restriction on the expansion direction, so there is no need to perform calculation for the four directions.
  • the basic rectangular area expansion subroutine ends, and step S12 ends.
  • the image 50 of the heat map is divided into rectangular areas, and as shown in FIG. 12, an image 58 composed of a plurality of rectangular areas including rectangular areas having different sizes is generated.
  • the size of these expanded rectangular areas is a set in which adjacent basic rectangular areas are combined, and is therefore a natural number multiple of the basic rectangular area as a divided image unit.
  • the expanded rectangular area is a rectangular divided image obtained by expanding the basic rectangular area by a natural number multiple in two directions of adjacent sides of the basic rectangular area, that is, the x direction and the y direction.
  • step S13 the control unit 11a creates a new rectangular area obtained by combining rectangular areas having similar feature amounts (step S13).
  • basic rectangular regions or extended rectangular regions that are close to each other are combined. Specifically, if an arbitrary rectangular area is a rectangular area having the same size as that of the rectangular area and has a similar feature quantity, the images 59 are combined.
  • the size of the rectangular area, that is, the partial area in the image 59 is a natural number times the basic rectangular area that is a divided image unit. Further, this partial area corresponds to a rectangular divided image by expanding the basic rectangular area by a natural number multiple in two directions of adjacent sides of the basic rectangular area, that is, the x direction and the y direction.
  • the subroutine processing for dividing into divided images is terminated.
  • the control unit 11a starts the process of step S2, and finally calculates the low-resolution image 45 or the like of the image 40.
  • the division between FIG. 6 and FIG. 13 is a schematic illustration to the last, and does not match.
  • the resolution increases as the image 45, the image 46, and the image 47 are obtained.
  • the image 47 and the image 48 have the same resolution level.
  • an image 45 on which link frames 45a, 45b, 45c, and 45d of the link area are displayed is displayed on the screen of the display unit 21 of the mobile terminal 20.
  • the link frames 45a, 45b, 45c, and 45d are displayed by, for example, green dotted lines so that the user can easily see them by blinking or changing the color.
  • This screen is displayed on the display unit 21 of the mobile terminal 20 for a while.
  • the image processing server 11 functions as an example of a link area visualization unit that performs image processing so that the link area is visible.
  • the display frames 46B, 47B, and 48B are merely described for easy understanding of the relationship with the images 46, 47, and 48, and are not displayed on the screen of the display unit 21.
  • the link frame 45a at the face is linked to a Web page containing information on the face, eyes, mouth, etc., information on products and services.
  • the image processing server 11 functions as an example of related product link means for associating related products related to the divided images with the link area. It functions as an example of a link area setting unit that sets a link area for linking to a predetermined Web page in association with a divided image. For example, the control unit 11a sets a link area near the divided image, or sets a link area in the divided image.
  • the image processing server 11 preferentially displays the divided images having a high feature value on the image 45 together with the feature values.
  • the image processing server 11 functions as an example of a display order determination unit that determines the display order of a plurality of divided images based on the feature amounts of the respective divided images.
  • the display frame 46 ⁇ / b> B includes a partial region having a high feature value, and is in the first position from the top in the image 45.
  • link area of the link frame 46a may be linked to a Web page relating to another product or service relating to the eyes or a Web page providing more detailed information.
  • the link area of the link frame 46b may be linked to a Web page that has information on products and services related to the mouth, lips, and teeth.
  • the image processing server 11 may process the image data so that the user can easily pay attention as the image 46 rotates or the size of the image fluctuates.
  • the display frame 47B includes a portion of a partial region having a high feature value, and is in the second position from the top in the image 45.
  • the link frame 47a is linked to a web page such as information on a clock or a product.
  • the image at the display frame 48 ⁇ / b> B at the third position from the top in the image 45 once including the portion of the partial region having a high feature value is zoomed up.
  • a link frame 48a is displayed so as to surround the button of clothes.
  • the link frame 48a is linked to a web page such as information about a button or a product.
  • the image displayed on the display unit 21 may be moved directly from the image 47 having the same resolution level to the image 48 in parallel. Further, when moving from the image 46 having a different resolution level to the image 47, the image is moved up to a location corresponding to the image 47 with the resolution of the image 46, and the image displayed on the display unit 21 is zoomed up. Move to 47. In order to prevent the user from feeling uncomfortable in this way, the image may be transferred with continuity.
  • the image processing server 11 calculates the feature amount of the region of the image (original image 40), and based on the feature amount, the image is divided into at least one partial region having a different size.
  • the divided images P1, P2, P3, etc. are obtained by dividing, and the display order of the divided images is determined based on the feature amount, and linked areas (51a, 51b, 51c) By setting (45a, 45b, 45c), the divided image in which the link area is set is automatically played on the mobile terminal 20 without being directly operated by the user. By doing so, since other information can be accessed, the convenience of the user in the terminal can be improved.
  • the image processing server 11 can present images to the user in the order in which the user is likely to pay attention, and the user convenience can be improved.
  • the image processing server 11 can set a link area where the user can easily pay attention to the image, thereby improving user convenience. Can do.
  • the link area is automatically set without a user operation. Can be received in the order in which it is easy to pay attention, so that the convenience of the user can be improved.
  • the image processing server 11 when the image processing server 11 performs image processing so that the link area is visible, the user notices the link area, for example, by link frames 45a, 45b, and 45c that are colored, blinking, or change color. It becomes easy to click by becoming easy, and the improvement of a user's convenience can be aimed at.
  • the image processing server 11 associates related products related to the divided images with link areas such as the link frames 45a, 45b, and 45c, the information about the image item noticed by the user, that is, the information that the user is interested in Therefore, it is possible to improve the convenience of the user, or dig up a product that the user wants and promote the purchase.
  • the image processing server 11 extracts the feature amount of the image as the feature amount of the original image 40 and creates an image of a partial region corresponding to the feature amount, so that the mobile terminal Since the image data can be transmitted to 20, the range that the user would like to see can be covered in advance, the responsiveness of the image processing can be improved, and the convenience of the user can be improved.
  • the feature amount is at least one of a hue value, a saturation value, a brightness value, a hue direction component, a saturation direction component, and a brightness direction component of an image
  • a feature amount that is an index representing the importance of an object existing in a still image
  • a low-resolution divided image that has been subjected to resolution reduction processing with a high feature amount is: The probability that the user will browse is high. Therefore, convenience for the user is increased.
  • the divided image can be handled by the feature amount for each divided image such as the feature amount, and the convenience of the divided image is increased.
  • the divided images can be classified for each feature amount or specified by the feature amount, and the convenience and operability for the user can be improved.
  • the feature amount may be represented by six components such as a hue value, saturation value, brightness value, hue direction component, saturation direction component, and brightness direction component of the original image 40 or the like. At least one of these components may be used.
  • the feature quantity may be a frequency component.
  • the configuration of the image processing server system is the same as that of the image processing server system according to the first embodiment, and the same or corresponding parts as those in the first embodiment will be described using the same reference numerals. . The same applies to other embodiments and modifications.
  • FIG. 14 is a flowchart showing an example of scenario reproduction according to the second embodiment of the present invention.
  • FIG. 15 is a schematic diagram showing an example of scenario playback according to the second embodiment of the present invention.
  • FIG. 16 is a schematic diagram illustrating an example in which the rectangular area in FIG. 6 is further divided into rectangular areas based on the feature amount.
  • control unit 11a of the image processing server 11 obtains a divided image by dividing the image into partial regions based on the feature amount in the same manner as in step S1 of the first embodiment (step S30).
  • the image 55 is divided according to the method of dividing the image 40, that is, according to the flowcharts shown in FIGS.
  • control unit 11a ranks each divided image based on the feature amount, and extracts a partial image having a higher rank (step S31). For example, as illustrated in FIG. 15, in the image 60, the control unit 11a extracts a divided image corresponding to the display frame 61B or the display frame 64B.
  • control unit 11a determines whether or not to further divide the divided image (step S32). Specifically, when the difference between the average feature amounts of the divided images decreases, the control unit 11a stops dividing the divided images.
  • step S32 If it is necessary to further divide the divided image (step S32; YES), the process returns to step S30, and the control unit 11a further divides the upper-rank divided image into divided images. Specifically, as shown in FIG. 16, the control unit 11a further divides the image 55 (corresponding to the divided image P1 in FIG. 6) into partial areas. In addition to the image 61 corresponding to the image 55, the control unit 11a also divides the image 64 as shown in FIG. In addition, since it limited to the divided image of a higher rank, the control part 11a can be limited to the divided image which needs a further division
  • step S31 a divided image corresponding to the display frame 62A or the display frame 63A is extracted (step S31), and as shown in FIG. However, it further divides
  • the control unit 11a determines the display order based on the feature amount (step S33). Specifically, the control unit 11a, based on the feature amount and the positions of the display frames 61B, 64B, 62B, and 63B in the image 60 and the image 61, based on the resolution of each image as shown in FIG. The display order is determined from (1) to (8). Step S33 corresponds to step S4 of the first embodiment.
  • the control unit 11a determines a display area near the divided image to be displayed (step S34) and determines a link area based on the feature amount (step S35), similarly to steps S5 to S8 of the first embodiment. Then, the link area is associated with the product (step S36), and the image data is transmitted to the portable terminal 20 based on the display order (step S37).
  • the display frames 62A and 63A, the display frames 62B and 63B, and the like are also determined in the same manner as in the first embodiment.
  • the link frames 55a, 55b, 55c, the link frames 61a, 61b, the link frames 62a, 62b, the link frame 63a, and the like are set in the same manner as in the first embodiment and have the same functions.
  • the images 60, 61, 62, 63, and 64 are displayed as described in the first embodiment. However, unlike the first embodiment, the image 61 is zoomed up more deeply.
  • the zoomed-in image is further zoomed up, the scenario is enhanced, and the user's interest can be attracted or the user's convenience can be enhanced.
  • the partial area based on the feature amount can be extracted from the divided image P1
  • the partial area to which the user pays attention often differs for each resolution level when the image is a gigapixel class. The user's convenience can be improved and the convenience of the user can be improved.
  • the entire original image 40 is displayed on the display unit 21 of the mobile terminal 20, the user pays attention to the partial area of the entire face, and after downloading the image data of the partial area of the entire face, the entire face is converted into the partial area of the eye. This is effective when paying attention.
  • the image processing server 11 may determine the display order based on user information. As shown in FIG. 17, in the image 49, the user himself / herself or other users can obtain statistics on what part and at what resolution, and the display order can be determined based on information such as history ranking and word of mouth. Good. In this case, the display can be performed in a more desirable order for the user, and the convenience for the user can be enhanced.
  • the control unit 11a functions as an example of a display order determination unit that determines the display order based on the user information.
  • the processing of the image processing server 11, the database server 12, and the communication server 13 of the image processing server system 10 may be performed by a single server.
  • a grid computer that performs calculation by connecting a plurality of computers may be used.
  • the portable terminal 20 is not limited to a portable wireless telephone, and may be a PC terminal.
  • the present invention is not limited to the above embodiments.
  • Each of the embodiments described above is an exemplification, and any configuration that has substantially the same configuration as the technical idea described in the claims of the present invention and has the same operational effects can be used. It is included in the technical scope of the present invention.
  • Image server system 11 Image processing server 11a: Control unit 11b: Storage unit 12: Database server 13: Communication server 40: Original image (image)

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Information Transfer Between Computers (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

　端末におけるユーザの利便性を図る、画像処理装置、画像処理方法、および、画像処理プログラムを提供する。　画像４０の領域の特徴量を算出し、特徴量に基づき、画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得て（Ｓ１）、それぞれの分割画像の特徴量に基づき、複数の分割画像の表示順序を決め（Ｓ４）、分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定する（Ｓ６）。

Description

画像処理装置、画像処理方法、および、画像処理プログラム
　本発明は、データベースに保存された画像データの画像処理を行う画像処理装置、画像処理方法、および、画像処理プログラムの技術分野に関する。
　近年、携帯型無線電話機等の携帯端末が普及し、ユーザは、外出先等でも手軽に携帯端末により、Ｗｅｂページや放送番組等の動画を閲覧できるようになった。
　これらを閲覧等する場合、携帯端末の表示画面がパーソナルコンピュータやテレビジョン等の画面に比べて小さいため、携帯端末は、表示画面のサイズに基づいて圧縮された画像データ等を表示画面に表示している。例えば、特許文献１には、以下のような携帯端末の技術が開示されている。携帯端末が、受信した原画像データが表示部の画素数よりも多い場合に、原画像データの画素数を表示部の画素数まで減少させて表示する。そして、画像上において、ポインティングデバイスにより位置が指定されると、原画像データにおける対応座標を算出し、この対応座標に基づき、原画像データにおいて表示部の画素数に等しい画像領域を指定し、これらの情報を画像データ配信装置へ送信する。これにより、画像領域に対応する画像データを受信すると、画像データの画素数を変えることなく、一部拡大画像として表示部に表示させる。
特開２０００－１３６５９号公報
　ところで、光ファイバー等のブロードバンドインターネット接続の普及と共に、詳細な地図データ等の数メガピクセルからギガピクセルの静止画像や高精細度テレビジョン放送等の動画等の高解像度の画像がＷｅｂ上に公開され、パーソナルコンピュータ等により閲覧できるようになってきている。
　しかしながら、携帯型無線電話機等の携帯端末の場合、特に、表示画面の大きさの他に通信速度や記憶容量等の機能的制約が多いため、上記技術を用いても、詳細な地図データ等の高解像度の画像をスムーズに閲覧することが難しく、ユーザの操作性の向上が十分に図られているとは言いがたかった。また、携帯端末の場合、キーボードに比べて、操作性が十分とは言えず、表示画面上の画像に対する操作に対するユーザの利便性が必ずしも高くは無かった。
　本発明は、このような問題に鑑みてなされたものであり、その課題の一例は、携帯端末におけるユーザの利便性を図る、画像処理装置、画像処理方法、および、画像処理プログラムを提供することを目的とする。
　また、本発明は、１つの画像の中の特徴ある領域を抽出し、ユーザが直接操作することなく、ユーザに対して特徴ある領域を自動的に表示する、画像処理装置、画像処理方法、および、画像処理プログラムを提供することを目的とする。
　上記課題を解決するために、請求項１に記載の発明は、画像の領域の特徴量を算出する特徴量算出手段と、前記特徴量に基づき、前記画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る画像分割手段と、それぞれの前記分割画像の前記特徴量に基づき、複数の前記分割画像の表示順序を決める表示順序決定手段と、前記分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定手段と、を備えたことを特徴とする。
　請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記表示順序に基づき、前記分割画像の画像データおよび前記リンク領域のデータを送信する送信手段を更に備えたことを特徴とする。
　請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記表示順序決定手段は、ユーザ情報に基づき、前記表示順序を決定することを特徴とする。
　請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の画像処理装置において、前記リンク領域を可視可能に画像処理するリンク領域可視化手段を更に備えたことを特徴とする。
　請求項５に記載の発明は、請求項１から請求項４のいずれか１項に記載の画像処理装置において、前記分割画像に関連した関連商品を前記リンク領域に関連づける関連商品リンク手段を更に備えたことを特徴とする。
　請求項６に記載の発明は、請求項１から請求項５のいずれか１項に記載の画像処理装置において、前記特徴量が、前記画像の色相の値、彩度の値、明度の値、前記色相の方向成分、前記彩度の方向成分、および、前記明度の方向成分の少なくとも１つであることを特徴とする。
　請求項７に記載の発明は、画像の領域の特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る画像分割ステップと、それぞれの前記分割画像の前記特徴量に基づき、複数の前記分割画像の表示順序を決める表示順序決定手段と、前記分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定ステップと、を有することを特徴とする。
　請求項８に記載の発明は、コンピュータを、画像の領域の特徴量を算出する特徴量算出手段、前記特徴量に基づき、前記画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る画像分割手段、それぞれの前記分割画像の前記特徴量に基づき、複数の前記分割画像の表示順序を決める表示順序決定手段、および、前記分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定手段として機能させることを特徴とする。
　請求項９に記載の発明は、コンピュータを、画像の領域の特徴量を算出する特徴量算出手段、前記特徴量に基づき、前記画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る画像分割手段、それぞれの前記分割画像の前記特徴量に基づき、複数の前記分割画像の表示順序を決める表示順序決定手段、および、前記分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定手段として機能させることを特徴とする画像処理プログラムを記録する。
　本発明によれば、画像の領域の特徴量を算出し、特徴量に基づき、画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得て、それぞれの分割画像の特徴量に基づき、複数の分割画像の表示順序を決め、分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定することにより、リンク領域が設定された分割画像を、ユーザが直接操作せず自動的に携帯端末に再生させるため、ユーザが気になるところでクリック等することにより、他の情報にアクセスできるため、端末におけるユーザの利便性の向上を図ることができる。
本発明に係る第１実施形態の画像処理サーバシステムの概要構成例を示す模式図である。 図１の画像処理サーバの概要構成の一例を示すブロック図である。 図１の画像サーバのデータベースにおける解像度の異なる画像データの一例を示す模式図である。 図１の画像処理サーバによるシナリオ再生の一例を示すフローチャートである。 図３の原画像データの画素ごとの特徴量を計算した結果の画像の一例を示す模式図である。 図３の原画像が矩形領域に分割された一例を示す模式図である。 本発明に係る第１実施形態のシナリオ再生の一例を示す模式図である。 図４における特徴量に基づく分割のサブルーチンの一例を示すフローチャートである。 図５の画像を基本単位となる基本矩形領域に分割した様子の一例を示す模式図である。 図８における基本矩形領域拡張のサブルーチンの一例を示すフローチャートである。 （Ａ）から（Ｄ）は、図１０における基本矩形領域の拡張の仕方の一例を示す模式図である。 図１０の処理に従い、画像が矩形領域に分割された一例を示す模式図である。 図１２の矩形領域を更にまとめた矩形領域の一例を示す模式図である。 本発明に係る第２実施形態のシナリオ再生の一例を示すフローチャートである。 本発明に係る第２実施形態のシナリオ再生の一例を示す模式図である。 図６の矩形領域が、特徴量に基づき矩形領域に更に分割された一例を示す模式図である。 第１および第２実施形態の変形例におけるシナリオ再生のためのユーザ履歴取得様子の一例を示す模式図である。
　以下、図面を参照して本発明を実施するための最良の形態について説明する。
　（第１実施形態）
　まず、本発明の第１実施形態に係る画像処理サーバシステムの概略構成および機能について、図に基づき説明する。
　図１は、本発明に係る第１実施形態に係る画像処理サーバシステムの概要構成例を示す模式図である。図２は、画像処理サーバの概要構成の一例を示すブロック図である。
　図１に示すように、画像処理装置の一例の画像処理サーバシステム１０は、携帯端末２０の要求等に基づき画像処理を行う画像処理サーバ１１と、画像処理サーバ１１の処理結果やＷｅｂサーバ３０からの画像データを記憶させるデータベースサーバ１２と、携帯端末２０やＷｅｂサーバ３０と通信する通信サーバ１３と、を備える。
　画像サーバシステム１０は、インターネット等のネットワーク３に接続され、携帯端末２０は、移動体通信網２に接続され、移動体通信網２とネットワーク３とはプロトコル変換やコンテンツを記述する言語の変換等を行うためのゲートウエイ等により接続されている。また、画像サーバシステム１０は、ＨＴＭＬ（HyperText Markup Language）文書や画像等のデータを保持するＷｅｂサーバ３０に、インターネット等のネットワーク３を介して接続されている。そして、携帯端末２０は、閲覧したい画像、すなわち、原画像のＵＲＬ（Uniform Resource Locator）等の情報を画像サーバシステム１０に送信する。
　画像サーバシステム１０は、ＵＲＬに対応したＷｅｂサーバ３０から原画像に係る原画像データを受信し、この原画像データから、原画像に係る原画像情報を作成したり、原画像データを携帯端末２０用に加工処理したりして、原画像に関する情報や画像データを携帯端末２０に送信する。例えば、アクセス先としての画像サーバシステム１０のＵＲＬは、携帯端末２０側のソフトウェアに組み込まれていて、携帯端末２０側において、原画像データ先としてのＷｅｂサーバ３０のＵＲＬを、直接入力したり、Ｗｅｂサーバ３０のＵＲＬが埋め込まれた箇所等をクリックしたりすると、リクエスト情報が携帯端末２０から画像サーバシステム１０に送信される。そして、画像サーバシステム１０は、Ｗｅｂサーバ３０から原画像データを取得した後、所定の加工を施した原画像データを携帯端末２０に提供することができる。このように、携帯端末２０は、インストールされたソフトウェアに基づき、画像サーバシステム１０を介して、Ｗｅｂサーバ３０等から情報を取得している。なお、原画像データは、画像サーバシステム１０内のデータでもよい。
　図２に示すように、コンピュータとして機能する画像処理サーバ１１は、画像処理サーバ１１全体を制御したり画像処理の演算を行ったりする制御部１１ａと、制御部１１ａの途中結果等を保持する記憶部１１ｂと、データベースサーバ１２や通信サーバ１３との通信を行う通信部１１ｃと、画像やテキスト等を表示する表示部１１ｄと、キーボードやマウス等により構成される操作部１１ｅと、を備え、これらは、バス１１ｆにより接続されている。
　制御部１１ａは、ＣＰＵ（Central Processing Unit）を有し、Ｗｅｂサーバ３０からダウンロードした画像データを圧縮して画像の解像度を落としたり、画像データから特徴量を算出する特徴量算出手段として機能したり等各種の画像処理を行う。ＣＰＵは、１つのＣＰＵパッケージの中に複数のＣＰＵコアを有するマルチコア型であり、並列処理ができる。
　記憶部１１ｂは、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）やハードディスク等を有し、画像処理のプログラムがロードされたり、画像データを保持するメモリ空間が形成されたりする。
　通信部１１ｃは、ローカルエリアネットワークを介してデータベースサーバ１２や通信サーバ１３と通信を行う。また、表示部１１ｄは、ＣＲＴ（Cathode Ray Tube）、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。
　データベースサーバ１２は、ハードディスクからなるデータベースを制御する。データベースサーバ１２のデータベースには、Ｗｅｂサーバ３０からダウンロードした画像データやこのデータを画像処理したデータや、携帯端末２０からの要求等が記憶されている。
　通信サーバ１３は、移動体通信網２の基地局を介して携帯端末２０と通信をしたり、ネットワーク３を介してＷｅｂサーバ３０と通信したりする。ゲートウエイや認証用サーバとして機能する。
　次に、携帯端末２０は、図１に示すように、画像やテキスト等を表示する表示部２１と、表示部２１に表示されたポインタの操作等に使用される操作部２２と、図示しないが、画像サーバシステム１０と送受信を行う無線通信部と、通話のための音声の入出力を行う音声入出力部と、画像サーバシステム１０から送信されたデータ等を記憶する記憶部と、携帯端末２０の各種制御を行う制御部等を備えている。
　表示部２１は、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。操作部２２は、各種キーにより構成されている。ユーザは、操作部２２により、表示部２１に表示されたポインタを移動させたり、画像の部分を選択して確定させたりする。
　次に、図３に基づき、本実施形態に用いる画像データの一例について説明する。
　図３は、画像サーバのデータベースにおける解像度の異なる画像データの一例を示す模式図である。図３に示すように、画像（原画像）４０は、Ｗｅｂサーバ３０または画像処理サーバシステム１０のデータベースに存在する原画像データに対応した原画像の一例を示す模式図である。
　Ｗｅｂサーバ３０は、携帯端末２０からユーザが要求した画像のＵＲＬにより示した原画像データを有し、例えば、図３に示すように、原画像４０の画像データを有している。この原画像４０の画像データは、詳細地図データ等、数メガ～ギガピクセルの大きさの画像データで、携帯端末２０では、そのままでは表示ができないとする。
　Ｗｅｂサーバ３０から画像サーバシステム１０にダウンロードされた原画像４０の画像データは、データベースサーバ１２に記憶される。そして、画像処理サーバ１１は、原画像４０の画像データを画像処理して、様々の解像度の画像４１、４２、４５等の画像データや、ユーザが注目しそうな部分画像の画像データ等を作成する。ここで、原画像４０に係る原画像情報として、原画像データや作成された様々の解像度の画像データに関する画素数（解像度）や幅と高さとの比の情報等が挙げられる。
　次に、本実施形態の動作について図に基づき説明する。
　図４は、画像処理サーバ１１によるシナリオ再生の一例を示すフローチャートである。図５は、図３の原画像データの画素ごとの特徴量を計算した結果の画像の一例を示す模式図である。図６は、原画像が矩形領域に分割された一例を示す模式図である。図７は、シナリオ再生の一例を示す模式図である。
　まず、画像処理サーバ１１の制御部１１ａは、あるサイトの画像が存在するＵＲＬの情報や所望の圧縮率（画像の解像度のレベル）の情報等を、携帯端末２０から受信する。このとき、制御部１１ａは、携帯端末２０における表示部２１の画面の大きさや解像度等の携帯端末２０の機能に関する情報も受信する。画像サーバ１１の制御部１１ａは、要求されたＵＲＬに対応したＷｅｂサーバ３０にアクセスして、図３に示したような原画像４０の画像データをダウンロードし、データベースサーバ１２を介してデータベースに原画像４０の画像データとして記憶させる。
　次に、図４のフローチャートに基づき本実施形態のシナリオ再生の概要について説明する。
　まず、図４に示すように、画像処理サーバ１１の制御部１１ａは、特徴量に基づき画像を部分領域に分割して分割画像を得る（ステップＳ１）。具体的には、まず、図５に示すように、原画像４０に対して特徴量を計算して画像５０を得る。そして、図６に示すように、特徴量に基づき少なくとも１つ大きさの異なる複数の部分領域（分割画像Ｐ１、Ｐ２、Ｐ３）等に分割する。たいていの画像はこの処理により不均等な分割画像になる。
　ここで、特徴量とは、人間の視覚による認知において、静止画像中に存在する物体の重要度を表す指標である。この視覚による認知においては、色相や彩度や明度や物体の輪郭線（エッジ）が重要なファクターになることが知られている。なお、特徴量の算出や特徴量に基づく画像の分割の詳細については後述する。
　このように画像処理サーバ１１は、画像の領域の特徴量を算出する特徴量算出手段の一例として機能する。また、画像処理サーバ１１は、画像分割方法の一例として、特徴量に基づき、原画像４０等の画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る。
　次に、制御部１１ａは、原画像４０に対する画像の解像度の各レベルの画像を作成する（ステップＳ２）。具体的には、原画像４０の画像データのデータ量が携帯端末２０の表示機能等に対して大きい場合、制御部１１ａは、画像圧縮に基づき、原画像４０の各レベルの低解像度画像の画像データを作成する。例えば、制御部１１ａは、原画像４０の画像サイズを縮小して、表示部２１の画面に収まるように画素数を落とした低解像度の画像４５の画像データや、画像４１，４２等を作成する。
　ここで、解像度を低下させて画素数を少なくするに際して、一度、制御部１１ａは、原画像４０の原画像データを複数の領域に分割して分割画像とする。そして制御部１１ａは、マルチコアのＣＰＵ等を用いた並列処理により、これら各分割画像の解像度を減少させて低解像度分割画像を得たのち、これらを統合して低解像度統合画像を得る。このように、圧縮して低解像度にする画像を、まず分割して分割画像にし、分割画像の圧縮を、複数の解像度減少手段による並列処理で行っているため、高速に画像の圧縮を実現できる。また、ユーザの要求に応じて、あるメガピクセル画像の画像を携帯端末２０で閲覧させる場合、高速に要求に応え、解像度を減少させた画像を送信できる。
　次に、制御部１１ａは、特徴量に基づく各分割画像のランク付けを行う（ステップＳ３）。具体的には、図６に示すように、制御部１１ａは、特徴量に基づき、各分割画像Ｐ１、Ｐ２、Ｐ３等に対して、それぞれの分割画像の特徴量の値が高い順または低い順にランク付けを行う。各分割画像Ｐ１、Ｐ２、Ｐ３等の特徴量の値は、各分割画像の部分領域における特徴量の平均値等を用いる。
　次に、制御部１１ａは、特徴量に基づく表示順序を決定する（ステップＳ４）。具体的には、制御部１１ａは、特徴量がある一定以上または、上位の分割画像を取り出し、画像５１において、上方にある分割画像を優先的に表示するように、表示順序を設定する。このように、制御部１１ａは、それぞれの分割画像の特徴量に基づき、複数の分割画像の表示順序を決める表示順序決定手段の一例として機能する。
　次に、制御部１１ａは、表示する分割画像付近の表示領域を決定する（ステップＳ５）。具体的には、制御部１１ａは、図６に示すように、分割画像Ｐ１、Ｐ２、Ｐ３の一部や全体を含むように、表示領域を示す表示枠４６Ａ、４７Ａ、４８Ａを決定する。この表示枠４６Ａの大きさは、携帯端末２０の表示部２１の大きさと、分割画像Ｐ１を表示部２１に表示させるために必要な解像度等とにより決定される。また、分割画像Ｐ１、Ｐ２、Ｐ３等の大きさは、まちまちであり、分割画像Ｐ２の場合、分割画像Ｐ２を含むように、表示枠４７Ａが決められる。なお、図７の画像４５においては、表示枠４６Ａ、４７Ａ、４８Ａに対応する表示枠は、表示枠４６Ｂ、４７Ｂ、４７Ｃである。
　次に、制御部１１ａは、特徴量に基づくリンク領域を決定する（ステップＳ６）。具体的には、制御部１１ａは、ユーザの携帯端末２０に表示させる分割画像Ｐ１、Ｐ２、Ｐ３において、分割画像の全部または一部を含むリンク領域と、そのリンク領域を取り囲むリンク枠５１ａ、５１ｂ、５１ｃを決定する。リンク領及びリンク枠の情報は、例えば、ＨＴＭＬ等のマークアップ言語により記述される。
　また、制御部１１ａは分割画像において、特徴量が高いところを中心に、リンク枠５１ａ、５１ｂ、５１ｃを決定している。なお、人間が画像４０の特徴量をサーモグラフにように表した画像５０、５１を参考にして、リンク枠５１ａ、５１ｂ、５１ｃを決定してもよい。ユーザが携帯端末２０において、このリンク枠のリンク領域をクリック等すると、リンク領域に関連づけられた所定のＷｅｂページにジャンプする。このように、制御部１１ａは、分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定手段の一例として機能する。例えば、制御部１１ａは、分割画像付近にリンク領域を設定したり、分割画像内にリンク領域を設定したりする。
　次に、制御部１１ａは、リンク領域と商品との関連づけを行う（ステップＳ７）。具体的には、制御部１１ａは、分割画像に関連した関連商品の一例として、分割画像Ｐ１、Ｐ２、Ｐ３の画像に写っているアイテムに関連した商品やサービスの情報（例えば、商品ページのＨＴＭＬデータ）を、データベースサーバ１２のデータベースから取り出す。更に具体的には、分割画像Ｐ１は、顔がメイン画像であるので、制御部１１ａは、顔に関連した商品やサービスのＵＲＬをデータベースサーバ１２に要求し、分割画像Ｐ２は、時計がメインの画像であるので、制御部１１ａは、時計に関連した商品やサービスのＵＲＬをデータベースサーバ１２に要求する。そして、制御部１１ａは、各リンク枠５１ａ、５１ｂ、５１ｃの座標や解像度の情報等に、取り出したＵＲＬに関連づけて、データベースサーバ１２のデータベースに記憶するように、データをデータベースサーバ１２に送信する。
　なお、リンク領域と商品との関連づけられた情報は、記憶部１１ｂのハードディスクに記憶してもよい。また、商品を自動的に、画像認識により抽出してもよいが、画像４０や、特徴量を示す画像５０や分割の様子を示す画像５１等と共に、商品やサービス情報を検索して示す表示ソフトウェアを作成して、画像処理サーバ１１の表示部１１ｄに映し出された画像を見ながら、商品やサービスを提供したい情報提供者等が、販売したい商品やサービスを関連づけてもよい。このように、制御部１１ａは、分割画像に関連した関連商品をリンク領域に関連づける関連商品リンク手段の一例として機能する。
　次に、制御部１１ａは、表示順位に基づき、画像データを携帯端末２０に送信する（ステップＳ８）。具体的には、制御部１１ａと通信部１１ｃは、通信サーバ１３を通して、図７に示すように、表示枠４６Ｂ、４７Ｂ、４８Ｂのところに対応した、画像４６、画像４７、画像４８の画像データを順に、携帯端末２０に送信する。これらの画像データには、ＨＴＭＬ等のマークアップ言語で記載されたリンク枠５１ａ、５１ｂ、５１ｃ等のリンク領域の情報が含まれる。このように、制御部１１ａは、表示順序に基づき、分割画像の画像データおよびリンク領域のデータを送信する送信手段一例として機能する。
　次に、ステップＳ１の特徴量に基づき画像を分割画像に分割するサブルーチンについて図に基づき詳細に説明する。
　図８は、特徴量に基づく分割のサブルーチンの一例を示すフローチャートである。図９は、特徴量の画像データの画像を基本単位となる基本矩形領域に分割した様子の一例を示す模式図である。
　まず、画像処理サーバ１１の制御部１１ａは、図８に示すように、原画像４０の画像データの画素ごとの特徴量を計算する（ステップＳ１０）。このように、制御部１１ａは、特徴量算出手段の一例として、原画像４０等の領域の特徴量を算出する。
　本実施形態においては、特徴量を求めるにあたり、色相の値、彩度の値、明度の値、色相の方向成分、彩度の方向成分、および、明度の方向成分に基づき、視覚的特徴量として特徴量を算出した。なお、色相の値、彩度の値、および明度の値は、ＲＧＢ（Red, Green, Blue）のデータからＨＳＶ（Hue, Saturation, Value）のデータへ変換する一般的な式により求めた。また、色相、彩度および明度の各方向成分は、０°，４５°，９０°，１３５°のガボールフィルタにより得られる最大値を用いた。そして、特徴量は、これらの６成分を重み付けして足し合わせた値とした。なお、特徴量を求める前処理として、画像データを、ガウシアンピラミッドを用い、縮小して更に拡張することにより、雑音等を除去した画像データを用いた。このように特徴量の一例は、原画像４０等の画像の色相の値、彩度の値、明度の値、色相の方向成分、前記彩度の方向成分、および、前記明度の方向成分の少なくとも１つである。
　以上のように、制御部１１ａは、特徴量の強弱や大小により、図５に示すようなヒートマップ図の画像５０の画像データを算出する。なお、この図５は、あくまで説明のために、原画像４０のヒートマップ図を模式的に表した図である。
　次に、制御部１１ａは、ヒートマップ図の画像５０を、図９に示すように、基本矩形領域に分割する（ステップＳ１１）。ここで、基本単位となる基本矩形領域の大きさは、幅ｗ０、高さｈ０である。そして、幅ｗ０および高さｈ０の自然数倍が、画像５７の辺の長さになる。幅ｗ０と高さｈ０とは同じでもよいし、幅ｗ０と高さｈ０との比が、携帯端末２０の表示部２１の比と同じになるようにしてもよい。なお、原点は図面向かって左上とし、ｘ軸は右方向、ｙ軸は下向きとする。
　次に、制御部１１ａは、特徴量に基づき矩形領域を拡張し、矩形領域に分割する（ステップＳ１２）。このステップにより、制御部１１ａは、特徴量の値が近い隣接した基本矩形領域を結合させて、画像を人間が注目しやすい領域に区切る。また、矩形領域にすることで、後の処理や携帯端末２０での処理がしやすいようにしている。
　ここで、矩形領域の拡張のサブルーチンについて図１０から図１３に基づき詳細に説明する。
　図１０は、単位となる基本矩形領域の拡張のサブルーチンの一例を示すフローチャートである。図１１（Ａ）から（Ｄ）は、基本矩形領域の拡張の仕方の一例を示す模式図である。図１２は、基本矩形領域の拡張の処理に従い、画像が矩形領域に分割された一例を示す模式図である。
　図１０に示すように、まず、制御部１１ａは、基本矩形領域に分割された画像５７の中から、任意の基本矩形領域の選択をする（ステップＳ２０）。例えば、図９に示すように、画像５７の中から基本矩形領域Ｒｉを選択する。
　次に、制御部１１ａは、矩形領域の拡張方向の算出をする（ステップＳ２１）。具体的には、図１１に示すように、４つの方向に拡張する。まず、第１の拡張方向として、図１１（Ａ）に示すように、基本矩形領域Ｒｉにおいて、方向（－ｘ，０）、方向（０，－ｙ）、および、方向（－ｘ，－ｙ）にそれぞれ隣接した基本矩形領域分、基本矩形領域Ｒｉを拡張する。また、第２の拡張方向として、図１１（Ｂ）に示すように、方向（ｘ，０）、方向（０，－ｙ）、および、方向（ｘ，－ｙ）にそれぞれ隣接した基本矩形領域分、基本矩形領域Ｒｉを拡張する。第３の拡張方向として、図１１（Ｃ）に示すように、方向（－ｘ，０）、方向（０，ｙ）、および、方向（－ｘ，ｙ）にそれぞれ隣接した基本矩形領域分、基本矩形領域Ｒｉを拡張する。第４の拡張方向として、図１１（Ｄ）に示すように、方向（ｘ，０）、方向（０，ｙ）、および、方向（ｘ，ｙ）にそれぞれ隣接した基本矩形領域分、基本矩形領域Ｒｉを拡張する。なお、図１１に示すように、これら拡張された矩形領域の形状は、基本矩形領域の形状と相似である。
　次に、制御部１１ａは、拡張方向に基本矩形領域が存在するか否かを判定する（ステップＳ２２）。１つでも拡張方向があれば（ステップＳ２２；ＹＥＳ）、制御部１１ａは、各拡張方向にある基本矩形領域と選択された矩形領域とにおける平均の特徴量を算出する（ステップＳ２３）。具体的には、制御部１１ａは、図１１に示すように、各拡張方向にある基本矩形領域と、ステップＳ２０で選択された矩形領域（基本矩形領域Ｒｉ）とにおける平均の特徴量を算出する。
　そして、制御部１１ａは、特徴量が選択された矩形領域に最も近い拡張矩形領域を選択する（ステップＳ２４）。例えば、図１１（Ａ）においては、拡張させた全ての部分領域の特徴量は同じで、図１１（Ｂ）においては、拡張させた１つの部分領域の特徴量は同じで、図１１（Ｃ）においては、拡張させた２つの部分領域の特徴量は同じで、図１１（Ｄ）においては、拡張させた２つの部分領域の特徴量は同じである。従って、図１１（Ａ）に示すような拡張方向に、基本矩形領域を拡張させた拡張矩形領域が、選択された拡張矩形領域となる。なお、図１１において、各基本矩形領域のハッチングパターンが特徴量の値を示している。
　次に、制御部１１ａは、選択された矩形領域の特徴量と、選択された拡張矩形領域の特徴量との差を算出する（ステップＳ２５）。具体的には、制御部１１ａは、図１１（Ａ）に示すように、選択された矩形領域（基本矩形領域Ｒｉ）の特徴量と、選択された拡張矩形領域の特徴量との差を算出する。そして、制御部１１ａは、この特徴量の差が、閾値以上であるか否かを判定する（ステップＳ２６）。
　特徴量の差が、閾値より小さければ（ステップＳ２６；ＮＯ）、制御部１１ａは、算出した拡張矩形領域を選択矩形領域とし（ステップＳ２７）、ステップＳ２１に戻り、更に拡張させる。
　一方、特徴量の差が、閾値以上ならば（ステップＳ２６；ＹＥＳ）、制御部１１ａは、矩形領域の拡張を終了し、未選択の基本矩形領域が存在するか否かを判定する（ステップＳ２８）。なお、この未選択の矩形領域には、拡張に使用された基本矩形領域も含む。また、ステップＳ２６で、特徴量の差が、閾値以上だった場合、選択された拡張矩形領域の拡張した部分も、未選択の基本矩形領域となる。
　未選択の基本矩形領域が存在するならば（ステップＳ２８；ＹＥＳ）、制御部１１ａは、ステップＳ２０に戻り、異なる基本矩形領域から拡張を行う。
　そして、拡張する方向が無くなり（ステップＳ２２；ＮＯ）、未選択の基本矩形領域も無くなれば（ステップＳ２８；ＮＯ）、すなわち、全ての基本矩形領域を使用したならば、制御部１１ａは、サブルーチンを終了する。このとき、ヒートマップ図の画像５０は、本実施形態の例では、基本矩形領域に相似形の矩形領域に分割されている。なお、基本矩形領域Ｒ１から拡張を始めると、拡張方向に制約があるため、４つの方向について計算を行う必要がない。
　そして、基本矩形領域拡張のサブルーチンが終了し、ステップＳ１２が終了する。例えば、図１２に示すように、ヒートマップの画像５０が矩形領域に分割され、図１２に示されるように、サイズの異なる矩形領域を含む複数の矩形領域より構成される画像５８が生成される。これら拡張された矩形領域の大きさは、隣接する基本矩形領域が結合された集合であるので、分割画像単位である基本矩形領域の自然数倍の大きさである。また、拡張された矩形領域は、基本矩形領域の隣接する辺の２つの方向、すなわち、ｘ方向、ｙ方向に自然数倍、基本矩形領域を拡張した矩形の分割画像となっている。
　次に、図８に示すように、ステップＳ１２の後、制御部１１ａは、特徴量が近い矩形領域を結合した新たな矩形領域を作成する（ステップＳ１３）。図１２に示すように、隣接した特徴量が近い基本矩形領域または拡張矩形領域を結合させる。具体的には、任意の矩形領域に対して、この矩形領域と同じ大きさの矩形領域で、かつ、特徴量が近い矩形領域であれば、結合させ、画像５９を得る。この画像５９における矩形領域、すなわち部分領域の大きさは、分割画像単位である基本矩形領域の自然数倍の大きさである。また、この部分領域は、基本矩形領域の隣接する辺の２つの方向、すなわち、ｘ方向、ｙ方向に自然数倍、基本矩形領域を拡張して矩形の分割画像に対応している。
　以上のように、ヒートマップ図の画像５０に対して、大きさや形の異なる部分領域に不均等に分割よる区分けが完了したならば、図１３に示すような画像５９の区分けを原画像４０の画像データに適用して、図６に示したように、部分領域に分割された画像５１の区分けに対応する画像４０に対する画像を得て、制御部１１ａは、ステップＳ１の特徴量に基づき画像を分割画像に分割するサブルーチン処理を終了する。そして、制御部１１ａは、ステップＳ２の処理を始め、最終的に画像４０の低解像度の画像４５等を算出する。なお、図６と図１３との区分けは、あくまで模式的な例示であるので、一致していない。
　次に、図７に基づき、携帯端末２０におけるシナリオ再生について説明する。
　なお、図７において、画像４５、画像４６、および、画像４７になるに連れて、解像度が上がる。画像４７と画像４８とは解像度のレベルが同じである。
　まず、図７に示すように、携帯端末２０の表示部２１の画面に、リンク領域のリンク枠４５ａ、４５ｂ、４５ｃ、４５ｄが表示された画像４５が表示される。このリンク枠４５ａ、４５ｂ、４５ｃ、４５ｄは、例えば、緑色の点線により表示され、点滅させたり、色を変えたりしてユーザの目につきやすいようになっている。しばらく、この画面が、携帯端末２０の表示部２１に表示される。このように、画像処理サーバ１１は、リンク領域を可視可能に画像処理するリンク領域可視化手段の一例として機能する。なお、表示枠４６Ｂ、４７Ｂ、４８Ｂは、画像４６、４７、４８との関連をわかりやすくするために記載されたに過ぎず、表示部２１の画面には表示されない。
　そして、ユーザが携帯端末２０の操作部２２を使用して、ポインタを動かし、リンク枠４５ａ、４５ｂ、４５ｃ、４５ｄのいずれかのリンク領域で確定キー等を押すと、リンク先のＵＲＬにジャンプする。例えば、顔の所のリンク枠４５ａには、顔や目や口等に関する情報や商品やサービスの情報があるＷｅｂページがリンクされている。このように、画像処理サーバ１１は、分割画像に関連した関連商品をリンク領域に関連づける関連商品リンク手段の一例として機能する。分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定手段の一例として機能する。例えば、制御部１１ａは、分割画像付近にリンク領域を設定したり、分割画像内にリンク領域を設定したりする。
　次に、分割画像の表示順序について、画像処理サーバ１１は、特徴量と共に、画像４５の上にある特徴量の値が高い分割画像を優先的に表示する。このように、画像処理サーバ１１は、それぞれの分割画像の特徴量に基づき、複数の分割画像の表示順序を決める表示順序決定手段の一例として機能する。
　そして、図７における（１）のように、表示枠４６Ｂのところの画像が拡大されて、携帯端末２０の表示部２１の画面全体に画像４６が表示される。このとき、別のリンク枠４６ａ、４６ｂが表れる。このリンク枠４６ａ、４６ｂも、点滅したり色が変わったりして、ユーザの目を引くようにしてある。表示枠４６Ｂは、特徴量の値が高い部分領域の部分を含み、画像４５において上から１番目の位置にある。
　なお、リンク枠４６ａのリンク領域には、目に関する別の商品やサービスに関するＷｅｂページや更に詳細な情報を提供するＷｅｂページをリンクさせてもよい。リンク枠４６ｂのリンク領域には、口や唇や歯に関する商品やサービスの情報があるＷｅｂページがリンクされていてもよい。なお、画像４６が回転したり、画像の大きさが変動したりして、ユーザが注目しやすいように、画像処理サーバ１１が画像データを加工しておいてもよい。
　次に、図７における（２）のように、一旦、画像４５に戻り、図７における（３）のように、画像４５から画像４７にズームアップする。表示枠４７Ｂは、特徴量の値が高い部分領域の部分を含み、画像４５において、上から２番目の位置にある。リンク枠４７ａは、時計に関する情報や商品等のＷｅｂページとリンクさせておく。画像４７が回転する等して、しばらく、画像４７が表示された後、図７における（４）のように、表示部２１に表示される画像が、画像４５に戻る。
　次に、図７における（５）のように、一旦特徴量の値が高い部分領域の部分を含み、画像４５において上から３番目の位置にある表示枠４８Ｂのところの画像がズームアップされる。画像４８には、衣服のボタンを囲むようにリンク枠４８ａが表示される。リンク枠４８ａは、ボタンに関する情報や商品等のＷｅｂページとリンクさせておく。しばらく、画像４８が表示された後、図７における（６）のように、表示部２１に表示される画像が、画像４５に戻る。そして、（１）から（６）の手順が繰り返される。
　なお、表示部２１に表示される画像が、直接、同じ解像度のレベルの画像４７から画像４８に平行移動するように移ってもよい。また、解像度のレベルが異なる画像４６から画像４７に移る場合は、画像４６の解像度で画像４７に対応する場所まで画像が移動してからズームアップされ、表示部２１に表示される画像が、画像４７に移る。このようにユーザに違和感を抱かせないように、画像に連続性を持たせて画像が移るようにすればよい。
　このように本実施形態によれば、画像処理サーバ１１は、画像（原画像４０）の領域の特徴量を算出し、特徴量に基づき、画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像Ｐ１、Ｐ２、Ｐ３等を得て、特徴量に基づき、分割画像の表示順序を決め、分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域（５１ａ、５１ｂ、５１ｃ）（４５ａ、４５ｂ、４５ｃ）を設定することにより、リンク領域が設定された分割画像を、ユーザが直接操作せず自動的に携帯端末２０に再生させるため、ユーザが気になるところでクリック等することにより、他の情報にアクセスできるため、端末におけるユーザの利便性の向上を図ることができる。
　また、画像処理サーバ１１は、ユーザが注目しやすい順にユーザに画像を提示でき、ユーザの利便性の向上を図ることができる。画像の特徴量の一例としての特徴量を用いることにより、画像処理サーバ１１は、画像に対してユーザが注目しやすいところに、リンク領域を設定することができユーザの利便性の向上を図ることができる。
　また、画像処理サーバ１１が、特徴量により決められた、分割画像の表示順序に基づき、分割画像の画像データおよびリンク領域のデータを送信する場合、ユーザが操作せずに自動的に、リンク領域が設定された画像を、注目しやすい順に受信できるので、ユーザの利便性の向上を図ることができる。
　また、画像処理サーバ１１が、リンク領域を可視可能に画像処理する場合、例えば、色づけされたり、点滅したり、色が変わったりするリンク枠４５ａ、４５ｂ、４５ｃ等により、ユーザがリンク領域に気づきやすくなることによりクリックしやすくなり、ユーザの利便性の向上を図ることができる。
　また、画像処理サーバ１１が、分割画像に関連した関連商品をリンク枠４５ａ、４５ｂ、４５ｃ等のリンク領域に関連づけた場合、ユーザが注目した画像アイテムに対する情報、すなわち、ユーザが関心ある情報を提供できるため、ユーザの利便性の向上を図ることができたり、ユーザが欲しいだろう商品を掘り起こし、購買を促すこともできたりする。
　また、画像処理サーバ１１は、原画像４０の特徴量として画像の特徴量を抽出し、特徴量に応じた部分領域の画像を作成することにより、ユーザが注目しそうな領域の単位で、携帯端末２０に画像データを送信できるので、ユーザが見たいであろう範囲を予めカバーし、画像処理のレスポンス性を高め、ユーザの利便性の向上を図ることができる。また、特徴量が、画像の色相の値、彩度の値、明度の値、色相の方向成分、彩度の方向成分、および、明度の方向成分の少なくとも１つである場合、人間の視覚による認知において、静止画像中に存在する物体の重要度を表す指標である特徴量（顕著度）に基づき、画像を分割するため、特徴量が高い解像度減少の処理がさせた低解像度分割画像は、ユーザが閲覧する確率が高い。そのため、ユーザの利便性が高まる。
　また、特徴量のような分割画像ごとの特徴量により、分割画像を取り扱うことができ、分割画像の利便性が高まる。例えば、分割画像を特徴量ごとに分類したり、特徴量で特定したりでき、ユーザの利便性や操作性を向上させることができる。
　なお、特徴量は、原画像４０等の色相の値、彩度の値、明度の値、色相の方向成分、彩度の方向成分、および、明度の方向成分の６成分で表してもよいし、これらのうち少なくとも１つの成分でもよい。また、特徴量は、周波数成分でもよい。
　（第２実施形態）
　次に、本発明に係る第２の実施形態に係る画像処理サーバシステムについて説明する。
　なお、画像処理サーバシステムの構成は、前記第１実施形態に係る画像処理サーバシステムと同様であり、第１実施形態と同一または対応する部分には、同一の符号を用いて動作等を説明する。その他の実施形態および変形例も同様とする。
　本発明に係る第２実施形態の動作について、図に基づき説明する。
　図１４は、本発明に係る第２実施形態のシナリオ再生の一例を示すフローチャートである。図１５は、本発明に係る第２実施形態のシナリオ再生の一例を示す模式図である。図１６は、図６の矩形領域が、特徴量に基づき矩形領域に更に分割された一例を示す模式図である。
　図１４に示すように、画像処理サーバ１１の制御部１１ａは、第１実施形態のステップＳ１と同じように特徴量に基づき画像を部分領域に分割して分割画像を得る（ステップＳ３０）。なお、画像４０を分割した方法、すなわち、図８や図９に示したフローチャートに従い、画像５５を分割する。
　次に、制御部１１ａは、特徴量に基づき、各分割画像のランク付けを行い、上位ランクの部分画像を抽出する（ステップＳ３１）。例えば、図１５に示すように、画像６０において、制御部１１ａは、表示枠６１Ｂや表示枠６４Ｂに対応する分割画像を抽出する。
　次に、制御部１１ａは、分割画像を更に分割するか否かを判定する（ステップＳ３２）。具体的には、各分割画像の平均的な特徴量の差が少なくなった場合、制御部１１ａは、分割画像の分割を中止する。
　分割画像を更に分割する必要がある場合（ステップＳ３２；ＹＥＳ）、ステップＳ３０に戻り、制御部１１ａは、上位ランクの分割画像を更に分割画像に分割する。具体的には、図１６に示すように、制御部１１ａは、画像５５（図６の分割画像Ｐ１に対応）を更に、部分領域に分割する。制御部１１ａは、また、図１５に示すように、画像５５に対応した画像６１の他に、画像６４に対しても、画像の分割を行う。なお、上位ランクの分割画像に限定したので、制御部１１ａは、更に分割が必要な分割画像に限定ができ、処理速度が向上する。
　そして、図１６に示すように、画像５５に対しては、表示枠６２Ａや表示枠６３Ａに対応する分割画像を抽出し（ステップＳ３１）、図１５に示すように、画像６２や画像６３に対しても、特徴量に基づき、分割画像に更に分割する（ステップＳ３０）。
　一方、分割画像を更に分割する必要が無い場合（ステップＳ３２；ＮＯ）、制御部１１ａは、特徴量に基づき表示順序を決定する（ステップＳ３３）。具体的には、制御部１１ａは、特徴量や、画像６０や画像６１における表示枠６１Ｂ、６４Ｂ、６２Ｂ、６３Ｂの位置の他に、図１５に示すように、各画像の解像度等にも基づき、表示順序を（１）から（８）に決定する。なお、ステップＳ３３は第１実施形態のステップＳ４に対応する。
　次に、制御部１１ａは、第１実施形態のステップＳ５からステップＳ８同様に、表示する分割画像付近の表示領域を決定し（ステップＳ３４）、特徴量に基づくリンク領域を決定し（ステップＳ３５）、リンク領域と商品との関連づけを行い（ステップＳ３６）、表示順位に基づき、画像データを携帯端末２０に送信する（ステップＳ３７）。なお、図１５や図１６に示すように、表示枠６２Ａ、６３Ａや表示枠６２Ｂ、６３Ｂ等も、第１実施形態の同様に決定される。また、リンク枠５５ａ、５５ｂ、５５ｃやリンク枠６１ａ、６１ｂやリンク枠６２ａ、６２ｂやリンク枠６３ａ等は、第１実施形態の場合を同じように設定され、同様の機能を有する。
　次に、図１５に基づき、携帯端末２０におけるシナリオ再生について説明する。
　図１５における（１）から（８）のように、画像６０、６１、６２、６３、６４が第１実施形態で説明したように表示される。但し、第１実施形態とは異なり、画像６１が更に深くズームアップされる。
　このように本実施形態によれば、ズームアップされた画像が更にズームアップされるため、シナリオ性が高まり、ユーザの興味を引きつけたり、ユーザの利便性を高めたりできる。また、原画像４０に存在するアイテムの画像に対して、きめ細かく段階的に対応でき、表示するアイテム画像の段階に応じて、リンク枠にリンクさせる商品やサービスの情報を変化させることができ、ユーザの興味を引きつけたり、ユーザの利便性を高めたりできる。また、分割画像Ｐ１から、特徴量に基づいた部分領域を取り出せるので、特に、画像がギガピクセル級のとき、解像度のレベル毎に、ユーザが注目する部分領域が異なってくることが多いので、ユーザの要求に的確に対応でき、ユーザの利便性の向上を図ることができる。例えば、原画像４０全体を携帯端末２０の表示部２１に表示し、顔全体の部分領域にユーザが着目し、顔全体の部分領域の画像データをダウンロードした後、顔全体から目の部分領域に着目するとき等に有効である。
　なお、第１および第２実施形態の変形例として、また、画像処理サーバ１１は、ユーザ情報に基づき、表示順序を決定してもよい。図１７に示すように、画像４９において、ユーザ自身や他のユーザがどの部分をどのような解像度で見たかの統計を取得し、その履歴のランキングや、口コミといった情報により、表示順序を決めてもよい。この場合、ユーザにとってさらに望ましい順序に表示ができ、ユーザの利便性を高めることができる。このように、制御部１１ａは、ユーザ情報に基づき、表示順序を決定する表示順序決定手段の一例として機能する。
　また、画像処理サーバシステム１０の画像処理サーバ１１やデータベースサーバ１２や通信サーバ１３の処理は、１台のサーバで行ってもよい。また、マルチコアのＣＰＵの他に、コンピュータを複数台連結して計算させるグリッドコンピュータでもよい。また、携帯型無線電話機のような携帯端末２０限らず、ＰＣ端末でもよい。
　さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
　１０：画像サーバシステム
　１１：画像処理サーバ
　１１ａ：制御部
　１１ｂ：記憶部
　１２：データベースサーバ
　１３：通信サーバ
　４０：原画像（画像）

Claims (9)

  1. 　画像の領域の特徴量を算出する特徴量算出手段と、
    　前記特徴量に基づき、前記画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る画像分割手段と、
    　それぞれの前記分割画像の前記特徴量に基づき、複数の前記分割画像の表示順序を決める表示順序決定手段と、
    　前記分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定手段と、
    　を備えたことを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記表示順序に基づき、前記分割画像の画像データおよび前記リンク領域のデータを送信する送信手段を更に備えたことを特徴とする画像処理装置。
  3. 　請求項１または請求項２に記載の画像処理装置において、
    　前記表示順序決定手段は、ユーザ情報に基づき、前記表示順序を決定することを特徴とする画像処理装置。
  4. 　請求項１から請求項３のいずれか１項に記載の画像処理装置において、
    　前記リンク領域を可視可能に画像処理するリンク領域可視化手段を更に備えたことを特徴とする画像処理装置。
  5. 　請求項１から請求項４のいずれか１項に記載の画像処理装置において、
    　前記分割画像に関連した関連商品を前記リンク領域に関連づける関連商品リンク手段を更に備えたことを特徴とする画像処理装置。
  6. 　請求項１から請求項５のいずれか１項に記載の画像処理装置において、
    　前記特徴量が、前記画像の色相の値、彩度の値、明度の値、前記色相の方向成分、前記彩度の方向成分、および、前記明度の方向成分の少なくとも１つであることを特徴とする画像処理装置。
  7. 　画像の領域の特徴量を算出する特徴量算出ステップと、
    　前記特徴量に基づき、前記画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る画像分割ステップと、
    　それぞれの前記分割画像の前記特徴量に基づき、複数の前記分割画像の表示順序を決める表示順序決定手段と、
    　前記分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定ステップと、
    　を有することを特徴とする画像処理方法。
  8. 　コンピュータを、
    　画像の領域の特徴量を算出する特徴量算出手段、
    　前記特徴量に基づき、前記画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る画像分割手段、
    　それぞれの前記分割画像の前記特徴量に基づき、複数の前記分割画像の表示順序を決める表示順序決定手段、および、
    　前記分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定手段として機能させることを特徴とする画像処理プログラム。
  9. 　コンピュータを、
    　画像の領域の特徴量を算出する特徴量算出手段、
    　前記特徴量に基づき、前記画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る画像分割手段、
    　それぞれの前記分割画像の前記特徴量に基づき、複数の前記分割画像の表示順序を決める表示順序決定手段、および、
    　前記分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定手段として機能させることを特徴とする画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2010/069159 2009-10-29 2010-10-28 画像処理装置、画像処理方法、および、画像処理プログラム WO2011052678A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP10826810.3A EP2495663B1 (en) 2009-10-29 2010-10-28 Image processing device, image processing method, and image processing program
US13/504,854 US8699795B2 (en) 2009-10-29 2010-10-28 Image processing device, image processing method and image processing program
ES10826810T ES2570253T3 (es) 2009-10-29 2010-10-28 Dispositivo de procesamiento de imagen, método de procesamiento de imagen y programa de procesamiento de imagen

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009248485A JP5433377B2 (ja) 2009-10-29 2009-10-29 画像処理装置、画像処理方法、および、画像処理プログラム
JP2009-248485 2009-10-29

Publications (1)

Publication Number Publication Date
WO2011052678A1 true WO2011052678A1 (ja) 2011-05-05

Family

ID=43922100

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/069159 WO2011052678A1 (ja) 2009-10-29 2010-10-28 画像処理装置、画像処理方法、および、画像処理プログラム

Country Status (6)

Country Link
US (1) US8699795B2 (ja)
EP (1) EP2495663B1 (ja)
JP (1) JP5433377B2 (ja)
ES (1) ES2570253T3 (ja)
TW (1) TWI503677B (ja)
WO (1) WO2011052678A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5893338B2 (ja) * 2011-10-25 2016-03-23 キヤノン株式会社 画像処理装置及び画像処理方法並びにプログラム
JP5966584B2 (ja) * 2012-05-11 2016-08-10 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
KR101623826B1 (ko) * 2014-12-10 2016-05-24 주식회사 아이디스 히트맵 영상 기능을 가진 감시카메라
JP6784239B2 (ja) * 2017-07-24 2020-11-11 株式会社大林組 切羽評価支援システム、切羽評価支援方法及び切羽評価支援プログラム
US20220318334A1 (en) * 2021-04-06 2022-10-06 Zmags Corp. Multi-link composite image generator for electronic mail (e-mail) messages

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013659A (ja) 1998-06-17 2000-01-14 Konica Corp 電子カメラ及び画像データ処理方法
JP2005136599A (ja) * 2003-10-29 2005-05-26 Kyocera Corp 画像表示装置
JP2008146490A (ja) * 2006-12-12 2008-06-26 Yahoo Japan Corp 情報提供装置、情報提供方法、及びコンピュータプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6397213B1 (en) * 1999-05-12 2002-05-28 Ricoh Company Ltd. Search and retrieval using document decomposition
JP2001275025A (ja) * 2000-03-24 2001-10-05 Fuji Photo Film Co Ltd 送信機器、即時情報転送システム及びその方法
EP1566788A3 (en) * 2004-01-23 2017-11-22 Sony United Kingdom Limited Display
EP1701546A4 (en) * 2004-04-23 2010-09-15 Sumitomo Electric Industries CODING METHOD AND DECODING METHOD FOR MOVABLE IMAGE DATA, FINAL DEVICE FOR CARRYING OUT THE METHOD AND BIDIRECTIONAL INTERACTIVE SYSTEM
JP4376145B2 (ja) 2004-07-22 2009-12-02 日立ソフトウエアエンジニアリング株式会社 画像分類学習処理システム及び画像識別処理システム
WO2007140609A1 (en) * 2006-06-06 2007-12-13 Moreideas Inc. Method and system for image and video analysis, enhancement and display for communication
JP4730667B2 (ja) 2006-07-25 2011-07-20 富士フイルム株式会社 自動再生方法及び装置
US8081811B2 (en) * 2007-04-12 2011-12-20 Fujifilm Corporation Method, apparatus, and program for judging image recognition results, and computer readable medium having the program stored therein
US20090003270A1 (en) * 2007-06-29 2009-01-01 Schwenke Derek L Server-Driven Progressive Image Transmission

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013659A (ja) 1998-06-17 2000-01-14 Konica Corp 電子カメラ及び画像データ処理方法
JP2005136599A (ja) * 2003-10-29 2005-05-26 Kyocera Corp 画像表示装置
JP2008146490A (ja) * 2006-12-12 2008-06-26 Yahoo Japan Corp 情報提供装置、情報提供方法、及びコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2495663A4

Also Published As

Publication number Publication date
TW201137648A (en) 2011-11-01
EP2495663A1 (en) 2012-09-05
JP5433377B2 (ja) 2014-03-05
EP2495663B1 (en) 2016-02-17
JP2011095947A (ja) 2011-05-12
TWI503677B (zh) 2015-10-11
ES2570253T3 (es) 2016-05-17
EP2495663A4 (en) 2014-12-03
US8699795B2 (en) 2014-04-15
US20120269437A1 (en) 2012-10-25

Similar Documents

Publication Publication Date Title
US8914744B2 (en) Enhanced zoom and pan for viewing digital images
US8497883B2 (en) Information display device
JP5793260B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP5433377B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
CN102687107B (zh) 内容显示装置、内容显示方法、内容提供装置及内容提供方法
US20100060650A1 (en) Moving image processing method, moving image processing program, and moving image processing device
JP2004054435A (ja) ハイパーメディア情報提示方法、ハイパーメディア情報提示プログラムおよびハイパーメディア情報提示装置
JP2008192159A (ja) テーブルレイアウトを行うブラウザプログラム、方法および装置
JP2003219149A (ja) デジタル静止画像における関心の対象を選択および記録するための方法
JP5511509B2 (ja) 配色シミュレーションシステム、プログラムおよび記録媒体
CN112565887B (zh) 一种视频处理方法、装置、终端及存储介质
CN112883263A (zh) 信息推荐方法、装置及电子设备
JP2007312240A (ja) 携帯端末動的画像表示システム
JP2004086249A (ja) サーバ装置、利用者端末、画像データ通信システム、画像データ通信方法及び画像データ通信プログラム
JP2002049558A (ja) Ｗｅｂアクセス支援装置及びネットワークシステム
US20100171750A1 (en) Method and device for generating a complexity vector for at leat one part of an svg scene, and method and testing device for testing a playback suitability of at least part of an svg scene on device
JP3951654B2 (ja) 画像データ取得システムにおけるサーバ及び端末、その画像データ取得方法、及び画像データ取得プログラム
JP2003108284A (ja) 画像コンテンツ配信システム及び画像表示装置
US20100049787A1 (en) Method of an internet service, system and data server therefor
CN113538601A (zh) 图像处理方法、装置、计算机设备以及存储介质
CN111158826B (zh) 一种界面皮肤生成方法、装置、设备及存储介质
JP4932775B2 (ja) ネットワーク端末に表示するページを生成する方法、装置及びプログラム
JP6281381B2 (ja) サーバ装置、プログラム及び推薦情報提供方法
JP5508145B2 (ja) コンテンツ表示装置、コンテンツ表示方法、コンテンツ表示プログラム及び記録媒体
CN112165631A (zh) 媒体资源处理方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10826810

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010826810

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13504854

Country of ref document: US