WO2013008653A1 - オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム - Google Patents

オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム Download PDF

Info

Publication number
WO2013008653A1
WO2013008653A1 PCT/JP2012/066770 JP2012066770W WO2013008653A1 WO 2013008653 A1 WO2013008653 A1 WO 2013008653A1 JP 2012066770 W JP2012066770 W JP 2012066770W WO 2013008653 A1 WO2013008653 A1 WO 2013008653A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature
real space
color tone
feature extraction
Prior art date
Application number
PCT/JP2012/066770
Other languages
English (en)
French (fr)
Inventor
森永　康夫
太田　学
Original Assignee
株式会社エヌ・ティ・ティ・ドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エヌ・ティ・ティ・ドコモ filed Critical 株式会社エヌ・ティ・ティ・ドコモ
Priority to US13/878,634 priority Critical patent/US9305399B2/en
Priority to EP12811842.9A priority patent/EP2733674A4/en
Priority to CN201280007245.6A priority patent/CN103339661B/zh
Publication of WO2013008653A1 publication Critical patent/WO2013008653A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Definitions

  • the present invention relates to an object display device, an object display method, and an object display program.
  • a technique is known in which an object arranged around a location of a mobile terminal is acquired, and various information and objects including images are superimposed on a real space image acquired by a camera provided in the mobile terminal. Yes. Further, a technique is known in which a predetermined marker is detected from a real space image acquired by a camera of a mobile terminal, and an object associated with the marker is superimposed on the real space image and displayed on a display.
  • the characteristics of the real space image are reflected in the object image.
  • the conventional technique described in Patent Document 1 since the color tone of an object is corrected based on the color tone of one marker arranged in the real space, the real space is limited to a limited area in the image. The feature of the image will be represented. Since the color of the marker does not necessarily represent the characteristics of the image in the real space, the above-described conventional technique may not perform appropriate correction on the object image, and may cause a sense of incongruity in the superimposed image. .
  • An object capable of reducing a sense of incongruity of an object image in a superimposed image obtained by superimposing an object on an image in a real space.
  • An object is to provide a display device, an object display method, and an object display program.
  • an object display device that superimposes and displays an object on a real space image, and includes a photographing unit that acquires a real space image, and a photographing unit.
  • Image feature extraction means for extracting a predetermined feature relating to the image of a plurality of predetermined feature areas or the entire real space image detected from the real space image obtained by the step, and a predetermined feature extracted by the image feature extraction means
  • Image processing means for correcting an object image based on the characteristics
  • display means for displaying a superimposed image obtained by superimposing an object image corrected by the image processing means on an image in real space.
  • an object display method is an object display method in an object display device that superimposes and displays an object on a real space image, and acquires the real space image.
  • An image feature extraction step for extracting a predetermined feature relating to the image of a plurality of feature regions or the entire real space image detected from the image of the real space acquired in the image capture step, and an image feature extraction step;
  • An image processing step for correcting the image of the object based on the predetermined feature, and a display step for displaying a superimposed image obtained by superimposing the image of the object corrected in the image processing step on the image in the real space .
  • an object display program for causing a computer to function as an object display device that superimposes and displays an object on an image in real space,
  • An image feature for extracting, to a computer, a photographing function for acquiring an image of a real space, and a plurality of feature areas detected from the image of the real space acquired by the photographing function or an entire image of the real space, with respect to the image
  • the image processing function for correcting the object image based on the extraction function and the predetermined feature extracted by the image feature extraction function, and the object image corrected by the image processing function are superimposed on the real space image.
  • a display function for displaying a superimposed image is realized.
  • the image feature extraction means may extract a predetermined feature from the entire image in the real space when the feature region is not detected.
  • the feature used for correcting the object image is extracted from the detected feature region image. Therefore, the feature used for correcting the object image is used. Is easy to extract. Even if no feature region is detected, the predetermined feature extracted from the real space image is used for correcting the object image, so that the object image can be appropriately corrected. .
  • the object display device includes a feature region information storage unit that stores at least feature region information related to the color tone of the feature region in association with the feature region, and the image feature extraction unit includes the feature region The amount of change in color tone of a plurality of feature areas in the image in the real space with respect to the color tone stored in the information storage means is extracted, and the image processing means extracts the image of the object based on the amount of change in color tone extracted by the image feature extraction means May be corrected.
  • the color tone of the image of the object is corrected based on the change amount of the color tone of the feature area in the real space image with respect to the color tone stored in advance with respect to the detected feature area.
  • the color tone of the image in the real space is appropriately reflected on the image of the object.
  • the image processing means corrects the object image according to the superimposed position of the object with respect to the position of the feature region in the real space image.
  • the degree of reflection of the amount of change in the color tone of the feature area with respect to the color tone of the object is considered according to the positional relationship between the feature area and the object.
  • the color tone of the object is more appropriately corrected, so that further reduction in the sense of incongruity is realized.
  • the image feature extraction unit extracts features relating to the color tone of the entire real space image
  • the image processing unit extracts the entire real space image extracted by the image feature extraction unit. Correction processing may be performed based on the characteristics relating to the color tone.
  • the image feature extraction unit extracts a feature related to the noise distribution in the image in the real space
  • the image processing unit relates to the noise distribution extracted by the image feature extraction unit. Correction processing may be performed based on the characteristics.
  • the AR technology in the AR technology, it is possible to reduce a sense of incongruity of an object image in a superimposed image in which an object is superimposed and displayed on an image in real space.
  • FIG. 1 is a block diagram showing a functional configuration of the object display device 1.
  • the object display device 1 according to the present embodiment is a device that displays an object superimposed on an image in real space, and is, for example, a portable terminal capable of communication via a mobile communication network.
  • a predetermined marker is detected from an image in the real space acquired by the camera of the mobile terminal, and an object associated with the marker is displayed as an image in the real space. Some of them are superimposed on the screen and displayed on the display.
  • the markers may be artificially provided in advance in the real space, or may be structures such as buildings and signboards that exist in the real space, logo marks, and the like.
  • an object placed around the location of the mobile terminal is acquired based on the location information where the mobile terminal is located, and the position in the image of the real space acquired by the camera provided in the mobile terminal In some cases, the object is superimposed and displayed in association with the.
  • both modes of service using the AR technology described above are assumed.
  • the object display device 1 functionally includes an imaging unit 11 (imaging unit), an image feature extraction unit 12 (image feature extraction unit), and a feature area information storage unit 13 (feature area information storage unit). ), A virtual object storage unit 17 (virtual object storage unit), an image processing unit 18 (image processing unit), a display unit 19 (display unit), and a color tone data storage unit 20.
  • the image feature extraction unit 12 includes a feature area detection unit 14, a color tone change amount measurement unit 15, and an entire screen feature extraction unit 16.
  • FIG. 2 is a hardware configuration diagram of the object display device 1.
  • the object display device 1 physically includes a CPU 101, a RAM 102 and a ROM 103 which are main storage devices, a communication module 104 which is a data transmission / reception device, an auxiliary storage device 105 such as a hard disk and a flash memory, an input
  • the computer system includes an input device 106 such as a keyboard, which is a device, and an output device 107 such as a display.
  • Each function shown in FIG. 1 has a communication module 104, an input device 106, and an output device 107 under the control of the CPU 101 by loading predetermined computer software on the hardware such as the CPU 101 and the RAM 102 shown in FIG. This is realized by reading and writing data in the RAM 102 and the auxiliary storage device 105.
  • each function part of the object display apparatus 1 is demonstrated in detail.
  • the imaging unit 11 is a part that acquires an image of a real space, and is configured by a camera, for example.
  • 3 to 5 are diagrams illustrating examples of real space images acquired by the photographing unit 11.
  • the image of the real space shown in FIG. 4 includes images of star-shaped objects S t1 and S t2 as features that are extracted later by the image feature extraction unit 12.
  • the image of the real space shown in FIG. 5 includes images of the cloud C rd and the building B d that are later extracted by the image feature extraction unit 12 as elements constituting the color tone of the entire image.
  • the imaging unit 11 sends the acquired real space image to the image feature extraction unit 12.
  • the image feature extraction unit 12 is a part that extracts a predetermined feature related to an image of a plurality of predetermined feature regions or the entire real space image detected from the real space image acquired by the photographing unit 11.
  • the predetermined feature region is a region that is referred to in order to extract the feature of the image in the real space.
  • the image feature extraction unit 12 includes a feature region detection unit 14, a color tone change measurement unit 15, and an entire screen feature extraction unit 16 as functional units for extracting features related to an image. Further, the feature area information storage unit 13 is used for extracting features relating to the image.
  • the feature region information storage unit 13 is a part that stores at least feature region information related to the color tone of the feature region in association with the feature region.
  • the feature area information storage unit 13 includes 2D or 3D data representing the shape of the feature area for detecting (matching) the feature area from the image in the real space.
  • the feature area information storage unit 13 includes feature object data as data representing the feature area.
  • FIG. 6 is a diagram illustrating an example of the configuration of the feature area information storage unit 13 and stored data.
  • the feature area information storage unit 13 stores feature object data and color tone data in association with “No” that uniquely identifies the feature area.
  • the feature object data is 2D or 3D data representing the shape of the feature object, and is used for detection (matching) of the feature object by the feature region detection unit 14 from the image in the real space.
  • the tone data is data representing the color of the main part of the feature, and is represented in RGB format, for example.
  • the feature region information storage unit 13 associates with “No.“ 0001 ”, 3D data representing a post as feature object data, and data indicating the color tone of the red part that is the main part of the post (r 1 , g 1 , b 1 ) are stored.
  • the feature area information storage unit 13 is associated with No “0002”, 2D data representing a pedestrian crossing as feature object data, and data (r 2 , data) indicating the color tone of the white portion that is the main part of the pedestrian crossing. g 2 , b 2 ) are stored. Further, the feature area information storage unit 13 is associated with No “0003”, 2D data representing a star object as feature object data, and data (r 3 , g 3 , b 3) indicating the color tone of the star object. ) Is remembered.
  • the color tone data storage unit 20 stores color tone data used for measuring the amount of change in color tone, and stores, for example, a color tone table shown in FIG. As shown in FIG. 7, in the color tone table, the color tone is defined by the ratio of the R value, the G value, and the B value with respect to the maximum value of each gradation in association with the number “No” that uniquely identifies the record. .
  • the color tone change amount measuring unit 15 measures the color tone change amount based on the data stored in the color tone data storage unit 20. Detailed processing by the color tone variation measuring unit 15 will be described later.
  • the virtual object storage unit 17 is a part that stores virtual object information related to a virtual object in advance or temporarily.
  • the virtual object information includes, for example, object data associated with the marker.
  • the virtual object information includes, for example, object data associated with the position information.
  • FIG. 8 is a diagram illustrating an example of virtual object information stored in the virtual object storage unit 17.
  • the virtual object storage unit 17 stores virtual object data and a superimposed position in association with an ID for identifying a virtual object.
  • Virtual object data is data representing the shape and color of a virtual object.
  • the superimposed position is data indicating the position where the virtual object is superimposed and represents an absolute position in the real space or a relative position with respect to the marker (feature object).
  • the virtual object information may be stored in advance in the virtual object storage unit 17, or may be acquired from a server (not shown) via a predetermined communication unit.
  • the virtual object information may be provided from the server based on the position information indicating the location of the object display device 1.
  • the object data is, for example, image data of the object or 3D object data for representing the object.
  • the position at which the object is superimposed and displayed in the real space image is defined by, for example, the position information associated with the object data in the virtual object information or the relative position with the marker in the real space image.
  • the image processing unit 18 is a part that acquires a virtual object from the virtual object storage unit 17 and superimposes the acquired virtual object on the real space image acquired by the imaging unit 11 to generate a superimposed image.
  • the superimposed position of the virtual object in the superimposed image is determined based on, for example, position information associated with the virtual object or a relative position with the marker in the image in the real space.
  • the image processing unit 18 sends the generated superimposed image to the display unit 19.
  • the image processing unit 18 corrects the image of the object based on the predetermined feature related to the real space image extracted by the image feature extraction unit 12. Details of the specific processing will be described later.
  • the display unit 19 is a part for displaying the superimposed image generated and transmitted by the image processing unit 18 and is configured by a device such as a display.
  • the superimposed image is an image in which the image of the object corrected by the image processing unit 18 is superimposed on the image in the real space.
  • the feature area detection unit 14 is a part that detects a predetermined feature area from the real space image acquired by the imaging unit 11. Specifically, the feature area detection unit 14 searches for an image in the real space based on the feature object data stored in the feature area information storage unit 13 and extracts the feature object from the image in the real space.
  • the feature area detection part 14 will search the image of a real space based on the feature object data memorize
  • the characteristic region detecting unit 14 extracts the post P st and crosswalks C r corresponding to the characteristic product shown in No "0001" and "0002". Further, when searching for the real space image shown in FIG. 4, the feature region detection unit 14 extracts a star-shaped object corresponding to the feature indicated by No “0003.
  • the feature region detection unit 14 is configured to extract information indicating the position of the feature in the real space image (for example, coordinates in the real space image) when the feature is extracted. And the like are transmitted to the color change amount measuring unit 15. If the feature area cannot be extracted, the feature area detection unit 14 may notify the entire screen feature extraction unit 16 to that effect. The function of the entire screen feature extraction unit 16 will be described later.
  • the color tone change measurement unit 15 is a part that extracts the color tone change amount for the feature stored in the feature region information storage unit 13 with respect to the feature extracted by the feature region detection unit 14. Specifically, for example, when the color tone of the feature is expressed in RGB format, the color tone change amount measurement unit 15 stores the R value, G value, and B of the feature stored in the feature region information storage unit 13. The difference between the value and the R value, G value, and B value of the feature extracted by the feature region detection unit 14 is calculated.
  • the color tone change amount measuring unit 15 calculates a value closest to the change amount of the color tone (RGB) of the feature object extracted by the feature area detecting unit 14 with respect to the color tone (RGB) of the feature object stored in the feature area information storage unit 13.
  • the existing record is extracted from the color tone table, and the extracted record is used as the color tone change amount of the feature.
  • the color change amount measuring unit 15 sends information on the change amount of the color tone of the feature object to the image processing unit 18 together with the information indicating the position of the feature object in the real space image acquired from the feature region detection unit 14.
  • the image processing unit 18 corrects the image of the object based on the predetermined feature related to the real space image extracted by the image feature extraction unit 12. Specifically, the image processing unit 18 captures the image of the object acquired from the virtual object storage unit based on the amount of change in color tone of the plurality of features extracted by the feature region detection unit 14 and the color change amount measurement unit 15. Is corrected. The image processing unit compares the information representing the position of the feature received from the color change amount measuring unit with the display position of the object, and determines whether or not the distance is within a predetermined distance. In addition, the image processing unit compares the amount of change in the color tone of each feature received from the color change amount measuring unit, and determines whether or not the difference in the change amount is smaller than a predetermined amount. With reference to FIGS. 9 to 12, an example of object correction processing based on the change in color tone of a plurality of features will be described.
  • FIG. 9 is a diagram illustrating an example of the correction process of the object V 1A in the case where the difference in color tone change amount between the plurality of feature objects C 1 and C 2 is smaller than a predetermined amount.
  • the image processing unit 18 Color correction based on the average change in color change is performed on the object.
  • Tone correction is performed by, for example, generating a conversion parameter of each RGB value based on the average change amount of the tone shown in RGB format, and subjecting the RGB value of each pixel representing the object to a predetermined calculation process using the conversion parameter. It is realized by. Various known methods such as tone correction processing and filter processing can be applied to this correction processing, and the same applies to the examples described with reference to FIGS.
  • the amount of change in color tone of the characteristic object C 1 is corresponds to No1 in color table shown in FIG. 4, the amount of change in color tone of the characteristic object C 2, No2 in color table It shall fall under.
  • the image processing unit 18 since the difference of the characteristics thereof change in color tone of C 1 and color tone of the characteristic object C 2 change amount is smaller than the predetermined amount, the image processing unit 18, the amount of change in color tone of the characteristic object C 1 and wherein generating a transformation parameter based on the average amount of change in the color tone variation of the object C 2.
  • the image processing unit 18 performs a color tone correction process on the object V 1A using the generated conversion parameter, and generates an image of the object V 1B subjected to the color tone correction. .
  • FIG. 10 is a diagram illustrating an example of the correction processing of the object V 2A when the components of the respective colors (RGB) in the change amounts of the tones of the plurality of feature objects C 3 and C 4 are similar and have different shades. It is.
  • the image processing unit 18 The gradation processing is performed on the object based on the amount of change in the color tone of the feature and the relative position of the object with respect to the plurality of features.
  • the image processing unit 18 pays attention to each value of R, G, and B. For example, an image having an R value of 0% may be treated as a similar color, but is not limited thereto.
  • the amount of change in color tone of the characteristic object C 3 is corresponds to No1 in color table shown in FIG. 4, the amount of change in color tone of the characteristic object C 4, No4 in color table It shall fall under.
  • the components of the respective colors in the amount of change in the color tone of the feature C 3 and the amount of change in the color tone of the feature C 4 are similar, and the amount of change in the color tone of both features belongs to the same color.
  • the processing unit 18 performs gradation processing on the object V 2A to generate a color-corrected object V 2B as shown in FIG.
  • the image processing unit 18 color tone correction by a first conversion parameter the closest to the characteristic object C 3 in the object V 2A, which is generated based on the amount of change in color tone of the characteristic object C 3.
  • the image processing unit 18 responds to the distance from the feature C 3 and the feature C 4 to the region from the portion closest to the feature C 3 to the portion closest to the feature C 4 in the object V 2A .
  • the tone correction processing is performed while gradually changing the conversion parameter value from the first conversion parameter value to the second conversion parameter value.
  • FIG. 11 is a diagram illustrating an example of the correction process of the object V 3A in the case where the difference between the color tone change amounts of the plurality of feature objects C 5 and C 6 is larger than a predetermined amount.
  • the amount of change in the color tone of the plurality of features C 5 and C 6 is significantly different, for example, it is assumed that a plurality of light sources having different color tones exist in the image in the real space.
  • the image processing unit 18 performs the color correction based on the color change amount of the feature that is closer to the color correction target object. Perform on the object.
  • the amount of change in color tone of the characteristic object C 5 is corresponds to No1 in color table shown in FIG. 4, the amount of change in color tone of the characteristic object C 6, No15 in color table It shall fall under.
  • the difference between the color tone change amount of the feature object C 5 and the color tone change amount of the feature object C 6 is larger than a predetermined amount, and the position of the object V 3A is biased to the vicinity of the position of the feature object C 5.
  • the image processing unit 18 since a predetermined distance below, the image processing unit 18 generates a transformation parameter based on the amount of change in color tone of the characteristic object C 5.
  • the image processing unit 18 performs a color tone correction process on the object V 3A using the generated conversion parameter, and generates an image of the object V 3B subjected to the color tone correction. .
  • FIG. 12 shows a case in which the difference in the change in color tone between the plurality of feature objects C 7 and C 8 is larger than a predetermined amount, and the distance between the object V 4A and each of the feature objects C 7 and C 8 is approximately the same. It is a figure which shows the example of the correction process of the object V4A in.
  • FIG. 12A for example, it is assumed that a plurality of light sources having different color tones exist in an image in the real space, as in the example illustrated in FIG. 11. In this case, as illustrated in FIG.
  • the image processing unit 18 causes the object V 4 ⁇ / b > A to be closer to the first region V 4 ⁇ / b > B ⁇ b > 1 closer to the position of the feature C 7 and the second position closer to the position of the feature C ⁇ b > 8 .
  • regions V 4B2 the first region V 4 B 1 and the color tone correction by the conversion parameters generated based on the amount of change in color tone of the characteristic object C 7, change in color tone of the second region V 4B2 characteristic object C 8 and The color tone may be corrected by a conversion parameter generated based on the amount.
  • the whole screen feature extraction unit 16 is a part that extracts features (correction color information) relating to the color tone of the entire image in the real space as a correction color. Specifically, the entire screen feature extraction unit 16 extracts, for example, dominant color components in the entire image, an average color tone of the entire image, and a noise distribution as features relating to the color tone of the entire image in the real space. To do. The entire screen feature extraction unit 16 sends the extracted correction color to the image processing unit 18.
  • FIG. 13A is a diagram schematically illustrating the distribution of the color tone of the image in the real space.
  • the real space image shown in FIG. 5 is divided into unit areas of a predetermined size, and the average value of the color tones of pixels included in each area is calculated. Is obtained.
  • the region R 1 has a color tone derived from the background of the image shown in FIG. 5
  • the region R 2 has a color tone derived from the cloud C rd
  • the region R 3 has a color derived from the building B d.
  • Whole screen feature extraction unit 16 analyzes the image of the real space illustrated in FIG. 13 (a), to extract the color tone of the region R 1 as the dominant color components for the color tone of the region R 1 of the correction process of the object Are extracted as correction colors.
  • the dominant color component extraction process from the image can be performed by a well-known analysis technique such as analyzing the tone by dividing the entire image into unit regions.
  • the entire screen feature extraction unit 16 is based on the number of pixels in each of the regions R 1 , R 2 , and R 3 and an RGB value indicating the color tone of the region. An average color tone of the color tone of the entire image in the space is calculated, and the color tone is extracted as a correction color for the object correction processing.
  • the entire screen feature extraction unit 16 extracts features related to the noise distribution in the real space image. Specifically, the entire screen feature extraction unit 16 detects noise in an image in the real space, and extracts noise distribution information including information such as the density of the detected noise.
  • FIG. 14A is a diagram schematically illustrating a noise distribution of an image in the real space.
  • the whole screen feature extraction unit 16 selects one pixel from the image in the real space, and the value representing the color of the one pixel is compared to the average value of the values representing the colors of the pixels around the one pixel. When the difference is more than a predetermined value, the noise of the one pixel is determined. In the example illustrated in FIG. 14A, the entire screen feature extraction unit 16 determines that the pixels P 1 , P 2 , P 4, and P 5 are noise. On the other hand, the color of the pixel P 3 is different from the surrounding colors, but since the difference is not greater than a predetermined value, the entire screen feature extraction unit 16 does not determine the pixel P 3 as noise. The entire screen feature extraction unit 16 detects noise from the image in the real space by the processing method as illustrated, and extracts the noise density as information related to the noise distribution. Then, the entire screen feature extraction unit 16 sends information regarding the extracted noise distribution to the image processing unit 18.
  • the whole screen feature extraction unit 16 sends information about the correction color (correction color information) for correction processing of the extracted object to the image processing unit 18.
  • the image processing unit 18 corrects the image of the object based on the characteristics relating to the color tone of the entire real space image extracted by the entire screen feature extraction unit 16. Specifically, the image processing unit 18 acquires correction color information regarding the correction color extracted from the color tone of the entire real space image from the entire screen feature extraction unit 16. The image processing unit 18 generates conversion parameters for RGB values based on, for example, correction color information expressed in RGB format. Then, the image processing unit 18 performs a correction process on the image of the object by performing a predetermined calculation process based on the conversion parameter on the RGB values of each pixel representing the object. Various known color tone correction processes, filter processes, and the like can be applied to the generation of conversion parameters and the calculation process using the conversion parameters.
  • FIG. 13B is a diagram illustrating an example of a superimposed image when the correction processing by the image processing unit 18 is not performed.
  • the object V 5A is a superimposed image with a sense of incongruity because the color tone of the entire real space image is not reflected.
  • FIG. 13C is a diagram illustrating an example of a superimposed image in a case where the image processing unit 18 performs correction processing using dominant color components of the entire image in the real space.
  • the object V 5B has been subjected to correction processing (multiplication processing) using dominant color components of the entire image in the real space, so that the uncomfortable feeling in the superimposed image is reduced.
  • the image processing unit 18 can correct the image of the object based on the feature relating to the noise distribution in the real space image extracted by the whole screen feature extraction unit 16. Specifically, the image processing unit 18 acquires noise distribution information including information such as noise density from the entire screen feature extraction unit 16. Then, the image processing unit 18 performs image processing for adding noise to the correction target object in accordance with the acquired noise distribution information.
  • the noise is expressed, for example, by superimposing a white point having a predetermined size on the object. By this image processing, the object has noise similar to that of the entire real space image.
  • FIG. 14B is a diagram illustrating an example of a superimposed image when the correction processing by the image processing unit 18 is not performed.
  • the object V 5A is a superimposed image with a sense of incongruity because the state of noise generated in the entire image in the real space is not reflected.
  • FIG. 14C is a diagram illustrating an example of a superimposed image in a case where correction processing based on noise distribution information by the image processing unit 18 is performed.
  • the object V 5B has been subjected to correction processing to which the same noise as the noise generated in the entire real space image is applied, so that the uncomfortable feeling in the superimposed image is reduced. .
  • the correction based on the noise distribution information may be performed together with the above-described color tone correction using the dominant color component, or may be performed together with the color tone correction based on the average color tone.
  • the image processing unit 18 corrects the color tone of the object based on the correction color information acquired from the color tone change amount measurement unit 15 and the entire screen feature extraction unit 16, and sends the superimposed image to the display unit 19. . In this way, the superimposed image is displayed on the display unit 19.
  • 15 to 17 are flowcharts showing the processing contents of the object display method.
  • the object display device 1 determines whether or not the image correction function of the virtual object is set to ON (S1). If it is determined that the image correction function is set to ON, the processing procedure proceeds to step S2. On the other hand, if it is not determined that the image correction function is set to ON, the processing procedure proceeds to step S9, and the virtual object is not corrected.
  • step S2 the photographing unit 11 acquires an image of the real space (S2). Subsequently, the feature region detection unit 14 of the image feature extraction unit 12 tries to detect a feature from an image in the real space (S3), and determines whether or not the feature is detected (S4). If it is determined that a feature has been detected, the processing procedure proceeds to step S5. On the other hand, if it is not determined that a feature has been detected, the processing procedure proceeds to step S10 in the flowchart shown in FIG.
  • step S ⁇ b> 5 the color change amount measuring unit 15 of the image feature extraction unit 12 tries to extract the change amount of the color tone of the feature object extracted by the feature region detection unit 14 with reference to the feature region information storage unit 13. It is determined whether there is a change in the color tone of the object (S5). If it is determined that there is a change in the color tone of the feature, the processing procedure proceeds to step S6. On the other hand, if it is not determined that there is a change in the color tone of the feature, the processing procedure proceeds to step S9, and the virtual object is not corrected.
  • step S6 the image feature extraction unit 12 determines whether or not there are a plurality of feature objects whose color tone is detected (S6). If it is determined that there are a plurality of feature objects, the processing procedure proceeds to step S7. On the other hand, if it is not determined that there are a plurality of feature objects, the processing procedure proceeds to step S8.
  • step S7 the image processing unit 18 corrects the image of the object acquired from the virtual object storage unit 17 based on the amount of change in color tone of the plurality of features (S7).
  • step S8 the image processing unit 18 corrects the object image acquired from the virtual object storage unit 17 based on the amount of change in the color tone of one feature (S8).
  • step S9 the image processing unit 18 does not perform correction processing on the object.
  • step S10 the entire screen feature extracting unit 16 of the image feature extracting unit 12 tries to extract features relating to the image from the entire image in the real space (S10).
  • the feature extracted here includes a feature related to the color tone of the entire image in the real space and a feature related to the noise distribution. If a feature is extracted from the entire real space image, the processing procedure proceeds to step S12. On the other hand, if no feature is extracted from the entire image in the real space, the processing procedure proceeds to step S13, and the virtual object is not corrected.
  • step S12 the image processing unit 18 corrects the image of the object based on the characteristics of the entire real space image extracted by the entire screen feature extraction unit 16 (S12).
  • the correction processing in step S12 includes correction based on a color tone such as a dominant color component in the entire image and an average color tone of the entire image, and correction based on a noise distribution in the entire image. Further, both correction based on color tone and correction based on noise distribution may be performed.
  • the image processing unit 18 compares the amount of change in color tone of a plurality of features (S14), and determines whether or not the difference between the amounts of change is larger than a predetermined amount (S15). If it is determined that the difference between the change amounts is greater than the predetermined amount, the processing procedure proceeds to step S16. On the other hand, if it is not determined that the difference between the change amounts is greater than the predetermined amount, the processing procedure proceeds to step S19.
  • step S16 the image processing unit 18 determines whether or not the position of the feature and the object is within a predetermined distance (S16). If it is determined that the position of the feature and the object is within the predetermined distance, the processing procedure proceeds to step S17. On the other hand, when it is not determined that the position of the feature and the object is within the predetermined distance, the processing procedure proceeds to step S18.
  • step S17 the image processing unit 18 performs color correction on the object based on the amount of change in color of a feature located closer to the object to be corrected (S17).
  • step S18 the image processing unit 18 divides the object into a first region and a second region closer to each of the feature objects, and changes in color tone of the feature objects located in the vicinity of each region for each region. The color tone is corrected based on the amount (S18).
  • step S19 the image processing unit 18 determines whether the position of the feature and the object is within a predetermined distance (S19). If it is determined that the position of the feature and the object is within the predetermined distance, the processing procedure proceeds to step S20. On the other hand, if it is not determined that the position of the feature and the object is within the predetermined distance, the processing procedure proceeds to step S21.
  • step S20 the image processing unit 18 performs gradation processing on the object based on the amount of change in the color tone of each feature (S20).
  • step S21 the image processing unit 18 performs color tone correction on the object based on the average change amount of the color tone change amounts of the plurality of feature objects (S21).
  • the image processing unit 18 generates a superimposed image in which the object is superimposed on the real space image, and the display unit 19 The superimposed image generated by the image processing unit 18 is displayed.
  • the image feature extraction unit 12 includes a feature region detection unit 14 and a color tone change amount measurement unit 15 for acquiring the color tone change amounts of a plurality of feature objects (feature regions), and the entire real space image.
  • the entire screen feature extracting unit 16 for extracting the features is included, but any one of the feature region detecting unit 14, the color tone change measuring unit 15, and the entire screen feature extracting unit 16 is provided. Also good.
  • the image processing unit 18 may perform the object image correction process based on one of the change in the color tone of the plurality of features and the characteristics of the entire real space image.
  • FIG. 18 is a flowchart showing a process for performing an object image correction process based on the amount of change in color tone of a plurality of features.
  • the processing of steps S31 to S33 is the same as the processing of S1 to S3 in the flowchart of FIG.
  • the feature region detection unit 14 determines whether or not a feature object has been detected (S34). If it is determined that a feature object has been detected, the processing procedure proceeds to step S35, and the image processing unit 18 performs processing for a plurality of feature objects in steps S35 to S39, which are the same processing contents as steps S5 to S9. An object correction process based on a change in color tone is performed.
  • step S34 determines whether a feature has been detected. If it is not determined in step S34 that a feature has been detected, the process proceeds to step S39, and the virtual object correction process is not performed.
  • the object display device 1 has information on the color tone of the feature, and corrects the color tone of the object based on such a change in the color tone of the feature. Processing can be performed.
  • FIG. 19 is a flowchart showing a process for performing an object image correction process based on the characteristics of the entire real space image.
  • the object display device 1 determines whether or not the virtual object image correction function is set to ON (S41). If it is determined that the image correction function is set to ON, the processing procedure proceeds to step S42. On the other hand, if it is not determined that the image correction function is set to ON, the processing procedure proceeds to step S46, and the virtual object is not corrected.
  • step S42 the photographing unit 11 acquires an image of the real space (S42). Subsequently, the entire screen feature extracting unit 16 of the image feature extracting unit 12 tries to extract features relating to the image from the entire image in the real space (S43).
  • the feature extracted here includes a feature related to the color tone of the entire image in the real space and a feature related to the noise distribution. If a feature is extracted from the entire real space image, the processing procedure proceeds to step S45 (S44).
  • step S44 the processing procedure proceeds to step S46, and the correction of the virtual object is not performed.
  • step S45 the image processing unit 18 corrects the image of the object based on the characteristics of the entire real space image extracted by the entire screen feature extraction unit 16 (S45).
  • the object display device 1 performs the object correction process based on the color tone of the entire image in the real space, so that the sense of discomfort of the object in the superimposed image is reduced.
  • FIG. 20 is a diagram showing the configuration of an object display program 1m corresponding to the object display device 1 shown in FIG.
  • the object display program 1m includes a main module 10m for comprehensively controlling object display processing, an imaging module 11m, an image feature extraction module 12m, a feature area information storage module 13m, a virtual object storage module 17m, an image processing module 18m, and a display module 19m. And a color tone data storage module 20m.
  • the image feature extraction module 12m includes a feature region detection module 14m, a color tone change measurement module 15m, and an entire screen feature extraction module 16m.
  • the modules 10m to 20m realize the functions for the functional units 11 to 20 in the object display device 1.
  • the object display program 1m may be transmitted via a transmission medium such as a communication line, or may be stored in the program storage area 1r of the recording medium 1d as shown in FIG. There may be.
  • a plurality of feature objects or real space images are obtained by the image feature extraction unit 12 from the real space image acquired by the photographing unit 11. Predetermined features relating to the image are extracted from the whole. Since the image of the object is corrected based on the characteristics relating to the image, the characteristics of the real space image are appropriately reflected on the object image. Therefore, the uncomfortable feeling of the object image in the superimposed image in which the object is superimposed and displayed on the real space image is reduced.
  • the present embodiment in the AR technology, it is possible to reduce the sense of discomfort of the object image in the superimposed image in which the object is superimposed and displayed on the real space image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Geometry (AREA)

Abstract

　オブジェクト表示装置は、現実空間の画像を取得する撮影部、現実空間の画像から検出された複数の特徴物又は現実空間の画像全体から画像に関する所定の特徴を抽出する画像特徴抽出部、画像に関する所定の特徴に基づきオブジェクトの画像を補正処理する画像処理部及び補正処理されたオブジェクトを現実空間の画像に重畳した重畳画像を表示する表示部を備える。これにより、重畳画像におけるオブジェクトの画像に対して現実空間の画像の特徴が適切に反映される。

Description

オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
　本発明は、オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムに関する。
　近年において、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ：拡張現実）技術を用いたサービスが開発・提供されている。例えば、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像に種々の情報や画像を含むオブジェクトを重畳表示する技術が知られている。また、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示する技術が知られている。一方、オブジェクトを現実空間の画像に重畳する際の、現実空間の映像におけるオブジェクトの色調を考慮するための技術として現実空間に配置されたマーカの色調に基づきオブジェクトの色調を補正する技術が知られている（例えば、特許文献１参照）。
特開２０１０－１７０３１６号公報
　現実空間の画像にオブジェクトが重畳された重畳画像におけるオブジェクトの違和感を軽減するためには、現実空間の画像の特徴がオブジェクトの画像に反映されることが好ましい。しかしながら、特許文献１に記載された従来の技術では、現実空間に配置された一のマーカの色調に基づきオブジェクトの色調の補正が行われるので、画像中における限られた一の領域に現実空間の画像の特徴を代表させることとなる。マーカの色調が現実空間の画像の特徴を代表しているとは限らないので、上記した従来技術では、オブジェクトの画像に対して適切な補正が行われず、重畳画像において違和感が生じる場合があった。
　そこで、本発明は、上記問題点に鑑みてなされたものであり、ＡＲ技術において、現実空間の画像にオブジェクトを重畳表示させた重畳画像における、オブジェクトの画像の違和感を軽減することが可能なオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムを提供することを目的とする。
　上記課題を解決するために、本発明の一形態に係るオブジェクト表示装置は、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置であって、現実空間の画像を取得する撮影手段と、撮影手段により取得された現実空間の画像から検出された複数の所定の特徴領域又は現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出手段と、画像特徴抽出手段により抽出された所定の特徴に基づき、オブジェクトの画像を補正処理する画像処理手段と、画像処理手段により補正処理されたオブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する表示手段とを備える。
　また、上記課題を解決するために、本発明の一形態に係るオブジェクト表示方法は、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、現実空間の画像を取得する撮影ステップと、撮影ステップにおいて取得された現実空間の画像から検出された複数の特徴領域又は現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出ステップと、画像特徴抽出ステップにおいて抽出された所定の特徴に基づき、オブジェクトの画像を補正処理する画像処理ステップと、画像処理ステップにおいて補正処理されたオブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する表示ステップとを有する。
　また、上記課題を解決するために、本発明の一形態に係るオブジェクト表示プログラムは、コンピュータを、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、コンピュータに、現実空間の画像を取得する撮影機能と、撮影機能により取得された現実空間の画像から検出された複数の特徴領域又は現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出機能と、画像特徴抽出機能により抽出された所定の特徴に基づき、オブジェクトの画像を補正処理する画像処理機能と、画像処理機能により補正処理されたオブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する表示機能とを実現させる。
　上記形態のオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムによれば、現実空間の画像から検出された複数の特徴領域又は現実空間の画像全体から抽出された画像に関する所定の特徴に基づきオブジェクトの画像が補正処理されるので、オブジェクトの画像に対して現実空間の画像の特徴が適切に反映される。従って、現実空間の画像にオブジェクトを重畳表示させた重畳画像におけるオブジェクトの画像の違和感が軽減される。
　また、別の形態に係るオブジェクト表示装置では、画像特徴抽出手段は、特徴領域が検出されなかった場合に、現実空間の画像全体から所定の特徴を抽出することとしてもよい。
　上記形態によれば、まず所定の特徴領域の検出が試みられ、オブジェクトの画像の補正に用いられる特徴が、検出された特徴領域の画像から抽出されるので、オブジェクトの画像の補正に用いられる特徴の抽出が容易である。また、特徴領域が検出されなかった場合であっても、現実空間の画像から抽出された所定の特徴がオブジェクトの画像の補正に用いられるので、オブジェクトの画像の適切な補正の実施が可能である。
　また、さらに別の形態に係るオブジェクト表示装置は、少なくとも特徴領域の色調に関する特徴領域情報を当該特徴領域に対応付けて記憶している特徴領域情報記憶手段を備え、画像特徴抽出手段は、特徴領域情報記憶手段に記憶された色調に対する、現実空間の画像における複数の特徴領域の色調の変化量を抽出し、画像処理手段は、画像特徴抽出手段により抽出された色調の変化量に基づきオブジェクトの画像を補正処理することとしてもよい。
　上記形態によれば、検出された特徴領域に関して予め記憶された色調に対する、現実空間の画像における当該特徴領域の色調の変化量に基づき、オブジェクトの画像の色調が補正される。これにより、オブジェクトの画像に対して、現実空間の画像の色調が適切に反映される。
　また、さらに別の形態に係るオブジェクト表示装置では、画像処理手段は、現実空間の画像における特徴領域の位置に対するオブジェクトの重畳位置に応じて、オブジェクトの画像を補正処理する。
　上記形態によれば、特徴領域の色調の変化量のオブジェクトの色調に対する反映の度合いが、特徴領域とオブジェクトとの位置関係に応じて考慮される。これにより、オブジェクトの色調がより適切に補正されるので、一層の違和感の軽減が実現される。
　また、さらに別の形態に係るオブジェクト表示装置では、画像特徴抽出手段は、現実空間の画像全体の色調に関する特徴を抽出し、画像処理手段は、画像特徴抽出手段により抽出された現実空間の画像全体の色調に関する特徴に基づき補正処理することとしてもよい。
　上記形態によれば、現実空間の画像全体の色調がオブジェクトの色調に反映されることとなるので、重畳画像におけるオブジェクトの違和感が軽減される。
　また、さらに別の形態に係るオブジェクト表示装置では、画像特徴抽出手段は、現実空間の画像におけるノイズの分布に関する特徴を抽出し、画像処理手段は、画像特徴抽出手段により抽出されたノイズの分布に関する特徴に基づき補正処理することとしてもよい。
　現実空間の画像にノイズがある場合において、ノイズがないオブジェクトの画像が重畳されると、重畳画像において違和感が生じる。上記形態によれば、現実空間の画像におけるノイズの分布に関する特徴が、オブジェクトの画像に反映されるので、重畳画像における違和感が軽減される。
　本発明の一側面によれば、ＡＲ技術において、現実空間の画像にオブジェクトを重畳表示させた重畳画像における、オブジェクトの画像の違和感を軽減することが可能となる。
オブジェクト表示装置の機能的構成を示すブロック図である。 オブジェクト表示装置のハードブロック図である。 撮影部により取得される現実空間の画像の例を示す図である。 撮影部により取得される現実空間の画像の例を示す図である。 撮影部により取得される現実空間の画像の例を示す図である。 特徴領域情報記憶部の構成及び記憶されているデータの例を示す図である。 色調変化量測定部における、特徴領域の色調の変化量を抽出するための色調テーブルの例を示す図である。 仮想オブジェクト記憶部の構成及び記憶されているデータの例を示す図である。 特徴領域の色調の変化量に基づくオブジェクトの色調の補正処理の例を示す図である。 特徴領域の色調の変化量に基づくオブジェクトの色調の補正処理の例を示す図である。 特徴領域の色調の変化量に基づくオブジェクトの色調の補正処理の例を示す図である。 特徴領域の色調の変化量に基づくオブジェクトの色調の補正処理の例を示す図である。 現実空間の画像全体の色調に基づく補正処理の例を示す図である。 現実空間の画像全体のノイズ分布に基づく補正処理の例を示す図である。 オブジェクト表示方法の処理内容を示すフローチャートである。 オブジェクト表示方法の処理内容を示すフローチャートである。 オブジェクト表示方法の処理内容を示すフローチャートである。 特徴領域の色調の変化量に基づく補正処理を示すフローチャートである。 現実空間の画像全体の特徴に基づく補正処理を示すフローチャートである。 オブジェクト表示プログラムの構成を示す図である。
　本発明に係るオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムの実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
　図１は、オブジェクト表示装置１の機能的構成を示すブロック図である。本実施形態のオブジェクト表示装置１は、現実空間の画像にオブジェクトを重畳表示する装置であって、例えば、移動体通信網を介した通信が可能な携帯端末である。
　移動端末等の装置を用いたＡＲ技術によるサービスとしては、例えば、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示するものがある。マーカは、現実空間中に予め人為的に設けられた物であってもよいし、現実空間中に存在する建物及び看板等の構造物並びにロゴマーク等であってもよい。また、同様のサービスとしては、移動端末が所在する位置情報に基づき移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像中の位置に対応付けてオブジェクトを重畳表示するものがある。本実施形態のオブジェクト表示装置１では、上記したＡＲ技術によるサービスの両態様が想定される。
　図１に示すように、オブジェクト表示装置１は、機能的には、撮影部１１（撮影手段）、画像特徴抽出部１２（画像特徴抽出手段）、特徴領域情報記憶部１３（特徴領域情報記憶手段）、仮想オブジェクト記憶部１７（仮想オブジェクト記憶手段）、画像処理部１８（画像処理手段）、表示部１９（表示手段）及び色調データ記憶部２０を備える。また、画像特徴抽出部１２は、特徴領域検知部１４、色調変化量測定部１５及び全体画面特徴抽出部１６を含む。
　図２は、オブジェクト表示装置１のハードウエア構成図である。オブジェクト表示装置１は、物理的には、図２に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、データ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図１に示した各機能は、図２に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。再び、図１を参照し、オブジェクト表示装置１の各機能部について詳細に説明する。
　撮影部１１は、現実空間の画像を取得する部分であって、例えばカメラにより構成される。図３～５は、撮影部１１により取得される現実空間の画像の例を示す図である。図３に示される現実空間の画像は、後に画像特徴抽出部１２により抽出される特徴物として、横断歩道Ｃｒ及びポストＰｓｔの画像を含む。図４に示される現実空間の画像は、後に画像特徴抽出部１２により抽出される特徴物として、星型のオブジェクトＳｔ１，Ｓｔ２の画像を含む。図５に示される現実空間の画像は、後に画像特徴抽出部１２により画像全体の色調を構成する要素として抽出される雲Ｃｒｄ及び建物Ｂｄの画像を含む。撮影部１１は、取得した現実空間の画像を画像特徴抽出部１２に送出する。
　画像特徴抽出部１２は、撮影部１１により取得された現実空間の画像から検出された複数の所定の特徴領域又は現実空間の画像全体の、画像に関する所定の特徴を抽出する部分である。所定の特徴領域は、現実空間の画像の特徴を抽出するために参照される領域である。画像特徴抽出部１２は、画像に関する特徴を抽出するための機能部として、特徴領域検知部１４、色調変化量測定部１５及び全体画面特徴抽出部１６を含む。また、画像に関する特徴を抽出のために、特徴領域情報記憶部１３が用いられる。
　特徴領域情報記憶部１３は、少なくとも特徴領域の色調に関する特徴領域情報を当該特徴領域に対応付けて記憶している部分である。また、特徴領域情報記憶部１３は、現実空間の画像から特徴領域を検出（マッチング）するための当該特徴領域の形状を表す２Ｄまたは３Ｄデータを含む。本実施形態では、特徴領域情報記憶部１３は、特徴領域を表すデータとして特徴物データを含む。図６は、特徴領域情報記憶部１３の構成及び記憶されているデータの例を示す図である。
　図６に示すように、特徴領域情報記憶部１３は、特徴領域を一意に識別する「Ｎｏ」に対応付けて特徴物データ及び色調のデータを記憶している。特徴物データは、上述したように、当該特徴物の形状を表す２Ｄまたは３Ｄデータであって、現実空間の画像からの特徴領域検知部１４による特徴物の検出（マッチング）に用いられる。色調のデータは、当該特徴物の主要部分の色を表すデータであって、例えばＲＧＢ形式で表される。図６を参照すると、特徴領域情報記憶部１３は、Ｎｏ「０００１」に対応付けて、特徴物データとしてポストを表す３Ｄデータ、及び当該ポストの主要部分である赤色部分の色調を示すデータ（ｒ１，ｇ１，ｂ１）を記憶している。また、特徴領域情報記憶部１３は、Ｎｏ「０００２」に対応付けて、特徴物データとして横断歩道を表す２Ｄデータ、及び当該横断歩道の主要部分である白色部分の色調を示すデータ（ｒ２，ｇ２，ｂ２）を記憶している。さらに、特徴領域情報記憶部１３は、Ｎｏ「０００３」に対応付けて、特徴物データとして星型オブジェクトを表す２Ｄデータ、及び当該星型オブジェクトの色調を示すデータ（ｒ３，ｇ３，ｂ３）を記憶している。
　色調データ記憶部２０は、色調の変化量の測定に用いられる色調データを記憶している部分であって、例えば、図７に示す色調テーブルを記憶している。図７に示すように、色調テーブルは、レコードを一意に識別する番号「Ｎｏ」に対応付けて、Ｒ値、Ｇ値及びＢ値それぞれの各階調の最大値に対する割合により色調を定義している。色調変化量測定部１５は、色調データ記憶部２０に記憶されているデータをもとに、色調の変化量を測定する。色調変化量測定部１５による詳細な処理は後述する。
　仮想オブジェクト記憶部１７は、仮想オブジェクトに関する仮想オブジェクト情報を予め又は一時的に記憶している部分である。オブジェクト表示装置１が、現実空間の画像から検出したマーカに対応付けてオブジェクトを表示する装置である場合には、仮想オブジェクト情報は、例えば、マーカに対応付けられたオブジェクトデータを含む。また、オブジェクト表示装置１が、現実空間における位置に対応付けられたオブジェクトを表示する装置である場合には、仮想オブジェクト情報は、例えば、位置情報に対応付けられたオブジェクトデータを含む。
　図８は、仮想オブジェクト記憶部１７に記憶されている仮想オブジェクト情報の例を示す図である。図８に示すように、仮想オブジェクト記憶部１７は、仮想オブジェクトを識別するＩＤに対応付けて仮想オブジェクトデータ及び重畳位置を記憶している。仮想オブジェクトデータは、仮想オブジェクトの形状及び色を表すデータである。重畳位置は、当該仮想オブジェクトが重畳表示される位置を示すデータであって、現実空間における絶対的な位置又はマーカ（特徴物）に対する相対的な位置を表す。
　仮想オブジェクト情報は、仮想オブジェクト記憶部１７に予め記憶されていることとしてもよいし、図示しないサーバから所定の通信手段を介して取得されることとしてもよい。仮想オブジェクト情報がサーバから取得される場合には、オブジェクト表示装置１の所在位置を示す位置情報に基づき、仮想オブジェクト情報は、サーバから提供されることとしてもよい。オブジェクトデータは、例えば、オブジェクトの画像データ、又は当該オブジェクトを表すための３Ｄオブジェクトのデータである。現実空間の画像中においてオブジェクトが重畳表示される位置は、例えば、仮想オブジェクト情報においてオブジェクトデータに対応付けられた位置情報、又は、現実空間の画像中におけるマーカとの相対位置により定義される。
　画像処理部１８は、仮想オブジェクト記憶部１７から仮想オブジェクトを取得し、取得した仮想オブジェクトを、撮影部１１により取得された現実空間の画像に重畳して、重畳画像を生成する部分である。重畳画像における仮想オブジェクトの重畳位置は、例えば、当該仮想オブジェクトに対応付けられている位置情報、又は現実空間の画像中におけるマーカとの相対位置に基づき決定される。画像処理部１８は、生成した重畳画像を表示部１９に送出する。
　また、画像処理部１８は、画像特徴抽出部１２により抽出された、現実空間の画像に関する所定の特徴に基づき、オブジェクトの画像を補正処理する。具体的な処理は、後に詳細を説明する。
　表示部１９は、画像処理部１８により生成及び送出された重畳画像を表示する部分であって、例えばディスプレイといった装置により構成される。重畳画像は、画像処理部１８により補正処理されたオブジェクトの画像が、現実空間の画像に重畳された画像である。以下、画像特徴抽出部１２および画像処理部１８の詳細な機能について説明する。
　特徴領域検知部１４は、撮影部１１により取得された現実空間の画像から所定の特徴領域を検出する部分である。具体的には、特徴領域検知部１４は、特徴領域情報記憶部１３に記憶されている特徴物データに基づき現実空間の画像を探索して、現実空間の画像から特徴物を抽出する。
　図３に示した現実空間の画像を例に説明すると、特徴領域検知部１４は、図６に示した特徴領域情報記憶部１３に記憶された特徴物データに基づき現実空間の画像を探索する。そして、特徴領域検知部１４は、Ｎｏ「０００１」及び「０００２」に示される特徴物に該当するポストＰｓｔ及び横断歩道Ｃｒを抽出する。また、特徴領域検知部１４は、図４に示した現実空間の画像を探索した場合には、Ｎｏ「０００３に示される特徴物に該当する星型オブジェクトを抽出する。現実空間の画像における特徴物が表された領域は、特徴領域を構成する。特徴領域検知部１４は、特徴物が抽出された場合に、現実空間の画像における特徴物の位置を表す情報（例えば、現実空間の画像における座標等）を取得し、色調変化量測定部１５へ送出する。
特徴領域検知部１４は、特徴物を抽出できない場合は、その旨を全体画面特徴抽出部１６へ通知することとしてもよい。全体画面特徴抽出部１６の機能については、後述する。
　色調変化量測定部１５は、特徴領域検知部１４において抽出された特徴物に関して、特徴領域情報記憶部１３に記憶された当該特徴物に対する色調の変化量を抽出する部分である。具体的には、例えば特徴物の色調がＲＧＢ形式で表されている場合には、色調変化量測定部１５は、特徴領域情報記憶部１３に記憶された特徴物のＲ値、Ｇ値及びＢ値と、特徴領域検知部１４により抽出された特徴物のＲ値、Ｇ値及びＢ値との差異（特徴物の色調の変化量）をそれぞれ算出する。
　色調変化量測定部１５は、特徴領域情報記憶部１３に記憶された特徴物の色調（ＲＧＢ）に対する特徴領域検知部１４により抽出された特徴物の色調（ＲＧＢ）の変化量に最も近い値を有するレコードを色調テーブルから抽出し、抽出したレコードを当該特徴物の色調の変化量とする。
　色調変化量測定部１５は、特徴領域検知部１４から取得した現実空間の画像における特徴物の位置を表す情報と共に、特徴物の色調の変化量の情報を画像処理部１８に送出する。
　また、画像処理部１８は、画像特徴抽出部１２により抽出された、現実空間の画像に関する所定の特徴に基づき、オブジェクトの画像を補正処理する。具体的には、画像処理部１８は、特徴領域検知部１４及び色調変化量測定部１５により抽出された、複数の特徴物の色調の変化量に基づき、仮想オブジェクト記憶部から取得したオブジェクトの画像を補正処理する。画像処理部は、色調変化量測定部から受信した特徴物の位置を表す情報とオブジェクトの表示位置を比較して、所定の距離以内であるか否かを判定する。また、画像処理部は、色調変化量測定部から受信した各特徴物の色調の変化量を比較して、変化量の差が所定量より小さいか否かを判定する。図９～１２を参照して、複数の特徴物の色調の変化量に基づく、オブジェクトの補正処理の例を説明する。
　図９は、複数の特徴物Ｃ１，Ｃ２の色調の変化量の差が所定量より小さい場合におけるオブジェクトＶ１Ａの補正処理の例を示す図である。複数の特徴物の色調の変化量の差が所定量より小さく、当該複数の特徴物から所定距離以内に補正処理対象のオブジェクトが位置する場合に、画像処理部１８は、当該複数の特徴物の色調の変化量の平均変化量に基づく色調の補正を当該オブジェクトに対して実施する。
　色調の補正は、例えば、ＲＧＢ形式で示された色調の平均変化量に基づきＲＧＢ各値の変換パラメータを生成し、オブジェクトを表す各画素のＲＧＢ値に当該変換パラメータによる所定の演算処理を施すことにより実現される。この補正処理には、各種の周知の色調補正処理及びフィルタ処理等の手法を適用可能であって、以下の図７，８を参照して説明する例においても同様である。
　図９（ａ）に示す例では、例えば、特徴物Ｃ１の色調の変化量が、図４に示す色調テーブルにおけるＮｏ１に該当し、特徴物Ｃ２の色調の変化量が、色調テーブルにおけるＮｏ２に該当するものとする。この場合には、特徴物Ｃ１の色調の変化量と特徴物Ｃ２の色調の変化量の差分が所定量より小さいので、画像処理部１８は、特徴物Ｃ１の色調の変化量及び特徴物Ｃ２の色調の変化量の平均変化量に基づき変換パラメータを生成する。そして、図９（ｂ）に示すように、画像処理部１８は、生成した変換パラメータを用いて、オブジェクトＶ１Ａに対する色調の補正処理を実施し、色調補正されたオブジェクトＶ１Ｂの画像を生成する。
　図１０は、複数の特徴物Ｃ３，Ｃ４の色調の変化量における各色（ＲＧＢ）の成分が類似しており、その濃淡に差異がある場合におけるオブジェクトＶ２Ａの補正処理の例を示す図である。複数の特徴物の色調の変化量の成分の差が類似且つ所定量より小さく、当該複数の特徴物から所定距離以内に補正処理対象のオブジェクトが位置する場合に、画像処理部１８は、当該複数の特徴物の色調の変化量と、当該複数の特徴物に対するオブジェクトの相対位置に基づき、グラデーション処理を当該オブジェクトに対して実施する。複数の色調の成分が類似している場合は、当該複数の色調が同系色に属し、その濃度に差異がある場合である。画像処理部１８は、Ｒ、Ｇ、Ｂの各値に着目して、例えば、Ｒ値が０％のものを同系色と扱うこととしてもよいが、これに限定されない。
　図１０（ａ）に示す例では、例えば、特徴物Ｃ３の色調の変化量が、図４に示す色調テーブルにおけるＮｏ１に該当し、特徴物Ｃ４の色調の変化量が、色調テーブルにおけるＮｏ４に該当するものとする。この場合には、特徴物Ｃ３の色調の変化量及び特徴物Ｃ４の色調の変化量における各色の成分が類似しており、両特徴物の色調の変化量が同系色に属するので、画像処理部１８は、オブジェクトＶ２Ａにグラデーション処理を実施し、図１０（ｂ）に示すような色調補正されたオブジェクトＶ２Ｂを生成する。
　具体的には、画像処理部１８は、オブジェクトＶ２Ａにおける特徴物Ｃ３に最も近い部分を、特徴物Ｃ３の色調の変化量に基づき生成された第１の変換パラメータにより色調補正する。一方、画像処理部１８は、オブジェクトＶ２Ａにおける特徴物Ｃ４に最も近い部分を、特徴物Ｃ４の色調の変化量に基づき生成された第２の変換パラメータにより色調補正する。そして、画像処理部１８は、オブジェクトＶ２Ａにおける特徴物Ｃ３に最も近い部分から特徴物Ｃ４に最も近い部分に至る領域に対して、特徴物Ｃ３及び特徴物Ｃ４からの距離に応じて第１の変換パラメータ値から第２の変換パラメータ値に変換パラメータの値を徐々に変化させながら、色調補正処理を実施する。
　図１１は、複数の特徴物Ｃ５，Ｃ６の色調の変化量の差が所定量より大きい場合におけるオブジェクトＶ３Ａの補正処理の例を示す図である。複数の特徴物Ｃ５，Ｃ６の色調の変化量が顕著に異なる場合には、例えば、色調が異なる複数の光源が現実空間の画像中に存在すると想定される。複数の特徴物の色調の変化量の差が所定量より大きい場合に、画像処理部１８は、色調補正対象のオブジェクトとの距離がより近い特徴物の色調の変化量に基づく色調の補正を当該オブジェクトに対して実施する。
　図１１（ａ）に示す例では、例えば、特徴物Ｃ５の色調の変化量が、図４に示す色調テーブルにおけるＮｏ１に該当し、特徴物Ｃ６の色調の変化量が、色調テーブルにおけるＮｏ１５に該当するものとする。この場合には、特徴物Ｃ５の色調の変化量と特徴物Ｃ６の色調の変化量の差分が所定量より大きく、且つオブジェクトＶ３Ａの位置が特徴物Ｃ５の位置近傍に偏っており所定距離以下であるので、画像処理部１８は、特徴物Ｃ５の色調の変化量に基づき変換パラメータを生成する。そして、図１１（ｂ）に示すように、画像処理部１８は、生成した変換パラメータを用いて、オブジェクトＶ３Ａに対する色調の補正処理を実施し、色調補正されたオブジェクトＶ３Ｂの画像を生成する。
　図１２は、複数の特徴物Ｃ７，Ｃ８の色調の変化量の差が所定量より大きく、且つ、オブジェクトＶ４Ａと特徴物Ｃ７，Ｃ８のそれぞれとの距離が同程度である場合におけるオブジェクトＶ４Ａの補正処理の例を示す図である。図１２（ａ）に示す例は、図１１に示した例と同様に、例えば、色調が異なる複数の光源が現実空間の画像中に存在すると想定される。この場合には、図１２（ｂ）に示すように、画像処理部１８は、オブジェクトＶ４Ａを特徴物Ｃ７の位置により近い第１の領域Ｖ４Ｂ１及び特徴物Ｃ８の位置により近い第２の領域Ｖ４Ｂ２に分割し、第１の領域Ｖ４Ｂ１を特徴物Ｃ７の色調の変化量に基づき生成した変換パラメータにより色調補正し、第２の領域Ｖ４Ｂ２を特徴物Ｃ８の色調の変化量に基づき生成した変換パラメータにより色調補正することとしてもよい。
　全体画面特徴抽出部１６は、現実空間の画像全体の色調に関する特徴（補正色情報）を、補正色として抽出する部分である。具体的には、全体画面特徴抽出部１６は、例えば、現実空間の画像全体の色調に関する特徴として、例えば、画像全体における支配的な色成分、画像全体の色調の平均の色調、ノイズ分布を抽出する。全体画面特徴抽出部１６は、抽出した補正色を画像処理部１８へ送出する。
　図１３（ａ）を参照して、全体画面特徴抽出部１６による支配的な色成分の抽出処理を説明する。図１３（ａ）は、現実空間の画像の色調の分布を模式的に示す図である。図１３（ａ）に示す画像は、例えば、図５に示した現実空間の画像を所定の大きさの単位領域に分割し、各領域に含まれる画素の色調の平均値を当該領域全体の色調とすることにより得られる。図１３（ａ）に示す画像では、領域Ｒ１は、図５に示した画像の背景に由来する色調を有し、領域Ｒ２は、雲Ｃｒｄに由来する色調を有し、領域Ｒ３は、建物Ｂｄに由来する色調を有している。全体画面特徴抽出部１６は、図１３（ａ）に示す現実空間の画像を解析して、領域Ｒ１の色調を支配的色成分として抽出し、領域Ｒ１の色調をオブジェクトの補正処理のための補正色として抽出する。画像からの支配的な色成分の抽出処理は、画像全体を単位領域に区切って色調の解析を行なうなど、周知の解析手法により実施可能である。
　画像全体の色調の平均の色調の抽出処理としては、全体画面特徴抽出部１６は、領域Ｒ１、領域Ｒ２、領域Ｒ３の各々のピクセル数及び当該領域の色調を示すＲＧＢ値に基づき現実空間の画像全体の色調の平均の色調を算出し、算出した平均に色調をオブジェクトの補正処理のための補正色として抽出する。
　また、全体画面特徴抽出部１６は、現実空間の画像におけるノイズの分布に関する特徴を抽出する。具体的には、全体画面特徴抽出部１６は、現実空間の画像におけるノイズを検出し、検出したノイズの密度といった情報を含む、ノイズの分布情報を抽出する。
　図１４（ａ）を参照して、全体画面特徴抽出部１６による現実空間の画像全体のノイズの分布に関する特徴の抽出処理の例を説明する。図１４（ａ）は、現実空間の画像のノイズの分布を模式的に示す図である。
　全体画面特徴抽出部１６は、現実空間の画像から一のピクセルを選択し、当該一のピクセルの周囲のピクセルの色を表す値の平均値に対して、当該一のピクセルの色を表す値が所定以上相違する場合に、当該一のピクセルをノイズを判断する。図１４（ａ）に示す例では、全体画面特徴抽出部１６は、ピクセルＰ１，Ｐ２，Ｐ４及びＰ５をノイズと判断する。一方、ピクセルＰ３の色は、その周囲の色と相違しているが、その相違が所定以上ではないので、全体画面特徴抽出部１６は、ピクセルＰ３をノイズと判断しない。全体画面特徴抽出部１６は、例示したような処理方法により現実空間の画像からノイズを検出し、そのノイズの密度を、ノイズの分布に関する情報として抽出する。そして、全体画面特徴抽出部１６は、抽出されたノイズの分布に関する情報を画像処理部１８に送出する。
　全体画面特徴抽出部１６は、抽出されたオブジェクトの補正処理のための補正色に関する情報（補正色情報）を画像処理部１８に送出する。
　画像処理部１８は、全体画面特徴抽出部１６により抽出された現実空間の画像全体の色調に関する特徴に基づきオブジェクトの画像を補正処理する。具体的には、画像処理部１８は、全体画面特徴抽出部１６から、現実空間の画像全体の色調から抽出された補正色に関する補正色情報を取得する。画像処理部１８は、例えばＲＧＢ形式で表された補正色情報に基づき、ＲＧＢ各値の変換パラメータを生成する。そして、画像処理部１８は、オブジェクトを表す各画素のＲＧＢ値に当該変換パラメータによる所定の演算処理を施すことにより、オブジェクトの画像の補正処理を実施する。変換パラメータの生成及び変換パラメータによる演算処理は、各種の周知の色調補正処理及びフィルタ処理等における手法を適用可能である。
　図１３（ｂ）は、画像処理部１８による補正処理が実施されていない場合の重畳画像の例を示す図である。図１３（ｂ）に示すように、オブジェクトＶ５Ａは、現実空間の画像全体の色調が反映されていないので、違和感のある重畳画像となる。一方、図１３（ｃ）は、画像処理部１８による現実空間の画像全体の支配的な色成分による補正処理が実施された場合の重畳画像の例を示す図である。図１３（ｃ）に示すように、オブジェクトＶ５Ｂは、現実空間の画像全体の支配的な色成分による補正処理（乗算処理）が施されているので、重畳画像における違和感が軽減されている。
　さらに、画像処理部１８は、全体画面特徴抽出部１６により抽出された、現実空間の画像におけるノイズの分布に関する特徴に基づきオブジェクトの画像を補正処理することができる。具体的には、画像処理部１８は、全体画面特徴抽出部１６から、ノイズの密度といった情報を含むノイズの分布情報を取得する。そして、画像処理部１８は、取得したノイズの分布情報に従って、補正対象のオブジェクトに対して、ノイズを付加する画像処理を実施する。ノイズは、例えば、所定のサイズを有する白色の点をオブジェクトに重畳することにより表される。この画像処理により、オブジェクトは、現実空間の画像全体と同様のノイズを有することとなる。
　図１４（ｂ）は、画像処理部１８による補正処理が実施されていない場合の重畳画像の例を示す図である。図１４（ｂ）に示すように、オブジェクトＶ５Ａは、現実空間の画像全体に発生したノイズの状態が反映されていないので、違和感のある重畳画像となる。一方、図１４（ｃ）は、画像処理部１８によるノイズの分布情報による補正処理が実施された場合の重畳画像の例を示す図である。図１３（ｃ）に示すように、オブジェクトＶ５Ｂは、現実空間の画像全体に発生したノイズと同様のノイズが付加される補正処理が施されているので、重畳画像における違和感が軽減されている。
　なお、ノイズの分布情報による補正は、前述の支配的な色成分による色調補正と併せて実施してもよいし、平均の色調による色調補正と併せて実施してもよい。
　上述のように、画像処理部１８は、色調変化量測定部１５や全体画面特徴抽出部１６から取得した補正色情報に基づいて、オブジェクトの色調を補正し、重畳画像を表示部１９へ送出する。このようにして、表示部１９に重畳画像が表示される。
　続いて、オブジェクト表示装置１におけるオブジェクト表示方法の処理内容を説明する。図１５～１７は、オブジェクト表示方法の処理内容を示すフローチャートである。
　まず、図１５のフローチャートを参照すると、オブジェクト表示装置１は、仮想オブジェクトの画像補正機能がＯＮに設定されているか否かを判定する（Ｓ１）。画像補正機能がＯＮに設定されていると判定された場合には、処理手順はステップＳ２に進められる。一方、画像補正機能がＯＮに設定されていると判定されなかった場合には、処理手順はステップＳ９に進められ、仮想オブジェクトの補正は実施されない。
　ステップＳ２において、撮影部１１は、現実空間の画像を取得する（Ｓ２）。続いて、画像特徴抽出部１２の特徴領域検知部１４は、現実空間の画像から特徴物の検出を試み（Ｓ３）、特徴物が検出されたか否かを判定する（Ｓ４）。特徴物が検出されたと判定された場合には、処理手順はステップＳ５に進められる。一方、特徴物が検出されたと判定されなかった場合には、処理手順は図１０に示されるフローチャートのステップＳ１０に進められる。
　ステップＳ５において、画像特徴抽出部１２の色調変化量測定部１５は、特徴領域情報記憶部１３を参照して特徴領域検知部１４において抽出された特徴物の色調の変化量の抽出を試み、特徴物の色調に変化があるか否かを判定する（Ｓ５）。特徴物の色調に変化があると判定した場合には、処理手順はステップＳ６に進められる。一方、特徴物の色調に変化があると判定しなかった場合には、処理手順はステップＳ９に進められ、仮想オブジェクトの補正は実施されない。
　ステップＳ６において、画像特徴抽出部１２は、色調の変化が検出された特徴物が複数であるか否かを判定する（Ｓ６）。特徴物が複数であると判定された場合には、処理手順はステップＳ７に進められる。一方、特徴物が複数であると判定されなかった場合には、処理手順はステップＳ８に進められる。
　ステップＳ７において、画像処理部１８は、複数の特徴物の色調の変化量に基づき、仮想オブジェクト記憶部１７から取得したオブジェクトの画像を補正処理する（Ｓ７）。一方、ステップＳ８において、画像処理部１８は、一の特徴物の色調の変化量に基づき、仮想オブジェクト記憶部１７から取得したオブジェクトの画像を補正処理する（Ｓ８）。また、ステップＳ９において、画像処理部１８は、オブジェクトに対する補正処理を実施しない。
　続いて、図１６を参照して、ステップＳ４において特徴物が検出されたと判定されなかった場合の処理を説明する。ステップＳ１０において、画像特徴抽出部１２の全体画面特徴抽出部１６は、現実空間の画像全体から、画像に関する特徴の抽出を試みる（Ｓ１０）。ここで抽出される特徴は、現実空間の画像全体の色調に関する特徴、及びノイズの分布に関する特徴を含む。現実空間の画像全体から特徴が抽出された場合には、処理手順はステップＳ１２に進められる。一方、現実空間の画像全体から特徴が抽出されなかった場合には、処理手順はステップＳ１３に進められ、仮想オブジェクトの補正は実施されない。
　ステップＳ１２において、画像処理部１８は、全体画面特徴抽出部１６により抽出された現実空間の画像全体の特徴に基づきオブジェクトの画像を補正処理する（Ｓ１２）。ステップＳ１２における補正処理は、画像全体における支配的な色成分や画像全体の色調の平均の色調といった色調に基づく補正及び画像全体におけるノイズ分布に基づく補正を含む。また、色調に基づく補正及びノイズ分布に基づく補正の両方が実施されることとしてもよい。
　次に、図１７を参照して、図１５におけるステップＳ７の処理を詳細に説明する。まず、画像処理部１８は、複数の特徴物の色調の変化量を比較し（Ｓ１４）、変化量の差分が所定量より大きいか否かを判定する（Ｓ１５）。変化量の差分が所定量より大きいと判定された場合には、処理手順はステップＳ１６に進められる。一方、変化量の差分が所定量より大きいと判定されなかった場合には、処理手順はステップＳ１９に進められる。
　ステップＳ１６において、画像処理部１８は、特徴物とオブジェクトの位置が所定距離以内か否かを判定する（Ｓ１６）。特徴物とオブジェクトの位置が所定距離以内であると判定された場合には，処理手順はステップＳ１７に進められる。一方、特徴物とオブジェクトの位置が所定距離以内であると判定されなかった場合には，処理手順はステップＳ１８に進められる。
　ステップＳ１７において、画像処理部１８は、色調補正対象のオブジェクトのより近傍に位置する特徴物の色調の変化量に基づく色調の補正を当該オブジェクトに対して実施する（Ｓ１７）。一方、ステップＳ１８において、画像処理部１８は、オブジェクトを特徴物のそれぞれにより近い第１の領域及び第２の領域に分割し、領域ごとに各々の領域の近傍に位置する特徴物の色調の変化量基づき色調補正する（Ｓ１８）。
　また、ステップＳ１９において、画像処理部１８は、特徴物とオブジェクトの位置が所定距離以内か否かを判定する（Ｓ１９）。特徴物とオブジェクトの位置が所定距離以内であると判定された場合には，処理手順はステップＳ２０に進められる。一方、特徴物とオブジェクトの位置が所定距離以内であると判定されなかった場合には，処理手順はステップＳ２１に進められる。
　ステップＳ２０において、画像処理部１８は、各特徴物の色調の変化量に基づきオブジェクトにグラデーション処理を実施する（Ｓ２０）。一方、ステップＳ２１において、画像処理部１８は、複数の特徴物の色調の変化量の平均変化量に基づく色調の補正をオブジェクトに対して実施する（Ｓ２１）。
　そして、ステップＳ７～Ｓ９，Ｓ１２～Ｓ１３，Ｓ１７～Ｓ１８，Ｓ２０～Ｓ２１の処理手順を経て、画像処理部１８は、現実空間の画像にオブジェクトを重畳した重畳画像を生成し、表示部１９は、画像処理部１８により生成された重畳画像を表示する。
　本実施形態では、画像特徴抽出部１２は、複数の特徴物（特徴領域）の色調の変化量を取得するための特徴領域検知部１４及び色調変化量測定部１５、並びに現実空間の画像全体の特徴を抽出するための全体画面特徴抽出部１６を有することとしているが、特徴領域検知部１４及び色調変化量測定部１５と、全体画面特徴抽出部１６とのうちのいずれか一方を備えることとしてもよい。即ち、画像処理部１８は、複数の特徴物の色調の変化量及び現実空間の画像全体の特徴のいずれか一方に基づき、オブジェクトの画像の補正処理を実施することとしてもよい。
　図１８は、複数の特徴物の色調の変化量に基づき、オブジェクトの画像の補正処理を実施する処理を示すフローチャートである。ステップＳ３１～Ｓ３３の処理は、図１５のフローチャートにおけるＳ１～Ｓ３の処理と同様である。続くステップＳ３４において、特徴領域検知部１４は、特徴物が検出されたか否かを判定する（Ｓ３４）。特徴物が検出されたと判定された場合には、処理手順はステップＳ３５に進められ、画像処理部１８は、ステップＳ５～９と同様の処理内容であるステップＳ３５～Ｓ３９において、複数の特徴物の色調の変化量に基づくオブジェクトの補正処理を実施する。
　一方、ステップＳ３４において特徴物が検出されたと判定されなかった場合には、処理手順はステップＳ３９に進められ、仮想オブジェクトの補正処理は実施されない。図１８のフローチャートにより説明した処理では、オブジェクト表示装置１は、特徴物の色調に関する情報を有しており、このような特徴物の色調の変化に基づきオブジェクトの色調を補正するので、容易に補正処理を実施できる。
　一方、図１９は、現実空間の画像全体の特徴に基づき、オブジェクトの画像の補正処理を実施する処理を示すフローチャートである。まず、オブジェクト表示装置１は、仮想オブジェクトの画像補正機能がＯＮに設定されているか否かを判定する（Ｓ４１）。画像補正機能がＯＮに設定されていると判定された場合には、処理手順はステップＳ４２に進められる。一方、画像補正機能がＯＮに設定されていると判定されなかった場合には、処理手順はステップＳ４６に進められ、仮想オブジェクトの補正は実施されない。
　ステップＳ４２において、撮影部１１は、現実空間の画像を取得する（Ｓ４２）。続いて、画像特徴抽出部１２の全体画面特徴抽出部１６は、現実空間の画像全体から、画像に関する特徴の抽出を試みる（Ｓ４３）。ここで抽出される特徴は、現実空間の画像全体の色調に関する特徴、及びノイズの分布に関する特徴を含む。現実空間の画像全体から特徴が抽出された場合には、処理手順はステップＳ４５に進められる（Ｓ４４）。
　一方、現実空間の画像全体から特徴が抽出されなかった場合には（Ｓ４４）、処理手順はステップＳ４６に進められ、仮想オブジェクトの補正は実施されない。ステップＳ４５において、画像処理部１８は、全体画面特徴抽出部１６により抽出された現実空間の画像全体の特徴に基づきオブジェクトの画像を補正処理する（Ｓ４５）。図１９のフローチャートにより説明した処理では、オブジェクト表示装置１は、現実空間の画像全体の色調等に基づきオブジェクトの補正処理を実施するので、重畳画像におけるオブジェクトの違和感が軽減される。
　次に、コンピュータを、本実施形態のオブジェクト表示装置１として機能させるためのオブジェクト表示プログラムについて説明する。図２０は、図１に示したオブジェクト表示装置１に対応するオブジェクト表示プログラム１ｍの構成を示す図である。
　オブジェクト表示プログラム１ｍは、オブジェクト表示処理を統括的に制御するメインモジュール１０ｍ、撮影モジュール１１ｍ、画像特徴抽出モジュール１２ｍ、特徴領域情報記憶モジュール１３ｍ、仮想オブジェクト記憶モジュール１７ｍ、画像処理モジュール１８ｍ、表示モジュール１９ｍ及び色調データ記憶モジュール２０ｍを備えて構成される。また、画像特徴抽出モジュール１２ｍは、特徴領域検知モジュール１４ｍ、色調変化量測定モジュール１５ｍ及び全体画面特徴抽出モジュール１６ｍを含む。そして、各モジュール１０ｍ～２０ｍにより、オブジェクト表示装置１における各機能部１１～２０のための各機能が実現される。なお、オブジェクト表示プログラム１ｍは、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図１１に示されるように、記録媒体１ｄのプログラム格納領域１ｒに記憶される態様であってもよい。
　本実施形態のオブジェクト表示装置１、オブジェクト表示方法及びオブジェクト表示プログラム１ｍによれば、撮影部１１により取得された現実空間の画像から、画像特徴抽出部１２により、複数の特徴物又は現実空間の画像全体から画像に関する所定の特徴が抽出される。そして、画像に関する特徴に基づきオブジェクトの画像が補正処理されるので、オブジェクトの画像に対して現実空間の画像の特徴が適切に反映される。従って、現実空間の画像にオブジェクトを重畳表示させた重畳画像におけるオブジェクトの画像の違和感が軽減される。
　以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
　本実施形態によれば、ＡＲ技術において、現実空間の画像にオブジェクトを重畳表示させた重畳画像における、オブジェクトの画像の違和感を軽減することが可能となる。
　１…オブジェクト表示装置、１ｄ…記録媒体、１ｍ…オブジェクト表示プログラム、１ｒ…プログラム格納領域、１０ｍ…メインモジュール、１１…撮影部、１１ｍ…撮影モジュール、１２…画像特徴抽出部、１２ｍ…画像特徴抽出モジュール、１３…特徴領域情報記憶部、１３ｍ…特徴領域情報記憶モジュール、１４…特徴領域検知部、１４ｍ…特徴領域検知モジュール、１５…色調変化量測定部、１５ｍ…色調変化量測定モジュール、１６…全体画面特徴抽出部、１６ｍ…全体画面特徴抽出モジュール、１７…仮想オブジェクト記憶部、１７ｍ…仮想オブジェクト記憶モジュール、１８…画像処理部、１８ｍ…画像処理モジュール、１９…表示部、１９ｍ…表示モジュール、２０…色調データ記憶部、２０ｍ…色調データ記憶モジュール。

Claims (8)

  1. 　現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置であって、
    　現実空間の画像を取得する撮影手段と、
    　前記撮影手段により取得された現実空間の画像から検出された複数の所定の特徴領域又は前記現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出手段と、
    　前記画像特徴抽出手段により抽出された所定の特徴に基づき、前記オブジェクトの画像を補正処理する画像処理手段と、
    　前記画像処理手段により補正処理されたオブジェクトの画像を、前記現実空間の画像に重畳した重畳画像を表示する表示手段と
    　を備えるオブジェクト表示装置。
  2. 　前記画像特徴抽出手段は、
    　前記特徴領域が検出されなかった場合に、前記現実空間の画像全体から所定の特徴を抽出する、
    　請求項１に記載のオブジェクト表示装置。
  3. 　少なくとも前記特徴領域の色調に関する特徴領域情報を当該特徴領域に対応付けて記憶している特徴領域情報記憶手段を備え、
    　前記画像特徴抽出手段は、前記特徴領域情報記憶手段に記憶された色調に対する、前記現実空間の画像における複数の前記特徴領域の色調の変化量を抽出し、
    　前記画像処理手段は、前記画像特徴抽出手段により抽出された色調の変化量に基づき前記オブジェクトの画像を補正処理する、
    　請求項１または２に記載のオブジェクト表示装置。
  4. 　前記画像処理手段は、前記現実空間の画像における前記特徴領域の位置に対する前記オブジェクトの重畳位置に応じて、前記オブジェクトの画像を補正処理する、
    　請求項３に記載のオブジェクト表示装置。
  5. 　前記画像特徴抽出手段は、前記現実空間の画像全体の色調に関する特徴を抽出し、
    　前記画像処理手段は、前記画像特徴抽出手段により抽出された現実空間の画像全体の色調に関する特徴に基づき補正処理する
    　請求項１～４のいずれか１項に記載のオブジェクト表示装置。
  6. 　前記画像特徴抽出手段は、前記現実空間の画像におけるノイズの分布に関する特徴を抽出し、
    　前記画像処理手段は、前記画像特徴抽出手段により抽出された前記ノイズの分布に関する特徴に基づき補正処理する
    　請求項１～５のいずれか１項に記載のオブジェクト表示装置。
  7. 　現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、
    　現実空間の画像を取得する撮影ステップと、
    　前記撮影ステップにおいて取得された現実空間の画像から検出された複数の特徴領域又は前記現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出ステップと、
    　前記画像特徴抽出ステップにおいて抽出された所定の特徴に基づき、前記オブジェクトの画像を補正処理する画像処理ステップと、
    　前記画像処理ステップにおいて補正処理されたオブジェクトの画像を、前記現実空間の画像に重畳した重畳画像を表示する表示ステップと
    　を有するオブジェクト表示方法。
  8. 　コンピュータを、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、
    　前記コンピュータに、
    　現実空間の画像を取得する撮影機能と、
    　前記撮影機能により取得された現実空間の画像から検出された複数の特徴領域又は前記現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出機能と、
    　前記画像特徴抽出機能により抽出された所定の特徴に基づき、前記オブジェクトの画像を補正処理する画像処理機能と、
    　前記画像処理機能により補正処理されたオブジェクトの画像を、前記現実空間の画像に重畳した重畳画像を表示する表示機能と
    　を実現させるオブジェクト表示プログラム。
     
PCT/JP2012/066770 2011-07-14 2012-06-29 オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム WO2013008653A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/878,634 US9305399B2 (en) 2011-07-14 2012-06-29 Apparatus and method for displaying objects
EP12811842.9A EP2733674A4 (en) 2011-07-14 2012-06-29 DEVICE, METHOD AND PROGRAM FOR DISPLAYING OBJECT
CN201280007245.6A CN103339661B (zh) 2011-07-14 2012-06-29 对象显示装置、对象显示方法和对象显示程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-156053 2011-07-14
JP2011156053A JP5325267B2 (ja) 2011-07-14 2011-07-14 オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム

Publications (1)

Publication Number Publication Date
WO2013008653A1 true WO2013008653A1 (ja) 2013-01-17

Family

ID=47505949

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/066770 WO2013008653A1 (ja) 2011-07-14 2012-06-29 オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム

Country Status (5)

Country Link
US (1) US9305399B2 (ja)
EP (1) EP2733674A4 (ja)
JP (1) JP5325267B2 (ja)
CN (1) CN103339661B (ja)
WO (1) WO2013008653A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021187506A1 (ja) * 2020-03-19 2021-09-23 ソニーグループ株式会社 データ処理装置、データ処理方法およびデータ処理プログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9262441B2 (en) * 2013-05-09 2016-02-16 Idée Inc. Wildcard color searching
JP6282045B2 (ja) * 2013-05-23 2018-02-21 キヤノン株式会社 情報処理装置および方法、プログラム、記憶媒体
US8976191B1 (en) * 2014-03-13 2015-03-10 Qualcomm Incorporated Creating a realistic color for a virtual object in an augmented reality environment
JP5937128B2 (ja) 2014-03-17 2016-06-22 富士フイルム株式会社 拡張現実感提供システム、方法及びプログラム
US9727977B2 (en) * 2014-12-29 2017-08-08 Daqri, Llc Sample based color extraction for augmented reality
US10262441B2 (en) * 2015-02-18 2019-04-16 Qualcomm Incorporated Using features at multiple scales for color transfer in augmented reality
AU2016250773A1 (en) 2015-04-23 2017-10-12 Hasbro, Inc. Context-aware digital play
JP6620426B2 (ja) 2015-05-28 2019-12-18 富士通株式会社 情報検出装置、情報検出システム、情報検出プログラム、及び情報検出方法
MY201893A (en) * 2015-08-21 2024-03-22 Ns Solutions Corp Display system and information processing method
RU2625940C1 (ru) * 2016-04-23 2017-07-19 Виталий Витальевич Аверьянов Способ воздействия на виртуальные объекты дополненной реальности
KR20170124424A (ko) * 2016-05-02 2017-11-10 삼성전자주식회사 영상을 처리하는 방법, 장치 및 기록매체
WO2017191978A1 (en) * 2016-05-02 2017-11-09 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for processing image
JP7058471B2 (ja) * 2017-04-17 2022-04-22 キヤノン株式会社 画像処理装置、画像処理方法
CN111052062A (zh) * 2017-09-08 2020-04-21 三菱电机株式会社 位置校正装置和位置校正方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170316A (ja) 2009-01-22 2010-08-05 Konami Digital Entertainment Co Ltd 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム
JP2012069074A (ja) * 2010-09-27 2012-04-05 Nintendo Co Ltd 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2336057B (en) * 1998-04-02 2002-05-08 Discreet Logic Inc Producing image data in a virtual set
US7804980B2 (en) * 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
JP4240023B2 (ja) 2005-08-31 2009-03-18 ソニー株式会社 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム
US7646392B2 (en) * 2006-05-03 2010-01-12 Research In Motion Limited Dynamic theme color palette generation
JP4264663B2 (ja) 2006-11-21 2009-05-20 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP4901539B2 (ja) * 2007-03-07 2012-03-21 株式会社東芝 立体映像表示システム
US20090109236A1 (en) * 2007-10-30 2009-04-30 Microsoft Corporation Localized color transfer
US8098881B2 (en) * 2008-03-11 2012-01-17 Sony Ericsson Mobile Communications Ab Advertisement insertion systems and methods for digital cameras based on object recognition
JP5602618B2 (ja) * 2010-06-10 2014-10-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP2012174116A (ja) * 2011-02-23 2012-09-10 Ntt Docomo Inc オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US8872853B2 (en) * 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170316A (ja) 2009-01-22 2010-08-05 Konami Digital Entertainment Co Ltd 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム
JP2012069074A (ja) * 2010-09-27 2012-04-05 Nintendo Co Ltd 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2733674A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021187506A1 (ja) * 2020-03-19 2021-09-23 ソニーグループ株式会社 データ処理装置、データ処理方法およびデータ処理プログラム

Also Published As

Publication number Publication date
CN103339661A (zh) 2013-10-02
CN103339661B (zh) 2015-12-09
EP2733674A1 (en) 2014-05-21
US20140139552A1 (en) 2014-05-22
JP2013025329A (ja) 2013-02-04
JP5325267B2 (ja) 2013-10-23
EP2733674A4 (en) 2016-02-17
US9305399B2 (en) 2016-04-05

Similar Documents

Publication Publication Date Title
JP5325267B2 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
WO2012114639A1 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US10469701B2 (en) Image processing method that obtains special data from an external apparatus based on information multiplexed in image data and apparatus therefor
JP5961249B2 (ja) カラー・チャネルおよび光マーカー
WO2011145429A1 (ja) オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
WO2012063594A1 (ja) オブジェクト表示装置及びオブジェクト表示方法
CN110366001B (zh) 视频清晰度的确定方法和装置、存储介质、电子装置
US20130278636A1 (en) Object display device, object display method, and object display program
JP6020471B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP6152787B2 (ja) 情報埋め込み装置、情報検出装置、情報埋め込み方法、及び情報検出方法
CN112017222A (zh) 视频全景拼接与三维融合方法及装置
US10096077B2 (en) Information embedding device, information embedding method, and recording medium storing program
JP2007295375A (ja) 投影映像補正装置及び投影映像補正プログラム
JP6101661B2 (ja) 画像合成装置および画像合成方法ならびに画像合成プログラムおよび画像合成プログラムを格納した記録媒体
US8600157B2 (en) Method, system and computer program product for object color correction
US10750080B2 (en) Information processing device, information processing method, and program
CN113962838A (zh) 水印图像嵌入/增强方法、装置及计算机系统
KR101279576B1 (ko) 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법
US20160203617A1 (en) Image generation device and display device
CN116980549A (zh) 视频帧处理方法、装置、计算机设备和存储介质
JP2018081424A (ja) 画像処理装置および画像処理方法
EP3407297B1 (en) Method and device for determining a characteristic of a display device
JP6118295B2 (ja) マーカ埋め込み装置、マーカ検出装置、方法、及びプログラム
CN107742275B (zh) 一种信息处理方法及电子设备
CN107623871B (zh) 基于视频的通信方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12811842

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012811842

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13878634

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE