WO2010079682A1 - 画像圧縮方法、画像処理装置、画像表示装置及び画像表示システム - Google Patents

画像圧縮方法、画像処理装置、画像表示装置及び画像表示システム Download PDF

Info

Publication number
WO2010079682A1
WO2010079682A1 PCT/JP2009/071202 JP2009071202W WO2010079682A1 WO 2010079682 A1 WO2010079682 A1 WO 2010079682A1 JP 2009071202 W JP2009071202 W JP 2009071202W WO 2010079682 A1 WO2010079682 A1 WO 2010079682A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
external
local background
external image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/071202
Other languages
English (en)
French (fr)
Inventor
望 仲尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2010513212A priority Critical patent/JP4573001B2/ja
Publication of WO2010079682A1 publication Critical patent/WO2010079682A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/02—Flexible displays

Definitions

  • the present invention relates to a compression method for compressing an input external image, and an image processing device, an image display device, and an image display system for compressing an image by the compression method.
  • a compression method for compressing an input external image and an image processing device, an image display device, and an image display system for compressing an image by the compression method.
  • an image display device that allows an observer to visually recognize the external image and the real image through the display unit at the same time, for example, a see-through type head mounted display (hereinafter referred to as HMD).
  • HMD see-through type head mounted display
  • the HMD disclosed in Patent Document 1 includes a transparent display unit, and displays an external image that is an image input from the outside on the display unit, thereby simultaneously observing an external image and a real image through the display unit.
  • See-through type HMD the HMD described in Patent Literature 2 captures an optical image through a display unit to obtain a real image, and generates a display image by synthesizing an external image with the real image and displays the display image on the display unit.
  • Video see-through HMD Video see-through HMD
  • an external image corresponding to a real image is created based on a part of information of the real image.
  • the HMD described in Patent Literature 3 includes an imaging unit that generates a real image by imaging, and communicates the real image and the external image with an external image processing apparatus.
  • JP 2000-184370 A Japanese Patent Laid-Open No. 2007-219082 JP-A-5-21650
  • the present invention provides a compression method capable of suppressing deterioration in image quality and reducing the transmission amount, an image processing device, an image display device, and an image display system that perform image compression using the compression method. With the goal.
  • the video display device of the present invention compares an external image input from the outside of the device and a local background image showing a real image visually recognized by an observer for each corresponding position, and the local background image of the external image
  • An external image update processing unit that sets an area similar to the target area and performs update processing that is processing for reducing the sharpness on the target area of the external image, and the external image after the update processing
  • an external image encoding unit for encoding.
  • the update process performed by the external image update processing unit may be a smoothing process.
  • the signal value indicating the high-frequency component that is reduced by the smoothing process is efficiently omitted. Therefore, it is possible to reduce the information amount of the external image. For example, when an external image is converted into a signal sequence composed of frequency domain signals and a smoothing process is applied when the signal sequence is omitted, the amount of information can be suitably reduced. Note that this signal sequence is obtained by arranging signal values according to the magnitude of the frequency component, and adjacent equal signal values may be abbreviated.
  • the update process performed by the external image update processing unit may be a resolution reduction process.
  • the number of pixels in the target area is reduced, so that the amount of information can be reduced.
  • the pixel value of the pixel of the external image includes a plurality of components
  • the external image update processing unit clearly displays a component that is sensitive to humans among the components.
  • the update process with a small effect of reducing the degree is performed or the update process is not performed, and the update process with a large effect of reducing the sharpness is performed on a component that is insensitive to humans among the components. It doesn't matter.
  • the external image update processing unit compares the local background image and the external image for each block that is an area having a predetermined size, and among the blocks of the external image. A thing similar to the block of the local background image may be set as the target area.
  • the external image update processing unit compares the representative values of the blocks of the external image and the local background image, and the representative value is the median of the pixel values of the pixels included in the block. The average value of the pixel values of the pixels included in the block and the value of the direct current component obtained by converting the pixel value into a frequency domain signal may be used.
  • This configuration makes it possible to easily set the target area in units of blocks.
  • the block when the variance of the pixel values of the pixels belonging to the block of the external image is larger than a predetermined value, the block may not be set as the target region.
  • the external image update processing unit divides each of the external image and the local background image into regions where pixel values are substantially equal, and pixel values of pixels belonging to the region.
  • a region that overlaps a region with a substantially equal label may be set as a target region.
  • This configuration makes it possible to set the target area with high accuracy. In particular, it is possible to set a target region having a pixel unit boundary.
  • the target region may be set by being divided for each region. Absent.
  • the external image update processing unit includes each of the target area set in the external image and a corresponding area corresponding to the target area of the local background image. Linear separation may be performed on the pixel values of the pixels, and the target area may be excluded when separation is possible.
  • This configuration makes it possible to exclude the target area when the set target area is not similar and inappropriate. Therefore, it is possible to set the target area with higher accuracy.
  • the image display system of the present invention includes the image processing device described above and an image display device that communicates with the image processing device, and the image display device is subjected to transmission processing from the image processing device.
  • An external image reception processing unit that receives and processes the external image after processing, a display unit that displays the external image after the update processing and allows a real image to pass therethrough, and shows the real image by imaging An imaging unit that generates a real image; and a real image transmission processing unit that transmits the real image to the image processing device, and the image processing device transmits the real image to be transmitted from the image display device.
  • the local background image which is an image showing a superposed portion of the real image that is visually recognized through the external image after the update process displayed on the display unit and a real image reception processing unit that performs reception processing , And further comprising a local background image generating unit that generates from the real image, the external image transmission processing unit for transmitting processing the external image after the updating process on the image display device.
  • the image processing apparatus can record a real image, transmit it to another apparatus, and display it.
  • An image display system of the present invention includes the image processing device according to any one of claims 1 to 11 and an image display device that communicates with the image processing device, wherein the image display device includes: An external image reception processing unit that receives and processes the external image after the update process that is transmitted from the image processing apparatus, and displays the external image after the update process and allows a real image to pass through to be visible.
  • a local background image generation unit that generates a background image from the real image; and a local background image transmission processing unit that transmits the local background image to the image processing device.
  • a local background image reception processing unit for receiving the local background image transmitted from the image display device; and an external image transmission processing unit for transmitting the external image after the update process to the image display device. It is characterized by that.
  • the image transmitted from the image display apparatus to the image processing apparatus becomes a local background image. Therefore, it is possible to reduce the transmission amount as compared with the case where a real image is transmitted.
  • the image display device of the present invention is an image display device that displays an image, wherein the image display device communicates an image with another image processing device having the same configuration as the image display device, An external image generating unit for other devices that generates an external image to be displayed on another image display device, and a local background for other devices that receives and processes a local background image for other devices that is transmitted from the other image display device
  • the image reception processing unit is compared with the external image for the other device and the local background image for the other device for each corresponding position, and the region similar to the local background image for the other device of the external image for the other device is the target region
  • an external image update processing unit for the other device that performs an update process that is a process for reducing the sharpness on the target area of the external image for the other device, and the external for the other device after the update process.
  • the image is the other image table
  • An external image transmitting unit for other device that performs transmission processing to the device, an external image reception processing unit for receiving own external image that is transmitted from the other image display device, and the external image for own device A display unit that transmits a real image and is visible, an imaging unit that generates a real image showing the real image by imaging, and a visual recognition through the external image for the own device displayed on the display unit
  • a local background image for the own device that generates a local background image for the own device indicating a superimposed portion of the real image to be generated from the real image, and the local background image for the own device is transmitted to the other image display device
  • a local background image transmission processing unit for the own device to be processed A local background image transmission processing unit for the own device to be processed.
  • a plurality of image display devices can directly communicate images.
  • an image processing apparatus that is an intermediary apparatus can be eliminated.
  • the external device external image generation unit may generate the external device external image from the real image generated by the imaging unit.
  • the image compression method targets a first step of comparing an external image and a local background image for each corresponding position, and an area determined to be similar to the local background image of the external image by the first step.
  • a second step of setting as a region a third step of performing an update process that is a process of reducing the sharpness on the target region set by the second step of the external image, and a step after the update process
  • a fourth step of encoding the external image targets a first step of comparing an external image and a local background image for each corresponding position, and an area determined to be similar to the local background image of the external image by the first step.
  • the present invention it is possible to reduce the information amount of the external image by reducing the sharpness of the region similar to the local background image in the external image.
  • Such a similar region is a region that is difficult for an observer to recognize when an external image is displayed. Therefore, even if the amount of information is reduced, it is possible to make it difficult for the observer to perceive deterioration in image quality.
  • FIG. 4 is a schematic diagram showing a state where DCT coefficients after quantization in one macroblock are arranged in a matrix.
  • FIG. 4 is a schematic diagram showing a state where DCT coefficients after quantization in one macroblock are arranged in a matrix.
  • FIG. 4 is a schematic diagram showing a state where DCT coefficients after quantization in one macroblock are arranged in a matrix.
  • FIG. 4 is a schematic diagram showing a state where DCT coefficients after quantization in one macroblock are arranged in a matrix.
  • FIG. 4 is a schematic diagram showing a local background image and an external image showing an outline of the update process.
  • FIG. 1 is a perspective view showing an example of the configuration of an image display device (see-through type HMD) according to an embodiment of the present invention.
  • the image display apparatus 1 of this example is based on glasses.
  • the image display device 1 generates a real image by imaging the frame 2, a display unit 3 that displays an external image, a right-eye lens 31 that is a part of the display unit 3, and a left-eye lens 4.
  • An imaging unit 5, a main body unit 6 that communicates with an external image processing apparatus (not shown), and a cable 7 that connects the display unit 3 and the imaging unit 5 to the main body unit 6 are provided.
  • the main unit 6 supplies an external image and power to the display unit 3 through the cable 7 and acquires a real image generated by the imaging unit 5. Further, the main body 6 transmits a real image to the image processing apparatus and receives an external image from the image processing apparatus.
  • the display unit 3 includes the right-eye lens 31 and a projection unit 32 that projects an optical image based on an external image input via the cable 7 onto the right-eye lens 31.
  • the projection unit 32 is provided on the upper part of the right-eye lens 31 and includes a light source (not shown) and a display element (not shown) for projecting an optical image of an external image.
  • the light source may be constituted by an LED (Light Emitting Diode) or an LD (Laser Diode).
  • the display element may be configured by a liquid crystal panel that selectively transmits light emitted from the light source and projects an optical image.
  • FIG. 2 is a cross-sectional view illustrating an example of the display operation of the display unit.
  • the optical image of the external image projected from the projection unit 32 is incident on the right eye lens 31 from the upper end thereof.
  • the incident optical image proceeds to the lower part while being totally reflected in the right-eye lens 31, and is reflected by the holographic optical element HOE provided at the lower part of the right-eye lens 31.
  • the reflected optical image enters the eyes of the observer, so that the observer visually recognizes the external image.
  • the real image that has passed through the right-eye lens 13 is also incident on the eyes of the observer and is visually recognized by the observer. Therefore, the observer can visually recognize the real image and the external image at the same time. In other words, the observer can visually recognize a real image on which an external image is superimposed.
  • the imaging unit 5 is provided integrally with the projection unit 32 of the display unit 3, and is in a direction visually recognized by the observer (the direction opposite to the direction in which the observer of the right-eye lens 31 exists). Direction) is taken. As described above, the real image captured and generated by the imaging unit 5 is input to the main body unit 6 via the cable 7.
  • the imaging unit 5 may include a solid-state imaging device (for example, a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS)).
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • the lens (lens 4 for the left eye) that does not constitute the display unit 3 may be configured not to be provided in the image display device 1 or may be provided as a dummy lens as in this example.
  • the configuration in which the projection unit 32 is provided only in the one-eye lens (the right-eye lens 31) is shown the configuration may be provided in the binocular lens.
  • the imaging unit 5 may be configured to be provided in a binocular lens.
  • the configuration including the main body 6 and the cable 7 has been described, the configuration of the main body 6 and the cable 7 may be omitted by providing the function of the main body 6 inside the projection unit 32.
  • an external image acquired by the main body unit 6 from the image processing apparatus for example, a display image of a computer or a mobile phone, a moving image captured by a web camera, or the like can be applied.
  • a real image captured by another image display device (HMD) may be used as an external image.
  • FIG. 3 is a block diagram showing the configuration of the first example of the image display system according to the embodiment of the present invention. Parts that are the same as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the image display system S of the present example includes the image display device 1 and the image processing device 20 described above. As described above, the image display device 1 transmits a real image to the image processing device. Further, the image processing device 20 transmits an external image to the image display device 1.
  • the image communication between the image display device 1 and the image processing device 20 may be wireless communication using a wireless local area network (LAN) or infrared rays, or wired network communication using a wired LAN.
  • LAN wireless local area network
  • infrared rays or wired network communication using a wired LAN.
  • the image display device 1 includes an imaging unit 5 that captures a real image to generate and output a real image, and a real image encoding unit that encodes the real image output from the imaging unit 5 to generate and output a real image signal. 11, a real image transmission unit 12 that transmits a real image signal output from the real image encoding unit 11 to the image processing device 20, and an external image reception unit 13 that receives an external image signal transmitted from the image processing device 20.
  • An external image decoding unit 14 that decodes an external image signal received by the external image receiving unit 13 to generate and output an external image, and a display unit that displays the external image output from the external image decoding unit 14 3.
  • the image processing device 20 generates a real image by decoding the real image signal received by the real image receiving unit 21 and the real image receiving unit 21 that receives the real image signal transmitted from the image display device 1.
  • a real image decoding unit 22 that outputs, a local background image generation unit 23 that generates and outputs a local background image based on the real image output from the real image decoding unit 22, and a local background image generation unit 23 that outputs the local background image.
  • An external image update processing unit 24 that performs an update process on an external image input from the outside based on the local background image and outputs an external image after the update process, and an external image output from the external image update process unit 24
  • An external image encoding unit 25 that generates and outputs an external image signal by encoding
  • an external image transmission unit 26 that transmits the external image signal output from the external image encoding unit 25 to the image display device 1. Equipped with a.
  • FIG. 4 is a flowchart showing the operation of the image display system of the first embodiment.
  • FIG. 4 shows a case where an external image corresponding to one real image is displayed.
  • a real image is continuously captured and 00 external images are displayed, a series of operations shown in FIG. Shall be repeated.
  • the imaging unit 5 first captures a real image and generates a real image (STEP 1).
  • the real image encoding unit 11 compresses and encodes the real image to generate a real image signal (STEP 2).
  • DCT discrete cosine transform
  • JPEG Joint Photographic Experts Group
  • Motion-JPEG Motion-JPEG
  • MPEG Motion Picture Experts Group
  • a spatial domain signal expressed by a pixel value for each position (pixel) is converted into a frequency domain signal expressed by a signal value (DCT coefficient) for each frequency component.
  • the image may be divided into a plurality of blocks (hereinafter referred to as macroblocks), and DCT may be performed for each macroblock.
  • the obtained DCT coefficient is compressed by being quantized.
  • the quantization process for example, it is possible to apply a process of dividing each of the DCT coefficients by a quantization constant that is a predetermined value and rounding off fractions after the decimal point.
  • the quantization constant for dividing the DCT coefficient of the low frequency component may be set small, and the quantization constant for dividing the DCT coefficient of the high frequency component may be set large.
  • the DCT coefficient obtained by the above processing becomes a signal sequence by performing zigzag scanning, for example.
  • the zigzag scan is shown in FIG.
  • FIG. 5 is a schematic diagram showing a state where DCT coefficients after quantization in one macroblock are arranged in a matrix.
  • 8 ⁇ 8 DCT coefficients obtained by performing DCT on an 8 ⁇ 8 pixel macroblock are shown.
  • the DCT coefficient on the right indicates a component with a higher vertical frequency
  • the lower DCT coefficient indicates a component with a higher horizontal frequency. That is, the frequency component indicated by the DCT coefficient at the upper left is the smallest (the component having a frequency of 0, that is, a direct current component), and the frequency component indicated by the DCT coefficient at the lower right is the largest.
  • a signal sequence is generated by scanning while moving back and forth in an oblique direction from the upper left DCT coefficient Ddc to the lower right DCT coefficient D63. That is, a signal sequence in which DCT coefficients are arranged in the order of Ddc, D1, D2, D3, D4, D5,..., D61, D62, and D63 is generated.
  • the obtained signal sequence is encoded by, for example, run length encoding. This is a coding in which when the value X of the DCT coefficient appears m times continuously in the signal sequence, the portion is collectively abbreviated as mX.
  • the above encoding is performed for each component of the pixel value of the real image.
  • encoding is performed for each of Y (luminance component), C b (blue color difference component), and C r (red color difference component).
  • Y luminance component
  • C b blue color difference component
  • C r red color difference component
  • each component is similarly processed. Is encoded.
  • the real image signal generated in STEP 2 is transmitted from the real image transmission unit 12 to the image processing device 20 (STEP 3).
  • the transmitted real image signal is received by the real image receiving unit 21 of the image processing apparatus 20 (STEP 4).
  • the real image signal received in STEP 4 is decoded by the real image decoding unit 22 to generate a real image (STEP 5).
  • processing reverse to the above-described encoding is performed. For example, decoding of an encoded signal sequence, writing of a signal sequence into a matrix, inverse quantization (for example, processing for multiplying each DTC coefficient by the above quantization constant), and inverse discrete cosine transform, A real image is generated in order.
  • decoding is performed, for example, every component of the YC b C r.
  • FIG. 6 is a cross-sectional view showing the fields of view (view angles) of the imaging unit and the observer, and shows the same cross section as FIG.
  • the imaging unit 5 and the position of the observer's eyes are slightly different. Therefore, the actual image obtained by the imaging unit 5 is different from the actual image that the observer is actually viewing. Therefore, in STEP 6, the real image is converted to generate a local background image that is an image showing the real image visually recognized by the observer. In particular, it is assumed that an image showing a real image visually recognized through an external image displayed on the display unit 3 by the observer becomes a local background image.
  • the conversion process for example, a process of deleting an unnecessary part from the real image or a process of converting the coordinates of the pixels in the real image is performed.
  • the technique disclosed in Japanese Patent Application Laid-Open No. 2003-91720 may be used for the conversion to the local background image. This technique generates an image viewed from the observer's viewpoint by virtually converting the viewpoint of the imaging unit 5 (specifically, converting the coordinates of the real image).
  • FIG. 7 is a schematic diagram of a local background image and an external image showing an outline of the update process
  • FIG. 8 is a flowchart showing an outline of the update process.
  • Update processing is executed for the target area set in the external image by STEP 72 (STEP 73).
  • the update process is a process for reducing the sharpness of an image, for example, a process for smoothing pixel values of pixels in a target area or a process for reducing resolution.
  • the update process is a smoothing process. Details of the operations of STEP 71 to STEP 73 will be described later.
  • the updated external image generated in STEP 7 is encoded by the external image encoding unit 25, and an external image signal is generated (STEP 8).
  • an external image signal is generated (STEP 8).
  • the target region that has been updated in STEP 7 has a high-frequency component reduced by the smoothing process. Therefore, when DCT is performed on the macroblock including the target region and the obtained DCT coefficients are quantized, the DCT coefficients of the high-frequency components (that is, the DCT coefficients near the lower right in FIG. 5) are likely to be zero. . Then, in the second half of the signal sequence generated by the zigzag scan, 0 is continuous. At this time, if run-length encoding is performed, it is possible to abbreviate consecutive zeros in the latter half. That is, the amount of information of the external image signal can be reduced.
  • the external image signal generated in STEP 8 is transmitted from the external image transmission unit 26 to the image display device 1 (STEP 9).
  • the transmitted external image signal is received by the external image receiving unit 13 of the image display device 1 (STEP 10).
  • the external image signal received in STEP 10 is decoded by the external image decoding unit 14 to generate an external image (STEP 11).
  • an external image STEP 11
  • processing reverse to the encoding is performed.
  • the obtained external image is displayed to the observer by the display unit 3.
  • the external image is displayed superimposed on the real image visually recognized by the observer.
  • the target region similar to the real image has a reduced high-frequency component (definition).
  • a target area is an area similar to the superimposed real image, it is difficult for the observer to accurately recognize details (for example, fine shades of color). Therefore, even if the high-frequency component in the target region is reduced, the image quality is hardly deteriorated by the observer. Therefore, it is possible to reduce the transmission amount without causing the observer to feel the deterioration of the image quality of the external image.
  • the above-described encoding method is an encoding method in which abbreviated notation is performed on a signal sequence composed of frequency domain signals. Specifically, it is an encoding method in which consecutive signals having the same value are abbreviated for a signal sequence in which signal values are arranged in order of the magnitude of frequency components.
  • run-length encoding has been exemplified as the encoding method
  • the encoding method of the present invention is not limited to this.
  • a so-called zero-run length coding that omits only the signal value 0 may be used, and when 0 continues to the end of the signal sequence (that is, when the signal values of components above a certain frequency are all 0) ),
  • An encoding method that outputs an EOB (End Of Block) code and abbreviates it may be used.
  • the real image output from the real image decoding unit 22 of the image processing device 20 is used by another person (for example, a person who works together with an observer who uses the image display device 1).
  • the image processing apparatus 20 may be configured to output a real image in order to be confirmed or recorded.
  • FIG. 9 is a block diagram showing the configuration of the second example of the image display system according to the embodiment of the present invention, and corresponds to FIG. 3 showing the first example.
  • the same number is attached
  • the image display system Sa of this embodiment includes an image display device 1a and an image processing device 20a, as in the first embodiment. However, the point that the image display device 1a is provided with the local background image generation unit 23a is different from the first embodiment.
  • the image display device 1a includes an imaging unit 5, a local background image generation unit 23a that generates and outputs a local background image based on a real image output from the imaging unit 5, and a local output that is output from the local background image generation unit 23a.
  • a local background image encoding unit 11a that encodes a background image to generate and output a local background image signal, and a local background image that transmits a local background image signal output from the local background image encoding unit 11a to the image processing device 20a
  • a transmission unit 12a, an external image reception unit 13, an external image decoding unit 14, and a display unit 3 are provided.
  • the image processing device 20a decodes the local background image signal received by the local background image receiving unit 21a that receives the local background image signal transmitted from the image display device 1a and the local background image receiving unit 21a, and performs local processing.
  • a local background image decoding unit 22a that generates and outputs a background image, an external image update processing unit 24, an external image encoding unit 25, and an external image transmission unit 26 are provided.
  • FIG. 10 is a flowchart showing the operation of the image display system of the second embodiment, and corresponds to FIG. 4 showing the operation of the image display system of the first embodiment. It should be noted that the same STEP numbers are assigned to parts that operate in the same manner as in FIG. 4, and detailed descriptions thereof are omitted.
  • the imaging unit 5 captures a real image and generates a real image (STEP 1).
  • the local background image generation unit 23a then generates a local background image from the real image output from the imaging unit 5 (STEP 6a).
  • the local background image generation method is the same as the generation method by the local background image generation unit 23 of the first embodiment.
  • the generated local background image is encoded by the local background image encoding unit 11a to generate a local background image signal (STEP 2a).
  • the generated local background image signal is transmitted from the local background image transmission unit 12a to the image processing device 20a (STEP 3a). Note that the encoding method by the local background image encoding unit 11a is the same as the encoding method by the real image encoding unit 11 of the first embodiment.
  • the local background image signal transmitted in STEP 3a is received by the local background image receiving unit 21a of the image processing device 20a (STEP 4a).
  • the received local background image signal is decoded by the local background image decoding unit 22a to generate a local background image (STEP 5a). Note that the decoding method by the local background image decoding unit 22a is the same as the decoding method by the real image decoding unit 22 of the first embodiment.
  • the following operations are the external image update processing by the external image update processing unit 24 (STEP 7), the external image encoding after the update processing by the external image encoding unit 25 (STEP 8), and the external image transmission unit 26.
  • External image signal transmission by the external image signal (STEP 9), external image signal reception by the external image reception unit (STEP 10), external image decoding by the external image decoding unit (STEP 11), and display of the external image by the display unit 3 (STEP 12) And are the same as those in the first embodiment.
  • a local background image is further generated in the image display device 1a and is transmitted to the image processing device 20a instead of a real image. That is, a local background image having a smaller amount of information than a real image is communicated. Therefore, the transmission amount between the image display device 1a and the image processing device 20a can be further reduced as compared with the first embodiment.
  • the local background image output from the local background image decoding unit 22a of the image processing device 20a is illustrated as a configuration that is not output from the image processing device 20a, but may be configured to be output.
  • the second embodiment can be applied.
  • FIG. 11 is a block diagram showing the configuration of the third example of the image display system according to the embodiment of the present invention, and corresponds to FIG. 3 showing the first example.
  • the same number is attached
  • the image display system Sb of the present embodiment includes a plurality of image display devices that have both the functions of the image display device and the functions of the image processing device shown in the first and second embodiments.
  • a plurality of image display devices having the same configuration communicate directly.
  • first image display apparatus 100 an image display apparatus that will be mainly described
  • second image display apparatus 101 an image display apparatus that communicates with the first image display apparatus 100
  • first attached to the name indicates a display operation of the first image display apparatus 100
  • second attached to the second image display apparatus 101. The display operation will be shown.
  • the first image display apparatus 100 generates and outputs a first local background image based on the imaging unit 5 that generates and outputs a first reality image by imaging, and the first reality image output from the imaging unit 5.
  • the first local background image transmission unit 12b that transmits the first local background image signal output from the first local background image encoding unit 11b to the second image display device 101, and the second local image that generates and outputs the second external image.
  • 2 Local background image A second local background image decoding unit 22b that generates and outputs a second local background image, and a second external image based on the second local background image output from the second local background image decoding unit 22b
  • the second external image update processing unit 24b that performs the update process on the second external image output from the generation unit 31 and outputs the second external image after the update process, and the second external image update processing unit 24b output the second external image.
  • a second external image encoding unit 25b that encodes the second external image to generate and output a second external image signal, and a second external image signal output from the second external image encoding unit 25b is displayed as a second image.
  • the second external image transmission unit 26b that transmits to the device 101 the first external image reception unit 13b that receives the first external image signal transmitted from the second image display device 101, and the first external image reception unit 13b
  • First external image A first external image decoding unit 14b for decoding and generating a first external image, and a display unit 3 for displaying the first external image output from the first external image decoding unit 14b.
  • FIGS. 12 and 13 are flowcharts showing the operation of the image display system of the third embodiment, and correspond to FIG. 4 showing the operation of the image display system of the first embodiment. It should be noted that the same STEP numbers are assigned to parts that operate in the same manner as in FIG. 4, and detailed descriptions thereof are omitted.
  • FIG. 12 is a flowchart for the display operation of the first image display device 100 performed by the first image display device 100.
  • FIG. 13 is a flowchart for the display operation of the second image display device 101 performed by the first image display device 100.
  • the imaging unit 5 captures a real image and generates a first real image (STEP 1b).
  • the local background image generation unit 23b generates a first local background image from the first real image output from the imaging unit 5 (STEP 6b).
  • the first local background image generation method is the same as the generation method by the local background image generation unit 23 of the first embodiment.
  • the generated first local background image is encoded by the first local background image encoding unit 11b to generate a first local background image signal (STEP 2b).
  • the generated first local background image signal is transmitted from the first local background image transmission unit 12b to the second image display device 101 (STEP 3b).
  • the encoding method by the local background image encoding unit 11b is the same as the encoding method by the real image encoding unit 11 of the first embodiment.
  • the second image display device 101 generates a first external image to be displayed on the first image display device (STEP ⁇ ). Specifically, the second image display device 101 generates a first external image, updates the first external image using the first local background image transmitted from the first image display device 100, and executes this. The operation of transmitting to the first image display device 100 is performed. Note that the operation of STEP ⁇ of the second image display apparatus 101 is the same as the operation of the first image display apparatus 100 described later with reference to FIG.
  • the signal transmitted from the second image display device 101 is received by the first external image receiving unit 13b of the first image display device 100 (STEP 10b).
  • the generated first external image signal is decoded by the first external image decoding unit 14b to generate a first external image (STEP 11b).
  • the first external image is displayed on the display unit 3 (STEP 12).
  • the decoding method by the first external image decoding unit 14b is the same as the decoding method by the external image decoding unit 14 of the first embodiment.
  • the first image display device 101 also performs the operation shown in FIG. 13 (that is, the operation for the display operation of the second image display device 101) simultaneously with the operation of FIG.
  • the second local background image signal transmitted from the second image display device 101 is received by the second local background image receiving unit 21b (STEP 4b).
  • the received second local background image signal is decoded by the second local background image decoding unit 22b to generate a second local background image (STEP 5b).
  • the decoding method by the second local background image decoding unit 22b is the same as the decoding method by the real image decoding unit 22 of the first embodiment.
  • the second external image generation unit 31 generates a second external image to be displayed on the second image display device 101 (STEP ⁇ ).
  • the second external image may be generated using part or all of the first real image captured by the imaging unit 5.
  • the second external image may be generated using an image captured by an image capturing unit other than the image capturing unit 5, or an image recorded in a memory (not shown) or the first image display device 100 may be externally provided.
  • the second external image may be generated by using the image input from.
  • the timing for generating and outputting the second external image is not limited to the example in FIG. 13, and it may be generated and output at any timing as long as it is before STEP 7 b described later.
  • the external image update processing unit 24b performs update processing of the second external image generated in STEP ⁇ based on the second local background image generated in STEP 5b (STEP 7b).
  • the update process by the second external image update processing unit 24b is the same as the update process of the external image update processing unit 24 of the first embodiment.
  • the second external image after the update processing generated by the second external image update processing unit 24b is encoded by the second external image encoding unit 25b, and a second external image signal is generated (STEP 8b).
  • the second external image signal generated in STEP 8b is transmitted from the second external image transmission unit 26b to the second image display device 101 (STEP 9b).
  • the operation of STEP ⁇ by the second image display device 101 shown in FIG. 12 is the same as the operation (STEP 4b, 5b, ⁇ , 7b to 9b) of the first image display device 100 shown in FIG. Note that the operation of the second image display device 101 (that is, STEP ⁇ ) is indicated by replacing “first” and “second” as described above.
  • the same effects as in the first embodiment can be obtained. That is, it is possible to reduce the transmission amount without causing the observer to strongly feel the deterioration of the image quality of the external image. In particular, when the amount of information of the first external image and the second external image is large and the amount of transmission increases when these images are directly transmitted and received, it is preferable to apply the configuration of this embodiment.
  • an image processing apparatus that is an intermediary apparatus.
  • an image processing apparatus that performs update processing and transmission / reception of external images is indispensable.
  • the image display apparatuses 100 and 101 can perform update processing and transmission / reception of external images, respectively, so that mutual display can be performed without requiring an image processing apparatus. It becomes possible.
  • the first image display device 100 generates the first local background image and transmits the first local background image to the second image display device 101 (that is, the same configuration as in the second embodiment).
  • the first actual image may be transmitted to the second image display device 101
  • the second local image may be generated by the second image display device 101 (that is, the same configuration as in the first embodiment).
  • there is no special circumstance that requires the first actual image on the second image display device 101 side such as when the second image display device 101 records the first actual image or transmits it to others.
  • the configuration shown in FIG. 11 is preferable.
  • the external image before the update process and the local background image are described as having the same size (number of pixels), but they may be different. If the sizes are different, the external image update processing unit converts the size of one of the images (for example, increasing the number of pixels by interpolation processing or reducing the number of images by thinning processing). It doesn't matter. If comprised in this way, since the pixel count of both the images compared at the time of an update process will become the same, it will become possible to compare easily. In this case, conversion may be performed so that the external image does not become larger than the display resolution of the display unit.
  • the image display device and the image processing device in the first and second embodiments, and the first image display device and the second image display device in the third embodiment may communicate with each other by wire or communicate by radio. It doesn't matter.
  • Update process >> Specific examples of update processing performed in the above-described image display system will be described below with reference to the drawings. In particular, the processing of STEP 71 and STEP 72 shown in FIG. 8 (image comparison and target area setting) and the processing of STEP 73 (execution of update processing) will be described.
  • FIG. 14 is a schematic diagram of a local background image and an external image shown for a first example of image comparison and target area setting.
  • the local background image and the external image are divided into the same number of blocks having a predetermined size.
  • the example shown in FIG. 14 shows a case where the local background image and the external image are each divided into (N + 1) ⁇ (M + 1) blocks (N and M are natural numbers). Further, the position of each block is expressed by the coordinates of [x, y], and the value of x increases toward the right, and the value of y increases toward the bottom. Also, the upper left block of the local background image is A1 [0,0], and the lower right block is A1 [N, M]. The same applies to the external image, where the upper left block is A2 [0,0] and the lower right block is A2 [N, M].
  • a block at a corresponding position (that is, a block where x and y are both equal) is compared. For example, as shown in FIG. 14, A1 [s, t] and A2 [s, t] are compared (where 0 ⁇ s ⁇ N and 0 ⁇ t ⁇ M).
  • comparison method for example, it is possible to use a method of determining a representative value of a block using an average value or a median value of pixels included in a block to be compared, and comparing the representative value. It is.
  • the representative value is calculated for each pixel value component such as YC r C b described above and compared. Then, when the representative values of all the components are similar (for example, when the difference value of each component is equal to or smaller than a predetermined size, or when the representative values after gradation reduction are substantially equal), the compared blocks Are determined to be similar. Then, the block of the external image is set as the target area.
  • the present invention is not limited to the pixel values having the components of YC r C b, it is possible to similarly compare process even pixel values with a component such as RGB or HSV.
  • the block is set to be small. About the size of a block, it can adjust suitably from such a viewpoint.
  • a component having a frequency of 0 may be used as a representative value. Since this component indicates the average pixel value in the block, it can be used as a representative value.
  • the processing unit 24b may acquire each DC component.
  • a DC component is acquired from the real image decoding unit 22 in FIG. 3, it is necessary to acquire a DC component relating to a block after conversion into a local background image.
  • the variance of the pixel values of each block of the external image may be calculated, and blocks having a variance greater than a predetermined value may be excluded from the target area.
  • a block having a large variance includes an edge portion (for example, a contour portion of an object and a pixel value that can change sharply). If the sharpness is reduced by performing an update process to be described later on such a portion, the edge portion may be blurred and the external image may become unclear. Therefore, it is possible to improve the image quality of the external image by excluding blocks with such a large variance from the target area. Furthermore, by performing this exclusion process prior to the comparison process, it is possible to suppress the unnecessary comparison process and simplify the process.
  • FIG. 15 is a schematic diagram of a local background image, an external image, and a superimposed image shown in a second example of image comparison and target area setting.
  • area division is performed based on the pixel value.
  • components of the respective pixel values of the local background image and an external image e.g., YC r C b, etc.
  • an external image e.g., YC r C b, etc.
  • a labeling process a process for forming a label by connecting adjacent pixels having substantially the same pixel value and attaching a label
  • a label corresponding to the pixel value of the pixel belonging to the region is attached.
  • a region of a certain label surrounds a minimum region of another label (for example, a region corresponding to several pixels)
  • processing for regarding the minimum region as a region of a certain label may be performed.
  • a threshold value division method may be used in which a threshold value of a pixel value is detected based on a histogram of pixel values, and a region is divided by determining whether the pixel values are substantially equal based on the threshold value.
  • a region expansion method may be used in which a neighboring pixel having a similar pixel value starts from a certain pixel and attempts to form a region.
  • various well-known region segmentation methods can be used. Even when these methods are used, it is preferable to reduce the gradation of the image in advance as described above.
  • the areas divided by the method as described above and the labels attached to the respective areas are displayed together.
  • the label G1 in the local region image and the label g1 in the external image indicate labels attached to regions including pixels with substantially equal pixel values.
  • G5 and g5 also indicate labels attached to regions including pixels having substantially the same pixel value.
  • an area where labels are substantially equal (for example, an area where G1 and g1 overlap or an area where G5 and g5 overlap) Set as.
  • the target area When the target area is set in this manner, an external image area similar to the local area image can be accurately set as the target area. In particular, it is possible to set a target region having a pixel unit boundary. Therefore, the quality of the external image displayed on the display unit 3 can be improved.
  • FIG. 16A and FIG. 16B are pixel value graphs showing a third example of image comparison and target area setting.
  • the method of this example is a method that is preferably applied as a determination process for determining whether or not each target region set by the methods of the first example and the second example described above is appropriate. is there.
  • FIG. 16 shows a case where the pixel value of each pixel of the image includes three types of components YC r C b .
  • the determination process of this example performs determination based on the distribution of pixel values of pixels provided in the target area of the external image and the corresponding area of the local background image. Specifically, as shown in FIG. 16A and FIG. 16B, after plotting each pixel in the region of both images based on the pixel value, a predetermined separation method is tried and a set of pixel values of the local background image And whether or not a set of pixel values of the external image is separable.
  • the graph shown in FIGS. 16A and 16B are three-dimensional graph axes are perpendicular each YC r C b, respectively show pixels in the local background image triangle, the pixel of the external image in cross .
  • FIG. 16A shows a case where separation is possible as a result of performing linear separation on a set of pixel values of the local background image and a set of pixel values of the external image by a predetermined method (the broken lines in the figure are , Straight line drawn by linear separation).
  • the target area of the external image and the corresponding area of the local background image are not similar. That is, when the sharpness of the target area of the external image is reduced and displayed on the display unit 3, it is easy for the observer to confirm the deterioration of the image quality. Therefore, such an external image area is excluded from the target area.
  • FIG. 16B shows a case where separation is impossible as a result of performing linear separation on a set of pixel values of the local background image and a set of pixel values of the external image by a predetermined method.
  • the target area of the external image and the corresponding area of the local background image are similar. That is, when the sharpness of the target area of the external image is reduced and displayed on the display unit 3, it is difficult for the observer to confirm the deterioration of the image quality. Therefore, such an external image area is not excluded from the symmetric area.
  • the determination of similarity between the local background image and the external image is performed using all types of components included in the pixel value of the pixel, and the target region is set.
  • the determination of similarity may be performed using a predetermined type of component.
  • the similarity determination may be performed using only the color component.
  • a smoothing process can be applied as the update process.
  • a filter process using an n ⁇ n average value filter for example, a filter whose filter coefficients are all 1 may be performed. Absent.
  • f (i, j) is a pixel value in the target area before the update process
  • g (i, j) is a pixel value in the target area after the update process.
  • [N / 2] represents a maximum integer not exceeding n / 2.
  • N is a natural number of 2 or more.
  • a median filter for example, a filter that outputs a median value of pixel values of a calculation target pixel and its surrounding pixels as a pixel value of a calculation target pixel after filtering
  • a Gaussian filter for example, The smoothing process may be performed using a filter whose filter coefficient is substantially equal to the Gaussian distribution.
  • Other known smoothing filters may be used.
  • update processing may be performed only on a specific component of the pixel value, or the processing content may be varied depending on the type of the pixel value.
  • the smoothing process is not performed on the luminance component Y that the human (observer) feels sensitively, or the degree of smoothing may be reduced. I do not care.
  • the color difference component C r C b (particularly the blue color difference component C b ) that humans feel insensitive is subjected to a smoothing process.
  • the degree of smoothing may be increased for these components. If comprised in this way, it will become possible to suppress degradation of the image quality which an observer feels efficiently.
  • the filter size may be changed as appropriate, or the applied filter and filter coefficient may be changed as appropriate.
  • the smoothing process is performed in order to reduce the amount of information after encoding has been mainly described, but the low resolution of the pixel value component (particularly, the color component) of the target region. Similarly, it is possible to reduce the amount of information of the encoded signal. Note that it is preferable to appropriately perform interpolation processing at the time of decoding or reproduction to return the number of pixel value components of the target area whose resolution has been reduced to the number before the resolution reduction.
  • HMD has been described as an example of the image display device, the present invention can be applied to, for example, a head-up display (HUD).
  • HUD head-up display
  • the present invention can be used for HMD and HUD.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　画像処理装置は、画像表示装置から送信される現実画像から局所背景画像を生成する局所背景画像生成部と、局所背景画像及び外部から入力される外部画像に基づいて対象領域を設定するとともに外部画像の対象領域に鮮明度を低減させる更新処理を行う外部画像更新処理部と、を備える。

Description

画像圧縮方法、画像処理装置、画像表示装置及び画像表示システム
　本発明は、入力される外部画像を圧縮する圧縮方法や、当該圧縮方法によって画像を圧縮する画像処理装置、画像表示装置及び画像表示システムに関する。特に、透明な表示部に外部画像を表示することで、外部画像と表示部越しの現実像とを同時に観察者に視認させる画像表示装置、例えば、シースルー型のヘッドマウントディスプレイ（以下、ＨＭＤとする）に関するものである。
　現実像と外部画像とを同時に観察者に視認させるＨＭＤとして、例えば、特許文献１及び２に開示されるＨＭＤがある。特許文献１に開示されるＨＭＤは、透明な表示部を備え、当該表示部に外部から入力される画像である外部画像を表示することで、外部画像と表示部越しの現実像とを同時に観察者に視認させる（シースルー型ＨＭＤ）。一方、特許文献２に記載のＨＭＤは、表示部越しの光学像を撮像して現実画像を得るとともに、当該現実画像に外部画像を合成することで表示画像を生成し、表示部において表示する（ビデオシースルー型ＨＭＤ）。このビデオシースルー型ＨＭＤでは、現実画像の一部の情報に基づいて現実画像に対応した外部画像を作成する。また、特許文献３に記載のＨＭＤは、撮像により現実画像を生成する撮像部を備え、外部の画像処理装置との間で現実画像と外部画像とを通信する。
特開２０００－１８４３７０号公報 特開２００７－２１９０８２号公報 特開平５－２１１６５０号公報
　ところで、ＨＭＤと外部の画像処理装置との通信に際して、動画像などの情報量の大きなデータが通信される場合、遅延の問題が生じ得る。そのため、上記の動画像のようにリアルタイム性が要求されるデータを通信する場合は、通信するデータの情報量を小さくすることで伝送量を小さくして遅延を抑制する。しかしながら、通信する画像のデータの情報量を小さくすると、画像の画質が劣化することが問題となる。例えば、画像処理装置からＨＭＤに送られる画像の画素数を減らす（低解像度化を行う）などして伝送量を小さくすると、表示部で表示する前に補間処理等を行って画素数を補ったとしても、表示される画像の画質が劣化する。
　そこで、本発明は、画質の劣化を抑制するとともに伝送量を小さくすることを可能とする圧縮方法、当該圧縮方法で画像の圧縮を行う画像処理装置、画像表示装置及び画像表示システムを提供することを目的とする。
　本発明の映像表示装置は、当該装置の外部から入力される外部画像及び観察者の視認している現実像を示す局所背景画像を対応する位置毎に比較し、前記外部画像の前記局所背景画像に類似する領域を対象領域として設定するとともに、鮮明度を低減する処理である更新処理を前記外部画像の前記対象領域に対して行う外部画像更新処理部と、前記更新処理後の前記外部画像を符号化する外部画像符号化部と、を備えることを特徴とする。
　また、上記構成の画像処理装置において、前記外部画像更新処理部で行われる前記更新処理が、平滑化処理であることとしても構わない。
　このように構成すると、平滑化処理されて低減される高周波成分を示す信号値が効率よく省略されることとなる。そのため、外部画像の情報量を低減することが可能となる。例えば、外部画像を周波数領域の信号により構成される信号列に変換するとともに、当該信号列を省略表記する場合などに平滑化処理を適用すると、好適に情報量を低減することが可能となる。なお、この信号列が周波数成分の大きさにしたがって信号値を整列させたものであり、隣接する等しい信号値を省略表記するものとしても構わない。
　また、上記構成の画像処理装置において、前記外部画像更新処理部で行われる前記更新処理が、低解像度化処理であることとしても構わない。
　このように構成すると、対象領域の画素数が低減されるため、情報量を低減することが可能となる。なお、画素値の所定の成分、特に色を示す成分のみ低解像度化することとすると、外部画像の画質の劣化を抑制することができるため好ましい。
　また、上記構成の画像処理装置において、前記外部画像の画素の画素値が複数の成分を備えるものであり、前記外部画像更新処理部が、前記成分のうち人間が敏感に感じる成分に対して鮮明度を低減する効果が小さい前記更新処理を行うまたは前記更新処理を行わないものとし、前記成分のうち人間が鈍感に感じる成分に対して鮮明度を低減する効果が大きい前記更新処理を行うこととしても構わない。
　このように構成すると、外部画像を表示したときに観察者が感じる画質の劣化を、効率よく抑制することが可能となる。
　また、上記構成の画像処理装置において、前記外部画像更新処理部が、前記局所背景画像及び前記外部画像を所定の大きさの領域であるブロック毎に比較するとともに、前記外部画像の前記ブロックのうち前記局所背景画像の前記ブロックに類似するものを前記対象領域とすることとしても構わない。特に、前記外部画像更新処理部が、前記外部画像及び前記局所背景画像のそれぞれの前記ブロックの代表値を比較するものであり、当該代表値を、前記ブロックに含まれる画素の画素値の中央値、前記ブロックに含まれる画素の画素値の平均値及び画素値を周波数領域の信号に変換して得られる直流成分の値、のいずれかを用いて算出することとしても構わない。
　このように構成すると、ブロック単位で簡易的に対象領域を設定することが可能となる。
　また、上記構成の画像処理装置において、前記外部画像の前記ブロックに属する画素の画素値の分散が所定の値よりも大きい場合、当該ブロックを前記対象領域として設定しないこととしても構わない。
　このように構成すると、ブロック内の画像にエッジ部分が含まれる場合など、対象領域として不適当である場合に当該ブロックを対象領域から除外することが可能となる。これにより、画像のエッジ部分がぼけるなどして画像が不鮮明になることを抑制することが可能となる。また、予め分散が大きいブロックを除外することとすると、比較するブロックの数を低減することが可能となるため好ましい。
　また、上記構成の画像処理装置において、前記外部画像更新処理部が、前記外部画像及び前記局所背景画像のそれぞれを画素値が略等しくなる領域毎に分割するとともに、当該領域に属する画素の画素値に応じたラベルを付し、前記外部画像及び前記局所背景画像を重ねたとき、略等しいラベルが付されている領域の重なる領域を対象領域とすることとしても構わない。
　このように構成すると、精度良く対象領域を設定することが可能となる。特に、画素単位の境界を有する対象領域を設定することが可能となる。
　また、上記構成の画像処理装置において、前記外部画像及び前記局所背景画像のそれぞれの画素の画素値を低階調化した後に、前記領域毎に分割して前記対象領域を設定することとしても構わない。
　このように構成すると、付されるラベルの種類を少なくするとともに各領域を大きくして、設定される対象領域を大きくすることが可能となる。したがって、更新処理による効果を十分に得ることが可能となる。
　また、上記構成の画像処理装置において、前記外部画像更新処理部が、前記外部画像に設定された前記対象領域と、前記局所背景画像の前記対象領域に対応する対応領域と、に含まれるそれぞれの画素の画素値に対して線形分離を行い、分離可能である場合に当該対象領域を除外することとしても構わない。
　このように構成すると、設定された対象領域が類似せずに不適である場合、当該対象領域を除外することが可能となる。そのため、より精度良く対象領域を設定することが可能となる。
　また、本発明の画像表示システムは、上記の前記画像処理装置と、前記画像処理装置と通信する画像表示装置と、を備え、前記画像表示装置が、前記画像処理装置から送信処理される前記更新処理後の前記外部画像を受信処理する外部画像受信処理部と、前記更新処理後の前記外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、撮像により前記現実像を示す現実画像を生成する撮像部と、前記現実画像を前記画像処理装置に送信処理する現実画像送信処理部と、を備え、前記画像処理装置が、前記画像表示装置から送信処理される前記現実画像を受信処理する現実画像受信処理部と、前記表示部に表示される前記更新処理後の前記外部画像越しに視認される前記現実像の重畳部分を示す画像である前記局所背景画像を、前記現実画像から生成する局所背景画像生成部と、前記更新処理後の前記外部画像を前記画像表示装置に送信処理する外部画像送信処理部と、をさらに備えることを特徴とする。
　このように構成すると、画像処理装置に、画像表示装置で撮像された現実画像が入力されることとなる。そのため、画像処理装置が現実画像を記録したり、他の装置に送信したり、表示したりすることが可能となる。
　また、本発明の画像表示システムは、請求項１～請求項１１のいずれかに記載の前記画像処理装置と、前記画像処理装置と通信する画像表示装置と、を備え、前記画像表示装置が、前記画像処理装置から送信処理される前記更新処理後の前記外部画像を受信処理する外部画像受信処理部と、前記更新処理後の前記外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、撮像により前記現実像を示す現実画像を生成する撮像部と、前記表示部に表示される前記更新処理後の前記外部画像越しに視認される前記現実像の重畳部分を示す前記局所背景画像を、前記現実画像から生成する局所背景画像生成部と、前記局所背景画像を前記画像処理装置に送信処理する局所背景画像送信処理部と、を備え、前記画像処理装置が、前記画像表示装置から送信される前記局所背景画像を受信処理する局所背景画像受信処理部と、前記更新処理後の前記外部画像を前記画像表示装置に送信処理する外部画像送信処理部と、をさらに備えることを特徴とする。
　このように構成すると、画像表示装置から画像処理装置に送信処理される画像が、局所背景画像となる。そのため、現実画像を送信処理する場合と比較して、伝送量を低減することが可能となる。
　また、本発明の画像表示装置は、画像を表示する画像表示装置において、前記画像表示装置が、当該画像表示装置と同様の構成を備える他の画像処理装置と画像を通信するものであり、前記他の画像表示装置で表示するための外部画像を生成する他機用外部画像生成部と、前記他の画像表示装置から送信処理される他機用局所背景画像を受信処理する他機用局所背景画像受信処理部と、前記他機用外部画像及び前記他機用局所背景画像を対応する位置毎に比較し、前記他機用外部画像の前記他機用局所背景画像に類似する領域を対象領域として設定するとともに、鮮明度を低減する処理である更新処理を前記他機用外部画像の前記対象領域に対して行う他機用外部画像更新処理部と、前記更新処理後の前記他機用外部画像を前記他の画像表示装置に送信処理する他機用外部画像送信部と、前記他の画像表示装置から送信処理される自機用外部画像を受信処理する自機用外部画像受信処理部と、前記自機用外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、撮像により前記現実像を示す現実画像を生成する撮像部と、前記表示部に表示される前記自機用外部画像越しに視認される前記現実像の重畳部分を示す自機用局所背景画像を、前記現実画像から生成する自機用局所背景画像生成部と、前記自機用局所背景画像を前記他の画像表示装置に送信処理する自機用局所背景画像送信処理部と、を備えることを特徴とする。
　このように構成すると、複数の画像表示装置が直接的に画像の通信を行うことが可能となる。特に、仲介装置である画像処理装置を不要とすることが可能となる。
　また、上記構成の画像表示装置において、前記他機用外部画像生成部が、前記撮像部で生成される前記現実画像から前記他機用外部画像を生成することとしても構わない。
　また、本発明の画像圧縮方法は、外部画像及び局所背景画像を対応する位置毎に比較する第１ステップと、前記第１ステップによって前記外部画像の前記局所背景画像に類似すると判定した領域を対象領域として設定する第２ステップと、前記外部画像の前記第２ステップによって設定された前記対象領域に対して、鮮明度を低減する処理である更新処理を行う第３ステップと、前記更新処理後の前記外部画像を符号化する第４ステップと、を備えることを特徴とする。
　本発明によれば、外部画像中の局所背景画像と類似した領域の鮮明度を低減することにより、外部画像の情報量の低減化を図ることが可能となる。また、このような類似する領域は、外部画像を表示した際に観察者に認識されにくい領域である。そのため、情報量を低減化したとしても、観察者に画質の劣化を感じられにくくすることが可能となる。
は、本発明の実施形態に係る画像表示装置（シースルー型ＨＭＤ）の構成の一例を示した斜視図である。 は、表示部の表示動作の一例を示す断面図である。 は、本発明の実施形態に係る画像表示システムの第１実施例の構成について示すブロック図である。 は、第１実施例の画像表示システムの動作について示すフローチャートである。 は、１つのマクロブロックにおける量子化後のＤＣＴ係数をマトリクス状に並べた状態を示す模式図である。 は、撮像部及び観察者のそれぞれの視野（画角）について示した断面図である。 は、更新処理の概要を示す局所背景画像及び外部画像の模式図である。 は、更新処理の概要を示すフローチャートである。 は、本発明の実施形態に係る画像表示システムの第２実施例の構成について示すブロック図である。 は、第２実施例の画像表示システムの動作について示すフローチャートである。 は、本発明の実施形態に係る画像表示システムの第３実施例の構成について示すブロック図である。 は、第３実施例の画像表示システムの動作について示すフローチャートである。 は、第３実施例の画像表示システムの動作について示すフローチャートである。 は、画像比較及び対象領域設定の第１例について示す局所背景画像及び外部画像の模式図である。 は、画像比較及び対象領域設定の第２例について示す局所背景画像、外部画像及び重畳画像の模式図である。 は、画像比較及び対象領域設定の第３例について示す画素値のグラフであり、分離可能な場合を示すものである。 は、画像比較及び対象領域設定の第３例について示す画素値のグラフであり、分離不可能な場合を示すものである。
　以下、本発明における圧縮方法や画像処理装置、画像表示装置の実施形態について、図面を参照して説明する。最初に、画像表示装置の一例であるシースルー型ＨＭＤの構成例について、図１及び図２を参照して説明する。
＜＜画像表示装置＞＞
　図１は、本発明の実施形態に係る画像表示装置（シースルー型ＨＭＤ）の構成の一例を示した斜視図である。図１に示すように、本例の画像表示装置１は眼鏡をベースとしたものである。画像表示装置１は、フレーム２と、外部画像の表示を行う表示部３と、表示部３の一部である右眼用レンズ３１と、左眼用レンズ４と、撮像によって現実画像を生成する撮像部５と、外部の画像処理装置（不図示）と通信を行う本体部６と、表示部３及び撮像部５と本体部６とを接続するケーブル７と、を備える。また、本体部６はケーブル７を介して表示部３に外部画像や電力を供給するとともに、撮像部５が生成した現実画像を取得する。さらに、本体部６は画像処理装置に現実画像を送信するとともに、画像処理装置から外部画像を受信する。
　表示部３は、上記の右眼用レンズ３１と、ケーブル７を介して入力される外部画像に基づく光学像を右眼用レンズ３１に投影する投影部３２と、を備える。投影部３２は右眼用レンズ３１の上部に備えられ、その内部には外部画像の光学像を投影するための光源（不図示）や表示素子（不図示）が備えられる。なお、光源をＬＥＤ（Light　Emitting　Diode）やＬＤ（Laser　Diode）で構成しても構わない。さらに、表示素子を、光源から出射される光を選択的に透過させて光学像を投影する液晶パネルで構成しても構わない。
　表示部３の表示動作の一例について、図２に示す。図２は、表示部の表示動作の一例を示す断面図である。図２に示すように、投影部３２から投影された外部画像の光学像は、右眼用レンズ３１の上端からその内部へと入射される。入射された光学像は、右眼用レンズ３１内を全反射しながら下部へと進み、右眼用レンズ３１の下部に備えられるホログラフィック光学素子ＨＯＥによって反射される。そして、反射された光学像が観察者の目に入射することによって、観察者が外部画像を視認する。同時に、右眼用レンズ１３を透過した現実像も観察者の目に入射され、観察者に視認される。そのため、観察者は現実像と外部画像とを同時に視認することができる。換言すると、観察者は外部画像が重畳された現実像を視認することができる。
　撮像部５は、図１に示すように表示部３の投影部３２に一体となって備えられ、観察者が視認する方向（右眼用レンズ３１の観察者が存在する方向とは反対となる方向）の現実像の撮像を行う。上記のように、撮像部５によって撮像されて生成された現実画像は、ケーブル７を介して本体部６に入力される。なお、撮像部５が、固体撮像素子（例えば、ＣＣＤ（Charge　Coupled　Device）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）など）を備えるものとしても構わない。
　なお、表示部３を構成しないレンズ（左眼用レンズ４）を、画像表示装置１に備えない構成としても構わないし、本例のようにダミーレンズとして備えることとしても構わない。また、投影部３２が片眼のレンズ（右眼用レンズ３１）にのみ備えられる構成について示したが、両眼のレンズに備えられる構成としても構わない。撮像部５についても同様に、両眼のレンズに備えられる構成としても構わない。
　また、本体部６とケーブル７とを備える構成について示したが、本体部６の機能を投影部３２の内部に備えるなどして、本体部６及びケーブル７を備えない構成としても構わない。
　また、本体部６が画像処理装置から取得する外部画像として、例えば、コンピュータや携帯電話などの表示画像や、ウェブカメラなどによって撮像された動画像などを適用することが可能である。また、他の画像表示装置（ＨＭＤ）によって撮像された現実画像などを外部画像としても構わない。
＜＜画像表示システム＞＞
＜第１実施例＞
　次に、上述した画像表示装置と画像処理装置とを備える画像表示システムの第一実施例について、図面を参照して説明する。図３は、本発明の実施形態に係る画像表示システムの第１実施例の構成について示すブロック図である。なお、図１と同様となる部分には同じ符号を付し、その詳細な説明については省略する。
　図３に示すように、本例の画像表示システムＳは、上述した画像表示装置１と画像処理装置２０とを備える。上述のように、画像表示装置１は画像処理装置に対して現実画像を送信する。また、画像処理装置２０は、画像表示装置１に対して外部画像を送信する。この画像表示装置１と画像処理装置２０との間の画像通信は、無線ＬＡＮ（Local　Area　Network）や赤外線などを用いた無線通信や、有線ＬＡＮを用いた有線でのネットワーク通信でもよい。
　画像表示装置１は、現実像を撮像して現実画像を生成し出力する撮像部５と、撮像部５から出力される現実画像を符号化して現実画像信号を生成し出力する現実画像符号化部１１と、現実画像符号化部１１から出力される現実画像信号を画像処理装置２０に送信する現実画像送信部１２と、画像処理装置２０から送信される外部画像信号を受信する外部画像受信部１３と、外部画像受信部１３で受信される外部画像信号を復号化して外部画像を生成し出力する外部画像復号化部１４と、外部画像復号化部１４から出力される外部画像を表示する表示部３と、を備える。
　また、画像処理装置２０は、画像表示装置１から送信される現実画像信号を受信する現実画像受信部２１と、現実画像受信部２１で受信される現実画像信号を復号化して現実画像を生成し出力する現実画像復号化部２２と、現実画像復号化部２２から出力される現実画像に基づいて局所背景画像を生成し出力する局所背景画像生成部２３と、局所背景画像生成部２３から出力される局所背景画像に基づいて外部から入力される外部画像に更新処理を施して更新処理後の外部画像を出力する外部画像更新処理部２４と、外部画像更新処理部２４から出力される外部画像を符号化して外部画像信号を生成し出力する外部画像符号化部２５と、外部画像符号化部２５から出力される外部画像信号を画像表示装置１に送信する外部画像送信部２６と、を備える。
　次に、本実施例の画像表示システムＳの動作について図面を参照して説明する。図４は、第１実施例の画像表示システムの動作について示すフローチャートである。なお、図４は１つの現実画像に対応する外部画像を表示する場合について示したものであり、連続的に現実画像を撮像するとともに00外部画像を表示する場合は、図４に示す一連の動作を繰り返し行うものとする。
　図４に示すように、最初に撮像部５が現実像を撮像して現実画像を生成する（ＳＴＥＰ１）。次に、現実画像符号化部１１が現実画像を圧縮及び符号化し、現実画像信号を生成する（ＳＴＥＰ２）。このとき、例えば離散コサイン変換（Discrete　Cosine　Transform、以下ＤＣＴとする）を用いる圧縮符号化方法（例えば、ＪＰＥＧ（Joint　Photographic　Experts　Group）、Ｍｏｔｉｏｎ－ＪＰＥＧ、ＭＰＥＧ（Moving　Picture　Experts　Group）など）を適用しても構わない。
　ＤＣＴを用いる場合、まず位置（画素）毎の画素値で表現される空間領域の信号が、周波数成分毎の信号値（ＤＣＴ係数）で表現される周波数領域の信号へと変換される。このとき、画像を複数のブロック（以下、マクロブロックとする）に分割し、それぞれのマクロブロック毎にＤＣＴを行うこととしても構わない。得られるＤＣＴ係数は、量子化処理がなされることで圧縮される。
　量子化処理として、例えば、ＤＣＴ係数のそれぞれを、所定の値である量子化定数でそれぞれ割るとともに、小数点以下の端数を切り捨てる処理を適用することが可能である。なお、低周波数成分のＤＣＴ係数を割る量子化定数を小さく、高周波数成分のＤＣＴ係数を割る量子化定数を大きく設定しても構わない。
　上記の処理により得られるＤＣＴ係数は、例えばジグザグスキャンが行われることによって信号列となる。ジグザグスキャンについて図５に示す。図５は、１つのマクロブロックにおける量子化後のＤＣＴ係数をマトリクス状に並べた状態を示す模式図である。特に、８×８画素のマクロブロックについてＤＣＴを行って得られる８×８個のＤＣＴ係数を示すものである。図５では、右方のＤＣＴ係数ほど垂直方向の周波数が大きい成分を示し、下方のＤＣＴ係数ほど水平方向の周波数が大きい成分を示すものとなる。即ち、左上のＤＣＴ係数が示す周波数成分が最も小さいもの（周波数が０の成分、即ち直流成分）となり、右下のＤＣＴ係数が示す周波数成分が最も大きいものとなる。
　ジグザグスキャンは、左上のＤＣＴ係数Ｄｄｃから右下のＤＣＴ係数Ｄ６３にかけて斜め方向に往復しながらスキャンすることで信号列を生成するものである。即ち、Ｄｄｃ、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、・・・、Ｄ６１、Ｄ６２、Ｄ６３の順にＤＣＴ係数が並ぶ信号列が生成される。得られる信号列は、例えばランレングス符号化によって符号化される。これは、ＤＣＴ係数の値Ｘが、信号列中でｍ回連続して出現する場合に、当該部分をまとめてｍＸと省略表記する符号化である。
　以上の符号化は、現実画像の画素値の成分毎に行われる。例えば、現実画像がコンポーネント信号で構成される場合、Ｙ（輝度成分）、Ｃb（青の色差成分）、Ｃr（赤の色差成分）のそれぞれの成分に対して、それぞれ符号化が行われる。なお、現実画像がＲ（赤）Ｇ（緑）Ｂ（青）や、Ｈ（色相）Ｓ（彩度）Ｖ（明度）などの各成分で構成されている場合も、同様にそれぞれの成分毎に符号化が行われる。
　ＳＴＥＰ２で生成される現実画像信号は、現実画像送信部１２から画像処理装置２０へと送信される（ＳＴＥＰ３）。送信された現実画像信号は、画像処理装置２０の現実画像受信部２１で受信される（ＳＴＥＰ４）。
　ＳＴＥＰ４で受信された現実画像信号は、現実画像復号化部２２によって復号化され、現実画像が生成される（ＳＴＥＰ５）。このとき、上述の符号化と逆の処理が行われる。例えば、符号化された信号列の復号化、信号列のマトリクス状への書き出し、逆量子化（例えば、それぞれのＤＴＣ係数に上記の量子化定数をそれぞれ乗算する処理）、逆離散コサイン変換、が順に行われて現実画像が生成される。なお、上述した符号化と同様に、例えばＹＣbＣrの成分毎に復号化が行われる。
　ＳＴＥＰ５で得られた現実画像は、局所背景画像生成部２３において局所背景画像に変換される（ＳＴＥＰ６）。局所背景画像への変換について、図６を参照して説明する。図６は、撮像部及び観察者のそれぞれの視野（画角）について示した断面図であり、図２と同様の断面について示すものである。
　図６に示すように、撮像部５と観察者の眼の位置とは若干異なるものとなる。そのため、撮像部５で得られる現実画像と、観察者が現に視認している現実像とは異なるものとなる。そこで、ＳＴＥＰ６では、現実画像を変換して、観察者の視認している現実像を示す画像である局所背景画像を生成する。特に、観察者が表示部３に表示される外部画像越しに視認する現実像を示す画像が、局所背景画像になるものとする。
　変換処理として、例えば、現実画像から不要な部分を削除する処理や、現実画像中の画素の座標を変換するなどの処理が行われる。なお、上記の局所背景画像への変換に際して、特開２００３－９１７２０の技術を利用しても構わない。当該技術は、仮想的に撮像部５の視点を変換（具体的には、現実画像の座標を変換）することによって、観察者の視点から見た画像を生成するものである。
　次に、外部画像更新処理部２４が、ＳＴＥＰ６で生成された局所背景画像に基づいて、取得した外部画像の更新処理を行う（ＳＴＥＰ７）。更新処理の概要について、図７及び図８を参照して説明する。図７は、更新処理の概要を示す局所背景画像及び外部画像の模式図であり、図８は、更新処理の概要を示すフローチャートである。
　図８に示すように、更新処理が開始されると、最初に対応する領域（外部画像を表示部３に表示したときに現実像（局所背景画像）と重畳する領域）について両画像の比較が行われる（ＳＴＥＰ７１）。ＳＴＥＰ７１による比較の結果、両画像が類似すると判定される外部画像中の当該領域を、更新処理対象となる領域（以下、対象領域とする）として設定する（ＳＴＥＰ７２）。例えば、図７に示す例では、外部画像内の領域Ａ２が対象領域となり、この領域に対応する局所背景画像内の領域Ａ１が対応領域となる。
　ＳＴＥＰ７２によって外部画像に設定された対象領域に対して、更新処理を実行する（ＳＴＥＰ７３）。更新処理とは、画像の鮮明度を低減させる処理であり、例えば対象領域内の画素の画素値を平滑化する処理や、低解像度化する処理である。なお、本実施例では説明の具体化のため、更新処理が平滑化処理である場合について中心に説明する。また、上記ＳＴＥＰ７１～ＳＴＥＰ７３の動作の詳細については、後述する。
　ＳＴＥＰ７によって生成される更新処理された外部画像は、外部画像符号化部２５において符号化され、外部画像信号が生成される（ＳＴＥＰ８）。更新処理として平滑化処理を適用する場合、ＳＴＥＰ２において説明したような符号化（即ち、ＤＣＴを利用した符号化）を行うこととすると好ましい。
　具体的には、ＳＴＥＰ７によって更新処理行われた対象領域は、平滑化処理によって高周波成分が低減されたものとなる。そのため、対象領域を含むマクロブロックに対してＤＣＴを行い、得られるＤＣＴ係数を量子化すると、高周波成分のＤＣＴ係数（即ち、図５の右下付近のＤＣＴ係数）がまとまって０になりやすくなる。すると、ジグザグスキャンにより生成される信号列の後半は、０が連続したものとなる。このとき、ランレングス符号化を行うと、後半の連続した０を省略表記することが可能となる。即ち、外部画像信号の情報量を低減することが可能となる。
　ＳＴＥＰ８において生成される外部画像信号は、外部画像送信部２６から画像表示装置１へと送信される（ＳＴＥＰ９）。送信された外部画像信号は、画像表示装置１の外部画像受信部１３で受信される（ＳＴＥＰ１０）。
　ＳＴＥＰ１０で受信される外部画像信号は、外部画像復号化部１４で復号化され、外部画像が生成される（ＳＴＥＰ１１）。このとき、上述の現実画像復号化部２２と同様に、符号化と逆の処理が行われる。そして、得られた外部画像が表示部３によって観察者に表示される。
　外部画像は、観察者が視認する現実像に重畳して表示される。表示される外部画像のうち、現実像と類似する対象領域は、高周波成分（鮮明度）が低減されたものとなる。しかしながら、このような対象領域は重畳する現実像と類似した領域であるため、観察者が細部（例えば色の細かい濃淡など）を正確に認識することが困難となる領域である。そのため、対象領域の高周波成分を低減したとしても、観察者に画質の劣化はほとんど感じられない。したがって、観察者に外部画像の画質の劣化を強く感じさせることなく、伝送量を低減することが可能となる。
　なお、現実画像符号化部１１と外部画像符号化部２５とで同じ符号化方法を適用する場合について説明したが、それぞれで異なる符号化方法を適用することとしても構わない。ただし、外部画像符号化部２５については、上述の符号化方法を適用することとすると好ましい。上述の符号化方法とは、周波数領域の信号により構成される信号列に対して、省略表記を行う符号化方法である。具体的には、周波数成分の大きさの順に信号値を整列させた信号列に対して、連続する同じ値の信号を省略表記する符号化方法である。
　また、符号化方法としてランレングス符号化を例示したが、本発明の符号化方法はこの限りではない。例えば、信号値０についてのみ省略表記を行う、いわゆるゼロランレングス符号化を用いても構わないし、信号列の最後まで０が続く場合（即ち、ある周波数以上の成分の信号値が全て０の場合）にＥＯＢ（End　Of　Block）コードを出力して省略表記する符号化方法を用いても構わない。
　また、図３に示すように、画像処理装置２０の現実画像復号化部２２から出力される現実画像を他の者（例えば、画像表示装置１を使用する観察者と共同で作業をする者など）に確認させたり、記録したりするために、画像処理装置２０から現実画像を出力可能な構成としても構わない。
＜第２実施例＞
　次に、画像表示システムの第２実施例について図面を参照して説明する。図９は、本発明の実施形態に係る画像表示システムの第２実施例の構成について示すブロック図であり、第１実施例について示した図３に相当するものである。なお、第１実施例と同様となる部分については同様の番号を付し、その詳細な説明については省略する。
　本実施例の画像表示システムＳａは、第１実施例と同様に、画像表示装置１ａと画像処理装置２０ａとを備える。ただし、画像表示装置１ａに局所背景画像生成部２３ａが備えられる点が、第１実施例とは異なる。
　画像表示装置１ａは、撮像部５と、撮像部５から出力される現実画像に基づいて局所背景画像を生成し出力する局所背景画像生成部２３ａと、局所背景画像生成部２３ａから出力される局所背景画像を符号化して局所背景画像信号を生成し出力する局所背景画像符号化部１１ａと、局所背景画像符号化部１１ａから出力される局所背景画像信号を画像処理装置２０ａに送信する局所背景画像送信部１２ａと、外部画像受信部１３と、外部画像復号化部１４と、表示部３と、を備える。
　また、画像処理装置２０ａは、画像表示装置１ａから送信される局所背景画像信号を受信する局所背景画像受信部２１ａと、局所背景画像受信部２１ａで受信される局所背景画像信号を復号化して局所背景画像を生成し出力する局所背景画像復号化部２２ａと、外部画像更新処理部２４と、外部画像符号化部２５と、外部画像送信部２６と、を備える。
　次に、本実施例の画像表示システムＳａの動作について図面を参照して説明する。図１０は、第２実施例の画像表示システムの動作について示すフローチャートであり、第１実施例の画像表示システムの動作について示した図４に相当するものである。なお、図４と同様の動作となる部分については同様のＳＴＥＰ番号を付し、その詳細な説明については省略する。
　図１０に示すように、最初に撮像部５が現実像を撮像して現実画像を生成する（ＳＴＥＰ１）。本実施例では、次に局所背景画像生成部２３ａが、撮像部５から出力される現実画像から局所背景画像を生成する（ＳＴＥＰ６ａ）。なお、局所背景画像の生成方法は、第１実施例の局所背景画像生成部２３による生成方法と同様である。
　生成される局所背景画像は、局所背景画像符号化部１１ａにおいて符号化されて、局所背景画像信号が生成される（ＳＴＥＰ２ａ）。また、生成される局所背景画像信号は、局所背景画像送信部１２ａから画像処理装置２０ａへと送信される（ＳＴＥＰ３ａ）。なお、局所背景画像符号化部１１ａによる符号化方法は、第１実施例の現実画像符号化部１１による符号化方法と同様である。
　ＳＴＥＰ３ａで送信された局所背景画像信号は、画像処理装置２０ａの局所背景画像受信部２１ａで受信される（ＳＴＥＰ４ａ）。受信された局所背景画像信号は、局所背景画像復号化部２２ａによって復号化され、局所背景画像が生成される（ＳＴＥＰ５ａ）。なお、局所背景画像復号化部２２ａによる復号化方法は、第１実施例の現実画像復号化部２２による復号化方法と同様である。
　また、これ以降の動作である、外部画像更新処理部２４による外部画像の更新処理（ＳＴＥＰ７）、外部画像符号化部２５による更新処理後の外部画像の符号化（ＳＴＥＰ８）、外部画像送信部２６による外部画像信号の送信（ＳＴＥＰ９）、外部画像受信部による外部画像信号の受信（ＳＴＥＰ１０）、外部画像復号化部による外部画像の復号化（ＳＴＥＰ１１）、表示部３による外部画像の表示（ＳＴＥＰ１２）、については第１実施例と同様のものとなる。
　本実施例のように構成しても、第１実施例と同様の効果を得ることができる。即ち、観察者に外部画像の画質の劣化を強く感じさせることなく、伝送量を低減することが可能となる。
　本実施例ではさらに、画像表示装置１ａにおいて局所背景画像を生成し、これを現実画像に代えて画像処理装置２０ａに送信することとしている。即ち、現実画像よりも情報量の少ない局所背景画像を通信する。そのため、画像表示装置１ａと画像処理装置２０ａとの伝送量を、第１実施例よりもさらに低減することが可能となる。
　なお、図９では画像処理装置２０ａの局所背景画像復号化部２２ａから出力される局所背景画像が、画像処理装置２０ａから出力されない構成として図示しているが、出力可能な構成としても構わない。特に、他の者に確認させたり記録したりする画像が局所背景画像で足りる場合は、第２実施例を適用することが可能である。しかしながら、画像処理装置から現実画像を出力する必要がある場合は、第１実施例を適用する方が好ましい。
＜第３実施例＞
　次に、画像表示システムの第３実施例について図面を参照して説明する。図１１は、本発明の実施形態に係る画像表示システムの第３実施例の構成について示すブロック図であり、第１実施例について示した図３に相当するものである。なお、第１実施例と同様となる部分については同様の番号を付し、その詳細な説明については省略する。
　本実施例の画像表示システムＳｂは、第１実施例や第２実施例において示した画像表示装置の機能と画像処理装置の機能とを併せ持つ画像表示装置を、複数備える。そして、本実施例の画像表示システムＳｂでは、同様の構成を備えた複数の画像表示装置が直接的に通信を行う。
　以下、主として説明を行う画像表示装置を第１画像表示装置１００とし、当該第１画像表示装置１００と通信する画像表示装置を第２画像表示装置１０１とする。なお、以下おいて名称に「第１」が付されたものは、第１画像表示装置１００の表示動作に関するものを示すこととし、「第２」が付されたものは第２画像表示装置１０１の表示動作に関するものを示すこととする。
　また、以下では第１画像表示装置１００の構成及び動作についてのみ説明することとして、第２画像表示装置１０１の構成及び動作については同様のものとして省略する。なお、以下の説明における「第１」及び「第２」のそれぞれを、「第２」及び「第１」にそれぞれ読み替えたものが、第２画像表示装置１０１における構成及び動作となる。
　第１画像表示装置１００は、撮像により第１現実画像を生成し出力する撮像部５と、撮像部５から出力される第１現実画像に基づいて第１局所背景画像を生成し出力する第１局所背景画像生成部２３ｂと、第１局所背景画像生成部２３ｂから出力される第１局所背景画像を符号化して第１局所背景画像信号を生成し出力する第１局所背景画像符号化部１１ｂと、第１局所背景画像符号化部１１ｂから出力される第１局所背景画像信号を第２画像表示装置１０１に送信する第１局所背景画像送信部１２ｂと、第２外部画像を生成し出力する第２外部画像生成部３１と、第２画像表示装置１０１から送信される第２局所背景画像信号を受信する第２局所背景画像受信部２１ｂと、第２局所背景画像受信部２１ｂで受信される第２局所背景画像信号を復号化して第２局所背景画像を生成し出力する第２局所背景画像復号化部２２ｂと、第２局所背景画像復号化部２２ｂから出力される第２局所背景画像に基づいて第２外部画像生成部３１から出力される第２外部画像に更新処理を施して更新処理後の第２外部画像を出力する第２外部画像更新処理部２４ｂと、第２外部画像更新処理部２４ｂから出力される第２外部画像を符号化して第２外部画像信号を生成し出力する第２外部画像符号化部２５ｂと、第２外部画像符号化部２５ｂから出力される第２外部画像信号を第２画像表示装置１０１に送信する第２外部画像送信部２６ｂと、第２画像表示装置１０１から送信される第１外部画像信号を受信する第１外部画像受信部１３ｂと、第１外部画像受信部１３ｂで受信される第１外部画像信号を復号化して第１外部画像を生成し出力する第１外部画像復号化部１４ｂと、第１外部画像復号化部１４ｂから出力される第１外部画像を表示する表示部３と、を備える。
　次に、本実施例の画像表示システムＳｂの動作について図面を参照して説明する。図１２及び図１３は、第３実施例の画像表示システムの動作について示すフローチャートであり、第１実施例の画像表示システムの動作について示した図４に相当するものである。なお、図４と同様の動作となる部分については同様のＳＴＥＰ番号を付し、その詳細な説明については省略する。なお、図１２は、第１画像表示装置１００が行う第１画像表示装置１００の表示動作のためのフローチャートである。図１３は、第１画像表示装置１００が行う第２画像表示装置１０１の表示動作のためのフローチャートである。
　図１２に示すように、最初に撮像部５が現実像を撮像して第１現実画像を生成する（ＳＴＥＰ１ｂ）。次に局所背景画像生成部２３ｂが、撮像部５から出力される第１現実画像から第１局所背景画像を生成する（ＳＴＥＰ６ｂ）。なお、第１局所背景画像の生成方法は、第１実施例の局所背景画像生成部２３による生成方法と同様である。
　生成される第１局所背景画像は、第１局所背景画像符号化部１１ｂにおいて符号化されて、第１局所背景画像信号が生成される（ＳＴＥＰ２ｂ）。また、生成される第１局所背景画像信号は、第１局所背景画像送信部１２ｂから第２画像表示装置１０１へと送信される（ＳＴＥＰ３ｂ）。なお、局所背景画像符号化部１１ｂによる符号化方法は、第１実施例の現実画像符号化部１１による符号化方法と同様である。
　本実施例では、第２画像表示装置１０１が第１画像表示装置で表示する第１外部画像を生成する（ＳＴＥＰα）。具体的に第２画像表示装置１０１は、第１外部画像を生成するとともに、第１画像表示装置１００から送信される第１局所背景画像を利用して第１外部画像を更新処理し、これを第１画像表示装置１００に送信する動作を行う。なお、この第２画像表示装置１０１のＳＴＥＰαの動作は、図１３を参照して後述する第１画像表示装置１００の動作と同様のものであるため、詳細な説明については省略する。
　第２画像表示装置１０１から送信される信号は、第１画像表示装置１００の第１外部画像受信部１３ｂで受信される（ＳＴＥＰ１０ｂ）。生成された第１外部画像信号は、第１外部画像復号化部１４ｂによって復号化され、第１外部画像が生成される（ＳＴＥＰ１１ｂ）。そして、この第１外部画像が表示部３によって表示される（ＳＴＥＰ１２）。なお、第１外部画像復号化部１４ｂによる復号化方法は、第１実施例の外部画像復号化部１４による復号化方法と同様である。
　また、第１画像表示装置１０１は、図１２の動作と同時に、図１３に示す動作（即ち、第２画像表示装置１０１の表示動作のための動作）も行う。図１３に示すように、まず、第２画像表示装置１０１から送信される第２局所背景画像信号が、第２局所背景画像受信部２１ｂで受信される（ＳＴＥＰ４ｂ）。受信された第２局所背景画像信号は、第２局所背景画像復号化部２２ｂによって復号化され、第２局所背景画像が生成される（ＳＴＥＰ５ｂ）。なお、第２局所背景画像復号化部２２ｂによる復号化方法は、第１実施例の現実画像復号化部２２による復号化方法と同様である。
　第１画像表示装置１００では、第２画像表示装置１０１で表示するための第２外部画像の生成を、第２外部画像生成部３１が行う（ＳＴＥＰβ）。例えば、撮像部５で撮像された第１現実画像の一部または全部を利用して、第２外部画像を生成しても構わない。また、撮像部５以外の撮像部で撮像された画像を利用して第２外部画像を生成しても構わないし、メモリ（不図示）などに記録された画像や第１画像表示装置１００に外部から入力される画像を利用して第２外部画像を生成しても構わない。また、第２外部画像を生成及び出力するタイミングは図１３の例に限られず、後述するＳＴＥＰ７ｂよりも前であれば、どのタイミングで生成及び出力することとしても構わない。
　そして、外部画像更新処理部２４ｂが、ＳＴＥＰ５ｂで生成された第２局所背景画像に基づいて、ＳＴＥＰβで生成された第２外部画像の更新処理を行う（ＳＴＥＰ７ｂ）。なお、第２外部画像更新処理部２４ｂによる更新処理は、第１実施例の外部画像更新処理部２４の更新処理と同様である。
　第２外部画像更新処理部２４ｂによって生成される更新処理後の第２外部画像は、第２外部画像符号化部２５ｂによって符号化され、第２外部画像信号が生成される（ＳＴＥＰ８ｂ）。ＳＴＥＰ８ｂにおいて生成される第２外部画像信号は、第２外部画像送信部２６ｂから第２画像表示装置１０１へと送信される（ＳＴＥＰ９ｂ）。
　図１２に示した第２画像表示装置１０１によるＳＴＥＰαの動作は、図１３に示す第１画像表示装置１００の動作（ＳＴＥＰ４ｂ、５ｂ、β、７ｂ～９ｂ）と同様のものである。なお、上述のように「第１」及び「第２」をそれぞれ読み替えることで、第２画像表示装置１０１の動作（即ちＳＴＥＰα）を示すものとなる。
　本実施例のように構成しても、第１実施例と同様の効果を得ることができる。即ち、観察者に外部画像の画質の劣化を強く感じさせることなく、伝送量を低減することが可能となる。特に、第１外部画像及び第２外部画像の情報量が大きく、これらの画像を直接的に送受信すると伝送量が大きくなる場合に、本実施例の構成を適用すると好適となる。
　本実施例ではさらに、仲介装置である画像処理装置を不要とすることが可能となる。例えば、複数の画像表示装置の相互表示を行う場合（即ち、一方で表示する外部画像が、他方の画像表示装置で撮像された現実画像に基づく画像となる場合）、第１実施例や第２実施例の構成を適用することとすると、外部画像の更新処理や送受信を行う画像処理装置が不可欠となる。しかしながら、本実施例の構成とすることで、各画像表示装置１００，１０１が外部画像の更新処理及び送受信をそれぞれ行うことが可能となるため、画像処理装置を要することなく相互表示を行うことが可能となる。
　なお、図１１に示す例では、第１画像表示装置１００が第１局所背景画像を生成し、第２画像表示装置１０１に送信する構成（即ち、第２実施例と同様の構成）としたが、第１現実画像を第２画像表示装置１０１に送信し、第２画像表示装置１０１で第１局所背景画像を生成する構成（即ち、第１実施例と同様の構成）としても構わない。ただし、第２画像表示装置１０１が第１現実画像を記録したり、他に送信したりするなどのように、第２画像表示装置１０１側で第１現実画像を必要とする特段の事情がない限り、伝送量低減の観点から図１１に示す構成とすると好ましい。
＜変形例＞
　なお、上記の第１～第３実施例において、更新処理前の外部画像と局所背景画像とが同じ大きさ（画素数）であるものとして説明したが、異なるものとしても構わない。また、大きさが異なる場合、外部画像更新処理部がいずれか一方の画像の大きさを変換（例えば、補間処理などによる画素数の増大や、間引処理などによる画像数の低減）することとしても構わない。このように構成すると、更新処理時に比較する両画像の画素数が同じものとなるため、容易に比較を行うことが可能となる。また、この場合、外部画像が表示部の表示解像度よりも大きくならないように変換を行うこととしても構わない。
　また、第１及び第２実施例における画像表示装置及び画像処理装置、第３実施例における第１画像表示装置及び第２画像表示装置は、有線により通信することとしても構わないし、無線により通信することとしても構わない。
＜＜更新処理＞＞
　上述した画像表示システムにおいて行われる更新処理の具体例について、以下図面を参照してそれぞれ説明する。特に、図８に示したＳＴＥＰ７１及びＳＴＥＰ７２の処理（画像比較及び対象領域設定）と、ＳＴＥＰ７３の処理（更新処理の実行）と、についてそれぞれ説明する。
＜画像比較及び対象領域設定＞
［第１例］
　画像比較及び対象領域設定の第１例について、図面を参照して説明する。図１４は、画像比較及び対象領域設定の第１例について示す局所背景画像及び外部画像の模式図である。
　本例では、局所背景画像及び外部画像を、同数の所定の大きさのブロックに分割する。図１４に示す例は、局所背景画像及び外部画像をそれぞれ（Ｎ＋１）×（Ｍ＋１）個のブロックに分割する場合について示したものである（Ｎ及びＭは自然数）。また、各ブロックの位置を［ｘ，ｙ］の座標によって表現するものとし、右方ほどｘの値が大きくなり、下方ほどｙの値が大きくなるものとする。また、局所背景画像の左上のブロックをＡ１［０，０］、右下のブロックをＡ１［Ｎ，Ｍ］とする。外部画像も同様であり、左上のブロックをＡ２［０，０］、右下のブロックをＡ２［Ｎ，Ｍ］とする。
　局所背景画像及び外部画像の各ブロックについて、対応する位置のブロック（即ち、ｘ及びｙが共に等しくなるブロック）を比較処理する。例えば、図１４に図示するように、Ａ１［ｓ，ｔ］とＡ２［ｓ，ｔ］とを比較する（ただし、０≦ｓ≦Ｎかつ０≦ｔ≦Ｍ）。
　比較方法として、例えば、比較するブロックに含まれる画素の画素値の平均値や、中央値（メディアン）などを用いてブロックの代表値を決定し、この代表値を比較する方法を用いることが可能である。
　代表値は、上述のＹＣrＣbなどの画素値の成分毎に算出し、それぞれ比較する。そして、全ての成分の代表値が類似する場合（例えば、それぞれの成分の差分値が所定の大きさ以下となる場合や、低階調化した代表値が略等しくなる場合）、当該比較したブロックが類似するものと判定する。そして、外部画像の当該ブロックを対象領域として設定する。なお、ＹＣrＣbの成分を備える画素値に限らず、ＲＧＢやＨＳＶなどの成分を備える画素値であっても同様に比較処理をすることが可能である。
　このように構成すると、ブロック毎の代表値を比較するのみで類似の判定を行うことが可能となるため、迅速に比較処理を行うことが可能となる。特に、各ブロックを大きく設定するほど、判定精度は劣化するものの処理の迅速化を図ることが可能となる。反対に、判定の精度を向上させる場合は、ブロックを小さく設定する。ブロックの大きさについては、このような観点から適宜調整可能である。
　なお、通信に際して上述のような周波数領域の信号を用いる符号化方法を用いる場合、代表値として周波数が０の成分（直流成分）を使用しても構わない。この成分は、ブロック内の平均的な画素値の大きさを示すものとなるため、代表値に利用することが可能である。さらに、例えば図３の現実画像復号化部２２や図９の局所背景画像復号化部２２ａ、図１１の第２局所背景画像復号化部２２ｂから、外部画像更新処理部２４及び第２外部画像更新処理部２４ｂが直流成分をそれぞれ取得することとしても構わない。ただし、図３の現実画像復号化部２２から直流成分を取得する場合は、局所背景画像に変換後のブロックに関する直流成分を取得する必要がある。
　このように構成すると、画素値から代表値を算出することなく、マクロブロック毎に得られる直流成分を用いて各ブロックの代表値を算出することが可能となり、処理を簡略化することができる。さらに、マクロブロックの大きさと本比較処理のブロックの大きさとを同じものとすると、マクロブロックの直流成分をブロックの代表値に直接的に流用することが可能となり、さらに処理を簡略化することができるため好ましい。
　また、外部画像の各ブロックの画素値の分散を算出し、分散が所定の値よりも大きいブロックを対象領域から除外しても構わない。分散が大きいブロックには、エッジ部分（例えば、物体の輪郭部分であり画素値が急峻に変化し得る部分）が含まれている可能性が大きい。このような部分に対して後述する更新処理を施して鮮明度を低減すると、エッジ部分がぼけて外部画像が不明瞭となる可能性がある。そのため、このように分散が大きいブロックを対象領域から除外することにより、外部画像の画質を良好なものとすることが可能となる。さらに、比較処理に先立ってこの除外処理を行うことにより、無用な比較処理が行われることを抑制し、処理を簡略化することが可能となる。
［第２例］
　画像比較及び対象領域設定の第２例について、図面を参照して説明する。図１５は、画像比較及び対象領域設定の第２例について示す局所背景画像、外部画像及び重畳画像の模式図である。
　本例では、画素値に基づいて領域分割を行う。このとき、まず局所背景画像及び外部画像のそれぞれの画素値の成分（例えば、ＹＣrＣbなど）毎に低階調化する。そして、低階調化後のそれぞれの画素値が略等しいことを条件として、ラベリング処理（隣接する画素値が略等しい画素をつないで領域を形成してラベルを付す処理）を行う。このとき、領域に属する画素の画素値に応じたラベルが付されるものとする。なお、あるラベルの領域が他のラベルの極小領域（例えば数画素分の領域）を囲むような場合、当該極小領域をあるラベルの領域とみなす処理を行うこととしても構わない。
　また例えば、画素値のヒストグラムに基づいて画素値の閾値を検出し、当該閾値に基づいて画素値が略等しいか否かの判断をして領域の分割を行う閾値分割法を用いても構わない。また、ある画素から出発して同様の画素値となる近傍の画素を取り込んで領域形成を試みる領域拡張法を用いても構わない。また、これらの方法の他に、周知の種々の領域分割法を使用することが可能である。なお、これらの方法を用いる場合であっても、上述のように予め画像を低階調化しておくと好ましい。
　図１５では、以上のような方法によって分割された領域と、それぞれの領域に付されたラベルと、を併せて表示している。なお、局所領域画像中のラベルＧ１及び外部画像中のラベルｇ１は、略等しい画素値の画素を備える領域に付されるラベルを示している。同様に、Ｇ５とｇ５も略等しい画素値の画素を備える領域に付されるラベルを示す。
　図１５の重畳画像に示すように、局所領域画像に外部画像を重ねた場合に、ラベルが略等しくなる領域（例えば、Ｇ１及びｇ１が重なる領域や、Ｇ５及びｇ５が重なる領域）を、対象領域として設定する。
　このように対象領域を設定すると、精度良く局所領域画像に類似した外部画像の領域を対象領域として設定することが可能となる。特に、画素単位の境界を有する対象領域を設定することが可能となる。したがって、表示部３に表示される外部画像の画質を良好なものにすることが可能となる。
　また、領域分割を行う前に画素値を低階調化することで、付されるラベルの種類を少なくするとともに各領域を大きくして、設定される対象領域を大きくすることが可能となる。したがって、更新処理による情報量を低減する効果を十分に得ることが可能となる。
［第３例］
　画像比較及び対象領域設定の第３例について、図面を参照して説明する。図１６Ａ及び図１６Ｂは、画像比較及び対象領域設定の第３例について示す画素値のグラフである。なお、本例の方法は、上述の第１例及び第２例などの方法によって設定される各対象領域が、適当なものであるか否かを判定する判定処理として適用すると好適となる方法である。また図１６は、画像の各画素の画素値がＹＣrＣbの３種類の成分を備える場合について示すものである。
　本例の判定処理は、外部画像の対象領域及び局所背景画像の対応領域にそれぞれ備えられる画素の画素値の分布に基づいて、判定を行うものである。具体的には、図１６Ａ及び図１６Ｂに示すように、両画像の当該領域中の各画素をその画素値に基づいてプロットした後に、所定の分離方法を試みて局所背景画像の画素値の集合と外部画像の画素値の集合とが分離可能か否かによって判定する。なお、図１６Ａ及び図１６Ｂに示すグラフは、ＹＣrＣbの軸がそれぞれ直交する３次元的なグラフであり、局所背景画像の画素を三角形、外部画像の画素を十字形でそれぞれ示している。
　図１６Ａは、局所背景画像の画素値の集合と外部画像の画素値の集合とに対して所定の方法で線形分離を試みた結果、分離可能となる場合について示している（図中の破線は、線形分離によって引かれた直線である）。このような場合、外部画像の対象領域及び局所背景画像の対応領域は、類似していないものとなる。即ち、外部画像のこの対象領域の鮮明度を低減して表示部３に表示した場合、観察者に画質の劣化が確認されやすくなる。したがって、このような外部画像の領域は、対象領域から除外する。
　一方、図１６Ｂは、局所背景画像の画素値の集合と外部画像の画素値の集合とに対して所定の方法で線形分離を試みた結果、分離不可能となる場合について示している。このような場合、外部画像の対象領域及び局所背景画像の対応領域は、類似しているものとなる。即ち、外部画像のこの対象領域の鮮明度を低減して表示部３に表示した場合、観察者に画質の劣化が確認されにくくなる。したがって、このような外部画像の領域は、対称領域から除外しない。
　このように判定処理を行うこととすると、外部画像の対象領域の選択精度を向上させることが可能となる。そのため、表示部３に表示される外部画像の画質をさらに良好なものにすることが可能となる。
　なお、上記の線形分離を行う所定の方法として、例えば、サポートベクターマシン、ニューラルネットワーク、ｋ－近傍法、ｋ－ｍｅａｎｓ法などの周知の種々の方法を適用することが可能である。
　また、上記の第１例～第３例において、画素の画素値が備える全種類の成分を用いて局所背景画像と外部画像との類否の判定を行い、対象領域を設定することとしたが、所定の種類の成分を用いて類否の判定を行うこととしても構わない。例えば、色を示す成分のみを用いて類否の判定を行うこととしても構わない。
＜更新処理の実行＞
　次に、上記の方法で選択された外部画像の対象領域に対して実行される更新処理について説明する。上述のように、本実施形態では更新処理として、例えば平滑化処理を適用することが可能である。更新処理として平滑化処理を適用する場合、例えば下記式（１）に示すようなｎ×ｎの平均値フィルタ（例えば、フィルタ係数が全て１のフィルタ）を用いたフィルタ処理を行うこととしても構わない。なお、下記式（１）中のｆ（ｉ，ｊ）は更新処理前の対象領域中の画素値であり、ｇ（ｉ，ｊ）は更新処理後の対象領域中の画素値を示すものとする。また、［ｎ／２］は、ｎ／２を超えない最大の整数を示すものとする。また、ｎは２以上の自然数とする。
Figure JPOXMLDOC01-appb-M000001
　このように演算することにより、対象領域の高周波成分を低減することが可能となる。そのため、上述のように符号化後の信号の情報量を低減することが可能となり、伝送量を低減することが可能となる。
　なお、平滑化フィルタ以外にも、メディアンフィルタ（例えば、算出対象画素及びその周囲の画素の画素値の中央値を、フィルタ処理後の算出対象画素の画素値として出力するフィルタ）やガウシアンフィルタ（例えば、フィルタ係数がガウス分布に略等しい値となるフィルタ）などを用いて、平滑化処理を行っても構わない。また、その他周知の平滑化フィルタを用いても構わない。
　また、このような更新処理を、画素値の特定の成分にのみ行うこととしても構わないし、画素値の種類に応じて処理内容を異ならせても構わない。例えば画素にＹＣrＣbの各成分が備えられる場合、人間（観察者）が敏感に感じる輝度成分Ｙの成分については平滑化処理を行わない、または、平滑化の程度を弱くすることとしても構わない。一方、人間が鈍感に感じる色差成分ＣrＣb（特に、青色の色差成分Ｃb）については平滑化処理を行う。特に、これらの成分に対しては平滑化の程度を大きくしても構わない。このように構成すると、観察者が感じる画質の劣化を効率よく抑制することが可能となる。
　また、各種画素値に対する平滑化処理の程度を変化させるために、フィルタサイズを適宜変更することとしても構わないし、適用するフィルタやフィルタ係数を適宜変更することとしても構わない。
　また、上述の説明では、符号化後の情報量を低減するために平滑化処理を行う場合について中心に説明したが、対象領域の画素値の成分（特に、色を示す成分）の低解像化を行うこととしても、同様に符号化後の信号の情報量を低減することが可能である。なお、復号化時や再生時に補間処理などを適宜行い、低解像度化した対象領域の画素値の成分の数を低解像度化前の数に戻すこととすると好ましい。
　また、画像表示装置としてＨＭＤを例に挙げて説明したが、本発明は例えばヘッドアップディスプレイ（ＨＵＤ）にも適用することが可能である。
　以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができるものである。
　本発明は、ＨＭＤやＨＵＤに利用可能である。
　　　１，１ａ　　画像表示装置
　　　２　　フレーム
　　　３　　表示部３
　　　３１　右眼用レンズ
　　　３２　投影部
　　　４　　左眼用レンズ
　　　５　　撮像部
　　　６　　本体部
　　　７　　ケーブル
　　　１１　現実画像符号化部
　　　１１ａ　局所背景画像符号化部
　　　１１ｂ　第１局所背景画像符号化部
　　　１２　現実画像送信部
　　　１２ａ　局所背景画像送信部
　　　１２ｂ　第１局所背景画像送信部
　　　１３　外部画像受信部
　　　１３ｂ　第１外部画像受信部
　　　１４　外部画像復号化部
　　　１４ｂ　第１外部画像復号化部
　　　２０，２０ａ　画像処理装置
　　　２１　現実画像受信部
　　　２１ａ　局所背景画像受信部
　　　２１ｂ　第２局所背景画像受信部
　　　２２　現実画像復号化部
　　　２２ａ　局所背景画像復号化部
　　　２２ｂ　第２局所背景画像復号化部
　　　２３，２３ａ　局所背景画像生成部
　　　２３ｂ　第１局所背景画像生成部
　　　２４　外部画像更新処理部
　　　２４ｂ　第２外部画像更新処理部
　　　２５　外部画像符号化部
　　　２５ｂ　第２外部画像符号化部
　　　２６　外部画像送信部
　　　２６ｂ　第２外部画像送信部
　　　３１　第２外部画像生成部
　　　１００　第１画像表示装置
　　　１０１　第２画像表示装置
　　　Ｓ，Ｓａ，Ｓｂ　画像表示システム
　　　ＨＯＥ　ホログラフィック光学素子

Claims (15)

  1. 　当該装置の外部から入力される外部画像及び観察者の視認している現実像を示す局所背景画像を対応する位置毎に比較し、前記外部画像の前記局所背景画像に類似する領域を対象領域として設定するとともに、鮮明度を低減する処理である更新処理を前記外部画像の前記対象領域に対して行う外部画像更新処理部と、
    　前記更新処理後の前記外部画像を符号化する外部画像符号化部と、を備えることを特徴とする画像処理装置。
  2. 　前記外部画像更新処理部で行われる前記更新処理が、平滑化処理であることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記外部画像更新処理部で行われる前記更新処理が、低解像度化処理であることを特徴とする請求項１に記載の画像処理装置。
  4. 　前記外部画像の画素の画素値が複数の成分を備えるものであり、前記外部画像更新処理部が、前記成分のうち人間が敏感に感じる成分に対して鮮明度を低減する効果が小さい前記更新処理を行うまたは前記更新処理を行わないものとし、前記成分のうち人間が鈍感に感じる成分に対して鮮明度を低減する効果が大きい前記更新処理を行うことを特徴とする請求項１～請求項３のいずれかに記載の画像処理装置。
  5. 　前記外部画像更新処理部が、前記局所背景画像及び前記外部画像を所定の大きさの領域であるブロック毎に比較するとともに、前記外部画像の前記ブロックのうち前記局所背景画像の前記ブロックに類似するものを前記対象領域とすることを特徴とする請求項１～請求項４のいずれかに記載の画像処理装置。
  6. 　前記外部画像更新処理部が、前記外部画像及び前記局所背景画像のそれぞれの前記ブロックの代表値を比較するものであり、
    　当該代表値を、前記ブロックに含まれる画素の画素値の中央値、前記ブロックに含まれる画素の画素値の平均値及び画素値を周波数領域の信号に変換して得られる直流成分の値、のいずれかを用いて算出することを特徴とする請求項５に記載の画像処理装置。
  7. 　前記外部画像の前記ブロックに属する画素の画素値の分散が所定の値よりも大きい場合、当該ブロックを前記対象領域として設定しないことを特徴とする請求項５または請求項６に記載の画像処理装置。
  8. 　前記外部画像更新処理部が、前記外部画像及び前記局所背景画像のそれぞれを画素値が略等しくなる領域毎に分割するとともに、当該領域に属する画素の画素値に応じたラベルを付し、前記外部画像及び前記局所背景画像を重ねたとき、略等しいラベルが付されている領域の重なる領域を対象領域とすることを特徴とする請求項１～請求項４のいずれかに記載の画像処理装置。
  9. 　前記外部画像更新処理部が、前記外部画像及び前記局所背景画像のそれぞれの画素の画素値を低階調化した後に、前記領域毎に分割して前記対象領域を設定することを特徴とする請求項８に記載の画像処理装置。
  10. 　前記外部画像更新処理部が、前記外部画像に設定された前記対象領域と、前記局所背景画像の前記対象領域に対応する対応領域と、に含まれるそれぞれの画素の画素値に対して線形分離を行い、分離可能である場合に当該対象領域を除外することを特徴とする請求項１～請求項９のいずれかに記載の画像処理装置。
  11. 　請求項１～請求項１０のいずれかに記載の前記画像処理装置と、
    　前記画像処理装置と通信する画像表示装置と、を備え、
    　前記画像表示装置が、
    　前記画像処理装置から送信処理される前記更新処理後の前記外部画像を受信処理する外部画像受信処理部と、
    　前記更新処理後の前記外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、
    　撮像により前記現実像を示す現実画像を生成する撮像部と、
    　前記現実画像を前記画像処理装置に送信処理する現実画像送信処理部と、を備え、
    　前記画像処理装置が、
    　前記画像表示装置から送信処理される前記現実画像を受信処理する現実画像受信処理部と、
    　前記表示部に表示される前記更新処理後の前記外部画像越しに視認される前記現実像の重畳部分を示す画像である前記局所背景画像を、前記現実画像から生成する局所背景画像生成部と、
    　前記更新処理後の前記外部画像を前記画像表示装置に送信処理する外部画像送信処理部と、をさらに備えることを特徴とする画像表示システム。
  12. 　請求項１～請求項１０のいずれかに記載の前記画像処理装置と、
    　前記画像処理装置と通信する画像表示装置と、を備え、
    　前記画像表示装置が、
    　前記画像処理装置から送信処理される前記更新処理後の前記外部画像を受信処理する外部画像受信処理部と、
    　前記更新処理後の前記外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、
    　撮像により前記現実像を示す現実画像を生成する撮像部と、
    　前記表示部に表示される前記更新処理後の前記外部画像越しに視認される前記現実像の重畳部分を示す前記局所背景画像を、前記現実画像から生成する局所背景画像生成部と、
    　前記局所背景画像を前記画像処理装置に送信処理する局所背景画像送信処理部と、を備え、
    　前記画像処理装置が、
    　前記画像表示装置から送信される前記局所背景画像を受信処理する局所背景画像受信処理部と、
    　前記更新処理後の前記外部画像を前記画像表示装置に送信処理する外部画像送信処理部と、をさらに備えることを特徴とする画像表示システム。
  13. 　画像を表示する画像表示装置において、
    　前記画像表示装置が、当該画像表示装置と同様の構成を備える他の画像処理装置と画像を通信するものであり、
    　前記他の画像表示装置で表示するための外部画像を生成する他機用外部画像生成部と、
    　前記他の画像表示装置から送信処理される他機用局所背景画像を受信処理する他機用局所背景画像受信処理部と、
    　前記他機用外部画像及び前記他機用局所背景画像を対応する位置毎に比較し、前記他機用外部画像の前記他機用局所背景画像に類似する領域を対象領域として設定するとともに、鮮明度を低減する処理である更新処理を前記他機用外部画像の前記対象領域に対して行う他機用外部画像更新処理部と、
    　前記更新処理後の前記他機用外部画像を前記他の画像表示装置に送信処理する他機用外部画像送信部と、
    　前記他の画像表示装置から送信処理される自機用外部画像を受信処理する自機用外部画像受信処理部と、
    　前記自機用外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、
    　撮像により前記現実像を示す現実画像を生成する撮像部と、
    　前記表示部に表示される前記自機用外部画像越しに視認される前記現実像の重畳部分を示す自機用局所背景画像を、前記現実画像から生成する自機用局所背景画像生成部と、
    　前記自機用局所背景画像を前記他の画像表示装置に送信処理する自機用局所背景画像送信処理部と、を備えることを特徴とする画像表示装置。
  14. 　前記他機用外部画像生成部が、前記撮像部で生成される前記現実画像から前記他機用外部画像を生成することを特徴とする請求項１３に記載の画像表示装置。
  15. 　当該装置の外部から入力される外部画像及び観察者の視認している現実像を示す局所背景画像を対応する位置毎に比較する第１ステップと、
    　前記第１ステップによって前記外部画像の前記局所背景画像に類似すると判定した領域を対象領域として設定する第２ステップと、
    　前記外部画像の前記第２ステップによって設定された前記対象領域に対して、鮮明度を低減する処理である更新処理を行う第３ステップと、
    　前記更新処理後の前記外部画像を符号化する第４ステップと、を備えることを特徴とする画像圧縮方法。
PCT/JP2009/071202 2009-01-09 2009-12-21 画像圧縮方法、画像処理装置、画像表示装置及び画像表示システム Ceased WO2010079682A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010513212A JP4573001B2 (ja) 2009-01-09 2009-12-21 画像圧縮方法、画像処理装置、画像表示装置及び画像表示システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-003365 2009-01-09
JP2009003365 2009-01-09

Publications (1)

Publication Number Publication Date
WO2010079682A1 true WO2010079682A1 (ja) 2010-07-15

Family

ID=42316451

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/071202 Ceased WO2010079682A1 (ja) 2009-01-09 2009-12-21 画像圧縮方法、画像処理装置、画像表示装置及び画像表示システム

Country Status (2)

Country Link
JP (1) JP4573001B2 (ja)
WO (1) WO2010079682A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011002753A (ja) * 2009-06-22 2011-01-06 Sony Corp 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
JP2017005372A (ja) * 2015-06-05 2017-01-05 キヤノン株式会社 通信装置およびその制御方法
WO2023062996A1 (ja) * 2021-10-13 2023-04-20 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2025224793A1 (ja) * 2024-04-22 2025-10-30 Ｎｔｔ株式会社 情報提示システム、情報提示方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH099253A (ja) * 1995-06-19 1997-01-10 Toshiba Corp 画像圧縮通信装置
JPH10112856A (ja) * 1996-10-04 1998-04-28 Agency Of Ind Science & Technol 画像伝送装置および方法
JP2008300983A (ja) * 2007-05-29 2008-12-11 Canon Inc 頭部装着型表示装置、及びその制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056335A (ja) * 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH099253A (ja) * 1995-06-19 1997-01-10 Toshiba Corp 画像圧縮通信装置
JPH10112856A (ja) * 1996-10-04 1998-04-28 Agency Of Ind Science & Technol 画像伝送装置および方法
JP2008300983A (ja) * 2007-05-29 2008-12-11 Canon Inc 頭部装着型表示装置、及びその制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011002753A (ja) * 2009-06-22 2011-01-06 Sony Corp 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
US9189829B2 (en) 2009-06-22 2015-11-17 Sony Corporation Head mounted display, and image displaying method in head mounted display
JP2017005372A (ja) * 2015-06-05 2017-01-05 キヤノン株式会社 通信装置およびその制御方法
WO2023062996A1 (ja) * 2021-10-13 2023-04-20 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2025224793A1 (ja) * 2024-04-22 2025-10-30 Ｎｔｔ株式会社 情報提示システム、情報提示方法およびプログラム

Also Published As

Publication number Publication date
JP4573001B2 (ja) 2010-11-04
JPWO2010079682A1 (ja) 2012-06-21

Similar Documents

Publication Publication Date Title
TWI806854B (zh) 用於近眼顯示器之系統
US7483486B2 (en) Method and apparatus for encoding high dynamic range video
JP5763184B2 (ja) ３次元画像に対する視差の算出
US8488870B2 (en) Multi-resolution, multi-window disparity estimation in 3D video processing
JP6178017B2 (ja) ステレオビデオのための深度認識向上
EP3635952B1 (en) Digital content stream compression
US11006113B2 (en) Image processing device, method, and program deciding a processing parameter
WO2012086120A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
CN109643456A (zh) 图像压缩方法与设备
WO2018116604A1 (ja) 画像処理装置、画像処理方法及びプログラム
WO2019092463A1 (en) Video image processing
WO2018116603A1 (ja) 画像処理装置、画像処理方法及びプログラム
US8433132B2 (en) Method for efficient representation and processing of color pixel data in digital pathology images
JP4573001B2 (ja) 画像圧縮方法、画像処理装置、画像表示装置及び画像表示システム
JP2019106572A (ja) 画像符号化装置及びその制御方法、並びにプログラム
CN115272440A (zh) 一种图像处理方法、设备及系统
JP7512492B2 (ja) 品質最適化デブロッキングを実行するためのイメージ処理デバイス及び方法
Perra et al. Light field compression on sliced lenslet array
JP6341598B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US20110135199A1 (en) Coding apparatus and method for simultaneous transmission of image processing information and color information
WO2023093768A1 (zh) 图像处理方法和装置
KR101609394B1 (ko) 입체 영상 인코딩 장치 및 방법
JP2016213526A (ja) 画像符号化装置及びその制御方法
US12334004B2 (en) Display stream compression (DCS) with built-in high pass filter
US11233999B2 (en) Transmission of a reverse video feed

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2010513212

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09837567

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09837567

Country of ref document: EP

Kind code of ref document: A1