WO2019234855A1 - 表示システム、画像処理回路、画像処理方法、及びプログラム - Google Patents

表示システム、画像処理回路、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2019234855A1
WO2019234855A1 PCT/JP2018/021719 JP2018021719W WO2019234855A1 WO 2019234855 A1 WO2019234855 A1 WO 2019234855A1 JP 2018021719 W JP2018021719 W JP 2018021719W WO 2019234855 A1 WO2019234855 A1 WO 2019234855A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
image
image processing
area
image data
Prior art date
Application number
PCT/JP2018/021719
Other languages
English (en)
French (fr)
Inventor
達也 宮寺
藤原　秀樹
Original Assignee
株式会社カヤック
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社カヤック filed Critical 株式会社カヤック
Priority to PCT/JP2018/021719 priority Critical patent/WO2019234855A1/ja
Publication of WO2019234855A1 publication Critical patent/WO2019234855A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Definitions

  • the present invention relates to a technique for displaying an image that can give an immersive feeling to a user.
  • JP-A-2-292787 JP 2017-55355 A Japanese Patent Laid-Open No. 1-1141479 Japanese Patent Laid-Open No. 2-100168 JP-A-2005-130251 JP 2010-354257 A
  • Patent Documents 1 to 6 it is specified which area of the image the person viewing the image is viewing, and the area is displayed with a relatively high image quality.
  • One of the objects of the present invention is to provide a technique for displaying an image that can give an immersive feeling to the user.
  • One embodiment of the present invention is different from the first region based on the image data obtained by capturing at least a part of the predetermined spatial region, and the first region corresponding to the line of sight of the first user existing in the spatial region.
  • An image processing unit that performs different image processing in the second region, and a display control unit that displays an image including the first region and the second region after the image processing is performed in a predetermined display region;
  • a display system is provided.
  • an image indicated by image data is divided into a plurality of areas including a curved portion at an edge, and selected from the plurality of areas according to a user's line of sight toward a predetermined display area
  • An image processing unit that performs different image processing in a first region and a second region different from the first region, and an image including the first region and the second region after the image processing is performed,
  • a display system having a display control unit for displaying in the display area.
  • One embodiment of the present invention is different from the first region based on the image data obtained by capturing at least a part of the predetermined spatial region, and the first region corresponding to the line of sight of the first user existing in the spatial region.
  • An image processing unit that performs image processing different from the second region, and an output unit that outputs image data indicating an image including the first region and the second region after the image processing is performed.
  • An image processing circuit is provided.
  • an image indicated by image data is divided into a plurality of areas including a curved portion at an edge, and selected from the plurality of areas according to a user's line of sight toward a predetermined display area
  • An image processing unit that performs different image processing in a first region and a second region different from the first region, and an image including the first region and the second region after the image processing is performed
  • An image processing circuit having an output unit for outputting image data is provided.
  • a process of performing different image processing in a second area different from the area, and a process of outputting image data indicating an image including the first area and the second area after the image processing is performed Provide a program for
  • an image indicated by image data is divided into a plurality of regions including a curved portion at an edge, and a computer according to a user's line of sight facing a predetermined display region from the plurality of regions.
  • An image including the first region selected in step S2 and the second region different from the first region, and the first region and the second region after the image processing is performed.
  • One embodiment of the present invention is different from the first region based on the image data obtained by capturing at least a part of the predetermined spatial region, and the first region corresponding to the line of sight of the first user existing in the spatial region.
  • An image processing method comprising: performing different image processing on the second region; and outputting image data indicating an image including the first region and the second region after the image processing is performed. I will provide a.
  • an image indicated by image data is divided into a plurality of areas including a curved portion at an edge, and selected from the plurality of areas according to a user's line of sight toward a predetermined display area
  • Image data indicating an image including the first region and the second region after the image processing is performed by performing different image processing on the first region and a second region different from the first region.
  • an image processing method including:
  • FIG. 1 is a block diagram illustrating an overall configuration of a display system according to a first embodiment of the present invention. It is a block diagram which shows the hardware constitutions of the terminal device of 1st Embodiment of this invention. It is a block diagram which shows the function structure of the display system of 1st Embodiment of this invention. It is a flowchart which shows the process performed with the display system of 1st Embodiment of this invention. It is a figure explaining the specific example of the process performed with the display system of 1st Embodiment of this invention. It is a figure explaining the specific example of the process performed with the display system of 1st Embodiment of this invention. It is a figure explaining the specific example of the process performed with the display system of 1st Embodiment of this invention.
  • FIG. 1 is a block diagram showing the overall configuration of a display system 1 according to the first embodiment of the present invention.
  • the display system 1 includes terminal devices 10-1 and 10-2, display devices 20-1 and 20-2, and imaging devices 30-1 and 30-2.
  • the terminal device 10-1, the display device 20-1, and the imaging device 30-1 are provided in the space region R1 where the user U1 exists.
  • the terminal device 10-2, the display device 20-2, and the imaging device 30-2 are provided in the space region R2 where the user U2 exists.
  • Users U1 and U2 are participants of the video conference, respectively.
  • the space region R1 and the space region R2 are space regions that are separated from each other.
  • the space region R1 and the space region R2 are, for example, room spaces, but are not limited thereto.
  • the communication line NW is a communication line for performing bidirectional communication.
  • the communication line NW is a public communication line (for example, the Internet), a LAN (Local Area Network), a dedicated line, or another communication line.
  • this embodiment demonstrates the case where a video conference is performed between one-on-one users, you may be held between one-on-one users.
  • the terminal device 10-1 outputs the image and sound of the space region R2 using the display device 20-1.
  • the display device 20-1 is a liquid crystal display, an organic EL display, or other display device.
  • the display device 20-1 is a device that displays an image with a resolution of 4K or 8K, for example.
  • An image with a resolution of 4K has 3840 pixels per inch in the horizontal direction and 2160 pixels per inch in the vertical direction.
  • An 8K resolution image has 7680 pixels per inch in the horizontal direction and 4320 pixels per inch in the vertical direction.
  • the display area 21-1 is a display area of a size that can cover the entire field of view of the user U1 or almost the entire field.
  • the imaging device 30-1 images at least a part of the space region R1, and outputs image data indicating the captured image to the terminal device 10-1.
  • the image obtained by imaging the spatial region R1 is typically an image obtained by imaging the user U1 and its surroundings. However, the image obtained by imaging the spatial region R1 may be an image obtained by imaging only the periphery of the user U1, for example, the region where the line of sight of the user U1 faces.
  • the imaging device 30-1 outputs image data indicating an image with a resolution of 4K or 8K, for example.
  • the terminal device 10-1 transmits the image data acquired from the imaging device 30-1 and the sound data indicating the sound in the space region R1 to the terminal device 10-2.
  • the terminal device 10-2 outputs the image and sound of the space region R1 using the display device 20-2.
  • the display device 20-2 displays an image obtained by capturing the space area U1 on the display area 21-2 and outputs sound detected in the space area U1.
  • the display area 21-2 is a display area having a size that can cover the entire visual field of the user U2 or almost the entire visual field.
  • the imaging device 30-2 images at least a part of the space region R2, and outputs image data indicating the captured image to the terminal device 10-2.
  • An image obtained by imaging the spatial region R2 is typically an image obtained by imaging the user U2 and its surroundings.
  • the image obtained by imaging the spatial region R2 may be an image obtained by imaging only the periphery of the user U2, for example, the region where the line of sight of the user U2 faces.
  • the terminal device 10-2 transmits the image data acquired from the imaging device 30-2 and the sound data indicating the sound in the space region R2 to the terminal device 10-1.
  • the display device 20-2 may have the same configuration as the display device 20-1, and the imaging device 30-2 may have the same configuration as the imaging device 30-1.
  • FIG. 2 is a block diagram showing a hardware configuration of the terminal device 10-1.
  • the terminal device 10-1 includes a control unit 11, a storage unit 12, an operation unit 13, a communication unit 14, a display device interface 15, a microphone 16, and an imaging device interface 17.
  • the control unit 11 controls each unit of the terminal device 10-1.
  • the control unit 11 includes, for example, a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable Gate Array).
  • the control unit 11 corresponds to the image processing circuit of the present invention.
  • the storage unit 12 stores data.
  • the storage unit 12 stores, for example, the program PG1.
  • the program PG1 is a program for causing the control unit 11 to execute a predetermined function.
  • the storage unit 12 includes, for example, a RAM (Random Access Memory) used by the control unit 11 as a work area.
  • the storage unit 12 can include any type of recording medium exemplified by an optical recording medium, a magnetic recording medium, and a semiconductor recording medium.
  • the operation unit 13 receives a user operation.
  • the operation unit 13 includes, for example, a keyboard and a mouse.
  • the communication unit 14 is an interface that communicates with the terminal device 10-1 via the communication line NW.
  • the communication unit 14 may communicate by either wired or wireless.
  • the display device interface 15 is an interface for inputting / outputting data to / from the display device 20-1.
  • the microphone 16 detects sound and converts the detected sound into a sound signal.
  • the imaging device interface 17 is an interface for inputting / outputting data to / from the imaging device 30-1.
  • the terminal device 10-1 and the terminal device 10-2 have the same hardware configuration. That is, the configuration of the terminal device 10-2 is the same as that of the terminal device 10-1 described above, in which “display device 20-1” is “display device 20-2” and “imaging device 30-1” is “imaging device. 30-2 ”.
  • FIG. 3 is a block diagram showing a functional configuration of the display system 1.
  • the terminal device 10-1 and the terminal device 10-2 have the same function. In order to make the description easy to understand, the functions relating to the image data transmitting side relating to the video conference for the terminal device 10-1 and the image data receiving side relating to the terminal device 10-2 will be described below.
  • the control unit 11 of the terminal device 10-1 includes an image data acquisition unit 111, a first line-of-sight acquisition unit 112, a second line-of-sight acquisition unit 113, an image processing unit 114, and an output unit 115.
  • the control unit 11 of the terminal device 10-2 includes an image data acquisition unit 121, a third line-of-sight acquisition unit 122, a line-of-sight transmission unit 123, an image data acquisition unit 124, and a display control unit 125.
  • the image data acquisition unit 111 uses the imaging device interface 17 to acquire image data obtained by imaging at least a part of the spatial region R1 from the imaging device 30-1.
  • the image data acquisition unit 111 stores the image data in the storage unit 12.
  • the first line-of-sight acquisition unit 112 detects the line of sight of the user U1 existing in the spatial region R1 based on the image data acquired by the image data acquisition unit 111, and acquires the line-of-sight information of the user U1.
  • the line-of-sight information includes at least data for specifying the direction of the line of sight.
  • the second line-of-sight acquisition unit 113 uses the communication unit 14 to acquire the line-of-sight information of the user U2 from the terminal device 10-2.
  • the line-of-sight information of the user U2 includes at least data for specifying the direction of the line of sight of the user U2 facing the display area 21-2.
  • the image processing unit 114 reads out the image data from the storage unit 12 and performs different image processing on the first region corresponding to the line of sight of the user U1 and the second region different from the first region based on the image data. Do.
  • the image processing unit 114 further performs different image processing on the third area corresponding to the line of sight of the user U2 and the second area.
  • the output unit 115 outputs the image data after the image processing to the terminal device 10-2 using the communication unit 14.
  • the image data acquisition unit 121 uses the imaging device interface 17 to acquire image data obtained by imaging the spatial region R2 from the imaging device 30-2.
  • the third line-of-sight acquisition unit 122 detects the line of sight of the user U2 facing the display area 21-2 and acquires line-of-sight information.
  • the line-of-sight transmission unit 123 transmits the line-of-sight information to the terminal device 10-1 using the communication unit 14.
  • the image data acquisition unit 124 uses the communication unit 14 to acquire image data after image processing is performed from the terminal device 10-1.
  • the display control unit 125 displays the image in the display area 21-2 by outputting the image data to the display device 20-2 using the display device interface 15.
  • the control unit 11 of the terminal device 10-1 also includes an image data acquisition unit 121, a third line-of-sight acquisition unit 122, a line-of-sight transmission unit 123, an image data acquisition unit 124, and a display control unit 125.
  • the control unit 11 of the terminal device 10-2 also includes an image data acquisition unit 111, a first line-of-sight acquisition unit 112, a second line-of-sight acquisition unit 113, an image processing unit 114, and an output unit 115.
  • FIG. 4 is a flowchart showing processing executed in the display system 1.
  • the operation when the terminal device 10-1 is the image data transmission side for the video conference and the terminal device 10-2 is the image data reception side will be described.
  • the image data acquisition unit 111 in the terminal device 10-1 acquires image data obtained by imaging the spatial region R1 from the imaging device 30-1 using the imaging device interface 17 (step S11). .
  • the image data acquisition unit 111 stores the image data in the storage unit 12.
  • the image data is data indicating an image of one frame (one frame) (that is, a still image).
  • the image data includes at least color information of a plurality of pixels arranged along the X direction and the Y direction intersecting the X direction.
  • the color information is a parameter indicating the intensity of each of a plurality of color components, for example, red (R), green (G), and blue (B).
  • the color information of each color component is, for example, data of 8 bits (256 gradations), but is not limited thereto.
  • FIG. 5 shows an example of an image indicated by the image data.
  • An image IMG1 illustrated in FIG. 5 is an image obtained by capturing the user U1 and the periphery of the user U1.
  • An image obtained by capturing the user U1 included in the image IMG1 is referred to as “image IMG-U1”.
  • the first line-of-sight acquisition unit 112 detects the line of sight of the user U1 existing in the spatial region R1 based on the image data, and acquires the line-of-sight information of the user U1 (step S12).
  • the line-of-sight detection algorithm There is no limitation on the line-of-sight detection algorithm. For example, there is a method in which the eye range is specified by the eyes and the corners of the eyes, and the direction of the line of sight is detected based on the ratio of white eyes and black eyes.
  • the first line-of-sight acquisition unit 112 may further detect the line of sight by analyzing the eye movement (movement of the eyeball) of the user U1. In the example of FIG. 5, a line of sight indicating the direction of the arrow Ar1 is detected.
  • the image data acquisition unit 121 acquires image data obtained by imaging the user U2 from the imaging device 30-2 via the imaging device interface 17 (step S13).
  • FIG. 6 shows an example of an image indicated by the image data.
  • An image IMG2 illustrated in FIG. 6 is an image obtained by capturing the user U2 and the periphery of the user U2.
  • An image obtained by capturing the user U2 included in the image IMG2 is referred to as “image IMG-U2”.
  • the third line-of-sight acquisition unit 122 detects the line of sight of the user U2 based on the image data and acquires line-of-sight information (step S14). In the example of FIG. 6, a line of sight indicating the direction of the arrow Ar2 is detected.
  • the line-of-sight transmission unit 123 transmits the line-of-sight information of the user U2 to the terminal device 10-1 using the communication unit 14 (step S15).
  • the second line-of-sight acquisition unit 113 acquires the line-of-sight information of the user U2 using the communication unit 14 (step S16).
  • the image processing unit 114 reads the image data from the storage unit 12, and performs image processing based on the image data (step S17).
  • the image processing unit 114 uses the line-of-sight information to perform different image processing on a first area corresponding to the line of sight of the user U1 and a second area different from the first area.
  • the image processing unit 114 specifies the first region corresponding to the region imaged by the imaging device 30-1 and the line of sight (gaze information) of the first user U1.
  • the first area is an area in which an area in which the first user U1 is directed is taken.
  • the image processing unit 114 further performs different image processing on the third area corresponding to the line of sight of the user U2 and the second area.
  • the second line-of-sight acquisition unit 113 is displayed in the display area 21-2 in the image capturing condition such as the position of the image capturing device 30-2, the image capturing direction, the angle of view, and the image captured by the image capturing device 30-1.
  • the area that the user U2 is looking at may be specified using information such as the current range. Such information may be input by the user or detected using a sensor or the like.
  • the line-of-sight area Td1 is an area in which, for example, when the user U1 is viewing an object such as a document or a product prototype, the object is displayed.
  • the object may be anything.
  • the line-of-sight region Td2 is, for example, a region where the image IMG-U1 of the user U1 is displayed.
  • the image processing unit 114 identifies the first region Tp1 corresponding to the line-of-sight region Td1 and the third region Tp3 corresponding to the line-of-sight region Td2 in the image IMG1.
  • the first area Tp1 includes an image obtained by capturing the line-of-sight area Td1 where the line of sight of the first user U1 faces.
  • the third area Tp3 includes an image displayed in the line-of-sight area Td2 where the line of sight of the second user U2 faces.
  • a region excluding the first region Tp1 and the third region Tp3 is a second region Tp2.
  • first region Tp1 may be a region of 60 degrees vertically and 100 degrees horizontally with respect to the direction of the line of sight of the user U1.
  • third region Tp3 may be a region of 60 degrees vertically and 100 degrees horizontally with respect to the direction of the line of sight of the user U2.
  • the image processing unit 114 performs different image processing in the first region Tp1, the third region Tp3, and the second region Tp2. For example, the image processing unit 114 generates image data in the first format for the first region Tp1 and the third region Tp3, and generates image data in the second format for the second region Tp2.
  • the first format image data and the second format image data have different resolutions, for example.
  • the image processing in this case may be processing for making the resolution in the first region Tp1 and the third region Tp3 higher than the resolution in the second region Tp2, as shown in FIG.
  • the higher the resolution the larger the number of pixels per unit length (area), and the lower the resolution, the smaller the number of pixels per unit length (area). In other words, the size of one pixel is smaller as the resolution is higher.
  • the image processing includes, for example, at least one of processing for increasing the resolution of the image and processing for decreasing the resolution.
  • the image processing may be processing for lowering the resolution of the second region Tp2 without changing the resolution of the first region Tp1 and the third region Tp3.
  • the image processing unit 114 sets the first region Tp1 and the third region Tp3 to 4K or 8K resolution, and sets the second region Tp2 to full HD resolution.
  • the resolution of full HD is 1920 pixels per inch in the horizontal direction and 1080 pixels per inch in the vertical direction.
  • the first region Tp1 and the third region Tp3 have an area of about 1 ⁇ 4 in the image IMG1, for example.
  • the image processing may be processing in which the resolution of the first region Tp1 and the third region Tp3 is increased and the resolution of the second region Tp2 is not changed.
  • the image processing may be processing for increasing the resolution of the first region Tp1 and the third region Tp3 and decreasing the resolution of the second region Tp2.
  • the image processing may include processing that reproduces the focus adjustment of the imaging apparatus (hereinafter referred to as “focus adjustment processing”).
  • the focus adjustment process may include a blurring process that is a process of blurring the image of the third region Tp3.
  • the blurring process is, for example, a smoothing process performed with a predetermined smoothing intensity.
  • the focus adjustment process may include a blurring process using a Gaussian filter or a process of changing the degree of blurring of an image using edge detection.
  • the focus adjustment process may include a process for controlling the imaging unit of the partner terminal device (for example, transmission of data instructing imaging control) so as to focus on a specific area.
  • the output unit 115 uses the communication unit 14 to transmit the image data of the first region Tp1 and the third region Tp3, the composite image data in which the image data of the second region Tp2 is one frame, and the region information to the terminal device 10- 2 (step S18).
  • the output unit 115 may compress the composite image data so that the transmission bit rate of the composite image data is, for example, about 10 to 15 Mbps.
  • the output unit 115 compresses the composite image data using H.264 / MPEG4-AVC, XAVC, AVCHD, or other methods and transmits the compressed image data.
  • the area information includes coordinate information of pixels included in the first area Tp1 and the third area Tp3. Note that the output unit 115 transmits sound data indicating the sound detected by the microphone 16 in association with the synthesized image data.
  • the image data acquisition unit 124 acquires the composite image data and the region information from the terminal device 10-1 using the communication unit 14 (step S19).
  • the display control unit 125 displays the image in the display area 21-2 by outputting the composite image data to the display device 20-2 using the display device interface 15 (step S20).
  • the display control unit 125 uses the line-of-sight information of the user U2 to separate the image data of the first region Tp1 and the third region Tp3 in the first format and the image data of the second region Tp2 in the second format, These are combined as image data of the first format and then output to the display device 20-2.
  • the user U2 visually recognizes the image displayed in the display area 21-2.
  • the terminal device 10-2 outputs an audio signal to the display device 20-2 based on the audio data acquired from the terminal device 10-1. Thereby, the display device 20-2 outputs the voice of the user U1.
  • the above-described processing is also performed when the terminal device 10-2 transmits image data to the terminal device 10-1.
  • the operation of the terminal device 10-1 is performed by the terminal device 10-2, and the operation of the terminal device 10-2 is performed by the terminal device 10-1.
  • the above processing is executed sequentially (for example, at a predetermined cycle), whereby image data related to the video conference is transmitted in real time.
  • the amount of image data to be transmitted by the terminal devices 10-1 and 10-2 can be reduced.
  • the data amount of the image data to be actually transmitted is about 1/4.
  • the user U2 displays an image of the region where the user U1 is looking (first region Tp1) and an image of the region where the user U1 is looking (third region Tp3) from images of other regions. Is recognized as a high-quality image.
  • first region Tp1 an image of the region where the user U1 is looking
  • third region Tp3 an image of the region where the user U1 is looking
  • the sense that an object present in the direction of the line of sight is clearly displayed is a function very close to the original human eye. Therefore, the user can obtain an immersive feeling higher than the resolution of the image displayed in the display area 21-2.
  • the area that the other user is looking at is also displayed at a high resolution, so it is easy to understand the other person's feelings.
  • the explaining side may want to grasp the comprehension level of the other party, but it is difficult to accurately grasp this. Also, in actual meeting, it is easy to notice the degree of understanding from the other party's facial expression and line of sight, but in video conference there is a fact that it is difficult to notice even if the other party's line of sight is diverted or struggles without understanding .
  • the display system 1 since the area that the other party of the video conference is watching is displayed with high resolution, for example, it is easy to understand the other party's feelings.
  • the display system 1 can also perform image processing that tracks the line of sight of the user of the other party of the video conference and emphasizes the area (first area) that the user is facing.
  • visual_axis can also be guide
  • users who participate in videoconferencing will receive information including emotional subtleties, such as whether the other party is convinced or whether they understand well, and conduct a videoconference that deepens mutual understanding. Is possible. This makes it possible to conduct negotiations, brainstorming, apologies, counseling, and workplace mental health checks, etc., that have been difficult between remote locations.
  • FIG. 9 is a block diagram showing the overall configuration of the display system 1A according to the present embodiment.
  • the display system 1A is a system for conducting a video conference.
  • an HMD (Head Mounted Display) 40 is used instead of the terminal device 10-2.
  • the HMD 40 is a wearable display device that is used by being worn on the head of the user U2.
  • the user U2 wears the HMD 40 and sees an image displayed in the display area 451 of the HMD 40.
  • a video conference in which the user U2 receives the lecture of the user U1 is performed.
  • the position detection device 50 is a device that detects the position of the HMD 40.
  • the position detection method is not limited, but the position detection device 50 may include an imaging device that images the HMD 40 or may include a sensor for detecting the position of the HMD 40.
  • the imaging device 30-1 may be a so-called 360 ° camera or a stereo camera. In this case, the imaging device 30-1 generates and outputs a panoramic image including two circular images obtained by mapping the images of the hemisphere obtained by dividing the omnidirectional sphere into halves by circular projection.
  • FIG. 10 is a block diagram showing a hardware configuration of the HMD 40.
  • the HMD 40 includes a control unit 41, a storage unit 42, an operation unit 43, a communication unit 44, a display unit 45, a microphone 46, and an imaging unit 47.
  • the control unit 41, the storage unit 42, the operation unit 43, the communication unit 44, and the microphone 46 are the same elements as the elements having the same names that the terminal device 10-1 of the first embodiment described above has.
  • the display unit 45 displays an image in the display area 451.
  • the display area 451 is provided so as to cover the field of view of the user U2.
  • the display unit 45 is, for example, a liquid crystal display.
  • the resolution of the display unit 45 is, for example, 2560 pixels per inch in the horizontal direction and 1440 pixels per inch in the vertical direction.
  • the imaging unit 47 captures an image and outputs image data indicating the captured image to the control unit 41.
  • the imaging unit 47 is provided so as to capture at least the eyes of the user U2.
  • the imaging unit 47 includes, for example, an imaging element (for example, CCD or CMOS) and a lens.
  • FIG. 11 is a block diagram showing a functional configuration of the display system 1A.
  • the terminal device 10-1 will be described on behalf of functions related to the image data transmission side related to the video conference, and the HMD 40 will be described on behalf of the functions related to the image data reception side.
  • the control unit 11 of the terminal device 10-1 includes an image data acquisition unit 111, a first line-of-sight acquisition unit 112, a second line-of-sight acquisition unit 113, an image processing unit 114A, and an output unit 115. .
  • the image processing unit 114A is different from the above-described first embodiment in that depth information is included in a region other than a region in which the line of sight of the user U1 and the user U2 is facing, that is, a pixel included in the second region. Specifically, the depth information indicates a value corresponding to the distance from the imaging viewpoint to the subject. The depth information is given for each pixel.
  • the control unit 41 includes an image data acquisition unit 421, a third line-of-sight acquisition unit 422, a line-of-sight transmission unit 423, an image data acquisition unit 424, and a display control unit 425.
  • the image data acquisition unit 421 acquires image data captured from the imaging unit 47.
  • the third line-of-sight acquisition unit 422 detects the line of sight of the user U2 and acquires line-of-sight information.
  • the line-of-sight transmission unit 423 transmits the line-of-sight information to the terminal device 10-1 using the communication unit 44.
  • the image data acquisition unit 424 uses the communication unit 44 to acquire image data after image processing has been performed from the terminal device 10-1.
  • the display control unit 425 displays the image in the display area 451 by outputting the image data to the display unit 45.
  • FIG. 12 is a flowchart showing processing executed in the display system 1A.
  • the operation when the terminal device 10-1 is the image data transmission side for the video conference and the HMD 40 is the image data reception side will be described.
  • the image data acquisition unit 111 acquires image data obtained by imaging the spatial region R1 from the imaging unit 47 (step S11).
  • the image data acquisition unit 111 stores the image data in the storage unit 12.
  • the first line-of-sight acquisition unit 112 detects the line of sight of the user U1 existing in the spatial region R1 based on the image data, and acquires the line-of-sight information of the user U1 (step S12).
  • Steps S11 and S12 are the same as those in the first embodiment described above.
  • the image data acquisition unit 421 acquires image data obtained by imaging the eyes of the user U2 from the imaging unit 47 (step S31).
  • the line-of-sight transmission unit 423 acquires the line-of-sight information of the user U2 based on the image data (step S32), and transmits the line-of-sight information to the terminal device 10-1 using the communication unit 44 (step S33).
  • the second line-of-sight acquisition unit 113 acquires the line-of-sight information of the user U2 using the communication unit 14 (step S34).
  • the image processing unit 114A reads image data from the storage unit 12, and performs image processing based on the image data (step S35). Also in this embodiment, the image processing unit 114 performs different image processing on the first region corresponding to the line of sight of the user U1 and the second region different from the first region. The image processing unit 114 further performs different image processing on the third area corresponding to the line of sight of the user U2 and the second area.
  • the second line-of-sight acquisition unit 113 provides information such as the position of the HMD 40, the imaging direction, the imaging conditions such as the angle of view, the range displayed in the display area 451 of the image captured by the imaging device 30-1. May be used to identify the region that the user U2 is viewing. These pieces of information may be acquired from the position detection device 50 or may be input by the user.
  • FIG. 13 is a diagram illustrating a specific example of processing executed by the image processing unit 114A.
  • image processing when an image IMG3 is to be displayed in the display area 451 will be described.
  • a first region Tp4 illustrated in FIG. 13 is a region corresponding to a region where the user U1's line of sight is facing.
  • the third region Tp6 is a region corresponding to a region where the line of sight of the user U2 is facing.
  • the second region Tp5 is a region excluding the first region Tp4 and the third region Tp6.
  • the first region Tp4 may be a region of 60 degrees vertically and 100 degrees horizontally with respect to the direction of the line of sight of the user U1.
  • the third region Tp6 may be a region of 60 degrees vertically and 100 degrees horizontally with respect to the direction of the line of sight of the user U2. Note that the first region Tp4 and the third region Tp6 have an area of about 1 ⁇ 4 in the image IMG3, for example.
  • the image processing unit 114A performs different image processing in the first region Tp4, the third region Tp6, and the second region Tp5. For example, the image processing unit 114A generates image data of the first format for the first region Tp4 and the third region Tp6, and generates image data of the second format for the second region Tp5.
  • the resolutions of the first region Tp4, the second region Tp5, and the third region Tp6 may be determined by the same method as in the first embodiment described above.
  • the image processing unit 114A performs 3DCG conversion by adding depth information for each pixel for a plurality of pixels included in the second region Tp5.
  • the 3DCG conversion is a process for realizing 3D stereoscopic viewing.
  • the pixel P4 included in the first region Tp4 shown in FIG. 13 includes coordinate information (X4, Y4) and color information (R4, G4, B4).
  • the pixel P6 included in the third region Tp6 includes coordinate information (X6, Y6) and color information (R6, G6, B6).
  • the pixel P5 in the second region Tp5 further includes depth information D5 in addition to the coordinate information (X5, Y5) and the color information (R5, G5, B5).
  • the calculation method of depth information is not ask
  • a method for calculating depth information is disclosed in, for example, International Publication No. 2018/052100.
  • the image processing unit 114A analyzes the angle of the contour extracted using a Laplacian filter, and calculates depth information based on the focal length of the image.
  • the depth information may be calculated by other methods, and may be a method of analyzing the color of the image, a method of analyzing the degree of blur of the image, or other methods.
  • the output unit 115 transmits the image data of the first region Tp4 and the third region Tp6, the composite image data in which the image data of the second region Tp5 is one frame, and region information to the HMD 40 using the communication unit 14. (Step S36).
  • the image data acquisition unit 424 acquires the composite image data and the region information from the terminal device 10-1 using the communication unit 44 (step S37).
  • the display control unit 425 displays the image in the display area 451 by outputting the composite image data to the display unit 45 (step S38).
  • the display control unit 125 uses the region information to separate the image data of the first region Tp4 and the second region Tp5 in the first format and the image data of the third region Tp6 in the second format, and After combining as one-format image data, it is output to the display unit 45.
  • the user U2 visually recognizes the image displayed in the display area 451.
  • the display control unit 425 may display an image representing the depth of the image on the display unit 45 based on the depth information.
  • the display control unit 425 determines the positional relationship in the depth direction of the plurality of objects viewed from the user's viewpoint.
  • the above processing is executed sequentially (for example, at a predetermined cycle), whereby image data related to the video conference is transmitted in real time.
  • the amount of image data to be transmitted by the terminal devices 10-1 and 10-2 can be reduced.
  • the data amount of the image data to be actually transmitted is approximately 1 ⁇ 2.
  • the image of the region that the user is viewing and the region of the range in which the user U1 is looking are displayed after image processing different from the other regions is performed, and the image of the display region 451 is Since it is displayed in 3DCG, the user U2 can obtain a high immersive feeling.
  • FIG. 14 is a block diagram showing a functional configuration of the display system 1B of the present embodiment.
  • the terminal device 10-1 and the terminal device 10-2 have the same function. In order to make the description easy to understand, the functions relating to the image data transmitting side relating to the video conference for the terminal device 10-1 and the image data receiving side relating to the terminal device 10-2 will be described below.
  • the terminal device 10-1 includes a storage unit 12A instead of the storage unit 12.
  • the control unit 11 of the terminal device 10-1 includes an image data acquisition unit 131, a line-of-sight acquisition unit 132, an image processing unit 133, and an output unit 134.
  • the control unit 11 of the terminal device 10-2 includes an image data acquisition unit 141, a line-of-sight acquisition unit 142, a line-of-sight transmission unit 143, an image data acquisition unit 144, and a display control unit 145.
  • the image data acquisition unit 131 uses the imaging device interface 17 to acquire image data obtained by imaging the space region R1 from the imaging device 30-1.
  • the image data acquisition unit 131 stores the image data in the storage unit 12A.
  • the line-of-sight acquisition unit 132 uses the communication unit 14 to acquire the line-of-sight information of the user U2 from the terminal device 10-2.
  • the line-of-sight information of the user U2 includes at least data for specifying the direction of the line of sight of the user U2 facing the display area 21-2.
  • the image processing unit 133 reads the image data from the storage unit 12A, and divides the image indicated by the image data into a plurality of regions including a curved portion at the edge. In the present embodiment, the image processing unit 133 divides the image into a plurality of elliptical areas. Then, the image processing unit 133 performs different image processing on the first region corresponding to the line of sight of the user U2 selected from the plurality of regions and the second region different from the first region.
  • the output unit 134 outputs the image data after the image processing to the terminal device 10-2 using the communication unit 14.
  • the image data acquisition unit 141 uses the imaging device interface 17 to acquire image data obtained by imaging the spatial region R2 from the imaging device 30-2.
  • the line-of-sight acquisition unit 142 detects the line of sight of the user U2 facing the display area 21-2 based on the image data, and acquires line-of-sight information.
  • the line-of-sight transmission unit 143 transmits the line-of-sight information to the terminal device 10-1 using the communication unit 14.
  • the image data acquisition unit 144 uses the communication unit 14 to acquire image data after image processing has been performed from the terminal device 10-1.
  • the display control unit 145 displays the image in the display area 21-2 by outputting the image data to the display device 20-2 using the display device interface 15.
  • control unit 11 of the terminal device 10-1 also includes an image data acquisition unit 141, a line-of-sight acquisition unit 142, a line-of-sight transmission unit 143, an image data acquisition unit 144, and a display control unit 145.
  • the terminal device 10-2 also has a storage unit 12A.
  • the control unit 11 of the terminal device 10-2 also includes an image data acquisition unit 131, a line-of-sight acquisition unit 132, an image processing unit 133, and an output unit 134.
  • FIG. 15 is a diagram for explaining the configuration of the storage unit 12A and the reading / writing of image data using the storage unit 12A.
  • the storage unit 12A includes a plurality of memories 121-1, 121-2, 121-3, 121-4, ..., 121-N-1, 121-N (N is a natural number).
  • the image data acquisition unit 131 divides the image indicated by the acquired image data into N areas, and stores the image data of each area in the memories 121-1, 121-2, 121-3, 121-4,. , 121-N-1, 121-N.
  • Each memory is a semiconductor memory, for example, a DDR SDRAM (Double-Data-Rate Synchronous Dynamic Random Access Memory). In this case, each memory reads and writes data at a speed of DDR5 or higher.
  • DDR SDRAM Double-Data-Rate Synchronous Dynamic Random Access Memory
  • the image processing unit 133 reads out image data from each of the memories 121-1, 121-2, 121-3, 121-4, ..., 121-N-1, 121-N and performs image processing.
  • Image data written to the memory 121-i (1 ⁇ i ⁇ N) is represented as “IMG-i”
  • image data read from the memory 121-i is represented as “IMG-ia”.
  • FIG. 16 is a flowchart showing processing executed in the display system 1.
  • the operation when the terminal device 10-1 is the image data transmission side for the video conference and the terminal device 10-2 is the image data reception side will be described.
  • the image data acquisition unit 111 in the terminal device 10-1 acquires image data obtained by imaging the spatial region R1 from the imaging device 30-1 using the imaging device interface 17 (step S51). .
  • the image data acquisition unit 111 writes the image data in the storage unit 12A (step S52).
  • the image data acquisition unit 111 defines elliptical areas G1 to G256, and allocates the memory of the storage unit 12A for each of the elliptical areas.
  • Each of the elliptical areas G1 to G256 here divides the image indicated by the image data into M (16 here) rectangular image areas in the X direction and N (16 here) rectangular image areas in the Y direction. This corresponds to each image area.
  • the elliptical region Gj is a region that includes the rectangular image region Ij shown in FIG.
  • the image area Ij is, for example, a rectangular area having 540 pixels in the X direction and 480 pixels in the Y direction.
  • the ellipse area Gj is specified by an ellipse that passes through all four vertices of the rectangular image area Ij. For this reason, adjacent ellipse areas overlap in some areas.
  • the image is divided into 16 image regions in each of the X direction and the Y direction, but this is only an example.
  • the image data acquisition unit 111 stores the color information and coordinate information of each pixel included in the elliptical region Gj in association with each other in the memory 121-j.
  • the image data acquisition unit 111 stores color information in a memory for each group while associating RGB 8-bit color information and 12-bit coordinate information.
  • the coordinate information is 13 bits.
  • the image data acquisition unit 141 acquires image data obtained by imaging the user U2 from the imaging device 30-2 via the imaging device interface 17 (step S53).
  • the line-of-sight acquisition unit 142 detects the line of sight of the user U2 based on the image data, and acquires line-of-sight information (step S54).
  • the line-of-sight transmission unit 143 transmits the line-of-sight information of the user U2 to the terminal device 10-1 using the communication unit 14 (step S55).
  • the line-of-sight acquisition unit 132 acquires the line-of-sight information of the user U2 using the communication unit 14 (step S56).
  • the image processing unit 133 reads the image data from the storage unit 12A (step S57). Since the image processing unit 133 stores the image data in separate memories for each group, the image processing unit 133 can read the image data in parallel with a plurality of memories while designating the memory. In the present embodiment, the image processing unit 133 changes the data reading method between the elliptical area where the line of sight of the user U2 is facing and the other area based on the line of sight information of the user U2.
  • the image processing unit 133 includes all the regions in the elliptical region including the region corresponding to the outer peripheral portion of the elliptical region.
  • the outer peripheral portion refers to a region excluding a rectangular region inside the elliptical region in the elliptical region.
  • the outer peripheral part of the elliptical area G1 is an area excluding the rectangular area I1 in the elliptical area G1.
  • the image processing unit 133 reads image data with 8K resolution for the first region T1.
  • the image processing unit 133 reads data of all pixels in the elliptical area G1.
  • the image processing unit 133 reads data for pixels included in the rectangular region inside the elliptical region, and data on the outer peripheral portion of the elliptical region. Is not read.
  • the image processing unit 133 does not display all the pixels in the elliptical areas G2 to G64, but the rectangular areas inside the elliptical areas G2 to G64 (that is, rectangular areas I2 to I64).
  • the pixel data included in () is read.
  • the image processing unit 133 reads data for the rectangular area while skipping coordinates one by one in each of the X direction and the Y direction. In the present embodiment, the image processing unit 133 reads image data with 4K resolution for the second region T2.
  • the image processing unit 133 performs different image processing in the first region T1 and the second region T2 by changing the data reading method.
  • the image processing unit 133 reads out data for the elliptical areas G2 and G9 adjacent to the elliptical area G1 so as to overlap with the elliptical area G1 for some areas.
  • the image processing unit 133 may give priority to the data read first, for example.
  • the size of the elliptical area corresponding to the direction of the line of sight of the user U2 is fixed.
  • the present invention is not limited to this, and the image processing unit 133 may read data by changing the size of the elliptical area.
  • the image processing unit 133 performs processing to divide the image into eight image regions in each of the X direction and the Y direction in parallel with processing to divide the image into 16 image regions. Also good.
  • the rectangular area inside the elliptical area is an area of 960 pixels in the X direction and 540 pixels in the Y direction.
  • the image processing unit 133 then divides the ellipse area into 16 parts in each of the X direction and the Y direction according to the direction of the line of sight of the user U2, and the ellipse area divided into 8 parts in each of the X direction and the Y direction.
  • One oval area corresponding to the line of sight of the user U2 is selected. It is desirable for the image processing unit 133 to select an elliptical region that is as close as possible to the region where the line of sight of the user U2 is directed. This substantially changes the size of the elliptical area according to the direction of the line of sight of the user U2.
  • the image processing unit 133 may divide into 14 elliptical areas in the X direction and 16 elliptical areas in the Y direction, or may divide into 6 elliptical areas in the X direction and 8 elliptical areas in the Y direction.
  • the elliptical area is an elliptical area that is longer in the Y direction than in the X direction. In this case, some of the memories 121-1 to 121-N in the storage unit 12A are not used.
  • the output unit 134 outputs the image data of the first region T1 having the resolution of 8K and the composite image data and the region information in which the image data of the second region having the resolution of 4K is one frame, and the region information. It is transmitted to the terminal device 10-2 (step S58).
  • the output unit 134 may compress the composite image data so that the bit rate of the composite image data transmission is, for example, about 10 to 15 Mbps.
  • the output unit 115 compresses the composite image data using H.264 / MPEG4-AVC, XAVC, AVCHD, or other methods and transmits the compressed image data.
  • the area information includes information on coordinates that specify the elliptical area that forms the first area T1. Note that the output unit 134 transmits audio data indicating the sound detected by the microphone 16 in association with the synthesized image data.
  • the image data acquisition unit 144 acquires the composite image data and the region information from the terminal device 10-1 using the communication unit 14 (step S59).
  • the display control unit 125 displays the image on the display area 21-2 by outputting the image data to the display device 20-2 using the display device interface 15 (step S60).
  • the display control unit 145 separates the image data of the first region T1 and the image data of the second region T2 using the line-of-sight information of the user U2, and then synthesizes them as image data with a resolution of 8K. To the display device 20-2.
  • the user U2 visually recognizes the image displayed in the display area 21-2.
  • the above-described processing is also performed when the terminal device 10-2 transmits image data to the terminal device 10-1.
  • the operation of the terminal device 10-1 is performed by the terminal device 10-2, and the operation of the terminal device 10-2 is performed by the terminal device 10-1.
  • the above processing is executed sequentially (for example, at a predetermined cycle), whereby image data related to the video conference is transmitted in real time.
  • the amount of image data to be transmitted by the terminal devices 10-1 and 10-2 can be reduced.
  • the data amount of 4K image data that should originally be transmitted is compressed to about 1 ⁇ 2.
  • the user can obtain an immersive feeling because the area he / she is viewing is displayed at a high resolution.
  • a natural image with almost no delay in image processing can be obtained while the image region is divided into elliptical regions.
  • the elliptical region is close to the shape of the human visual field.
  • the experience of clearly displaying an object with a line of sight is close to the function of the human eye. Therefore, the user can obtain an immersive feeling higher than the resolution.
  • the process of extracting a specific region based on line-of-sight information is extremely expensive.
  • the image can be divided into a plurality of image areas based on the line-of-sight information, and data can be read and written by designating a memory corresponding to each image area, so that real-time processing can be performed with a simpler configuration. It becomes possible to do.
  • the terminal device 10-1 divides an image into a plurality of elliptical areas, and reads / writes data for each elliptical area.
  • FIG. 20 is a block diagram showing a functional configuration of the display system 1C of the present embodiment.
  • the terminal device 10-1 will be described on behalf of functions related to the image data transmission side related to the video conference, and the HMD 40 will be described on behalf of the functions related to the image data reception side.
  • the control unit 11 of the terminal device 10-1 includes an image data acquisition unit 131, a line-of-sight acquisition unit 132, an image processing unit 133A, and an output unit 134.
  • the image processing unit 133A is different from the third embodiment described above in that image data including depth information is generated for a region other than the region where the line of sight of the user U2 is directed, that is, for pixels included in the second region.
  • the control unit 41 includes an image data acquisition unit 441, a line-of-sight acquisition unit 442, a line-of-sight transmission unit 443, an image data acquisition unit 444, and a display control unit 445.
  • the image data acquisition unit 441 acquires image data captured from the imaging unit 47.
  • the line-of-sight acquisition unit 442 detects the line of sight of the user U2 and acquires line-of-sight information.
  • the line-of-sight transmission unit 443 transmits the line-of-sight information to the terminal device 10-1 using the communication unit 44.
  • the image data acquisition unit 444 uses the communication unit 44 to acquire image data after image processing is performed from the terminal device 10-1.
  • the display control unit 445 displays the image in the display area 451 by outputting the image data to the display unit 45.
  • FIG. 21 is a flowchart showing processing executed in the display system 1A.
  • the operation when the terminal device 10-1 is the image data transmission side for the video conference and the HMD 40 is the image data reception side will be described.
  • the image data acquisition unit 131 acquires image data obtained by imaging the spatial region R1 from the imaging device interface 17 (step S51).
  • the image data acquisition unit 131 stores the image data in the storage unit 12A (step S52).
  • the image data acquisition unit 441 acquires image data obtained by imaging the eyes of the user U2 from the imaging unit 47 (step S61).
  • the line-of-sight transmission unit 423 acquires the line-of-sight information of the user U2 (step S62) and transmits it to the terminal device 10-1 using the communication unit 44 (step S63).
  • the line-of-sight acquisition unit 132 acquires the line-of-sight information of the user U2 using the communication unit 14 (step S64).
  • the image processing unit 133A reads image data from the storage unit 12A (step S65).
  • the reading of the image data in step S65 may be performed by the same method as the reading of the image data in step S57. Further, the image processing unit 133A adds depth information to the image data (step S66).
  • FIG. 22 is a diagram illustrating a specific example of processing executed by the image processing unit 133A.
  • a first region Tp9 illustrated in FIG. 22 is a region corresponding to a region where the user U2 is facing.
  • the second region Tp10 is a region excluding the first region Tp9.
  • the image processing unit 133A performs 3DCG conversion with depth information added for each pixel for the second region Tp10.
  • the pixel P9 in the first region Tp9 includes coordinate information (X9, Y9) and color information (R9, G9, B9).
  • the pixel P10 in the second region Tp10 further includes depth information D10 in addition to the coordinate information (X10, Y10) and the color information (R10, G10, B10).
  • the output unit 134 transmits the image data of the first region Tp9, the composite image data including the image data of the second region Tp10 as one frame, and the region information to the HMD 40 using the communication unit 14 (Step S67).
  • the image data acquisition unit 444 acquires the composite image data and the region information from the terminal device 10-1 using the communication unit 44 (step S68).
  • the display control unit 445 displays the image in the display area 451 by outputting the composite image data to the display unit 45 (step S69).
  • the amount of image data to be transmitted by the terminal devices 10-1 and 10-2 can be reduced.
  • the data amount of the image data to be actually transmitted is approximately 1 ⁇ 2.
  • the user U2 can obtain a high immersive feeling because the video in the range that the user U1 is viewing and the image in the range in which the user U1 is looking are displayed in high resolution 3DCG.
  • the display system 1C the same effects as those of the display system 1B of the third embodiment described above can be obtained.
  • the display system according to the present embodiment is different from the first embodiment described above in that different image processing is performed in an area corresponding to the position of a person in an image indicated by image data and an area other than that.
  • FIG. 23 is a block diagram showing a functional configuration of the display system 1D of the present embodiment.
  • the terminal device 10-1 will be described on behalf of functions related to the image data transmission side related to the video conference, and the terminal device 10-2 will be described on behalf of the functions related to the image data reception side.
  • the control unit 11 of the terminal device 10-1 includes an image data acquisition unit 111, a first line-of-sight acquisition unit 112, a second line-of-sight acquisition unit 113, an image processing unit 114, an output unit 115, and a detection unit. 116.
  • the detection unit 116 detects the position of a person in the image indicated by the image data acquired by the image data acquisition unit 111. For example, the detection unit 116 analyzes the image data and verifies the position of the person.
  • the image processing unit 114 performs different image processing on the fourth region corresponding to the position of the person and a fifth region different from the fourth region.
  • FIG. 24 is a flowchart showing an operation when the terminal device 10-1 transmits image data related to a video conference.
  • characteristic portions of the present embodiment will be described.
  • the image data acquisition unit 111 acquires image data obtained by imaging the space region R1 via the imaging device interface 17 (step S41).
  • the image data acquisition unit 111 stores the image data in the storage unit 12.
  • the first line-of-sight acquisition unit 112 detects the line of sight of the user U1 existing in the space region R1 based on the image data, and acquires the line-of-sight information of the user U1 (step S42).
  • the second line-of-sight acquisition unit 113 acquires the line-of-sight information of the user U2 using the communication unit 14 (step S43).
  • the detection unit 116 detects the position of the person in the image (step S44).
  • the detection unit 116 detects the position of the person by recognizing the face image of the person from the image indicated by the image data.
  • the face image recognition algorithm is not particularly limited. For example, there is a method of extracting feature points indicating the characteristics of a human face from an image.
  • the image processing unit 114 reads out the image data from the storage unit 12, and performs different image processing in the fourth area and the fifth area based on the image data (step S45).
  • FIG. 25 is a diagram illustrating a specific example of processing executed by the image processing unit 114.
  • image processing when an image IMG4 is to be displayed will be described. It is assumed that the fourth region Tp7 corresponding to the position of the person is detected in the image IMG4.
  • the fourth region Tp7 is a region including the image IMG-U1 of the user U1 imaged by the imaging device 30.
  • a region other than the fourth region Tp7 is defined as a fifth region Tp8.
  • the image processing unit 114 generates first format image data for the fourth region Tp7, and generates second format image data for the fifth region Tp8.
  • the image processing unit 114 may specify the fourth region regardless of whether the line of sight of the user U1 or the user U2 is facing.
  • the image processing unit 114 may specify a region where the line of sight of the user U1 or the user U2 is facing and where a person is located as the fourth region.
  • the output unit 115 transmits the image data of the fourth region Tp7, the composite image data including the image data of the fifth region Tp8 as one frame, and the region information to the terminal device 10-2 using the communication unit 14 ( Step S46).
  • the above-described processing is also performed when the terminal device 10-2 transmits image data to the terminal device 10-1.
  • the operation of the terminal device 10-1 is performed by the terminal device 10-2, and the operation of the terminal device 10-2 is performed by the terminal device 10-1.
  • the image processing unit 114 may specify a plurality of the fourth regions according to the positions of the plurality of people. Thereby, even if it is a meeting where a plurality of people participate, each person can be displayed with relatively high image quality.
  • a human image can be displayed with high quality, and a high immersive feeling can be obtained.
  • the detection unit 116 detects the position of a person based on the audio signal detected by the microphone 16. That is, when the microphone 16 is composed of a plurality of microphones (for example, a stereo microphone or a speaker array), the direction of arrival of the sound is determined based on the difference in timing at which a specific sound is detected by each microphone. It can be detected. Therefore, the detection unit 116 may specify the position of the person in the image based on the arrival direction of the sound detected by the microphone 16 and specify the fourth region corresponding to the position.
  • the detection unit 116 recognizes the voice detected by the microphone 16 to determine whether the voice is a person's voice, and specifies the position of the person in the image based on the direction of the sound corresponding to the person's voice.
  • the fourth region corresponding to the position may be specified.
  • the configuration for detecting the position of a person and performing image processing based on the detection result described in the fifth and sixth embodiments is also applied to the display systems described in the second to fourth embodiments. You can also.
  • the terminal devices 10-1 and 10-2 specify the first area and the second area based on the line-of-sight information of the user U1 and the user U2.
  • the terminal device 10-1 may identify the first area based on at least the line-of-sight information of the user U1, and perform different image processing on the first area and the second area that is an area other than the first area.
  • the terminal device 10-2 may identify the first area based on at least the line-of-sight information of the user U2 and perform different image processing on the first area and the area other than the first area.
  • the terminal device 10-1 further specifies the third area based on the line-of-sight information of the user U1, and images different in the third area and the second area Processing may be performed. Further, the terminal device 10-2 may further specify the third region based on the line-of-sight information of the user U2, and perform different image processing on the third region and the second region.
  • the image processing unit 133 may perform the following image processing, for example, in order to enhance the effect of guiding the user's line of sight.
  • the image processing unit 133 sets the overlapped area in the third area. The specified process may be performed.
  • the image processing unit 133 You may perform the focus adjustment process for focusing.
  • the image processing unit 133 performs a focus adjustment process and a process for increasing the resolution for the third area corresponding to the line of sight of the other user, and the first area corresponding to the line of sight of the user of the own terminal device. May perform processing for higher resolution without performing focus adjustment processing. That is, the image processing unit 133 may change the image processing for part or all of the first region, the third region, and the region where the first region and the third region overlap. Thereby, the improvement of the effect which guides the user's eyes
  • the image processing units 133 and 133A may incline or deform the elliptical shape according to the inclination of the eye edge of the user (the inclination of the eyeline).
  • the image processing units 133 and 133A for example, the elliptical region so that the line segment connecting the user's inner eye angle and the outer eye angle (the major axis when the eye is regarded as an ellipse) matches the major axis direction of the elliptical region. And divide the image into a plurality of regions.
  • the inclination of the edge of the user's eyes is identified by analyzing an image obtained by capturing the eyes of the user U2 by the terminal device 10-2 or the HMD 40, and transmitted to the terminal device 10-1 together with the line-of-sight information of the user U2. .
  • the effect which can display the image which can give an immersive feeling can be anticipated.
  • the image indicated by the image data is divided into a plurality of elliptical areas.
  • the edge may include a curved portion and be divided into image regions of other shapes having a longitudinal direction.
  • the gaze movement destination is predicted based on the previous gaze detection result, and the predicted gaze is shown.
  • the line-of-sight information may be generated.
  • this prediction may be predicted using artificial intelligence based on the result of machine learning of line-of-sight information.
  • the data transfer bit rate is 10 to 15 Mbps, but is not limited thereto.
  • 4K and 8K data may be transmitted as they are.
  • the terminal device on the receiving side instead of the transmitting side may execute the image processing. In this case, it becomes unnecessary to communicate line-of-sight information and the like, and simplification of the configuration of the display system can be expected.
  • the subject that executes each function of the above-described embodiment is not limited.
  • the display system of the present invention includes a first area corresponding to the line of sight of a first user existing in the spatial area based on image data obtained by imaging at least a part of the predetermined spatial area, the first area, An image processing unit that performs different image processing in different second regions, and a display control unit that displays an image including the first region and the second region after the image processing is performed in a predetermined display region And having.
  • the display system of the present invention divides the image indicated by the image data into a plurality of regions including a curved portion at the edge, and selects the plurality of regions according to the line of sight of the user facing a predetermined display region.
  • An image processing unit that performs different image processing in the first region, a second region different from the first region, and an image including the first region and the second region after the image processing is performed.
  • a display control unit for displaying in the display area.
  • eyeball image analysis black eye size
  • image processing according to the line-of-sight is performed during a period in which a person's eye-gaze movement is detected.
  • the image processing may not be performed.
  • the image may be enlarged and displayed during the period in which the eye movement is detected.
  • the camera that captures the user and the camera that detects the user's facial expression are the same, but may be separate cameras.
  • the effect of increasing recognition accuracy can be expected.
  • the image processing unit first converts only the data of each face (or whole body) into 3DCG, and superimposes the image data of two or more persons other than itself on the new image data. By combining them, it is possible to generate image data in which a person other than yourself is contained in the same image. Thereby, a highly immersive conference can be held even in a video conference with three participants.
  • the present invention is not limited to a system for conducting a video conference, and can be applied to various systems that display images.
  • Each function described in each embodiment described above can be realized by one or a plurality of programs and can be realized by a linkage of one or a plurality of hardware resources.
  • the programs PG1 and PG2 for realizing this function can be read by a computer such as various magnetic recording media, optical recording media, magneto-optical recording media, and semiconductor memories. May be provided in a state of being stored in a different recording medium.
  • this program may be distributed via a network.
  • the present invention can also be understood as an image processing method.
  • 1, 1A, 1B, 1C, 1D Display system, 10-1, 10-2: Terminal device, 11, 41: Control unit, 12, 12A, 42: Storage unit, 13, 43: Operation unit, 14, 44 : Communication unit, 15: Display device interface, 16, 46: Microphone, 17: Imaging device interface, 20-1, 20-2: Display device, 21-1, 21-2: Display area, 30-1, 30- 2: imaging device, 40: HMD, 45: display unit, 47: imaging unit, 50: position detection device, 111, 131: image data acquisition unit, 112: first line-of-sight acquisition unit, 113: second line-of-sight acquisition unit, 114, 114A, 133, 133A: image processing unit, 115, 134: output unit, 116: detection unit, 121, 141: image data acquisition unit, 121-1 to 121-N: memory, 122: third line-of-sight acquisition unit , 123 143: eye gaze transmission unit, 124, 144: image data acquisition unit, 125, 145: display control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

表示システムは、所定の空間領域の少なくとも一部を撮像した画像データに基づいて、前記空間領域に存在する第１ユーザの視線に応じた第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行う画像処理部と、前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を、所定の表示領域に表示する表示制御部と、を有する。

Description

表示システム、画像処理回路、画像処理方法、及びプログラム
　本発明は、ユーザに没入感を与えうる画像を表示するための技術に関する。
　近年、ユーザに現実世界と錯覚させるような視覚的効果を与えるための技術が知られている。かかる技術として、例えば、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ：仮想現実）、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ：拡張現実）、及びＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：複合現実）がある。見る者により臨場感のある画像を提供するための技術として、従来から様々な技術が提案されている（例えば特許文献１～６）。
特開平２－２９２７８７号公報 特開２０１７－５５３５５号公報 特開平１－１４１４７９号公報 特開平２－１００４８８号公報 特開２００５－１３０２５１号公報 特開２０１０－３５４２５７号公報
　特許文献１～６に記載の発明では、画像を見る者がその画像のどの領域を見ているかを特定し、その領域を相対的に高い画質で表示する。
　本発明の目的の一つは、ユーザに没入感を与えうる画像を表示するための技術を提供する。
　本発明の一実施形態は、所定の空間領域の少なくとも一部を撮像した画像データに基づいて、前記空間領域に存在する第１ユーザの視線に応じた第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行う画像処理部と、前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を、所定の表示領域に表示する表示制御部と、を有する表示システムを提供する。
　本発明の一実施形態は、画像データが示す画像を、縁部に曲線部分を含む複数の領域に区分し、前記複数の領域のうちから所定の表示領域を向くユーザの視線に応じて選択した第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行う画像処理部と、前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を、前記表示領域に表示する表示制御部と、を有する表示システムを提供する。
　本発明の一実施形態は、所定の空間領域の少なくとも一部を撮像した画像データに基づいて、前記空間領域に存在する第１ユーザの視線に応じた第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行う画像処理部と、前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を示す画像データを出力する出力部と、を有する画像処理回路を提供する。
　本発明の一実施形態は、画像データが示す画像を、縁部に曲線部分を含む複数の領域に区分し、前記複数の領域のうちから所定の表示領域を向くユーザの視線に応じて選択した第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行う画像処理部と、前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を示す画像データを出力する出力部と、を有する画像処理回路を提供する。
　本発明の一実施形態は、コンピュータに、所定の空間領域の少なくとも一部を撮像した画像データに基づいて、前記空間領域に存在する第１ユーザの視線に応じた第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行う処理と、前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を示す画像データを出力する処理と、を実行させるためのプログラムを提供する。
　本発明の一実施形態は、コンピュータに、画像データが示す画像を、縁部に曲線部分を含む複数の領域に区分し、前記複数の領域のうちから所定の表示領域を向くユーザの視線に応じて選択した第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行う処理と、前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を示す画像データを出力する処理と、を実行させるためのプログラムを提供する。
　本発明の一実施形態は、所定の空間領域の少なくとも一部を撮像した画像データに基づいて、前記空間領域に存在する第１ユーザの視線に応じた第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行うことと、前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を示す画像データを出力することと、を含む画像処理方法を提供する。
　本発明の一実施形態は、画像データが示す画像を、縁部に曲線部分を含む複数の領域に区分し、前記複数の領域のうちから所定の表示領域を向くユーザの視線に応じて選択した第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行うことと、前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を示す画像データを出力することと、を含む画像処理方法を提供する。
　本発明によれば、ユーザに没入感を与えうる画像を表示するための技術を提供することができる。
本発明の第１実施形態である表示システムの全体構成を示すブロック図である。 本発明の第１実施形態の端末装置のハードウェア構成を示すブロック図である。 本発明の第１実施形態の表示システムの機能構成を示すブロック図である。 本発明の第１実施形態の表示システムで実行される処理を示すフローチャートである。 本発明の第１実施形態の表示システムで実行される処理の具体例を説明する図である。 本発明の第１実施形態の表示システムで実行される処理の具体例を説明する図である。 本発明の第１実施形態の表示システムで実行される処理の具体例を説明する図である。 本発明の第１実施形態の表示システムで実行される処理の具体例を説明する図である。 本発明の第２実施形態である表示システムの全体構成を示すブロック図である。 本発明の第２実施形態のＨＭＤのハードウェア構成を示すブロック図である。 本発明の第２実施形態の表示システムの機能構成を示すブロック図である。 本発明の第２実施形態の表示システムで実行される処理を示すフローチャートである。 本発明の第２実施形態の表示システムで実行される処理の具体例を説明する図である。 本発明の第２実施形態の表示システムの機能構成を示すブロック図である。 本発明の第２実施形態の記憶部の構成と、記憶部を用いた画像データの読み書きを説明する図である。 本発明の第２実施形態の表示システムで実行される処理を示すフローチャートである。 本発明の第３実施形態の表示システムで実行される処理の具体例を説明する図である。 本発明の第３実施形態の表示システムで実行される処理の具体例を説明する図である。 本発明の第３実施形態の表示システムで実行される処理の具体例を説明する図である。 本発明の第４実施形態の表示システムの機能構成を示すブロック図である。 本発明の第４実施形態の表示システムで実行される処理を示すフローチャートである。 本発明の第４実施形態の表示システムで実行される処理の具体例を説明する図である。 本発明の第５実施形態の表示システムの機能構成を示すブロック図である。 本発明の第５実施形態の表示システムで実行される処理を示すフローチャートである。 本発明の第５実施形態の表示システムで実行される処理の具体例を説明する図である。
　以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。なお、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号（数字の後にＡ、Ｂなどを付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。以下、本発明の表示システムを、テレビ会議を行うためのシステムに適用した場合を説明する。
［第１実施形態］
　図１は、本発明の第１実施形態に係る表示システム１の全体構成を示すブロック図である。表示システム１は、端末装置１０－１，１０－２と、表示装置２０－１，２０－２と、撮像装置３０－１，３０－２と、を含む。端末装置１０－１、表示装置２０－１、及び撮像装置３０－１は、ユーザＵ１が存在する空間領域Ｒ１に設けられる。端末装置１０－２、表示装置２０－２及び撮像装置３０－２は、ユーザＵ２が存在する空間領域Ｒ２に設けられる。ユーザＵ１，Ｕ２は、それぞれテレビ会議の参加者である。空間領域Ｒ１と空間領域Ｒ２は、互いに離れた空間領域である。空間領域Ｒ１および空間領域Ｒ２は、例えば室空間であるが、これに限られない。端末装置１０－１と端末装置１０－２とは通信回線ＮＷを介して通信する。通信回線ＮＷは、双方向の通信を行うための通信回線である。通信回線ＮＷは、公衆の通信回線（例えばインターネット）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、専用線またはその他の通信回線である。なお、本実施形態では、テレビ会議は一対一のユーザ間で行われる場合を説明するが、一対複数のユーザ間で行われてもよい。
　端末装置１０－１は、空間領域Ｒ２の画像及び音声を、表示装置２０－１を用いて出力する。表示装置２０－１は、液晶ディスプレイ、有機ＥＬディスプレイ、またはその他の表示装置である。表示装置２０－１は、例えば、４Ｋまたは８Ｋの解像度で画像を表示する装置である。４Ｋの解像度の画像は、水平方向における１インチあたりの画素数が３８４０で、垂直方向における１インチあたりの画素数が２１６０である。８Ｋの解像度の画像は、水平方向における１インチあたりの画素数が７６８０で、垂直方向における１インチあたりの画素数が４３２０である。表示領域２１－１は、ユーザＵ１の視野全体またはほぼ全体を覆いうるサイズの表示領域である。
　撮像装置３０－１は、空間領域Ｒ１の少なくとも一部を撮像し、撮像した画像を示す画像データを、端末装置１０－１へ出力する。空間領域Ｒ１を撮像した画像は、典型的には、ユーザＵ１およびその周辺を撮像した画像である。ただし、空間領域Ｒ１を撮像した画像は、ユーザＵ１の周辺のみ、例えばユーザＵ１の視線が向く領域を撮像した画像であってもよい。撮像装置３０－１は、例えば４Ｋまたは８Ｋの解像度の画像を示す画像データを出力する。端末装置１０－１は、撮像装置３０－１から取得した画像データ、及び空間領域Ｒ１における音声を示す音声データを、端末装置１０－２へ送信する。
　端末装置１０－２は、空間領域Ｒ１の画像及び音声を、表示装置２０－２を用いて出力する。表示装置２０－２は、例えば、空間領域Ｕ１を撮像した画像を表示領域２１－２に表示し、また、空間領域Ｕ１で検出された音声を出力する。表示領域２１－２は、ユーザＵ２の視野全体またはほぼ全体を覆いうるサイズの表示領域である。
　撮像装置３０－２は、空間領域Ｒ２の少なくとも一部を撮像し、撮像した画像を示す画像データを、端末装置１０－２へ出力する。空間領域Ｒ２を撮像した画像は、典型的には、ユーザＵ２およびその周辺を撮像した画像である。ただし、空間領域Ｒ２を撮像した画像は、ユーザＵ２の周辺のみ、例えばユーザＵ２の視線が向く領域を撮像した画像であってもよい。端末装置１０－２は、撮像装置３０－２から取得した画像データ、及び空間領域Ｒ２における音声を示す音声データを、端末装置１０－１へ送信する。なお、表示装置２０－２は表示装置２０－１と同じ構成でよく、また、撮像装置３０－２は撮像装置３０－１と同じ構成でよい。
　図２は、端末装置１０－１のハードウェア構成を示すブロック図である。端末装置１０－１は、制御部１１と、記憶部１２と、操作部１３と、通信部１４と、表示装置インタフェース１５と、マイクロフォン１６と、撮像装置インタフェース１７と、を有する。制御部１１は、端末装置１０－１の各部を制御する。制御部１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を含む。制御部１１は本発明の画像処理回路に相当する。
　記憶部１２は、データを記憶する。記憶部１２は、例えば、プログラムＰＧ１を記憶する。プログラムＰＧ１は、制御部１１に所定の機能を実行させるためのプログラムである。記憶部１２は、例えば、制御部１１がワークエリアとして使用するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含む。また、記憶部１２は、光学式記録媒体、磁気記録媒体、及び半導体記録媒体で例示される任意の形式の記録媒体を含みうる。
　操作部１３は、ユーザの操作を受け付ける。操作部１３は、例えばキーボードおよびマウスを含む。通信部１４は、通信回線ＮＷを介して端末装置１０－１と通信するインタフェースである。通信部１４は、有線および無線のいずれによって通信してもよい。表示装置インタフェース１５は、表示装置２０－１との間でデータの入出力を行うインタフェースである。マイクロフォン１６は、音を検出し、検出した当該音を音信号に変換する。撮像装置インタフェース１７は、撮像装置３０－１との間でデータの入出力を行うインタフェースである。
　なお、本実施形態では、端末装置１０－１と端末装置１０－２とは同じハードウェア構成である。すなわち、端末装置１０－２の構成は、上述した端末装置１０－１の説明において、「表示装置２０－１」を「表示装置２０－２」と、「撮像装置３０－１」を「撮像装置３０－２」と読み替えた構成に等しい。
　図３は、表示システム１の機能構成を示すブロック図である。端末装置１０－１および端末装置１０－２は、互いに同じ機能を有する。説明を分かりやすくするため、以下では、端末装置１０－１についてはテレビ会議に係る画像データの送信側、端末装置１０－２については該画像データの受信側に関する機能を説明する。端末装置１０－１の制御部１１は、画像データ取得部１１１と、第１視線取得部１１２と、第２視線取得部１１３と、画像処理部１１４と、出力部１１５と、を含む。端末装置１０－２の制御部１１は、画像データ取得部１２１と、第３視線取得部１２２と、視線送信部１２３と、画像データ取得部１２４と、表示制御部１２５と、を含む。
　画像データ取得部１１１は、撮像装置インタフェース１７を用いて、撮像装置３０－１から空間領域Ｒ１の少なくとも一部を撮像した画像データを取得する。画像データ取得部１１１は、画像データを記憶部１２に記憶させる。
　第１視線取得部１１２は、画像データ取得部１１１が取得した画像データに基づいて空間領域Ｒ１に存在するユーザＵ１の視線を検出してユーザＵ１の視線情報を取得する。本実施形態において、視線情報は、少なくとも視線の方向を特定するデータを含む。
　第２視線取得部１１３は、通信部１４を用いて、端末装置１０－２からユーザＵ２の視線情報を取得する。ユーザＵ２の視線情報は、少なくとも、表示領域２１－２を向くユーザＵ２の視線の方向を特定するデータを含む。
　画像処理部１１４は、記憶部１２から画像データを読み出して、当該画像データに基づいて、ユーザＵ１の視線に応じた第１領域と、該第１領域と異なる第２領域とで異なる画像処理を行う。画像処理部１１４は、さらに、ユーザＵ２の視線に応じた第３領域と、該第２領域とで異なる画像処理を行う。出力部１１５は、画像処理が行われた後の画像データを、通信部１４を用いて端末装置１０－２へ出力する。
　端末装置１０－２において画像データ取得部１２１は、撮像装置インタフェース１７を用いて、撮像装置３０－２から空間領域Ｒ２を撮像した画像データを取得する。第３視線取得部１２２は、表示領域２１－２を向くユーザＵ２の視線を検出し、視線情報を取得する。視線送信部１２３は、該視線情報を、通信部１４を用いて端末装置１０－１へ送信する。画像データ取得部１２４は、通信部１４を用いて、端末装置１０－１から画像処理が行われた後の画像データを取得する。表示制御部１２５は、該画像データを、表示装置インタフェース１５を用いて表示装置２０－２へ出力することにより、表示領域２１－２に画像を表示する。
　なお、端末装置１０－１の制御部１１も、画像データ取得部１２１と、第３視線取得部１２２と、視線送信部１２３と、画像データ取得部１２４と、表示制御部１２５と、を含む。端末装置１０－２の制御部１１も、画像データ取得部１１１と、第１視線取得部１１２と、第２視線取得部１１３と、画像処理部１１４と、出力部１１５と、を含む。
　次に、本実施形態の動作を、具体例を挙げながら説明する。図４は、表示システム１で実行される処理を示すフローチャートである。以下では、端末装置１０－１がテレビ会議に係る画像データの送信側、端末装置１０－２が該画像データの受信側である場合の動作を説明する。
　テレビ会議が開始されると、端末装置１０－１において画像データ取得部１１１は、撮像装置インタフェース１７を用いて、撮像装置３０－１から空間領域Ｒ１を撮像した画像データを取得する（ステップＳ１１）。画像データ取得部１１１は、画像データを記憶部１２に記憶させる。ここにおいて画像データは、１フレーム（１コマ）の画像（すなわち、静止画）を示すデータである。画像データは、少なくとも、Ｘ方向、およびＸ方向に交差するＹ方向に沿って配置された複数の画素の色情報を含む。色情報は、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の複数の色成分の各々の強度を示すパラメータである。各色成分の色情報は、例えば８ｂｉｔ（２５６階調）のデータであるが、これに限られない。
　図５は、画像データが示す画像の一例を示す。図５に示す画像ＩＭＧ１は、ユーザＵ１およびユーザＵ１の周辺を撮像した画像である。画像ＩＭＧ１に含まれるユーザＵ１を撮像した画像を、「画像ＩＭＧ－Ｕ１」とする。
　次に、第１視線取得部１１２は、画像データに基づいて空間領域Ｒ１に存在するユーザＵ１の視線を検出し、ユーザＵ１の視線情報を取得する（ステップＳ１２）。視線の検出のアルゴリズムは問わないが、例えば目頭と目尻で目の範囲を特定し、さらに、白目と黒目の割合に基づいて視線の方向を検出する方法がある。第１視線取得部１１２は、さらに、ユーザＵ１の眼球運動（眼球の動き）を解析して視線を検出してもよい。図５の例では、矢印Ａｒ１方向を示す視線が検出される。
　一方、端末装置１０－２において画像データ取得部１２１は、撮像装置インタフェース１７を介して、撮像装置３０－２からユーザＵ２を撮像した画像データを取得する（ステップＳ１３）。図６は、画像データが示す画像の一例を示す。図６に示す画像ＩＭＧ２は、ユーザＵ２およびユーザＵ２の周辺を撮像した画像である。画像ＩＭＧ２に含まれるユーザＵ２を撮像した画像を、「画像ＩＭＧ－Ｕ２」とする。次に、第３視線取得部１２２は、画像データに基づいて、ユーザＵ２の視線を検出して視線情報を取得する（ステップＳ１４）。図６の例では、矢印Ａｒ２方向を示す視線が検出される。
　視線送信部１２３は、ユーザＵ２の視線情報を、通信部１４を用いて端末装置１０－１へ送信する（ステップＳ１５）。端末装置１０－１において第２視線取得部１１３は、通信部１４を用いて、ユーザＵ２の視線情報を取得する（ステップＳ１６）。
　次に、画像処理部１１４は、記憶部１２から画像データを読み出し、当該画像データに基づいて、画像処理を行う（ステップＳ１７）。画像処理部１１４は、視線情報を用いて、ユーザＵ１の視線に応じた第１領域と、該第１領域と異なる第２領域とで異なる画像処理を行う。この際、画像処理部１１４は、撮像装置３０－１により撮像された領域と第１ユーザＵ１の視線（視線情報）とに応じた第１領域を特定する。第１領域は、第１ユーザＵ１が視線を向けた領域を撮像した領域である。画像処理部１１４は、さらに、ユーザＵ２の視線に応じた第３領域と、該第２領域とで異なる画像処理を行う。この際、第２視線取得部１１３は、撮像装置３０－２の位置、撮像方向、画角などの撮像に関する条件、撮像装置３０－１が撮像する画像のうちの表示領域２１－２に表示されている範囲などの情報を用いて、ユーザＵ２が見ている領域を特定してもよい。これらの情報は、ユーザによって入力されてもよいし、センサなどを用いて検知されてもよい。
　図７および図８は、表示システム１で実行される処理の具体例を説明する図である。ここでは、表示領域２１－２に画像ＩＭＧ１を表示しようとするときの画像処理を説明する。表示領域２１－２において、ユーザＵ１の視線の方向Ａｒ１に存在する領域が視線領域Ｔｄ１、ユーザＵ２の視線の方向Ａｒ２に存在する領域が視線領域Ｔｄ２であったとする。視線領域Ｔｄ１は、例えば、ユーザＵ１が資料や製品の試作品などの対象物を視認している場合は、その対象物が表示される領域である。その対象物はいかなるものであってもよい。視線領域Ｔｄ２は、例えば、ユーザＵ１の画像ＩＭＧ－Ｕ１が表示されている領域である。
　画像処理部１１４は、画像ＩＭＧ１のうち、視線領域Ｔｄ１に対応する第１領域Ｔｐ１、および視線領域Ｔｄ２に対応する第３領域Ｔｐ３を特定する。第１領域Ｔｐ１は、第１ユーザＵ１の視線が向く視線領域Ｔｄ１を撮像した画像を含む。第３領域Ｔｐ３は、第２ユーザＵ２の視線が向く視線領域Ｔｄ２に表示されている画像を含む。画像ＩＭＧ１において、第１領域Ｔｐ１および第３領域Ｔｐ３を除く領域は、第２領域Ｔｐ２である。なお、第１領域Ｔｐ１は、ユーザＵ１の視線の方向を基準とし、上下に６０度ずつ、左右に１００度ずつの領域であってもよい。第３領域Ｔｐ３は、ユーザＵ２の視線の方向を基準とし、上下に６０度ずつ、左右に１００度ずつの領域であってもよい。
　画像処理部１１４は、第１領域Ｔｐ１および第３領域Ｔｐ３と、第２領域Ｔｐ２とで異なる画像処理を行う。画像処理部１１４は、例えば、第１領域Ｔｐ１および第３領域Ｔｐ３については第１形式の画像データを生成し、第２領域Ｔｐ２については第２形式の画像データを生成する。第１形式の画像データと第２形式の画像データとでは、例えば解像度が異なる。この場合の画像処理は、図８に示すように、第１領域Ｔｐ１および第３領域Ｔｐ３における解像度を、第２領域Ｔｐ２における解像度よりも高くする処理であってもよい。解像度が高い領域ほど単位長さ（面積）当たりの画素数が多く、解像度が低い領域であるほど単位長さ（面積）当たりの画素数が少ない。換言すると、１画素のサイズは、解像度が高い領域ほど小さい。画像処理は、例えば、画像の解像度を高くする処理、および解像度を低くする処理の少なくとも一方を含む。
　画像処理は、第１領域Ｔｐ１および第３領域Ｔｐ３の解像度を変化させないで、第２領域Ｔｐ２の解像度を低くする処理であってもよい。画像処理部１１４は、例えば、第１領域Ｔｐ１および第３領域Ｔｐ３を４Ｋまたは８Ｋの解像度とし、第２領域Ｔｐ２をフルＨＤの解像度とする。なお、フルＨＤの解像度は、水平方向における１インチ当たりの画素数が１９２０で、垂直方向における１インチ当たりの画素数が１０８０である。なお、第１領域Ｔｐ１および第３領域Ｔｐ３は、例えば、画像ＩＭＧ１における１／４程度の面積である。
　画像処理は、第１領域Ｔｐ１および第３領域Ｔｐ３の解像度を高くして、第２領域Ｔｐ２の解像度を変化させない処理であってもよい。また、画像処理は、第１領域Ｔｐ１および第３領域Ｔｐ３の解像度を高くし、第２領域Ｔｐ２の解像度を低くする処理であってもよい。
　画像処理は、撮像装置の焦点の調整を再現した処理（以下「焦点調整処理」という。）を含んでもよい。焦点調整処理は、第３領域Ｔｐ３の画像をぼかす処理であるぼかし処理を含んでもよい。ぼかし処理は、例えば、所定の平滑化強度で行われる平滑化処理である。焦点調整処理は、ガウシアンフィルターを用いたぼかし処理、またはエッジ検出を用いて画像のぼかし度合いを変化させる処理を含んでもよい。また、焦点調整処理は、特定の領域にピントを合わせるように、相手方の端末装置の撮像部を制御するための処理（例えば、撮像制御を指示するデータの送信）を含んでもよい。
　出力部１１５は、第１領域Ｔｐ１および第３領域Ｔｐ３の画像データ、および第２領域Ｔｐ２の画像データを１フレームとした合成画像データ、および領域情報を、通信部１４を用いて端末装置１０－２へ送信する（ステップＳ１８）。合成画像データの伝送のビットレートが例えば１０～１５Ｍｂｐｓ程度となるように、出力部１１５は合成画像データを圧縮してもよい。この場合、出力部１１５は、Ｈ.２６４／ＭＰＥＧ４－ＡＶＣ、ＸＡＶＣ、ＡＶＣＨＤ、またはその他の方式で合成画像データを圧縮してから送信する。領域情報は、第１領域Ｔｐ１および第３領域Ｔｐ３に含まれる画素の座標情報を含む。なお、出力部１１５は、合成画像データと対応付けてマイクロフォン１６により検出された音を示す音声データを送信する。
　端末装置１０－２において画像データ取得部１２４は、通信部１４を用いて、端末装置１０－１から、合成画像データおよび領域情報を取得する（ステップＳ１９）。表示制御部１２５は、合成画像データを、表示装置インタフェース１５を用いて表示装置２０－２へ出力することにより、表示領域２１－２に画像を表示する（ステップＳ２０）。表示制御部１２５は、ユーザＵ２の視線情報を用いて、第１形式の第１領域Ｔｐ１および第３領域Ｔｐ３の画像データと、第２形式の第２領域Ｔｐ２の画像データとに分離した後、これらを第１形式の画像データとして合成してから、表示装置２０－２へ出力する。ユーザＵ２は、表示領域２１－２に表示された画像を視認する。なお、端末装置１０－２においては、端末装置１０－１から取得した音声データに基づいて、表示装置２０－２へ音声信号を出力する。これにより、表示装置２０－２は、ユーザＵ１の音声を出力する。
　端末装置１０－２が端末装置１０－１へ画像データを送信する場合も、上述した処理が行われる。この場合、上述した端末装置１０－１の動作を端末装置１０－２が行い、端末装置１０－２の動作を端末装置１０－１が行うことになる。表示システム１においては、以上の処理が逐次（例えば決められた周期）で実行されることにより、テレビ会議に係る画像データがリアルタイムで送信される。
　以上説明した第１実施形態によれば、端末装置１０－１，１０－２が送信すべき画像データのデータ量を減らすことができる。例えば、本来送信すべき画像データが４Ｋの解像度である場合、実際に送信する画像データのデータ量はおよそ１／４となる。
　また、例えばユーザＵ２は、ユーザＵ１が視線を向けている領域（第１領域Ｔｐ１）と、自身が視線を向けている領域（第３領域Ｔｐ３）の画像とを、それ以外の領域の画像よりも高い画質の画像として認識する。人間にとっては、視線の方向に存在する対象物は明確に表示されるという感覚は、本来の人間の目に非常に近い機能である。よって、ユーザは、表示領域２１－２に表示された画像について、その画像の解像度以上の没入感を得ることができる。さらに、ユーザにとっては、相手方のユーザが見ている領域も高い解像度で表示されるので、相手方の心情を理解しやすい。例えば、プレゼンテーションや専門的な事項の説明を行う場合、説明している側が相手方の理解度を把握したいことがあるが、これを的確に把握することは難しい。また、実際の対面では相手方の表情や視線からその理解度に気付きやすいが、テレビ会議では相手型が視線を逸らしていたり、理解できずに苦悶したりしていても、気付きにくいという実情がある。
　これに対し、表示システム１によれば、テレビ会議の相手方が見ている領域が、例えば高い解像度で表示されるので、相手方の心情を理解しやすい。また、表示システム１では、テレビ会議の相手方のユーザの視線を追跡して、そのユーザの視線の向く領域（第１領域）を強調する画像処理を行うこともできる。これにより、表示システム１によれば、各ユーザの視線を、相手方のユーザの視線に応じて誘導することもできる。その結果、テレビ会議に参加するユーザには、相手が納得したのかどうか、しっかりと理解しているのかどうかといった感情の機微を含んだ情報が伝わり、より相互理解が深まったテレビ会議を実施することが可能になる。これにより、これまでは遠隔地同士ではなかなか困難であった、交渉、ブレインストーミング、謝罪、悩み相談、および職場のメンタルヘルスチェックなどをテレビ会議で行うことも可能である。
［第２実施形態］
　次に、本発明の第２実施形態を説明する。図９は、本実施形態に係る表示システム１Ａの全体構成を示すブロック図である。表示システム１Ａは、本実施形態では、テレビ会議を行うためのシステムである。ただし、本実施形態では、端末装置１０－２に代えてＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）４０が用いられる点で、上述した第１実施形態と相違する。ＨＭＤ４０は、ユーザＵ２の頭部に装着されて使用される装着型の表示装置である。例えば、ユーザＵ２はＨＭＤ４０を装着して、ＨＭＤ４０の表示領域４５１に表示された画像を見る。本実施形態では、ユーザＵ２が、ユーザＵ１の講義を受ける形式のテレビ会議が行われる。位置検知装置５０は、ＨＭＤ４０の位置を検知する装置である。位置の検知の方法は問わないが、位置検知装置５０は、ＨＭＤ４０を撮像する撮像装置を含んでもよいし、ＨＭＤ４０の位置を検知するためのセンサを含んでもよい。本実施形態において、撮像装置３０－１は、いわゆる３６０°カメラまたはステレオカメラであってもよい。この場合に撮像装置３０－１は、全天球を半分に分割した半球それぞれの画像が立体射影により円形に写像された２つの円形画像を含むパノラマ画像を生成し出力する。
　図１０は、ＨＭＤ４０のハードウェア構成を示すブロック図である。ＨＭＤ４０は、制御部４１と、記憶部４２と、操作部４３と、通信部４４と、表示部４５と、マイクロフォン４６と、撮像部４７とを有する。制御部４１、記憶部４２、操作部４３、通信部４４、およびマイクロフォン４６は、上述した第１実施形態の端末装置１０－１が有する同名の要素と同じ要素である。表示部４５は、表示領域４５１に画像を表示する。表示領域４５１は、ユーザＵ２の視界を覆うように設けられている。表示部４５は、例えば液晶ディスプレイである。表示部４５の解像度は、例えば、水平方向における１インチあたりの画素数が２５６０で、垂直方向における１インチあたりの画素数が１４４０である。撮像部４７は、撮像し、撮像した画像を示す画像データを、制御部４１へ出力する。撮像部４７は、少なくともユーザＵ２の目を撮像するように設けられている。撮像部４７は、例えば、撮像素子（例えば、ＣＣＤまたはＣＭＯＳ）およびレンズを含む。
　図１１は、表示システム１Ａの機能構成を示すブロック図である。説明を分かりやすくするため、以下では、端末装置１０－１についてはテレビ会議に係る画像データの送信側、ＨＭＤ４０については該画像データの受信側に関する機能を代表して説明する。この場合、端末装置１０－１の制御部１１は、画像データ取得部１１１と、第１視線取得部１１２と、第２視線取得部１１３と、画像処理部１１４Ａと、出力部１１５と、を含む。画像処理部１１４Ａは、ユーザＵ１およびユーザＵ２の視線が向く領域以外の領域、すなわち第２領域に含まれる画素については奥行情報を含ませる点で、上述した第１実施形態と相違する。奥行情報は、具体的には、撮像視点から被写体までの距離に応じた値を示す。奥行情報は、画素毎に付与される。
　ＨＭＤ４０において制御部４１は、画像データ取得部４２１と、第３視線取得部４２２と、視線送信部４２３と、画像データ取得部４２４と、表示制御部４２５と、を含む。画像データ取得部４２１は、撮像部４７から撮像した画像データを取得する。第３視線取得部４２２は、ユーザＵ２の視線を検出し、視線情報を取得する。視線送信部４２３は、該視線情報を、通信部４４を用いて端末装置１０－１へ送信する。画像データ取得部４２４は、通信部４４を用いて、端末装置１０－１から画像処理が行われた後の画像データを取得する。表示制御部４２５は、該画像データを、表示部４５へ出力することにより、表示領域４５１に画像を表示する。
　次に、本実施形態の動作を、具体例を挙げながら説明する。図１２は、表示システム１Ａで実行される処理を示すフローチャートである。以下では、端末装置１０－１がテレビ会議に係る画像データの送信側、ＨＭＤ４０が該画像データの受信側である場合の動作を説明する。
　テレビ会議が開始されると、画像データ取得部１１１は、撮像部４７から空間領域Ｒ１を撮像した画像データを取得する（ステップＳ１１）。画像データ取得部１１１は、画像データを記憶部１２に記憶させる。次に、第１視線取得部１１２は、画像データに基づいて空間領域Ｒ１に存在するユーザＵ１の視線を検出し、ユーザＵ１の視線情報を取得する（ステップＳ１２）。ステップＳ１１，Ｓ１２の処理は、上述した第１実施形態と同じである。
　一方、ＨＭＤ４０において画像データ取得部４２１は、撮像部４７からユーザＵ２の目を撮像した画像データを取得する（ステップＳ３１）。視線送信部４２３は、この画像データに基づいてユーザＵ２の視線情報を取得し（ステップＳ３２）、該視線情報を、通信部４４を用いて端末装置１０－１へ送信する（ステップＳ３３）。端末装置１０－１において第２視線取得部１１３は、通信部１４を用いて、ユーザＵ２の視線情報を取得する（ステップＳ３４）。
　次に、画像処理部１１４Ａは、記憶部１２から画像データを読み出し、当該画像データに基づいて、画像処理を行う（ステップＳ３５）。この実施形態においても、画像処理部１１４は、ユーザＵ１の視線に応じた第１領域と、該第１領域と異なる第２領域とで異なる画像処理を行う。画像処理部１１４は、さらに、ユーザＵ２の視線に応じた第３領域と、該第２領域とで異なる画像処理を行う。この際、第２視線取得部１１３は、ＨＭＤ４０の位置、撮像方向、画角などの撮像に関する条件、撮像装置３０－１が撮像する画像のうちの表示領域４５１に表示されている範囲などの情報を用いて、ユーザＵ２が見ている領域を特定してもよい。これらの情報は、位置検知装置５０から取得されてもよいし、ユーザによって入力されてもよい。
　図１３は、画像処理部１１４Ａで実行される処理の具体例を説明する図である。ここでは、表示領域４５１に画像ＩＭＧ３を表示しようとするときの画像処理を説明する。図１３に示す第１領域Ｔｐ４は、ユーザＵ１の視線が向いている領域に対応する領域である。第３領域Ｔｐ６は、ユーザＵ２の視線が向いている領域に対応する領域である。第２領域Ｔｐ５は、第１領域Ｔｐ４および第３領域Ｔｐ６を除く領域である。なお、第１領域Ｔｐ４は、ユーザＵ１の視線の方向を基準とし、上下に６０度ずつ、左右に１００度ずつの領域であってもよい。第３領域Ｔｐ６は、ユーザＵ２の視線の方向を基準とし、上下に６０度ずつ、左右に１００度ずつの領域であってもよい。なお、第１領域Ｔｐ４および第３領域Ｔｐ６は、例えば、画像ＩＭＧ３における１／４程度の面積である。
　ただし、画像処理部１１４Ａは、第１領域Ｔｐ４および第３領域Ｔｐ６と、第２領域Ｔｐ５とで異なる画像処理を行う。画像処理部１１４Ａは、例えば、第１領域Ｔｐ４および第３領域Ｔｐ６については第１形式の画像データを生成し、第２領域Ｔｐ５については、第２形式の画像データを生成する。第１領域Ｔｐ４、第２領域Ｔｐ５、および第３領域Ｔｐ６の解像度は、上述した第１実施形態と同じで方法で決定されてよい。ただし、画像処理部１１４Ａは、第２領域Ｔｐ５に含まれる複数の画素については、画素毎に奥行情報を付加することにより３ＤＣＧ変換を行う。３ＤＣＧ変換は、３Ｄによる立体視を実現するための処理である。例えば図１３に示す第１領域Ｔｐ４に含まれる画素Ｐ４は、座標情報（Ｘ４，Ｙ４）および色情報（Ｒ４，Ｇ４，Ｂ４）を含む。第３領域Ｔｐ６に含まれる画素Ｐ６は、座標情報（Ｘ６，Ｙ６）および色情報（Ｒ６，Ｇ６，Ｂ６）を含む。一方で、第２領域Ｔｐ５の画素Ｐ５は、座標情報（Ｘ５，Ｙ５）および色情報（Ｒ５，Ｇ５，Ｂ５）に加え、さらに奥行情報Ｄ５を含む。
　なお、奥行情報の算出方法は問わない。奥行情報の算出方法は、例えば、国際公開第２０１８／０５２１００号に開示されている。例えば、画像処理部１１４Ａは、ラプラシアンフィルタを用いて抽出した輪郭の角度を解析し、画像の焦点距離に基づいて奥行情報を算出する。奥行情報は、これ以外で算出されてもよく、画像の色を解析する方法、画像のぼけ具合を解析する方法またはその他の方法であってもよい。
　出力部１１５は、第１領域Ｔｐ４および第３領域Ｔｐ６の画像データ、および第２領域Ｔｐ５の画像データを１フレームとした合成画像データ、および領域情報を、通信部１４を用いてＨＭＤ４０へ送信する（ステップＳ３６）。
　ＨＭＤ４０において画像データ取得部４２４は、通信部４４を用いて、端末装置１０－１から、合成画像データおよび領域情報を取得する（ステップＳ３７）。表示制御部４２５は、合成画像データを、表示部４５へ出力することにより、表示領域４５１に画像を表示する（ステップＳ３８）。表示制御部１２５は、領域情報を用いて、第１形式の第１領域Ｔｐ４および第２領域Ｔｐ５の画像データと、第２形式の第３領域Ｔｐ６の画像データとに分離した後、これらを第１形式の画像データとして合成してから、表示部４５へ出力する。ユーザＵ２は、表示領域４５１に表示された画像を視認する。表示制御部４２５は、奥行情報に基づいて、画像の奥行を表現した画像を表示部４５に表示させてもよい。表示制御部４２５は、例えば、奥行情報に基づいて、ユーザの視点から見た複数のオブジェクトの奥行方向の位置関係を決定する。表示システム１Ａにおいては、以上の処理が逐次（例えば決められた周期）で実行されることにより、テレビ会議に係る画像データがリアルタイムで送信される。
　以上説明した第２実施形態によれば、端末装置１０－１，１０－２が送信すべき画像データのデータ量を減らすことができる。例えば、本来送信すべき画像データが４Ｋの解像度である場合、実際に送信する画像データのデータ量は、およそ１／２となる。また、自分が見ている領域の画像、およびユーザＵ１が視線を向けている範囲の領域が、それ以外の領域とは異なる画像処理が行われた後に表示され、また、表示領域４５１の画像は３ＤＣＧで表示されるので、ユーザＵ２は高い没入感を得ることができる。
［第３実施形態］
　本実施形態では、画像における視線に応じた領域の特定の方法が、上述した第１実施形態とは相違する。
　図１４は、本実施形態の表示システム１Ｂの機能構成を示すブロック図である。端末装置１０－１および端末装置１０－２は、互いに同じ機能を有する。説明を分かりやすくするため、以下では、端末装置１０－１についてはテレビ会議に係る画像データの送信側、端末装置１０－２については該画像データの受信側に関する機能を説明する。本実施形態では、端末装置１０－１は、記憶部１２に代えて記憶部１２Ａを有する。
　端末装置１０－１の制御部１１は、画像データ取得部１３１と、視線取得部１３２と、画像処理部１３３と、出力部１３４と、を含む。端末装置１０－２の制御部１１は、画像データ取得部１４１と、視線取得部１４２と、視線送信部１４３と、画像データ取得部１４４と、表示制御部１４５と、を含む。
　画像データ取得部１３１は、撮像装置インタフェース１７を用いて、撮像装置３０－１から空間領域Ｒ１を撮像した画像データを取得する。画像データ取得部１３１は、画像データを記憶部１２Ａに記憶させる。視線取得部１３２は、通信部１４を用いて、端末装置１０－２からユーザＵ２の視線情報を取得する。ユーザＵ２の視線情報は、少なくとも、表示領域２１－２を向くユーザＵ２の視線の方向を特定するデータを含む。
　画像処理部１３３は、記憶部１２Ａから画像データを読み出し、該画像データが示す画像を、縁部に曲線部分を含む複数の領域に区分する。本実施形態では、画像処理部１３３は、該画像を複数の楕円領域に区分する。そして、画像処理部１３３は、該複数の領域のうちから選択したユーザＵ２の視線に応じた第１領域と、該第１領域と異なる第２領域とで異なる画像処理を行う。出力部１３４は、画像処理が行われた後の画像データを、通信部１４を用いて端末装置１０－２へ出力する。
　端末装置１０－２において画像データ取得部１４１は、撮像装置インタフェース１７を用いて、撮像装置３０－２から空間領域Ｒ２を撮像した画像データを取得する。視線取得部１４２は、この画像データに基づいて表示領域２１－２を向くユーザＵ２の視線を検出し、視線情報を取得する。視線送信部１４３は、該視線情報を、通信部１４を用いて端末装置１０－１へ送信する。画像データ取得部１４４は、通信部１４を用いて、端末装置１０－１から画像処理が行われた後の画像データを取得する。表示制御部１４５は、該画像データを、表示装置インタフェース１５を用いて表示装置２０－２へ出力することにより、表示領域２１－２に画像を表示する。
　なお、端末装置１０－１の制御部１１も、画像データ取得部１４１と、視線取得部１４２と、視線送信部１４３と、画像データ取得部１４４と、表示制御部１４５と、を含む。端末装置１０－２も記憶部１２Ａを有する。また、端末装置１０－２の制御部１１も、画像データ取得部１３１と、視線取得部１３２と、画像処理部１３３と、出力部１３４と、を含む。
　図１５は、記憶部１２Ａの構成と、記憶部１２Ａを用いた画像データの読み書きを説明する図である。記憶部１２Ａは、複数のメモリ１２１－１，１２１－２，１２１－３，１２１－４，・・・，１２１－Ｎ－１，１２１－Ｎ（Ｎは自然数）を含む。画像データ取得部１３１は、取得した画像データが示す画像をＮ個の領域に区分して、各領域の画像データをメモリ１２１－１，１２１－２，１２１－３，１２１－４，・・・，１２１－Ｎ－１，１２１－Ｎのいずれかに格納する。各メモリは、半導体メモリで、例えばＤＤＲ　ＳＤＲＡＭ（Ｄｏｕｂｌｅ－Ｄａｔａ－Ｒａｔｅ　Ｓｙｎｃｈｒｏｎｏｕｓ　Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。この場合、各メモリは、ＤＤＲ５以上の速度でデータの読み書きが行われる。
　画像処理部１３３は、メモリ１２１－１，１２１－２，１２１－３，１２１－４，・・・，１２１－Ｎ－１，１２１－Ｎの各々から画像データを読み出して、画像処理を行う。メモリ１２１－ｉ（１≦ｉ≦Ｎ）に書き込まれる画像データを「ＩＭＧ－ｉ」と、メモリ１２１－ｉから読み出される画像データを「ＩＭＧ－ｉａ」と表す。
　次に、本実施形態の動作を、具体例を挙げながら説明する。図１６は、表示システム１で実行される処理を示すフローチャートである。以下では、端末装置１０－１がテレビ会議に係る画像データの送信側、端末装置１０－２が該画像データの受信側である場合の動作を説明する。
　テレビ会議が開始されると、端末装置１０－１において画像データ取得部１１１は、撮像装置インタフェース１７を用いて、撮像装置３０－１から空間領域Ｒ１を撮像した画像データを取得する（ステップＳ５１）。画像データ取得部１１１は、画像データを記憶部１２Ａに書き込む（ステップＳ５２）。
　図１７および図１８は、ステップＳ５２の処理の具体例を説明する図である。画像データ取得部１１１は、図１７に示すように、楕円領域Ｇ１～Ｇ２５６をそれぞれ規定し、その楕円領域ごとに、記憶部１２Ａのメモリを割り当てる。楕円領域Ｇ１～Ｇ２５６の各々は、ここでは、該画像データが示す画像を、Ｘ方向にＭ個（ここでは１６個）、Ｙ方向にＮ個（ここでは１６個）の矩形の画像領域に分割した場合の、各画像領域に対応している。楕円領域Ｇｊは、図１８に示す矩形の画像領域Ｉｊを内側に含む領域である。画像領域Ｉｊは、例えば、Ｘ方向に５４０画素、Ｙ方向に４８０画素の矩形領域である。楕円領域Ｇｊは、矩形の画像領域Ｉｊの４つの頂点をすべて通過する楕円によって特定される。このため、隣り合う楕円領域同士は一部の領域において重なり合う。なお、ここでは、画像をＸ方向およびＹ方向のそれぞれに１６個の画像領域に分割しているが、これは一例に過ぎない。
　そして、画像データ取得部１１１は、楕円領域Ｇｊに含まれる各画素の色情報、および座標情報を対応付けて、メモリ１２１－ｊに格納する。４Ｋの解像度の場合、画像データ取得部１１１は、例えば、ＲＧＢそれぞれ８ｂｉｔの色情報と１２ｂｉｔの座標情報を対応させながら、それぞれのグループ毎に色情報をメモリに格納する。８Ｋの解像度の場合は、座標情報は１３ｂｉｔである。上述のように、隣り合う楕円領域同士は一部の領域において重なり合うから、一画素の色情報および座標情報が、複数のメモリに格納されることがある。
　図１６に戻って説明する。端末装置１０－２において画像データ取得部１４１は、撮像装置インタフェース１７を介して、撮像装置３０－２からユーザＵ２を撮像した画像データを取得する（ステップＳ５３）。次に、視線取得部１４２は、画像データに基づいて、ユーザＵ２の視線を検出して視線情報を取得する（ステップＳ５４）。
　視線送信部１４３は、ユーザＵ２の視線情報を、通信部１４を用いて端末装置１０－１へ送信する（ステップＳ５５）。端末装置１０－１において視線取得部１３２は、通信部１４を用いて、ユーザＵ２の視線情報を取得する（ステップＳ５６）。
　次に、画像処理部１３３は、記憶部１２Ａから画像データを読み出す（ステップＳ５７）。画像処理部１３３は、グループごとに別々のメモリに画像データが格納されているので、メモリを指定しながら、複数のメモリで並行して画像データを読み出すことができる。本実施形態において、画像処理部１３３は、ユーザＵ２の視線情報に基づいて、ユーザＵ２の視線が向いている楕円領域と、それ以外の領域とで、データの読み出し方法を異ならせる。
　具体的には、画像処理部１３３は、ユーザＵ２の視線が向いている第１領域Ｔ１に対応するメモリのデータについては、楕円領域の外周部に該当する領域を含めて該楕円領域内の全画素のデータを読み出す。ここにおいて、外周部とは、楕円領域のうち、当該楕円領域の内側の矩形領域を除いた領域をいう。楕円領域Ｇ１の外周部は、楕円領域Ｇ１のうち、矩形領域Ｉ１を除いた領域である。本実施形態では、画像処理部１３３は、第１領域Ｔ１については、８Ｋの解像度の画像データを読み出す。図１９に示す楕円領域Ｇ１～Ｇ６４のうち、楕円領域Ｇ１にユーザＵ２の視線が向いている場合、画像処理部１３３は、楕円領域Ｇ１内の全画素のデータを読み出す。
　一方、視線が向いている領域に含まれていない第２領域Ｔ２については、画像処理部１３３は、楕円領域の内側の矩形領域に含まれる画素についてデータを読み出し、当該楕円領域の外周部のデータを読み出さない。楕円領域Ｇ１にユーザＵ２の視線が向いている場合、画像処理部１３３は、楕円領域Ｇ２～Ｇ６４内の全画素ではなく、楕円領域Ｇ２～Ｇ６４の内側の矩形領域（すなわち、矩形領域Ｉ２～Ｉ６４）に含まれる画素のデータを読み出す。また、画像処理部１３３は、矩形領域については、Ｘ方向およびＹ方向の各方向に座標を１つずつ飛ばしながらデータを読み出す。本実施形態では、画像処理部１３３は、第２領域Ｔ２については、４Ｋの解像度の画像データを読み出す。
　このように、画像処理部１３３は、データの読み出し方法を異ならせることにより、第１領域Ｔ１と第２領域Ｔ２とで異なる画像処理を行う。なお、画像処理部１３３は、楕円領域Ｇ１に隣り合う楕円領域Ｇ２およびＧ９については、一部の領域について楕円領域Ｇ１と重複してデータを読み出すこととなる。この場合、画像処理部１３３は、例えば先に読み出したデータを優先すればよい。
　ところで、図１９で説明した画素のデータの読み出し方法の場合、ユーザＵ２の視線の向きに応じた楕円領域のサイズは固定されている。これに限られず、画像処理部１３３は、楕円領域のサイズを可変にしてデータの読み出しを行ってもよい。例えば、画像処理部１３３は、画像を１６個の画像領域に分割して行う処理と並行して、画像をＸ方向およびＹ方向のそれぞれに８個の画像領域に分割して行う処理を行ってもよい。この場合、楕円領域の内側の矩形領域は、Ｘ方向に９６０画素、Ｙ方向に５４０画素の領域である。そして、画像処理部１３３は、ユーザＵ２の視線の向きに応じて、Ｘ方向およびＹ方向のそれぞれに１６個に分割した楕円領域、及びＸ方向およびＹ方向のそれぞれに８個に分割した楕円領域の中から、ユーザＵ２の視線に応じた１つの楕円領域を選択する。画像処理部１３３は、ユーザＵ２の視線が向く領域になるべく近い楕円領域を選択することが望ましい。これにより、実質的に、ユーザＵ２の視線の向きに応じた楕円領域のサイズが変化する。
　なお、上述したＸ方向およびＹ方向への楕円領域の分割数、及び楕円領域の形状は一例である。例えば、画像処理部１３３は、Ｘ方向に１４個、Ｙ方向に１６個の楕円領域に分割してもよいし、Ｘ方向に６個、Ｙ方向に８個の楕円領域に分割してもよい。この場合、楕円領域は、Ｘ方向よりもＹ方向に長い楕円領域である。この場合、記憶部１２Ａのメモリ１２１－１～１２１－Ｎのうちの一部のメモリは使用されない。また、画像処理部１３３は、Ｘ方向に２０個、Ｙ方向に１６個の楕円領域に分割してもよいし、Ｘ方向に１０個、Ｙ方向に８個の楕円領域に分割してもよい。この場合も、記憶部１２Ａは、楕円領域の数に応じた数のメモリを有していればよい。
　そして、出力部１３４は、８Ｋの解像度である第１領域Ｔ１の画像データ、および４Ｋの解像度である第２領域の画像データを１フレームとした合成画像データ、および領域情報を、通信部１４を用いて端末装置１０－２へ送信する（ステップＳ５８）。合成画像データの伝送のビットレートが例えば１０～１５Ｍｂｐｓ程度となるように、出力部１３４は合成画像データを圧縮してもよい。この場合、出力部１１５は、Ｈ.２６４／ＭＰＥＧ４－ＡＶＣ、ＸＡＶＣ、ＡＶＣＨＤ、またはその他の方式で合成画像データを圧縮してから送信する。領域情報は、第１領域Ｔ１を構成する楕円領域を特定する座標の情報を含む。なお、出力部１３４は、合成画像データと対応付けてマイクロフォン１６により検出された音を示す音声データを送信する。
　端末装置１０－２において画像データ取得部１４４は、通信部１４を用いて、端末装置１０－１から、合成画像データおよび領域情報を取得する（ステップＳ５９）。表示制御部１２５は、画像データを、表示装置インタフェース１５を用いて表示装置２０－２へ出力することにより、表示領域２１－２に画像を表示する（ステップＳ６０）。表示制御部１４５は、ユーザＵ２の視線情報を用いて、第１領域Ｔ１の画像データと、第２領域Ｔ２の画像データとに分離した後、これらを８Ｋの解像度の画像データとして合成してから、表示装置２０－２へ出力する。ユーザＵ２は、表示領域２１－２に表示された画像を視認する。
　端末装置１０－２が端末装置１０－１へ画像データを送信する場合も、上述した処理が行われる。この場合、上述した端末装置１０－１の動作を端末装置１０－２が行い、端末装置１０－２の動作を端末装置１０－１が行うことになる。表示システム１においては、以上の処理が逐次（例えば決められた周期）で実行されることにより、テレビ会議に係る画像データがリアルタイムで送信される。
　以上説明した第３実施形態によれば、端末装置１０－１，１０－２が送信すべき画像データのデータ量を減らすことができる。例えば、本来送信すべき画像データが４Ｋの画像データのデータ量はおよそ１／２程度に圧縮される。また、ユーザは、自身が見ている領域が高い解像度で表示されるので、没入感を得ることができる。さらに、画像領域が楕円領域に区分されながら、画像処理の遅延がほとんどない自然な映像を得ることができる。楕円領域は人間の視野の形状に近い。また、視線を向けた対象がクッキリと表示されるという体験は、人間の目の機能に近い。よって、ユーザは解像度以上の没入感を得られる。例えば、８Ｋの解像度の画像を６０ｆｐｓ（ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ）でリアルタイムレンダリングする場合、視線情報に基づいて特定の領域を抽出する処理は極めて負荷が高い。本実施形態では、視線情報に基づいて画像を複数の画像領域に区分し、各画像領域に対応するメモリを指定してデータの読み書きを行うことができるので、より簡易な構成でリアルタイムな処理を行うことが可能になる。
［第４実施形態］
　次に、本発明の第４実施形態を説明する。本実施形態の表示システムの全体構成は、上述した第２実施形態と同じでよい。また、端末装置１０－１は、上述した第３実施形態と同様、画像を複数の楕円領域に区分して、楕円領域ごとにデータの読み書きを行う。
　図２０は、本実施形態の表示システム１Ｃの機能構成を示すブロック図である。説明を分かりやすくするため、以下では、端末装置１０－１についてはテレビ会議に係る画像データの送信側、ＨＭＤ４０については該画像データの受信側に関する機能を代表して説明する。この場合、端末装置１０－１の制御部１１は、画像データ取得部１３１と、視線取得部１３２と、画像処理部１３３Ａと、出力部１３４と、を含む。画像処理部１３３Ａは、ユーザＵ２の視線が向く領域以外の領域、すなわち第２領域に含まれる画素については奥行情報を含む画像データを生成する点で、上述した第３実施形態と相違する。
　ＨＭＤ４０において制御部４１は、画像データ取得部４４１と、視線取得部４４２と、視線送信部４４３と、画像データ取得部４４４と、表示制御部４４５と、を含む。画像データ取得部４４１は、撮像部４７から撮像した画像データを取得する。視線取得部４４２は、ユーザＵ２の視線を検出し、視線情報を取得する。視線送信部４４３は、該視線情報を、通信部４４を用いて端末装置１０－１へ送信する。画像データ取得部４４４は、通信部４４を用いて、端末装置１０－１から画像処理が行われた後の画像データを取得する。表示制御部４４５は、該画像データを、表示部４５へ出力することにより、表示領域４５１に画像を表示する。
　次に、本実施形態の動作を、具体例を挙げながら説明する。図２１は、表示システム１Ａで実行される処理を示すフローチャートである。以下では、端末装置１０－１がテレビ会議に係る画像データの送信側、ＨＭＤ４０が該画像データの受信側である場合の動作を説明する。
　テレビ会議が開始されると、画像データ取得部１３１は、撮像装置インタフェース１７から空間領域Ｒ１を撮像した画像データを取得する（ステップＳ５１）。画像データ取得部１３１は、画像データを記憶部１２Ａに記憶させる（ステップＳ５２）。
　一方、ＨＭＤ４０において画像データ取得部４４１は、撮像部４７からユーザＵ２の目を撮像した画像データを取得する（ステップＳ６１）。視線送信部４２３は、ユーザＵ２の視線情報を取得し（ステップＳ６２）、通信部４４を用いて端末装置１０－１へ送信する（ステップＳ６３）。端末装置１０－１において視線取得部１３２は、通信部１４を用いて、ユーザＵ２の視線情報を取得する（ステップＳ６４）。
　次に、画像処理部１３３Ａは、記憶部１２Ａから画像データを読み出す（ステップＳ６５）。ステップＳ６５の画像データの読み出しは、ステップＳ５７の画像データの読み出しと同じ方法で行われてよい。さらに、画像処理部１３３Ａは、当該画像データに奥行情報を付加する（ステップＳ６６）。
　図２２は、画像処理部１３３Ａで実行される処理の具体例を説明する図である。ここでは、表示領域４５１に画像ＩＭＧ６を表示しようとするときの画像処理を説明する。図２２に示す第１領域Ｔｐ９は、ユーザＵ２の視線の向く領域に対応する領域である。第２領域Ｔｐ１０は、第１領域Ｔｐ９を除く領域である。
　画像処理部１３３Ａは、第２領域Ｔｐ１０については、画素毎に奥行情報を付加した３ＤＣＧ変換を行う。これにより、例えば、第１領域Ｔｐ９の画素Ｐ９は、座標情報（Ｘ９，Ｙ９）および色情報（Ｒ９，Ｇ９，Ｂ９）を含む。一方で、第２領域Ｔｐ１０の画素Ｐ１０は、座標情報（Ｘ１０，Ｙ１０）および色情報（Ｒ１０，Ｇ１０，Ｂ１０）に加え、さらに奥行情報Ｄ１０を含む。
　出力部１３４は、第１領域Ｔｐ９の画像データ、および第２領域Ｔｐ１０の画像データを１フレームとした合成画像データ、および領域情報を、通信部１４を用いてＨＭＤ４０へ送信する（ステップＳ６７）。
　ＨＭＤ４０において画像データ取得部４４４は、通信部４４を用いて、端末装置１０－１から、合成画像データおよび領域情報を取得する（ステップＳ６８）。表示制御部４４５は、合成画像データを、表示部４５へ出力することにより、表示領域４５１に画像を表示する（ステップＳ６９）。
　以上説明した第４実施形態によれば、端末装置１０－１，１０－２が送信すべき画像データのデータ量を減らすことができる。例えば、本来送信すべき画像データが４Ｋの解像度である場合、実際に送信する画像データのデータ量は、およそ１／２となる。また、ユーザＵ２は、自分が見ている範囲の映像とユーザＵ１が視線を向けている範囲の画像が高い解像度の３ＤＣＧで表示されるので、高い没入感を得ることができる。また、表示システム１Ｃによれば、上述した第３実施形態の表示システム１Ｂと同様の効果を奏する。
［第５実施形態］
　次に、本発明の第５実施形態を説明する。本実形態係る表示システムでは、画像データが示す画像のうち、人の位置に応じた領域と、それ以外の領域とで異なる画像処理を行う点で、上述した第１実施形態と相違する。
　図２３は、本実施形態の表示システム１Ｄの機能構成を示すブロック図である。本実施形態では、図２３のマイクロフォン１６から検知部１１６に延びる矢印は関係ないものとする。説明を分かりやすくするため、以下では、端末装置１０－１についてはテレビ会議に係る画像データの送信側、端末装置１０－２については該画像データの受信側に関する機能を代表して説明する。この場合、端末装置１０－１の制御部１１は、画像データ取得部１１１と、第１視線取得部１１２と、第２視線取得部１１３と、画像処理部１１４と、出力部１１５と、検知部１１６と、を含む。検知部１１６は、画像データ取得部１１１が取得した画像データが示す画像における人の位置を検知する。検知部１１６は、例えば、該画像データを解析して、人の位置を検定する。画像処理部１１４は、人の位置に応じた第４領域と、該第４領域と異なる第５領域とで異なる画像処理を行う。
　次に、本実施形態の動作を、具体例を挙げながら説明する。図２４は、端末装置１０－１がテレビ会議に係る画像データの送信するときの動作を示すフローチャートである。以下は、本実施形態の特徴部分について説明する。
　テレビ会議が開始されると、画像データ取得部１１１は、撮像装置インタフェース１７を介して空間領域Ｒ１を撮像した画像データを取得する（ステップＳ４１）。画像データ取得部１１１は、画像データを記憶部１２に記憶させる。次に、第１視線取得部１１２は、画像データに基づいて空間領域Ｒ１に存在するユーザＵ１の視線を検出し、ユーザＵ１の視線情報を取得する（ステップＳ４２）。次に、第２視線取得部１１３は、通信部１４を用いて、ユーザＵ２の視線情報を取得する（ステップＳ４３）。次に、検知部１１６は、画像における人の位置を検知する（ステップＳ４４）。検知部１１６は、例えば、画像データが示す画像から人の顔の画像を認識することで、その人の位置を検知する。顔の画像の認識アルゴリズムは特に問わないが、例えば画像から人の顔の特徴を示す特徴点を抽出する方法がある。
　画像処理部１１４は、記憶部１２から画像データを読み出し、当該画像データに基づいて、第４領域と第５領域とで異なる画像処理を行う（ステップＳ４５）。
　図２５は、画像処理部１１４で実行される処理の具体例を説明する図である。ここでは、画像ＩＭＧ４を表示しようとするときの画像処理を説明する。画像ＩＭＧ４において、人の位置に応じた第４領域Ｔｐ７が検出されたとする。第４領域Ｔｐ７は、撮像装置３０第により撮像されたユーザＵ１の画像ＩＭＧ－Ｕ１を含む領域である。第４領域Ｔｐ７以外の領域を第５領域Ｔｐ８とする。
　この場合、画像処理部１１４は、第４領域Ｔｐ７については第１形式の画像データを生成し、第５領域Ｔｐ８については、第２形式の画像データを生成する。なお、画像処理部１１４はユーザＵ１またはユーザＵ２の視線が向く領域であるかどうかに関係なく、第４領域を特定してもよい。または、画像処理部１１４は、ユーザＵ１またはユーザＵ２の視線が向いた領域であって、かつ人の位置する領域を第４領域として特定してもよい。
　出力部１１５は、第４領域Ｔｐ７の画像データ、および第５領域Ｔｐ８の画像データを１フレームとした合成画像データ、および領域情報を、通信部１４を用いて端末装置１０－２へ送信する（ステップＳ４６）。なお、端末装置１０－２が端末装置１０－１へ画像データを送信する場合も、上述した処理が行われる。この場合、上述した端末装置１０－１の動作を端末装置１０－２が行い、端末装置１０－２の動作を端末装置１０－１が行うことになる。なお、画像処理部１１４は、画像に複数の人の画像が含まれている場合、該複数の人の各々の位置に応じて、複数の前記第４領域を特定してもよい。これにより、複数人が参加する会議であっても、各人を相対的に高い画質で表示することもできる。
　以上説明した第５実施形態によれば、人の画像が高い品質で表示することができ、高い没入感を得ることができる。
［第６実施形態］
　次に、本発明の第６実施形態を説明する。本実形態係る表示システムは、人の位置に応じた領域の特定方法が上述した第５実施形態と相違する。この実施形態では検知部１１６は、マイクロフォン１６により検出された音声信号に基づいて、人の位置を検知する。すなわち、マイクロフォン１６が複数のマイクで構成されている場合（例えば、ステレオマイクまたはスピーカアレイである場合）、各マイクにより特定の音が検出されるタイミングの差異に基づいて、該音の到来方向を検出できる。そこで、検知部１１６は、マイクロフォン１６により検出された音の到来方向に基づいて、画像における人の位置を特定して、該位置に応じた第４領域を特定してもよい。なお、検知部１１６は、マイクロフォン１６により検出された音声を認識して人の声かどうかを判断し、人の声に相当する音の来方向に基づいて、画像における人の位置を特定して、該位置に応じた第４領域を特定してもよい。
［変形例］
　本発明は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　上述した第５，６実施形態で説明した、人の位置を検知してその検知結果に基づいて画像処理を行う構成は、上述した第２～第４実施形態で説明した表示システムにも適用することもできる。
　上述した第１、第２実施形態では、端末装置１０－１，１０－２は、ユーザＵ１およびユーザＵ２の視線情報に基づいて、第１領域および第２領域を特定していた。端末装置１０－１は、少なくともユーザＵ１の視線情報に基づいて第１領域を特定し、該第１領域と該第１領域以外の領域である第２領域とで異なる画像処理を行えばよい。端末装置１０－２は、少なくともユーザＵ２の視線情報に基づいて第１領域を特定し、該第１領域と該第１領域以外の領域とで異なる画像処理を行えばよい。上述した第３、第４実施形態の構成の下、端末装置１０－１は、さらに、ユーザＵ１の視線情報に基づいて第３領域を特定し、該第３領域と第２領域とで異なる画像処理を行ってもよい。また、端末装置１０－２は、さらに、ユーザＵ２の視線情報に基づいて第３領域を特定し、該第３領域と第２領域とで異なる画像処理を行ってもよい。
　画像処理部１３３は、ユーザの視線を誘導する効果を高めるために、例えば、以下の画像処理を行ってもよい。画像処理部１３３は、自端末装置のユーザの視線に応じた第１領域と、相手方のユーザの視線に応じた第３領域とが重なった場合、その重なった領域については、該第３領域に指定された処理を行ってもよい。また、画像処理部１３３は、自端末装置のユーザの視線に応じた第１領域と、相手方のユーザの視線に応じた第３領域とが重なった場合、その重なった領域については、第３領域に焦点を合わせるための焦点調整処理を行ってもよい。また、画像処理部１３３は、相手方のユーザの視線に応じた第３領域については、焦点調整処理および高解像度化のための処理を行い、自端末装置のユーザの視線に応じた第１領域については、焦点調整処理を行わずに、高解像度化のための処理を行ってもよい。すなわち、画像処理部１３３は、第１領域、第３領域、および第１領域と第３領域との重なる領域との一部または全部について画像処理を異ならせてもよい。これにより、画像を見るユーザの視線を誘導する効果の向上が期待できる。
　上述した第３，４実施形態の構成の下、画像処理部１３３，１３３Ａは、ユーザの目の縁の傾き（アイラインの傾き）に応じて、楕円形状を傾けまたは変形してもよい。画像処理部１３３，１３３Ａは、例えば、ユーザの内眼角と外眼角とを結ぶ線分（目を楕円形とみなした場合の長軸）と楕円領域の長軸方向とが一致するように楕円領域を規定して、画像を複数の領域に区分する。ユーザの目の縁の傾きは、例えば、端末装置１０－２またはＨＭＤ４０によりユーザＵ２の目を撮像した画像を解析することにより特定され、ユーザＵ２の視線情報とともに端末装置１０－１へ送信される。これにより、没入感を与えうる画像を表示できる効果が期待できる。
　上述した第３、第４実施形態では、画像データが示す画像を複数の楕円領域に区分していた。楕円領域に代えて、縁部に曲線部分を含み、かつ長手方向を有する他の形状の画像領域に区分してもよい。
　本発明において、ユーザの視線をリアルタイムで検出して視線情報を生成することに代えて、または加えて、直前の視線の検出結果に基づいて視線の移動先を予測し、その予測した視線を示す視線情報を生成してもよい。また、この予測は、視線情報の機械学習の結果に基づいて人工知能を利用して予測されてもよい。これにより、没入感を与えうる画像を表示できる効果が期待できる。
　上述した各実施形態では、データ転送のビットレートは１０～１５Ｍｂｐｓにしているが、これに限られない。より高速な通信が可能である場合、４Ｋ、８Ｋのデータをそのまま伝送してもよい。この場合、送信側でなく受信側の端末装置が、画像処理を実行してもよい。この場合、視線情報などを相互通信する必要がなくなり、表示システムの構成の簡素化が期待できる。このように、上述した実施形態の各機能を実行する主体は問わない。
　すなわち、本発明の表示システムは、所定の空間領域の少なくとも一部を撮像した画像データに基づいて、前記空間領域に存在する第１ユーザの視線に応じた第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行う画像処理部と、前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を、所定の表示領域に表示する表示制御部と、を有する。または、本発明の表示システムは、画像データが示す画像を、縁部に曲線部分を含む複数の領域に区分し、前記複数の領域のうちから所定の表示領域を向くユーザの視線に応じて選択した第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行う画像処理部と、前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を、前記表示領域に表示する表示制御部と、を有する。
　上述した各実施形態において、視線情報に加えて、眼球の映像解析（黒目のサイズ）を行い、人が目を凝らす動作を検出した期間において視線に応じた画像処理を行い、それ以外の期間は該画像処理を行わないようにしてもよい。また、目を凝らす動作を検出した期間において、画像を拡大して表示してもよい。これにより、ユーザが注目した情報がより視認しやすくなり、利便性が高まる効果が期待できる。
　上述した各実施形態において、ユーザを撮像するカメラとユーザの表情（視線）を検出するカメラは同一であるが、別々のカメラであってもよい。顔認識専用のカメラを用いることで、認識精度が高まる効果が期待できる。
　３人以上が同時に参加する会議の場合、画像処理部は、まずそれぞれの顔（もしくは全身）のデータだけを３ＤＣＧ化して、新たな画像データに自分以外の２人以上の人物の画像データを重ね合わせることで、自分以外の人物が同一の画像に収まっている画像データを生成してもよい。これにより、３人の参加者がいるテレビ会議であっても没入感の高い会議を行うことができる。
　上述した各実施形態で説明した構成および動作の一部が省略または変更されてもよい。また、動作の実行順は矛盾のない範囲内で変更されてもよい。本発明は、テレビ会議を行うためのシステムに限らず、画像を表示する種々のシステムに適用し得る。
　上述した各実施形態で説明した各機能は、１または複数のプログラムによって実現され、１または複数のハードウェア資源の連係によって実現され得る。制御部１１の機能がプログラムを用いて実現される場合、この機能を実現するためのプログラムＰＧ１、ＰＧ２が、各種の磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。また、このプログラムは、ネットワークを介して配信されてもよい。また、本発明は、画像処理方法としても把握することができる。
１，１Ａ，１Ｂ，１Ｃ，１Ｄ：表示システム、１０－１，１０－２：端末装置、１１，４１：制御部、１２，１２Ａ，４２：記憶部、１３，４３：操作部、１４，４４：通信部、１５：表示装置インタフェース、１６，４６：マイクロフォン、１７：撮像装置インタフェース、２０－１，２０－２：表示装置、２１－１，２１－２：表示領域、３０－１，３０－２：撮像装置、４０：ＨＭＤ、４５：表示部、４７：撮像部、５０：位置検知装置、１１１，１３１：画像データ取得部、１１２：第１視線取得部、１１３：第２視線取得部、１１４，１１４Ａ，１３３，１３３Ａ：画像処理部、１１５，１３４：出力部、１１６：検知部、１２１，１４１：画像データ取得部、１２１－１～１２１－Ｎ：メモリ、１２２：第３視線取得部、１２３，１４３：視線送信部、１２４，１４４：画像データ取得部、１２５，１４５：表示制御部、１３２：視線取得部、１４２：視線取得部、２０１：画像データ取得部、２０２：第１視線検出部、２０３：画像処理部、２０４：表示制御部、３０１：画像データ取得部、３０２：視線検出部、３０３：画像処理部、３０４：表示制御部、４２１，４４１：画像データ取得部、４２２：第３視線取得部、４２３，４４３：視線送信部、４２４，４４４：画像データ取得部、４２５，４４５：表示制御部、４５１：表示領域

Claims (20)

  1. 　所定の空間領域の少なくとも一部を撮像した画像データに基づいて、前記空間領域に存在する第１ユーザの視線に応じた第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行う画像処理部と、
    　前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を、所定の表示領域に表示する表示制御部と、
    　を有する表示システム。
  2. 　前記画像処理部は、
    　前記表示領域を向く第２ユーザの視線に応じた第３領域と、前記第２領域とで異なる画像処理を行う
    　請求項１に記載の表示システム。
  3. 　前記画像処理部は、
    　前記第１領域と前記第３領域とで異なる画像処理を行う請求項２に記載の表示システム。
  4. 　前記画像処理部は、前記撮像された領域と前記第１ユーザの視線とに応じた前記第１領域を特定する
    　請求項１から請求項３のいずれか１項に記載の表示システム。
  5. 　画像データが示す画像を、縁部に曲線部分を含む複数の領域に区分し、前記複数の領域のうちから所定の表示領域を向くユーザの視線に応じて選択した第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行う画像処理部と、
    　前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を、前記表示領域に表示する表示制御部と、
    　を有する表示システム。
  6. 　前記複数の領域の各々は長手方向を有する領域であり、
    　前記画像処理部は、
    　前記ユーザの目の縁の傾きに応じて、前記領域の傾き又は形状を変化させる
    　請求項５に記載の表示システム。
  7. 　前記複数の領域の各々は、楕円領域である
    　請求項６に記載の表示システム。
  8. 　前記画像処理部は、
    　前記第２領域の画質を低くする
    　請求項１から請求項７のいずれか１項に記載の表示システム。
  9. 　前記画像処理部は、
    　前記第１領域の画質を高くする
    　請求項１から請求項８のいずれか１項に記載の表示システム。
  10. 　前記画像処理部は、
    　前記第２領域に焦点調整処理を行う
    　請求項１から請求項９のいずれか１項に記載の表示システム。
  11. 　前記画像処理部は、前記第１ユーザの視線の移動方向の予測結果に応じた前記第１領域を特定する
    　請求項１から請求項４のいずれか１項に記載の表示システム。
  12. 　前記画像処理部は、前記ユーザの視線の移動方向の予測結果に応じた前記第１領域を特定する
    　請求項５から請求項７のいずれか１項に記載の表示システム。
  13. 　前記画像データが示す画像における人の位置を検知する検知部を有し、
    　前記画像処理部は、前記人の位置に応じた第４領域と、前記第４領域と異なる第５領域とで異なる画像処理を行う
    　請求項１から請求項１２のいずれか１項に記載の表示システム。
  14. 　前記画像処理部は、
    　前記第２領域に含まれる画素については、撮像地点からの奥行を示す奥行情報を含む画像データを生成する
    　請求項１から請求項１３のいずれか１項に記載の表示システム。
  15. 　所定の空間領域の少なくとも一部を撮像した画像データに基づいて、前記空間領域に存在する第１ユーザの視線に応じた第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行う画像処理部と、
    　前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を示す画像データを出力する出力部と、
    　を有する画像処理回路。
  16. 　画像データが示す画像を、縁部に曲線部分を含む複数の領域に区分し、前記複数の領域のうちから所定の表示領域を向くユーザの視線に応じて選択した第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行う画像処理部と、
    　前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を示す画像データを出力する出力部と、
    　を有する画像処理回路。
  17. 　コンピュータに、
    　所定の空間領域の少なくとも一部を撮像した画像データに基づいて、前記空間領域に存在する第１ユーザの視線に応じた第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行う処理と、
    　前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を示す画像データを出力する処理と、
    　を実行させるためのプログラム。
  18. 　コンピュータに、
    　画像データが示す画像を、縁部に曲線部分を含む複数の領域に区分し、前記複数の領域のうちから所定の表示領域を向くユーザの視線に応じて選択した第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行う処理と、
    　前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を示す画像データを出力する処理と、
    　を実行させるためのプログラム。
  19. 　所定の空間領域の少なくとも一部を撮像した画像データに基づいて、前記空間領域に存在する第１ユーザの視線に応じた第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行うことと、
    　前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を示す画像データを出力することと、を含む画像処理方法。
  20. 　画像データが示す画像を、縁部に曲線部分を含む複数の領域に区分し、前記複数の領域のうちから所定の表示領域を向くユーザの視線に応じて選択した第１領域と、前記第１領域と異なる第２領域とで異なる画像処理を行うことと、
    　前記画像処理が行われた後の前記第１領域と前記第２領域とを含む画像を示す画像データを出力することと、を含む画像処理方法。
PCT/JP2018/021719 2018-06-06 2018-06-06 表示システム、画像処理回路、画像処理方法、及びプログラム WO2019234855A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/021719 WO2019234855A1 (ja) 2018-06-06 2018-06-06 表示システム、画像処理回路、画像処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/021719 WO2019234855A1 (ja) 2018-06-06 2018-06-06 表示システム、画像処理回路、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2019234855A1 true WO2019234855A1 (ja) 2019-12-12

Family

ID=68769345

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/021719 WO2019234855A1 (ja) 2018-06-06 2018-06-06 表示システム、画像処理回路、画像処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2019234855A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010268158A (ja) * 2009-05-13 2010-11-25 Fujifilm Corp 画像処理システム、画像処理方法およびプログラム
US20110075933A1 (en) * 2009-07-12 2011-03-31 Samsung Electronics Co., Ltd. Method for determining frontal face pose
JP2016165105A (ja) * 2015-03-05 2016-09-08 ノキア テクノロジーズ オーユー 映像ストリーミング方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010268158A (ja) * 2009-05-13 2010-11-25 Fujifilm Corp 画像処理システム、画像処理方法およびプログラム
US20110075933A1 (en) * 2009-07-12 2011-03-31 Samsung Electronics Co., Ltd. Method for determining frontal face pose
JP2016165105A (ja) * 2015-03-05 2016-09-08 ノキア テクノロジーズ オーユー 映像ストリーミング方法

Similar Documents

Publication Publication Date Title
US10645369B2 (en) Stereo viewing
US9030486B2 (en) System and method for low bandwidth image transmission
JP5222939B2 (ja) テレビ電話におけるプライバシーを最大にするための浅い被写界深度のシュミレート
Lai et al. Real-time panoramic depth maps from omni-directional stereo images for 6 dof videos in virtual reality
US11849102B2 (en) System and method for processing three dimensional images
CN113038111A (zh) 用于图像捕获和处理的方法、系统和介质
KR20190112712A (ko) 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템
JP2023544627A (ja) ビデオ・ストリームの操作
WO2018225518A1 (ja) 画像処理装置、画像処理方法、プログラム、およびテレコミュニケーションシステム
EP3407248B1 (en) An apparatus, a method and a computer program for video coding and decoding
Turban et al. Extrafoveal video extension for an immersive viewing experience
KR20200079162A (ko) 실감형 콘텐츠 제공 장치 및 방법
CN113286138A (zh) 一种全景视频显示方法及显示设备
JPWO2017141584A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
WO2022257922A1 (zh) 基于电视的照镜视野生成方法、系统、设备及介质
KR20050078737A (ko) 2차원 영상신호를 3차원 영상신호로 변환하는 장치
WO2019234855A1 (ja) 表示システム、画像処理回路、画像処理方法、及びプログラム
US20230139989A1 (en) Videoconference method and videoconference system
JP7011728B2 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
US20200252585A1 (en) Systems, Algorithms, and Designs for See-through Experiences With Wide-Angle Cameras
US20230306698A1 (en) System and method to enhance distant people representation
Huang et al. Low-Complexity 3D-Vision Conferencing System based on Accelerated RIFE Model
JPH0832947A (ja) 画像通信装置
WO2020162035A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020148810A1 (ja) 情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18922072

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18922072

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP