WO2014010191A1 - 3次元映像表示装置および3次元映像表示方法 - Google Patents

3次元映像表示装置および3次元映像表示方法 Download PDF

Info

Publication number
WO2014010191A1
WO2014010191A1 PCT/JP2013/004055 JP2013004055W WO2014010191A1 WO 2014010191 A1 WO2014010191 A1 WO 2014010191A1 JP 2013004055 W JP2013004055 W JP 2013004055W WO 2014010191 A1 WO2014010191 A1 WO 2014010191A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
video display
video
display device
viewing
Prior art date
Application number
PCT/JP2013/004055
Other languages
English (en)
French (fr)
Inventor
加藤 弓子
小澤 順
井上 剛
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2014501768A priority Critical patent/JP5807182B2/ja
Publication of WO2014010191A1 publication Critical patent/WO2014010191A1/ja
Priority to US14/202,464 priority patent/US9374574B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Definitions

  • the present invention relates to a 3D video display device and a 3D video display method for outputting 3D video.
  • Patent Document 1 describes that a scene change in a three-dimensional image is detected and the depth is smoothly changed at the time of the scene change.
  • Patent Document 2 describes that when a plurality of video contents are displayed on a multi-screen, video contents designated by the user are displayed in three dimensions, and video contents not designated by the user are displayed in two dimensions. .
  • Patent Literature 1 when a user views a plurality of 3D video display devices that display different 3D video images while changing the 3D video display screen to be viewed, the depth is smoothed. Cannot transition to.
  • the present disclosure has been made in order to solve the above-described problem, and a plurality of 3D video display screens that display different 3D video images are viewed while changing the 3D video display screens to be viewed.
  • a 3D image display apparatus and a 3D image display method for reducing eye fatigue of a user are provided.
  • the viewing state of a user who views a plurality of 3D video display screens is changed per predetermined time while changing the 3D video display screens to be viewed.
  • a viewing behavior detecting unit that detects whether or not the number of times has changed more than a predetermined number of times, and an image display when the viewing behavior detecting unit detects that the user's viewing state has changed more than the predetermined number of times per predetermined time
  • a control unit that performs processing for restricting the viewing of the 3D video displayed on the unit by the user.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a 3D video display apparatus according to Embodiment 1.
  • FIG. 2 is a diagram illustrating an example of a 3D video stored in the video information storage unit according to the first embodiment.
  • FIG. 3 is a flowchart showing an example of the operation of the 3D video display apparatus according to the first embodiment.
  • FIG. 4 is a schematic diagram illustrating an example of a state in which a user views a plurality of 3D video display devices according to the first embodiment.
  • FIG. 5 is a schematic diagram illustrating an example of a state in which content is displayed. (A) illustrates an example of a state in which content whose depth is closer to the user than the screen is displayed, and (b) illustrates depth.
  • FIG. 6 is a block diagram illustrating an example of a detailed configuration of the 3D video display apparatus according to the first embodiment.
  • FIG. 7 is a flowchart illustrating an example of detailed operation of the 3D video display apparatus according to the first embodiment.
  • FIG. 8 is a schematic diagram showing the angle of the user's face in the first embodiment.
  • FIG. 9 is a diagram illustrating an example of data stored in the face storage unit in the first embodiment.
  • FIG. 10A is a schematic diagram illustrating an example of a state in which a user views a plurality of 3D video display devices according to Embodiment 1.
  • FIG. 10A is a schematic diagram illustrating an example of a state in which a user views a plurality of 3D video display devices according to Embodiment 1.
  • FIG. 10A is a schematic diagram illustrating an example of a state in which a user views a plurality of 3D video display devices according to Embodiment 1.
  • FIG. 10B is a diagram illustrating an example of a face image of a user watching a certain 3D video display device.
  • FIG. 10C is a diagram illustrating an example of a face image of a user looking at another 3D video display device.
  • FIG. 11 is a diagram illustrating an example of a screen that displays a warning message.
  • FIG. 12 is a block diagram illustrating an example of the configuration of the image display unit according to the first embodiment.
  • FIG. 13 is a block diagram illustrating an example of the configuration of the image display unit according to the first embodiment.
  • FIG. 14 is a block diagram illustrating an example of a configuration of the image display unit according to the first embodiment.
  • FIG. 15 is a schematic diagram illustrating an example of a state in which a user views a plurality of 3D video display apparatuses according to the second embodiment.
  • FIG. 16 is a block diagram illustrating an example of a configuration of the 3D video display apparatus according to the second embodiment.
  • FIG. 17 is a diagram illustrating an example of data stored in the face storage unit according to the second embodiment.
  • FIG. 18 is a flowchart illustrating an example of detailed operation of the 3D video display apparatus according to the second embodiment.
  • FIG. 19A is a diagram illustrating an example of the shape of light received by the light receiving unit from a direction perpendicular to the screen plane.
  • FIG. 19B is a diagram illustrating an example of the shape of light received from the direction of the angle ⁇ with respect to the screen plane by the light receiving unit.
  • FIG. 20 is a schematic diagram illustrating an example of a state in which a user views a plurality of 3D video display devices according to the third embodiment.
  • FIG. 21 is a block diagram illustrating an example of a configuration of the 3D video display apparatus according to the third embodiment.
  • FIG. 22 is a flowchart illustrating an example of the operation of the 3D video display apparatus according to the third embodiment.
  • FIG. 23 is a flowchart illustrating an example of part of the operation of the 3D video display apparatus according to the third embodiment.
  • FIG. 24 is a diagram illustrating an example of a configuration of a signal communicated by a communication unit in the third embodiment.
  • FIG. 25 is a flowchart illustrating an example of part of the operation of the 3D video display apparatus according to the third embodiment.
  • FIG. 26 is a diagram illustrating an example of data stored in the history storage unit in the third embodiment.
  • FIG. 27 is a block diagram illustrating an example of a configuration of the 3D video display apparatus according to Embodiment 4.
  • FIG. 28 is a flowchart illustrating an example of part of the operation of the 3D video display apparatus according to the fourth embodiment.
  • FIG. 29 is a diagram illustrating an example of a configuration of a signal communicated by a communication unit in the fourth embodiment.
  • FIG. 30 is a diagram illustrating an example of data stored in the history storage unit in the fourth embodiment.
  • FIG. 31 is a block diagram illustrating an example of a configuration of a 3D video display device according to a modification of the third embodiment.
  • FIG. 32 is a diagram illustrating an example of data stored in the depth information accumulation unit in the modification of the third embodiment.
  • FIG. 33 is a flowchart illustrating an example of part of the operation of the 3D video display apparatus according to the modification of the third embodiment.
  • FIG. 34 is a diagram illustrating an example of a configuration of a signal communicated by a communication unit in a modification of the third embodiment.
  • the viewing state of a user who views a plurality of 3D video display screens is changed per predetermined time while changing the 3D video display screens to be viewed.
  • a viewing behavior detecting unit that detects whether or not the number of times has changed more than a predetermined number of times, and an image display when the viewing behavior detecting unit detects that the user's viewing state has changed more than the predetermined number of times per predetermined time
  • a control unit that performs processing for restricting the viewing of the 3D video displayed on the unit by the user.
  • the above-described 3D image display apparatus further includes a camera that captures the user's face, and the viewing behavior detection unit calculates a face angle from the face image captured by the camera.
  • a determination unit that determines whether the user is viewing the 3D video display screen from the angle of the face calculated by the calculation unit, the face angle calculation unit, and a determination result by the state determination unit
  • a high-frequency change detecting unit that detects whether or not the user's viewing state has changed more than the predetermined number of times per predetermined time.
  • the 3D video display device further includes a light receiving unit that receives light emitted from a light emitting unit installed in dedicated glasses worn by a user, and the viewing behavior detecting unit emits light from the light emitting unit. Whether or not the user is viewing the 3D video display screen based on the incident angle measuring unit that measures the incident angle of the received light to the light receiving unit and the incident angle measured by the incident angle measuring unit.
  • a state determination unit for determining, and a high-frequency change detection unit for detecting whether or not the user's viewing state has changed more than the predetermined number of times per the predetermined time based on a determination result by the state determination unit May be.
  • the light emitting unit emits circular light
  • the incident angle measuring unit is configured to determine an incident angle of light emitted from the light emitting unit to the light receiving unit from a shape of light received by the light receiving unit. May be measured.
  • the 3D video display device further includes a camera that captures the face of the user, and the plurality of 3D video display devices include the plurality of 3D video display screens, and the viewing behavior detection unit
  • a face extraction unit that extracts a feature amount of the face image from a face image captured by the camera
  • a face angle calculation unit that calculates an angle of the face from the face image captured by the camera, From the face angle calculated by the face angle calculation unit, a state determination unit that determines whether or not the user is viewing the 3D video display screen, and another 3D video display device
  • a receiving unit that receives a feature amount and a determination result indicating whether or not the user is viewing a 3D video display screen of the other 3D video display device; and the face image extracted by the face extraction unit And the face image received by the receiver By comparing the collected amount, it is determined whether or not the same user is viewing the 3D video display screen of the 3D video display device and the 3D video display screen of the other 3D video display device.
  • the state determination unit A high-frequency change detection unit that detects whether the viewing state of the same user has changed more than the predetermined number of times per the predetermined time based on the determination result and the determination result received by the receiving unit; You may do it.
  • the above-described 3D image display device further includes a light receiving unit that receives light having a light emission pattern that can be used to identify the glasses.
  • a plurality of 3D video display devices having the plurality of 3D video display screens, and the viewing behavior detection unit is configured to identify glasses from a light emission pattern of light received by the light receiving unit;
  • the user views the 3D video display screen from an incident angle measuring unit that measures an incident angle of the light emitted from the light emitting unit to the light receiving unit and the incident angle measured by the incident angle measuring unit.
  • Identification of glasses worn by a user viewing a 3D video display screen of the other 3D video display device from a state determination unit that determines whether or not the 3D video image is displayed and another 3D video display device Results and other 3D images
  • a receiving unit that receives a determination result indicating whether or not the user is viewing the 3D video display screen of the display device, and a comparison between the identification result by the glasses specifying unit and the identification result received by the receiving unit To determine whether the same user is viewing the 3D video display screen of the 3D video display device and the 3D video display screen of the other 3D video display device.
  • the determination result by the state determination unit and the receiving unit are You may have a high frequency change detection part which detects whether the viewing state of the said same user changed more than the said predetermined number of times per said predetermined time based on the received said determination result.
  • control unit displays a three-dimensional display on the image display unit when the viewing behavior detection unit detects that the user's viewing state has changed by the predetermined number of times per the predetermined time.
  • the video may be converted into a two-dimensional video and displayed.
  • the control unit views the three-dimensional video on the image display unit.
  • a warning message may be displayed.
  • the receiving unit further receives depth information of a 3D video displayed by the 3D video display device from the other 3D video display device, and the control unit is configured to receive the viewing behavior detection unit Detecting that the user's viewing state has changed more than the predetermined number of times per predetermined time, and the depth information of the 3D video displayed on the image display unit and the 3D video displayed by the other 3D video display device Only when the difference from the depth information is greater than or equal to a predetermined value, processing for restricting the viewing of the 3D video displayed on the image display unit by the user may be performed.
  • a user who views 3D video detects a state in which a plurality of 3D video display devices that display different 3D videos are alternately viewed, and the 3D video display device that the user gazes at.
  • a three-dimensional video display apparatus that performs processing for reducing the difference in the depth of the video before and after the change is described.
  • the order in which the user views the 3D video display device is not limited, and the order in which the user views the 3D video display device is random.
  • the viewing state is not limited to this state.
  • a plurality of 3D video display screens each displaying a 3D video are included in one 3D video display device, and the user can change the 3D video display screen while changing the 3D video display screen. You may see it.
  • FIG. 1 is a block diagram showing an example of the configuration of the 3D video display apparatus according to the first embodiment.
  • the 3D video display device 10 includes a sensor 200, a viewing behavior detection unit 300, a video information storage unit 400, a control unit 500, and an image display unit 600.
  • the sensor 200 is a sensor that senses the state of the user, and is specifically a camera, a biological signal sensor, or the like.
  • the sensor 200 outputs user state information to the viewing behavior detection unit 300.
  • the viewing behavior detection unit 300 detects a state in which the user is alternately viewing the 3D video display device 10 and other 3D video display devices from the user status information output from the sensor 200.
  • the video information storage unit 400 is a storage device that stores 3D video information (hereinafter simply referred to as “3D video”) to be displayed on the 3D video display device 10.
  • FIG. 2 is a diagram illustrating an example of a 3D video stored in the video information storage unit 400.
  • the 3D video includes, for example, time, a right image, and a left image.
  • the control unit 500 detects the 3D video display device. 10 outputs a control signal for displaying a two-dimensional image to the image display unit 600.
  • the image display unit 600 processes the 3D video stored in the video information storage unit 400 according to the control signal output from the control unit 500 and displays the video.
  • FIG. 3 is a flowchart showing the operation of the 3D video display apparatus 10 according to the first embodiment. The processing procedure of the 3D video display apparatus 10 will be described with reference to FIG.
  • the control unit 500 When the power of the 3D video display device 10 is turned on, the operation of the 3D video display device 10 starts (S1000). Next, the sensor 200 starts its operation and acquires user state information (S2000). Based on the user state information acquired from the sensor 200, the viewing behavior detection unit 300 is a state in which the user is alternately watching the 3D video display device 10 and other 3D video display devices, that is, high-frequency switching. Behavior detection is performed (S3000). When the high frequency switching action of the user is detected in step S3000 (Yes in S3000), the control unit 500 outputs a control signal for displaying the video in two dimensions on the image display unit 600, that is, a 2D signal.
  • the image display unit 600 displays the three-dimensional video stored in the video information storage unit 400 in a two-dimensional manner based on the 2D signal (S4000). If the user's high-frequency switching action is not detected in step S3000 (No in S3000), the image display unit 600 displays the 3D video stored in the video information storage unit 400 in 3D (S5000). After execution of step S4000 and step S5000, the process returns to step S2000, and step S2000 to step S4000 or step S5000 is repeated.
  • FIG. 4 is a schematic diagram showing a concept of a state where a user alternately views a plurality of 3D video display devices that display different 3D videos.
  • a plurality of 3D video display devices that is, the 3D video display device 10a and the 3D video display device 10b, are in front of the user 100, and the user 100 can view either 3D video display device.
  • the 3D video display device 10 a and the 3D video display device 10 b have the same configuration as the 3D video display device 10.
  • the display screen of the 3D video display device 10a is a 3D content such as variety, and the content whose depth is closer to the user than the screen is displayed.
  • the display screen of the 3D video display device 10b displays 3D content that is a distant view content such as a travel program and the depth amount is behind the screen. It shall be.
  • each content displayed on each display screen there is a change in depth amount within a predetermined range.
  • a load on the user's eyes does not occur.
  • the depth exceeds the range where there is no load on the user's vision. You may end up watching the amount of change.
  • the 3D video display apparatus 10 avoids such a situation.
  • FIG. 6 is a block diagram showing an example of a detailed configuration of the 3D video display device 10 shown in FIG. 1 (the 3D video display device 10a or the 3D video display device 10b shown in FIG. 4).
  • the Sensor 200 includes a camera 201.
  • the camera 201 acquires an image in front of the 3D image display device 10. As shown in FIG. 4, the camera 201 is installed, for example, in the upper center of the screen plane of the 3D image display device 10 (10a or 10b), and acquires an image in a range of 120 degrees in the horizontal direction from the horizontal center of the screen.
  • the viewing behavior detection unit 300 includes a face extraction unit 301, a face angle calculation unit 302, a state determination unit 303, a face storage unit 304, a timing unit 305, and a high frequency change detection unit 306.
  • the face extraction unit 301 extracts the human face image and the feature amount of the face image from the image acquired by the camera 201, and outputs the feature amount of the face image to the face storage unit 304.
  • the face angle calculation unit 302 calculates a face angle from the face image extracted by the face extraction unit 301, and outputs it to the state determination unit 303 and the face storage unit 304.
  • the state determination unit 303 compares the face angle calculated by the face angle calculation unit 302 with the face angle before the time stored in the face storage unit 304, so that the user 100 can display the 3D image. It is determined whether the user is looking at the screen of the device 10 or the screen of the other 3D video display device, and the user's viewing state is output to the face storage unit 304.
  • the face storage unit 304 includes the face ID, the acquisition time of the image from which the face image was extracted, the feature amount of the face image output from the face extraction unit 301, and the face angle calculated by the face angle calculation unit 302.
  • the viewing state detected by the state determination unit 303 is stored in association with each other.
  • the timer unit 305 measures time.
  • the high-frequency change detection unit 306 determines whether or not the user's viewing state changes more frequently than the information stored in the face storage unit 304.
  • FIG. 7 is a flowchart showing the detailed operation of the 3D image display apparatus 10 shown in FIG. Step S2000 in FIG. 3 includes step S2010 in FIG. 7, and step S3000 in FIG. 3 includes steps S3010 to S3100 in FIG.
  • the same operations as those in FIG. 3 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the operation of the 3D video display device 10 starts (S1000).
  • the camera 201 captures a still image in a range of 120 degrees in front of the 3D video display device 10, and outputs the captured image to the face extraction unit 301 (S2010).
  • S2010 face extraction unit 301
  • 10 still images are captured per second.
  • the face extraction unit 301 extracts a human face image from the image acquired in step S2010 (S3010).
  • an extraction method for example, a method of narrowing a face area from a histogram of skin color pixel distribution as in Patent Document 3 is used.
  • the face extraction unit 301 compares the feature amount of the face image with the feature amount of the face image stored in the face storage unit 304, thereby extracting the face image extracted from the image and the feature stored in the face storage unit 304. It is determined whether or not the face image from which the amount is calculated is the same face image (S3020). For example, as described in Non-Patent Document 1, the face extraction unit 301 uses eigenvectors obtained in advance by principal component analysis of a large number of face images, and calculates the eigenvector from the difference between the input face image and the average vector. Create a set of weights. The face extraction unit 301 determines whether the face images are the same based on the similarity of the weight set.
  • step S3020 When it is determined in step S3020 that the face image extracted from the image and the face image from which the feature amount calculation stored in the face storage unit 304 is the same face image (Yes in S3020) Advances to step S3040.
  • step S3020 a feature amount is not stored in the face storage unit 304, or a face image extracted from the image is different from a face image from which the feature amount calculation is stored in the face storage unit 304 is different.
  • the face extraction unit 301 outputs the feature amount of the face image to the face storage unit 304.
  • the face storage unit 304 sets a new face ID, obtains a still image obtained by extracting a face image different from the face image from which the feature amount is already stored, and the feature amount of the face image. Are stored in association with the face ID (S3030).
  • the face angle calculation unit 302 calculates the angle of the face by calculating the angle between the face of the face image extracted by the face extraction unit 301 and the screen of the 3D video display device 10, and the face angle is determined by the state determination unit 303.
  • the face angle calculation unit 302 has a plurality of face angle templates when specifying positions in the face area of the eyes and mouth by template matching. Find the face angle from the matching template.
  • the face storage unit 304 stores the acquisition time of the still image and the face angle (S3050).
  • the state determination unit 303 determines viewing when the face angle calculated in step S3040 is within a predetermined angle range, and determines non-viewing when the angle is other than this (S3060).
  • the range of the predetermined angle is, for example, a range in which the angle formed by the median plane of the face and the normal of the screen plane of the 3D video display device 10 is ⁇ 45 degrees to 45 degrees.
  • FIG. 8 is a schematic diagram showing the face angle determined in step S3060.
  • the state determination unit 303 outputs the viewing state determination result to the face storage unit 304.
  • the face storage unit 304 stores the viewing state determined in step S3060 in association with the face ID and the acquisition time of the still image from which the face image is extracted (S3070).
  • FIG. 9 shows an example of data stored in the face storage unit 304.
  • the face storage unit 304 determines the face ID, the facial feature amount obtained in step S3010, the acquisition time of the still image from which the face image is extracted, the face angle obtained in step S3040, and the determination in step S3060.
  • the observed viewing state is stored.
  • the high-frequency change detection unit 306 determines whether or not the viewing state of the face image is changing with high frequency (S3080).
  • the high-frequency change detection unit 306 extracts the latest face image information from the face image information stored in the face storage unit 304. Further, the high-frequency change detection unit 306 extracts a face ID from the information on the face image, has the same face ID, and has an image acquisition time within a predetermined time preceding the image acquisition time. Extract image information.
  • the predetermined time is, for example, 10 seconds.
  • the high-frequency change detection unit 306 obtains the number of times that the viewing state is different from the viewing state of the information stored immediately before in the extracted information. When the viewing state is different from the previous state, it indicates that the viewing state changes.
  • step S3080 When a change in viewing state is detected at a predetermined frequency or more, for example, three times or more in 10 seconds, it is regarded as a change in the viewing state at a high frequency. If a frequent change in viewing state is detected in step S3080, the process proceeds to step S4000.
  • the image display unit 600 converts the 3D video stored in the video information storage unit 400 into a 2D video based on the 2D signal output from the control unit 500 and displays the 2D video (S4000). If a high-frequency change in viewing state is not detected in step S3080, the high-frequency change detection unit 306 further determines whether or not the viewing state of the face image continues for a predetermined time or more, for example, 5 seconds or more. Is determined (S3090).
  • step S3090 If it is determined in step S3090 that the same viewing state of the face image continues for a predetermined time or longer (Yes in S3090), the process proceeds to step S5000.
  • the image display unit 600 displays the 3D video stored in the video information storage 400 as it is in 3D (S5000). If it is determined in step S3090 that the same viewing state as the face image has not continued for a predetermined time, the process returns to step S2010 without changing the operation of the image display unit 600. After step S4000 or step S5000 is executed, the process returns to step S2010.
  • step S4000 The method of displaying the 3D video in 2D in step S4000 will be described separately because it differs depending on the configuration of the image display unit 600 and the 3D display method.
  • each 3D video display device converts the 3D video into a 2D video and displays it.
  • a camera is installed in each 3D video display device, and the 3D video display device is viewed from the orientation of the user's face imaged by each camera. Judging whether or not. Furthermore, when the resolution of the camera is sufficiently high, it is possible to extract the eyeball region from the image obtained by capturing the orientation of the user's face, and to extract the angle of the eyeball relative to the user's screen by estimating the line of sight Become.
  • the method shown in Non-Patent Document 3 can be used as a method of line-of-sight extraction.
  • each 3D image display device is for detecting the orientation of the user's face.
  • a plurality of cameras may be installed around the screen of each 3D video display device, and the orientation of the user's face may be detected from images captured by the plurality of cameras. Accordingly, depth information can be obtained by matching a plurality of images with respect to a part of the user's face, for example, a part such as an eye, a nose, and a mouth, and the orientation of the user's face can be determined more accurately.
  • each 3D video display device stores in advance information regarding the location where each 3D video display device is installed in the camera.
  • each 3D video display device determines which display device the user is viewing by using video captured by an installed camera. As shown in FIGS. 10B and 10C, the captured image differs depending on which display device the user is viewing. Therefore, each 3D video display device detects the face direction from the captured image.
  • the three-dimensional video is converted into the two-dimensional video.
  • a message for calling attention to watching a 3D image on the screen may be displayed.
  • FIG. 12 shows an example of the configuration of the image display unit 600 when the image display unit 600 adopts the naked eye type as a 3D video display method.
  • the autostereoscopic method uses a barrier or special lens provided on the display surface to adjust the direction of light to the horizontal direction, so that the right-eye video is visible to the right eye for the user viewing the display. This is a system that allows the eye image to be seen by the left eye.
  • the image display unit 600 includes an image control unit 601, an image processing unit 602, and a display unit 603.
  • the image control unit 601 first selects either the right eye or the left eye. Select one of the images.
  • the image processing unit 602 makes the left and right videos of the 3D video stored in the video information storage unit 400 the same. For example, when the right-eye video is selected, the image processing unit 602 replaces the left-eye video of the three-dimensional video stored in the video information storage unit 400 with the right-eye video, Make the left eye image exactly the same.
  • the image processing unit 602 After performing the above two-dimensional processing, the image processing unit 602 outputs the same right-eye video and left-eye video to the display unit 603.
  • the display unit 603 divides the right-eye image into slits and displays it at the right-eye display position, and divides the left-eye image into slits and displays it at the left-eye display position, as in the three-dimensional display. As a result, the same video is displayed on the left and right eyes, and the user views the two-dimensional video.
  • FIG. 13 shows an example of the configuration of the image display unit 600 when the image display unit 600 adopts a passive shutter system as a three-dimensional display system.
  • the display is divided into a right eye portion and a left eye portion, and deflection filters having different angles or directions for the right eye and the left eye are provided on the respective surfaces.
  • the passive shutter system is a system that enables three-dimensional display by viewing through dedicated glasses equipped with polarizing shutters corresponding to the angle or direction of the polarizing filter of the display in the right eye and the left eye.
  • the image display unit 600 includes an image control unit 611, an image processing unit 612, and a display unit 613, and further includes 3D video glasses 30 having a shutter 621.
  • the image control unit 611 selects either the right eye image or the left eye image.
  • the image processing unit 612 replaces the left and right videos of the three-dimensional video stored in the video information storage unit 400 with the selected video of the side not selected by the image control unit 611, and Make the video the same.
  • the image processing unit 612 outputs a video in which the left and right videos are the same to the display unit 613.
  • the display unit 613 divides and displays the left and right images into display areas for each image, as in the case of three-dimensional display.
  • the user views the video displayed on the display unit 613 through the shutter 621 of the 3D video glasses 30 attached. As a result, the same video is displayed on the left and right eyes, and the user views the two-dimensional video.
  • FIG. 14 shows an example of the configuration of the image display unit 600 when the image display unit 600 adopts an active shutter system as a three-dimensional display method.
  • the active shutter method is a method in which the right eye image and the left eye image are alternately displayed on the display, and the shutter of the dedicated glasses is alternately opened and closed in accordance with the display timing.
  • the user opens the right-eye shutter at the timing when the right-eye image is displayed and looks at the display with the right eye, and opens the left-eye shutter at the timing when the left-eye image is displayed. Look at the display with the left eye.
  • the image display unit 600 includes an image control unit 631, an image processing unit 632, a display unit 633, a transmission unit 634, and 3D video glasses 30.
  • the 3D video glasses 30 include a receiving unit 641, a shutter control unit 642, and a shutter 643.
  • the image processing unit 632 performs a process of replacing the three-dimensional video stored in the video information storage unit 400 with the same video on the left and right, and the display unit 633 is the same on the left and right.
  • This is a method of displaying an image in the same manner as when displaying a 3D image.
  • the second method is the following method. That is, the image control unit 631 selects which of the left and right images is to be displayed, but the display unit 633 displays the image in the same manner as when displaying a 3D image. On the other hand, the image control unit 631 changes the opening / closing timing of the shutter 643 of the 3D video glasses 30 so that the user views the left or right video selected by the image control unit 631 with both eyes.
  • step S4000 the image control unit 631 selects either the right-eye video or the left-eye video, and the image processing unit 632 stores the 3D video stored in the video information storage unit 400.
  • the left and right images are replaced with the selected image by replacing the left and right images not selected.
  • the image processing unit 632 outputs a video in which the left and right videos are the same to the display unit 633.
  • the image control unit 631 generates a synchronization signal for switching the left and right shutters in synchronization with the display as in the case of the three-dimensional display.
  • the display unit 633 displays the video processed by the image processing unit 632 according to the control signal output from the image control unit 631.
  • the transmission unit 634 transmits the synchronization signal generated by the image control unit 631, and the reception unit 641 receives the synchronization signal.
  • the shutter control unit 642 controls opening and closing of the shutter 643 according to the synchronization signal received by the receiving unit 641.
  • the user views the same image in order with the right eye and the left eye, and views the two-dimensional image.
  • step S4000 the image control unit 631 selects either the right eye image or the left eye image.
  • a video for the right eye is selected.
  • the image control unit 631 opens a synchronization signal for controlling the shutter 643 so that both the right-eye shutter and the left-eye shutter are opened when the right-eye video is displayed and closed when the left-eye video is displayed. Is generated.
  • the image processing unit 632 outputs the 3D video stored in the video information storage unit 400 to the display unit 633 without adding a 2D process.
  • the display unit 633 alternately displays the left and right images as in the case of the three-dimensional display, and the transmission unit 634 transmits the synchronization signal generated by the image control unit 631 to the reception unit 641.
  • the receiving unit 641 outputs the received synchronization signal to the shutter control unit 642, and the shutter control unit 642 opens and closes the shutter 643 in synchronization based on the synchronization signal.
  • both of the shutters 643 of the 3D video glasses 30 worn by the user are opened only when the right eye image is displayed, and the user views only the right eye image, so that the 2D video is viewed. Will do.
  • FIG. 15 is a schematic diagram illustrating a concept of a state in which a user alternately views a plurality of 3D video display devices that display different 3D video images in the present embodiment.
  • a plurality of 3D video display devices that is, a 3D video display device 11a and a 3D video display device 11b, are in front of the user 100, and the user 100 wearing the 3D video glasses 50 has either 3D video display device. Can also watch.
  • FIG. 16 shows an example of a detailed configuration of the 3D video display device 11 having the same configuration as the 3D video display device 11a or 3D video display device 11b shown in FIG. 15 and the 3D video glasses 50. .
  • the same components as those of the 3D image display device 10 shown in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the 3D video display device 11 includes a part of the sensor 200A, a viewing behavior detection unit 300A, a video information storage unit 400, a control unit 500, and an image display unit 600.
  • the 3D image glasses 50 include a part of the sensor 200 ⁇ / b> A and a shutter 700.
  • the sensor 200 ⁇ / b> A includes a light receiving unit 211 provided in the 3D video display device 11 and a light emitting unit 212 provided in the 3D video glasses 50.
  • the light receiving unit 211 acquires the light beam emitted from the light emitting unit 212.
  • the light receiving unit 211 is a camera (light receiving unit 211 a and 211 b) installed at the upper center of the screen plane of the 3D video display device 11, for example, 120 degrees horizontally from the horizontal center of the screen. Get the ray of the range. Further, as shown in FIG.
  • the light emitting unit 212 is installed between the right-eye shutter and the left-eye shutter of the 3D video glasses 50, and outputs a light beam with a small diffusion range around a direction perpendicular to the shutter plane. It is a luminous body.
  • the light beam is, for example, infrared light.
  • the viewing behavior detection unit 300 ⁇ / b> A includes an incident angle measurement unit 311, a state determination unit 312, a glasses specification unit 313, a state storage unit 315, a timing unit 314, and a high-frequency change detection unit 316.
  • the incident angle measurement unit 311 calculates the angle at which the light beam output from the light emitting unit 212 acquired by the light receiving unit 211 is incident on the light receiving unit 211. Whether the state determination unit 312 is viewing the screen of the 3D video display device 11 when the user correctly wears the 3D video glasses 50 based on the incident angle calculated by the incident angle measurement unit 311. Determine whether or not.
  • the glasses identifying unit 313 identifies the 3D video glasses 50 based on the light emission pattern of the light emitting unit 212 acquired by the light receiving unit 211.
  • the timer unit 314 measures time.
  • the state storage unit 315 includes a glasses ID for identifying the glasses for 3D video 50 specified by the glasses specifying unit 313, a light emission pattern (pulse pattern) of the light emitting unit 212, a time measured by the time measuring unit 314, and a state determination unit.
  • the viewing state of the user 100 determined in 312 is stored.
  • FIG. 17 is an example of information stored in the state storage unit 315.
  • FIG. 18 is a flowchart showing the operation of the 3D image display apparatus 11 shown in FIG.
  • the same operations as those of the 3D image display apparatus 10 shown in FIG. 7 of the first embodiment are denoted by the same reference numerals, and the description thereof will be omitted as appropriate.
  • Sensor 200A starts operation and acquires user status information (S2000A). That is, the light receiving unit 211 starts to receive light (S2110). Next, the light emitting unit 212 emits light (S2120). The light beam emitted from the light emitting unit 212 draws, for example, a perfect circle of infrared rays, and further emits light according to a specific light emission pulse time pattern, for example, in order to identify the 3D image glasses 50. Further, it is assumed that the light emitting unit 212 diffuses light within a range of 1 degree in the horizontal direction when the glasses are erected with respect to the front direction of the 3D video glasses 50. It is assumed that light emission is performed 10 times per second, for example.
  • the viewing behavior detection unit 300A is a state in which the user is alternately viewing the 3D video display device 11 and the other 3D video display devices, that is, high-frequency switching. Behavior detection is performed (S3000). That is, the eyeglass specification unit 313 acquires the time pattern of the pulse of the light beam output from the light emitting unit 212 acquired by the light receiving unit 211 (S3110). The glasses identifying unit 313 compares the pulse time pattern acquired in step S3110 with the pulse time pattern stored in the state storage unit 315 (S3120). In step S3120, when the pulse pattern acquired in step S3120 matches the pulse pattern stored in state storage unit 315 (Yes in S3120), the process proceeds to step S3130.
  • step S3120 if the pulse pattern acquired in step S3110 does not match the pulse pattern stored in state storage unit 315, or if the pulse pattern is not stored in state storage unit 315 (No in S3120), state storage unit 315 is stored.
  • the incident angle measuring unit 311 measures the incident angle from the major axis and minor axis of the ellipse drawn by the light beam output from the light emitting unit 212 acquired by the light receiving unit 211 (S3140).
  • 19A and 19B show the light receiving unit 211 based on the light receiving plane of the light receiving unit 211, that is, the screen plane of the three-dimensional image display device 11, the angle formed by the infrared light output from the light emitting unit 212, that is, the incident angle, and the infrared light output from the light emitting unit 212. It is the figure which showed typically the relationship with the circle or ellipse drawn on a plane.
  • FIG. 19A shows a case where the incident angle is 90 degrees
  • FIG. 19B shows a case where the incident angle is ⁇ .
  • the circle drawn on the light receiving plane of the light receiving unit 211 is a perfect circle.
  • an ellipse is drawn on the light receiving plane of the light receiving unit 211. Since the major axis of the ellipse is determined by the angle ⁇ , the incident angle ⁇ is obtained by the following formula 1.
  • a circular infrared ray is emitted from the light emitting unit 212 of the 3D video glasses 50, and the flatness of the circle projected on the 3D video display device 11 is displayed in 3D video. Measurement is performed by an infrared camera or the like attached to the apparatus 11.
  • the infrared reflected infrared light projected on the 3D video glasses 50 may be detected by providing the 3D video display device 11 with a circular infrared light emitting unit and an infrared camera. It is also possible to determine whether or not the user is viewing the 3D video display device 11 by measuring the circle or ellipse shape of the reflected infrared light reflected from the 3D video display device 11.
  • the state determination unit 312 determines viewing when the incident angle calculated in step S3140 is within a predetermined angle range, and determines non-viewing when the angle is other than this (S3150).
  • the range of the predetermined angle is, for example, a range of ⁇ 45 degrees to 45 degrees.
  • the state determination unit 312 outputs the viewing state determination result to the state storage unit 315.
  • the state storage unit 315 stores the viewing state determined in step S3150 in association with the glasses ID and the time when the light receiving unit 211 acquires the light beam (S3160).
  • the high-frequency change detection unit 306 determines whether or not the viewing state of the face image changes with high frequency (S3180).
  • the high frequency change detection unit 306 extracts the information of the glasses ID having the latest time stored in the state storage unit 315. Further, the high-frequency change detection unit 306 has the same glasses ID as the newest extracted glasses ID, and extracts light reception information within a predetermined time preceding the latest light reception.
  • the predetermined time is, for example, 10 seconds.
  • the high-frequency change detection unit 306 detects a change in viewing state from the extracted information. When a change in viewing state is detected at a predetermined frequency or more, for example, three times or more in 10 seconds, it is regarded as a change in the viewing state at a high frequency.
  • step S4000 If a frequent change in viewing state is detected in step S3180, the process proceeds to step S4000.
  • the image display unit 600 displays the 3D video stored in the video information storage unit 400 in a two-dimensional manner based on the 2D signal output from the control unit 500 (S4000). If a high-frequency viewing state change is not detected in step S3180, the high-frequency change detecting unit 316 further determines whether or not the viewing state of the glasses ID continues for a predetermined time or more, for example, 5 seconds or more. Is determined (S3090). If it is determined in step S3090 that the same viewing state as that of the glasses ID has continued for a predetermined time or longer (Yes in S3090), the process proceeds to step S5000.
  • the image display unit 600 displays the 3D video stored in the video information storage unit 400 in 3D (S5000). If it is determined in step S3090 that the same viewing state due to the received light does not continue for a predetermined time, the process returns to step S2010 without changing the operation of the image display unit 600. After executing Step S4000 or Step S5000, the process returns to Step S2010.
  • 3D video display devices displaying 3D video images
  • a user frequently performs an action of alternately viewing the 3D video images displayed on the respective 3D video display devices.
  • the 3D video By converting the 3D video into a 2D video and displaying it, it is possible to avoid a state where fatigue changes frequently due to frequent scene changes due to user viewing behavior, User fatigue caused by user behavior can be reduced.
  • FIG. 20 is a schematic diagram showing a concept of a state in which a user alternately views a plurality of 3D video display devices that display different 3D video images in the present embodiment.
  • a plurality of 3D video display devices that is, a 3D video display device 12a and a 3D video display device 12b, are in front of the user 100, and the user 100 can view either 3D video display device. Further, the plurality of 3D video display devices can perform data communication with each other.
  • FIG. 21 shows an example of a detailed configuration of the 3D video display device 12a shown in FIG.
  • the same components as those in FIG. 6 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the 3D video display device 12b has the same configuration as the 3D video display device 12a.
  • the 3D video display device 12 a has a configuration in which a communication unit 800 is added to the configuration of the 3D video display device 10 illustrated in FIG. 6 and a viewing behavior detection unit 300 B is provided instead of the viewing behavior detection unit 300.
  • the communication unit 800 includes a communication control unit 321, a transmission unit 322, and a reception unit 323.
  • the communication unit 800 transmits and receives signals between the 3D video display device 12a and another adjacent 3D video display device 12b by wireless or the like.
  • the viewing behavior detection unit 300B includes an integration processing unit 324 and a history storage unit 325 in addition to the viewing behavior detection unit 300 illustrated in FIG. 6, and replaces the frequent change detection unit 306 with a frequent change detection unit 326. It has the composition provided. That is, the viewing behavior detection unit 300B includes a face extraction unit 301, a face angle calculation unit 302, a state determination unit 303, a face storage unit 304, a timing unit 305, an integration processing unit 324, and a history storage unit 325. And a high-frequency change detection unit 326.
  • Sensor 200 includes a camera 201.
  • the communication control unit 321 outputs a control signal for controlling transmission of information from the 3D video display device 12a to the other 3D video display device 12b.
  • the transmission unit 322 converts information stored in the face storage unit 304 into a signal according to a control signal output from the communication control unit 321 and transmits the signal to the adjacent 3D video display device 12b.
  • the receiving unit 323 receives a signal transmitted from the adjacent 3D video display device 12b.
  • the integrated processing unit 324 obtains information on the face to view the adjacent 3D video display device 12b from the signal received by the receiving unit 323, and compares the information with the face information stored in the face storage unit 304. The matching result is integrated as a history of viewing states stored for each face.
  • the history storage unit 325 stores the viewing state history for each face generated by the integration processing unit 324. From the information stored in the history storage unit 325, the high-frequency change detection unit 326 watches the 3D video display device 12a and the adjacent 3D video display device 12b alternately, and observes them. It is determined whether or not the 3D video display device is switched frequently.
  • FIG. 22 is a flowchart showing the operation of the 3D image display device 12a shown in FIG.
  • the operation of the 3D video display device 12a of FIG. 21 is obtained by adding step S6000 to the operation of the 3D video display device 10 of the first embodiment shown in FIG.
  • the description of the same operation as that in Embodiment 1 will be omitted as appropriate.
  • the operation of the 3D image display apparatus 12a according to the third embodiment will be described with reference to FIG.
  • the operation of the 3D video display device 12a starts (S1000).
  • the sensor 200 acquires user state information (S2000).
  • the communication unit 800 starts receiving a signal transmitted from another 3D video display device 12b adjacent to the 3D video display device 12a (S6000).
  • the viewing behavior detection unit 300B displays the 3D video display. A state in which the device 12a and the adjacent 3D image display device 12b are alternately viewed, that is, a high-frequency switching action is detected (S3000).
  • step S3000 When the user's high-frequency switching behavior is detected in step S3000 (Yes in S3000), the control unit 500 outputs a control signal for displaying a video in two dimensions on the image display unit 600, that is, a 2D signal. Based on the 2D signal, the image display unit 600 converts the 3D video stored in the video information storage unit 400 into a 2D video and displays it (S4000). If the user's high-frequency switching behavior is not detected in step S3000 (No in S3000), the image display unit 600 displays the 3D video stored in the video information storage unit 400 as it is in 3D (S5000). After execution of step S4000 and step S5000, the process returns to step S2000, and step S2000 to step S4000 or step S5000 is repeated.
  • a control signal for displaying a video in two dimensions on the image display unit 600 that is, a 2D signal.
  • the image display unit 600 converts the 3D video stored in the video information storage unit 400 into a 2D video and displays it (S
  • FIG. 23 is a flowchart showing a part of detailed operation of the 3D image display device 12a shown in FIG. Step S6000 operates independently of the operation flow from step S2000 to step S5000. The detailed operation of step S6000 will be described below with reference to FIG.
  • step S1000 the 3D image display device 12a starts operating.
  • the receiving unit 323 starts receiving (S6010).
  • a signal received by the receiving unit 323 is communicated by wireless communication such as Bluetooth (registered trademark).
  • the content of the signal is a display device ID for identifying the 3D video display device 12b from the top, a face ID and a face for identifying the face sensed by the 3D video display device 12b that transmits the signal.
  • step S6020 When the 3D video display device 12b that is the signal transmission source senses a plurality of faces, information on the plurality of faces is transmitted.
  • the receiving unit 323 waits for a radio signal having a matching signal format (S6020).
  • a signal is received in step S6020 (Yes in S6020)
  • the reception unit 323 outputs information included in the received signal to the integration processing unit 324, and proceeds to step S6030. If no signal is received in step S6020 (No in S6020), step S6020 is repeated.
  • step S6030 the integration processing unit 324 stores the facial viewing state stored in the 3D video display device 12b adjacent to the 3D video display device 12a included in the signal received by the reception unit 323 in step S6020.
  • the information and the information on the viewing state of the face stored in the face storage unit 304 of the 3D video display device 12a are integrated (S6030) and stored in the history storage unit 325 (S6040).
  • step S6040 the process returns to step S6020, and steps S6020 to S6040 are repeated, so that the 3D video display device 12a generates a history of the user's viewing state through communication with the adjacent 3D video display device 12b.
  • FIG. 25 is a flowchart showing details of processing performed by the integration processing unit 324 in step S6030.
  • the integration processing unit 324 extracts unprocessed face information from the face information received in step S6020 (S6031). If there is no unprocessed face information in step S6031 (Yes in S6031), the process proceeds to step S6040. If there is unprocessed face information in step S6031 (No in S6031), the integrated processing unit 324 extracts one unprocessed face feature stored in the adjacent 3D video display device 12b extracted in step S6031.
  • step S6033 The amount is compared with all the feature amounts of the face stored in the face storage unit 304 of the 3D video display device 12a (S6032), and information on the face with the matching feature amount is extracted from the face storage unit 304. (S6033).
  • the collation of the feature quantity is performed in the same manner as step S3020 in the first embodiment, for example. If it is determined in step S6033 that face information with matching facial feature amounts is stored in the face storage unit 304 (Yes in S6033), the process proceeds to step S6034. If it is determined in step S6033 that face information with matching facial feature amounts is not stored in the face storage unit 304 (No in S6033), the process returns to step S6031.
  • step S6033 the face information with the matching face feature amount is not stored in the face storage unit 304.
  • the user specified by the collated face feature amount is the 3 closest to the face information transmission source. This indicates that the 3D video display device 12b is being viewed but the 3D video display device 12a is not being viewed. Therefore, processing for reducing fatigue by the 3D image display device 12a is not required.
  • step S6034 the integrated processing unit 324 views the face information stored in the face storage unit 304 extracted in step S6033 at each time (whether the 3D video display device 12a is being viewed). ) And the viewing state at each time of the facial information determined to have the same feature amount in step S6033 among the received facial information (whether or not the neighboring 3D video display device 12b is being viewed). Are rearranged according to the time (S6034). Further, the integration processing unit 324 displays the face ID stored in the face storage unit 304 of the 3D video display device 12a and the 3D video display of the transmission source for the information on the face rearranged in step S6034.
  • the face information includes the display device ID of the device 12b, the face ID set by the transmission source 3D video display device 12b, and viewing information indicating which 3D video display device is being viewed.
  • Data associated with the acquired time is generated (S6035) and output to the history storage unit 325.
  • the history storage unit 325 stores the data generated in step S6035 (S6040).
  • FIG. 26 shows an example of data stored in the history storage unit 325.
  • the history storage unit 325 identifies the face information stored in the face storage unit 304 of the 3D video display device 12a for each face by the face ID for identifying the face and the adjacent 3D video display device 12b.
  • the face ID of the displayed face and the viewing state indicating which 3D image display device is being viewed are stored.
  • the first line indicates that the face with the face ID “01” is extracted by the 3D video display device 12a and the adjacent 3D video display device 12b with the device ID “proximity 1”.
  • the face with the face ID “01” looks at the 3D video display device 12a at the time “10: 32: 15.55” (1), and the three-dimensional device IDs “proximity 1” and “proximity 2”. This indicates that the video display device 12b is not viewing (0).
  • the integration processing unit 324 integrates the information on the viewing state of the face only from the information acquired from the reception unit 323 and the information stored in the face storage unit 304, but is stored in the history storage unit 325.
  • the viewing state information may be integrated using the correspondence between the face ID in the 3D video display device 12a and the face ID in the adjacent 3D video display device 12b.
  • the integrated processing unit 324 collates the received face information with all of the information stored in the face storage unit 304, but the history processing unit 325 refers to the history storage unit 325 and stores it in the history storage unit 325. It is good also as collating only about the information of the time after time.
  • FIGS. 20 and 21 show two devices as three-dimensional video display devices that are close to each other. However, three or more devices are close to each other, and there are three or more three users. The same processing is performed when the three-dimensional video is viewed alternately.
  • step S3080 is the same as steps S3010 to S3090 of the first embodiment shown in FIG. 7, but only the operation of step S3080 is different from that of the first embodiment.
  • the high-frequency change detection unit 326 determines whether or not the viewing state of one or more faces stored in the history storage unit 325 is changing with high frequency (S3080).
  • the high-frequency change detection unit 326 extracts face information having a time within a predetermined time preceding the current time from the history storage unit 325.
  • the predetermined time is, for example, 10 seconds.
  • the process proceeds to step S4000. If a frequent change in viewing state is not detected in step S3080, the process proceeds to step S3090.
  • a plurality of 3D video display devices for viewing 3D video using 3D video glasses exist in close proximity, and the 3D video glasses are used.
  • the wearing user 100 can view the 3D video displayed independently on the plurality of 3D video display devices.
  • a plurality of 3D video display devices can communicate with each other.
  • FIG. 27 shows an example of a detailed configuration of the 3D video display device 13a of the fourth embodiment.
  • the 3D video display device 13a includes the communication unit 800 shown in FIG. 21 in addition to the configuration of the 3D video display device 11 shown in FIG. 16, and includes a viewing behavior detection unit 300C instead of the viewing behavior detection unit 300A.
  • the viewing behavior detection unit 300C has a configuration in which an integration processing unit 334 and a history storage unit 335 are added to the viewing behavior detection unit 300A, and the high-frequency change detection unit 316 is replaced with the high-frequency change detection unit 336.
  • the communication unit 800 transmits and receives signals between the 3D video display device 13a and another adjacent 3D video display device 13b by wireless or the like.
  • the same components as those in FIGS. 16 and 21 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the 3D video display device 13b has the same configuration as the 3D video display device 13a.
  • the 3D video display device 13a includes a part of the sensor 200, a viewing behavior detection unit 300C, a video information storage unit 400, a control unit 500, an image display unit 600, and a communication unit 800.
  • the 3D image glasses 50 include a part of the sensor 200 and a shutter 700.
  • the sensor 200 includes a light receiving unit 211 provided in the 3D video display device 13a and a light emitting unit 212 provided in the 3D video glasses 50.
  • the viewing behavior detection unit 300C includes an incident angle measurement unit 311, a state determination unit 312, a glasses specification unit 313, a state storage unit 315, a timing unit 314, an integration processing unit 334, a history storage unit 335, a high A frequency change detection unit 336.
  • the incident angle measurement unit 311 calculates the angle of the light beam of the light emitting unit 212 that has entered the light receiving unit 211. Whether the state determination unit 312 is viewing the screen of the 3D video display device 13a when the user correctly wears the 3D video glasses 50 based on the incident angle calculated by the incident angle measurement unit 311. Determine whether or not.
  • the glasses identifying unit 313 identifies the 3D video glasses 50 based on the light emission pattern of the light emitting unit 212 acquired by the light receiving unit 211.
  • the timer unit 314 measures time.
  • the state storage unit 315 is a glasses ID for identifying the 3D video glasses 50 specified by the glasses specifying unit 313, a time measured by the time measuring unit 314, and a viewing state of the user 100 determined by the state determining unit 312. And remember.
  • the communication control unit 321 outputs a control signal that controls transmission of information.
  • the transmission unit 322 converts information stored in the state storage unit 315 into a signal according to the control signal output from the communication control unit 321 and transmits the signal to the adjacent 3D video display device 13b.
  • the receiving unit 323 receives a signal transmitted from the adjacent 3D video display device 13b.
  • the integrated processing unit 334 acquires information on the user viewing the adjacent 3D video display device 13b and the 3D video glasses 50 from the signal received by the receiving unit 323, and the information is stored in the state storage unit 315. It collates with information and integrates it as a viewing state history for every user and 3D picture glasses 50.
  • the history storage unit 335 stores the viewing history of each user and the 3D video glasses 50 generated by the integrated processing unit 334. From the information stored in the history storage unit 335, the high-frequency change detection unit 336 observes the 3D video display device 13a and the adjacent 3D video display device 13b alternately. It is determined whether or not the 3D video display device is switched frequently.
  • FIG. 28 is a flowchart showing a part of the operation of the 3D video display apparatus 13a shown in FIG. 27 of the present embodiment.
  • the operation of the 3D video display device 13a is the same as steps S1000, S2000, S4000, S5000, and S6000 of the third embodiment shown in FIGS.
  • the process of S6030 is partially different. Details of step S6000 will be described below with reference to FIGS. 28, 22 and 23.
  • the same portions as those in FIG. 25 of the third embodiment are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the 3D video display device 13a starts operating.
  • the reception unit 323 starts reception (S6010 in FIG. 23).
  • the signal includes a display device ID for identifying the 3D video display device from the top, and a glasses ID for identifying the 3D video glasses 50 specified by the 3D video display device that transmits the signal. And the time when the 3D video glasses 50 are specified and the viewing state when the 3D video glasses 50 are specified.
  • the transmission source 3D video display device specifies a plurality of 3D video glasses 50, information of the plurality of 3D video glasses 50 is transmitted as a series of data.
  • the receiving unit 323 waits for a radio signal having a matching signal format (S6020).
  • step S6020 When a signal is received in step S6020 (Yes in S6020), the reception unit 323 outputs information included in the received signal to the integration processing unit 334, and the process proceeds to step S6030. If no signal is received in step S6020 (No in S6020), step S6020 is repeated.
  • the integration processing unit 334 includes the viewing state information stored in the 3D video display device 13b adjacent to the 3D video display device 13a and included in the signal received by the reception unit 323 in step S6020.
  • the viewing state information stored in the state storage unit 315 of the 3D video display device 13a is integrated (S6030) and stored in the history storage unit 335 (S6040).
  • step S6040 the process returns to step S6020 to repeat step S6020 to step S6040, and the 3D video display device 13a generates a history of the user's viewing state by communicating with the adjacent 3D video display device 13b.
  • FIG. 28 is a flowchart showing details of processing performed by the integration processing unit 334 in step S6030.
  • the integration processing unit 334 extracts unprocessed glasses ID information from the glasses ID and viewing state information received in step S6020 (S6131). If there is no unprocessed glasses ID information in step S 6131 (Yes in S 6131), the process proceeds to step S 6040. If there is unprocessed glasses ID information in step S6131 (No in S6131), the integrated processing unit 334 extracts one unprocessed glasses ID stored in the adjacent 3D video display device 13b extracted in step S6131. Are searched for in the state storage unit 315 of the 3D video display device 13a (S6133).
  • step S6133 If it is determined in step S6133 that the matching eyeglass ID is stored in the state storage unit 315 (Yes in S6133), the process proceeds to step S6134. If it is determined in step S6133 that no matching eyeglass ID is stored in the state storage unit 315 (No in S6133), the process returns to step S6131. If it is determined in step S6133 that there is no matching eyeglass ID, the user who views the 3D video display device 13b as the transmission source while wearing the 3D video glasses 50 is concerned with the 3D video display device 13a. Indicates that you are not watching. Therefore, at least the processing for reducing fatigue by the 3D video display device 13a is not required.
  • step S6134 the integration processing unit 334 at each time of the glasses ID stored in both the state storage unit 315 of the 3D video display device 13a extracted in step S6133 and the transmission source 3D video display device 13b.
  • the viewing state information is rearranged according to the time (S6134).
  • the integration processing unit 334 stores the viewing state information rearranged in step S6134 in both the state storage unit 315 of the 3D video display device 13a and the transmission source 3D video display device 13b.
  • Data in which the stored eyeglass ID and viewing information indicating which device is being viewed are associated with the time when the information is acquired is generated (S6135) and output to the history storage unit 335.
  • the history storage unit 335 stores the data generated in step S6035 (S6040).
  • the history storage unit 335 stores a viewing state indicating which 3D video display device is being viewed at each time with respect to the glasses ID stored in the state storage unit 315 of the 3D video display device 13a. . For example, at time “10: 32: 15.55”, it can be seen that the user wearing the glasses for 3D video 50 having the glasses ID was watching the 3D video display device 13a.
  • the integration processing unit 334 integrates the viewing state information for each 3D video glasses 50 from the information acquired from the reception unit 323 and the information stored in the state storage unit 315, but the history storage unit 335
  • the viewing state information may be integrated using the correspondence between the glasses ID stored in the table and the glasses ID included in the received information.
  • the integrated processing unit 334 collates the received glasses ID with all the glasses IDs stored in the state storage unit 315, but is stored in the history storage unit 325 with reference to the history storage unit 335.
  • the collation may be performed only on information at a later time.
  • FIG. 27 shows two devices, a three-dimensional video display device 13a and a three-dimensional video display device 13b, as three adjacent three-dimensional video display devices. Similar processing is performed when the devices are close to each other and the user alternately views three or more three-dimensional images.
  • Step S3000 is the same as steps S3110 to S3090 in FIG. 18 of the second embodiment, but only the operation of step S3180 is different from the second embodiment. For this reason, it demonstrates below.
  • the high-frequency change detection unit 336 determines whether or not the viewing state associated with one or more glasses IDs stored in the history storage unit 335 is changing with high frequency (S3180).
  • the high-frequency change detection unit 336 extracts, from the history storage unit 335, information on glasses ID having time information within a predetermined time preceding the current time.
  • the predetermined time is, for example, 10 seconds.
  • the process proceeds to step S4000. If a frequent change in viewing state is not detected in step S3180, the process proceeds to step S3090.
  • the communication unit 800 according to Embodiment 3 communicates with another 3D video display device adjacent to the 3D video display device in step S6000 of FIGS. 22 and 23, and detects the user sensed by both devices. Integrated visual state.
  • the depth information of the 3D images displayed by both devices is communicated, and 2D conversion is performed when the difference in depth between the 3D image display devices is large. Do. When the difference in depth between the 3D video display devices is small, 2D conversion is not performed, and the user can continue to view the 3D video. Fatigue is caused by frequent switching of images with large depth differences.
  • the present modification there are a plurality of 3D video display devices in the vicinity as shown in FIG. 20 of the third embodiment, and the user 100 displays the 3D video displayed independently on each of the plurality of 3D video display devices. You can watch it instead.
  • a plurality of 3D video display devices can communicate with each other.
  • FIG. 31 shows an example of a detailed configuration of the 3D video display device 14a according to the modification of the third embodiment.
  • the 3D video display device of FIG. 31 is the same as the configuration of the 3D video display device 12a shown in FIG. 21, except that a depth information storage unit 410 is added, and the viewing behavior detection unit 300B is replaced with the viewing behavior detection unit 300D.
  • 800 has a configuration in which the communication unit 800A is replaced.
  • the same components as those in FIG. 21 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the 3D video display device 14b has the same configuration as the 3D video display device 14a.
  • Sensor 200 includes a camera 201.
  • the viewing behavior detection unit 300D includes a face extraction unit 301, a face angle calculation unit 302, a state determination unit 303, a face storage unit 304, a timing unit 305, an integration processing unit 344, a history storage unit 325, a high A frequency change detection unit 326.
  • the communication unit 800A includes a communication control unit 321, a transmission unit 342, and a reception unit 343.
  • the depth information storage unit 410 stores depth information corresponding to the 3D video stored by the video information storage unit 400.
  • FIG. 32 is a diagram illustrating an example of depth information stored in the depth information accumulation unit 410.
  • the time, the frame number of the image, the minimum value, the maximum value, the median value, and the screen center value of each frame are stored.
  • the unit of depth is centimeters.
  • the front side is positive, the back side is negative, and a standard interpupillary user views the screen from a standard viewing distance with respect to the screen size. It shows the perceived depth distance.
  • the transmission unit 342 generates and transmits a transmission signal that combines the time stored in the face storage unit 304, the face ID, the facial feature amount and the viewing state, and the depth information stored in the depth information storage unit 410.
  • the receiving unit 343 receives a signal including time, face ID, facial feature amount, viewing state, and depth information transmitted from the other 3D video display device 14b, and receives information included in the received signal.
  • the data is output to the integration processing unit 344.
  • the integrated processing unit 344 acquires the depth information of the 3D video displayed by the 3D video display device 14b other than the 3D video display device 14a acquired from the reception unit 343, and the depth information of the 3D video display device 14a.
  • the depth information stored in the storage unit 410 is compared.
  • the face information sensed by the 3D image display device 14b other than the 3D image display device 14a is integrated with the face information stored in the face storage unit 304 of the 3D image display device 14a. Then, a history of viewing state for each face is generated and output to the history storage unit 325.
  • FIG. 33 is a flowchart showing a part of the operation of the 3D image display device 14a shown in FIG.
  • the operation of the 3D video display device 14a is the same as that shown in FIG. 22 except that the detailed operation in step S6000 in FIG. 22 of the third embodiment is different.
  • FIG. 33 shows the detailed operation of step S6000.
  • FIG. 33 is the same as FIG. 23 except that step S6025 is added to the operations from step S6010 to step S6040 of the third embodiment shown in FIG.
  • the same reference numerals are given to the same operations as those in FIG.
  • the operation of step S6000 in this modification will be described with reference to FIG.
  • the 3D image display device 14a starts operating.
  • the receiving unit 343 starts receiving (S6010).
  • a signal received by the receiving unit 343 is communicated by wireless communication such as Bluetooth (registered trademark).
  • the content of the signal includes a display device ID for identifying the 3D video display device 14b from the top, a display time of the image, depth information of the displayed image, and a 3D video for transmitting the signal.
  • a face ID for identifying a face sensed by the display device 14b and a facial feature amount, a time when the face was sensed, and a 3D video display device 14b that transmitted a signal when the face was sensed are being viewed. And viewing state information indicating whether or not.
  • step S6020 When the transmission source 3D image display device 14b senses a plurality of faces, information on the plurality of faces is transmitted.
  • the receiving unit 343 waits for a radio signal having a matching signal format (S6020).
  • the reception unit 343 outputs information included in the received signal to the integration processing unit 344, and proceeds to step S6025. If no signal is received in step S6020 (No in S6020), step S6020 is repeated.
  • step S6025 the integration processing unit 344 stores the depth information of the 3D video display device 14b and the depth information storage unit 410 of the 3D video display device 14a included in the signal received by the reception unit 343 in step S6020.
  • the obtained depth information of the current time is compared (S6025). For example, the absolute value of the difference between the minimum values of the depth, the absolute value of the difference between the maximum values of the depth, the absolute value of the difference of the median depth, and the absolute value of the difference of the depth at the center of the screen Is greater than a predetermined value, the depth of the video displayed by the 3D video display device 14a and the depth of the video displayed by the 3D video display device 14b that is the transmission source of the signal received in step S6020.
  • step S6025 if the above-described total value is larger than the predetermined value (Yes in S6025), the process proceeds to step S6030. If the above-mentioned total value is equal to or smaller than the predetermined value in step S6025 (No in S6025), the process returns to step S6020.
  • step S6030 the integration processing unit 344 stores the facial viewing state stored in the 3D video display device 14b adjacent to the 3D video display device 14a included in the signal received by the reception unit 323 in step S6020.
  • the information and information on the viewing state of the face stored in the face storage unit 304 of the 3D video display device 14a are integrated (S6030) and stored in the history storage unit 325 (S6040).
  • step S6040 the process returns to step S6020 to repeat step S6020 to step S6040, and the 3D video display device 14a generates a history of the user's viewing state through communication with the adjacent 3D video display device 14b.
  • Embodiment 4 can be changed similarly.
  • the 3D video display device 13a according to Embodiment 4 shown in FIG. 27 further includes a depth information storage unit 410, the transmission unit 322 as the transmission unit 342, and the reception unit 323 as the reception unit.
  • the integrated processing unit 334 may be replaced with the integrated processing unit 344.
  • step S6025 is added to the operation of step S6000, and in step S6030, information on the 3D video glasses 50 worn by the user who views the 3D video display device 13a and the 3D video of the signal source are displayed.
  • the depth of the video displayed by the 3D video display device 13a and the 3D video display device from which the signal is transmitted The size of the difference from the depth of the image displayed by 13b is determined.
  • the 3D video is converted into a 2D video and displayed.
  • the difference in depth is small, the 3D image is displayed as it is.
  • the 3D image is converted into a 2D image and displayed as the depth smoothing process to prevent fatigue, but the depth difference between a plurality of 3D image display devices is reduced.
  • Any other method may be used. For example, the depths of all the images of the 3D image display device that the user is watching alternately are aligned with the average value of the depths of the images displayed on the 3D image display device that is watching alternately. Is the method.
  • the depth information stored in the depth information storage unit 410 and the depth information communicated by the communication unit 800A are depth information of an image displayed at a specific time, and the depth is a minimum value and a maximum value. And the median value and the screen center value, but other information may be used.
  • the specific time indicates a specific time during which the 3D video display device 14a is operating, but the time may not be a specific time but may have a certain time range.
  • the specific time may be a fixed time range having a specific time when the 3D image display device 14a is operating as a start point, a center point, or an end point.
  • the depth information is a time average or median value of the depth. It is good also as a representative value of the depth information within a time range.
  • the depth information may be only the minimum value and the maximum value, or only the median value, only the value at the center of the screen, or depth information for each object.
  • the high-frequency change detecting unit is in a predetermined time, for example, 10 seconds, a predetermined number of times, for example, three times, or the viewing state.
  • a value for determining a change in the high-frequency viewing state may be a value other than this.
  • a photosensitivity attack or photosensitivity reaction as described in Non-Patent Document 4. There are guidelines.
  • Non-Patent Document 4 is a guideline for reducing the influence on the viewer due to flashing light, but item 2 of Non-Patent Document 4 refers to a sudden cut change. Considering that the depth information also changes sharply due to cut change (scene change), the frequency exceeding “once every 1/3 second” pointed out in Non-Patent Document 4 is regarded as a high-frequency change in viewing state. It is desirable to do.
  • the reference described in Non-Patent Document 4 can be used as a reference when the user views the same 3D video. For example, when a scene change occurs at a frequency exceeding “once every 1/3 second” in the same 3D video, the high-frequency change detection unit may cause eye fatigue to the user. You may warn that there is. Further, the control unit may stop the display of the 3D video.
  • the integration processing unit 344 displays the depth information of the 3D video displayed by the 3D video display device and other 3D video display devices that are close to each other. Compare depth information.
  • the absolute value of the difference in the minimum depth value, the absolute value of the difference in the maximum depth value, the absolute value of the difference in the median depth value, and the absolute value of the difference in the depth at the center of the screen When the total value is larger than the predetermined value, it is determined that the difference in depth between the three-dimensional images displayed by the two three-dimensional image display devices is large. It is good also as what judges the difference in depth based on.
  • the integrated processing unit compares the depth information of the 3D video displayed by the 3D video display device with the depth information displayed by another adjacent 3D video display device as follows. To do. For example, the integration processing unit obtains the convergence angle from the standard viewing position with respect to the depth of the center of each screen for the video displayed by the 3D video display device and another adjacent 3D video display device.
  • the integrated processing unit has a large difference in the depth of 3D video displayed by the two 3D video display devices when the difference in convergence angle, that is, the parallax angle when comparing the center of each screen is 1 degree or more. It can be judged. Also, find the angle of convergence for the part with the smallest depth of the video displayed on each device, not the center part of the screen, i.e., the part that appears at the forefront. You may judge. In addition to this, the parallax angle may be obtained from the convergence angle with respect to the average depth of the video displayed on each device.
  • a plurality of three-dimensional videos are displayed in parallel on a plurality of screens.
  • the plurality of screens may be realized by a plurality of display devices, but may be realized by dividing a screen of one display into a plurality of areas and displaying it. That is, in the present disclosure, the plurality of 3D video display devices also mean a display screen of a plurality of 3D videos displayed on one display device.
  • 3D images synthesized from data of diagnostic imaging apparatuses such as CT (Computed Tomography) and MRI (Magnetic Resonance Imaging) is used.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • three-dimensional images are used in endoscopic surgery, remote surgery, and the like.
  • it is useful to compare a plurality of types of three-dimensional images synthesized from the data of the above-mentioned image diagnostic apparatus when discussing the patient's condition and treatment policy at a pre-operative and post-operative conference or the like. It is also useful to compare and examine a 3D surgical image and a synthesized 3D image.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software that realizes the 3D video display device and the like of each of the above embodiments is the following program.
  • this program is a viewing behavior detection step for detecting whether or not the viewing state of a user who alternately views a plurality of 3D video display devices on a computer has changed a predetermined number of times per predetermined time;
  • the viewing behavior detecting step detects that the user's viewing state has changed more than the predetermined number of times per predetermined time, for limiting the viewing by the user of the 3D video displayed on the image display unit
  • a control step for performing processing.
  • the three-dimensional image display device has been described based on the embodiment, but the present invention is not limited to this embodiment. Unless it deviates from the gist of the present invention, one or more of the present invention may be applied to various modifications that can be conceived by those skilled in the art, or forms constructed by combining components in different embodiments. It may be included within the scope of the embodiments.
  • the present invention can be widely used in image display devices for viewing 3D video, and is useful when displaying 3D video on a display screen of a television, a computer, a game, or the like. It can be applied not only to content viewing but also to applications such as image display of medical devices such as diagnostic imaging devices and endoscopes, games and educational / training systems such as surgery and vehicle simulation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

 3次元映像表示装置(10)は、観視対象とする3次元映像表示画面を変更しながら、複数の3次元映像表示画面を観視するユーザの観視状態が、所定時間あたり所定の回数以上変化したか否かを検出する視聴行動検出部(300)と、視聴行動検出部(300)が、ユーザの観視状態が所定時間あたり所定回数以上変化したことを検出した場合に、画像表示部(600)に表示する3次元映像のユーザによる観視を制限するための処理を行う制御部(500)とを備える。

Description

3次元映像表示装置および3次元映像表示方法
 本発明は、3次元映像を出力する3次元映像表示装置および3次元映像表示方法に関する。
 3次元映像の視聴時において、3次元映像の被写体の奥行きの変化に対して、眼は追従して動作する。
 特許文献1には、3次元映像内のシーンチェンジを検出して、シーンチェンジ時に奥行きを滑らかに遷移させることが記載されている。
 特許文献2には、複数の映像コンテンツをマルチ画面に表示する場合に、ユーザが指定した映像コンテンツは3次元で表示し、ユーザが指定しない映像コンテンツは2次元で表示することが記載されている。
特開2010-258723号公報 特開2011-249859号公報 特開2007-257087号公報
特許庁標準技術集、「バイオメトリック照合の入力・認識」、技術分類5-1-2 顔/照合・判定技術/特徴量型、技術名称5-1-2-1固有顔法、2005年 武岡さおり他、「個人認証のための顔画像抽出と顔方向の自動認識」、名古屋女子大学紀要第50号、p145―p151、2004年 山添他、「単眼カメラを用いた視線推定のための三次元眼球モデルの自動キャリブレーション」、電子情報通信学会論文誌D J94-D巻6号、p998―p1006、2011年 テレビ東京ホームページ内「アニメ番組等の映像効果に関する製作ガイドライン」(URL:http://www.tv-tokyo.co.jp/main/yoriyoi/eizoukouka.html) 3Dコンソーシアム(3DC)安全ガイドライン部会「3DC安全ガイドライン」2010年4月20日改定
 しかしながら、特許文献1に記載の方法では、ユーザがそれぞれ異なる3次元映像を表示する複数の3次元映像表示装置を、観視対象とする3次元映像表示画面を変更しながら見る時には、奥行きを滑らかに遷移させることができない。
 また、ユーザが、観視対象とする3次元映像表示画面を変更しながら、それぞれ異なる3次元映像を表示する複数の3次元映像表示画面を見ることは、3次元映像を視聴するユーザの視覚系への大きな負荷となりうる。
 特許文献2に記載の方法についても、マルチ画面中の選択画面を次々に切り替えていく場合には、異なる奥行きの3次元映像を次々表示していくことになり、観視対象とする3次元映像表示画面を変更しながら、それぞれ異なる3次元映像を表示する複数の3次元映像表示画面を見るのと同様に、ユーザの視覚系への大きな負荷となる。
 このように、従来の方法では、観視対象とする3次元映像表示画面を変更しながら、それぞれ異なる3次元映像を表示する複数の3次元映像表示画面を見る場合に、3次元映像を視聴するユーザの眼の負荷が増加し、眼が疲労するという課題を有している。
 本開示は、上述の課題を解決するためになされたものであり、観視対象とする3次元映像表示画面を変更しながら、それぞれ異なる3次元映像を表示する複数の3次元映像表示画面を見る場合のユーザの眼の疲労を軽減する3次元映像表示装置および3次元映像表示方法を提供する。
 本開示の一態様に係る3次元映像表示装置は、観視対象とする3次元映像表示画面を変更しながら、複数の3次元映像表示画面を観視するユーザの観視状態が、所定時間あたり所定の回数以上変化したか否かを検出する視聴行動検出部と、前記視聴行動検出部が前記ユーザの観視状態が前記所定時間あたり前記所定回数以上変化したことを検出した場合に、画像表示部に表示する3次元映像のユーザによる観視を制限するための処理を行う制御部とを備える。
 なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
 本開示によると、観視対象とする3次元映像表示画面を変更しながら、それぞれ異なる3次元映像を表示する複数の3次元映像表示画面を見る場合のユーザの眼の疲労を軽減することができる。
図1は、実施の形態1における3次元映像表示装置の構成の一例を示すブロック図である。 図2は、実施の形態1における映像情報蓄積部に蓄積された3次元映像の一例を示す図である。 図3は、実施の形態1における3次元映像表示装置の動作の一例を示すフローチャートである。 図4は、実施の形態1における複数の3次元映像表示装置をユーザが視聴する状態の一例を示す模式図である。 図5は、コンテンツが表示されている状態の一例を示す模式図であり、(a)は奥行き量が画面よりユーザ側にあるコンテンツが表示されている状態の一例を示し、(b)は奥行き量が画面より奥にあるコンテンツが表示されている状態の一例を示す図である。 図6は、実施の形態1における3次元映像表示装置の詳細な構成の一例を示すブロック図である。 図7は、実施の形態1における3次元映像表示装置の詳細な動作の一例を示すフローチャートである。 図8は、実施の形態1におけるユーザの顔の角度を示す模式図である。 図9は、実施の形態1における顔記憶部に記憶されたデータの一例を示す図である。 図10Aは、実施の形態1における複数の3次元映像表示装置をユーザが視聴する状態の一例を示す模式図である。 図10Bは、ある3次元映像表示装置を見ているユーザの顔画像の一例を示す図である。 図10Cは、他の3次元映像表示装置を見ているユーザの顔画像の一例を示す図である。 図11は、注意喚起のメッセージを表示する画面の一例を示す図である。 図12は、実施の形態1の画像表示部の構成の一例を示すブロック図である。 図13は、実施の形態1の画像表示部の構成の一例を示すブロック図である。 図14は、実施の形態1の画像表示部の構成の一例を示すブロック図である。 図15は、実施の形態2における複数の3次元映像表示装置をユーザが視聴する状態の一例を示す模式図である。 図16は、実施の形態2における3次元映像表示装置の構成の一例を示すブロック図である。 図17は、実施の形態2における顔記憶部に記憶されるデータの一例を示す図である。 図18は、実施の形態2における3次元映像表示装置の詳細な動作の一例を示すフローチャートである。 図19Aは、受光部が画面平面に対して垂直方向から受けた光の形状の一例を示す図である。 図19Bは、受光部が画面平面に対して角度θの方向から受けた光の形状の一例を示す図である。 図20は、実施の形態3における複数の3次元映像表示装置をユーザが視聴する状態の一例を示す模式図である。 図21は、実施の形態3における3次元映像表示装置の構成の一例を示すブロック図である。 図22は、実施の形態3における3次元映像表示装置の動作の一例を示すフローチャートである。 図23は、実施の形態3における3次元映像表示装置の動作の一部の一例を示すフローチャートである。 図24は、実施の形態3における通信部が通信する信号の構成の一例を示す図である。 図25は、実施の形態3における3次元映像表示装置の動作の一部の一例を示すフローチャートである。 図26は、実施の形態3における履歴記憶部に記憶されるデータの一例を示す図である。 図27は、実施の形態4における3次元映像表示装置の構成の一例を示すブロック図である。 図28は、実施の形態4における3次元映像表示装置の動作の一部の一例を示すフローチャートである。 図29は、実施の形態4における通信部が通信する信号の構成の一例を示す図である。 図30は、実施の形態4における履歴記憶部に記憶されるデータの一例を示す図である。 図31は、実施の形態3の変形例における3次元映像表示装置の構成の一例を示すブロック図である。 図32は、実施の形態3の変形例における奥行き情報蓄積部に記憶されるデータの一例を示す図である。 図33は、実施の形態3の変形例における3次元映像表示装置の動作の一部の一例を示すフローチャートである。 図34は、実施の形態3の変形例における通信部が通信する信号の構成の一例を示す図である。
 本開示の一態様に係る3次元映像表示装置は、観視対象とする3次元映像表示画面を変更しながら、複数の3次元映像表示画面を観視するユーザの観視状態が、所定時間あたり所定の回数以上変化したか否かを検出する視聴行動検出部と、前記視聴行動検出部が前記ユーザの観視状態が前記所定時間あたり前記所定回数以上変化したことを検出した場合に、画像表示部に表示する3次元映像のユーザによる観視を制限するための処理を行う制御部とを備える。
 これにより、ユーザの視聴行動による頻繁なシーンチェンジにより奥行きの変化が頻繁に発生する、疲労しやすい状態を回避することができ、ユーザ行動によって起るユーザの疲労を軽減することができる。
 例えば、上述の3次元映像表示装置は、さらに、前記ユーザの顔を撮像するカメラを備え、前記視聴行動検出部は、前記カメラで撮像された顔画像から、前記顔の角度を計算する顔角度計算部と、前記顔角度計算部が計算した前記顔の角度から、前記ユーザが前記3次元映像表示画面を観視しているか否かを判定する状態判定部と、前記状態判定部による判定結果に基づいて、前記ユーザの観視状態が前記所定時間あたり前記所定回数以上変化したか否かを検出する高頻度変化検出部とを有する。
 また、上述の3次元映像表示装置は、さらに、ユーザが装着する専用のメガネに設置された発光部が発光する光を受光する受光部を備え、前記視聴行動検出部は、前記発光部が発光した光の前記受光部への入射角を計測する入射角計測部と、前記入射角計測部が計測した前記入射角から、前記ユーザが前記3次元映像表示画面を観視しているか否かを判定する状態判定部と、前記状態判定部による判定結果に基づいて、前記ユーザの観視状態が前記所定時間あたり前記所定回数以上変化したか否かを検出する高頻度変化検出部とを有していても良い。
 具体的には、前記発光部は、円形の光を発光し、前記入射角計測部は、前記受光部が受光した光の形状から、前記発光部が発光した光の前記受光部への入射角を計測しても良い。
 また、上述の3次元映像表示装置は、さらに、前記ユーザの顔を撮像するカメラを備え、複数の3次元映像表示装置が、前記複数の3次元映像表示画面を有し、前記視聴行動検出部は、前記カメラで撮像された顔画像から、前記顔画像の特徴量を抽出する顔抽出部と、前記カメラで撮像された顔画像から、前記顔の角度を計算する顔角度計算部と、前記顔角度計算部が計算した前記顔の角度から、前記ユーザが前記3次元映像表示画面を観視しているか否かを判定する状態判定部と、他の3次元映像表示装置から、顔画像の特徴量と、ユーザが前記他の3次元映像表示装置の3次元映像表示画面を観視しているか否かを示す判定結果とを受信する受信部と、前記顔抽出部が抽出した前記顔画像の特徴量と前記受信部が受信した前記顔画像の特徴量とを比較することにより、同一のユーザが前記3次元映像表示装置の3次元映像表示画面と前記他の3次元映像表示装置の3次元映像表示画面とを観視しているか否かを判断し、前記同一のユーザが前記3次元映像表示装置の3次元映像表示画面と前記他の3次元映像表示装置の3次元映像表示画面とを観視している場合に、前記状態判定部による判定結果と前記受信部が受信した前記判定結果とに基づいて、前記同一のユーザの観視状態が前記所定時間あたり前記所定回数以上変化したか否かを検出する高頻度変化検出部とを有していてもよい。
 3次元映像を表示している3次元映像表示装置が近接して複数台存在する場合に、3次元映像表示装置の間で通信を行い、ユーザが、観視対象とする3次元映像表示画面を変更しながら、それぞれの3次元映像表示装置に表示された3次元映像を観視する行動を高頻度に行っている状況を正確に検出することができる。これにより、映像と実空間とを交互に見るような負荷の小さい場合には処理をせず、3次元映像を交互に見るという、ユーザの視聴行動による頻繁なシーンチェンジにより奥行きの変化が頻繁に発生する、疲労しやすい状態のみを回避することができ、ユーザ行動によって起るユーザの疲労を軽減することができる。
 また、上述の3次元映像表示装置は、さらに、ユーザが装着する専用のメガネに設置された発光部が発光する光であって、メガネを識別可能な発光パタンを有する光を受光する受光部を備え、複数の3次元映像表示装置が、前記複数の3次元映像表示画面を有し、前記視聴行動検出部は、前記受光部が受光した光の発光パタンからメガネを識別するメガネ特定部と、前記発光部が発光した光の前記受光部への入射角を計測する入射角計測部と、前記入射角計測部が計測した前記入射角から、前記ユーザが前記3次元映像表示画面を観視しているか否かを判定する状態判定部と、他の3次元映像表示装置から、前記他の3次元映像表示装置の3次元映像表示画面を観視しているユーザが装着しているメガネの識別結果と、前記他の3次元映像表示装置の3次元映像表示画面を観視しているか否かを示す判定結果とを受信する受信部と、前記メガネ特定部による識別結果と前記受信部が受信した前記識別結果とを比較することにより、同一のユーザが前記3次元映像表示装置の3次元映像表示画面と前記他の3次元映像表示装置の3次元映像表示画面とを観視しているか否かを判断し、前記同一のユーザが前記3次元映像表示装置の3次元映像表示画面と前記他の3次元映像表示装置の3次元映像表示画面とを観視している場合に、前記状態判定部による判定結果と前記受信部が受信した前記判定結果とに基づいて、前記同一のユーザの観視状態が前記所定時間あたり前記所定回数以上変化したか否かを検出する高頻度変化検出部とを有していてもよい。
 3次元映像を表示している3次元映像表示装置が近接して複数台存在する場合に、3次元映像表示装置の間で通信を行い、ユーザが、観視対象とする3次元映像表示画面を変更しながら、それぞれの3次元映像表示装置に表示された3次元映像を観視する行動を高頻度に行っている状況をメガネの識別結果の照合により正確に検出することができる。これにより、映像と実空間とを交互に見るような負荷の小さい状態に対しては処理をせず、3次元映像を交互に見るという、ユーザの視聴行動による頻繁なシーンチェンジにより奥行きの変化が頻繁に発生し、疲労しやすい状態のみを回避することができ、ユーザの3次元映像視聴をできるだけ邪魔せずに、ユーザ行動によって起るユーザの疲労を軽減することができる。
 具体的には、前記制御部は、前記視聴行動検出部が、前記ユーザの観視状態が前記所定時間あたり前記所定回数以上変化したことを検出した場合に、前記画像表示部に表示する3次元映像を2次元映像に変換して表示しても良い。
 また、前記制御部は、前記視聴行動検出部が、前記ユーザの観視状態が前記所定時間あたり前記所定回数以上変化したことを検出した場合に、前記画像表示部に3次元映像を見ることへの注意喚起のメッセージを表示しても良い。
 また、前記受信部は、さらに、前記他の3次元映像表示装置から、前記3次元映像表示装置が表示する3次元映像の奥行き情報を受信し、前記制御部は、前記視聴行動検出部が前記ユーザの観視状態が前記所定時間あたり前記所定回数以上変化したことを検出し、かつ前記画像表示部に表示する3次元映像の奥行き情報と前記他の3次元映像表示装置が表示する3次元映像の奥行き情報との差が所定の値以上の場合にのみ、前記画像表示部に表示する3次元映像のユーザによる観視を制限するための処理を行っても良い。
 3次元映像を表示している3次元映像表示装置が近接して複数台存在する場合に、3次元映像表示装置の間で通信を行う。それぞれの3次元映像表示装置が表示している映像の奥行きに差があり、ユーザが、観視対象とする3次元映像表示画面を変更しながら、複数の3次元映像表示画面を観視した場合に疲労しやすい状態である場合にのみ、3次元映像の観視を制限することができる。これにより、ユーザの視聴行動による頻繁なシーンチェンジにより奥行きの変化が頻繁に発生する、疲労しやすい状態のみを回避し、観視対象とする3次元映像表示画面を変更しながら、複数の3次元映像表示画面を見ても疲労が起りにくい状態の場合には3次元映像を視聴する楽しみや利便を妨げないようにすることができる。
 なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読取可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
 以下、本開示の一態様に係る3次元映像表示装置について、図面を参照しながら具体的に説明する。
 なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 (実施の形態1)
 本実施の形態では、3次元映像を視聴するユーザが、それぞれ異なる3次元映像を表示する複数の3次元映像表示装置を交互に見ている状態を検出し、ユーザが注視する3次元映像表示装置を変える前後の映像の奥行き差を減少させる処理を行う3次元映像表示装置について説明する。なお、3次元映像表示装置が3台以上ある場合には、ユーザが3次元映像表示装置を見る順番は限定されるものではなく、3次元映像表示装置を見る順番はランダムである。
 また、以下では、ユーザが、複数の3次元映像表示装置を交互に見ている状態を想定して説明を行うが、観視対象とする3次元映像を変更しながら、複数の3次元映像を見る状態であればこの状態に限定されない。たとえば、1つの3次元映像表示装置にそれぞれ3次元映像を表示する複数の3次元映像表示画面が含まれていて、ユーザが3次元映像表示画面を変更しながら、複数の3次元映像表示画面を見るものであってもよい。
 図1は、実施の形態1における3次元映像表示装置の構成の一例を示すブロック図である。
 3次元映像表示装置10は、センサ200と、視聴行動検出部300と、映像情報蓄積部400と、制御部500と、画像表示部600とを備える。
 センサ200は、ユーザの状態をセンシングするセンサであり、具体的にはカメラ、生体信号用センサ等である。センサ200は、ユーザ状態の情報を視聴行動検出部300に出力する。
 視聴行動検出部300は、センサ200より出力されたユーザ状態の情報からユーザが当該の3次元映像表示装置10と、それ以外の3次元映像表示装置とを交互に見ている状態を検出する。
 映像情報蓄積部400は、3次元映像表示装置10に表示する3次元映像情報(以下、単に「3次元映像」という)を蓄積する記憶装置である。図2は映像情報蓄積部400に蓄積された3次元映像の一例を示す図である。3次元映像は、例えば、時間と右画像と左画像とを含む。
 制御部500は、視聴行動検出部300が、ユーザが当該の3次元映像表示装置10とそれ以外の3次元映像表示装置とを交互に見ている状態を検出した際に、3次元映像表示装置10に2次元の映像を表示するための制御信号を画像表示部600に出力する。
 画像表示部600は制御部500から出力される制御信号に従って映像情報蓄積部400に蓄積された3次元映像に対して処理を行い、映像を表示する。
 図3は、実施の形態1における3次元映像表示装置10の動作を示すフローチャートである。図3に従って、3次元映像表示装置10の処理手順を説明する。
 3次元映像表示装置10の電源が入ると、3次元映像表示装置10の動作が開始する(S1000)。次いでセンサ200が動作を開始し、ユーザ状態の情報を取得する(S2000)。視聴行動検出部300はセンサ200より取得したユーザ状態の情報に基づき、ユーザが当該の3次元映像表示装置10とそれ以外の3次元映像表示装置とを交互に見ている状態、すなわち高頻度切り替え行動の検出を行う(S3000)。ステップS3000においてユーザの高頻度切り替え行動が検出された場合(S3000においてYes)は、制御部500は画像表示部600に映像を2次元で表示するための制御信号すなわち2D化信号を出力する。画像表示部600は2D化信号に基づいて、映像情報蓄積部400に蓄積された3次元映像を2次元で表示する(S4000)。ステップS3000においてユーザの高頻度切り替え行動が検出されない場合(S3000においてNo)は、画像表示部600は映像情報蓄積部400に蓄積された3次元映像を3次元で表示する(S5000)。ステップS4000およびステップS5000の実行の後、ステップS2000に戻り、ステップS2000からステップS4000またはステップS5000を繰り返す。
 図4は、それぞれ異なる3次元映像を表示する複数の3次元映像表示装置をユーザが交互に見る状態の概念を示す模式図である。複数の3次元映像表示装置、つまり3次元映像表示装置10aと3次元映像表示装置10bがユーザ100の前方にあり、ユーザ100はどちらの3次元映像表示装置も視聴することができる状態にある。なお、3次元映像表示装置10aおよび3次元映像表示装置10bは、3次元映像表示装置10と同じ構成を有する。
 例えば、3次元映像表示装置10aの表示画面には、図5の(a)に示すようにバラエティ等の3次元コンテンツであり、かつ奥行き量が画面よりユーザ側にあるコンテンツが表示されているものとする。また、3次元映像表示装置10bの表示画面には、図5の(b)に示すように、紀行番組等の遠景のコンテンツであり、かつ奥行き量が画面より奥にある3次元コンテンツが表示されているものとする。各表示画面に表示された各コンテンツにおいては、所定の範囲内での奥行き量の変化がある。しかし、同一コンテンツを観視し続ける場合には、ユーザの眼への負荷は発生しない。ここで、図4および図5の例のように、ユーザが複数の画面で異なるジャンル(奥行き範囲)の映像を観視する場合には、ユーザの視覚に対して負荷のない範囲を超えた奥行きの変化量を観視することになってしまう場合がある。本実施の形態に係る3次元映像表示装置10は、このような状況を回避する。
 図6は、図1に示した3次元映像表示装置10(図4に示した3次元映像表示装置10aまたは3次元映像表示装置10b)の詳細な構成の一例を示すブロック図である。
 センサ200はカメラ201を含む。カメラ201は3次元映像表示装置10の前方の映像を取得する。図4のようにカメラ201は例えば3次元映像表示装置10(10aまたは10b)の画面平面の上部中央に設置され、画面の水平方向中心から、例えば水平方向120度の範囲の映像を取得する。
 視聴行動検出部300は、顔抽出部301と、顔角度計算部302と、状態判定部303と、顔記憶部304と、計時部305と、高頻度変化検出部306とを含む。顔抽出部301はカメラ201により取得された画像から人間の顔画像と顔画像の特徴量を抽出し、顔記憶部304に顔画像の特徴量を出力する。顔角度計算部302は顔抽出部301で抽出された顔画像から顔の角度を計算し、状態判定部303と顔記憶部304に出力する。状態判定部303は、顔角度計算部302で計算された顔の角度と顔記憶部304に記憶されている当該の時刻以前の顔の角度との比較により、ユーザ100が当該の3次元映像表示装置10の画面を見ているかそれ以外の3次元映像表示装置の画面を見ているかを判定し、ユーザの観視状態を顔記憶部304に出力する。顔記憶部304は顔のIDと、顔画像が抽出された画像の取得時刻と、顔抽出部301より出力された顔画像の特徴量と、顔角度計算部302で計算された顔の角度と、状態判定部303で検出された観視状態とを対応付けて記憶する。計時部305は時間を計測する。高頻度変化検出部306は顔記憶部304に記憶された情報よりユーザの観視状態が高い頻度で変化しているか否かを判定する。
 図7は図6に示した3次元映像表示装置10の詳細な動作を示すフローチャートである。図3のステップS2000は図7のステップS2010を含み、図3のステップS3000は図7のステップS3010からステップS3100を含む。図3と同一の動作については同一の符号を付し、適宜説明を省略する。
 3次元映像表示装置10の電源が入ると、3次元映像表示装置10の動作が開始する(S1000)。次いで、カメラ201が3次元映像表示装置10の正面水平120度の範囲の静止画を撮像し、撮像した画像を顔抽出部301へ出力する(S2010)。例えば1秒間に10回静止画が撮像される。顔抽出部301は、ステップS2010で取得された画像より人間の顔画像を抽出する(S3010)。抽出の方法は例えば、特許文献3のように、肌色画素の分布のヒストグラムより顔領域を絞り込む方法を用いる。
 顔抽出部301は顔画像の特徴量を顔記憶部304に記憶された顔画像の特徴量と比較することにより、当該の画像より抽出された顔画像と顔記憶部304に記憶されている特徴量算出の元となった顔画像とが同一の顔画像であるか否かを判断する(S3020)。顔抽出部301は、例えば、非特許文献1に記載のように、あらかじめ多数の顔画像の主成分分析によって求められた固有ベクトルを用い、入力された顔画像と平均ベクトルとの差から、固有ベクトルの重みのセットを作成する。顔抽出部301は、重みセットの類似度に基づいて顔画像が同一であるか否を判断する。
 ステップS3020において当該の画像より抽出された顔画像と顔記憶部304に記憶されている特徴量算出の元となった顔画像とが同一の顔画像であると判断された場合(S3020においてYes)は、ステップS3040に進む。ステップS3020において顔記憶部304に特徴量が記憶されていない、あるいは当該の画像より抽出された顔画像と顔記憶部304に記憶されている特徴量算出の元となった顔画像とが異なる顔画像であると判断された場合(S3020においてNo)には、顔抽出部301は顔記憶部304に顔画像の特徴量を出力する。顔記憶部304は新たな顔IDを設定し、既に記憶している特徴量の算出の元となった顔画像とは異なる顔画像が抽出された静止画の取得時刻と、顔画像の特徴量とを、顔IDと対応付けて記憶する(S3030)。
 顔角度計算部302は顔抽出部301が抽出した顔画像の顔と3次元映像表示装置10の画面との角度を計算することにより、顔の角度を計算し、顔の角度を状態判定部303と顔記憶部304に出力する(S3040)。顔角度計算部302は、例えば、非特許文献2に記載のように、眼と口の顔領域内での位置をテンプレートマッチングで特定する際に、複数の顔の角度のテンプレートを有し、最も一致するテンプレートから顔の角度を求める。
 顔記憶部304は当該の静止画の取得時刻と、顔の角度を記憶する(S3050)。状態判定部303はステップS3040で計算された顔の角度が所定の角度の範囲内にある場合に観視と判定し、これ以外の角度である場合を非観視と判定する(S3060)。所定の角度の範囲は、例えば、顔の正中面が3次元映像表示装置10の画面平面の法線となす角が-45度から45度の範囲である。図8はステップS3060で判定される顔の角度を示す模式図である。状態判定部303は観視状態の判定結果を顔記憶部304に出力する。顔記憶部304はステップS3060で判定された観視状態を顔IDと当該の顔画像が抽出された静止画の取得時刻と対応付けて記憶する(S3070)。
 図9は、顔記憶部304に記憶されたデータの一例を示す。顔記憶部304は、顔IDと、ステップS3010で求められた顔の特徴量と、顔画像が抽出された静止画の取得時刻と、ステップS3040で求められた顔の角度と、ステップS3060で判定された観視状態とを記憶する。
 高頻度変化検出部306は当該の顔画像の観視状態が高い頻度で変化しているか否かを判定する(S3080)。高頻度変化検出部306は顔記憶部304に記憶された顔画像の情報の中から、時間の最も新しい顔画像の情報を抽出する。また、高頻度変化検出部306は、当該の顔画像の情報より顔IDを抽出して、同一の顔IDを持ち、当該の画像取得時刻に先行する所定時間内の画像取得時刻を持つ、顔画像の情報を抽出する。所定時間は例えば10秒とする。高頻度変化検出部306は、抽出した情報中で、直前に記憶された情報の観視状態とは観視状態が異なる回数を求める。観視状態が直前の状態とは異なるとは、観視状態が変化することを示す。観視状態の変化が所定の頻度以上、例えば、10秒間に3回以上検出された場合に高頻度の観視状態の変化とみなす。ステップS3080において高頻度の観視状態の変化が検出された場合はステップS4000に進む。画像表示部600は、制御部500より出力された2D化信号に基づいて、映像情報蓄積部400に蓄積された3次元映像を2次元映像に変換して表示する(S4000)。ステップS3080において高頻度の観視状態の変化が検出されない場合は、高頻度変化検出部306は、さらに当該の顔画像の観視状態が所定の時間以上、例えば5秒以上継続しているか否かを判定する(S3090)。ステップS3090において、所定の時間以上、当該の顔画像による同一の観視状態が続いていると判定された場合(S3090においてYes)は、ステップS5000に進む。画像表示部600は映像情報蓄積部400に蓄積された3次元映像を3次元のまま表示する(S5000)。ステップS3090において、当該の顔画像と同一の観視状態が所定の時間続いていないと判定された場合は、画像表示部600の動作を変更することなくステップS2010へ戻る。ステップS4000またはステップS5000が実行された後は、ステップS2010へ戻る。
 ステップS4000の、3次元映像を2次元で表示する方法については、画像表示部600の構成と3次元表示の方法により異なるため、別途説明する。
 このように、ある3次元映像表示装置の画面と他の3次元映像表示装置の画面とを交互に観視する行動を検出して、3次元映像を2次元映像に変換することができる。すなわち、3次元映像を表示している3次元映像表示装置が複数台存在する場合に、ユーザがそれぞれの3次元映像表示装置に表示された3次元映像を交互に観視する行動を高頻度に行っている可能性がある際に、各3次元映像表示装置は、3次元映像を2次元映像に変換して表示する。これにより、ユーザの視聴行動による頻繁なシーンチェンジにより奥行きの変化が頻繁に発生する、疲労しやすい状態を回避することができ、ユーザ行動によって起るユーザの疲労を軽減することができる。
 なお、本実施の形態においては、図4に示すように各3次元映像表示装置にカメラが設置されており、各カメラで撮像されたユーザの顔の向きから、3次元映像表示装置を観視しているか否かを判断している。さらに、カメラの解像度が十分に高い場合には、ユーザの顔の向きを撮像した画像から眼球の領域を抽出し、視線を推定することでユーザの画面に対する眼球の角度を抽出することが可能になる。視線抽出の方法として、例えば、非特許文献3に示されている方法を用いることができる。
 なお、本実施の形態においては、図4に示すように、各3次元映像表示装置の画面の上辺あるいは下辺の水平方向中心にカメラが1つ設置されている例を説明した。しかしながら、各3次元映像表示装置に装着されたカメラは、ユーザの顔の向きを検出するためのものである。カメラを各3次元映像表示装置の画面の周辺に複数個設置し、複数のカメラで撮像した画像よりユーザの顔の向きを検出するとしても良い。これにより、ユーザの顔の部分、例えば眼、鼻、口といった部分について複数画像のマッチングを取ることにより奥行き情報を得ることができ、ユーザの顔の向きをより正確に判断することができる。
 なお、本実施の形態においては、図4に示すように各3次元映像表示装置にカメラが設置されている例を説明した。しかしながら、各3次元映像表示装置に装着されたカメラは、ユーザの顔の向きを検出するためのものである。このため、図10Aに示すように、複数の3次元映像表示装置に共通する1つのカメラを用いてシステムを構成しても良い。この場合、各3次元映像表示装置は、カメラに対し各3次元映像表示装置が設置されている場所に関する情報をあらかじめ蓄積しておく。また、各3次元映像表示装置は、設置されているカメラで撮像された映像を用いて、ユーザがどちらの表示機器を観視しているかを判断する。図10Bおよび図10Cに示すように、ユーザがどちらの表示機器を観視しているかで、撮像される画像が異なる。そこで、各3次元映像表示装置は、撮像されている画像から顔の方向を検出する。
 なお、本実施の形態では、3次元コンテンツを表示している画面を、ユーザが所定の頻度以上で切り替えて観視していた場合に、3次元映像を2次元映像に変換したが、図11に示すように、画面内で3次元映像を見ることへの注意喚起のメッセージを表示するようにしてもよい。
 <3次元映像を2次元で表示する方法>
 図12は、画像表示部600が3次元映像の表示の方式として裸眼式を採用している場合の画像表示部600の構成の一例を示す。
 裸眼式は、ディスプレイ表面に設けたバリアまたは特殊なレンズを用いて光の方向を水平方向に調整することにより、ディスプレイを視聴するユーザに対して、右眼用の映像が右眼に見え、左眼用の映像が左眼に見えるようにする方式のことである。
 画像表示部600は、画像制御部601と、画像処理部602と、表示部603とを有する。
 画像表示部600が裸眼式の表示方式を採用し、図12のような構成である場合、図3または図7のステップS4000において、画像制御部601は、まず、右眼用または左眼用どちらか一方の映像を選択する。
 次いで画像処理部602は映像情報蓄積部400に蓄積された3次元映像の左右の映像を同じものにする。例えば、右眼用の映像を選択した場合、画像処理部602は映像情報蓄積部400に蓄積された3次元映像の、左眼用の映像を右眼用の映像に入れ替え、右眼用映像と左眼用映像をまったく同じものにする。
 画像処理部602は上記の2次元化処理を行った後、まったく同じものである右眼用と左眼用の映像を表示部603に出力する。
 表示部603は3次元表示時と同様、右眼用画像をスリットに分割して右眼用表示位置に表示し、左眼用画像をスリットに分割して左眼用表示位置に表示する。これにより、左右の眼に同一の映像が表示され、ユーザは2次元映像を視聴する。
 図13は画像表示部600が3次元表示の方式としてパッシブシャッタ方式を採用している場合の画像表示部600の構成の一例を示す。
 パッシブシャッタ方式では、ディスプレイを右眼用部分と左眼用部分とに分割して、そのそれぞれの表面に右眼用と左眼用の角度または方向の異なる偏向フィルタを設ける。パッシブシャッタ方式は、右眼と左眼にディスプレイの偏光フィルタの角度または方向に対応した偏光シャッタを備えた専用のメガネを通して視聴することで3次元表示を可能にする方式である。
 画像表示部600は画像制御部611と画像処理部612と、表示部613とを備え、さらに、シャッタ621を有する3次元映像用メガネ30を備える。図13のような構成である場合、図3または図7のステップS4000において、画像制御部611は、右眼用または左眼用どちらか一方の映像を選択する。画像処理部612は、映像情報蓄積部400に蓄積された3次元映像の左右の映像に対して、画像制御部611が選択しなかった側の映像を選択した側の映像に入れ替えて、左右の映像を同一の映像にする。
 画像処理部612は左右の映像が同一になった映像を表示部613に出力する。表示部613は3次元表示時と同様、左右の画像を各画像の表示領域に分割して表示する。
 ユーザは装着した3次元映像用メガネ30のシャッタ621を通して表示部613に表示された映像を視聴する。これにより、左右の眼に同一の映像が表示され、ユーザは2次元映像を視聴する。
 図14は画像表示部600が3次元表示の方式としてアクティブシャッタ方式を採用している場合の画像表示部600の構成の一例を示す。
 アクティブシャッタ方式は、ディスプレイに右眼用画像と左眼用画像とを交互に表示し、表示のタイミングにあわせて専用メガネのシャッタを左右交互に開閉する方式である。
 これにより、ユーザは、右眼用画像を表示しているタイミングでは右眼のシャッタをあけて右眼でディスプレイを見て、左眼用画像を表示しているタイミングでは左眼のシャッタをあけて左眼でディスプレイを見る。
 左右の切り替えを十分に早くすることで、ユーザは左右の画像を融合して立体視することができる。アクティブシャッタ方式の場合、画像表示部600は、画像制御部631と、画像処理部632と、表示部633と、送信部634と、3次元映像用メガネ30とを備える。3次元映像用メガネ30は、受信部641と、シャッタ制御部642と、シャッタ643とを有する。
 図14のような構成である場合、図3または図7のステップS4000で2次元化した映像を表示する方法は2種類ある。
 第1の方法は、裸眼方式あるいはパッシブシャッタ方式と同様に画像処理部632が映像情報蓄積部400に蓄積された3次元映像を左右同一の映像に入れ替える処理を行い、表示部633が左右同一の映像を、3次元映像を表示する際と同様に表示する方法である。
 第2の方法は、以下の方法である。つまり、画像制御部631は左右どちらの映像を表示するかを選択するが、表示部633は3次元映像を表示する際と同様に映像を表示する。一方、画像制御部631は、画像制御部631が選択した左右どちらかの映像を、ユーザが両眼で見るよう3次元映像用メガネ30のシャッタ643の開閉タイミングを変更する。
 第1の方法では、ステップS4000において、画像制御部631は、右眼用または左眼用どちらか一方の映像を選択し、画像処理部632は、映像情報蓄積部400に蓄積された3次元映像の左右の映像に対して、左右のうち選択しなかった側の映像を選択した側の映像に入れ替えることで左右の映像を同一の映像にする。画像処理部632は左右の映像が同一になった映像を表示部633に出力する。画像制御部631は3次元表示時と同様、表示に同期して、左右のシャッタを切り替える同期信号を生成する。表示部633は画像制御部631より出力された制御信号に従って、画像処理部632により処理された映像を表示する。同時に、画像制御部631で生成された同期信号を送信部634が送信し、受信部641が同期信号を受信する。
 シャッタ制御部642は受信部641が受信した同期信号に従ってシャッタ643の開閉を制御する。
 画像処理部632での処理により左右の映像が同一のものになっているため、ユーザは右眼と左眼で順に同じ映像を見ることになり、2次元映像を視聴することになる。
 第2の方法では、ステップS4000において画像制御部631は、右眼用または左眼用のどちらか一方の映像を選択する。ここでは、例えば右眼用の映像を選択するものとする。
 画像制御部631は、右眼用と左眼用のシャッタの両方が右眼用映像が表示されるタイミングに開き、左眼用映像が表示されるタイミングに閉じるようにシャッタ643を制御する同期信号を生成する。
 画像処理部632は映像情報蓄積部400に蓄積された3次元映像に対して2次元化の処理を加えることなく表示部633へ出力する。
 表示部633は3次元表示時と同様に左右の画像を交互に表示し、送信部634は画像制御部631が生成した同期信号を受信部641に送信する。
 受信部641は受信した同期信号をシャッタ制御部642に出力し、シャッタ制御部642は同期信号に基づいてシャッタ643を同期して開閉する。これによりユーザが装着する3次元映像用メガネ30のシャッタ643はどちらも右眼用画像が表示されているときのみ開放され、ユーザは右眼用画像のみを見ることになり、2次元映像を視聴することになる。
 (実施の形態2)
 図15は、本実施の形態における、それぞれ異なる3次元映像を表示する複数の3次元映像表示装置をユーザが交互に見る状態の概念を示す模式図である。複数の3次元映像表示装置、つまり3次元映像表示装置11aと3次元映像表示装置11bがユーザ100の前方にあり、3次元映像用メガネ50を装着したユーザ100は、どちらの3次元映像表示装置も視聴することができる状態である。
 図16は図15に示した3次元映像表示装置11aまたは3次元映像表示装置11bと同一の構成を有する3次元映像表示装置11と、3次元映像用メガネ50との詳細な構成の一例を示す。図1に示した3次元映像表示装置10と同じ構成については同じ符号を付し、適宜説明を省略する。
 3次元映像表示装置11は、センサ200Aの一部と、視聴行動検出部300Aと、映像情報蓄積部400と、制御部500と、画像表示部600とを備える。
 3次元映像用メガネ50は、センサ200Aの一部と、シャッタ700とを備える。
 センサ200Aは、3次元映像表示装置11に備えられた受光部211と、3次元映像用メガネ50に備えられた発光部212とを有する。受光部211は発光部212が出射する光線を取得する。図15のように受光部211は例えば3次元映像表示装置11の画面平面の上部中央に設置されたカメラ(受光部211aおよび211b)であり、画面の水平方向中心から、例えば水平方向120度の範囲の光線を取得する。また、発光部212は図15のように3次元映像用メガネ50の右眼用と左眼用のシャッタの間に設置され、シャッタ平面に垂直な方向を中心に拡散範囲を小さくした光線を出力する発光体である。光線は例えば赤外光等である。
 視聴行動検出部300Aは、入射角計測部311と、状態判定部312と、メガネ特定部313と、状態記憶部315と、計時部314と、高頻度変化検出部316とを有する。入射角計測部311は受光部211が取得した発光部212が出力した光線が、受光部211に対して入射した角度を計算する。状態判定部312は入射角計測部311が計算した入射角より、ユーザが3次元映像用メガネ50を正しく装着している場合に、当該の3次元映像表示装置11の画面を観視しているか否かを判定する。メガネ特定部313は受光部211が取得した発光部212の発光パタンにより3次元映像用メガネ50を特定する。計時部314は時間を計測する。状態記憶部315はメガネ特定部313により特定された3次元映像用メガネ50を識別するメガネIDと、発光部212の発光パタン(パルスパタン)と、計時部314で計測された時間と、状態判定部312で判定されたユーザ100の観視状態とを記憶する。図17は状態記憶部315に記憶される情報の一例である。
 図18は図16に示した3次元映像表示装置11の動作を示すフローチャートである。実施の形態1の図7に示した3次元映像表示装置10の動作と同一の動作については同一の符号を付し、適宜説明を省略する。
 3次元映像表示装置11および3次元映像用メガネ50の電源が入ると、3次元映像表示装置10の動作が開始する(S1000)。
 センサ200Aが動作を開始し、ユーザ状態の情報を取得する(S2000A)。つまり、受光部211が受光を開始する(S2110)。次いで、発光部212が発光する(S2120)。発光部212が出射する光線は、例えば赤外線の正円を描くものであり、さらに3次元映像用メガネ50を特定するため、例えば、特定の発光パルスの時間パタンに従って発光するものとする。さらに発光部212は3次元映像用メガネ50の正面方向に対してメガネを正立させた場合の水平方向に1度の範囲で光を拡散するものとする。発光は例えば1秒間に10回行われるとする。
 視聴行動検出部300Aはセンサ200Aより取得したユーザ状態の情報に基づき、ユーザが当該の3次元映像表示装置11とそれ以外の3次元映像表示装置とを交互に見ている状態、すなわち高頻度切り替え行動の検出を行う(S3000)。つまり、メガネ特定部313は、受光部211が取得した、発光部212より出力された光線のパルスの時間パタンを取得する(S3110)。メガネ特定部313は、ステップS3110で取得したパルスの時間パタンと、状態記憶部315に記憶されたパルスの時間パタンとを比較する(S3120)。ステップS3120において、ステップS3120で取得したパルスパタンと状態記憶部315に記憶されたパルスパタンとが一致する場合(S3120でYes)は、ステップS3130に進む。ステップS3120において、ステップS3110で取得したパルスパタンと状態記憶部315に記憶されたパルスパタンとが一致しない場合、あるいは状態記憶部315にパルスパタンが記憶されていない場合(S3120でNo)は、状態記憶部315は、新規のメガネIDを設定し、パルスパタンと受光部211が光線を取得した時間とを新規のメガネIDに対応付けて記憶する(S3130)。
 入射角計測部311は受光部211が取得した発光部212より出力された光線により描かれた楕円の長径と短径とから、入射角を計測する(S3140)。図19Aおよび図19Bは受光部211の受光平面すなわち3次元映像表示装置11の画面平面と、発光部212が出力する赤外線が成す角度すなわち入射角と、発光部212が出力する赤外線により受光部211平面上に描かれる円または楕円との関係を模式的に示した図である。図19Aは入射角が90度である場合を示しており、図19Bは入射角がθである場合を示している。図19Aの場合、受光部211の受光平面に描かれる円は正円である。図19Bの場合、受光部211の受光平面には楕円が描かれる。楕円の長径は角度θによって決定されるため、入射角θは以下の式1によって求められる。
Figure JPOXMLDOC01-appb-M000001
 ただしaは楕円の短径、xは楕円の長径である。
 なお、本システム構成においては、3次元映像用メガネ50の発光部212から円形状の赤外線を発光し、3次元映像表示装置11に投射された円形がどれだけ扁平するかを、3次元映像表示装置11に装着された赤外線カメラ等によって計測するものである。ただし、3次元映像表示装置11が円形の赤外線の発光部と、赤外線カメラとを備えることにより3次元映像用メガネ50に投射された赤外線の反射赤外光を検出しても良い。3次元映像表示装置11から反射された反射赤外光の円または楕円形状を計測することで、ユーザが3次元映像表示装置11を観視しているか否かを判断することも可能である。
 状態判定部312はステップS3140で計算された入射角が所定の角度の範囲内にある場合に観視と判定し、これ以外の角度である場合を非観視と判定する(S3150)。所定の角度の範囲は、例えば、-45度から45度の範囲である。状態判定部312は状態記憶部315に観視状態の判定結果を出力する。状態記憶部315はステップS3150で判定された観視状態を、メガネIDと受光部211が光線を取得した時間と対応付けて記憶する(S3160)。
 高頻度変化検出部306は当該の顔画像の観視状態が高い頻度で変化しているか否かを判定する(S3180)。高頻度変化検出部306は状態記憶部315に記憶された時間が最も新しいメガネIDの情報を抽出する。また、高頻度変化検出部306は、抽出した最も新しいメガネIDと同一メガネIDを持ち、最新の受光に先行する所定時間内の受光の情報を抽出する。所定時間は例えば10秒とする。高頻度変化検出部306は抽出した情報中で、観視状態の変化を検出する。観視状態の変化が所定の頻度以上、例えば、10秒間に3回以上検出された場合に高頻度の観視状態の変化とみなす。ステップS3180において高頻度の観視状態の変化が検出された場合はステップS4000に進む。画像表示部600は制御部500より出力された2D化信号に基づいて、映像情報蓄積部400に蓄積された3次元映像を2次元で表示する(S4000)。ステップS3180において高頻度の観視状態の変化が検出されない場合は、高頻度変化検出部316は、さらに当該のメガネIDの観視状態が所定の時間以上、例えば5秒以上継続しているか否かを判定する(S3090)。ステップS3090において、所定の時間以上、当該のメガネIDと同一の観視状態が続いていると判定された場合(S3090においてYes)は、ステップS5000に進む。画像表示部600は映像情報蓄積部400に蓄積された3次元映像を3次元で表示する(S5000)。ステップS3090において、当該の受光による同一の観視状態が所定の時間続いていないと判定された場合は、画像表示部600の動作を変更することなくステップS2010へ戻る。ステップS4000またはステップS5000を実行した後は、ステップS2010へ戻る。
 このように、3次元映像を表示している3次元映像表示装置が複数台あり、ユーザがそれぞれの3次元映像表示装置に表示された3次元映像を交互に観視する行動を高頻度に行った際に、3次元映像を2次元映像に変換して表示することで、ユーザの視聴行動による頻繁なシーンチェンジにより奥行きの変化が頻繁に発生する、疲労しやすい状態を回避することができ、ユーザ行動によって起るユーザの疲労を軽減することができる。
 (実施の形態3)
 図20は、本実施の形態における、それぞれ異なる3次元映像を表示する複数の3次元映像表示装置をユーザが交互に見る状態の概念を示す模式図である。複数の3次元映像表示装置、つまり3次元映像表示装置12aと3次元映像表示装置12bがユーザ100の前方にあり、ユーザ100はどちらの3次元映像表示装置も視聴することができる状態にある。さらに、複数の3次元映像表示装置は互いにデータ通信が可能である。
 図21は、図20に示した3次元映像表示装置12aの詳細な構成の一例を示す。図6と同一の構成には同一の符号を付し、適宜説明を省略する。3次元映像表示装置12bも3次元映像表示装置12aと同じ構成を有する。
 3次元映像表示装置12aは、図6に示した3次元映像表示装置10の構成に通信部800が付け加わり、視聴行動検出部300の代わりに視聴行動検出部300Bを備える構成を有する。通信部800は、通信制御部321と、送信部322と、受信部323とを備える。通信部800は、当該の3次元映像表示装置12aと、近接する他の3次元映像表示装置12bとの間で、無線等により信号の送信と受信を行う。
 視聴行動検出部300Bは、図6に示した視聴行動検出部300に、統合処理部324と、履歴記憶部325とが付け加わり、高頻度変化検出部306の代わりに高頻度変化検出部326を備える構成を有する。つまり、視聴行動検出部300Bは、顔抽出部301と、顔角度計算部302と、状態判定部303と、顔記憶部304と、計時部305と、統合処理部324と、履歴記憶部325と、高頻度変化検出部326とを含む。
 センサ200は、カメラ201を含む。
 通信制御部321は、当該の3次元映像表示装置12aから他の3次元映像表示装置12bへの情報の送信を制御する制御信号を出力する。送信部322は通信制御部321が出力する制御信号に従って、顔記憶部304内に記憶された情報を信号に変換して、近接する3次元映像表示装置12bに対して送信する。受信部323は近接する3次元映像表示装置12bから送信された信号を受信する。
 統合処理部324は、受信部323により受信された信号から、近接する3次元映像表示装置12bを観視する顔の情報を取得し、顔記憶部304に記憶された顔の情報と照合して、照合結果を記憶された顔ごとの観視状態の履歴として統合する。履歴記憶部325は統合処理部324が生成する顔ごとの観視状態の履歴を記憶する。高頻度変化検出部326は履歴記憶部325に記憶された情報から、ユーザが当該の3次元映像表示装置12aと近接の3次元映像表示装置12bとを交互に観視しており、観視する3次元映像表示装置を高い頻度で切り替えているか否かを判定する。
 図22は図21に示した3次元映像表示装置12aの動作を示すフローチャートである。図21の3次元映像表示装置12aの動作は、図3に示した実施の形態1の3次元映像表示装置10の動作にステップS6000が付け加わったものである。実施の形態1と同一の動作については適宜説明を省略する。以下、図22に従って実施の形態3の3次元映像表示装置12aの動作を説明する。
 3次元映像表示装置12aの電源が入ると、3次元映像表示装置12aの動作が開始する(S1000)。次いでセンサ200がユーザ状態の情報を取得する(S2000)。一方、通信部800は当該の3次元映像表示装置12aに近接する別の3次元映像表示装置12bが送信する信号の受信を開始する(S6000)。視聴行動検出部300Bはセンサ200より取得したユーザ状態の情報と、ステップS6000で取得した近接する3次元映像表示装置12bから送信されたユーザの行動情報とに基づき、ユーザが当該の3次元映像表示装置12aと近接の3次元映像表示装置12bとを交互に見ている状態、すなわち高頻度切り替え行動の検出を行う(S3000)。ステップS3000においてユーザの高頻度切り替え行動が検出された場合(S3000においてYes)、制御部500は画像表示部600に映像を2次元で表示するための制御信号すなわち2D化信号を出力する。画像表示部600は2D化信号に基づいて、映像情報蓄積部400に蓄積された3次元映像を2次元映像に変換して表示する(S4000)。ステップS3000においてユーザの高頻度切り替え行動が検出されない場合(S3000においてNo)、画像表示部600は映像情報蓄積部400に蓄積された3次元映像を3次元のまま表示する(S5000)。ステップS4000およびステップS5000の実行の後、ステップS2000に戻り、ステップS2000からステップS4000またはステップS5000を繰り返す。
 図23は図21に示した3次元映像表示装置12aの詳細な動作の一部を示すフローチャートである。ステップS6000は、ステップS2000からステップS5000までの動作の流れとは独立に動作する。以下ステップS6000の詳細な動作を図23にしたがって説明する。
 ステップS1000で3次元映像表示装置12aが動作を開始する。受信部323は受信を開始する(S6010)。受信部323が受信する信号はたとえば、Bluetooth(登録商標)等の無線通信によって通信されている。信号の内容はたとえば図24のように、先頭から、3次元映像表示装置12bを識別する表示装置IDと、信号を送信する3次元映像表示装置12bによってセンシングされた顔を識別する顔IDおよび顔の特徴量と、顔がセンシングされた時刻と、顔がセンシングされた時点で信号を送信した3次元映像表示装置12bをユーザが観視していたか否かを示す観視状態の情報とを含む。信号の送信元の3次元映像表示装置12bが複数の顔をセンシングしている場合は複数の顔の情報が送信される。受信部323は信号形式の合致する無線信号を待機する(S6020)。ステップS6020において信号を受信すると(S6020でYes)、受信部323は、受信した信号に含まれる情報を統合処理部324へ出力し、ステップS6030へ進む。ステップS6020において信号を受信していない場合(S6020でNo)は、ステップS6020を繰り返す。
 ステップS6030では、統合処理部324は、ステップS6020で受信部323が受信した信号に含まれる、当該の3次元映像表示装置12aに近接する3次元映像表示装置12bが記憶する顔の観視状態の情報と、当該の3次元映像表示装置12aの顔記憶部304に記憶された顔の観視状態の情報とを統合し(S6030)、履歴記憶部325に記憶する(S6040)。ステップS6040の後、ステップS6020へ戻り、ステップS6020からステップS6040を繰り返して、3次元映像表示装置12aは、近接の3次元映像表示装置12bとの通信によりユーザの観視状態の履歴を生成して記憶する。
 図25はステップS6030で統合処理部324が行う処理の詳細を示したフローチャートである。ステップS6030において統合処理部324は、ステップS6020で受信した顔の情報より、未処理の顔の情報を抽出する(S6031)。ステップS6031において未処理の顔の情報がない場合(S6031でYes)は、ステップS6040に進む。ステップS6031において未処理の顔の情報がある場合(S6031でNo)は、統合処理部324はステップS6031で抽出した、近接する3次元映像表示装置12bに記憶された1つの未処理の顔の特徴量と、当該の3次元映像表示装置12aの顔記憶部304に記憶された顔のすべての特徴量とを照合し(S6032)、特徴量が一致する顔の情報を顔記憶部304から抽出する(S6033)。特徴量の照合は、例えば、実施の形態1のステップS3020と同様に行う。ステップS6033において顔の特徴量が一致する顔の情報が顔記憶部304に記憶されていると判断された場合(S6033でYes)は、ステップS6034に進む。ステップS6033において顔の特徴量が一致する顔の情報が顔記憶部304に記憶されていないと判断された場合(S6033でNo)は、ステップS6031に戻る。ステップS6033において顔の特徴量が一致する顔の情報が顔記憶部304に記憶されていない状態は、照合した顔の特徴量により特定されるユーザは、顔の情報の送信元である近接した3次元映像表示装置12bを観視しているが、当該の3次元映像表示装置12aは観視していないことを示す。したがって、当該の3次元映像表示装置12aによる疲労を軽減する処理を必要としない。
 ステップS6034では、統合処理部324は、ステップS6033で抽出された顔記憶部304に記憶された顔の情報の各時刻における観視状態(当該の3次元映像表示装置12aを観視しているか否か)と、受信した顔の情報うち、ステップS6033で特徴量が一致すると判断された顔の情報の各時刻における観視状態(近接の3次元映像表示装置12bを観視しているか否か)とを、時刻に従って並べ替える(S6034)。さらに、統合処理部324は、ステップS6034で並べ替えを行った顔の情報について、当該の3次元映像表示装置12aの顔記憶部304に記憶されている顔IDと、送信元の3次元映像表示装置12bの表示装置IDと、送信元の3次元映像表示装置12bで設定された顔IDと、いずれの3次元映像表示装置を観視しているかを示す観視情報とを、顔の情報が取得された時刻に対応付けたデータを生成し(S6035)、履歴記憶部325へ出力する。履歴記憶部325はステップS6035で生成されたデータを記憶する(S6040)。
 図26に履歴記憶部325に記憶されるデータの一例を示す。履歴記憶部325は、当該の3次元映像表示装置12aの顔記憶部304に記憶された顔の情報について、時刻ごとに、顔を識別する顔IDと、近接する3次元映像表示装置12bで識別されている顔の顔IDと、どの3次元映像表示装置を観視しているかを示す観視状態とを記憶する。例えば、1行目では、顔ID「01」の顔が当該の3次元映像表示装置12aと装置ID「近接1」の近接の3次元映像表示装置12bとで抽出されたことを示しており。顔ID「01」の顔は、時刻「10:32:15.55」において当該の3次元映像表示装置12aを観視し(1)、装置ID「近接1」および「近接2」の3次元映像表示装置12bは観視していない(0)ことを示している。
 なお、ここでは、統合処理部324は受信部323から取得した情報と顔記憶部304に記憶された情報のみから顔の観視状態の情報を統合したが、履歴記憶部325に記憶されている当該の3次元映像表示装置12aにおける顔IDと近接の3次元映像表示装置12bにおける顔IDの対応を利用して観視状態の情報を統合してもよい。
 なお、ここでは、統合処理部324は受信した顔の情報と、顔記憶部304に記憶された情報のすべてを照合したが、履歴記憶部325を参照して、履歴記憶部325に記憶された時刻より後の時刻の情報についてのみ照合を行うとしてもよい。
 なお、ここでは簡単のため、図20および図21には互いに近接する3次元映像表示装置として2つの装置を示したが、3つ以上の装置が近接しており、ユーザが3つ以上の3次元映像を交互に見る場合についても同様の処理が行われる。
 図22のステップS3000については、図7に示した実施の形態1のステップS3010からステップS3090と同様であるが、ステップS3080の動作についてのみ実施の形態1と異なるので説明する。
 高頻度変化検出部326は、履歴記憶部325に記憶された1つ以上の顔の観視状態が高い頻度で変化しているか否かを判定する(S3080)。高頻度変化検出部326は、履歴記憶部325より、現在の時刻に先行する所定時間内の時刻を持つ、顔の情報を抽出する。所定時間は例えば10秒とする。抽出した情報中で、観視する3次元映像表示装置が切り替わる回数が所定の頻度以上、例えば、10秒間に3回以上検出された場合に高頻度の観視状態の変化とみなす。ただし、いずれの3次元映像表示装置も観視していない時間が所定の時間以上含まれる場合を除く。所定の時間とは例えば3秒である。ステップS3080において高頻度の観視状態の変化が検出された場合はステップS4000に進む。ステップS3080において高頻度の観視状態の変化が検出されない場合は、ステップS3090に進む。
 このように、3次元映像を表示している3次元映像表示装置が近接して複数台存在する場合に、3次元映像表示装置の間で通信を行い、ユーザがそれぞれの3次元映像表示装置に表示された3次元映像を交互に観視する行動を高頻度に行っている状況を正確に検出し、3次元映像を2次元映像に変換して表示する。これにより、映像と実空間とを交互に見るような負荷の小さい場合には処理をせず、3次元映像を交互に見るという、ユーザの視聴行動による頻繁なシーンチェンジにより奥行きの変化が頻繁に発生する、疲労しやすい状態のみを回避することができ、ユーザ行動によって起るユーザの疲労を軽減することができる。
 (実施の形態4)
 本実施の形態では、実施の形態2の図15ように3次元映像用メガネを用いて3次元映像を視聴するための3次元映像表示装置が近接して複数存在し、3次元映像用メガネを装着したユーザ100は、複数の3次元映像表示装置にそれぞれ独立に表示された3次元映像をかわるがわる視聴することができる。本実施の形態4では実施の形態2の状態に合わせてさらに、複数の3次元映像表示装置は互いに通信が可能である。
 図27は本実施の形態4の3次元映像表示装置13aの詳細な構成の一例を示す。3次元映像表示装置13aは、図16に示した3次元映像表示装置11の構成に図21に示した通信部800が付け加わり、視聴行動検出部300Aの代わりに視聴行動検出部300Cを備える構成を有する。
 視聴行動検出部300Cは、視聴行動検出部300Aに、統合処理部334と、履歴記憶部335とが付け加わり、高頻度変化検出部316が高頻度変化検出部336に置き換わった構成を有する。
 通信部800は、当該の3次元映像表示装置13aと、近接する他の3次元映像表示装置13bとの間で、無線等により信号の送信と受信を行う。図16および図21と同一の構成には同一の符号を付し、適宜説明を省略する。3次元映像表示装置13bは、3次元映像表示装置13aと同様の構成を有する。
 3次元映像表示装置13aは、センサ200の一部と、視聴行動検出部300Cと、映像情報蓄積部400と、制御部500と画像表示部600と、通信部800とを備える。
 3次元映像用メガネ50は、センサ200の一部と、シャッタ700とを備える。
 センサ200は3次元映像表示装置13aに備えられた受光部211と3次元映像用メガネ50に備えられた発光部212とを有する。
 視聴行動検出部300Cは、入射角計測部311と、状態判定部312と、メガネ特定部313と、状態記憶部315と、計時部314と、統合処理部334と、履歴記憶部335と、高頻度変化検出部336とを有する。入射角計測部311は受光部211に対して入射した発光部212の光線の角度を計算する。状態判定部312は入射角計測部311が計算した入射角より、ユーザが3次元映像用メガネ50を正しく装着している場合に、当該の3次元映像表示装置13aの画面を観視しているか否かを判定する。メガネ特定部313は受光部211が取得した発光部212の発光パタンにより3次元映像用メガネ50を特定する。計時部314は時間を計測する。状態記憶部315はメガネ特定部313により特定された3次元映像用メガネ50を識別するメガネIDと、計時部314で計測された時間と、状態判定部312で判定されたユーザ100の観視状態とを記憶する。通信制御部321は、情報の送信を制御する制御信号を出力する。送信部322は通信制御部321が出力する制御信号に従って、状態記憶部315内に記憶された情報を信号に変換して、近接する3次元映像表示装置13bに対して送信する。受信部323は近接する3次元映像表示装置13bから送信された信号を受信する。
 統合処理部334は、受信部323により受信された信号から、近接する3次元映像表示装置13bを観視するユーザおよび3次元映像用メガネ50の情報を取得し、状態記憶部315に記憶された情報と照合して、ユーザおよび3次元映像用メガネ50ごとの観視状態の履歴として統合する。履歴記憶部335は統合処理部334が生成するユーザおよび3次元映像用メガネ50ごとの観視状態の履歴を記憶する。高頻度変化検出部336は履歴記憶部335に記憶された情報から、ユーザが当該の3次元映像表示装置13aと近接の3次元映像表示装置13bとを交互に観視しており、観視する3次元映像表示装置を高い頻度で切り替えているか否かを判定する。
 図28は本実施の形態の図27に示した3次元映像表示装置13aの動作の一部を示すフローチャートである。3次元映像表示装置13aの動作は、図22および図23に示した実施の形態3のステップS1000、S2000、S4000、S5000およびS6000と同様である。ただし、S6030の処理が一部異なる。以下、ステップS6000の詳細について図28、図22および図23に従って説明する。実施の形態3の図25と同じ部分については同じ符号を付し適宜説明を省略する。
 まず、図22のステップS1000で3次元映像表示装置13aが動作を開始する。受信部323は受信を開始する(図23のS6010)。信号は、たとえば図29のように、先頭から、3次元映像表示装置を識別する表示装置IDと、信号を送信する3次元映像表示装置で特定された3次元映像用メガネ50を識別するメガネIDと、3次元映像用メガネ50が特定された時刻と、3次元映像用メガネ50が特定された時点の観視状態とを含む。送信元の3次元映像表示装置が複数の3次元映像用メガネ50を特定している場合は複数の3次元映像用メガネ50の情報が一連のデータとして送信される。受信部323は信号形式の合致する無線信号を待機する(S6020)。ステップS6020において信号を受信すると(S6020でYes)、受信部323は、受信した信号に含まれる情報を統合処理部334へ出力し、ステップS6030へ進む。ステップS6020において信号を受信しない場合(S6020でNo)は、ステップS6020を繰り返す。ステップS6030では、統合処理部334は、ステップS6020で受信部323が受信した信号に含まれる、当該の3次元映像表示装置13aに近接する3次元映像表示装置13bが記憶する観視状態の情報と、当該の3次元映像表示装置13aの状態記憶部315に記憶された観視状態の情報とを統合し(S6030)、履歴記憶部335に記憶する(S6040)。ステップS6040の後、ステップS6020へ戻り、ステップS6020からステップS6040を繰り返して、3次元映像表示装置13aは、近接の3次元映像表示装置13bとの通信によりユーザの観視状態の履歴を生成して記憶する。
 図28はステップS6030で統合処理部334が行う処理の詳細を示したフローチャートである。ステップS6030において統合処理部334は、ステップS6020で受信したメガネIDと観視状態の情報より、未処理のメガネIDの情報を抽出する(S6131)。ステップS6131において未処理のメガネIDの情報がない場合(S6131でYes)は、ステップS6040に進む。ステップS6131において未処理のメガネIDの情報がある場合(S6131でNo)は、統合処理部334はステップS6131で抽出した、近接する3次元映像表示装置13bに記憶された1つの未処理のメガネIDと合致するメガネIDを、当該の3次元映像表示装置13aの状態記憶部315内で検索する(S6133)。ステップS6133において状態記憶部315内に合致するメガネIDが記憶されていると判断された場合(S6133でYes)は、ステップS6134に進む。ステップS6133において状態記憶部315内に合致するメガネIDが記憶されていないと判断された場合(S6133でNo)は、ステップS6131に戻る。ステップS6133において合致するメガネIDがないと判断されたことは、送信元の3次元映像表示装置13bを3次元映像用メガネ50を装着して観視するユーザは、当該の3次元映像表示装置13aを観視していないことを示している。したがって、少なくとも当該の3次元映像表示装置13aによる疲労軽減のための処理を必要としない。
 ステップS6134では、統合処理部334は、ステップS6133で抽出された3次元映像表示装置13aの状態記憶部315と送信元の3次元映像表示装置13bの両装置に記憶されたメガネIDの各時刻における観視状態の情報を、時刻に従って並べ替える(S6134)。さらに、統合処理部334は、ステップS6134で並べ替えを行った観視状態の情報について、当該の3次元映像表示装置13aの状態記憶部315と送信元の3次元映像表示装置13bの両装置に記憶されているメガネIDと、いずれの装置を観視しているかを示す観視情報とを、情報が取得された時刻に対応付けたデータを生成し(S6135)、履歴記憶部335へ出力する。履歴記憶部335はステップS6035で生成されたデータを記憶する(S6040)。図30に履歴記憶部335に記憶されるデータの一例を示す。履歴記憶部335は、当該の3次元映像表示装置13aの状態記憶部315に記憶されたメガネIDについて、時刻ごとにどの3次元映像表示装置を観視しているかを示す観視状態を記憶する。例えば、時刻「10:32:15.55」に、メガネIDの3次元映像用メガネ50をかけたユーザが当該の3次元映像表示装置13aを観視していたことが分かる。
 なお、ここでは、統合処理部334は受信部323から取得した情報と状態記憶部315に記憶された情報から3次元映像用メガネ50ごとに観視状態の情報を統合したが、履歴記憶部335に記憶されているメガネIDと受信した情報に含まれるメガネIDとの対応を利用して観視状態の情報を統合してもよい。
 なお、ここでは、統合処理部334は受信したメガネIDと、状態記憶部315に記憶されたメガネIDのすべてとを照合したが、履歴記憶部335を参照して、履歴記憶部325に記憶された時刻より後の時刻の情報についてのみ照合を行うとしてもよい。
 なお、ここでは簡単のため、図27には近接する3次元映像表示装置として3次元映像表示装置13aと3次元映像表示装置13bの2つの装置を示したが、3つ以上の3次元映像表示装置が近接しており、ユーザが3つ以上の3次元映像を交互に見る場合についても同様の処理が行われる。
 ステップS3000については実施の形態2の図18のステップS3110からステップS3090と同様であるが、ステップS3180の動作についてのみ実施の形態2と異なる。このため、以下に説明する。
 高頻度変化検出部336は、履歴記憶部335に記憶された1つ以上のメガネIDに対応付けられた観視状態が高い頻度で変化しているか否かを判定する(S3180)。高頻度変化検出部336は、履歴記憶部335から、現在の時刻に先行する所定時間内の時刻情報を持つメガネIDの情報を抽出する。所定時間は例えば10秒とする。抽出した情報中で、観視する3次元映像表示装置が切り替わる回数が所定の頻度以上、例えば、10秒間に3回以上検出された場合に高頻度の観視状態の変化とみなす。ただし、いずれの3次元映像表示装置も観視していない時間が所定の時間以上含まれる場合を除く。所定の時間とは例えば3秒である。ステップS3180において高頻度の観視状態の変化が検出された場合はステップS4000に進む。ステップS3180において高頻度の観視状態の変化が検出されない場合は、ステップS3090に進む。
 このように、3次元映像を表示している3次元映像表示装置が近接して複数台存在する場合に、3次元映像表示装置の間で通信を行い、ユーザがそれぞれの3次元映像表示装置に表示された3次元映像を交互に観視する行動を高頻度に行っている状況をメガネの照合により正確に検出し、3次元映像を2次元映像に変換して表示する。これにより、映像と実空間とを交互に見るような負荷の小さい状態に対しては処理をせず、3次元映像を交互に見るという、ユーザの視聴行動による頻繁なシーンチェンジにより奥行きの変化が頻繁に発生し、疲労しやすい状態のみを回避することができ、ユーザの3次元映像視聴をできるだけ邪魔せずに、ユーザ行動によって起るユーザの疲労を軽減することができる。
 (実施の形態3の変形例)
 実施の形態3の通信部800は、図22および図23のステップS6000で、当該の3次元映像表示装置に近接する別の3次元映像表示装置と通信を行い、両装置でセンシングされたユーザの観視状態を統合した。実施の形態3の変形例では、これに加えて、両装置が表示している3次元映像の奥行き情報を通信して、3次元映像表示装置間での奥行きの差が大きい場合に2D化を行う。3次元映像表示装置間での奥行きの差が小さい場合には2D化を行わず、ユーザは3次元映像の視聴を続けることができる。疲労は奥行きの差の大きい映像の切り替えを高頻度に行うことによって引き起こされる。したがって、ユーザが複数の3次元映像表示装置を交互に見ていても、奥行きの差が小さければ疲労にはつながらない。3次元映像表示装置間の奥行きの差が大きい場合にのみ2D化処理を行うことで、3D映像を視聴する価値をできるだけ損なわずに、疲労を軽減する。
 本変形例では、実施の形態3の図20のように3次元映像表示装置が近接して複数存在し、ユーザ100は、複数の3次元映像表示装置にそれぞれ独立に表示された3次元映像をかわるがわる視聴することができる。複数の3次元映像表示装置は互いに通信が可能である。
 図31は本実施の形態3の変形例における3次元映像表示装置14aの詳細な構成の一例を示す。図31の3次元映像表示装置は、図21に示した3次元映像表示装置12aの構成において、奥行き情報蓄積部410が付け加わり、視聴行動検出部300Bが視聴行動検出部300Dに置き換わり、通信部800が通信部800Aに置き換わった構成を有する。図21と同一の構成には同一の符号を付し、適宜説明を省略する。3次元映像表示装置14bは、3次元映像表示装置14aと同じ構成を有する。
 センサ200はカメラ201を含む。
 視聴行動検出部300Dは、顔抽出部301と、顔角度計算部302と、状態判定部303と、顔記憶部304と、計時部305と、統合処理部344と、履歴記憶部325と、高頻度変化検出部326とを備える。
 通信部800Aは通信制御部321と、送信部342と、受信部343とを備える。
 奥行き情報蓄積部410は、映像情報蓄積部400が蓄積する3次元映像に対応する奥行き情報を記憶する。図32は奥行き情報蓄積部410に記憶される奥行き情報の一例を示す図である。図32の例では、時刻と、画像のフレーム番号と、各フレームの奥行きの最小値、最大値、中央値および画面中心の値とが記憶されている。奥行きの単位はセンチメートルであり、画面平面を0として手前側を正、奥側を負とし、標準の瞳孔間距離のユーザが画面サイズに対して標準の視聴距離から画面を観視する場合に知覚する奥行き距離を示している。
 送信部342は、顔記憶部304が記憶する時刻、顔ID、顔の特徴量および観視状態と、奥行き情報蓄積部410が記憶する奥行き情報とをあわせた送信信号を生成して送信する。受信部343は他の3次元映像表示装置14bから送信された、時刻、顔ID、顔の特徴量、観視状態、および奥行き情報を含む信号を受信して、受信した信号に含まれる情報を統合処理部344に出力する。
 統合処理部344は、受信部343から取得した当該の3次元映像表示装置14a以外の3次元映像表示装置14bが表示する3次元映像の奥行き情報と、当該の3次元映像表示装置14aの奥行き情報蓄積部410に記憶された奥行き情報とを比較する。さらに当該の3次元映像表示装置14a以外の3次元映像表示装置14bでセンシングされた顔の情報と当該の3次元映像表示装置14aの顔記憶部304に記憶された顔の情報とを統合して、顔ごとの観視状態の履歴を生成して履歴記憶部325に出力する。
 図33は図31に示した3次元映像表示装置14aの動作の一部を示すフローチャートである。3次元映像表示装置14aの動作は実施の形態3の図22のステップS6000の詳細な動作が異なる以外は図22に示した動作と同様である。図33はステップS6000の詳細な動作を示したものである。図33は図23に示した実施の形態3のステップS6010からステップS6040の動作にステップS6025が付け加わった以外は図23と同様である。図23と同じ動作には同じ符号を付し、適宜説明を省略する。以下本変形例におけるステップS6000の動作を図33に従って説明する。
 ステップS1000で3次元映像表示装置14aが動作を開始する。受信部343は受信を開始する(S6010)。受信部343が受信する信号はたとえば、Bluetooth(登録商標)等の無線通信によって通信されている。信号の内容は例えば、図34のように、先頭から、3次元映像表示装置14bを識別する表示装置IDと、画像の表示時刻と、表示した画像の奥行き情報と、信号を送信する3次元映像表示装置14bによってセンシングされた顔を識別する顔IDおよび顔の特徴量と、顔がセンシングされた時刻と、顔がセンシングされた時点で信号を送信した3次元映像表示装置14bを観視していたか否かを示す観視状態の情報とを含む。送信元の3次元映像表示装置14bが複数の顔をセンシングしている場合は複数の顔の情報が送信される。受信部343は信号形式の合致する無線信号を待機する(S6020)。ステップS6020において信号を受信すると(S6020でYes)、受信部343は、受信した信号に含まれる情報を統合処理部344へ出力し、ステップS6025へ進む。ステップS6020において信号を受信していない場合(S6020でNo)は、ステップS6020を繰り返す。
 ステップS6025では、統合処理部344はステップS6020で受信部343が受信した信号に含まれる、3次元映像表示装置14bの奥行き情報と、当該の3次元映像表示装置14aの奥行き情報蓄積部410に記憶された現在時刻の奥行き情報とを比較する(S6025)。比較の方法は、例えば、奥行きの最小値の差の絶対値と、奥行きの最大値の差の絶対値と、奥行きの中央値の差の絶対値と、画面中心の奥行きの差の絶対値とを合計した値が所定の値より大きい場合は当該の3次元映像表示装置14aが表示した映像の奥行きと、ステップS6020で受信した信号の送信元の3次元映像表示装置14bが表示した映像の奥行きとの差が大きいと判断し、上述の合計値が所定の値以下である場合は当該の3次元映像表示装置14aが表示した映像の奥行きと送信元の3次元映像表示装置14bが表示した映像の奥行きとの差が小さいと判断する。所定の値は例えば400cmである。ステップS6025において、上述の合計値が所定の値より大きい場合(S6025においてYes)は、ステップS6030に進む。ステップS6025において上述の合計値が所定の値以下である場合(S6025においてNo)は、ステップS6020に戻る。
 ステップS6030では、統合処理部344は、ステップS6020で受信部323が受信した信号に含まれる、当該の3次元映像表示装置14aに近接する3次元映像表示装置14bが記憶する顔の観視状態の情報と、当該の3次元映像表示装置14aの顔記憶部304に記憶された顔の観視状態の情報とを統合し(S6030)、履歴記憶部325に記憶する(S6040)。ステップS6040の後、ステップS6020へ戻り、ステップS6020からステップS6040を繰り返して、3次元映像表示装置14aは、近接の3次元映像表示装置14bとの通信によりユーザの観視状態の履歴を生成して記憶する。
 このように、3次元映像を表示している3次元映像表示装置が近接して複数台存在する場合に、3次元映像表示装置の間で通信を行う。それぞれの3次元映像表示装置が表示している映像の奥行きに差があり、ユーザが複数の3次元映像表示装置を交互に観視した場合に疲労しやすい状態である場合にのみ、ユーザが複数の3次元映像表示装置を交互に観視している状態を検出する。交互に観視している状態が検出された場合に、3次元映像を2次元映像に変換して表示する。これにより、ユーザの視聴行動による頻繁なシーンチェンジにより奥行きの変化が頻繁に発生する、疲労しやすい状態のみを回避し、複数の3次元映像表示装置を交互に見ても疲労が起りにくい状態の場合には3次元映像を視聴する楽しみや利便を妨げないようにすることができる。
 なお、ここでは実施の形態3の変形例を説明したが、実施の形態4を同様に変形することができる。本変形例と同様に、図27に示す実施の形態4に係る3次元映像表示装置13aは、さらに、奥行き情報蓄積部410を備え、送信部322を送信部342に、受信部323を受信部343に、統合処理部334を統合処理部344にそれぞれ置き換えた構成としても良い。また、ステップS6000の動作にステップS6025を追加し、ステップS6030で当該の3次元映像表示装置13aを観視するユーザが装着した3次元映像用メガネ50の情報と、信号の送信元の3次元映像表示装置13bを観視するユーザの3次元映像用メガネ50の情報とを統合する前に、当該の3次元映像表示装置13aが表示する映像の奥行きと、信号の送信元の3次元映像表示装置13bが表示する映像の奥行きとの差の大きさを判断する。3次元映像表示装置間の奥行きの差が大きい場合には3次元映像を2次元映像に変換して表示する。奥行きの差が小さい場合には、3次元映像のまま表示する。
 なお、本変形例では、疲労を防ぐ奥行き平滑化処理として、3次元映像を2次元映像に変換して表示するものとしたが、複数の3次元映像表示装置の奥行きの差を小さくする処理であれば、これ以外の方法であっても良い。例えば、ユーザが交互に観視している3次元映像表示装置のすべての映像の奥行きを、交互に観視している3次元映像表示装置に表示される映像の奥行きの平均値に揃える等の方法である。
 なお、本変形例において、奥行き情報蓄積部410に記憶する奥行き情報と、通信部800Aが通信する奥行き情報とは、特定時刻に表示された画像の奥行き情報であり、奥行きは最小値と最大値と中央値と画面中心の値とであったが、これ以外の情報としてもよい。特定時刻は3次元映像表示装置14aが動作中の特定の時刻を指すが、時刻は特定の時刻でなく、一定の時間範囲を持つものとしても良い。特定の時刻は、3次元映像表示装置14aが動作中の特定の時刻を開始点、中心点または終了点とする一定の時間範囲でも良く、その場合の奥行き情報は、奥行きの時間平均や中央値等の時間範囲内の奥行き情報の代表値としても良い。また、奥行き情報は最小値と最大値のみ、あるいは中央値のみ、画面中心の値のみ、あるいはオブジェクトごとの奥行き情報等でも良い。
 なお、実施の形態1、実施の形態2、実施の形態3および実施の形態4において、高頻度変化検出部は所定時間、例えば10秒、あたり、所定の回数、例えば3回、以上観視状態の変化が検出された場合に高頻度の観視状態の変化とみなすとしたが、高頻度の観視状態の変化を判断する値はこれ以外の値でも良い。高頻度の観視状態の変化が、映像を観視するユーザに好ましくない影響を及ぼす可能性についての参考事例として、非特許文献4に記載されるような光過敏性発作あるいは光感受性反応を考慮したガイドラインがある。
 非特許文献4の基準は光の点滅による視聴者への影響を低減するためのガイドラインであるが、非特許文献4の項目2において、急激なカットチェンジについて言及している。カットチェンジ(シーンチェンジ)により、奥行き情報も急峻に変化することを考慮すると、非特許文献4に指摘された「1/3秒に1回」を超える頻度を高頻度の観視状態の変化とするのが望ましい。なお、非特許文献4に記載の基準を、ユーザが同一の3次元映像を見ている場合の基準とすることも可能である。たとえば、同一の3次元映像内で「1/3秒に1回」を超える頻度でシーンチェンジが生じた場合には、高頻度変化検出部は、ユーザに対して、眼の疲労を引き起こす可能性がある旨の警告を行ってもよい。また、制御部は、その3次元映像の表示を停止させてもよい。
 なお、実施の形態3の変形例において、統合処理部344は当該の3次元映像表示装置が表示している3次元映像の奥行き情報と、他の近接する3次元映像表示装置が表示している奥行き情報とを比較する。比較方法の例として、奥行きの最小値の差の絶対値と、奥行きの最大値の差の絶対値と、奥行きの中央値の差の絶対値と、画面中心の奥行きの差の絶対値とを合計した値が所定の値より大きい場合に2つの3次元映像表示装置が表示する3次元映像の奥行きの差が大きいと判断するものとしたが、奥行きの差を用いる以外に、輻輳角の差に基づいて奥行きの差を判断するものとしても良い。例えば、非特許文献5では、1画面内の奥行きの差は視差角が1度以内にすることと、画面に対する相対的な奥行きは画面幅に対して2%程度以下にすることとが推奨されている。そこで、統合処理部は当該の3次元映像表示装置が表示している3次元映像の奥行き情報と、他の近接する3次元映像表示装置が表示している奥行き情報とを以下のようにして比較する。例えば、統合処理部は、当該の3次元映像表示装置と他の近接する3次元映像表示装置が表示している映像について、それぞれの画面中央部の奥行きに対する標準視聴位置からの輻輳角を求める。統合処理部は、輻輳角の差、すなわちそれぞれの画面中央を見比べた場合の視差角が1度以上になる場合に、2つの3次元映像表示装置が表示する3次元映像の奥行きの差が大きいと判断することができる。また、画面中央部ではなく、それぞれの装置に表示される映像の最も奥行きの小さい部分すなわち最も手前に見える部分に対する輻輳角を求めて、両画面を見比べる際の視差角を求めて、奥行きの差を判断しても良い。これ以外にも、それぞれの装置に表示される映像の奥行きの平均に対する輻輳角から視差角を求めるものとしても良い。
 なお、本開示のすべての実施の形態とその変形例において、近接する複数の3次元映像表示装置の表示をユーザが観視する例としたが、複数の画面で複数の3次元映像を並行して表示可能なシステムにおいても同様である。複数の画面は、複数のディスプレイ装置によって実現してもよいが、1つのディスプレイの画面を複数の領域に分割して表示することで実現しても良い。つまり、本開示において複数の3次元映像表示装置とは、1つのディスプレイ装置に表示された複数の3次元映像の表示画面をも意味するものとする。
 医療現場あるいは医学教育の現場においては、CT(Computed Tomography)やMRI(Magnetic Resonance Imaging)等の画像診断装置のデータから合成された3次元画像の利用が成されている。一方、手術においては内視鏡手術や遠隔手術等で3次元映像の利用が行われている。医療現場においては、術前術後のカンファレンス等で患者の状態及び治療方針を話し合う際に、上記の画像診断装置のデータから合成された複数種類の3次元映像を見比べることは有用である。また、3次元の手術映像と合成3次元映像とを見比べて検討することは有用である。患者への説明の際にも複数の画面に異なる3D映像を表示して、より分かりやすく説明することができる。医学教育においては、術前に撮像された画像から合成された3次元の映像を、回転させたりズームさせたりすることにより、多方向から確認しながら、実際の手術映像を確認していくことは有用である。このような複数の3次元映像を同時に表示して利用する場面において、本開示は有効である。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の3次元映像表示装置などを実現するソフトウェアは、次のようなプログラムである。
 すなわち、このプログラムは、コンピュータに、複数の3次元映像表示装置を交互に観視するユーザの観視状態が、所定時間あたり所定の回数以上変化したか否かを検出する視聴行動検出ステップと、前記視聴行動検出ステップにおいて前記ユーザの観視状態が前記所定時間あたり前記所定回数以上変化したことが検出された場合に、画像表示部に表示する3次元映像のユーザによる観視を制限するための処理を行う制御ステップとを実行させる。
 以上、本発明の一つまたは複数の態様に係る3次元映像表示装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
 本発明は、3次元映像を視聴する画像表示装置に広く利用可能であり、テレビ、コンピュータ、ゲームの表示画面等で3次元映像を表示する際に有用である。コンテンツ視聴のみでなく、画像診断装置や内視鏡等の医療機器の画像表示や、手術や乗り物のシミュレーション等ゲームや教育訓練用のシステム等の用途に応用できる。
10、10a、10b、11、11a、11b、12a、12b、13a、13b、14a、14b 3次元映像表示装置
30、50 3次元映像用メガネ
100 ユーザ
200、200A センサ
201 カメラ
211、211a、211b 受光部
212 発光部
300、300A、300B、300C、300D 視聴行動検出部
301 顔抽出部
302 顔角度計算部
303 状態判定部
304 顔記憶部
305、314 計時部
306、316、326、336 高頻度変化検出部
311 入射角計測部
312 状態判定部
313 メガネ特定部
315 状態記憶部
321 通信制御部
322、342、634 送信部
323、343、641 受信部
324、334、344 統合処理部
325、335 履歴記憶部
400 映像情報蓄積部
410 奥行き情報蓄積部
500 制御部
600 画像表示部
601、611、631 画像制御部
602、612、632 画像処理部
603、613、633 表示部
621、643、700 シャッタ
642 シャッタ制御部
800、800A 通信部

Claims (11)

  1.  観視対象とする3次元映像表示画面を変更しながら、複数の3次元映像表示画面を観視するユーザの観視状態が、所定時間あたり所定回数以上変化したか否かを検出する視聴行動検出部と、
     前記視聴行動検出部が前記ユーザの観視状態が前記所定時間あたり前記所定回数以上変化したことを検出した場合に、画像表示部に表示する3次元映像のユーザによる観視を制限するための処理を行う制御部と
     を備える3次元映像表示装置。
  2.  さらに、
     前記ユーザの顔を撮像するカメラを備え、
     前記視聴行動検出部は、
     前記カメラで撮像された顔画像から、前記顔の角度を計算する顔角度計算部と、
     前記顔角度計算部が計算した前記顔の角度から、前記ユーザが前記3次元映像表示画面を観視しているか否かを判定する状態判定部と、
     前記状態判定部による判定結果に基づいて、前記ユーザの観視状態が前記所定時間あたり前記所定回数以上変化したか否かを検出する高頻度変化検出部と
     を有する
     請求項1記載の3次元映像表示装置。
  3.  さらに、
     ユーザが装着する専用のメガネに設置された発光部が発光する光を受光する受光部を備え、
     前記視聴行動検出部は、
     前記発光部が発光した光の前記受光部への入射角を計測する入射角計測部と、
     前記入射角計測部が計測した前記入射角から、前記ユーザが前記3次元映像表示画面を観視しているか否かを判定する状態判定部と、
     前記状態判定部による判定結果に基づいて、前記ユーザの観視状態が前記所定時間あたり前記所定回数以上変化したか否かを検出する高頻度変化検出部と
     を有する
     請求項1記載の3次元映像表示装置。
  4.  前記発光部は、円形の光を発光し、
     前記入射角計測部は、前記受光部が受光した光の形状から、前記発光部が発光した光の前記受光部への入射角を計測する
     請求項3記載の3次元映像表示装置。
  5.  さらに、
     前記ユーザの顔を撮像するカメラを備え、
     複数の3次元映像表示装置が、前記複数の3次元映像表示画面を有し、
     前記視聴行動検出部は、
     前記カメラで撮像された顔画像から、前記顔画像の特徴量を抽出する顔抽出部と、
     前記カメラで撮像された顔画像から、前記顔の角度を計算する顔角度計算部と、
     前記顔角度計算部が計算した前記顔の角度から、前記ユーザが前記3次元映像表示画面を観視しているか否かを判定する状態判定部と、
     他の3次元映像表示装置から、顔画像の特徴量と、ユーザが前記他の3次元映像表示装置の3次元映像表示画面を観視しているか否かを示す判定結果とを受信する受信部と、
     前記顔抽出部が抽出した前記顔画像の特徴量と前記受信部が受信した前記顔画像の特徴量とを比較することにより、同一のユーザが前記3次元映像表示装置の3次元映像表示画面と前記他の3次元映像表示装置の3次元映像表示画面とを観視しているか否かを判断し、前記同一のユーザが前記3次元映像表示装置の3次元映像表示画面と前記他の3次元映像表示装置の3次元映像表示画面とを観視している場合に、前記状態判定部による判定結果と前記受信部が受信した前記判定結果とに基づいて、前記同一のユーザの観視状態が前記所定時間あたり前記所定回数以上変化したか否かを検出する高頻度変化検出部と
     を有する
     請求項1記載の3次元映像表示装置。
  6.  さらに、
     ユーザが装着する専用のメガネに設置された発光部が発光する光であって、メガネを識別可能な発光パタンを有する光を受光する受光部を備え、
     複数の3次元映像表示装置が、前記複数の3次元映像表示画面を有し、
     前記視聴行動検出部は、
     前記受光部が受光した光の発光パタンからメガネを識別するメガネ特定部と、
     前記発光部が発光した光の前記受光部への入射角を計測する入射角計測部と、
     前記入射角計測部が計測した前記入射角から、前記ユーザが前記3次元映像表示画面を観視しているか否かを判定する状態判定部と、
     他の3次元映像表示装置から、前記他の3次元映像表示装置の3次元映像表示画面を観視しているユーザが装着しているメガネの識別結果と、前記他の3次元映像表示装置の3次元映像表示画面を観視しているか否かを示す判定結果とを受信する受信部と、
     前記メガネ特定部による識別結果と前記受信部が受信した前記識別結果とを比較することにより、同一のユーザが前記3次元映像表示装置の3次元映像表示画面と前記他の3次元映像表示装置の3次元映像表示画面とを観視しているか否かを判断し、前記同一のユーザが前記3次元映像表示装置の3次元映像表示画面と前記他の3次元映像表示装置の3次元映像表示画面とを観視している場合に、前記状態判定部による判定結果と前記受信部が受信した前記判定結果とに基づいて、前記同一のユーザの観視状態が前記所定時間あたり前記所定回数以上変化したか否かを検出する高頻度変化検出部と
     を有する
     請求項1記載の3次元映像表示装置。
  7.  前記制御部は、前記視聴行動検出部が、前記ユーザの観視状態が前記所定時間あたり前記所定回数以上変化したことを検出した場合に、前記画像表示部に表示する3次元映像を2次元映像に変換して表示する
     請求項1~6のいずれか1項に記載の3次元映像表示装置。
  8.  前記制御部は、前記視聴行動検出部が、前記ユーザの観視状態が前記所定時間あたり前記所定回数以上変化したことを検出した場合に、前記画像表示部に3次元映像を見ることへの注意喚起のメッセージを表示する
     請求項1~6のいずれか1項に記載の3次元映像表示装置。
  9.  前記受信部は、さらに、前記他の3次元映像表示装置から、前記3次元映像表示装置が表示する3次元映像の奥行き情報を受信し、
     前記制御部は、前記視聴行動検出部が前記ユーザの観視状態が前記所定時間あたり前記所定回数以上変化したことを検出し、かつ前記画像表示部に表示する3次元映像の奥行き情報と前記他の3次元映像表示装置が表示する3次元映像の奥行き情報との差が所定の値以上の場合にのみ、前記画像表示部に表示する3次元映像のユーザによる観視を制限するための処理を行う
     請求項5または6に記載の3次元映像表示装置。
  10.  観視対象とする3次元映像表示装置を変更しながら、複数の3次元映像表示画面を観視するユーザの観視状態が、所定時間あたり所定回数以上変化したか否かを検出する視聴行動検出ステップと、
     前記視聴行動検出ステップにおいて前記ユーザの観視状態が前記所定時間あたり前記所定回数以上変化したことが検出された場合に、画像表示部に表示する3次元映像のユーザによる観視を制限するための処理を行う制御ステップと
     を含む3次元映像表示方法。
  11.  請求項10記載の3次元映像表示方法をコンピュータに実行させるためのプログラム。
PCT/JP2013/004055 2012-07-11 2013-06-28 3次元映像表示装置および3次元映像表示方法 WO2014010191A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014501768A JP5807182B2 (ja) 2012-07-11 2013-06-28 3次元映像表示装置および3次元映像表示方法
US14/202,464 US9374574B2 (en) 2012-07-11 2014-03-10 Three-dimensional video display apparatus and three-dimensional video display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-155975 2012-07-11
JP2012155975 2012-07-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/202,464 Continuation US9374574B2 (en) 2012-07-11 2014-03-10 Three-dimensional video display apparatus and three-dimensional video display method

Publications (1)

Publication Number Publication Date
WO2014010191A1 true WO2014010191A1 (ja) 2014-01-16

Family

ID=49915675

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/004055 WO2014010191A1 (ja) 2012-07-11 2013-06-28 3次元映像表示装置および3次元映像表示方法

Country Status (3)

Country Link
US (1) US9374574B2 (ja)
JP (1) JP5807182B2 (ja)
WO (1) WO2014010191A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112817550A (zh) * 2021-02-07 2021-05-18 联想(北京)有限公司 一种数据处理方法及装置
CN115250379A (zh) * 2021-04-25 2022-10-28 花瓣云科技有限公司 视频显示方法、终端、系统及计算机可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI526046B (zh) * 2013-05-29 2016-03-11 惟勤科技股份有限公司 提供觀看者在不同觀看角度下仍可接收到正確立體影像的方法
KR102197536B1 (ko) * 2014-08-18 2020-12-31 엘지디스플레이 주식회사 이동 플리커가 감소된 입체영상 표시장치
EP3111829B1 (en) * 2015-07-01 2023-11-08 Essilor International Monitoring component and method for monitoring a visual capacity modification parameter of a user of at least one display device
US10122995B2 (en) * 2016-09-22 2018-11-06 X Development Llc Systems and methods for generating and displaying a 3D model of items in a warehouse
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010258723A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム
WO2011108180A1 (ja) * 2010-03-03 2011-09-09 パナソニック株式会社 立体映像出力装置及び立体映像出力方法
JP2011249859A (ja) * 2010-05-21 2011-12-08 Toshiba Corp 3d映像表示装置、3d映像表示方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11309A (ja) * 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
US8650073B2 (en) * 2002-11-26 2014-02-11 Earl Littman Glasses-free 3D advertising system and method
JP2007257087A (ja) 2006-03-20 2007-10-04 Univ Of Electro-Communications 肌色領域検出装置及び肌色領域検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010258723A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム
WO2011108180A1 (ja) * 2010-03-03 2011-09-09 パナソニック株式会社 立体映像出力装置及び立体映像出力方法
JP2011249859A (ja) * 2010-05-21 2011-12-08 Toshiba Corp 3d映像表示装置、3d映像表示方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112817550A (zh) * 2021-02-07 2021-05-18 联想(北京)有限公司 一种数据处理方法及装置
CN112817550B (zh) * 2021-02-07 2023-08-22 联想(北京)有限公司 一种数据处理方法及装置
CN115250379A (zh) * 2021-04-25 2022-10-28 花瓣云科技有限公司 视频显示方法、终端、系统及计算机可读存储介质
CN115250379B (zh) * 2021-04-25 2024-04-09 花瓣云科技有限公司 视频显示方法、终端、系统及计算机可读存储介质

Also Published As

Publication number Publication date
JP5807182B2 (ja) 2015-11-10
JPWO2014010191A1 (ja) 2016-06-20
US20140184760A1 (en) 2014-07-03
US9374574B2 (en) 2016-06-21

Similar Documents

Publication Publication Date Title
JP5807182B2 (ja) 3次元映像表示装置および3次元映像表示方法
US8648876B2 (en) Display device
KR101249988B1 (ko) 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법
US8094927B2 (en) Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
US8692870B2 (en) Adaptive adjustment of depth cues in a stereo telepresence system
JP4787905B1 (ja) 画像処理装置および方法並びにプログラム
US20110316987A1 (en) Stereoscopic display device and control method of stereoscopic display device
CN106797423A (zh) 视线检测装置
JP5110182B2 (ja) 映像表示装置
US20140028662A1 (en) Viewer reactive stereoscopic display for head detection
JP2006267578A (ja) 立体画像表示装置及び方法
WO2014041330A2 (en) Inspection imaging system, and a medical imaging system, apparatus and method
US20140139647A1 (en) Stereoscopic image display device
JP5134714B1 (ja) 映像処理装置
WO2022267573A1 (zh) 裸眼3d显示模式的切换控制方法、介质和系统
US9186056B2 (en) Device and method for determining convergence eye movement performance of a user when viewing a stereoscopic video
JP6767481B2 (ja) ライトフィールド顕微鏡法を用いる眼科手術
JP5132804B1 (ja) 映像処理装置および映像処理方法
TW201733351A (zh) 3d自動對焦顯示方法及其系統
KR20130068851A (ko) 입체영상 깊이감 측정 장치 및 방법
JP2013009864A (ja) 3次元画像処理装置
TW201223244A (en) Method and system for displaying stereoscopic images
WO2012176683A1 (ja) 画像表示装置および画像表示システム
JP5433763B2 (ja) 映像処理装置および映像処理方法
JP2014089521A (ja) 検出装置、映像表示システムおよび検出方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014501768

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13816946

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13816946

Country of ref document: EP

Kind code of ref document: A1