WO2013145861A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- WO2013145861A1 WO2013145861A1 PCT/JP2013/052459 JP2013052459W WO2013145861A1 WO 2013145861 A1 WO2013145861 A1 WO 2013145861A1 JP 2013052459 W JP2013052459 W JP 2013052459W WO 2013145861 A1 WO2013145861 A1 WO 2013145861A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image data
- user
- display
- unit
- threshold condition
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Definitions
- the present disclosure relates to an image processing apparatus, an image processing method, and a program.
- 3D display devices that allow a user to perceive a stereoscopic image by displaying a left-eye image (L image) and a right-eye image (R image) are in circulation.
- this 3D display device the effect of enhancing the user's presence is obtained, but eye strain is likely to occur.
- Eye strain There are various causes of eye strain, but examples include crosstalk caused by a mixture of L and R images, and a flicker phenomenon caused by insufficient switching speed of the liquid crystal shutter. For this reason, improvements have been made to the frame rate of liquid crystals and shutter glasses, but the problem of eye strain has not been sufficiently solved.
- Patent Document 1 discloses a parallax conversion device that performs parallax adjustment of an L image and an R image by shifting the L image and / or the R image in the horizontal direction.
- the present disclosure proposes a new and improved image processing apparatus, image processing method, and program capable of reducing user fatigue without impairing the relationship of depth perception of stereoscopic display of a plurality of frames. .
- the determination unit that determines whether or not the difference between the image data for the left eye and the image data for the right eye that constitutes the image data satisfies the threshold condition, and the difference satisfies the threshold condition by the determination unit.
- An adjustment unit that adjusts the image data so that a convergence angle when the image data is stereoscopically displayed is reduced, and the adjustment unit includes a plurality of image data corresponding to a plurality of frames.
- An image processing apparatus is provided that adjusts the image data so that the amount of movement of the display position in the depth direction perceived at the target point is the same.
- the image data is adjusted so that the convergence angle when the image data is stereoscopically displayed is small, and the depth direction perceived at the target point for each of the plurality of image data corresponding to a plurality of frames And adjusting the image data so that the amount of movement of the upper display position is the same.
- the computer causes the determination unit to determine whether a difference between the left-eye image data and the right-eye image data constituting the image data satisfies a threshold condition; When the image data is determined to satisfy the threshold condition, the adjustment unit adjusts the image data so as to reduce the convergence angle when the image data is stereoscopically displayed.
- a program is provided that adjusts the image data so that the movement amount of the display position in the depth direction perceived at the target point is the same for each of a plurality of corresponding image data.
- fatigue of the user can be reduced without impairing the relationship of the sense of depth in stereoscopic display of a plurality of frames.
- a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
- it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration only the same reference numerals are given.
- the display device 100 includes: A. A determination unit (adjustment necessity determination unit 124) that determines whether or not a difference between left-eye image data and right-eye image data constituting the image data satisfies a threshold condition; B.
- a determination unit adjustment necessity determination unit 1214 that determines whether or not a difference between left-eye image data and right-eye image data constituting the image data satisfies a threshold condition; B.
- An adjustment unit (display control unit 132) that adjusts the image data so as to reduce a convergence angle when the image data is stereoscopically displayed when the determination unit determines that the difference satisfies a threshold condition; With The adjustment unit (display control unit 132) adjusts the image data so that the amount of movement of the display position in the depth direction perceived at the target point is the same for each of a plurality of image data corresponding to a plurality of frames. To do.
- FIG. 1 is an explanatory diagram showing a configuration of a display system according to an embodiment of the present disclosure.
- the display system according to the embodiment of the present disclosure includes a display device 100 and shutter glasses 200.
- the display device 100 includes a display unit 110 on which an image is displayed.
- the display device 100 allows the user to perceive a stereoscopic image (3D image) by displaying the left-eye image (L image) and the right-eye image (R image) on the display unit 110.
- the display device 100 includes an imaging unit 114 that captures an area in which the display device 100 can be viewed. By analyzing the captured image obtained by the imaging unit 114, the user who views the display device 100 can be recognized.
- the shutter glasses 200 include, for example, a right-eye image transmission unit 212 and a left-eye image transmission unit 214 that are liquid crystal shutters.
- the shutter glasses 200 perform an opening / closing operation of the right-eye image transmission unit 212 and the left-eye image transmission unit 214 in accordance with a signal transmitted from the display device 100.
- the user sees the light emitted from the display unit 110 through the right-eye image transmission unit 212 and the left-eye image transmission unit 214 of the shutter glasses 200, so that the left-eye image and the right-eye image displayed on the display unit 110 are displayed.
- An image can be perceived as a 3D image.
- the display device 100 is shown as an example of the image processing device, but the image processing device is not limited to such an example.
- the image processing device is a PC (Personal Computer), a home video processing device (DVD recorder, VCR, etc.), a PDA (Personal Digital Assistant), a home game machine, a mobile phone, a mobile video processing device, a portable. It may be an information processing device such as a game machine.
- the display control device may be a display installed in a movie theater or a public place.
- a control method that uses a shutter operation to allow the left eye image to be perceived by the left eye and the right eye image to be perceived by the right eye will be described. It is not limited to such an example.
- the same effect can be obtained by using a polarizing filter for the left eye and a polarizing filter for the right eye.
- the user's fatigue can be improved to some extent by adjusting the parallax and devising the viewing method.
- the fatigue of the user increases as the viewing time of the video displayed in 3D becomes longer.
- the position in the depth direction of an image with a large amount of projection is adjusted, the relative relationship of the position in the depth direction with other images changes.
- the display device 100 according to each embodiment of the present disclosure has been created with the above circumstances in mind.
- the display device 100 according to each embodiment of the present disclosure can reduce fatigue of the user without impairing the relationship of the depth feeling of the stereoscopic display of a plurality of frames.
- the display device 100 according to each embodiment of the present disclosure will be sequentially described in detail.
- FIG. 2 is an explanatory diagram showing the configuration of the display device 100 according to the first embodiment.
- the display device 100 according to the first embodiment includes a display unit 110, an imaging unit 114, a pop-out amount calculation unit 120, an adjustment necessity determination unit 124, a setting unit 128, and a display.
- a control unit 132, a shutter control unit 136, and an infrared communication unit 140 are provided. Since the display unit 110 and the imaging unit 114 are as described in “1. Basic configuration of display system”, detailed description thereof is omitted here.
- the pop-out amount calculation unit 120 receives a 3D video signal including image data including L image data and R image data. This 3D video signal may be a received video signal or a video signal read from a storage medium. The pop-out amount calculation unit 120 evaluates the difference between the L image data and the R image data included in the 3D video signal. For example, the pop-out amount calculation unit 120 calculates the pop-out amount from the display unit 110 at a position perceived by the user that an image exists when 3D display is performed based on L image data and R image data.
- a specific example of the method for calculating the pop-out amount will be described with reference to FIG.
- FIG. 3 is an explanatory diagram showing a method of calculating the amount of image pop-up. As illustrated in FIG. 3, when the R image and the L image are displayed at different positions on the display unit 110, the user intersects the straight line connecting the right eye and the R image and the straight line connecting the left eye and the L image. It is perceived that an image exists at (perceived position P hereinafter).
- the distance between the perceived position P and the display unit 110 is the distance E between the user's left eye and right eye shown in FIG. Is calculated according to the following formula, for example, using the distance D and the difference X between the L image and the R image.
- Pop-up amount S D ⁇ X / (X + E)
- the distance E between the user's left eye and the right eye and the distance D between the user and the display unit 110 can be estimated from the captured image obtained by the imaging unit 114.
- the distance E between the user's left eye and the right eye and the distance D between the user and the display unit 110 may be values set in advance.
- the difference X between the L image and the R image can be specified by various methods.
- the pop-out amount calculation unit 120 can extract the feature points of the L image and the R image, and specify the difference X by a stereo matching method that measures the deviation of the feature points.
- the stereo matching method performs edge extraction of an image based on a luminance value, extracts edge strength, edge direction, and the like as feature points, and measures a difference between similar edge points, It includes a region-based method for analyzing the degree of pattern matching for each certain image region and measuring the shift between similar image regions.
- the pop-out amount calculation unit 120 may divide the 3D video signal every unit time and calculate the average value of the pop-out amount in the section.
- the adjustment necessity determination unit 124 determines whether or not excessive convergence motion occurs in the user when 3D display is performed based on the 3D video signal, and when it is determined that excessive convergence motion occurs.
- the display control unit 132 is instructed to adjust the pop-out amount.
- the adjustment necessity determination unit 124 determines, based on the pop-out amount S calculated by the pop-out amount calculation unit 120, whether or not excessive convergence motion occurs when 3D display is performed. .
- the larger the pop-out amount S calculated by the pop-out amount calculation unit 120 the greater the stereoscopic effect.
- the adjustment necessity determination unit 124 adjusts the pop-out amount when the pop-out amount S calculated by the pop-out amount calculation unit 120 is equal to or greater than a threshold th set by the setting unit 128 described later. To instruct.
- the setting unit 128 sets a threshold th used by the adjustment necessity determination unit 124 to determine the display method. For example, if the user has been watching for a long time, it is considered that the user has accumulated fatigue. For this reason, the setting unit 128 may lower the threshold th as the viewing of the user becomes longer. With such a configuration, it is possible to increase the frequency of adjusting the pop-out amount when the user's viewing has taken a long time.
- a specific description will be given with reference to FIG.
- FIG. 4 is an explanatory diagram showing the relationship between the threshold th and the viewing time.
- the setting unit 128 may continuously decrease the threshold th as the viewing time becomes longer.
- the pop-out amount S from t1 to t2 is less than the threshold th, so the pop-out amount is not adjusted from t1 to t2, but the pop-out amount S is relatively low and the threshold th remains at the initial value.
- the pop-out amount S is adjusted because the pop-out amount S exceeds the reduced threshold th.
- the pop-out amount can be easily adjusted, so that it is possible to reduce the user's eye strain.
- the threshold th that decreases according to the viewing time may be a value obtained by multiplying the initial value by a ratio that is inversely proportional to the viewing time.
- the method for setting the threshold th is not limited to the method using the viewing time. For example, since the user of a child is anxious about the influence on the visual function development by 3D video with an extremely large pop-out amount, the setting unit 128 determines whether the user is an adult or a child. When the user is a child, the threshold th may be set to a lower value than when the user is an adult. Whether the user is an adult or a child can be estimated based on a captured image obtained by the imaging unit 114.
- the setting unit 128 includes video additional information (for example, video genre and time length) included in the 3D video signal, input from a sensor that can acquire a viewing environment, information on the user's living body (sight, contact wear or glasses wear). , Age, distance between eyes), or the type of the display device 100 (mobile terminal, stationary device, screen), or the like, may be set. Further, the setting unit 128 may set the threshold th to a value designated by the user in accordance with a user operation.
- video additional information for example, video genre and time length
- the setting unit 128 may set the threshold th to a value designated by the user in accordance with a user operation.
- the display control unit 132 functions as an adjustment unit that adjusts image data (L image or / and R image) displayed on the display unit 110 in accordance with the necessity of adjustment instructed from the adjustment necessity determination unit 124. Specifically, the display control unit 132 (adjustment unit), when instructed by the adjustment necessity determination unit 124 to require adjustment, reduces the convergence angle when viewing 3D video (so that the pop-out amount decreases). ) Adjust the image data. That is, the display control unit 132 (adjustment unit) adjusts the image data so as to move the display position of the 3D video image (object) in the depth direction. For example, the display control unit 132 (adjustment unit) moves the display position of the 3D video image (object) in the depth direction by controlling the difference between the L image and the R image to be small.
- the display control unit 132 (adjustment unit) has a projection amount of image data having the largest convergence angle, that is, the largest projection amount among each of the plurality of image data, which is equal to or less than a reference value (threshold th).
- the movement amount is calculated as follows.
- FIG. 5 is an explanatory diagram of adjustment by the display control unit 132.
- the pop-out amount S from the display unit 110 at the position P1 perceived by the user that an image is present is set to a threshold th. If it exceeds, the adjustment necessity determination unit 124 determines that the adjustment is necessary. In this case, the display control unit 132 adjusts the image data (L image or / and R image) so as to move the position P1 perceived by the user in the depth direction G, as shown on the right in FIG.
- the display control unit 132 may adjust the image data so that the position P1 perceived by the user is moved to the position P2 where the pop-out amount S is smaller than, for example, the threshold th that is a determination criterion for whether adjustment is necessary. In the example shown on the right in FIG. 5, the display control unit 132 adjusts the position P1 perceived by the user by the amount of movement F to move in the depth direction G.
- the convergence angle ⁇ is reduced and the cross-over state of the user is alleviated, so that fatigue can be reduced.
- the adjustment necessity determination unit 124 may determine whether adjustment is necessary based on, for example, the protrusion amount S at the most protruding position.
- the display control unit 132 determines that the pop-out amount S of the object having the maximum pop-out amount among a plurality of objects included in one frame is less than the threshold th, and the movement amount of the plurality of objects. Adjust the image data so that they are the same. In this way, by moving the plurality of objects so that the movement amounts in the depth direction G are the same, the fatigue of the user can be achieved without impairing the relationship of the sense of depth of each object included in one frame of the 3D video. Can be reduced.
- the display control unit 132 performs image data (L image or / and R image) so that the movement amount in the depth direction G of the display position of each image (object) corresponding to a plurality of frames is the same. Adjust.
- the adjustment necessity determination unit 124 determines that adjustment is necessary.
- the display control unit 132 configures each frame so that the movement amounts in the depth direction of the display positions of the plurality of perceived objects corresponding to the frames 1 to 3 are the same. Adjust the image or / and the R image.
- the amount of movement here is the display position of the object having the maximum pop-out amount (the object in frame 2 in the example shown in FIG. 7) and the target where the pop-out amount S of the object is below the threshold th. This is the difference from the display position.
- the display control unit 132 makes the movement amount in the depth direction G of the 3D display position of each object corresponding to a plurality of frames the same without impairing the relationship of the sense of depth of the 3D display in the plurality of frames. , User fatigue can be reduced.
- the display control unit 132 may change the movement amount in the depth direction for each object in the frame as long as it does not impair the relationship of the 3D display depth.
- the shutter control unit 136 generates a shutter control signal that controls the shutter operation of the shutter glasses 200.
- the right eye image transmission unit 212 and the left eye image transmission unit 214 are opened and closed based on a shutter control signal generated by the shutter control unit 136 and emitted from the infrared communication unit 140.
- the left-eye image transmitting unit 214 is opened while the left-eye image is displayed on the display unit 110, and the right-eye is displayed while the right-eye image is displayed on the display unit 110.
- the shutter operation is performed so that the image transmission unit 212 is opened.
- FIG. 8 is a flowchart showing the operation of the display device 100 according to the first embodiment.
- the pop-out amount calculation unit 120 is based on L image data and R image data included in the 3D video signal.
- an image pop-out amount S is calculated (S208). Note that the pop-out amount calculation unit 120 according to the present embodiment calculates the pop-out amount S of each image data within an arbitrary unit time or an arbitrary number of frames.
- the adjustment necessity determination unit 124 determines whether or not the pop-out amount S calculated by the pop-out amount calculation unit 120 is equal to or greater than the threshold th set by the setting unit 128 (S212). Then, the adjustment necessity determination unit 124 determines that the adjustment of the 3D display position (position perceived by the user) is unnecessary when the pop-out amount S is less than the threshold th set by the setting unit 128 (S212 / no). (S228).
- the adjustment necessity determination unit 124 determines that the 3D display position needs to be adjusted, and instructs the display control unit 132 to perform adjustment (S216). ).
- the display control unit 132 calculates the amount of movement in the depth direction of the 3D display position (S220).
- the movement amount is a difference between the display position of the object having the maximum pop-out amount among the plurality of frames and the target display position where the pop-out amount S of the object is below the threshold th.
- the display control unit 132 adjusts the image data so that the movement amount in the depth direction of the display position of each image (object) of the plurality of frames is the same (S224).
- the display device 100 repeats the processes of S204 to S224 described above until the display based on the 3D video signal is completed (S232).
- the display control unit 132 may superimpose on the screen a notification window for notifying the user of whether or not the 3D video signal is adjusted.
- a notification window for notifying the user of whether or not the 3D video signal is adjusted.
- FIG. 9 is an explanatory diagram showing a specific example of the notification window.
- the notification window 30 when the 3D video signal is adjusted includes a text “fatigue reduction mode” and a character image that gives a gentle impression to the user.
- the display control unit 132 may perform control so that the notification window 30 is displayed for a predetermined time from the start of adjustment of the 3D video signal.
- the user can easily grasp that the currently displayed 3D video is adjusted for fatigue reduction based on such a notification window 30.
- the notification method of the presence or absence of adjustment is not limited to the method mentioned above.
- the light emitting unit 112 may be provided on the front surface of the display device 100 and the light emitting unit 112 may emit light when the 3D video signal is adjusted. With this configuration, it is possible to notify the user of the presence / absence of adjustment without hindering viewing of the content image displayed on the display unit 110.
- the shutter control unit 136 may stop the shutter operation of the shutter glasses 200. Note that it is possible to determine whether or not the user's attention has deviated from the display device 100 by recognizing the user's line of sight from the captured image obtained by the imaging unit 114. With this configuration, the user can comfortably use other devices without attaching / detaching the shutter glasses 200.
- the display control unit 132 may stop the 3D display by the display unit 110. Further, the display device 100 may turn off the power of the display device 100 when the user's attention deviates from the display device 100. With this configuration, the power consumption of the display device 100 can be reduced.
- FIG. 11 is an explanatory diagram showing the configuration of the display device 100 ′ according to the second embodiment.
- the display device 100 ′ according to the second embodiment includes a display unit 110, an imaging unit 114, a pop-out amount calculation unit 120, an adjustment necessity determination unit 126, a setting unit 128, A display control unit 132, a shutter control unit 136, an infrared communication unit 140, an analysis unit 144, and a variation pattern storage unit 148 are provided.
- the display unit 110, the imaging unit 114, the pop-out amount calculation unit 120, the setting unit 128, the display control unit 132, and the shutter control unit 136 are the same as described in “2. First Embodiment”. The detailed description in is omitted.
- the display device 100 ′ acquires user biometric information such as a pulse and a facial muscle movement from the user's device.
- user biometric information such as a pulse and a facial muscle movement
- the user's biological information may be acquired by the shutter glasses 200 worn by the user, and the infrared communication unit 140 may receive the user's biological information from the shutter glasses 200.
- the analysis unit 144 analyzes an image pattern that gives the user a feeling of fatigue based on a change in the user's biological information. For example, when the biometric information of the user indicates that the user feels tired, the analysis unit 144 has a variation pattern of the difference between the L image and the R image displayed when the biometric information is obtained, that is, Analyze the fluctuation pattern of the pop-out amount. Then, the variation pattern storage unit 148 stores the variation pattern obtained by the analysis of the analysis unit 144. For example, the variation pattern includes a pattern in which the increase / decrease of the pop-out amount is repeated three times within a unit period.
- the adjustment necessity determination unit 126 determines whether the variation pattern of the pop-out amount calculated by the pop-out amount calculation unit 120 matches the variation pattern stored in the variation pattern storage unit 148.
- the adjustment necessity determination unit 126 displays an image on the display control unit 132 when the variation pattern of the pop-out amount calculated by the pop-out amount calculation unit 120 matches the variation pattern stored in the variation pattern storage unit 148. Instruct data adjustment.
- the determination condition for the necessity of adjustment tailored to the individual user is automatically set based on the user's biometric information obtained while the user is viewing the 3D image. It is possible to create and determine whether adjustment is necessary according to the determination condition.
- the display position of the 3D image (position perceived by the user) can be moved in the depth direction. It is possible to reduce eye strain.
- each object corresponding to a plurality of frames is translated, so that the fatigue of the user can be reduced without impairing the relationship of the sense of depth of the 3D display of each object in the plurality of frames. it can.
- the determination condition for the presence / absence of adjustment tailored to the individual user is automatically created based on the user's biometric information obtained while the user is viewing the 3D image. The presence / absence of adjustment can be determined according to the determination condition.
- each step in the processing of the display device 100 of the present specification does not necessarily have to be processed in time series in the order described as a flowchart.
- each step in the processing of the display device 100 may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
- a determination unit that determines whether or not a difference between the left-eye image data and the right-eye image data constituting the image data satisfies a threshold condition;
- An adjustment unit that adjusts the image data so that a convergence angle is reduced when the image data is stereoscopically displayed when the determination unit determines that the difference satisfies a threshold condition;
- the said adjustment part is an image processing apparatus which adjusts the said image data so that the movement amount of the display position in the depth direction perceived in an object point may become the same about each of several image data corresponding to several frames.
- the image processing apparatus includes: A storage unit for storing a specific variation pattern of the difference; The determination unit further determines whether or not a variation pattern of a difference between the left-eye image data and the right-eye image data of the target image data matches the specific variation pattern stored in the storage unit. And The adjustment unit adjusts the image data when the determination unit determines that the difference satisfies a threshold condition and it is determined that the variation pattern of the target image data matches the specific variation pattern.
- the image processing apparatus includes: An analysis unit that extracts the specific variation pattern by analyzing the left-eye image data and the right-eye image data of the image data in which the user's biological information shows a specific reaction when performing stereoscopic display;
- the image processing apparatus according to (10).
- Computer A determination unit that determines whether or not a difference between the left-eye image data and the right-eye image data constituting the image data satisfies a threshold condition; An adjustment unit that adjusts the image data so that a convergence angle is reduced when the image data is stereoscopically displayed when the determination unit determines that the difference satisfies a threshold condition; Function as The adjustment unit adjusts the image data so that the amount of movement of the display position in the depth direction perceived at the target point is the same for each of a plurality of image data corresponding to a plurality of frames.
- the said adjustment part is a program as described in said (13) which calculates the said moving amount
- the determination unit determines whether or not a condition that a projection amount corresponding to a difference between the left-eye image data and the right-eye image data is equal to or more than the reference value is satisfied as the threshold condition, The program according to (14).
- the computer The program according to any one of (13) to (15), further causing the setting unit to set the threshold condition.
Abstract
【課題】ユーザの眼精疲労を軽減する画像処理装置、画像処理方法およびプログラムを提供する。 【解決手段】画像データを構成する左眼用画像データおよび右眼用画像データの差分が閾値条件を満たすか否かを判定する判定部と、前記判定部により前記差分が閾値条件を満たすと判定された場合、前記画像データを立体視表示した場合の輻輳角が小さくなるように前記画像データを調整する調整部と、を備え、前記調整部は、複数フレームに対応する複数の画像データの各々について、対象点において知覚される奥行き方向上の表示位置の移動量が同一になるように前記画像データを調整する画像処理装置。
Description
本開示は、画像処理装置、画像処理方法およびプログラムに関する。
近日、左目用画像（Ｌ画像）および右目用画像（Ｒ画像）を表示することによりユーザに立体視画像を知覚させることが可能な３Ｄ表示装置が流通している。この３Ｄ表示装置では、ユーザの臨場感を高めるという効果が得られる一方、眼精疲労が生じやすい。眼精疲労の要因は多様であるが、一例として、Ｌ画像およびＲ画像の混在により生じるクロストーク、および液晶シャッターの切替え速度の不足により生じるフリッカー現象などが挙げられる。このため、液晶のフレームレートの改善や、シャッターメガネの改良などが行われているが、眼精疲労の問題は十分に解決されていない。
また、眼精疲労の発生は、表示方式や機器だけでなく、映像を視聴するユーザの個別の特性や、ユーザの視聴方法にも依存すると考えられている。このような事情から、視聴方法や機器に対するガイドラインも発行されている。例えば、官民協力により３Ｄ産業の発展を進める３Ｄコンソーシアムは、立体視映像の視聴に関するガイドラインを作成し、立体視画像の快適な視聴の実現を目指している。
また、表示の過度な飛び出しや、視差の変化が大きい場合にはユーザの疲労が重くなる。このような観点から、快適な３Ｄ表示を行うための技術が研究されている。例えば、特許文献１には、Ｌ画像および／またはＲ画像を水平方向にシフトさせることにより、Ｌ画像およびＲ画像の視差調整を行う視差変換装置が開示されている。
上記のように、Ｌ画像および／またはＲ画像を水平方向にシフトさせることにより、飛出し量の大きい画像の奥行き方向上の位置を調整することは可能である。しかし、飛出し量の大きい画像の奥行き方向上の位置を調整すると、他の画像との奥行き方向上の位置の相対的な関係が変化してしまう。
そこで、本開示では、複数フレームの立体視表示の奥行き感の関係を損なうことなく、ユーザの疲労を軽減することが可能な、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。
本開示によれば、画像データを構成する左眼用画像データおよび右眼用画像データの差分が閾値条件を満たすか否かを判定する判定部と、前記判定部により前記差分が閾値条件を満たすと判定された場合、前記画像データを立体視表示した場合の輻輳角が小さくなるように前記画像データを調整する調整部と、を備え、前記調整部は、複数フレームに対応する複数の画像データの各々について、対象点において知覚される奥行き方向上の表示位置の移動量が同一になるように前記画像データを調整する画像処理装置が提供される。
また、本開示によれば、画像データを構成する左眼用画像データおよび右眼用画像データの差分が閾値条件を満たすか否かを判定することと、前記差分が閾値条件を満たすと判定された場合、前記画像データを立体視表示した場合の輻輳角が小さくなるように前記画像データを調整することと、複数フレームに対応する複数の画像データの各々について、対象点において知覚される奥行き方向上の表示位置の移動量が同一になるように前記画像データを調整することと、を含む画像処理方法が提供される。
また、本開示によれば、コンピュータを、画像データを構成する左眼用画像データおよび右眼用画像データの差分が閾値条件を満たすか否かを判定する判定部と、前記判定部により前記差分が閾値条件を満たすと判定された場合、前記画像データを立体視表示した場合の輻輳角が小さくなるように前記画像データを調整する調整部と、として機能させ、前記調整部は、複数フレームに対応する複数の画像データの各々について、対象点において知覚される奥行き方向上の表示位置の移動量が同一になるように前記画像データを調整する、プログラムが提供される。
以上説明したように本開示によれば、複数フレームの立体視表示の奥行き感の関係を損なうことなく、ユーザの疲労を軽減することができる。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
また、以下に示す項目順序に従って本開示を説明する。
１．表示システムの基本構成
２．第１の実施形態
２－１．第１の実施形態による表示装置の構成
２－２．第１の実施形態による表示装置の動作
２－３．補足
３．第２の実施形態
４．むすび
１．表示システムの基本構成
２．第１の実施形態
２－１．第１の実施形態による表示装置の構成
２－２．第１の実施形態による表示装置の動作
２－３．補足
３．第２の実施形態
４．むすび
＜＜１．表示システムの基本構成＞＞
本開示による技術は、一例として「２．第１の実施形態」～「３．第２の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、画像処理装置としての機能を含む各実施形態による表示装置１００は、
Ａ．画像データを構成する左眼用画像データおよび右眼用画像データの差分が閾値条件を満たすか否かを判定する判定部（調整要否判定部１２４）と、
Ｂ．前記判定部により前記差分が閾値条件を満たすと判定された場合、前記画像データを立体視表示した場合の輻輳角が小さくなるように前記画像データを調整する調整部（表示制御部１３２）と、
を備え、
前記調整部（表示制御部１３２）は、複数フレームに対応する複数の画像データの各々について、対象点において知覚される奥行き方向上の表示位置の移動量が同一になるように前記画像データを調整する。
本開示による技術は、一例として「２．第１の実施形態」～「３．第２の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、画像処理装置としての機能を含む各実施形態による表示装置１００は、
Ａ．画像データを構成する左眼用画像データおよび右眼用画像データの差分が閾値条件を満たすか否かを判定する判定部（調整要否判定部１２４）と、
Ｂ．前記判定部により前記差分が閾値条件を満たすと判定された場合、前記画像データを立体視表示した場合の輻輳角が小さくなるように前記画像データを調整する調整部（表示制御部１３２）と、
を備え、
前記調整部（表示制御部１３２）は、複数フレームに対応する複数の画像データの各々について、対象点において知覚される奥行き方向上の表示位置の移動量が同一になるように前記画像データを調整する。
以下では、まず、このような各実施形態において共通する表示システムの基本構成について図１および図２を参照して説明する。
図１は、本開示の実施形態による表示システムの構成を示した説明図である。図１に示したように、本開示の実施形態による表示システムは、表示装置１００およびシャッタ眼鏡２００を備える。
図１に示したように、表示装置１００は、画像が表示される表示部１１０を備える。表示装置１００は、左眼用画像（Ｌ画像）および右眼用画像（Ｒ画像）を表示部１１０に表示することにより、ユーザに立体視画像（３Ｄ画像）を知覚させることができる。また、表示装置１００は、表示装置１００を視聴可能な範囲を撮像する撮像部１１４を備える。この撮像部１１４により得られる撮像画像を解析することにより、表示装置１００を視聴するユーザを認識することが可能となる。
シャッタ眼鏡２００は、例えば液晶シャッタからなる右眼用画像透過部２１２及び左眼用画像透過部２１４を含む。シャッタ眼鏡２００は、表示装置１００から送出される信号に応じて、右眼用画像透過部２１２及び左眼用画像透過部２１４の開閉動作を実行する。ユーザは、シャッタ眼鏡２００の右眼用画像透過部２１２及び左眼用画像透過部２１４を通して、表示部１１０から発する光を見ることで、表示部１１０に表示される左眼用画像および右眼用画像を３Ｄ画像として知覚することが出来る。
なお、図１では、画像処理装置の一例として表示装置１００を示したが、画像処理装置はかかる例に限定されない。例えば、画像処理装置は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、携帯電話、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。また、表示制御装置は、映画館や公共の場に設置されているディスプレイであってもよい。
また、本明細書においては、左眼用画像が左眼によって知覚され、右眼用画像が右眼によって知覚されるようにするためにシャッタ動作を利用する制御方式を説明するが、制御方式はかかる例に限定されない。例えば、左眼用の偏光フィルタおよび右眼用の偏光フィルタを用いることによっても同等な効果を得ることが可能である。
（背景）
しかし、３Ｄ表示機能を有する一般的な表示装置では、表示の過度な飛び出しや、視差の変化が大きい場合にはユーザの疲労が重くなる。このような観点から、快適な３Ｄ表示を行うための技術が研究されている。例えば、Ｌ画像および／またはＲ画像を水平方向にシフトさせることにより、Ｌ画像およびＲ画像の視差調整を行う技術が知られている。また、眼精疲労の発生は、表示方式や機器だけでなく、映像を視聴するユーザの個別の特性や、ユーザの視聴方法にも依存すると考えられている。このような事情から、視聴方法や機器に対するガイドラインも発行されている。例えば、官民協力により３Ｄ産業の発展を進める３Ｄコンソーシアムは、立体視映像の視聴に関するガイドラインを作成し、立体視画像の快適な視聴の実現を目指している。
しかし、３Ｄ表示機能を有する一般的な表示装置では、表示の過度な飛び出しや、視差の変化が大きい場合にはユーザの疲労が重くなる。このような観点から、快適な３Ｄ表示を行うための技術が研究されている。例えば、Ｌ画像および／またはＲ画像を水平方向にシフトさせることにより、Ｌ画像およびＲ画像の視差調整を行う技術が知られている。また、眼精疲労の発生は、表示方式や機器だけでなく、映像を視聴するユーザの個別の特性や、ユーザの視聴方法にも依存すると考えられている。このような事情から、視聴方法や機器に対するガイドラインも発行されている。例えば、官民協力により３Ｄ産業の発展を進める３Ｄコンソーシアムは、立体視映像の視聴に関するガイドラインを作成し、立体視画像の快適な視聴の実現を目指している。
上記のように、視差調整を行うことや、視聴方法を工夫することにより、ユーザの疲労をある程度改善することが可能である。しかし、視差調整や視聴方法の工夫を行っても、３Ｄ表示された映像の視聴時間が長くなるにつれて、ユーザの疲労は大きくなってしまう。また、飛出し量の大きい画像の奥行き方向上の位置を調整すると、他の画像との奥行き方向上の位置の相対的な関係が変化してしまう。
そこで、上記事情を一着眼点にして本開示の各実施形態による表示装置１００を創作するに至った。本開示の各実施形態による表示装置１００は、複数フレームの立体視表示の奥行き感の関係を損なうことなく、ユーザの疲労を軽減することが可能である。以下、このような本開示の各実施形態による表示装置１００について順次詳細に説明する。
＜＜２．第１の実施形態＞＞
＜２－１．第１の実施形態による表示装置の構成＞
図２は、第１の実施形態による表示装置１００の構成を示した説明図である。図２に示したように、第１の実施形態による表示装置１００は、表示部１１０と、撮像部１１４と、飛び出し量算出部１２０と、調整要否判定部１２４と、設定部１２８と、表示制御部１３２と、シャッタ制御部１３６と、赤外線通信部１４０と、を備える。表示部１１０および撮像部１１４については「１．表示システムの基本構成」において説明した通りであるので、ここでの詳細な説明を省略する。
＜２－１．第１の実施形態による表示装置の構成＞
図２は、第１の実施形態による表示装置１００の構成を示した説明図である。図２に示したように、第１の実施形態による表示装置１００は、表示部１１０と、撮像部１１４と、飛び出し量算出部１２０と、調整要否判定部１２４と、設定部１２８と、表示制御部１３２と、シャッタ制御部１３６と、赤外線通信部１４０と、を備える。表示部１１０および撮像部１１４については「１．表示システムの基本構成」において説明した通りであるので、ここでの詳細な説明を省略する。
（飛び出し量算出部）
飛び出し量算出部１２０には、Ｌ画像データおよびＲ画像データからなる画像データを含む３Ｄ映像信号が入力される。この３Ｄ映像信号は、受信された映像信号であってもよいし、記憶媒体から読み出された映像信号であってもよい。飛び出し量算出部１２０は、この３Ｄ映像信号に含まれるＬ画像データおよびＲ画像データの差分を評価する。例えば、飛び出し量算出部１２０は、Ｌ画像データおよびＲ画像データに基づいて３Ｄ表示を行った場合に画像が存在するとユーザが知覚する位置の、表示部１１０からの飛び出し量を算出する。以下、図３を参照し、この飛び出し量の算出方法の具体例を説明する。
飛び出し量算出部１２０には、Ｌ画像データおよびＲ画像データからなる画像データを含む３Ｄ映像信号が入力される。この３Ｄ映像信号は、受信された映像信号であってもよいし、記憶媒体から読み出された映像信号であってもよい。飛び出し量算出部１２０は、この３Ｄ映像信号に含まれるＬ画像データおよびＲ画像データの差分を評価する。例えば、飛び出し量算出部１２０は、Ｌ画像データおよびＲ画像データに基づいて３Ｄ表示を行った場合に画像が存在するとユーザが知覚する位置の、表示部１１０からの飛び出し量を算出する。以下、図３を参照し、この飛び出し量の算出方法の具体例を説明する。
図３は、画像の飛び出し量の算出方法を示した説明図である。図３に示したように、Ｒ画像およびＬ画像が表示部１１０の異なる位置に表示されると、ユーザは、右眼とＲ画像を結ぶ直線、および、左眼とＬ画像を結ぶ直線の交点（以下、知覚位置Ｐ）に画像が存在すると知覚する。
この知覚位置Ｐと表示部１１０との距離、すなわち、知覚位置Ｐの表示部１１０からの飛び出し量Ｓは、図３に示したユーザの左眼と右眼の間隔Ｅ、ユーザと表示部１１０との距離Ｄ、およびＬ画像およびＲ画像の差分Ｘを用い、例えば以下の数式に従って算出される。
飛び出し量Ｓ＝Ｄ×Ｘ／（Ｘ＋Ｅ）
飛び出し量Ｓ＝Ｄ×Ｘ／（Ｘ＋Ｅ）
なお、ユーザの左眼と右眼の間隔Ｅ、ユーザと表示部１１０との距離Ｄは、撮像部１１４により得られる撮像画像から推定することが可能である。また、ユーザの左眼と右眼の間隔Ｅ、ユーザと表示部１１０との距離Ｄは、事前に設定された値であってもよい。
また、Ｌ画像およびＲ画像の差分Ｘは、多様な手法により特定可能である。例えば、飛び出し量算出部１２０は、Ｌ画像とＲ画像の特徴点を抽出し、特徴点のズレを計測するステレオマッチング手法により差分Ｘを特定することができる。より詳細には、ステレオマッチング手法は、輝度値に基づいて画像のエッジ抽出を行い、エッジ強度およびエッジ方向などを特徴点として抽出し、類似のエッジ点同士のズレを計測する特徴ベース法や、ある一定の画像領域ごとにパターンの一致度合いを解析して、類似の画像領域同士のズレを計測する領域ベース法を含む。
また、上記では飛び出し量が知覚位置Ｐおよび表示部１１０の距離である例を説明したが、本実施形態はかかる例に限定されない。例えば、図３に示した輻輳角θを飛び出し量として扱うことも可能である。また、飛び出し量算出部１２０は、３Ｄ映像信号を単位時間ごとに区切り、区間内の飛び出し量の平均値を算出してもよい。
（調整要否判定部）
調整要否判定部１２４は、３Ｄ映像信号に基づいて３Ｄ表示を行った場合に、ユーザに無理な輻輳運動が生じるか否かを判定し、無理な輻輳運動が生じると判定された場合に、飛び出し量の調整を表示制御部１３２に指示する。
調整要否判定部１２４は、３Ｄ映像信号に基づいて３Ｄ表示を行った場合に、ユーザに無理な輻輳運動が生じるか否かを判定し、無理な輻輳運動が生じると判定された場合に、飛び出し量の調整を表示制御部１３２に指示する。
より具体的に説明すると、調整要否判定部１２４は、３Ｄ表示を行った場合に無理な輻輳運動が生じるか否かを、飛び出し量算出部１２０により算出された飛び出し量Ｓに基づいて判定する。ここで、飛び出し量算出部１２０により算出された飛び出し量Ｓが大きいほど立体視の効果が大きいと考えられる。
また、立体視映像を視聴する場合、眼球に輻輳運動（寄り目状態）が生じ、ユーザはこれにより奥行き感を得ることができる。しかし、立体視映像が極端に飛び出すような場合、通常の生活環境の中では発生しない無理な輻輳運動が生じ、このような無理な輻輳運動が眼精疲労を引き起こす一つの原因と考えられている。
このため、調整要否判定部１２４は、飛び出し量算出部１２０により算出された飛び出し量Ｓが、後述する設定部１２８により設定された閾値ｔｈ以上である場合、飛び出し量の調整を表示制御部１３２に指示する。
（設定部）
設定部１２８は、調整要否判定部１２４が表示方式の判定に用いる閾値ｔｈを設定する。例えば、ユーザの視聴が長時間に及んでいる場合、ユーザに疲労が蓄積していると考えられる。このため、設定部１２８は、ユーザの視聴が長くなるにつれて、閾値ｔｈを低くしてもよい。かかる構成により、ユーザの視聴が長時間に及んでいる場合に飛び出し量の調整を行う頻度を多くすることが可能となる。以下、図４を参照して具体的に説明する。
設定部１２８は、調整要否判定部１２４が表示方式の判定に用いる閾値ｔｈを設定する。例えば、ユーザの視聴が長時間に及んでいる場合、ユーザに疲労が蓄積していると考えられる。このため、設定部１２８は、ユーザの視聴が長くなるにつれて、閾値ｔｈを低くしてもよい。かかる構成により、ユーザの視聴が長時間に及んでいる場合に飛び出し量の調整を行う頻度を多くすることが可能となる。以下、図４を参照して具体的に説明する。
図４は、閾値ｔｈと視聴時間の関係を示した説明図である。図４に示したように、設定部１２８は、視聴時間が長くなるにつれて閾値ｔｈを連続的に減少させてもよい。図４に示した例では、ｔ１～ｔ２の飛び出し量Ｓが閾値ｔｈを下回るのでｔ１～ｔ２において飛び出し量の調整は行われないが、比較的飛び出し量Ｓが低く、閾値ｔｈが初期値のままであれば飛出し量の調整が行われないｔ３付近では、減少した閾値ｔｈを飛び出し量Ｓが上回るので、飛び出し量の調整が行われる。このように、視聴時間が長くなるにつれて閾値ｔｈを連続的に減少させることにより、飛び出し量の調整が行われ易くなるので、ユーザの眼精疲労を軽減することが可能となる。
また、視聴時間に応じて減少する閾値ｔｈは、視聴時間に応じて反比例する割合を初期値に乗算された値であってもよい。
なお、閾値ｔｈの設定手法は上記の視聴時間を用いる手法に限られない。例えば、子供のユーザは、極端に大きい飛び出し量の３Ｄ映像による視覚機能発達への影響が不安視されるので、設定部１２８は、ユーザが成人であるか子供であるかを判定し、ユーザが子供である場合にはユーザが成人である場合よりも閾値ｔｈを低い値に設定してもよい。なお、ユーザが成人であるか子供であるかは、撮像部１１４により得られる撮像画像に基づいて推定することが可能である。
その他、設定部１２８は、３Ｄ映像信号に含まれる映像付加情報（例えば、映像のジャンル、時間長）、視聴環境を取得できるセンサーからの入力、ユーザの生体に関する情報（視力、コンタクト着用ｏｒ眼鏡着用、年齢、眼の間の距離）、または表示装置１００の種別（携帯端末、据え置き式装置、スクリーン）などを加味して閾値ｔｈを設定してもよい。さらに、設定部１２８は、ユーザ操作に従い、ユーザにより指定された値に閾値ｔｈを設定してもよい。
（表示制御部）
表示制御部１３２は、調整要否判定部１２４から指示される調整要否に従って表示部１１０に表示する画像データ（Ｌ画像または／およびＲ画像）を調整する調整部として機能する。具体的には、表示制御部１３２（調整部）は、調整要否判定部１２４から調整要と指示された場合、３Ｄ映像を視聴する場合の輻輳角が小さくなるよう（飛び出し量が小さくなるよう）画像データを調整する。すなわち、表示制御部１３２（調整部）は、３Ｄ映像の画像（オブジェクト）の表示位置を奥行方向に移動させるよう画像データを調整する。例えば、表示制御部１３２（調整部）は、Ｌ画像およびＲ画像の差分が小さくなるよう制御することで、３Ｄ映像の画像（オブジェクト）の表示位置を奥行方向に移動させる。
表示制御部１３２は、調整要否判定部１２４から指示される調整要否に従って表示部１１０に表示する画像データ（Ｌ画像または／およびＲ画像）を調整する調整部として機能する。具体的には、表示制御部１３２（調整部）は、調整要否判定部１２４から調整要と指示された場合、３Ｄ映像を視聴する場合の輻輳角が小さくなるよう（飛び出し量が小さくなるよう）画像データを調整する。すなわち、表示制御部１３２（調整部）は、３Ｄ映像の画像（オブジェクト）の表示位置を奥行方向に移動させるよう画像データを調整する。例えば、表示制御部１３２（調整部）は、Ｌ画像およびＲ画像の差分が小さくなるよう制御することで、３Ｄ映像の画像（オブジェクト）の表示位置を奥行方向に移動させる。
また、表示制御部１３２（調整部）は、複数の画像データの各々のうちで、輻輳角が最も大きい、すなわち飛び出し量が最も大きい画像データの飛出し量が基準値（閾値ｔｈ）以下になるよう移動量を算出する。
ここで、図５を参照して表示制御部１３２による調整について具体的に説明する。図５は、表示制御部１３２による調整の説明図である。図５左に示すように、Ｌ画像データおよびＲ画像データに基づいて３Ｄ表示を行った場合に画像が存在するとユーザが知覚する位置Ｐ１の、表示部１１０からの飛び出し量Ｓが、閾値ｔｈを上回る場合、調整要否判定部１２４により調整要と判定される。この場合、表示制御部１３２は、図５右に示すように、ユーザが知覚する位置Ｐ１を奥行方向Ｇに移動させるよう画像データ（Ｌ画像または／およびＲ画像）を調整する。
また、表示制御部１３２は、ユーザが知覚する位置Ｐ１を、例えば調整要否の判定基準となる閾値ｔｈより飛び出し量Ｓが小さくなる位置Ｐ２に移動させるよう画像データを調整してもよい。図５右に示す例では、表示制御部１３２は、移動量Ｆの分だけユーザが知覚する位置Ｐ１が奥行方向Ｇに移動するよう調整している。
このように、ユーザが知覚する位置Ｐ１を奥行方向Ｇに移動させると輻輳角θが小さくなり、ユーザの寄り目状態が緩和されるので、疲労を軽減させることができる。
ここで、図５に示す例では、１つの位置Ｐの奥行方向Ｇへの移動について示したが、３Ｄ映像に複数の画像（オブジェクト）が含まれ、各オブジェクトによって飛び出し量Ｓが異なる場合も想定される。この場合、調整要否判定部１２４は、例えば最も飛び出している位置の飛び出し量Ｓに基づいて調整要否を判定してもよい。
そして、表示制御部１３２は、図６に示すように、１つのフレームに含まれる複数のオブジェクトのうち最大の飛び出し量を有するオブジェクトの飛び出し量Ｓが閾値ｔｈを下回り、かつ複数のオブジェクトの移動量が同一になるよう画像データを調整する。このように、複数のオブジェクトの奥行方向Ｇ上の移動量が同一になるよう平行移動させることで、３Ｄ映像の１つのフレームに含まれる各オブジェクトの奥行き感の関係を損なうことなく、ユーザの疲労を軽減することができる。
さらに、本実施形態による表示制御部１３２は、複数のフレームに対応する各画像（オブジェクト）の表示位置の奥行方向Ｇ上の移動量が同一になるよう画像データ（Ｌ画像または／およびＲ画像）を調整する。
例えば、図７に示すように、フレーム１～３に対応する複数の知覚されるオブジェクトにおいて、少なくとも１つのオブジェクト（図７ではフレーム２のオブジェクト）の飛び出し量Ｓが閾値ｔｈを上回っている場合、調整要否判定部１２４は調整要と判定する。
そして、表示制御部１３２は、図７に示すように、フレーム１～３に対応する複数の知覚されるオブジェクトの表示位置の奥行き方向上の移動量が同一になるよう、各フレームを構成するＬ画像または／およびＲ画像を調整する。なお、ここでの移動量は、上述したように、最大の飛び出し量を持つオブジェクト（図７に示す例ではフレーム２のオブジェクト）の表示位置と、かかるオブジェクトの飛び出し量Ｓが閾値ｔｈを下回る目標表示位置との差分である。
このように、表示制御部１３２は、複数フレームに対応する各オブジェクトの３Ｄ表示位置の奥行方向Ｇ上の移動量を同一にすることで、複数フレームにおける３Ｄ表示の奥行き感の関係を損なうことなく、ユーザの疲労を軽減することができる。
なお、表示制御部１３２は、３Ｄ表示の奥行き感の関係を損なうことがない範囲であれば、フレーム内のオブジェクト毎に奥行き方向上の移動量を変えてもよい。
（シャッタ制御部、赤外線通信部）
シャッタ制御部１３６は、シャッタ眼鏡２００のシャッタ動作を制御するシャッタ制御信号を生成する。シャッタ眼鏡２００では、シャッタ制御部１３６で生成され、赤外線通信部１４０から発せされるシャッタ制御信号に基づいて、右眼用画像透過部２１２及び左眼用画像透過部２１４の開閉動作を実行する。具体的には、表示部１１０に左眼用画像が表示されている間には左眼用画像透過部２１４が開かれ、表示部１１０に右眼用画像が表示されている間には右眼用画像透過部２１２が開かれるようにシャッタ動作が実行される。
シャッタ制御部１３６は、シャッタ眼鏡２００のシャッタ動作を制御するシャッタ制御信号を生成する。シャッタ眼鏡２００では、シャッタ制御部１３６で生成され、赤外線通信部１４０から発せされるシャッタ制御信号に基づいて、右眼用画像透過部２１２及び左眼用画像透過部２１４の開閉動作を実行する。具体的には、表示部１１０に左眼用画像が表示されている間には左眼用画像透過部２１４が開かれ、表示部１１０に右眼用画像が表示されている間には右眼用画像透過部２１２が開かれるようにシャッタ動作が実行される。
＜２－２．第１の実施形態による表示装置の動作＞
以上、第１の実施形態による表示装置１００の構成を説明した。続いて、図８を参照し、第１の実施形態による表示装置１００の動作を整理する。
以上、第１の実施形態による表示装置１００の構成を説明した。続いて、図８を参照し、第１の実施形態による表示装置１００の動作を整理する。
図８は、第１の実施形態による表示装置１００の動作を示したフローチャートである。図８に示したように、まず、飛び出し量算出部１２０に３Ｄ映像信号が入力されると（Ｓ２０４）、飛び出し量算出部１２０は、３Ｄ映像信号に含まれるＬ画像データおよびＲ画像データに基づいて３Ｄ表示を行った場合の画像の飛び出し量Ｓを算出する（Ｓ２０８）。なお、本実施形態による飛び出し量算出部１２０は、任意の単位時間内または任意のフレーム数内の各々の画像データの飛び出し量Ｓを算出する。
続いて、調整要否判定部１２４が、飛び出し量算出部１２０により算出された飛び出し量Ｓが、設定部１２８により設定された閾値ｔｈ以上であるか否かを判定する（Ｓ２１２）。そして、調整要否判定部１２４は、飛び出し量Ｓが設定部１２８により設定された閾値ｔｈ未満である場合（Ｓ２１２／ｎｏ）、３Ｄ表示位置（ユーザが知覚する位置）の調整は不要と判定する（Ｓ２２８）。
一方、調整要否判定部１２４は、飛び出し量Ｓが閾値ｔｈ以上である場合（Ｓ２１２／ｙｅｓ）、３Ｄ表示位置の調整が必要であると判定し、表示制御部１３２に調整を指示する（Ｓ２１６）。
これに従い、表示制御部１３２は、３Ｄ表示位置の奥行方向上の移動量を算出する（Ｓ２２０）。かかる移動量とは、上述したように、複数フレームのうち最大飛び出し量を有するオブジェクトの表示位置と、かかるオブジェクトの飛び出し量Ｓが閾値ｔｈを下回る目標表示位置との差分である。
次いで、表示制御部１３２は、複数フレームの各々の画像（オブジェクト）の表示位置の奥行方向上の移動量が同一になるよう画像データを調整する（Ｓ２２４）。
そして、表示装置１００は、３Ｄ映像信号に基づく表示を終了するまで上述したＳ２０４～Ｓ２２４の処理を繰り返す（Ｓ２３２）。
＜２－３．補足＞
以上、本開示の第１の実施形態による表示装置１００の構成および動作を説明した。以下、第１の実施形態に関して補足する。
以上、本開示の第１の実施形態による表示装置１００の構成および動作を説明した。以下、第１の実施形態に関して補足する。
（調整有無の通知）
表示制御部１３２は、３Ｄ映像信号の調整の有無をユーザに通知するための通知ウィンドウを画面に重畳してもよい。以下、図９を参照して具体的に説明する。
表示制御部１３２は、３Ｄ映像信号の調整の有無をユーザに通知するための通知ウィンドウを画面に重畳してもよい。以下、図９を参照して具体的に説明する。
図９は、通知ウィンドウの具体例を示した説明図である。図９に示したように、３Ｄ映像信号の調整を行っている場合の通知ウィンドウ３０は、「疲労軽減モード」とのテキストと、優しい印象をユーザに与えるキャラクター画像を含む。表示制御部１３２は、通知ウィンドウ３０を３Ｄ映像信号の調整開始から一定時間の間表示するよう制御してもよい。
ユーザは、このような通知ウィンドウ３０に基づいて、現在表示されている３Ｄ映像が、疲労軽減のために調整されたものであることを容易に把握することが可能である。
なお、調整有無の通知方法は上述した方法に限定されない。例えば、図１０に示したように表示装置１００の前面に発光部１１２を設け、３Ｄ映像信号の調整を行っている場合に発光部１１２を発光させてもよい。かかる構成により、表示部１１０に表示されるコンテンツ画像の視聴を妨げることなく、調整有無をユーザに通知することが可能となる。
（ユーザの視線に基づく制御）
表示装置１００で３Ｄ表示を行っている間に、ユーザの注意が携帯端末などの他の装置に移る場合がある。この間、シャッタ眼鏡２００のシャッタ動作が継続していると、ユーザが他の装置を見る際にチラつきが生じてしまう。また、ユーザが表示装置１００を見ていない間に表示装置１００で３Ｄ表示を行う意義は少ない。
表示装置１００で３Ｄ表示を行っている間に、ユーザの注意が携帯端末などの他の装置に移る場合がある。この間、シャッタ眼鏡２００のシャッタ動作が継続していると、ユーザが他の装置を見る際にチラつきが生じてしまう。また、ユーザが表示装置１００を見ていない間に表示装置１００で３Ｄ表示を行う意義は少ない。
そこで、シャッタ制御部１３６は、ユーザの注意が表示装置１００から逸れた場合には、シャッタ眼鏡２００のシャッタ動作を停止させてもよい。なお、撮像部１１４により得られる撮像画像からユーザの視線を認識することにより、ユーザの注意が表示装置１００から逸れたか否かを判定することが可能である。かかる構成により、ユーザは、シャッタ眼鏡２００を脱着することなく他の装置を快適に利用することが可能となる。
また、表示制御部１３２は、ユーザの注意が表示装置１００から逸れた場合には、表示部１１０による３Ｄ表示を停止させてもよい。さらに、表示装置１００は、ユーザの注意が表示装置１００から逸れた場合には表示装置１００の電源をオフしてもよい。かかる構成により、表示装置１００の消費電力を削減することができる。
＜＜３．第２の実施形態＞＞
以上、本開示の第１の実施形態を説明した。続いて、本開示の第２の実施形態を説明する。
以上、本開示の第１の実施形態を説明した。続いて、本開示の第２の実施形態を説明する。
図１１は、第２の実施形態による表示装置１００’の構成を示した説明図である。図１１に示したように、第２の実施形態による表示装置１００’は、表示部１１０と、撮像部１１４と、飛び出し量算出部１２０と、調整要否判定部１２６と、設定部１２８と、表示制御部１３２と、シャッタ制御部１３６と、赤外線通信部１４０と、解析部１４４と、変動パターン記憶部１４８と、を備える。なお、表示部１１０、撮像部１１４、飛び出し量算出部１２０、設定部１２８、表示制御部１３２、およびシャッタ制御部１３６については「２．第１の実施形態」で説明した通りであるので、ここでの詳細な説明を省略する。
第２の実施形態による表示装置１００’は、ユーザの利用機器から、脈拍や表情筋の動きなどのユーザの生体情報を取得する。例えば、ユーザが着用するシャッタ眼鏡２００によりユーザの生体情報を取得し、赤外線通信部１４０が、シャッタ眼鏡２００からユーザの生体情報を受信してもよい。
解析部１４４は、ユーザの生体情報の変化に基づき、ユーザに疲労感を与える画像パターンを解析する。例えば、解析部１４４は、ユーザの生体情報がユーザに疲労感が生じたことを示す場合、当該生体情報が得られたときに表示されていたＬ画像およびＲ画像の差分の変動パターン、すなわち、飛び出し量の変動パターンを解析する。そして、変動パターン記憶部１４８は、解析部１４４の解析により得られた変動パターンを記憶する。例えば、変動パターンとしては、飛び出し量の増減が単位期間内に３回繰り返されるパターンなどが挙げられる。
調整要否判定部１２６は、飛び出し量算出部１２０により算出される飛び出し量の変動パターンが、変動パターン記憶部１４８に記憶されている変動パターンに合致するか否かを判定する。ここで、飛び出し量算出部１２０により算出される飛び出し量の変動パターンが、変動パターン記憶部１４８に記憶されている変動パターンに合致する場合、３Ｄ表示によりユーザに疲労感を与えてしまうと考えられる。このため、調整要否判定部１２６は、飛び出し量算出部１２０により算出される飛び出し量の変動パターンが、変動パターン記憶部１４８に記憶されている変動パターンに合致する場合、表示制御部１３２に画像データの調整を指示する。
上述した本開示の第２の実施形態によれば、ユーザが３Ｄ画像を視聴している間に得られたユーザの生体情報に基づいてユーザ個人に合わせた調整要否の判定条件を自動的に作成し、当該判定条件に従って調整要否を判定することが可能となる。
＜＜４．むすび＞＞
以上説明したように、本開示の実施形態によれば、３Ｄ映像の表示位置（ユーザが知覚する位置）を、奥行き方向上に移動させることができるので、無理な輻輳運動を防止し、ユーザの眼精疲労を軽減することが可能である。また、本開示の実施形態によれば、複数フレームに対応する各オブジェクトを平行移動させるので、複数フレームにおける各オブジェクトの３Ｄ表示の奥行き感の関係を損なうことなく、ユーザの疲労を軽減することができる。
以上説明したように、本開示の実施形態によれば、３Ｄ映像の表示位置（ユーザが知覚する位置）を、奥行き方向上に移動させることができるので、無理な輻輳運動を防止し、ユーザの眼精疲労を軽減することが可能である。また、本開示の実施形態によれば、複数フレームに対応する各オブジェクトを平行移動させるので、複数フレームにおける各オブジェクトの３Ｄ表示の奥行き感の関係を損なうことなく、ユーザの疲労を軽減することができる。
また、本開示の実施形態によれば、ユーザの視線方向の推定により、不必要な３Ｄ表示やシャッタ眼鏡の駆動を抑えることができるので、消費電力を削減することが可能である。また、本開示の実施形態によれば、ユーザが３Ｄ画像を視聴している間に得られたユーザの生体情報に基づいてユーザ個人に合わせた調整有無の判定条件を自動的に作成し、当該判定条件に従って調整有無を判定することが可能となる。
さらには、極端に飛び出す３Ｄ表示によるユーザの眼精疲労を軽減することができるので、３Ｄ表示の悪影響を懸念するユーザに対して３Ｄ表示の魅力をアピールすることが可能となる。その結果、本開示の実施形態は３Ｄ表示産業の発展に寄与する。
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本明細書の表示装置１００の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、表示装置１００の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、表示装置１００に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した表示装置１００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
また、以下のような構成も本開示の技術的範囲に属する。
（１）
画像データを構成する左眼用画像データおよび右眼用画像データの差分が閾値条件を満たすか否かを判定する判定部と、
前記判定部により前記差分が閾値条件を満たすと判定された場合、前記画像データを立体視表示した場合の輻輳角が小さくなるように前記画像データを調整する調整部と、
を備え、
前記調整部は、複数フレームに対応する複数の画像データの各々について、対象点において知覚される奥行き方向上の表示位置の移動量が同一になるように前記画像データを調整する、画像処理装置。
（２）
前記調整部は、前記複数の画像データの各々のうちで、輻輳角が最も大きい画像データの飛出し量が基準値を下回るように前記移動量を算出する、前記（１）に記載の画像処理装置。
（３）
前記判定部は、前記閾値条件として、前記左眼用画像データおよび右眼用画像データの差分に応じた飛び出し量が前記基準値以上であるという条件が満たされるか否かを判定する、前記（２）に記載の画像処理装置。
（４）
前記画像処理装置は、前記閾値条件を設定する設定部をさらに備える、前記（１）～（３）のいずれか一項に記載の画像処理装置。
（５）
前記設定部は、前記画像データを用いた表示を行う表示装置のユーザによる前記表示装置の連続使用時間に基づいて前記閾値条件を設定する、前記（４）に記載の画像処理装置。
（６）
前記設定部は、前記連続使用時間が長くなるほど前記閾値条件を満たす前記差分の範囲を広くする、前記（５）に記載の画像処理装置。
（７）
前記設定部は、前記画像データを用いた表示を行う表示装置のユーザの属性に基づいて前記閾値条件を設定する、前記（４）～（６）のいずれか一項に記載の画像処理装置。
（８）
前記設定部は、前記ユーザが子供である場合、前記ユーザが成人である場合よりも前記閾値条件を満たす前記差分の範囲を広くする、前記（７）に記載の画像処理装置。
（９）
前記設定部は、ユーザ操作に従って前記閾値条件を設定する、前記（４）に記載の画像処理装置。
（１０）
前記画像処理装置は、
前記差分の特定の変動パターンを記憶する記憶部をさらに備え、
前記判定部は、さらに、対象の画像データの左眼用画像データおよび右眼用画像データの差分の変動パターンが前記記憶部に記憶されている前記特定の変動パターンに合致するか否かを判定し、
前記調整部は、前記判定部により前記差分が閾値条件を満たすと判定され、かつ、前記対象の画像データの前記変動パターンが前記特定の変動パターンに合致すると判定された場合、前記画像データの調整を行う、前記（１）に記載の画像処理装置。
（１１）
前記画像処理装置は、
立体視表示を行った時にユーザの生体情報が特定の反応を示した画像データの左眼用画像データおよび右眼用画像データを解析して前記特定の変動パターンを抽出する解析部をさらに備える、前記（１０）に記載の画像処理装置。
（１２）
画像データを構成する左眼用画像データおよび右眼用画像データの差分が閾値条件を満たすか否かを判定することと、
前記差分が閾値条件を満たすと判定された場合、前記画像データを立体視表示した場合の輻輳角が小さくなるように前記画像データを調整することと、
複数フレームに対応する複数の画像データの各々について、対象点において知覚される奥行き方向上の表示位置の移動量が同一になるように前記画像データを調整することと、
を含む、画像処理方法。
（１３）
コンピュータを、
画像データを構成する左眼用画像データおよび右眼用画像データの差分が閾値条件を満たすか否かを判定する判定部と、
前記判定部により前記差分が閾値条件を満たすと判定された場合、前記画像データを立体視表示した場合の輻輳角が小さくなるように前記画像データを調整する調整部と、
として機能させ、
前記調整部は、複数フレームに対応する複数の画像データの各々について、対象点において知覚される奥行き方向上の表示位置の移動量が同一になるように前記画像データを調整する、プログラム。
（１４）
前記調整部は、前記複数の画像データの各々のうちで、輻輳角が最も大きい画像データの飛出し量が基準値を下回るように前記移動量を算出する、前記（１３）に記載のプログラム。
（１５）
前記判定部は、前記閾値条件として、前記左眼用画像データおよび右眼用画像データの差分に応じた飛出し量が前記基準値以上であるという条件が満たされるか否かを判定する、前記（１４）に記載のプログラム。
（１６）
前記コンピュータを、
前記閾値条件を設定する設定部としてさらに機能させる、前記（１３）～（１５）のいずれか一項に記載のプログラム。
（１７）
前記設定部は、前記画像データを用いた表示を行う表示装置のユーザによる前記表示装置の連続使用時間に基づいて前記閾値条件を設定する、前記（１６）に記載のプログラム。
（１８）
前記設定部は、前記画像データを用いた表示を行う表示装置のユーザの属性に基づいて前記閾値条件を設定する、前記（１６）または（１７）に記載のプログラム。
（１）
画像データを構成する左眼用画像データおよび右眼用画像データの差分が閾値条件を満たすか否かを判定する判定部と、
前記判定部により前記差分が閾値条件を満たすと判定された場合、前記画像データを立体視表示した場合の輻輳角が小さくなるように前記画像データを調整する調整部と、
を備え、
前記調整部は、複数フレームに対応する複数の画像データの各々について、対象点において知覚される奥行き方向上の表示位置の移動量が同一になるように前記画像データを調整する、画像処理装置。
（２）
前記調整部は、前記複数の画像データの各々のうちで、輻輳角が最も大きい画像データの飛出し量が基準値を下回るように前記移動量を算出する、前記（１）に記載の画像処理装置。
（３）
前記判定部は、前記閾値条件として、前記左眼用画像データおよび右眼用画像データの差分に応じた飛び出し量が前記基準値以上であるという条件が満たされるか否かを判定する、前記（２）に記載の画像処理装置。
（４）
前記画像処理装置は、前記閾値条件を設定する設定部をさらに備える、前記（１）～（３）のいずれか一項に記載の画像処理装置。
（５）
前記設定部は、前記画像データを用いた表示を行う表示装置のユーザによる前記表示装置の連続使用時間に基づいて前記閾値条件を設定する、前記（４）に記載の画像処理装置。
（６）
前記設定部は、前記連続使用時間が長くなるほど前記閾値条件を満たす前記差分の範囲を広くする、前記（５）に記載の画像処理装置。
（７）
前記設定部は、前記画像データを用いた表示を行う表示装置のユーザの属性に基づいて前記閾値条件を設定する、前記（４）～（６）のいずれか一項に記載の画像処理装置。
（８）
前記設定部は、前記ユーザが子供である場合、前記ユーザが成人である場合よりも前記閾値条件を満たす前記差分の範囲を広くする、前記（７）に記載の画像処理装置。
（９）
前記設定部は、ユーザ操作に従って前記閾値条件を設定する、前記（４）に記載の画像処理装置。
（１０）
前記画像処理装置は、
前記差分の特定の変動パターンを記憶する記憶部をさらに備え、
前記判定部は、さらに、対象の画像データの左眼用画像データおよび右眼用画像データの差分の変動パターンが前記記憶部に記憶されている前記特定の変動パターンに合致するか否かを判定し、
前記調整部は、前記判定部により前記差分が閾値条件を満たすと判定され、かつ、前記対象の画像データの前記変動パターンが前記特定の変動パターンに合致すると判定された場合、前記画像データの調整を行う、前記（１）に記載の画像処理装置。
（１１）
前記画像処理装置は、
立体視表示を行った時にユーザの生体情報が特定の反応を示した画像データの左眼用画像データおよび右眼用画像データを解析して前記特定の変動パターンを抽出する解析部をさらに備える、前記（１０）に記載の画像処理装置。
（１２）
画像データを構成する左眼用画像データおよび右眼用画像データの差分が閾値条件を満たすか否かを判定することと、
前記差分が閾値条件を満たすと判定された場合、前記画像データを立体視表示した場合の輻輳角が小さくなるように前記画像データを調整することと、
複数フレームに対応する複数の画像データの各々について、対象点において知覚される奥行き方向上の表示位置の移動量が同一になるように前記画像データを調整することと、
を含む、画像処理方法。
（１３）
コンピュータを、
画像データを構成する左眼用画像データおよび右眼用画像データの差分が閾値条件を満たすか否かを判定する判定部と、
前記判定部により前記差分が閾値条件を満たすと判定された場合、前記画像データを立体視表示した場合の輻輳角が小さくなるように前記画像データを調整する調整部と、
として機能させ、
前記調整部は、複数フレームに対応する複数の画像データの各々について、対象点において知覚される奥行き方向上の表示位置の移動量が同一になるように前記画像データを調整する、プログラム。
（１４）
前記調整部は、前記複数の画像データの各々のうちで、輻輳角が最も大きい画像データの飛出し量が基準値を下回るように前記移動量を算出する、前記（１３）に記載のプログラム。
（１５）
前記判定部は、前記閾値条件として、前記左眼用画像データおよび右眼用画像データの差分に応じた飛出し量が前記基準値以上であるという条件が満たされるか否かを判定する、前記（１４）に記載のプログラム。
（１６）
前記コンピュータを、
前記閾値条件を設定する設定部としてさらに機能させる、前記（１３）～（１５）のいずれか一項に記載のプログラム。
（１７）
前記設定部は、前記画像データを用いた表示を行う表示装置のユーザによる前記表示装置の連続使用時間に基づいて前記閾値条件を設定する、前記（１６）に記載のプログラム。
（１８）
前記設定部は、前記画像データを用いた表示を行う表示装置のユーザの属性に基づいて前記閾値条件を設定する、前記（１６）または（１７）に記載のプログラム。
１００、１００’ 表示装置
１１０ 表示部
１１２ 発光部
１１４ 撮像部
１２０ 量算出部
１２４、１２６ 調整要否判定部
１２８ 設定部
１３２ 表示制御部
１３６ シャッタ制御部
１４０ 赤外線通信部
１４４ 解析部
１４８ 変動パターン記憶部
２００ シャッタ眼鏡
２１２ 右眼用画像透過部
２１４ 左眼用画像透過部
１１０ 表示部
１１２ 発光部
１１４ 撮像部
１２０ 量算出部
１２４、１２６ 調整要否判定部
１２８ 設定部
１３２ 表示制御部
１３６ シャッタ制御部
１４０ 赤外線通信部
１４４ 解析部
１４８ 変動パターン記憶部
２００ シャッタ眼鏡
２１２ 右眼用画像透過部
２１４ 左眼用画像透過部
Claims (18)
- 画像データを構成する左眼用画像データおよび右眼用画像データの差分が閾値条件を満たすか否かを判定する判定部と、
前記判定部により前記差分が閾値条件を満たすと判定された場合、前記画像データを立体視表示した場合の輻輳角が小さくなるように前記画像データを調整する調整部と、
を備え、
前記調整部は、複数フレームに対応する複数の画像データの各々について、対象点において知覚される奥行き方向上の表示位置の移動量が同一になるように前記画像データを調整する、画像処理装置。 - 前記調整部は、前記複数の画像データの各々のうちで、輻輳角が最も大きい画像データの飛出し量が基準値を下回るように前記移動量を算出する、請求項１に記載の画像処理装置。
- 前記判定部は、前記閾値条件として、前記左眼用画像データおよび右眼用画像データの差分に応じた飛び出し量が前記基準値以上であるという条件が満たされるか否かを判定する、請求項２に記載の画像処理装置。
- 前記画像処理装置は、前記閾値条件を設定する設定部をさらに備える、請求項１に記載の画像処理装置。
- 前記設定部は、前記画像データを用いた表示を行う表示装置のユーザによる前記表示装置の連続使用時間に基づいて前記閾値条件を設定する、請求項４に記載の画像処理装置。
- 前記設定部は、前記連続使用時間が長くなるほど前記閾値条件を満たす前記差分の範囲を広くする、請求項５に記載の画像処理装置。
- 前記設定部は、前記画像データを用いた表示を行う表示装置のユーザの属性に基づいて前記閾値条件を設定する、請求項４に記載の画像処理装置。
- 前記設定部は、前記ユーザが子供である場合、前記ユーザが成人である場合よりも前記閾値条件を満たす前記差分の範囲を広くする、請求項７に記載の画像処理装置。
- 前記設定部は、ユーザ操作に従って前記閾値条件を設定する、請求項４に記載の画像処理装置。
- 前記画像処理装置は、
前記差分の特定の変動パターンを記憶する記憶部をさらに備え、
前記判定部は、さらに、対象の画像データの左眼用画像データおよび右眼用画像データの差分の変動パターンが前記記憶部に記憶されている前記特定の変動パターンに合致するか否かを判定し、
前記調整部は、前記判定部により前記差分が閾値条件を満たすと判定され、かつ、前記対象の画像データの前記変動パターンが前記特定の変動パターンに合致すると判定された場合、前記画像データの調整を行う、請求項１に記載の画像処理装置。 - 前記画像処理装置は、
立体視表示を行った時にユーザの生体情報が特定の反応を示した画像データの左眼用画像データおよび右眼用画像データを解析して前記特定の変動パターンを抽出する解析部をさらに備える、請求項１０に記載の画像処理装置。 - 画像データを構成する左眼用画像データおよび右眼用画像データの差分が閾値条件を満たすか否かを判定することと、
前記差分が閾値条件を満たすと判定された場合、前記画像データを立体視表示した場合の輻輳角が小さくなるように前記画像データを調整することと、
複数フレームに対応する複数の画像データの各々について、対象点において知覚される奥行き方向上の表示位置の移動量が同一になるように前記画像データを調整することと、
を含む、画像処理方法。 - コンピュータを、
画像データを構成する左眼用画像データおよび右眼用画像データの差分が閾値条件を満たすか否かを判定する判定部と、
前記判定部により前記差分が閾値条件を満たすと判定された場合、前記画像データを立体視表示した場合の輻輳角が小さくなるように前記画像データを調整する調整部と、
として機能させ、
前記調整部は、複数フレームに対応する複数の画像データの各々について、対象点において知覚される奥行き方向上の表示位置の移動量が同一になるように前記画像データを調整する、プログラム。 - 前記調整部は、前記複数の画像データの各々のうちで、輻輳角が最も大きい画像データの飛出し量が基準値を下回るように前記移動量を算出する、請求項１３に記載のプログラム。
- 前記判定部は、前記閾値条件として、前記左眼用画像データおよび右眼用画像データの差分に応じた飛出し量が前記基準値以上であるという条件が満たされるか否かを判定する、請求項１４に記載のプログラム。
- 前記コンピュータを、
前記閾値条件を設定する設定部としてさらに機能させる、請求項１３に記載のプログラム。 - 前記設定部は、前記画像データを用いた表示を行う表示装置のユーザによる前記表示装置の連続使用時間に基づいて前記閾値条件を設定する、請求項１６に記載のプログラム。
- 前記設定部は、前記画像データを用いた表示を行う表示装置のユーザの属性に基づいて前記閾値条件を設定する、請求項１６に記載のプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/387,365 US20150070477A1 (en) | 2012-03-30 | 2013-02-04 | Image processing device, image processing method, and program |
| CN201380016036.2A CN104185986A (zh) | 2012-03-30 | 2013-02-04 | 图像处理装置、图像处理方法及程序 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012080991 | 2012-03-30 | ||
| JP2012-080991 | 2012-03-30 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2013145861A1 true WO2013145861A1 (ja) | 2013-10-03 |
Family
ID=49259146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2013/052459 WO2013145861A1 (ja) | 2012-03-30 | 2013-02-04 | 画像処理装置、画像処理方法およびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20150070477A1 (ja) |
| CN (1) | CN104185986A (ja) |
| WO (1) | WO2013145861A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103760973A (zh) * | 2013-12-18 | 2014-04-30 | 微软公司 | 增强现实的信息细节 |
| WO2015200410A1 (en) * | 2014-06-27 | 2015-12-30 | Microsoft Technology Licensing, Llc | Stereoscopic image display |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9710130B2 (en) * | 2013-06-12 | 2017-07-18 | Microsoft Technology Licensing, Llc | User focus controlled directional user input |
| JP6550734B2 (ja) * | 2014-12-02 | 2019-07-31 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
| CN104967837A (zh) | 2015-06-30 | 2015-10-07 | 西安三星电子研究有限公司 | 用于调整三维显示效果的设备和方法 |
| CN111861925B (zh) * | 2020-07-24 | 2023-09-29 | 南京信息工程大学滨江学院 | 一种基于注意力机制与门控循环单元的图像去雨方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004165708A (ja) * | 2002-09-27 | 2004-06-10 | Sharp Corp | 立体画像表示装置、立体画像符号化装置、立体画像復号装置、立体画像記録方法及び立体画像伝送方法 |
| JP2011138354A (ja) * | 2009-12-28 | 2011-07-14 | Sony Corp | 情報処理装置および情報処理方法 |
| WO2011162209A1 (ja) * | 2010-06-25 | 2011-12-29 | 富士フイルム株式会社 | 画像出力装置、方法およびプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0830034B1 (en) * | 1996-09-11 | 2005-05-11 | Canon Kabushiki Kaisha | Image processing for three dimensional display of image data on the display of an image sensing apparatus |
| JP5355208B2 (ja) * | 2009-05-01 | 2013-11-27 | 富士フイルム株式会社 | ３次元表示装置及びデジタルズーム補正方法 |
| JP5444955B2 (ja) * | 2009-08-31 | 2014-03-19 | ソニー株式会社 | 立体画像表示システム、視差変換装置、視差変換方法およびプログラム |
| KR101727899B1 (ko) * | 2010-11-26 | 2017-04-18 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
| US20120229595A1 (en) * | 2011-03-11 | 2012-09-13 | Miller Michael L | Synthesized spatial panoramic multi-view imaging |
-
2013
- 2013-02-04 US US14/387,365 patent/US20150070477A1/en not_active Abandoned
- 2013-02-04 WO PCT/JP2013/052459 patent/WO2013145861A1/ja active Application Filing
- 2013-02-04 CN CN201380016036.2A patent/CN104185986A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004165708A (ja) * | 2002-09-27 | 2004-06-10 | Sharp Corp | 立体画像表示装置、立体画像符号化装置、立体画像復号装置、立体画像記録方法及び立体画像伝送方法 |
| JP2011138354A (ja) * | 2009-12-28 | 2011-07-14 | Sony Corp | 情報処理装置および情報処理方法 |
| WO2011162209A1 (ja) * | 2010-06-25 | 2011-12-29 | 富士フイルム株式会社 | 画像出力装置、方法およびプログラム |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103760973A (zh) * | 2013-12-18 | 2014-04-30 | 微软公司 | 增强现实的信息细节 |
| WO2015200410A1 (en) * | 2014-06-27 | 2015-12-30 | Microsoft Technology Licensing, Llc | Stereoscopic image display |
| US9473764B2 (en) | 2014-06-27 | 2016-10-18 | Microsoft Technology Licensing, Llc | Stereoscopic image display |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104185986A (zh) | 2014-12-03 |
| US20150070477A1 (en) | 2015-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2013145861A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US10033994B2 (en) | Systems and methods for differentiating between dominant and weak eyes in 3D display technology | |
| US9041782B2 (en) | Multiple-viewer auto-stereoscopic 3D display apparatus | |
| JP4886094B1 (ja) | 立体映像表示システム及び立体映像表示システムの制御方法 | |
| JP4951076B2 (ja) | 表示装置、システム、及びメガネに関する | |
| US20150130915A1 (en) | Apparatus and system for dynamic adjustment of depth for stereoscopic video content | |
| US9216133B2 (en) | Using a 3D display to train a weak eye | |
| EP2268045A1 (en) | Image display apparatus and method for operating the same | |
| US20110304689A1 (en) | Remote user control for stereoscopic display | |
| US20110248989A1 (en) | 3d display apparatus, method for setting display mode, and 3d display system | |
| JP5556386B2 (ja) | 表示装置、表示方法およびコンピュータプログラム | |
| US20120105608A1 (en) | Method, shutter glasses, and apparatus for controlling environment brightness received by shutter glasses | |
| JP2011139456A (ja) | ３ｄグラスの駆動方法及びこれを用いた３ｄグラスと３ｄディスプレイ装置 | |
| KR20110112575A (ko) | 3ｄ안경, 디스플레이 장치 및 제어단말기의 제어방법, 및 이에 관련된 3ｄ안경, 디스플레이 장치, 제어단말기, 및 3ｄ 디스플레이 시스템 | |
| EP2466362A2 (en) | Method and apparatus for providing stereoscopic image | |
| JP5250701B2 (ja) | 照明制御装置、照明制御装置を用いる照明装置及び照明システム並びに照明制御装置とともに利用される表示装置及び眼鏡装置 | |
| JP2014011804A (ja) | ディスプレイ装置及びその制御方法 | |
| JP5107482B2 (ja) | 表示装置、眼鏡装置及び映像システム | |
| JP5400901B2 (ja) | 眼鏡装置及び映像システム | |
| JP5573426B2 (ja) | 音声処理装置、音声処理方法、およびプログラム | |
| EP2563025A2 (en) | Three-dimensional display apparatus | |
| WO2013145860A1 (ja) | 表示制御装置、表示制御方法およびプログラム | |
| EP2549760A2 (en) | Method for improving three-dimensional display quality | |
| JP2012164466A (ja) | 照明制御装置、照明装置、立体映像システム、照明制御方法、プログラム、および記録媒体 | |
| KR20140073851A (ko) | 멀티뷰 디스플레이 장치와 그 구동 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13768388 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 14387365 Country of ref document: US |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 13768388 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |