WO2015182201A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2015182201A1
WO2015182201A1 PCT/JP2015/056312 JP2015056312W WO2015182201A1 WO 2015182201 A1 WO2015182201 A1 WO 2015182201A1 JP 2015056312 W JP2015056312 W JP 2015056312W WO 2015182201 A1 WO2015182201 A1 WO 2015182201A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
blur
information processing
blur function
processing apparatus
Prior art date
Application number
PCT/JP2015/056312
Other languages
English (en)
French (fr)
Inventor
幸司 西田
隆浩 永野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2015182201A1 publication Critical patent/WO2015182201A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 discloses a technique for estimating an imaging blur that occurs when an image is captured by detecting a motion of a displayed image and correcting the imaging blur.
  • Patent Document 2 discloses a technique for suppressing motion blur called hold blur by changing the luminance of a pixel in one scanning cycle (also referred to as a frame) of an image.
  • the hold blur is a motion blur that occurs when the user follows the video on the display device.
  • the hold blur occurs remarkably in a hold display type display device such as a liquid crystal display device or an organic electroluminescence display device (hereinafter referred to as an organic EL display device).
  • a new and improved information processing apparatus and information processing method capable of correcting hold blur occurring in an image displayed on a display device and improving the visibility of the displayed image. , And propose programs.
  • a blur function setting unit that sets a blur function that represents a blur amount of hold blur generated in an image displayed on a display device based on a duty ratio that represents a light emission ratio of the display device, and the blur function
  • an inverse blur function setting unit for setting an inverse blur function for correcting hold blur occurring in the image.
  • the arithmetic processing device sets a blur function that represents a blur amount of hold blur generated in an image displayed on the display device based on a duty ratio that represents a light emission ratio of the display device. And setting an inverse blur function for correcting hold blur occurring in the image using the blur function.
  • the blur function setting unit that sets a blur function that represents a blur amount of hold blur generated in an image displayed on the display device based on a duty ratio that represents a light emission ratio of the display device;
  • a program that functions as an inverse blur function setting unit that sets an inverse blur function that corrects hold blur occurring in the image using the blur function is provided.
  • FIG. 3 is an explanatory diagram illustrating an appearance example of an information processing apparatus according to a first embodiment of the present disclosure.
  • FIG. It is the block diagram which showed the internal structural example of the information processing apparatus which concerns on the same embodiment. It is explanatory drawing explaining learning type super-resolution technique. It is the flowchart figure which showed the operation example of the information processing apparatus which concerns on the same embodiment. It is explanatory drawing which showed the external appearance example of the information processing apparatus which concerns on 2nd Embodiment of this indication. It is the block diagram which showed the internal structural example of the information processing apparatus which concerns on the same embodiment. It is the flowchart figure which showed the operation example of the information processing apparatus which concerns on the same embodiment. It is a block diagram showing a hardware configuration example of an information processing apparatus according to the first and second embodiments of the present disclosure. It is explanatory drawing explaining the generation
  • FIG. 9 is an explanatory diagram for explaining a generation mechanism of hold blur.
  • the display time of one frame (meaning one scanning cycle of a display image) is t f seconds, and “1 / t f ” is 1 second. Displays an image at a frame rate.
  • the display device illustrated in FIGS. 9A and 9B displays the object A moving from left to right.
  • the display method shown in FIG. 9A is a hold-type display method.
  • an image is displayed with a constant luminance for one frame.
  • Specific examples of such a hold-type display device include a liquid crystal display device and an organic EL display device.
  • the display method shown in FIG. 9B is an impulse-type display method.
  • an image is displayed by emitting light for an instant in one frame.
  • an impulse-type display device include a CRT (Cathode Ray Tube) display device, a surface conduction electron-emitting device display device (SED: Surface-condition Electro-emitter Display), and the like.
  • an image is displayed with a constant luminance for one frame.
  • human vision since human vision has a low temporal resolution, the portion where the object A is displayed in each frame is displayed.
  • the luminance is averaged and recognized (also called time integration). That is, in human vision, when the frame is switched in the contour portion of the object A, the luminance of the portion where the object A is not displayed in a certain frame and the luminance of the portion where the object A is displayed in the previous frame Will be recognized and integrated. Therefore, in human vision, the contour portion of the object A is recognized as extending to a portion where the object A is not displayed, so that the contour portion of the object A is recognized as blurred. .
  • the display method of the impulse display since the image is displayed by emitting light for one moment in one frame, the luminance is not kept constant in one frame. Therefore, in the display device of the impulse display, when the frame is switched, the portion where the object A is displayed in the previous frame is extinguished and nothing is displayed. Therefore, since the portion where the object A is displayed in the previous frame does not affect the portion where the object A is not displayed in the next frame, the contour portion of the object A is not blurred and motion blur is caused. Does not occur.
  • human vision since human vision has the highest visual acuity at the center of the visual field, it tries to catch an instinctively moving object at the center of the visual field (also called tracking vision). Therefore, when the object A moving from left to right is displayed on the screen, the human moves the field of view following the movement of the object A, and perceives that the movement of the object A is continuous.
  • the display device of the hold type display displays an image with a limited number of frames, the movement of the displayed object A is stepwise and discontinuous. Since the movement of the object A displayed on this display device and the movement of the object A recognized by human perception do not match, motion blur occurs due to a difference from the recognition.
  • the motion blur due to the motion blur due to the time integration action described above and the motion blur due to the tracking vision occurs.
  • the motion blur caused by the hold type display is the hold blur.
  • the duty ratio in the impulse-type display is as close to 0 as possible, even if the duty ratio is reduced to 50% or the like in the hold-type display, there is a limit to the amount of reduction in the blur amount. Further, the brightness and contrast of the screen have been reduced by reducing the duty ratio of the display device.
  • An information processing apparatus sets a blur function representing hold blur generated in a displayed image based on a duty ratio of a display device, and uses an inverse blur function that performs inverse transformation of the blur function. By performing image processing, the hold blur of the displayed image is corrected.
  • the information processing apparatus performs image processing that cancels hold blur on a displayed image in advance, so that a user who perceives the displayed image recognizes that the hold blur has been removed. An image can be generated. According to this, the information processing apparatus according to the present disclosure can remove hold blur from the displayed image and improve the visibility of the image.
  • FIG. 1 is an explanatory diagram illustrating an appearance example of the information processing apparatus 1 according to the first embodiment of the present disclosure.
  • FIG. 2 illustrates an internal configuration of the information processing apparatus 1 according to the first embodiment of the present disclosure. It is the block diagram which showed the example.
  • the information processing apparatus 1 is, for example, a display input device such as a smartphone, a tablet terminal, and a personal computer that can perform a scroll operation.
  • an information processing apparatus 1 when scrolling a page to display items in a fast-forward manner, the entire screen moves in a certain direction, so that the user follows the fast-forwarded image and a hold blur occurs.
  • a blur function that represents hold blur that occurs when scrolling an image is set, and image processing that performs inverse transformation of the blur function is performed on the image. Apply.
  • the information processing apparatus 1 can correct the hold blur that occurs when the user follows the scrolled image. Can be displayed to the user.
  • the information processing apparatus 1 includes an input unit 100, an image generation unit 102, a display image storage unit 104, a device information acquisition unit 106, a blur function setting unit 108, and an inverse blur.
  • a function setting unit 110, a blur correction unit 112, and a display unit 114 are provided.
  • the information processing apparatus 1 may not include the input unit 100, the image generation unit 102, the display image storage unit 104, and the display unit 114.
  • the information processing apparatus 1 may correct hold blur of an image displayed on an externally connected display device.
  • the information processing apparatus 1 may be one in which an operation for instructing scrolling is input by an externally connected input device.
  • the information processing apparatus 1 may be an information processing apparatus that derives a method for correcting a hold blur that occurs with respect to a screen generated by an external information processing apparatus.
  • the input unit 100 receives an input operation instructing scrolling from the user.
  • the input unit 100 includes an input device that allows a user to perform an operation to instruct scrolling, an input control circuit that generates and outputs an input signal based on an input by the user, and the like.
  • the input unit 100 may be a touch panel or the like, and if an input operation for instructing scrolling is possible, a mouse, a trackball, a rotating wheel, a jog dial, a ring-shaped dial, a cross key, a motion sensor, It may be a posture sensor such as a gyro sensor or an acceleration sensor.
  • the image generation unit 102 generates an image to be displayed on the display unit 114. Specifically, the image generation unit 102 displays the display unit 114 based on various applications, various files stored in the display image storage unit 104, or various Web page information acquired from a connected public network (not shown). Generate an image to be displayed. Further, the image generation unit 102 calculates the scroll amount of the image displayed on the display unit 114 based on an operation for instructing scrolling input from the input unit 100, and generates an image when scrolled.
  • the display image storage unit 104 stores various applications used when the image generation unit 102 generates an image and screen information such as various files.
  • the display image storage unit 104 is a storage unit for data storage provided in the information processing apparatus 1.
  • the display image storage unit 104 includes an HDD (Hard Disk Drive) device, an SSD (Solid State). (Drive) device, flash memory, or the like.
  • the device information acquisition unit 106 acquires information about the display device that constitutes the display unit 114. Specifically, the device information acquisition unit 106 includes information on the type of the display unit 114 (for example, a liquid crystal display device or an organic EL display device), information on the duty ratio of the display unit 114, and the display unit 114 for 1 second. Information on the number of frames, information on response performance of the display unit 114, information on brightness of the display unit 114, and the like.
  • the device information acquisition unit 106 may acquire the above information from the display unit 114 or a storage unit that stores settings of the display unit 114. .
  • the device information acquisition unit 106 may acquire the above information from an externally connected display device by communication or the like.
  • the blur function setting unit 108 sets a blur function that represents the amount of hold blur that occurs in the image displayed on the display unit 114. Specifically, the blur function setting unit 108 sets a blur function that represents the amount of hold blur that occurs, based on at least the duty ratio of the display unit 114 acquired by the device information acquisition unit 106. The blur function setting unit 108 may further set the blur function based on the scroll amount of the image calculated by the image generation unit 102.
  • the blur function setting unit 108 may set the blur function assuming that the blur function is a moving average filter.
  • the amount of blur due to hold blur is proportional to the product of the amount of movement of the image (that is, the amount of scroll of the image) and the duty ratio of the display unit 114. Therefore, the blur function setting unit 108 may use a moving average filter having the number of taps of the product of the image scroll amount and the duty ratio of the display unit 114 as the blur function.
  • the blur function setting unit 108 may set a moving average filter having the tap number “B” and the coefficient “1 / B” as the blur function.
  • the blur function setting method by the blur function setting unit 108 is not limited to the above method.
  • the blur function may be set by another known general method.
  • the inverse blur function setting unit 110 sets an inverse blur function for correcting hold blur occurring in an image displayed on the display unit 114 based on the blur function set by the blur function setting unit 108. Specifically, the inverse blur function setting unit 110 derives a function that performs inverse transformation of the blur function set by the blur function setting unit 108 and sets the function as an inverse blur function.
  • the inverse blur function setting unit 110 derives a determinant representing the blur function based on the blur function set by the blur function setting unit 108, and calculates a function represented by an inverse matrix of the determinant representing the blur function. It may be set as an inverse blur function.
  • the inverse blur function setting unit 110 may set an inverse blur function from the blur function set by the blur function setting unit 108 by using a learning type super-resolution technique.
  • FIG. 3 is an explanatory diagram for explaining the learning type super-resolution technique.
  • a generated image generated by the image generation unit 102 is used as a teacher image, and a hold blurred image obtained by applying a blur function to the generated image is used as a student image.
  • a sufficient number of image pairs of the teacher image and the student image are prepared for deriving the inverse blur function.
  • the inverse blur function setting unit 110 cuts out a part of the student image as a tap, calculates the sum by multiplying the peripheral pixel value x i by the filter coefficient w i , and the tap from which the student image is cut out Is compared with the pixel value (teacher pixel value t) of the teacher image at the position corresponding to.
  • the inverse blur function setting unit 110 calculates the filter coefficient w i by machine learning so that the error between the predicted pixel value y and the teacher pixel value t is minimized.
  • Filter coefficient error is calculated to minimize w i becomes the filter coefficient w i of the inverse blurring function for calculating the teacher image (original product image is not hold blur) from the student image (motion blur image).
  • the inverse blur function setting method by the inverse blur function setting unit 110 is not limited to the above method.
  • the inverse blur function may be set by another known general method.
  • the blur correction unit 112 performs image processing for correcting hold blur on the image generated by the image generation unit 102. Specifically, the blur correction unit 112 performs image processing on the image generated by the image generation unit 102 using the inverse blur function set by the inverse blur function setting unit 110, and the image displayed by the display unit 114 Is generated.
  • the blur function setting unit 108 and the inverse blur function setting unit 110 set a blur function and an inverse blur function for each frame of the image generated by the image generation unit 102, respectively. Further, the blur correction unit 112 performs image processing for correcting hold blur for each frame of the image generated by the image generation unit 102 using the set inverse blur function.
  • the display unit 114 displays an image generated by the image generation unit 102 and subjected to image processing in which the blur correction unit 112 corrects hold blur.
  • the display unit 114 is a hold display type display device.
  • the display unit 114 may be a liquid crystal display device, an organic EL display device, or the like.
  • FIG. 4 is a flowchart illustrating an operation example of the information processing apparatus 1 according to the first embodiment of the present disclosure.
  • an operation for instructing scrolling is input by the input unit 100 (S100).
  • the image generation unit 102 calculates a scroll amount for the displayed image based on the scroll operation input from the input unit 100 (S102).
  • the device information acquisition unit 106 acquires device information including information related to the duty ratio of the display unit 114 (S104).
  • the blur function setting unit 108 generates an image to be displayed on the display unit 114 based on the scroll amount of the image calculated by the image generation unit 102 and the duty ratio of the display unit 114 acquired by the device information acquisition unit 106. Then, a blur function representing the amount of hold blur that occurs is set (S106). Next, the inverse blur function setting unit 110 sets an inverse blur function for performing inverse transformation of the blur function based on the blur function set by the blur function setting unit 108 (S108). Subsequently, the blur correction unit 112 performs image processing based on the inverse blur function set by the inverse blur function setting unit 110 on the image generated by the image generation unit 102 to generate an image in which hold blur is corrected. (S110). Accordingly, the display unit 114 can display an image in which the hold blur is corrected by the blur correction unit 112 and the visibility is improved.
  • the information processing apparatus 1 holds hold blur generated in the displayed image based on the calculated scroll amount of the image and the duty ratio of the display device.
  • the information processing apparatus 1 can correct an image with an inverse blur function that performs an inverse transform of the blur function. Therefore, the information processing apparatus 1 removes hold blur from the image displayed on the display unit 114, thereby improving the visibility of the image. It is possible to improve.
  • FIG. 5 is an explanatory diagram illustrating an appearance example of the information processing apparatus 2 according to the second embodiment of the present disclosure.
  • FIG. 6 illustrates an internal configuration of the information processing apparatus 2 according to the second embodiment of the present disclosure. It is the block diagram which showed the example.
  • the information processing device 2 is a display device such as a television capable of displaying a moving image, for example.
  • an image taken so that the entire screen moves in a certain direction such as when a landscape image is displayed.
  • the entire screen moves in a certain direction, so that the user follows the image with his eyes and a hold blur occurs.
  • the information processing apparatus 2 detects the movement of the image from the input image information, and determines the hold blur to be generated when it is determined that the hold blur occurs from the detected movement of the image. Image processing to be corrected is performed on the image. With this configuration, the information processing apparatus 2 according to the second embodiment of the present disclosure corrects hold blur that occurs when the user follows an image moving in a certain direction, as in the first embodiment. The visibility of the video can be improved.
  • the information processing apparatus 2 includes an image information acquisition unit 201, an image generation unit 202, a motion detection unit 203, a device information acquisition unit 206, a blur function setting unit 208, and a reverse function.
  • a blur function setting unit 210, a blur correction unit 212, and a display unit 214 are provided.
  • the device information acquisition unit 206, the blur function setting unit 208, the inverse blur function setting unit 210, the blur correction unit 212, and the display unit 214 are the same as the device information acquisition unit 106, the blur function setting described in the first embodiment. Since this is substantially the same as the unit 108, the inverse blur function setting unit 110, the blur correction unit 112, and the display unit 114, description thereof is omitted here.
  • the image information acquisition unit 201 acquires information about an image displayed on the display unit 214.
  • the image information acquisition unit 201 is a connection interface that acquires information about an image displayed on the display unit 214 from a tuner or an external connection device.
  • the image information acquisition unit 201 may be a connection interface such as an RCA terminal, a VGA (Vedo Graphics Array) terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) terminal, and an optical audio terminal.
  • the image generation unit 202 generates an image based on the image information acquired by the image information acquisition unit 201. Specifically, the image generation unit 202 generates an image to be displayed on the display unit 214 based on the image information acquired by the image information acquisition unit 201.
  • the motion detection unit 203 detects the motion of the image from the image generated by the image generation unit 202. Specifically, the motion detection unit 203 detects the motion of the image by performing block matching between the image generated by the image generation unit 202 and the images of the frames before and after the generated image. For example, the motion detection unit 203 divides the image generated by the image generation unit 202 into a plurality of blocks, and calculates the difference between the position of each block and the most matching position around the block in the image of the previous and subsequent frames. Detect as motion.
  • the method of detecting image motion by the motion detection unit 203 is not limited to the above method.
  • the detection of the motion of the image may be performed by another known general method.
  • the motion detection unit 203 determines that the displayed image is an image in which a hold blur occurs (an image in which the screen is panned) when the motion of the detected image is in a substantially constant direction on the entire screen.
  • the amount of motion of the displayed image may be calculated.
  • the hold blur correction may not be performed.
  • the motion detection unit 203 detects the motion of the detected image on the entire screen, and does not detect the amount of motion of the image for an image in which the user does not follow the image and the hold blur does not occur. It is preferable that 212 does not perform image processing.
  • the motion detection unit 203 detects the amount of motion for a part of the image determined to be followed by the user, and the blur correction unit 212 is an image determined to be followed by the user. Image processing may be performed only on a part of them.
  • FIG. 7 is a flowchart illustrating an operation example of the information processing apparatus 2 according to the second embodiment of the present disclosure.
  • the image information displayed on the display unit 214 is acquired by the image information acquisition unit 201 (S200).
  • the image generation unit 202 generates an image to be displayed based on the acquired image information (S202).
  • the motion detection unit 203 detects the motion of the displayed image (204), and determines whether the image displayed from the detected motion of the image is an image that causes hold blur (S206).
  • the information processing apparatus 2 ends the operation.
  • the motion detection unit 203 determines that the displayed image is an image that causes hold blur (S206 / Yes)
  • the motion detection unit 203 detects the amount of motion of the displayed image (S208). ).
  • the device information acquisition unit 206 acquires device information including information related to the duty ratio of the display unit 214 (S210).
  • the blur function setting unit 208 generates an image to be displayed on the display unit 214 based on the amount of motion of the image detected by the motion detection unit 203 and the duty ratio of the display unit 214 acquired by the device information acquisition unit 206.
  • a blur function representing the amount of hold blur that occurs is set (S212).
  • the inverse blur function setting unit 210 sets an inverse blur function for performing inverse transformation of the blur function based on the blur function set by the blur function setting unit 208 (S214).
  • the blur correction unit 212 performs image processing based on the inverse blur function set by the inverse blur function setting unit 210 on the image generated by the image generation unit 202, and generates an image in which the hold blur is corrected.
  • the display unit 214 can display an image in which the hold blur is corrected by the blur correction unit 212 and the visibility is improved.
  • the information processing device 2 is based on the detected amount of movement of the image and the duty ratio of the display device when a video in which the entire screen moves in a certain direction (a video in which the screen is panned) is displayed.
  • a blur function that represents the amount of hold blur that occurs.
  • the information processing apparatus 2 can correct an image with an inverse blur function that performs an inverse transform of the blur function, and thus removes hold blur from the image displayed on the display unit 214, thereby improving image visibility. It is possible to improve.
  • FIG. 8 is a block diagram illustrating a hardware configuration example of the information processing apparatus 3 according to the first and second embodiments of the present disclosure.
  • Information processing by the information processing apparatus 3 according to the first and second embodiments is realized by cooperation of software and hardware.
  • the information processing apparatus 3 includes a CPU (Central Processing Unit) 300, a ROM (Read Only Memory) 302, a RAM (Random Access Memory) 304, a bridge 308, internal buses 306 and 310, and the like. , An interface 312, an input device 314, an output device 316, a storage device 318, a drive 320, a connection port 322, and a communication device 324.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 300 functions as an arithmetic processing device and a control device, and controls the overall operation in the information processing device 3 according to various programs.
  • the ROM 302 stores programs and calculation parameters used by the CPU 300, and the RAM 304 temporarily stores programs used in the execution of the CPU 300, parameters that change as appropriate during the execution, and the like.
  • the CPU 300 executes the functions of, for example, the image generation units 102 and 202, the motion detection unit 203, the blur function setting units 108 and 208, the inverse blur function setting units 110 and 210, and the blur correction units 112 and 212.
  • the CPU 300, ROM 302, and RAM 304 are connected to each other by a bridge 308, internal buses 306 and 310, and the like.
  • the CPU 300, ROM 302, and RAM 304 are also connected to the input device 314, output device 316, storage device 318, drive 320, connection port 322, and communication device 324 via the interface 312.
  • the input device 314 includes a device for a user to input information, such as a touch panel, and also includes an input control circuit for generating an input signal based on the input information and outputting it to the CPU 300.
  • the input device 314 performs the function of the input unit 100, for example.
  • the output device 316 includes a display device such as a liquid crystal display device or an organic EL display device. Further, the output device 316 may include an audio output device such as a speaker and headphones. The output device 316 executes the functions of the display units 114 and 214, for example.
  • the storage device 318 is a data storage device configured as an example of a storage unit of the information processing device 3.
  • the storage device 318 may include a storage medium, a storage device that stores data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes stored data.
  • the storage device 318 executes the function of the display image storage unit 104, for example.
  • the drive 320 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 3.
  • the drive 320 reads information stored in a mounted removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 304.
  • the drive 320 can also write information to a removable storage medium.
  • connection port 322 is a connection interface configured by a connection port for connecting an external connection device such as a USB (Universal Serial Bus) port, an optical audio terminal, or the like.
  • the connection port 322 executes the functions of the device information acquisition units 106 and 206 and the image information acquisition unit 201, for example.
  • the communication device 324 is, for example, a communication interface configured with a communication device or the like for connecting to the public network 4. Further, the communication device 324 may be a wireless LAN compatible communication device or a cable communication device that performs wired cable communication.
  • a storage medium storing the computer program is also provided.
  • the information processing apparatus sets a blur function representing hold blur generated in a displayed image based on the duty ratio of the display device, and performs inverse conversion of the blur function.
  • the image can be corrected by the inverse blur function.
  • the information processing apparatus can remove hold blur from the displayed image and improve the visibility of the image.
  • the display unit is a liquid crystal display device, an organic EL display device, or the like, but the technology according to the present disclosure is not limited to the above example.
  • the display unit may be a liquid crystal projector.
  • a blur function setting unit that sets a blur function that represents a blur amount of hold blur generated in an image displayed on the display device based on a duty ratio that represents a light emission ratio of the display device; Using the blur function, an inverse blur function setting unit for setting an inverse blur function for correcting hold blur occurring in the image;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the blur function setting unit sets a blur function based further on a motion amount of the image. (3) The image is scrolled by a user input operation, The information processing apparatus according to (2), wherein the movement amount of the image is a scroll amount of the image.
  • the information processing according to (2) further including a motion detection unit that acquires a motion amount of the image used for setting the blur function by detecting a motion of the image from an image displayed on the display device. apparatus.
  • a motion detection unit that acquires a motion amount of the image used for setting the blur function by detecting a motion of the image from an image displayed on the display device. apparatus.
  • the blur function setting unit sets a blur function based on a motion amount of the image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本発明は、表示装置にて表示される画像の視認性を向上させる情報処理装置、情報処理方法、およびプログラムを提供することを目的とする。表示装置（１１４）に表示される画像において発生するホールドボケのボケ量を表すボケ関数を前記表示装置の発光割合を表すデューティ比に基づいて設定するボケ関数設定部（１０８）と、前記ボケ関数を用いて、前記画像において発生するホールドボケを補正する逆ボケ関数を設定する逆ボケ関数設定部（１１０）と、を備える情報処理装置（１）。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　近年、表示装置の解像度がますます向上している。また、解像度向上に伴い、表示される画像の動きボケや輪郭のぼやけ等の画質低下を改善する技術も盛んに開発されている。
　例えば、特許文献１には、表示される画像の動きを検出することによって、画像が撮像された際に発生した撮像ボケを推定し、該撮像ボケを補正する技術が開示されている。また、特許文献２には、画像の一走査サイクル（フレームともいう）において画素の輝度を変化させることにより、ホールドボケと呼ばれる動きボケを抑制する技術が開示されている。
　ここで、ホールドボケとは、表示装置の映像をユーザが目で追ってしまうことにより発生する動きボケである。特にホールドボケは、液晶表示装置や有機エレクトロルミネッセンス表示装置（以下、有機ＥＬ表示装置）などのホールド表示型の表示装置にて顕著に発生する。
特開２００５－０４３８６４号公報 特開２００３－３１６３１８号公報
　しかし、特許文献１に開示された技術では、表示された画像にて発生するホールドボケを改善することは困難であった。また、特許文献２に開示された技術では、発生するホールドボケのボケ量を減少させることはできても、ホールドボケ自体を補正することは困難であった。
　そこで、本開示では、表示装置にて表示される画像において発生するホールドボケを補正し、表示される画像の視認性を向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、表示装置に表示される画像において発生するホールドボケのボケ量を表すボケ関数を前記表示装置の発光割合を表すデューティ比に基づいて設定するボケ関数設定部と、前記ボケ関数を用いて、前記画像において発生するホールドボケを補正する逆ボケ関数を設定する逆ボケ関数設定部と、を備える情報処理装置が提供される。
　また、本開示によれば、演算処理装置により、表示装置に表示される画像において発生するホールドボケのボケ量を表すボケ関数を前記表示装置の発光割合を表すデューティ比に基づいて設定することと、前記ボケ関数を用いて、前記画像において発生するホールドボケを補正する逆ボケ関数を設定することと、を含む情報処理方法が提供される。
　また、本開示によれば、コンピュータを表示装置に表示される画像において発生するホールドボケのボケ量を表すボケ関数を前記表示装置の発光割合を表すデューティ比に基づいて設定するボケ関数設定部と、前記ボケ関数を用いて、前記画像において発生するホールドボケを補正する逆ボケ関数を設定する逆ボケ関数設定部と、として機能させるプログラムが提供される。
　本開示によれば、表示装置に表示される画像に対して、画像が表示された場合に発生するホールドボケを補正する画像処理を施すことができる。
　以上説明したように本開示によれば、表示装置にて表示される画像の視認性を向上させることができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係る情報処理装置の外観例を示した説明図である。 同実施形態に係る情報処理装置の内部構成例を示したブロック図である。 学習型超解像技術を説明する説明図である。 同実施形態に係る情報処理装置の動作例を示したフローチャート図である。 本開示の第２の実施形態に係る情報処理装置の外観例を示した説明図である。 同実施形態に係る情報処理装置の内部構成例を示したブロック図である。 同実施形態に係る情報処理装置の動作例を示したフローチャート図である。 本開示の第１および第２の実施形態に係る情報処理装置のハードウェア構成例を示したブロック図である。 ホールドボケの発生機構を説明する説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．本開示に係る情報処理装置の概略
　２．第１の実施形態
　　２．１．情報処理装置の構成例
　　２．２．情報処理装置の動作例
　３．第２の実施形態
　　３．１．情報処理装置の構成例
　　３．２．情報処理装置の動作例
　４．情報処理装置のハードウェア構成例
　５．まとめ
　＜１．本開示に係る情報処理装置の概略＞
　まず、図９を参照して、本開示に係る情報処理装置により補正されるホールドボケについて説明する。図９は、ホールドボケの発生機構を説明する説明図である。
　なお、図９の（ａ）および（ｂ）で示す表示装置は、１フレーム（表示画像の一走査サイクルを意味する）の表示時間がｔｆ秒であり、１秒間に「１／ｔｆ」フレームの割合で画像を表示する。また、図９の（ａ）および（ｂ）で示す表示装置は、左から右へ移動している物体Ａを表示しているものとする。
　図９の（ａ）に示す表示方法は、ホールド型表示の表示方法である。ホールド型表示の表示方法では、１フレームの間、輝度を一定に保って画像を表示する。このようなホールド型表示の表示装置の具体例としては、液晶表示装置、有機ＥＬ表示装置などが挙げられる。
　一方、図９の（ｂ）で示す表示方法は、インパルス型表示の表示方法である。インパルス型表示の表示方法では、１フレームのうち一瞬だけ発光することにより画像を表示する。このようなインパルス型表示の表示装置の具体例としては、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）表示装置、表面伝導型電子放出素子表示装置（ＳＥＤ：Ｓｕｒｆａｃｅ－ｃｏｎｄｉｔｉｏｎ　Ｅｌｅｃｔｒｏｎ－ｅｍｉｔｔｅｒ　Ｄｉｓｐｌａｙ）などが挙げられる。
　ここで、ホールド型表示の表示方法では、１フレームの間、輝度を一定に保って画像を表示するが、人間の視覚は、時間分解能が低いため、各フレームにおいて物体Ａが表示された部分の輝度を平均化して認識してしまう（時間積分作用ともいう）。すなわち、人間の視覚では、物体Ａの輪郭部において、フレームが切り替わる際、あるフレームにて物体Ａが表示されていない部分の輝度と、前のフレームにて物体Ａが表示されている部分の輝度とを積分して認識してしまう。そのため、人間の視覚には、物体Ａの輪郭部が、物体Ａが表示されていない部分にも広がっているように認識されるため、物体Ａの輪郭部がぼやけているように認識されてしまう。
　一方、インパルス型表示の表示方法では、１フレームのうち一瞬だけ発光して画像を表示するため、１フレームにおいて輝度は一定に保たれない。そのため、インパルス型表示の表示装置では、フレームが切り替わる際には、前のフレームにて物体Ａが表示されている部分は消光しており、何も表示されていない状態になっている。したがって、次のフレームにて物体Ａが表示されていない部分に対して、前のフレームにて物体Ａが表示されていた部分が影響を与えないため、物体Ａの輪郭部はぼやけず、動きボケが発生しない。
　また、人間の視覚は、視野の中心が最も視力が高いため、本能的に動く物体を視野の中心に捉えようとする（追従視ともいう）。そのため、画面上に左から右へ動く物体Ａが表示されている場合、人間は、物体Ａの動きに追従して視野を動かし、物体Ａの動きが連続的であると知覚する。しかしながら、ホールド型表示の表示装置は、限られたフレーム数で画像を表示するため、表示される物体Ａの動きは段階的で不連続である。この表示装置で表示される物体Ａの動きと、人間の知覚が認識した物体Ａの動きとが不一致であるため、認識との差により動きボケが発生する。
　ホールド型表示の表示装置では、以上説明した時間積分作用による動きボケと、追従視による動きボケが合わさった動きボケが発生する。このホールド型表示に起因する動きボケがホールドボケである。
　そこで、ホールド型表示の表示装置において、ホールド型表示の表示方法をインパルス型表示に近づけることにより、発生するホールドボケのボケ量を抑制することが提案されている。例えば、ホールド型表示における１フレームの発光割合（デューティ比ともいう）を１００％から減少させ、１フレームの一部の時間を消灯状態にすることにより、ホールドボケのボケ量を抑制することが提案されている。具体的には、１フレームの５０％を発光状態、残り５０％を消灯状態にし、表示装置のデューティ比を５０％にすることにより、ホールドボケのボケ量を抑制することが提案されている。しかしながら、この方法では、発生するホールドボケのボケ量を減少させることはできても、ホールドボケ自体をなくすことはできなかった。特に、インパルス型表示ではデューティ比は限りなく０に近いため、ホールド型表示においてデューティ比を５０％等に減少させたとしてもボケ量の減少幅には限界があった。また、表示装置のデューティ比を低下させることにより、画面の明るさやコントラストが低下してしまっていた。
　また、ホールド型表示における１秒間のフレーム数（フレームレートともいう）を増加させることで、フレーム間における物体の移動量を減少させ、ホールドボケのボケ量を抑制することが提案されている。具体的には、各フレームの画像に基づいて、フレーム間の画像を生成し、１秒間のフレーム数を２～４倍等に増加させることにより、ホールドボケのボケ量を抑制することが提案されている。しかしながら、この方法では、フレーム間の画像生成に多大な演算処理が必要であるため、演算処理装置の性能の制限からホールドボケのボケ量の減少には限界があった。
　そこで、本開示に係る技術の発明者らは、上記事情を鑑みて鋭意検討を重ねた結果、本開示に係る技術を想到するに至った。本開示に係る情報処理装置は、表示装置のデューティ比に基づいて、表示される画像にて発生するホールドボケを表すボケ関数を設定し、該ボケ関数の逆変換を行う逆ボケ関数を用いて画像処理を施すことにより、表示される画像のホールドボケを補正するものである。
　すなわち、本開示に係る情報処理装置は、表示される画像にあらかじめホールドボケを相殺する画像処理を施すことにより、表示された画像を知覚したユーザにはホールドボケが除去されたように認識される画像を生成することができる。これによれば、本開示に係る情報処理装置は、表示される画像からホールドボケを除去し、画像の視認性を向上させることが可能である。
　以下では、このような本開示に係る情報処理装置について、第１の実施形態および第２の実施形態に分けて説明する。
　＜２．第１の実施形態＞
　［２．１．情報処理装置の構成例］
　まず、図１および２を参照して、本開示の第１の実施形態に係る情報処理装置１について説明する。図１は、本開示の第１の実施形態に係る情報処理装置１の外観例を示した説明図であり、図２は、本開示の第１の実施形態に係る情報処理装置１の内部構成例を示したブロック図である。
　図１に示すように、本開示の第１の実施形態に係る情報処理装置１は、例えば、スクロール操作が可能なスマートフォン、タブレット端末、およびパーソナルコンピュータ等の表示入力装置である。
　このような情報処理装置１において、ページをスクロールして項目を早送り表示させる場合、画面全体が一定の方向に動くため、ユーザが早送りされる画像を目で追ってしまい、ホールドボケが発生する。本開示の第１の実施形態に係る情報処理装置１では、画像をスクロール表示する際に発生するホールドボケを表すボケ関数を設定し、該ボケ関数の逆変換を行う画像処理を画像に対して施す。このような構成により、情報処理装置１は、スクロールされた画像をユーザが目で追った場合に発生するホールドボケを補正することができるため、ホールドボケが除去されて視認性が向上した画像をユーザに対して表示することができる。
　次に、図２を参照して、本開示の第１の実施形態に係る情報処理装置１の内部構成について説明する。
　本開示の第１の実施形態に係る情報処理装置１は、入力部１００と、画像生成部１０２と、表示画像記憶部１０４と、装置情報取得部１０６と、ボケ関数設定部１０８と、逆ボケ関数設定部１１０と、ボケ補正部１１２と、表示部１１４とを備える。
　なお、情報処理装置１は、入力部１００、画像生成部１０２、表示画像記憶部１０４、および表示部１１４を備えていなくともよい。例えば、情報処理装置１は、外部接続された表示装置に表示される画像のホールドボケを補正するものであってもよい。また、情報処理装置１は、外部接続された入力装置によってスクロールを指示する操作が入力されるものであってもよい。さらに、情報処理装置１は、外部の情報処理装置によって生成された画面に対して、発生するホールドボケの補正方法を導出する情報処理装置であってもよい。
　入力部１００は、ユーザからスクロールを指示する入力操作を受け付ける。具体的には、入力部１００は、ユーザがスクロールを指示する操作をすることができる入力装置と、ユーザによる入力に基づいて入力信号を生成し、出力する入力制御回路などから構成される。例えば、入力部１００は、タッチパネルなどであってもよく、また、スクロールを指示する入力操作が可能であれば、マウス、トラックボール、回転ホイール、ジョグダイヤル、リング状のダイヤル、十字キー、モーションセンサ、ジャイロセンサや加速度センサなどの姿勢センサなどであってもよい。
　画像生成部１０２は、表示部１１４に表示される画像を生成する。具体的には、画像生成部１０２は、表示画像記憶部１０４に記憶される各種アプリケーション、各種ファイル、または接続した公衆網（図示せず）から取得した各種Ｗｅｂページ情報に基づいて、表示部１１４に表示される画像を生成する。また、画像生成部１０２は、入力部１００から入力されたスクロールを指示する操作に基づいて、表示部１１４に表示される画像のスクロール量を算出し、スクロールされた際の画像を生成する。
　表示画像記憶部１０４は、画像生成部１０２が画像を生成する際に用いる各種アプリケーション、および各種ファイルなどの画面情報を記憶する。具体的には、表示画像記憶部１０４は、情報処理装置１に備えられたデータ格納用の記憶部であり、例えば、表示画像記憶部１０４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）装置、フラッシュメモリなどであってもよい。
　装置情報取得部１０６は、表示部１１４を構成する表示装置に関する情報を取得する。具体的には、装置情報取得部１０６は、表示部１１４の種類に関する情報（例えば、液晶表示装置か、有機ＥＬ表示装置かなど）、表示部１１４のデューティ比に関する情報、表示部１１４の１秒間のフレーム数に関する情報、表示部１１４の応答性能に関する情報、表示部１１４の明るさに関する情報などを取得する。
　なお、情報処理装置１が表示部１１４を備えている場合、装置情報取得部１０６は、表示部１１４、または表示部１１４の設定を記憶している記憶部から上記の情報を取得してもよい。また、情報処理装置１が表示部１１４を備えていない場合、装置情報取得部１０６は、外部接続された表示装置から、通信等によって上記の情報を取得してもよい。
　ボケ関数設定部１０８は、表示部１１４に表示される画像にて発生するホールドボケのボケ量を表すボケ関数を設定する。具体的には、ボケ関数設定部１０８は、少なくとも装置情報取得部１０６によって取得された表示部１１４のデューティ比に基づいて、発生するホールドボケのボケ量を表すボケ関数を設定する。また、ボケ関数設定部１０８は、さらに画像生成部１０２によって算出された画像のスクロール量に基づいて、ボケ関数を設定してもよい。
　例えば、ボケ関数設定部１０８は、ボケ関数が移動平均フィルタであると仮定してボケ関数を設定してもよい。具体的には、ホールドボケによるボケ量は、画像の移動量（すなわち、画像のスクロール量）、および表示部１１４のデューティ比の積に比例する。そのため、ボケ関数設定部１０８は、画像のスクロール量と表示部１１４のデューティ比との積のタップ数を有する移動平均フィルタをボケ関数としてもよい。
　より詳細には、画像のスクロール量を「Ｓ」、表示部１１４のデューティ比を「Ｄ」とした場合、発生するホールドボケのボケ量「Ｂ」は、「Ｂ＝Ｓ×Ｄ」で表される。したがって、ボケ関数設定部１０８は、タップ数が「Ｂ」、係数が「１／Ｂ」の移動平均フィルタをボケ関数として設定してもよい。
　なお、ボケ関数設定部１０８によるボケ関数の設定方法は、上記の方法に限定されない。ボケ関数は、他の公知の一般的な方法により設定されてもよい。
　逆ボケ関数設定部１１０は、ボケ関数設定部１０８が設定したボケ関数に基づいて、表示部１１４に表示される画像にて発生するホールドボケを補正する逆ボケ関数を設定する。具体的には、逆ボケ関数設定部１１０は、ボケ関数設定部１０８が設定したボケ関数の逆変換を行う関数を導出し、逆ボケ関数として設定する。
　例えば、逆ボケ関数設定部１１０は、ボケ関数設定部１０８が設定したボケ関数に基づいて該ボケ関数を表す行列式を導出し、該ボケ関数を表す行列式の逆行列で表される関数を逆ボケ関数として設定してもよい。
　また、逆ボケ関数設定部１１０は、学習型超解像技術を用いることにより、ボケ関数設定部１０８が設定したボケ関数から逆ボケ関数を設定してもよい。
　ここで、図３を参照して、学習型超解像技術について説明する。図３は学習型超解像技術を説明する説明図である。
　図３に示すように、まず、画像生成部１０２が生成した生成画像を教師画像とし、生成画像に対してボケ関数をかけたホールドボケ画像を生徒画像とする。これらの教師画像および生徒画像の画像対を逆ボケ関数の導出に十分な数用意する。次に、逆ボケ関数設定部１１０は、生徒画像の一部をタップとして切り出して周辺画素値ｘｉにフィルタ係数ｗｉをかけて和を取った予測画素値ｙと、生徒画像の切り出したタップに対応する位置の教師画像の画素値（教師画素値ｔ）とを比較する。ここで、逆ボケ関数設定部１１０は、予測画素値ｙと、教師画素値ｔとの誤差が最小となるように機械学習にてフィルタ係数ｗｉを算出する。誤差が最小となるように算出されたフィルタ係数ｗｉが、生徒画像（ホールドボケ画像）から教師画像（ホールドボケがない元の生成画像）を算出する逆ボケ関数のフィルタ係数ｗｉとなる。
　なお、逆ボケ関数設定部１１０による逆ボケ関数の設定方法は、上記の方法に限定されない。逆ボケ関数は、他の公知の一般的な方法により設定されてもよい。
　ボケ補正部１１２は、画像生成部１０２が生成した画像に対してホールドボケを補正する画像処理を施す。具体的には、ボケ補正部１１２は、逆ボケ関数設定部１１０が設定した逆ボケ関数を用いて、画像生成部１０２が生成した画像に対して画像処理を施し、表示部１１４が表示する画像を生成する。
　なお、ボケ関数設定部１０８、および逆ボケ関数設定部１１０は、画像生成部１０２が生成した画像の各フレームに対して、それぞれボケ関数および逆ボケ関数を設定する。また、ボケ補正部１１２は、それぞれ設定された逆ボケ関数を用いて、画像生成部１０２が生成した画像の各フレームに対してホールドボケを補正する画像処理を施す。
　表示部１１４は、画像生成部１０２が生成し、ボケ補正部１１２がホールドボケを補正する画像処理を施した画像を表示する。具体的には、表示部１１４は、ホールド表示型の表示装置である。表示部１１４は、例えば、表示部１１４は、液晶表示装置、および有機ＥＬ表示装置などであってもよい。
　［２．２．情報処理装置の動作例］
　続いて、図４を参照して、本開示の第１の実施形態に係る情報処理装置１の動作例について説明する。図４は、本開示の第１の実施形態に係る情報処理装置１の動作例を示したフローチャート図である。
　図４に示すように、まず、入力部１００によりスクロールを指示する操作が入力される（Ｓ１００）。次に、画像生成部１０２は、入力部１００から入力されたスクロール操作に基づいて、表示される画像に対するスクロール量を算出する（Ｓ１０２）。続いて、装置情報取得部１０６は、表示部１１４のデューティ比に関する情報を含む装置情報を取得する（Ｓ１０４）。
　ここで、ボケ関数設定部１０８は、画像生成部１０２によって算出された画像のスクロール量と、装置情報取得部１０６が取得した表示部１１４のデューティ比に基づいて、表示部１１４が表示する画像にて発生するホールドボケのボケ量を表すボケ関数を設定する（Ｓ１０６）。次に、逆ボケ関数設定部１１０は、ボケ関数設定部１０８が設定したボケ関数に基づいて、ボケ関数の逆変換を行う逆ボケ関数を設定する（Ｓ１０８）。続いて、ボケ補正部１１２は、画像生成部１０２が生成した画像に対して、逆ボケ関数設定部１１０が設定した逆ボケ関数に基づいた画像処理を施し、ホールドボケが補正された画像を生成する（Ｓ１１０）。これにより、表示部１１４は、ボケ補正部１１２によりホールドボケが補正され、視認性が向上した画像を表示することができる。
　以上説明したように、情報処理装置１は、表示される画像がスクロールされる場合に、算出した画像のスクロール量、および表示装置のデューティ比に基づいて、表示される画像にて発生するホールドボケのボケ量を表すボケ関数を設定する。この構成により、情報処理装置１は、該ボケ関数の逆変換を行う逆ボケ関数によって画像を補正することができるため、表示部１１４に表示される画像からホールドボケを除去し、画像の視認性を向上させることが可能である。
　＜３．第２の実施形態＞
　［３．１．情報処理装置の構成例］
　次に、図５および６を参照して、本開示の第２の実施形態に係る情報処理装置２について説明する。図５は、本開示の第２の実施形態に係る情報処理装置２の外観例を示した説明図であり、図６は、本開示の第２の実施形態に係る情報処理装置２の内部構成例を示したブロック図である。
　図５に示すように、本開示の第２の実施形態に係る情報処理装置２は、例えば、動画を表示することが可能なテレビ等の表示装置である。
　このような情報処理装置２において、風景の画像が表示される場合など、画面全体が一定の方向に動くような撮影がされた（いわゆる、画面がパンされた）映像が表示される場合がある。このような場合においても、第１の実施形態と同様に画面全体が一定の方向に動くため、ユーザが画像を目で追ってしまい、ホールドボケが発生する。
　本開示の第２の実施形態に係る情報処理装置２は、入力された画像情報から画像の動きを検出し、検出した画像の動きからホールドボケが発生すると判断した場合に、発生するホールドボケを補正する画像処理を画像に対して施す。この構成により、本開示の第２の実施形態に係る情報処理装置２は、第１の実施形態と同様に、ユーザが一定方向に動く映像を目で追った場合に発生するホールドボケを補正し、映像の視認性を向上させることができる。
　次に、図６を参照して、本開示の第２の実施形態に係る情報処理装置２の内部構成について説明する。
　本開示の第２の実施形態に係る情報処理装置２は、画像情報取得部２０１と、画像生成部２０２と、動き検出部２０３と、装置情報取得部２０６と、ボケ関数設定部２０８と、逆ボケ関数設定部２１０と、ボケ補正部２１２と、表示部２１４とを備える。
　なお、装置情報取得部２０６、ボケ関数設定部２０８、逆ボケ関数設定部２１０、ボケ補正部２１２、および表示部２１４は、第１の実施形態にて説明した装置情報取得部１０６、ボケ関数設定部１０８、逆ボケ関数設定部１１０、ボケ補正部１１２、および表示部１１４と実質的に同様であるので、ここでの説明は省略する。
　画像情報取得部２０１は、表示部２１４に表示される画像の情報を取得する。具体的には、画像情報取得部２０１は、チューナまたは外部接続装置から表示部２１４に表示される画像の情報を取得する接続インターフェースである。例えば、画像情報取得部２０１は、ＲＣＡ端子、ＶＧＡ（Ｖｅｄｅｏ　Ｇｒａｐｈｉｃｓ　Ａｒｒａｙ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｉｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）端子、および光オーディオ端子などの接続インターフェースであってもよい。
　画像生成部２０２は、画像情報取得部２０１が取得した画像情報に基づいて画像を生成する。具体的には、画像生成部２０２は、画像情報取得部２０１が取得した画像情報に基づいて、表示部２１４に表示される画像を生成する。
　動き検出部２０３は、画像生成部２０２が生成した画像から画像の動きを検出する。具体的には、動き検出部２０３は、画像生成部２０２が生成した画像と、生成された画像の前後のフレームの画像との間でブロックマッチングを行うことにより、画像の動きを検出する。例えば、動き検出部２０３は、画像生成部２０２が生成した画像を複数のブロックに分割し、各ブロックの位置と、前後のフレームの画像において該ブロックの周辺で最もマッチングする位置との差分をブロックの動きとして検出する。
　なお、動き検出部２０３による画像の動きの検出方法は、上記の方法に限定されない。画像の動きの検出は、他の公知の一般的な方法により行われてもよい。
　また、動き検出部２０３は、検出した画像の動きが画面全体でほぼ一定の方向である場合、表示される画像はホールドボケが発生する画像（いわゆる画面がパンされた画像）であると判断し、表示される画像の動き量を算出してもよい。一方、検出した画像の動きが画面全体で異なる方向である場合、表示される画像はホールドボケが発生しない画像（いわゆる通常の画像）であると判断し、表示される画像の動き量を算出せず、ホールドボケの補正が行われないようにしてもよい。
　ここで、画面全体が一定の方向に動かない画像については、ユーザが画像を目で追わないため、ホールドボケは発生しない。このようなホールドボケが発生しない画像に対してボケ補正部２１２が画像処理を施した場合、画像の画質をかえって低下させてしまう可能性がある。そのため、動き検出部２０３は、検出した画像の動きが画面全体で異なり、ユーザが画像を目で追わずホールドボケが発生しない画像に対しては、画像の動き量を検出せず、ボケ補正部２１２が画像処理を施さないようにすることが好ましい。
　ただし、画面全体が一定の方向に動かない画像であっても、ユーザが画像内の一部を目で追ってしまう場合には、ホールドボケが発生する可能性がある。このような場合、動き検出部２０３は、ユーザが目で追うと判断される画像内の一部に対して動き量を検出し、ボケ補正部２１２は、ユーザが目で追うと判断される画像内の一部に対してのみ画像処理を施してもよい。
　［３．２．情報処理装置の動作例］
　続いて、図７を参照して、本開示の第２の実施形態に係る情報処理装置２の動作例について説明する。図７は、本開示の第２の実施形態に係る情報処理装置２の動作例を示したフローチャート図である。
　図７に示すように、まず、画像情報取得部２０１により表示部２１４に表示される画像情報が取得される（Ｓ２００）。次に、画像生成部２０２は、取得した画像情報に基づいて、表示される画像を生成する（Ｓ２０２）。続いて、動き検出部２０３は、表示される画像の動きを検出し（２０４）、検出した画像の動きから表示される画像はホールドボケが発生する画像か否かを判断する（Ｓ２０６）。動き検出部２０３により、表示される画像はホールドボケが発生しない画像であると判断された場合（Ｓ２０６／Ｎｏ）、情報処理装置２は動作を終了する。
　一方、動き検出部２０３により、表示される画像はホールドボケが発生する画像であると判断された場合（Ｓ２０６／Ｙｅｓ）、動き検出部２０３は、表示される画像の動き量を検出する（Ｓ２０８）。続いて、装置情報取得部２０６は、表示部２１４のデューティ比に関する情報を含む装置情報を取得する（Ｓ２１０）。
　ここで、ボケ関数設定部２０８は、動き検出部２０３により検出された画像の動き量と、装置情報取得部２０６が取得した表示部２１４のデューティ比に基づいて、表示部２１４が表示する画像にて発生するホールドボケのボケ量を表すボケ関数を設定する（Ｓ２１２）。次に、逆ボケ関数設定部２１０は、ボケ関数設定部２０８が設定したボケ関数に基づいて、ボケ関数の逆変換を行う逆ボケ関数を設定する（Ｓ２１４）。続いて、ボケ補正部２１２は、画像生成部２０２が生成した画像に対して、逆ボケ関数設定部２１０が設定した逆ボケ関数に基づいた画像処理を施し、ホールドボケが補正された画像を生成する（Ｓ２１６）。これにより、表示部２１４は、ボケ補正部２１２によりホールドボケが補正され、視認性が向上した画像を表示することができる。
　以上説明したように、情報処理装置２は、画面全体が一定方向に動く映像（画面がパンされた映像）が表示される場合に、検出した画像の動き量、および表示装置のデューティ比に基づいて、発生するホールドボケのボケ量を表すボケ関数を設定することができる。この構成により、情報処理装置２は、該ボケ関数の逆変換を行う逆ボケ関数によって画像を補正することができるため、表示部２１４に表示される画像からホールドボケを除去し、画像の視認性を向上させることが可能である。
　＜４．情報処理装置のハードウェア構成例＞
　以下では、図８を参照して、本開示の第１および第２の実施形態に係る情報処理装置にて共通のハードウェア構成例について説明する。図８は、本開示の第１および第２の実施形態に係る情報処理装置３のハードウェア構成例を示したブロック図である。なお、第１および第２の実施形態に係る情報処理装置３による情報処理は、ソフトウェアとハードウェアとの協働によって実現される。
　図８に示すように、情報処理装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３００と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０４と、ブリッジ３０８と、内部バス３０６および３１０と、インターフェース３１２と、入力装置３１４と、出力装置３１６と、ストレージ装置３１８と、ドライブ３２０と、接続ポート３２２と、通信装置３２４と、を備える。
　ＣＰＵ３００は、演算処理装置および制御装置として機能し、各種プログラムに従って、情報処理装置３内の動作全般を制御する。ＲＯＭ３０２は、ＣＰＵ３００が使用するプログラム、演算パラメータを記憶し、ＲＡＭ３０４は、ＣＰＵ３００の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ３００は、例えば、画像生成部１０２および２０２、動き検出部２０３、ボケ関数設定部１０８および２０８、逆ボケ関数設定部１１０および２１０、ボケ補正部１１２および２１２の機能を実行する。
　これらＣＰＵ３００、ＲＯＭ３０２およびＲＡＭ３０４は、ブリッジ３０８、内部バス３０６および３１０等により相互に接続されている。また、ＣＰＵ３００、ＲＯＭ３０２およびＲＡＭ３０４は、インターフェース３１２を介して入力装置３１４、出力装置３１６、ストレージ装置３１８、ドライブ３２０、接続ポート３２２、および通信装置３２４とも接続されている。
　入力装置３１４は、タッチパネルなどのユーザが情報を入力するための装置を含み、また、入力された情報に基づいて入力信号を生成し、ＣＰＵ３００に出力するための入力制御回路なども含む。入力装置３１４は、例えば、入力部１００の機能を実行する。
　出力装置３１６は、例えば、液晶表示装置、有機ＥＬ表示装置などの表示装置を含む。さらに、出力装置３１６は、スピーカおよびヘッドホンなどの音声出力装置を含んでもよい。出力装置３１６は、例えば、表示部１１４および２１４の機能を実行する。
　ストレージ装置３１８は、情報処理装置３の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置３１８は、記憶媒体、記憶媒体にデータを記憶する記憶装置、記憶媒体からデータを読み出す読み出し装置、および記憶されたデータを削除する削除装置を含んでもよい。ストレージ装置３１８は、例えば、表示画像記憶部１０４の機能を実行する。
　ドライブ３２０は、記憶媒体用リードライタであり、情報処理装置３に内蔵、または外付けされる。ドライブ３２０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記憶されている情報を読み出して、ＲＡＭ３０４に出力する。また、ドライブ３２０は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート３２２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、光オーディオ端子等のような外部接続機器を接続するための接続ポートで構成された接続インターフェースである。接続ポート３２２は、例えば、装置情報取得部１０６および２０６、画像情報取得部２０１の機能を実行する。
　通信装置３２４は、例えば、公衆網４に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置３２４は、無線ＬＡＮ対応通信装置であっても、有線によるケーブル通信を行うケーブル通信装置であってもよい。
　また、情報処理装置３に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを上述した第１および第２の実施形態に係る情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
　＜５．まとめ＞
　以上説明したように、本開示に係る情報処理装置は、表示装置のデューティ比に基づいて、表示される画像にて発生するホールドボケを表すボケ関数を設定し、該ボケ関数の逆変換を行う逆ボケ関数によって画像を補正することができる。これにより、本開示に係る情報処理装置は、表示される画像からホールドボケを除去し、画像の視認性を向上させることが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、例えば、上記実施形態では、表示部は、液晶表示装置、有機ＥＬ表示装置などであるとしたが、本開示に係る技術は、上記の例に限定されない。例えば、表示部は、液晶プロジェクタなどであってもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　表示装置に表示される画像において発生するホールドボケのボケ量を表すボケ関数を前記表示装置の発光割合を表すデューティ比に基づいて設定するボケ関数設定部と、
　前記ボケ関数を用いて、前記画像において発生するホールドボケを補正する逆ボケ関数を設定する逆ボケ関数設定部と、
を備える情報処理装置。
（２）
　前記ボケ関数設定部は、前記画像の動き量にさらに基づいてボケ関数を設定する、前記（１）に記載の情報処理装置。
（３）
　前記画像は、ユーザの入力操作によってスクロールされ、
　前記画像の動き量は、前記画像のスクロール量である、前記（２）に記載の情報処理装置。
（４）
　前記表示装置に表示される画像から前記画像の動きを検出することで、前記ボケ関数の設定に用いる前記画像の動き量を取得する動き検出部をさらに備える、前記（２）に記載の情報処理装置。
（５）
　前記動き検出部が検出した前記画像の動きが画像全体にて一定である場合、
　前記ボケ関数設定部は、前記画像の動き量に基づいてボケ関数を設定する、前記（４）に記載の情報処理装置。
（６）
　前記表示装置のデューティ比を含む装置情報を取得する装置情報取得部をさらに備える、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記ボケ関数設定部は、前記表示装置のデューティ比と、前記画像の動き量との積に基づいてボケ関数を設定する、前記（２）～（５）のいずれか一項に記載の情報処理装置。
（８）
　逆ボケ関数設定部は、前記ボケ関数の逆変換を行う関数を前記逆ボケ関数として設定する、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　演算処理装置により、表示装置に表示される画像において発生するホールドボケのボケ量を表すボケ関数を前記表示装置の発光割合を表すデューティ比に基づいて設定することと、
　前記ボケ関数を用いて、前記画像において発生するホールドボケを補正する逆ボケ関数を設定することと、
を含む情報処理方法。
（１０）
　コンピュータを
　表示装置に表示される画像において発生するホールドボケのボケ量を表すボケ関数を前記表示装置の発光割合を表すデューティ比に基づいて設定するボケ関数設定部と、
　前記ボケ関数を用いて、前記画像において発生するホールドボケを補正する逆ボケ関数を設定する逆ボケ関数設定部と、
として機能させるプログラム。
　１、２　　　　情報処理装置
　１００　　　　入力部
　１０２、２０２　　画像生成部
　１０４　　　　表示画像記憶部
　１０６、２０６　　装置情報取得部
　１０８、２０８　　ボケ関数設定部
　１１０、２１０　　逆ボケ関数設定部
　１１２、２１２　　ボケ補正部
　１１４、２１４　　表示部
　２０１　　　　画像情報取得部
　２０３　　　　動き検出部

Claims (10)

  1. 　表示装置に表示される画像において発生するホールドボケのボケ量を表すボケ関数を前記表示装置の発光割合を表すデューティ比に基づいて設定するボケ関数設定部と、
    　前記ボケ関数を用いて、前記画像において発生するホールドボケを補正する逆ボケ関数を設定する逆ボケ関数設定部と、
    を備える情報処理装置。
  2. 　前記ボケ関数設定部は、前記画像の動き量にさらに基づいてボケ関数を設定する、請求項１に記載の情報処理装置。
  3. 　前記画像は、ユーザの入力操作によってスクロールされ、
    　前記画像の動き量は、前記画像のスクロール量である、請求項２に記載の情報処理装置。
  4. 　前記表示装置に表示される画像から前記画像の動きを検出することで、前記ボケ関数の設定に用いる前記画像の動き量を取得する動き検出部をさらに備える、請求項２に記載の情報処理装置。
  5. 　前記動き検出部が検出した前記画像の動きが画像全体にて一定である場合、
    　前記ボケ関数設定部は、前記画像の動き量に基づいてボケ関数を設定する、請求項４に記載の情報処理装置。
  6. 　前記表示装置のデューティ比を含む装置情報を取得する装置情報取得部をさらに備える、請求項１に記載の情報処理装置。
  7. 　前記ボケ関数設定部は、前記表示装置のデューティ比と、前記画像の動き量との積に基づいてボケ関数を設定する、請求項２に記載の情報処理装置。
  8. 　逆ボケ関数設定部は、前記ボケ関数の逆変換を行う関数を前記逆ボケ関数として設定する、請求項１に記載の情報処理装置。
  9. 　演算処理装置により、表示装置に表示される画像において発生するホールドボケのボケ量を表すボケ関数を前記表示装置の発光割合を表すデューティ比に基づいて設定することと、
    　前記ボケ関数を用いて、前記画像において発生するホールドボケを補正する逆ボケ関数を設定することと、
    を含む情報処理方法。
  10. 　コンピュータを
    　表示装置に表示される画像において発生するホールドボケのボケ量を表すボケ関数を前記表示装置の発光割合を表すデューティ比に基づいて設定するボケ関数設定部と、
    　前記ボケ関数を用いて、前記画像において発生するホールドボケを補正する逆ボケ関数を設定する逆ボケ関数設定部と、
    として機能させるプログラム。
PCT/JP2015/056312 2014-05-30 2015-03-04 情報処理装置、情報処理方法、およびプログラム WO2015182201A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-112383 2014-05-30
JP2014112383 2014-05-30

Publications (1)

Publication Number Publication Date
WO2015182201A1 true WO2015182201A1 (ja) 2015-12-03

Family

ID=54698543

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/056312 WO2015182201A1 (ja) 2014-05-30 2015-03-04 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2015182201A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003177726A (ja) * 2001-12-13 2003-06-27 Seiko Epson Corp 画像処理システム、プログラムおよび情報記憶媒体
WO2004053826A1 (ja) * 2002-12-06 2004-06-24 Sharp Kabushiki Kaisha 液晶表示装置
JP2005527854A (ja) * 2002-05-28 2005-09-15 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ デューティサイクルの変化におけるモーションブラーの減少
JP2010014879A (ja) * 2008-07-02 2010-01-21 Sony Corp 係数生成装置および方法、画像生成装置および方法、並びにプログラム
JP2011075637A (ja) * 2009-09-29 2011-04-14 Lg Display Co Ltd Ｏｌｅｄ表示装置
JP2012078590A (ja) * 2010-10-01 2012-04-19 Canon Inc 画像表示装置及びその制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003177726A (ja) * 2001-12-13 2003-06-27 Seiko Epson Corp 画像処理システム、プログラムおよび情報記憶媒体
JP2005527854A (ja) * 2002-05-28 2005-09-15 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ デューティサイクルの変化におけるモーションブラーの減少
WO2004053826A1 (ja) * 2002-12-06 2004-06-24 Sharp Kabushiki Kaisha 液晶表示装置
JP2010014879A (ja) * 2008-07-02 2010-01-21 Sony Corp 係数生成装置および方法、画像生成装置および方法、並びにプログラム
JP2011075637A (ja) * 2009-09-29 2011-04-14 Lg Display Co Ltd Ｏｌｅｄ表示装置
JP2012078590A (ja) * 2010-10-01 2012-04-19 Canon Inc 画像表示装置及びその制御方法

Similar Documents

Publication Publication Date Title
JP5131509B2 (ja) 画像表示装置、該画像表示装置に用いられる駆動回路及び駆動方法
US8311392B2 (en) Image processing apparatus, image processing method, and storage medium
JP2008076644A (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP2007155840A5 (ja)
US8830257B2 (en) Image displaying apparatus
JP2012513719A (ja) 画像スケーリング曲線の生成
WO2019229906A1 (ja) 画像生成装置、画像表示システム、画像生成方法およびコンピュータプログラム
US20150097976A1 (en) Image processing device and image processing method
US9215353B2 (en) Image processing device, image processing method, image display device, and image display method
JP2011250394A (ja) 画像処理装置及びその制御方法
US9799108B2 (en) Image processing apparatus, image processing method, and storage medium
JP2009109694A (ja) 表示装置
JP2008096521A (ja) 映像表示装置
US9159287B2 (en) Image display apparatus and image display method
JP2016109828A (ja) 画像処理装置、画像処理方法及びプログラム
US20130235061A1 (en) Video processing apparatus and system for correcting video signal
JP5197152B2 (ja) 液晶駆動装置、液晶表示装置および駆動方法
JP5015089B2 (ja) フレームレート変換装置、フレームレート変換方法、テレビジョン受像機、フレームレート変換プログラムおよび該プログラムを記録した記録媒体
WO2015182201A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US8879864B2 (en) Generating sub-frame images for driving display
JP2008139828A (ja) 画像処理装置、画像処理方法、電気光学装置及び電子機器
JP2010154132A (ja) ガンマ補正回路およびガンマ補正方法
JP2009258269A (ja) 画像表示装置
JP6320022B2 (ja) 映像表示装置、映像表示装置の制御方法及びプログラム
US20110109795A1 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15800346

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15800346

Country of ref document: EP

Kind code of ref document: A1