WO2019103427A1 - 이미지를 처리하는 방법, 디바이스 및 기록매체 - Google Patents

이미지를 처리하는 방법, 디바이스 및 기록매체 Download PDF

Info

Publication number
WO2019103427A1
WO2019103427A1 PCT/KR2018/014249 KR2018014249W WO2019103427A1 WO 2019103427 A1 WO2019103427 A1 WO 2019103427A1 KR 2018014249 W KR2018014249 W KR 2018014249W WO 2019103427 A1 WO2019103427 A1 WO 2019103427A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
original
blur
user
Prior art date
Application number
PCT/KR2018/014249
Other languages
English (en)
French (fr)
Inventor
김정범
이성길
안상준
정유나
최수렴
노유리
박소영
최윤지
Original Assignee
삼성전자 주식회사
성균관대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사, 성균관대학교 산학협력단 filed Critical 삼성전자 주식회사
Priority to US16/758,305 priority Critical patent/US11252400B2/en
Publication of WO2019103427A1 publication Critical patent/WO2019103427A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0257—Reduction of after-image effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve

Definitions

  • the disclosed embodiments relate to a method of processing an image, a device for processing an image, and a recording medium on which a program for performing a method of processing an image is recorded.
  • VR virtual reality
  • HMD Head Mount Display
  • a method, device, and recording medium for processing an image for eliminating motion blur due to a residual image by predicting and calculating an accumulated value of a residual image caused by a user's perception characteristic and processing the image based on the calculated cumulative value.
  • a method for processing an image in a device that obtains a plurality of blur compensated images for blur elimination caused by an afterimage and outputs a plurality of acquired blur compensated images is disclosed.
  • FIG. 1 is a diagram for explaining motion blur generated due to a residual image of a user's eye when outputting a video in a device.
  • FIG. 2 is a graph for explaining a comparison between an image distorted by a residual image and a signal of an actually outputted image in a device.
  • FIG. 3 is a flow chart illustrating a method of processing an image according to an embodiment of the present invention.
  • 4A and 4B are views for explaining an image perceived by the user when the device according to an embodiment outputs an original image and a blur compensated image.
  • FIG. 5 is a flow chart illustrating a method for a device according to an embodiment to perform gamma correction and degamma correction to obtain a blur compensated image for removal of an afterimage of an image.
  • FIG. 6 is a diagram for explaining a method of performing a gamma correction and a degamma correction on a device according to an embodiment to obtain a blur compensated image for eliminating a residual image of an image.
  • FIGS. 7 and 8 are block diagrams of a device for processing an image in accordance with one embodiment.
  • a method for processing an image in a device includes determining an accumulated value due to a residual image of a source image before a specific point in time for an original image at a specific point in time among a plurality of original images having a sequential relation with time step; Obtaining a plurality of blur compensated images for removal of blur caused by an afterimage, based on the determined cumulative value and the plurality of original images; And outputting the acquired plurality of blur compensated images.
  • the method of processing an image in a device wherein the step of determining an accumulated value comprises the steps of: calculating a cumulative value based on a value of at least one pixel constituting a plurality of original images and a blur kernel for a user's eye You can decide.
  • a blur kernel may include a weight of each original image according to a response speed of a user's visual cell when superimposing an original image at a specific point in time and an original image at a specific point in time Can be determined on a basis.
  • the method of processing an image in a device wherein the step of determining an accumulated value comprises determining at least one of a head movement of a wearer of the device and a degree of change of at least one object included in each of the plurality of original images It is possible to determine an accumulated value indicating a residual image in the user's eyes.
  • the method of processing an image in a device further comprises the step of tracking the movement of the eye of the user, wherein the step of determining the cumulative value comprises the steps of: It is possible to determine the cumulative value due to the residual image of the image.
  • a plurality of blur compensated images may be obtained based on a difference between a determined cumulative value and a plurality of original images.
  • a method of processing an image in a device includes performing gamma correction on each of a plurality of original images to obtain a plurality of gamma correction images; And performing a degamma correction on the acquired plurality of blur compensated images to obtain a plurality of degamma corrected images, wherein the step of determining cumulative values comprises: obtaining cumulative values due to afterimage for a plurality of gamma corrected images Can be determined.
  • a device for processing an image comprises: a memory for storing a plurality of original images having a sequential relationship over time; A cumulative value due to the residual image of the original image before the specific point in time is determined for the original image at a specific point in time among the plurality of original images and based on the determined cumulative value and the plurality of original images, blurring caused by the after- At least one processor for obtaining a plurality of blur compensated images for the plurality of blur compensated images; And an output unit outputting the obtained plurality of blur compensation images.
  • FIG. 1 is a diagram for explaining motion blur generated due to a residual image of a user's eye at the time of image output in the device 100.
  • FIG. 1 is a diagram for explaining motion blur generated due to a residual image of a user's eye at the time of image output in the device 100.
  • the device 100 may output a plurality of images 11, 13, 15, 17, 19.
  • the image may be, for example, a frame.
  • an image may represent a scene unit constituting contents such as a moving image.
  • the image output from the device 100 can be projected through the lens, thereby providing a virtual reality in which the user can feel as if the image is outputted at a long distance.
  • the device 100 may sequentially output a plurality of images 11, 13, 15, 17, 19 from the first image 11 to the fifth image 19 in accordance with the movement of the user's eyes.
  • the after-image of the previous image of the currently output image may affect the currently output image.
  • the first image 11 which is the first image
  • the first image 21 recognized by the user's eyes may be the same as the first image 11.
  • the second image 13 is outputted from the device 100, the residual image of the previously outputted first image 11 and the blurred second image 23 superimposed on the second image 13, Can be recognized by the user's eyes.
  • a motion blur may occur as a residual image of the previous image is superimposed on the fifth image 19.
  • the present invention provides an image processing method and apparatus for performing image debubbling by eliminating a residual image due to a previous image of an image currently being reproduced. This will be described later in more detail with reference to Figs. 3 to 8. Fig.
  • FIG. 2 is a graph for explaining a comparison between an image distorted by a residual image and a signal of an actually outputted image in a device.
  • a signal of an image actually outputted from the device is described as a VR display signal 210, and a user perceives a distorted and perceived signal as an actual perceived signal 220.
  • the ideal perceptual signal 230 is also compared with the VR display signal 210 and the actual perceived signal 220 to account for the compensated direction of the actual perceived signal 220.
  • the VR display signal 210 output from the device it may be distorted due to the perception characteristic of the user's eyes.
  • FIG. 2 it can be seen that the strength of the signal is counted due to the residual image accumulated toward the end of each section, according to the section in which the image of the same intensity is continuously outputted according to the sample and hold technique in the device. That is, it can be predicted that the occurrence of the motion blur phenomenon is intensified at the time of image output due to the accumulated residual image.
  • the VR display signal 210 is previously compensated for the motion blur so that the actual perceived signal 220 may correspond to the ideal perception signal 230 in which no motion blur occurs.
  • the image processing apparatus To the image processing apparatus.
  • a method of removing a motion blur caused by a perception characteristic of a user's eye will be described in detail.
  • FIG. 3 is a flow chart illustrating a method of processing an image according to an embodiment of the present invention.
  • step S310 the device can determine an accumulated value due to a residual image of the original image before the specific point in time, with respect to the original image at a specific point in time among the plurality of original images having a sequential relation with time.
  • the afterimage represents an illusion phenomenon in which an image remains in the visual field even after the eye-stimulated image disappears.
  • the cumulative value generated by superimposing the residual image at the eye of the original image at the current time and the original image at the previous time may be determined according to the following Equation 1 based on the original image and the blur kernel of the eye.
  • Equation (1) y represents an image perceived by the eye, x represents an original image, and h represents a blur kernel of the eye. M represents the size of the blur kernel, and N represents the length of the image.
  • the blur kernel of the eye can be determined on the basis of the weight of each original image according to the response speed of the user's visual cell when superimposing the original image at a specific time point on another original image that has been output previously.
  • Equation (1) can be simply summarized as Equation (2) as follows.
  • the device may obtain a plurality of blur compensated images for removal of the blur caused by the residual image, based on the determined accumulated value and the plurality of original images.
  • the device may obtain a plurality of blur compensated images as a result of performing compensation so that the determined accumulated value corresponds to a plurality of original images.
  • the plurality of original images can be represented by the following Equation (3).
  • Equation (3) x represents the original image, and h represents the blur kernel of the eye. M represents the size of the blur kernel, and N represents the length of the image.
  • the device can perform compensation so that the accumulated value according to Equation (2) corresponds to Equation (3) above to obtain a blur compensated image.
  • Equation 4 which shows the acquired blur compensation image.
  • Equation (4) x represents the original image and h represents the blur kernel of the eye. M represents the size of the blur kernel, and N represents the length of the image.
  • step S330 the device may output a plurality of acquired blur compensated images.
  • a device may output a plurality of blur compensated images sequentially in time.
  • the order of the plurality of blur compensated images may be the same as the order of the corresponding original images.
  • the device predicts the afterimage of the user's eye in advance and outputs a blur compensated image compensating the blur compensated image, thereby effectively removing motion blur due to the user's perception characteristics.
  • the device may be implemented in various forms.
  • the devices described herein may be used in mobile phones, smart phones, laptop computers, tablet PCs, electronic book terminals, digital broadcast terminals, PDAs (Personal Digital Assistants), PMP ), Navigation, a smart TV, a smart car, a CE (Consumer Electronics) device (e.g., a refrigerator with a display panel, an air conditioner, etc.), and a HMD (Head Mounted Display).
  • a CE Consumer Electronics
  • HMD Head Mounted Display
  • 4A and 4B are views for explaining an image perceived by the user when the device according to an embodiment outputs an original image and a blur compensated image.
  • the first original image 410, the second original image 420, and the third original image 430 are overlapped and weighted with weights w1, w2, and w3, respectively, for example, .
  • the weight values of w1, w2, and w3 may have a larger value as the time is closer to the current time. Accordingly, the weights can be set low in the order of the recognized third image 435, the recognized second image 425, and the recognized first image 415.
  • the user can recognize the image 440 in which the motion blur occurred finally as the afterimage according to the first original image 410 and the second original image 420 is superimposed on the third original image 430 .
  • the device includes a plurality of original images 410, 420, and 430 corresponding to the t-2, t-1, and t points described in FIG. 4A, A plurality of blur compensated images 450, 460 and 470 can be obtained based on the cumulative value of the blur compensated images 450, 460 and 470.
  • the device may perform linear discrete convolution on the plurality of original images 410, 420, and 430 and the blur kernel of the user's eye to produce an accumulated value.
  • the blur kernel of the eye can be estimated based on the movement of the head, the change between plural original images 410, 420, 430, and the like.
  • the blur kernel of the eye may be determined based on the weights of the respective original images according to the response speed of the user's visual cells at the time of superimposing the original image and other previously outputted original images.
  • the first blur compensation image 450, the second blur compensation image 460 and the third blur compensation image 470 are superimposed and recognized with weights w1, w2 and w3, respectively, . Also, the weights may be set low in the order of the recognized third 'image 455, the recognized second' image 465, and the recognized first 'image 475.
  • the device sequentially outputs the first blur compensation image 450, the second blur compensation image 460 and the third blur compensation image 470, as the after-image of the previous image is effectively processed,
  • the user can recognize the final image 480 from which the motion blur has been removed.
  • FIG. 5 is a flow chart illustrating a method for a device according to an embodiment to perform gamma correction and degamma correction to obtain a blur compensated image for removal of an afterimage of an image.
  • the device may perform gamma correction on each of a plurality of original images having a sequential relation with time to obtain a plurality of gamma corrected images.
  • a device may perform gamma correction on a plurality of original images.
  • Gamma correction refers to the process of encoding information in accordance with the non-linearity of human vision. Human vision responds nonlinearly to brightness according to Weber's law. Because of this, recording the brightness of the light linearly can lead to posterization. Therefore, the device can perform gamma correction to encode information in accordance with the non-linearity of human vision, in order to prevent image deterioration.
  • the device may determine an accumulated value according to a residual image in the user's eyes for each of the plurality of gamma corrected images.
  • the device may determine an accumulated value for each of a plurality of gamma correction images based on Equation (1).
  • the cumulative value of the gamma correction image can be determined.
  • step S530 the device can obtain a plurality of blur compensated images based on the determined accumulated value and the plurality of gamma corrected images.
  • the device may obtain a plurality of blur compensated images as a result of performing compensation so that the determined accumulated value corresponds to a plurality of gamma corrected images.
  • step S540 the device may perform a degamma correction on the acquired plurality of blur compensated images to obtain a plurality of degamma corrected images.
  • a device may determine a gamma curve based on information about a gamma curve used for gamma correction. For example, the device may take a reciprocal in the gamma curve applied in step S510 to obtain a degamma curve.
  • step S550 the device may output a plurality of the degamma corrected images.
  • the device may sequentially output a plurality of the degamma corrected images with time.
  • the order of the plurality of the degamma corrected images may be the same as the order of the corresponding original images.
  • the device not only compensates for the residual image of the user's eye in advance, but also performs gamma correction and degamma correction on the image, thereby effectively encoding the information according to the nonlinearity of the user's time.
  • FIG. 6 is a diagram for explaining a method of performing a gamma correction and a degamma correction on a device according to an embodiment to obtain a blur compensated image for eliminating a residual image of an image.
  • a device can acquire an original image having a sequential relation with time.
  • the device can select the original image 610 as input data x.
  • the device may apply a gamma curve 620 to the original image 610 to perform gamma correction to account for the non-linearity 615 of the human eye. Further, the device may obtain a plurality of blur compensated images 650, 660, 670 based on the cumulative value for the previous image, for the gamma corrected image 630 converted to linear 640 according to gamma correction .
  • the device may also apply a degamma curve 675 to the acquired plurality of blur compensated images 650, 660, 670 to obtain a degamma corrected image 690 converted to nonlinear 680.
  • the device outputs a plurality of images sequentially subjected to gamma correction, blur compensation, and degamma correction, thereby further improving the quality of the image.
  • Figures 7 and 8 are block diagrams of a device 700 that processes an image in accordance with one embodiment.
  • a device 700 in accordance with one embodiment may include an output 710, at least one processor 720, and a memory 730. [ However, not all illustrated components are required. The device 700 may be implemented by more components than the components shown, and the device 700 may be implemented by fewer components.
  • a device 700 includes a sensing unit 740 in addition to an output unit 710, at least one processor 720, and a memory 730.
  • the output unit 710 is for outputting an audio signal or an image signal, and may include a display unit 711 and an audio output unit 712.
  • the display unit 711 displays and outputs the information processed by the device 700.
  • the display unit 711 may output a plurality of blur compensated images generated by at least one processor 720.
  • the display unit 711 can be used as an input device in addition to the output device.
  • the display unit 711 may be a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, a three-dimensional display A 3D display, and an electrophoretic display.
  • the device 700 may include two or more display units 711 according to the implementation of the device 700. At this time, the two or more display units 711 may be arranged to face each other using a hinge.
  • the audio output unit 712 outputs audio data received from the communication unit 770 or stored in the memory 730.
  • the sound output unit 712 also outputs sound signals related to the functions performed by the device 700 (for example, call signal reception sound, message reception sound, and notification sound).
  • the sound output unit 712 may include a speaker, a buzzer, and the like.
  • At least one processor 720 typically controls the overall operation of the device 700.
  • the processor 720 may include an output unit 710, a memory 730, a sensing unit 740, a user input unit 750, an A / V input unit 760 And the communication unit 770 and the like.
  • At least one processor 720 may determine, for the original image at a particular point in time of the plurality of original images, the cumulative value due to the superposition of the residual image of another original image prior to the original image at the point in time. In addition, the at least one processor 720 may obtain a plurality of blur compensated images for removal of blur caused by the afterimage, based on the determined cumulative value and the plurality of original images.
  • At least one processor 720 in accordance with one embodiment may determine an accumulated value based on a value of at least one pixel comprising a plurality of original images and a blur kernel for a user's eye.
  • the blur kernel may be determined on the basis of the weight of each original image according to the response speed of the user's visual cell at the time of superimposing the original image and the previous original image at a specific point in time.
  • the at least one processor 720 may determine an accumulated value indicative of a residual image in the user's eye based on at least one of the head movement of the user and the degree of change of at least one object included in each of the plurality of original images.
  • At least one processor 720 may determine an accumulated value that represents a residual image of the user's eye with respect to another original image prior to the original image at a specific point in time, based on the tracking result of eye movement.
  • the at least one processor 720 may perform gamma correction on each of the plurality of original images to obtain a plurality of gamma corrected images. In addition, at least one processor 720 may determine an accumulated value that represents a residual image in the user's eye for a plurality of gamma corrected images. In addition, at least one processor 720 may perform a degamma correction on the acquired plurality of blur compensated images to obtain a plurality of degamma corrected images.
  • the memory 730 may store a program for processing and controlling at least one processor 720 and may store input / output data (e.g., pixel values of images).
  • the memory 730 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (e.g., SD or XD memory), a RAM (Random Access Memory) SRAM (Static Random Access Memory), ROM (Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) , An optical disc, and the like.
  • the device 700 may operate a web storage or a cloud server that performs a storage function of the memory 730 on the Internet.
  • Programs stored in the memory 730 may be classified into a plurality of modules according to their functions, for example, a UI module 731 and a touch screen module 732.
  • the UI module 731 can provide a specialized UI, a GUI, and the like that are interlocked with the device 700 for each application.
  • the touchscreen module 732 may sense a touch gesture on the user's touch screen and may pass information about the touch gesture to the at least one processor 720.
  • the touch screen module 732 according to one embodiment can recognize and analyze the touch code.
  • the touch screen module 732 may be configured as separate hardware including a controller.
  • Various sensors may be provided in or near the touch screen to sense the touch or near touch of the touch screen.
  • An example of a sensor for sensing the touch of the touch screen is a tactile sensor.
  • a tactile sensor is a sensor that detects the contact of a specific object with a degree or more that a person feels. The tactile sensor can detect various information such as the roughness of the contact surface, the rigidity of the contact object, and the temperature of the contact point.
  • a proximity sensor is an example of a sensor for sensing the touch of the touch screen.
  • the proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or a nearby object without mechanical contact using the force of an electromagnetic field or infrared rays.
  • Examples of proximity sensors include a transmission type photoelectric sensor, a direct reflection type photoelectric sensor, a mirror reflection type photoelectric sensor, a high frequency oscillation type proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • the user's touch gestures can include tap, touch & hold, double tap, drag, panning, flick, drag and drop, swipe, and the like.
  • the sensing unit 740 senses at least one of the state of the device 700, the state of the device 700 and the state of the user wearing the device 700, and transmits the sensed information to the at least one processor 720. [ .
  • the sensing unit 740 may track the movement of a user wearing the device 700.
  • the sensing unit 740 may measure the movement of the head of the wearer of the device 700.
  • the sensing unit 740 may track the motion of the user's eyes.
  • the sensing unit 740 includes a magnetism sensor 741, an acceleration sensor 742, an on / humidity sensor 743, an infrared sensor 744, a gyroscope sensor 745, (GPS) 746, an air pressure sensor 747, a proximity sensor 748, and an RGB sensor (illuminance sensor) 749, for example.
  • the function of each sensor can be intuitively deduced from the name by those skilled in the art, so a detailed description will be omitted.
  • the user input unit 750 means means for the user to input data for controlling the device 700.
  • the user input unit 750 may include a key pad, a dome switch, a touch pad (contact type capacitance type, pressure type resistive type, infrared ray detection type, surface ultrasonic wave conduction type, A tension measuring method, a piezo effect method, etc.), a jog wheel, a jog switch, and the like, but is not limited thereto.
  • the user input unit 750 may receive user input.
  • the user input unit 750 may also receive a user input for interfacing with the UI module 731 to select at least one item displayed on the sensing area of each of the plurality of sensors.
  • this is an embodiment only, and the type of the user input received by the user input unit 750 is not limited to the above example.
  • the A / V (Audio / Video) input unit 760 is for inputting an audio signal or a video signal, and may include a camera 761 and a microphone 762.
  • the camera 761 can obtain an image frame such as a still image or a moving image through the image sensor in the video communication mode or the photographing mode.
  • the image captured via the image sensor may be processed through at least one processor 720 or a separate image processing unit (not shown).
  • the image frame processed by the camera 761 may be stored in the memory 730 or may be transmitted to the outside via the communication unit 770. [ More than two cameras 761 may be provided according to the configuration of the device 700.
  • the microphone 762 receives an external acoustic signal and processes it as electrical voice data.
  • the microphone 762 may receive acoustic signals from an external device or speaker.
  • the microphone 762 may use various noise removal algorithms to remove noise generated in receiving an external sound signal.
  • the device 700 may further include a lens (not shown).
  • the user of the device 700 can sense the image output from the display unit 711 through the lens.
  • the communication unit 770 may include one or more components that allow communication between the device 700 and an external device (e.g., an HMD).
  • the communication unit 770 may include a short-range communication unit 771 and a mobile communication unit 772.
  • the short-range wireless communication unit 771 includes a Bluetooth communication unit, a BLE (Bluetooth Low Energy) communication unit, a Near Field Communication unit, a WLAN communication unit, a Zigbee communication unit, IrDA, an infrared data association) communication unit, a WFD (Wi-Fi Direct) communication unit, an UWB (ultra wideband) communication unit, an Ant + communication unit, and the like.
  • a Bluetooth communication unit a BLE (Bluetooth Low Energy) communication unit, a Near Field Communication unit, a WLAN communication unit, a Zigbee communication unit, IrDA, an infrared data association) communication unit, a WFD (Wi-Fi Direct) communication unit, an UWB (ultra wideband) communication unit, an Ant + communication unit, and the like.
  • the mobile communication unit 772 transmits and receives radio signals to at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data depending on a voice call signal, a video call signal, or a text / multimedia message transmission / reception.
  • the method according to an embodiment of the present invention can be implemented in the form of a program command which can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • the program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.
  • Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

시간에 따라 순차적인 관계를 갖는 복수의 원본 이미지 중 특정 시점의 원본 이미지에 대해, 특정 시점 이전의 다른 원본 이미지의 잔상으로 인한 누적값을 결정하고, 결정된 누적값 및 복수의 원본 이미지를 기초로, 잔상에 의해 발생되는 블러의 제거를 위한 복수의 블러 보상 이미지를 획득하며, 획득된 복수의 블러 보상 이미지를 출력하는 디바이스에서 이미지를 처리하는 방법이 개시된다.

Description

이미지를 처리하는 방법, 디바이스 및 기록매체
개시된 실시예는 이미지를 처리하는 방법, 이미지를 처리하는 디바이스 및 이미지를 처리하는 방법을 수행하는 프로그램이 기록된 기록매체에 관한 것이다.
최근 들어 사용자에게 가상 현실(Virtual Reality, 이하 VR)을 체험할 수 있도록 이미지를 제공하는 다양한 기술들이 개발되고 있다. 이러한 가상 현실 체험 기술들은 예를 들어, 사용자의 시야에 따라 출력되는 이미지를 렌즈를 통해 왜곡시킴으로써, 사용자가 가상 현실을 체험할 수 있도록 하는 HMD(Head Mount Display) 등의 디바이스를 통해 실현될 수 있다.
한편, 가상 현실을 제공하는 디바이스에서, 출력되는 이미지의 품질을 향상시키기 위한 연구 중 하나로, 모션 블러(motion blur)를 제거하기 위한 다양한 디블러 기법들이 연구되고 있다. 특히, 기존의 카메라가 이동한 궤적, 카메라 또는 물체가 움직인 시간 등을 고려하여 모션 블러를 제거하는 디블러 기법들이 연구되었다. 다만, 기존의 디블러 기법에서는 사람의 지각 특성으로 인해 발생하는 모션 블러에 대해서는 고려하고 있지 않아, 이를 해결하기 위한 연구가 필요한 실정이다.
사용자의 지각 특성으로 인해 발생되는 잔상의 누적값을 예측하여 산출하고, 이를 기반으로 이미지를 처리함으로써, 잔상으로 인한 모션 블러를 제거하기 위한 이미지를 처리하는 방법, 디바이스 및 기록매체가 제공된다.
시간에 따라 순차적인 관계를 갖는 복수의 원본 이미지 중 특정 시점의 원본 이미지에 대해, 특정 시점 이전의 다른 원본 이미지의 잔상으로 인한 누적값을 결정하고, 결정된 누적값 및 복수의 원본 이미지를 기초로, 잔상에 의해 발생되는 블러의 제거를 위한 복수의 블러 보상 이미지를 획득하며, 획득된 복수의 블러 보상 이미지를 출력하는 디바이스에서 이미지를 처리하는 방법이 개시된다.
도 1은 디바이스에서 영상 출력 시 사용자의 눈의 잔상으로 인해 발생되는 모션 블러를 설명하기 위한 도면이다.
도 2는 디바이스에서 잔상으로 인해 왜곡되는 이미지와 실제 출력되는 이미지의 신호를 비교하여 설명하기 위한 그래프이다.
도 3은 일 실시예에 따른 디바이스가 이미지를 처리하는 방법을 설명하기 위한 흐름도이다.
도 4a 및 도 4b는 일 실시예에 따른 디바이스가 원본 이미지를 출력하는 경우와 블러 보상 이미지를 출력하는 경우에 있어서, 사용자가 지각하는 이미지를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 디바이스가 감마 보정 및 디감마 보정을 수행하여, 이미지의 잔상의 제거를 위한 블러 보상 이미지를 획득하는 방법을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 따른 디바이스가 감마 보정 및 디감마 보정을 수행하여, 이미지의 잔상의 제거를 위한 블러 보상 이미지를 획득하는 방법을 설명하기 위한 도면이다.
도 7 및 8은 일 실시예에 따라 이미지를 처리하는 디바이스의 블록도이다.
일 실시예에 따른 디바이스에서 이미지를 처리하는 방법은, 시간에 따라 순차적인 관계를 갖는 복수의 원본 이미지 중 특정 시점의 원본 이미지에 대해, 특정 시점 이전의 원본 이미지의 잔상으로 인한 누적값을 결정하는 단계; 결정된 누적값 및 복수의 원본 이미지를 기초로, 잔상에 의해 발생되는 블러의 제거를 위한 복수의 블러 보상 이미지를 획득하는 단계; 및 획득된 복수의 블러 보상 이미지를 출력하는 단계를 포함할 수 있다.
일 실시예에 따른 디바이스에서 이미지를 처리하는 방법에 있어서, 누적값을 결정하는 단계는, 복수의 원본 이미지를 구성하는 적어도 하나의 픽셀의 값 및 사용자의 눈에 대한 블러 커널을 기초로 누적값을 결정할 수 있다.
일 실시예에 따른 디바이스에서 이미지를 처리하는 방법에 있어서, 블러 커널은, 특정 시점의 원본 이미지 및 특정 시점 이전의 원본 이미지의 중첩 시, 사용자의 시각 세포의 응답 속도에 따른 각 원본 이미지의 가중치를 기초로 결정될 수 있다.
일 실시예에 따른 디바이스에서 이미지를 처리하는 방법에 있어서, 누적값을 결정하는 단계는, 디바이스를 착용한 사용자의 머리 움직임 및 복수의 원본 이미지 각각에 포함된 적어도 하나의 객체의 변화 정도 중 적어도 하나에 기초하여, 사용자의 눈에서의 잔상을 나타내는 누적값을 결정할 수 있다.
일 실시예에 따른 디바이스에서 이미지를 처리하는 방법은, 사용자의 눈의 움직임을 추적하는 단계를 더 포함하고, 누적값을 결정하는 단계는, 눈의 움직임의 추적 결과를 기초로 특정 시점 이전의 원본 이미지의 잔상으로 인한 누적값을 결정할 수 있다.
일 실시예에 따른 디바이스에서 이미지를 처리하는 방법에 있어서, 복수의 블러 보상 이미지는, 결정된 누적값 및 복수의 원본 이미지 간의 차이를 기초로 획득될 수 있다.
일 실시예에 따른 디바이스에서 이미지를 처리하는 방법은, 복수의 원본 이미지 각각에 대해 감마 보정을 수행하여, 복수의 감마 보정 이미지를 획득하는 단계; 및 획득된 복수의 블러 보상 이미지에 디감마 보정을 수행하여 복수의 디감마 보정 이미지를 획득하는 단계를 더 포함하고, 누적값을 결정하는 단계는, 복수의 감마 보정 이미지에 대해 잔상으로 인한 누적값을 결정할 수 있다.
일 실시예에 따른 이미지를 처리하는 디바이스는, 시간에 따라 순차적인 관계를 갖는 복수의 원본 이미지를 저장하는 메모리; 복수의 원본 이미지 중 특정 시점의 원본 이미지에 대해, 특정 시점 이전의 원본 이미지의 잔상으로 인한 누적값을 결정하고, 결정된 누적값 및 복수의 원본 이미지를 기초로, 잔상에 의해 발생되는 블러의 제거를 위한 복수의 블러 보상 이미지를 획득하는 적어도 하나의 프로세서; 및 획득된 복수의 블러 보상 이미지를 출력하는 출력부를 포함할 수 있다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 디바이스(100)에서 영상 출력 시 사용자의 눈의 잔상으로 인해 발생되는 모션 블러를 설명하기 위한 도면이다.
디바이스(100)는 복수의 이미지(11, 13, 15, 17, 19)를 출력할 수 있다. 여기에서, 이미지는 예를 들어, 프레임일 수 있다. 다만, 이는 일 예일 뿐, 이미지는 동영상 등의 컨텐츠를 구성하는 장면 단위를 나타낼 수 있다. 또한, 디바이스(100)에서 출력되는 이미지는 렌즈를 통해 투사됨으로써, 사용자가 원거리에 이미지가 출력되는 것처럼 느낄 수 있는 가상 현실을 제공할 수 있다.
또한, 도 1에 도시된 복수의 이미지(11, 13, 15, 17, 19)는 디바이스(100)에서 시간에 따라 순차적으로 출력되는 것으로 가정한다. 디바이스(100)는 사용자의 눈의 움직임에 따라, 제 1 이미지(11)에서부터 제 5 이미지(19)까지의 복수의 이미지(11, 13, 15, 17, 19)를 순차적으로 출력할 수 있다.
한편, 사용자의 눈의 지각 특성으로 인하여, 현재 출력되는 이미지의 이전 이미지에 대한 잔상이 현재 출력되는 이미지에 영향을 줄 수 있다. 예를 들어, 도 1을 참조하면, 첫번째 이미지인 제 1 이미지(11)가 출력되는 경우, 사용자의 눈에 인식되는 제 1' 이미지(21)는 제 1 이미지(11)와 동일할 수 있다. 그러나, 디바이스(100)에서 제 2 이미지(13)가 출력되는 경우에는 이전에 출력된 제 1 이미지(11)의 잔상과 제 2 이미지(13)와 중첩되어 블러링 된 제 2' 이미지(23)가 사용자의 눈에 인식될 수 있다.
사용자의 눈에 인식되는 제 3' 이미지(25), 제 4' 이미지(27) 및 제 5' 이미지(29) 또한, 전술한 바와 같이, 제 3 이미지(15), 제 4 이미지(17) 및 제 5 이미지(19)에 이전 이미지의 잔상이 중첩됨에 따라 모션 블러가 발생할 수 있다. 특히, 이전에 출력되는 이미지가 누적될수록 현재 이미지에 중첩되는 잔상이 증가하게 되어 이미지에서 발생되는 모션 블러가 증가함에 따라, 이미지의 품질이 저하된다는 문제점이 있다.
이에 따라, 본 발명에서는 현재 재생되는 이미지의 이전 이미지로 인한 잔상을 제거함으로써, 이미지의 디블러링을 수행하는 이미지 처리 방법 및 장치에 대해 제공하고자 한다. 이에 대해서는, 도 3 내지 도 8을 참조하여 보다 구체적으로 후술하도록 한다.
도 2는 디바이스에서 잔상으로 인해 왜곡되는 이미지와 실제 출력되는 이미지의 신호를 비교하여 설명하기 위한 그래프이다.
도 2에서는, 디바이스에서 실제 출력되는 이미지의 신호를 VR 디스플레이 신호(210)로 설명하고, 사용자가 왜곡하여 지각하는 신호를 실제 지각되는 신호(220)로 설명하도록 한다. 또한, 실제 지각되는 신호(220)의 보상 방향을 고려하기 위해, 이상적인 지각 신호(230)에 대해서도 VR 디스플레이 신호(210) 및 실제 지각되는 신호(220)와 비교하여 설명하도록 한다.
디바이스에서 출력되는 VR 디스플레이 신호(210)의 경우, 사용자의 눈의 지각 특성으로 인해, 왜곡될 수 있다. 도 2에 따르면, 디바이스에서 샘플 앤 홀드 기법에 따라 동일한 강도(intensity)의 이미지가 지속적으로 출력되는 구간 별로, 각 구간의 끝으로 갈수록 누적된 잔상으로 인하여 신호의 강도가 세지는 것을 확인할 수 있다. 즉, 누적된 잔상으로 인하여 이미지 출력 시 모션 블러 현상의 발생이 심화됨을 예측할 수 있다.
본 발명에서는 모션 블러 현상을 해결하기 위해, 실제 지각되는 신호(220)가 모션 블러가 발생되지 않는 이상적인 지각 신호(230)에 대응될 수 있도록, VR 디스플레이 신호(210)에 미리 모션 블러에 대한 보상을 수행하는 이미지 처리 방법을 제공할 수 있다. 이하에서는, 디바이스가 사용자의 눈의 지각 특성으로 인해 발생되는 모션 블러를 제거하는 방법에 대해 구체적으로 설명하도록 한다.
도 3은 일 실시예에 따른 디바이스가 이미지를 처리하는 방법을 설명하기 위한 흐름도이다.
단계 S310에서, 디바이스는 시간에 따라 순차적인 관계를 갖는 복수의 원본 이미지 중 특정 시점의 원본 이미지에 대해, 특정 시점 이전의 원본 이미지의 잔상으로 인한 누적값을 결정할 수 있다.
본 명세서에서, 잔상은 눈을 자극하던 이미지가 사라진 후에도 시야에 이미지가 남는 착시 현상을 나타낸다.
일 실시예에 따른 현재 시점의 원본 이미지와 이전 시점의 원본 이미지의 눈에서의 잔상이 중첩되어 발생되는 누적값은 원본 이미지와 눈의 블러 커널에 기초하여 다음의 수학식 1에 따라 결정될 수 있다.
[수학식 1]
Figure PCTKR2018014249-appb-I000001
상기의 수학식 1에서, y는 눈에서 지각되는 이미지를 나타내고, x는 원본 이미지를 나타내며, h는 눈의 블러 커널을 나타낸다. 또한, M은 블러 커널 사이즈를 나타내고, N은 이미지의 길이를 나타낸다. 여기에서, 눈의 블러 커널은 특정 시점의 원본 이미지와 이전에 출력된 다른 원본 이미지의 중첩 시, 사용자의 시각 세포의 응답 속도에 따른 각 원본 이미지의 가중치를 기초로 결정될 수 있다.
또한, 상기의 수학식 1은 다음과 같이 수학식 2로 간단하게 정리하여 나타낼 수 있다.
[수학식 2]
Figure PCTKR2018014249-appb-I000002
단계 S320에서, 디바이스는 결정된 누적값 및 복수의 원본 이미지를 기초로, 잔상에 의해 발생되는 블러의 제거를 위한 복수의 블러 보상 이미지를 획득할 수 있다.
일 실시예에 따른 디바이스는 결정된 누적값이 복수의 원본 이미지에 대응되도록 보상을 수행한 결과, 복수의 블러 보상 이미지를 획득할 수 있다. 복수의 원본 이미지는 다음의 수학식 3을 기초로 나타낼 수 있다.
[수학식 3]
Figure PCTKR2018014249-appb-I000003
상기의 수학식 3에서, x는 원본 이미지를 나타내며, h는 눈의 블러 커널을 나타낸다. 또한, M은 블러 커널 사이즈를 나타내고, N은 이미지의 길이를 나타낸다. 디바이스는 전술한 수학식 2에 따른 누적값이 상기의 수학식 3에 대응되도록 보상을 수행하여 블러 보상 이미지를 획득할 수 있다. 다음은 획득된 블러 보상 이미지를 나타낸 수학식 4이다.
[수학식 4]
Figure PCTKR2018014249-appb-I000004
상기의 수학식 4에서, x는 원본 이미지를 나타내며, h는 눈의 블러 커널을 나타낸다. 또한, M은 블러 커널 사이즈를 나타내고, N은 이미지의 길이를 나타낸다.
단계 S330에서, 디바이스는 획득된 복수의 블러 보상 이미지를 출력할 수 있다.
일 실시예에 따른 디바이스는 복수의 블러 보상 이미지를 시간에 따라 순차적으로 출력할 수 있다. 여기에서, 복수의 블러 보상 이미지의 순서는 대응되는 원본 이미지의 순서와 동일할 수 있다.
디바이스는 사용자의 눈의 잔상을 미리 예측하여, 이를 보상한 블러 보상 이미지를 출력함으로써, 사용자의 지각 특성으로 인한 모션 블러를 효과적으로 제거할 수 있다.
한편, 일 실시예에 따른 디바이스는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 디바이스는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 스마트 TV, 스마트 카, CE(Consumer Electronics) 기기(예컨대, 디스플레이 패널을 갖는 냉장고, 에어컨 등), HMD(Head Mounted Display) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 4a 및 도 4b는 일 실시예에 따른 디바이스가 원본 이미지를 출력하는 경우와 블러 보상 이미지를 출력하는 경우에 있어서, 사용자가 지각하는 이미지를 설명하기 위한 도면이다.
도 4a를 참조하면, 디바이스가 t-2, t-1 및 t 시점에 대응되는 각각의 원본 이미지(410, 420, 430)를 출력하는 경우, 사용자의 눈에는 각 시점에서의 원본 이미지와 이전 이미지의 잔상이 중첩되어 인식될 수 있다.
예를 들어, 현재 시점을 t 시점이라고 가정한 경우, 제 1 원본 이미지(410), 제 2 원본 이미지(420) 및 제 3 원본 이미지(430)는 각각 w1, w2 및 w3의 가중치로 중첩되어 인식될 수 있다. 이 때, w1, w2 및 w3의 가중치 값은 현재 시점과 시간이 가까울수록 큰 값을 가질 수 있다. 이에 따라, 인식된 제 3 이미지(435), 인식된 제 2 이미지(425) 및 인식된 제 1 이미지(415)의 순서로 가중치가 낮게 설정될 수 있다.
한편, 사용자는 제 1 원본 이미지(410) 및 제 2 원본 이미지(420)에 따른 잔상이 제 3 원본 이미지(430)에 중첩됨에 따라, 최종적으로 모션 블러가 발생한 이미지(440)를 인식할 수 있다.
도 4b를 참조하면, 디바이스는 모션 블러를 제거하기 위해, 도 4a에서 전술한 t-2, t-1 및 t 시점에 대응되는 복수의 원본 이미지(410, 420, 430)와 사용자의 눈의 잔상에 의한 누적값을 기초로 복수의 블러 보상 이미지(450, 460, 470)를 획득할 수 있다. 구체적으로, 디바이스는 복수의 원본 이미지(410, 420, 430)과 사용자의 눈의 블러 커널에 대해 선형 이산적인 컨볼루션을 수행하여, 누적값을 산출할 수 있다.
또한, 눈의 블러 커널은 머리의 움직임, 복수의 원본 이미지(410, 420, 430) 간의 변화 등을 기초로 추정될 수 있다. 뿐만, 아니라, 눈의 블러 커널은 원본 이미지와 이전에 출력된 다른 원본 이미지의 중첩 시, 사용자의 시각 세포의 응답 속도에 따른 각 원본 이미지의 가중치를 기초로 결정될 수도 있다.
현재 시점을 t 시점이라고 가정한 경우, 제 1 블러 보상 이미지(450), 제 2 블러 보상 이미지(460) 및 제 3 블러 보상 이미지(470)는 각각 w1, w2 및 w3의 가중치로 중첩되어 인식될 수 있다. 또한, 인식된 제 3' 이미지(455), 인식된 제 2' 이미지(465) 및 인식된 제 1' 이미지(475)의 순서로 가중치가 낮게 설정될 수 있다.
일 실시예에 따른 디바이스에서 제 1 블러 보상 이미지(450), 제 2 블러 보상 이미지(460) 및 제 3 블러 보상 이미지(470)를 순차적으로 출력하는 경우, 이전 이미지의 잔상이 효과적으로 처리됨에 따라, 사용자는 모션 블러가 제거된 최종 이미지(480)를 인식할 수 있다.
도 5는 일 실시예에 따른 디바이스가 감마 보정 및 디감마 보정을 수행하여, 이미지의 잔상의 제거를 위한 블러 보상 이미지를 획득하는 방법을 설명하기 위한 흐름도이다.
단계 S510에서, 디바이스는 시간에 따라 순차적인 관계를 갖는 복수의 원본 이미지 각각에 대해 감마 보정을 수행하여 복수의 감마 보정 이미지를 획득할 수 있다.
일 실시예에 따른 디바이스는 복수의 원본 이미지에 감마 보정을 수행할 수 있다. 감마 보정은 인간 시각의 비선형성에 맞추어 정보를 부호화하는 프로세스를 의미한다. 인간의 시각은 베버의 법칙(Weber's law)에 따라 밝기에 대해 비선형적으로 반응한다. 이 때문에, 선형적으로 빛의 밝기를 기록하면 포스터리제이션(Posterization)이 발생할 수 있다. 따라서, 디바이스는 화질 열화를 방지하기 위해, 인간 시각의 비선형성에 맞추어 정보를 부호화 하는 감마 보정을 수행할 수 있다.
단계 S520에서, 디바이스는 복수의 감마 보정 이미지 각각에 대해 사용자의 눈에서의 잔상에 따른 누적값을 결정할 수 있다.
예를 들어, 디바이스는 수학식 1에 기초하여, 복수의 감마 보정 이미지 각각에 대한 누적값을 결정할 수 있다. 이 때, 수학식 1에서의 x에 감마 보정 이미지를 입력하는 경우, 감마 보정 이미지에 대한 누적값을 결정할 수 있다.
단계 S530에서, 디바이스는 결정된 누적값 및 복수의 감마 보정 이미지를 기초로 복수의 블러 보상 이미지를 획득할 수 있다.
일 실시예에 따른 디바이스는 결정된 누적값이 복수의 감마 보정 이미지에 대응되도록 보상을 수행한 결과, 복수의 블러 보상 이미지를 획득할 수 있다.
단계 S540에서, 디바이스는 획득된 복수의 블러 보상 이미지에 디감마 보정을 수행하여, 복수의 디감마 보정 이미지를 획득할 수 있다.
일 실시예에 따른 디바이스는 감마 보정에 이용된 감마 커브에 관한 정보를 기초로 디감마 커브를 결정할 수 있다. 예를 들어, 디바이스는 단계 S510에서 적용한 감마 커브에 역수를 취해 디감마 커브를 획득할 수 있다.
단계 S550에서, 디바이스는 복수의 디감마 보정 이미지를 출력할 수 있다.
일 실시예에 따른 디바이스는 복수의 디감마 보정 이미지를 시간에 따라 순차적으로 출력할 수 있다. 여기에서, 복수의 디감마 보정 이미지의 순서는 대응되는 원본 이미지의 순서와 동일할 수 있다.
디바이스는 사용자의 눈의 잔상을 미리 예측하여, 이를 보상하는 것 뿐만 아니라, 이미지에 감마 보정 및 디감마 보정을 수행함으로써, 사용자 시각의 비선형성에 맞추어 효과적으로 정보를 부호화할 수 있다.
도 6은 일 실시예에 따른 디바이스가 감마 보정 및 디감마 보정을 수행하여, 이미지의 잔상의 제거를 위한 블러 보상 이미지를 획득하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 디바이스는 시간에 따라 순차적인 관계를 갖는 원본 이미지를 획득할 수 있다. 디바이스는 원본 이미지(610)를 입력 데이터 x로 선택할 수 있다.
디바이스는 사람의 눈의 비선형성(615)을 고려하기 위해, 원본 이미지(610)에 감마 커브(620)를 적용하여, 감마 보정을 수행할 수 있다. 또한, 디바이스는 감마 보정에 따라 선형(640)으로 변환된 감마 보정 이미지(630)에 대해, 이전 이미지에 대한 누적값을 기초로 복수의 블러 보상 이미지(650, 660, 670)를 획득할 수 있다.
또한, 디바이스는 획득된 복수의 블러 보상 이미지(650, 660, 670)에 디감마 커브(675)를 적용하여, 비선형(680)으로 변환된 디감마 보정 이미지(690)를 획득할 수 있다.
디바이스는 전술한 바와 같이, 감마 보정, 블러 보상 및 디감마 보정이 순차적으로 적용된 복수의 이미지를 출력함으로써, 이미지의 품질을 보다 향상시킬 수 있다.
도 7 및 8은 일 실시예에 따라 이미지를 처리하는 디바이스(700)의 블록도이다.
도 7에 도시된 바와 같이, 일 실시예에 따른 디바이스(700)는, 출력부(710), 적어도 하나의 프로세서(720) 및 메모리(730)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스(700)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스(700)는 구현될 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(700)는, 출력부(710), 적어도 하나의 프로세서(720) 및 메모리(730) 이외에 센싱부(740), 사용자 입력부(750), A/V 입력부(1060) 및 통신부(770)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
출력부(710)는, 오디오 신호 또는 이미지 신호의 출력을 위한 것으로, 이에는 디스플레이부(711)와 음향 출력부(712) 등이 포함될 수 있다.
디스플레이부(711)는 디바이스(700)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(711)는 적어도 하나의 프로세서(720)에서 생성된 복수의 블러 보상 이미지를 출력할 수 있다.
한편, 디스플레이부(711)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(711)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(711)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(700)의 구현 형태에 따라 디바이스(700)는 디스플레이부(711)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(711)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
음향 출력부(712)는 통신부(770)로부터 수신되거나 메모리(730)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(712)는 디바이스(700)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(712)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
적어도 하나의 프로세서(720)는, 통상적으로 디바이스(700)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(720)는, 메모리(730)에 저장된 프로그램들을 실행함으로써, 출력부(710), 메모리(730), 센싱부(740), 사용자 입력부(750), A/V 입력부(760) 및 통신부(770) 등을 전반적으로 제어할 수 있다.
적어도 하나의 프로세서(720)는 복수의 원본 이미지 중 특정 시점의 원본 이미지에 대해, 특정 시점의 원본 이미지 이전의 다른 원본 이미지의 잔상의 중첩으로 인한 누적값을 결정할 수 있다. 또한, 적어도 하나의 프로세서(720)는 결정된 누적값 및 복수의 원본 이미지를 기초로, 잔상에 의해 발생되는 블러의 제거를 위한 복수의 블러 보상 이미지를 획득할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서(720)는 복수의 원본 이미지를 구성하는 적어도 하나의 픽셀의 값 및 사용자의 눈에 대한 블러 커널을 기초로 누적값을 결정할 수 있다. 여기에서, 블러 커널은, 특정 시점의 원본 이미지 및 이전 원본 이미지의 중첩 시, 사용자의 시각 세포의 응답 속도에 따른 각 원본 이미지의 가중치를 기초로 결정될 수 있다.
적어도 하나의 프로세서(720)는 사용자의 머리 움직임 및 복수의 원본 이미지 각각에 포함된 적어도 하나의 객체의 변화 정도 중 적어도 하나에 기초하여, 사용자의 눈에서의 잔상을 나타내는 누적값을 결정할 수 있다.
또한, 적어도 하나의 프로세서(720)는 눈의 움직임의 추적 결과를 기초로, 특정 시점의 원본 이미지 이전의 다른 원본 이미지에 대한 사용자의 눈에서의 잔상을 나타내는 누적값을 결정할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서(720)는, 복수의 원본 이미지 각각에 대해 감마 보정을 수행하여, 복수의 감마 보정 이미지를 획득할 수 있다. 또한, 적어도 하나의 프로세서(720)는 복수의 감마 보정 이미지에 대한 사용자의 눈에서의 잔상을 나타내는 누적값을 결정할 수 있다. 또한, 적어도 하나의 프로세서(720)는 획득된 복수의 블러 보상 이미지에 디감마 보정을 수행하여 복수의 디감마 보정 이미지를 획득할 수 있다.
메모리(730)는, 적어도 하나의 프로세서(720)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예를 들어, 영상들의 픽셀 값)을 저장할 수도 있다.
메모리(730)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스(700)는 인터넷(internet)상에서 메모리(730)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
메모리(730)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(731) 및 터치 스크린 모듈(732) 등으로 분류될 수 있다.
UI 모듈(731)은, 애플리케이션 별로 디바이스(700)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(732)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 적어도 하나의 프로세서(720)로 전달할 수 있다. 일 실시예에 따른 터치 스크린 모듈(732)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(732)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
센싱부(740)는, 디바이스(700)의 상태, 디바이스(700) 주변의 상태 및 디바이스(700)를 착용한 사용자의 상태 중 적어도 하나를 감지하고, 감지된 정보를 적어도 하나의 프로세서(720)로 전달할 수 있다.
일 실시예에 따른 센싱부(740)는 디바이스(700)를 착용한 사용자의 움직임을 추적할 수 있다. 예를 들어, 센싱부(740)는 디바이스(700)가 착용된 사용자의 머리 부분의 움직임을 측정할 수 있다. 또한, 센싱부(740)는 사용자의 눈의 움직임을 추적할 수도 있다.
센싱부(740)는, 지자기 센서(Magnetic sensor)(741), 가속도 센서(Acceleration sensor)(742), 온/습도 센서(743), 적외선 센서(744), 자이로스코프 센서(745), 위치 센서(예컨대, GPS)(746), 기압 센서(747), 근접 센서(748), 및 RGB 센서(illuminance sensor)(749) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
사용자 입력부(750)는, 사용자가 디바이스(700)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(750)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(750)는, 사용자 입력을 수신할 수 있다. 또한, 사용자 입력부(750)는 UI 모듈(731)과 연동되어, 복수의 센서들 각각의 감지 영역 상에 표시되는 아이템들 중 적어도 하나를 선택하는 사용자 입력을 수신할 수도 있다. 다만, 이는 일 실시예일 뿐, 사용자 입력부(750)에서 수신하는 사용자 입력의 종류가 전술한 예에 한정되는 것은 아니다.
A/V(Audio/Video) 입력부(760)는 오디오 신호 또는 영상 신호 입력을 위한 것으로, 이에는 카메라(761)와 마이크로폰(762) 등이 포함될 수 있다. 카메라(761)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 적어도 하나의 프로세서(720) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(761)에서 처리된 화상 프레임은 메모리(730)에 저장되거나 통신부(770)를 통하여 외부로 전송될 수 있다. 카메라(761)는 디바이스(700)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(762)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(762)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(762)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
한편, 일 실시예에 따른 디바이스(700)는 렌즈(미도시)를 더 포함할 수도 있다. 디바이스(700)의 사용자는 렌즈를 통해 디스플레이부(711)에서 출력되는 이미지를 감지할 수 있다.
통신부(770)는, 디바이스(700)와 외부 디바이스(예를 들어, HMD) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(770)는, 근거리 통신부(771) 및 이동 통신부(772)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(771)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(772)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (15)

  1. 디바이스에서 이미지를 처리하는 방법에 있어서,
    시간에 따라 순차적인 관계를 갖는 복수의 원본 이미지 중 특정 시점의 원본 이미지에 대해, 특정 시점 이전의 원본 이미지의 잔상으로 인한 누적값을 결정하는 단계;
    상기 결정된 누적값 및 상기 복수의 원본 이미지를 기초로, 상기 잔상에 의해 발생되는 블러의 제거를 위한 복수의 블러 보상 이미지를 획득하는 단계; 및
    상기 획득된 복수의 블러 보상 이미지를 출력하는 단계를 포함하는 방법.
  2. 제 1항에 있어서, 상기 누적값을 결정하는 단계는,
    상기 복수의 원본 이미지를 구성하는 적어도 하나의 픽셀의 값 및 사용자의 눈에 대한 블러 커널을 기초로 상기 누적값을 결정하는, 방법.
  3. 제 2항에 있어서, 상기 블러 커널은,
    상기 특정 시점의 원본 이미지 및 상기 특정 시점 이전의 원본 이미지의 중첩 시, 사용자의 시각 세포의 응답 속도에 따른 각 원본 이미지의 가중치를 기초로 결정되는, 방법.
  4. 제 1항에 있어서, 상기 누적값을 결정하는 단계는,
    상기 디바이스를 착용한 사용자의 머리 움직임 및 상기 복수의 원본 이미지 각각에 포함된 적어도 하나의 객체의 변화 정도 중 적어도 하나에 기초하여, 상기 사용자의 눈에서의 잔상을 나타내는 누적값을 결정하는, 방법.
  5. 제 1항에 있어서,
    사용자의 눈의 움직임을 추적하는 단계를 더 포함하고,
    상기 누적값을 결정하는 단계는,
    상기 눈의 움직임의 추적 결과를 기초로 상기 특정 시점 이전의 원본 이미지의 잔상으로 인한 누적값을 결정하는, 방법.
  6. 제 1항에 있어서, 상기 복수의 블러 보상 이미지는,
    상기 결정된 누적값 및 상기 복수의 원본 이미지 간의 차이를 기초로 획득되는, 방법.
  7. 제 1항에 있어서,
    상기 복수의 원본 이미지 각각에 대해 감마 보정을 수행하여, 복수의 감마 보정 이미지를 획득하는 단계; 및
    상기 획득된 복수의 블러 보상 이미지에 디감마 보정을 수행하여 복수의 디감마 보정 이미지를 획득하는 단계를 더 포함하고,
    상기 누적값을 결정하는 단계는,
    상기 복수의 감마 보정 이미지에 대해 잔상으로 인한 누적값을 결정하는, 방법.
  8. 이미지를 처리하는 디바이스에 있어서,
    시간에 따라 순차적인 관계를 갖는 복수의 원본 이미지를 저장하는 메모리'
    상기 복수의 원본 이미지 중 특정 시점의 원본 이미지에 대해, 특정 시점 이전의 원본 이미지의 잔상으로 인한 누적값을 결정하고, 상기 결정된 누적값 및 상기 복수의 원본 이미지를 기초로, 상기 잔상에 의해 발생되는 블러의 제거를 위한 복수의 블러 보상 이미지를 획득하는 적어도 하나의 프로세서; 및
    상기 획득된 복수의 블러 보상 이미지를 출력하는 출력부를 포함하는, 디바이스.
  9. 제 8항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 복수의 원본 이미지를 구성하는 적어도 하나의 픽셀의 값 및 사용자의 눈에 대한 블러 커널을 기초로 상기 누적값을 결정하는, 디바이스.
  10. 제 9항에 있어서, 상기 블러 커널은,
    상기 특정 시점의 원본 이미지 및 상기 특정 시점 이전의 원본 이미지의 중첩 시, 사용자의 시각 세포의 응답 속도에 따른 각 원본 이미지의 가중치를 기초로 결정되는, 디바이스.
  11. 제 8항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 디바이스를 착용한 사용자의 머리 움직임 및 상기 복수의 원본 이미지 각각에 포함된 적어도 하나의 객체의 변화 정도 중 적어도 하나에 기초하여, 상기 사용자의 눈에서의 잔상을 나타내는 누적값을 결정하는, 디바이스.
  12. 제 8항에 있어서,
    사용자의 눈의 움직임을 추적하는 센싱부를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 눈의 움직임의 추적 결과를 기초로 상기 특정 시점 이전의 원본 이미지의 잔상으로 인한 누적값을 결정하는, 디바이스.
  13. 제 8항에 있어서, 상기 복수의 블러 보상 이미지는,
    상기 결정된 누적값 및 상기 복수의 원본 이미지 간의 차이를 기초로 획득되는, 디바이스.
  14. 제 8항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 복수의 원본 이미지 각각에 대해 감마 보정을 수행하여, 복수의 감마 보정 이미지를 획득하며, 상기 복수의 감마 보정 이미지에 대해 잔상으로 인한 누적값을 결정하고, 상기 획득된 복수의 블러 보상 이미지에 디감마 보정을 수행하여 복수의 디감마 보정 이미지를 획득하는, 디바이스.
  15. 제 1항 내지 제 7항 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2018/014249 2017-11-23 2018-11-20 이미지를 처리하는 방법, 디바이스 및 기록매체 WO2019103427A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/758,305 US11252400B2 (en) 2017-11-23 2018-11-20 Method, device, and recording medium for processing image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0157505 2017-11-23
KR1020170157505A KR102314647B1 (ko) 2017-11-23 2017-11-23 이미지를 처리하는 방법, 디바이스 및 기록매체

Publications (1)

Publication Number Publication Date
WO2019103427A1 true WO2019103427A1 (ko) 2019-05-31

Family

ID=66632106

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/014249 WO2019103427A1 (ko) 2017-11-23 2018-11-20 이미지를 처리하는 방법, 디바이스 및 기록매체

Country Status (3)

Country Link
US (1) US11252400B2 (ko)
KR (1) KR102314647B1 (ko)
WO (1) WO2019103427A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
WO2021215567A1 (ko) * 2020-04-24 2021-10-28 엘지전자 주식회사 Pov 디스플레이 장치 및 그 제어방법
CN113870134B (zh) * 2021-09-28 2023-04-07 南京诺源医疗器械有限公司 手持式摄像镜数据处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08130664A (ja) * 1994-10-31 1996-05-21 Nec Eng Ltd 画像符号化装置の雑音抑圧方式
KR20050079387A (ko) * 2004-02-05 2005-08-10 엘지전자 주식회사 이동 통신 단말기의 엘씨디 화면 보정 방법
KR100578855B1 (ko) * 2004-08-13 2006-05-11 삼성에스디아이 주식회사 플라즈마 표시 장치 및 그의 잔상 제거 방법
KR20120093794A (ko) * 2011-02-15 2012-08-23 마이크론 테크놀로지, 인크. 비디오 데이터에 따른 디스플레이 구동의 조정
KR20170022088A (ko) * 2015-08-19 2017-03-02 한국전자통신연구원 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060044241A1 (en) * 2004-08-31 2006-03-02 Vast View Technology Inc. Driving device for quickly changing the gray level of the liquid crystal display and its driving method
JP4766334B2 (ja) * 2004-12-21 2011-09-07 ソニー株式会社 画像処理装置と画像処理方法および画像処理プログラム
KR100996036B1 (ko) 2008-02-27 2010-11-22 삼성전자주식회사 영상의 블러 제거 방법 및 장치
KR101839617B1 (ko) * 2011-07-11 2018-03-19 포항공과대학교 산학협력단 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
US20160293086A1 (en) * 2013-11-12 2016-10-06 Sharp Kabushiki Kaisha Color reproduction system and color reproduction method
US9773473B2 (en) * 2014-06-03 2017-09-26 Nvidia Corporation Physiologically based adaptive image generation
KR20160092670A (ko) 2015-01-28 2016-08-05 한국전자통신연구원 시선추적 시스템에서 모션 블러 측정 및 제거 장치와 방법
JP6628497B2 (ja) * 2015-05-19 2020-01-08 キヤノン株式会社 撮像装置、撮像システム、および画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08130664A (ja) * 1994-10-31 1996-05-21 Nec Eng Ltd 画像符号化装置の雑音抑圧方式
KR20050079387A (ko) * 2004-02-05 2005-08-10 엘지전자 주식회사 이동 통신 단말기의 엘씨디 화면 보정 방법
KR100578855B1 (ko) * 2004-08-13 2006-05-11 삼성에스디아이 주식회사 플라즈마 표시 장치 및 그의 잔상 제거 방법
KR20120093794A (ko) * 2011-02-15 2012-08-23 마이크론 테크놀로지, 인크. 비디오 데이터에 따른 디스플레이 구동의 조정
KR20170022088A (ko) * 2015-08-19 2017-03-02 한국전자통신연구원 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치

Also Published As

Publication number Publication date
US20200322596A1 (en) 2020-10-08
US11252400B2 (en) 2022-02-15
KR20190059666A (ko) 2019-05-31
KR102314647B1 (ko) 2021-10-19

Similar Documents

Publication Publication Date Title
EP3099075B1 (en) Method and device for processing identification of video file
WO2021112406A1 (en) Electronic apparatus and method for controlling thereof
WO2019103427A1 (ko) 이미지를 처리하는 방법, 디바이스 및 기록매체
EP2816545A2 (en) Method and apparatus for protecting eyesight
CN103135330B (zh) 移动终端及其控制方法
CN109240577B (zh) 一种截屏方法及终端
WO2015023040A1 (ko) 이동 단말기와 그 구동방법
CN109151348B (zh) 一种图像处理方法、电子设备及计算机可读存储介质
WO2017057965A1 (ko) 이동단말 제어장치 및 방법
CN110769156A (zh) 图片显示方法及电子设备
WO2015102451A1 (en) Image processing method and electronic device implementing the same
WO2017176025A1 (en) Apparatus and method of portable image device for generating application images
CN109167917B (zh) 一种图像处理方法及终端设备
JP7472281B2 (ja) 電子機器及びフォーカス方法
WO2018143744A1 (ko) 터치 감지 디스플레이 장치 및 그 화면 제어 방법
KR20220123077A (ko) 화상 처리 방법 및 전자 기기
WO2021261919A1 (ko) 디스플레이의 리프레쉬 레이트를 동적으로 조정하는 전자 장치
US11600241B2 (en) Display control device, imaging device, display control method, and display control program
WO2019066254A1 (ko) 기압계를 이용한 애플리케이션 실행 방법 및 그 장치
WO2018070756A1 (en) Method, device and recording medium for processing image
WO2021261619A1 (ko) 영상에서 평면을 검출하는 전자 장치 및 그 동작 방법
WO2018021850A1 (ko) 영상을 처리하는 방법, 디바이스 및 기록매체
CN113572964A (zh) 图像处理方法、移动终端及存储介质
CN108986508B (zh) 一种显示路线信息的方法及终端
WO2019245102A1 (ko) 컨텐츠를 표시하는 방법 및 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18881933

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18881933

Country of ref document: EP

Kind code of ref document: A1