KR102314647B1 - 이미지를 처리하는 방법, 디바이스 및 기록매체 - Google Patents
이미지를 처리하는 방법, 디바이스 및 기록매체 Download PDFInfo
- Publication number
- KR102314647B1 KR102314647B1 KR1020170157505A KR20170157505A KR102314647B1 KR 102314647 B1 KR102314647 B1 KR 102314647B1 KR 1020170157505 A KR1020170157505 A KR 1020170157505A KR 20170157505 A KR20170157505 A KR 20170157505A KR 102314647 B1 KR102314647 B1 KR 102314647B1
- Authority
- KR
- South Korea
- Prior art keywords
- images
- afterimage
- image
- user
- original
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 title claims abstract description 23
- 206010047571 Visual impairment Diseases 0.000 claims abstract description 60
- 238000012937 correction Methods 0.000 claims description 31
- 230000033001 locomotion Effects 0.000 claims description 22
- 230000001186 cumulative effect Effects 0.000 claims description 11
- 230000004424 eye movement Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000004886 head movement Effects 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0257—Reduction of after-image effects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
시간에 따라 순차적인 관계를 갖는 복수의 원본 이미지 중 특정 시점의 원본 이미지에 대해, 특정 시점 이전의 다른 원본 이미지의 잔상으로 인한 누적값을 결정하고, 결정된 누적값 및 복수의 원본 이미지를 기초로, 잔상에 의해 발생되는 블러의 제거를 위한 복수의 블러 보상 이미지를 획득하며, 획득된 복수의 블러 보상 이미지를 출력하는 디바이스에서 이미지를 처리하는 방법이 개시된다.
Description
개시된 실시예는 이미지를 처리하는 방법, 이미지를 처리하는 디바이스 및 이미지를 처리하는 방법을 수행하는 프로그램이 기록된 기록매체에 관한 것이다.
최근 들어 사용자에게 가상 현실(Virtual Reality, 이하 VR)을 체험할 수 있도록 이미지를 제공하는 다양한 기술들이 개발되고 있다. 이러한 가상 현실 체험 기술들은 예를 들어, 사용자의 시야에 따라 출력되는 이미지를 렌즈를 통해 왜곡시킴으로써, 사용자가 가상 현실을 체험할 수 있도록 하는 HMD(Head Mount Display) 등의 디바이스를 통해 실현될 수 있다.
한편, 가상 현실을 제공하는 디바이스에서, 출력되는 이미지의 품질을 향상시키기 위한 연구 중 하나로, 모션 블러(motion blur)를 제거하기 위한 다양한 디블러 기법들이 연구되고 있다. 특히, 기존의 카메라가 이동한 궤적, 카메라 또는 물체가 움직인 시간 등을 고려하여 모션 블러를 제거하는 디블러 기법들이 연구되었다. 다만, 기존의 디블러 기법에서는 사람의 지각 특성으로 인해 발생하는 모션 블러에 대해서는 고려하고 있지 않아, 이를 해결하기 위한 연구가 필요한 실정이다.
사용자의 지각 특성으로 인해 발생되는 잔상의 누적값을 예측하여 산출하고, 이를 기반으로 이미지를 처리함으로써, 잔상으로 인한 모션 블러를 제거하기 위한 이미지를 처리하는 방법, 디바이스 및 기록매체가 제공된다.
일 실시예에 따른 디바이스에서 이미지를 처리하는 방법은, 시간에 따라 순차적인 관계를 갖는 복수의 원본 이미지 중 특정 시점의 원본 이미지에 대해, 특정 시점 이전의 원본 이미지의 잔상으로 인한 누적값을 결정하는 단계; 결정된 누적값 및 복수의 원본 이미지를 기초로, 잔상에 의해 발생되는 블러의 제거를 위한 복수의 블러 보상 이미지를 획득하는 단계; 및 획득된 복수의 블러 보상 이미지를 출력하는 단계를 포함할 수 있다.
일 실시예에 따른 디바이스에서 이미지를 처리하는 방법에 있어서, 누적값을 결정하는 단계는, 복수의 원본 이미지를 구성하는 적어도 하나의 픽셀의 값 및 사용자의 눈에 대한 블러 커널을 기초로 누적값을 결정할 수 있다.
일 실시예에 따른 디바이스에서 이미지를 처리하는 방법에 있어서, 블러 커널은, 특정 시점의 원본 이미지 및 특정 시점 이전의 원본 이미지의 중첩 시, 사용자의 시각 세포의 응답 속도에 따른 각 원본 이미지의 가중치를 기초로 결정될 수 있다.
일 실시예에 따른 디바이스에서 이미지를 처리하는 방법에 있어서, 누적값을 결정하는 단계는, 디바이스를 착용한 사용자의 머리 움직임 및 복수의 원본 이미지 각각에 포함된 적어도 하나의 객체의 변화 정도 중 적어도 하나에 기초하여, 사용자의 눈에서의 잔상을 나타내는 누적값을 결정할 수 있다.
일 실시예에 따른 디바이스에서 이미지를 처리하는 방법은, 사용자의 눈의 움직임을 추적하는 단계를 더 포함하고, 누적값을 결정하는 단계는, 눈의 움직임의 추적 결과를 기초로 특정 시점 이전의 원본 이미지의 잔상으로 인한 누적값을 결정할 수 있다.
일 실시예에 따른 디바이스에서 이미지를 처리하는 방법에 있어서, 복수의 블러 보상 이미지는, 결정된 누적값 및 복수의 원본 이미지 간의 차이를 기초로 획득될 수 있다.
일 실시예에 따른 디바이스에서 이미지를 처리하는 방법은, 복수의 원본 이미지 각각에 대해 감마 보정을 수행하여, 복수의 감마 보정 이미지를 획득하는 단계; 및 획득된 복수의 블러 보상 이미지에 디감마 보정을 수행하여 복수의 디감마 보정 이미지를 획득하는 단계를 더 포함하고, 누적값을 결정하는 단계는, 복수의 감마 보정 이미지에 대해 잔상으로 인한 누적값을 결정할 수 있다.
일 실시예에 따른 이미지를 처리하는 디바이스는, 시간에 따라 순차적인 관계를 갖는 복수의 원본 이미지를 저장하는 메모리; 복수의 원본 이미지 중 특정 시점의 원본 이미지에 대해, 특정 시점 이전의 원본 이미지의 잔상으로 인한 누적값을 결정하고, 결정된 누적값 및 복수의 원본 이미지를 기초로, 잔상에 의해 발생되는 블러의 제거를 위한 복수의 블러 보상 이미지를 획득하는 적어도 하나의 프로세서; 및 획득된 복수의 블러 보상 이미지를 출력하는 출력부를 포함할 수 있다.
도 1은 디바이스에서 영상 출력 시 사용자의 눈의 잔상으로 인해 발생되는 모션 블러를 설명하기 위한 도면이다.
도 2는 디바이스에서 잔상으로 인해 왜곡되는 이미지와 실제 출력되는 이미지의 신호를 비교하여 설명하기 위한 그래프이다.
도 3은 일 실시예에 따른 디바이스가 이미지를 처리하는 방법을 설명하기 위한 흐름도이다.
도 4a 및 도 4b는 일 실시예에 따른 디바이스가 원본 이미지를 출력하는 경우와 블러 보상 이미지를 출력하는 경우에 있어서, 사용자가 지각하는 이미지를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 디바이스가 감마 보정 및 디감마 보정을 수행하여, 이미지의 잔상의 제거를 위한 블러 보상 이미지를 획득하는 방법을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 따른 디바이스가 감마 보정 및 디감마 보정을 수행하여, 이미지의 잔상의 제거를 위한 블러 보상 이미지를 획득하는 방법을 설명하기 위한 도면이다.
도 7 및 8은 일 실시예에 따라 이미지를 처리하는 디바이스의 블록도이다.
도 2는 디바이스에서 잔상으로 인해 왜곡되는 이미지와 실제 출력되는 이미지의 신호를 비교하여 설명하기 위한 그래프이다.
도 3은 일 실시예에 따른 디바이스가 이미지를 처리하는 방법을 설명하기 위한 흐름도이다.
도 4a 및 도 4b는 일 실시예에 따른 디바이스가 원본 이미지를 출력하는 경우와 블러 보상 이미지를 출력하는 경우에 있어서, 사용자가 지각하는 이미지를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 디바이스가 감마 보정 및 디감마 보정을 수행하여, 이미지의 잔상의 제거를 위한 블러 보상 이미지를 획득하는 방법을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 따른 디바이스가 감마 보정 및 디감마 보정을 수행하여, 이미지의 잔상의 제거를 위한 블러 보상 이미지를 획득하는 방법을 설명하기 위한 도면이다.
도 7 및 8은 일 실시예에 따라 이미지를 처리하는 디바이스의 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 디바이스(100)에서 영상 출력 시 사용자의 눈의 잔상으로 인해 발생되는 모션 블러를 설명하기 위한 도면이다.
디바이스(100)는 복수의 이미지(11, 13, 15, 17, 19)를 출력할 수 있다. 여기에서, 이미지는 예를 들어, 프레임일 수 있다. 다만, 이는 일 예일 뿐, 이미지는 동영상 등의 컨텐츠를 구성하는 장면 단위를 나타낼 수 있다. 또한, 디바이스(100)에서 출력되는 이미지는 렌즈를 통해 투사됨으로써, 사용자가 원거리에 이미지가 출력되는 것처럼 느낄 수 있는 가상 현실을 제공할 수 있다.
또한, 도 1에 도시된 복수의 이미지(11, 13, 15, 17, 19)는 디바이스(100)에서 시간에 따라 순차적으로 출력되는 것으로 가정한다. 디바이스(100)는 사용자의 눈의 움직임에 따라, 제 1 이미지(11)에서부터 제 5 이미지(19)까지의 복수의 이미지(11, 13, 15, 17, 19)를 순차적으로 출력할 수 있다.
한편, 사용자의 눈의 지각 특성으로 인하여, 현재 출력되는 이미지의 이전 이미지에 대한 잔상이 현재 출력되는 이미지에 영향을 줄 수 있다. 예를 들어, 도 1을 참조하면, 첫번째 이미지인 제 1 이미지(11)가 출력되는 경우, 사용자의 눈에 인식되는 제 1' 이미지(21)는 제 1 이미지(11)와 동일할 수 있다. 그러나, 디바이스(100)에서 제 2 이미지(13)가 출력되는 경우에는 이전에 출력된 제 1 이미지(11)의 잔상과 제 2 이미지(13)와 중첩되어 블러링 된 제 2' 이미지(23)가 사용자의 눈에 인식될 수 있다.
사용자의 눈에 인식되는 제 3' 이미지(25), 제 4' 이미지(27) 및 제 5' 이미지(29) 또한, 전술한 바와 같이, 제 3 이미지(15), 제 4 이미지(17) 및 제 5 이미지(19)에 이전 이미지의 잔상이 중첩됨에 따라 모션 블러가 발생할 수 있다. 특히, 이전에 출력되는 이미지가 누적될수록 현재 이미지에 중첩되는 잔상이 증가하게 되어 이미지에서 발생되는 모션 블러가 증가함에 따라, 이미지의 품질이 저하된다는 문제점이 있다.
이에 따라, 본 발명에서는 현재 재생되는 이미지의 이전 이미지로 인한 잔상을 제거함으로써, 이미지의 디블러링을 수행하는 이미지 처리 방법 및 장치에 대해 제공하고자 한다. 이에 대해서는, 도 3 내지 도 8을 참조하여 보다 구체적으로 후술하도록 한다.
도 2는 디바이스에서 잔상으로 인해 왜곡되는 이미지와 실제 출력되는 이미지의 신호를 비교하여 설명하기 위한 그래프이다.
도 2에서는, 디바이스에서 실제 출력되는 이미지의 신호를 VR 디스플레이 신호(210)로 설명하고, 사용자가 왜곡하여 지각하는 신호를 실제 지각되는 신호(220)로 설명하도록 한다. 또한, 실제 지각되는 신호(220)의 보상 방향을 고려하기 위해, 이상적인 지각 신호(230)에 대해서도 VR 디스플레이 신호(210) 및 실제 지각되는 신호(220)와 비교하여 설명하도록 한다.
디바이스에서 출력되는 VR 디스플레이 신호(210)의 경우, 사용자의 눈의 지각 특성으로 인해, 왜곡될 수 있다. 도 2에 따르면, 디바이스에서 샘플 앤 홀드 기법에 따라 동일한 강도(intensity)의 이미지가 지속적으로 출력되는 구간 별로, 각 구간의 끝으로 갈수록 누적된 잔상으로 인하여 신호의 강도가 세지는 것을 확인할 수 있다. 즉, 누적된 잔상으로 인하여 이미지 출력 시 모션 블러 현상의 발생이 심화됨을 예측할 수 있다.
본 발명에서는 모션 블러 현상을 해결하기 위해, 실제 지각되는 신호(220)가 모션 블러가 발생되지 않는 이상적인 지각 신호(230)에 대응될 수 있도록, VR 디스플레이 신호(210)에 미리 모션 블러에 대한 보상을 수행하는 이미지 처리 방법을 제공할 수 있다. 이하에서는, 디바이스가 사용자의 눈의 지각 특성으로 인해 발생되는 모션 블러를 제거하는 방법에 대해 구체적으로 설명하도록 한다.
도 3은 일 실시예에 따른 디바이스가 이미지를 처리하는 방법을 설명하기 위한 흐름도이다.
단계 S310에서, 디바이스는 시간에 따라 순차적인 관계를 갖는 복수의 원본 이미지 중 특정 시점의 원본 이미지에 대해, 특정 시점 이전의 원본 이미지의 잔상으로 인한 누적값을 결정할 수 있다.
본 명세서에서, 잔상은 눈을 자극하던 이미지가 사라진 후에도 시야에 이미지가 남는 착시 현상을 나타낸다.
일 실시예에 따른 현재 시점의 원본 이미지와 이전 시점의 원본 이미지의 눈에서의 잔상이 중첩되어 발생되는 누적값은 원본 이미지와 눈의 블러 커널에 기초하여 다음의 수학식 1에 따라 결정될 수 있다.
[수학식 1]
상기의 수학식 1에서, y는 눈에서 지각되는 이미지를 나타내고, x는 원본 이미지를 나타내며, h는 눈의 블러 커널을 나타낸다. 또한, M은 블러 커널 사이즈를 나타내고, N은 이미지의 길이를 나타낸다. 여기에서, 눈의 블러 커널은 특정 시점의 원본 이미지와 이전에 출력된 다른 원본 이미지의 중첩 시, 사용자의 시각 세포의 응답 속도에 따른 각 원본 이미지의 가중치를 기초로 결정될 수 있다.
또한, 상기의 수학식 1은 다음과 같이 수학식 2로 간단하게 정리하여 나타낼 수 있다.
[수학식 2]
단계 S320에서, 디바이스는 결정된 누적값 및 복수의 원본 이미지를 기초로, 잔상에 의해 발생되는 블러의 제거를 위한 복수의 블러 보상 이미지를 획득할 수 있다.
일 실시예에 따른 디바이스는 결정된 누적값이 복수의 원본 이미지에 대응되도록 보상을 수행한 결과, 복수의 블러 보상 이미지를 획득할 수 있다. 복수의 원본 이미지는 다음의 수학식 3을 기초로 나타낼 수 있다.
[수학식 3]
상기의 수학식 3에서, x는 원본 이미지를 나타내며, h는 눈의 블러 커널을 나타낸다. 또한, M은 블러 커널 사이즈를 나타내고, N은 이미지의 길이를 나타낸다. 디바이스는 전술한 수학식 2에 따른 누적값이 상기의 수학식 3에 대응되도록 보상을 수행하여 블러 보상 이미지를 획득할 수 있다. 다음은 획득된 블러 보상 이미지를 나타낸 수학식 4이다.
[수학식 4]
상기의 수학식 4에서, x는 원본 이미지를 나타내며, h는 눈의 블러 커널을 나타낸다. 또한, M은 블러 커널 사이즈를 나타내고, N은 이미지의 길이를 나타낸다.
단계 S330에서, 디바이스는 획득된 복수의 블러 보상 이미지를 출력할 수 있다.
일 실시예에 따른 디바이스는 복수의 블러 보상 이미지를 시간에 따라 순차적으로 출력할 수 있다. 여기에서, 복수의 블러 보상 이미지의 순서는 대응되는 원본 이미지의 순서와 동일할 수 있다.
디바이스는 사용자의 눈의 잔상을 미리 예측하여, 이를 보상한 블러 보상 이미지를 출력함으로써, 사용자의 지각 특성으로 인한 모션 블러를 효과적으로 제거할 수 있다.
한편, 일 실시예에 따른 디바이스는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 디바이스는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 스마트 TV, 스마트 카, CE(Consumer Electronics) 기기(예컨대, 디스플레이 패널을 갖는 냉장고, 에어컨 등), HMD(Head Mounted Display) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 4a 및 도 4b는 일 실시예에 따른 디바이스가 원본 이미지를 출력하는 경우와 블러 보상 이미지를 출력하는 경우에 있어서, 사용자가 지각하는 이미지를 설명하기 위한 도면이다.
도 4a를 참조하면, 디바이스가 t-2, t-1 및 t 시점에 대응되는 각각의 원본 이미지(410, 420, 430)를 출력하는 경우, 사용자의 눈에는 각 시점에서의 원본 이미지와 이전 이미지의 잔상이 중첩되어 인식될 수 있다.
예를 들어, 현재 시점을 t 시점이라고 가정한 경우, 제 1 원본 이미지(410), 제 2 원본 이미지(420) 및 제 3 원본 이미지(430)는 각각 w1, w2 및 w3의 가중치로 중첩되어 인식될 수 있다. 이 때, w1, w2 및 w3의 가중치 값은 현재 시점과 시간이 가까울수록 큰 값을 가질 수 있다. 이에 따라, 인식된 제 3 이미지(435), 인식된 제 2 이미지(425) 및 인식된 제 1 이미지(415)의 순서로 가중치가 낮게 설정될 수 있다.
한편, 사용자는 제 1 원본 이미지(410) 및 제 2 원본 이미지(420)에 따른 잔상이 제 3 원본 이미지(430)에 중첩됨에 따라, 최종적으로 모션 블러가 발생한 이미지(440)를 인식할 수 있다.
도 4b를 참조하면, 디바이스는 모션 블러를 제거하기 위해, 도 4a에서 전술한 t-2, t-1 및 t 시점에 대응되는 복수의 원본 이미지(410, 420, 430)와 사용자의 눈의 잔상에 의한 누적값을 기초로 복수의 블러 보상 이미지(450, 460, 470)를 획득할 수 있다. 구체적으로, 디바이스는 복수의 원본 이미지(410, 420, 430)과 사용자의 눈의 블러 커널에 대해 선형 이산적인 컨볼루션을 수행하여, 누적값을 산출할 수 있다.
또한, 눈의 블러 커널은 머리의 움직임, 복수의 원본 이미지(410, 420, 430) 간의 변화 등을 기초로 추정될 수 있다. 뿐만, 아니라, 눈의 블러 커널은 원본 이미지와 이전에 출력된 다른 원본 이미지의 중첩 시, 사용자의 시각 세포의 응답 속도에 따른 각 원본 이미지의 가중치를 기초로 결정될 수도 있다.
현재 시점을 t 시점이라고 가정한 경우, 제 1 블러 보상 이미지(450), 제 2 블러 보상 이미지(460) 및 제 3 블러 보상 이미지(470)는 각각 w1, w2 및 w3의 가중치로 중첩되어 인식될 수 있다. 또한, 인식된 제 3' 이미지(455), 인식된 제 2' 이미지(465) 및 인식된 제 1' 이미지(475)의 순서로 가중치가 낮게 설정될 수 있다.
일 실시예에 따른 디바이스에서 제 1 블러 보상 이미지(450), 제 2 블러 보상 이미지(460) 및 제 3 블러 보상 이미지(470)를 순차적으로 출력하는 경우, 이전 이미지의 잔상이 효과적으로 처리됨에 따라, 사용자는 모션 블러가 제거된 최종 이미지(480)를 인식할 수 있다.
도 5는 일 실시예에 따른 디바이스가 감마 보정 및 디감마 보정을 수행하여, 이미지의 잔상의 제거를 위한 블러 보상 이미지를 획득하는 방법을 설명하기 위한 흐름도이다.
단계 S510에서, 디바이스는 시간에 따라 순차적인 관계를 갖는 복수의 원본 이미지 각각에 대해 감마 보정을 수행하여 복수의 감마 보정 이미지를 획득할 수 있다.
일 실시예에 따른 디바이스는 복수의 원본 이미지에 감마 보정을 수행할 수 있다. 감마 보정은 인간 시각의 비선형성에 맞추어 정보를 부호화하는 프로세스를 의미한다. 인간의 시각은 베버의 법칙(Weber's law)에 따라 밝기에 대해 비선형적으로 반응한다. 이 때문에, 선형적으로 빛의 밝기를 기록하면 포스터리제이션(Posterization)이 발생할 수 있다. 따라서, 디바이스는 화질 열화를 방지하기 위해, 인간 시각의 비선형성에 맞추어 정보를 부호화 하는 감마 보정을 수행할 수 있다.
단계 S520에서, 디바이스는 복수의 감마 보정 이미지 각각에 대해 사용자의 눈에서의 잔상에 따른 누적값을 결정할 수 있다.
예를 들어, 디바이스는 수학식 1에 기초하여, 복수의 감마 보정 이미지 각각에 대한 누적값을 결정할 수 있다. 이 때, 수학식 1에서의 x에 감마 보정 이미지를 입력하는 경우, 감마 보정 이미지에 대한 누적값을 결정할 수 있다.
단계 S530에서, 디바이스는 결정된 누적값 및 복수의 감마 보정 이미지를 기초로 복수의 블러 보상 이미지를 획득할 수 있다.
일 실시예에 따른 디바이스는 결정된 누적값이 복수의 감마 보정 이미지에 대응되도록 보상을 수행한 결과, 복수의 블러 보상 이미지를 획득할 수 있다.
단계 S540에서, 디바이스는 획득된 복수의 블러 보상 이미지에 디감마 보정을 수행하여, 복수의 디감마 보정 이미지를 획득할 수 있다.
일 실시예에 따른 디바이스는 감마 보정에 이용된 감마 커브에 관한 정보를 기초로 디감마 커브를 결정할 수 있다. 예를 들어, 디바이스는 단계 S510에서 적용한 감마 커브에 역수를 취해 디감마 커브를 획득할 수 있다.
단계 S550에서, 디바이스는 복수의 디감마 보정 이미지를 출력할 수 있다.
일 실시예에 따른 디바이스는 복수의 디감마 보정 이미지를 시간에 따라 순차적으로 출력할 수 있다. 여기에서, 복수의 디감마 보정 이미지의 순서는 대응되는 원본 이미지의 순서와 동일할 수 있다.
디바이스는 사용자의 눈의 잔상을 미리 예측하여, 이를 보상하는 것 뿐만 아니라, 이미지에 감마 보정 및 디감마 보정을 수행함으로써, 사용자 시각의 비선형성에 맞추어 효과적으로 정보를 부호화할 수 있다.
도 6은 일 실시예에 따른 디바이스가 감마 보정 및 디감마 보정을 수행하여, 이미지의 잔상의 제거를 위한 블러 보상 이미지를 획득하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 디바이스는 시간에 따라 순차적인 관계를 갖는 원본 이미지를 획득할 수 있다. 디바이스는 원본 이미지(610)를 입력 데이터 x로 선택할 수 있다.
디바이스는 사람의 눈의 비선형성(615)을 고려하기 위해, 원본 이미지(610)에 감마 커브(620)를 적용하여, 감마 보정을 수행할 수 있다. 또한, 디바이스는 감마 보정에 따라 선형(640)으로 변환된 감마 보정 이미지(630)에 대해, 이전 이미지에 대한 누적값을 기초로 복수의 블러 보상 이미지(650, 660, 670)를 획득할 수 있다.
또한, 디바이스는 획득된 복수의 블러 보상 이미지(650, 660, 670)에 디감마 커브(675)를 적용하여, 비선형(680)으로 변환된 디감마 보정 이미지(690)를 획득할 수 있다.
디바이스는 전술한 바와 같이, 감마 보정, 블러 보상 및 디감마 보정이 순차적으로 적용된 복수의 이미지를 출력함으로써, 이미지의 품질을 보다 향상시킬 수 있다.
도 7 및 8은 일 실시예에 따라 이미지를 처리하는 디바이스(700)의 블록도이다.
도 7에 도시된 바와 같이, 일 실시예에 따른 디바이스(700)는, 출력부(710), 적어도 하나의 프로세서(720) 및 메모리(730)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스(700)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스(700)는 구현될 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(700)는, 출력부(710), 적어도 하나의 프로세서(720) 및 메모리(730) 이외에 센싱부(740), 사용자 입력부(750), A/V 입력부(1060) 및 통신부(770)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
출력부(710)는, 오디오 신호 또는 이미지 신호의 출력을 위한 것으로, 이에는 디스플레이부(711)와 음향 출력부(712) 등이 포함될 수 있다.
디스플레이부(711)는 디바이스(700)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(711)는 적어도 하나의 프로세서(720)에서 생성된 복수의 블러 보상 이미지를 출력할 수 있다.
한편, 디스플레이부(711)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(711)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(711)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(700)의 구현 형태에 따라 디바이스(700)는 디스플레이부(711)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(711)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
음향 출력부(712)는 통신부(770)로부터 수신되거나 메모리(730)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(712)는 디바이스(700)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(712)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
적어도 하나의 프로세서(720)는, 통상적으로 디바이스(700)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(720)는, 메모리(730)에 저장된 프로그램들을 실행함으로써, 출력부(710), 메모리(730), 센싱부(740), 사용자 입력부(750), A/V 입력부(760) 및 통신부(770) 등을 전반적으로 제어할 수 있다.
적어도 하나의 프로세서(720)는 복수의 원본 이미지 중 특정 시점의 원본 이미지에 대해, 특정 시점의 원본 이미지 이전의 다른 원본 이미지의 잔상의 중첩으로 인한 누적값을 결정할 수 있다. 또한, 적어도 하나의 프로세서(720)는 결정된 누적값 및 복수의 원본 이미지를 기초로, 잔상에 의해 발생되는 블러의 제거를 위한 복수의 블러 보상 이미지를 획득할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서(720)는 복수의 원본 이미지를 구성하는 적어도 하나의 픽셀의 값 및 사용자의 눈에 대한 블러 커널을 기초로 누적값을 결정할 수 있다. 여기에서, 블러 커널은, 특정 시점의 원본 이미지 및 이전 원본 이미지의 중첩 시, 사용자의 시각 세포의 응답 속도에 따른 각 원본 이미지의 가중치를 기초로 결정될 수 있다.
적어도 하나의 프로세서(720)는 사용자의 머리 움직임 및 복수의 원본 이미지 각각에 포함된 적어도 하나의 객체의 변화 정도 중 적어도 하나에 기초하여, 사용자의 눈에서의 잔상을 나타내는 누적값을 결정할 수 있다.
또한, 적어도 하나의 프로세서(720)는 눈의 움직임의 추적 결과를 기초로, 특정 시점의 원본 이미지 이전의 다른 원본 이미지에 대한 사용자의 눈에서의 잔상을 나타내는 누적값을 결정할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서(720)는, 복수의 원본 이미지 각각에 대해 감마 보정을 수행하여, 복수의 감마 보정 이미지를 획득할 수 있다. 또한, 적어도 하나의 프로세서(720)는 복수의 감마 보정 이미지에 대한 사용자의 눈에서의 잔상을 나타내는 누적값을 결정할 수 있다. 또한, 적어도 하나의 프로세서(720)는 획득된 복수의 블러 보상 이미지에 디감마 보정을 수행하여 복수의 디감마 보정 이미지를 획득할 수 있다.
메모리(730)는, 적어도 하나의 프로세서(720)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예를 들어, 영상들의 픽셀 값)을 저장할 수도 있다.
메모리(730)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스(700)는 인터넷(internet)상에서 메모리(730)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
메모리(730)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(731) 및 터치 스크린 모듈(732) 등으로 분류될 수 있다.
UI 모듈(731)은, 애플리케이션 별로 디바이스(700)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(732)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 적어도 하나의 프로세서(720)로 전달할 수 있다. 일 실시예에 따른 터치 스크린 모듈(732)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(732)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
센싱부(740)는, 디바이스(700)의 상태, 디바이스(700) 주변의 상태 및 디바이스(700)를 착용한 사용자의 상태 중 적어도 하나를 감지하고, 감지된 정보를 적어도 하나의 프로세서(720)로 전달할 수 있다.
일 실시예에 따른 센싱부(740)는 디바이스(700)를 착용한 사용자의 움직임을 추적할 수 있다. 예를 들어, 센싱부(740)는 디바이스(700)가 착용된 사용자의 머리 부분의 움직임을 측정할 수 있다. 또한, 센싱부(740)는 사용자의 눈의 움직임을 추적할 수도 있다.
센싱부(740)는, 지자기 센서(Magnetic sensor)(741), 가속도 센서(Acceleration sensor)(742), 온/습도 센서(743), 적외선 센서(744), 자이로스코프 센서(745), 위치 센서(예컨대, GPS)(746), 기압 센서(747), 근접 센서(748), 및 RGB 센서(illuminance sensor)(749) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
사용자 입력부(750)는, 사용자가 디바이스(700)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(750)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(750)는, 사용자 입력을 수신할 수 있다. 또한, 사용자 입력부(750)는 UI 모듈(731)과 연동되어, 복수의 센서들 각각의 감지 영역 상에 표시되는 아이템들 중 적어도 하나를 선택하는 사용자 입력을 수신할 수도 있다. 다만, 이는 일 실시예일 뿐, 사용자 입력부(750)에서 수신하는 사용자 입력의 종류가 전술한 예에 한정되는 것은 아니다.
A/V(Audio/Video) 입력부(760)는 오디오 신호 또는 영상 신호 입력을 위한 것으로, 이에는 카메라(761)와 마이크로폰(762) 등이 포함될 수 있다. 카메라(761)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 적어도 하나의 프로세서(720) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(761)에서 처리된 화상 프레임은 메모리(730)에 저장되거나 통신부(770)를 통하여 외부로 전송될 수 있다. 카메라(761)는 디바이스(700)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(762)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(762)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(762)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
한편, 일 실시예에 따른 디바이스(700)는 렌즈(미도시)를 더 포함할 수도 있다. 디바이스(700)의 사용자는 렌즈를 통해 디스플레이부(711)에서 출력되는 이미지를 감지할 수 있다.
통신부(770)는, 디바이스(700)와 외부 디바이스(예를 들어, HMD) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(770)는, 근거리 통신부(771) 및 이동 통신부(772)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(771)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(772)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
Claims (15)
- 디바이스에서 이미지를 처리하는 방법에 있어서,
시간에 따라 순차적인 관계를 갖는 복수의 원본 이미지 중 특정 시점의 원본 이미지에 대해, 잔상에 대한 사용자의 지각 특성에 기초하여, 특정 시점 이전의 원본 이미지의 상기 잔상으로 인한 누적값을 결정하는 단계;
상기 결정된 누적값 및 상기 복수의 원본 이미지를 기초로, 상기 잔상에 의해 발생되는 블러의 제거를 위한 복수의 블러 보상 이미지를 생성하는 단계; 및
상기 생성된 복수의 블러 보상 이미지를 출력하는 단계;를 포함하고,
상기 복수의 블러 보상 이미지의 출력에 따라 발생하는 잔상에 의해 상기 사용자에 의해 지각되는 신호는 이상적인 지각 신호에 대응되는, 방법. - 제 1항에 있어서, 상기 누적값을 결정하는 단계는,
상기 복수의 원본 이미지를 구성하는 적어도 하나의 픽셀의 값 및 상기 잔상에 따른 사용자의 눈에 대한 블러 커널을 기초로 상기 누적값을 결정하는, 방법. - 제 2항에 있어서, 상기 블러 커널은,
상기 특정 시점의 원본 이미지 및 상기 특정 시점 이전의 원본 이미지의 중첩 시, 상기 잔상에 대한 사용자의 시각 세포의 응답 속도에 따른 각 원본 이미지의 가중치를 기초로 결정되는, 방법. - 제 1항에 있어서, 상기 누적값을 결정하는 단계는,
상기 디바이스를 착용한 사용자의 머리 움직임 및 상기 복수의 원본 이미지 각각에 포함된 적어도 하나의 객체의 변화 정도 중 적어도 하나에 기초하여, 상기 사용자의 눈에서의 잔상을 나타내는 누적값을 결정하는, 방법. - 제 1항에 있어서,
사용자의 눈의 움직임을 추적하는 단계를 더 포함하고,
상기 누적값을 결정하는 단계는,
상기 눈의 움직임의 추적 결과를 기초로 상기 특정 시점 이전의 원본 이미지의 잔상으로 인한 누적값을 결정하는, 방법. - 제 1항에 있어서, 상기 복수의 블러 보상 이미지는,
상기 결정된 누적값 및 상기 복수의 원본 이미지 간의 차이를 기초로 획득되는, 방법. - 제 1항에 있어서,
상기 복수의 원본 이미지 각각에 대해 감마 보정을 수행하여, 복수의 감마 보정 이미지를 획득하는 단계; 및
상기 획득된 복수의 블러 보상 이미지에 디감마 보정을 수행하여 복수의 디감마 보정 이미지를 획득하는 단계를 더 포함하고,
상기 누적값을 결정하는 단계는,
상기 복수의 감마 보정 이미지에 대해 잔상으로 인한 누적값을 결정하는, 방법. - 이미지를 처리하는 디바이스에 있어서,
시간에 따라 순차적인 관계를 갖는 복수의 원본 이미지를 저장하는 메모리;
상기 복수의 원본 이미지 중 특정 시점의 원본 이미지에 대해, 잔상에 대한 사용자의 지각 특성에 기초하여, 특정 시점 이전의 원본 이미지의 잔상으로 인한 누적값을 결정하고, 상기 결정된 누적값 및 상기 복수의 원본 이미지를 기초로, 상기 잔상에 의해 발생되는 블러의 제거를 위한 복수의 블러 보상 이미지를 생성하는 적어도 하나의 프로세서; 및
상기 생성된 복수의 블러 보상 이미지를 출력하는 출력부;를 포함하고,
상기 복수의 블러 보상 이미지의 출력에 따라 발생하는 잔상에 의해 상기 사용자에 의해 지각되는 신호는 이상적인 지각 신호에 대응되는, 디바이스. - 제 8항에 있어서, 상기 적어도 하나의 프로세서는,
상기 복수의 원본 이미지를 구성하는 적어도 하나의 픽셀의 값 및 상기 잔상에 따른 사용자의 눈에 대한 블러 커널을 기초로 상기 누적값을 결정하는, 디바이스. - 제 9항에 있어서, 상기 블러 커널은,
상기 특정 시점의 원본 이미지 및 상기 특정 시점 이전의 원본 이미지의 중첩 시, 상기 잔상에 대한 사용자의 시각 세포의 응답 속도에 따른 각 원본 이미지의 가중치를 기초로 결정되는, 디바이스. - 제 8항에 있어서, 상기 적어도 하나의 프로세서는,
상기 디바이스를 착용한 사용자의 머리 움직임 및 상기 복수의 원본 이미지 각각에 포함된 적어도 하나의 객체의 변화 정도 중 적어도 하나에 기초하여, 상기 사용자의 눈에서의 잔상을 나타내는 누적값을 결정하는, 디바이스. - 제 8항에 있어서,
상기 사용자의 눈의 움직임을 추적하는 센싱부를 더 포함하고,
상기 적어도 하나의 프로세서는,
상기 눈의 움직임의 추적 결과를 기초로 상기 특정 시점 이전의 원본 이미지의 잔상으로 인한 누적값을 결정하는, 디바이스. - 제 8항에 있어서, 상기 복수의 블러 보상 이미지는,
상기 결정된 누적값 및 상기 복수의 원본 이미지 간의 차이를 기초로 획득되는, 디바이스. - 제 8항에 있어서, 상기 적어도 하나의 프로세서는,
상기 복수의 원본 이미지 각각에 대해 감마 보정을 수행하여, 복수의 감마 보정 이미지를 획득하며, 상기 복수의 감마 보정 이미지에 대해 잔상으로 인한 누적값을 결정하고, 상기 획득된 복수의 블러 보상 이미지에 디감마 보정을 수행하여 복수의 디감마 보정 이미지를 획득하는, 디바이스. - 제 1항 내지 제 7항 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170157505A KR102314647B1 (ko) | 2017-11-23 | 2017-11-23 | 이미지를 처리하는 방법, 디바이스 및 기록매체 |
| PCT/KR2018/014249 WO2019103427A1 (ko) | 2017-11-23 | 2018-11-20 | 이미지를 처리하는 방법, 디바이스 및 기록매체 |
| US16/758,305 US11252400B2 (en) | 2017-11-23 | 2018-11-20 | Method, device, and recording medium for processing image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170157505A KR102314647B1 (ko) | 2017-11-23 | 2017-11-23 | 이미지를 처리하는 방법, 디바이스 및 기록매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190059666A KR20190059666A (ko) | 2019-05-31 |
| KR102314647B1 true KR102314647B1 (ko) | 2021-10-19 |
Family
ID=66632106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170157505A KR102314647B1 (ko) | 2017-11-23 | 2017-11-23 | 이미지를 처리하는 방법, 디바이스 및 기록매체 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11252400B2 (ko) |
| KR (1) | KR102314647B1 (ko) |
| WO (1) | WO2019103427A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020242047A1 (en) * | 2019-05-30 | 2020-12-03 | Samsung Electronics Co., Ltd. | Method and apparatus for acquiring virtual object data in augmented reality |
| WO2021215567A1 (ko) * | 2020-04-24 | 2021-10-28 | 엘지전자 주식회사 | Pov 디스플레이 장치 및 그 제어방법 |
| CN113870134B (zh) * | 2021-09-28 | 2023-04-07 | 南京诺源医疗器械有限公司 | 手持式摄像镜数据处理方法及装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08130664A (ja) * | 1994-10-31 | 1996-05-21 | Nec Eng Ltd | 画像符号化装置の雑音抑圧方式 |
| KR100595648B1 (ko) * | 2004-02-05 | 2006-07-03 | 엘지전자 주식회사 | 이동 통신 단말기의 엘씨디 화면 보정 방법 |
| KR100578855B1 (ko) | 2004-08-13 | 2006-05-11 | 삼성에스디아이 주식회사 | 플라즈마 표시 장치 및 그의 잔상 제거 방법 |
| US20060044241A1 (en) * | 2004-08-31 | 2006-03-02 | Vast View Technology Inc. | Driving device for quickly changing the gray level of the liquid crystal display and its driving method |
| JP4766334B2 (ja) * | 2004-12-21 | 2011-09-07 | ソニー株式会社 | 画像処理装置と画像処理方法および画像処理プログラム |
| KR100996036B1 (ko) | 2008-02-27 | 2010-11-22 | 삼성전자주식회사 | 영상의 블러 제거 방법 및 장치 |
| US20120206500A1 (en) | 2011-02-15 | 2012-08-16 | Micron Technology, Inc. | Video data dependent adjustment of display drive |
| KR101839617B1 (ko) * | 2011-07-11 | 2018-03-19 | 포항공과대학교 산학협력단 | 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치 |
| US20160293086A1 (en) * | 2013-11-12 | 2016-10-06 | Sharp Kabushiki Kaisha | Color reproduction system and color reproduction method |
| US9773473B2 (en) * | 2014-06-03 | 2017-09-26 | Nvidia Corporation | Physiologically based adaptive image generation |
| KR20160092670A (ko) | 2015-01-28 | 2016-08-05 | 한국전자통신연구원 | 시선추적 시스템에서 모션 블러 측정 및 제거 장치와 방법 |
| JP6628497B2 (ja) * | 2015-05-19 | 2020-01-08 | キヤノン株式会社 | 撮像装置、撮像システム、および画像処理方法 |
| KR101732890B1 (ko) * | 2015-08-19 | 2017-05-08 | 한국전자통신연구원 | 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치 |
-
2017
- 2017-11-23 KR KR1020170157505A patent/KR102314647B1/ko active IP Right Grant
-
2018
- 2018-11-20 US US16/758,305 patent/US11252400B2/en active Active
- 2018-11-20 WO PCT/KR2018/014249 patent/WO2019103427A1/ko active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| US20200322596A1 (en) | 2020-10-08 |
| US11252400B2 (en) | 2022-02-15 |
| WO2019103427A1 (ko) | 2019-05-31 |
| KR20190059666A (ko) | 2019-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102394354B1 (ko) | 키 포인트 검출 방법 및 장치, 전자 기기 및 저장 매체 | |
| CN109743626B (zh) | 一种图像显示方法、图像处理方法和相关设备 | |
| EP3089154A1 (en) | Image processing device, image processing method, computer program, and image display system | |
| EP2816545A2 (en) | Method and apparatus for protecting eyesight | |
| EP3032839B1 (en) | Device and method for controlling sound output | |
| KR102314647B1 (ko) | 이미지를 처리하는 방법, 디바이스 및 기록매체 | |
| US9105132B2 (en) | Real time three-dimensional menu/icon shading | |
| KR20170121719A (ko) | Vr 공간에서 사용자 인터페이스를 제공하는 방법, 디바이스 및 기록매체 | |
| CN103518156A (zh) | 用于反射补偿的方法和装置 | |
| US10747490B2 (en) | Method and device for displaying an image transmitted from a wearable device | |
| JP5523086B2 (ja) | 情報提示装置、情報提示方法、及びプログラム | |
| US10636167B2 (en) | Method and device for determining distance | |
| KR101782086B1 (ko) | 이동단말 제어장치 및 방법 | |
| KR20160071783A (ko) | 컨텐트를 표시하는 방법 및 디바이스 | |
| KR20210095747A (ko) | 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기 | |
| CN105608469B (zh) | 图像分辨率的确定方法及装置 | |
| US11257116B2 (en) | Method and apparatus for providing advertisement content and recording medium | |
| US10460425B2 (en) | Method, device, and recording medium for processing image | |
| US11600241B2 (en) | Display control device, imaging device, display control method, and display control program | |
| US10854010B2 (en) | Method and device for processing image, and recording medium | |
| KR20160031824A (ko) | 디바이스에 객체를 표시하는 방법 및 그 디바이스 | |
| KR20150089833A (ko) | 형용사를 이용한 진동 생성 방법 및 디바이스 | |
| WO2015110693A1 (en) | Determination of a graphical resolution | |
| KR20190073106A (ko) | 전자 장치 및 그 동작방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |