RU2383055C2 - Способ определения и сглаживания ступенчатых краев на изображении - Google Patents

Способ определения и сглаживания ступенчатых краев на изображении Download PDF

Info

Publication number
RU2383055C2
RU2383055C2 RU2007109295/09A RU2007109295A RU2383055C2 RU 2383055 C2 RU2383055 C2 RU 2383055C2 RU 2007109295/09 A RU2007109295/09 A RU 2007109295/09A RU 2007109295 A RU2007109295 A RU 2007109295A RU 2383055 C2 RU2383055 C2 RU 2383055C2
Authority
RU
Russia
Prior art keywords
pixel
region
intensity
current pixel
diagonal
Prior art date
Application number
RU2007109295/09A
Other languages
English (en)
Other versions
RU2007109295A (ru
Inventor
Виктор Васильевич БЕЛЯЕВ (RU)
Виктор Васильевич Беляев
Сергей Михайлович СЕДУНОВ (RU)
Сергей Михайлович Седунов
Оксана Васильевна ДЖОСАН (RU)
Оксана Васильевна ДЖОСАН
Сунгсоо КИМ (KR)
Сунгсоо КИМ
Янг-джин КВОН (KR)
Янг-джин КВОН
Original Assignee
Самсунг Электроникс Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Самсунг Электроникс Ко., Лтд. filed Critical Самсунг Электроникс Ко., Лтд.
Priority to RU2007109295/09A priority Critical patent/RU2383055C2/ru
Publication of RU2007109295A publication Critical patent/RU2007109295A/ru
Application granted granted Critical
Publication of RU2383055C2 publication Critical patent/RU2383055C2/ru

Links

Landscapes

  • Image Processing (AREA)

Abstract

Изобретение относится к способам обработки изображения, и в частности к сглаживанию ступенчатых краев на цифровом изображении. Техническим результатом является увеличение быстродействия обработки зашумленного изображения в реальном времени и повышение качества коррекции ступенчатых краев. Предложен способ определения и сглаживания ступенчатых краев на изображении, в котором сохраняют значения начальной интенсивности и координат пикселей изображения; выбирают вокруг текущего пикселя первую область, состоящую из нескольких ближайших соседних пикселей изображения; выбирают две линии, одна из которых проходит горизонтально, а другая вертикально через текущий пиксель и пиксели первой области; определяют горизонтальный вспомогательный градиент вдоль горизонтальной линии первой области как разность между пикселем, расположенным слева от текущего пикселя, и пикселем, расположенным справа от текущего пикселя; определяют вертикальный вспомогательный градиент вдоль вертикальной линии первой области как разность между пикселем, расположенным сверху от текущего пикселя, и пикселем, расположенным снизу от текущего пикселя; определяют сумму абсолютных величин горизонтального и вертикального градиентов; определяют, что первая область не является высокочастотной, и для каждого пикселя первой области определяют горизонтальный градиент вдоль горизонтальной линии первой области и вертикальный градиент вдоль выбранной вертикальной линии первой области; определяют четыре корреляционных матрицы для соответствующих градиентов областей, а также собственные векторы θ-, θ+ и собственные величины λ-, λ+ корреляционной матрицы. Итоговую интенсивность текущего пикселя определяют как взвешенную сумму начальной интенсивности текущего пикселя с коэффициентом (1-w) с аппроксимированной интенсивностью текущего пикселя по направлению Dir_edge с коэффициентом w. 10 з.п. ф-лы, 1 ил.

Description

Изобретение относится к способам обработки изображения, а именно к способам определения и сглаживания ступенчатых краев на цифровом изображении.
Ступенчатые края являются одним из искажений, которое часто возникает на цифровом изображении. Ступенчатыми краями называют ступенчатые линии по краям объектов на изображении там, где должны быть плавные контуры.
Чтобы удалить ступенчатые края, нужно сначала их обнаружить, а затем сгладить.
Существуют различные способы обнаружения и сглаживания ступенчатых краев цифрового изображения.
В патенте США №5351305 [1] предложен способ и устройство улучшения краев, в которых средство определения краев просматривает область вокруг каждого пикселя отфильтрованного изображения, чтобы определить среднеквадратичное отклонение величин пикселей. Большое отклонение означает край; тогда как однородность означает отсутствие края. Аналогично поступают и в направлении максимального отклонения ортогонально направлению края. Пиксели, которые являются добавочными к краю с меньшей величиной отклонения, заменяют соответствующим пикселем, который был отфильтрован непосредственно в направлении, наиболее близком к определенному направлению края. Однако обработка данным способом дает недостаточно качественный результат.
В патенте США №6608942 [2] описан способ и устройство улучшения ступенчатых краев. В способе определяют один или более краев, проходящих через выбранный пиксель изображения в зависимости от интенсивности данного пикселя и пикселей, окружающих его, положение одного или более краев выбранного пикселя и предопределенные градиенты между выбранным пикселем и пикселями, окружающими его, после чего к выбранному пикселю и пикселям, окружающим его, применяют адаптированную маску свертки, при этом величины коэффициентов маски свертки зависят от одного или более найденных краев. К достоинству данного способа можно отнести то, что он выполняется в реальном времени. К недостаткам следует отнести недостаточно качественную обработку и внесение артефактов в итоговое скорректированное изображение. Также к недостатку можно отнести то, что для того, чтобы данный способ работал в режиме реального времени, предъявляются повышенные требования к вычислительным ресурсам аппаратуры.
Наиболее близким к заявленному изобретению является способ сглаживания ступенчатого эффекта в изображениях, предложенный в патенте США №6674903 [3], в котором локальные градиенты для каждого текущего пикселя изображения определяют по четырем направлениям. Первое направление соответствует наибольшему из определенных локальных градиентов интенсивностей пикселей. Для сглаживания изображения во втором направлении, ортогональном первому направлению, величину интенсивности, т.е. яркости, пикселей меняют в соответствии с величиной пикселей, расположенных во втором направлении вокруг текущего пикселя. Данный способ выбран в качестве прототипа заявленного изобретения.
Недостатками способа прототипа являются его недостаточная функциональность, так как способ применим только для незашумленных изображений, вследствие большой чувствительности способа к шуму в изображении и недостаточное качество обработки изображения вследствие недостаточного уменьшения зубцов по краям объектов на изображении.
Задачей заявляемого изобретения является создание способа определения и сглаживания ступенчатых краев на изображении с расширенной функциональностью, а именно с возможностью обработки зашумленного изображения, увеличенным быстродействием в реальном времени и более высоким качеством коррекции ступенчатых краев, при котором не возникают артефакты в итоговом скорректированном изображении.
Поставленная задача решена путем создания способа определения и сглаживания ступенчатых краев на изображении, в котором сохраняют значения начальной интенсивности и координат пикселей изображения, после чего для каждого текущего пикселя изображения выполняют следующие операции:
- выбирают вокруг текущего пикселя первую область, состоящую из нескольких ближайших соседних пикселей изображения;
- выбирают две линии, одна из которых проходит горизонтально (далее упоминается как горизонтальная линия), а другая вертикально (далее упоминается как вертикальная линия) через текущий пиксель и пиксели первой области;
- определяют горизонтальный вспомогательный градиент вдоль горизонтальной линии первой области как разность между пикселем, расположенным слева от текущего пикселя, и пикселем, расположенным справа от текущего пикселя;
- определяют вертикальный вспомогательный градиент вдоль вертикальной линии первой области как разность между пикселем, расположенным сверху от текущего пикселя, и пикселем, расположенным снизу от текущего пикселя;
- определяют сумму абсолютных величин горизонтального и вертикального градиентов;
- определяют, что первая область не является высокочастотной, при этом проверяют выполнение условия, что минимум суммы абсолютных величин горизонтального и вертикального вспомогательных градиентов меньше 10% максимума суммы абсолютных величин горизонтального и вертикального вспомогательных градиентов и, в случае выполнения данного условия, первая область не является высокочастотной, и
- для каждого пикселя первой области определяют горизонтальный градиент вдоль горизонтальной линии первой области и вертикальный градиент вдоль выбранной вертикальной линии первой области;
- определяют первую корреляционную матрицу для горизонтальных градиентов и вертикальных градиентов первой области, а также собственные векторы θ-, θ+ и собственные величины λ-, λ+ первой корреляционной матрицы;
- определяют величину Power_hv по формуле
Figure 00000001
,
где n - число, задающее чувствительность к краю объекта в изображении;
- определяют направление Dir_hv края объекта в изображении как угол, под которым направлен собственный вектор первой корреляционной матрицы с меньшим значением собственной величины;
- выбирают две линии, одна из которых проходит под углом 45 градусов относительно горизонтального направления (далее упоминается как правая диагональ), а другая под углом 135 градусов относительно горизонтального направления (далее упоминается как левая диагональ) через текущий пиксель и пиксели выбранной области;
- для каждого пикселя первой области определяют праводиагональный градиент вдоль правой диагонали первой области и леводиагональный градиент вдоль левой диагонали первой области;
- определяют вторую корреляционную матрицу для праводиагональных градиентов и леводиагональных градиентов первой области, а также собственные векторы θd-, θd+ и собственные величины λd-, λd+ второй корреляционной матрицы;
- определяют величину Power_lr по формуле
Figure 00000002
,
где m - число, задающее чувствительность к краю объекта в изображении;
- определяют направление Dir_lr края объекта в изображении как угол, под которым направлен собственный вектор второй корреляционной матрицы с меньшим значением собственной величины;
- определяют величину Power как максимальное значение, выбранное из величин Power_hv и Power_lr;
- определяют, что конечным направлением Dir края объекта в немасштабированном изображении является Dir_lr, если Power_hv меньше Power_lr и значение Dir_lr находится в определенном диапазоне углов, иначе определяют, что конечным направлением Dir края объекта в изображении является Dir_hv;
- выбирают вокруг текущего пикселя и первой области вторую область, состоящую из нескольких соседних пикселей изображения, при этом размер второй области больше размера первой области;
- выполняют низкочастотную фильтрацию во второй области, в результате чего получают фильтрованную область и сохраняют ее;
- выбирают две линии, одна из которых проходит горизонтально, а другая вертикально через текущий пиксель и пиксели второй области;
- для каждого пикселя второй области определяют горизонтальный масштабированный градиент вдоль горизонтальной линии второй области и вертикальный масштабированный градиент вдоль вертикальной линии второй области;
- определяют третью корреляционную матрицу для горизонтальных масштабированных градиентов и вертикальных масштабированных градиентов второй области, а также собственные векторы θsc-, θsc+ и собственные величины
λsc-, λsc+ третьей корреляционной матрицы;
- определяют величину Power_hv_sc по формуле
Figure 00000003
,
где k - число, задающее чувствительность к краю объекта в изображении;
- определяют направление края Dir_hv_sc объекта в изображении как угол, под которым направлен собственный вектор третьей корреляционной матрицы с меньшим значением собственной величины;
- выбирают две линии, одна из которых проходит под углом 45 градусов относительно горизонтального направления (т.е. правая диагональ), а другая под углом 135 градусов относительно горизонтального направления (т.е. левая диагональ) через текущий пиксель и пиксели второй области;
- для каждого пикселя второй области определяют праводиагональный масштабированный градиент вдоль правой диагонали второй области и леводиагональный масштабированный градиент вдоль левой диагонали второй области;
- определяют четвертую корреляционную матрицу для праводиагональных масштабированных градиентов и леводиагональных масштабированных градиентов, а также собственные векторы θscd-, θscd+и собственные величины λscd-, λscd+четвертой корреляционной матрицы;
- определяют величину Power_lr_sc по формуле
Figure 00000004
где l - число, задающее чувствительность к краю объекта в изображении;
- определяют направление края Dir_lr_sc объекта в изображении как угол относительно горизонтальной оси, под которым направлен собственный вектор с меньшим значением собственной величины четвертой корреляционной матрицы;
- определяют величину Power_sc как максимальную из величин Power_hv_sc и Power_lr_sc;
- определяют направление края Dir_sc объекта в изображении как Dir_lr__sc, если Power_hv_sc меньше Power_lr_sc и Dir_lr_sc находится определенном диапазоне углов A_d_sc, иначе определяют, что Dir_sc равен Dir_hv_sc;
- определяют величину Power_edge как максимальную из величин Power и Power_sc;
- определяют направление края Dir_edge объекта в изображении равным Dir, если Power меньше Power_ sc, иначе определяют направление края Dir_edge равным Dir_sc;
- определяют коэффициент w как функцию, квазилинейно зависящую от Power_edge;
- определяют аппроксимированную интенсивность текущего пикселя по направлению Dir_edge как нормированную сумму следующих интенсивностей: интенсивностей пикселей, расположенных слева от текущего пикселя по направлению Dir_edge, начальной интенсивности текущего пикселя, умноженной на два, и интенсивностей пикселей, расположенных справа от текущего пикселя по направлению Dir_edge;
- определяют итоговую интенсивность текущего пикселя как взвешенную сумму начальной интенсивности текущего пикселя с коэффициентом (1-w) с аппроксимированной интенсивностью текущего пикселя по направлению Dir_edge с коэффициентом w.
Для функционирования способа важно, чтобы определяли горизонтальный градиент вдоль горизонтальной линии первой области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: абсолютной величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного слева от текущего пикселя первой области, абсолютной величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области, абсолютной величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области, и интенсивностью пикселя, расположенного справа от текущего пикселя первой области.
Для функционирования способа важно, чтобы определяли вертикальный градиент вдоль вертикальной линии первой области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: абсолютной величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного сверху от текущего пикселя первой области, абсолютной величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного снизу от текущего пикселя первой области, абсолютной величины разности между интенсивностью пикселя, расположенного сверху от текущего пикселя первой области, и интенсивностью пикселя, расположенного снизу от текущего пикселя первой области.
Для функционирования способа важно, чтобы определяли праводиагональный градиент вдоль правой диагонали первой области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: величины разности между значением интенсивности текущего пикселя первой области и значением интенсивности пикселя, расположенного слева от текущего пикселя первой области по правой диагонали, величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по правой диагонали, величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области, и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по правой диагонали.
Для функционирования способа важно, чтобы определяли леводиагональный градиент вдоль левой диагонали первой области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного слева от текущего пикселя первой области по левой диагонали, величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по левой диагонали, величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области, и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по левой диагонали.
Для функционирования способа важно, чтобы определяли горизонтальный масштабированный градиент вдоль горизонтальной линии второй области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного слева через один пиксель от текущего пикселя второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа через один пиксель от текущего пикселя второй области, величины разности между интенсивностью пикселя, расположенного слева через один пиксель от текущего пикселя второй области и интенсивностью пикселя, расположенного справа через один пиксель от текущего пикселя второй области.
Для функционирования способа важно, чтобы определяли вертикальный масштабированный градиент вдоль вертикальной линии второй области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного сверху через один пиксель от текущего пикселя второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного снизу через один пиксель от текущего пикселя второй области, величины разности между интенсивностью пикселя, расположенного сверху через один пиксель от текущего пикселя второй области, и интенсивностью пикселя, расположенного снизу через один пиксель от текущего пикселя второй области.
Для функционирования способа важно, чтобы определяли праводиагональный масштабированный градиент вдоль правой диагонали второй области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя и интенсивностью пикселя, расположенного слева от текущего пикселя через один пиксель по правой диагонали второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа от текущего пикселя через один пиксель по правой диагонали второй области, величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель, и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по правой диагонали второй области.
Для функционирования способа важно, чтобы определяли леводиагональный масштабированный градиент вдоль левой диагонали второй области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель по левой диагонали второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по левой диагонали второй области, величины разности между интенсивностью пикселя расположенного слева от текущего пикселя второй области через один пиксель, и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по левой диагонали второй области.
Для функционирования способа важно, чтобы определяли аппроксимированную интенсивность текущего пикселя как взвешенную сумму интенсивностей, нормированную делением на четыре.
Для функционирования способа важно, чтобы диапазоны углов A_d_sc и A_d определяли экспериментальным путем.
Техническим результатом заявленного изобретения является расширение функциональности, увеличение быстродействия и повышение качества коррекции ступенчатых краев изображения за счет обработки изображения с использованием данных пикселей его отдельных областей, плавного изменения степени глубины фильтрации, что исключает эффект "рваных краев" при переключении между областями, определения градиентов с использованием пикселей областей, расположенных по горизонтали, вертикали и диагонали, а также масштабирования изображения для обработки больших по величине ступенчатых краев.
Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующим чертежом, на котором приведена схема пошагового выполнения способа определения и сглаживания ступенчатых краев на изображении, выполненного согласно изобретению.
Рассмотрим пошаговое выполнение заявленного способа.
Сначала сохраняют значения интенсивности и координат пикселей начального изображения. Затем для каждого текущего пикселя изображения выполняют следующие операции.
Выбирают вокруг текущего пикселя первую область, состоящую из нескольких ближайших соседних пикселей изображения. Определяют горизонтальный вспомогательный градиент вдоль выбранной горизонтальной линии первой области как разность между пикселем, расположенным слева от текущего пикселя, и пикселем, расположенным справа от текущего пикселя. Определяют вертикальный вспомогательный градиент вдоль выбранной вертикальной линии первой области как разность между пикселем, расположенным сверху от текущего пикселя, и пикселем, расположенным снизу от текущего пикселя. Определяют сумму абсолютных величин горизонтального и вертикального градиентов. Определяют, что первая область не является высокочастотной, при этом проверяют выполнение условия, что минимум суммы абсолютных величин горизонтального и вертикального вспомогательных градиентов для определения меньше 10% максимума суммы абсолютных величин горизонтального и вертикального вспомогательных градиентов и, в случае выполнения данного условия, первая область не является высокочастотной. Весь набор указанных операций обозначен на чертеже как Шаг 1.
Для каждого пикселя первой области определяют горизонтальный градиент вдоль горизонтальной линии первой области и вертикальный градиент вдоль выбранной вертикальной линии первой области (Шаг 2).
Определяют первую корреляционную матрицу для горизонтальных градиентов и вертикальных градиентов первой области, а также собственные векторы θ-, θ+ и собственные величины λ-, λ+ первой корреляционной матрицы.
Определяют величину Power_hv по формуле
Figure 00000005
,
где n - число, задающее чувствительность к краю объекта в изображении.
Определяют направление Dir_hv края объекта в изображении как угол, под которым направлен собственный вектор первой корреляционной матрицы с меньшим значением собственной величины (Шаг 3).
Для каждого пикселя первой области определяют праводиагональный градиент вдоль правой диагонали первой области и леводиагональный градиент вдоль левой диагонали первой области.
Праводиагональный градиент определяют вдоль правой диагонали первой области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величины разности между значением интенсивности текущего пикселя первой области и значением интенсивности пикселя, расположенного слева от текущего пикселя первой области по правой диагонали, величины разности между интенсивностью текущего пикселя первой области, и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по правой диагонали, величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по правой диагонали.
Леводиагональный градиент определяют вдоль левой диагонали первой области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного слева от текущего пикселя первой области по левой диагонали, величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по левой диагонали, величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области, и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по левой диагонали (Шаг 4).
Определяют вторую корреляционную матрицу для праводиагональных градиентов и леводиагональных градиентов первой области, а также собственные векторы θd-, θd+ и собственные величины λd-, λd+ второй корреляционной матрицы.
Определяют величину Power_lr по формуле
Figure 00000006
,
где m - число, задающее чувствительность к краю объекта в изображении.
Определяют направление Dir_lr края объекта в изображении как угол, под которым направлен собственный вектор второй корреляционной матрицы с меньшим значением собственной величины (Шаг 5).
Определяют величину Power как максимальное значение, выбранное из величин Power_hv и Power_lr.
Определяют, что конечным направлением Dir края объекта в немасштабированном изображении является Dir_lr, если Power_hv меньше Power_lr и значение Dir_lr находится в определенном диапазоне углов A_d, иначе определяют, что конечным направлением Dir края объекта в изображении является Dir_hv (Шаг 6).
Выбирают вокруг текущего пикселя и первой области вторую область, состоящую из нескольких соседних пикселей изображения, при этом размер второй области больше размера первой области.
Выполняют низкочастотную фильтрацию во второй области, получая фильтрованную область, и сохраняют ее (Шаг 7).
Для каждого пикселя фильтрованной области определяют горизонтальный масштабированный градиент и вертикальный масштабированный градиент.
В качестве горизонтального масштабированного градиента выбирают максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного слева через один пиксель от текущего пикселя второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа через один пиксель от текущего пикселя второй области, величины разности между интенсивностью пикселя, расположенного слева через один пиксель от текущего пикселя второй области, и интенсивностью пикселя, расположенного справа через один пиксель от текущего пикселя второй области.
В качестве вертикального масштабированного градиента выбирают максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного сверху через один пиксель от текущего пикселя второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного снизу через один пиксель от текущего пикселя второй области, величины разности между интенсивностью пикселя, расположенного сверху через один пиксель от текущего пикселя второй области, и интенсивностью пикселя, расположенного снизу через один пиксель от текущего пикселя второй области (Шаг 8).
Определяют третью корреляционную матрицу для горизонтальных масштабированных градиентов и вертикальных масштабированных градиентов второй области, а также собственные векторы θsc-, θsc- и собственные величины
λsc-, λsc+ третьей корреляционной матрицы.
Определяют величину Power_hv_sc по формуле
Figure 00000007
,
где k - число, задающее чувствительность к краю объекта в изображении.
Определяют направление края Dir_hv_sc объекта в изображении как угол, под которым направлен собственный вектор третьей корреляционной матрицы с меньшим значением собственной величины (Шаг 9).
Для каждого пикселя фильтрованной области определяют праводиагональный масштабированный градиент и леводиагональный масштабированный градиент.
В качестве праводиагонального масштабированного градиента выбирают максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя и интенсивностью пикселя, расположенного слева от текущего пикселя через один пиксель по правой диагонали второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа от текущего пикселя через один пиксель по правой диагонали второй области, величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель, и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по правой диагонали второй области.
В качестве леводиагонального масштабированного градиента выбирают максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель по левой диагонали второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по левой диагонали второй области, величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель, и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по левой диагонали второй области (Шаг 10).
Определяют четвертую корреляционную матрицу для праводиагональных масштабированных градиентов и леводиагональных масштабированных градиентов, а также собственные векторы θscd-, θscd+ и собственные величины λscd-, λscd+ четвертой корреляционной матрицы.
Определяют величину Power_lr_sc по формуле
Figure 00000008
,
где l - число, задающее чувствительность к краю объекта в изображении.
Определяют направление края Dir_lr_sc объекта в изображении как угол относительно горизонтальной оси, под которым направлен собственный вектор с меньшим значением собственной величины четвертой корреляционной матрицы (Шаг 11).
Определяют величину Power_sc как максимальную из величин Power_hv_sc и Power_lr_sc.
Определяют направление края Dir_sc объекта в изображении как Dir_lr_sc, если Power_hv_sc меньше Power_lr_sc и Dir_lr_sc находится в определенном диапазоне углов A_d_sc, иначе определяют, что Dir_sc равен Dir_hv_sc (Шаг 12).
Определяют величину Power_edge как максимальную из величин Power и Power_sc.
Определяют направление края Dir_edge объекта в изображении равным Dir, если Power меньше Power_sc, иначе определяют направление края Dir_edge равеным Dir_sc (Шаг 13).
Определяют коэффициент w как функцию, квазилинейно зависящую от Power_edge (Шаг 14).
Определяют аппроксимированную интенсивность текущего пикселя по направлению Dir_edge - величину aprx_pix. Для этого выбранный пиксель аппроксимируют, используя матрицу 5×5 первой области изображения (При этом можно использовать и другие размеры матрицы в зависимости от предъявляемой точности аппроксимации).
В случае если Dir_edge совпадает с пикселями, расположенными на матрице 5×5 (Dir_edge is 0,
Figure 00000009
,
Figure 00000010
,
Figure 00000011
, π), аппроксимация будет следующей:
aprx_pix=(in_pixel-+2*in_pixel+in_pixel+)/4,
где in_pixel+ и in_pixel - соседние пиксели, расположенные на PCA_dir по обеим сторонам от in_pixel.
Если Dir_edge не совпадает с матрицей пикселей, используют аппроксимацию величин in_puxel+ и in_pixel- пикселями, лежащими на ближайших к данному направлению пикселями соответственно с одной и другой стороны по направлению Dir_edge.
in_pixel+=w1*term1++w2*term2+
in_pixel-=w1*term1-+w2*term2-
Здесь
term1+ и term2+ - взвешенные суммы пикселей, лежащих по одному направлению Dir_edge,
Term1_ и term2_ - взвешенные суммы пикселей, лежащих по другому направлению Dir_edge,
w1 - нормированный угол между Dir_edge и ближайшим направлением в сторону увеличения угла от Dir_edge, на котором расположены точки матрицы аппроксимации,
w2 - нормированный угол между Dir_edge и ближайшим направлением в сторону уменьшения угла от Dir_edge, на котором расположены точки матрицы для аппроксимации.
При этом коэффициент нормировки равен сумме w1+w2.
Результирующая аппроксимация текущего пикселя пикселями, расположенными в направлении Dir_edge, представляет собой комбинацию:
aprx_pix=w1*in_pixel++w2*in_pixel-. (Шаг 15).
Определяют итоговую интенсивность Pixel текущего пикселя как взвешенную сумму начальной интенсивности текущего пикселя с коэффициентом (1-w) с аппроксимированной интенсивностью текущего пикселя по направлению Dir_edge с коэффициентом w
Pixel=aprx_pix*W_eval+in_pixel*(1-W_eval) (Шаг 16).
Заявленный способ может быть реализован в системе, состоящей из функциональных элементов.
Изобретение может применяться в промышленно изготавливаемых устройствах, которые работают с изображениями низкого разрешения на входе. Прежде всего это цифровые широковещательные устройства, в которых исходное изображение должно отображаться на экране более высокого разрешения. В этом случае поток данных исходного изображения необходимо интерполировать. Однако исходное изображение обычно имеет потенциально проблемные мнимые области, и, кроме того. интерполяция приводит к появлению ступенчатого эффекта. Поэтому потенциально проблемные области необходимо обнаружить и обработать специальным образом. Заявленный способ может применяться для нахождения таких областей.
Предложенный способ также может применяться для улучшения качества отображения на дисплеях мобильных устройств. Такие дисплеи, как правило, имеют низкое разрешение, поэтому в них значительно проявляется ступенчатый эффект.
Другое важное приложение заявленного способа это телевидение высокой четкости. Для получения потока данных для телевидения высокой четкости используют способы улучшения локального контраста и определения цвета, после выполнения которых увеличивается ступенчатый эффект в некоторых областях изображения. Предложенный способ может применяться для обнаружения таких потенциально плохих областей с целью предотвращения усиления эффекта ступенчатости.
Заявленный способ выполняется в реальном времени. Это означает, что время, которое требуется для обработки одного изображения, меньше времени смены изображений в видеопоследовательности изображений.
В способе не требуются данные пикселей всего изображения, чтобы определить, где находятся зубчатые области, поскольку единовременно обрабатывают области изображения размером в несколько пикселей.
Способ корректно обрабатывает высокочастотные области изображения, что используется для предотвращения мерцания.
Хотя указанный выше вариант выполнения изобретения был изложен с целью иллюстрации настоящего изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.

Claims (11)

1. Способ определения и сглаживания ступенчатых краев на изображении, в котором сохраняют значения начальной интенсивности и координат пикселей изображения, после чего для каждого текущего пикселя изображения выполняют следующие операции:
выбирают вокруг текущего пикселя первую область, состоящую из нескольких ближайших соседних пикселей изображения;
выбирают две линии, одна из которых проходит горизонтально, а другая вертикально через текущий пиксель и пиксели первой области;
определяют горизонтальный вспомогательный градиент вдоль горизонтальной линии первой области как разность между пикселем, расположенным слева от текущего пикселя, и пикселем, расположенным справа от текущего пикселя;
определяют вертикальный вспомогательный градиент вдоль вертикальной линии первой области как разность между пикселем, расположенным сверху от текущего пикселя, и пикселем, расположенным снизу от текущего пикселя;
определяют сумму абсолютных величин горизонтального и вертикального градиентов;
определяют, что первая область не является высокочастотной, при этом проверяют выполнение условия, что минимум суммы абсолютных величин горизонтального и вертикального вспомогательных градиентов меньше 10% максимума суммы абсолютных величин горизонтального и вертикального вспомогательных градиентов и в случае выполнения данного условия первая область не является высокочастотной, и
для каждого пикселя первой области определяют горизонтальный градиент вдоль горизонтальной линии первой области и вертикальный градиент вдоль выбранной вертикальной линии первой области;
определяют первую корреляционную матрицу для горизонтальных градиентов и вертикальных градиентов первой области, а также собственные векторы θ-, θ+ и собственные величины λ-, λ+ первой корреляционной матрицы;
определяют величину Power_hv по формуле
Figure 00000012

где n - число, задающее чувствительность к краю объекта в изображении;
определяют направление Dir_hv края объекта в изображении как угол, под которым направлен собственный вектор первой корреляционной матрицы с меньшим значением собственной величины;
выбирают две линии, одна из которых проходит под углом 45° относительно горизонтального направления и далее идентифицируется как правая диагональ, а другая проходит под углом 135° относительно горизонтального направления и далее идентифицируется как левая диагональ, через текущий пиксель и пиксели выбранной области;
для каждого пикселя первой области определяют праводиагональный градиент вдоль правой диагонали первой области и леводиагональный градиент вдоль левой диагонали первой области;
определяют вторую корреляционную матрицу для праводиагональных градиентов и леводиагональных градиентов первой области, а также собственные векторы θd-, θd+ и собственные величины λd-, λd+ второй корреляционной матрицы;
определяют величину Power_lr по формуле
Figure 00000013
,
где m - число, задающее чувствительность к краю объекта в изображении;
определяют направление Dir_lr края объекта в изображении как угол, под которым направлен собственный вектор второй корреляционной матрицы с меньшим значением собственной величины;
определяют величину Power как максимальное значение, выбранное из величин Power_hv и Power_lr;
определяют, что конечным направлением Dir края объекта в немасштабированном изображении является Dir_lr, если Power_hv меньше Power_lr и значение Dir_lr находится в определенном диапазоне углов, иначе определяют, что конечным направлением Dir края объекта в изображении является Dir_hv;
выбирают вокруг текущего пикселя и первой области вторую область, состоящую из нескольких соседних пикселей изображения, при этом размер второй области больше размера первой области;
выполняют низкочастотную фильтрацию во второй области, получая фильтрованную область, и сохраняют ее;
выбирают две линии, одна из которых проходит горизонтально, а другая вертикально через текущий пиксель и пиксели второй области;
для каждого пикселя второй области определяют горизонтальный масштабированный градиент вдоль горизонтальной линии второй области и вертикальный масштабированный градиент вдоль вертикальной линии второй области;
определяют третью корреляционную матрицу для горизонтальных масштабированных градиентов и вертикальных масштабированных градиентов второй области, а также собственные векторы θsc-, θsc+ и собственные величины
λsc-, λsc+ третьей корреляционной матрицы;
определяют величину Power_hv_sc по формуле
Figure 00000014
,
где k - число, задающее чувствительность к краю объекта в изображении;
определяют направление края Dir_hv_sc объекта в изображении как угол, под которым направлен собственный вектор третьей корреляционной матрицы с меньшим значением собственной величины;
выбирают две линии, одна из которых проходит под углом 45° относительно горизонтального направления и далее идентифицируется как правая диагональ, а другая проходит под углом 135° относительно горизонтального направления и идентифицируется как левая диагональ, через текущий пиксель и пиксели второй области;
для каждого пикселя второй области определяют праводиагональный масштабированный градиент вдоль правой диагонали второй области и леводиагональный масштабированный градиент вдоль левой диагонали второй области;
определяют четвертую корреляционную матрицу для праводиагональных масштабированных градиентов и леводиагональных масштабированных градиентов, а также собственные векторы θscd-, θscd+ и собственные величины λscd-, λscd+ четвертой корреляционной матрицы;
определяют величину Power_lr_sc по формуле
Figure 00000015
,
где l - число, задающее чувствительность к краю объекта в изображении;
определяют направление края Dir_lr_sc объекта в изображении как угол относительно горизонтальной оси, под которым направлен собственный вектор с меньшим значением собственной величины четвертой корреляционной матрицы;
определяют величину Power_sc как максимальную из величин Power_hv_sc и Power_lr_sc;
определяют направление края Dir_sc объекта в изображении как Dir_lr_sc, если Power_hv_sc меньше Power_lr_sc и Dir_lr_sc находится в определенном диапазоне углов A_d_sc, иначе определяют, что Dir_sc равен Dir_hv_sc;
определяют величину Power_edge как максимальную из величин Power и Power sc;
определяют направление края Dir_edge объекта в изображении равным Dir, если Power меньше Power_sc, иначе определяют направление края Dir_edge равным Dir_sc;
определяют коэффициент w как функцию, квазилинейно зависящую от Power_edge;
определяют аппроксимированную интенсивность текущего пикселя по направлению Dir_edge как нормированную сумму следующих интенсивностей: интенсивностей пикселей, расположенных слева от текущего пикселя по направлению Dir_edge, начальной интенсивности текущего пикселя, умноженной на два, и интенсивностей пикселей, расположенных справа от текущего пикселя по направлению Dir_edge;
определяют итоговую интенсивность текущего пикселя как взвешенную сумму начальной интенсивности текущего пикселя с коэффициентом (1-w) с аппроксимированной интенсивностью текущего пикселя по направлению Dir_edge с коэффициентом w.
2. Способ по п.1, отличающийся тем, что определяют горизонтальный градиент вдоль горизонтальной линии первой области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: абсолютная величина разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного слева от текущего пикселя первой области, абсолютная величина разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области, абсолютная величина разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области.
3. Способ по п.1, отличающийся тем, что определяют вертикальный градиент вдоль вертикальной линии первой области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: абсолютная величина разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного сверху от текущего пикселя первой области, абсолютная величина разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного снизу от текущего пикселя первой области, абсолютная величина разности между интенсивностью пикселя, расположенного сверху от текущего пикселя первой области и интенсивностью пикселя, расположенного снизу от текущего пикселя первой области.
4. Способ по п.1, отличающийся тем, что определяют праводиагональный градиент вдоль правой диагонали первой области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величина разности между значением интенсивности текущего пикселя первой области и значением интенсивности пикселя, расположенного слева от текущего пикселя первой области по правой диагонали, величина разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по правой диагонали, величина разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области, и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по правой диагонали.
5. Способ по п.1, отличающийся тем, что определяют леводиагональный градиент вдоль левой диагонали первой области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величина разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного слева от текущего пикселя первой области по левой диагонали, величина разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по левой диагонали, величина разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области, и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по левой диагонали.
6. Способ по п.1, отличающийся тем, что определяют горизонтальный масштабированный градиент вдоль горизонтальной линии второй области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величина разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного слева через один пиксель от текущего пикселя второй области, величина разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа через один пиксель от текущего пикселя второй области, величина разности между интенсивностью пикселя, расположенного слева через один пиксель от текущего пикселя второй области, и интенсивностью пикселя, расположенного справа через один пиксель от текущего пикселя второй области.
7. Способ по п.1, отличающийся тем, что определяют вертикальный масштабированный градиент вдоль вертикальной линии второй области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величина разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного сверху через один пиксель от текущего пикселя второй области, величина разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного снизу через один пиксель от текущего пикселя второй области, величина разности между интенсивностью пикселя, расположенного сверху через один пиксель от текущего пикселя второй области, и интенсивностью пикселя, расположенного снизу через один пиксель от текущего пикселя второй области.
8. Способ по п.1, отличающийся тем, что определяют праводиагональный масштабированный градиент вдоль правой диагонали второй области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величина разности между интенсивностью текущего пикселя и интенсивностью пикселя, расположенного слева от текущего пикселя через один пиксель по правой диагонали второй области, величина разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа от текущего пикселя через один пиксель по правой диагонали второй области, величина разности между интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель, и интенсивности пикселя, расположенного справа от текущего пикселя второй области через один пиксель по правой диагонали второй области.
9. Способ по п.1, отличающийся тем, что определяют леводиагональный масштабированный градиент вдоль левой диагонали второй области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величина разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель по левой диагонали второй области, величина разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по левой диагонали второй области, величина разности между интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель, и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по левой диагонали второй области.
10. Способ по п.1, отличающийся тем, что определяют аппроксимированную интенсивность текущего пикселя как взвешенную сумму интенсивностей, нормированную делением на четыре.
11. Способ по п.1, отличающийся тем, что диапазоны углов A_d_sc и A_d определяют экспериментальным путем.
RU2007109295/09A 2007-03-14 2007-03-14 Способ определения и сглаживания ступенчатых краев на изображении RU2383055C2 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2007109295/09A RU2383055C2 (ru) 2007-03-14 2007-03-14 Способ определения и сглаживания ступенчатых краев на изображении

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2007109295/09A RU2383055C2 (ru) 2007-03-14 2007-03-14 Способ определения и сглаживания ступенчатых краев на изображении

Publications (2)

Publication Number Publication Date
RU2007109295A RU2007109295A (ru) 2008-09-20
RU2383055C2 true RU2383055C2 (ru) 2010-02-27

Family

ID=39867659

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2007109295/09A RU2383055C2 (ru) 2007-03-14 2007-03-14 Способ определения и сглаживания ступенчатых краев на изображении

Country Status (1)

Country Link
RU (1) RU2383055C2 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2598899C1 (ru) * 2012-10-22 2016-10-10 ЭЙДЗО Корпорейшн Устройство и способ обработки изображения

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105358B (zh) * 2018-10-26 2023-06-09 阿里巴巴集团控股有限公司 图像处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ЯНЕ Б. Цифровая обработка изображений. Техносфера. - М., 2007, официальный перевод издания 2005, с.331-354. Peter MEER and Bogdan GEORGESCU. Edge Detection with Embedded Confidence. IEEE Transactions on pattern analysis and machine intelligence, vol.23, №12, 2001. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2598899C1 (ru) * 2012-10-22 2016-10-10 ЭЙДЗО Корпорейшн Устройство и способ обработки изображения

Also Published As

Publication number Publication date
RU2007109295A (ru) 2008-09-20

Similar Documents

Publication Publication Date Title
EP1058909B1 (en) A new perceptual thresholding for gradient-based local edge detection
US20160225125A1 (en) Image Interpolation Method and Image Interpolation Apparatus
US20060291741A1 (en) Image processing apparatus, image processing method, program, and recording medium therefor
US20050276506A1 (en) Apparatus and method to remove jagging artifact
JP2010157163A (ja) 画像処理方法および画像処理装置
JPH06348842A (ja) ノイズ低減フィルター
JP5822157B2 (ja) ノイズ低減装置、ノイズ低減方法及びプログラム
JP2012208553A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11272146B1 (en) Content adaptive lens shading correction method and apparatus
US8411965B2 (en) Image processing method and apparatus for detecting an edge of an object within an image
WO2011141197A1 (en) Method for detecting directions of regularity in a two-dimensional image
US9123140B1 (en) Recovering details in single frame super resolution images
CN108702494B (zh) 图像处理装置、成像装置、图像处理方法和存储介质
TWI544785B (zh) 影像縮減取樣裝置與方法
CN112446830A (zh) 一种图像色边的处理方法、装置、存储介质及电子设备
RU2383055C2 (ru) Способ определения и сглаживания ступенчатых краев на изображении
JP4868249B2 (ja) 映像信号処理装置
Lee et al. Cost-efffective color filter array demosaicing using spatial correlation
JP4369030B2 (ja) 画像補正方法および装置ならびに画像補正プログラムを記録したコンピュータ読取可能な記録媒体
JP3959547B2 (ja) 画像処理装置、画像処理方法、及び情報端末装置
KR20080055091A (ko) 적응적 평균값 필터를 이용한 컬러 잡음 제거 장치 및 방법
JP6671943B2 (ja) 画像処理装置、画像処理方法及びプログラム
TWI788967B (zh) 影像處理方法與影像處理電路
JP5327199B2 (ja) 画像処理方法及び画像処理装置
TWI389571B (zh) 影像處理方法以及影像處理裝置

Legal Events

Date Code Title Description
FA92 Acknowledgement of application withdrawn (lack of supplementary materials submitted)

Effective date: 20090306

FZ9A Application not withdrawn (correction of the notice of withdrawal)

Effective date: 20090710

MM4A The patent is invalid due to non-payment of fees

Effective date: 20200315