RU2638012C2 - Уменьшение шума изображения и/или повышение разрешения изображения - Google Patents
Уменьшение шума изображения и/или повышение разрешения изображения Download PDFInfo
- Publication number
- RU2638012C2 RU2638012C2 RU2015107838A RU2015107838A RU2638012C2 RU 2638012 C2 RU2638012 C2 RU 2638012C2 RU 2015107838 A RU2015107838 A RU 2015107838A RU 2015107838 A RU2015107838 A RU 2015107838A RU 2638012 C2 RU2638012 C2 RU 2638012C2
- Authority
- RU
- Russia
- Prior art keywords
- image data
- dictionary
- resolution
- voxel
- matrix
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 32
- 239000013598 vector Substances 0.000 claims abstract description 16
- 238000000513 principal component analysis Methods 0.000 claims description 14
- 238000011084 recovery Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 23
- 238000002441 X-ray diffraction Methods 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 230000006870 function Effects 0.000 description 11
- 230000005855 radiation Effects 0.000 description 11
- 238000002591 computed tomography Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
Abstract
Изобретение относится к повышению разрешения получаемых данных изображения. Техническим результатом является повышение качества данных изображения. Способ содержит: анализ, для каждого из множества вокселей данных изображения, набора записей в словаре, причем запись представляет собой соответствие между участком вокселей с более низким разрешением и участком вокселя с более высоким разрешением; идентификацию, для каждого из множества вокселей, участков с более низким разрешением в словаре, которые подобны обрабатываемому в данный момент участку вокруг вокселя; создание матрицы данных с идентифицированными участками, причем каждая строка в матрице включает в себя конкатенацию двух векторов; выполнение анализа главных компонент (РСА) в отношении строк матрицы для определения главных компонент; и оценку, исходя из результата РСА и только для участков с более низким разрешением, количества главных компонент с наибольшим соответствующим собственным значением для моделирования локального участка; и восстановление данных изображения для создания целевых данных изображения. 13 з.п. ф-лы, 5 ил.
Description
В целом нижеследующее относится к уменьшению шума изображения и/или к повышению разрешения получаемых данных изображения и описывается в отношении конкретного применения в компьютерной томографии (КТ).
КТ-сканер, как правило, включает в себя рентгеновскую трубку, закрепленную на поворотном гентри, который вращается вокруг области исследования продольно или по оси Z. Рентгеновская трубка испускает излучение, которое проходит через область исследования и расположенный в ней субъект или объект. Детекторная матрица стягивает угловую дугу, расположенную напротив области исследования, от рентгеновской трубки. Детекторная матрица включает в себя один или более рядов детекторов, которые выравнены по отношению друг к другу и которые располагаются вдоль оси Z. Детекторы обнаруживают излучение, которое проходит область исследования и расположенный в ней субъект или объект, и создает проекционные данные, характеризующие его. Средство восстановления изображения обрабатывает проекционные данные и создает данные 3D-изображения.
Однако КТ-сканеры испускают ионизирующее излучение, которое может увеличить риск развития рака. Данная проблема вызывала все большее беспокойство как в связи с возрастанием количества КТ-сканирования, так и в связи с использованием КТ-сканирования в отношении бессимптомных пациентов. Доза, выдаваемая пациенту, может быть снижена путем уменьшения тока трубки, и/или напряжения, и/или количества сканирования, и/или увеличения шага, толщины среза, и/или расстояния между срезами. Однако шум изображения обратно пропорционален дозе облучения, и, таким образом, уменьшение дозы облучения не только уменьшает дозу, выдаваемую пациенту, но также увеличивает шум изображения в полученных данных, который передается на данные изображения во время восстановления, уменьшая качество изображения (т.е. изображения более шумные и менее резкие), что может ухудшить диагностическую ценность данных визуализации.
Задача удаления шума изображения состоит в восстановлении оригинального изображения из измерения с шумом путем усреднения. Данное усреднение может выполняться локально: модель сглаживания по Гауссу, анизотропная фильтрация и фильтрация окрестности путем вариационного анализа: минимизация полной вариации или в частотной области: эмпирические фильтры Винера и способы пороговой вейвлет-обработки. Нелокальный способ (NL) является процессом удаления шума, основанным на нелокальном усреднении всех пикселей в изображении. В частности, величина взвешенного значения для пикселя основывается на степени подобия между небольшим участком, расположенным вокруг данного пикселя, и небольшим участком, расположенным вокруг пикселя, в котором будет устраняться шум.
Разрешение изображения повышается за счет алгоритмов сверхвысокого разрешения. Некоторые алгоритмы сверхвысокого разрешения превышают дифракционный предел систем визуализации, в то время как другие алгоритмы сверхвысокого разрешения обеспечивают улучшение по сравнению с разрешением детектора. Алгоритмы многокадрового сверхвысокого разрешения обычно используют подпиксельные сдвиги между множеством изображений с низким разрешением из одного и того же кадра и повышение разрешения изображения путем слияния или объединения множества изображений с низким разрешением в одно изображение с более высоким разрешением. Основанные на обучении алгоритмы сверхвысокого разрешения дополнительно включают в себя зависимую от применения предварительную информацию, чтобы делать заключение о неизвестных изображениях высокого разрешения.
В свете вышеизложенного существует необходимость в других подходах для уменьшения дозы пациента при сохранении качества изображения и/или повышения разрешения изображения.
Аспекты, описанные в настоящем документе, решают указанные выше и другие проблемы.
В одном аспекте способ повышения качества данных изображения включает в себя: анализ, для каждого из множества вокселей данных изображения, набора записей в словаре, причем запись представляет собой соответствие между участком вокселей с более низким разрешением и соответствующим участком вокселя с более высоким разрешением или локальную окрестность вокруг вокселя, получение, для каждого из множества вокселей, подпространства на основе указанного анализа, причем указанное подпространство относится к одному из соответствия или локальной окрестности, и восстановление целевых данных изображения на основе подпространств, при этом целевые данные изображения являются данными изображения с более высоким разрешением изображения или с уменьшенным шумом изображения.
В другом аспекте процессор данных изображения включает в себя: анализатор, который анализирует, для каждого из множества вокселей данных изображения, набор записей в словаре, причем запись представляет собой соответствие между участком вокселей с более низким разрешением и соответствующим участком вокселя с более высоким разрешением или локальную окрестность вокруг вокселя, и получает, для каждого из множества вокселей, подпространство на основе указанного анализа, причем подпространство относится к одному из соответствия или локальной окрестности; и средство восстановления изображения, которое восстанавливает целевые данные изображения на основе подпространств, при этом целевые данные изображения являются данными изображения с более высоким разрешением изображения или с уменьшенным шумом изображения.
В другом аспекте машиночитаемый носитель информации, закодированный с помощью машиноисполняемой команды, которая, при исполнении процессором, побуждает процессор: создавать данные изображения с более высоким разрешением изображения или уменьшенным шумом на основе исходных данных изображения и нелокального анализа главных компонент (PCA).
Изобретение может принимать форму различных компонентов и компоновок компонентов и различных этапов и компоновок этапов. Чертежи предназначены только для иллюстрации предпочтительных вариантов осуществления изобретения и не должны быть истолкованы как ограничивающие изобретение.
Фиг. 1 схематично иллюстрирует примерную схему визуализации с использованием процессора данных изображения, которая выполнена с возможностью улучшения качества данных изображения.
Фиг. 2 схематично иллюстрирует пример процессора данных изображения.
Фиг. 3 иллюстрирует способ улучшения качества изображения.
Фиг. 4 иллюстрирует способ улучшения разрешения изображения.
Фиг. 5 иллюстрирует способ уменьшения шума изображения.
На фиг. 1 схематически проиллюстрирована система 100 визуализации, такая как сканер компьютерной томографии (КТ).
Система 100 визуализации включает в себя, как правило, вращающийся гентри 104. Вращающийся гентри 104 поддерживается с возможностью вращения стационарным гентри 102 и поворачивается вокруг области 106 исследования вокруг продольной оси или оси Z.
Источник 110 излучения, такой как рентгеновская трубка, поддерживается с возможностью вращения поворотным гентри 104. Источник 110 излучения вращается с поворотным гентри 104 и испускает излучение, которое проходит область 106 исследования. Коллиматор источника включает в себя элементы коллимации, которые коллимируют излучение, чтобы сформировать в целом конус, клин, веер или другие формы пучка излучения.
Чувствительная детекторная матрица 112 стягивает угловую дугу напротив источника 110 излучения в области 106 исследования. Детекторная матрица 112 включает в себя множество рядов детекторов, которые располагаются вдоль направления оси Z. Детекторная матрица 112 обнаруживает излучение, проходящее область 106 исследования и создает проекционные данные, характеризующие ее.
Средство 114 восстановления изображения восстанавливает проекционные данные и создает трехмерные (3D) объемные данные изображения, характеризующие их. Средство 114 восстановления изображения может использовать обычное восстановление с 3D фильтрованной обратной проекцией, алгоритм конусообразного пучка, итерационный алгоритм и/или другой алгоритм.
Опора 118 субъекта, такая как кушетка, поддерживает объект или субъект, такой как человек-пациент или животное-пациент, в области 106 исследования. Опора 118 субъекта выполнена с возможностью перемещения вертикально и/или горизонтально до, во время и/или после сканирования для позиционирования субъекта или объекта по отношению к системе 100.
Вычислительная система общего назначения или компьютер служит в качестве консоли 120 оператора. Консоль 120 включает в себя устройство вывода, считываемое человеком, такое как монитор или дисплей, и устройство ввода, такое как клавиатура, мышь и т.д. Программное обеспечение, хранящееся в консоли 120, позволяет оператору взаимодействовать со сканером 100 с помощью графического пользовательского интерфейса (GUI) или иным образом, например, выбирая уменьшение дозы и/или алгоритм улучшения качества изображения и т.д.
Процессор 116 данных изображения обрабатывает данные изображения, уменьшая шум и/или улучшая разрешение данных изображения. Как описано более подробно ниже, в одном случае процессор 116 данных изображения уменьшает шум и/или улучшает разрешение данных изображения, используя нелокальный анализ главных компонент (PCA) и алгоритм сверхвысокого разрешения, основанный на обучении. Уменьшение шума изображения, по существу, позволяет уменьшить облучение при исследовании (и, таким образом, дозу, выдаваемую пациенту), при этом сохраняя качество изображения. Улучшение разрешения позволяет улучшить разрешение изображения. Также в настоящем документе рассматривается сочетание уменьшения шума и повышение разрешения изображения.
Процессор 116 данных изображения может быть реализован с помощью процессора, исполняющего одну или более машиночитаемых команд, закодированных или внесенных в машиночитаемый носитель, такой как физическая память или другой постоянный носитель. Такой процессор может быть частью консоли 120 и/или другого вычислительного устройства, такого как специальный компьютер для визуализации, и/или другого вычислительного устройства. Дополнительно или альтернативно, процессор может выполнять по меньшей мере одну из машиночитаемых команд, переносимых по несущей частоте, сигналом или другим не машиночитаемым носителем, таким как временный носитель.
Хранилище 122 данных может использоваться для хранения данных изображения, созданных системой 100 и/или процессором 116 данных изображения, данных изображения, используемых процессором 116 данных изображения, и/или других данных. Хранилище 122 данных может включать в себя одно или более из системы хранения и передачи изображений (PACS), рентгенологической информационной системы (RIS), больничной информационной системы (HIS), базы данных электронных медицинских карт (EMR), сервера, компьютера и/или другого хранилища данных. Хранилище 122 данных может быть локальным по отношению к системе 100 или удаленным от системы 100.
На фиг. 2 схематично проиллюстрирован пример процессора 116 данных изображения.
Проиллюстрированный процессор 116 данных изображения принимает данные изображения, подлежащие обработке, для увеличения разрешения и создания данных изображения с более высоким разрешением. Данные изображения могут быть обработаны при более низкой дозе для уменьшения шума и/или повышения разрешения, например, до уровня данных изображения при обычной дозе (или ниже, или выше). Альтернативно, данные изображения могут представлять собой данные изображения могут обрабатываться при обычной дозе исключительно для увеличения разрешения. Данные изображения могут исходить из средства 114 восстановления изображения (фиг. 1), хранилища 122 данных (фиг. 1) и/или другого устройства.
Банк 204 словарей хранит различные словари. Проиллюстрированный банк 204 словарей включает в себя по меньшей мере один из предварительно созданного словаря 206, словаря 208 самоподобия и/или производного словаря 210. Каждый словарь включает в себя словарь для каждого вокселя, который подлежит обработке в данных изображения.
Предварительно созданный словарь 206 включает в себя уже созданный словарь, предоставляемый процессору 116 данных изображения.
Средство 212 определения словаря определяет словарь 208 самоподобия и/или производный словарь 210. Средство 212 определения словаря может определить предварительно созданный словарь 206, например, во время предварительной обработки первых данных изображения и/или других данных изображения, соответствующих одному и тому же пациенту и/или другому пациенту.
Для словаря 208 самоподобия средство 212 определения словаря уменьшает масштаб данных изображения и создает коллекцию соответствий между окрестностями вокселя из уменьшенных в масштабе данных изображения и данными изображения. В другом варианте осуществления могут быть дополнительно или альтернативно отобраны другие воксели. Применительно к удалению шума данный словарь создается как коллекция всех участков в анализе входных данных.
Для производного словаря 210 средство 212 определения словаря идентифицирует окрестность вокселя в изображении с более высоким разрешением, которое соответствует вокселю в данных изображения, используя регистрацию, соответствие и/или другой алгоритм. Затем получают производный словарь 210 в виде коллекции соответствий между окрестностями вокселя данных изображения с более высоким разрешением и уменьшенными в масштабе данными изображения с более высоким разрешением. Уменьшение в масштабе может быть достигнуто путем сглаживания и/или другой обработки с соответствующим фильтром и, при необходимости, путем субдискретизации отфильтрованных данных изображения с более высоким разрешением.
Дополнительный (высокочастотный) фильтр 214 фильтрует низкочастотные компоненты в словаре так, что запись словаря не должна быть сохранена для всех возможных наиболее низких значений частотной компоненты, т.е. вместо получения словаря непосредственно в период анализа участков, используется предварительная обработка высокочастотным фильтром для того, чтобы извлечь локальные элементы, которые соответствуют их высокочастотной компоненте. Фильтрация позволяет фокусировать обучение на определении отношения между участками с низким разрешением и содержимым границ и текстур в пределах соответствующих участков с высоким разрешением.
Нелокальный анализатор 216 получает для каждого вокселя набор записей в словаре. Нелокальный анализатор 216 анализирует этот набор записей и получает подпространство для оцениваемого участка. В контексте удаления шума подпространство означает локальную окрестность вокруг вокселя, а в контексте сверхвысокого разрешения подпространство означает соответствие между участком с низким разрешением и участком с высоким разрешением.
В частности, для удаления шума для каждого вокселя в данных изображения идентифицируют участки, которые подобны обрабатываемому в данный момент участку вокруг вокселя. Затем создается матрица данных путем помещения в матрицу участков, где каждый участок соответствует строке в матрице. Затем к матрице применяют невзвешенный или взвешенный PCA, причем выборки являются строками матрицы, и, в случае взвешенного PCA, веса являются функцией функции подобия между участком и/или локальным уровнем шума в пределах участков.
Затем нелокальный анализатор 216 оценивает количество главных компонент с наибольшими соответствующими собственными значениями, которые используются для моделирования локального сигнала/участка. Подходящие способы моделирования сигнала/участка включают в себя (но не ограничиваются ими): информационный критерий Акаике, информационный критерий Байеса, информационный критерий отклонения, пошаговую регрессию, перекрестную проверку, Ср-статистику Мэлоуса, сфокусированный информационный критерий, определение порога соотношения/разности между последовательными собственными значениями и/или другой метод оценки.
Для сверхвысокого разрешения этапы являются такими же, но со следующими исключениями. Для каждого вокселя во входном изображении идентифицируют записи в словаре с участком с более низким разрешением, подобным обрабатываемому в данный момент участку. Каждая строка в матрице включает в себя всю запись словаря, т.е. конкатенацию двух векторов, которая включает в себя участки записей в словаре с низким разрешением и высоким разрешением. Между обрабатываемым в данный момент участком и записью в словаре в отношении участка с более низким разрешением имеется зависимость подобия. Применяется оценка количества главных компонент, и выполняются соответствующие измерения только для записи в словаре в отношении участка с низким разрешением.
Дополнительное средство 218 проверки соблюдения ограничений проверяет одно или более заранее заданных ограничений, например ограничение на идентификацию подобных участков. Указанное ограничение может быть таким, что количество подобных участков со средневзвешенным значением, большим, чем средневзвешенное значение обрабатываемого в данный момент участка, равно количеству участков с меньшим средневзвешенным значением. Данное дополнительное ограничение в некоторых ситуациях может способствовать сохранению областей с низким уровнем контрастности.
Средство 220 восстановления изображения восстанавливает целевые данные изображения. В контексте удаления шума целевые данные изображения являются данными изображения с уменьшенным шумом, и в контексте сверхвысокого разрешения целевые данные изображения являются данными изображения с более высоким разрешением. Подходящие методы восстановления включают в себя (но не ограничиваются ими): локальный метод, глобальный метод и/или другой метод.
Ниже следует описание примера локального метода, который использует «жадный» алгоритм или другой метод оптимизации.
Для удаления шума, для каждого вокселя при шумовом анализе, метод наименьших квадратов используется для решения задачи оптимизации, показанной в уравнении 1:
УРАВНЕНИЕ 1:
где P является вектором, соответствующим участку вокруг обрабатываемого в данный момент вокселя, Vavg является вектором средних значений каждого столбца матрицы A, которая включает в себя рассматриваемые участки, причем каждый участок соответствует строке в матрице, Vi является главной компонентой с i-м наибольшим соответствующим собственным значениям выборок в матрице A, K является весовой функцией ядра, которая уменьшает расстояние от обрабатываемого в данный момент вокселя, и m является количеством главных компонент, которые моделируют текущий локальный участок.
Восстановленный участок без шума показывается в уравнении 2:
УРАВНЕНИЕ 2:
Восстановленные участки без шума объединяются с помощью средневзвешенного усреднения в перекрываемой области для создания конечного восстановленного изображения.
Для сверхвысокого разрешения, для каждого вокселя в шумовом анализе, метод наименьших квадратов используется для решения задачи оптимизации, показанной в уравнении 3:
УРАВНЕНИЕ 3:
где верхний индекс lr относится к векторной части, которая соответствует участку с низким разрешением записи в словаре. Восстановленный участок без шума показан в уравнении 4:
УРАВНЕНИЕ 4:
где верхний индекс hr относится к векторной части, которая соответствует участку с высоким разрешением записи в словаре.
Восстановленные участки с высоким разрешением объединяются с помощью средневзвешенного усреднения в перекрываемой области для создания восстановленного изображения. В случае использования отфильтрованных участков восстановленное изображение добавляется к интерполированному анализу в анализе входных данных.
Дополнительный необязательный этап состоит в том, что проверяют связь глобального восстановления между анализом входных данных с низким разрешением и выходным алгоритмическим анализом высокого разрешения. Данный этап эффективно выполняется с использованием способа обратной проекции, как показано в уравнении 5:
УРАВНЕНИЕ 5:
где Ilow является результатом анализа входных данных,
I0 high является результатом выходного анализа предыдущего этапа, US является оператором увеличения масштаба, и DS является оператором уменьшения масштаба.
Дополнительный необязательный этап состоит в том, что вносят коэффициент усиления в уравнении 5, как показано в уравнении 6:
УРАВНЕНИЕ 6:
где g является коэффициентом усиления, который управляет интенсивностью высоких частот, которые были добавлены к изображению. В одном примере, значение g по умолчанию равно одному (1), и значение g устанавливается путем предварительного определения. Альтернативный вариант заключается в том, что значение g может регулироваться пользователем в реальном времени с использованием элемента прокрутки или подобного устройства, используя обновленный результат, показываемый на дисплее в реальном времени.
Ниже следует описание примера глобального подхода, который использует оптимизацию глобальной стоимостной функции или другой функции.
Для удаления шума все воксели в шумовом анализе одновременно оптимизированы, например, с использованием метода наименьших квадратов для решения задачи оптимизации, показанной в уравнении 7:
УРАВНЕНИЕ 7:
где Pj является вектором, соответствующим участку вокруг вокселя j, 
является вокселем k на восстановленном участке вокруг вокселя j, причем восстановленный участок вокруг вокселя j выражается как 
, 
является вектором средних значений каждого столбца матрицы A для вокселя j, 
является главной компонентой с i-м наибольшим соответствующим собственным значением выборок в матрице A для вокселя j, K является весовой функцией ядра, которая уменьшает расстояние от его центра, mj является количеством главных компонент, которые моделируют участок вокруг вокселя j, Kk является k элементом в ядре, 
является индексом, который равен единице, только если элемент k1 участка вокруг вокселя j1 перекрывается в анализе с элементом k2 участка вокруг вокселя j2, и λ является входным скалярным параметром.
Восстановленный участок без шума показан в уравнении 8:
УРАВНЕНИЕ 8:
Восстановленные участки без шума объединяют с помощью средневзвешенного усреднения в перекрываемой области для создания конечного восстановленного изображения.
Для сверхвысокого разрешения все воксели в шумовом анализе одновременно оптимизируются, например, с использованием метода наименьших квадратов, для решения задачи оптимизации, показанной в уравнении 9:
УРАВНЕНИЕ 9:
где верхний индекс lr относится к векторной части, которая соответствует участку записи в словаре с низким разрешением. Восстановленный участок без шума показан в уравнении 10:
УРАВНЕНИЕ 10:
где верхний индекс hr относится к векторной части, которая соответствует участку записи в словаре с высоким разрешением.
Восстановленные участки с высоким разрешением объединяют путем средневзвешенного усреднения в перекрываемой области для создания восстановленного изображения. В случае использования отфильтрованных участков восстановленное изображение добавляется к интерполированному анализу в анализе входных данных.
Дополнительный необязательный этап состоит в том, что проверяют связь глобального восстановления между анализом входных данных с низким разрешением и выходным алгоритмическим анализом высокого разрешения. Данный шаг эффективно выполняется с использованием способа обратной проекции, как показано выше в уравнении 5.
Фиг. 3, 4 и 5 соответственно иллюстрируют способы повышения качества изображения, повышения разрешения изображения и уменьшения шума.
Следует отметить, что порядок этапов в способах, описанных в настоящем документе, не является ограничением. Также в настоящем документе рассматриваются другие порядки этапов. Кроме того, один или более этапов могут быть исключены и/или один или более этапов могут быть использованы.
Фиг. 3 иллюстрирует способ повышения качества изображения.
На этапе 302 получают специализированный словарь для каждого вокселя, подлежащего обработке. В контексте сверхвысокого разрешения каждая запись в словаре представляет собой соответствие между вокселями с низким разрешением и вокселями с высоким разрешением. В контексте удаления шума запись в словаре представляет собой структурный элемент. Как описано в настоящем документе, специализированный словарь является комбинацией предварительного словаря, словаря самоподобия и/или производного словаря.
На этапе 304 для каждого вокселя определяют подпространство на основе анализа набора соответствующих записей в словаре. В контексте сверхвысокого разрешения подпространство представляет собой соответствие между вокселями с более низким разрешением и вокселями с более высоким разрешением. В контексте удаления шума подпространство относится к локальной окрестности вокруг вокселя.
На этапе 306 восстанавливают данные изображения за счет внесения локальной и глобальной достоверностей и ограничений совместимости. В контексте удаления шума целевые данные изображения являются данными изображения с уменьшенным шумом, и в контексте сверхвысокого разрешения целевые данные изображения являются данными изображения с более высоким разрешением. Подходящие ограничения могут включать в себя совместимости оцениваемого локального сигнала с его производным подпространством сигнала, совместимости между соседними подпространствами сигнала, совместимость между низким разрешением и оцениваемым изображением с высоким разрешением.
Фиг. 4 иллюстрирует способ повышения разрешения изображения.
На этапе 402 получают специализированный словарь для каждого вокселя в данных изображения, подлежащих обработке. Как обсуждалось в настоящем документе, каждая запись в словаре представляет собой соответствие между вокселями с более низким разрешением и соответствующими вокселями с более высоким разрешением.
На этапе 404 записи в словаре из специализированного словаря получают для участка с более низким разрешением, соответствующего участку вокруг вокселя, подлежащего обработке.
На этапе 406 на основе полученных участков создают матрицу. Как обсуждалось в настоящем документе, каждая строка в матрице состоит из целой записи в словаре, т.е. конкатенации двух векторов, которые состоят из участков с более низким разрешением и участков с более высоким разрешением в записи в словаре.
На этапе 408 в отношении матрицы выполняется PCA или взвешенный PCA. Для этого выборки являются строками матрицы, и в случае взвешенного PCA веса являются функцией функции подобия между обрабатываемым в данный момент участком и записью в словаре с участком с более низким разрешением.
На этапе 410 оценивают количество главных компонент. В данном случае соответствующие измерения выполняются только для записи в словаре с участком с более низким разрешением.
На этапе 412 восстанавливают изображение с более высоким разрешением на основе участков в словаре с более низким разрешением, матрицы, главных компонент, количества главных компонент и локальной или глобальной оптимизации, как описано в настоящем документе.
Фиг. 5 иллюстрирует способ уменьшения шума изображения.
На этапе 502 получают специализированный словарь для каждого вокселя в данных изображения, подлежащих обработке. Как обсуждалось в настоящем документе, каждая запись в словаре представляет собой структурный элемент.
На этапе 504 идентифицируют участки, которые подобны обрабатываемому в данный момент участку вокруг вокселя.
На этапе 506 на основе полученных участков создают матрицу. Как обсуждалось в настоящем документе, каждый участок соответствует строке в матрице.
На этапе 508 в отношении матрицы применяют PCA или взвешенный PCA. Для этого выборки являются строками матрицы, и в случае взвешенного PCA веса являются функцией функции подобия между участком и/или уровнем локального шума в пределах участков.
На этапе 510 оценивают количество главных компонент. В данном случае соответствующие изменения выполняются только для записи в словаре с участком с более низким разрешением.
На этапе 512 восстанавливают изображение с уменьшенным шумом на основе участков вокруг вокселей, матрицы, главных компонент, количества главных компонент и локальной или глобальной оптимизации, как описано в настоящем документе.
Способы, описанные в настоящем документе, могут быть реализованы с помощью одного или более процессоров, исполняющих одну или более машиночитаемых команд, закодированных или воплощенных на машиночитаемом носителе, таком как физическая память, что побуждает один или более процессоров выполнять различные этапы и/или другие функции и/или этапы. Дополнительно или альтернативно, один или более процессоров могут выполнять команды, переносимые по временному носителю, такому как сигнал или несущая частота.
Изобретение было описано со ссылкой на предпочтительные варианты осуществления. У специалистов могут возникнуть изменения и варианты после прочтения и осмысления предшествующего подробного описания. Предполагается, что изобретение составлено как включающее в себя все такие модификации и варианты настолько, насколько они входят в объем прилагаемой формулы изобретения или ее эквивалентов.
Claims (22)
1. Способ улучшения качества данных изображения, содержащий:
анализ, для каждого из множества вокселей данных изображения, набора записей в словаре, причем запись представляет собой соответствие между участком вокселей с более низким разрешением и соответствующим участком вокселя с более высоким разрешением;
идентификацию, для каждого из множества вокселей, участков с более низким разрешением в словаре, которые подобны обрабатываемому в данный момент участку вокруг вокселя;
создание матрицы данных с идентифицированными участками, причем каждая строка в матрице включает в себя конкатенацию двух векторов, которые соответственно состоят из участков с более низким разрешением и участков с более высоким разрешением из записи словаря;
выполнение анализа главных компонент (РСА) в отношении строк матрицы для определения главных компонент; и
оценку, исходя из результата РСА и только для участков с более низким разрешением, количества главных компонент с наибольшим соответствующим собственным значением для моделирования локального участка;
и восстановление данных изображения для создания целевых данных изображения, которые имеют более высокое разрешение изображения относительно данных изображения, на основе участков с более низким разрешением из словаря, матрицы, главных компонент, количества главных компонент и результатов локальной или глобальной оптимизации.
2. Способ по п. 1, в котором упомянутое восстановление содержит:
нахождение решения для: 
, где Р является вектором, соответствующим участку вокруг обрабатываемого в данный момент вокселя αi, 
является вектором средних значений каждого столбца матрицы, соответствующей участкам с более низким разрешением, 
является главной компонентой с i-тым наибольшим собственным значением, K является весовой функцией ядра, которая уменьшает расстояние от обрабатываемого в данный момент вокселя, и m является количеством главных компонент.
3. Способ по п. 1, в котором РСА является взвешенным РСА, причем веса являются функцией функции подобия среди участков.
4. Способ по любому из пп. 1-3, в котором локальный участок моделируется с использованием одного или более из: информационного критерия Акаике, информационного критерия Байеса, информационного критерия отклонения, пошаговой регрессии, перекрестной проверки, Ср-статистики Мэлоуса, сфокусированного информационного критерия или определения порога соотношения/разности между последовательными собственными значениями.
5. Способ по любому из пп. 1-3, в котором количество подобных участков со средневзвешенным значением, большим, чем средневзвешенное значение обрабатываемого в данный момент участка, равно количеству участков с меньшим средневзвешенным значением.
6. Способ по любому из пп. 1-3, в котором упомянутое восстановление содержит нахождение решения для: 
, где j является индексом вокселя, Р является вектором, соответствующим участку вокруг обрабатываемого в данный момент вокселя αi, 
является вектором средних значений каждого столбца матрицы, соответствующей участкам с более низким разрешением, 
является главной компонентой с i-м наибольшим собственным значением, K является весовой функцией ядра, которая уменьшает расстояние от обрабатываемого в данный момент вокселя, m является количеством главных компонент, λ является входным скалярным параметром, k является индексом, 
является вокселем k на восстановленном участке, Kk является k элементом в ядре, и 
является индексом.
7. Способ по любому из пп. 1-3, в котором средство восстановления использует глобальную оптимизацию для восстановления данных изображения, и дополнительно содержащий: слияние восстановленных участков без шума или участков с высоким разрешением путем взвешенного усреднения в перекрываемой области для создания целевых данных изображения.
8. Способ по любому из пп. 1-3, в котором словарь является комбинацией одного или более из предварительного словаря, словаря самоподобия или производного словаря.
9. Способ по п. 8, в котором словарь самоподобия включает в себя коллекцию соответствий между участками данных изображения с более низким разрешением и данными изображения с исходным разрешением.
10. Способ по п. 9, в котором соответствия включают в себя поднабор участков, причем поднабор участков включает в себя только участки, которые находятся в окрестности данных изображения с более низким разрешением.
11. Способ по п. 9, в котором соответствия включают в себя все участки данных изображения с более низким разрешением.
12. Способ по п. 8, в котором производный словарь получен из данных изображения с более высоким разрешением.
13. Способ по любому из пп. 1-3 и 9-11, дополнительно содержащий:
высокочастотную фильтрацию записей в словаре, таким образом удаляя записи, имеющие частоту, меньшую, чем заданная частота, и создавая словарь предварительной обработки, причем словарь предварительной обработки включает в себя локальные элементы, которые соответствуют высокочастотному содержимому.
14. Способ по п. 13, в котором словарь предварительной обработки характеризует отношение между участками с более низким разрешением и содержимым границ и текстур в пределах соответствующих участков с более высоким разрешением.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261679934P | 2012-08-06 | 2012-08-06 | |
| US61/679,934 | 2012-08-06 | ||
| PCT/IB2013/056104 WO2014024076A1 (en) | 2012-08-06 | 2013-07-25 | Image noise reduction and/or image resolution improvement |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2015107838A RU2015107838A (ru) | 2016-09-27 |
| RU2638012C2 true RU2638012C2 (ru) | 2017-12-08 |
Family
ID=49301562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015107838A RU2638012C2 (ru) | 2012-08-06 | 2013-07-25 | Уменьшение шума изображения и/или повышение разрешения изображения |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9754389B2 (ru) |
| EP (1) | EP2880625B1 (ru) |
| JP (1) | JP6265992B2 (ru) |
| CN (1) | CN104520897B (ru) |
| RU (1) | RU2638012C2 (ru) |
| WO (1) | WO2014024076A1 (ru) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9875523B2 (en) * | 2013-12-03 | 2018-01-23 | Mitsubishi Electric Corporation | Image processing apparatus and image processing method |
| US9405990B2 (en) * | 2014-08-19 | 2016-08-02 | Morpho Detection, Llc | X-ray diffraction imaging system with signal aggregation across voxels containing objects and method of operating the same |
| CN104644203B (zh) * | 2014-09-02 | 2018-01-23 | 沈阳东软医疗系统有限公司 | 一种剂量调制扫描方法和装置 |
| CN104637060B (zh) * | 2015-02-13 | 2018-11-06 | 武汉工程大学 | 一种基于邻域主成分分析-拉普拉斯的图像分割方法 |
| WO2016138255A1 (en) * | 2015-02-27 | 2016-09-01 | Brigham And Women's Hospital, Inc. | Imaging systems and methods of using the same |
| US9824468B2 (en) * | 2015-09-29 | 2017-11-21 | General Electric Company | Dictionary learning based image reconstruction |
| US9697584B1 (en) | 2015-12-26 | 2017-07-04 | Intel Corporation | Multi-stage image super-resolution with reference merging using personalized dictionaries |
| US20170221235A1 (en) * | 2016-02-01 | 2017-08-03 | General Electric Company | Negative dictionary learning |
| EP3452983A4 (en) * | 2016-05-04 | 2019-04-10 | Tel HaShomer Medical Research Infrastructure and Services Ltd. | METHOD AND SYSTEM FOR PROVIDING A LOCALLY CONSISTENT IMPROVEMENT OF A MINIMUM IMAGE |
| JP6999895B2 (ja) | 2017-07-06 | 2022-01-19 | 株式会社島津製作所 | 放射線撮影装置および放射線画像検出方法 |
| KR102326165B1 (ko) * | 2017-08-23 | 2021-11-16 | 엘지디스플레이 주식회사 | 영상 처리 방법 및 이를 이용한 표시 장치 |
| CN109657692A (zh) * | 2017-10-11 | 2019-04-19 | 中国石油化工股份有限公司 | 基于pca字典和稀疏表示的地震资料处理方法及系统 |
| CN107945138B (zh) * | 2017-12-08 | 2020-04-03 | 京东方科技集团股份有限公司 | 一种图片处理方法和装置 |
| CN108389160A (zh) * | 2017-12-29 | 2018-08-10 | 中兴智能交通股份有限公司 | 一种虚拟现实技术的交通仿真方法和装置 |
| US10692184B2 (en) * | 2018-07-05 | 2020-06-23 | SVXR, Inc. | Super-resolution X-ray imaging method and apparatus |
| CN110163819B (zh) * | 2019-04-21 | 2023-08-01 | 渤海大学 | 一种面向磁共振扩散加权图像的非局部均值平滑方法 |
| JP7328096B2 (ja) * | 2019-09-13 | 2023-08-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| CN110866876B (zh) * | 2019-11-04 | 2023-07-07 | 西北工业大学 | 基于级联高斯词典的图像复原方法 |
| CN111290810B (zh) * | 2020-01-19 | 2021-10-15 | 维沃移动通信有限公司 | 一种图像显示方法及电子设备 |
| CN111738951B (zh) * | 2020-06-22 | 2024-03-15 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置 |
| CN112634160A (zh) * | 2020-12-25 | 2021-04-09 | 北京小米松果电子有限公司 | 拍照方法及装置、终端、存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6263103B1 (en) * | 1998-11-30 | 2001-07-17 | Mitsubishi Electric Research Laboratories, Inc. | Estimating scenes using statistical properties of images and scenes |
| US20040218834A1 (en) * | 2003-04-30 | 2004-11-04 | Microsoft Corporation | Patch-based video super-resolution |
| US20050254709A1 (en) * | 1999-04-09 | 2005-11-17 | Frank Geshwind | System and method for hyper-spectral analysis |
| RU2444061C2 (ru) * | 2005-07-08 | 2012-02-27 | Пнн Медикал А/С | Способ идентификации элемента на двух и более изображениях |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5983251A (en) * | 1993-09-08 | 1999-11-09 | Idt, Inc. | Method and apparatus for data analysis |
| JP3986219B2 (ja) | 1999-10-15 | 2007-10-03 | 富士フイルム株式会社 | マルチスペクトル画像の画像圧縮方法および画像圧縮装置 |
| GB0112773D0 (en) | 2001-05-25 | 2001-07-18 | Univ Manchester | Object identification |
| US7187794B2 (en) * | 2001-10-18 | 2007-03-06 | Research Foundation Of State University Of New York | Noise treatment of low-dose computed tomography projections and images |
| JP4231717B2 (ja) | 2003-03-20 | 2009-03-04 | 株式会社リコー | 定着装置及び画像形成装置 |
| US8150151B2 (en) * | 2005-05-12 | 2012-04-03 | Bracco Imaging S.P.A. | Method for coding pixels or voxels of a digital image and a method for processing digital images |
| JP2006350498A (ja) | 2005-06-14 | 2006-12-28 | Fujifilm Holdings Corp | 画像処理装置および方法並びにプログラム |
| US20070103595A1 (en) * | 2005-10-27 | 2007-05-10 | Yihong Gong | Video super-resolution using personalized dictionary |
| WO2010073251A2 (en) * | 2008-12-25 | 2010-07-01 | Medic Vision - Brain Technologies Ltd. | Denoising medical images |
| KR101611504B1 (ko) * | 2009-09-25 | 2016-04-11 | 삼성전자 주식회사 | 로봇 시스템 및 그 영상 처리 방법 |
| US8665342B2 (en) * | 2011-03-03 | 2014-03-04 | King Abddulaziz City For Science And Technology | Model-independent generation of an enhanced resolution image from a number of low resolution images |
| US9330471B2 (en) * | 2013-02-14 | 2016-05-03 | Qualcomm Incorporated | Camera aided motion direction and speed estimation |
| US20160113587A1 (en) * | 2013-06-03 | 2016-04-28 | The Regents Of The University Of California | Artifact removal techniques with signal reconstruction |
-
2013
- 2013-07-25 CN CN201380041861.8A patent/CN104520897B/zh active Active
- 2013-07-25 RU RU2015107838A patent/RU2638012C2/ru not_active IP Right Cessation
- 2013-07-25 JP JP2015525970A patent/JP6265992B2/ja active Active
- 2013-07-25 EP EP13771616.3A patent/EP2880625B1/en active Active
- 2013-07-25 WO PCT/IB2013/056104 patent/WO2014024076A1/en active Application Filing
- 2013-07-25 US US14/417,607 patent/US9754389B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6263103B1 (en) * | 1998-11-30 | 2001-07-17 | Mitsubishi Electric Research Laboratories, Inc. | Estimating scenes using statistical properties of images and scenes |
| US20050254709A1 (en) * | 1999-04-09 | 2005-11-17 | Frank Geshwind | System and method for hyper-spectral analysis |
| US20040218834A1 (en) * | 2003-04-30 | 2004-11-04 | Microsoft Corporation | Patch-based video super-resolution |
| RU2444061C2 (ru) * | 2005-07-08 | 2012-02-27 | Пнн Медикал А/С | Способ идентификации элемента на двух и более изображениях |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015525648A (ja) | 2015-09-07 |
| CN104520897B (zh) | 2018-05-15 |
| US9754389B2 (en) | 2017-09-05 |
| US20150154766A1 (en) | 2015-06-04 |
| EP2880625A1 (en) | 2015-06-10 |
| JP6265992B2 (ja) | 2018-01-24 |
| RU2015107838A (ru) | 2016-09-27 |
| EP2880625B1 (en) | 2019-12-11 |
| WO2014024076A1 (en) | 2014-02-13 |
| CN104520897A (zh) | 2015-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2638012C2 (ru) | Уменьшение шума изображения и/или повышение разрешения изображения | |
| Diwakar et al. | A review on CT image noise and its denoising | |
| US9836824B2 (en) | De-noised reconstructed image data edge improvement | |
| US8346011B2 (en) | Reducing noise in an image | |
| Borsdorf et al. | Wavelet based noise reduction in CT-images using correlation analysis | |
| US9959640B2 (en) | Iterative image reconstruction with a sharpness driven regularization parameter | |
| CN103907132B (zh) | 图像数据处理 | |
| US20220287671A1 (en) | Dilated convolutional neural network system and method for positron emission tomography (pet) image denoising | |
| Peng et al. | CBCT‐Based synthetic CT image generation using conditional denoising diffusion probabilistic model | |
| CN111540025A (zh) | 预测用于图像处理的图像 | |
| US20230252607A1 (en) | 3d-cnn processing for ct image noise removal | |
| Li et al. | Multienergy cone-beam computed tomography reconstruction with a spatial spectral nonlocal means algorithm | |
| Li et al. | A multi-pronged evaluation for image normalization techniques | |
| Shamul et al. | Change detection in sparse repeat CT scans with non-rigid deformations | |
| US20220383491A1 (en) | Tissue boundary determination apparatus and method | |
| US11704795B2 (en) | Quality-driven image processing | |
| EP4207076A1 (en) | Machine-learning image processing independent of reconstruction filter | |
| EP3889881A1 (en) | Method, device and system for generating a denoised medical image | |
| Korb et al. | Automatic Positioning of Hippocampus Deformable Mesh Models in Brain MR Images Using a Weighted 3D-SIFT Technique | |
| Kang et al. | Deep convolutional dictionary learning network for sparse view CT reconstruction with a group sparse prior | |
| Wang et al. | Low-Dose CT Reconstruction Using Dataset-free Learning | |
| Passand | Quality assessment of clinical thorax CT images | |
| Kang et al. | Learning feature fusion via an interpretation method for tumor segmentation on PET/CT | |
| Kazantsev et al. | Conditional generative adversarial networks for stripe artefact removal in high-resolution X-ray tomography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20200726 |