RU2571574C1 - Устройство объединения изображений в единую композицию с плавным переходом контрастности - Google Patents
Устройство объединения изображений в единую композицию с плавным переходом контрастности Download PDFInfo
- Publication number
- RU2571574C1 RU2571574C1 RU2014139873/08A RU2014139873A RU2571574C1 RU 2571574 C1 RU2571574 C1 RU 2571574C1 RU 2014139873/08 A RU2014139873/08 A RU 2014139873/08A RU 2014139873 A RU2014139873 A RU 2014139873A RU 2571574 C1 RU2571574 C1 RU 2571574C1
- Authority
- RU
- Russia
- Prior art keywords
- unit
- image
- input
- output
- images
- Prior art date
Links
Images
Abstract
Изобретение относится к информационно-измерительным устройствам и может быть использовано в вычислительной технике, в системах управления и обработки сигналов. Технический результат, заключающийся в расширении арсенала технических средств, осуществляющих объединение изображений со сглаживанием границы перехода, достигается за счет того, что устройство содержит регистр хранения входной реализации 1, регистр хранения входной реализации 2, тактовый генератор 3, блок поиска контрольных точек 4, блок поиска контрольных точек 5, блок поиска наилучших точек 6, блок вычисления матриц преобразования 7, блок преобразования матрицы первого изображения 8, блок преобразования матрицы второго изображения 9, блок заполнения нулями 10, блок выделения контуров 11, блок вычисления кривой 12, блок нахождения маски 13, блок нахождения маски 14, блок выделения области объединения изображений 15, блок нахождения шва 16, блок удаления ненужных областей 17, блок наложения маски на первое изображение 18, блок наложения маски на второе изображение 19, блок объединения изображений 20, регистр хранения выходной реализации 21. 2 ил.
Description
Предлагаемое изобретение относится к вычислительной технике и может быть использовано для формирования панорамных изображений, полученных цифровыми фото-, видеокамерами. Техническим результатом является объединенное изображение со сглаженными границами перехода. Полученный результат панорамного совмещения достигается в условиях неточного наложения контрольных точек и неравномерной освещенности. Для этого в способе автоматически выделяются контуры на перекрывающихся изображениях, находится кривая совмещения, по найденным контурам производится создание маски для каждого изображения, формируется объединенное изображение с использованием масок. На фиг.1 представлен пример объединения изображений.
Упрощенная математическая модель результата объединения изображений представляется в виде:
где: Yi+k,j+n=Xi+k,j+n+Pk,j+n - первое изображение с областью объединения;
Zk+l,j+m=Pk,j+m+Rl+k,m+j - второе изображение с областью объединения;
Xi+k,j+n - первое изображение;
Rl+k,m+j - второе изображение;
Pk,j+n+m - область объединения;
Подставляя выражения для Yi+k,j+n и Zk+l,j+m в формулу (1) и введя параметр объединения, получаем следующий вид математической модели:
где: α - коэффициент смешивания областей.
Основная решаемая задача - получение объединенного изображения со сглаженными границами перехода.
Подобная задача может возникнуть: 1) в медицине при объединении снимков; 2) в радиотехнике при обработке двумерных сигналов; 3) в системах цифровой обработки изображений; 4) в телевизионных системах с цифровой обработкой.
В тех случаях, когда изображения имеют большое количество текстур мелких деталей, чаще всего на практике применяют методы совмещения изображений с использованием детекторов обнаружения углов (SURF, SIFT, RANSAC). В результате простого совмещения такими методами появляются дополнительные границы объектов (двойные контуры), швов из-за неравномерной освещенности, или размытие.
Решение проблемы, связанной с появлением двойных контуров, достигается при использовании детекторов границ для удаления ненужных областей. Использование смешивания с помощью наложения масок на объединяемые изображения позволяет устранить неравномерность освещенности и размытие объединяемых изображений в области перекрытия.
Известен способ автоматической компоновки ландшафтных изображений [Грузман Игорь Семенович (RU), Никитин Сергей Владимирович (RU), Шакенов Адильбек Кобланович (RU), Рычагов Михаил Николаевич (RU). Класс МПК: G06T 15/20, патент №2384882]. Изобретение относится к способам обработки изображений.
Сшивку изображений осуществляют посредством формирования квадратной решетки. Затем устанавливают соответствия для узлов квадратной решетки, удаления неправильно установленных соответствий путем применения процедуры верификации, в ходе которой выявляют изначальный порядок расположения сопряженных точек на решетке. После этого оценивают проективные преобразования между всеми изображениями с последующим формированием результирующего изображения посредством процедуры адаптивного смешивания. Способ позволяет получать полномасштабную ландшафтную панораму путем компенсации проективных изображений в автоматическом режиме.
Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: формирование решетки (матрицы) с помощью проективных преобразований, установление соответствий между узлами матриц, удаление неправильно установленных соответствий, смешивание области объединения.
Недостатками известного устройства являются:
- появление границы между изображениями в результате объединения;
- появление двойных контуров объединяемых изображений;
- размытие изображения в области объединения.
Причины, препятствующие достижению требуемого технического результата, заключается в следующем:
- если изображения имеют разную контрастность, то граница будет видимой;
- если расчет матриц преобразования изображений будет неправильным, то появится удвоение границ объектов на изображении;
- если изображения были неправильно совмещены, то в результате смешивания образуется размытие.
Структурная схема устройства, реализующего рассмотренный способ, содержит блок загрузки изображений в память компьютера в виде отдельных файлов, блок для вычисления матриц преобразования, блок для установления соответствий между узлами матриц, блок для верификации найденных соответствий, блок для сведения цифровых изображений в панораму, блок для осуществления смешивания областей цифровой панорамы.
Известен способ составного формирования изображения [Толстая Екатерина Витальевна (RU). Класс МПК: G06T 7/00, G06K9/44, патент №2421814], который формирует составное изображение из нескольких частично перекрывающихся изображений, захваченных такими планшетными устройствами, как сканер или многофункциональное периферийное устройство. Техническим результатом является повышение скорости процесса совмещения изображений. Указанный технический результат достигается тем, что: анализируют составные элементы изображения и выявляют дескрипторы совместимых точек; выполняют попарное совмещение дескрипторов; совмещают дескрипторы с конечным изображением и восстанавливают параметры вращения/смещения; поочередно включают составные элементы в конечное изображение на основе восстановленных параметров вращения/смещения.
Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: при объединении изображений в составное изображение на перекрывающихся участках текущего объединяемого изображения и составного изображения определяют оптимальный шов, проходящий через расположенные на перекрывающихся участках пиксели, имеющие минимальные различия.
Недостатками известного устройства являются:
- появление границы между изображениями в результате объединения;
- появление двойных контуров объединяемых изображений;
Причины, препятствующие достижению требуемого технического результата, заключается в следующем:
- если изображения имеют разную контрастность, то граница будет видимой;
- если расчет матриц преобразования изображений будет неправильным, то появится удвоение границ объектов на изображении.
Известен способ подавления неравномерности распределения яркости изображений при получении панорамных изображений медицинских микропрепаратов [Никитаев Валентин Григорьевич (RU), Проничев Александр Николаевич (RU), Комаров Владимир Владимирович (RU), Чистов Кирилл Сергеевич (RU), Филиппов Антон Александрович (RU). Класс МПК: G06K 9/36, патент №2390842]. Техническим результатом данного изобретения является увеличение эффективности определения пороговых значений яркости пикселов и корреляция значений до заданных пределов.
Способ сглаживания неравномерности распределения яркости изображений при получении панорамных изображений медицинских микропрепаратов состоит в том, что от внешнего устройства получают изображение неравномерно подсвеченного стекла предметного столика микроскопа на изображении фона без микропрепарата; определяют неравномерность значений яркости изображения стекла без микропрепарата (разделяют изображение на составляющие участки, фиксируют среднюю яркость каждого участка, фиксируют абсолютную и относительную разницу показателей яркости среди участков); затем с камеры производят захват изображения микропрепарата; разделяют полученное изображение на составляющие участки, фиксируют среднюю яркость каждого участка, фиксируют абсолютную и относительную разницу показателей яркости среди участков, для каждого участка изображения исследуемого микропрепарата производят непосредственное вычитание найденной ранее неравномерности значений яркости и с учетом этого сглаживают кромки исследуемого изображения.
Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: сглаживания неравномерности распределения яркости изображений при получении панорамных изображений.
Недостатками известного устройства являются:
- появление границы между изображениями в результате объединения;
- появление двойных контуров объединяемых изображений.
Причины, препятствующие достижению требуемого технического результата, заключается в следующем:
- если изображения имеют разную контрастность, то граница будет видимой;
- если расчет матриц преобразования изображений будет неправильным, то появится удвоение границ объектов на изображении.
Известен способ формирования изображения на телевизионном экране и устройство его осуществления [Бабошин Николай Павлович (RU). Класс МПК: H04N 7/00, патент №2090977]. Техническим результатом данного изобретения является разработка способа и устройства управления изображением на телевизионном экране, обеспечивающих телезрителю возможность: одновременного наблюдения на одном телевизионном экране нескольких движущихся изображений от несинхронизированных, в общем случае, друг с другом источников с возможностью выбора количественного и качественного состава матрицы изображений, выводимых на экран; осуществления практически плавного перемещения зоны просмотра (условно рамки телевизионного экрана) по заранее заданной матрице изображений, что обеспечивает развертку панорамы при трансляции по нескольким каналам изображения одной сцены или одного объекта, или постепенное переключение на просмотр других программ; выбора степени сжатия, т.е. масштаба изображений на телевизионном экране, что позволяет переходить от крупных планов к общим и обратно при передаче фрагментов одной сцены или одного объекта по нескольким каналам, или изменять число изображений, выводимых на экран одновременно.
Составное изображение формируется как фрагмент прямоугольной матрицы изображений нескольких телевизионных программ. Расположение изображения данной программы (или его фрагмента) в составном изображении зависит от горизонтального и/или вертикального смещения, а степень сжатия изображений - от соответствующей величины степени сжатия, причем эти три величины задаются телезрителем с устройства задания сжатия и смещения.
Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: формирование составного изображения.
Недостатком известного устройства является:
- размытие изображения в области объединения.
Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:
- если расчет матриц преобразования изображений будет неправильным, то появится удвоение границ объектов на изображении;
- если изображения были неправильно совмещены, то в результате смешивания образуется размытие.
Известен способ формирования культурной интерактивной панорамы (культурамы) [Салех Фахти Хассан (EG), Бадави Мохамед Фарук (EG). Класс МПК: G09F 19/18, патент №2006135228]. Техническим результатом является отображение интерактивных компьютерных программ на большом рабочем участке с использованием девяти плоских экранов для построения одного бесшовного специализированного панорамного экрана. Обладает следующими преимуществами: простотой эксплуатации и обслуживания; простотой монтажа; удобной настройкой формы и рабочего участка дисплея; возможностью демонстрации любых видов визуального информационного содержимого как в свободном, так и в интерактивном режиме; возможностью применения в разных областях, например в образовании, в технике и в культуре, и содержит множество проекторов (проекционную установку), предназначенных для проецирования панорамного изображения на приемное устройство, множество экранов (приемную установку), расположенных без швов перед проекционной установкой, один персональный (PC) компьютер, предназначенный для выполнения компьютерных программ и подключенный к проекционной установке через несколько плат VGA.
Признак устройства-аналога, совпадающий с признаками заявляемого технического решения, следующий: формирование составного изображения.
Недостатками известного устройства являются:
- появление границы между изображениями, имеющими неравномерное освещение, в результате объединения;
- искажения изображения в области объединения.
Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:
- если расчет матриц преобразования изображений будет неправильным, то появится удвоение границ объектов на изображении;
- если изображения были неправильно совмещены, то в результате смешивания образуется размытие.
Устройство объединения изображений в единую композицию с плавным переходом контрастности является двухканальным устройством и содержит (фиг. 2) первый вход и второй вход, являющиеся информационными входами устройства, которые подключены к входу блока загрузки изображения 1 и к входу блока загрузки изображения 2 соответственно, выход блока загрузки изображения 2 подключен ко второму входу блока преобразования матрицы второго изображения 9, к входу 2 блока нахождения маски 14, к входу 2 блока наложения маски на второе изображение 19, к входу 4 блока объединения изображений 20 и к входу блока поиска контрольных точек 5, выход которого подключен к входу 1 блока поиска наилучших точек 6, выход которого подключен к входу блока вычисления матриц преобразования 7, выход которого подключен к входу 1 блока преобразования матрицы первого изображения 8 и к входу 1 блока преобразования матрицы второго изображения 9, выход которого подключен к входу 1 блока заполнения нулями 10, выход которого подключен к входу 1 блока наложения маски 13 и к входу 1 блока наложения маски 14, выход которого подключен к входу 1 блока выделения области объединения изображений 15, выход которого подключен к входу блока нахождения шва 16, выход которого подключен к входу 2 блока удаления ненужных областей 17 и входу блока выделения контуров 11, выход которого подключен к 1 входу блока вычисления кривой 12, выход которого подключен к входу 1 блока удаления ненужных областей 17, выход которого подключен к входу 1 блока наложения маски на первое изображение 18 и к входу 1 блока наложения маски на второе изображение 19, выход которого подключен к входу 2 блока объединения изображений 20, выход которого подключен к входу регистра хранения выходной реализации изображения 21, выход которого является информационным выходом устройства; выход блока загрузки изображений 1 подключен к входу 3 блока объединения изображений 20, к входу 2 блока наложения маски на первое изображение 18, к входу 2 блока нахождения маски 13, к входу 2 блока преобразования матрицы первого изображения 8 и к входу блока поиска контрольных точек 4, выход которого подключен к входу 2 блока поиска наилучших точек 6; выход блока преобразования матрицы первого изображения 8 подключен к входу 2 блока заполнения нулями 10; выход блока нахождения маски 13 подключен к входу 2 блока выделения области объединения изображений 15; выход блока наложения маски на первое изображение 18 подключен к входу 1 блока объединения изображений 20; синхронность работы устройства задается тактовым генератором 3.
Устройство объединения изображений в единую композицию с плавным переходом контрастности реализуется следующим образом. Значения входной реализации поступают на входы устройства и записываются в регистр хранения входной реализации. В блоках поиска контрольных точек находится соответствие между входными данными с помощью детектора обнаружения углов, находятся наилучшие соответствия и вычисляются матрицы преобразования. Затем матрицы преобразуются и заполняются нулями в недостающих фрагментах и поступают в блоки нахождения маски. Находится область объединения и шов, выделяются контуры, по которым определяется кривая с целью удаления ненужных фрагментов относительно кривой. Происходит наложение маски на каждое изображение и объединение. Результат записывается в регистр хранения выходной реализации и поступает на выход устройства.
Устройство объединения изображений в единую композицию с плавным переходом контрастности работает следующим образом. Значения входной реализации поступают на входы устройства и записываются в регистр хранения входной реализации 1 и 2. Находится соответствие между входными данными с помощью детектора обнаружения углов 4 и 5, определяются наилучшие соответствия 6 и вычисляются матрицы преобразования 7, т.е. вычисляются проективные матрицы преобразования для изображений по найденным соответствиям (из найденных соответствий проективные матрицы преобразования строятся по четырем парам контрольных точек для двух изображений) [Грузман Игорь Семенович (RU), Никитин Сергей Владимирович (RU), Шакенов Адильбек Кобланович (RU), Рычагов Михаил Николаевич (RU). Класс МПК: G06T 15/20, патент №2384882]. Затем к изображениям применяются найденные проективные матрицы преобразования 8 и 9. Для получения панорамного изображения недостающие участки заполняются нулями с правой стороны для первого изображения и с левой стороны для второго изображения 10, данная операция позволит при последующем объединении изображений, после нахождения масок, повторно не сопоставлять границы изображений при объединении. Нахождение масок 13 и 14 для изображений осуществляется из нескольких этапов: определяются область объединения изображений 15 и шов 16; с помощью детектора Канни происходит выделение контуров 11; находится кривая по найденным контурам с целью удаления ненужных фрагментов 17. Наложение маски осуществляется для первого изображения 18 и второго изображения 19, при объединении маскированных изображений 20 убирается видимая граница перехода яркости. Результат записывается в регистр хранения выходной реализации 21 и поступает на выход устройства. Синхронность работы устройства осуществляется тактовым генератором 3.
Claims (1)
- Устройство объединения изображений в единую композицию с плавным переходом контрастности, содержащее регистры хранения входной реализации изображений, входы которых являются информационными входами устройства, регистр хранения выходной реализации изображения, выход которого является информационным выходом устройства, отличающееся тем, что выход регистра хранения входной реализации изображений подключен к входам блоков поиска контрольных точек, выходы каждого из которых подключены к входу блока поиска наилучших точек с выходом на блок вычисления матриц преобразования, выход которого попадает на вход блока преобразования матрицы первого изображения и на вход блока преобразования матрицы второго изображения; выход блока преобразования матрицы первого изображения и выход блока преобразования матрицы второго изображения подключены к входу блока заполнения нулями, выход которого подключен к входам блоков нахождения маски; выходы блоков нахождения маски поступают на вход блока выделения области объединения изображений, выход которого подключен к входу блока нахождения шва; выход блока нахождения шва подключен к входу блока выделения контуров, выход которого подключен к входу блока вычисления кривой с выходом на вход блока удаления ненужных областей; с выхода блока удаления ненужных областей данные поступают на вход блока наложения маски на первое изображение и на вход блока наложения маски на второе изображение; выход блока наложения маски на первое изображение и выход блока наложения маски на второе изображение подключены к входу блока объединения изображений; выход блока объединения изображений подключен к входу блока вывода реализации изображения, синхронность работы устройства задается тактовым генератором.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014139873/08A RU2571574C1 (ru) | 2014-10-01 | 2014-10-01 | Устройство объединения изображений в единую композицию с плавным переходом контрастности |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014139873/08A RU2571574C1 (ru) | 2014-10-01 | 2014-10-01 | Устройство объединения изображений в единую композицию с плавным переходом контрастности |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2571574C1 true RU2571574C1 (ru) | 2015-12-20 |
Family
ID=54871409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2014139873/08A RU2571574C1 (ru) | 2014-10-01 | 2014-10-01 | Устройство объединения изображений в единую композицию с плавным переходом контрастности |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2571574C1 (ru) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2614545C1 (ru) * | 2016-01-11 | 2017-03-28 | федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) | Устройство объединения медицинских изображений |
| RU2647645C1 (ru) * | 2016-12-29 | 2018-03-16 | Общество с ограниченной ответственностью "СИАМС" | Способ устранения швов при создании панорамных изображений из видеопотока кадров в режиме реального времени |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1519319A2 (en) * | 2003-09-25 | 2005-03-30 | Sony Corporation | Method and apparatus for antialiased blending in image rendering |
| RU2365998C2 (ru) * | 2006-12-18 | 2009-08-27 | Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет | Способ формирования панорамных изображений |
| RU2384882C1 (ru) * | 2008-10-06 | 2010-03-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ автоматической компоновки ландшафтных панорамных изображений |
| RU2421814C2 (ru) * | 2009-02-20 | 2011-06-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ формирования составного изображения |
-
2014
- 2014-10-01 RU RU2014139873/08A patent/RU2571574C1/ru not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1519319A2 (en) * | 2003-09-25 | 2005-03-30 | Sony Corporation | Method and apparatus for antialiased blending in image rendering |
| RU2365998C2 (ru) * | 2006-12-18 | 2009-08-27 | Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет | Способ формирования панорамных изображений |
| RU2384882C1 (ru) * | 2008-10-06 | 2010-03-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ автоматической компоновки ландшафтных панорамных изображений |
| RU2421814C2 (ru) * | 2009-02-20 | 2011-06-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ формирования составного изображения |
| EP2221764B1 (en) * | 2009-02-20 | 2011-11-16 | Samsung Electronics Co., Ltd. | Method of creating a composite image |
Non-Patent Citations (1)
| Title |
|---|
| Р.В. Силантьев, Сшивка цифровых перекрывающихся изображений без использования навигационной информации в задачах мониторинга, Вестник инженерной школы ДВФУ, 2012, N2(11). * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2614545C1 (ru) * | 2016-01-11 | 2017-03-28 | федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) | Устройство объединения медицинских изображений |
| RU2647645C1 (ru) * | 2016-12-29 | 2018-03-16 | Общество с ограниченной ответственностью "СИАМС" | Способ устранения швов при создании панорамных изображений из видеопотока кадров в режиме реального времени |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bang et al. | UAV-based automatic generation of high-resolution panorama at a construction site with a focus on preprocessing for image stitching | |
| RU2580473C1 (ru) | Устройство бесшовного объединения изображений в единую композицию с автоматической регулировкой контрастности и градиентом | |
| CN109314753B (zh) | 使用光流生成中间视图的方法和计算机可读存储介质 | |
| CN104299215B (zh) | 一种特征点标定和匹配的图像拼接方法 | |
| KR101923845B1 (ko) | 이미지 처리 방법 및 장치 | |
| JP2009124685A (ja) | 複数のビデオを結合してリアルタイムで表示する方法及びシステム | |
| DE112016002043T5 (de) | Durchlaufanzeige von erfassten bildern | |
| CN105488775A (zh) | 一种基于六摄像机环视的柱面全景生成装置及方法 | |
| CN107257494B (zh) | 一种体育赛事拍摄方法及其拍摄系统 | |
| CN103226822A (zh) | 医疗影像拼接方法 | |
| CN108093221A (zh) | 一种基于缝合线的实时视频拼接方法 | |
| US20210295467A1 (en) | Method for merging multiple images and post-processing of panorama | |
| CN109257583B (zh) | 投影设备图像的无缝拼接方法及系统 | |
| CN112712487A (zh) | 一种场景视频融合方法、系统、电子设备及存储介质 | |
| RU2571574C1 (ru) | Устройство объединения изображений в единую композицию с плавным переходом контрастности | |
| TW201824178A (zh) | 全景即時影像處理方法 | |
| RU2735066C1 (ru) | Способ отображения широкоформатного объекта дополненной реальности | |
| CN111527517B (zh) | 图像处理装置及其控制方法 | |
| CN105719235A (zh) | 基于圆周扫描视频图像拼接与分屏显示方法 | |
| CN111201773A (zh) | 拍摄方法及装置、移动终端及计算机可读存储介质 | |
| RU2718211C1 (ru) | Устройство объединения инфракрасных изображений | |
| CN106851130A (zh) | 一种视频拼接方法及装置 | |
| RU2614545C1 (ru) | Устройство объединения медицинских изображений | |
| CN106131498B (zh) | 全景视频拼接方法及装置 | |
| US20230239574A1 (en) | Systems and methods for image capture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20161002 |