RU2650573C1 - Способ определения пространственных координат точечных источников по двухмерным изображениям - Google Patents
Способ определения пространственных координат точечных источников по двухмерным изображениям Download PDFInfo
- Publication number
- RU2650573C1 RU2650573C1 RU2017102181A RU2017102181A RU2650573C1 RU 2650573 C1 RU2650573 C1 RU 2650573C1 RU 2017102181 A RU2017102181 A RU 2017102181A RU 2017102181 A RU2017102181 A RU 2017102181A RU 2650573 C1 RU2650573 C1 RU 2650573C1
- Authority
- RU
- Russia
- Prior art keywords
- vector
- sources
- spatial coordinates
- images
- elements
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims abstract description 12
- 238000005259 measurement Methods 0.000 claims abstract description 7
- 230000017105 transposition Effects 0.000 claims description 2
- 238000005265 energy consumption Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract 1
- 238000005192 partition Methods 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 230000005855 radiation Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 2
- 238000010894 electron beam technology Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
Способ определения пространственных координат точечных источников по двухмерным изображениям заключается в регистрации под разными ракурсами изображений контролируемой области пространства, в которой находятся источники, разбиении этой области пространства на элементы разрешения (ЭР), нумерации их и фиксации пространственных координат, определении расчетным путем положений ЭР на плоскостях изображений. Также выявляют на каждой плоскости изображения элементы площади (ЭП), на которые проецируются ЭР; формируют для каждого ЭП весовой вектор. Далее формируют из этих векторов весовую матрицу. Оценивают вектор распределения интенсивностей по ЭР и выделяют компоненты полученной оценки, превышающие фоновый уровень интенсивности. Далее определяют пространственные координаты источников как координаты ЭР, номера которых совпадают с номерами выделенных компонент, и определяют интенсивности источников по значениям этих компонент. Технический результат заключается в расширении области применения способа на определение пространственных координат точечных источников в свободном пространстве, сокращении измерительной аппаратуры и энергопотребления, обеспечении пассивного режима работы, а также повышении информативности за счет получения дополнительной информации об интенсивностях источников.
Description
Изобретение относится к области фотограмметрии и может быть использовано для определения пространственных координат и интенсивностей точечных источников излучения по двухмерным изображениям.
Под точечными источниками будем понимать объекты в свободном пространстве, которые воспринимаются системой регистрации изображения как точечные или наиболее яркие точечные объекты на менее ярком фоне. Под интенсивностью точечных источников будем понимать интенсивность их отраженного освещения от естественных источников (например, Солнца), или от искусственного источника, или собственного излучения, например в инфракрасном диапазоне.
Будем полагать, что на плоскостях изображений регистрируются изображения области пространства, в которой находятся все анализируемые точечные источники. Будем далее эту область пространства называть контролируемой областью пространства. При этом полагаем известными пространственные положения плоскостей изображения. Число плоскостей изображения - два или более.
Известные способы определения пространственных координат точечных источников основаны на обязательном выявлении на зарегистрированных изображениях соответственных точек (т.е. точек, которые являются изображениями одного и того же источника) и определении по ним тем или иным образом пространственных координат. В заявляемом способе предлагается новый принцип определения пространственных координат точечных источников, в котором выявлять соответственные точки не нужно.
Известен способ (аналог) определения пространственных координат точек по двухмерным изображениям контролируемой области пространства, в котором для расчета пространственных координат точечных источников находят соответственные точки на изображениях [1] и по координатам этих точек в плоскостях изображений расчетным путем определяют пространственные координаты источников. Для нахождения соответственных точек используют, например, корреляционный метод [2], в котором для выявления соответственных точек выбирают анализируемую точку на одном изображении, выделяют небольшой участок изображения вокруг нее и сравнивают этот участок с перебираемыми участками второго изображения, определяя каждый раз корреляцию изображений сравниваемых участков. По максимальной корреляции выявляют соответственную точку на втором изображении.
Этот способ имеет следующие недостатки.
1. Он имеет ограниченную область применения, так как может работать только в том случае, если области вокруг изображений источников неоднородные, различающиеся по структуре. Если же изображения точечных источников имеют однородный, постоянный фон или находятся в свободном пространстве, выявить максимальное значение корреляции невозможно.
2. Этот способ требует существенных вычислительных затрат на корреляционную обработку.
3. Применение корреляционной обработки приводит к низкому быстродействию.
От указанных недостатков свободен другой способ (прототип) определения пространственных координат точечных источников [3], в котором к камерам, регистрирующим изображения, добавляют лазер, сканируют лазерным лучом контролируемую область пространства, для анализируемой точки на первом изображении находят эпиполярную линию, выявляют случай совпадения сканирующей линии с анализируемой точкой на первом изображении и по точке пересечения сканирующей линии с эпиполярной линией на втором изображении определяют соответственную точку; компьютер предварительно вычисляет пространственные координаты всех точек на первом изображении и всех точек соответствующих им эпиполярных линий, для каждой точки первого изображения и точки пересечения линий (сканирующей и эпиполярной) 2-го изображения ЭВМ выбирает из памяти соответствующие пространственные координаты этой точки.
Прототип, по сравнению с аналогом, имеет более широкую область применения - он может работать при однородном фоне на изображениях точечных источников. Кроме того, за счет предварительных компьютерных вычислений прототип имеет более высокое быстродействие.
Недостатки прототипа следующие.
1. Он неработоспособен, если источники находятся в свободном пространстве, от которого не будет отражаться лазерный луч, формируя сканирующую линию на втором изображении.
2. Для реализации прототипа необходимо использовать специальное оборудование - лазерную установку и систему сканирования, что сопровождается повышенным энергопотреблением.
3. Вся система определения пространственных координат точечных источников является активной, облучающей наблюдаемые объекты, что в некоторых случаях нежелательно.
Технической задачей данного изобретения является расширение области применения способа на определение пространственных координат точечных источников в свободном пространстве, сокращение измерительной аппаратуры и энергопотребления, обеспечение пассивного режима работы, а также повышение информативности за счет получения дополнительной информации об интенсивностях источников.
Поставленная задача достигается тем, что в способе определения пространственных координат точечных источников, заключающемся в регистрации под разными ракурсами контролируемой области пространства, в которой находятся точечные источники, и определении пространственных координат источников с использованием этих изображений и вычислительных процедур, согласно изобретению контролируемую область пространства разбивают на малые объемы - элементы разрешения, нумеруют их и фиксируют пространственные координаты каждого элемента разрешения, расчетным путем определяют положения всех элементов разрешения на плоскостях изображений, на каждой плоскости изображения выявляют элементы площади, на которые проецируются элементы разрешения контролируемой области пространства с учетом их наложений на один и тот же элемент площади, нумеруют элементы площади, для каждого из них формируют весовой вектор h, который включает столько компонент, сколько всего элементов разрешения содержит контролируемая область пространства, причем i-я компонента вектора h равна 1, если изображение i-го элемента разрешения совпадает с данным элементом площади, и равна 0, если не совпадает, все эти весовые векторы объединяют в весовую матрицу 
где K - число элементов площади на плоскости изображения, измеряют интенсивность изображения в каждом элементе площади и составляют из них вектор измерений g, в котором измеренные интенсивности располагают в соответствии с номерами элементов площади, полученные для всех изображений весовые матрицы объединяют в матрицу 
где 
- весовые матрицы 1-го, 2-го,…, М-го изображений, М - число изображений, а все векторы измерений объединяют в вектор 
где индекс Т обозначает транспонирование, из уравнения 
находят оценку вектора f распределения интенсивностей по элементам разрешения в контролируемой области пространства, например, методом псевдообращения по формуле 
где индекс + обозначает операцию псевдообращения, а 
- оценка вектора f, выделяют компоненты вектора 
превышающие фоновый уровень интенсивности, определяют пространственные координаты источников как координаты элементов разрешения, номера которых совпадают с номерами выделенных компонент вектора 
, и интенсивности источников - по значениям этих компонент.
Особенностью и главным преимуществом заявляемого способа является возможность вообще не выявлять на изображениях соответственные точки. Это обеспечивает его работоспособность даже в случаях совершенно одинаковых изображений точечных источников в отсутствие фона, если регистрируются, например, изображения одинаковых источников, находящихся в свободном пространстве.
Обоснование способа.
Решаемой задачей является определение пространственных координат и интенсив-ностей источников, расположенных в известной контролируемой области пространства Ω. Такими источниками могут быть точечные объекты в свободном пространстве или некие выделяющиеся своей интенсивностью на остальном фоне участки, воспринимаемые системами формирования изображений как точечные.
Будем полагать, что имеется М изображений, на которых отображается контролируемая область пространства в различающихся ракурсах.
Разобьем контролируемую область пространства на малые объемы - элементы разрешения (ЭР) 
пронумеруем их и зафиксируем координаты центра каждого ЭР, обозначив их трехмерными координатными векторами 
где N - число ЭР в контролируемой области пространства.
Введем в рассмотрение вектор f распределения интенсивностей по ЭР в контролируемой области пространства. Компоненты этого вектора равны либо интенсивности фона, если в ЭР с номером компоненты нет источника, либо интенсивности источника, если он в этом ЭР есть. В случае нахождения источников в свободном пространстве интенсивность фона равна 0.
Вектор f дает полную информацию о координатах, интенсивностях и количестве источников в контролируемой области пространства. Действительно, число компонент этого вектора, превышающих фоновый уровень, равно числу источников; номера этих компонент равны номерам ЭР, в которых есть источники и пространственные координаты которых известны; значения же этих компонент равны (с точностью до коэффициентов ослабления) интенсивностям источников. Коэффициенты ослабления излучения в первом приближении обратно пропорциональны квадрату дальности источников и могут быть учтены при определении интенсивностей.
Таким образом, для решения поставленной задачи определения пространственных координат и интенсивностей источников, расположенных в контролируемой области пространства, необходимо определить вектор f.
Решается задача следующим образом.
Определим расчетным путем положения всех ЭР на плоскостях изображений. Сделать это можно путем проецирования на плоскости изображения координатных векторов.
Пусть известно, что плоскость изображения перепендикулярна заданному вектору R. Найдем оператор проецирования на эту плоскость.
Согласно [4] оператор проецирования на вектор R определяется выражением 
а оператор проецирования на ортогональную вектору R плоскость (плоскость изображения) - оператором
Найдем базисные орты плоскости изображения. Будем полагать, что направление базисного орта оси ординат j 0 определяется проекцией базисного орта j базовой системы координат на плоскость изображения, а базисный орт оси абсцисс i 0 составляет с векторами j 0 и R правую систему координат. Это значит, что 
где оператор Q определяется выражением (1), 
- векторное произведение, 
- модуль вектора, равного векторному произведению входящих в выражение векторов.
Чтобы определить положения всех ЭР на плоскости изображения, необходимо найти проекции их координатных векторов 
на оси координат, задаваемые ортами i 0, j 0. Проецирующие на эти оси операторы определяются выражениями
В выражениях (2) учтены равенства 
Таким образом, проекционный оператор на плоскость изображения равен 
а проекция вектора ρ i на эту плоскость определяется выражением
в котором вектор ρ i - трехмерный вектор пространственных координат i-го ЭР, ρ i0 - двухмерный вектор координат проекции ρ i на плоскость изображения, k i - масштабирующий коэффициент, определяемый параметрами системы формирования изображения и положением ЭР.
Подставляя в (3) координатные векторы всех ЭР, получим все их проекции на плоскость изображения. Чтобы получить область изображения ЭР, его можно задать не только координатным вектором центра, но и дополнительными координатными векторами его границ. Другой вариант - окружить проекции центров ЭР областями с равноотстоящими от соседних центров границами.
Очевидно, что при проецировании не все ЭР займут отдельный участок плоскости изображения: во многих случаях они будут накладываться, попадая на плоскости изображения в один участок плоскости - элемент площади (ЭП). Количество ЭП будет при этом меньшим, чем число ЭР в контролируемой области пространства. Количество ЭП - это количество видимых на изображении проекций ЭР. Если в накладывающихся ЭР есть источники, то интенсивности их будут суммироваться в одном ЭП, что отвечает рассматриваемому случаю точечных источников.
Пронумеруем получившиеся ЭП, например, в соответствии со строчно-столбцовым сканированием изображения. Сформируем для каждого ЭП весовой вектор h, который включает столько компонент, сколько всего элементов разрешения содержит контролируемая область пространства, причем i-я компонента вектора h равна 1, если изображение i-го элемента разрешения совпадает с данным элементом площади, и равна 0, если не совпадает. Тогда интенсивность k-го ЭП определится формулой
где h k - весовой вектор k-го ЭП, 
и 
- n-я компонента векторов h k и искомого вектора f.
Измерим интенсивность изображения в каждом элементе площади и составим из них вектор измерений g, в котором измеренные интенсивности располагаются в соответствии с номерами ЭП: 
, а все весовые векторы объединим в весовую матрицу 
где K - число ЭП на плоскости изображения. С учетом этих обозначений, в соответствии с (4), 
Опишем таким образом все имеющиеся изображения:
где М - число изображений контролируемой области пространства, зарегистрированных с разных ракурсов.
Заметим, что размеры векторов изображений в общем случае различны: g 1 имеет размер K 1 × 1, g 2 - K 2 × 1 и т.д. Соответствующие размеры имеют и матрицы Н 1, Н 2,…. Объединим полученные для всех изображений весовые матрицы в матрицу Н 0 = [Н 1, Н 2 … H M ], где Н 1 Н 2 ... H M - весовые матрицы 1-го, 2-го, … изображений, М - число изображений, а все векторы измерений объединим в вектор 
и перепишем систему уравнений (5) в форме векторно-матричного уравнения
Теперь для определения вектора f надо решить уравнение (6). Сделать это можно, например, методом псевдообращения:
где индекс + обозначает операцию псевдообращения матрицы.
Компоненты вектора 
являются оценками интенсивностей излучения всех ЭР контролируемой области пространства. Это либо фоновое излучение, либо излучение источника, существенно превышающее фоновое.
Осталось определить по этому вектору интересующие нас параметры. Для этого выделим компоненты вектора 
превышающие фоновый уровень интенсивности. Номера этих компонент - это номера ЭР, в которых есть источники. Поэтому координаты источников равны координатам ЭР, номера которых совпадают с номерами выделенных компонент вектора 
Соответственно, интенсивности источников определяются значениями выделенных компонент. Без учета пространственного ослабления интенсивности излучений источников равны значениям выделенных компонент. Количество источников равно количеству выделенных компонент вектора 
Преимущества предлагаемого способа по сравнению с прототипом следующие.
1. Пространственные координаты источников определяются без обычного для решения этой задачи нахождения соответственных точек на изображениях. А задача идентификации точек достаточно сложно решается. В случае точечных источников в свободном, не отражающем лазерное излучение пространстве, задача с помощью прототипа не решается, а заявляемым способом - решается. Таким образом, заявляемый способ имеет более широкую область применения.
2. В решении не используются и такие приемы, как активная лазерная подсветка, что обеспечивает пассивный характер реализации способа и пониженное энергопотребление. Сокращается, также, аппаратурная составляющая, необходимая для реализации способа.
3. Появляется возможность определять помимо пространственных координат также и интенсивности источников. Таким образом, заявляемый способ имеет большую информативность по сравнению с прототипом.
Источники информации
1) Назаров А.С. Фотограмметрия: учеб. пособие для студентов вузов. - Мн.: ТетраСистемс, 2006. - 368 с., стр. 153-155.
2) Назаров А.С. Фотограмметрия: учеб. пособие для студентов вузов. - Мн.: ТетраСистемс, 2006. - 368 с., стр. 271-273.
3) Коротаев В.В., Ждамийков Т.С., Нгуен Х.В., Ярышев С.Н. Метод определения пространственных координат в активной стереоскопической системе. // Научно-технический вестник информационных технологий, механики и оптики, 2014, №6 (94), стр. 48-53. (прототип).
4) Самойленко В.И., Пузырёв В.А., Грубрин И.В. Техническая кибернетика: Учеб. пособие. - М.: Изд-во МАИ, 1994. - 280 с., стр. 271-272.
Claims (2)
- Способ определения пространственных координат точечных источников по двухмерным изображениям, заключающийся в том, что регистрируют под разными ракурсами изображения контролируемой области пространства, в которой находятся точечные источники, и определяют пространственные координаты источников с использованием этих изображений и вычислительных процедур,
- отличающийся тем, что контролируемую область пространства разбивают на малые объемы - элементы разрешения, нумеруют их и фиксируют пространственные координаты каждого элемента разрешения, расчетным путем определяют положения всех элементов разрешения на плоскостях изображений, на каждой плоскости изображения выявляют элементы площади, на которые проецируются элементы разрешения контролируемой области пространства с учетом их наложений на один и тот же элемент площади, нумеруют элементы площади, для каждого из них формируют весовой вектор h, который включает столько компонент, сколько всего элементов разрешения содержит контролируемая область пространства, причем i-я компонента вектора h равна 1, если изображение i-го элемента разрешения совпадает с данным элементом площади, и равна 0, если не совпадает, все эти весовые векторы объединяют в весовую матрицу H=[h1 h2 … hK], где K - число элементов площади на плоскости изображения, измеряют интенсивность изображения в каждом элементе площади и составляют из них вектор измерений g, в котором измеренные интенсивности располагают в соответствии с номерами элементов площади, полученные для всех изображений весовые матрицы объединяют в матрицу Н0=[Н1 Н2 … HM], где Н1 Н2 … HM - весовые матрицы 1-го, 2-го, …, М-го изображений, М - число изображений, а все векторы измерений объединяют в вектор, где индекс Т обозначает транспонирование, из уравнения
находят оценку вектора f распределения интенсивностей по элементам разрешения в контролируемой области пространства, например, методом псевдообращения по формуле
, где индекс + обозначает операцию псевдообращения, а
- оценка вектора f, выделяют компоненты вектора
, превышающие фоновый уровень интенсивности, определяют пространственные координаты источников как координаты элементов разрешения, номера которых совпадают с номерами выделенных компонент вектора
, и интенсивности источников - по значениям этих компонент.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017102181A RU2650573C1 (ru) | 2017-01-24 | 2017-01-24 | Способ определения пространственных координат точечных источников по двухмерным изображениям |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017102181A RU2650573C1 (ru) | 2017-01-24 | 2017-01-24 | Способ определения пространственных координат точечных источников по двухмерным изображениям |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2650573C1 true RU2650573C1 (ru) | 2018-04-16 |
Family
ID=61977044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017102181A RU2650573C1 (ru) | 2017-01-24 | 2017-01-24 | Способ определения пространственных координат точечных источников по двухмерным изображениям |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2650573C1 (ru) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5432712A (en) * | 1990-05-29 | 1995-07-11 | Axiom Innovation Limited | Machine vision stereo matching |
| US5805287A (en) * | 1993-05-24 | 1998-09-08 | Metronor As | Method and system for geometry measurements |
| US9251586B2 (en) * | 2010-01-20 | 2016-02-02 | Jrb Engineering Pty Ltd | Optical overhead wire measurement |
-
2017
- 2017-01-24 RU RU2017102181A patent/RU2650573C1/ru not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5432712A (en) * | 1990-05-29 | 1995-07-11 | Axiom Innovation Limited | Machine vision stereo matching |
| US5805287A (en) * | 1993-05-24 | 1998-09-08 | Metronor As | Method and system for geometry measurements |
| US5805287C1 (en) * | 1993-05-24 | 2002-08-13 | Metronor As | Method and system for geometry measurements |
| US9251586B2 (en) * | 2010-01-20 | 2016-02-02 | Jrb Engineering Pty Ltd | Optical overhead wire measurement |
Non-Patent Citations (1)
| Title |
|---|
| Коротаев В.В. и др., Методы определения простанственных координат в активной стереоскопической системе, Научно-технический вестник информационных технологий, механики и оптики, 2014, N 6 (94), стр. 48-53. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Daponte et al. | A height measurement uncertainty model for archaeological surveys by aerial photogrammetry | |
| RU2609434C2 (ru) | Выявление расположения и местоположения объектов | |
| Pan et al. | An active imaging digital image correlation method for deformation measurement insensitive to ambient light | |
| KR20110059631A (ko) | 3차원 계측 장치 및 그 방법 | |
| Barazzetti et al. | 3D scanning and imaging for quick documentation of crime and accident scenes | |
| Kottner et al. | Using the iPhone's LiDAR technology to capture 3D forensic data at crime and crash scenes | |
| Cabo et al. | Influence of the number and spatial distribution of ground control points in the accuracy of uav-sfm dems: an approach based on generalized additive models | |
| CN109581526A (zh) | 一种应用于摄像式毫米波人体安检仪的实时跟踪快速成像方法 | |
| GB2532349A (en) | Method for generating a thermal image | |
| García-Moreno et al. | Error propagation and uncertainty analysis between 3D laser scanner and camera | |
| RU2650573C1 (ru) | Способ определения пространственных координат точечных источников по двухмерным изображениям | |
| JP3697251B2 (ja) | Ｘ線回折の散乱ベクトルの動的表示方法 | |
| D'Angelo et al. | Smart city and cultural heritage: Resilience trought crowdsourcing involvement | |
| Zhuravlev et al. | ISAR for concealed objects imaging | |
| JP2016057079A (ja) | モデル化データ算出方法及びモデル化データ算出装置 | |
| Habib et al. | Quantitative measures for the evaluation of camera stability | |
| Alekseev et al. | Visual-inertial odometry algorithms on the base of thermal camera | |
| Golomb et al. | PlanetEvidence: Planet or Noise? | |
| Xie et al. | Online active calibration for a multi-lrf system | |
| Hlotov et al. | The proposal of determining the focal length of a non-metric digital camera for UAV | |
| Tektonidis et al. | Image enhancement and color constancy for a vehicle-mounted change detection system | |
| Kizel et al. | Bidirectional reflectance distribution function (BRDF) of mixed pixels | |
| RU2653097C1 (ru) | Способ восстановления формы трёхмерного объекта по его двухмерным изображениям | |
| Petrov | On obtaining shape from color shading | |
| Ristanto et al. | Development of laboratory devices for real-time measurement of object 3D position using stereo cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20190125 |