RU2679964C1 - Визуализация изображений по данным лазерного сканирования - Google Patents

Визуализация изображений по данным лазерного сканирования Download PDF

Info

Publication number
RU2679964C1
RU2679964C1 RU2016127919A RU2016127919A RU2679964C1 RU 2679964 C1 RU2679964 C1 RU 2679964C1 RU 2016127919 A RU2016127919 A RU 2016127919A RU 2016127919 A RU2016127919 A RU 2016127919A RU 2679964 C1 RU2679964 C1 RU 2679964C1
Authority
RU
Russia
Prior art keywords
map
texture
mosaic
laser
scan
Prior art date
Application number
RU2016127919A
Other languages
English (en)
Other versions
RU2016127919A (ru
Inventor
Аарон ФРИДМЕН
Пол ЭЛТОН
Original Assignee
Авева Солюшнз Лимитед
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Авева Солюшнз Лимитед filed Critical Авева Солюшнз Лимитед
Publication of RU2016127919A publication Critical patent/RU2016127919A/ru
Application granted granted Critical
Publication of RU2679964C1 publication Critical patent/RU2679964C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G06T15/405—Hidden part removal using Z-buffer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Изобретение относится к средствам визуализации изображения по данным (6) трехмерного лазерного сканирования. Технический результат заключается в повышении точности визуализации. Способ включает в себя обеспечение набора данных лазерного сканирования для определенного сканирования в виде карты (18) сферического смещения и формирование структуры мозаичного заполнения (71; фиг. 17) путем дискретизации карты сферического смещения. Графический процессор может формировать структуру мозаичного заполнения. 3 н. и 11 з.п. ф-лы, 28 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к способу и системе для визуализации изображения по данным лазерного сканирования.
УРОВЕНЬ ТЕХНИКИ
Трехмерное лазерное сканирующее устройство может использоваться для обследования некой среды, например технологической установки, сосуда или другого оборудования. Обычное сканирующее устройство включает в себя лазерный дальномер, который может измерять расстояние между сканирующим устройством и точкой на поверхности, которая находится в поле зрения. Перемещаясь через поле зрения (обычно 360 градусов по горизонтали и почти 180 по вертикали), сканирующее устройство может захватывать набор дальностей (в материалах настоящей заявки называемых «данными лазерного сканирования») для окружающей среды. Они могут использоваться для формирования набора точек в трехмерном пространстве, часто называемого «облаком точек». Пример облака точек описан в EP 1 176 393 A2.
В разных положениях в среде может выполняться множество сканирований, и облака точек из разных сканирований могут объединяться для создания объединенного (или «агрегированного») облака точек, охватывающего более широкую область. Пример объединения данных облака точек можно найти в WO 2004/003844 A1.
В дополнение к получению данных дальности сканирующее устройство также может захватывать изображения окружающей среды путем измерения интенсивности отраженного лазерного излучения или с использованием камеры.
Облако (облака) точек и изображения могут использоваться для визуализации и/или анализа среды с использованием приложения просмотра облака точек или приложения трехмерного автоматизированного проектирования (CAD). Обычно эти приложения делятся на две категории, а именно, те которые работают с точками из отдельных сканирований, и те, которые работают с точками, объединенными из множества сканирований.
Одним из простейших приложений лазерного сканирования является отображение изображения, захваченного отдельным сканированием. Поскольку изображение из лазерного сканирования сферическое, охватывающее область вокруг лазерного сканирующего устройства, программное приложение может отображать изображение на внутреннюю часть сферы. Приложение может отображать часть сферы на экране компьютера. Пользователь может вращать это отображения, чтобы рассматривать разные части всего изображения. Это отображение называется «отображением пузыря».
В отображении пузыря пользователь может выбирать пятно на изображении и извлекать трехмерную координату этого местоположения с использованием данных облака точек для этого лазерного сканирования. Выбирая две точки, пользователь может измерять расстояния.
Один тип приложения может накладывать трехмерную CAD-модель в отображении пузыря. Поскольку приложение знает трехмерное местоположение точек в отображении пузыря, оно может скрывать подходящие части CAD-модели позади отображения пузыря. Это объединенное изображение может быть полезно при проектировании новых областей оборудования.
Привлекательной особенностью отображения пузыря является то, что оно выглядит реалистичным. Реализм образуется из изображения, захваченного в местоположении сканирующего устройства. Однако ограничением отображения пузыря является то, что они могут создаваться только для местоположений, в которых располагалось лазерное сканирующее устройство. Пользователь может выбирать отображение пузыря и вращать его влево и вправо либо вверх и вниз, но он/она не может двигаться вперед, назад, горизонтально или вертикально, чтобы рассматривать среду с другой перспективы.
Для обеспечения возможности свободного перемещения некоторые программные приложения работают с объединенным облаком точек из множества сканирований. Используя такое приложение, пользователь выбирает местоположение в пределах оборудования и направление наблюдения. Затем приложение отображает каждую точку в объединенном облаке точек вокруг этого местоположения из точки наблюдения пользователя. Пользователь может двигать местоположение и направление наблюдения, чтобы видеть точки с разных перспектив.
Некоторые приложения могут отображать CAD-модель в том же трехмерном пространстве, что и объединенное облако точек. Тогда пользователь может измерять расстояния между местоположениями в CAD-модели и точками в облаке точек. Пользователь также может определять, пересекают ли части облака точек части CAD-модели.
Хотя отображение объединенного облака точек дает пользователю возможность рассматривать точки более чем с одной перспективы, такой подход может иметь один или более недостатков.
Отображение отдельных точек, как правило, затратно в вычислительном отношении. В представлении сканированной поверхности на близких расстояниях могут появляться пропуски, и поэтому различение поверхностей может быть затруднительным
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
В соответствии с первым аспектом настоящего изобретения предложен способ визуализации изображения по данным трехмерного лазерного сканирования. Способ содержит обеспечение набора данных лазерного сканирования для определенного сканирования в виде карты сферического смещения и формирование структуры мозаичного заполнения путем дискретизации карты сферического смещения. Способ содержит визуализацию изображения с использованием структуры мозаичного заполнения.
Сохраняя данные лазерного сканирования для определенного сканирования в виде набора точек (в отличие от агрегирования данных лазерного сканирования для множества сканирований) и пользуясь тем, что данные лазерного сканирования могут обеспечиваться в виде карты смещения, которая может обрабатываться напрямую графической системой, могут эффективно и/или быстро визуализировать изображение по данным лазерного сканирования. Это может быть особенно полезным при объединении изображений из множества сканирований, поскольку каждое сканирование может обрабатываться независимо, и изображения из разных сканирований могут легко объединяться в общий буфер. Это делает возможным эффективную/быструю визуализацию не только неподвижных изображений, но также движущихся изображений, например, когда пользователь «перемещается» по среде.
Обеспечение набора данных лазерного сканирования для определенного сканирования в виде карты сферического смещения может содержать прием набора данных лазерного сканирования, сформированного лазерным сканирующим устройством в определенном местоположении, и копирование значения дальности для определенной точки лазерного сканирования при определенном азимуте и определенном угле места из данных лазерного сканирования в соответствующий пиксель текстуры двумерной текстуры (или текстуры более высокой размерности) в положении пикселя текстуры, соответствующем определенному азимуту и определенному углу места.
Способ может содержать формирование структуры мозаичного заполнения графическим процессором (GPU). Однако способ может содержать формирование структуры мозаичного заполнения центральным процессором (CPU).
Процессор может быть выполнен с возможностью конфигурирования с использованием интерфейса прикладного программирования (API) Microsoft (RTM) DirectX (RTM) 11 (или более поздней версии) или OpenGL 4.4 (или более поздней версии).
Способ может дополнительно содержать идентификацию разрывов между соседними точками на карте сферического смещения и маркировку соседних точек. Маркировка соседних точек может содержать установку значения смещения на заданное число, например 0 или –1.
Способ может дополнительно содержать формирование карты нормалей в зависимости от упомянутой карты сферического смещения. Карта смещения и карта нормалей могут объединяться в одну текстуру. Одна текстура может содержать по меньшей мере четыре канала.
Формирование карты нормалей может содержать вычисление нормали для каждой точки на карте сферического смещения и сохранение нормали в карте нормалей. Нормаль может содержать значения первой, второй и третьей составляющей вектора.
Способ может дополнительно содержать формирование текстуры смешивания в зависимости от карты сферического смещения. Текстура смешивания может содержать массив пикселей текстуры смешивания, причем каждый пиксель текстуры смешивания содержит значение, которое зависит от расстояния до разрыва.
Способ может дополнительно содержать формирование карты фрагментов для определенного сканирования, причем карта фрагментов содержит множество фрагментов.
Карта фрагментов может содержать многоугольные фрагменты, при этом каждый фрагмент имеет три или более вершин. Фрагменты могут иметь одинаковую форму. Фрагменты могут иметь одинаковый размер. Фрагменты могут быть прямоугольниками. Если фрагменты являются прямоугольниками, то карта фрагментов может содержать положения противоположных вершин.
Положение, форма и/или размер фрагментов могут зависеть от разрывов на карте сферического смещения.
Карта фрагментов может включать в себя относительный уровень мозаичного заполнения для каждого фрагмента. Способ может содержать задание относительного уровня мозаичного заполнения у определенного фрагмента в зависимости от разрывов. Способ может содержать задание относительного уровня мозаичного заполнения у определенного фрагмента в зависимости от дисперсии нормалей по определенному фрагменту.
Способ может содержать вычисление абсолютного уровня мозаичного заполнения для определенного фрагмента в зависимости от положения наблюдения и/или видимости определенного фрагмента.
Способ может дополнительно содержать определение, маркируется ли вершина, образующая часть треугольника в структуре мозаичного заполнения, как находящаяся на разрыве или рядом с ним, и отбраковку (или «отбрасывание») треугольника в зависимости от определения того, что вершина недопустима.
Способ может дополнительно содержать формирование набора пикселей для сканирования и выполнение проверки глубины.
Способ может содержать окрашивание пикселя в зависимости от нормали пикселя. Способ может содержать окрашивание пикселя в зависимости от интенсивности и/или цвета в соответствующей части изображения.
Способ может содержать обеспечение более одного набора данных лазерного сканирования, причем каждый набор данных лазерного сканирования соответствует соответствующему сканированию. Каждый набор данных лазерного сканирования обеспечивается в виде соответствующей карты сферического смещения. Способ может содержать объединение визуализированных изображений из разных сканирований. Объединение визуализированных изображений из разных сканирований может содержать использование буфера глубины.
В соответствии со вторым аспектом настоящего изобретения предложена компьютерная программа, которая содержит команды для выполнения способа.
В соответствии с третьим аспектом настоящего изобретения предложен машиночитаемый носитель или постоянный машиночитаемый носитель, который хранит компьютерную программу.
В соответствии с четвертым аспектом настоящего изобретения предложена компьютерная система, содержащая память и по меньшей мере один процессор. Память хранит набор данных лазерного сканирования для определенного сканирования в виде карты сферического смещения, и по меньшей мере один процессор выполнен с возможностью формирования структуры мозаичного заполнения путем дискретизации карты сферического смещения.
По меньшей мере один процессор может содержать по меньшей мере один графический процессор. По меньшей мере один процессор может содержать по меньшей мере один центральный процессор. По меньшей мере один процессор может содержать один процессор, например один графический процессор.
По меньшей мере один процессор может быть выполнен с возможностью конфигурирования с использованием интерфейса прикладного программирования Microsoft (RTM) DirectX (RTM) 11 (или более поздней версии). По меньшей мере один процессор может быть выполнен с возможностью конфигурирования с использованием интерфейса прикладного программирования OpenGL.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Некоторые варианты осуществления настоящего изобретения далее будут описаны в качестве примера со ссылкой на прилагаемые чертежи, на которых:
Фиг. 1 – блок-схема системы для получения и обработки данных лазерного сканирования, и визуализации изображения;
Фиг. 2 – блок-схема компьютерной системы, которая может использоваться для обработки данных лазерного сканирования и визуализации изображения;
Фиг. 3 – последовательность операций способа обработки данных лазерного сканирования;
Фиг. 4 иллюстрирует формирование карты сферического смещения;
Фиг. 5 показывает разрыв между двумя поверхностями;
Фиг. 6 показывает обновление карты сферического смещения для маркировки разрыва;
Фиг. 7 иллюстрирует формирование карты нормалей;
Фиг. 8 показывает формирование карты смешивания;
Фиг. 9 иллюстрирует размещение правильных прямоугольных фрагментов;
Фиг. 10 иллюстрирует размещение неправильных прямоугольных фрагментов;
Фиг. 11 иллюстрирует размещение неправильных непрямоугольных фрагментов;
Фиг. 12 показывает карту фрагментов;
Фиг. 13 показывает добавление относительных данных мозаичного заполнения в карту фрагментов;
Фиг. 14 – блок-схема графического конвейера и графической памяти;
Фиг. 15 иллюстрирует выход шейдера поверхности;
Фиг. 16 иллюстрирует уровни мозаичного заполнения для фрагмента;
Фиг. 17 иллюстрирует выход шейдера мозаичного заполнения и вход шейдера областей;
Фиг. 18 иллюстрирует работу шейдера областей с использованием текстуры, которая включает в себя карту смещения и карту нормалей;
Фиг. 19 иллюстрирует вывод списка вершин из шейдера областей;
Фиг. 20 показывает работу геометрического шейдера, который отбраковывает недопустимые треугольники;
Фиг. 21 иллюстрирует работу средства прорисовки;
Фиг. 22 иллюстрирует работу пиксельного шейдера;
Фиг. 23 – последовательность операций проверки глубины;
Фиг. 24 иллюстрирует параллельную обработку сканирований;
Фиг. 25 иллюстрирует объединенное облако точек, сформированное из множества сканирований;
Фиг. 25a – увеличенное изображение части облака точек, показанного на фиг. 25;
Фиг. 26 показывает объединенное изображение с мозаичным заполнением, сформированное из отдельных сканирований облака точек, показанного на фиг. 25;
Фиг. 26a – увеличенное изображение части изображения с мозаичным заполнением, показанного на фиг. 26;
Фиг. 26b – увеличенное изображение другой части изображения с мозаичным заполнением, показанного на фиг. 26;
Фиг. 27 показывает объединенное визуализированное изображение, сформированное с использованием мозаичного заполнения, показанного на фиг. 26; и
Фиг. 28 показывает объединенное визуализированное изображение, сформированное из отдельных сканирований облака точек, показанных на фиг. 25, с другой точки наблюдения.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
ОБЗОР СИСТЕМЫ
Обращаясь к фиг. 1, показана система 1 для формирования и обработки данных лазерного сканирования и визуализации изображения.
Система 1 включает в себя одно или более трехмерных лазерных сканирующих устройств 2 для обследования среды 3, которая включает в себя некоторое количество целевых поверхностей 4. Лазерное сканирующее устройство 2, или каждое из них, включает в себя блок 5 лазерного сканирования, который формирует данные 6 лазерного сканирования (в материалах настоящей заявки называемые просто «данными сканирования»), при необходимости камеру 7, которая может использоваться для формирования данных 8 изображения, например файл в формате JPEG, и встроенное хранилище 9 для хранения данных 6, 8. Лазерное сканирующее устройство 2, или каждое из них, включает в себя процессор(ы) 10 и память 11, которые могут использоваться для обработки данных 6 лазерного сканирования, например, для форматирования данных. Для обработки данных может использоваться отдельная компьютерная система (не показана).
Блок 5 лазерного сканирования формирует элемент данных 6 сканирования для некоторой точки путем излучения импульсного лазерного луча 12 в определенном направлении (то есть при определенном горизонтальном угле и определенном вертикальном угле), обнаружения отраженного луча 13, который отражается от целевой поверхности 4 обратно к лазерному сканирующему устройству 2, и определения дальности до целевой поверхности 4 на основе времени пролета лазерного луча 12, 13. Набор данных 6 сканирования может собираться путем горизонтального и вертикального сканирования лазерного луча 12, таким образом, чтобы сформировать набор точек вокруг сканирующего устройства 2. Каждая точка в данных 6 сканирования обеспечивается в виде набора декартовых координат, то есть каждая точка выражается в виде (x, y, z). Точки в наборе данных 6 упорядочиваются по азимуту и углу места.
Данные 6 сканирования и, при необходимости, данные 8 изображения поступают в компьютерную систему 15, которая включает в себя модуль 16 обработки данных сканирования, который формирует набор 17 текстур 18, 19, 20, 21, причем некоторые текстуры объединены в одну текстуру 22, и карту 23 фрагментов для каждого сканирования. Компьютерная система 15 также включает в себя хранилище 24 в виде одного или более жестких дисков для хранения данных. Жесткий диск (диски) может быть накопителем на жестком диске, твердотельным накопителем, оптическим накопителем или другим видом подходящего хранилища.
Как будет более подробно объяснено далее, набор 17 текстур включает в себя карту 18 сферического смещения (в материалах настоящей заявки также называемую «картой глубин») и карту 19 нормалей, полученные из данных 6 сканирования. Как также будет более подробно объяснено далее, карта 18 смещения и карта 19 нормалей объединяются в одну 4-канальную текстуру 22 (в материалах настоящей заявки называемую «объединенной текстурой»).
Набор 17 текстур может включать в себя карту 20 смешивания. Набор 17 текстур может включать в себя карту 21 цветов, полученную из данных 8 изображения.
Компьютерная система 15 включает в себя пользовательские устройства 25 ввода (например, мышь и/или клавиатуру), систему 26 визуализации и дисплей 27 для отображения изображения 28 из точки 29 наблюдения, которая передается пользователем посредством пользовательского устройства 25 ввода. Система 26 визуализации создает триангулированные трехмерные поверхности с использованием набора 17 текстур и карты 23 фрагментов, полученных из одного или более разных сканирований, и визуализирует поверхности в реальном масштабе времени из любой точки наблюдения, объединяя полученные из сканирования (сканирований) поверхности в изображение 28.
Модуль 16 обработки данных сканирования и система 26 визуализации могут быть реализованы в различных компьютерных системах. Например, модуль 16 обработки данных сканирования может быть полностью или частично реализован с помощью лазерного сканирующего устройства 2. В качестве альтернативы, лазерное сканирующее устройство 2 может формировать карту 18 смещения, а первая компьютерная система может формировать другую текстуру (текстуры) 19, 20, 21 и карту 23 фрагментов, или только карту 23 фрагментов, и передавать текстуру (текстуры) 18, 19, 20, 21 и карту 23 фрагментов второй компьютерной системе, которая реализует систему 26 визуализации.
Обращаясь также к фиг. 2, компьютерная система 15 показана более подробно.
Компьютерная система 15 включает в себя один или более центральных процессоров 31 (CPU), имеющих соответствующую кэш-память (не показана), системную память 32, графический модуль 33, например, в виде графической платы, которая включает в себя графический процессор 34 (GPU) и графическую память 35 (которая может называться «видеопамятью»), и интерфейс 36 ввода/вывода (I/O), функционально соединенные с помощью шины 37. Примером подходящего графического модуля 33 является GPU GeForce 460 от NVIDIA (RTM) с 1 Гб видеопамяти.
Интерфейс 36 I/O функционально соединен с шиной и/или сетевым интерфейсом (интерфейсами) 38 (например, интерфейсом USB или интерфейсом WLAN) для приема данных 6 сканирования от сканирующего устройства 2 или каждого из них. Интерфейс 36 I/O также функционально соединен с пользовательскими устройствами 25 ввода и хранилищем 24, например, в виде одного или более накопителей на жестком диске и/или твердотельных накопителей. Не показаны некоторые периферийные устройства, например съемные носители, и другие компоненты компьютера. Компьютерная система 15 может иметь отличную конфигурацию от показанной на фиг. 2.
Модуль 16 обработки сканирования реализуется в программном обеспечении. Машинный код 39 для реализации модуля 16 обработки сканирования хранится в хранилище 24 и загружается в память 32 для исполнения посредством CPU 31.
Система 26 визуализации предпочтительно реализуется с использованием GPU, с тем чтобы воспользоваться расширенными возможностями графической обработки у GPU, в частности – мозаичным заполнением. Однако система 26 визуализации может быть реализована с использованием одного или более CPU.
Как будет более подробно объяснено далее, система 26 визуализации реализует графический конвейер 60 (фиг. 14), который включает в себя множество модулей 61, 62, 63, 64, 65, 66, 67, 68 (фиг. 14), включающих в себя программируемые и с фиксированными функциями шейдеры 61, 62, 63, 64, 65, 67, 68 и средство 66 прорисовки.
ОБРАБОТКА СКАНИРОВАНИЯ
Обращаясь к фиг. 1, 2 и 3, далее будет более подробно описана работа модуля 16 обработки данных сканирования.
Модуль 16 загружает набор данных 6 сканирования для некоего сканирования из сканирующего устройства 2 по шине или сети (не показано), или портативного хранилища (не показано), и/или из хранилища 24 (этап S1). Данные 6 сканирования представлены декартовыми координатами, и поэтому модуль 16 преобразует и сохраняет данные 6 сканирования в виде карты 18 сферического смещения (этап S2).
Обращаясь также к фиг. 4, показана сферическая система 41 координат. Сферическая система 41 координат включает в себя начало 42 координат (то есть точку привязки в сканирующем устройстве 2) и горизонтальную и вертикальную оси 43, 44 координат. Как показано на фиг. 4, сканирующее устройство 2 захватывает расстояние (или «дальность»), di,j, между началом 42 координат и точкой 45 на целевой поверхности 4 (фиг. 1).
Данные 6 сканирования для некоего сканирования копируются в текстуру 22. Текстура 22 принимает вид карты (u,v), которая включает в себя двумерный массив элементов 46 текстуры (или «пикселей текстуры»). Каждый пиксель текстуры 46 содержит первый, второй, третий и четвертый элементы 461, 462, 463, 464.
Как объяснялось ранее, текстура 22 имеет четыре канала. Первый канал хранит карту 18 смещения, а второй, третий и четвертый каналы хранят карту 19 нормалей.
Горизонтальная ось текстуры 22, u, пропорциональна горизонтальному углу (или «азимуту») лазерного сканирующего устройства 2. Вертикальная ось текстуры, v, пропорциональна вертикальному углу («углу места») лазерного сканирующего устройства 2. Каждый пиксель текстуры 46 хранит значение дальности для точки в сканировании в виде глубины, di,j, при азимуте и угле места, соответствующих его местоположению (u,v). Таким образом, значения дальности при сохранении в текстуре 22 обеспечивают карту 18 сферического смещения лазерного сканирования.
Данные 8 изображения в виде составляющих значений RGB могут аналогичным образом быть скопированы в карту 21 цветов.
Обращаясь к фиг. 1, 2, 3, 5 и 6, модуль 16 обработки данных сканирования изучает пиксели 46 текстуры для определения, имеются ли какие-нибудь разрывы на карте 18 смещения, путем поиска соседних пикселей 46 текстуры с разностью по глубине, Δd, которая превышает заданную пороговую величину, ΔdTH, и если это так, маркирует разрыв, чтобы местоположение не было мозаично заполнено (этап S3). Разрыв маркируется с использованием заданного числа, например 0 или –1.
Карта 18 смещения сферическая и получается из точки наблюдения лазерного сканирующего устройства 2. Таким образом, разрыв между соседними пикселями 46 текстуры на карте 18 сферического смещения представляет собой область или линию 47, где лазерное сканирующее устройство 2 перешло с одной поверхности 481 на другую поверхность 482. Поэтому в этой области не следует изображать никакой поверхности.
Например, как показано на фиг. 5, две соседние точки сканирования попадают на каждую сторону границы 47. Как показано на фиг. 6, соответствующие пиксели 46 текстуры имеют значения глубины, например, 855 и 22 соответственно. Пороговая величина, ΔdTH, может быть равна, например, 300. Таким образом, разность глубины Δd=855–22=833, и Δd>ΔdTH, и поэтому модуль 16 маркирует разрыв путем установки обоих значений равными нулю.
Могут сравниваться соседние пиксели 46 текстуры в u- и/или v-направлениях.
Обращаясь к фиг. 1, 2, 3 и 7, модуль 16 обработки данных сканирования формирует карту 19 нормалей из карты 18 смещения и сохраняет карту 19 нормалей (этап S4).
Для каждого пикселя 46 текстуры на карте 18 смещения модуль 16 вычисляет декартовы координаты из сферических координат, представленных пикселем 46 текстуры. Модуль вычисляет нормаль 49 для определенного пикселя 46 текстуры (который на фиг. 7 показан заштрихованным) путем взятия векторного произведения первого вектора между горизонтальными соседними пикселями 46 текстуры и второго вектора между вертикальными соседними пикселями 46 текстуры, которые находятся рядом с пикселем 46 текстуры, в декартовых координатах. Модуль 16 не вычисляет нормаль 49 на разрыве.
Модуль 16 сохраняет x-, y- и z-составляющие (nx, ny, nz) нормали 49 в пикселе 46 текстуры во втором, третьем и четвертом элементах 462, 463, 464.
Обращаясь к фиг. 1, 2, 3 и 8, модуль 16 обработки данных сканирования опционально может сформировать текстуру 20 смешивания, которая содержит информацию, используемую для сглаживания границы поверхности возле разрыва (этап S5).
Каждый пиксель 50 текстуры в текстуре 20 смешивания содержит значение смешивания, s, которое находится в диапазоне между 0 и 1.
Модуль 16 обработки данных сканирования идентифицирует пиксели 46 текстуры на карте 18 смещения, которые соответствуют точкам вдоль разрыва, и устанавливает 0 значение смешивания у соответствующих пикселей 50 текстуры в текстуре 20 смешивания (то есть имеющих такие же значения u и v). Модуль 16 обработки данных сканирования формирует дальнейшие смешивания значения, которые постепенно продвигаются по текстуре 20 смешивания, то есть значения, которые постепенно увеличиваются. Например, как показано на фиг. 8, значение 0,5 задается пикселю 50 текстуры, который является первым ближайшим соседом для разрыва, значение 0,8 задается пикселю 50 текстуры, который является вторым ближайшим соседом, и значение 1 задается пикселю 50 текстуры, который является третьим ближайшим соседом.
Обращаясь к фиг. 1, 2, 3 и 9, модуль 16 обработки данных сканирования разбивает сканирование на фрагменты 51 и сохраняет карту 23 фрагментов (этап S6).
Каждый фрагмент 51 определяет область сканирования текстур в (u,v) координатах. Каждый фрагмент имеет набор вершин 52.
Фрагменты 51 могут иметь любую форму и могут быть равномерно или неравномерно распределены при сканировании. Форма и положение фрагментов 51 могут устанавливаться заранее или основываться на любом аспекте сканирования, например на местоположениях разрывов или дисперсии нормалей.
Например, фиг. 9 показывает размещение прямоугольных фрагментов 51, которые имеют одинаковую форму и размер.
В другом примере фиг. 10 показывает размещение прямоугольных фрагментов 51 разных размеров, которые учитывают местоположение разрывов 47. Например, как показано на фиг. 10, вместо использования фрагментов 51 фиксированного размера модуль 16 обработки данных сканирования может разбить более крупный фрагмент 51 на меньшие фрагменты 511, 512, 513, 514, 515 в соответствии с тем, обнаружен ли разрыв во фрагменте 51.
В еще одном примере фиг. 11 показывает размещение, в котором модуль 16 обработки данных сканирования формирует непрямоугольные фрагменты 516, 517, 518, 519, имеющие границы, которые учитывают ветвящийся разрыв 47 (например, совпадают с ним). Для ясности внешние границы фрагментов 516, 517, 518, 519 показаны усеченными, чтобы они выглядели как прямые вертикальные или горизонтальные границы. Следует понимать, что фрагменты не должны быть усеченными и могут иметь неправильный контур, например, как показано пунктиром для фрагмента 516 на фиг. 11.
Обращаясь к фиг. 12, для каждого фрагмента 51 сохраняется набор элементов 54 в карте 23 фрагментов для каждого фрагмента 51, причем каждый элемент 54 содержит положение вершины 52 фрагмента. В случае прямоугольного фрагмента 51 (например, который показан на фиг. 9) фрагмент 51 может быть задан с использованием только двух вершин 52, например, верхней левой и нижней правой вершины 52. Тем не менее, может быть больше, чем два элемента 54, особенно для фрагментов неправильной формы.
Обращаясь к фиг. 1, 2, 3 и 13, модуль 16 вычисляет относительный уровень 55 мозаичного заполнения для каждого фрагмента 51 (этап S7).
Относительный уровень 55 мозаичного заполнения представляет то, насколько будет мозаично заполнен фрагмент 51 относительно других фрагментов 51. Абсолютный уровень мозаичного заполнения вычисляется позже, после того как применяются видозависимые факторы или другие факторы. Относительный уровень 55 мозаичного заполнения может устанавливаться заранее или основываться на любом аспекте фрагмента, например местоположении разрывов или дисперсии нормалей.
Карта 18 смещения, карта 19 нормалей, текстура 20 смешивания и карта 23 фрагментов могут создаваться один раз для каждого сканирования и сохраняться для последующего использования.
ВИЗУАЛИЗАЦИЯ
Обращаясь к фиг. 1, 2 и 14, модуль 16 обработки данных сканирования загружает текстуры 18, 19, 20 и карту 23 фрагментов для каждого сканирования в систему 26 визуализации. Система 26 визуализации используется для создания мозаично заполненной поверхности (поверхностей) сканирования с использованием информации в карте 23 фрагментов. Может использоваться любая система визуализации, которая поддерживает мозаичное заполнение. Предпочтительно используется система визуализации, которая может обрабатывать 100 миллионов треугольников в секунду или с большей скоростью. Система визуализации может работать на CPU или GPU.
Система 26 визуализации применяет Microsoft (RTM) DirectX 11 (RTM), работающий на GPU 34. Однако могут использоваться другие графические системы, например OpenGL 4.x.
Текстуры 18, 19, 20 и карта 23 фрагментов хранятся в виде, который может эффективно обрабатываться системой 26 визуализации.
Текстуры 18, 19, 20 хранятся в виде ресурсов двумерных текстур, а карта 23 фрагментов хранится в виде буфера вершин с топологией списка фрагментов с одной контрольной точкой. Как объяснялось ранее, карты 18, 19 смещения и нормалей объединяются в объединенную текстуру 22 с четырьмя каналами.
Текстуры 18, 19, 20 и буфер 23 вершин, то есть карта 23 фрагментов, отправляются в GPU 34.
Обращаясь к фиг. 14, показан графический конвейер 60 для графической системы.
Графический конвейер 60 включает в себя шейдер 61 вершин, шейдер 62 поверхности, шейдер 63 мозаичного заполнения (в материалах настоящей заявки также называемый просто «средством мозаичного заполнения»), шейдер 64 областей, геометрический шейдер 65, средство 66 прорисовки, пиксельный шейдер 67 и этап 68 выходного слияния, который осуществляет, в том числе, проверку глубины вместе с буфером 69 глубины (также называемым «z-буфером»).
В OpenGL шейдер поверхности называется «шейдером управления мозаичным заполнением», шейдер мозаичного заполнения называется «генератором примитивов», шейдер областей называется «шейдером оценки мозаичного заполнения», а пиксельный шейдер называется «фрагментным шейдером».
Обращаясь к фиг. 14 и 15, каждый фрагмент 51 в буфере 23 вершин обрабатывается шейдером 62 поверхности. Шейдер 62 поверхности вычисляет абсолютный уровень 70 мозаичного заполнения для каждого фрагмента 51. Уровень 70 мозаичного заполнения может устанавливаться заранее или основываться на одном или более факторах, например расстоянии фрагмента 51 от точки 29 наблюдения или его видимости. Может учитываться относительный уровень 55 мозаичного заполнения у фрагмента 51.
В этом примере абсолютный уровень 70 мозаичного заполнения для каждого фрагмента 51 вычисляется на основе точки 28 наблюдения и относительного уровня 55 мозаичного заполнения. Шейдер 62 поверхности также регулирует уровень мозаичного заполнения около границ фрагмента 51, чтобы он совпадал с уровнем мозаичного заполнения соседних фрагментов 51. Это создает непрерывное мозаичное заполнение около фрагментов 51.
Обращаясь также к фиг. 16 и 17, шейдер 63 мозаичного заполнения является модулем с фиксированными функциями, который создает соответствующую структуру 71 мозаичного заполнения для каждого фрагмента 51.
Шейдер 63 мозаичного заполнения формирует структуру 71 мозаичного заполнения (в материалах настоящей заявки называемую «мозаично заполненным фрагментом») на основе абсолютного уровня 70 мозаичного заполнения, вычисленного шейдером 62 поверхности. Структура 71 мозаичного заполнения состоит из треугольников 72. Точки 73 в структуре 71 мозаичного заполнения содержат их координаты (u,v) в объединенной текстуре 22.
Как показано на фиг. 17, шейдер 63 мозаичного заполнения выводит структуру 71 мозаичного заполнения в виде списка точек, перечисляющего координаты точек 73 треугольников 72, составляющих каждый фрагмент 51. Каждая точка 73 (u,v) отправляется поочередно в шейдер 64 областей.
Обращаясь также к фиг. 18 и 19, каждая точка 73 в каждом фрагменте 51 обрабатывается шейдером 64 областей. Шейдер 64 областей подвергает дискретизации объединенную текстуру 22 глубины/нормали и проецирует мозаично заполненные точки на трехмерное пространство.
Шейдер 64 областей вычисляет положение каждой точки 73 в структуре 71 мозаичного заполнения во фрагменте 51. Шейдер 64 областей подвергает дискретизации объединенную текстуру 22 глубины/нормали в координате (u, v) точки 73, чтобы извлечь значения глубины и нормали. Если выборка включает в себя пиксель 46 текстуры, который находится рядом с разрывом, то точка маркируется недопустимой.
Шейдер 64 областей вычисляет азимут и угол места из координаты (u, v), используя информацию во фрагменте 51. Затем шейдер 64 областей преобразует сферические координаты (то есть азимут, угол места, глубину) в координаты 74 наблюдения либо сразу, либо поэтапно (как показано на фиг. 18), а именно происходит преобразование сферических координат в декартово положение 75 в системе координат сканирования, а затем преобразование положения и нормали во внешние координаты, и затем в координаты 74 наблюдения. Координаты 74 выводятся в виде списка 76 вершин.
Шейдер 64 областей эффективно смещает точки на сферической поверхности на глубину, заданную в карте 19 (сферического) смещения.
Обращаясь к фиг. 20, каждый треугольник 72 в мозаично заполненном фрагменте 71 обрабатывается геометрическим шейдером 65. Геометрический шейдер 65 отбраковывает треугольники 72 в разрывах.
Геометрический шейдер 65 определяет, содержит ли треугольник 72 какие-либо недопустимые вершины 77. Вершина 74 является недопустимой, если она находится рядом с разрывом. Если присутствует недопустимая вершина 77, то геометрический шейдер 65 отбрасывает треугольник 72, то есть отбрасывает недопустимый треугольник 78. Геометрический шейдер 65 также определяет, находится ли треугольник 72 под углом, который слишком скошенный для положения лазерного сканирующего устройства. Если это так, то треугольник 72 также отбрасывается. Геометрический шейдер 65 выводит обновленный список 79 вершин.
Обращаясь к фиг. 21, средство 66 прорисовки преобразует каждый треугольник 72 в обновленном списке 79 вершин в растровые данные 80, содержащие пиксели 81. Каждый пиксель 81 включает в себя значение глубины 82.
Каждый растрированный треугольник 72 затем обрабатывается пиксельным шейдером 67.
Обращаясь к фиг. 22, пиксельный шейдер 67 подвергает дискретизации текстуру 20 смешивания для определения, находится ли пиксель 81 слишком близко к разрыву 47 (фиг. 5). Если пиксель 81 находится слишком близко к разрыву, то он отбрасывается. Пиксельный шейдер 67 подвергает дискретизации объединенную текстуру 22 глубины/нормали для извлечения нормали 49 (фиг. 7) в пикселе 81. Пиксельный шейдер 67 преобразует нормаль 49 (фиг. 7) в вектор (не показан) во внешнем пространстве. Пиксельный шейдер 67 вычисляет цвет 83 пикселя 81 и выводит растровые данные 84 для включения глубины 82 и цвета 83 для каждого пикселя 81.
Обращаясь к фиг. 14 и 23, когда множество сканирований визуализируются в одно изображение, данные сканирования могут объединиться с использованием буфера 69 глубины.
Пиксельный шейдер 67 может измерять качество глубины путем дискретизации глубины 82 в определенном местоположении и смещении. Пиксельный шейдер 67 может предпочитать выборки более высокого качества в одной и той же аппаратной координате устройства. Пиксельный шейдер 67 может использовать информацию в текстуре 20 смешивания и/или объединенной текстуре 22 глубины/нормали для определения качества дискретизации.
Этап 68 выходного слияния выполняет, в том числе, проверку глубины.
Обращаясь также к фиг. 24, каждый пиксель 81 сравнивается с соответствующим пикселем в буфере 69 глубины (этапы S11, S12 и S13). Если поступающий пиксель 81 имеет меньшее значение глубины, чем соответствующий пиксель, сохраненный в буфере 69 глубины, то поступающий пиксель 81 записывается в буфер 69 (этап S14). Если поступающий пиксель 81 имеет большее значение глубины, чем соответствующий пиксель, сохраненный в буфере 69 глубины, то поступающий пиксель 81 отбрасывается (этап S15).
Данные пикселя, сформированные из нескольких сканирований, могут записываться в один и тот же буфер 69 глубины, и соответственно, могут образовывать изображение, содержащее данные из нескольких сканирований.
Обращаясь к фиг. 25–28, показан способ обработки данных лазерного сканирования и визуализации изображения для набора сканирований на разных этапах в течение процесса.
Фиг. 25 – изображение 91 облака точек, сформированного из множества сканирований. Фиг. 25a – увеличенное изображение части 91a изображения 91, показанного на фиг. 25.
Изображение 91 показывает внутреннюю часть технологической установки, которая включает в себя, в том числе, пол 92, потолок 93, баки-хранилища 94, линию из трех реакционных сосудов 95, различные трубы 96, линию из четырех панелей 97 управления, кабельные лотки 98, подвешенные под потолком 93, осветительные устройства 99 (или «светильники») и линию из четырех контейнеров 100 паллетного типа для хранения жидкостей.
Фиг. 25a – представляет собой более подробное изображение среднего реакционного сосуда 95, труб 96 и соответствующей панели 97 управления. Изображение 91, 91a образуется из точек 45 облака точек. В этом случае каждая точка 45 имеет соответствующий цвет, захваченный во время сканирования.
Как показано на фиг. 25a, видны сравнительно отдаленные объекты, например панель 97 управления, даже если сравнительно близкие объекты, например реакционный сосуд 95, находятся перед ними и поэтому должны скрывать отдаленный объект. Этот эффект становится еще отчетливее, когда изображение увеличивается.
Фиг. 26 показывает объединенное изображение 101 с мозаичным заполнением, сформированное из отдельных сканирований облака точек, показанного на фиг. 25. Фиг. 26a и 26b – увеличенные изображения частей 111a, 111b изображения 111, показанного на фиг. 26.
Обращаясь к фиг. 25a и 26b, точки 45 из облака точек используются для образования структур 71 мозаичного заполнения, составленных из треугольников 72.
Фиг. 26b показывает треугольники 72, имеющие разные размеры, другими словами, имеющие разные уровни мозаичного заполнения.
Объекты, которые должны быть невидимы, например реакционные сосуды 95, по-прежнему прозрачны, поскольку треугольники 72 не растрированы и, соответственно, не заполнены.
Фиг. 27 показывает объединенное визуализированное изображение 28, 111, сформированное с использованием мозаичного заполнения.
Как показано на фиг. 27, сравнительно отдаленные объекты, такие как панели 97 управления, теперь скрыты сравнительно близкими объектами, такими как сосуды 95.
Как объяснялось ранее, система 26 визуализации (фиг. 1) может визуализировать изображения в реальном масштабе времени с использованием множества сканирований. Кроме того, система 26 (фиг. 1) позволяет изменять положение и формировать изображения с мозаичным заполнением, наблюдаемые из разных положений. Положение может изменяться ступенчато или непрерывно, позволяя пользователю «перемещаться» или «летать» по обследуемой среде.
Фиг. 28 показывает другое объединенное визуализированное изображение 28, 111’, сформированное из того же облака точек, показанного на фиг. 25, но с иной точки наблюдения.
Как показано на фиг. 28, изображение 111’ показывает такие же объекты, такие как панели 97 управления и реакционные сосуды 95, но с другой точки наблюдения. Изображение 111, показанное на фиг. 27, получается из точки наблюдения, которая находится перед дверьми 112, показанными на фиг. 28.
Фиг. 28 показывает положения сканирующего устройства 2 (фиг. 1) при осуществлении сканирования. Каждая темная круглая область 113 соответствует области под сканирующим устройством 2, где сканирующее устройство 2 не регистрирует точки.
Сравнение изображения 91 облака точек (фиг. 25) и визуализированного изображения 111’ (фиг. 29) показывает визуальный артефакт, ассоциированный с отображением изображения 91 облака точек, сформированного из множества сканирований. Визуализированное изображение 111’ показывает лицевые поверхности панелей 97 управления. Каждая лицевая поверхность несет ярлык 113 производителя и предупреждающие знаки 114. Однако эти ярлыки 113 и знаки 114 видны на изображении 91 облака точек, тогда как на практике их не было бы видно.
В результате отказа от агрегирования данных сканирования для отдельных сканирований в один более крупный набор данных сканирования система может воспользоваться последовательностью, в которой собираются данные сканирования. Каждый набор данных сканирования может рассматриваться как карта сферического смещения и может подвергаться дискретизации для формирования структуры мозаичного заполнения, используя методики, эффективные в вычислительном отношении. Могут выполняться дополнительные графические процессы, например растрирование, и только затем объединяются изображения из разных сканирований. Таким образом, система позволяет эффективно и/или быстро визуализировать изображение по данным сканирования, особенно если используются графические возможности GPU.
Следует понимать, что могут быть внесены различные модификации в вышеописанные варианты осуществления. Такие модификации могут заключать в себе эквивалентные и другие признаки, которые уже известны в проектировании, производстве и использовании систем лазерного сканирования и/или систем графической обработки и их составных частей, и которые могут использоваться вместо или в дополнение к уже описанным в материалах настоящей заявки признакам. Признаки одного варианта осуществления могут заменяться или дополняться признаками другого варианта осуществления.
Хотя формула изобретения составлена в этой заявке с конкретными сочетаниями признаков, следует понимать, что объем раскрытия настоящего изобретения также включает в себя любые новые признаки или любое новое сочетание признаков, раскрытых в материалах настоящей заявки явным или неявным образом, или любое их обобщение независимо от того, относится ли оно к такому же изобретению, как заявлено в настоящее время в любом пункте формулы изобретения, и решает ли оно какую-нибудь или все такие же технические проблемы, как и настоящее изобретение. Заявители настоящим сообщают, что может быть составлена новая формула изобретения с такими признаками и/или сочетаниями таких признаков во время рассмотрения настоящей заявки или любой другой заявки, производной от нее.

Claims (31)

1. Способ визуализации изображения по данным трехмерного лазерного сканирования, причем способ содержит этапы, на которых:
обеспечивают набор данных лазерного сканирования для определенного сканирования в виде карты сферического смещения; и
посредством графического процессора формируют структуру мозаичного заполнения путем дискретизации карты сферического смещения.
2. Способ по п. 1, в котором обеспечение набора данных лазерного сканирования для определенного сканирования в виде карты сферического смещения, содержит этапы, на которых:
принимают набор данных лазерного сканирования, сформированный лазерным сканирующим устройством в определенном местоположении; и
копируют значение дальности для определенной точки лазерного сканирования при определенном азимуте и определенном угле места из данных лазерного сканирования в соответствующий пиксель текстуры по меньшей мере двумерной текстуры в положении пикселя текстуры, соответствующем определенному азимуту и определенному углу места.
3. Способ по п. 1, дополнительно содержащий этапы, на которых:
идентифицируют разрывы между соседними точками на карте сферического смещения; и
маркируют упомянутые соседние точки.
4. Способ по п. 1, дополнительно содержащий этап, на котором:
формируют карту нормалей в зависимости от упомянутой карты сферического смещения.
5. Способ по п. 4, в котором формирование карты нормалей содержит этапы, на которых вычисляют нормаль для каждой точки на карте сферического смещения и сохраняют нормаль в карте нормалей.
6. Способ по п. 1, дополнительно содержащий этап, на котором:
формируют текстуру смешивания в зависимости от упомянутой карты сферического смещения.
7. Способ по п. 1, дополнительно содержащий этап, на котором:
формируют карту фрагментов для определенного сканирования, причем карта фрагментов содержит множество фрагментов.
8. Способ по п. 7, в котором карта фрагментов включает в себя относительный уровень мозаичного заполнения для каждого фрагмента, и способ содержит этап, на котором:
задают относительный уровень мозаичного заполнения для определенного фрагмента в зависимости от разрывов.
9. Способ по п. 1, дополнительно содержащий этапы, на которых:
определяют, маркирована ли вершина, образующая часть треугольника в структуре мозаичного заполнения, как находящаяся на разрыве или рядом с ним;
отбраковывают треугольник в зависимости от определения того, что вершина недопустима.
10. Способ по п. 1, содержащий этапы, на которых:
формируют набор пикселей для сканирования; и
выполняют проверку глубины.
11. Машиночитаемый носитель, на котором сохранена компьютерная программа, которая содержит команды для выполнения способа по любому из предшествующих пунктов.
12. Компьютерная система для визуализации изображения лазерного сканирования, содержащая:
память;
по меньшей мере один процессор;
причем память хранит набор данных лазерного сканирования для определенного сканирования в виде карты сферического смещения, и упомянутый по меньшей мере один процессор выполнен с возможностью формирования структуры мозаичного заполнения путем дискретизации карты сферического смещения.
13. Компьютерная система по п. 12, в которой по меньшей мере один процессор содержит по меньшей мере один графический процессор (GPU).
14. Компьютерная система по п. 12 или 13, в которой по меньшей мере один процессор выполнен с возможностью конфигурирования с использованием интерфейса прикладного программирования Microsoft (RTM) DirectX (RTM) 11.
RU2016127919A 2013-12-13 2014-12-05 Визуализация изображений по данным лазерного сканирования RU2679964C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1322113.0 2013-12-13
GB1322113.0A GB2518019B (en) 2013-12-13 2013-12-13 Image rendering of laser scan data
PCT/GB2014/053616 WO2015087055A1 (en) 2013-12-13 2014-12-05 Image rendering of laser scan data

Publications (2)

Publication Number Publication Date
RU2016127919A RU2016127919A (ru) 2018-01-25
RU2679964C1 true RU2679964C1 (ru) 2019-02-14

Family

ID=50030919

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016127919A RU2679964C1 (ru) 2013-12-13 2014-12-05 Визуализация изображений по данным лазерного сканирования

Country Status (8)

Country Link
US (1) US10467805B2 (ru)
EP (1) EP3080781B1 (ru)
JP (1) JP6260924B2 (ru)
CN (1) CN105830126B (ru)
AU (1) AU2014363213B2 (ru)
GB (1) GB2518019B (ru)
RU (1) RU2679964C1 (ru)
WO (1) WO2015087055A1 (ru)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2518019B (en) 2013-12-13 2015-07-22 Aveva Solutions Ltd Image rendering of laser scan data
GB2520822B (en) * 2014-10-10 2016-01-13 Aveva Solutions Ltd Image rendering of laser scan data
US10792566B1 (en) 2015-09-30 2020-10-06 Electronic Arts Inc. System for streaming content within a game application environment
US10726611B1 (en) * 2016-08-24 2020-07-28 Electronic Arts Inc. Dynamic texture mapping using megatextures
EP3315907A1 (de) * 2016-10-27 2018-05-02 Leica Geosystems AG Verfahren zur visuellen darstellung von scandaten
US10489967B2 (en) * 2017-02-22 2019-11-26 Microsoft Technology Licensing, Llc Indexed value blending for use in image rendering
US10096133B1 (en) 2017-03-31 2018-10-09 Electronic Arts Inc. Blendshape compression system
US10878540B1 (en) 2017-08-15 2020-12-29 Electronic Arts Inc. Contrast ratio detection and rendering system
US10535174B1 (en) 2017-09-14 2020-01-14 Electronic Arts Inc. Particle-based inverse kinematic rendering system
KR101856426B1 (ko) * 2017-11-27 2018-06-20 세종대학교산학협력단 3차원 기하 증강 방법 및 그 장치
US10846914B2 (en) * 2018-01-11 2020-11-24 Sony Interactive Entertainment Inc. Back-facing patch culling with displacement
US10860838B1 (en) 2018-01-16 2020-12-08 Electronic Arts Inc. Universal facial expression translation and character rendering system
US10733784B2 (en) * 2018-04-27 2020-08-04 Becton, Dickinson And Company Methods and apparatuses for image control and display of particle analyzer images
JP7223610B2 (ja) * 2019-03-22 2023-02-16 任天堂株式会社 画像処理プログラム、画像処理システム、画像処理装置、および画像処理方法
US10902618B2 (en) 2019-06-14 2021-01-26 Electronic Arts Inc. Universal body movement translation and character rendering system
US11972353B2 (en) 2020-01-22 2024-04-30 Electronic Arts Inc. Character controllers using motion variational autoencoders (MVAEs)
US11504625B2 (en) 2020-02-14 2022-11-22 Electronic Arts Inc. Color blindness diagnostic system
US11648480B2 (en) 2020-04-06 2023-05-16 Electronic Arts Inc. Enhanced pose generation based on generative modeling
US11232621B2 (en) 2020-04-06 2022-01-25 Electronic Arts Inc. Enhanced animation generation based on conditional modeling
GB2593819B (en) * 2020-09-18 2022-03-30 Off World Live Ltd Efficient graphical processing in 360-degree spherical space
US11830121B1 (en) 2021-01-26 2023-11-28 Electronic Arts Inc. Neural animation layering for synthesizing martial arts movements
US20230027890A1 (en) * 2021-05-03 2023-01-26 University Of Southern California Systems and methods for physically-based neural face shader via volumetric lightmaps
CN113269860B (zh) * 2021-06-10 2022-10-04 广东奥普特科技股份有限公司 一种高精度三维数据实时渐进式渲染方法和系统
US11887232B2 (en) 2021-06-10 2024-01-30 Electronic Arts Inc. Enhanced system for generation of facial models and animation
US11670030B2 (en) 2021-07-01 2023-06-06 Electronic Arts Inc. Enhanced animation generation based on video with local phase
US11562523B1 (en) 2021-08-02 2023-01-24 Electronic Arts Inc. Enhanced animation generation based on motion matching using local bone phases

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2168192C2 (ru) * 1995-01-04 2001-05-27 Визуалабс Инк. Визуальное устройство отображения и способ формирования трехмерного изображения
WO2010130987A2 (en) * 2009-05-13 2010-11-18 Red Cloud Media Limited Image generation method
US8509520B2 (en) * 2009-11-17 2013-08-13 Institute For Information Industry System and method for establishing association for a plurality of images and recording medium thereof
WO2013142819A1 (en) * 2012-03-22 2013-09-26 University Of Notre Dame Du Lac Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
RU2497194C2 (ru) * 2007-10-09 2013-10-27 Агфа Хэлскэа Нв Способ и устройство для объемной визуализации наборов данных

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2735253B1 (fr) * 1995-06-08 1999-10-22 Hewlett Packard Co Synchronisation de donnees entre plusieurs dispositifs de restitution asynchrones de donnees
JPH09330423A (ja) * 1996-06-13 1997-12-22 Fujitsu Ltd 三次元形状データ変換装置
US6420698B1 (en) * 1997-04-24 2002-07-16 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three-dimensional objects
US6300960B1 (en) * 1997-08-04 2001-10-09 Pixar Animation Studios Realistic surface simulation in computer animation
US6608913B1 (en) 2000-07-17 2003-08-19 Inco Limited Self-contained mapping and positioning system utilizing point cloud data
US6701006B2 (en) 2002-06-26 2004-03-02 Nextengine, Inc. Apparatus and method for point cloud assembly
JP2005208868A (ja) 2004-01-22 2005-08-04 Hitachi Eng Co Ltd 点群データ比較方法、点群データ比較装置、点群データ取得装置および点群データ比較システム
US7643966B2 (en) * 2004-03-10 2010-01-05 Leica Geosystems Ag Identification of 3D surface points using context-based hypothesis testing
US20100079454A1 (en) * 2008-09-29 2010-04-01 Legakis Justin S Single Pass Tessellation
EP2251832A1 (en) 2009-05-14 2010-11-17 Alcatel Lucent Method for generating a 3-dimensional model of an object
US20110141112A1 (en) * 2009-12-11 2011-06-16 William Allen Hux Image processing techniques
JP5430456B2 (ja) 2010-03-16 2014-02-26 キヤノン株式会社 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置
WO2012089263A1 (en) * 2010-12-30 2012-07-05 Tele Atlas Polska Sp.Z.O.O. System and method for generating textured map object images
JP5711039B2 (ja) * 2011-04-27 2015-04-30 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム
US8793107B2 (en) * 2011-12-01 2014-07-29 Harris Corporation Accuracy-based significant point derivation from dense 3D point clouds for terrain modeling
US9536345B2 (en) * 2012-12-26 2017-01-03 Intel Corporation Apparatus for enhancement of 3-D images using depth mapping and light source synthesis
GB2518019B (en) 2013-12-13 2015-07-22 Aveva Solutions Ltd Image rendering of laser scan data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2168192C2 (ru) * 1995-01-04 2001-05-27 Визуалабс Инк. Визуальное устройство отображения и способ формирования трехмерного изображения
RU2497194C2 (ru) * 2007-10-09 2013-10-27 Агфа Хэлскэа Нв Способ и устройство для объемной визуализации наборов данных
WO2010130987A2 (en) * 2009-05-13 2010-11-18 Red Cloud Media Limited Image generation method
US8509520B2 (en) * 2009-11-17 2013-08-13 Institute For Information Industry System and method for establishing association for a plurality of images and recording medium thereof
WO2013142819A1 (en) * 2012-03-22 2013-09-26 University Of Notre Dame Du Lac Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces

Also Published As

Publication number Publication date
WO2015087055A1 (en) 2015-06-18
EP3080781B1 (en) 2019-02-13
AU2014363213B2 (en) 2019-10-10
GB2518019B (en) 2015-07-22
GB201322113D0 (en) 2014-01-29
GB2518019A (en) 2015-03-11
US20160307369A1 (en) 2016-10-20
EP3080781A1 (en) 2016-10-19
US10467805B2 (en) 2019-11-05
RU2016127919A (ru) 2018-01-25
CN105830126A (zh) 2016-08-03
JP6260924B2 (ja) 2018-01-17
CN105830126B (zh) 2019-09-17
JP2017505471A (ja) 2017-02-16
AU2014363213A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
RU2679964C1 (ru) Визуализация изображений по данным лазерного сканирования
US11551418B2 (en) Image rendering of laser scan data
JP4885042B2 (ja) 画像処理方法および装置ならびにプログラム
JP7038683B2 (ja) 合成装置、方法及びプログラム
JP5624457B2 (ja) 三次元データ処理装置、方法及びプログラム
US20160117855A1 (en) Rendering apparatus and method
JP4584956B2 (ja) グラフィックスプロセッサおよび描画処理方法
KR20170025099A (ko) 렌더링 방법 및 장치
JP5937957B2 (ja) リアルタイム大局照明レンダリングシステム
KR101118597B1 (ko) 모바일용 컴퓨터 그래픽 랜더링 방법 및 시스템
KR101227155B1 (ko) 저해상도 그래픽 영상을 고해상도 그래픽 영상으로 실시간 변환하는 그래픽 영상 처리 장치 및 방법
JP3703073B2 (ja) 図形表示装置及びその方法
Hoppe et al. Adaptive meshing and detail-reduction of 3D-point clouds from laser scans
CN116993894A (zh) 虚拟画面的生成方法、装置、设备、存储介质及程序产品
Vyathin et al. Tile based rendering technology