RU2684436C1 - Способ измерения формы и размеров частей тела человека, способ поиска на изображении плоского объекта известной формы и размеров, способ отделения на изображении части тела человека от фона - Google Patents
Способ измерения формы и размеров частей тела человека, способ поиска на изображении плоского объекта известной формы и размеров, способ отделения на изображении части тела человека от фона Download PDFInfo
- Publication number
- RU2684436C1 RU2684436C1 RU2018111932A RU2018111932A RU2684436C1 RU 2684436 C1 RU2684436 C1 RU 2684436C1 RU 2018111932 A RU2018111932 A RU 2018111932A RU 2018111932 A RU2018111932 A RU 2018111932A RU 2684436 C1 RU2684436 C1 RU 2684436C1
- Authority
- RU
- Russia
- Prior art keywords
- image
- human body
- size
- contour
- flat object
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000002245 particle Substances 0.000 claims abstract description 4
- 230000008859 change Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 5
- 230000009471 action Effects 0.000 abstract description 4
- 208000004067 Flatfoot Diseases 0.000 abstract description 3
- 238000009958 sewing Methods 0.000 abstract description 2
- 230000001143 conditioned effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 abstract 1
- 238000000926 separation method Methods 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 210000002414 leg Anatomy 0.000 description 29
- 210000003127 knee Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 238000000342 Monte Carlo simulation Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43D—MACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
- A43D1/00—Foot or last measuring devices; Measuring devices for shoe parts
- A43D1/02—Foot-measuring devices
- A43D1/025—Foot-measuring devices comprising optical means, e.g. mirrors, photo-electric cells, for measuring or inspecting feet
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43D—MACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
- A43D1/00—Foot or last measuring devices; Measuring devices for shoe parts
- A43D1/02—Foot-measuring devices
- A43D1/027—Shoe fit indicating devices
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43D—MACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
- A43D999/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43D—MACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
- A43D1/00—Foot or last measuring devices; Measuring devices for shoe parts
- A43D1/02—Foot-measuring devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1074—Foot measuring devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Graphics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Изобретение относится к способам измерения и может быть использовано в легкой промышленности, в частности в обувной промышленности, швейной при измерении формы и размеров частей тела человека, а также в ортопедии, в частности плоскостопия. Заявлен способ измерения формы и размеров частей тела человека, в ходе которого по серии фотографий, полученных с разных ракурсов части тела человека, на каждой фотографии определяется изображение плоского объекта известной формы и размеров, по которому определяется положение и ориентация камеры. На изображении отделяется область части тела от фона, и по каждому кадру из произвольного тела, изначально включающего часть тела человека, постепенно отсекается область произвольного тела, не принадлежащая проекции части тела человека. Также заявлен способ поиска на изображении плоского объекта известной формы и размеров, его проекции, расположения и ориентации камеры, в ходе которого многократно случайным образом перебираются параметры положения и ориентации камеры и прогнозируемое изображение плоского объекта известной формы и размеров сравнивается с реальным, с использованием шаблона, состоящего из нескольких рядов точек вдоль контура плоского объекта известной формы и размеров, между точками внутренних и внешних рядов которого попарно вычисляется разность яркости для расчета критерия совпадения. При этом в способе отделения на изображении части тела человека от фона используется метод динамики частиц, в котором граница между областью части тела и фоном представляется в виде совокупности точек, последовательно расположенных для формирования контура, движущихся под действием условных сил, сохраняющих связанность контура и стремящихся переместить точку в место значительного изменения яркости, и формируя таким образом замкнутый контур, ограничивающий односвязную область части тела. Технический результат – повышение точности. 3 н.п. ф-лы, 22 ил.
Description
Изобретение относится к способам измерения, может быть использовано в легкой промышленности, в частности в обувной промышленности, швейной при измерении формы и размеров частей тела человека. Также может быть использована в ортопедии, оно позволяет проводить удаленную диагностику деформации (заболеваний) стопы, в частности плоскостопия.
Способ можно применять в быту, в торговой индустрии при реализации, продажи и удаленной покупки одежды и обуви, отвечающих реальным особенностям тела заказчика. Также может применяться для виртуальной примерки обуви в интернет-магазинах или в мобильных приложениях для удаленной покупки обуви или заказа пошива индивидуальной обуви.
Известен способ обмера ноги [US 20170053335 A1, 23.02.2017], который предусматривает захват трехмерного изображения ноги и их сравнение с обширными базами данных хранимых данных обуви. Этот способ позволяет лучше определять размер, чем обычными системами, при чем смартфон / iPhone / цифровая камера и связанные с ними инструменты интерфейса рекомендуют лучший выбор варианта обуви из разнообразных предложений.
Недостатки способа заключаются в низкой точности, узкой области применения (способ не работает при сильных теней, бликов, плохом освещении), высокой трудоемкости и времени подбора обуви.
Наиболее близки техническим решением является способ бесконтактного измерения поверхности стопы [RU 2034509, 10.05.1995]. Способ заключается в установке стопы на опорной площадке, освещении поверхности стопы плоскими лучами света, получении изображения следа этих лучей раздельно для внешней и внутренней боковой поверхностей стопы двумя телекамерами, оптические оси которых направлены под острыми углами к опорной плоскости и к плоским лучам. Визирование стопы осуществляют со стороны телекамеры, развернутыми к пяточной части стопы. При этом проекция оптических осей телекамер на опорную плоскость образуют угол. Вершина угла направлена в сторону пяточной части стопы и находится в точке, расположенной на проекции биссектрисы угла между оптическими осями камер на опорную плоскость. Пяточную часть стопы совмещают с помощью пяточного упора с заданной точкой отсчета, расположенной на проекции биссектрисы угла.
Недостатком способа-прототипа является низкая точность, высокая трудоемкость и время подбора обуви.
Технический результат группы изобретений - повышение точности.
Технический результат достигается использованием способа измерения формы и размеров частей тела человека, в ходе которого по серии фотографий, полученных с разных ракурсов части тела человека, на каждой фотографии определяется изображение плоского объекта известной формы и размеров, по которому определяется положение и ориентация камеры, на изображении отделяется область части тела от фона, и по каждому кадру из произвольного тела, изначально включающего часть тела человека, постепенно отсекается область произвольного тела, не принадлежащая проекции части тела человека.
Вышеуказанный способ предусматривает использование способа поиска на изображении плоского объекта известной формы и размеров, его проекции, расположения и ориентации камеры, в ходе которого многократно случайным образом перебираются параметры положения и ориентации камеры и прогнозируемое изображение плоского объекта известной формы и размеров сравнивается с реальным, с использованием шаблона, состоящего из нескольких рядов точек вдоль контура плоского объекта известной формы и размеров, между точками внутренних и внешних рядов которого попарно вычисляется разность яркости для расчета критерия совпадения.
Вышеуказанный способ предусматривает также использование способа отделения на изображении части тела человека от фона в ходе которого используется метод динамики частиц, в котором граница между областью части тела и фоном представляется в виде совокупности точек последовательно расположенных для формирования контура, движущихся под действием условных сил, сохраняющих связанность контура и стремящихся переместить точку в место значительного изменения яркости, и формируя таким образом замкнутый контур, ограничивающий односвязную область части тела.
Таким образом способы предназначены для использования в другом.
Использование изобретения приводит к снижению трудоемкости и времени измерения формы и размеров частей тела человека, а также расширению возможности использования для маломобильных групп людей: детей, пожилых людей.
Использование способа позволяет получить 3D-модель, например, ноги (ступни и голени) путем обработки серии фотографий, полученной при обводе ноги устройством с видеокамерой - повышение точности, снижение трудоемкости и времени измерения, расширение области применение, за счет возможности использовать вместе с мобильными устройствами. Данный способ идеально подходит для виртуальной примерки т.к. удобен для пользователей, не требует наличия специального оборудования, программного обеспечения и пересылки большого объема данных.
В настоящее время процесс 3D сканирования объектов с помощью профессиональных 3D сканеров основан на аддитивном принципе т.е. все что сканер видит, то включает в 3Д модель. Поэтому сканирование состоит из двух этапов: сканирование объекта и последующей обработки 3D модели вручную, во время чего необходимо устранить мусор, остатки поверхности на которой стоит или держится объект, правильно зашить дыры. Так как этот этап в настоящее время никак не автоматизирован, имеется большая доля человеческого фактора, а значит велика вероятность человеческих ошибок.
Данный способ, во-первых, основан на обратном принципе, все что сканер фиксирует, он исключает из итоговой воксельной модели, а во-вторых, автоматизирует все этапы, минимизирует погрешности, шумы на всех этапах, существуют операции проверки для обеспечения наилучшей точности объекта.
В результате сканирования обычным 3D сканером получается модель с множеством шумов. На фигуре 1 изображена 3D модель ноги полученная с помощью профессионального 3D сканера Sense, с заявленной точностью порядка 1 мм. Далее, на фигуре 2 рассмотрена итоговая воксельная модель, полученная сканированием нашим методом. Сравнение этих двух 3D моделей, рассмотренных на фигуре 3, подтверждает высокую точность нашего метода. Еще одним преимуществом рассматриваемого способа заключается в том, что в итоге получается твердотельная модель, в отличии от полигональной модели, получаемой в результате сканирования профессиональным 3D сканером Sense.
Осуществление изобретения поясняется примерами.
Пример 1.
1. Подготовка к сканированию
Перед началом сканирования, для получения наиболее качественной трехмерной модели ноги необходимо обеспечить достаточные условия. А именно:
- равномерное освещение, без яркого направленного света, теней и бликов;
- пол должен быть контрастным белому, однотонным и обязательно твердым (при сканировании на ковре с высоким ворсом углы у листа А4 приподнимаются, что не позволяет точно определить координаты листа А4)
- нога должна быть одета в темный носок (желательно в черном), чтобы отделяться от остального фона как связная темная область
2. Этап сканирования (получение серии фотографий)
Для получения трехмерной модели ноги необходимо поставить ногу посередине листа белой бумаги формата А4, выровнять пятку к краю листа, опереться на ногу и обвести вокруг ноги устройством с видеокамерой (смартфоном, веб-камерой, подсоединенной к персональному компьютеру или ноутбуку) по дуге около 200° с одной стороны тела до другой. Обвод ноги желательно производить на уровне колена, чтобы достигнуть наибольшей точности 3D-модели, однако способ сохраняет работоспособность при высоте движения устройства от 10 см от пола и выше. При начале сканирования пользователь нажимает кнопку СТАРТ, камера смартфона включается на запись, каждую секунду из видеопотока сохраняется один кадр, при нажатии на кнопку ГОТОВО процесс сканирования завершается. Процесс сканирования с помощью смартфона рассмотрен на фигурах 4 и 5.
Предполагается, что на каждой фотографии лист А4 должен быть виден полностью. Для определения формы и размеров голени на фотографиях должна быть видна голень. Также должна соблюдаться условие, что на один миллиметр представленной на фотографии сцены приходится не менее двух пикселей. Например, для 5-ти мегапиксельной камеры это достигается, если длина листа бумаги А4 на фотографии составляет не менее 
длины фотографии.
3. Формирование серии фотографий.
В результате сканирования получается серия фотографий в разрешении установленное на мобильном устройстве (не менее 2, максимальное количество не ограничено, оптимальное количество 12). Пример таких фотографий приведен на фигуре 6.
Для достижения максимального качества трехмерной модели и высокой скорости обработки целесообразно оставлять из всего набора 12 фотографий, выбранных, как наиболее резкие, и равномерно распределенные по набору.
4. Уменьшение и кадрирование фотографий
Для обеспечения одинаковых (предсказуемых) условий обработки фотографий и уменьшение исходящего трафика при передаче фотографий со смартфона на сервер все фотографии уменьшаются в целое число раз, кратное 2, чтобы разрешение было не менее 480*640. Фотографии больше данного разрешения кадрируются к нему, с тем чтобы лист А4 находился по центру фотографии. На выходе получаем серию фотографий разрешением 480×640.
5. На каждой фотографии определяется контур листа А4
Постепенное увеличивая контрастность изображения со сдвигом среднего уровня, за 10-20 итераций светлые области становятся белыми, темные - черными, а граница так и останется на своем месте. Исчезают тени, а размытые границы превращаются в резкие.
Для поиска листа А4 используется метод Монте-Карло. На фигуре 7 рассмотрен набор фотографий с обнаруженным контуром листа А4.
Для проверки совпадения прогнозируемого изображения листа А4 с реальным используется шаблон, рассмотренный на фигуре 8, в виде параллельных каждому ребру листа рядов точек. Количество рядов от 2 и выше, оптимальное количество 6 рядов, количество точек в ряду от 4 и выше, оптимальное количество 20…40. Критерий оптимизации, для проверки совпадения, составляется из разностей интенсивности в парных точках соответствующих рядов, взятых с определенными весами.
Для ускорения сходимости метода Монте-Карло используется постепенное сужение искомых диапазонов параметров камеры. Количество элементарных проверок для нахождения листа А4 с приемлемой точностью составляет порядка 105…106.
6. По положению листа А4 определяется положение и ориентация камеры
Задача определения параметров камеры (координаты в пространстве х, у, z, углы ориентации камеры α, β, γ, и фокусное расстояние f) ставится как обратная: необходимо так подобрать параметры камеры, чтобы прогнозируемое изображение листа А4 максимально совпало с реальным на фотографии. Иллюстрация объясняющая определение положение и ориентации камеры рассмотрена на фигуре 9.
Найденные параметры камеры используются далее для вырезания 3D-модели из воксельного массива.
7. На каждой фотографии эволюционным методом выделяется замкнутый контур ступни и голени между темным носком и светлым листом А4 и фоном.
Замкнутый контур ступни и голени ищется адаптируемым к предметной области методом динамики частиц. Данный метод заключается в том, что при натягивании контура на область ноги точки изначально располагаются по ребрам листа А4, и просчитывается «физическое взаимодействие» и «механическое движение» точек. Условные силы притяжения, действующие между соседними точками, приводят к стягиванию точек к ноге и сохраняют приблизительно постоянными расстояния между точками. Чтобы найти контур ноги добавляется сила, пропорциональная численной оценке второй производной от интенсивности фотографии поперек контура. Для этого интенсивность считывается с парных точек вне и снаружи контура распределенных по отношению к контуру (по аналогии с этапом поиска листа А4). Результат выделения контура ноги от фона рассмотрен на фигуре 10.
На фигуре 11 показано применение данного метода для выделения контура человека. На фигуре 12 показано применение метода для выделения контура кисти человека.
Дополнительно точность контура проверяется следующей последовательностью действий:
- изображение преобразовывается в серый,
- применяется медианный фильтр для сглаживания,
- затем применяется детектор границ Кэнни (фильтр Canny),
- вычисляется градиент яркости изображения в каждой точке, с помощью оператора Собеля (Sobel operator).
Результат этих действий показан на фигуре 13. Затем из этой заливки получаем контур, что показан на фигуре 14.
Данный метод построения контура позволяет определять высоту свода стопы, которую необходимо учитывать людям с плоскостопием при подборе обуви. При большинстве вариантов освещения вблизи данной области на изображении находится тень. И разработанный алгоритм позволяет отделить темную связную область ступни от тени, за исключением случаев очень сильной или плавно переходящей тени, когда даже человеку с использованием зрительного аппарата затруднительно отделить тень от поверхности ступни. На фигурах 15 и 16 рассмотрена 3D модель ноги с четко выраженным сводом стопы
8. С каждым кадром из воксельного массива, изначально имеющего форму параллелепипеда и расположенного над листом А4, отсекаются вокселы вне объема, ограниченного конической секущей поверхностью с вершиной в точке расположения камеры и направляющей, которой является контур ноги, полученный на предыдущем этапе, что изображено на фигуре 17.
Каждый кадр позволяет отсечь из исходного монолитного воксельного массива проекцию найденного ранее контура ноги. По мере постепенного отсечения воксельной модели с разных ракурсов, формируется достаточно точная воксельная 3D-модель ноги. На фигуре 18 рассмотрена последовательность формирования воксельной модели ноги. Слева показаны три проекции исходного воксельного массива. Справа показаны три проекции результирующей воксельной модель ноги. На фигуре 19 рассмотрены воксельное и полигональное представление (без дополнительного сглаживания и регуляризации сетки) 3D модели ноги (правая нога - воксельное представление, левая нога - полигональное представление).
9. Из результирующей воксельной модели устраняется артефакт сканирования в виде своеобразного «гребня».
Для упрощения и ускорения процедуры сканирования, камера ведется по плавной дуге на высоте колена. При этом область над ступней («подъем») определяется с меньшей точностью, чем остальные части ступни, из-за того, что с данных оптических направлений при отсечении воксельного массива проекциями контуров ноги над ступней получается не до конца срезанная область - «гребень», представляющий собой область модели с острым верхним краем, из-за чего оказываются завышены такие параметры 3D-модели ноги, как «высота в подъеме» и «обхват подъем-пятка».
Поэтому на следующем этапе используется алгоритм коррекции верхней поверхности ступни.
Для устранения «гребня» используется специальный алгоритм, на основе метода взаимодействующих движущихся точек. Для этого предварительно выделяется область поверхности над ступней, которую необходимо скорректировать. Затем в эволюционном цикле просчитывается механическое взаимодействие и движение точек поверхности. Для наиболее обоснованного восстановления поверхности над ступней используется информация о форме ступни с боков. Между движущимися точками действуют два типа сил: силы притяжения, стремящиеся максимально сократить расстояние между точками, и силы уменьшения изгиба, стремящиеся сделать поверхность максимально гладкой. На фигуре 20 слева рассмотрены три проекции воксельной модели с «гребнем», а справа три проекции воксельной модели после убирания «гребня». На фигуре 21 рассмотрены две воксельные модели с «гребнем» и без «гребня».
Алгоритм коррекции гребня не требуется, если сканирование ноги производится более тщательно, захватывая «виды сбоку» слева и справа, например, если дуга ведения камеры проходит не на высоте колена, а начинается от опорной поверхности справа от ноги, поднимается на уровень колена при виде на ногу спереди, и опускается снова к опорной поверхности слева от ноги.
10. 3D-Модель из воксельного формата переводится в формат obj - для последующей визуализации и хранения в компактной форме. При этом модель дополнительно сглаживается и проводится регуляризации сетки.
В процессе обработки предварительно строится поле заполнения пространства областью ноги, затем по внешней поверхности поля (область максимальных градиентов) располагаются ключевые точки исходя из максимизации равномерности покрытия поверхности, затем соединяются ребрами. За счет использования полевого подхода модель сглаживается; уровень сглаживания регулируется специальным параметром при построении поля. По полученному в результате набору точек и ребер строятся треугольники и этот набор данных переводится в формат «obj».
На фигуре 22 изображены две точные полигональные 3D-модели ног человека, полученные бесконтактным способом обводом устройством с видеокамерой ноги по дуге на уровне колена с одной стороны тела до другой.
Claims (3)
1. Способ измерения формы и размеров частей тела человека, в ходе которого по серии фотографий, полученных с разных ракурсов части тела человека, на каждой фотографии определяется изображение плоского объекта известной формы и размеров, по которому определяется положение и ориентация камеры, на изображении отделяется область части тела от фона и по каждому кадру из произвольного тела, изначально включающего часть тела человека, постепенно отсекается область произвольного тела, не принадлежащая проекции части тела человека.
2. Способ поиска на изображении плоского объекта известной формы и размеров, его проекции, расположения и ориентации камеры, в ходе которого многократно случайным образом перебираются параметры положения и ориентации камеры, и прогнозируемое изображение плоского объекта известной формы и размеров сравнивается с реальным, с использованием шаблона, состоящего из нескольких рядов точек вдоль контура плоского объекта известной формы и размеров, между точками внутренних и внешних рядов которого попарно вычисляется разность яркости для расчета критерия совпадения.
3. Способ отделения на изображении части тела человека от фона, в ходе которого используется метод динамики частиц, в котором граница между областью части тела и фоном представляется в виде совокупности точек, последовательно расположенных для формирования контура, движущихся под действием условных сил, сохраняющих связанность контура и стремящихся переместить точку в место значительного изменения яркости, и формируя таким образом замкнутый контур, ограничивающий односвязную область части тела.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018111932A RU2684436C1 (ru) | 2018-04-03 | 2018-04-03 | Способ измерения формы и размеров частей тела человека, способ поиска на изображении плоского объекта известной формы и размеров, способ отделения на изображении части тела человека от фона |
| PCT/RU2019/050041 WO2019194707A1 (ru) | 2018-04-03 | 2019-04-03 | Способ измерения формы и размеров частей тела человека |
| CN201980024651.5A CN111936006A (zh) | 2018-04-03 | 2019-04-03 | 用于测量人体部位的形状和大小的方法 |
| EP19780684.7A EP3777596B1 (en) | 2018-04-03 | 2019-04-03 | Method of measuring the shape and dimensions of human body parts |
| US17/043,151 US11957217B2 (en) | 2018-04-03 | 2019-04-03 | Method of measuring the shape and dimensions of human body parts |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018111932A RU2684436C1 (ru) | 2018-04-03 | 2018-04-03 | Способ измерения формы и размеров частей тела человека, способ поиска на изображении плоского объекта известной формы и размеров, способ отделения на изображении части тела человека от фона |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2684436C1 true RU2684436C1 (ru) | 2019-04-09 |
Family
ID=66089951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018111932A RU2684436C1 (ru) | 2018-04-03 | 2018-04-03 | Способ измерения формы и размеров частей тела человека, способ поиска на изображении плоского объекта известной формы и размеров, способ отделения на изображении части тела человека от фона |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11957217B2 (ru) |
| EP (1) | EP3777596B1 (ru) |
| CN (1) | CN111936006A (ru) |
| RU (1) | RU2684436C1 (ru) |
| WO (1) | WO2019194707A1 (ru) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112617809A (zh) * | 2020-12-24 | 2021-04-09 | 新拓三维技术(深圳)有限公司 | 一种足印面积计算方法及其系统 |
| US11176738B2 (en) | 2019-05-15 | 2021-11-16 | Fittin, Llc | Method for calculating the comfort level of footwear |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SU1757599A1 (ru) * | 1989-12-20 | 1992-08-30 | Ленинградский институт текстильной и легкой промышленности им.С.М.Кирова | Способ измерени поверхности стопы и голени |
| RU2034509C1 (ru) * | 1990-05-25 | 1995-05-10 | Санкт-Петербургский институт текстильной и легкой промышленности им.С.М.Кирова | Способ бесконтактного измерения поверхности стопы |
| SU1762449A1 (ru) * | 1990-05-03 | 1996-05-10 | Ленинградский институт текстильной и легкой промышленности им.С.М.Кирова | Устройство для бесконтактного измерения поверхности стопы и голени |
| US20160286906A1 (en) * | 2013-11-09 | 2016-10-06 | Edgimago 2012 Ltd. | Method and system for measuring 3-dimensional objects |
| WO2018007384A1 (en) * | 2016-07-04 | 2018-01-11 | 3D About.Me B.V. | Fitting device for a 3d shoe model and a 3d foot |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU1099899A (en) * | 1997-10-15 | 1999-05-03 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
| JP4392886B2 (ja) * | 1999-01-22 | 2010-01-06 | キヤノン株式会社 | 画像抽出方法及び装置 |
| US6493958B1 (en) * | 1999-11-06 | 2002-12-17 | Amfit, Inc. | Method and apparatus for measuring foot geometry |
| US7391906B2 (en) * | 2001-12-05 | 2008-06-24 | Microsoft Corporation | Methods and system for providing image object boundary definition by particle filtering |
| DE102007032609A1 (de) * | 2007-07-11 | 2009-03-05 | Corpus.E Ag | Kostengünstige Erfassung der inneren Raumform von Fußbekleidung und Körpern |
| JP2009238009A (ja) * | 2008-03-27 | 2009-10-15 | Toshiba Corp | 画像処理装置、及び方法 |
| WO2010019925A1 (en) * | 2008-08-15 | 2010-02-18 | Brown Technology Partnerships | Method and apparatus for estimating body shape |
| CN102525034B (zh) * | 2011-11-22 | 2015-04-15 | 中国科学院合肥物质科学研究院 | 一种脚型参数测量装置及测量方法 |
| CN103839250B (zh) * | 2012-11-23 | 2017-03-01 | 诺基亚技术有限公司 | 用于面部图像处理的方法和设备 |
| US20170053335A1 (en) | 2014-02-14 | 2017-02-23 | Andrew Hanscom | Systems and methods for sizing shoes |
| WO2016051416A1 (en) * | 2014-09-30 | 2016-04-07 | Fitfully Ltd. | System and method of 3d modeling and virtual fitting of 3d objects |
| CN106097326A (zh) * | 2016-06-07 | 2016-11-09 | 北京理工大学 | 非接触式人体外形参数测量装置 |
| CN107048596A (zh) * | 2017-03-22 | 2017-08-18 | 青岛小步科技有限公司 | 一种定制鞋的制作方法及系统 |
| US10841486B2 (en) * | 2017-07-20 | 2020-11-17 | Eclo, Inc. | Augmented reality for three-dimensional model reconstruction |
| CN107183835A (zh) * | 2017-07-24 | 2017-09-22 | 重庆小爱科技有限公司 | 一种使用手机拍照扫描生成脚部模型及数据的方法 |
-
2018
- 2018-04-03 RU RU2018111932A patent/RU2684436C1/ru active
-
2019
- 2019-04-03 CN CN201980024651.5A patent/CN111936006A/zh active Pending
- 2019-04-03 EP EP19780684.7A patent/EP3777596B1/en active Active
- 2019-04-03 WO PCT/RU2019/050041 patent/WO2019194707A1/ru unknown
- 2019-04-03 US US17/043,151 patent/US11957217B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SU1757599A1 (ru) * | 1989-12-20 | 1992-08-30 | Ленинградский институт текстильной и легкой промышленности им.С.М.Кирова | Способ измерени поверхности стопы и голени |
| SU1762449A1 (ru) * | 1990-05-03 | 1996-05-10 | Ленинградский институт текстильной и легкой промышленности им.С.М.Кирова | Устройство для бесконтактного измерения поверхности стопы и голени |
| RU2034509C1 (ru) * | 1990-05-25 | 1995-05-10 | Санкт-Петербургский институт текстильной и легкой промышленности им.С.М.Кирова | Способ бесконтактного измерения поверхности стопы |
| US20160286906A1 (en) * | 2013-11-09 | 2016-10-06 | Edgimago 2012 Ltd. | Method and system for measuring 3-dimensional objects |
| WO2018007384A1 (en) * | 2016-07-04 | 2018-01-11 | 3D About.Me B.V. | Fitting device for a 3d shoe model and a 3d foot |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11176738B2 (en) | 2019-05-15 | 2021-11-16 | Fittin, Llc | Method for calculating the comfort level of footwear |
| CN112617809A (zh) * | 2020-12-24 | 2021-04-09 | 新拓三维技术(深圳)有限公司 | 一种足印面积计算方法及其系统 |
| CN112617809B (zh) * | 2020-12-24 | 2024-05-24 | 新拓三维技术(深圳)有限公司 | 一种足印面积计算方法及其系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111936006A (zh) | 2020-11-13 |
| US11957217B2 (en) | 2024-04-16 |
| EP3777596B1 (en) | 2023-09-20 |
| EP3777596A1 (en) | 2021-02-17 |
| EP3777596A4 (en) | 2021-12-15 |
| WO2019194707A1 (ru) | 2019-10-10 |
| US20210145127A1 (en) | 2021-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11432619B2 (en) | System, method, and apparatus for modelling feet and selecting footwear | |
| Vlasic et al. | Dynamic shape capture using multi-view photometric stereo | |
| Gryka et al. | Learning to remove soft shadows | |
| US8823775B2 (en) | Body surface imaging | |
| US7986321B2 (en) | System and method for generating structured light for 3-dimensional image rendering | |
| Tao et al. | Depth from combining defocus and correspondence using light-field cameras | |
| JP6392756B2 (ja) | ２次元画像シーケンスから正確な身体サイズ測定値を得るためのシステム及び方法 | |
| CN100568273C (zh) | 产生物理对象的三维计算机模型的方法 | |
| TW201112161A (en) | Depth mapping based on pattern matching and stereoscopic information | |
| JP2008241355A (ja) | 物体の距離導出装置 | |
| JP2013089252A (ja) | 映像処理方法及び装置 | |
| CN105180836B (zh) | 控制装置、机器人、以及控制方法 | |
| Reichinger et al. | Evaluation of methods for optical 3-D scanning of human pinnas | |
| RU2684436C1 (ru) | Способ измерения формы и размеров частей тела человека, способ поиска на изображении плоского объекта известной формы и размеров, способ отделения на изображении части тела человека от фона | |
| JP6541920B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| D'Apuzzo | Automated photogrammetric measurement of human faces | |
| Rosman et al. | Information-driven adaptive structured-light scanners | |
| JP2004280776A (ja) | 画像内のオブジェクトの形状を決定する方法 | |
| KR101563470B1 (ko) | 적응적 가중치 국부 기술자 기반의 광량 변화에 강건한 스테레오 정합 장치 및 방법 | |
| Shere et al. | Temporally consistent 3D human pose estimation using dual 360deg cameras | |
| KR101439406B1 (ko) | 영상을 활용하여 깊이 정보를 획득하는 영상처리장치 및 영상처리방법 | |
| Grochulla et al. | Combining photometric normals and multi-view stereo for 3d reconstruction | |
| Ha et al. | Normalfusion: Real-time acquisition of surface normals for high-resolution rgb-d scanning | |
| Chen et al. | Capture of hair geometry using white structured light | |
| Lacher | 3D breast surface reconstructions from consumer-grade RGB-D cameras |