RU2635226C2 - Измерение тела - Google Patents
Измерение тела Download PDFInfo
- Publication number
- RU2635226C2 RU2635226C2 RU2014152713A RU2014152713A RU2635226C2 RU 2635226 C2 RU2635226 C2 RU 2635226C2 RU 2014152713 A RU2014152713 A RU 2014152713A RU 2014152713 A RU2014152713 A RU 2014152713A RU 2635226 C2 RU2635226 C2 RU 2635226C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- images
- dimensional
- probability
- diagrams
- Prior art date
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 94
- 238000010586 diagram Methods 0.000 claims abstract description 89
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 39
- 238000009826 distribution Methods 0.000 claims description 13
- 239000003086 colorant Substances 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000005303 weighing Methods 0.000 claims 1
- 239000000126 substance Substances 0.000 abstract 1
- 230000037237 body shape Effects 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 7
- 230000036544 posture Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000002940 Newton-Raphson method Methods 0.000 description 1
- 208000001647 Renal Insufficiency Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000007716 flux method Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 201000006370 kidney failure Diseases 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Изобретение относится к измерению тела с помощью изображений тела. Техническим результатом является повышение точности формирования трехмерных данных тела. Способ содержит этапы: захвата исходных изображений; разбиения исходных изображений на множество сегментов; объединения результатов сегментации на этапе для создания для каждого исходного изображения одной уникальной вероятностной диаграммы; сравнения уникальных вероятностных диаграмм с базой данных представлений трехмерных тел, причем сравнение уникальных вероятностных диаграмм с базой данных представлений трехмерных тел для определения ближайшего соответствия или лучшего отображения содержит этапы, на которых: формируют среднее трехмерное изображение тела из базы данных представлений трехмерных тел; формируют контур среднего трехмерного изображения тела; сравнивают контур с уникальными вероятностными диаграммами для объекта и определяют степень соответствия, формируют трехмерные данные тела и/или измерения для объекта на основании лучшего отображения, способ дополнительно содержит этапы, на которых: изменяют трехмерное изображение тела и/или сформированные контуры для учета факторов формирования изображений, присутствующие в пределах одного или более изображений объекта. 14 з.п. ф-лы, 5 ил.
Description
Настоящее изобретение относится к способу и системе для определения значений измерений тела с помощью изображений тела. Более конкретно настоящее изобретение описывает способ и систему для формирования данных трехмерного изображения тела относительно объекта путем сравнения с базой данных существующих известных трехмерных моделей для получения лучшего отображения. Исходя из этого отображения, могут быть определены специфические для формы (геометрии) тела данные, включая результаты измерений.
Обычные сканеры тела и устройства измерения тела основываются на имеющих высокое разрешение датчиках глубины, фиксированных схемах освещения или известных углах съемки камеры для формирования трехмерных изображений человеческого тела. Такие способы требуют специального оборудования и представляют высокую нагрузку на пользователя, которому требуется перемещаться в специализированные центры для такого измерения тела.
Получение точных данных трехмерных измерений тела является особенно полезным в медицинской области и может использоваться, например, для мониторинга изменений в объеме тела, которые могут возникать в результате заболеваний, например почечной недостаточности. Путем оценки изменений в изображениях тела пациента возможно определять факторы, такие как задержка жидкости (отечность), и успех операции. Действительно, с продвижением телемедицины необходимость осуществлять мониторинг и предоставлять информацию об измерениях тела, вероятно, возрастет.
Кроме того, возможность формировать точное определение характеристик и измерения тела также является особенно интересной в швейной промышленности. Может цениться, что возможность предоставлять производителю одежды или розничному торговцу точные размеры тела будет полезной и для человека, ищущего одежду, и для компаний, участвующих в поставке одежды, что является особенно полезным для онлайн-покупок.
Существующие способы и устройства для обеспечения таких измерений являются либо большими и дорогими, и/либо требуют использования сложного оборудования, включая детекторы, способные определять глубину отдельных пикселей или расстояние объекта относительно опорной точки. В результате они не позволяют объектам исследования, таким как частные лица и пациенты, осуществлять мониторинг своей трехмерной геометрии тела легко или дома. Способность обеспечивать трехмерное изображение тела просто, без использования специализированных сложных сканеров тела, является, следовательно, желательной. Настоящее изобретение обращается к решению вышеупомянутых проблем.
Согласно настоящему изобретению обеспечивается способ формирования трехмерных данных тела для объекта; упомянутый способ содержит этапы:
i) захвата (ввода) одного или нескольких исходных изображений объекта с использованием устройства цифрового формирования изображений;
ii) разбиения одного или нескольких изображений на множество сегментов с использованием одного или нескольких способов сегментации;
iii) объединения результатов каждого способа сегментации на этапе ii) для создания одной или нескольких уникальных (индивидуальных) вероятностных диаграмм, представляющих объект;
iv) сравнения одной или нескольких уникальных вероятностных диаграмм с базой данных представлений трехмерных тел для определения ближайшего соответствия или лучшего отображения между данной или каждой уникальной вероятностной диаграммой и представлением, определяемым из базы данных; и
v) формирования трехмерных данных тела и/или измерений для объекта на основании лучшего отображения.
Необязательно одну или несколько стадий предварительной обработки можно применять к одному или нескольким исходным изображениям для улучшения имеющихся данных до сегментации.
Разбиение одного или нескольких изображений на множество сегментов может содержать применение одного или нескольких способов сегментации изображения, эвристических правил и/или предопределенных отображений для разбиения одного или нескольких улучшенных изображений и/или исходных изображений на множество сегментов и/или распределений вероятностей.
Объединение результатов каждого способа сегментации может содержать использование математических уравнений и/или эвристических правил.
Необязательно может применяться дополнительный способ сегментации с «затравкой» из результатов этапа iii), чтобы создавать уточненную уникальную вероятностную диаграмму для каждого исходного изображения.
Сравнение одной или нескольких уникальных вероятностных диаграмм с базой данных представлений может содержать определение лучшего отображения между каждой или всеми уникальными вероятностными диаграммами и базой данных существующих известных трехмерных моделей путем применения алгоритма градиентного спуска для минимизации различия между машинно-генерируемыми контурами для трехмерных данных и вероятностных диаграмм.
Формирование трехмерных данных тела и/или измерений может дополнительно содержать осуществление вывода трехмерных данных тела относительно объекта или других персональных метрик на основании лучшего отображения от этапа iv).
Изобретение позволяет дешевле и легче формировать данные, представляющие трехмерное изображение тела объекта, на основании 2-мерных изображений, получаемых от веб-камеры, телефона с камерой или другого устройства захвата изображения. Кроме того, поскольку специализированное оборудование формирования изображений не требуется, субъект может легко обновлять свое сформированное трехмерное изображение тела, позволяя легко осуществлять отслеживание и мониторинг изменений его формы (геометрии) тела.
Обычно могут обеспечиваться одна или несколько вероятностных диаграмм и эвристических способов, которые идентифицируют ожидаемую форму и позу (положение тела) объекта в одном или нескольких изображениях. Обычно вероятностные диаграммы являются предварительно визуализированными вероятностными диаграммами, хранимыми на сервере, либо сформированными из более ранних изображений и/или полученными из уже существующей базы данных вероятностных диаграмм, и эвристические правила являются закодированными методами в рамках системы. Например, если объект принимает позу на изображениях для представления своих левого и правого боковых видов, то обеспеченные вероятностные диаграммы и примененные эвристические правила представляют соответственный вид сбоку. В этом случае изображение с объектом, принимающим положение в позе вида с левой стороны, можно сравнивать с вероятностной диаграммой для вида с левой стороны и обрабатывать с помощью эвристических правил сегментации известных, что применимы к видам с левой стороны.
Одна или несколько вероятностных диаграмм могут также обеспечиваться на основании определенной позы объекта. Поза объекта может быть определена путем отслеживания характеристик (контура) объекта в последовательности кадров, которые могут поступать от источника (канала) видеосигнала. Типичный способ отслеживания характеристик используется пирамидальной версией оптического потока Лукаса-Канаде (Lucas-Kanade), чтобы вычислять оптический поток ключевых точек для объекта между изображениями (или кадрами, если применимо к видео). Путем взятия кадра, где позиция объекта является известной, позиции ключевых точек в изображении могут быть определены (например, с использованием способов детектирования углов). Такие точки могут быть пальцами, рисунками на одежде, татуировками, пятнами на коже и т.д. Способ Лукаса-Канаде для пирамидального оптического потока затем может использоваться, чтобы следовать этим точкам между кадрами (или изображениями). Точки могут повторно проверяться через каждые несколько кадров, чтобы предотвращать сдвиг. Такой способ позволяет более точно предполагать позу объекта внутри изображений и дополнительно позволяет, чтобы одна или несколько вероятностных диаграмм обеспечивались на основании определенной позы. Такой способ определения позы повышает гибкость системы и является особенно полезным для определения позы объектов из видео.
В исполнениях настоящего изобретения стадия ii) предварительной обработки может включать в себя:
повторное масштабирование изображения, чтобы снижать вычислительные издержки;
применение фильтров шумоподавления, таких как фильтр анизотропной диффузии;
смягчение известных характеристик камеры, таких как бочкообразное искажение и конфигурации, вносимые расположением пикселей в CCD-датчике (прибор с зарядовой связью, ПЗС);
применение попиксельного усиления освещения, чтобы улучшить детали в тени, обычно это будет следовать формуле Inew(X)=Iraw(X)α, где X является текущим пикселем, Inew(X) является улучшенным значением интенсивности для пикселя X (между 0 и 1), Iraw(X) является исходным значением интенсивности для пикселя X (между 0 и 1), и α является числом, которое может быть постоянным или основанным на атрибутах изображения. Исполнения могут варьировать α в соответствии с позицией внутри изображения, например, усиливая нижнюю часть изображения более значительно, как в этом примере:
где γ - вертикальная координата текущего пикселя, H - высота изображения.
Кроме того, совокупность способов сегментации изображения, применяемых к одному или нескольким изображениям на стадии iii), может включать в себя:
инвариантные способы, такие как предварительно визуализированные вероятностные диаграммы для конкретного вида (view);
сравнения попиксельные или способом скользящего окна, например просмотр заранее определенных диапазонов цвета, которые соответствуют цветам кожи или текстуре, которая соответствует ткани;
способы на основе обучения, например помещение лица в вид спереди, чтобы обучиться цвету кожи человека и/или цветам одежды, и/или использование выбранной, предварительно визуализированной вероятностной диаграммы, чтобы обучиться цветам фона. Идентифицированные цвета (в пространстве цветопередачи красный-зеленый-синий (RGB) или ином) и/или позиции (в пространстве изображения) могут быть проанализированы (например, с помощью модели Смеси гауссиан (Gaussian Mixture Model)) для создания ожидаемого цветового распределения для каждого сегмента, которое может затем использоваться для формирования сегментации изображения;
итеративные оптимизации, например, использующие активные контуры (с предопределенной геометрией человека в качестве «затравки» в соответствии с текущим видом и/или позой, детектированным другими способами), чтобы максимизировать интенсивность на крае изображения вдоль периметра контура, которые также могут объединяться с имитациями твердого тела или мягкого тела для улучшенных результатов;
сравнения областей пикселей в одном виде с соответствующей областью в другом виде, например сравнения левой и правой сторон изображений "вид спереди с поднятыми руками" и "вид сбоку", чтобы идентифицировать руки (при условии, что фон остается постоянным между изображениями). Исполнения могут включать в себя дополнительное изображение только фона (объект вне кадра) с этой целью;
способы анализа краев, например поиск границ с конкретными атрибутами, такими как полукруглая форма (соответствующая ступне) или конкретный угол (соответствующий рукам, ногам или торсу). Границы могут быть детектированы с использованием одного или нескольких способов, таких как применение оператора Собеля, алгоритма детектора контуров Кэнни, и специализированных способов;
обобщенные способы сегментации, такие как способ Graph Cut (разрезание графа), или способы с несколькими масштабами, такие как сегментация взвешенной агрегацией;
специализированные эвристические правила, такие как идентификация точек плеча в виде спереди, чтобы задать область для торса, или идентификация пересекающихся линий, чтобы определить позицию подмышек и точку паховой области.
Обычно способы применяются к изображению, закодированному в пространстве цветовой модели "яркость - цветность синего - цветность красного" (YCbCr), с некоторыми способами, использующими только канал яркости, и другими, потенциально назначающими дополнительный вес каналами Cb и Cr, однако могут использоваться другие цветовые пространства, такие как RGB или sRGB.
Способы сегментации, которые возвращают множество сегментов (например, голову, рубашку, стул, стол), могут дополнительно обрабатываться путем анализа формы, цвета, текстуры и/или позиции каждого сегмента. Путем сравнения этих метрик с предопределенными или иным образом вычисленными ожиданиями сегменты могут быть обращены в более простой двоичный формат переднего плана/фона или заданную посегментную вероятность.
Если используются множественные способы сегментации, исполнения могут объединять свои результаты в единую уникальную вероятностную диаграмму «на один вид» с помощью различных способов. Используемый способ может зависеть от текущего вида и/или способа сегментации или могут быть предприняты несколько способов с оценочной функцией, осуществляющей выбор лучшего результата. Возможные способы для объединения результатов ρ1 и ρ2 в ρT включают в себя:
более сложные способы, такие как для некоторых или для некоторых . Эти особые способы являются применимыми, когда содержит некоторое базовое ожидание (например, предварительно визуализированную вероятностную диаграмму), которое должно корректироваться согласно , но поддерживать жесткие ограничения.
Может цениться, что многие из этих способов тривиально распространяются на объединение более двух результатов или могут объединяться в цепочку, чтобы объединять произвольные количества результатов сегментации. Может также цениться, что взвешивания могут применяться к каждой сегментации на этой стадии, определяться вручную, эмпирически и/или автоматически на основании атрибутов сегментации (таких как степень симметрии).
После создания единой уникальной вероятностной диаграммы для каждого исходного изображения исполнения могут уточнять диаграмму при помощи дополнительных способов сегментации, таких как сегментация взвешенной агрегацией или Grab Cut. В случае Grab Cut дается ввод «известного переднего плана», «вероятного переднего плана», «вероятного фона» и «известного фона», который может формироваться с использованием тривиальной пороговой обработки вероятностных диаграмм. Может также цениться, что эта диаграмма с 4 состояниями или ее разновидности могут рассматриваться в качестве вероятностных диаграмм самостоятельно и могут, следовательно, быть непосредственным выводом предыдущих стадий сегментации.
Исполнения изобретения, кроме того, позволяют компенсацию переменной резкости линии, создаваемой неравными условиями освещения в исходных изображениях, с помощью тех же способов, также позволяя, чтобы окончательные вероятностные диаграммы были масштабированы с повышением до равного или большего разрешения, чем первоначальное исходное изображение. Это осуществляется размытием краев уникальной вероятностной диаграммы, сформированной вышеупомянутым способом, чтобы создать границу из неопределенных пикселей. Размытие краев приводит к градиенту вероятности в уникальной вероятностной диаграмме от фона к объекту. Направление и уровень этого градиента затем можно идентифицировать и использовать, чтобы указывать направление к объекту в каждом неопределенном пикселе с помощью линии вектора. Обычно направление этой линии вектора является по существу перпендикулярным краю. Из этих градиентов может быть сформирована векторная (направленная) вероятностная диаграмма внешнего контура, упомянутая диаграмма обеспечивает вектор направления (линию вектора) для каждого неопределенного пикселя (обычно краевых пикселей), обозначающий локальное ожидаемое направление объекта относительно пикселя.
Векторная вероятностная диаграмма контура затем может применяться к исходному изображению или изображениям. Путем отслеживания траектории, указанной векторной вероятностной диаграммой контура, как применено к первоначальному изображению, возможно определить в первоначальном изображении пиксели, которые лежат на каждой линии вектора с наивысшей контрастностью. Эти пиксели представляют граничные пиксели, расположенные на границе объекта, которые отделяют объект от фона в изображении. Эта граница является оптимальной в случае, если нет шума и какого-либо размытия изображения, являющихся гауссианом, что является хорошим приближением для изображений камеры. Кроме того, сравнение цвета и/или интенсивности граничного пикселя с цветами и/или интенсивностью соседних пикселей может давать возможность, что оценка истинной границы для каждого граничного пикселя будет устанавливаться с субпиксельным разрешением. Оценка истинной границы для каждого граничного пикселя может вычисляться с использованием , где задает расстояние вдоль вектора между границей в пикселях и истинной границей в субпикселях, - интенсивность текущего пикселя, - интенсивность предыдущего пикселя вдоль вектора, и - интенсивность следующего пикселя вдоль вектора. Как только оценка истинной границы была определена, она может применяться к соответствующей позиции на уникальной вероятностной диаграмме, чтобы обеспечить оценку истинной границы для каждого граничного пикселя уникальной вероятностной диаграммы.
Окончательные уникальные вероятностные диаграммы обеспечивают внешний контур объекта для каждого вида, где области, определенные достоверно являющимися объектом, имеют вероятность, близкую к 100%, области, определенные являющимися фоном (конкретно не объектом), имеют вероятность, близкую к 0%, и краевые области имеют промежуточные вероятности. Обычно упомянутые уникальные вероятностные диаграммы имеют разрешение в 0,2-0,5 пикселя в зависимости от уровней шума в исходных изображениях.
Исполнения настоящего изобретения могут сравнивать одну или несколько уникальных вероятностных диаграмм с существующей базой данных трехмерных представлений тела для определения ближайшего (наиболее точного) соответствия и/или могут использовать способ интерполяции, чтобы формировать новые «тела», исходя из существующей базы данных для определения лучшего отображения. Существующая база данных обычно заполняется эмпирическими данными, накопленными от специализированных сканеров тела. Такие представления могут включать в себя трехмерные измерения тела, измерения объектов, сделанные вручную, и/или скан-изображения (томографические).
Для определения ближайшего соответствия можно исчерпывающе просматривать испытательные скан-изображения, оптимизируя каждое относительно вариаций позы и камеры и определяя лучший результат, как указано ниже, хотя может цениться, что оптимизации, такие как группировка скан-изображений по конкретным атрибутам (таким как пол, вес, возраст), можно применять, чтобы уменьшить пространство поиска, и может применяться упорядочение, чтобы давать возможность аппроксимации двоичного поиска. Однако определение ближайшего соответствия не может предложить результаты, которые не присутствуют уже в базе данных, и по этой причине предпочитается лучшее отображение. Последующие параграфы опишут процесс, используемый в нахождении лучшего отображения.
Может использоваться линейная интерполяция, чтобы формировать новые скан-изображения, исходя из существующей базы данных, что является полезным, поскольку позволяет использование способов линейной оптимизации, чтобы идентифицировать лучшее отображение. Среднее трехмерное представление тела и последовательность векторов, описывающая вариации нормированных трехмерных представлений тела в рамках существующей базы данных («Векторы данных тела», Body Vectors), могут предварительно формироваться с помощью анализа главных компонент. Эта стадия может включать в себя способы для нормирования позы каждого объекта и/или вывода недостающих данных (например, «вкрапленные» области скан-изображений от сканеров структурированного света). Результаты этого анализа обычно будут записываться заранее, извлекаться по необходимости и именуются «Пространство тел» (Space of Bodies). Исполнения могут также включать данные измерений в этот анализ; создание средних измерений и справочной таблицы, обозначающей, каким образом каждое измерение должно изменяться, если изменяется вклад каждого вектора тела (например, если вектор тела контролирует вес по скан-изображению, то будет обычно увеличиваться окружность талии, если размер скан-изображения увеличивается). Эти корреляции обычно будут формироваться автоматически и могут не иметь очевидной физической интерпретации. Чтобы гарантировать применимость линейных способов, измерения могут предварительно обрабатываться, чтобы создать линейно связанные значения (например, взятием кубического корня любых объемных измерений и декомпозицией эллиптических измерений на большую и малую оси и коэффициент масштабирования).
В исполнениях только выбранные данные изображения тела формируются с учитываемыми или отбрасываемыми областями изображения объекта. Такие исключения могут предприниматься путем использования вероятностных диаграмм, которые не включают области объекта, например область головы, или отбрасывания атрибутов после сегментации. Это может быть полезным, поскольку позволяет из данных изображения тела исключать атрибуты, которые не относятся к фактическому размеру тела, например волосы. Исключение этих атрибутов препятствует влиянию на результаты явно произвольных деталей, таких как прическа.
Пространство тел может исследоваться с использованием алгоритма градиентного спуска с переменными, управляющими камерой (например, позиция, поворот, поле обзора), позой (например, углы в сочленении) и формой тела (например, первые N векторов тела, где обычно ) в скан-изображении. Это обычно касается начала со среднего или грубого предполагаемого значения для каждой переменной и итеративного уточнения значения методом проб и ошибок. Способ Ньютона-Рафсона (Newton-Raphson) является одним возможным вариантом и может использоваться для минимизации суммы абсолютных разностей вероятностей для каждого пикселя в машинно-генерируемом контуре в зависимости от вычисленной уникальной вероятностной диаграммы для текущего объекта. Математически ,
где является значением уникальной вероятностной диаграммы в текущем пикселе и имеет значение 1, если машинно-генерируемый контур для текущей камеры c, позы ρ и формы s тела содержат текущий пиксель, и 0 - в противном случае, camera (камера), pose (положение) и shape (форма), и являются аргументами поиска. Следует отметить, что использование функции абсолютного значения выбрано, чтобы оптимизировать поиск Ньютона-Рафсона, который требует квадратичной функции. Для других способов поиска могут быть подходящими другие (функции) стоимости, такие как сумма квадратов. Также может быть полезным использовать вторичную метрику расстояний, чтобы быстро отбрасывать локальные минимумы. Например, взятие суммы минимальных расстояний от каждого из машинно-генерируемых пикселей до пикселя в уникальной вероятностной диаграмме, который имеет значение выше предопределенного порога (например, ). Вновь это оптимизируется для поиска по Ньютону-Рафсону. Математически .
Ограничения, такие как повышение стоимости для функции, если аргументы изменяются вне допустимых пределов, являются полезными для предотвращения нереалистичных результатов. Например, включение мягкого предельного значения, если расстояние ноги становится слишком широким, с жестким предельным значением после известного невозможного расстояния или расстояния, которое не соответствует требуемой позе. Подобные принципы могут применяться к атрибутам формы тела и камеры.
Форма тела оптимизируется по всем видам, а поза и атрибуты камеры являются «повидовыми». Может цениться, что в управляемых средах множество снимков может делаться одновременно, в каком случае поза становится атрибутом, который может быть оптимизирован по всем видам также. Фиксированные позиции и атрибуты камеры могут, кроме того, позволять, чтобы переменные камеры удалялись из этой стадии полностью.
В исполнениях эта стадия минимизации может обеспечиваться минимизацией для небольшого числа параметров последовательно для повышенного быстродействия. Например, изменение переменных камеры и позы, блокируя при этом переменные геометрии тела, затем изменение первых 5 векторов тела, блокируя при этом все остальные, затем изменение первых 15 векторов тела и переменных камеры и т.д. Точная последовательность может быть определена эмпирически заранее и/или автоматически в результате анализа текущего состояния (например, заданием большего времени на оптимизацию позиции ног, если она предварительно значительно изменилась).
Конечным результатом этой стадии является уникальное трехмерное скан-изображение объекта. Такие же принципы применяют к нахождению ближайшего соответствия, но включают итерацию по всем скан-изображениям в базе данных вместо изменения векторов тела. В любом случае результирующее скан-изображение (игнорирующее позу тела) теперь будет именоваться «уникальное трехмерное скан-изображение».
Как только было получено ближайшее соответствие или лучшее отображение, исполнения могут вычислять измерения, используя Справочную таблицу измерения и/или измеряя траектории на уникальном трехмерном скан-изображении. Для лучшего отображения определенные значения вектора тела используются в комбинации со Справочной таблицей, чтобы линейно интерполировать средние измерения, создавая уникальный набор измерений. Для ближайшего соответствия измерения могут извлекаться непосредственно из Справочной таблицы. Эти измерения являются все немасштабированными и могут масштабироваться согласно нескольким факторам, включая: известное измерение (например, высота объекта); определенное расстояние между объектом и камерой (например, с использованием аппаратного датчика глубины или известной среды) и/или сравнение с калиброванным известным предметом (например, маркером или обычным предметом, таким как лист бумаги). В отсутствие этой информации масштаб может быть аппроксимирован путем допущения, что он подобен таковому для известных объектов с подобной формой тела (например, относительно более крупная голова обычно подразумевает меньший масштаб). Эта аппроксимация может вычисляться с использованием тех же способов Справочной таблицы (LOOKUP), как для других измерений. На этой стадии измерения будут обычно ненормированными, объемы кубическими, окружность разложенных эллипсов повторно вычисленной и так далее.
Кроме того, в исполнениях трехмерные данные тела для объекта могут выводиться. Данные могут выводиться на одно или несколько запоминающих устройств, онлайн-хранилище на основе облака, мобильный телефон, экран устройства отображения или персональное вычислительное устройство.
Варианты осуществления настоящего изобретения теперь будут описаны со ссылкой на последующие чертежи, на которых:
фиг. 1 - схематическое общее представление настоящего изобретения;
фиг. 2 - блок-схема настоящего изобретения, относящаяся к накоплению данных;
фиг. 3 - блок-схема настоящего изобретения, относящаяся к способам, используемым для формирования уникальных вероятностных диаграмм;
фиг. 4 - блок-схема настоящего изобретения, относящаяся к улучшению уникальной вероятностной диаграммы; и
фиг. 5 - блок-схема настоящего изобретения, относящаяся к формированию трехмерного изображения тела на основании уникальной вероятностной диаграммы и опорных трехмерных представлений тела.
Со ссылкой на чертежи система 10 (фиг. 1) оснащена «неинтеллектуальной» клиентской системой 20 ввода/вывода и серверным блоком 30.
Клиентская система 20 содержит веб-камеру 100, которая используется для получения информации изображения от объекта. В использовании веб-камера 100 используется вместе с экраном 120, таким как компьютерный монитор, который отображает представление 110 объекта. Программное обеспечение, управляющее веб-камерой 100, если веб-камера приведена в действие, выдает команду на экран 120, так что экран 120 отображает представление 130, соответствующее позиции позы тела. Обычно требуемой позицией позы является «обращенная вперед», ноги и руки отстоят от тела; анатомическая позиция. Кроме того, позиции боковых профилей (вдоль срединной плоскости) также могут требоваться 225 (фиг. 2).
Когда представление 110 объекта, отображенное на экране, совпадает с предопределенным внешним контуром 220, объект считается находящимся «в позе» (это может также зависеть от пребывания неподвижным в течение нескольких секунд). Когда объект готов и удовлетворяется условие, что объект стоит в требуемой позе 130, веб-камера 100 снимает последовательность изображений 150, 240 объекта в позиции принятой позы. Как только накоплено необходимое число изображений, изображения сжимают и сохраняют для последующей загрузки на серверный блок 30, 270.
Может цениться, что вышеупомянутые этапы могут повторяться столько раз, сколько требуется для формирования более большой базы данных изображений объекта в принятой позе. Кроме того, в качестве альтернативы веб-камере могут использоваться камеры мобильных телефонов для захвата требуемых изображений. В таком случае экран 120 и программное обеспечение для исполнения захвата изображения и выдачи команд на объект могут находиться непосредственно в телефоне, использующем специальное приложение. Может также цениться, что обычная камера может использоваться для формирования изображений, а также другие известные устройства захвата изображения и программное обеспечение. Кадры от источников видео также могут использоваться.
В дополнение к захвату изображений клиентская система 20 может запрашивать дополнительную информацию 140 от объекта для содействия процессу калибровки и распознавания изображений. В качестве примера калибровочные данные для идентификации относительных масштабов в двумерных изображениях могут накапливаться запросом высоты объекта 200. Другие необязательные возможности включают запрашивание объекта поднести к камере калиброванный маркер, такой как игральная карта. Обработке изображений могут содействовать дополнительные вопросы, такие как общее количество и/или цвет носимой одежды.
Кроме того, клиентская система 20 может также выполнять элементарные проверки на снятых и сохраненных изображениях 240. Эти проверки могут включать в себя анализ изображений относительно характеристик фона и запрос, что объект перемещается в другую область, если детектируется слишком много характеристик фона. Такой анализ может также позволять дополнительную калибровку между относительной высотой объекта из полученных изображений, как если найдена общая характеристика фона, это может использоваться, чтобы гарантировать, что все изображения объекта имеют согласованную высоту, чтобы учитывать переменное расстояние между объектом и устройством формирования изображений. Альтернативно или дополнительно упомянутый анализ может удалять общие характеристики фона (чтобы помочь последующим этапам) или может потребовать получение новых изображений, если детектируется слишком много характеристик фона.
Как только изображения 150 были захвачены клиентской системой 20, они загружаются на серверный блок 30, 270. Серверный блок 30 может быть компьютером объекта, или смартфоном, или подобным, хотя обычно серверный блок 30 является специализированным внешним сервером. Сервер содержит базу данных известных вероятностных диаграмм 160, соответствующих ожидаемым позициям объекта на основании позиций принятых поз, стоять в которых объект был проинструктирован на этапе 300, и совокупность способов 170 сегментации, которые были определены применимыми к каждой позе. Альтернативно поза объекта может быть определена с использованием способа отслеживания характеристик. Типичный способ отслеживания характеристик использует способ Лукаса-Канаде пирамидального оптического потока, чтобы вычислять оптический поток ключевых точек объекта между изображениями (или кадров, если применен к видео). Путем взятия кадра, где позиция объекта является известной, позиции ключевых точек в изображении могут быть определены (например, с использованием способов детектирования углов). Такие точки могут быть пальцами, рисунками на одежде, татуировками, пятнами на коже и т.д. Способ оптического потока затем может использоваться, чтобы отслеживать эти точки между кадрами (или изображениями). Точки могут повторно проверяться через каждые несколько кадров, чтобы предотвращать смещение. Такой способ позволяет более точно предполагать позу объекта внутри изображений и, кроме того, позволяет, чтобы вероятностные диаграммы обеспечивались на основании определенной позы. Такой способ определения позы повышает гибкость системы и является особенно полезным для определения позы объектов из видео.
Первоначально серверный блок 30 осуществляет анализ входящих изображений и предварительно обрабатывает их 320, чтобы нормировать освещение, детектировать и удалять структуры в изображениях, вносимые от CCD-датчиков (устройство с зарядовой связью) или подобных, таких как активные датчики пикселей (APS) (формирователь сигналов изображения), корректирует бочкообразное искажение или другие известные искажения. Из этих отфильтрованных изображений сервер 30 затем определяет, что, вероятно, будет предпочтительнее представлением объекта 110, чем фоном или шумом 330-360.
Чтобы определить местоположение объекта внутри изображения, сервер 30 применяет различные способы 330 сегментации изображения, которые были выбраны заранее для конкретной позы. Они могут включать в себя настраиваемые вручную или автоматически способы, которые выдадут лучшие результаты в конкретных областях изображения, а также более общие способы, и могут использовать и предварительно визуализированную вероятностную диаграмму 160, и предварительно обработанное исходное изображение(я). Способы сегментации могут также совместно использовать результаты с другими способами сегментации (например, детектор кисти может уменьшить пространство поиска, требуемое детектором руки). Результаты каждого способа сегментации объединяются 340, позволяя серверу формировать первую оценку о форме (объекта) предмета. Предварительно визуализированные вероятностные диаграммы 160 могут дополнительно использоваться, чтобы уточнить идентифицированный контур, помогая удалению объектов фона, которые могли быть некорректно идентифицированными. Например, анализ цветового распределения может идентифицировать цвет (например, красный) в качестве показательного для объекта, однако если фон будет содержать идентичный цвет, он будет идентифицирован в качестве показательного для объекта, если основан только на одном цветовом распределении. Объединением цветового распределения с вероятностной диаграммой такие характеристики фона могут быть устранены.
Как только первая оценка формы тела объекта была определена и создана уникальная вероятностная диаграмма, система предпринимает следующий этап, чтобы компенсировать переменные условия освещения в исходных изображениях, которые влияют на резкость линии. Чтобы компенсировать эту переменную резкость линии, система «сознательно» размывает края, присутствующие в вероятностной диаграмме 410. Это размытие обычно имеет значение порядка 1 или 2 пикселей (по существу линия без контурных неровностей) и может быть объединено с повышающим масштабированием (укрупнением) вероятностных диаграмм для большей точности.
Размытием краев сформированной вероятностной диаграммы системе помогают в определении направления пикселей относительно ожидаемой позиции объекта 420. Поскольку вероятностной диаграммой является высококонтрастное полутоновое изображение, система может идентифицировать области (неопределенных пикселей), где происходит изменение наивысшей контрастности, и назначить направленность этому изменению и этим пикселям. Это направление является нормалью к краям вероятностных диаграмм и идентифицирует направление объекта (белизна вероятностных диаграмм) во всех пикселях внутри неопределенных (размытых) краевых точек.
Как только определена направленность неопределенного пикселя, она может быть применена к первоначальному RGB изображению, чтобы найти области (пикселей) с наивысшей контрастностью, то есть где градиент между соседними пикселями имеет наибольшее значение 430. Это определение позволяет, что граница объекта в RGB изображении будет определяться точно внутри разрешения в один пиксель. Кроме того, улучшенное субпиксельное разрешение может быть получено путем сравнения граничного пикселя с соседними пикселями для получения индикации истинной граничной позиции 440. Этого можно добиться определением цветового градиента между граничным пикселем и соседним пикселем и назначением оценки истинной граничной позиции в точке, где градиент является наибольшим. Указание истинной оценки граничной позиции дается согласно: , где b - истинная оценка границы, cB - интенсивность для текущего пикселя, cA - интенсивность предыдущего пикселя вдоль вектора, и cC - интенсивность следующего пикселя вдоль вектора. Этот этап представляет этап точного обратного устранения контурных неровностей для двух блоков сплошного (чистого) цвета и, следовательно, является особенно полезным для принятия во внимание контурных неровностей, вносимых датчиками CCD.
Как только граница была определена в RGB изображении, эта информация затем используется в вероятностной диаграмме, чтобы обеспечить точное представление края сформированной вероятностной диаграммы 450. Шум, вносимый процессом идентификации краев, может быть уменьшен размытием идентифицированного края на ±1 пиксель и повторным сглаживанием 460. Конечный результат для этой стадии является последовательностью точных, специфических для ввода вероятностных диаграмм 470, по одной на одно исходное изображение 150.
С помощью последовательности точных, специфических для ввода вероятностных диаграмм теперь возможно выполнять отображение этих вероятностных диаграмм на предварительно вычисленные средние формы тела, чтобы предпринять усилие сформировать окончательную трехмерную форму тела для объекта. Это осуществляется с использованием базы данных, содержащей предварительно вычисленную среднюю форму тела, и извлеченные главные компоненты «Векторов тела», которые сохраняются на сервере, как изложено ниже. «Вектор тела» или Eigenbody (собственное тело) является подобным известному термину Eigenvector (собственный вектор) или Eigenface (собственная поверхность) и является представлением того, каким образом тело может изменяться (увеличение размера бедер приводит к соответствующему увеличению размера бюста и т.д.). Это вычисляется заранее с использованием анализа главных компонент. Например, конкретное изображение тела может содержать среднюю форму тела плюс 60% вектора 1 тела, -12% вектора 2 тела и 18% вектора 3 тела. Это дает возможность сохранения математического представления скан-изображения тела без сохранения непосредственно скан-изображения. Кроме того, поза предварительно вычисленного среднего тела может быть выбрана или вычислена, чтобы соответствовать позе объекта, как предварительно определено.
Эта база данных изменений параметров тела предварительно загружается посредством сервера 500. Когда принимается 515 последовательность уникальных вероятностных диаграмм, сервер выполнит поиск по пространству тел (возможные тела, сформированные из комбинаций среднего тела и вектора тела), чтобы найти лучшее отображение 530-575. Первоначально векторам тела назначаются вклады в нуль (создание среднего тела без вариации), и воспринимаемые значения по умолчанию на одну позу назначаются переменным камеры и позы (например, позиция камеры, расстояние между руками) 530. Эти значения по умолчанию могут быть изменены согласно характеристикам, идентифицированным согласно способам сегментации 330. Соответствующее тело визуализируется для каждой позы 541, и эти визуализации сравниваются с уникальными вероятностными диаграммами 542. Используемая функция расстояния может быть простой средней абсолютной разностью на один пиксель или чем-то более сложным, таким как сумма минимального расстояния между краевыми пикселями. Множество способов можно использовать вместе, например, используя минимальное расстояние между краевыми пикселями, чтобы определять атрибуты позы и камеры, затем используя среднюю абсолютную разность, чтобы уточнить форму тела. Эти способы могут извлекать пользу из предварительного кэширования значений 520 для улучшения времен отклика.
Путем многократного изменения некоторых атрибутов (таких как вклады вектора тела) и повторного измерения расстояния между визуализируемыми скан-изображениями и наблюдаемыми уникальными вероятностными диаграммами 540-575 могут итеративно уточняться векторы тела, переменные позы и атрибуты камеры. Обычно это включает в себя выборку нескольких вариаций 550, затем подбор простой математической формы (такой как парабола) к расстояниям, чтобы идентифицировать вероятное минимальное расстояние. Значения в этом минимуме затем могут проверяться, и выбирается глобальный минимум из всех выборок 560, затем пространство поиска уменьшается, и процесс повторяется. Как только пространство поиска становится достаточно малым, процесс завершается, и окончательные значения представляют лучшее отображение 580. Обычно этот этап оптимизации будет повторяться несколько раз, всякий раз с некоторыми переменными - "блокированными", и остальными - "свободными", например начальный поиск может блокировать все вклады вектора тела, изменяя только атрибут камеры и переменные позы, и за этим может следовать блокировка камеры, при уточнении при этом первых 5 векторов тела и грубой позы, и т.д.
Окончательная форма тела, поза и атрибуты камеры будут выдавать контур, который наиболее близко напоминает уникальные вероятностные диаграммы. Может цениться, что в системах с известными аппаратными средствами атрибуты камеры могут быть известными заранее и не потребуют включения в этот процесс. Кроме того, в системах с множественными камерами может быть известным, что поза объекта является идентичной по нескольким изображениям, и может использоваться «глобальная» поза (а не одно изображение).
Когда итеративный поиск завершен и определено лучшее отображение, сервер может сохранить данные трехмерного тела согласно своим вкладам вектора тела. Измерения, относящиеся к трехмерной форме тела, можно извлекать, используя справочную таблицу 580 на основании средней формы тела и вкладов вектора тела. Такие измерения могут включать в себя физические измерения, такие как окружность талии, окружность грудной клетки и т.д., а также более абстрактную информацию, такую как пол, возраст и т.д. Источником этой справочной таблицы являются известные эмпирические размеры тела, сформированные от прецизионных и точных сканеров всего тела, обычно используемых в больничных условиях. Вычисленный контур лучшего соответствия может затем подаваться обратно в предварительно визуализированные вероятностные диаграммы, потенциально повышая точность этапов сегментации в будущих использованиях.
Как только была вычислена истинная аппроксимация трехмерной формы тела для объекта, форма тела и соответствующие измерения могут быть увеличены в масштабе до размера объекта, принимая во внимание их введенный рост или другую калибровочную информацию 585, хотя это может также выполняться клиентом 285 на более поздней стадии. Наконец, трехмерное скан-изображение и/или измерения могут визуально отображаться объекту 290.
Claims (41)
1. Способ формирования трехмерных данных тела для объекта,
причем упомянутый способ содержит этапы:
i) захвата одного или более исходных изображений объекта с использованием цифрового устройства формирования изображений;
ii) разбиения одного или более исходных изображений на множество сегментов или распределений вероятностей с использованием двух или более результатов из одного или более способов сегментации, эвристических правил и/или предопределенных отображений;
iii) объединения, с использованием взвешивания способов сегментации в областях расхождения, результатов каждого способа сегментации на этапе ii) для создания для каждого исходного изображения одной уникальной вероятностной диаграммы, представляющей объект;
iv) сравнения одной или более уникальных вероятностных диаграмм с базой данных представлений трехмерных тел для определения ближайшего соответствия или лучшего отображения между данной или каждой уникальной вероятностной диаграммой и представлением, определяемым из базы данных, причем сравнение одной или более уникальных вероятностных диаграмм с базой данных представлений трехмерных тел для определения ближайшего соответствия или лучшего отображения содержит этапы, на которых:
v) формируют среднее трехмерное изображение тела из базы данных представлений трехмерных тел;
vi) формируют по меньшей мере один контур среднего трехмерного изображения тела; и
vii) сравнивают контур с одной или более уникальных вероятностных диаграмм для объекта и определяют степень соответствия;
viii) формируют трехмерные данные тела и/или измерения для объекта на основании лучшего отображения,
причем способ дополнительно содержит этапы, на которых:
ix) изменяют трехмерное изображение тела и/или сформированные контуры для учета факторов формирования изображений, присутствующие в пределах одного или более изображений объекта.
2. Способ по п. 1, дополнительно содержащий до разбиения упомянутого одного из более исходных изображений применение одной или более стадий предварительной обработки к одному или нескольким исходным изображениям для улучшения имеющихся данных до сегментации.
3. Способ по п. 1, в котором объединение результатов каждого способа сегментации содержит использование математических уравнений и/или эвристических правил.
4. Способ по п. 1, в котором формирование трехмерных данных тела и/или измерений дополнительно содержит вывод трехмерных данных тела для объекта или других персональных метрик на основании лучшего отображения от этапа iv).
5. Способ по п. 1, дополнительно содержащий этап:
после захвата упомянутого одного или более изображений предоставление одной диаграммы или более вероятностных диаграмм, которые идентифицируют ожидаемую форму и позу объекта в одном или более изображениях и/или предоставление последовательности способов сегментации для применения в соответствии с ожидаемой формой и позой объекта в каждом изображении.
6. Способ по п. 5, дополнительно содержащий этап:
определения определенной позы объекта и предоставления одной или более вероятностных диаграмм на основании определенной позы.
7. Способ по п. 1, в котором присутствующими факторами формирования изображений являются по меньшей мере одно из: «тангажа» камеры; «рыскания» камеры; расстояния от камеры (до объекта) и бочкообразного искажения.
8. Способ по п. 1, дополнительно содержащий этапы:
определения немасштабированных измерений для лучшего соответствия на основании справочной таблицы известных измерений трехмерных изображений тела; и
масштабирования измерений лучшего соответствия или скан-изображения на основании опорных данных, предоставленных объектом, упомянутые опорные данные являются одними или несколькими из: высоты объекта; расстояния между объектом и камерой; ссылки на калиброванный известный предмет.
9. Способ по п. 1, в котором разбиение одного или более изображений на множество сегментов содержит этап:
сравнения позиции пикселей в данном или каждом изображении с их соответствующими позициями на вероятностных диаграммах, чтобы определить вероятность того, что пиксель представляет объект в изображении.
10. Способ по п. 1, в котором разбиение одного или более изображений на множество сегментов содержит этап:
взвешивания пикселей в данном или каждом изображении согласно соответствующим позициям на вероятностных диаграммах, чтобы сформировать соответствующее взвешенное изображение, и идентификации цветов и/или пространственного распределения в пределах этих взвешенных изображений.
11. Способ по п. 1, в котором после этапа iii) способ дополнительно содержит этап:
добавления области неопределенности вокруг краев одной или более уникальных вероятностных диаграмм, чтобы компенсировать переменную резкость линии, чтобы создать границу из неопределенных пикселей;
идентификации градиента для краев одной или более уникальных вероятностных диаграмм, чтобы определить направление объекта в каждом неопределенном пикселе, для создания соответствующей векторной вероятностной диаграммы контура;
применения векторной вероятностной диаграммы контура к изображению, чтобы определить точки с наивысшей контрастностью; и
идентификации в упомянутой точке наивысшей контрастности граничного пикселя, находящегося на границе объекта.
12. Способ по п. 1, в котором идентифицируют цветовое распределение в пределах взвешенных изображений, и идентификация цветового распределения дополнительно содержит этапы:
выборки пикселей изображения, чтобы идентифицировать их цвета;
и отображения позиции выбранных пикселей на предварительно визуализированную вероятностную диаграмму, чтобы определить ожидаемый цвет для этой области вероятностной диаграммы.
13. Способ по п. 12, в котором идентификация цветового распределения дополнительно содержит этапы:
получения распределения вероятностей для цвета пикселей внутри всех упомянутых сегментов изображения; и
формирования многомерного (многовариантного) распределения вероятностей для изображения по интенсивности, цвету и/или пространственному объему.
14. Способ по п. 1, дополнительно содержащий этап:
сравнения распределения вероятностей с ожидаемым цветом для соответствующих областей вероятностной диаграммы, чтобы определить вероятность того, что пиксель представляет объект.
15. Способ по п. 1, в котором на этапе iii) информация используется для взвешивания способов сегментации в областях расхождения.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1209382.9 | 2012-05-25 | ||
GBGB1209382.9A GB201209382D0 (en) | 2012-05-25 | 2012-05-25 | Body measurement |
PCT/GB2013/051371 WO2013175228A1 (en) | 2012-05-25 | 2013-05-24 | Body measurement |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2014152713A RU2014152713A (ru) | 2016-07-20 |
RU2635226C2 true RU2635226C2 (ru) | 2017-11-09 |
Family
ID=46546015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2014152713A RU2635226C2 (ru) | 2012-05-25 | 2013-05-24 | Измерение тела |
Country Status (10)
Country | Link |
---|---|
US (1) | US8842906B2 (ru) |
EP (1) | EP2856426B1 (ru) |
JP (1) | JP6368709B2 (ru) |
CN (1) | CN104508704B (ru) |
BR (1) | BR112014029372B1 (ru) |
ES (1) | ES2797537T3 (ru) |
GB (1) | GB201209382D0 (ru) |
IL (1) | IL235860B (ru) |
RU (1) | RU2635226C2 (ru) |
WO (1) | WO2013175228A1 (ru) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201209382D0 (en) | 2012-05-25 | 2012-07-11 | Poikos Ltd | Body measurement |
EP3097384A4 (en) | 2014-01-21 | 2017-09-20 | My Size Israel 2014 Ltd. | Method and system for measuring a path length using a handheld electronic device |
JP6547282B2 (ja) * | 2014-11-28 | 2019-07-24 | 東芝エネルギーシステムズ株式会社 | 医用画像生成装置、方法、及びプログラム |
MA41117A (fr) * | 2014-12-05 | 2017-10-10 | Myfiziq Ltd | Imagerie d'un corps |
CN106264537B (zh) * | 2015-05-25 | 2020-02-18 | 杭州海康威视系统技术有限公司 | 图像中人体姿态高度的测量系统及方法 |
US10521429B2 (en) * | 2015-06-09 | 2019-12-31 | Microsoft Technology Licensing, Llc. | Interactive graphical system for estimating body measurements |
US9443316B1 (en) | 2015-07-21 | 2016-09-13 | Sony Corporation | Semi-automatic image segmentation |
BR112018016910A2 (pt) * | 2016-02-19 | 2018-12-26 | Koninklijke Philips Nv | sistema de tratamento, método para determinar a posição de um dispositivo de tratamento de um sistema de tratamento, e produto de programa de computador |
CN107507213A (zh) * | 2016-06-13 | 2017-12-22 | 北京理工大学 | 一种基于消失点提取图像信息的方法及装置 |
US10303417B2 (en) | 2017-04-03 | 2019-05-28 | Youspace, Inc. | Interactive systems for depth-based input |
US10303259B2 (en) | 2017-04-03 | 2019-05-28 | Youspace, Inc. | Systems and methods for gesture-based interaction |
US10437342B2 (en) | 2016-12-05 | 2019-10-08 | Youspace, Inc. | Calibration systems and methods for depth-based interfaces with disparate fields of view |
US10867374B2 (en) * | 2017-02-13 | 2020-12-15 | Sensors Unlimited, Inc. | Auto-focusing system and method by determining contrast difference between adjacent pixels using sobel filter |
US10706262B2 (en) | 2018-01-08 | 2020-07-07 | 3DLOOK Inc. | Intelligent body measurement |
US10321728B1 (en) * | 2018-04-20 | 2019-06-18 | Bodygram, Inc. | Systems and methods for full body measurements extraction |
US10832472B2 (en) | 2018-10-22 | 2020-11-10 | The Hong Kong Polytechnic University | Method and/or system for reconstructing from images a personalized 3D human body model and thereof |
WO2020141751A1 (ko) * | 2019-01-03 | 2020-07-09 | 주식회사 미즈 | 신체 사이즈 측정용 사진 획득 방법 및 이를 이용한 신체 사이즈 측정 방법, 서버 및 프로그램 |
KR102132721B1 (ko) * | 2019-01-03 | 2020-07-10 | (주) 아이딕션 | 신체 사이즈 측정용 사진 획득 방법 및 이를 이용한 신체 사이즈 측정 방법, 서버 및 프로그램 |
CN110110235B (zh) * | 2019-05-14 | 2021-08-31 | 北京百度网讯科技有限公司 | 用于推送信息的方法和装置 |
CN114375177A (zh) * | 2019-09-01 | 2022-04-19 | Lg电子株式会社 | 身体测量装置及其控制方法 |
CN111079575B (zh) * | 2019-11-29 | 2023-06-23 | 拉货宝网络科技有限责任公司 | 一种基于包装图像特征的物料识别方法及系统 |
CN111199576B (zh) * | 2019-12-25 | 2023-08-18 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于移动平台的室外大范围人体姿态重建方法 |
EP3846123B1 (en) * | 2019-12-31 | 2024-05-29 | Dassault Systèmes | 3d reconstruction with smooth maps |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5680528A (en) * | 1994-05-24 | 1997-10-21 | Korszun; Henry A. | Digital dressing room |
US20040013295A1 (en) * | 2002-03-15 | 2004-01-22 | Kohtaro Sabe | Obstacle recognition apparatus and method, obstacle recognition program, and mobile robot apparatus |
RU2270593C2 (ru) * | 2004-03-10 | 2006-02-27 | Хокурику Стр Кооператив | Способ формирования предмета одежды, соответствующего форме тела индивидуума |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3585703B2 (ja) * | 1997-06-27 | 2004-11-04 | シャープ株式会社 | 画像処理装置 |
JP4438971B2 (ja) * | 1999-10-20 | 2010-03-24 | グンゼ株式会社 | データ立体化装置及びデータ立体化プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US6763148B1 (en) * | 2000-11-13 | 2004-07-13 | Visual Key, Inc. | Image recognition methods |
US7130484B2 (en) * | 2001-10-15 | 2006-10-31 | Jonas August | Biased curve indicator random field filters for enhancement of contours in images |
JP3861781B2 (ja) * | 2002-09-17 | 2006-12-20 | 日産自動車株式会社 | 前方車両追跡システムおよび前方車両追跡方法 |
US9820658B2 (en) * | 2006-06-30 | 2017-11-21 | Bao Q. Tran | Systems and methods for providing interoperability among healthcare devices |
US7840898B2 (en) * | 2005-11-01 | 2010-11-23 | Microsoft Corporation | Video booklet |
FR2914466B1 (fr) * | 2007-04-02 | 2009-06-12 | Inst Nat Rech Inf Automat | Dispositif de traitement d'images pour la mise en correspondance d'images d'une meme portion d'un corps obtenues par resonance magnetique et par ultrasons. |
US7623625B2 (en) * | 2007-04-11 | 2009-11-24 | Searete Llc | Compton scattered X-ray visualization, imaging, or information provider with scattering event locating |
CN101611939B (zh) * | 2008-06-26 | 2012-05-23 | 上海一格信息科技有限公司 | 三维人体图像数据网络远程智能化测试方法 |
US9182814B2 (en) * | 2009-05-29 | 2015-11-10 | Microsoft Technology Licensing, Llc | Systems and methods for estimating a non-visible or occluded body part |
CN102175179A (zh) * | 2011-02-23 | 2011-09-07 | 东南大学 | 一种人体表面轮廓三维重建的方法与装置 |
GB201209382D0 (en) | 2012-05-25 | 2012-07-11 | Poikos Ltd | Body measurement |
-
2012
- 2012-05-25 GB GBGB1209382.9A patent/GB201209382D0/en not_active Ceased
- 2012-08-08 US US13/569,504 patent/US8842906B2/en active Active
-
2013
- 2013-05-24 ES ES13728505T patent/ES2797537T3/es active Active
- 2013-05-24 JP JP2015513274A patent/JP6368709B2/ja active Active
- 2013-05-24 WO PCT/GB2013/051371 patent/WO2013175228A1/en active Application Filing
- 2013-05-24 CN CN201380039600.2A patent/CN104508704B/zh active Active
- 2013-05-24 BR BR112014029372-4A patent/BR112014029372B1/pt active IP Right Grant
- 2013-05-24 EP EP13728505.2A patent/EP2856426B1/en active Active
- 2013-05-24 RU RU2014152713A patent/RU2635226C2/ru active
-
2014
- 2014-11-23 IL IL235860A patent/IL235860B/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5680528A (en) * | 1994-05-24 | 1997-10-21 | Korszun; Henry A. | Digital dressing room |
US20040013295A1 (en) * | 2002-03-15 | 2004-01-22 | Kohtaro Sabe | Obstacle recognition apparatus and method, obstacle recognition program, and mobile robot apparatus |
RU2270593C2 (ru) * | 2004-03-10 | 2006-02-27 | Хокурику Стр Кооператив | Способ формирования предмета одежды, соответствующего форме тела индивидуума |
Non-Patent Citations (3)
Title |
---|
Alexandru O Balan: "Detailed Human Shape and Pose from Images", Doctoral Thesis, 01.05.2010. * |
Alexandru O Balan: "Detailed Human Shape and Pose from Images", Doctoral Thesis, 01.05.2010. Mittal A. et al. "Human body pose estimation using silhouette shape analysis", ADVANCED VIDEO AND SIGNAL BASED SURVELLANCE, 2003. PROCEEDINGS IEEE CONFERENCE ON 21-22 JULY 2003, PISCATAWAY, NJ, USA, IEEE, 21.07.2003. * |
Mittal A. et al. "Human body pose estimation using silhouette shape analysis", ADVANCED VIDEO AND SIGNAL BASED SURVELLANCE, 2003. PROCEEDINGS IEEE CONFERENCE ON 21-22 JULY 2003, PISCATAWAY, NJ, USA, IEEE, 21.07.2003. * |
Also Published As
Publication number | Publication date |
---|---|
GB201209382D0 (en) | 2012-07-11 |
CN104508704A (zh) | 2015-04-08 |
IL235860A0 (en) | 2015-01-29 |
IL235860B (en) | 2018-12-31 |
JP6368709B2 (ja) | 2018-08-01 |
JP2015527625A (ja) | 2015-09-17 |
EP2856426B1 (en) | 2020-02-26 |
RU2014152713A (ru) | 2016-07-20 |
ES2797537T3 (es) | 2020-12-02 |
WO2013175228A1 (en) | 2013-11-28 |
EP2856426A1 (en) | 2015-04-08 |
BR112014029372A8 (pt) | 2018-04-03 |
US20130315470A1 (en) | 2013-11-28 |
US8842906B2 (en) | 2014-09-23 |
BR112014029372B1 (pt) | 2021-10-05 |
CN104508704B (zh) | 2018-12-04 |
BR112014029372A2 (pt) | 2017-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2635226C2 (ru) | Измерение тела | |
US11253171B2 (en) | System and method for patient positioning | |
US11576645B2 (en) | Systems and methods for scanning a patient in an imaging system | |
US11087169B2 (en) | Image processing apparatus that identifies object and method therefor | |
EP3144899B1 (en) | Apparatus and method for adjusting brightness of image | |
US11576578B2 (en) | Systems and methods for scanning a patient in an imaging system | |
US6571003B1 (en) | Skin imaging and analysis systems and methods | |
US20120121154A1 (en) | Method and System for Propagation of Myocardial Infarction from Delayed Enhanced Cardiac Imaging to Cine Magnetic Resonance Imaging Using Hybrid Image Registration | |
CN111353506A (zh) | 自适应的视线估计方法和设备 | |
JP2004041694A (ja) | 画像生成装置およびプログラム、画像選択装置、画像出力装置、画像提供サービスシステム | |
JP5751865B2 (ja) | 顔画像処理装置 | |
JP2009211151A (ja) | 顔画像処理装置 | |
JP2004008419A (ja) | 解剖学的特徴位置検出装置および被写体構造計測装置 | |
JP2017192691A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US9924865B2 (en) | Apparatus and method for estimating gaze from un-calibrated eye measurement points | |
Kopaczka et al. | Super-realtime facial landmark detection and shape fitting by deep regression of shape model parameters | |
JP6645442B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP7234086B2 (ja) | 生体情報取得装置およびプログラム | |
Senanayake et al. | Automated human body measurement extraction: single digital camera (webcam) method–phase 1 | |
Han et al. | Guided filtering based data fusion for light field depth estimation with L0 gradient minimization | |
JP2021009493A (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
US12014447B2 (en) | Method and system for dynamic cropping of full body pose images | |
US20230316638A1 (en) | Determination Of Illumination Parameters In Medical Image Rendering | |
US20230009652A1 (en) | Determining Spatial Relationship Between Upper Teeth and Facial Skeleton | |
Raju et al. | Enhanced Visual Integration of Medical Images based on Gaussian of Differences |