RU2567213C2 - Выравнивание упорядоченного стека изображений образца - Google Patents

Выравнивание упорядоченного стека изображений образца Download PDF

Info

Publication number
RU2567213C2
RU2567213C2 RU2012120866/08A RU2012120866A RU2567213C2 RU 2567213 C2 RU2567213 C2 RU 2567213C2 RU 2012120866/08 A RU2012120866/08 A RU 2012120866/08A RU 2012120866 A RU2012120866 A RU 2012120866A RU 2567213 C2 RU2567213 C2 RU 2567213C2
Authority
RU
Russia
Prior art keywords
image
aligned
images
mismatch
alignment
Prior art date
Application number
RU2012120866/08A
Other languages
English (en)
Other versions
RU2012120866A (ru
Inventor
Рик Е. Й. КНЕПКЕНС
Original Assignee
Конинклейке Филипс Электроникс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Конинклейке Филипс Электроникс Н.В. filed Critical Конинклейке Филипс Электроникс Н.В.
Publication of RU2012120866A publication Critical patent/RU2012120866A/ru
Application granted granted Critical
Publication of RU2567213C2 publication Critical patent/RU2567213C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Изобретение относится к области техники выравнивания упорядоченного стека изображений разрезанного образца. Техническим результатом является повышение точности выравнивания каждого изображения образца, разделенного на части. В соответствии с настоящим способом и устройством, упорядоченный стек изображений выравнивается посредством последовательного определения, по меньшей мере, для двух уже выровненных изображений упорядоченного стека соответствующих рассогласований с невыровненным изображением, которое должно быть выровнено следующим, выбора, по меньшей мере, из двух выровненных изображений, в качестве опорного изображения, выровненного изображения, с которым невыровненное изображение имеет наименьшую величину рассогласования, и выравнивания невыровненного изображения с выбранным опорным изображением. 3 н. и 11 з.п. ф-лы, 3 ил.

Description

2420-183949RU/035
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к области техники выравнивания упорядоченного стека изображений образца и более конкретно к способу и устройству для выравнивания упорядоченного стека изображений образца, разделенного на части.
УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ
Образцы разделяются на части и отображаются в целях анализа, а также обучения. При использовании стека изображений, которые описывают образец, разделенный на части, можно создавать искусственные представления этого образца для анализа структуры и анатомии образца. После нарезки образца в лаборатории, например, из парафинового блока теряется общая система координат образца, разделенного на части, что приводит к рассогласованию в изображениях стека. Этот изъян влечет за собой линейные и угловые расхождения между изображениями стека. Другой источник рассогласования может происходить из подготовки среза, которая основана на этапах, выполняемых вручную. Может происходить линейное смещение, изменение масштаба и растяжение. Кроме того, могут быть обнаружены такие деформации, как растянутая ткань, нарушенная ткань и отсутствующая ткань.
Для выравнивания гистологических срезов образца в цифровом представлении то есть, после отображения, требуется нейтрализовать результаты процесса деформации, а также изъян общей системы координат. Типичным решением для выравнивания является добавление маркеров в виде искусственных проверочных точек в блоке образца во время подготовки, например, посредством помещения маркеров в парафин, которые обнаруживаются после отображения. Затем позиции этих маркеров могут быть использованы для вычисления параметров преобразования. Однако такие дополнительные маркеры влекут за собой дополнительный этап подготовки. Кроме того, объем памяти для хранения изображений после преобразования в цифровую форму увеличивается в связи с тем, что отображается дополнительная область для захвата маркеров, которые добавляются к реальному образцу. Следовательно, желательно выровнять упорядоченный стек изображений без использования дополнительных маркеров в блоке образца.
В статье "Компьютерное выравнивание и реконструкция последовательных сечений", Джон К. Фиэла и Кирстен М. Харрис, Бостонский Университет, журнал Микроскопия и анализ, страницы 5-7, январь 2002, описывается способ выравнивания последовательности изображений без необходимости добавления дополнительных маркеров в блок образца. Для выравнивания изображения преобразуются посредством вычисления из ряда точечных соответствий, введенных пользователем. Для выравнивания последовательности изображений процесс выравнивания повторяется, причем изображение, которое должно быть выровнено следующим, выравнивается с изображением, выровненным непосредственно перед ним.
Дополнительно к вышеупомянутой ссылке, дополнительные ссылки упоминаются в следующих абзацах:
Figure 00000001
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Однако без использования дополнительных маркеров в блоке образца различные локальные деформации, такие как отсутствующая и нарушенная ткани, делают сложным надежное выравнивание каждого изображения образца, разделенного на части.
Учитывая большой размер изображений патологической анатомии, как правило, 64 тыс.×64 тыс. пикселов, для автоматизированного выравнивания становятся критическими требования по вычислениям. Следовательно, очень желательны быстрые процедуры выравнивания, которые упрощают требования по вычислениям.
Предпочтительно достигнуть способа выравнивания упорядоченного стека изображений образца и достигнуть устройства выравнивания, которые позволяют надежное выравнивание упорядоченного стека изображений и которые могут позволить быстрое выравнивание с низкими требованиями по вычислениям.
Для лучшего устранения одной или более из этих проблем в первом аспекте изобретения представлен способ выравнивания упорядоченного стека изображений образца, содержащий последовательные этапы: a) определения, по меньшей мере, для двух уже выровненных изображений упорядоченного стека соответствующих рассогласований с невыровненным изображением, которое должно быть выровнено следующим в упорядоченном стеке; b) выбора в качестве опорного изображения, по меньшей мере, из двух выровненных изображений выровненного изображения, имеющего наименьшую величину рассогласований с невыровненным; и c) выравнивания невыровненного изображения относительно выбранного опорного изображения.
Для дальнейшего устранения одной или более из этих проблем во втором аспекте настоящего изобретения представлено устройство для выравнивания упорядоченного стека изображений образца, содержащее следующие устройства: блок определения для определения, по меньшей мере, для двух уже выровненных изображений упорядоченного стека соответствующих рассогласований с невыровненным изображением, которое должно быть выровнено в упорядоченном стеке следующим; блок выбора для выбора, по меньшей мере, из двух выровненных изображений, в качестве опорного изображения, выровненного изображения, которое имеет наименьшую величину рассогласований с невыровненным изображением; и блок выравнивания для выравнивания невыровненного изображения с выбранным опорным изображением.
Определение, по меньшей мере, двух рассогласований для каждого изображения, которые должны быть выровнены, может обеспечивать надежный способ выравнивания. Выбор в качестве опорного изображения для выравнивания выровненного изображения, обеспечивающего наименьшую величину рассогласований, также может гарантировать надежный способ выравнивания. Одно лишь выравнивание невыровненного изображения с выбранным опорным изображением, что подразумевает исключительно одно затратное в вычислительном отношении преобразование из невыровненного изображения в выровненное изображение, может обеспечить упрощенные требования по вычислениям и, дополнительно, может позволить быстрое выравнивание.
В соответствии, по меньшей мере, с одним вариантом осуществления, соответствующие рассогласования определяются посредством оценки движения так, чтобы каждое рассогласование описывалось посредством области оценочного смещения. Это может позволить быстрое определение соответствующих рассогласований и достигнуть упрощенных требований по вычислениям.
В соответствии, по меньшей мере, с одним вариантом осуществления, область смещения включает в себя, по меньшей мере, один вектор смещения, описывающий то, как сдвинуть пиксели в изображении, которое должно быть выровнено, для выравнивания этого изображения с выбранным опорным изображением. Также это может позволить быстрое определение соответствующих рассогласований и достигнуть упрощенных требований вычислительных ресурсов.
В соответствии, по меньшей мере, с одним вариантом осуществления, выровненные изображения и невыровненное изображение, которое должно быть выровнено следующим, разделяются на блоки, и соответствующие области смещения получаются посредством алгоритма поблочного сравнения. Это может дополнительно повысить надежность выравнивания.
В соответствии, по меньшей мере, с одним вариантом осуществления, соответствующая величина рассогласований вычисляется на основе соответствующей ошибки сравнения между соответствующим выровненным изображением и невыровненным изображением, которое должно быть выровнено следующим, причем соответствующие ошибки вычисляются на основе предварительно определенного критерия сравнения, и причем выровненное изображение, имеющее наименьшую ошибку соответствия, выбирается в качестве опорного изображения. Этот признак также может позволить быстро определять соответствующие рассогласования и достигать упрощенных требований вычислительных ресурсов.
В соответствии, по меньшей мере, с одним вариантом осуществления, выравнивание невыровненного изображения с выбранным опорным изображением включает в себя преобразование невыровненного изображения на основе параметров преобразования, описывающих то, как невыровненное изображение должно быть преобразовано для достижения выравнивания с выбранным опорным изображением, и причем для каждого этапа выравнивания преобразуется исключительно соответствующее невыровненное изображение, выравнивание которого выполняется в настоящий момент. Этот признак может позволить уменьшить затраты на вычислительных ресурсов, связанные с преобразованием невыровненного изображения в изображение, выровненное с выбранным опорным изображением.
В соответствии, по меньшей мере, с одним вариантом осуществления, невыровненное изображение, которое должно быть выровнено следующим, будет удалено из упорядоченного стека изображений, если вся величина определенных рассогласований будет выше заданного порогового значения, и, в таком случае, удаленное изображение может, в некоторых случаях, быть дополнительно заменено посредством интерполирования уже выровненных изображений, и/или выровненное изображение не будет использовано для дальнейших этапов определения рассогласований, если величина его рассогласований на текущем этапе определения рассогласования будет выше заданного порогового значения в отличие от оставшейся величины рассогласований. Этот признак может позволить увеличить надежность выравнивания и уменьшить чувствительность выравнивания относительно локальных деформаций.
В соответствии, по меньшей мере, с одним вариантом осуществления, перед определением соответствующих рассогласований, по меньшей мере, одно из изображений преобразуется в другое пространство сигналов так, чтобы все изображения находились в совместимом пространстве сигналов. Этот признак может позволить выравнивать изображения различной окраски при сохранении простого критерия сравнения. Этот признак также может позволить использовать пространство сигналов, которое позволяет улучшать или дополнительно упрощать определение рассогласований.
В соответствии, по меньшей мере, с одним вариантом осуществления, устройство включает в себя блок оценки движения для определения соответствующих рассогласований посредством оценки движения так, чтобы каждое рассогласование было описано посредством предполагаемой области смещения. Блок оценки движения может позволить быстрое и эффективное в вычислительном отношении определение величины рассогласований.
В соответствии, по меньшей мере, с одним вариантом осуществления, соответствующие рассогласования определяются посредством распознавания объектов. Этот признак может позволить дополнительно увеличить надежность процесса выравнивания.
В соответствии, по меньшей мере, с одним вариантом осуществления, соответствующие рассогласования определяются посредством оценки движения так, чтобы каждое рассогласование было описано как область оценочного смещения, а если неоднократно возникает большая величина рассогласований, то тогда рассогласования определяются посредством распознавания объектов вместо оценки движения. Этот признак может позволить автоматически переключаться между быстрым и простым процессом определения рассогласования, который основан на оценке движения, и более сложным и надежным процессом определения рассогласования, который основан на распознавании объектов так, чтобы соотношение между надежностью и затратами вычислительных ресурсов для выравнивания было оптимизировано при изучении рассогласований, определенных в предшествующих повторениях выравнивания.
Все вышеупомянутые этапы способа предназначены для выполнения их автоматически или, по меньшей мере, частично автоматически.
Дополнительные варианты осуществления получаются посредством комбинирования двух или более отдельных признаков, заявленных в вышеизложенных абзацах, каждый из которых начинается «в соответствии, по меньшей мере, с одним вариантом осуществления». Следовательно, эти вышеизложенные параграфы не должны интерпретироваться так, что вариант осуществления может содержать исключительно отдельные признаки вышеизложенных признаков. Дополнительные варианты осуществления устройства соответствующим образом получаются таким образом, чтобы любое устройство, которое приспособлено для выполнения способа, представляющего вариант осуществления, также являлось вариантом осуществления.
Кроме того, настоящее изобретение относится к компьютерному программному продукту, позволяющему процессору выполнять вышеизложенные этапы способа, и относится к носителю информации, на котором сохраняется такой компьютерный программный продукт.
Эти и другие аспекты изобретения будут очевидны и объяснены со ссылкой на варианты осуществления, описанные далее в настоящем документе.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг.1 иллюстрирует процесс последовательного выравнивания упорядоченного стека изображений образца.
Фиг.2 является графическим представлением блок-схемы для иллюстрации способа выравнивания упорядоченного стека изображений образца в соответствии, по меньшей мере, с одним вариантом осуществления настоящего изобретения.
Фиг.3 иллюстрирует устройство для выравнивания упорядоченного стека изображений образца в соответствии с вариантом осуществления настоящего изобретения.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
В следующих вариантах осуществления настоящее изобретение будет более подробно разъяснено в комбинации с сопроводительными чертежами.
Фиг.1 иллюстрирует процесс последовательного выравнивания упорядоченного стека изображений образца (который является, например, разрезанным образцом). Как показано на Фиг.1, перед выравниванием упорядоченного стека изображений, считается, что стек полностью невыровнен и включает в себя четыре невыровненных изображения c0, c1, c2 и c3. Посредством последовательного или рекурсивного выравнивания изображений в стеке, которые все еще невыровнены, на основе уже выровненных изображений, как, например, изображенные в середине Фиг.1, которая изображает уже выровненные изображения r0 и r1 и изображения, которые все еще должны быть выровнены c2 и c3, причем упорядоченный стек изображений может быть полностью выровнен так, чтобы все изначально невыровненные изображения c0, с1, с2 и с3 были преобразованы в выровненные изображения r0, r1, r2 и r3. В последующем, обозначение, используемое для Фиг.1, будет использоваться на протяжении всего оставшегося описания: невыровненные изображения будут обозначены посредством ссылочного обозначения c, тогда как уже выровненные изображения будут обозначаться посредством ссылочного обозначения r. Соответствующая позиция изображения (независимо от того, выровненного или невыровненного) в упорядоченном стеке обозначается посредством подстрочного порядкового номера так, чтобы, например, выровненное изображение r1 было окружено посредством выровненного изображения r0 и невыровненного изображения c2, как иллюстративно изображено в середине Фиг.1.
Фиг.2 является графическим представлением блок-схемы для иллюстрации способа выравнивания упорядоченного стека изображений образца в соответствии с вариантом осуществления настоящего изобретения.
В начале способа, в соответствии, по меньшей мере, с одним вариантом осуществления, на этапе S10 из Фиг.2, одно невыровненное изображение упорядоченного стека определяется в качестве выровненного изображения r без выравнивающего преобразования: r0=с0. Следовательно, это изображение выбирается в качестве исходной точки для последовательного выравнивания изображений упорядоченного стека. Несмотря на то, что на этапе S10 из Фиг.2 изображение с порядковым номером 0 выбрано в качестве исходного значения, способ не ограничивается этой исходной позицией. Может быть выбрана любая позиция в упорядоченном стеке изображений, например, позиция в середине стека. Кроме того, начальная позиция может быть определена так, чтобы в качестве исходной точки выбиралось изображение, в котором ожидается наличие наименьшей величины рассогласований вследствие подготовки вручную. Например, это может являться изображением, имеющим наименьшее поперечное сечение, поскольку в нем может ожидаться наименьшая абсолютная величина деформаций. Однако по другим причинам, оно также может являться изображением, покрывающим наибольшую часть разрезанной поверхности.
На этапе S20 затем определяется рассогласование s0 между выровненным изображением r0 и изображением c1, которое должно быть выровнено следующим. Подходящие способы определения рассогласования s будут обсуждаться ниже.
Затем на этапе s30 изображение c1 выравнивается с r0 на основе определенного рассогласования s0 так, чтобы было выполнено выравнивающее преобразование, которое приводит к c1→r1. В последующем представление ci→ri будет использовано для обозначения того, что (прежнее) невыровненное изображение ci было преобразовано в выровненное изображение ri.
На этапе S35, затем указатель i позиции устанавливается на 0 для установки исходной позиции для рекурсивного способа в соответствии по меньшей мере, с одним вариантом осуществления настоящего изобретения. Подобно вышеприведенному для не рекурсивно выполняемого этапа S10, указатель i позиции также может быть установлен на любое другое подходящее значение. Значение i=0 выбрано исключительно для упрощения последующего объяснения. Не рекурсивно выполняемые этапы S10 к S35 являются лишь произвольными для способа в соответствии, по меньшей мере, с одним вариантом осуществления.
Теперь будут разъяснены рекурсивно выполняемые этапы способа последовательного выравнивания упорядоченного стека изображений. На этапе S40 определяется рассогласование si между выровненным изображением ri и невыровненным изображением, которое должно быть выровнено следующим ci+2, и рассогласование si+1 между выровненным изображением ri+1 и невыровненным изображением, которое должно быть выровнено следующим ci+2.
На следующем этапе S50 соответствующие величины рассогласований f(si) и f(si+1) определяются для рассогласований si и si+1 соответственно. Определение величины рассогласования означает, что величина f(s) получается из рассогласования s так, чтобы величина f(s) могла быть использована для сравнения. В самом простом случае, величина f(s) вычисляется как абсолютная величина рассогласования s. Если рассогласование s представлено в виде вектора, то величина f(s), альтернативно, может быть вычислена как сумма абсолютных значений компонентов вектора (которая является такой же, что и вычисление суммированного абсолютного расхождения (сокращенно SAD) в связи с тем, что рассогласование s уже является вектором расхождения), или как среднеквадратическая ошибка (MSE) числовых значений компонентов вектора.
На этапе S70 затем величины рассогласований f(si) и f(si+1), определенные на этапе S50, сравниваются друг с другом. В случае, когда f(si) меньше, чем f(si+1), выровненное изображение ri является изображением, с которым изображение должно сравниваться следующим ci+2, и имеет наименьшую величину рассогласования, так чтобы выровненное изображение ri было выбрано в качестве опорного изображения rref на этапе S74. В случае, когда f(si) больше или равно f(si+1), выровненное изображение ri+1 является изображением, с которым изображение должно сравниваться следующим ci+2, и имеет наименьшую величину рассогласования, так что выровненное изображение ri+1 будет выбрано в качестве опорного изображения rref на этапе S76.
После выбора rref на этапе S74 или на этапе S76, на этапе S80 изображение, которое должно быть выровнено следующим ci+2, выравнивается с rref, включая выравнивающее преобразование ci+2 в ri+2 так, чтобы ci+2ri+2. Это выравнивающее преобразование выполняется на основе определенного рассогласования si (если rref было выбрано на этапе S74) или определенного рассогласования si+1 (если rref было выбрано на этапе S76). После преобразования выравнивания на этапе S80, на этапе S90 проверяется, полностью ли выровнен упорядоченный стек изображений, то есть не осталось ли какого-либо невыровненного изображения c. Если стек еще полностью не выровнен, то все еще существуют изображения, которые должны быть выровнены в стеке, то на этапе S95 указатель позиции i увеличивается на один, а затем выполняется следующая рекурсия (или повторение) выполнения этапов с S40 по S90 для выравнивания следующего изображения. Если на этапе S90 определено, что стек был полностью выровнен, то способ выравнивания заканчивается и дополнительная рекурсия выполняться не будет.
По меньшей мере, в одном варианте осуществления настоящего изобретения соответствующие рассогласования si, si+1 определяются посредством оценки движения так, чтобы каждое рассогласование описывало область оценочного смещения. Например, область оценочного смещения может содержать, по меньшей мере, один вектор смещения, который описывает, как перемещать пиксели в изображении, которое должно быть выровнено, для выравнивания этого изображения до выбранного опорного изображения. Вектор смещения может описывать все возможные рассогласования, такие как линейное перемещение, вращение, масштабирование и растяжение. Такой вектор смещения также называется вектором движения.
Для выполнения оценки движения для получения векторов смещения или векторов движения, было предложено несколько алгоритмов. Оценка движения может пониматься как проблема оптимизации: иногда комплексная, но обычно простая функция критериев должна быть минимизирована или максимизирована для обнаружения выходного вектора движения. Существуют способы перебора, которые просто пробуют все векторы-кандидаты в предварительно определенном диапазоне, чтобы гарантировать получение глобального оптимума функции критерия. Также существуют эффективные подходы, которые проверяют исключительно наиболее вероятные векторы движения. Эта вероятность обычно определяется посредством пространственной или временной близости, и, следовательно, временные и пространственные векторы прогнозирования могут применяться в эффективных алгоритмах оценки движения. Это может быть выполнено посредством алгоритма трехмерного рекурсивного поиска с использованием поблочного сравнения, как описано в документе Джерарда де Хаана с соавторами "Оценка истинного движения при помощи трехмерно-рекурсивного поиска с использованием поблочного сравнения транзакции IEEE на схемах и системах видеотехники, глава 3, номер 5, октябрь 1993 года. Этот документ полностью включен в состав настоящего документа посредством ссылки. Этот алгоритм разделяет кадр на блоки, например, по 8×8 пикселов и пытается идентифицировать позицию этого блока в следующем кадре. Сравнение этих позиций позволяет присваивать вектор движения каждому блоку пикселов, который содержит отношение замены пикселов блока и время между двумя кадрами. Трехмерный рекурсивный поиск является основанным на блоках алгоритмом оценки движения, использующим небольшое количество кандидатов MV (MV = вектор движения), полученных при помощи пространственно-временного прогнозирования. Алгоритм трехмерного рекурсивного поиска предполагает, что блоки меньше, чем объекты, с тем, чтобы MV из соседнего блока являлся хорошей оценкой для MV-кандидата текущего блока. Блоки обрабатываются в определенном порядке, например слева направо и сверху вниз, так, чтобы некоторые соседние блоки, которые уже были оценены для MV, могли предоставить пространственные MV-кандидаты для текущего блока, в то время как другие блоки, которые не были обработаны, получают MV-кандидата из опорного блока для предоставления временного MV для текущего блока. Для каждого MV-кандидата вычисляется ошибка оценки движения. Вероятный вектор с самой малой ошибкой оценки движения выбирается в качестве выходного вектора движения для этого блока. В алгоритме используется нормальный порядок развертки растра для прохождения через блоки. По меньшей мере, в одном из вариантов осуществления настоящего изобретения используется такой алгоритм поблочного сравнения для получения соответствующих областей смещения. Предпочтительно алгоритм трехмерного рекурсивного поблочного сравнения используется, по меньшей мере, в одном варианте осуществления настоящего изобретения в качестве алгоритма поблочного сравнения. Для малозатратной производительности в реальном времени изобретатель предлагает использовать быстрый рекурсивный блок оценки движения, который обеспечивает пространственно-временные последовательные области смещения, которые используются для выравнивания изображений в стеке. Дополнительные фундаментальные способы определения вектора движения, которые могут быть использованы, по меньшей мере, для одного варианта осуществления настоящего изобретения, описываются в Патентах США Номер 5,072,293 и US2008/0144716A1, каждый из которых включен в состав настоящего документа посредством ссылки.
По меньшей мере, в одном варианте осуществления настоящего изобретения, соответствующие величины рассогласований f(s) вычисляются в контексте соответствующей ошибки сравнения, например, f(si), f(si+i), f(mi), f(mi+1), которая вычисляется на основе предварительно определенного критерия соответствия f. Такой критерий соответствия f, который может быть просто определен, является суммированным абсолютным расхождением(SAD):
Figure 00000002
где C является исследуемым вектором-кандидатом, вектор X указывает позицию блока B(X), F(x,n) является сигналом яркости, а n является номером изображения или области. Вектор движения, который влечет за собой вывод - по одному вектору на блок - является вектором-кандидатом, который дает самое низкое значение SAD. В качестве альтернативы SAD, в качестве критерия сравнения может быть применена среднеквадратическая ошибка (MSE) посредством возведения в квадрат абсолютных расхождений, а затем их сложения. Подобным образом в качестве критерия f сравнения могут быть применены моменты третьего порядка для достижения выравнивания с выбранным опорным изображением. Параметры t преобразования могут быть получены из определенного рассогласования между невыровненным изображением и выбранным опорным изображением и, в частности, из области смещения, вектора смещения или вектора движения, которые описывают определенное рассогласование. Затратное в вычислительном отношении преобразование выполняется лишь единожды для каждого изображения, которое должно быть выровнено, тогда как незатратное в вычислительном отношении вычисление соответствующих ошибок сравнения выполняется неоднократно для одного изображения, которое должно быть выровнено.
Изображения, которые будут сравниваться, должны находиться в совместимом пространстве сигналов. Однако это не так, если изображения в стеке окрашены различными красителями (например, гематоксилин и эозин (H&E) и иммуногистохимией (IHC)). Посредством преобразования, по меньшей мере, одного из изображений в пространство сигналов других изображений или в совместимое пространство сигналов до минимизации рассогласования или ошибки сравнения, возможно сохранить или получить простой критерий сравнения.
Затем в соответствии, по меньшей мере, с одним вариантом осуществления, невыровненное изображение, которое должно быть выровнено, может быть удалено из упорядоченного стека изображений, если все величины определенных рассогласований s будут превышать заданное пороговое значение. Заданное пороговое значение может являться фиксированным значением или может быть определено адаптивно, например, на основе ранее определенных величин рассогласований. Удаленное изображение может быть заменено посредством интерполированного изображения, сформированного посредством интерполяции выровненных изображений. В качестве входных данных для интерполяции могут быть выбраны выровненные изображения, расположенные в упорядоченном стеке следом за рассогласованным изображением. Кроме того, выровненное изображение не будет использовано для дальнейших этапов определения рассогласования, если величина его рассогласования на текущем этапе определения рассогласования будет выше заданного порогового значения, в то время как оставшиеся величины рассогласований будут ниже заданного порогового значения. Заданное пороговое значение может являться фиксированным значением или может быть определено адаптивно, например, на основе ранее определенных величин рассогласований.
В соответствии, по меньшей мере, с одним вариантом осуществления, соответствующие рассогласования определяются посредством распознавания объектов. По сравнению с алгоритмами поблочного сравнения для сравнения пикселов, для распознавания объекта требуются большие вычислительные затраты. С другой стороны, распознавание объектов работает на дескрипторах более высоко уровня, которые являются более надежными, чем, например, SAD. Однако не все способы распознавания объектов подходят в качестве основы для выравнивания упорядоченного стека изображений. Подходящий способ распознавания объектов является распознаванием объектов из так называемых локальных масштабно-инвариантных признаков. Одна разновидность этого способа называется SHIFT (для масштабно-инвариантного преобразования признаков), и он был представлен в статье "Распознавание объектов из локальных масштабно-инвариантных признаков" Дэвид Г. Лоу, Международная конференция по машинному распознаванию образов, 1999 год, страницы 1150-1157. Очень глубокое описание способа SIFT распознавания объектов описано в статье "Отличительные признаки изображения из масштабно-инвариантных ключевых точек" Дэвид Г. Lowe, Международный журнал по машинному распознаванию образов, 2004 год, страницы 91-110. Оба документа включены в состав настоящего документа посредством ссылки. Способ SIFT преобразует каждую локальную часть изображения в координаты, которые не зависят от масштаба и ориентации изображения. Локальные инвариантные признаки позволяют эффективно сравнивать маленькие части беспорядочных изображений при произвольных вращениях, масштабировании, изменении яркости и контраста и других преобразований. Идея состоит в разбиении изображения на много небольших перекрывающихся частей различного переменного размера, каждая из которых описывается способом, инвариантным к возможным преобразованиям. Затем может быть выполнено отдельное сравнение каждой части, и сравниваемые части проверяются на предмет последовательности. Для сравнения и распознавания изображений сначала извлекаются признаки SIFT из ряда опорных изображений и сохраняются в базе данных. Новое изображение сравнивается посредством отдельного сравнения каждого признака из нового изображения для этой предыдущей базы данных и нахождения кандидата, соответствующего признакам, расположенным в Евклидовом расстоянии их векторов признаков.
В соответствии, по меньшей мере, с одним вариантом осуществления, соответствующие рассогласования определяются исключительно посредством вышеупомянутого распознавания объектов, если неоднократно возникала относительно большая величина рассогласования. В противном случае, если величина рассогласования, в основном, остается ниже заданного порогового значения, то соответствующие рассогласования определяются посредством быстрой и простой в вычислительном отношении оценки движения. Заданное пороговое значение может являться постоянной величиной или может быть определено адаптивно, например, на основе ранее определенных величин рассогласования.
Фиг.3 иллюстрирует устройство для выравнивания упорядоченного стека изображений разрезанного образца в соответствии, по меньшей мере, с вариантом осуществления настоящего изобретения. Устройство 100 содержит блок 10 определения, блок 20 выбора и блок 30 выравнивания. Блок 10 определения содержит два блока 11 и 12 оценки движения. Блок 11 оценки движения принимает на входе выровненное изображение ri и изображение, которое должно быть выровнено следующим ci+2. Блок 11 оценки движения приспособлен для определения на основе этих входных данных рассогласования si и вектора mi смещения и их вывода. Подобным образом блок 12 оценки движения принимает на входе выровненное изображение ri+1 и изображение, которое должно быть выровнено следующим ci+2, и приспособлен для определения на основе этих входных данных рассогласования si+1 и вектора mi+1 смещения и их вывода. Выходные рассогласования si и si+1 подаются на блок 20 выбора. Выходные рассогласования si и si+1 также могут быть выведены в виде соответствующих векторов mi и mi+1 смещения соответственно для подачи их на блок 20 выбора (в этом случае si=mi и si+1=mi+1). Блок 20 выбора применяет критерий сравнения, например SAD, MSE или третьего порядка, к рассогласованиям si и si+1, принятым из блоков 11 и 12 оценки движения. Применение критерия сравнения влечет за собой вычисление ошибок f сравнения f(si) и f(si+1). Затем блок 20 выбора определяет минимум этих ошибок сравнения и выбирает из векторов mi и mi+1 смещения, выведенных из блоков 11 и 12 оценки движения, вектор смещения, имеющий наименьшую ошибку сравнения, в качестве опорного вектора mref смещения. Посредством этого опорного вектора mref смещения, неявно выбирается опорное изображение rref, с которым должно быть выровнено невыровненное изображение ci+2. Затем выбранный опорный вектор mref смещения подается из соответствующего блока оценки движения на блок 30 выравнивания. В блоке 30 выравнивания, опорный вектор mref смещения преобразуется в конвертере 32 в параметры t преобразования для преобразования невыровненного изображения ci+2. В блоке 30 выравнивания параметры t преобразования выводятся из конвертера 32 на преобразователь 34. Преобразователь 34 использует параметры t преобразования для преобразования невыровненного изображения ci+2 в выровненное изображение ri+2 так, чтобы ci+2→ri+2. После завершения одного повторения выравнивания для ci+2, может быть начато следующее повторение для ci+3 при увеличении на 1 счетчика i позиций.
Несмотря на то, что все вышеописанные варианты осуществления основаны на определении двух рассогласований для выравнивания невыровненного изображения, настоящее изобретение не ограничивается определением исключительно двух рассогласований. Для каждого этапа выравнивания может быть определено более двух рассогласований. Опорное изображение может быть выбрано более чем из двух выровненных изображений.
Несмотря на то, что вышеописанные варианты осуществления основаны на определении, по меньшей мере, двух рассогласований между невыровненным изображением и, по меньшей мере, двумя изображениями, непосредственно предшествующими невыровненному изображению, настоящее изобретение не ограничено выбором опорного изображения из выровненных изображений, смежных друг с другом и смежных с невыровненным изображением.
Несмотря на то, что в вышеописанных примерах упорядоченный стек изображений содержит только четыре изображения для объяснения, размер стека этими размерами не ограничен. Упорядоченный стек изображений может содержать любое количество изображений. В пределах концепции изобретения, “блок определения”, “блок выбора”, “блок выравнивания”, “блок оценки движения” должны пониматься широк и должны содержать, например, любой элемент аппаратных средств (такой блок определения, блок выбора, блок выравнивания, блок оценки движения), любую схему или часть схемы, разработанную для выполнения определения, выбора, выравнивания, оценки движения описанным способом, а также любой элемент программных средств (компьютерную программу, или подпрограмму, или ряд компьютерных программ, или программный(е) код(ы)), разработанный или запрограммированный для выполнения определения, выбора, выравнивания, оценки движения, а также любую комбинацию элементов аппаратных средств и программных средств, действующих, по существу, отдельно или в комбинации, без ограничения нижеприведенными иллюстративными вариантами осуществления.
Специалисты в данной области техники поймут, что настоящее изобретение не ограничено тем, что, в частности, было изображено и описано выше. Изобретение заключается во всех без исключения новых отличительных признаках и в каждой комбинации отличительных признаков. Ссылочные позиции в формуле изобретения не ограничивают их объем охраны. Использование глагола “содержать” и его спряжений не исключает наличия элементов, отличных от заявленных в формуле изобретения. Использование признака единственного числа перед элементом не исключает наличия множества таких элементов.
Настоящее изобретение было описано в контексте конкретных вариантов осуществления, которые являются иллюстративными для изобретения и не должны рассматриваться как огранивающие. Изобретение может быть реализовано в аппаратных средствах, программируемом оборудовании, или программных средствах, или в их комбинации. Другие варианты осуществления находятся в пределах объема следующей формулы изобретения.
СПИСОК ССЫЛОЧНЫХ ОБОЗНАЧЕНИЙ
10 блок определения
11 блок оценки движения
12 блок оценки движения
20 блок выбора
30 блоков выравнивания
32 конвертер
34 преобразователь
100 устройство

Claims (14)

1. Способ выравнивания упорядоченного стека изображений образца, содержащий последовательные этапы, на которых:
определяют (S40), по меньшей мере, для двух уже выровненных изображений (ri, ri+1) упорядоченного стека соответствующие рассогласования (si, si+1) с невыровненным изображением (ci+2), которое должно быть выровнено следующим в упорядоченном стеке;
выбирают (S50, S70, S74, S76), по меньшей мере, из двух выровненных изображений (ri, ri+1) в качестве опорного изображения (rref) выровненное изображение, с которым невыровненное изображение (ci+2) имеет наименьшую величину рассогласования (f(si), f(si+1)); и
выравнивают (S80) невыровненное изображение (ci+2) с выбранным опорным изображением (rref).
2. Способ по п.1, в котором соответствующие рассогласования (si, si+1) определяются посредством оценки движения так, чтобы каждое рассогласование было описано посредством области (mi, mi+1) оценочного смещения.
3. Способ по п.2, в котором область смещения содержит, по меньшей мере, один вектор (mi, mi+1) смещения, описывающий, как сдвинуть пиксели в изображении, которое должно быть выровнено, для выравнивания этого изображения до выбранного опорного изображения.
4. Способ по п.2, в котором выровненные изображения и невыровненное изображение, которое должно быть выровнено следующим, разделены на блоки, и в котором соответствующие области смещения получаются посредством алгоритма поблочного сравнения.
5. Способ по п.1, в котором соответствующие величины рассогласования вычисляются на основе соответствующей ошибки (f(si), f(si+1) сравнения между соответствующим выровненным изображением и невыровненным изображением, которое должно быть выровнено следующим, в котором соответствующие ошибки сравнения вычисляются на основе предварительно определенного критерия (f) сравнения, и в котором выровненное изображение, имеющее наименьшую ошибку сравнения, выбирается в качестве опорного изображения (rref).
6. Способ по п.1, в котором выравнивание невыровненного изображения с выбранным опорным изображением содержит преобразование невыровненного изображения на основе параметров (t) преобразования, описывающих, как невыровненное изображение должно быть преобразовано для достижения выравнивания с выбранным опорным изображением, и в котором для каждого этапа выравнивания преобразуется исключительно соответствующее невыровненное изображение, которое выравнивается в настоящий момент.
7. Способ по п.1, в котором невыровненное изображение, которое должно быть выровнено следующим, удаляется из упорядоченного стека изображений, если все величины определенных рассогласований будут выше заданного порогового значения, и в котором, в таком случае, удаленное изображение может дополнительно быть заменено посредством интерполяции уже выровненных изображений и/или в котором выровненное изображение не будет использоваться для дополнительных этапов определения рассогласований, если величина его рассогласования на текущем этапе определения рассогласования будет, в отличие от оставшихся величин рассогласований, выше заданного порогового значения.
8. Способ по п.1, в котором перед определением соответствующих рассогласований, по меньшей мере, одно из изображений преобразуется в другое пространство сигналов так, чтобы все изображения были в сравнимом пространстве сигналов.
9. Способ по п.1, в котором соответствующие рассогласования определяются посредством распознавания объектов.
10. Способ по п.1, в котором соответствующие рассогласования определяются посредством оценки движения так, чтобы каждое рассогласование было описано посредством области (mi, mi+1) оценочного смещения, и в котором если неоднократно возникают большие величины рассогласований, то тогда рассогласования определяются посредством распознавания объектов вместо оценки движения.
11. Устройство (100) для выравнивания упорядоченного стека изображений образца, содержащее следующие устройства:
блок (10) определения для определения, по меньшей мере, для двух уже выровненных изображений (ri, ri+1) упорядоченного стека соответствующих рассогласований (si, si+1) с невыровненным изображением (ci+2), которое должно быть выровнено следующим в упорядоченном стеке;
блок (20) выбора для выбора, по меньшей мере, из двух выровненных изображений (ri, ri+1) в качестве опорного изображения (rref) выровненного изображения, с которым невыровненное изображение (ci+2) имеет наименьшую величину рассогласования; и
блок (30) выравнивания для выравнивания невыровненного изображения (ci+2) с выбранным опорным изображением (rref).
12. Устройство по п.11, дополнительно содержащее блок (11, 12) оценки движения для определения соответствующих рассогласований посредством оценки движения так, чтобы каждое рассогласование было описано посредством области оценочного смещения.
13. Устройство по п.11, в котором устройство дополнительно сконфигурировано для выполнения способа в соответствии с любым из п.п.3-10.
14. Носитель информации, на котором хранится компьютерный программный продукт, позволяющий процессору выполнять способ по п.1.
RU2012120866/08A 2009-10-22 2010-10-14 Выравнивание упорядоченного стека изображений образца RU2567213C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09173803 2009-10-22
EP09173803.9 2009-10-22
PCT/IB2010/054648 WO2011048531A1 (en) 2009-10-22 2010-10-14 Alignment of an ordered stack of images from a specimen.

Publications (2)

Publication Number Publication Date
RU2012120866A RU2012120866A (ru) 2013-11-27
RU2567213C2 true RU2567213C2 (ru) 2015-11-10

Family

ID=43466671

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2012120866/08A RU2567213C2 (ru) 2009-10-22 2010-10-14 Выравнивание упорядоченного стека изображений образца

Country Status (7)

Country Link
US (2) US9159130B2 (ru)
EP (1) EP2491531B1 (ru)
JP (1) JP5829612B2 (ru)
CN (1) CN102576464B (ru)
BR (1) BR112012009116A2 (ru)
RU (1) RU2567213C2 (ru)
WO (1) WO2011048531A1 (ru)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8874477B2 (en) 2005-10-04 2014-10-28 Steven Mark Hoffberg Multifactorial optimization system and method
US9375164B2 (en) 2007-03-08 2016-06-28 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US9968256B2 (en) 2007-03-08 2018-05-15 Sync-Rx Ltd. Automatic identification of a tool
WO2009153794A1 (en) 2008-06-19 2009-12-23 Sync-Rx, Ltd. Stepwise advancement of a medical tool
US11197651B2 (en) 2007-03-08 2021-12-14 Sync-Rx, Ltd. Identification and presentation of device-to-vessel relative motion
US9629571B2 (en) 2007-03-08 2017-04-25 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US11064964B2 (en) 2007-03-08 2021-07-20 Sync-Rx, Ltd Determining a characteristic of a lumen by measuring velocity of a contrast agent
US8781193B2 (en) 2007-03-08 2014-07-15 Sync-Rx, Ltd. Automatic quantitative vessel analysis
US10716528B2 (en) 2007-03-08 2020-07-21 Sync-Rx, Ltd. Automatic display of previously-acquired endoluminal images
WO2008107905A2 (en) 2007-03-08 2008-09-12 Sync-Rx, Ltd. Imaging and tools for use with moving organs
US9095313B2 (en) 2008-11-18 2015-08-04 Sync-Rx, Ltd. Accounting for non-uniform longitudinal motion during movement of an endoluminal imaging probe
US10362962B2 (en) 2008-11-18 2019-07-30 Synx-Rx, Ltd. Accounting for skipped imaging locations during movement of an endoluminal imaging probe
US11064903B2 (en) 2008-11-18 2021-07-20 Sync-Rx, Ltd Apparatus and methods for mapping a sequence of images to a roadmap image
US9144394B2 (en) 2008-11-18 2015-09-29 Sync-Rx, Ltd. Apparatus and methods for determining a plurality of local calibration factors for an image
US9101286B2 (en) 2008-11-18 2015-08-11 Sync-Rx, Ltd. Apparatus and methods for determining a dimension of a portion of a stack of endoluminal data points
US8855744B2 (en) 2008-11-18 2014-10-07 Sync-Rx, Ltd. Displaying a device within an endoluminal image stack
US9974509B2 (en) 2008-11-18 2018-05-22 Sync-Rx Ltd. Image super enhancement
JP6099640B2 (ja) 2011-06-23 2017-03-22 シンク−アールエックス，リミティド 管腔の背景の鮮明化
WO2013051209A1 (ja) * 2011-10-05 2013-04-11 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
JP6134789B2 (ja) 2012-06-26 2017-05-24 シンク−アールエックス，リミティド 管腔器官における流れに関連する画像処理
US8824758B2 (en) * 2012-11-07 2014-09-02 Sony Corporation Method and apparatus for orienting tissue samples for comparison
WO2015055412A1 (en) 2013-10-18 2015-04-23 Koninklijke Philips N.V. Image based roi tracking for mdx
US10311302B2 (en) 2015-08-31 2019-06-04 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
US10663711B2 (en) 2017-01-04 2020-05-26 Corista, LLC Virtual slide stage (VSS) method for viewing whole slide images
US10943346B2 (en) 2018-05-21 2021-03-09 Corista, LLC Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning
US11367265B2 (en) 2020-10-15 2022-06-21 Cape Analytics, Inc. Method and system for automated debris detection
US11875413B2 (en) 2021-07-06 2024-01-16 Cape Analytics, Inc. System and method for property condition analysis
US11676298B1 (en) 2021-12-16 2023-06-13 Cape Analytics, Inc. System and method for change analysis
US11861843B2 (en) 2022-01-19 2024-01-02 Cape Analytics, Inc. System and method for object analysis

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5453840A (en) * 1991-06-10 1995-09-26 Eastman Kodak Company Cross correlation image sensor alignment system
WO2006060746A2 (en) * 2004-12-03 2006-06-08 Infrared Solutions, Inc. Visible light and ir combined image camera with a laser pointer
RU2282242C2 (ru) * 2000-12-08 2006-08-20 Лэндмарк Графикс Корпорейшн Способ выравнивания решетки узлов в соответствии с характерными чертами в цифровом изображении
US20070171220A1 (en) * 2006-01-20 2007-07-26 Kriveshko Ilya A Three-dimensional scan recovery
US20080056613A1 (en) * 2006-08-31 2008-03-06 Sanyo Electric Co., Ltd. Image combining device and imaging apparatus

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5072293A (en) 1989-08-29 1991-12-10 U.S. Philips Corporation Method of estimating motion in a picture signal
US5568384A (en) 1992-10-13 1996-10-22 Mayo Foundation For Medical Education And Research Biomedical imaging and analysis
JP3251840B2 (ja) * 1996-03-13 2002-01-28 防衛庁技術研究本部長 画像認識装置
US6445761B1 (en) * 1997-03-12 2002-09-03 Hitachi Medical Corporation X-ray computerized tomograph including collimator that restricts irradiation range of X-ray fan beam
JP3006560B2 (ja) * 1997-09-10 2000-02-07 日本電気株式会社 位置合わせ装置及び位置合わせプログラムを記録したコンピュータが読み取り可能な記録媒体
JP4002655B2 (ja) * 1998-01-06 2007-11-07 株式会社日立製作所 パターン検査方法およびその装置
US6452969B1 (en) * 1998-09-28 2002-09-17 Thomson Licensing S.A. Transform domain inverse motion compensation having fractional pel accuracy
US6625332B1 (en) 1999-10-05 2003-09-23 Nec Corporation Computer-implemented image registration
US7374907B1 (en) * 2000-04-07 2008-05-20 John Voneiff System and method for automatically processing tissue samples
US7081750B1 (en) * 2000-05-11 2006-07-25 Fonar Corporation Dynamic real-time magnetic resonance imaging sequence designer
JP3927353B2 (ja) * 2000-06-15 2007-06-06 株式会社日立製作所 比較検査における画像の位置合せ方法、比較検査方法及び比較検査装置
US7194118B1 (en) * 2000-11-10 2007-03-20 Lucid, Inc. System for optically sectioning and mapping surgically excised tissue
US7106891B2 (en) 2001-10-15 2006-09-12 Insightful Corporation System and method for determining convergence of image set registration
US7813559B2 (en) * 2001-11-13 2010-10-12 Cyberoptics Corporation Image analysis for pick and place machines with in situ component placement inspection
US8396926B1 (en) * 2002-07-16 2013-03-12 Sonicwall, Inc. Message challenge response
US9818136B1 (en) * 2003-02-05 2017-11-14 Steven M. Hoffberg System and method for determining contingent relevance
US7366361B2 (en) * 2003-03-05 2008-04-29 Sarnoff Corporation Video registration based on local prediction errors
US20050031176A1 (en) * 2003-08-08 2005-02-10 Hertel Sarah R. Method and apparatus of multi-modality image fusion
US20080144716A1 (en) 2004-03-11 2008-06-19 Gerard De Haan Method For Motion Vector Determination
US7720148B2 (en) * 2004-03-26 2010-05-18 The Hong Kong University Of Science And Technology Efficient multi-frame motion estimation for video compression
JP2005323994A (ja) * 2004-04-12 2005-11-24 Hitachi Medical Corp 画像処理方法
US7170675B2 (en) * 2004-05-19 2007-01-30 Celloptic, Inc. Method and system for wide-field multi-photon microscopy having a confocal excitation plane
US7792338B2 (en) * 2004-08-16 2010-09-07 Olympus America Inc. Method and apparatus of mechanical stage positioning in virtual microscopy image capture
JP4755490B2 (ja) * 2005-01-13 2011-08-24 オリンパスイメージング株式会社 ブレ補正方法および撮像装置
EP1842164B1 (en) * 2005-01-19 2009-07-29 Philips Intellectual Property & Standards GmbH Image processing system and method for alignment of images
US8099152B2 (en) * 2005-02-17 2012-01-17 Univeristy Of Florida Research Foundation, Inc. Systems and methods for planning medical procedures and designing medical devices based on anatomical scan deformations
US7805009B2 (en) * 2005-04-06 2010-09-28 Carl Zeiss Meditec, Inc. Method and apparatus for measuring motion of a subject using a series of partial images from an imaging system
EP1875732B1 (en) * 2005-04-26 2016-12-28 Imax Corporation Electronic projection systems and methods
US7738683B2 (en) 2005-07-22 2010-06-15 Carestream Health, Inc. Abnormality detection in medical images
US8874477B2 (en) * 2005-10-04 2014-10-28 Steven Mark Hoffberg Multifactorial optimization system and method
JP4740769B2 (ja) * 2006-03-02 2011-08-03 日本放送協会 画像歪補正装置
JP2007257287A (ja) * 2006-03-23 2007-10-04 Tokyo Institute Of Technology 画像レジストレーション方法
US7840300B2 (en) * 2006-05-31 2010-11-23 Robert Arthur Harker Full spectrum lapidary 3D image scanner and method
JP4952129B2 (ja) 2006-08-11 2012-06-13 マックス株式会社 ステープラ
EP1912160B1 (en) * 2006-10-11 2012-05-16 Mitsubishi Electric R&D Centre Europe B.V. Image descriptor for image recognition
JP4315971B2 (ja) * 2006-11-09 2009-08-19 三洋電機株式会社 撮像装置
CN101542527A (zh) 2006-11-16 2009-09-23 维斯欧法姆有限公司 可组合图像的基于特征的配准
US8442285B2 (en) * 2007-04-02 2013-05-14 The Trustees Of The University Of Pennsylvania Combined feature ensemble mutual information image registration
US8290303B2 (en) 2007-10-11 2012-10-16 General Electric Company Enhanced system and method for volume based registration
KR101529734B1 (ko) 2008-03-31 2015-06-17 노미 보사이 가부시키가이샤 전기 기기 및 연기 감지기
US8472683B2 (en) * 2008-05-09 2013-06-25 General Electric Company Motion correction in tomographic images
CN102216424B (zh) * 2008-11-19 2014-05-07 Jnc株式会社 光等向性的液晶介质与光元件
JP6292747B2 (ja) * 2009-10-13 2018-03-14 ザ・チャールズ・スターク・ドレイパ・ラボラトリー・インコーポレイテッド エピジェネティックおよび非エピジェネティックベースの人工多能性幹細胞誘導への応用を含む細胞リプログラミング
JP5613065B2 (ja) * 2010-01-21 2014-10-22 株式会社東芝 磁気共鳴イメージング装置
JP4988000B2 (ja) * 2010-03-17 2012-08-01 株式会社東芝 パターン検査装置及びパターン検査方法
US8615118B2 (en) * 2010-05-28 2013-12-24 The University Of Maryland, Baltimore Techniques for tomographic image by background subtraction
US8824762B2 (en) * 2010-10-22 2014-09-02 The Johns Hopkins University Method and system for processing ultrasound data
US8340458B2 (en) * 2011-05-06 2012-12-25 Siemens Medical Solutions Usa, Inc. Systems and methods for processing image pixels in a nuclear medicine imaging system
US8452126B2 (en) * 2011-06-17 2013-05-28 General Electric Company Method for automatic mismatch correction of image volumes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5453840A (en) * 1991-06-10 1995-09-26 Eastman Kodak Company Cross correlation image sensor alignment system
RU2282242C2 (ru) * 2000-12-08 2006-08-20 Лэндмарк Графикс Корпорейшн Способ выравнивания решетки узлов в соответствии с характерными чертами в цифровом изображении
WO2006060746A2 (en) * 2004-12-03 2006-06-08 Infrared Solutions, Inc. Visible light and ir combined image camera with a laser pointer
US20070171220A1 (en) * 2006-01-20 2007-07-26 Kriveshko Ilya A Three-dimensional scan recovery
US20080056613A1 (en) * 2006-08-31 2008-03-06 Sanyo Electric Co., Ltd. Image combining device and imaging apparatus

Also Published As

Publication number Publication date
EP2491531A1 (en) 2012-08-29
BR112012009116A2 (pt) 2020-08-18
US9159130B2 (en) 2015-10-13
JP2013508849A (ja) 2013-03-07
CN102576464B (zh) 2015-09-09
WO2011048531A1 (en) 2011-04-28
EP2491531B1 (en) 2015-03-04
US9940719B2 (en) 2018-04-10
JP5829612B2 (ja) 2015-12-09
US20150356718A1 (en) 2015-12-10
CN102576464A (zh) 2012-07-11
RU2012120866A (ru) 2013-11-27
US20120207367A1 (en) 2012-08-16

Similar Documents

Publication Publication Date Title
RU2567213C2 (ru) Выравнивание упорядоченного стека изображений образца
KR101722803B1 (ko) 이미지들의 시퀀스에서 물체들의 실시간 표현들의 하이브리드 추적을 위한 방법, 컴퓨터 프로그램 및 디바이스
CN107633526B (zh) 一种图像跟踪点获取方法及设备、存储介质
US6549576B1 (en) Motion vector detecting method and apparatus
US7120277B2 (en) Segmentation unit for and method of determining a second segment and image processing apparatus
EP0959626A2 (en) Motion vector search method and apparatus
US9436981B2 (en) Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program
US11849137B2 (en) Setting selection values for motion estimation vectors based on remote motion vectors of interpolated frames
WO2015035462A1 (en) Point feature based 2d-3d registration
JP2010055252A (ja) 動きベクトル検出装置および画像処理装置
EP2966613A1 (en) Method and apparatus for generating a super-resolved image from an input image
JP2006215655A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
EP3127087A1 (en) Motion field estimation
JP2004533073A (ja) 特徴点選択
WO2010070128A1 (en) Method for multi-resolution motion estimation
US8655080B2 (en) Method and apparatus for identifying combinations of matching regions in images
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
CN113160258A (zh) 一种建筑物矢量多边形的提取方法、系统、服务器及存储介质
CN115633178A (zh) 视频帧图像运动估计方法及相关设备
JP2009059047A (ja) 対象物検出装置、対象物検出方法、および対象物検出プログラム
JP2014078110A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN108986133B (zh) 一种基于图像的运动目标去除方法
Yao et al. Video quality assessment based on content-partitioned multi-scale structural similarity
WO2010001303A1 (en) Texture regularity analysis for an image
CN114612413A (zh) 图像自相似性的检验方法、装置、计算机设备及存储介质