RU2576485C2 - Оптическое стереоустройство и способ его автофокусировки - Google Patents

Оптическое стереоустройство и способ его автофокусировки Download PDF

Info

Publication number
RU2576485C2
RU2576485C2 RU2012145888/08A RU2012145888A RU2576485C2 RU 2576485 C2 RU2576485 C2 RU 2576485C2 RU 2012145888/08 A RU2012145888/08 A RU 2012145888/08A RU 2012145888 A RU2012145888 A RU 2012145888A RU 2576485 C2 RU2576485 C2 RU 2576485C2
Authority
RU
Russia
Prior art keywords
image
focus position
interest
image forming
optical stereo
Prior art date
Application number
RU2012145888/08A
Other languages
English (en)
Other versions
RU2012145888A (ru
Inventor
Людвиг ЛАКСХУБЕР
Йоахим ЛУБЕР
Original Assignee
Форстгартен Интернэшнл Холдинг Гмбх
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Форстгартен Интернэшнл Холдинг Гмбх filed Critical Форстгартен Интернэшнл Холдинг Гмбх
Publication of RU2012145888A publication Critical patent/RU2012145888A/ru
Application granted granted Critical
Publication of RU2576485C2 publication Critical patent/RU2576485C2/ru

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

Изобретение относится к оптическому стереоустройству и способам его автофокусировки. Техническим результатом является обеспечение автоматической фокусировки блока формирования изображений в зависимости от направления и/или величины вектора смещений. Предложено оптическое стереоустройство, содержащее средство формирования изображения, выполненное с возможностью обеспечения стереоизображения объекта, представляющего интерес, посредством комбинирования изображения правого глаза и изображения левого глаза. Заявленное устройство также включает в себя блок управления, функционально подключенный к средству формирования изображения и выполненный с возможностью приема изображения правого глаза и изображения левого глаза и настройки положения фокуса средства формирования изображения. 3 н. и 12 з.п. ф-лы, 3 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Данное изобретение относится к оптическому стереоустройству и способу его автофокусировки. В частности, данное изобретение относится к стереоскопической камере и стереоскопическому микроскопу, а также к способу автоматической фокусировки таких оптических стереоустройств.
УРОВЕНЬ ТЕХНИКИ
Становится все более распространенным, что оптические стереоустройства, такие как стереокамеры, используются в некотором количестве различных областей. Например, в области медицины стереокамеры и/или стереомикроскопы все больше используются для помощи медицинским профессионалам в выполнении таких задач, как проведение медицинских хирургических операций, исследований и т.п. Это возможно потому, что стереокамеры или микроскопы могут обеспечить трехмерное изображение и, таким образом, дополнительную информацию об объекте, представляющем интерес. Обычно оптические стереоустройства обеспечивают возможность приближения изображения посредством системы специальных объективов, такой как система панкратических объективов. Некоторые усложненные стереомикроскопы или стереокамеры включают в себя механизм автофокусировки, т.е. способность автоматического помещения объекта, представляющего интерес, в фокус. Такой механизм автофокусировки может быть обеспечен, например, посредством устройства управления и функционально подключенного средства запуска, которые фокусируют систему объективов стереомикроскопа или стереокамеры посредством перемещения этой системы объективов в положение наилучшего или оптимального фокуса, т.е. в положение, где получается наиболее четкое возможное изображение объекта, представляющего интерес.
Обычно наилучшее положение фокуса стереомикроскопа или стереокамеры может быть получено автоматически посредством нескольких известных способов. Например, первый известный способ автофокусировки, не ограничивающийся стереомикроскопами или стереокамерами, основан на том факте, что контрастность или четкость объекта, представляющего интерес, обычно находится в максимуме при положении наилучшего фокуса камеры или микроскопа. Контрастность изображения объекта, представляющего интерес, обычно определяется посредством программного обеспечения обработки изображения, выполняемого в блоке управления, и фокусное расстояние и/или расстояние между камерой или микроскопом и объектом, представляющим интерес, изменяется итерационно в направлении более высокой контрастности, пока дальнейшее улучшение качества изображения не становится неразличимым. Однако этот известный способ автофокусировки, т.е. определение положения наилучшего фокуса посредством оптимизации контрастности, имеет тот недостаток, что в большинстве случаев первоначально отсутствует информация о том, (i) насколько далеко от положения наилучшего или оптимального фокуса находится текущее положение фокуса и (ii) в каком направлении находится положение наилучшего фокуса относительно текущего положения фокуса. Кроме того, зависимость между качеством изображения и расстоянием между фактическим положением фокуса и положением оптимального фокуса, в действительности, является не линейной, а скорее экспоненциальной. Другими словами, вблизи положения оптимального фокуса качество изображения изменяется более резко, чем вдали от положения оптимального фокуса. В результате этого обычно очень трудно найти диапазон приемлемых положений фокуса вблизи положения оптимального фокуса в качестве первого «приближения», так как вне такого диапазона приемлемых положений фокуса качество изображения изменяется только постепенно. Таким образом, способы автофокусировки, основанные на максимизации контрастности, являются вычислительно довольно сложной задачей и потому, что итерационный подход обычно не является очень быстрым.
Другие известные способы автофокусировки для оптических стереоустройств измеряют отражение лазерного луча в пределах фокальной плоскости или используют специфическое пространственное расположение двух лазерных лучей, которые совпадают в фокальной плоскости.
Задачей данного изобретения является обеспечение оптического стереоустройства, такого как стереокамера или стереомикроскоп, которое выполнено с возможностью автоматической фокусировки его блока формирования изображения новым и усовершенствованным способом, а также соответствующего нового и усовершенствованного способа автофокусировки.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Вышеуказанная задача достигается согласно первому аспекту данного изобретения посредством оптического стереоустроства по п. 1 формулы изобретения. Это оптическое стереоустройство содержит средство формирования изображения, выполненное с возможностью обеспечения стереоизображения объекта, представляющего интерес, посредством комбинирования изображения правого глаза и изображения левого глаза, и блок управления, функционально подключенный к этому средству формирования изображения и выполненный с возможностью приема изображения правого глаза и изображения левого глаза и настройки положения фокуса средства формирования изображения. Этот блок управления дополнительно выполнен с возможностью: (i) идентификации некоторой особенности в изображении правого глаза и идентификации той же самой особенности в изображении левого глаза; (ii) определения направления и/или величины вектора смещения, заданного посредством смещения особенности, идентифицированной в изображении правого глаза, относительно той же самой особенности, идентифицированной в изображении левого глаза; и (iii) настройки положения фокуса относительно идентифицированной особенности на основе направления и/или величины вектора смещения.
Предпочтительно средство формирования изображения содержит первый и второй блоки формирования изображения, где изображение правого глаза обеспечивается первым блоком формирования изображения, а изображение левого глаза обеспечивается вторым блоком формирования изображения.
Согласно предпочтительному варианту осуществления блок управления выполнен с возможностью настройки положения фокуса посредством увеличения положения фокуса в случае, если смещение идентифицированной особенности является сдвигом вправо, или уменьшения положения фокуса в случае, если смещение идентифицированной особенности является сдвигом влево. Предпочтительно, блок управления выполнен с возможностью использования аналитического представления зависимости между направлением и/или величиной вектора смещения и разницей между текущим положением фокуса и положением наилучшего фокуса для фокусировки оптического стереоустройства. Альтернативно или дополнительно, блок управления выполнен с возможностью использования справочной таблицы, описывающей зависимость между направлением и/или величиной вектора смещения и разницей между текущим положением фокуса и положением наилучшего фокуса для фокусировки оптического стереоустройства.
Предпочтительно оптическим стереоустройством является стереокамера или стереомикроскоп.
Согласно второму аспекту данное изобретение обеспечивает способ автоматической фокусировки оптического стереоустройства, имеющего средство формирования изображения, функционально подключенное к блоку управления и выполненное с возможностью обеспечения стереоизображения объекта, представляющего интерес, посредством комбинирования изображения правого глаза и изображения левого глаза. Этот способ содержит этапы: (а) формирования изображения объекта, представляющего интерес, при первом положении фокуса при помощи средства формирования изображения, обеспечивающего изображение правого глаза и изображение левого глаза; (b) идентификации некоторой особенности в изображении правого глаза и идентификации той же самой особенности в изображении левого глаза; (с) определения направления и/или величины вектора смещения, заданного посредством смещения особенности, идентифицированной в изображении правого глаза, относительно той же самой особенности, идентифицированной в изображении левого глаза; и (d) настройки положения фокуса относительно идентифицированной особенности на основе направления и/или величины вектора смещения. По выбору этапы (а)-(d) могут итерационно повторяться.
Предпочтительно этап настройки положения фокуса содержит изменение физического расстояния между средством формирования изображения и идентифицированной особенностью объекта, представляющего интерес, и/или изменение фокусного расстояния средства формирования изображения.
Согласно третьему аспекту данного изобретения обеспечен считываемый компьютером носитель, содержащий команды для выполнения вышеописанных способов согласно второму аспекту данного изобретения.
Дополнительные предпочтительные варианты осуществления, преимущества и особенности данного изобретения заданы в зависимых пунктах формулы изобретения и/или будут ясны посредством ссылки на следующее подробное описание и сопутствующие чертежи.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 схематично показывает предпочтительный вариант осуществления оптического стереоустройства согласно данному изобретению, содержащего средство формирования изображения в форме первого блока формирования изображения и второго блока формирования изображения.
Фиг. 2 схематично показывает изображение правого глаза, обеспеченное первым блоком формирования изображения, изображение левого глаза, обеспеченное вторым блоком формирования изображения, а также комбинированное изображение для трех различных случаев, когда оптическое стереоустройство согласно данному изобретению находится в фокусе и вне фокуса, соответственно.
Фиг. 3 показывает блок-схему, описывающую различные этапы предпочтительного варианта осуществления способа автофокусировки согласно данному изобретению.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Данное изобретение будет теперь далее описано посредством задания различных аспектов данного изобретения, в общем, очерченных выше, более подробно. Каждый таким образом заданный аспект может быть скомбинирован с любым другим аспектом или аспектами, если ясно не указано противоположное. В частности, любой признак, указанный как предпочтительный или выгодный, может быть скомбинирован с любым другим признаком или признаками, указанными как предпочтительные или выгодные.
Предпочтительный вариант осуществления данного изобретения показан на фиг. 1. Оптическое стереоустройство 10, например, стереокамера или стереомикроскоп, содержит первый блок 12 формирования изображения и второй блок 14 формирования изображения. Первый блок 12 формирования изображения и второй блок 14 формирования изображения расположены относительно друг друга с возможностью задания двух оптических путей или осей, пересекающих друг друга в фокальной плоскости. Из-за их слегка различных оптических путей первый блок 12 формирования изображения и второй блок 14 формирования изображения обеспечивают два различных изображения объекта 20, представляющего интерес, такого как зубная область пациента, которые могут быть скомбинированы для создания ее стереоизображения. Специалисту в данной области техники хорошо известны возможные внутренние конфигурации первого и второго блоков 12, 14 формирования изображения, а также необходимые компоненты для них, так что они не будут описываться более подробно. Лишь кратко отметим, что каждый из первого и второго блоков 12, 14 формирования изображения мог бы содержать различные оптические объективы (линзы) для соответствующего направления и/или увеличения света в пределах этих блоков формирования изображения, а также детектор, такой как CCD детектор, для приема света от объекта 20, представляющего интерес. Различные оптические объективы используются для настройки фокуса, а также коэффициента масштабирования оптического стереоустройства 10. Для этой цели эти объективы могут смещаться индивидуально или группами вдоль соответствующей оптической оси первого блока 12 формирования изображения и второго блока 14 формирования изображения.
Кроме того, оптическое стереоустройство 10 согласно данному изобретению содержит блок 16 управления, функционально подключенный к первому и второму блокам 12, 14 формирования изображения. Блок 16 управления выполнен с возможностью приема данных, обеспеченных первым и вторым блоками 12, 14 формирования изображения, т.е. изображений объекта 20, представляющего интерес, и комбинирования этих изображений в его стереоизображение. Кроме того, блок 16 управления выполнен с возможностью перемещения первого и второго блоков 12, 14 формирования изображения и/или их некоторых оптических объективов в направлении стрелки F вдоль оптической оси А оптического стереоустройства 10 для настройки текущего положения фокуса относительно объекта 20, представляющего интерес, и/или изменения коэффициента масштабирования.
Специалисту в данной области техники будет ясно, что физическое перемещение полных блоков 12 и 14 формирования изображения, приводящее к изменению расстояния между блоками 12 и 14 формирования изображения и объектом 20, представляющим интерес, в контексте данного изобретения эквивалентно позиционной настройке внутренних оптических элементов блоков 12 и 14 формирования изображения, приводящей к изменению фокусного расстояния блоков 12 и 14 формирования изображения таким образом, что оба варианта охватываются данным изобретением. Блок 16 управления может быть соединен с устройством ввода (не показано на фиг. 1), посредством которого пользователь может вводить данные, команды и т.п. для управления оптическим стереоустройством 10 согласно данному изобретению, как, например, вручную изменяя положение фокуса и/или коэффициент масштабирования. Это устройство ввода может быть реализовано как сенсорный планшет, клавиатура, множество переключателей и/или кнопок и т.п., как хорошо известно в контексте механизмов управления. Кроме того, блок 16 управления может быть соединен с устройством вывода, таким как дисплей или стереомонитор (не показан на фиг. 1), для отображения стереоизображения объекта 20, представляющего интерес, созданного блоком 16 управления на основе соответствующих изображений, обеспеченных первым блоком 12 формирования изображения и вторым блоком 14 формирования изображения.
Первый блок 12 формирования изображения обеспечивает первое изображение объекта 20, представляющего интерес, которое будет называться здесь «изображением правого глаза». Аналогично, второй блок 14 формирования изображения обеспечивает второе изображение объекта 20, представляющего интерес, которое будет называться здесь «изображением левого глаза». Как хорошо известно специалисту в данной области техники и как уже описано выше, из-за небольшого пространственного разделения между первым блоком 12 формирования изображения и вторым блоком 14 формирования изображения и, таким образом, слегка различных углов наблюдения блок 16 управления может скомпоновать на основе изображения правого глаза, обеспеченного первым блоком 12 формирования изображения, и изображения левого глаза, обеспеченного вторым блоком 14 формирования изображения, трехмерное изображение или стереоизображение объекта 20, представляющего интерес. Однако в контексте данного изобретения изображение правого глаза и изображение левого глаза могут быть также обеспечены единственным блоком формирования изображения, который перемещается между первым положением и слегка смещенным вторым положением, обеспечивая два слегка различных угла наблюдения относительно объекта 20, представляющего интерес.
Специалисту в данной области техники будет ясно, что в виде сверху фиг. 1 наблюдатель, стоящий позади оптического устройства 10 и смотрящий вдоль его оптической оси А по направлению к объекту 20, представляющему интерес, задает уникальный эталонный кадр. Относительно этого эталонного кадра первый блок 12 формирования изображения расположен справа и обеспечивает изображение правого глаза, а второй блок 14 формирования изображения расположен слева и обеспечивает изображение левого глаза объекта 20, представляющего интерес. Далее ниже механизм автофокусировки согласно данному изобретению будет описан в контексте этого эталонного кадра.
Кроме того, здесь будет сделана ссылка на «наилучшее положение фокуса», «помещение в фокус» или «нахождение в фокусе». Специалисту в данной области техники будет ясно, что эти выражения задают состояние или положение, соответствующее этому относительному положению между первым и вторым блоками 12, 14 формирования изображения и идентифицированной особенностью объекта 20, представляющего интерес, где расстояние между первым и вторым блоками 12, 14 формирования изображения и идентифицированной особенностью объекта 20, представляющего интерес, по существу равно фокусному расстоянию первого и второго блоков 12, 14 формирования изображения.
Согласно данному изобретению блок 16 управления выполнен с возможностью реализации механизма автофокусировки, специфика которого будет теперь описана более подробно. Этот механизм автофокусировки согласно данному изобретению основан на общей идее о том, что в изображениях, обеспеченных средствами формирования изображения оптических стереоустройств, объекты, расположенные вне (т.е. спереди или позади) фокальной плоскости, сдвинуты или смещены относительно положения, которое они бы имели при помещении в фокус, т.е. в фокальной плоскости. Согласно данному изобретению можно из направления вектора смещения, т.е. либо влево, либо вправо, определить направление, в котором должно быть настроено текущее положение фокуса для помещения объекта 20, представляющего интерес, или его идентифицированной особенности в фокус. Кроме того, величина этого вектора смещения дает возможность определить необходимое изменение положения фокуса (т.е. разницу между текущим положением фокуса и положением наилучшего фокуса) для помещения объекта 20, представляющего интерес, или его идентифицированной особенности в фокус.
Фиг. 2 схематично показывает различные примерные изображения, обеспеченные первым и вторым блоками 12, 14 формирования изображения оптического стереоустройства 10, а также соответствующие комбинированные стереоизображения, созданные блоком 16 управления на их основе, для объяснения основной идеи данного изобретения.
Средний ряд фиг. 2 (названный «В фокусе») схематично показывает изображение левого глаза, обеспеченное вторым блоком 14 формирования изображения (левый столбец фиг. 2), изображение правого глаза, обеспеченное первым блоком 12 формирования изображения (средний столбец фиг. 2), и комбинированное изображение (правый столбец фиг. 2) идентифицированной, предпочтительно уникальной особенности объекта 20, представляющего интерес, для случая, когда идентифицированная особенность объекта 20, представляющего интерес, находится в фокусе, т.е. расстояние между первым и вторым блоками 12, 14 формирования изображения и идентифицированной особенностью объекта 20, представляющего интерес, по существу равно фокусным расстояниям первого и второго блоков 12, 14 формирования изображения. В этом случае изображение правого глаза и изображение левого глаза идентифицированной особенности являются по существу идентичными (за исключением каких-либо возможных незначительных вариаций из-за слегка различных углов наблюдения первого и второго блоков 12, 14 формирования изображения относительно объекта 20, представляющего интерес, обеспечивающих стереоэффект). Другими словами, в этом случае комбинированное изображение идентифицированной особенности объекта 20, представляющего интерес (показанное в правом столбце фиг. 2), созданное посредством блока 16 управления просто посредством перекрытия изображения правого глаза и изображения левого глаза, является по существу идентичным изображению правого глаза и изображению левого глаза, соответственно.
Верхний ряд фиг. 2 (названный «Слишком близко») схематично показывает изображение левого глаза, изображение правого глаза и комбинированное изображение идентифицированной, предпочтительно уникальной особенности объекта 20, представляющего интерес, для случая, когда расстояние между первым и вторым блоками 12, 14 формирования изображения и идентифицированной особенностью объекта 20, представляющего интерес, является меньшим, чем фокусное расстояние первого и второго блоков 12, 14 формирования изображения. Для этого случая идентифицированная особенность объекта 20, представляющего интерес, будет расположена в различных положениях в изображении правого глаза и изображении левого глаза, как может быть взято более ясно из комбинированного изображения для этого случая, показанного в правом столбце фиг. 2. Более конкретно, для этого случая, т.е. когда расстояние между первым и вторым блоками 12, 14 формирования изображения и идентифицированной особенностью объекта 20, представляющего интерес, является меньшим, чем фокусное расстояние первого и второго блоков 12, 14 формирования изображения, идентифицированная особенность объекта 20, представляющего интерес, сдвинута или смещена вправо в изображении правого глаза относительно той же самой идентифицированной особенности объекта 20, представляющего интерес, в изображении левого глаза, как указано вектором 30 смещения, показанном в комбинированном изображении для этого случая.
Нижний ряд фиг. 2 (названный «Слишком далеко») схематично показывает изображение левого глаза, изображение правого глаза и комбинированное изображение идентифицированной, предпочтительно уникальной особенности объекта 20, представляющего интерес, для противоположного случая, т.е. когда расстояние между первым и вторым блоками 12, 14 формирования изображения и идентифицированной особенностью объекта 20, представляющего интерес, является меньшим, чем фокусные расстояния первого и второго блоков 12, 14 формирования изображения. Также для этого случая идентифицированная особенность объекта 20, представляющего интерес, будет расположена в различных положениях в изображении правого глаза и изображении левого глаза, как может быть взято более ясно из комбинированного изображения для этого случая, показанного в правом столбце фиг. 2. Более конкретно, для этого случая, т.е. когда расстояние между первым и вторым блоками 12, 14 формирования изображения и идентифицированной особенностью объекта 20, представляющего интерес, является большим, чем фокусное расстояние первого и второго блоков 12, 14 формирования изображения, идентифицированная особенность объекта 20, представляющего интерес, в изображении правого глаза сдвинута или смещена влево относительно идентифицированной особенности объекта 20, представляющего интерес, в изображении левого глаза, как указано вектором 30' смещения, показанным в комбинированном изображении для этого случая.
Для выгодной реализации вышеуказанных находок блок 16 управления оптического стереоустройства 10 согласно данному изобретению выполнен с возможностью: (i) идентификации предпочтительно уникальной особенности объекта 20, представляющего интерес, в изображении правого глаза, обеспеченном первым блоком 12 формирования изображения, и идентификации той же самой особенности объекта 20, представляющего интерес, в изображении левого глаза, обеспеченном вторым блоком 14 формирования изображения; (ii) определения направления и величины вектора 30, 30' смещения, заданного посредством смещения особенности объекта 20, представляющего интерес, идентифицированной в изображении правого глаза, относительно той же самой идентифицированной особенности, идентифицированной в изображении левого глаза; и (iii) настройки текущего положения фокуса относительно идентифицированной особенности объекта 20, представляющего интерес, на основе направления и величины вектора 30, 30' смещения посредством увеличения положения фокуса в случае, если это смещение является сдвигом вправо, или уменьшения положения фокуса в случае, если это смещение является сдвигом влево.
Как будет ясно специалисту в данной области техники и как уже отмечалось выше, увеличение положения фокуса относительно идентифицированной особенности объекта 20, представляющего интерес, может быть достигнуто посредством увеличения расстояния между первым и вторым блоками 12, 14 формирования изображения и идентифицированной особенностью объекта 20, представляющего интерес, и/или посредством уменьшения фокусного расстояния первого и второго блоков 12, 14 формирования изображения. Аналогично, уменьшение положения фокуса может быть достигнуто посредством уменьшения расстояния между первым и вторым блоками 12, 14 формирования изображения и идентифицированной особенностью объекта 20, представляющего интерес, и/или посредством увеличения фокусного расстояния первого и второго блоков 12, 14 формирования изображения, например, посредством соответствующей позиционной настройки оптических объективов и элементов первого и второго блоков 12, 14 формирования изображения.
Для идентификации предпочтительно уникальной особенности объекта 20, представляющего интерес, в изображении правого глаза, обеспеченного первым блоком 12 формирования изображения, и для идентификации той же самой особенности объекта 20, представляющего интерес, в изображении левого глаза, обеспеченном вторым блоком 14 формирования изображения, соответствующие алгоритмы обработки изображений могут быть реализованы в блоке 16 управления. Например, дифференциальные алгоритмы, основанные на выражениях для производных, и/или алгоритмы, основанные на локальных экстремумах значений интенсивности, могут использоваться для идентификации особенности, как хорошо известно специалисту в данной области техники. Подобные алгоритмы обработки изображений могут быть реализованы в блоке 16 управления для определения направления и величины смещения идентифицированной особенности объекта 20, представляющего интерес, в изображении правого глаза относительно той же самой особенности в изображении левого глаза.
Предпочтительно блок 16 управления оптического стереоустройства 10 согласно данному изобретению, кроме того, выполнен с возможностью определения положения наилучшего фокуса на основе направления и величины вектора 30, 30' смещения, заданного посредством смещения идентифицированной особенности объекта 20, представляющего интерес, в изображении правого глаза относительно той же самой особенности в изображении левого глаза. Другими словами, блок 16 управления оптического стереоустройства 10 согласно данному изобретению, кроме того, выполнен с возможностью определения на основе направления и величины вектора 30, 30' смещения изменения положения фокуса, которое необходимо для помещения идентифицированной особенности объекта 20, представляющего интерес, в фокус. Для простых оптических стереоустройств и/или в пределах некоторых диапазонов положений фокуса возможен случай, когда зависимость между величиной вектора 30, 30' смещения и необходимым изменением положения фокуса для помещения оптического стереоустройства 10 в фокус, т.е. разница между текущим положением фокуса и наилучшим положением фокуса, может быть описана посредством линейного или, возможно, слегка более сложного аналитического уравнения. В таком случае это аналитическое уравнение могло бы быть реализовано в блоке 16 управления, что дает возможность блоку 16 управления определить требуемое изменение положения фокуса на основе величины вектора 30, 30' смещения.
Однако для более сложных оптических стереоустройств обычно может быть невозможно выразить зависимость между величиной вектора 30, 30' смещения и необходимым изменением положения фокуса для помещения оптического стереоустройства 10 в фокус, т.е. разницу между текущим положением фокуса и наилучшим положением фокуса, как некоторое аналитическое уравнение (в большинстве аппроксимаций, например, в окрестности положения наилучшего фокуса это может быть реализовано как аналитические уравнения в блоке 16 управления). Предпочтительно, в таком случае блок 16 управления выполнен с возможностью доступа к соответствующей справочной таблице, хранимой на самом блоке 16 управления или в блоке памяти (не показан), подключенном к нему. Специалисту в данной области техники будет ясно, что такая справочная таблица может быть создана посредством выполнения некоторого сорта калибровки оптического стереоустройства 10 перед работой. Например, справочная таблица может быть создана посредством определения величин векторов смещения для простого объекта 20, представляющего интерес, расположенного в следующих примерных положениях относительно положения наилучшего фокуса: -10 см, -5 см, -2,5 см, -1 см, -0,5 см, 0 см, 0,5 см, 1 см, 2,5 см, 5 см и 10 см. Посредством этого можно назначить определенным величинам векторов смещения соответствующие относительные расстояния калибровки положения фокуса от положения наилучшего фокуса. Как будет ясно специалисту в данной области техники, при работе блок 16 управления может использовать механизм интерполяции для определения необходимого изменения положения фокуса для величин вектора смещения, попадающих между двумя последовательными значениями, перечисленными в справочной таблице. Различные справочные таблицы могут использоваться для различных коэффициентов масштабирования.
Фиг. 3 показывает блок-схему, выделяющую примерные этапы способа автоматической фокусировки оптического стереоустройства 10 согласно данному изобретению. Этот способ предпочтительно содержит этапы: (а) формирования изображения объекта 20, представляющего интерес, при первом положении фокуса при помощи первого блока 12 формирования изображения, обеспечивающего изображение правого глаза, и второго блока 14, обеспечивающего изображение левого глаза; (b) идентификации предпочтительно уникальной особенности объекта 20, представляющего интерес, в изображении правого глаза и идентификации той же самой особенности в изображении левого глаза; (с) определения направления и/или величины вектора 30, 30' смещения, заданного посредством смещения этой особенности, идентифицированной в изображении правого глаза, относительно той же самой особенности, идентифицированной в изображении левого глаза; и (d) настройки положения фокуса первого блока 12 формирования изображения и второго блока 14 формирования изображения относительно идентифицированной особенности объекта 20, представляющего интерес, на основе направления и величины вектора 30, 30' смещения, предпочтительно посредством увеличения положения фокуса в случае, если смещение является сдвигом вправо, или уменьшения положения фокуса в случае, если смещение является сдвигом влево.
Данное изобретение, в частности, обеспечивает следующие преимущества. В случае, если положение фокуса было определено посредством устройств и/или способов согласно данному изобретению при малом коэффициенте масштабирования с относительно большой глубиной резкости, обеспечивающей приемлемую четкость, это положение фокуса будет идентичным или очень близким к положению наилучшего фокуса. Это гарантирует, что, когда пользователь совершает изменение в сторону большего коэффициента масштабирования, приводящего к меньшей глубине резкости, данное изображение все же будет в фокусе. Кроме того, согласно данному изобретению можно непосредственно определить на основе направления (т.е. левого или правого) или, эквивалентно, знака (т.е. плюс или минус) вектора смещения, лежит ли идентифицированная особенность объекта, представляющего интерес, спереди или позади фокальной плоскости, заданной данными параметрами настройки оптического стереоустройства (например, коэффициентом масштабирования). Посредством этой информации можно легко настроить положение фокуса в правильном направлении. Это является выгодным по сравнению со способами автофокусировки предшествующего уровня техники, основанными на способах контрастности, так как эти способы предшествующего уровня техники требуют изображения или изображений, взятых при по меньшей мере двух положениях фокуса, для определения направления, в котором необходимо настроить положение фокуса для улучшения фокуса/четкости.
Данное изобретение, подробно описанное выше, не ограничено описанными конкретными устройствами, использованиями и методологией, так как они могут варьироваться. Например, хотя данное изобретение было описано выше в контексте стереокамер или микроскопов, оно может также выгодно применяться к другим оптическим стереоустройствам, включающим в себя свойство автофокусировки, таким как бинокль. Также следует понимать, что терминология, используемая здесь, предназначена только для цели описания конкретных вариантов осуществления и не предназначена для ограничения объема данного изобретения, который будет ограничен только прилагаемой формулой изобретения. Если не задано иное, все технические и научные термины, используемые здесь, имеют те же значения, которые обычно понимаются специалистами обычной квалификации в данной области техники.
Во всем описании и формуле изобретения, которая следует ниже, если контекст не требует иное, слово «содержать» и его вариации, такие как «содержит» и «содержащий» должны пониматься как означающие включение заданного целого элемента или этапа или группы целых элементов или этапов, но без исключения любого другого целого элемента или этапа или группы целых элементов или этапов.
Несколько документов упоминаются по тексту этого описания. Каждый из документов, упоминаемых здесь (включая все патенты, патентные заявки, научные публикации, описания изготовителя, инструкции и т.д.), см. выше или ниже, включены, таким образом, сюда в их полном объеме путем ссылки. Ничто здесь не должно толковаться как допущение того, что данное изобретение не имеет права на отнесение такого описания к более ранней дате приоритета на основании предшествующего изобретения.

Claims (15)

1. Оптическое стереоустройство (10), содержащее:
средство (12, 14) формирования изображения, выполненное с возможностью обеспечения стереоизображения объекта (20), представляющего интерес, посредством комбинирования изображения правого глаза и изображения левого глаза; и
блок (16) управления, функционально подключенный к средству (12, 14) формирования изображения и выполненный с возможностью:
(a) приема изображения правого глаза и изображения левого глаза и настройки положения фокуса средства (12, 14) формирования изображения;
(b) идентификации уникальной особенности объекта (20), представляющего интерес, в изображении правого глаза и идентификации той же самой уникальной особенности объекта (20), представляющего интерес, в изображении левого глаза;
(c) определения направления и/или величины вектора (30, 30′) смещения, заданного посредством смещения уникальной особенности объекта (20), представляющего интерес, идентифицированной в изображении правого глаза, относительно той же самой уникальной особенности объекта (20), представляющего интерес, идентифицированной в изображении левого глаза; и
(d) настройки положения фокуса относительно идентифицированной уникальной особенности объекта (20), представляющего интерес, на основе направления и/или величины вектора (30, 30′) смещения.
2. Оптическое стереоустройство (10) по п. 1, в котором средство формирования изображения содержит первый и второй блоки (12, 14) формирования изображения и в котором изображение правого глаза обеспечивается первым блоком (12) формирования изображения, а изображение левого глаза обеспечивается вторым блоком (14) формирования изображения.
3. Оптическое стереоустройство (10) по п. 1, в котором блок (16) управления выполнен с возможностью настройки положения фокуса посредством увеличения положения фокуса в случае, если смещение является сдвигом вправо, или уменьшения положения фокуса в случае, если смещение является сдвигом влево.
4. Оптическое стереоустройство (10) по п. 3, в котором блок (16) управления выполнен с возможностью использования аналитического представления зависимости между направлением и/или величиной вектора (30, 30′) смещения и разницей между текущим положением фокуса и положением наилучшего фокуса для фокусировки оптического стереоустройства (10).
5. Оптическое стереоустройство (10) по п. 3, в котором блок (16) управления выполнен с возможностью использования справочной таблицы, описывающей зависимость между направлением и/или величиной вектора (30, 30′) смещения и разницей между текущим положением фокуса и положением наилучшего фокуса для фокусировки оптического стереоустройства (10).
6. Оптическое стереоустройство (10) по п. 1, причем оптическим стереоустройством (10) является стереокамера.
7. Оптическое стереоустройство (10) по п. 1, причем оптическим стереоустройством (10) является стереомикроскоп.
8. Способ автоматической фокусировки оптического стереоустройства (10), имеющего средство (12, 14) формирования изображения, функционально подключенное к блоку (16) управления и выполненное с возможностью обеспечения стереоизображения объекта (20), представляющего интерес, посредством комбинирования изображения правого глаза и изображения левого глаза, причем способ содержит этапы, на которых:
(a) формируют изображение объекта (20), представляющего интерес, при первом положении фокуса при помощи средства (12, 14) формирования изображения, обеспечивающего изображение правого глаза и изображение левого глаза;
(b) идентифицируют уникальную особенность объекта (20), представляющего интерес, в изображении правого глаза и идентифицируют ту же самую уникальную особенность объекта (20), представляющего интерес, в изображении левого глаза;
(c) определяют направление и/или величину вектора (30, 30′) смещения, заданного посредством смещения уникальной особенности объекта (20), представляющего интерес, идентифицированной в изображении правого глаза, относительно той же самой уникальной особенности объекта (20), представляющего интерес, идентифицированной в изображении левого глаза; и
(d) настраивают положение фокуса относительно идентифицированной уникальной особенности объекта (20), представляющего интерес, на основе направления и/или величины вектора (30, 30′) смещения.
9. Способ по п. 8, в котором на этапе (а) изображение правого глаза обеспечивается первым блоком (12) формирования изображения, а изображение левого глаза обеспечивается вторым блоком (14) формирования изображения.
10. Способ по п. 8, в котором на этапе (d) положение фокуса настраивается посредством увеличения положения фокуса в случае, если смещение является сдвигом вправо, или уменьшения положения фокуса в случае, если смещение является сдвигом влево.
11. Способ по п. 10, в котором аналитическое представление зависимости между направлением и/или величиной вектора (30, 30′) смещения и разницей между текущим положением фокуса и положением наилучшего фокуса используется для фокусировки оптического стереоустройства (10).
12. Способ по п. 10, в котором справочная таблица, описывающая зависимость между направлением и/или величиной вектора (30, 30′) смещения и разницей между текущим положением фокуса и положением наилучшего фокуса, используется для фокусировки оптического стереоустройства (10).
13. Способ по п. 8, в котором на этапе (d) настройки положения фокуса изменяют физическое расстояние между средством (12, 14) формирования изображения и идентифицированной уникальной особенностью объекта (20), представляющего интерес, и/или изменяют фокусное расстояние средства (12, 14) формирования изображения.
14. Способ по п. 8, в котором этапы (а)-(d) итерационно повторяются.
15. Машиночитаемый носитель, содержащий команды для выполнения способа по любому из пп. 8-14.
RU2012145888/08A 2010-03-29 2011-03-21 Оптическое стереоустройство и способ его автофокусировки RU2576485C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10003380A EP2373043A1 (en) 2010-03-29 2010-03-29 Optical stereo device and autofocus method therefor
EP10003380.2 2010-03-29
PCT/EP2011/001388 WO2011120645A1 (en) 2010-03-29 2011-03-21 Optical stereo device and autofocus method therefor

Publications (2)

Publication Number Publication Date
RU2012145888A RU2012145888A (ru) 2014-05-10
RU2576485C2 true RU2576485C2 (ru) 2016-03-10

Family

ID=42289529

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2012145888/08A RU2576485C2 (ru) 2010-03-29 2011-03-21 Оптическое стереоустройство и способ его автофокусировки

Country Status (7)

Country Link
EP (2) EP2373043A1 (ru)
JP (1) JP5886827B2 (ru)
KR (1) KR20130009996A (ru)
CN (1) CN102948155B (ru)
BR (1) BR112012025607A2 (ru)
RU (1) RU2576485C2 (ru)
WO (1) WO2011120645A1 (ru)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012108039B4 (de) * 2012-08-30 2022-05-05 Renfert Gmbh Dentaltechnikbilderfassungsvorrichtung
JP2015102602A (ja) * 2013-11-21 2015-06-04 キヤノン株式会社 立体撮像装置、立体撮像システム、立体撮像装置の制御方法、プログラム、および、記憶媒体
CN106031148B (zh) 2014-03-21 2020-07-24 华为技术有限公司 成像设备,成像设备中自动对焦的方法以及对应计算机程序
US10705326B2 (en) 2015-11-11 2020-07-07 Scopio Labs Ltd. Autofocus system for a computational microscope
DE102017110816A1 (de) 2017-05-18 2018-07-12 Carl Zeiss Meditec Ag Optisches Beobachtungsgerät und Verfahren zum effizienten Ausführen eines automatischen Fokussieralgorithmus
WO2020121456A1 (ja) * 2018-12-12 2020-06-18 株式会社ニコン 顕微鏡、顕微鏡用調節装置、顕微鏡システム、顕微鏡の制御方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4601053A (en) * 1983-11-21 1986-07-15 Grumman Aerospace Corporation Automatic TV ranging system
RU2160463C2 (ru) * 1999-02-24 2000-12-10 Тверской государственный технический университет Электронная фотокамера
RU2345394C2 (ru) * 2005-03-10 2009-01-27 Минору ИНАБА Цифровая стереофотокамера/цифровая стереовидеокамера, трехмерный дисплей, трехмерный проектор и принтер и стереовизуализатор

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2685619B2 (ja) * 1989-04-28 1997-12-03 池上通信機株式会社 立体カメラのビューファインダ装置
US5864359A (en) * 1995-05-30 1999-01-26 Smith & Nephew, Inc. Stereoscopic autofocusing based on comparing the left and right eye images
JPH10155104A (ja) * 1996-11-22 1998-06-09 Canon Inc 複眼撮像方法及び装置並びに記憶媒体
DE10113084A1 (de) * 2001-03-17 2002-09-19 Leica Microsystems Autofokus-Mikroskopsystem
JP2003296740A (ja) * 2002-04-08 2003-10-17 Victor Co Of Japan Ltd オブジェクト監視方法及びオブジェクト監視カメラ装置
JP2004309930A (ja) * 2003-04-09 2004-11-04 Olympus Corp 立体観察システム
US7729530B2 (en) * 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7683962B2 (en) * 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
JP5294794B2 (ja) * 2007-12-14 2013-09-18 キヤノン株式会社 撮像装置及び画像表示方法
JP5223486B2 (ja) * 2008-06-18 2013-06-26 ソニー株式会社 電子双眼鏡

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4601053A (en) * 1983-11-21 1986-07-15 Grumman Aerospace Corporation Automatic TV ranging system
RU2160463C2 (ru) * 1999-02-24 2000-12-10 Тверской государственный технический университет Электронная фотокамера
RU2345394C2 (ru) * 2005-03-10 2009-01-27 Минору ИНАБА Цифровая стереофотокамера/цифровая стереовидеокамера, трехмерный дисплей, трехмерный проектор и принтер и стереовизуализатор

Also Published As

Publication number Publication date
RU2012145888A (ru) 2014-05-10
CN102948155A (zh) 2013-02-27
JP5886827B2 (ja) 2016-03-16
WO2011120645A1 (en) 2011-10-06
JP2013528006A (ja) 2013-07-04
EP2373043A1 (en) 2011-10-05
BR112012025607A2 (pt) 2019-04-02
KR20130009996A (ko) 2013-01-24
CN102948155B (zh) 2016-11-09
EP2553929A1 (en) 2013-02-06

Similar Documents

Publication Publication Date Title
US9479759B2 (en) Optical stereo device and autofocus method therefor
RU2576485C2 (ru) Оптическое стереоустройство и способ его автофокусировки
US8134635B2 (en) Manual focus adjustment assistance apparatus
EP3048787A1 (en) Image processing apparatus, image pickup apparatus, image processing method, program, and storage medium
US20190268573A1 (en) Digital microscope apparatus for reimaging blurry portion based on edge detection
US10146039B2 (en) Image capture method for a microscope system, and corresponding microscope system
US20110157349A1 (en) Stage control device, stage control method, stage control program, and microscope
JP2007139892A (ja) 合焦検出装置
JP5093979B2 (ja) 観察装置用対物レンズ、顕微鏡ならびに対物レンズの調節方法
CN112585518A (zh) 对焦点的确定方法、装置、镜头、成像装置和可移动平台
US20160275657A1 (en) Imaging apparatus, image processing apparatus and method of processing image
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
US11962901B2 (en) Systems and methods for obtaining a super macro image
JP2003005313A (ja) 立体画像撮影装置
KR101608404B1 (ko) 입체 이미지를 촬영하기 위한 단안식 현미경
WO2014208224A1 (ja) オートフォーカス装置
US20180359404A1 (en) Observation device
KR102638173B1 (ko) 슈퍼-매크로 이미지의 초점면을 틸팅하기 위한 시스템 및 카메라
US12007671B2 (en) Systems and cameras for tilting a focal plane of a super-macro image
JP6063662B2 (ja) 撮像装置及び撮像方法
RU2429509C1 (ru) Способ оптической обработки изображения и оптическая система для него
CN117321466A (zh) 用于使超微距图像的焦平面倾斜的系统和相机
Conrad An introduction to depth of field
JP2016004145A (ja) 光学機器および自動焦点調節方法

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20170322