RU2440615C2

RU2440615C2 - Способ и устройство генерации изображения, программа генерации изображения и машиночитаемый носитель, хранящий программу

Info

Publication number: RU2440615C2
Application number: RU2010113344/08A
Authority: RU
Inventors: Хидеаки КИМАТА (JP); Хидеаки КИМАТА; Синия СИМИЗУ (JP); Синия СИМИЗУ; Казуто КАМИКУРА (JP); Казуто КАМИКУРА; Йосиюки ЯСИМА (JP); Йосиюки ЯСИМА
Original assignee: Ниппон Телеграф Энд Телефон Корпорейшн
Priority date: 2007-10-15
Filing date: 2008-10-09
Publication date: 2012-01-20
Also published as: BRPI0818593A2; RU2010113344A; WO2009051064A1; US8346019B2; CA2701890C; KR101134665B1; US20100208991A1; EP2202682A4; JPWO2009051064A1; CA2701890A1; JP2011028760A; TWI397023B; KR20100051744A; JP4578567B2; CN101821768A; EP2202682A1; TW200926061A; CN101821768B

Abstract

Изобретение относится к способам формирования изображения. Технический результат заключается в уменьшении деградации качества изображения. Оценивают наличие или отсутствие точки в первом цветовом сигнале X второго изображения В, соответствующей каждому положению пикселя первого цветового сигнала X первого изображения А, и также оценивают положение релевантной соответствующей точки. Для каждого оцененного положения пикселя в цветовом сигнале Y изображения А назначают информацию изображения соответствующего положения в цветовом сигнале Y второго изображения В. Генерируют цветовой сигнал Y в положении пикселя на изображении А, для которого была получена оценка об отсутствии соответствующей точки, посредством интерполяции изображения с использованием информации изображения цветового сигнала Y, назначенного пикселям, имеющим соответствующие точки. 3 н. и 4 з.п. ф-лы, 11 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к технологии генерации информации изображения для сигналов цветности путем использования множества изображений.

Испрашивается приоритет по заявке на патент Японии №2007-267541, поданной 15 октября 2007 г., содержание которой включено в настоящий документ посредством ссылки.

УРОВЕНЬ ТЕХНИКИ

[0002] Для многовидовых систем формирования изображения, на фиг.7 показана диаграмма, иллюстрирующая пример размещения камер вдоль прямой линии, на фиг.8 показана диаграмма, иллюстрирующая пример размещения камер по плоскости, на фиг.9 показана диаграмма, иллюстрирующая пример размещения камер в виде арки, и на фиг.10 показана диаграмма, иллюстрирующая пример сферического размещения камер.

[0003] Разработаны многовидовые системы формирования изображения для формирования изображения сцены в различных направлениях. В многовидовых системах формирования изображения размещение камер может быть различным, например одномерным размещением вдоль прямой линии, как показано на фиг.7, двумерным размещением на плоскости, как показано на фиг.8, в виде арки, как показано на фиг.9, или в виде сферы, как показано на фиг.10. Использование многовидовых систем формирования изображения обеспечивает возможность записи видеосцен по множеству направлений.

[0004] Помимо этого, существует технология, называемая “синтез изображения”, для генерации информации изображения в положении виртуальной камеры (положении, в котором не выполняется формирование изображения), используя изображения с камер, полученные при многовидовом формировании изображения. При синтезе изображения предполагается, что известен параметр камеры, который указывает пространственное направление, в котором было получено исходное видеоизображение.

Синтез изображения может быть выполнен различными способами. Например, существует способ выполнения синтеза путем оценки информации о глубине. Сначала получают информацию о диспарантности путем поиска соответствующих точек исходных видеоизображений и оценивают информацию о глубине релевантной сцены, основываясь на информации о диспарантности. Затем оценивают информацию о глубине в положении виртуальной камеры и генерируют соответствующую информацию изображения, используя информацию изображения исходных камер (см. непатентный документ 1).

[0005] В другом примере таких способов не проводят оценку информации о глубине, а непосредственно генерируют информацию изображения в положении виртуальной камеры, используя информацию о диспарантности исходных изображений (см. непатентный документ 2).

[0006] В другом примере используют множество изображений с камер для оценки информации трехмерной модели объекта, который присутствует на релевантной сцене, и генерируют изображение модели, спроецированной на положение виртуальной камеры (см. непатентный документ 3).

[0007] В описанных выше системах формирования изображения формирование изображения обычно выполняют, используя сигналы изображения со схемой Байера, причем схема Байера подвергается интерполяции для получения сигналов RGB или сигналов YUV (т.е. сигнал Y яркости и сигналы U и V цветности).

Интерполяция представляет собой процесс оценки трех цветовых компонентов (RGB) в каждом положении пикселя, основываясь на сигналах R, G, или B, назначенных каждому положению пикселя, полученному с использованием схемы Байера (см. непатентный документ 4). Поскольку интерполяция соответствует увеличению разрешения сигнала каждого цветового компонента от низкого значения до высокого значения, она может выполняться совместно с использованием технологии супер-разрешения (см. непатентный документ 5).

[0008] Помимо этого, в описанных выше системах формирования изображения обычно используются камеры, имеющие одинаковое разрешение, однако могут также использоваться камеры, имеющие различное разрешение. Кроме того, камеры могут иметь разное положение точек фокуса или различные углы зрения. В таком случае, даже если каждый получаемый сигнал изображения имеет одинаковое разрешение, каждая область, для которой формируется изображение, имеет отдельное значение разрешения.

[0009] Для получения изображения, имеющего высокое разрешение, основываясь на изображении, имеющем низкое разрешение, используют известный способ увеличения с помощью применения фильтра повышения дискретизации к каждому сигналу изображения в изображении, имеющем низкое разрешение, или известный способ супер-разрешения.

[0010] В способе увеличения сигнал изображения получают путем применения подходящего фильтра к сигналам изображения в периферийной области. В способе супер-разрешения обычно используют информацию множества последовательно получаемых изображений, имеющих одинаковое разрешение (см. непатентный документ 6). Сначала в качестве целевого изображения определяют изображение, имеющее более высокое разрешение, чем полученное изображение. Другими словами, заранее определяют каждое положение пикселя генерируемого целевого изображения. Затем оценивают отношение соответствия между полученными изображениями, и каждый сигнал изображения, полученный при формировании изображения, назначают соответствующему положению пикселя целевого изображения, тем самым получая информацию изображения, имеющего высокое разрешение.

[0011] Для представления цветовых сигналов изображения известны форматы RGB или YUV. В качестве однородного цветового пространства на фиг.11 показано цветовое пространство Манселла, изобретенное Манселлом. В цветовом пространстве Манселла цвета представляются цветовым тоном, светлостью и хромой.

Параметр “цветовой тон” обозначает окраску и имеет пять базовых цветовых тонов: красный (R), желтый (Y), зеленый (G), синий (B) и фиолетовый (P). Другими словами, определены 10 цветовых тонов вместе с промежуточными цветовыми тонами, такими как желто-красный (YR), желто-зеленый (GY), сине-зеленый (BG), сине-фиолетовый (PB) и красно-фиолетовый (RP).

[0012] Параметр “светлость” обозначает яркость, причем значение 0 соответствует абсолютно черному - случай полного поглощения, а значение 10 соответствует абсолютно белому - случай полного отражения. Между ними определены 10 уровней, разделенных примерно равными интервалами. Хрома обозначает насыщенность цвета.

Обозначение Манселла представляют как HV/C (цветовой тон · светлость/хрома).

При представлении цветового пространства Манселла в виде диаграммы цветовой тон последовательно отображают вдоль окружности, образуя круг цветового тона. Что касается хромы, то чем дальше от центра, тем выше значение хромы, что соответствует более насыщенному цвету. В качестве аппроксимирующих пространств для цветового пространства Манселла были предложены пространство CIE L*a*b* и пространство CIE L*u*v*.

Непатентный документ 1: Keita Takahashi and Takeshi Naemura, “Layered Light-Field Rendering with Focus Measurement", EURASIP Signal Processing: Image Communication, vol.21, no.6, pp.519-530 (2006.7).

Непатентный документ 2: M. Droese, T. Fujii and M. Tanimoto, "Ray-Space Interpolation Constraining Smooth Disparities Based On Loopy Belief Propagation", Proc. Of IWSSIP2004, pp. 247-250, Poznan, Poland, Sept. 2004.

Непатентный документ 3: Takashi Matsuyama, Takeshi Takai, Xiaojunn Wu, and Shohei Nobuhara, "Generation, Editing, and Visualization of 3D Video", Proceedings of The Virtual Reality Society of Japan, Vol.7, No.4, pp. 521-532, 2002.12.

Непатентный документ 4: I. Tsubaki and K. Aizawa, "Demosaicing method from pixel mixture image", Forum on Information Science and Technology, pp. 219-222, Sep. 2003.

Непатентный документ 5: Tomomasa Goto and Masatoshi Okutomi, "High Resolution Color Image Reconstruction Using Raw Data of a Single Imaging Chip", IPSJ Transactions on Computer Vision and Image Media, Vol. 45, No. SIG 8(CVIM 9), pp. 15-25,2004.

Непатентный документ 6: Masayuki Tanaka and Masatoshi Okutomi, "A Fast Algorithm for Reconstruction-Based Super-Resolution and Its Accuracy Evaluation", Proceedings of IEICE, D-II vol. J88-D-II, No. 11, pp. 2200-2209, 2005.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Задача, решаемая изобретением

[0013] Для новой технологии, разработанной авторами настоящего изобретения для обработки многовидового изображения, которая не имеет фиксированного количества цветов, настоящее изобретение относится к применению множества камер, имеющих различное разрешение, и задачей настоящего изобретения является предоставление способа восстановления информации высокочастотного цветового сигнала, которую не содержит изображение с низким разрешением, тем самым уменьшая деградацию субъективно воспринимаемого качества изображения.

Средства решения задачи

[0014] При использовании камер, имеющих различное разрешение, в многовидовой системе формирования изображения присутствуют как изображения с высоким разрешением, так и изображения с низким разрешением. Даже при использовании камер с одинаковым разрешением количество информации может уменьшаться путем уменьшения разрешения части камер, что является предпочтительным для сжатия многовидового изображения. В этом случае также присутствуют как изображения с высоким разрешением, так и изображения с низким разрешением.

[0015] В случае настоящего изобретения предполагается, что каждый цветовой сигнал имеет отдельное разрешение. Примером является множество изображений, имеющих одинаковое разрешение для сигнала Y и различные разрешения для сигнала U и сигнала V.

[0016] В этом случае, хотя цветовой сигнал имеет постоянное разрешение, информация изображения другого цветового сигнала, имеющего низкое разрешение, не содержит высокочастотной составляющей. Таким образом, информация изображения, полученная в положении камеры, соответствующей низкому разрешению, имеет более низкое субъективно воспринимаемое качество изображения, чем информация изображения, полученная в положении камеры, соответствующей высокому разрешению.

[0017] Настоящее изобретение решает описанную выше задачу и предоставляет технологию для восстановления информации высокочастотного цветового сигнала, который не содержит изображение с низким разрешением, тем самым уменьшая деградацию субъективно воспринимаемого качества изображения.

[0018] Ниже приводится краткий обзор настоящего изобретения. Например, общий объем обрабатываемой информации изображения может быть уменьшен по сравнению с обработкой всех релевантных цветов путем формирования изображения сцены с использованием множества камер, каждая из которых имеет индивидуальное количество цветов. Таким образом, объем кода многовидового видеоизображения может быть значительно уменьшен путем уменьшения количества цветов для части видеосигналов в многовидовом видеоизображении.

Таким образом, количество цветов может быть “три” как в случае RGB и т.п. Однако если какой-либо цвет не включен в полученное изображение, отсутствует только информация об этом цвете, что приводит к деградации субъективно воспринимаемого качества изображения и ограничивает объем кода, генерируемого для многовидового видеоизображения, который может быть уменьшен.

[0019] Настоящее изобретение решает указанную задачу путем предоставления технического устройства для восстановления недостающей информации о цвете в части видеосигналов путем использования другого видеосигнала. В известных технологиях не предусмотрена работа с многовидовым видеоизображением, которое не имеет постоянного количества цветов. Задача настоящего изобретения имеет в своей основе новую техническую концепцию, использующую работу с многовидовым видеоизображением, которое не имеет постоянного количества цветов.

В частности, настоящее изобретение использует информацию о соответствующих точках между пикселями во множестве изображений таким образом, что информацию о цвете целевого изображения восстанавливают, используя информацию о цвете, полученную с использованием другой камеры. Настоящее изобретение имеет следующие отличительные признаки.

[0020] Настоящее изобретение предоставляет способ генерации изображения для генерации информации изображения цветового сигнала Y изображения А и цветового сигнала Х изображения В, при этом способ содержит следующие этапы:

этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки в цветовом сигнале Х изображения В, соответствующей каждому положению пикселя цветового сигнала Х изображения А, и также оценивают положение релевантной соответствующей точки;

этап назначения соответствующих изображений, на котором для каждого положения пикселя в цветовом сигнале Y изображения А, для которого на этапе оценки соответствующих точек была выполнена оценка о наличии соответствующей точки, назначают информацию изображения соответствующего положения во втором цветовом сигнале Y изображения В; и

этап интерполяции изображения, на котором генерируют цветовой сигнал Y в положении пикселя на изображении А, для которого на этапе оценки соответствующих точек была выполнена оценка об отсутствии соответствующей точки, используя информацию изображения цветового сигнала Y, назначенного на этапе назначения соответствующих изображений.

[0021] В соответствии с описанным выше способом генерации изображения информация изображения другого цветового сигнала требуемого изображения может быть сгенерирована с использованием информации о цветовом сигнале, включенной в другое изображение.

Если сигнал изображения соответствует положению целевого пикселя для генерации, то релевантная информация изображения может быть сгенерирована с помощью интерполяции с использованием уже сгенерированных сигналов периферийного изображения, имеющих высокое разрешение, не допуская тем самым потери информации изображения.

[0022] При оценке соответствующих точек информация о соответствующих точках может быть обеспечена в виде входных данных или поиск каждой соответствующей точки может быть выполнен с использованием информации изображения. При предоставлении информации о соответствующих точках в виде входных данных информация о глубине или информация о геометрии релевантной сцены может быть оценена заранее и затем может быть выполнена оценка соответствующих точек между изображениями.

[0023] При поиске соответствующих точек может быть вычислено абсолютное значение каждого различия между соответствующими пикселями. Если минимальное абсолютное значение меньше или равно заданному порогу, точка, которая дала минимальное значение, может быть оценена как представляющая собой соответствующую точку. Если минимальное абсолютное значение превышает заданный порог, результат оценки может быть интерпретирован как отсутствие соответствующих точек.

Является предпочтительным сохранение значения порога с релевантной информацией изображения исходного цветового сигнала с помощью записи в файл. При генерации информации изображения другого цветового сигнала с использованием сохраненной информации изображения исходного цветового сигнала всегда будет генерироваться одно и то же изображение при использовании значения порога, включенного в релевантный файл.

[0024] При формировании изображения сцены по множеству направлений с использованием камер, имеющих различные цветовые сигналы, информация изображения цветового сигнала нужной камеры может быть сгенерирована с использованием изображения с другой камеры.

Этот способ может быть применен не только к многовидовому изображению, но также к изображению, полученному одной камерой. Другими словами, если кадры видеоизображения имеют различные цветовые сигналы, информация изображения цветового сигнала нужного кадра может быть сгенерирована с использованием цветового сигнала другого кадра.

[0025] Описанный выше способ может дополнительно включать в себя следующие этапы:

этап установки порога, на котором устанавливают порог, используемый при оценке соответствующих точек, выполняемой на этапе оценки соответствующих точек;

этап конвертирования цвета изображения А, на котором генерируют цветовой сигнал М изображения А, используя цветовой сигнал Х изображения А и цветовой сигнал Y изображения А, который был сгенерирован на этапе назначения соответствующего изображения и этапе интерполяции изображения;

этап конвертирования цвета изображения В, на котором генерируют цветовой сигнал М изображения В, используя цветовой сигнал Х и цветовой сигнал Y изображения В;

этап генерации разности, на котором вычисляют разность между цветовым сигналом М изображения А и цветовым сигналом М изображения В в каждой соответствующей точке, полученной на этапе оценки соответствующих точек;

этап суммирования сгенерированной разности, на котором вычисляют сумму разностей, полученных на этапе генерации разности; и

этап определения порога, на котором определяют порог, который дает минимальное значение сумм разностей, вычисленных на этапе суммирования сгенерированной разности, основываясь на результате повторения описанных выше этапов при изменении порога, установленного на этапе установки порога, в заданных пределах.

[0026] В соответствии с описанным выше способом генерации изображения, при генерации цветового сигнала с использованием описанного выше способа по изобретению, в другом цветовом пространстве измеряют величину деградации вследствие ошибки оценки соответствующих точек, при этом может быть определен порог, используемый для оценки соответствующих точек, при минимизации деградации.

Если величину деградации измеряют путем отображения на другое цветовое пространство, то светлость хрома и цветовой тон цветового пространства Манселла представляют собой примеры цветового пространства для отображения.

Деградация субъективно воспринимаемого качества изображения может быть уменьшена путем минимизации деградации субъективно воспринимаемого качества генерируемого изображения.

[0027] Параметр порога может быть использован следующим образом. После выполнения оценки порога его значение применяют в качестве параметра порога для информации исходного изображения. Например, параметр порога сохраняют в файле совместно с исходным изображением и другим релевантным изображением. При чтении файла информация изображения цветового сигнала исходного изображения может генерироваться, основываясь на исходном изображении и другом изображении, путем использования упомянутого выше параметра порога, где изображение имеет минимальную деградацию субъективно воспринимаемого качества изображения.

[0028] Описанный выше способ генерации изображения может дополнительно включать в себя следующие этапы:

этап генерации разности, на котором вычисляют разность между другим цветовым сигналом О изображения А и цветовым сигналом Y изображения В;

[0029] В соответствии с описанным выше способом генерации изображения при генерации цветового сигнала с использованием описанного выше способа по изобретению измеряют величину деградации вследствие ошибки оценки соответствующих точек, при этом может быть определен порог, используемый для оценки соответствующих точек, при минимизации деградации. В этом процессе возможна генерация цветового сигнала, где разность между цветовым сигналом и исходным цветовым сигналом (О) является минимальной.

Помимо этого, так же, как и в описанном выше способе, полученный параметр порога может быть сохранен в файле.

[0030] Настоящее изобретение также предоставляет устройство для генерации изображения, которое генерирует изображение в соответствии с описанными выше способами.

Технический результат

[0031] В соответствии с настоящим изобретением, для информации изображения, полученной в положении камеры с использованием цветового сигнала, информация изображения, полученная с использованием другого цветового сигнала, может быть использована для генерации цветового сигнала требуемой информации изображения, тем самым уменьшая деградацию субъективно воспринимаемого качества изображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0032] Фиг.1 представляет собой диаграмму, показывающую структуру устройства генерации изображения в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.2 представляет собой блок-схему последовательности операций, на которой показаны операции, выполняемые устройством генерации изображения согласно первому варианту осуществления.

Фиг.3 представляет собой диаграмму, показывающую структуру устройства генерации изображения в соответствии со вторым вариантом осуществления настоящего изобретения.

Фиг.4 представляет собой блок-схему последовательности операций, на которой показаны операции, выполняемые устройством генерации изображения согласно второму варианту осуществления.

Фиг.5 представляет собой диаграмму, показывающую структуру устройства генерации изображения в соответствии с третьим вариантом осуществления настоящего изобретения.

Фиг.6 представляет собой блок-схему последовательности операций, на которой показаны операции, выполняемые устройством генерации изображения согласно третьему варианту осуществления.

Фиг.7 представляет собой диаграмму, показывающую многовидовую систему формирования изображения, имеющую размещение вдоль прямой линии.

Фиг.8 представляет собой диаграмму, показывающую многовидовую систему формирования изображения, имеющую размещение по плоскости.

Фиг.9 представляет собой диаграмму, показывающую многовидовую систему формирования изображения, имеющую размещение по арке.

Фиг.10 представляет собой диаграмму, показывающую многовидовую систему формирования изображения, имеющую сферическое размещение.

Фиг.11 представляет собой диаграмму, показывающую цветовое пространство Манселла.

Ссылочные позиции

[0033]

101, 201, 301 - блок оценки соответствующих точек

102, 202, 302 - блок назначения соответствующего изображения

103, 203, 303 - блок интерполяции изображения

204 - блок конвертирования цвета изображения А

205 - блок конвертирования цвета изображения В

206, 306 - генератор разности

207, 307 - блок суммирования сгенерированной разности

208, 308 - блок установки порога

209, 309 - блок определения порога

НАИЛУЧШИЙ СПОСОБ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0034] Далее со ссылками на чертежи будут описаны варианты осуществления устройства генерации изображения по изобретению.

[0035]

Первый вариант осуществления

В первом варианте осуществления для генерации цветового сигнала Y изображения А используют цветовой сигнал Х изображения А и цветовые сигналы Х и Y цветового сигнала В, причем изображение получено с использованием различных камер.

[0036] На фиг.1 показана общая структура устройства. Устройство генерации изображения по изобретению включает в себя блок 101 оценки соответствующих точек для оценки наличия или отсутствия точки в цветовом сигнале Х изображения В, соответствующей каждому положению пикселя цветового сигнала Х изображения А, а также для оценки положения релевантной соответствующей точки; блок 102 назначения соответствующего изображения для назначения для цветового сигнала Y в каждом положении пикселя изображения А, для которого блок 101 оценки соответствующих точек установил наличие соответствующей точки, информации изображения для соответствующего положения в цветовом сигнале Y изображения В; и блок 103 интерполяции изображения для генерации цветового сигнала Y в каждом положении пикселя изображения А, для которого блок 101 оценки соответствующих точек установил отсутствие соответствующей точки, путем использования информации изображения цветового сигнала Y назначенного блоком 102 назначения соответствующего изображения.

[0037] Блок 101 оценки соответствующих точек использует параметры камеры или известные способы согласования для назначения одного или нескольких кандидатов пикселя (в цветовом сигнале Х изображения В), соответствующих каждому пикселю в цветовом сигнале Х изображения А, и вычисляет абсолютное значение разности между каждой парой соответствующих пикселей. Если минимальное значение вычисленного абсолютного значения(значений) меньше или равно заданному порогу, то блок 101 оценки соответствующих точек определяет точку, которой соответствует минимальное значение, как соответствующую точку. Если минимальное значение вычисленного абсолютного значения(значений) превышает заданный порог, то блок 101 оценки соответствующих точек устанавливает отсутствие точки, соответствующей релевантному пикселю в цветовом сигнале Х изображения А.

Блок 103 интерполяции изображения генерирует информацию изображения цветового сигнала Y в каждом положении пикселя в цветовом сигнале Х изображения А, для которого установлено отсутствие соответствующей точки, путем использования информации изображения в положения пикселей в цветовом сигнале Y изображения В, которое назначается по результатам оценки, свидетельствующим об отсутствии соответствующих точек. Более конкретно, выполняется линейная интерполяция согласно расстояниям, измеренным, исходя из положений пикселей, в которых была назначена информация изображения в изображении В.

[0038] Исходя из вышесказанного, устройство генерации изображения на фиг.1 работает описанным ниже образом. Фиг. 2 представляет собой блок-схему последовательности операций.

[0039] Сначала блок 101 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их положения между цветовым сигналом Х изображения А и цветовым сигналом Х изображения В (этап S10). В каждом пикселе, для которого блок 101 оценки соответствующих точек установил наличие соответствующей точки, блок 102 назначения соответствующего изображения назначает информацию изображения соответствующей точки в цветовом сигнале Y изображения В в качестве цветового сигнала Y изображения А (этап S11). Как описано выше, блок 103 интерполяции изображения генерирует информацию изображения путем интерполяции, используя информацию изображения, которая уже назначена блоком 102 назначения соответствующего изображения (этап S12). Вышеописанным способом генерируется цветовой сигнал Y изображения А.

[0040] Блок 101 оценки соответствующих точек вычисляет абсолютное значение каждой разности между релевантными пикселями в описанной выше операции. Однако оценка может выполняться с помощью блока, состоящего из множества пикселей, центральный пиксель которого представляет собой целевой пиксель оценки. Например, для каждого пикселя в цветовом сигнале Х изображения А назначаются один или несколько кандидатов соответствующего пикселя в сигнале Y и вычисляется общая сумма абсолютных значений разностей для множества пикселей, формирующих блок причем центр указанного множества пикселей является кандидатом. Положение кандидата, который дает минимальное значение общих сумм, принимается в качестве соответствующей точки.

[0041] Блок 103 интерполяции изображения генерирует релевантную информацию изображения путем выполнения линейной интерполяции в вышеописанной операции. Однако информация изображения может быть сгенерирована с помощью нелинейного процесса. В любом случае, информация изображения генерируется с использованием информации изображения, которая уже назначена блоком 102 назначения соответствующего изображения.

[0042] В вышеописанном примере для генерации цветового сигнала Y изображения А используются цветовой сигнал Х изображения А и цветовые сигналы Х и Y изображения В, которые получены с помощью разных камер. Однако для генерации цветового сигнала Y изображения А могут использоваться цветовой сигнал Х изображения А и цветовые сигналы Х и Y изображения В, которые получены с помощью одной камеры в разное время.

[0043] Хотя в вышеприведенном варианте осуществления для генерации цветового сигнала Y изображения А используются цветовой сигнал Х изображения А и цветовые сигналы Х и Y изображения В, изображения А и В могут иметь множество сигналов, которые отличаются от цветового сигнала Y. Ниже показан пример, в котором изображения А и В имеют два других цветовых сигнала (X и Z). Работа устройства для этого случая описана ниже, хотя его структура является такой же, как описано выше.

[0044] Сначала блок 101 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их положения для цветового сигнала Х изображения А и цветового сигнала Х изображения В, как описано выше. Для каждого положения цветового сигнала Y изображения А, для которого блок 101 оценки соответствующих точек установил наличие соответствующей точки, блок 102 назначения соответствующего изображения назначает информацию соответствующего положения в цветовом сигнале Y изображения В. Аналогично, блок 101 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их положения для цветового сигнала Z изображения А и цветового сигнала Z изображения В. Для каждого положения цветового сигнала Y изображения А, для которого блок 101 оценки соответствующих точек установил наличие соответствующей точки, блок 102 назначения соответствующего изображения назначает информацию соответствующего положения в цветовом сигнале Y изображения В.

С помощью вышеописанной операции генерируется цветовой сигнал Y изображения А.

[0045]

Второй вариант осуществления

Аналогично первому варианту осуществления во втором варианте осуществления цветовой сигнал Y изображения А и сигналы Х и Y цветового сигнала В, изображение которого получено с помощью разных камер, используются для генерации цветового сигнала Y изображения А. Однако информация сгенерированного изображения отображается в другом цветовом пространстве таким образом, чтобы можно было измерить степень деградации и получить порог, минимизирующий деградацию.

[0046] На фиг.3 показана общая структура устройства. Таким образом, устройство генерации изображения настоящего изобретения содержит:

(i) блок 208 установки порога для установки порога в пределах заданного интервала;

(ii) блок 201 оценки соответствующих точек для оценки наличия или отсутствия точки в цветовом сигнале Х изображения В, соответствующей каждому положению пикселя цветового сигнала Х изображения А, а также для оценки положения релевантной соответствующей точки путем использования порога, установленного блоком 208 установки порога;

(iii) блок 202 назначения соответствующего изображения для назначения для цветового сигнала Y в положении пикселя изображения А, для которого блок 201 оценки соответствующих точек установил наличие соответствующей точки, информации изображения для соответствующего положения в цветовом сигнале Y изображения В;

(iv) блок 203 интерполяции изображения для генерации цветового сигнала Y в положении пикселя изображения А, для которого блок 201 оценки соответствующих точек установил отсутствие соответствующей точки, путем использования информации изображения цветового сигнала Y назначенного блоком 202 назначения соответствующего изображения;

(v) блок 204 конвертирования цвета изображения А для генерации цветового сигнала М изображения А путем использования цветового сигнала Х изображения А и цветового сигнала Y изображения А, которое было назначено и сгенерировано блоком 202 назначения соответствующего изображения и блоком 203 интерполяции изображения;

(vi) блок 205 конвертирования цвета изображения В для генерации цветового сигнала М изображения В путем использования цветовых сигналов Х и Y изображения В;

(vii) генератор 206 разности для вычисления разности между цветовым сигналом М изображения А и цветовым сигналом М изображения В в каждой соответствующей точке, полученной блоком 201 оценки соответствующих точек;

(viii) блок 207 суммирования сгенерированной разности для вычисления суммы разностей (для всех соответствующих точек), полученных генератором 206 разности; и

(ix) блок 209 определения порога для определения порога, который дает минимальное значение сумм разностей, вычисленных блоком 207 суммирования сгенерированной разности.

[0047] Блок 208 установки порога выполнянт инкрементное увеличение порога, начиная с 10 в пределах от 10 до 50. Блок 204 конвертирования цвета изображения А и блок 204 конвертирования цвета изображения В конвертируют цветовое пространство в цветовой сигнал М, соответствующий цветовому тону цветового пространства Манселла, в котором для оставшихся цветовых компонентов (например, светлости и хромы) устанавливают фиксированные значения.

[0048] Исходя из вышесказанного, устройство генерации изображения на фиг.3 работает описанным ниже образом. Фиг. 4 представляет собой блок-схему последовательности операций.

[0049] Сначала блок 208 установки порога устанавливает порог, равный 10 (этап S20).

Блок 201 оценки соответствующих точек использует установленный порог с тем, чтобы оценить наличие или отсутствие соответствующих точек и их положения между цветовым сигналом Х изображения А и цветовым сигналом Х изображения В (этап S21).

Блок 202 назначения соответствующего изображения назначает информацию изображения каждого положения в цветовом сигнале Y изображения В, для которого блок 201 оценки соответствующих точек установил наличие соответствующей точки, в цветовом сигнале Y изображения А (этап S22).

Для каждого положения, для которого блок 201 оценки соответствующих точек установил отсутствие соответствующей точки, блок 103 интерполяции изображения генерирует информацию изображения цветового сигнала Y изображения А путем интерполяции, используя информацию изображения, которая уже назначена блоком 202 назначения соответствующего изображения (этап S23).

[0050] Блок 204 конвертирования цвета изображения А конвертирует цветовые сигналы Х и Y изображения А в сигнал цветового тона (т.е. цветовой сигнал М) (этап S24).

Блок 205 конвертирования цвета изображения В конвертирует цветовые сигналы Х и Y изображения В в сигнал цветового тона (т.е. цветовой сигнал М) (этап S25).

Генератор 206 разности генерирует разности в сигналах цветовых тонов между изображением А и изображением В (этап S26).

Блок 207 суммирования сгенерированной разности вычисляет сумму разностей (этап S27).

Вышеописанная операция, выполняемая блоками, начиная с блока 208 установки порога до блока 207 суммирования сгенерированной разности, повторяется при инкрементном увеличении значения порога от 10 до 50 (этапы S27 и S28).

Затем блок 209 определения порога определяет порог, который дает минимальное значение, полученное блоком 207 суммирования сгенерированной разности (этап S29).

[0051] В настоящем варианте осуществления блок 204 конвертирования цвета изображения А и блок 205 конвертирования цвета изображения В конвертируют в цветовой сигнал, соответствующий цветовому тону цветового пространства Манселла. Однако они могут выполнять конвертирование в другой цветовой сигнал цветового пространства Манселла, т.е. сигнал светлости или хромы.

[0052] Третий вариант осуществления

Аналогично первому варианту осуществления в третьем варианте осуществления цветовой сигнал Y изображения А и цветовые сигналы Х и Y цветового сигнала В, изображение которого получено с помощью разных камер, используются для генерации цветового сигнала Y изображения А.

Однако изображение А изначально имеет цветовой сигнал О (отличающийся от сигнала Х), и сгенерированный цветовой сигнал Y аппроксимируют до цветового сигнала О.

Вычисляется порог для минимизации разности (т.е. степени деградации) между сгенерированным цветовым сигналом Y и цветовым сигналом О.

[0053] На фиг.5 показана общая структура устройства. Устройство генерации изображения настоящего изобретения содержит:

(i) блок 308 установки порога для установки порога в пределах заданного интервала;

(ii) блок 301 оценки соответствующих точек для оценки наличия или отсутствия точки в цветовом сигнале Х изображения В, соответствующей каждому положению пикселя цветового сигнала Х изображения А, а также для оценки положения релевантной соответствующей точки путем использования порога, установленного блоком 308 установки порога;

(iii) блок 302 назначения соответствующего изображения для назначения для цветового сигнала Y в положении пикселя изображения А, для которого блок 301 оценки соответствующих точек установил наличие соответствующей точки, информации изображения для соответствующего положения в цветовом сигнале Y изображения В;

(iv) блок 303 интерполяции изображения для генерации цветового сигнала Y в положении пикселя изображения А, для которого блок 301 оценки соответствующих точек установил отсутствие соответствующей точки, путем использования информации изображения цветового сигнала Y назначенного блоком 302 назначения соответствующего изображения;

(v) генератор 306 разности для вычисления разности между цветовым сигналом О изображения А и цветовым сигналом Y изображения А, которое было назначено и сгенерировано блоком 302 назначения соответствующего изображения и блоком 303 интерполяции изображения;

(vi) блок 307 суммирования сгенерированной разности для вычисления суммы разностей, полученных генератором 306 разности; и

(vii) блок 309 определения порога для определения порога, который дает минимальное значение сумм разностей, вычисленных блоком 307 суммирования сгенерированной разности.

[0054] Блок 308 установки порога выполняет инкрементное увеличение порога начиная с 10 в пределах от 10 до 50.

[0055] Исходя из вышесказанного, устройство генерации изображения на фиг.5 работает описанным ниже образом. Фиг.6 представляет собой блок-схему последовательности операций.

[0056] Сначала блок 308 установки порога устанавливает значение порога 10 (см. этап S30).

Блок 301 оценки соответствующих точек использует установленный порог для оценки наличия или отсутствия соответствующих точек и их положений для цветового сигнала Х изображения А и цветового сигнала изображения В (см. этап S31).

Блок 302 назначения соответствующего изображения назначает информацию изображения каждого положения в цветовом сигнале Y изображения В, для которого блок 301 оценки соответствующих точек обнаружил наличие соответствующей точки, цветовому сигналу сигналу Y изображения А (см. этап S32).

Для каждого положения, для которого блок 301 оценки соответствующих точек обнаружил отсутствие соответствующей точки, блок 303 интерполяции изображения генерирует информацию изображения цветового сигнала Y изображения А посредством интерполяции с использованием информации изображения, которая уже была назначена блоком 302 назначения соответствующего изображения (см. этап S33).

[0057] Генератор 306 разности генерирует значения разности между цветовым сигналом О изображения А и цветовым сигналом Y изображения А (см. этап S34).

Блок 307 суммирования сгенерированной разности вычисляет сумму разностей (см. этап S35).

Описанные выше операции, выполняемые блоками, начиная от блока 308 установки порога и кончая блоком 307 суммирования сгенерированной разности, выполняются повторно при инкрементном увеличении порога от 10 до 50 (см. этапы S36 и S37).

Затем блок 309 определения порога определяет порог, который обеспечивает минимальное значение, получаемое блоком 307 суммирования сгенерированной разности (см. этап S35).

[0058] В описанных выше вариантах осуществления разъясняются операции ввода изображений с помощью множества камер. Тем не менее, способ по изобретению может быть применен не только для такого многовидового изображения, но также и для видеоизображения с одной камеры. Другими словами, если цветовые компоненты каждого кадра в видеоизображении не являются постоянными, цветовой сигнал другого кадра изображения может быть использован для генерации сигнала требуемого изображения.

[0059] Описанная выше операция генерации изображения может быть выполнена с помощью компьютера и программного обеспечения. Такая компьютерная программа может быть предоставлена на машиночитаемом носителе или с помощью сети.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

[0060] В соответствии с настоящим изобретением, для информации изображения, полученной в положении камеры, используя цветовой сигнал, информация изображения, полученная с использованием другого цветового сигнала, может быть использована для генерации цветового сигала требуемой информации изображения, тем самым снижая деградацию субъективно воспринимаемого качества изображения.

Claims

1. Способ генерации изображения для генерации информации изображения второго цветового сигнала Y первого изображения А путем использования первого цветового сигнала X первого изображения А и первого цветового сигнала X и второго цветового сигнала Y второго изображения В, при этом способ содержит следующие этапы:
этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки в первом цветовом сигнале X второго изображения В, соответствующей каждому положению пикселя первого цветового сигнала X первого изображения А, и также оценивают положение релевантной соответствующей точки;
этап назначения соответствующего изображения, на котором для каждого положения пикселя во втором цветовом сигнале Y первого изображения А, для которого на этапе оценки соответствующих точек была получена оценка о наличии соответствующей точки, назначают информацию изображения соответствующего положения во втором цветовом сигнале Y второго изображения В; и
этап интерполяции изображения, на котором генерируют второй цветовой сигнал Y в положении пикселя на первом изображении А, для которого на этапе оценки соответствующих точек была получена оценка об отсутствии соответствующей точки, посредством интерполяции с использованием информации изображения второго цветового сигнала Y, назначенного на этапе назначения соответствующего изображения.

2. Способ по п.1, дополнительно содержащий следующие этапы:
этап установки порога, на котором устанавливают порог, используемый при оценке соответствующих точек, выполняемой на этапе оценки соответствующих точек;
этап конвертирования цвета первого изображения А, на котором генерируют третий цветовой сигнал М первого изображения А, используя первый цветовой сигнал X первого изображения А и второй цветовой сигнал Y первого изображения А, который был сгенерирован на этапе назначения соответствующего изображения и этапе интерполяции изображения;
этап конвертирования цвета второго изображения В, на котором генерируют третий цветовой сигнал М второго изображения В, используя первый цветовой сигнал X и второй цветовой сигнал Y второго изображения В;
этап генерации разности, на котором вычисляют разность между третьим цветовым сигналом М первого изображения А и третьим цветовым сигналом М второго изображения В в каждой соответствующей точке, полученной на этапе оценки соответствующих точек;
этап суммирования сгенерированной разности, на котором вычисляют сумму разностей, полученных на этапе генерации разности; и
этап определения порога, на котором определяют порог, который дает минимальное значение сумм разностей, вычисленных на этапе суммирования сгенерированной разности, основываясь на результате повторения этапа оценки соответствующих точек, этапа назначения соответствующего изображения, этапа интерполяции изображения, этапа конвертирования цвета первого изображения А, этапа конвертирования цвета второго изображения В, этапа генерации разности, и этапа суммирования сгенерированной разности, при изменении порога, установленного на этапе установки порога, в заданных пределах.

3. Способ по п.1, дополнительно содержащий следующие этапы:
этап установки порога, на котором устанавливают порог, используемый при оценке соответствующих точек, выполняемой на этапе оценки соответствующих точек;
этап генерации разности, на котором вычисляют разность между другим цветовым сигналом О первого изображения А и вторым цветовым сигналом Y второго изображения В;
этап суммирования сгенерированной разности, на котором вычисляют сумму разностей, полученных на этапе генерации разности; и
этап определения порога, на котором определяют порог, который дает минимальное значение сумм разностей, вычисленных на этапе суммирования сгенерированной разности, основываясь на результате повторения этапа оценки соответствующих точек, этапа назначения соответствующего изображения, этапа интерполяции изображения, этапа генерации разности и этапа суммирования сгенерированной разности, при изменении порога, установленного на этапе установки порога, в заданных пределах.

4. Устройство генерации изображения для генерации информации изображения второго цветового сигнала Y первого изображения А путем использования первого цветового сигнала X первого изображения А и первого цветового сигнала X и второго цветового сигнала Y второго изображения В, при этом устройство содержит:
блок оценки соответствующих точек, на котором оценивают наличие или отсутствие точки в первом цветовом сигнале X второго изображения В, соответствующей каждому положению пикселя первого цветового сигнала X первого изображения А, и также оценивают положение релевантной соответствующей точки;
блок назначения соответствующих изображений, который для каждого положения пикселя во втором цветовом сигнале Y первого изображения А, для которого блоком оценки соответствующих точек была получена оценка о наличии соответствующей точки, назначает информацию изображения соответствующего положения во втором цветовом сигнале Y второго изображения В; и
блок интерполяции изображения, который генерирует второй цветовой сигнал Y в положении пикселя на первом изображении А, для которого блоком оценки соответствующих точек была получена оценка об отсутствии соответствующей точки, посредством интерполяции с использованием информации изображения второго цветового сигнала Y, назначенного блоком назначения соответствующих изображений.

5. Устройство по п.4, дополнительно содержащее:
блок установки порога, который устанавливает порог, используемый при оценке соответствующих точек, выполняемой блоком оценки соответствующих точек;
блок конвертирования цвета первого изображения А, который генерирует третий цветовой сигнал М первого изображения А, используя первый цветовой сигнал X первого изображения А и второй цветовой сигнал Y первого изображения А, который был сгенерирован блоком назначения соответствующего изображения и блоком интерполяции изображения;
блок конвертирования цвета второго изображения В, который генерирует третий цветовой сигнал М второго изображения В, используя первый цветовой сигнал X и второй цветовой сигнал Y второго изображения В;
блок генерации разности, который вычисляет разность между третьим цветовым сигналом М первого изображения А и третьим цветовым сигналом М второго изображения В в каждой соответствующей точке, полученной блоком оценки соответствующих точек;
блок суммирования сгенерированной разности, который вычисляет сумму разностей, полученных блоком генерации разности; и
блок определения порога, который определяет порог, который дает минимальное значение сумм разностей, вычисленных блоком суммирования сгенерированной разности, основываясь на результате повторения операций блока оценки соответствующих точек, блока назначения соответствующего изображения, блока интерполяции изображения, блока конвертирования цвета первого изображения А, блока конвертирования цвета второго изображения В, блока генерации разности, и блока суммирования сгенерированной разности, при изменении порога, установленного блоком установки порога, в заданных пределах.

6. Устройство по п.4, дополнительно содержащее:
блок установки порога, который устанавливает порог, используемый при оценке соответствующих точек, выполняемой блоком оценки соответствующих точек;
блок генерации разности, который вычисляет разность между другим цветовым сигналом О первого изображения А и вторым цветовым сигналом Y второго изображения В;
блок суммирования сгенерированной разности, который вычисляет сумму разностей, полученных блоком генерации разности; и
блок определения порога, который определяет порог, который дает минимальное значение сумм разностей, вычисленных блоком суммирования сгенерированной разности, основываясь на результате повторения операций блока оценки соответствующих точек, блока назначения соответствующего изображения, блока интерполяции изображения, блока генерации разности и блока суммирования сгенерированной разности, при изменении порога, установленного блоком установки порога, в заданных пределах.

7. Машиночитаемый носитель, содержащий программу генерации изображения, с помощью которой компьютер исполняет способ генерации изображения по п.1.