RU2517402C2 - Обработка 3d отображения субтитров - Google Patents
Обработка 3d отображения субтитров Download PDFInfo
- Publication number
- RU2517402C2 RU2517402C2 RU2011106942/08A RU2011106942A RU2517402C2 RU 2517402 C2 RU2517402 C2 RU 2517402C2 RU 2011106942/08 A RU2011106942/08 A RU 2011106942/08A RU 2011106942 A RU2011106942 A RU 2011106942A RU 2517402 C2 RU2517402 C2 RU 2517402C2
- Authority
- RU
- Russia
- Prior art keywords
- component
- text
- dimensional image
- location
- subtitles
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/278—Subtitling
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/005—Aspects relating to the "3D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Television Signal Processing For Recording (AREA)
- Image Processing (AREA)
Abstract
Изобретение относится к способам создания и визуализации трехмерных (3D) изображений. Техническим результатом является повышение четкости и снижение диспаратности при отображении 3D изображений, содержащих субтитры. Способ создания сигнала трехмерного изображения включает в себя этап приема первого и второго компонентов изображения для создания трехмерного изображения. Способ также включает в себя этап приема текстового компонента для включения в трехмерное изображение и этап приема компонента данных, содержащего информацию о местоположении, описывающую местоположение текстового компонента в пределах трехмерного изображения. Далее согласно способу осуществляют создание сигнала трехмерного изображения, который содержит первый компонент изображения, второй компонент, текстовый компонент и компонент данных. 6 н. и 11 з.п. ф-лы, 10 ил., 2 табл.
Description
Область техники, к которой относится изобретение
Это изобретение относится к созданию и визуализации сигнала трехмерного (3D) изображения. В одном варианте осуществления изобретение предоставляет автоматическое оптимальное позиционирование субтитров на 3D дисплее, которое ослабляет утомление зрителя.
Уровень техники
В настоящий момент существует оживление интереса к 3D телевидению, это связано с недавними техническими достижениями в технологии отображения, которые обеспечивают хорошее воспроизведение 3D видео для множества зрителей. Одним из них является автостереоскопический 3D двояковыпуклый дисплей, но также существуют другие типы дисплеев, такие как дисплеи на основе автостереоскопического барьера и стереоскопические дисплеи с временным мультиплексированием, основанные на технологии рирпроекции. Обычно эти типы дисплея используют один из двух основных видеоформатов в качестве входного сигнала, чтобы создать 3D впечатление зрителю. Стереоскопические дисплеи используют временное последовательное чередование и очки для отображения двух отдельных представлений, по одному для каждого глаза, и поэтому ожидают стереоскопическое видео в качестве входного сигнала. Примеры их представляют собой стереоскопические дисплеи рирпроекции с временным мультиплексированием, и этот тип системы также используется в 3D кино. Основной альтернативой этому являются автостереоскопические дисплеи с множеством представлений, которые не требуют никаких очков и часто используют формат входного сигнала, известный как изображение + глубина, в качестве входного сигнала, чтобы создать 3D впечатление. Больше информации о технологии 3D отображения может быть найдено в главе 13 «3D video communication - Algorithms, concepts and real time systems in human centered communication» (3D видеосвязь - Алгоритмы, концепции и системы в реальном времени при человекоориентированной связи), автора Oliver Shreer и др. (Wiley, 2005).
Стерео видеоформат является прямолинейным, поскольку он предоставляет два изображения, по одному для каждого глаза. Обычно эти два изображения чередуются или пространственно, или во временной последовательности и затем вводятся в дисплей. Альтернативный формат, названный изображение + глубина, отличается тем, что он представляет собой комбинацию 2D изображения с так называемой «глубиной», или картой диспаратности. Это обычно является полутоновым изображением, посредством чего полутоновое значение пикселя указывает величину диспаратности (или глубину в случае карты глубины) для соответствующего пикселя в связанном 2D изображении. Дисплей, при визуализации 3D изображения, использует диспаратность или карту глубины, чтобы вычислить дополнительные представления, применяя 2D изображение в качестве входного сигнала. Это может быть выполнено множеством путей; в самой простой форме, суть заключается в смещении пикселей влево или вправо в зависимости от величины диспаратности, связанной с этими пикселями. Документ, озаглавленный «Depth image based rendering, compression and transmission for a new approach on 3D TV (Основанная на глубине изображения визуализация, сжатие и передача для нового подхода в 3D TV)», автора Christoph Fen, дает краткий обзор технологии.
Проблема с автостереоскопическими и (основанными на временной последовательности) стерео 3D дисплеями представляет собой то, что упоминается как рассогласование конвергентности и аккомодации. Это является проблемой, при которой глаза зрителя сходятся на виртуальном местоположении отображаемых объектов, пока в то же время глаза фокусируются (чтобы видеть резкое изображение) на поверхности самого дисплея. Это рассогласование может вызывать головные боли и другие симптомы, связанные с локомоционной болезнью. В дополнение, любые геометрические (особенно любой поперечный параллакс), а также электрические (яркость, контраст и т.д.) разности между представлениями для левого и правого глаза могут дополнительно вызвать зрительное утомление. Однако если величина диспаратности сохраняется небольшой, то есть меньшей, чем один градус, тогда эти проблемы менее серьезны, и пользователи могут просматривать контент без каких-либо существенных проблем. См. «Two factors in visual fatigue caused by stereoscopic HDTV images (Два фактора в зрительном утомлении, вызванном стереоскопическими HDTV изображениями)», Sumio Yano и др., Displays, 2004, страницы 141-150, для большей подробности.
Подобно вышеупомянутым проблемам является то, что проблема может произойти, когда устройство визуализации в текущий момент отображает текст, такой как субтитры или скрытые субтитры. Если текст должным образом не располагается на экране, который зависит от типа и параметров настроек дисплея, то текст может казаться размытым, например, вследствие перекрестных помех между представлениями левого и правого глаза, и зритель может чувствовать усталость. Это также имеет место, когда размывание может влиять на удобочитаемость текста. Согласно E. Legge (см. «Psychophysics of Reading: I. Normal Vision (Психофизика чтения: I. Нормальное зрение)», Gordon E. Legge и др. Vision Research (Исследование зрения), Том 25, №2, страницы 239-252, 1985) чтение ухудшается, если пропускная способность текста ниже двух циклов в символ. Размывание является проблемой, связанной с автоматическими стереоскопическими дисплеями, поскольку обычно разрешением жертвуют для того, чтобы сформировать множество представлений, и для стерео дисплеев, в общем, существует проблема, связанная с субоптимальным разделением между двумя представлениями, которая может добавиться к размыванию изображения. Кроме того, согласно Yano (упомянутый выше) движение глубины увеличивает зрительное утомление.
Другая проблема, которую предвидят, состоит в том, что зрители могут отрегулировать величину диспаратности и относительное положение плоскости глубины в 3D телевизоре (например, посредством некоторых кнопок на пульте дистанционного управления). Эти регулировки означают, что текст может стать размытым, так как он перемещается из нейтральной позиции глубины, или увеличивается в «глубине» таким образом, что он является причиной зрительного утомления.
Публикация заявки на патент Соединенных Штатов Америки US 2005/0140676 раскрывает способ отображения многоуровневых текстовых данных в трехмерной карте. В системе, описанной в этой публикации, трехмерная карта отображается на экране, и текстовые данные с разными уровнями плотности отображаются согласно расстояниям от точки наблюдения отображаемой трехмерной карты до узловых точек, где текстовые данные будут отображены, таким образом, улучшая удобочитаемость текстовых данных. Дополнительно, возможно отобразить текстовые данные путем локальной регулировки плотности текстовых данных на экране. Трехмерная карта отображается на экране дисплейной панели путем преобразования картографических данных с двумерными координатами в данные с трехмерными координатами посредством способа перспективной проекции. Отображаемые текстовые данные вместе с трехмерной картой преобразовываются в данные в трехкоординатной системе с началом координат, определенным точкой наблюдения трехмерной карты. Преобразованные текстовые данные проектируются на двумерную плоскость для преобразования в данные с экранными координатами. Затем расстояния от точки наблюдения отображаемой трехмерной карты до вершин, где текстовые данные будут отображены, классифицируются. Классифицированные расстояния определяются для преобразованных текстовых данных с экранными координатами. Текстовые данные уровней, соответствующие определенным расстояниям, отображаются на экране дисплейной панели, на котором отображается трехмерная карта.
Несмотря на то что в контексте представления трехмерной карты на двумерном устройстве отображения обработка текстовых данных согласно этой публикации позиционируется и масштабируется многозначительным образом для пользователя, она не решает ни одной из проблем, идентифицированных выше, касаемо отображения текста на устройстве трехмерного отображения.
Документ JP2004-274125 описывает формирование сигнала 3D. Мультиплексор мультиплексирует два компонента изображения и символьные данные, которые должны быть наложены на принимающем конце. Сигнал 3D изображения имеет отдельные потоки текстовых данных.
Документ EP 0905988 описывает устройство отображения 3D изображения, которое принимает два сигнала 3D изображения, например видео и символьные данные, где второй сигнал должен быть наложенным. Максимальное значение глубины получают из первого сигнала. Параллакс второго сигнала управляется, чтобы быть перед первым сигналом.
Документ WO 2008/038205 описывает отображение 3D сигнала, объединенное с информацией меню. Предложено подразделить диапазон глубины 3D отображения в поддиапазоны для отображения различных 3D сигналов.
Документ WO 2006/111893 описывает зрительное восприятие глубины 3D для отображения видео, объединенного с текстовой информацией. Формируется 3D видеосигнал, который имеет включенные в него данные (текст) наложения и карту индикатора наложения. Информация о наложении указывает, является ли пиксель накладываемым или ненакладываемым (т.е. видео). Пиксели наложения могут позиционироваться на различной глубине в устройстве визуализации. Информация о наложении лишь указывает само наложение (текст) так, чтобы сам текст являлся изменяемым в устройстве отображения.
Сущность изобретения
Таким образом, задачей изобретения является усовершенствование известного уровня техники. Согласно первому аспекту настоящего изобретения предоставляется способ создания сигнала трехмерного изображения для визуализации на дисплее, содержащий:
- прием первого компонента изображения,
- прием второго компонента для создания трехмерного изображения в комбинации с первым компонентом изображения,
- прием текстового компонента для включения в трехмерное изображение,
- прием компонента данных, содержащего информацию о местоположении, описывающую местоположение текстового компонента в пределах трехмерного изображения, и
- создание сигнала трехмерного изображения, содержащего первый компонент изображения и второй компонент, причем этап создания сигнала трехмерного изображения содержит включение текстового компонента в первый компонент изображения, при этом этап создания сигнала трехмерного изображения содержит включение компонента данных в сигнал трехмерного изображения для обеспечения возможности дисплею регулировать трехмерные параметры трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.
Согласно второму аспекту настоящего изобретения предоставляется устройство для создания сигнала трехмерного изображения для визуализации на дисплее, содержащее:
приемник, выполненный для приема первого компонента изображения, второго компонента для создания трехмерного изображения в комбинации с первым компонентом изображения, текстового компонента для включения в трехмерное изображение и компонента данных, содержащего информацию о местоположении, описывающую местоположение текстового компонента в пределах трехмерного изображения, и
мультиплексор, выполненный для создания сигнала трехмерного изображения, содержащего первый компонент изображения и второй компонент, причем создание содержит включение текстового компонента в первый компонент изображения, при этом создание сигнала трехмерного изображения содержит включение компонента данных в сигнал трехмерного изображения для обеспечения возможности дисплею регулировать трехмерные параметры трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.
Согласно третьему аспекту настоящего изобретения предоставляется сигнал трехмерного изображения для визуализации на дисплее, содержащий первый компонент изображения, второй компонент для создания трехмерного изображения в комбинации с первым компонентом изображения и текстовый компонент, включенный в первый компонент изображения, причем сигнал трехмерного изображения содержит компонент данных, содержащий информацию о местоположении, описывающую местоположение текстового компонента в пределах трехмерного изображения для обеспечения возможности дисплею регулировать трехмерные параметры трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.
Согласно четвертому аспекту настоящего изобретения предоставляется способ визуализации сигнала трехмерного изображения, содержащий:
прием сигнала трехмерного изображения, как определено выше,
визуализацию трехмерного изображения из первого компонента изображения и второго компонента, при этом визуализация включает в себя регулировку трехмерных параметров трехмерного изображения в местоположении визуализированного текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.
Согласно пятому аспекту настоящего изобретения предоставляется устройство для визуализации сигнала трехмерного изображения, содержащее:
приемник, выполненный для приема сигнала трехмерного изображения, как определено выше,
дисплей, выполненный для визуализации трехмерного изображения из первого компонента изображения и второго компонента, при этом визуализация включает в себя регулировку трехмерных параметров трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.
Согласно шестому аспекту настоящего изобретения обеспечивается компьютерный программный продукт на компьютерно-читаемом носителе для создания сигнала трехмерного изображения для визуализации на дисплее, причем продукт содержит инструкции для приема первого компонента изображения, приема второго компонента для создания трехмерного изображения в комбинации с первым компонентом изображения, приема текстового компонента для включения в трехмерное изображение, приема компонента данных, содержащего информацию о местоположении, описывающую местоположение текстового компонента в пределах трехмерного изображения, и для создания сигнала трехмерного изображения, содержащего первый компонент изображения и второй компонент, при этом создание сигнала трехмерного изображения содержит включение компонента данных в сигнал трехмерного изображения для обеспечения возможности дисплею регулировать трехмерные параметры трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.
Согласно седьмому аспекту настоящего изобретения предоставляется компьютерный программный продукт на компьютерно-читаемом носителе для визуализации сигнала трехмерного изображения для визуализации на дисплее, причем продукт содержит инструкции для приема сигнала трехмерного изображения, как определено выше, визуализации трехмерного изображения из первого компонента изображения и второго компонента, причем визуализация включает в себя регулировку трехмерных параметров трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.
Благодаря изобретению имеется возможность улучшить удобочитаемость текста, такого как субтитры на 3D дисплее. Улучшенная удобочитаемость основывается на том, что дополнительные параметры отправляются 3D дисплею таким образом, чтобы дисплей мог рассматривать часть изображения, которая вмещает в себе субтитры, иным образом относительно остальной части изображения. Дисплей тогда может обеспечивать, чтобы субтитры позиционировались автоматически наилучшим способом относительно глубины, резкости и общей удобочитаемости текста. Настоящее изобретение применимо к системам, таким как проигрыватель дисков технологии Blue-ray и DVD или HD-DVD проигрыватель, который соединяется с 3D дисплеем и который показывает 3D контент и связанные субтитры. Специалистам в данной области техники будет понятно, что сигнал изображения может дополнительно быть получен частично или полностью по цифровой сети, такой как Интернет или интранет.
Текст, особенно субтитры, должен быть отображен в пределах ограниченного диапазона глубины от экрана, и они не должны изменяться по глубине в течение всего представления. Если глубина текста должна оставаться постоянной, то это также создает проблему для позиционирования, поскольку глубина видео может изменяться и, следовательно, может перекрывать части текста в течение определенных сцен. Чтобы подвести итог, следующие факторы должны быть приняты во внимание при отображении субтитров или скрытых субтитров на 3D стереоскопическом дисплее: величина диспаратности должна быть меньшей, чем один градус, пропускная способность текста должна удерживаться выше двух циклов в символ, текст должен остаться на постоянной глубине относительно экрана, и текст не должен быть затемнен видеообъектами.
Эти условия могут быть удовлетворены улучшенной системой согласно изобретению. Управление величиной диспаратности может быть выполнено путем регулировки той части карты «глубины», которая относится к местоположению субтитров или скрытых субтитров. Некоторые дисплеи требуют входного стереосигнала, в таких случаях будет тяжелее управлять величиной диспаратности в проигрывателе, однако по-прежнему возможно.
Для удовлетворения ограничений по пропускной способности проигрыватель должен обеспечивать, чтобы разрешение текста являлось достаточно высоким, чтобы двоение изображения сохранялось минимальным и чтобы скорость движущегося текста не являлась слишком высокой. Чтобы соответствовать этим факторам, устройство воспроизведения должно отправлять субтитры или скрытые субтитры с разрешением, которое является достаточным для дисплея, и должно регулировать глубину таким образом, чтобы двоение изображения минимизировалось. Это обычно означает, что глубина текста должна поддерживаться нейтральной (как можно ближе к экрану). Это, однако, может вызвать проблему, поскольку части видео могут перекрывать части текста, так как глубина видео изменяется динамически. Это решается посредством динамической регулировки глубины текста, чтобы обеспечить, чтобы он оставался спереди. Однако это означает, что текст будет изменяться по глубине, что согласно Yano может вызвать зрительное утомление. Передавая информацию о местоположении текста и регулируя 3D параметры 3D изображения в местоположении текста, эти проблемы преодолеваются.
Хотя предпочтительно глубина текста должна быть фиксированной в течение длительных промежутков времени, изменения могут быть предусмотрены, например, чтобы достигнуть конкретных 3D эффектов.
Преимущественно этап создания сигнала трехмерного изображения содержит включение текстового компонента в первый компонент изображения. Текстовый компонент (например, субтитр) может включаться непосредственно в первый компонент изображения и не должен пересылаться как отдельный компонент. Принимающее устройство, которое собирается визуализировать 3D изображение, может все еще управлять параметрами 3D дисплея в области субтитра, даже если этот субтитр встраивается в первый компонент изображения сигнала.
Предпочтительно, этап создания сигнала трехмерного изображения содержит создание единственного кадра изображения, содержащего первый компонент изображения, второй компонент, текстовый компонент и компонент данных. Все компоненты в сигнале могут быть скомбинированы в единственный кадр изображения, при этом различные компоненты сигнала занимают различные части кадра изображения. Это является удобным способом комбинирования элементов, которые образуют сигнал, и может применяться, чтобы воспользоваться преимуществом существующих стандартов, таких как HDTV, которые поддерживают относительно высокое разрешение кадра. Компонент, такой как компонент данных, который определяет местоположение текстового компонента в пределах окончательного сигнала, может включаться в заголовок кадра изображения, а не в пределы фактических данных изображения кадра.
В идеале, этап создания сигнала трехмерного изображения содержит включение фоновой информации в каждый из первого компонента изображения и второго компонента. Качество конечного результата может быть улучшено, если выходной сигнал устройства визуализации также вмещает в себе фоновую информацию. Это позволяет позиционированию субтитров быть отрегулированным на основании данных в фоновой информации, чтобы размещать субтитры в части области 3D дисплея, которая имеет относительно низкий интерес.
Предпочтительно этап регулировки трехмерных параметров трехмерного изображения в местоположении визуализируемого текстового компонента содержит снижение воспринятой глубины трехмерного изображения в местоположении визуализируемого текста. Устройство визуализации может регулировать воспринятую глубину 3D изображения в местоположении субтитров путем замещения требуемой глубины, например, как установлено в карте глубины. В конкретной зоне устройства отображения 3D, которая будет фактически вмещать в себе субтитры, тогда воспринимаемую глубину отображаемого контента можно снизить, чтобы ослабить любое напряжение на глазах зрителя.
Преимущественно этап регулировки трехмерных параметров трехмерного изображения в местоположении визуализируемого текстового компонента содержит снижение числа представлений трехмерного изображения в местоположении визуализируемого текста. Путем снижения числа представлений, которые показываются устройством отображения 3D, двоение изображения или размытость текста может быть снижена. Кроме того, в двояковыпуклом дисплее с локально переключаемой конфигурацией линз линзы могут быть выключены в части дисплея, где располагаются субтитры. Это может давать в результате более четкое изображение, отображаемое в той части 3D изображения, которое вмещает в себе субтитры, с соответствующим уменьшением напряжения, приходящегося на глаза зрителя.
В идеале, этап регулировки трехмерных параметров трехмерного изображения в местоположении визуализируемого текстового компонента содержит поддержание диспаратности трехмерного изображения ниже предопределенного порога в местоположении визуализированного текста. Конкретный порог, такой как один градус, может быть установлен как предел по величине диспаратности, допустимой в области 3D изображения, которая вмещает в себе субтитры. Это поможет зрителю воспринимать субтитры без излишнего напряжения глаз, поскольку снижение диспаратности сделает просмотр более удобным для зрителя устройства 3D дисплея.
Краткое описание чертежей
Варианты осуществления настоящего изобретения будут теперь описаны лишь в качестве примера, со ссылкой на сопроводительные чертежи, на которых одинаковые ссылочные позиции используются для обозначения подобных элементов или функций:
Фиг.1 является схемой, иллюстрирующей создание 3D изображения,
Фиг.2 является схемой системы воспроизведения 3D,
Фиг.3 является схемой, показывающей контент и поток данных в системе воспроизведения 3D,
Фиг.4 является схемой устройства воспроизведения системы воспроизведения 3D,
Фиг.5 является схемой, показывающей использование плоскостей в создании выходного сигнала,
Фиг.6 является схемой сигнала 3D изображения,
Фиг.7 является схемой улучшенного сигнала 3D изображения,
Фиг.8 является схемой дополнительно улучшенного сигнала 3D изображения,
Фиг.9 является схемой, подобно Фигуре 4, второго варианта осуществления устройства воспроизведения, и
Фиг.10 является схемой текста, размещенного в 3D изображении.
Подробное описание
Создание трехмерного изображения поясняется схематично на Фигуре 1. По существу, независимо то того, является ли конечное визуализирующее устройство отображения автостереоскопическим или работает на стереопарах (требующих, чтобы пользователь надевал специальные очки), процесс является одинаковым. Первый компонент 10 изображения и второй компонент 12 предоставляются для создания трехмерного изображения 14. Второй компонент 12 в комбинации с первым компонентом 10 изображения обрабатывается вместе, чтобы создать окончательный выходной сигнал 14. Во всех системах первый компонент 10 изображения является обычным кадром двухмерного изображения любого подходящего стандарта. В системе стереопары второй компонент 12 является также изображением, и в автостереоскопических системах второй компонент 12 является картой глубины или картой диспаратности.
Важно понимать, что конечный выходной сигнал 14 необязательно является единственным кадром. Например, в системе стереопары (где изображение 10 предназначено для левого глаза, а изображение 12 предназначено для правого глаза) затем эти два компонента 10 и 12 могут быть показаны последовательно. В автостереоскопических системах без временной последовательности изображение 10 и карта 12 глубины используются для создания множества подобных представлений из изображения 10, при этом карта глубины используется для формирования изменений к изображению 10, необходимых для создания отдельных представлений. Эти представления затем объединяются в единственный кадр 14. Например, окончательным визуализирующим устройством отображения можно управлять, чтобы показывать представления четырех отдельных лиц, все сформированные из одного и того же изображения 10. Эти представления затем сращиваются вместе в полосы, каждая из которых имеет разрешение, которое представляет собой одну четвертую разрешения устройства отображения.
Первый компонент 10 изображения может содержать, например, двумерный массив пиксельных элементов/изображения, содержащий, например, RGB или YUV информацию, представляющую представление сцены, какая имела бы место для контента стереоскопического представления, контента множественного представления или контента изображение + глубина. Как упомянуто выше, второй компонент 12 может быть двумерным массивом пиксельных элементов/изображения. В случае контентов стереоскопического представления или контентов мультипредставления это может быть дополнительным представлением той же самой сцены, тогда как в случае контента изображение + глубина это могло быть так называемой картой диспаратности/глубины, содержащей информация о глубине или диспаратности. Выходной сигнал 14 изображения может содержать сигнал видеоизображения, например, используя множественные кадры, представляющие одну или более сцен по времени.
Фигура 2 иллюстрирует систему воспроизведения 3D, при этом предоставляется диск 16, который переносит первые и вторые компоненты 10 и 12 для 3D фильма, например. Диск 16 может быть DVD стандарта Blu-Ray, например. Диск 16 проигрывается устройством 18 воспроизведения, таким как проигрыватель Blu-Ray DVD. Видеоинтерфейс 20 используется, чтобы передавать компоненты 10 и 12 к 3D телевизору 22. Телевизор 22 включает в себя каскад 24 визуализации, который обрабатывает компоненты 10 и 12 в реальном времени, чтобы сформировать 3D выходной сигнал 14 (согласно Фигуре 1 обсужденный выше). Пользователь 26 в настоящий момент смотрит визуализирующее устройство 22 отображения и может подавать пользовательские параметры 28 настройки устройству 22 через подходящий пользовательский интерфейс и устройство дистанционного управления (не показаны).
В таких системах использование субтитров (или фактически любой текст, такой как меню) поддерживается устройством 18 воспроизведения. Например, является традиционным для диска 16 включать в себя субтитры, такие как субтитры на иностранном языке в пределах разделов данных информации, запомненных на диске 16. Они могут быть выбраны пользователем через экранное меню, до запуска воспроизведения фактического контента фильма на диске 16. Эти субтитры затем отображаются устройством 22 отображения, перекрывая визуализируемый 3D контент. Как обсуждалось выше, в оценке предшествующего уровня техники, во многих ситуациях, отображение субтитров в системе отображения 3D может вызывать чрезмерное напряжение зрения зрителя и усталость. Система настоящего изобретения предоставляет способ показа субтитров (или фактически любого текста) таким образом, что проблемы предшествующего уровня техники будут усовершенствованы.
Предоставленное решение состоит в том, чтобы позволить дисплею 22 идентифицировать текст (например, субтитры) во входящем потоке видеоданных и, следовательно, рассматривать текст другим образом от остальной части видеосигнала. Дисплей 22, например, мог бы обеспечивать, чтобы текст оставался перед видео, или сжать и оттянуть назад глубину видеосигнала, чтобы обеспечивать, чтобы текст не выступал (как описано в публикации международной заявки на патент WO 2008/038205). Дополнительно, дисплей 22 может предоставить раздел экрана, который специально предназначен для показа текста, либо являться переключаемым, имеющим различную конфигурацию линз (в случае двояковыпуклого дисплея), либо поддерживая меньше представлений, например. Поскольку удобочитаемость текста на 3D автостереоскопическом дисплее является проблемой, которая почти присуща технологии автостереоскопических дисплеев, существует ожидание дальнейших, в настоящее время непредвиденных улучшений дисплея, который мог бы извлечь пользу из возможности идентифицировать субтитры во входящем видеосигнале.
Один способ отправки текста для субтитров отдельно к дисплею заключается в передаче текста как информации о скрытых субтитрах, которая включается в строку 21 аналогового видео для NTSC, используемого в Европе (PAL) для Ceefax (служба телетекста Би-би-си) или Teletext (вещательная видеография). Однако информация о скрытых субтитрах в настоящий момент не поддерживается при передаче видео высокой четкости по HDMI. В настоящий момент, чтобы решить это, устройства воспроизведения, такие как проигрыватели дисков DVD или Blue-ray, декодируют информацию о скрытых субтитрах, расположенную в потоке MPEG, и накладывают это поверх видео прежде, чем передать дисплею. Таким образом, использование этого решения потребовало бы расширения спецификации HDMI, чтобы включить в себя передачу информации о скрытых субтитрах. Специалистам в данной области техники будет понятно, что вышеупомянутое может также применяется к другим интерфейсам цифровых дисплеев.
Другое решение состоит в том, чтобы предоставить двунаправленную линию связи между устройством 18 воспроизведения и дисплеем 22 таким образом, чтобы, когда пользователь регулирует параметры глубины на дисплее 22, устройству 18 воспроизведения сообщалось об этом изменении. В результате устройство 18 воспроизведения может регулировать позиционирование субтитров. Предпочтительный вариант осуществления заключается в разрешении устройству 18 воспроизведения обрабатывать позиционирование и наложение субтитров на видео и указывать дисплею 22, что субтитры присутствуют и где субтитры располагаются. Дисплей 22 может затем удостовериться, что значение «глубины», связанное с субтитрами, отображается на глубину, которая является самой оптимальной для этого конкретного дисплея 22 и связанных пользовательских параметров 28 настройки. Это имеет дополнительное преимущество в том, что дисплей 22 не требует декодера субтитров или скрытых субтитров в каскаде визуализации.
В одном варианте осуществления достигается улучшение системы, посредством чего устройство 18 воспроизведения, как показано на Фигуре 2, регулирует позиционирование субтитров, таким образом, чтобы текст находился перед видео, сохраняя в то же время величину диспаратности ниже одного градуса. Предпочтительно, устройство 18 воспроизведения вставляет в информацию метаданных выходного потока, которая идентифицирует для дисплея 22, где и вообще располагаются ли субтитры относительно x, y и z («глубина») положения в объеме проекции дисплея. В этом случае каскад 24 визуализации в устройстве 22 отображения регулирует позиционирование субтитров в объеме проекции дисплея, зависящего от вышеупомянутой информации о метаданных и от предпочтенных пользователем параметров 28 настройки (относительно величины диспаратности и относительного положения), поддерживая при этом позиционирование таким образом, чтобы двоение изображения сохранялось минимальным и величина диспаратности оставалась ниже одного градуса. Дополнительно, дисплей 22, если так оборудован, позиционирует субтитры на специальную часть поверхности отображения, которая переключается между 2D и 3D или которая поддерживает меньше двоения изображения и более высокую оптическую разрешающую способность (например, путем поддерживания меньшего числа представлений, или ограниченную величину диспаратности).
В одном варианте осуществления текстовый компонент 30 является по существу плоским, и/или когда диапазон глубины увязывается с текстом 30, то этот диапазон глубины ограничивается порогом таким образом, чтобы диспаратность между соответствующими представлениями ограничивалась конкретным диапазоном, который может быть предопределенным диапазоном, таким как, например, от одного до двух пикселей. В предпочтительном варианте осуществления, в котором текстовый компонент 30 является по существу плоским, текстовый компонент представляет собой основанный на тексте текстовый компонент, а не основанный на битовой карте текстовый компонент; таким образом, обеспечивая возможность чрезвычайно компактного представления текстового компонента 30.
Контент и поток данных в системе Фигуры 2 иллюстрируются на Фигуре 3. Диск 16 вмещает в себе первый компонент 10 изображения и второй компонент 12, плюс текстовый компонент 30, являющийся субтитрами. Пользовательская команда 32 принимается устройством 18 воспроизведения, которая указывает, что пользователь желает получить субтитры 30, отображаемые вместе с 3D фильмом, который он намеревается посмотреть. Устройство 18 воспроизведения предоставляет компоненты 10 и 12 с субтитрами 30 и компонентом 34 данных, который содержит информацию о местоположении, описывающую местоположение текстового компонента 30 в пределах окончательного 3D изображения 14, к блоку 24 визуализации. Устройство воспроизведения включает в себя приемник для приема различных компонентов от их соответствующих источников и мультиплексор для комбинирования этих четырех элементов 10, 12, 30 и 34 в сигнал 36 трехмерного изображения, который принимается блоком 24 визуализации.
Информация 34 о субтитрах может быть отправлена блоку 24 визуализации отдельной от данных 10 и 12 изображения, то есть, возможно, не в активной области изображения, а в заголовке, или в островках данных, или в части кадра, которая не вмещает в себе данные изображения. Например, может случиться так, что видеопоток отправляется с удвоенной нормальной частотой кадра, где один кадр вмещает в себе данные 10 и 12 изображения, и другой кадр вмещает в себе информацию глубины (необязательно также включающую в себя устранение перекрывания) и также вмещает в себе специальную область для субтитров 30 и информацию 34 о положении.
Блок 24 визуализации далее выполнен для визуализации трехмерного изображения 14 из первого компонента 10 изображения и второго компонента 12, причем визуализация (включающая в себя визуализацию текстового компонента 30 на трехмерном изображении 14) текстового компонента 30 включает в себя регулировку одного или более трехмерных параметров трехмерного изображения 14 в местоположении визуализированного текстового компонента 30. Сам текстовый компонент 30 может быть полностью неизменным регулировками, выполненными блоком 24 визуализации. Важным фактором является то, что блок визуализации будет регулировать параметры частей изображения 14, которые в настоящий момент отображаются в местоположении текста 30. Это может содержать снижение воспринятой глубины 3D изображения в этой области изображения 14 или может содержать снижение числа представлений (в автостереоскопическом устройстве отображения) или комбинацию двух или более регулировок. Также возможно для блока 24 визуализации включать в себя не только изменение глубины области, где субтитры 30 должны быть отображены, но также включать в себя смещение, чтобы переместить весь диапазон глубины вперед или назад. Этим смещением можно управлять отдельно для субтитров 30 от остальной части данных 14 изображения.
В варианте осуществления, использующем автостереоскопический дисплей, второй компонент 12 содержит карту глубины, и способ визуализации 3D изображения 14 может дополнительно содержать масштабирование второго компонента 12 перед визуализацией трехмерного изображения 14, чтобы обеспечить возможность размещения текстового компонента 30 в местоположении, как задано компонентом 34 данных. В этом случае блок визуализации может дополнительно принять компонент блока рекомендаций, содержащий рекомендуемое масштабирование второго компонента 12, таким образом, чтобы информация о местоположении могла остаться одинаковой для множества последовательных изображений. В результате использования этого компонента блока рекомендаций становится возможным максимизировать глубину сцены, когда субтитры/графика выключаются и когда субтитры/графика включаются, чтобы использовать предопределенный компонент масштабирования, настроенный для сигнала изображения, для визуализации контента, включающего в себя субтитры/графику.
Пример устройства 18 воспроизведения показан на Фигуре 4, который представляет собой декодер 18 Диска Blu-ray, показывающий декодирование и использование плоскостей представления. ROM привод 38 принимает диск 16 и считывает контент, который демодулируется и декодируется компонентом 40. Набор параллельно включенных буферов 42 запоминают различные компоненты декодируемого сигнала, и они пропускаются через набор параллельно включенных декодеров 44, чтобы предоставить отображаемый дисплеем 22 выходной сигнал, являющийся стандартным видео 46 и наложенным контентом 48 (представляющий собой субтитры и меню и так далее).
В системе Blu-Ray субтитры диска могут быть на основе битовой карты либо основаны на тексте и сопутствующих шрифтах, и дополнительно проигрыватель 18 предоставляет поддержку для информации о скрытых субтитрах. Технически, обе системы несколько подобны, хотя скрытые субтитры часто предоставляют больше информации и предоставляются специально для людей с ослабленным слухом. Как субтитры на основе текста, а также и на основе битовой карты и скрытые субтитры декодируются и представляются на одной из плоскостей представления на диске Blu-ray. Фигура 4 показывает декодер 18 и плоскости, показывая пример текста, скомбинированного с видео. Текст всегда представляется на плоскости графического представления (PG); эта плоскость накладывается в устройстве 18 воспроизведения на видео (плоскости) и представляется как одно комбинированное представление на выходе. Фигура 5 показывает пример комбинированного представления 50. Этот выходной сигнал 50 создается из основной плоскости 52 фильма, плоскости 54 представления и интерактивной плоскости 56. Выходной сигнал 50, как показано на Фигуре 5, отправляется дисплею 22 по видеоинтерфейсу 20 (как показано на Фигуре 2). В предпочтительном варианте осуществления устройство 18 воспроизведения способно к отправке дополнительной информации дисплею 22, который вмещает в себе 3D данные 34, в дополнение к выходному сигналу 50. Это обеспечивает возможность 3D дисплею 22 показывать 3D представление комбинированного видео, текста и графического вывода устройства 18 воспроизведения.
Фигура 6 показывает пример такого комбинированного выходного сигнала для отправки 3D дисплею 22. Используемая 3D система является примером выходного сигнала глубины и изображения. Первый компонент 10 изображения и второй компонент 12 (являющийся картой глубины) будут скомбинированы для создания 3D изображения устройством 22 отображения. Текстовый компонент 30 включается в пределы первого компонента 10, и фактически весь контент (три компонента 10, 12 и 30) может быть создан как единственный кадр высокой четкости.
Фигура 7 показывает добавление заголовка, указывающего местоположение субтитров 30. Заголовок содержит компонент 34 данных, который содержит информацию 58 о местоположении, описывающую местоположение текстового компонента в пределах трехмерного изображения, показанную здесь как x и y координаты, хотя z компонент будет также присутствовать на основании контента карты 12 глубины. Заголовок позволяет окончательному устройству визуализации выполнять регулировки для выходного сигнала 3D, чтобы учесть присутствие субтитров 30.
Дополнительные параметры, которые передаются, могут вмещаться в заголовке над данными изображения, как описано в «3D interface Specifications - white paper» (Спецификации 3D интерфейса - официальное техническое описание»), 3D решения Philips, http://www.business-sites.philips.com/assets/Downloadablefile/Philips-3D-Interface-White-Paper-i 3725.pdf, в соответствии с публикацией международной заявки на патент WO 2006/137000 A1, или, например, в спецификации стандарта HDMI. Эти параметры состоят из индикации относительно того, присутствуют ли субтитры и их местоположение во входном видеосигнале, как показано на Фигуре 7. Устройство 22 отображения может тогда обеспечивать, чтобы диспаратность части изображения, расположенной в этом положении, не переходила границы одного градуса и оставалась постоянной, даже если пользователь посредством входной команды увеличивает величину диспаратности, показанную устройством 22 отображения.
Качество конечного результата может быть улучшено, если выходной сигнал проигрывателя 18 также вмещает в себе информацию о перекрывании или фоновую информацию. Это показывается на Фигуре 8. Чтобы избежать артефактов, субтитры 30 должны быть расположены вне самой активной части изображения, например вверху или внизу. Фигура 8 показывает формат вывода изображения, глубины и фона. Фоновые компоненты 60 и 62 предоставляются для первого компонента 10 изображения и второго компонента 12 соответственно.
Местоположение субтитров 30 в пределах конечного изображения 14 может включать в себя ссылку на местоположение Z субтитров. Например, возможно расширить модель декодера текстовых субтитров диска Blu-ray и связанную информацию составления (в частности, набор стилей диалогового окна, раздел 9.15.4.2.2) с положением Z таким образом, чтобы автор исходного контента мог указывать, где в пространстве проекции в направлении по оси Z 3D дисплея субтитры должны позиционироваться. В стандарте диска Blu-ray задается декодер текстовых субтитров и связанный поток. Декодер текстовых субтитров задается в разделе 8.9 и состоит из различных элементов обработки и буферов. Фигура 9 показывает упрощенную картину модели декодера, расширенной для обработки 3D изображений с связанным текстовым компонентом, таким как субтитр 30.
Фигура 9 показывает модель декодера текстовых субтитров 3D. Слева направо сегменты текстовых субтитров входят в декодер 18, где они обрабатываются и декодируются процессором 64 текстового потока. Декодируемые текстовые данные размещаются в диалоговом буфере 66, пока информация о составлении декодируемых текстовых субтитров размещается в буфер 72 составления. Контроллер 74 интерпретирует информацию составления и применяет ее к тексту после того, как он был визуализирован блоком 68 визуализации текста (при помощи файла 80 шрифта), и помещает результат в буферы 70 битовой карты. На конечном этапе растровые изображения составляются проигрывателем 18 на соответствующие графические плоскости. Пользовательский ввод 78 данных также принимается контроллером 78, который может влиять, например, на параметры глубины отображения.
В дополнение к текстовым субтитрам диск Blu-ray (BD) также поддерживает субтитры на основе растровых изображений, так называемое графическое представление (PG). Аналогично, положение Z PG-субтитров должно быть задано на диске, предпочтительно возле информации положения уже определенных X, Y. Поскольку последние запомнены в структуре composition_object()(составление_объект ()), логично расширить это с помощью Z-положения субтитров, например, путем использования зарезервированных битов, запускающихся при сдвинутом бите 26. Термин «текстовый компонент», использующийся по всей настоящей заявке, используется как относящийся к основанным на тексте субтитрам и/или таким растровым изображениям.
Декодер 18 был расширен с помощью дополнительного буфера 76 битовой карты, который хранит карту глубины или диспаратности, которая указывает, где в направлении по оси Z текстовый субтитр 30 должен быть расположен. Информация о глубине или диспаратности может вмещаться в наборе стилей диалогового окна, как определено в спецификации Blu-Ray. Один способ для достижения этого предназначен для набора стилей диалогового окна, который подлежит расширению с помощью region_depth_position (область_глубина_положение). region_depth_position является 8 битовым полем со значениями между 0 и 255, но в будущем это может быть увеличено. Контроллер 74 определяет правильные значения пикселей карты глубины или диспаратности на основании значения поля region_depth_position. Преобразование этого значения к значению цвета для карты глубины или диспаратности зависит от метаданных 3D, которые переносят в поле 3D_metadata в списке воспроизведения или которые переносятся в таблице карты программ MPEG 2 (ISO/IEC 13818 - 1). Синтаксис этой информации определяется MPEG в ISO/IEC 23002-3.
Положение Z субтитров 30 затем предоставляется в блок 24 визуализации, который может принять во внимание положение Z субтитров 30 при визуализации 3D изображения 14, для отображения устройством 22 отображения 3D. Фигура 10 показывает пример 3D пространства с позиционированием глубины с помощью поля region_depth_position. Изображение 14 включает в себя субтитр 30, который размещается в плоскости 82. Плоскость 82 указывает положение в пространстве в нулевой глубине, другие линии указывают три направления x, y и z в 3D пространстве.
В дополнение к включенной области глубины для указания области в пространстве, где субтитры должны быть помещены, также возможно проходить еще дальше путем добавления отдельной глубины для самого текста 30 и определять область не как плоскость, а как куб в пространстве. Это могло быть выполнено, например, путем расширения полей положения области в наборе стилей диалогового окна с положением region_depth (область_глубина) и region_depth_length (область_глубина_длина). То же самое может быть сделано для положений текстового окна, которые указывают точное местоположение текста внутри области.
Файл 80 шрифта может использоваться, чтобы включать в себя стиль рельефного шрифта, поскольку было показано, что это улучшает удобочитаемость получающегося текста в 3D. Стили шрифта описываются в Таблице 9-75 спецификации Blu-Ray, альтернативно по этой причине используется и поле толщины контура шрифта, которое является таблицей 9-76 спецификации Blu-Ray. Обе этих таблицы зарезервировали поля в конце, которые могут использоваться с этой целью. Стиль рельефного шрифта был бы значением 0x08 в таблице 9-75 и для толщины контура рельефного шрифта это будет значением 0x04 в таблице 9-76.
Преимущественно, Z-местоположение для субтитров как на основе текста, так и на основе PG является одинаковым и лишь должно быть запомнено один раз в поток (то есть на языке субтитра). Для специалиста в данной области техники является очевидным, что существует много альтернативных местоположений на диске BD для запоминания этого совместно используемого Z-местоположения субтитров. Примеры таких альтернативных местоположений описываются ниже.
Интернет-ресурс http://www.bluraydisc.com/Assets/Downloadablcfilc/2b_bdrom_audiovisualapplication_0305-12955-l5269.pdf, настоящим заключенный посредством ссылки, вмещает в себе дополнительную фоновую информацию о формате BD и структурах в формате, упоминаемом ниже.
Совместно используемое Z-местоположение субтитров, например, могло быть запомнено в новой таблице, определенной как данные расширения PlayList (список воспроизведения). PlayList в спецификации BD представляет собой список, который указывает последовательность аудиовизуальных элементов контента, которые вместе формируют представление заглавия, такого как Фильм. Эта структура PlayList предоставляет механизм для будущих расширений с помощью ее данных расширения. «Z» местоположение плоскости субтитров (PG-плоскость) для различных языковых потоков может быть включено там в новой таблице, названной таблицей offset_metadata (смещение_метаданные). Таблица 1 показывает подробные данные этой таблицы.
Кроме того, в случае, когда PlayList вмещает в себе Playltems (элементы воспроизведения), которые позволяют воспроизведение данных стереоскопического многоуглового видео, тогда «Z» местоположение для наложения графики, такой как субтитры, может отличаться для каждого фрагмента стереоскопического многоуглового видео. Поэтому offset_metadata должно также допускать различные «Z» местоположения для каждого фрагмента стереоскопического многоуглового видео, на который ссылаются в Playltem. В таком случае таблица offset_mctadata вмещает в себе различные «Z» местоположения для наложения субтитров для каждого фрагмента стереоскопического многоуглового видео. На эти различные «Z» местоположения можно тогда делать ссылки с помощью идентификатора для каждого фрагмента стереоскопического многоуглового видео, который требует различного «Z» местоположения для наложения субтитров. Таблица 2 показывает пример того, каким образом таблица 1 может быть расширена, чтобы поддерживать различные «Z» местоположения для различных фрагментов стереоскопического многоуглового видео. Ссылки StreamID (идентификатор потока) и AngleID (идентификатор угла) в таблице 1 и 2 служат уникальными идентификаторами соответственно элементарного потока на диске (вмещающего в себе контент субтитра) и фрагмента (много) углового стереоскопического видео.
Вместо использования данных расширения также возможно задавать новую структуру таблицы PlayList, в частности, для воспроизведения 3D потоков и включать параметры «Z» местоположения туда. Проблемы воспроизведения на существующих проигрывателях можно избежать путем предоставления новой таблицы индексов (список выбираемых пользователем заглавий) на диске или при помощи данных расширения таблицы индексов, которая перечисляет заглавия, проигрываемые только проигрывателем с возможностями 3D.
Альтернативно, если информация должна быть предоставлена в существующей таблице в PlayList, тогда она может быть включена в STN_Table_SS(). Это представляет собой таблицу, которая перечисляет видео и графические потоки, связанные с Playltem. На каждый Playltem она вмещает в себе цикл с информацией (атрибуты) кодирования потока для каждого потока текстовых и на основе битовой карты субтитров. Авторы настоящей заявки предлагают включать информацию о «Z» местоположении в тот же самый цикл, что и информация атрибутов потока.
Проблемой при использовании PlayList, чтобы запоминать «Z» параметры для каждого потока субтитров, является дублирование данных. Множество PlayList могут сослаться на те же самые потоки субтитров. Это ограничение может быть преодолено путем включения метаданных «Z» местоположения в файл информации о фрагменте. Файл информации о фрагменте перечисляет метаданные, связанные с транспортным потоком MPEG, который вмещает в себе A/V контент и потоки субтитров. Файл информации о фрагменте может быть расширен с помощью таблицы, подобной тому, что предлагается для данных расширения PlayList. Однако, поскольку файл информации о фрагменте увязывается с транспортным потоком MPEG, он перечисляет элементарные потоки субтитров пакетным идентификатором (PID). Таким образом, авторы настоящего изобретения предлагают, чтобы метаданные «Z» местоположения предоставлялись для каждого PID перечисления, которое указывает PID потока субтитров.
В качестве альтернативы, вместо определения новой таблицы в данных расширения, «Z» местоположение запоминается в таблице ProgramInfo (информация о программе) в файле информации о фрагменте. Таблица ProgramInfo предоставляет список элементарных потоков, которые вместе формируют представление A/V контента. Она вмещает в себе подобную информацию, как таблица PMT, определенная в системах MPEG ISO/IEC 13818-1. Авторы изобретения предлагают для каждого элементарного потока, который вмещает в себе информацию о субтитрах, предоставить метаданные «Z» местоположения. Метаданные могут быть включены в саму ProgramInfo или в подтаблицу таблицы ProgramInfo, таблицы StreamCodingInfo (информация о кодировании потока). Они предоставляют подробную информацию относительно кодирования и языковых кодов для потока субтитров, существующих в транспортном потоке. Таблица StreamCodingInfo также имеет некоторые зарезервированные поля, авторы предлагают использовать эти зарезервированные поля, чтобы переносить параметры «Z» положения, связанные с потоком субтитра для конкретного языкового кода.
Если требуется, чтобы «Z» местоположение изменялось каждые несколько секунд, тогда должна использоваться таблица CPI() в файле информации о фрагменте. Информация CPI представляет собой таблицу, которая перечисляет точки входа в видеопотоки для проигрывания спецэффектов. Перечисления точек входа могут быть расширены с помощью параметра «Z» местоположения, который указывает на каждую точку входа местоположения по «глубине» того, где наложить какую-либо графику, такую как субтитры.
Альтернативно, если информация о «Z» местоположении является покадровой, тогда она должна включаться в SEI сообщения зависимого видеопотока. SEI (сообщения подписи) являются пакетами, встроенными в элементарный поток MPEG, которые переносят параметры, которые могут использоваться декодером, чтобы помочь в декодировании контента. MPEG также позволяет встраивать сообщения SEI частных пользовательских данных; они будут игнорироваться стандартными декодерами, но могут использоваться модифицированным декодером. Сообщение SEI пользовательских данных может определяться, чтобы переносить «Z» местоположение любого наложения, которое должно быть наложено поверх видео, такого как субтитры. Для предоставления информации о «Z» на каждый (языковой) поток авторы данной заявки предлагают пронумеровывать значения «Z» для всех потоков субтитров, предоставленных на диске.
Таблица 1, пример таблицы для запоминания метаданных смещения.
Для специалиста в данной области техники будет очевидным, что этапы обработки, такие как визуализация 3D изображений, или этапы мультиплексирования могут быть реализованы на большом разнообразии платформ обработки. Эти платформы обработки могут систематизироваться из выделенных схем и/или полупроводниковых устройств, программируемых логических устройств, процессоров цифровой обработки сигналов или даже процессоров общего назначения. Аналогично комбинированные реализации программного и аппаратного обеспечения могут также использоваться с выгодой.
Несмотря на то что изобретение было проиллюстрировано и описано подробно на чертежах и предшествующем описании, такие иллюстрация и описание должны рассматриваться иллюстративными или примерными, а не ограничивающими; изобретение не ограничивается раскрытыми вариантами осуществления.
Таблица 2, пример таблицы для запоминания метаданных смещения, расширенной с помощью метаданных различного «Z» местоположения субтитра по каждому сегменту стереоскопического многоуглового видео.
Другие вариации к раскрытым вариантам осуществления могут быть понятны и выполнены специалистами в данной области техники при осуществлении заявленного изобретения в результате изучения чертежей, раскрытия и приложенной формулы изобретения. В пунктах формулы изобретения слово «содержащий» не исключает другие элементы или этапы, и неопределенный артикль «a» или «an» не исключает множество. Единственный процессор или другой блок может выполнять функции нескольких элементов, перечисленных в пунктах формулы изобретения. Сам факт того, что определенные показатели перечисляются во взаимно различных зависимых пунктах формулы изобретения, не указывает того, что комбинация их измерений не может использоваться с выгодой. Компьютерная программа может быть запомнена/распределена на подходящем носителе, таком как оптический носитель или твердотельный носитель, предоставляемом вместе с или как часть других аппаратных средств, но может также быть распределена в других формах, такой как через Интернет или другие проводные или беспроводные системы связи. Любые ссылочные позиции в пунктах формулы изобретения не должны толковаться как ограничивающие объем изобретения.
Claims (17)
1. Способ создания сигнала трехмерного изображения, содержащий этапы, на которых:
принимают первый компонент изображения,
принимают второй компонент для создания трехмерного изображения в комбинации с первым компонентом изображения,
принимают текстовый компонент, содержащий субтитры на основе текста и/или растровые изображения на основе графического представления, для включения в трехмерное изображение,
принимают компонент совместно используемого Z-местоположения, содержащий информацию о Z-местоположении, описывающую Z-местоположение как субтитров на основе текста, так и растровых изображений на основе графического представления в пределах трехмерного изображения, и
создают сигнал трехмерного изображения, содержащего первый компонент изображения, второй компонент, текстовый компонент и компонент совместно используемого Z-местоположения.
принимают первый компонент изображения,
принимают второй компонент для создания трехмерного изображения в комбинации с первым компонентом изображения,
принимают текстовый компонент, содержащий субтитры на основе текста и/или растровые изображения на основе графического представления, для включения в трехмерное изображение,
принимают компонент совместно используемого Z-местоположения, содержащий информацию о Z-местоположении, описывающую Z-местоположение как субтитров на основе текста, так и растровых изображений на основе графического представления в пределах трехмерного изображения, и
создают сигнал трехмерного изображения, содержащего первый компонент изображения, второй компонент, текстовый компонент и компонент совместно используемого Z-местоположения.
2. Способ по п.1, в котором информация о Z-местоположении содержится в сигнале трехмерного изображения в таблице, определенной как данные расширения списка, который указывает последовательность аудиовизуальных элементов контента, которые вместе формируют представление заглавия.
3. Способ по п.2, в котором таблица является таблицей метаданных смещения, которая вмещает в себя различные Z-местоположения субтитров для различных языковых потоков.
4. Способ по п.2, в котором список вмещает в себя элементы, которые позволяют воспроизводить данные стереоскопического многоуглового видео, содержащие фрагменты стереоскопического многоуглового видео, и для каждого фрагмента стереоскопического многоуглового видео в таблице сохранена соответствующая информация о Z-местоположении.
5. Способ по п.4, в котором таблица является таблицей метаданных смещения, которая вмещает в себя различные Z-местоположения для наложения субтитров для каждого фрагмента стереоскопического многоуглового видео.
6. Способ по п.1, в котором информация о Z-местоположении является покадровой и содержится в сигнале трехмерного изображения в сообщениях подписи (SEI), которые являются пакетами, встроенными в элементарный поток аудиовизуального контента, причем пакеты переносят параметры, которые могут использоваться декодером для декодирования контента.
7. Способ по п.6, в котором информация о Z-местоположении содержит пронумерованные значения «Z» для потоков данных, содержащихся в текстовом компоненте.
8. Способ по п.1, в котором информация о Z-местоположении содержится в сигнале трехмерного изображения в одном из:
таблицы, определенной как список, который указывает последовательность трехмерных аудиовизуальных элементов контента, которые вместе формируют представление заглавия;
таблицы в списке, который указывает последовательность аудиовизуальных элементов контента, которые вместе формируют представление заглавия, причем таблица перечисляет видео и графические потоки, связанные с соответствующими элементами аудиовизуального контента, в частном случае для каждого элемента вмещает в себя цикл с информацией кодирования потока для каждого потока текстовых и растровых субтитров.
таблицы, определенной как список, который указывает последовательность трехмерных аудиовизуальных элементов контента, которые вместе формируют представление заглавия;
таблицы в списке, который указывает последовательность аудиовизуальных элементов контента, которые вместе формируют представление заглавия, причем таблица перечисляет видео и графические потоки, связанные с соответствующими элементами аудиовизуального контента, в частном случае для каждого элемента вмещает в себя цикл с информацией кодирования потока для каждого потока текстовых и растровых субтитров.
9. Способ п.1, в котором информация о Z-местоположении содержится в сигнале трехмерного изображения в одном из:
файла, который перечисляет метаданные, относящиеся к транспортному потоку, который вмещает в себя аудиовизуальный контент и потоки субтитров, в частном случае файл перечисляет потоки субтитров посредством пакетного идентификатора (PID), и информация о Z-местоположении предоставлена для каждого перечисления PID, которое указывает PID потока субтитров;
таблицы информации о программе в файле, причем таблица информации о программе предоставляет список элементарных потоков, которые вместе формируют представление аудиовизуального контента, в частном случае таблица предоставляет информацию о Z-местоположении для каждого элементарного потока, который вмещает в себе информацию о субтитрах;
таблицы информации о характерных точках (CPI), которая перечисляет точки входа в аудиовизуальный контент для проигрывания спецэффектов, в частном случае перечисления точек входа содержат параметр Z-местоположения, который указывает для каждой точки входа местоположение по глубине того, где наложить графику.
файла, который перечисляет метаданные, относящиеся к транспортному потоку, который вмещает в себя аудиовизуальный контент и потоки субтитров, в частном случае файл перечисляет потоки субтитров посредством пакетного идентификатора (PID), и информация о Z-местоположении предоставлена для каждого перечисления PID, которое указывает PID потока субтитров;
таблицы информации о программе в файле, причем таблица информации о программе предоставляет список элементарных потоков, которые вместе формируют представление аудиовизуального контента, в частном случае таблица предоставляет информацию о Z-местоположении для каждого элементарного потока, который вмещает в себе информацию о субтитрах;
таблицы информации о характерных точках (CPI), которая перечисляет точки входа в аудиовизуальный контент для проигрывания спецэффектов, в частном случае перечисления точек входа содержат параметр Z-местоположения, который указывает для каждой точки входа местоположение по глубине того, где наложить графику.
10. Способ визуализации сигнала трехмерного изображения, содержащий этапы, на которых:
принимают сигнал трехмерного изображения, содержащий первый компонент изображения, второй компонент для создания трехмерного изображения в комбинации с первым компонентом изображения, текстовый компонент, содержащий субтитры на основе текста и/или растровые изображения на основе графического представления, для включения в трехмерное изображение и компонент совместно используемого Z-местоположения, содержащий информацию о Z-местоположении, описывающую Z-местоположение как субтитров на основе текста, так и растровых изображений на основе графического представления в пределах трехмерного изображения,
визуализируют первый компонент изображения и второй компонент для предоставления трехмерного изображения, причем визуализация включает в себя визуализацию субтитров на основе текста и/или растровых изображений на основе графического представления в трехмерном изображении, причем визуализация субтитров на основе текста и/или растровых изображений на основе графического представления включает в себя регулировку Z-местоположения субтитров на основе текста и/или растровых изображений на основе графического представления, основанную на компоненте совместно используемого Z-местоположения.
принимают сигнал трехмерного изображения, содержащий первый компонент изображения, второй компонент для создания трехмерного изображения в комбинации с первым компонентом изображения, текстовый компонент, содержащий субтитры на основе текста и/или растровые изображения на основе графического представления, для включения в трехмерное изображение и компонент совместно используемого Z-местоположения, содержащий информацию о Z-местоположении, описывающую Z-местоположение как субтитров на основе текста, так и растровых изображений на основе графического представления в пределах трехмерного изображения,
визуализируют первый компонент изображения и второй компонент для предоставления трехмерного изображения, причем визуализация включает в себя визуализацию субтитров на основе текста и/или растровых изображений на основе графического представления в трехмерном изображении, причем визуализация субтитров на основе текста и/или растровых изображений на основе графического представления включает в себя регулировку Z-местоположения субтитров на основе текста и/или растровых изображений на основе графического представления, основанную на компоненте совместно используемого Z-местоположения.
11. Устройство для создания сигнала трехмерного изображения, содержащее:
приемник, выполненный с возможностью приема первого компонента изображения, второго компонента для создания трехмерного изображения в комбинации с первым компонентом изображения, текстового компонента, содержащего субтитры на основе текста и/или растровые изображения на основе графического представления, для включения в трехмерное изображение и компонента совместно используемого Z-местоположения, содержащего информацию о Z-местоположении, описывающую Z-местоположение как субтитров на основе текста, так и растровых изображений на основе графического представления в пределах трехмерного изображения, и
мультиплексор, выполненный с возможностью создания сигнала трехмерного изображения, содержащего первый компонент изображения, второй компонент, текстовый компонент и компонент совместно используемого Z-местоположения.
приемник, выполненный с возможностью приема первого компонента изображения, второго компонента для создания трехмерного изображения в комбинации с первым компонентом изображения, текстового компонента, содержащего субтитры на основе текста и/или растровые изображения на основе графического представления, для включения в трехмерное изображение и компонента совместно используемого Z-местоположения, содержащего информацию о Z-местоположении, описывающую Z-местоположение как субтитров на основе текста, так и растровых изображений на основе графического представления в пределах трехмерного изображения, и
мультиплексор, выполненный с возможностью создания сигнала трехмерного изображения, содержащего первый компонент изображения, второй компонент, текстовый компонент и компонент совместно используемого Z-местоположения.
12. Устройство для визуализации сигнала трехмерного изображения, содержащее:
приемник (18), выполненный с возможностью приема сигнала трехмерного изображения, содержащего первый компонент изображения, второй компонент для создания трехмерного изображения в комбинации с первым компонентом изображения, текстовый компонент, содержащий субтитры на основе текста и/или растровые изображения на основе графического представления, для включения в трехмерное изображение и компонент совместно используемого Z-местоположения, содержащий информацию о Z-местоположении, описывающую Z-местоположение как субтитров на основе текста, так и растровых изображений на основе графического представления в пределах трехмерного изображения,
блок (24) визуализации, выполненный с возможностью визуализации первого компонента изображения и второго компонента для предоставления трехмерного изображения, причем визуализация включает в себя визуализацию субтитров на основе текста и/или растровых изображений на основе графического представления в трехмерном изображении, причем визуализация субтитров на основе текста и/или растровых изображений на основе графического представления включает в себя регулировку Z-местоположения субтитров на основе текста и/или растровых изображений на основе графического представления, основанную на компоненте совместно используемого Z-местоположения.
приемник (18), выполненный с возможностью приема сигнала трехмерного изображения, содержащего первый компонент изображения, второй компонент для создания трехмерного изображения в комбинации с первым компонентом изображения, текстовый компонент, содержащий субтитры на основе текста и/или растровые изображения на основе графического представления, для включения в трехмерное изображение и компонент совместно используемого Z-местоположения, содержащий информацию о Z-местоположении, описывающую Z-местоположение как субтитров на основе текста, так и растровых изображений на основе графического представления в пределах трехмерного изображения,
блок (24) визуализации, выполненный с возможностью визуализации первого компонента изображения и второго компонента для предоставления трехмерного изображения, причем визуализация включает в себя визуализацию субтитров на основе текста и/или растровых изображений на основе графического представления в трехмерном изображении, причем визуализация субтитров на основе текста и/или растровых изображений на основе графического представления включает в себя регулировку Z-местоположения субтитров на основе текста и/или растровых изображений на основе графического представления, основанную на компоненте совместно используемого Z-местоположения.
13. Устройство по п.12, в котором информация о Z-местоположении является покадровой и содержится в сигнале трехмерного изображения в сообщениях подписи (SEI), которые являются пакетами, встроенными в элементарный поток аудиовизуального контента, причем пакеты переносят параметры, которые могут использоваться декодером для декодирования контента.
14. Устройство по п.13, в котором информация о Z- местоположении содержит пронумерованные значения «Z» для потоков данных, содержащихся в текстовом компоненте.
15. Сигнал трехмерного изображения, содержащий первый компонент изображения, второй компонент для создания трехмерного изображения в комбинации с первым компонентом изображения, текстовый компонент, содержащий субтитры на основе текста и/или растровые изображения на основе графического представления, для включения в трехмерное изображение и компонент совместно используемого Z-местоположения, содержащий информацию о Z-местоположении, описывающую Z-местоположение как субтитров на основе текста, так и растровых изображений на основе графического представления в пределах трехмерного изображения.
16. Сигнал трехмерного изображения по п.15, в котором информация о Z-местоположении является покадровой и содержится в сигнале трехмерного изображения в сообщениях подписи (SEI), которые являются пакетами, встроенными в элементарный поток аудиовизуального контента, причем пакеты переносят параметры, которые могут использоваться декодером для декодирования контента.
17. Компьютерно-читаемый носитель информации, содержащий программу, сохраненную на нем, которая предписывает компьютеру выполнять этапы любого из способов по пп. 1-10.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP08161152 | 2008-07-25 | ||
EP08161152.7 | 2008-07-25 | ||
PCT/IB2009/053116 WO2010010499A1 (en) | 2008-07-25 | 2009-07-17 | 3d display handling of subtitles |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2011106942A RU2011106942A (ru) | 2012-08-27 |
RU2517402C2 true RU2517402C2 (ru) | 2014-05-27 |
Family
ID=41010400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2011106942/08A RU2517402C2 (ru) | 2008-07-25 | 2009-07-17 | Обработка 3d отображения субтитров |
Country Status (13)
Country | Link |
---|---|
US (2) | US8508582B2 (ru) |
EP (3) | EP2308240A1 (ru) |
JP (1) | JP5792064B2 (ru) |
KR (2) | KR101315081B1 (ru) |
CN (2) | CN102137270B (ru) |
AU (1) | AU2009275163B2 (ru) |
BR (1) | BRPI0911014B1 (ru) |
ES (2) | ES2927481T3 (ru) |
MX (1) | MX2011000785A (ru) |
MY (1) | MY158412A (ru) |
PL (2) | PL3454549T3 (ru) |
RU (1) | RU2517402C2 (ru) |
WO (1) | WO2010010499A1 (ru) |
Families Citing this family (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100955578B1 (ko) * | 2007-12-18 | 2010-04-30 | 한국전자통신연구원 | 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치 |
EP2320667A1 (en) * | 2009-10-20 | 2011-05-11 | Koninklijke Philips Electronics N.V. | Combining 3D video auxiliary data |
WO2010058368A1 (en) * | 2008-11-24 | 2010-05-27 | Koninklijke Philips Electronics N.V. | Combining 3d video and auxiliary data |
CN102113334B (zh) | 2009-05-19 | 2013-09-11 | 松下电器产业株式会社 | 再现装置、记录方法及记录介质再现系统 |
JP2011019202A (ja) * | 2009-07-10 | 2011-01-27 | Sony Corp | 映像信号処理装置および映像表示装置 |
RU2554465C2 (ru) * | 2009-07-27 | 2015-06-27 | Конинклейке Филипс Электроникс Н.В. | Комбинирование 3d видео и вспомогательных данных |
KR20110018261A (ko) * | 2009-08-17 | 2011-02-23 | 삼성전자주식회사 | 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치 |
JP4875127B2 (ja) * | 2009-09-28 | 2012-02-15 | パナソニック株式会社 | 三次元画像処理装置 |
CN102598676B (zh) | 2009-11-06 | 2015-06-03 | 索尼美国公司 | 立体叠加层偏移创建和编辑 |
KR20110053159A (ko) * | 2009-11-13 | 2011-05-19 | 삼성전자주식회사 | 비디오 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치 |
US20110157329A1 (en) * | 2009-12-28 | 2011-06-30 | Acer Incorporated | Method for switching to display three-dimensional images and digital display system |
US8565516B2 (en) * | 2010-02-05 | 2013-10-22 | Sony Corporation | Image processing apparatus, image processing method, and program |
US9398289B2 (en) * | 2010-02-09 | 2016-07-19 | Samsung Electronics Co., Ltd. | Method and apparatus for converting an overlay area into a 3D image |
KR20130008569A (ko) * | 2010-02-24 | 2013-01-22 | 톰슨 라이센싱 | 입체 영상을 위한 자막 표시 |
EP2540088A1 (en) * | 2010-02-25 | 2013-01-02 | Thomson Licensing | Stereoscopic subtitling with disparity estimation and limitation on the temporal variation of disparity |
US8730301B2 (en) * | 2010-03-12 | 2014-05-20 | Sony Corporation | Service linkage to caption disparity data transport |
EP2524513A4 (en) * | 2010-03-12 | 2014-06-25 | Sony Corp | SERVICE LINKING FOR THE TRANSPORT OF DIFFERENT SUBTITLING DATA |
CN102804793A (zh) * | 2010-03-17 | 2012-11-28 | 松下电器产业株式会社 | 再生装置 |
JP2011216937A (ja) * | 2010-03-31 | 2011-10-27 | Hitachi Consumer Electronics Co Ltd | 立体画像表示装置 |
KR101329065B1 (ko) * | 2010-03-31 | 2013-11-14 | 한국전자통신연구원 | 영상 시스템에서 영상 데이터 제공 장치 및 방법 |
EP2553931A1 (en) | 2010-04-01 | 2013-02-06 | Thomson Licensing | Subtitles in three-dimensional (3d) presentation |
KR20110115103A (ko) * | 2010-04-14 | 2011-10-20 | 삼성전자주식회사 | 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치 |
JP5143856B2 (ja) * | 2010-04-16 | 2013-02-13 | 株式会社ソニー・コンピュータエンタテインメント | 3次元画像表示装置、および3次元画像表示方法 |
JP2011239169A (ja) * | 2010-05-10 | 2011-11-24 | Sony Corp | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 |
JP2011244218A (ja) * | 2010-05-18 | 2011-12-01 | Sony Corp | データ伝送システム |
JP5754080B2 (ja) * | 2010-05-21 | 2015-07-22 | ソニー株式会社 | データ送信装置、データ受信装置、データ送信方法およびデータ受信方法 |
CN105163105B (zh) * | 2010-05-30 | 2018-03-27 | Lg电子株式会社 | 处理和接收用于3维字幕的数字广播信号的方法和装置 |
JP5505637B2 (ja) * | 2010-06-24 | 2014-05-28 | ソニー株式会社 | 立体表示装置および立体表示装置の表示方法 |
CN102959952B (zh) * | 2010-06-27 | 2016-07-06 | Lg电子株式会社 | 数字接收器以及在数字接收器中处理字幕数据的方法 |
CN102300106B (zh) * | 2010-06-28 | 2014-03-12 | 瑞昱半导体股份有限公司 | 三维处理电路及处理方法 |
CN101902582B (zh) * | 2010-07-09 | 2012-12-19 | 清华大学 | 一种立体视频字幕添加方法及装置 |
WO2012010101A1 (en) * | 2010-07-21 | 2012-01-26 | Technicolor (China) Technology Co., Ltd. | Method and device for providing supplementary content in 3d communication system |
CN103329542A (zh) * | 2010-07-21 | 2013-09-25 | 汤姆森特许公司 | 在3d通信系统中提供补充内容的方法和设备 |
US10134150B2 (en) * | 2010-08-10 | 2018-11-20 | Monotype Imaging Inc. | Displaying graphics in multi-view scenes |
CN102137264B (zh) * | 2010-08-25 | 2013-03-13 | 华为技术有限公司 | 一种三维电视中图形文本显示的控制方法及设备、系统 |
JP5668385B2 (ja) * | 2010-09-17 | 2015-02-12 | ソニー株式会社 | 情報処理装置、プログラムおよび情報処理方法 |
US20120092364A1 (en) * | 2010-10-14 | 2012-04-19 | Microsoft Corporation | Presenting two-dimensional elements in three-dimensional stereo applications |
GB2485140A (en) * | 2010-10-26 | 2012-05-09 | Sony Corp | A Method and Apparatus For Inserting Object Data into a Stereoscopic Image |
US20130207971A1 (en) * | 2010-10-29 | 2013-08-15 | Thomson Licensing | Method for generation of three-dimensional images encrusting a graphic object in the image and an associated display device |
GB2485532A (en) * | 2010-11-12 | 2012-05-23 | Sony Corp | Three dimensional (3D) image duration-related metadata encoding of apparent minimum observer distances (disparity) |
JP5955851B2 (ja) * | 2010-12-03 | 2016-07-20 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 3d画像データの転送 |
JP4908624B1 (ja) | 2010-12-14 | 2012-04-04 | 株式会社東芝 | 立体映像信号処理装置及び方法 |
CN103339658A (zh) * | 2011-01-30 | 2013-10-02 | 诺基亚公司 | 用于三维立体显示器的方法、设备和计算机程序产品 |
CN102186023B (zh) * | 2011-04-27 | 2013-01-02 | 四川长虹电器股份有限公司 | 一种双目立体字幕处理方法 |
US20120293636A1 (en) * | 2011-05-19 | 2012-11-22 | Comcast Cable Communications, Llc | Automatic 3-Dimensional Z-Axis Settings |
US9013631B2 (en) * | 2011-06-22 | 2015-04-21 | Google Technology Holdings LLC | Method and apparatus for processing and displaying multiple captions superimposed on video images |
JP2013051660A (ja) * | 2011-08-04 | 2013-03-14 | Sony Corp | 送信装置、送信方法および受信装置 |
CN102510558B (zh) * | 2011-10-13 | 2018-03-27 | 中兴通讯股份有限公司 | 一种信息显示方法及系统、发送模块与接收模块 |
JP5127973B1 (ja) * | 2011-10-21 | 2013-01-23 | 株式会社東芝 | 映像処理装置、映像処理方法および映像表示装置 |
CN102447863A (zh) * | 2011-12-20 | 2012-05-09 | 四川长虹电器股份有限公司 | 一种多视点立体视频字幕处理方法 |
US9829715B2 (en) | 2012-01-23 | 2017-11-28 | Nvidia Corporation | Eyewear device for transmitting signal and communication method thereof |
CN102663665B (zh) * | 2012-03-02 | 2014-04-09 | 清华大学 | 具有自适应深度的立体图像图文标签的显示和编辑方法 |
JP5289606B2 (ja) * | 2012-06-20 | 2013-09-11 | 株式会社東芝 | 立体映像表示装置及び方法 |
WO2014013405A1 (en) | 2012-07-20 | 2014-01-23 | Koninklijke Philips N.V. | Metadata for depth filtering |
US9781409B2 (en) * | 2012-08-17 | 2017-10-03 | Nec Corporation | Portable terminal device and program |
CN103679127B (zh) * | 2012-09-24 | 2017-08-04 | 株式会社理光 | 检测道路路面的可行驶区域的方法和装置 |
JP5903023B2 (ja) * | 2012-10-04 | 2016-04-13 | 株式会社ジオ技術研究所 | 立体視地図表示システム |
NL2009616C2 (en) * | 2012-10-11 | 2014-04-14 | Ultra D Co Peratief U A | Adjusting depth in a three-dimensional image signal. |
US10203839B2 (en) * | 2012-12-27 | 2019-02-12 | Avaya Inc. | Three-dimensional generalized space |
US9118911B2 (en) * | 2013-02-07 | 2015-08-25 | Delphi Technologies, Inc. | Variable disparity three-dimensional (3D) display system and method of operating the same |
US9197947B2 (en) * | 2013-03-14 | 2015-11-24 | Arris Technology, Inc. | Devices and methods for dynamic video processing |
US10935788B2 (en) * | 2014-01-24 | 2021-03-02 | Nvidia Corporation | Hybrid virtual 3D rendering approach to stereovision |
US20150334367A1 (en) * | 2014-05-13 | 2015-11-19 | Nagravision S.A. | Techniques for displaying three dimensional objects |
CN106296781B (zh) * | 2015-05-27 | 2020-09-22 | 深圳超多维科技有限公司 | 特效图像生成方法及电子设备 |
WO2017126509A1 (ja) * | 2016-01-19 | 2017-07-27 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
CN108476341B (zh) * | 2016-01-26 | 2021-06-25 | 索尼公司 | 接收设备、接收方法和发送设备 |
US10230812B1 (en) * | 2016-01-29 | 2019-03-12 | Amazon Technologies, Inc. | Dynamic allocation of subtitle packaging |
KR101826025B1 (ko) * | 2016-07-22 | 2018-02-07 | 한국과학기술연구원 | 사용자 인터렉션이 가능한 3d 영상 콘텐츠 생성 시스템 및 방법 |
CN106412718A (zh) * | 2016-09-18 | 2017-02-15 | 乐视控股(北京)有限公司 | 一种字幕在3d空间中的渲染方法及其装置 |
CN110971951B (zh) * | 2018-09-29 | 2021-09-21 | 阿里巴巴(中国)有限公司 | 弹幕展示方法及装置 |
CN109561263A (zh) * | 2018-11-23 | 2019-04-02 | 重庆爱奇艺智能科技有限公司 | 在vr设备的3d视频中实现3d字幕效果 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2097940C1 (ru) * | 1995-04-18 | 1997-11-27 | Акционерное общество закрытого типа "Ракурс-ЗД" | Способ получения и воспроизведения объемного изображения и устройство для его реализации |
EP0905988A1 (en) * | 1997-09-30 | 1999-03-31 | Kabushiki Kaisha Toshiba | Three-dimensional image display apparatus |
RU2168192C2 (ru) * | 1995-01-04 | 2001-05-27 | Визуалабс Инк. | Визуальное устройство отображения и способ формирования трехмерного изображения |
JP2004274125A (ja) * | 2003-03-05 | 2004-09-30 | Sony Corp | 画像処理装置および方法 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5715383A (en) | 1992-09-28 | 1998-02-03 | Eastman Kodak Company | Compound depth image display system |
US5559942A (en) * | 1993-05-10 | 1996-09-24 | Apple Computer, Inc. | Method and apparatus for providing a note for an application program |
US5784097A (en) * | 1995-03-29 | 1998-07-21 | Sanyo Electric Co., Ltd. | Three-dimensional image display device |
TW436777B (en) | 1995-09-29 | 2001-05-28 | Matsushita Electric Ind Co Ltd | A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween |
KR100392085B1 (ko) * | 2000-11-09 | 2003-07-22 | 전자부품연구원 | 3차원 디스플레이 시스템을 이용한 3차원 메시징 방법 및장치 |
EP1501316A4 (en) * | 2002-04-25 | 2009-01-21 | Sharp Kk | METHOD FOR GENERATING MULTIMEDIA INFORMATION, AND DEVICE FOR REPRODUCING MULTIMEDIA INFORMATION |
US20040081434A1 (en) * | 2002-10-15 | 2004-04-29 | Samsung Electronics Co., Ltd. | Information storage medium containing subtitle data for multiple languages using text data and downloadable fonts and apparatus therefor |
JP2004201004A (ja) * | 2002-12-18 | 2004-07-15 | Nippon Telegr & Teleph Corp <Ntt> | 3次元映像表示装置、プログラム、及び記録媒体 |
JP2004208014A (ja) | 2002-12-25 | 2004-07-22 | Mitsubishi Electric Corp | 字幕表示装置及び字幕表示プログラム |
KR20040099058A (ko) | 2003-05-17 | 2004-11-26 | 삼성전자주식회사 | 서브타이틀 처리 방법, 그 재생 장치 및 그 정보저장매체 |
US7650036B2 (en) * | 2003-10-16 | 2010-01-19 | Sharp Laboratories Of America, Inc. | System and method for three-dimensional video coding |
KR100520707B1 (ko) | 2003-10-20 | 2005-10-17 | 엘지전자 주식회사 | 3차원 지도에서의 다중레벨 텍스트데이터 표시방법 |
US20070121005A1 (en) | 2003-11-10 | 2007-05-31 | Koninklijke Philips Electronics N.V. | Adaptation of close-captioned text based on surrounding video content |
KR100697972B1 (ko) * | 2004-11-16 | 2007-03-23 | 한국전자통신연구원 | 입체 방송 서비스를 위한 디지털 방송 송신 장치 및 그 방법 |
WO2006111893A1 (en) * | 2005-04-19 | 2006-10-26 | Koninklijke Philips Electronics N.V. | Depth perception |
PL1897056T3 (pl) | 2005-06-23 | 2017-01-31 | Koninklijke Philips N.V. | Połączona wymiana danych obrazu i powiązanych |
JP4463215B2 (ja) * | 2006-01-30 | 2010-05-19 | 日本電気株式会社 | 立体化処理装置及び立体情報端末 |
US7916934B2 (en) * | 2006-04-04 | 2011-03-29 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for acquiring, encoding, decoding and displaying 3D light fields |
JP5001584B2 (ja) * | 2006-06-06 | 2012-08-15 | ソニー株式会社 | オーサリング装置、オーサリング方法、オーサリングプログラム、記録装置、記録方法および記録プログラム、検証装置、検証方法および検証プログラム、ならびに、記録媒体の製造装置および製造方法 |
JP2010505174A (ja) | 2006-09-28 | 2010-02-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | メニューディスプレイ |
US8711203B2 (en) | 2006-10-11 | 2014-04-29 | Koninklijke Philips N.V. | Creating three dimensional graphics data |
JP4755565B2 (ja) * | 2006-10-17 | 2011-08-24 | シャープ株式会社 | 立体画像処理装置 |
CA2680724C (en) * | 2007-03-16 | 2016-01-26 | Thomson Licensing | System and method for combining text with three-dimensional content |
JP2009135686A (ja) * | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置 |
AU2009205250B2 (en) * | 2008-01-17 | 2013-02-21 | Panasonic Corporation | Recording medium on which 3D video is recorded, recording medium for recording 3D video, and reproducing device and method for reproducing 3D video |
CN101682744B (zh) * | 2008-02-15 | 2013-01-30 | 松下电器产业株式会社 | 再现装置、记录装置、再现方法及记录方法 |
US20090273711A1 (en) * | 2008-04-30 | 2009-11-05 | Centre De Recherche Informatique De Montreal (Crim) | Method and apparatus for caption production |
-
2009
- 2009-07-17 KR KR1020117018100A patent/KR101315081B1/ko active IP Right Grant
- 2009-07-17 US US13/054,973 patent/US8508582B2/en active Active
- 2009-07-17 PL PL18196588.0T patent/PL3454549T3/pl unknown
- 2009-07-17 AU AU2009275163A patent/AU2009275163B2/en active Active
- 2009-07-17 EP EP09786635A patent/EP2308240A1/en not_active Ceased
- 2009-07-17 KR KR1020117004128A patent/KR20110053431A/ko active Search and Examination
- 2009-07-17 WO PCT/IB2009/053116 patent/WO2010010499A1/en active Application Filing
- 2009-07-17 EP EP18196588.0A patent/EP3454549B1/en active Active
- 2009-07-17 RU RU2011106942/08A patent/RU2517402C2/ru active
- 2009-07-17 MX MX2011000785A patent/MX2011000785A/es active IP Right Grant
- 2009-07-17 ES ES18196588T patent/ES2927481T3/es active Active
- 2009-07-17 ES ES11164109T patent/ES2435669T3/es active Active
- 2009-07-17 BR BRPI0911014-3A patent/BRPI0911014B1/pt active IP Right Grant
- 2009-07-17 MY MYPI2011000322A patent/MY158412A/en unknown
- 2009-07-17 PL PL11164109T patent/PL2362671T3/pl unknown
- 2009-07-17 JP JP2011519268A patent/JP5792064B2/ja active Active
- 2009-07-17 CN CN201110123678.5A patent/CN102137270B/zh active Active
- 2009-07-17 EP EP11164109.8A patent/EP2362671B1/en active Active
- 2009-07-17 CN CN200980128936XA patent/CN102106153B/zh active Active
-
2011
- 2011-06-08 US US13/155,436 patent/US9979902B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2168192C2 (ru) * | 1995-01-04 | 2001-05-27 | Визуалабс Инк. | Визуальное устройство отображения и способ формирования трехмерного изображения |
RU2097940C1 (ru) * | 1995-04-18 | 1997-11-27 | Акционерное общество закрытого типа "Ракурс-ЗД" | Способ получения и воспроизведения объемного изображения и устройство для его реализации |
EP0905988A1 (en) * | 1997-09-30 | 1999-03-31 | Kabushiki Kaisha Toshiba | Three-dimensional image display apparatus |
JP2004274125A (ja) * | 2003-03-05 | 2004-09-30 | Sony Corp | 画像処理装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20110053431A (ko) | 2011-05-23 |
JP2011529286A (ja) | 2011-12-01 |
CN102106153A (zh) | 2011-06-22 |
JP5792064B2 (ja) | 2015-10-07 |
EP3454549A1 (en) | 2019-03-13 |
ES2435669T3 (es) | 2013-12-20 |
WO2010010499A1 (en) | 2010-01-28 |
BRPI0911014B1 (pt) | 2021-08-17 |
PL3454549T3 (pl) | 2022-11-14 |
CN102137270A (zh) | 2011-07-27 |
US9979902B2 (en) | 2018-05-22 |
AU2009275163A1 (en) | 2010-01-28 |
EP2362671B1 (en) | 2013-09-11 |
KR20110102497A (ko) | 2011-09-16 |
CN102106153B (zh) | 2013-12-18 |
EP2362671A1 (en) | 2011-08-31 |
US8508582B2 (en) | 2013-08-13 |
US20110292189A1 (en) | 2011-12-01 |
BRPI0911014A2 (pt) | 2018-01-23 |
EP3454549B1 (en) | 2022-07-13 |
ES2927481T3 (es) | 2022-11-07 |
US20110128351A1 (en) | 2011-06-02 |
MX2011000785A (es) | 2011-02-24 |
EP2308240A1 (en) | 2011-04-13 |
RU2011106942A (ru) | 2012-08-27 |
AU2009275163B2 (en) | 2015-11-05 |
KR101315081B1 (ko) | 2013-10-14 |
MY158412A (en) | 2016-10-14 |
CN102137270B (zh) | 2014-09-03 |
PL2362671T3 (pl) | 2014-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2517402C2 (ru) | Обработка 3d отображения субтитров | |
JP5321694B2 (ja) | 三次元画像にクローズドキャプショニングを提供するシステム及び方法 | |
US20160353081A1 (en) | Method and device for overlaying 3d graphics over 3d video | |
EP2406950B1 (en) | Information processing device, information processing method, playback device, playback method, program and recording medium | |
TWI573425B (zh) | 產生三維視訊信號 | |
US20110293240A1 (en) | Method and system for transmitting over a video interface and for compositing 3d video and 3d overlays | |
RU2552137C2 (ru) | Точки входа для ускоренного 3d-воспроизведения | |
JP5955851B2 (ja) | 3d画像データの転送 | |
EP2442575A1 (en) | Stereoscopic image reproduction method in quick search mode and stereoscopic image reproduction apparatus using same | |
AU2011202552B2 (en) | 3D display handling of subtitles |