RU2448432C2 - System and method of creating and displaying image file containing two-dimensional image and three-dimensional stereoscopic image - Google Patents
System and method of creating and displaying image file containing two-dimensional image and three-dimensional stereoscopic image Download PDFInfo
- Publication number
- RU2448432C2 RU2448432C2 RU2010123632/28A RU2010123632A RU2448432C2 RU 2448432 C2 RU2448432 C2 RU 2448432C2 RU 2010123632/28 A RU2010123632/28 A RU 2010123632/28A RU 2010123632 A RU2010123632 A RU 2010123632A RU 2448432 C2 RU2448432 C2 RU 2448432C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- field
- dimensional
- data
- image data
- Prior art date
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
Область техники, к которой относится изобретениеFIELD OF THE INVENTION
Настоящее изобретение относится к системе и способу для формирования и воспроизведения файла изображений, которое включает в себя двумерное (2D) изображение и трехмерное (3D) стереоскопическое изображение, на основе мультимедийных стандартов для двумерных изображений. Более конкретно, настоящее изобретение относится к формату файла, допускающему альтернативное формирование и воспроизведение двумерного изображения и трехмерного стереоскопического изображения, и системе, и способу для альтернативного формирования и воспроизведения двумерного изображения и трехмерного стереоскопического изображения с использованием формата файла.The present invention relates to a system and method for generating and reproducing an image file, which includes a two-dimensional (2D) image and three-dimensional (3D) stereoscopic image, based on multimedia standards for two-dimensional images. More specifically, the present invention relates to a file format capable of alternatively generating and reproducing a two-dimensional image and a three-dimensional stereoscopic image, and a system and method for alternatively generating and reproducing a two-dimensional image and a three-dimensional stereoscopic image using a file format.
Уровень техникиState of the art
Стандарты форматов файлов, используемые для сохранения двумерных изображений, известны в данной области техники. В общем, Экспертная группа по киноизображению (MPEG), которая является международной организацией по стандартизации в области техники мультимедиа, опубликовала стандарты MPEG-2, MPEG-4, MPEG-7 и MPEG-21 с момента первой стандартизации MPEG-1 в 1988 году. Поскольку множество стандартов разработано, возникла потребность сформировать один профиль посредством комбинирования различных стандартных технологий. В ответ на эту потребность, деятельность по стандартизации мультимедийных приложений MPEG-A (Приложение MPEG: ISO/ICE 230000) проведена для сохранения и воспроизведения двумерных изображений.File format standards used to store two-dimensional images are known in the art. In general, the Motion Picture Expertise Group (MPEG), which is an international multimedia standardization organization, has published MPEG-2, MPEG-4, MPEG-7, and MPEG-21 standards since the first MPEG-1 standardization in 1988. As many standards have been developed, there is a need to form one profile by combining various standard technologies. In response to this need, MPEG-A multimedia application standardization activities (MPEG Supplement: ISO / ICE 230000) have been undertaken to save and reproduce two-dimensional images.
Тем не менее до настоящего времени, формат файла для сохранения трехмерного стереоскопического изображения еще не стандартизирован. Кроме того, структура формата файла, который включает в себя как двумерные, так и трехмерные стереоскопические изображения, в общем портативном терминале или система и способ для формирования и воспроизведения таких изображений с использованием структуры такого формата файла еще не реализованы. Это важно, поскольку при формировании файла изображений в форме трехмерного стереоскопического изображения, пользователь не может ничего делать, но просматривает нетрехмерное стереоскопическое изображение в файле изображений как трехмерное стереоскопическое изображение, что вызывает быструю утомляемость глаз у пользователя. При этом, например, такое изображение может быть изображением, в котором все изображение выполнено с помощью символов.However, to date, the file format for storing three-dimensional stereoscopic images has not yet been standardized. In addition, the structure of the file format, which includes both two-dimensional and three-dimensional stereoscopic images, in a general portable terminal or system and method for generating and reproducing such images using the structure of such a file format are not yet implemented. This is important, because when creating an image file in the form of a three-dimensional stereoscopic image, the user can not do anything, but views the non-three-dimensional stereoscopic image in the image file as a three-dimensional stereoscopic image, which causes quick fatigue of the eyes of the user. In this case, for example, such an image may be an image in which the entire image is made using characters.
Сущность изобретенияSUMMARY OF THE INVENTION
Аспект настоящего изобретения заключается в том, чтобы разрешать, по меньшей мере, вышеуказанные проблемы и/или недостатки и предоставлять, по меньшей мере, преимущества, описанные ниже. Соответственно, аспект настоящего изобретения заключается в том, чтобы предоставлять формат файла для формирования, сохранения и воспроизведения трехмерного стереоскопического изображения.An aspect of the present invention is to solve at least the above problems and / or disadvantages and provide at least the advantages described below. Accordingly, an aspect of the present invention is to provide a file format for generating, storing and reproducing a three-dimensional stereoscopic image.
Другой аспект настоящего изобретения состоит в том, чтобы предоставлять формат файла для трехмерного стереоскопического изображения на основе формата файла, используемого для того, чтобы формировать, сохранять и воспроизводить существующее двумерное изображение.Another aspect of the present invention is to provide a file format for a three-dimensional stereoscopic image based on a file format used to generate, save and reproduce an existing two-dimensional image.
Еще один аспект настоящего изобретения состоит в том, чтобы предоставлять систему и способ для формирования и воспроизведения файла трехмерного стереоскопического изображения посредством использования формата файла для трехмерного стереоскопического изображения.Another aspect of the present invention is to provide a system and method for generating and reproducing a three-dimensional stereoscopic image file by using a file format for a three-dimensional stereoscopic image.
В частности, настоящее изобретение предоставляет формат файла, который включает в себя как трехмерное стереоскопическое изображение, так и двумерное изображение, так что пользователь может просматривать трехмерное стереоскопическое изображение и двумерное изображение согласно формату файла. Формат файла в соответствии с настоящим изобретением предусматривает сохранение как двумерных, так и трехмерных стереоскопических изображений в рамках одного файла изображений. Например, трехмерное стереоскопическое изображение может, в общем, предоставляться в рамках одного трехмерного стереоскопического изображения для содержимого новостей, например, и двумерное изображение может предоставляться в изображении, включающем в себя только заголовок, чтобы обеспечивать пользователю удобство.In particular, the present invention provides a file format that includes both a three-dimensional stereoscopic image and a two-dimensional image, so that a user can view a three-dimensional stereoscopic image and a two-dimensional image according to the file format. The file format in accordance with the present invention provides for the storage of both two-dimensional and three-dimensional stereoscopic images within a single image file. For example, a three-dimensional stereoscopic image may generally be provided within a single three-dimensional stereoscopic image for news content, for example, and a two-dimensional image may be provided in an image including only a headline to provide convenience to the user.
В соответствии с аспектом настоящего изобретения, устройство включает в себя модуль хранения, чтобы принимать и сохранять файл изображений, процессор, чтобы синтаксически анализировать поле мультимедийных данных файла изображений, включающего в себя одну или более выборок данных изображений, и синтаксически анализировать поле заголовка мультимедиа, включающее в себя поле данных типа изображения, указывающее то, является каждая из одной или более выборок данных изображений одним из данных двумерных (2D) изображений и данных трехмерных (3D) стереоскопических изображений, чтобы формировать изображение, соответствующее одному из двумерного изображения и трехмерного стереоскопического изображения, на основе поля данных типа изображения файла изображений, и дисплей, чтобы отображать сформированное изображение согласно полю данных типа изображения файла изображений.In accordance with an aspect of the present invention, an apparatus includes a storage module for receiving and storing an image file, a processor for parsing a multimedia data field of an image file including one or more samples of image data, and parsing a multimedia header field including an image type data field indicating that each of one or more samples of image data is one of two-dimensional (2D) image data and three-dimensional data (3 D) stereoscopic images to form an image corresponding to one of the two-dimensional image and three-dimensional stereoscopic image based on the data field of the image type of the image file, and a display to display the generated image according to the data field of the image type of the image file.
В соответствии с другим аспектом настоящего изобретения, машинореализуемый способ включает в себя прием файла изображений, синтаксический анализ поля мультимедийных данных файла изображений, включающего в себя одну или более выборок данных изображений, синтаксический анализ поля заголовка мультимедиа, включающего в себя поле данных типа изображения, указывающее то, является каждая из одной или более выборок данных изображений одним из данных двумерных (2D) изображений и данных трехмерных (3D) стереоскопических изображений, и формирование изображения, соответствующего одному из двумерного изображения и трехмерного стереоскопического изображения, на основе поля данных типа изображения файла изображений.In accordance with another aspect of the present invention, a computer-implemented method includes receiving an image file, parsing a multimedia data field of an image file including one or more samples of image data, parsing a multimedia header field including an image type data field indicating then, each of one or more samples of image data is one of two-dimensional (2D) image data and three-dimensional (3D) stereoscopic image data, and is formed th image corresponding to one two-dimensional image and a three-dimensional stereoscopic image based on the image field of the image file data types.
В соответствии с еще одним аспектом настоящего изобретения, машиночитаемый носитель, сохраняющий структуру данных, включает в себя поле мультимедийных данных, включающее в себя одну или более выборок данных изображений, и поле заголовка мультимедиа, включающее в себя поле данных типа изображения, указывающее то, является каждая из одной или более выборок данных изображений одним из данных двумерных (2D) изображений и данных трехмерных (3D) стереоскопических изображений.In accordance with another aspect of the present invention, a computer readable medium storing a data structure includes a multimedia data field including one or more samples of image data, and a multimedia header field including an image type data field indicating that is each of one or more samples of image data with one of two-dimensional (2D) image data and three-dimensional (3D) stereoscopic image data.
Другие аспекты, преимущества и выраженные признаки изобретения должны стать очевидными специалистам в данной области техники из последующего подробного описания, которое, при рассмотрении вместе с прилагаемыми чертежами, раскрывает примерные варианты осуществления изобретения.Other aspects, advantages, and pronounced features of the invention should become apparent to those skilled in the art from the following detailed description, which, when taken in conjunction with the accompanying drawings, discloses exemplary embodiments of the invention.
Краткое описание чертежейBrief Description of the Drawings
Вышеуказанные и другие примерные аспекты, признаки и преимущества примерных вариантов осуществления настоящего изобретения должны стать более понятными из последующего подробного описания, рассматриваемого вместе с прилагаемыми чертежами, из которых:The above and other exemplary aspects, features, and advantages of exemplary embodiments of the present invention will become more apparent from the following detailed description, taken in conjunction with the accompanying drawings, of which:
Фиг.1 является блок-схемой, иллюстрирующей формат хранения файла двумерных изображений согласно предшествующему уровню техники;1 is a block diagram illustrating a storage format of a two-dimensional image file according to the prior art;
Фиг.2A является блок-схемой, иллюстрирующей формат хранения файла изображений согласно примерному варианту осуществления настоящего изобретения;2A is a block diagram illustrating a storage format of an image file according to an exemplary embodiment of the present invention;
Фиг.2B является блок-схемой, иллюстрирующей формат хранения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;2B is a block diagram illustrating a storage format of an image file according to another exemplary embodiment of the present invention;
Фиг.2C является блок-схемой, иллюстрирующей формат хранения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;2C is a block diagram illustrating a storage format of an image file according to another exemplary embodiment of the present invention;
Фиг.2D является блок-схемой, иллюстрирующей формат хранения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;2D is a block diagram illustrating a storage format of an image file according to another exemplary embodiment of the present invention;
Фиг.2F является блок-схемой, иллюстрирующей формат хранения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;2F is a block diagram illustrating a storage format of an image file according to another exemplary embodiment of the present invention;
Фиг.2G является блок-схемой, иллюстрирующей формат хранения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;FIG. 2G is a block diagram illustrating a storage format of an image file according to another exemplary embodiment of the present invention; FIG.
Фиг.2H является блок-схемой, иллюстрирующей формат хранения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;2H is a block diagram illustrating a storage format of an image file according to another exemplary embodiment of the present invention;
Фиг.3 является блок-схемой, иллюстрирующей устройство формирования файлов изображений согласно примерному варианту осуществления настоящего изобретения;3 is a block diagram illustrating an image file generating apparatus according to an exemplary embodiment of the present invention;
Фиг.4 является блок-схемой, иллюстрирующей устройство воспроизведения файлов изображений согласно примерному варианту осуществления настоящего изобретения;4 is a block diagram illustrating an apparatus for reproducing image files according to an exemplary embodiment of the present invention;
Фиг.5 является блок-схемой последовательности операций способа, иллюстрирующей способ для формирования файла изображений согласно примерному варианту осуществления настоящего изобретения;5 is a flowchart illustrating a method for generating an image file according to an exemplary embodiment of the present invention;
Фиг.6 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений согласно примерному варианту осуществления настоящего изобретения;6 is a flowchart illustrating a method for reproducing an image file according to an exemplary embodiment of the present invention;
Фиг.7 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;7 is a flowchart illustrating a method for reproducing an image file according to another exemplary embodiment of the present invention;
Фиг.8 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;8 is a flowchart illustrating a method for reproducing an image file according to another exemplary embodiment of the present invention;
Фиг.9 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений согласно другому примерному варианту осуществления настоящего изобретения;FIG. 9 is a flowchart illustrating a method for reproducing an image file according to another exemplary embodiment of the present invention; FIG.
Фиг.10 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений согласно другому примерному варианту осуществления настоящего изобретения; и10 is a flowchart illustrating a method for reproducing an image file according to another exemplary embodiment of the present invention; and
Фиг.11 является блок-схемой последовательности операций способа, иллюстрирующей способ для реализации произвольного доступа согласно настоящему изобретению.11 is a flowchart illustrating a method for implementing random access according to the present invention.
Следует отметить, что на всех чертежах аналогичные номера ссылок используются для того, чтобы иллюстрировать идентичные или аналогичные элементы, признаки и структуры.It should be noted that in all the drawings, similar reference numbers are used to illustrate identical or similar elements, features and structures.
Подробное описание примерных вариантов осуществленияDetailed Description of Exemplary Embodiments
Последующее описание со ссылкой на прилагаемые чертежи предоставляется для того, чтобы помогать в полном понимании примерных вариантов осуществления изобретения, как задано посредством формулы изобретения и ее эквивалентов. Оно включает в себя различные подробности, чтобы помогать в этом понимании, но они должны рассматриваться просто как примерные. Соответственно, специалисты в данной области техники должны признавать, что различные изменения и модификации вариантов осуществления, описанных в данном документе, могут быть сделаны без отступления от сущности и объема изобретения.The following description with reference to the accompanying drawings is provided in order to assist in a thorough understanding of exemplary embodiments of the invention as defined by the claims and their equivalents. It includes various details to assist in this understanding, but they should be considered simply as exemplary. Accordingly, those skilled in the art should recognize that various changes and modifications to the embodiments described herein can be made without departing from the spirit and scope of the invention.
Перед описанием формата для сохранения трехмерного (3D) стереоскопического изображения согласно примерному варианту осуществления настоящего изобретения описывается формат хранения файла двумерных (2D) изображений на основе традиционного стандарта международной организации по стандартизации (ISO). Фиг.1 является схемой, иллюстрирующей формат файла двумерного изображения на основе традиционного стандарта ISO 14496-12. Ссылаясь на фиг.1, формат 100 файла двумерных изображений включает в себя файловую зону 110 Ftyp верхнего уровня, зону 120 Moov и зону 130 Mdat. Зона 130 Mdat является зоной данных формата файла и включает в себя фактические данные 132 изображений в рамках дорожки 131 изображений и речевые данные 134 в рамках речевой дорожки 133. Каждая из дорожек включает в себя соответствующие данные изображений и речевые данные, сохраненные в единице кадра.Before describing a format for storing a three-dimensional (3D) stereoscopic image according to an exemplary embodiment of the present invention, a file format for storing a two-dimensional (2D) image is described based on a traditional international standard organization (ISO) standard. 1 is a diagram illustrating a two-dimensional image file format based on the traditional ISO 14496-12 standard. Referring to FIG. 1, a two-dimensional
Зона 120 Moov соответствует зоне заголовка формата файла и имеет основанную на объектах структуру. Зона 120 Moov включает в себя все фрагменты информации, требуемые для того, чтобы воспроизводить файл, включая информацию содержимого (к примеру, частота кадров, скорость передачи битов, размер изображения и т.д.) и информацию синхронизации, используемую для того, чтобы поддерживать функцию воспроизведения ускоренной перемотки вперед/перемотки обратно (FF/REW). В частности, зона 120 Moov включает в себя такую информацию, как число кадров в рамках данных изображений и речевых данных, размер каждого кадра и т.д., тем самым позволяя восстанавливать и воспроизводить данные изображений и речевые данные посредством синтаксического анализа зоны 120 Moov в ходе воспроизведения.The Moov
В отличие от предшествующего уровня техники, примерные варианты осуществления настоящего изобретения включают в себя формат хранения файла изображений, который предусматривает как двумерные, так и трехмерные стереоскопические изображения, и систему для формирования и воспроизведения файлов изображений с использованием формата хранения настоящего изобретения. В частности, примерные варианты осуществления настоящего изобретения отличаются в том, что каждая часть файла изображений может реализовываться в форме двумерного изображения или трехмерного стереоскопического изображения согласно характеристикам содержимого. Например, в секциях, которые включают в себя много символов, отображение секции как трехмерного стереоскопического изображения вызывает быструю утомляемость глаз у пользователя. Следовательно, секция сохраняется и воспроизводится как двумерное изображение. Часть, требующая ритмичного перемещения или трехмерного эффекта, сохраняется и воспроизводится как трехмерное стереоскопическое изображение. Соответственно, формат файла изображений, соответствующего характеристике содержимого, реализуется.Unlike the prior art, exemplary embodiments of the present invention include an image file storage format that includes both two-dimensional and three-dimensional stereoscopic images, and a system for generating and reproducing image files using the storage format of the present invention. In particular, exemplary embodiments of the present invention differ in that each part of the image file can be implemented in the form of a two-dimensional image or three-dimensional stereoscopic image according to the characteristics of the content. For example, in sections that include many characters, displaying the section as a three-dimensional stereoscopic image causes eye fatigue for the user. Therefore, the section is saved and reproduced as a two-dimensional image. The part requiring rhythmic movement or a three-dimensional effect is saved and reproduced as a three-dimensional stereoscopic image. Accordingly, an image file format corresponding to the content characteristic is implemented.
В дальнейшем в этом документе, формат хранения файла изображений, выполненного с возможностью включать в себя двумерные изображения и трехмерные стереоскопические изображения согласно примерному варианту осуществления настоящего изобретения, описывается со ссылкой на фиг.2A и 2B. Как упомянуто выше, согласно примерным вариантам осуществления настоящего изобретения, файлы 201 и 202 изображений, включающие в себя двумерное изображение и трехмерное стереоскопическое изображение, включают в себя поле (т.е. поле) с информацией по файлу изображений, касающейся двумерного изображения и трехмерного стереоскопического изображения.Hereinafter, a storage format of an image file configured to include two-dimensional images and three-dimensional stereoscopic images according to an exemplary embodiment of the present invention is described with reference to FIGS. 2A and 2B. As mentioned above, according to exemplary embodiments of the present invention, image files 201 and 202 including a two-dimensional image and a three-dimensional stereoscopic image include a field (i.e., a field) with image file information regarding a two-dimensional image and a three-dimensional stereoscopic Images.
В соответствии с настоящим изобретением, поле, включающее в себя информацию по файлу изображений, касающуюся файла двумерных изображений и трехмерного стереоскопического изображения, может вставляться в файловую зону, зону Moov или зону дорожек непосредственно или как часть метаполя либо может вставляться в поле таблицы выборок (к примеру, поле "Stbl"), которая включает в себя информацию выборки в зоне дорожек. Выборка упоминается как базовая единица для разделения изображения в рамках формата файла, такая как кадр.In accordance with the present invention, a field including image file information regarding a two-dimensional image file and a three-dimensional stereoscopic image can be inserted into the file zone, Moov zone or track area directly or as part of a metapole, or it can be inserted into the sample table field (to for example, the "Stbl" field), which includes sample information in the track area. A sample is referred to as a basic unit for dividing an image within a file format, such as a frame.
Фиг.2A иллюстрирует формат хранения файла изображений, в котором файл трехмерных стереоскопических изображений включается в один поток изображений. Как показано на фиг.2A, структура 201 данных файла изображений включает в себя файловую зону 210 Ftyp верхнего уровня, зону 220 Moov, соответствующую зоне заголовка, зону 240 Mdata, соответствующую зоне данных, и зону 230 метаданных. Здесь, зона 240 Mdata включает в себя дорожку 241 изображений и речевую дорожку 245, при этом данные изображений сохраняются в дорожке 241 изображений, а речевые данные сохраняются в речевой дорожке 245. Дорожка 241 изображений включает в себя первые данные изображений для двумерного изображения (обозначаемые как "1") и вторые, и третьи данные изображений для трехмерного стереоскопического изображения (обозначаемые как "2" и "3"). Здесь вторые данные изображений и третьи данные изображений могут быть данными изображений для просмотра левым глазом и данными изображений для просмотра правым глазом одного объекта, соответственно. Например, если данные изображений для просмотра правым глазом и для просмотра левым глазом, представляющие один объект, сфотографированный c вида для просмотра левым глазом и вида для просмотра правым глазом, перемежаются и отображаются, пользователь может видеть трехмерный эффект.2A illustrates an image file storage format in which a three-dimensional stereoscopic image file is included in a single image stream. As shown in FIG. 2A, the image
Фиг.2A иллюстрирует пример, в котором каждый фрагмент 242, 243 и 244 включает в себя выборки данных для данных трехмерных стереоскопических изображений, данных двумерных изображений и данных трехмерных стереоскопических изображений, соответственно. Последовательность данных изображений задается как двумерное изображение или трехмерное стереоскопическое изображение согласно характеристике каждой части конкретного содержимого. Дополнительно, если схема хранения вторых данных изображений и третьих данных изображений трехмерного стереоскопического изображения, сохраненного во фрагментах 242 и 244, является заранее определенной в соответствии с настоящим изобретением, файл изображений может быть сформирован и воспроизведен любым требуемым способом. Например, фиг.2A показывает пример способа, в котором фрагменты трехмерного 242 и 244 стереоскопического изображения включают в себя каждые из вторых данных изображений (т.е. выборку 2) и третьих данных изображений (т.е. выборку 3), попеременно сохраненные, где каждая выборка является единицей кадра. Альтернативно, может быть предусмотрена схема, в которой вторые данные изображений и третьи данные изображений сохраняются рядом как единица кадра, или данные изображений могут быть разделены на данные небольшого размера, которые должны сохраняться перемежающимся способом, как единица кадра.2A illustrates an example in which each
Речевые данные 246, 247 и 248, включенные в речевую дорожку 245, являются речевыми данными для каждого фрагмента 242, 243 и 244, соответственно. Речевые данные синхронизируются с данными изображений фрагментов 242, 243 и 244, которые должны быть воспроизведены.The
Зона 220 Moov соответствует зоне заголовка структуры данных и включает в себя информацию 221, касающуюся дорожки изображений, и информацию 222, касающуюся речевой дорожки. Информация 221, касающаяся дорожки изображений, включает в себя общую информацию, используемую для того, чтобы воспроизводить файл, включающий в себя информацию содержимого, такую как частота кадров, скорость передачи битов, размер изображения и т.д., и информацию синхронизации, используемую для того, чтобы поддерживать функцию воспроизведения, такую как ускоренная перемотка вперед/перемотка обратно (FF/REW). В частности, зона 220 Moov включает в себя информацию, такую как общее число кадров данных изображений в рамках дорожки 241 изображений и речевые данные в рамках речевой дорожки 245, размер каждого кадра и т.д. Следовательно, можно восстанавливать и воспроизводить данные изображений и речевые данные посредством синтаксического анализа зоны 220 Moov в ходе воспроизведения.The
Настоящее изобретение включает в себя поле, включающее в себя идентификационную информацию, указывающую то, предназначен каждый кадр, сформированный посредством первых данных изображений, вторых данных изображений и третьих данных изображений, для двумерного изображения или трехмерного стереоскопического изображения. Как показано на фиг.2A, зона 230 Moov включает в себя поле 231, которое представляет, включают в себя каждые из данных изображений, сохраненных в единице кадра в рамках файла изображений, данные изображений для двумерного изображения или данные изображений для трехмерного стереоскопического изображения. В примерном варианте осуществления флаг может назначаться каждому кадру и задаваться, чтобы представлять характеристику изображения кадра. Идентификационная информация включает в себя, например, информацию по числу фрагментов, содержащих последовательные кадры для двумерного изображения и для трехмерного стереоскопического изображения. Соответственно, файл изображений может быть восстановлен и воспроизведен в форме двумерного изображения или трехмерного стереоскопического изображения с использованием этой информации. Описание восстановления и воспроизведения файла изображений в форме двумерного изображения или трехмерного стереоскопического изображения иллюстрируется в таблицах 1 и 2 ниже.The present invention includes a field including identification information indicating whether each frame formed by the first image data, second image data and third image data is intended for a two-dimensional image or three-dimensional stereoscopic image. As shown in FIG. 2A, the Moov region 230 includes a
Как показано в таблицах 1 и 2 и фиг.2A, первый фрагмент 242 включает в себя вторые данные изображений и третьи данные изображений для трехмерного стереоскопического изображения, второй фрагмент 243 включает в себя первые данные изображений для двумерного изображения, и третий фрагмент 244 включает в себя вторые данные изображений и третьи данные изображений для трехмерного стереоскопического изображения. Здесь идентификационная информация 231 указывает sample_count и флаг, показанный в таблице 2. Соответственно, изображение, сохраненное во фрагментах 242, 243 и 244, может быть восстановлено и воспроизведено посредством обращения к информации 231, указывающей то, является сохраненное изображение в структуре 201 данных двумерным изображением или трехмерным стереоскопическим изображением. Идентификационная информация включает в себя информацию для декодирования вторых данных изображений и третьих данных изображений и информацию для синтезирования вторых данных изображений и третьих данных изображений, и на информацию 231 ссылаются в ходе воспроизведения.As shown in tables 1 and 2 and FIG. 2A, the
Другой примерный вариант осуществления настоящего изобретения описывается со ссылкой на фиг.2B. Фиг.2B является блок-схемой, иллюстрирующей формат хранения файла трехмерных стереоскопических изображений согласно другому примерному варианту осуществления настоящего изобретения. В примерном варианте осуществления, показанном на фиг.2B, предусмотрено две дорожки изображений, а не одна дорожка изображений, как показано на фиг.2A. Структура 202 данных файла трехмерных стереоскопических изображений включает в себя файловую зону 250 Ftyp верхнего уровня, зону 260 Moov, соответствующую зоне заголовка, зону 280 Mdata, соответствующую зоне данных, и зону 270 метаданных. Описания, которые являются практически идентичными описаниям по фиг.2A, не повторяются для краткости.Another exemplary embodiment of the present invention is described with reference to figv. 2B is a block diagram illustrating a storage format of a three-dimensional stereoscopic image file according to another exemplary embodiment of the present invention. In the exemplary embodiment shown in FIG. 2B, two image tracks are provided, rather than one image track, as shown in FIG. 2A. The three-dimensional stereoscopic image
Кратко, информация 261 и 262 на первой дорожке изображений и второй дорожке изображений и информация 263 на речевой дорожке является практически идентичной информации 221 и 222 по фиг.2A, фрагменты 293, 294 и 295 являются практически идентичными фрагментам 242, 243 и 244, речевая дорожка 289, включающая в себя речевые данные 290, 291 и 292, является практически идентичной речевой дорожке 245, включающей в себя речевые данные 246, 247 и 248, и информация 272 является практически идентичной информации 231. Первая дорожка 281 изображений включает в себя вторые данные 282 и 284 изображений, соответствующие изображению с одного угла просмотра (к примеру, изображению для просмотра левым глазом), и первые данные 283 изображений, соответствующие двумерному изображению. Вторая дорожка 285 изображений включает в себя третьи данные 286 и 288 изображений, соответствующие изображению с другого угла просмотра (к примеру, изображению для просмотра правым глазом), и первые данные 287 изображений, соответствующие двумерному изображению. Таким образом, данные изображений для просмотра левым глазом и данные изображений для просмотра правым глазом сохраняются в различных дорожках изображений, соответственно, и первые данные 283 изображений и первые данные 287 изображений соответствуют идентичному изображению. Соответственно, идентификационная информация 272, указывающая то, что изображение является двумерным изображением или трехмерным стереоскопическим изображением, также включает в себя информацию о том, какие из двух данных двумерных изображений (т.е. между первыми данными 283 изображений и первыми данными 287 изображений) должны использоваться для двумерного изображения, в дополнение к вышеуказанной информации. Таким образом, данные изображений, которые должны использоваться для двумерного изображения, могут быть определены согласно информации о том, какая дорожка изображений из первой дорожки 281 изображений и второй дорожки 285 изображений задана как основная дорожка изображений.Briefly,
Таблица 3 представляет информационное поле, выступающее в качестве стандарта для формата хранения файла изображений, включающего в себя двумерное изображение и трехмерное стереоскопическое изображение в соответствии с настоящим изобретением. Стандарты, в общем, задаются в соответствии с базовым форматом мультимедиа ISO, ISO/IEC 14496-12.Table 3 presents an information field serving as a standard for an image file storage format including a two-dimensional image and a three-dimensional stereoscopic image in accordance with the present invention. Standards are generally set in accordance with the basic multimedia format ISO, ISO / IEC 14496-12.
{
//информация стереоскопического зрительного типаversion = 0, 0)
{
// stereoscopic visual type information
{
unsigned int(1) is_main_media;if (is_all_stereo = 0)
{
unsigned int (1) is_main_media;
{for (i = 0; i <entry_count; i ++)
{
}
}unsigned int (8) stereo_flag;
}
}
stereoscopic_composition_type: структурная форма кадра содержимого стереоскопического видео (0: рядом, 1: с перемежением по вертикальным строкам, 2: последовательно по кадрам, 3: моноскопическое левое изображение, 4: моноскопическое правое изображение)
is_left_first представляет то, какое из левого изображения и правого изображения сначала кодируется
is_all_stereo представляет, что фрагмент в рамках ES - это фрагмент "все стерео" (0: моно, 1: стерео)
is main_media представляет то, что моноскопическое содержимое в рамках ES - это основное мультимедиа (0: вспомогательное мультимедиа, 1: основное мультимедиа)
entry_count: число фрагментов, включающих в себя выборку, имеющую последовательные значения
sample_count: число выборок, имеющих последовательные значения
stereo_flag представляет, что текущий кадр - это стерео или моно (0: моно, 1: стерео)[Semantics]
stereoscopic_composition_type: structural form of the frame of the contents of the stereoscopic video (0: near, 1: alternating in vertical lines, 2: sequentially in frames, 3: monoscopic left image, 4: monoscopic right image)
is_left_first represents which of the left image and the right image is first encoded
is_all_stereo represents that the fragment within the ES is the “all stereo” fragment (0: mono, 1: stereo)
is main_media represents the fact that monoscopic content within the framework of ES is the main multimedia (0: auxiliary multimedia, 1: main multimedia)
entry_count: number of fragments including a selection having sequential values
sample_count: number of samples having sequential values
stereo_flag represents that the current frame is stereo or mono (0: mono, 1: stereo)
Поле информации изображений (к примеру, поле "Svmi") может быть полем, сохраняющим информацию по стерео/моно для каждой выборки, включенной в файл изображений (ES). Соответственно, контейнер, включающий в себя поле информации изображений (к примеру, поле "Svmi"), может быть метаполем или полем таблицы выборок (к примеру, полем "Stbl"). Контейнер ссылается на более высокий уровень поля, включающего в себя текущее поле. Следовательно, контейнер, включающий в себя поле информации изображений (к примеру, поле "Svmi"), может быть зоной 270 метаданных, как показано на фиг.2B и в таблице 4A, показанной ниже, и также может быть включен в поле таблицы выборок (к примеру, поле "Stbl"), как показано в таблице 4B ниже. Соответственно, новые части, добавленные в контейнер, представляются в таблицах 3, 6, 8 и 9, показанных ниже. Согласно настоящему изобретению, контейнер, включающий в себя поле информации изображений (к примеру, поле "Svmi"), ссылается на метаполе или поле таблицы выборок (к примеру, поле "Stbl"). Тем не менее следует понимать, что он может перемещаться свободно в более надлежащее местоположение любой из таблиц полей в базовом формате мультимедийных файлов ISO, ISO/IEC 14496-12.The image information field (for example, the "Svmi" field) may be a field storing stereo / mono information for each sample included in the image file (ES). Accordingly, a container including an image information field (for example, a “Svmi” field) may be a meta-field or a sample table field (for example, a “Stbl” field). A container refers to a higher level field that includes the current field. Therefore, the container including the image information field (for example, the "Svmi" field) may be a metadata area 270, as shown in FIG. 2B and in table 4A shown below, and may also be included in the sample table field ( for example, the “Stbl" field), as shown in table 4B below. Accordingly, the new parts added to the container are presented in tables 3, 6, 8 and 9, shown below. According to the present invention, a container including an image information field (for example, a “Svmi” field) refers to a meta-field or a sample table field (for example, a “Stbl” field). Nevertheless, it should be understood that it can move freely to a more appropriate location of any of the field tables in the basic format of multimedia files ISO, ISO / IEC 14496-12.
Таблица 4B представляет таблицу полей, в которой поле информации изображений (к примеру, поле "Svmi") может вставляться в контейнер подполя "Stbl", например, в структуре файла формата приложения стереоскопического видео ISO/IEC 23000-11. Дополнительно, каждое поле информации изображений (к примеру, поле "Svmi") согласно примерному варианту осуществления настоящего изобретения может быть включено в файловую зону, зону Moov или зону дорожек.Table 4B represents a field table in which an image information field (for example, an “Svmi” field) can be inserted into a container of the “Stbl” subfield, for example, in the file structure of the ISO / IEC 23000-11 stereoscopic video application format. Additionally, each image information field (for example, “Svmi” field) according to an exemplary embodiment of the present invention may be included in a file zone, Moov zone, or track zone.
Фиг.2B-2F иллюстрируют формат хранения файла изображений согласно различным примерным вариантам осуществления настоящего изобретения.2B-2F illustrate an image file storage format according to various exemplary embodiments of the present invention.
Фиг.2B иллюстрирует формат хранения файла изображений в случае, если файл трехмерных стереоскопических изображений включает в себя два потока изображений (к примеру, левое изображение и правое изображение, сохраненные в отдельных потоках изображений), в котором поле, содержащее информацию двумерного изображения и трехмерного стереоскопического изображения согласно настоящему изобретению, добавляется к зоне Moov (т.е. Moov 260).Fig. 2B illustrates a storage format of an image file in the event that a three-dimensional stereoscopic image file includes two image streams (for example, a left image and a right image stored in separate image streams), in which a field containing two-dimensional image and three-dimensional stereoscopic information images of the present invention are added to the Moov zone (i.e., Moov 260).
Фиг.2C иллюстрирует формат хранения файла изображений в случае, если файл трехмерных стереоскопических изображений включает в себя один поток изображений, в котором поле, содержащее информацию двумерного изображения и трехмерного стереоскопического изображения согласно настоящему изобретению, добавляется к файловой зоне (т.е. Ftyp 210).FIG. 2C illustrates a storage format for an image file in the case that the three-dimensional stereoscopic image file includes one image stream in which a field containing two-dimensional image and three-dimensional stereoscopic image information according to the present invention is added to the file zone (i.e., Ftyp 210 )
Фиг.2D иллюстрирует формат хранения файла изображений в случае, если файл трехмерных стереоскопических изображений включает в себя два потока изображений (т.е. левое изображение и правое изображение сохраняются в отдельных потоках изображений), в котором поле, содержащее информацию двумерного изображения и трехмерного стереоскопического изображения согласно настоящему изобретению, добавляется к файловой зоне (т.е. Ftyp 250).2D illustrates a storage format for an image file in the case that the three-dimensional stereoscopic image file includes two image streams (i.e., the left image and the right image are stored in separate image streams), in which a field containing two-dimensional image and three-dimensional stereoscopic information images of the present invention are added to the file zone (i.e., Ftyp 250).
Фиг.2E иллюстрирует формат хранения файла изображений в случае, если файл трехмерных стереоскопических изображений включает в себя один поток изображений, в котором поле, содержащее информацию двумерного изображения и трехмерного стереоскопического изображения согласно настоящему изобретению, добавляется к зоне дорожек (т.е. Track 221).Fig. 2E illustrates a storage format of an image file in the event that a three-dimensional stereoscopic image file includes one image stream in which a field containing two-dimensional image and three-dimensional stereoscopic image information according to the present invention is added to the track area (i.e. Track 221 )
Фиг.2F иллюстрирует формат хранения файла изображений в случае, если файл трехмерных стереоскопических изображений включает в себя два потока изображений (т.е. левое изображение и правое изображение сохраняются в отдельных потоках изображений), в котором поле, содержащее информацию двумерного изображения и трехмерного стереоскопического изображения согласно настоящему изобретению, добавляется к соответствующей зоне дорожек (т.е. Track 261 и Track 262).Fig.2F illustrates the storage format of the image file in the case that the three-dimensional stereoscopic image file includes two image streams (i.e., the left image and the right image are stored in separate image streams), in which the field containing the information of the two-dimensional image and three-dimensional stereoscopic images according to the present invention is added to the corresponding area of the tracks (i.e.
Фиг.2A-2F иллюстрируют примерные варианты осуществления настоящей заявки, в которых поле информации изображений (к примеру, поле "Svmi"), включающее в себя информацию по файлу изображений, который содержит как двумерное изображение, так и трехмерное стереоскопическое изображение, включается в метаполе так, чтобы вставляться в файловую зону, зону Moov и зону дорожек.FIGS. 2A-2F illustrate exemplary embodiments of the present application in which an image information field (for example, an “Svmi” field) including information on an image file that contains both a two-dimensional image and a three-dimensional stereoscopic image is included in a metapole so as to be inserted into the file zone, the Moov zone, and the track zone.
Фиг.2G и 2H иллюстрируют примерные варианты осуществления, в которых поле информации изображений (к примеру, поле "Svmi"), включающее в себя информацию по файлу изображений, который содержит как двумерное изображение, так и трехмерное стереоскопическое изображение, вставляется в поле таблицы выборок (к примеру, поле "Stbl"), которое включает в себя примерную информацию файла изображений в зоне дорожек. В целях пояснения выборка упоминается как базовая единица для разделения изображения в рамках формата файла, такая как кадр.FIGS. 2G and 2H illustrate exemplary embodiments in which an image information field (eg, an “Svmi” field) including information on an image file that contains both a two-dimensional image and a three-dimensional stereoscopic image is inserted into the sample table field (for example, the "Stbl" field), which includes example image file information in the track area. For purposes of explanation, sampling is referred to as a basic unit for dividing an image within a file format, such as a frame.
Фиг.2G иллюстрирует формат хранения файла изображений в случае, если файл трехмерных стереоскопических изображений включает в себя один поток изображений, в котором поле, содержащее информацию двумерного изображения и трехмерного стереоскопического изображения согласно настоящему изобретению, добавляется к полю таблицы выборок (к примеру, полю "Stbl").Fig. 2G illustrates a storage format of an image file in the case that the three-dimensional stereoscopic image file includes one image stream in which a field containing two-dimensional image and three-dimensional stereoscopic image information according to the present invention is added to a sample table field (for example, " Stbl ").
Фиг.2H иллюстрирует формат хранения файла изображений в случае, если файл трехмерных стереоскопических изображений включает в себя два потока изображений (т.е. левое изображение и правое изображение сохраняются в отдельных потоках изображений), в котором поле, содержащее информацию двумерного изображения и трехмерного стереоскопического изображения согласно настоящему изобретению, добавляется к полю таблицы выборок (к примеру, полю "Stbl").FIG. 2H illustrates a storage format for an image file in the case that the three-dimensional stereoscopic image file includes two image streams (i.e., the left image and the right image are stored in separate image streams), in which a field containing two-dimensional image and three-dimensional stereoscopic information images according to the present invention is added to the sample table field (for example, the "Stbl" field).
Как проиллюстрировано на фиг.2A-2H, поле информации изображений (к примеру, поле "Svmi") может быть добавлено к уровню файла и уровню дорожки существующего формата файла изображений, а не к уровню Moov, так что файл изображений может формироваться посредством различных форматов файла изображений.As illustrated in FIGS. 2A-2H, an image information field (eg, “Svmi” field) can be added to a file level and track level of an existing image file format, rather than a Moov level, so that the image file can be generated by various formats image file.
В дальнейшем в этом документе, альтернативные примерные варианты осуществления настоящего изобретения, отличающиеся от примерного варианта осуществления таблиц 2 и 3, и новое модифицированное поле информации изображений (к примеру, поле "Svmi") вводятся.Hereinafter, alternative exemplary embodiments of the present invention, different from the exemplary embodiment of Tables 2 and 3, and a new modified image information field (eg, “Svmi” field) are introduced.
В примерном варианте осуществления в случае, если содержимое включает в себя как двумерное изображение, так и трехмерное стереоскопическое изображение, синтаксис и семантика модифицированного поля информации изображений описываются, как показано в таблице 6.In an exemplary embodiment, if the content includes both a two-dimensional image and a three-dimensional stereoscopic image, the syntax and semantics of the modified image information field are described as shown in table 6.
{
//информация стереоскопического зрительного типаversion = 0, 0)
{
// stereoscopic visual type information
{
unsigned int(32) sample_count;for (i = 0; i <entry_count; i ++)
{
unsigned int (32) sample_count;
}
}unsigned int (32) item_count;
}
}
stereoscopic_composition_type: тип структуры кадра содержимого стереоскопического видео (0: рядом, 1: с перемежением по вертикальным строкам, 2: последовательно по кадрам, 3: моноскопическое левое изображение, 4: моноскопическое правое изображение)
is_left_first представляет то, какое из левого и правого изображения сначала кодируется
entry_count: число фрагментов, в которых тип фрагмента[Semantics]
stereoscopic_composition_type: type of the frame structure of the contents of the stereoscopic video (0: near, 1: alternating in vertical lines, 2: sequentially in frames, 3: monoscopic left image, 4: monoscopic right image)
is_left_first represents which of the left and right images is first encoded
entry_count: the number of fragments in which the type of fragment
sample_count: число выборок, имеющих последовательные значения
stereo_flag представляет то, является текущий кадр стерео или моно (0: моно, 1: стерео)
item_count: число фрагментов, включенных в записьshifts from stereo to mono or from mono to stereo
sample_count: number of samples having sequential values
stereo_flag represents whether the current frame is stereo or mono (0: mono, 1: stereo)
item_count: number of fragments included in the entry
Содержимое таблицы 5 с использованием синтаксиса таблицы 6 представляется как таблицаThe contents of table 5 using the syntax of table 6 is represented as a table
Если entry_count задается как семантика таблицы 3, возникает проблема невозможности распознавать структуру фрагмента в рамках текущей записи. Соответственно, в примерном варианте осуществления, syntax_value item_count включается, чтобы разрешать вышеуказанную проблему. Таким образом, когда entry_count задается согласно семантике таблицы 6, только если содержимое включает в себя значение флага, различающее то, что стерео является первым или моно является первым, синтаксис stereo_flag может опускаться, что задается следующим образом.If entry_count is set as the semantics of table 3, the problem arises of the inability to recognize the fragment structure within the current record. Accordingly, in an exemplary embodiment, syntax_value item_count is turned on to solve the above problem. Thus, when entry_count is set according to the semantics of table 6, only if the content includes a flag value distinguishing that stereo is first or mono is first, the syntax of stereo_flag can be omitted, which is set as follows.
{
//информация стереоскопического зрительного типаversion = 0,0)
{
// stereoscopic visual type information
{
unsigned int(32) sample_count;
unsigned int(32) item_count;
}
}for (i = 0; i <entry_count; i ++)
{
unsigned int (32) sample_count;
unsigned int (32) item_count;
}
}
stereoscopic_composition_type: тип структуры кадра содержимого стереоскопического видео (0: рядом, 1: с перемежением по вертикальным строкам, 2: последовательно по кадрам, 3: моноскопическое левое изображение, 4: моноскопическое правое изображение)[Semantics]
stereoscopic_composition_type: type of the frame structure of the contents of the stereoscopic video (0: near, 1: alternating in vertical lines, 2: sequentially in frames, 3: monoscopic left image, 4: monoscopic right image)
entry_count: число фрагментов, в которых тип фрагмента сдвигается от стерео к моно или от моно к стерео
is_stereo_flag представляет, какой тип изображения является первым, показанным в содержимом, смешанном со стерео и моно (0: сначала моно, 1: сначала стерео)
sample_count: число выборок, имеющих последовательные значения
item_count: число фрагментов, включенных в записьis_left_first represents which of the left image and the right image is first encoded
entry_count: the number of fragments in which the fragment type is shifted from stereo to mono or from mono to stereo
is_stereo_flag represents what type of image is first shown in content mixed with stereo and mono (0: mono first, 1: stereo first)
sample_count: number of samples having sequential values
item_count: number of fragments included in the entry
Если значение информации последовательности изображений (is_stereo_first) равно 1, содержимое конструируется в последовательность S→M→S→M→…, где "S" - это стерео, а "M" - это моно, а если значение информации последовательности изображений (is_stereo_first) равно 0, содержимое конструируется в последовательность M→S→M→S→…. If the value of the information in the image sequence (is_stereo_first) is 1, the content is constructed in the sequence S → M → S → M → ..., where “S” is stereo and “M” is mono, and if the value of information in the image sequence (is_stereo_first) equal to 0, the contents are constructed in the sequence M → S → M → S → ....
В еще одном примерном варианте осуществления синтаксис sample_count исключается. В этом случае, может распознаваться то, является каждый фрагмент стерео или моно, но не может распознаваться то, какое число кадров является стерео или моно. Следовательно, число или стерео- или монокадров может быть определено с использованием значений синтаксиса поля местоположений элементов, заданного в формате мультимедийного файла ISO, и синтаксиса подполей поля таблицы выборок (к примеру, поля "Stbl").In yet another exemplary embodiment, the syntax of sample_count is excluded. In this case, it can be recognized whether each fragment is stereo or mono, but it cannot be recognized how many frames are stereo or mono. Therefore, the number of either stereo or mono frames can be determined using the syntax values of the element location field specified in the ISO multimedia file format and the syntax of the subfields of the sample table field (for example, the "Stbl" field).
{
//информация стереоскопического зрительного типаversion = 0, 0)
{
// stereoscopic visual type information
{
unsigned int(1) stereo_flag;for (i = 0; i <entry_count; i ++)
{
unsigned int (1) stereo_flag;
}
}
[Семантика]unsigned int (1) reserved;
}
}
[Semantics]
is_left_first представляет то, какое из левого и правого изображения сначала кодируется
entry_count: число фрагментов в рамках ES
stereo_flag представляет то, является текущий кадр стерео или моно (0: моно, 1: стерео)stereoscopic_composition_type: type of the frame structure of the contents of the stereoscopic video (0: near, 1: alternating in vertical lines, 2: sequentially in frames, 3: monoscopic left image, 4: monoscopic right image)
is_left_first represents which of the left and right images is first encoded
entry_count: number of fragments within ES
stereo_flag represents whether the current frame is stereo or mono (0: mono, 1: stereo)
Дополнительно, когда терминал выполняет произвольный доступ к содержимому, он сдвигается в требуемое местоположение при одновременном последовательном считывании размера кадра сначала с использованием значений поля размера выборки (к примеру, поля "Stsz"). Если значение синтаксиса sample_count поля информации изображений (к примеру, поля "Svmi"), заданного в настоящем изобретении, используется, число кадров каждого фрагмента и начальный адрес и размер каждого фрагмента в поле местоположений элементов (к примеру, поле "Iloc") может распознаваться. Следовательно, произвольный доступ к заранее определенному местоположению более эффективно выполняется с использованием этих значений.Additionally, when the terminal randomly accesses the content, it moves to the desired location while simultaneously reading the frame size first using the values of the sample size field (for example, the "Stsz" field). If the syntax value of the sample_count syntax of the image information field (for example, the Svmi field) specified in the present invention is used, the number of frames of each fragment and the starting address and size of each fragment in the element location field (for example, the Iloc field) can be recognized . Therefore, random access to a predetermined location is more efficiently performed using these values.
Далее описывается примерная система для формирования и воспроизведения файлов изображений с использованием структур 201-208 данных файлов изображений, показанных на фиг.2A-2H. Система, в общем, включает в себя устройство формирования файлов изображений и устройство воспроизведения файлов изображений. Во-первых, устройство формирования файлов изображений согласно примерному варианту осуществления настоящего изобретения описывается со ссылкой на фиг.3.The following describes an example system for generating and reproducing image files using the image file structures 201-208 of the image files shown in FIGS. 2A-2H. The system generally includes an image file generating apparatus and an image file reproducing apparatus. First, an image file generating apparatus according to an exemplary embodiment of the present invention is described with reference to FIG. 3.
Как показано на фиг.3, устройство формирования файлов изображений согласно настоящему изобретению включает в себя первую камеру 311, вторую камеру 312, модуль 320 ввода, процессор 330 сигналов изображений, модуль 340 хранения, модуль 350 кодирования и модуль 360 формирования файлов. Первая камера 311 фотографирует объект с вида для просмотра левым глазом или вида для просмотра правым глазом и затем выводит вторые данные изображений. Вторая камера 312 фотографирует объект с вида, отличающегося от вида первой камеры 311, и затем выводит третьи данные изображений. Следует понимать, что несколько видов с различных углов могут использоваться без отступления от объема настоящего изобретения. Затем, первые данные 310 изображений для двумерного изображения вводятся вместе со вторыми данными изображений и третьими данными изображений через модуль 320 ввода.As shown in FIG. 3, the image file forming apparatus according to the present invention includes a
Первые данные изображений, вторые данные изображений и третьи данные изображений предварительно обрабатываются посредством процессора 330 сигналов изображений. Здесь операция предварительной обработки включает в себя преобразование аналогового внешнего значения изображения, т.е. аналоговых значений световых и цветовых компонентов, сформированных посредством прибора с зарядовой связью (CCD) или датчика на основе комплементарной структуры метал-оксид-полупроводник (CMOS), например, в цифровое значение.The first image data, the second image data and the third image data are pre-processed by the
Модуль 340 хранения сохраняет первые данные изображений, вторые данные изображений и третьи данные изображений, предварительно обработанные посредством процессора 330 сигналов изображений, и предоставляет сохраненные данные изображений в модуль 350 кодирования. Фиг.3 показывает модуль 340 хранения, но он не показывает отдельно структуру хранения для буферизации между элементами, показанными на фиг.3, которая может быть включена. Модуль 350 кодирования кодирует первые данные изображений, вторые данные изображений и третьи данные изображений из модуля 340 хранения. Операция кодирования, выполняемая посредством модуля 350 кодирования, является кодированием данных, которые могут пропускаться при необходимости.The
Модуль 360 формирования файлов формирует файл 370 изображений посредством использования первых данных изображений, вторых данных изображений и третьих данных изображений, кодированных посредством модуля 350 кодирования. В этом случае, первые данные изображений, вторые данные изображений и третьи данные изображений сохраняются в зоне данных (к примеру, зоне Mdata), и информация, используемая для того, чтобы формировать первые данные изображений (т.е. двумерное изображение) и вторые данные изображений, и третьи данные изображений (т.е. трехмерное стереоскопическое изображение), сохраняется в заголовке (к примеру, зоне Moov и зоне метаданных). Сформированный файл 370 изображений вводится и передается в устройство воспроизведения файлов стереоскопических изображений, и затем устройство воспроизведения файлов изображений формирует и воспроизводит двумерное изображение и трехмерное стереоскопическое изображение из файла 370 изображений. В дальнейшем в этом документе описывается примерное устройство воспроизведения файлов изображений.The
Фиг.4 является блок-схемой, иллюстрирующей устройство воспроизведения файлов изображений согласно примерному варианту осуществления настоящего изобретения. Как показано на фиг.4, устройство воспроизведения файлов изображений включает в себя модуль 420 синтаксического анализа файлов, модуль 430 декодирования, модуль 440 хранения, модуль 450 воспроизведения и дисплей 460.4 is a block diagram illustrating an image file reproducing apparatus according to an exemplary embodiment of the present invention. As shown in FIG. 4, the image file reproducing apparatus includes a
Модуль 420 синтаксического анализа файлов принимает и синтаксически анализирует файл 410 изображений (к примеру, файл 370 изображений по фиг.3), например, сформированный посредством модуля 360 формирования файлов из устройства формирования файлов изображений. В этом случае, модуль 420 синтаксического анализа файлов синтаксически анализирует информацию, сохраненную, соответственно, в зоне Moov и зоне метаданных, и затем извлекает первые данные изображений, вторые данные изображений и третьи данные изображений, сохраненные в зоне Mdata.The
Модуль 430 декодирования декодирует извлекаемые первые данные изображений, вторые данные изображений и третьи данные изображений. В примерном варианте осуществления декодирование выполняется в случае, если устройство формирования файлов изображений кодирует данные с использованием модуля 350 кодирования. Таким образом, если кодирование пропускается посредством устройства формирования файлов, декодирование пропускается посредством устройства воспроизведения файлов. Затем декодированные данные сохраняются в модуле 440 хранения.
Модуль 450 воспроизведения воспроизводит двумерное изображение, сформированное из первых данных изображений, сохраненных в модуле 440 хранения, и трехмерное стереоскопическое изображение синтезируется из вторых данных изображений и третьих данных изображений, сохраненных в модуле 440 хранения, в соответствии с идентификационной информацией. Затем дисплей 460 отображает воспроизведенное двумерное изображение и трехмерное стереоскопическое изображение. Дисплей 460 может использовать барьерный жидкокристаллический дисплей (ЖК-дисплей). В примерном варианте осуществления барьерный ЖК-дисплей отключается, если фрагмент файла изображений является двумерным изображением, и барьерный ЖК-дисплей включается, если фрагмент файла изображений является трехмерным стереоскопическим изображением, так что изображение может отображаться надлежащим образом.The reproducing
Далее описывается примерный способ для формирования и воспроизведения файла изображений посредством использования структур данных файла изображений в соответствии с настоящим изобретением.The following describes an exemplary method for generating and reproducing an image file by using the data structures of the image file in accordance with the present invention.
Фиг.5 является блок-схемой последовательности операций способа, иллюстрирующей способ для формирования файла изображений согласно примерному варианту осуществления настоящего изобретения. Как показано на фиг.5, способ включает в себя этап S510 ввода, этап S520 предварительной обработки, этап S530 кодирования и этап S540 формирования файлов.5 is a flowchart illustrating a method for generating an image file according to an exemplary embodiment of the present invention. As shown in FIG. 5, the method includes input step S510, preprocessing step S520, encoding step S530, and file generation step S540.
На этапе S510, первые данные изображений для формирования двумерного изображения и вторые данные изображений, и третьи данные изображений для формирования трехмерного стереоскопического изображения вводятся. Например, объект фотографируется с вида для просмотра левым глазом и/или с вида для просмотра правым глазом, и вторые данные изображений, и третьи данные изображений выводятся. На этапе S520, первые данные изображений, вторые данные изображений и третьи данные изображений, введенные на этапе S510, предварительно обрабатываются, и данные изображений, сформированные посредством CCD или CMOS-датчика, преобразуются из аналоговых значений в цифровые значения. На этапе S530, предварительно обработанные первые данные изображений, вторые данные изображений и третьи данные изображений кодируются согласно заранее определенной схеме кодирования. Этап S530 может пропускаться при необходимости. На этапе S540, файл изображений формируется посредством использования первых данных изображений, вторых данных изображений и третьих данных изображений, кодированных в модуле 350 кодирования. В этом случае, файл изображений может быть сформирован согласно любой из структур данных файла изображений, описанных на фиг.2A-2H.In step S510, the first image data for generating a two-dimensional image and the second image data, and the third image data for generating a three-dimensional stereoscopic image are input. For example, an object is photographed from a view for viewing with the left eye and / or from a view for viewing with the right eye, and the second image data and the third image data are output. In step S520, the first image data, the second image data and the third image data inputted in step S510 are pre-processed, and the image data generated by the CCD or the CMOS sensor is converted from analog values to digital values. At step S530, the pre-processed first image data, the second image data and the third image data are encoded according to a predetermined coding scheme. Step S530 may be skipped if necessary. In step S540, an image file is generated by using the first image data, the second image data and the third image data encoded in the
Фиг.6 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений в соответствии с примерным вариантом осуществления настоящего изобретения. Как показано на фиг.6, способ для воспроизведения файла изображений включает в себя этап S610 синтаксического анализа файлов, этап S620 декодирования, этап S630 воспроизведения и этап S640 отображения.6 is a flowchart illustrating a method for reproducing an image file in accordance with an exemplary embodiment of the present invention. As shown in FIG. 6, a method for reproducing an image file includes a file parsing step S610, a decoding step S620, a reproducing step S630, and a display step S640.
На этапе S610, первые данные изображений, вторые данные изображений и третьи данные изображений извлекаются посредством использования информации, сохраненной в зоне Moov и зоне метаданных файла изображений, сформированного в соответствии с настоящим изобретением. В частности, данные изображений извлекаются с использованием идентификационной информации, описанной выше. На этапе S620, первые данные изображений, вторые данные изображений и третьи данные изображений декодируются. Если этап кодирования пропущен при формировании файла изображений, этап S620 декодирования также пропускается. На этапе S630, первые данные изображений, вторые данные изображений и третьи данные изображений, декодированные на этапе S620, синтезируются в двумерное изображение и трехмерное стереоскопическое изображение, которое должно быть воспроизведено. Затем, на этапе S640, двумерное изображение и трехмерное стереоскопическое изображение, сформированные на этапе S630, отображаются на дисплее 460. С другой стороны, дисплей 460 может использовать барьерный ЖК-дисплей, при этом барьерный ЖК-дисплей отключается, если фрагмент файла изображений является двумерным изображением, и барьерный ЖК-дисплей включается, если фрагмент файла изображений является трехмерным стереоскопическим изображением, так что изображение может надлежащим образом отображаться.In step S610, the first image data, the second image data, and the third image data are extracted by using information stored in the Moov area and the metadata area of the image file generated in accordance with the present invention. In particular, image data is extracted using the identification information described above. In step S620, the first image data, the second image data, and the third image data are decoded. If the encoding step is skipped when generating the image file, the decoding step S620 is also skipped. In step S630, the first image data, the second image data, and the third image data decoded in step S620 are synthesized into a two-dimensional image and a three-dimensional stereoscopic image to be reproduced. Then, in step S640, the two-dimensional image and the three-dimensional stereoscopic image formed in step S630 are displayed on the
Фиг.7-10 иллюстрируют работу терминала от синтаксического анализа до воспроизведения файла изображений согласно различным примерным вариантам осуществления настоящего изобретения.7-10 illustrate the operation of the terminal from parsing to reproducing an image file according to various exemplary embodiments of the present invention.
Фиг.7 описывает примерный вариант осуществления, который включает в себя синтаксический анализ и воспроизведение файла изображений, сформированного в соответствии с настоящим изобретением. Вариант осуществления по фиг.7 относится к формату файла изображений, включающего в себя поле информации изображений (к примеру, поле "Svmi"), показанное в таблице 3. Поле информации изображений (к примеру, поле "Svmi") включает в себя множество полей. Основная функция полей состоит в том, чтобы предоставлять информацию, указывающую то, является каждый кадр файла изображений двумерным изображением или трехмерным стереоскопическим изображением, информацию, предоставляющую значение флага, чтобы управлять активацией или неактивацией дисплея (к примеру, ЖК-дисплея).7 describes an exemplary embodiment that includes parsing and reproducing an image file formed in accordance with the present invention. The embodiment of FIG. 7 relates to an image file format including an image information field (eg, an “Svmi” field) shown in Table 3. An image information field (eg, an “Svmi” field) includes a plurality of fields . The main function of the fields is to provide information indicating whether each frame of the image file is a two-dimensional image or a three-dimensional stereoscopic image, information providing a flag value to control the activation or inactivation of the display (e.g., LCD).
Как показано на фиг.7, файловое поле (к примеру, поле "Ftyp") в файле изображений синтаксически анализируется на этапе S710. В примерном варианте осуществления поле Ftyp предоставляется согласно традиционному стандарту ISO/IEC 14496-12. На этапах S720-S740, соответственно, поле Moov, поле дорожек и метаполе файла изображений синтаксически анализируются. В примерном варианте осуществления поле Moov и поле дорожек также могут предоставляться согласно традиционному стандарту ISO/IEC 14496-12. На этапе S750, каждое поле для поля информации изображений (к примеру, поле "Svmi") файла изображений в соответствии с настоящим изобретением синтаксически анализируется, чтобы определять то, содержит каждый кадр в рамках дорожки изображений двумерное изображение или трехмерное стереоскопическое изображение. Информация главным образом предоставляется через поле sample_count и entry_count.As shown in FIG. 7, the file field (for example, the “Ftyp” field) in the image file is parsed in step S710. In an exemplary embodiment, the Ftyp field is provided according to the traditional ISO / IEC 14496-12 standard. In steps S720-S740, respectively, the Moov field, the track field, and the metafield of the image file are parsed. In an exemplary embodiment, a Moov field and a track field may also be provided according to the traditional ISO / IEC 14496-12 standard. At step S750, each field for the image information field (for example, the "Svmi" field) of the image file in accordance with the present invention is parsed to determine whether each frame within the image track contains a two-dimensional image or three-dimensional stereoscopic image. Information is mainly provided through the sample_count and entry_count fields.
Здесь, entry_count упоминается как число фрагментов в рамках файла изображений. Например, 6 изображений могут сохраняться в файле изображений в следующей последовательности: трехмерное стереоскопическое изображение (1), трехмерное стереоскопическое изображение (2), трехмерное стереоскопическое изображение (3), двумерное изображение (1), двумерное изображение (2) и другое трехмерное стереоскопическое изображение (4). В этом примере, каждое из изображений упоминается как фрагмент. Тем не менее следует понимать, что единицей фрагмента может быть кадр, набор кадров, имеющих последовательное значение, или интервал, посредством которого делятся трехмерное стереоскопическое изображение и двумерное изображение. Sample_count упоминается как число последовательных кадров, включенных в каждый фрагмент.Here, entry_count is referred to as the number of fragments within the image file. For example, 6 images can be stored in the image file in the following sequence: three-dimensional stereoscopic image (1), three-dimensional stereoscopic image (2), three-dimensional stereoscopic image (3), two-dimensional image (1), two-dimensional image (2) and other three-dimensional stereoscopic image (four). In this example, each of the images is referred to as a fragment. Nevertheless, it should be understood that the unit of the fragment can be a frame, a set of frames having a sequential value, or an interval by which a three-dimensional stereoscopic image and a two-dimensional image are divided. Sample_count is referred to as the number of consecutive frames included in each fragment.
Соответственно, entry_count идентифицируется, чтобы определять число фрагментов в рамках изображения, и sample_count идентифицируется, чтобы определять общее число кадров, включенных в каждый фрагмент. Затем, stereo_flag идентифицируется, и информация флага набора кадров, включенных в текущий кадр, т.е. соответствующий фрагмент, идентифицируется. Через информацию флага то, является соответствующий фрагмент трехмерным стереоскопическим изображением или двумерным изображением, может быть определено. Затем каждый идентифицированный кадр декодируется в форме трехмерного стереоскопического изображения или двумерного изображения на этапе S760.Accordingly, entry_count is identified to determine the number of fragments within the image, and sample_count is identified to determine the total number of frames included in each fragment. Then, the stereo_flag is identified, and the flag information of the set of frames included in the current frame, i.e. the corresponding fragment is identified. Through the flag information, whether the corresponding fragment is a three-dimensional stereoscopic image or a two-dimensional image can be determined. Then, each identified frame is decoded in the form of a three-dimensional stereoscopic image or two-dimensional image in step S760.
На этапе S770, согласно синтаксически проанализированной информации stereo_flag в рамках поля информации изображений (к примеру, поля "Svmi") барьерный ЖК-дисплей управляется так, что, если значение равно "1," барьерный ЖК-дисплей активируется, а если значение равно "0," барьерный ЖК-дисплей не активируется. Таким образом, в случае трехмерного стереоскопического изображения значение stereo_flag может быть задано как "1", так что барьерный ЖК-дисплей тем самым активируется, и в случае двумерного изображения значение stereo_flag может быть задано как "0", так что барьерный ЖК-дисплей не активируется, тем самым предоставляя управление барьерным ЖК-дисплеем. Тем временем, декодированный кадр воспроизводится и отображается на активированном или неактивированном барьерном ЖК-дисплее, так что пользователь может видеть изображение.In step S770, according to the syntactically analyzed stereo_flag information within the image information field (for example, the “Svmi” field), the barrier LCD is controlled so that if the value is “1,” the barrier LCD is activated, and if the value is “ 0, "Barrier LCD does not activate. Thus, in the case of a three-dimensional stereoscopic image, the stereo_flag value can be set to “1”, so that the barrier LCD is thereby activated, and in the case of a two-dimensional image, the stereo_flag value can be set to “0”, so that the barrier LCD does not activates, thereby providing control of the barrier LCD. Meanwhile, the decoded frame is played back and displayed on the activated or non-activated barrier LCD, so that the user can see the image.
Фиг.8 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений согласно другому примерному варианту осуществления настоящего изобретения. Как показано на фиг.8, файловое поле (к примеру, поле "Ftyp") файла изображений синтаксически анализируется на этапе S810. Затем, поле Moov, поле дорожек и метаполе файла изображений синтаксически анализируются на этапах S820, S830 и S840, соответственно. Затем, каждое поле для поля информации изображений (к примеру, поля "Svmi") файла изображений в соответствии с настоящим изобретением синтаксически анализируется, чтобы определять то, содержит каждый кадр в рамках дорожки изображений двумерное изображение или трехмерное стереоскопическое изображение, на этапе S850.8 is a flowchart illustrating a method for reproducing an image file according to another exemplary embodiment of the present invention. As shown in FIG. 8, the file field (for example, the “Ftyp” field) of the image file is parsed in step S810. Then, the Moov field, the track field, and the metafield of the image file are parsed in steps S820, S830, and S840, respectively. Then, each field for the image information field (for example, “Svmi” field) of the image file in accordance with the present invention is parsed to determine whether each frame within the image track contains a two-dimensional image or three-dimensional stereoscopic image, in step S850.
Entry_count в настоящем примерном варианте осуществления отличается от entry_count предыдущего примерного варианта осуществления. Entry_count в настоящем примерном варианте осуществления упоминается как число фрагментов, в которых тип фрагмента (т.е. двумерный или трехмерный) сдвигается от стерео к моно или от моно к стерео. С использованием предыдущего примера файла изображений, даже если 6 изображений из трехмерного стереоскопического изображения (1), трехмерного стереоскопического изображения (2), трехмерного стереоскопического изображения (3), двумерного изображения (1), двумерного изображения (2) и трехмерного стереоскопического изображения (4) включаются в один файл изображений последовательно, изображение делится на основе сдвига типа трехмерного стереоскопического изображения и двумерного изображения. Соответственно, entry_count 3 (т.е. фрагменты трехмерного изображения (1)-(3), фрагменты двумерного изображения (1)-(2) и фрагмент трехмерного изображения (4)). Entry_count идентифицируется, чтобы определять число фрагментов в рамках изображения, и sample_count идентифицируется, чтобы определять общее число кадров, включенных в каждый фрагмент. Затем, stereo_flag идентифицируется, и информация флага по набору кадров, включенных в текущий кадр, т.е. соответствующий фрагмент, идентифицируется. Через информацию флага то, является соответствующий фрагмент трехмерным стереоскопическим изображением или двумерным изображением, может быть определено. Затем, item_count идентифицируется, чтобы идентифицировать число фрагментов в рамках каждой записи (в рамках каждого интервала стерео и моно) изображения, идентифицированного в entry_count. Единицей фрагмента может быть кадр, набор кадров, имеющих последовательные значения, или интервал, посредством которого делятся трехмерное стереоскопическое изображение и двумерное изображение. Этапы декодирования и отображения изображения (этапы S860 и S870) являются идентичными работе терминала предыдущего примерного варианта осуществления, показанного на фиг.7.The entry_count in the present exemplary embodiment is different from the entry_count of the previous exemplary embodiment. Entry_count in the present exemplary embodiment is referred to as the number of fragments in which the type of fragment (i.e., two-dimensional or three-dimensional) is shifted from stereo to mono or from mono to stereo. Using the previous example image file, even if 6 images from a three-dimensional stereoscopic image (1), three-dimensional stereoscopic image (2), three-dimensional stereoscopic image (3), two-dimensional image (1), two-dimensional image (2) and three-dimensional stereoscopic image (4 ) are included in one image file sequentially, the image is divided based on a shift of the type of three-dimensional stereoscopic image and two-dimensional image. Accordingly, entry_count 3 (i.e., fragments of a three-dimensional image (1) - (3), fragments of a two-dimensional image (1) - (2) and a fragment of a three-dimensional image (4)). Entry_count is identified to determine the number of fragments within the image, and sample_count is identified to determine the total number of frames included in each fragment. Then, the stereo_flag is identified, and flag information on the set of frames included in the current frame, i.e. the corresponding fragment is identified. Through the flag information, whether the corresponding fragment is a three-dimensional stereoscopic image or a two-dimensional image can be determined. Then, item_count is identified to identify the number of fragments within each record (within each stereo and mono interval) of the image identified in entry_count. A unit of a fragment can be a frame, a set of frames having sequential values, or an interval by which a three-dimensional stereoscopic image and a two-dimensional image are divided. The steps of decoding and displaying the image (steps S860 and S870) are identical to the operation of the terminal of the previous exemplary embodiment shown in Fig.7.
Фиг.9 иллюстрирует способ для синтаксического анализа и воспроизведения файла изображений согласно другому примерному варианту осуществления настоящего изобретения. Как показано на фиг.9, файловое поле (к примеру, поле "Ftyp") синтаксически анализируется в файле изображений на этапе S910. Затем, поле Moov, поле дорожек и метаполе файла изображений синтаксически анализируются на этапах S920, S930 и S940, соответственно. Затем, каждое поле для поля информации изображений (к примеру, поля "Svmi") файла изображений в соответствии с настоящим изобретением синтаксически анализируется, чтобы определять то, содержит каждый кадр в рамках дорожки изображений двумерное изображение или трехмерное стереоскопическое изображение, на этапе S950.9 illustrates a method for parsing and reproducing an image file according to another exemplary embodiment of the present invention. As shown in FIG. 9, a file field (eg, an “Ftyp” field) is parsed in the image file in step S910. Then, the Moov field, the track field, and the metafield of the image file are parsed in steps S920, S930, and S940, respectively. Then, each field for the image information field (for example, “Svmi” field) of the image file in accordance with the present invention is parsed to determine whether each frame within the image track contains a two-dimensional image or a three-dimensional stereoscopic image, in step S950.
Entry_count в настоящем примерном варианте осуществления является идентичным entry_count примерного варианта осуществления по фиг.8. Таким образом, entry_count в этом примерном варианте осуществления также упоминается как число фрагментов, в которых тип фрагмента сдвигается от стерео к моно или от моно к стерео. Entry_count идентифицируется, число фрагментов в рамках изображения идентифицируется, и последовательность кодирования (is_left_first) идентифицируется, чтобы идентифицировать, какой интервал изображения между трехмерным стереоскопическим изображением и двумерным изображением сначала формируется в соответствующем изображении. Например, значение последовательности кодирования (is_left_first) может быть задано равным "1", чтобы указывать, что содержимое размещается в последовательности S→M→S→M, а значение может быть задано равным "0", чтобы указывать, что содержимое размещается в последовательности M->S->M->S. Затем, sample_count идентифицируется, чтобы определять общее число кадров, включенных в каждый фрагмент. Затем item_count идентифицируется, чтобы идентифицировать число фрагментов в рамках каждой записи (в рамках каждого интервала между стерео и моно) изображения, идентифицированного от entry_count. Единицей фрагмента может быть кадр, набор кадров, имеющих последовательные значения, или интервал, посредством которого делятся трехмерное стереоскопическое изображение и двумерное изображение. Затем каждый идентифицированный кадр декодируется как трехмерное стереоскопическое изображение или двумерное изображение на этапе S960. Затем барьерный ЖК-дисплей управляется с помощью информации, полученной через синтаксический анализ последовательности кодирования (is_stereo_first) в рамках поля информации изображений. Кодированный кадр воспроизводится и отображается на активированном или неактивированном барьерном ЖК-дисплее, чтобы давать возможность пользователю просматривать изображение на этапе S970.The entry_count in the present exemplary embodiment is identical to the entry_count of the exemplary embodiment of FIG. Thus, entry_count in this exemplary embodiment is also referred to as the number of fragments in which the fragment type is shifted from stereo to mono or from mono to stereo. An entry_count is identified, the number of fragments within the image is identified, and a coding sequence (is_left_first) is identified to identify which image interval between the three-dimensional stereoscopic image and the two-dimensional image is first generated in the corresponding image. For example, the value of the encoding sequence (is_left_first) can be set to "1" to indicate that the content is placed in the sequence S → M → S → M, and the value can be set to "0" to indicate that the content is placed in the sequence M-> S-> M-> S. Then, sample_count is identified to determine the total number of frames included in each fragment. Then, item_count is identified to identify the number of fragments within each record (within each interval between stereo and mono) of the image identified by entry_count. A unit of a fragment can be a frame, a set of frames having sequential values, or an interval by which a three-dimensional stereoscopic image and a two-dimensional image are divided. Then, each identified frame is decoded as a three-dimensional stereoscopic image or a two-dimensional image in step S960. The barrier LCD is then controlled using information obtained through parsing of the encoding sequence (is_stereo_first) within the image information field. The encoded frame is reproduced and displayed on the activated or non-activated barrier LCD to enable the user to view the image in step S970.
Фиг.10 является блок-схемой последовательности операций способа, иллюстрирующей способ для воспроизведения файла изображений согласно другому примерному варианту осуществления настоящего изобретения. Как показано на фиг.10, файловое поле (к примеру, поле "Ftyp") в файле изображений синтаксически анализируется на этапе S1010. Затем поле Moov, поле дорожек и метаполе файла изображений синтаксически анализируются на этапах S1010, S1020 и S1030, соответственно. Затем каждое поле для поля информации изображений (к примеру, поле "Svmi") файла изображений в соответствии с настоящим изобретением синтаксически анализируется, чтобы определять то, содержит каждый кадр в рамках дорожки изображений двумерное изображение или трехмерное стереоскопическое изображение, на этапе S1050.10 is a flowchart illustrating a method for reproducing an image file according to another exemplary embodiment of the present invention. As shown in FIG. 10, the file field (for example, the “Ftyp” field) in the image file is parsed in step S1010. Then, the Moov field, the track field, and the metafield of the image file are parsed in steps S1010, S1020, and S1030, respectively. Then, each field for the image information field (for example, the "Svmi" field) of the image file in accordance with the present invention is parsed to determine whether each frame within the image track contains a two-dimensional image or a three-dimensional stereoscopic image, in step S1050.
Entry_count в текущем примерном варианте осуществления является идентичным entry_count примерного варианта осуществления по фиг.7, в котором он упоминается как число фрагментов в рамках файла изображений. С использованием предыдущего примера файла изображений, даже если 6 изображений из трехмерного стереоскопического изображения (1), трехмерного стереоскопического изображения (2), трехмерного стереоскопического изображения (3), двумерного изображения (1), двумерного изображения (2) и трехмерного стереоскопического изображения (4) включаются в один файл изображений последовательно, каждое изображение включает в себя множество кадров, причем каждое изображение упоминается как фрагмент. Как описано выше, единицей фрагмента может быть кадр, набор кадров, имеющих последовательные значения, или интервал, посредством которого делятся трехмерное стереоскопическое изображение и двумерное изображение. Sample_count упоминается как число последовательных кадров, включенных в каждый фрагмент. Entry_count идентифицируется, чтобы определять число фрагментов в рамках изображения, и stereo_flag идентифицируется, и информация флага набора кадров, включенных в каждый фрагмент, идентифицируется. Через информацию флага то, является соответствующий фрагмент трехмерным стереоскопическим изображением или двумерным изображением, может быть определено. Затем поле местоположений элементов (к примеру, поле "Iloc") идентифицируется, начальный адрес и размер фрагмента идентифицируются, и размер выборки в поле размера выборки (к примеру, поле "Stsz") идентифицируется, чтобы идентифицировать, сколько кадров включено в каждый фрагмент, на этапе S1060. Этапы декодирования и отображения изображения (этапы S1070 и S1080) являются идентичными работе терминала первого примерного варианта осуществления, показанного на фиг.7.The entry_count in the current exemplary embodiment is identical to the entry_count of the exemplary embodiment of FIG. 7, in which it is referred to as the number of fragments within the image file. Using the previous example image file, even if 6 images from a three-dimensional stereoscopic image (1), three-dimensional stereoscopic image (2), three-dimensional stereoscopic image (3), two-dimensional image (1), two-dimensional image (2) and three-dimensional stereoscopic image (4 ) are included in a single image file sequentially, each image includes many frames, and each image is referred to as a fragment. As described above, the unit of the fragment can be a frame, a set of frames having sequential values, or an interval by which a three-dimensional stereoscopic image and a two-dimensional image are divided. Sample_count is referred to as the number of consecutive frames included in each fragment. Entry_count is identified to determine the number of fragments within the image, and the stereo_flag is identified, and the flag information of the set of frames included in each fragment is identified. Through the flag information, whether the corresponding fragment is a three-dimensional stereoscopic image or a two-dimensional image can be determined. Then the element location field (for example, the Iloc field) is identified, the start address and fragment size are identified, and the sample size in the sample size field (for example, the Stsz field) is identified to identify how many frames are included in each fragment, in step S1060. The steps for decoding and displaying the image (steps S1070 and S1080) are identical to the operation of the terminal of the first exemplary embodiment shown in FIG. 7.
Фиг.11 является блок-схемой последовательности операций способа, иллюстрирующей способ для реализации произвольного доступа файла изображений согласно настоящему изобретению. Фиг.11 иллюстрирует работу терминала, когда последовательность произвольного доступа формируется в ходе декодирования и воспроизведения изображения, например, когда ползунок воспроизведения сдвигается к изображению временной зоны, которую следует просматривать, например, в ходе воспроизведения одночасового изображения.11 is a flowchart illustrating a method for implementing random access of an image file according to the present invention. 11 illustrates the operation of the terminal when a random access sequence is generated during decoding and playback of the image, for example, when the playback slider is shifted to the image of the time zone to be viewed, for example, during playback of the one-hour image.
На этапе S1100, информация временной метки идентифицируется из поля, включающего в себя информацию временной метки (к примеру, "TimeStamp"), чтобы идентифицировать кадр, к которому необходимо произвольно осуществлять доступ (т.е. точку произвольного доступа, в дальнейшем называемую "RAP"). На этапе S1110, entry_count поля информации изображений (к примеру, поля "Svmi") идентифицируется, и число фрагментов в рамках изображения идентифицируется. В это время единицей фрагмента может быть кадр, набор кадров, имеющих последовательные значения, или интервал, посредством которого делятся трехмерное стереоскопическое изображение и двумерное изображение. На этапах S1120 и S1130, соответственно, sample_count идентифицируется, фрагмент, включающий в себя RAP, идентифицируется, и поле местоположений элементов (к примеру, поле "Iloc") идентифицируется, чтобы идентифицировать начальный адрес соответствующего фрагмента через такую информацию, как смещение соответствующего фрагмента. На этапах S1140 и S1150, соответственно, sample_size идентифицируется в поле размера выборки (к примеру, поле "Stsz"), и sample_size добавляется один за другим из начального адреса соответствующего фрагмента, идентифицированного в поле местоположений элементов (к примеру, поле "Iloc"), чтобы узнавать RAP. Затем декодирование RAP начинается согласно последовательности произвольного доступа на этапе S1160. Если последовательность произвольного доступа сформирована, традиционный способ определяет RAP через вычисление sample_size всего изображения. Тем не менее, согласно настоящему изобретению, только выборка в рамках фрагмента, включающего в себя RAP, должна вычисляться.In step S1100, timestamp information is identified from a field including timestamp information (eg, “TimeStamp”) to identify a frame to which you want to randomly access (i.e., a random access point, hereinafter referred to as “RAP” "). In step S1110, the entry_count of the image information field (for example, the "Svmi" field) is identified, and the number of fragments within the image is identified. At this time, the unit of the fragment may be a frame, a set of frames having sequential values, or an interval by which a three-dimensional stereoscopic image and a two-dimensional image are divided. In steps S1120 and S1130, respectively, the sample_count is identified, the fragment including the RAP is identified, and the element location field (for example, the "Iloc" field) is identified to identify the starting address of the corresponding fragment through information such as the offset of the corresponding fragment. In steps S1140 and S1150, respectively, sample_size is identified in the sample size field (for example, the "Stsz" field), and sample_size is added one after the other from the start address of the corresponding fragment identified in the element location field (for example, the "Iloc" field) to find out RAP. Then, the RAP decoding begins according to the random access sequence in step S1160. If a random access sequence is formed, the traditional method determines the RAP through the calculation of the sample_size of the entire image. However, according to the present invention, only the sample within the fragment including the RAP should be calculated.
Фиг.11 иллюстрирует примерный вариант осуществления с использованием только entry_count и sample_count. Тем не менее следует понимать, что операция произвольного доступа настоящего изобретения может применяться к другим примерным вариантам осуществления. Дополнительно, этапы для идентификации item_count и т.п. могут добавляться или исключаться в зависимости от примерного варианта осуществления в рамках логической последовательности операций в работе терминала без отступления от объема настоящего изобретения. Еще дополнительно, подробности интерпретации поля информации изображений (к примеру, поля "Svmi") или работы терминала могут варьироваться в зависимости от местоположения поля информации изображений, местоположения параметра в рамках поля и т.п., без отступления от объема настоящего изобретения.11 illustrates an exemplary embodiment using only entry_count and sample_count. However, it should be understood that the random access operation of the present invention can be applied to other exemplary embodiments. Additionally, steps for identifying item_count, etc. may be added or deleted depending on an exemplary embodiment within the logical sequence of operations in the operation of the terminal without departing from the scope of the present invention. Still further, the details of the interpretation of the image information field (for example, the "Svmi" field) or the operation of the terminal may vary depending on the location of the image information field, the location of the parameter within the field, etc., without departing from the scope of the present invention.
Подробности этапов для синтаксического анализа формата файла и работы терминала, которые конкретно не описываются здесь, могут реализовываться на основе стандартов ISO/EC 14496-12 и ISO/IEC 23000-11 и могут использоваться вместе с различными вариантами осуществления настоящего изобретения.The details of the steps for parsing the file format and terminal operation, which are not specifically described here, can be implemented based on the ISO / EC 14496-12 and ISO / IEC 23000-11 standards and can be used in conjunction with various embodiments of the present invention.
Как описано выше, настоящее изобретение задает структуру данных файла изображений, который может включать в себя как двумерное изображение, так и трехмерное стереоскопическое изображение посредством использования верифицированной стандартной технологии двумерных изображений, чтобы упрощать процесс верификации, выступающий в качестве нового стандарта. Соответственно, настоящее изобретение дает возможность реализации как двумерного изображения, так и трехмерного стереоскопического изображения в рамках одного файла изображений по мере необходимости. В частности, система и способ для использования формата файлов изображений согласно настоящему изобретению дают возможность отображения изображений, необязательных для просмотра в форме трехмерного стереоскопического изображения (т.е. двумерных изображений в рамках файла изображений для отображения трехмерного стереоскопического изображения), согласно тому, чтобы снимать быструю утомляемость глаз пользователя. Дополнительно, настоящее изобретение имеет преимущество в том, что содержимое, смешанное с трехмерным стереоскопическим изображением и двумерным изображением, может быть эффективно воспроизведено посредством управления включением и выключением барьерного ЖК-дисплея терминала с использованием поля информации изображений (к примеру, поля "Svmi").As described above, the present invention defines a data structure of an image file, which may include both a two-dimensional image and a three-dimensional stereoscopic image by using the verified standard two-dimensional image technology to simplify the verification process, serving as a new standard. Accordingly, the present invention makes it possible to realize both a two-dimensional image and a three-dimensional stereoscopic image within a single image file as necessary. In particular, the system and method for using the image file format according to the present invention makes it possible to display images that are optional for viewing in the form of a three-dimensional stereoscopic image (i.e., two-dimensional images within the image file to display a three-dimensional stereoscopic image), according to fatigue of the user's eyes. Additionally, the present invention has the advantage that content mixed with a three-dimensional stereoscopic image and a two-dimensional image can be efficiently reproduced by controlling the on and off of the LCD barrier display terminal using the image information field (for example, the "Svmi" field).
Несмотря на то что настоящее изобретение показано и описано со ссылкой на его конкретные примерные варианты осуществления, специалистам в данной области техники следует понимать, что различные изменения по форме и содержанию могут быть сделаны без отступления от духа и области применения изобретения, заданной прилагаемой формулой изобретения и ее эквивалентами.Although the present invention is shown and described with reference to its specific exemplary embodiments, specialists in the art should understand that various changes in form and content can be made without departing from the spirit and scope of the invention defined by the attached claims and its equivalents.
Claims (32)
поле мультимедийных данных, включающее в себя одну или более выборок данных изображений; и
поле заголовка мультимедиа, включающее в себя поле данных типа изображения, указывающее то, является каждая из одной или более выборок данных изображений одним из данных двумерных (2D) изображений и данных трехмерных (3D) стереоскопических изображений.1. A machine-readable medium having a data structure stored on it, comprising:
a multimedia data field including one or more samples of image data; and
a multimedia header field including an image type data field indicating that each of one or more samples of image data is one of two-dimensional (2D) image data and three-dimensional (3D) stereoscopic image data.
первая дорожка изображений включает в себя множество выборок данных трехмерных стереоскопических изображений, причем каждая из множества выборок данных трехмерных стереоскопических изображений представляет изображение с угла для просмотра левым глазом, и
вторая дорожка изображений включает в себя множество выборок данных трехмерных стереоскопических изображений, причем каждая из множества выборок данных трехмерных стереоскопических изображений представляет изображение с угла для просмотра правым глазом.14. Machine-readable medium according to item 13, in which:
the first image track includes a plurality of samples of three-dimensional stereoscopic image data, each of a plurality of samples of three-dimensional stereoscopic image data representing an image from an angle for viewing by the left eye, and
the second image track includes a plurality of samples of three-dimensional stereoscopic image data, each of a plurality of samples of three-dimensional stereoscopic image data representing an image from an angle for viewing with the right eye.
принимают файл изображений;
синтаксически анализируют поле мультимедийных данных файла изображений, включающего в себя одну или более выборок данных изображений;
синтаксически анализируют поле заголовка мультимедиа, включающее в себя поле данных типа изображения, указывающее то, является ли каждая из одной или более выборок данных изображений одним из данных двумерных (2D) изображений и данных трехмерных (3D) стереоскопических изображений; и
формируют изображение, соответствующее одному из двумерного изображения и трехмерного стереоскопического изображения, на основе поля данных типа изображения файла изображений.15. A method of reproducing an image file containing the steps in which:
accept an image file;
parsing the multimedia data field of the image file including one or more samples of image data;
synthesizing a multimedia header field including a data type data field indicating whether each of one or more samples of image data is one of two-dimensional (2D) image data and three-dimensional (3D) stereoscopic image data; and
forming an image corresponding to one of the two-dimensional image and three-dimensional stereoscopic image based on the data field of the image type of the image file.
управляют барьерным жидкокристаллическим дисплеем (ЖК-дисплеем) на основе флага так, чтобы включать дисплей, если флаг задан как данные трехмерных стереоскопических изображений, и отключать, если флаг задан как данные двумерных изображений.20. The method according to claim 19 further comprising the step of:
control the barrier liquid crystal display (LCD) based on the flag so as to turn on the display if the flag is set as three-dimensional stereoscopic image data and turn off if the flag is set as two-dimensional image data.
первая дорожка изображений включает в себя множество выборок данных трехмерных стереоскопических изображений, причем каждая из множества выборок данных трехмерных стереоскопических изображений представляет изображение с угла для просмотра левым глазом, и
вторая дорожка изображений включает в себя множество выборок данных трехмерных стереоскопических изображений, причем каждая из множества выборок данных трехмерных стереоскопических изображений представляет изображение с угла для просмотра правым глазом.29. The method according to p, in which:
the first image track includes a plurality of samples of three-dimensional stereoscopic image data, each of a plurality of samples of three-dimensional stereoscopic image data representing an image from an angle for viewing by the left eye, and
the second image track includes a plurality of samples of three-dimensional stereoscopic image data, each of a plurality of samples of three-dimensional stereoscopic image data representing an image from an angle for viewing with the right eye.
модуль хранения, чтобы принимать и сохранять файл изображений;
процессор, чтобы синтаксически анализировать поле мультимедийных данных файла изображений, включающего в себя одну или более выборок данных изображений, и синтаксически анализировать поле заголовка мультимедиа, включающее в себя поле данных типа изображения, указывающее то, является ли каждая из одной или более выборок данных изображений одним из данных двумерных (2D) изображений и данных трехмерных (3D) стереоскопических изображений, чтобы формировать изображение, соответствующее одному из двумерного изображения и трехмерного стереоскопического изображения, на основе поля данных типа изображения файла изображений; и
дисплей, чтобы отображать сформированное изображение согласно полю данных типа изображения файла изображений.30. A device for reproducing an image file, comprising:
a storage module to receive and save an image file;
a processor to syntactically analyze a multimedia data field of an image file including one or more samples of image data, and syntactically analyze a multimedia header field including a data type data field indicating whether each of one or more samples of image data is one from two-dimensional (2D) image data and three-dimensional (3D) stereoscopic image data to form an image corresponding to one of the two-dimensional image and three-dimensional stereo opicheskogo image based on the image field of the image file data type; and
a display to display the generated image according to the data field of the image type of the image file.
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20070127564 | 2007-12-10 | ||
KR10-2007-0127564 | 2007-12-10 | ||
KR10-2008-0000532 | 2008-01-03 | ||
KR20080000532 | 2008-01-03 | ||
KR10-2008-0004086 | 2008-01-14 | ||
KR20080012002A KR101480186B1 (en) | 2007-12-10 | 2008-02-05 | System and method for generating and playing image file including two dimensional image and three dimensional image |
KR10-2008-0012002 | 2008-02-05 |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2010123632A RU2010123632A (en) | 2011-12-20 |
RU2448432C2 true RU2448432C2 (en) | 2012-04-20 |
Family
ID=45403809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2010123632/28A RU2448432C2 (en) | 2007-12-10 | 2008-12-05 | System and method of creating and displaying image file containing two-dimensional image and three-dimensional stereoscopic image |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2448432C2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2297730C1 (en) * | 2005-12-15 | 2007-04-20 | ГОУ ВПО "Саратовский государственный университет им. Н.Г. Чернышевского" | Device for reproduction of stereoscopic video images |
EP1855488A1 (en) * | 2006-05-11 | 2007-11-14 | LG Electronics Inc. | Mobile communication terminal and method for displaying an image |
-
2008
- 2008-12-05 RU RU2010123632/28A patent/RU2448432C2/en active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2297730C1 (en) * | 2005-12-15 | 2007-04-20 | ГОУ ВПО "Саратовский государственный университет им. Н.Г. Чернышевского" | Device for reproduction of stereoscopic video images |
EP1855488A1 (en) * | 2006-05-11 | 2007-11-14 | LG Electronics Inc. | Mobile communication terminal and method for displaying an image |
Also Published As
Publication number | Publication date |
---|---|
RU2010123632A (en) | 2011-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8842903B2 (en) | System and method for generating and reproducing image file including 2D image and 3D stereoscopic image | |
US9781403B2 (en) | Method and apparatus for generating stereoscopic file | |
US8508579B2 (en) | System and method for generating and reproducing 3D stereoscopic image file including 2D image | |
KR20090088772A (en) | System and method for generating and playing image file for slide show | |
AU2009210926B2 (en) | Apparatus and method for generating and displaying media files | |
US20090199100A1 (en) | Apparatus and method for generating and displaying media files | |
AU2008336448B2 (en) | System and method for generating and reproducing image file including 2D image and 3D stereoscopic image | |
KR101434674B1 (en) | Apparatus and method for generating stereoscopic files | |
RU2448432C2 (en) | System and method of creating and displaying image file containing two-dimensional image and three-dimensional stereoscopic image | |
KR101453084B1 (en) | Portable terminal and method for generating and playing three dimensional image file | |
KR20080092810A (en) | Apparatus and method for generating file of three dimensional images based on media standards and system thereof |