RU2401465C2 - Playback device and method - Google Patents

Playback device and method Download PDF

Info

Publication number
RU2401465C2
RU2401465C2 RU2006118102/28A RU2006118102A RU2401465C2 RU 2401465 C2 RU2401465 C2 RU 2401465C2 RU 2006118102/28 A RU2006118102/28 A RU 2006118102/28A RU 2006118102 A RU2006118102 A RU 2006118102A RU 2401465 C2 RU2401465 C2 RU 2401465C2
Authority
RU
Russia
Prior art keywords
data
audio
still image
image data
reproducing
Prior art date
Application number
RU2006118102/28A
Other languages
Russian (ru)
Other versions
RU2006118102A (en
Inventor
Кил-Соо ДЗУНГ (KR)
Кил-Соо ДЗУНГ
Сеонг-дзин МООН (KR)
Сеонг-Дзин МООН
Original Assignee
Самсунг Электроникс Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Самсунг Электроникс Ко., Лтд. filed Critical Самсунг Электроникс Ко., Лтд.
Publication of RU2006118102A publication Critical patent/RU2006118102A/en
Application granted granted Critical
Publication of RU2401465C2 publication Critical patent/RU2401465C2/en

Links

Images

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

FIELD: information technologies.
SUBSTANCE: playback device for slides presentation contains module for reproducing static image data which module reproduces static image data using synchronisation pulse for static image data, and module for reproducing audio data which module reproduces audio data added separately to static image data using synchronisation pulse for audio data. Module for reproducing static image data and module for reproducing audio data are independent and made in such manner that user changes static image data in free order without interrupting audio reproduction.
EFFECT: providing slides viewing without background audio data interruption.
7 cl, 11 dwg

Description

Область техники, к которой относится изобретениеFIELD OF THE INVENTION

Настоящее изобретение относится к воспроизводящему устройству и способу, и более конкретно к воспроизводящему устройству и способу для воспроизведения данных неподвижного изображения, таких как показ слайдов с возможностью просмотра, к которому отдельно добавляются аудио-субданные.The present invention relates to a reproducing apparatus and method, and more particularly, to a reproducing apparatus and method for reproducing still image data, such as a viewable slide show, to which audio sub data is separately added.

Уровень техникиState of the art

Так как данные движущейся картинки очень большие, эти данные картинки приходится сжимать, используя пространственно-временное сжатие, чтобы их закодировать для легкой передачи. В общем, чтобы записать на носитель для хранения информации, видеоданные сжимают и кодируют согласно стандартам Motion Picture Expert Groups (MPEG) (Экспертная группа по вопросам движущегося изображения), предписанным как Международной организацией по стандартизации (ISO), так и Международной электротехнической комиссией (IEC), тогда как аудиоданные сжимаются согласно MPEG стандартам или конвертируются в цифровые данные при использовании линейной импульсно-кодовой модуляции (Pulse Code Modulation, PCM). Информация о времени, необходимая для синхронизации кодированных видеоданных и аудиоданных друг с другом, включается в системные мультиплексированные данные. В этом случае, стандарт MPEG2 также часто используется при кодировании данных.Since the data of the moving picture is very large, this picture data has to be compressed using space-time compression to encode it for easy transmission. In general, in order to record onto a storage medium, video data is compressed and encoded according to the Motion Picture Expert Groups (MPEG) standards prescribed by both the International Organization for Standardization (ISO) and the International Electrotechnical Commission (IEC) ), while audio data is compressed according to MPEG standards or converted to digital data using linear Pulse Code Modulation (PCM). The time information needed to synchronize the encoded video and audio data with each other is included in the system multiplexed data. In this case, the MPEG2 standard is also often used when encoding data.

Системное мультиплексирование может быть выполнено при использовании пакетов. Например, как показано на фиг.1, при мультиплексировании видеоданных и аудиоданных, видеоданные и аудиоданные разделяются в двоично-потоковые пакеты заданных длин, дополнительная информация, такая как заголовок, включается в эти двоично-потоковые пакеты, и видеопакеты и аудиопакеты смешиваются и передаются при использовании технологий разделения времени. Поэтому начало пакета, т.е. заголовок, включает в себя информацию, показывающую является ли пакет видеопакетом или аудиопакетом.System multiplexing can be performed using packets. For example, as shown in FIG. 1, when multiplexing video and audio data, video and audio data are separated into binary stream packets of predetermined lengths, additional information, such as a header, is included in these binary stream packets, and video and audio packets are mixed and transmitted when using time sharing technologies. Therefore, the beginning of the package, i.e. the header includes information indicating whether the packet is a video packet or an audio packet.

Тем временем, информация о времени, называемая метка времени, используется в синхронизации между аудио- и видеопакетами в соответствии с MPEG стандартами.Meanwhile, time information, called a time stamp, is used in synchronization between audio and video packets in accordance with MPEG standards.

Эта метка времени является типом тэга управления временем, который предоставляется в единицах доступа для декодирующего процесса, требуемого для воспроизведения данных. То есть метка времени является информацией, которая определяет, когда аудио- или видеоданные должны быть декодированы и воспроизведены в единицах доступа. Имеется два типа меток времени: метка времени презентации (PTS, Presentation Time Stamp) и метка времени декодирования (DTS, Decoding Time Stamp).This timestamp is a type of time management tag that is provided in access units for the decoding process required to reproduce data. That is, a time stamp is information that determines when audio or video data should be decoded and reproduced in access units. There are two types of timestamps: Presentation Time Stamp (PTS) and Decoding Time Stamp (DTS).

PTS является информацией управления временем для воспроизведения данных, выбираемой в зависимости от принятого способа MPEG кодирования, когда импульс синхронизации системного времени (STC, System Time Clock), например, опорный сигнал синхронизации, который генерируется в опорном декодере MPEG системы, эквивалентен PTS, соответствующие аудио- или видеоданные воспроизводятся и выводятся в единицах доступа.PTS is time management information for reproducing data, selected depending on the adopted MPEG encoding method, when a system time clock pulse (STC, System Time Clock), for example, a synchronization reference signal that is generated in the MPEG system reference decoder, is equivalent to PTS corresponding audio - or video data is played and displayed in access units.

DTS является информацией управления временем для декодирования данных. MPEG стандарты требуют DTS, так как последовательность доставки закодированных видеобитовых потоков единственна. Например, так как картинка I кадра и картинка Р кадра доставляются как закодированные битовые потоки до картинки В кадра, последовательности декодирования и воспроизведения картинок I и Р кадров отличаются от последовательностей для декодирования и воспроизведения картинки В кадра. Если PTS и DTS не одинаковы, они последовательно включаются в пакетные данные. Если они одинаковы, только PTS включается в пакетные данные.DTS is time management information for decoding data. MPEG standards require DTS because the delivery sequence of encoded video bitstreams is unique. For example, since the picture of the I frame and the picture of the P frame are delivered as encoded bit streams to the picture of the frame, the decoding and playback sequences of the pictures of I and P frames are different from the sequences for decoding and playing the picture of the frame. If the PTS and DTS are not the same, they are sequentially included in the packet data. If they are the same, only the PTS is included in the packet data.

В дальнейшем традиционные устройства MPEG кодирования и декодирования будут описаны со ссылкой на фиг.2-6.Hereinafter, conventional MPEG encoding and decoding devices will be described with reference to FIGS. 2-6.

Фиг.2 иллюстрирует традиционное иерархическое кодирующее устройство 200, используемое в MPEG кодировании. Со ссылкой на фиг.2, видеокодировщик 210 принимает и кодирует цифровые видеоданные, и аудиокодировщик 220 принимает и кодирует цифровые аудиоданные.FIG. 2 illustrates a conventional hierarchical coding apparatus 200 used in MPEG coding. With reference to FIG. 2, video encoder 210 receives and encodes digital video data, and audio encoder 220 receives and encodes digital audio data.

Первый модуль 230 пакетирования пакетирует кодированные видеоданные, выводящиеся из видеокодировщика 210, посредством разделения их в заданные единицы, и генерирует пакетированные элементарные потоки (PES, Packetized Elementary Streams). Второй модуль 240 пакетирования пакетирует кодированные аудиоданные, выводящиеся из аудиокодировщика 220, посредством разделения их в заданные единицы, и генерирует PES потоки.The first packetization module 230 packages the encoded video data output from the video encoder 210 by dividing them into predetermined units, and generates Packetized Elementary Streams (PES). The second packetization module 240 packetizes the encoded audio data output from the audio encoder 220 by splitting it into predetermined units, and generates PES streams.

Информация времени кодирования, такая как PTS и DTS может вставляться в PES. Такая информация времени кодирования используется, чтобы синхронизировать PES с другими данными. В частности, DTS показывает, когда изображение декодируется, и PTS показывает, когда изображение выводится. В общем, только PTS включается в аудиоданные. В этом случае DTS рассматривается как то же самое, что и PTS. После заключения PTS и DTS аудиоданные или видеоданные пакетируются в формате данных полезной нагрузки.Encoding time information such as PTS and DTS may be inserted into the PES. Such encoding time information is used to synchronize PES with other data. In particular, the DTS indicates when an image is decoded, and the PTS indicates when an image is output. In general, only PTS is included in the audio data. In this case, the DTS is regarded as the same as the PTS. Following the conclusion of the PTS and DTS, the audio or video data is packetized in the payload data format.

Мультиплексор 250 программного потока мультиплексирует видео PES, пакетированный первым модулем 230 пакетирования, в программный поток (PS). Мультиплексор 260 транспортного потока мультиплексирует аудио PES, пакетированный вторым модулем 240 пакетирования, в транспортный поток (TS). В мультиплексировании, каждый PES разделяется в заданные единицы, этим заданным единицам присваиваются идентификационные номера, и затем PES мультиплексируется.A program stream multiplexer 250 multiplexes the PES video packetized by the first packetization module 230 into a program stream (PS). A transport stream multiplexer 260 multiplexes the audio PES packetized by the second packetization module 240 into a transport stream (TS). In multiplexing, each PES is divided into predetermined units, identification numbers are assigned to these given units, and then PES is multiplexed.

Программный поток (PS) делается для носителей хранения информации и мультиплексируется в PS пакетные единицы. В стандарте DVD видео, репрезентативное приложение для носителей хранения движущихся изображений, используется PS пакетная единица из 2048 байтов.A program stream (PS) is made for storage media and is multiplexed into PS packet units. The DVD video standard, a representative application for motion picture storage media, uses a 2048-byte PS packet unit.

TS используется в приложении, таком как цифровое широковещание, где потеря данных неизбежна. TS мультиплексируется в TS пакетные единицы. TS пакетная единица фиксирована 188 байтов в длину. Недавно, было увеличено использование TS при записи цифровых широковещательных данных на запоминающий носитель. В этом раскрытии TS используется в мультиплексировании, но PS также может использоваться.TS is used in an application such as digital broadcasting, where data loss is inevitable. TS is multiplexed into TS packet units. TS packet unit is fixed 188 bytes in length. Recently, the use of TS has been increased in recording digital broadcast data on a storage medium. In this disclosure, TS is used in multiplexing, but PS can also be used.

Как описано выше, TS - это пакетированные данные, такие как видео- или аудиоданные, которые разделяются в заданные единицы так, чтобы эти данные могли быть переданы через спутник, кабель, или локальную сеть (LAN, Local Area Network). Здесь заданная единица является 188 байтов в длину, когда используется MPEG-2 поток передачи согласно стандарту ISO/IEC 13818-1, и 53 байта в длину, когда используется Асинхронный режим передачи (ATM, Asynchronous Transfer Mode).As described above, TSs are packetized data, such as video or audio data, that are divided into predetermined units so that this data can be transmitted via satellite, cable, or a local area network (LAN). Here, the specified unit is 188 bytes in length when using an MPEG-2 transfer stream according to ISO / IEC 13818-1, and 53 bytes in length when using Asynchronous Transfer Mode.

В цифровом широковещании пакетные данные передаются при варьируемых временных интервалах. Переданные пакетные данные вводятся в буфер принимающего устройства, имеющего декодер, декодируются декодером и широковещаются так, чтобы пользователь мог видеть цифровое широковещание. Пакетные данные могут временно сохраняться на записывающем носителе и воспроизводиться в желаемое время. В этом случае варьируемые временные интервалы, в которые пакетные данные были переданы, являются значимыми, когда пакетные данные вводятся в декодер воспроизводящего устройства. Это так потому, что передающая сторона передает пакетные данные принимающей стороне, при регулировке временных интервалов между передачами пакетных данных, в зависимости от состояния буфера принимающего устройства, имеющего декодер. Если варьируемые временные интервалы не добавляются, буфер в принимающем устройстве переполняется или опустошается. Поэтому информация относительно времен прибытия соответствующих пакетных данных, переданных записывающему устройству, вставляется во все пакеты, и пакетные данные воспроизводятся, базируясь на информации относительно времен прибытия.In digital broadcasting, packet data is transmitted at varying time intervals. The transmitted packet data is input into a buffer of a receiver having a decoder, decoded by a decoder, and broadcast so that the user can see the digital broadcast. The packet data may be temporarily stored on a recording medium and reproduced at a desired time. In this case, the variable time intervals in which the packet data has been transmitted are significant when the packet data is input to the decoder of the reproducing device. This is because the transmitting side transmits packet data to the receiving side when adjusting the time intervals between packet data transmissions, depending on the buffer status of the receiving device having a decoder. If variable time slots are not added, the buffer at the receiving device is full or empty. Therefore, information regarding the arrival times of the respective packet data transmitted to the recording device is inserted into all packets, and the packet data is reproduced based on the information regarding the arrival times.

Как описано выше, метки времени прибытия (ATS), которые являются информацией относительно времен прибытия данных, требуются для правильного воспроизведения данных, когда пакетные данные, переданные в TS формате, записываются на записывающий носитель и воспроизводятся из этого записывающего носителя.As described above, arrival time stamps (ATS), which are information regarding the times of arrival of the data, are required for the correct reproduction of the data when the packet data transmitted in the TS format is recorded on the recording medium and reproduced from this recording medium.

Другими словами, записывающее устройство принимает пакетные данные, отправленные передающей стороной в конкретные временные интервалы, и записывает их на записывающий носитель. Для того чтобы воспроизвести записанные пакетные данные, требуется счетчик, чтобы передавать пакетные данные декодеру воспроизводящего устройства в те же временные интервалы, что и конкретные временные интервалы, используемые передающей стороной. Счетчик работает в ответ на системный импульс синхронизации на 90 кГц или 27 MГц и включает в себя значение счетчика, вставленное в пакетные данные, причем счетчик является ATS, полученной в момент времени, когда пакет вводится в счетчик. Чтобы воспроизвести записанные пакетные данные, временные интервалы, в которые пакетные данные будут передаваться в буфер декодера, определяются значением счетчика, включенным в пакетные данные. Такой счетчик называется счетчиком импульсов синхронизации времени прибытия (АТС, arrival time clock). То есть ATS добавляется во вводимые пакетные данные, базируясь на значении счетчика, сгенерированном АТС счетчиком, и пакетные данные выводятся, базируясь на ATS для воспроизведения данных.In other words, the recording device receives packet data sent by the transmitting side at specific time intervals, and writes them to the recording medium. In order to reproduce the recorded packet data, a counter is required to transmit the packet data to the decoder of the reproducing device at the same time intervals as the specific time intervals used by the transmitting side. The counter operates in response to a system clock pulse of 90 kHz or 27 MHz and includes a counter value inserted into the packet data, the counter being the ATS received at the time when the packet was entered into the counter. In order to reproduce the recorded packet data, the time intervals in which the packet data will be transmitted to the decoder buffer are determined by the counter value included in the packet data. Such a counter is called an arrival time clock (ATC) counter. That is, the ATS is added to the input packet data based on the counter value generated by the ATC counter, and the packet data is output based on the ATS for reproducing data.

Фиг.3 иллюстрирует структуру данных пакетных данных, включающую в себя ATS метки, определяющие моменты времени прибытия пакетных данных к принимающей стороне, и связь между ATS метками и временем вывода данных, когда пакетные данные воспроизводятся. Со ссылкой на фиг.3, когда пакетные данные А, В, С, и D принимаются в моменты 100, 110, 130, и 150 времени прибытия, соответственно, записывающее устройство делает ATS метки, показывающие моменты 100, 110, 130, и 150 времени прибытия, и вставляет эти ATS метки в пакетные данные А, В, С, и D. Для воспроизведения данных пакетные данные выводятся и воспроизводятся, базируясь на ATS метках. То есть пакетные данные А выводятся в момент 100 времени вывода, пакетные данные В выводятся в момент 110 времени вывода, пакетные данные С выводятся в момент 130 времени вывода, и пакетные данные D выводятся в момент 150 времени вывода.FIG. 3 illustrates a packet data data structure including ATS labels defining times at which packet data arrives at a receiving side and a relationship between ATS labels and data output time when packet data is reproduced. Referring to FIG. 3, when packet data A, B, C, and D are received at arrival times 100, 110, 130, and 150, respectively, the recording device makes ATS marks showing moments 100, 110, 130, and 150 time of arrival, and inserts these ATS tags into the packet data A, B, C, and D. To reproduce the data, the packet data is output and reproduced based on the ATS tags. That is, packet data A is output at output time 100, packet data B is output at output time 110, packet data C is output at output time 130, and packet data D is output at output time 150.

Фиг.4 иллюстрирует структуру данных пакетных данных 400, включающих в себя ATS метки, которые записываются на записывающем носителе. Для удобства, фиг.4 иллюстрирует пакетные данные 400 для включения в себя информации, такой как ATS 410, метка 420 времени декодирования (DTS, decoding time stamp), метка 430 времени презентации (PTS, presentation time stamp), и аудио/видео (AV) данные 440, согласно настоящему изобретению.FIG. 4 illustrates a data structure of packet data 400 including ATS labels that are recorded on a recording medium. For convenience, FIG. 4 illustrates packet data 400 for including information such as an ATS 410, a decoding time stamp 420, a presentation time stamp 430, and audio / video ( AV) data 440 according to the present invention.

Фиг.5 иллюстрирует часть воспроизводящего устройства 500, которое воспроизводит пакетные данные, включающие в себя ATS метки, как показано на фиг.4. Записывающее устройство 500 включает в себя устройство 510 привода дисков, буфер 520, модуль 530 депакетирования источника и АТС счетчик 540.FIG. 5 illustrates a portion of a reproducing apparatus 500 that reproduces packet data including ATS tags, as shown in FIG. The recording device 500 includes a disk drive device 510, a buffer 520, a source depacketizer module 530, and a PBX counter 540.

Устройство 510 привода дисков читает пакетные данные, включающие в себя ATS метки, и передает эти пакетные данные буферу 520.The disk drive device 510 reads packet data including ATS tags and transmits the packet data to buffer 520.

Буфер 520 принимает пакетные данные, включающие в себя ATS метки, и передает их модулю 530 депакетирования источника.Buffer 520 receives packet data including ATS tags and passes them to source depacketizer 530.

АТС счетчик 540 используется, когда поток данных, хранимый в записывающем носителе, передается декодеру (не показан) в интервалы времени, в которые пакетные данные впервые были переданы от принимающей стороны. АТС счетчик 540 работает в ответ на системный импульс синхронизации на 90 кГц или 27 MГц, переустанавливает ATS значение, которое получено в момент времени, когда первый пакет в TS формате вводится в модуль 530 депакетирования источника, как начальное значение, и продолжает считать ATS метки вводимых пакетов. Когда ATS вводимого пакета эквивалентна считающему значению, сгенерированному АТС счетчиком 540, эта ATS удаляется из вводимого пакета и вводимый пакет отправляется декодеру.The ATC counter 540 is used when the data stream stored in the recording medium is transmitted to a decoder (not shown) at time intervals in which packet data was first transmitted from the receiving side. The ATC counter 540 operates in response to a system clock pulse of 90 kHz or 27 MHz, resets the ATS value that was received at the time when the first packet in TS format is entered into the source depacketting module 530 as the initial value, and continues to read the ATS marks entered packages. When the ATS of the input packet is equivalent to the reading value generated by the PBX by the counter 540, this ATS is removed from the input packet and the input packet is sent to the decoder.

Другими словами, АТС счетчик 540 устанавливает ATS значение первого вводимого пакета, переданного модулю 530 депакетирования источника, как начальное значение и начинает считать. Далее модуль 530 депакетирования источника проверяет ATS значения следующих пакетных данных с самими собой, удаляет ATS значение из пакетных данных, чье ATS значение эквивалентно считающему значению, сгенерированному АТС счетчиком 540, и передает эти пакетные данные декодеру.In other words, the ATC counter 540 sets the ATS value of the first input packet transmitted to the source depacketizer 530 as the initial value and begins to count. Next, the source depacketizing module 530 checks the ATS values of the following packet data with itself, removes the ATS value from the packet data, whose ATS value is equivalent to the reading value generated by the ATC counter 540, and transmits this packet data to the decoder.

Например, в случае пакетных данных из фиг.3, так как значение ATS первых пакетных данных есть 100, начальное значение АТС счетчика 540 устанавливается как 100 и АТС счетчик 540 продолжает считать. ATS удаляется из первых пакетных данных, и первые пакетные данные передаются декодеру. Далее, так как значение ATS вторых пакетных данных есть 110, модуль 530 депакетирования источника удаляет ATS из вторых пакетных данных и передает вторые пакетные данные декодеру, когда считающее значение АТС счетчика 540 есть 110. Этот процесс также применяется к другим пакетным данным аналогичным способом.For example, in the case of the packet data of FIG. 3, since the ATS value of the first packet data is 100, the initial ATC value of the counter 540 is set to 100 and the ATC counter 540 continues to read. ATS is removed from the first packet data, and the first packet data is transmitted to the decoder. Further, since the ATS value of the second packet data is 110, the source depacketizer 530 removes the ATS from the second packet data and transmits the second packet data to the decoder when the counter value of the ATC of the counter 540 is 110. This process also applies to other packet data in a similar manner.

Фиг.6 - это блок-схема традиционного стандартного декодера 600, используемого для синхронизации данных, основанной на закодированной информации о времени, такой как PTS и DTS. Со ссылкой на фиг.6, декодер 600 включает в себя демультиплексор 610, видеодекодер 620, счетчик 630 импульсов синхронизации системного времени (STC), аудиодекодер 640 и графический процессор 650.6 is a block diagram of a conventional standard decoder 600 used to synchronize data based on encoded time information, such as PTS and DTS. With reference to FIG. 6, a decoder 600 includes a demultiplexer 610, a video decoder 620, a system time synchronization (STC) counter 630, an audio decoder 640, and a graphics processor 650.

Демультиплексор 610 демультиплексирует мультиплексированные видео пакетные данные, аудио пакетные данные и пакетные данные субкартинки и отправляет демультиплексированные видео пакетные данные и аудио пакетные данные видеодекодеру 620 и аудиодекодеру 640 соответственно. Демультиплексированная субкартинка может являться подзаголовочными данными, которые изображаются, чтобы быть совмещенными с видео пакетными данными. На фиг.6, декодер, который декодирует данные субкартинки, не показан.The demultiplexer 610 demultiplexes the multiplexed video packet data, audio packet data, and sub picture packet data, and sends the demultiplexed video packet data and audio packet data to the video decoder 620 and the audio decoder 640, respectively. The demultiplexed sub-picture may be subtitle data that is displayed to be combined with video packet data. 6, a decoder that decodes sub-picture data is not shown.

STC счетчик 630 работает на 90 кГц или 27 MГц и контролирует, чтобы значение пакета, которое получено в момент времени, когда пакет вводится в буфер (не показан) декодера, было эквивалентно значению указателя программных импульсов синхронизации (PCR, program clock reference) из этого пакета. Буфер временно хранит пакетные данные, которые выводятся из демультиплексора 610, но все еще должны быть введены в видеодекодер 620. PCR обозначает указатель программных импульсов синхронизации, который является информацией, используемой, чтобы подрегулировать значение STC счетчика, который является опорным временным значением, к значению, установленному MPEG декодирующим устройством с видео- и аудиодекодерами.The STC counter 630 operates at 90 kHz or 27 MHz and checks that the value of the packet, which was received at the time when the packet was entered into the buffer (not shown) of the decoder, was equivalent to the value of the program clock synchronization pointer (PCR) from this package. The buffer temporarily stores the packet data that is output from the demultiplexer 610, but still needs to be entered into the video decoder 620. PCR stands for a clock sync pointer, which is information used to adjust the counter STC value, which is a reference time value, to a value installed MPEG decoding device with video and audio decoders.

Процесс декодирования пакетных данных, включающих в себя DTS метки и PTS метки, будет описан со ссылкой на фиг.6. Первое, демультиплексор 610 демультиплексирует вводимый транспортный пакет в исходные видео пакетные данные и аудио пакетные данные, и отправляет эти видео пакетные данные и эти аудио пакетные данные видеодекодеру 620 и аудиодекодеру 640, соответственно.A process for decoding packet data including DTS tags and PTS tags will be described with reference to FIG. First, the demultiplexer 610 demultiplexes the input transport packet into the original video packet data and audio packet data, and sends this video packet data and this audio packet data to the video decoder 620 and the audio decoder 640, respectively.

Далее STC счетчик 630 устанавливается на основе PCR информации (не показана), содержащейся в пакетных данных. Видео пакетные данные вводятся в видеодекодер 620 с помощью установленного STC счетчика 630 в DTS время и декодируются видеодекодером 620. Так как аудио пакетные данные имеют только PTS значение, аудио пакетные данные вводятся в аудиодекодер 640 в PTS время, декодируются аудиодекодером 640 и выводятся.Next, the STC counter 630 is set based on the PCR information (not shown) contained in the packet data. Video packet data is input to the video decoder 620 using the installed STC counter 630 at DTS time and decoded by video decoder 620. Since the audio packet data has only a PTS value, the audio packet data is input to the audio decoder 640 at PTS time, decoded by the audio decoder 640 and output.

Далее декодированные видео пакетные данные, выведенные из видеодекодера 620, вводятся в графический процессор 650 с помощью STC счетчика 630 на основе PTS времени, обрабатываются графическим процессором 650 и выводятся как видеоданные.Next, the decoded video packet data output from the video decoder 620 is input to the graphics processor 650 using an STC counter 630 based on the PTS time, processed by the graphics processor 650, and output as video data.

Как описано выше, аудио и видео пакетные данные могут синхронизироваться друг с другом посредством контроля декодирования и вывода аудио и видео пакетных данных в PTS время и DTS время, используя считающее значение, генерируемое STC счетчиком 630. То есть аудио и видео пакетные данные декодируются и синхронизируются друг с другом, в ответ на импульс синхронизации, сгенерированный STC счетчиком 630.As described above, the audio and video packet data can be synchronized with each other by controlling the decoding and output of the audio and video packet data at PTS time and DTS time using the read value generated by the STC counter 630. That is, the audio and video packet data are decoded and synchronized with each other, in response to a synchronization pulse generated by the STC counter 630.

В общем, имеется два приложения неподвижных изображений. Первое, имеется показ слайдов, где неподвижные изображения выводятся в заданные времена. То есть пользователь воспроизводит неподвижные изображения, используя проигрывание назад, где предыдущее изображение воспроизводится снова, или проигрывание вперед, где воспроизведение текущего изображения перескакивается и воспроизводится следующее изображение. Когда STC значение обновляется новым значением, изображения могут быть последовательно воспроизведены снова. Если аудиоданные включаются в неподвижное изображение, эти аудиоданные воспроизводятся в синхронизации с заново обновленным неподвижным изображением. Таким образом, воспроизведение аудиоданных прерывается, и аудиоданные воспроизводятся снова, начиная с порции аудиоданных, соответствующих новому неподвижному изображению.In general, there are two still image applications. First, there is a slide show where still images are displayed at set times. That is, the user reproduces still images using reverse play, where the previous image is played again, or forward play, where playback of the current image skips and the next image is played. When the STC value is updated with the new value, images can be sequentially reproduced again. If audio data is included in a still image, this audio data is reproduced in synchronization with the newly updated still image. Thus, the playback of audio data is interrupted, and the audio data is reproduced again, starting with a portion of audio data corresponding to the new still image.

Второе, имеется показ слайдов с возможностью просмотра. В показе слайдов с возможностью просмотра воспроизведение аудиоданных не должно прерываться даже в течение проигрывания назад или проигрывания вперед. Например, показ слайдов воспроизводится, как бы пролистывая файлы альбома, чтобы посмотреть включенные туда фотографии. С другой стороны, в течение воспроизведения показа слайдов с возможностью просмотра с фоновой музыкой непрерывное воспроизведение фоновой музыки требуется для натурального воспроизведения неподвижных изображений, даже если пользователь выбирает и воспроизводит изображение, предшествующее или следующее за текущим изображением.Second, there is a slide show with the ability to view. In a viewable slide show, audio playback should not be interrupted even while playing backward or forward. For example, a slide show is played, as if flipping through album files to see the photos included there. On the other hand, during playback of a slide show with the possibility of viewing with background music, continuous playback of background music is required for natural reproduction of still images, even if the user selects and reproduces an image preceding or following the current image.

Ниже проблемы с проигрыванием вперед или назад показа слайдов с возможностью просмотра будут описываться со ссылкой на фиг.7. Неподвижные изображения, такие как показ слайдов с возможностью просмотра, разделяются в данные основного потока и аудио-субданные. В общем, данные основного потока включают в себя видеоданные, аудиоданные и данные субкартинки, но видеоданные в приложении показа слайдов с возможностью просмотра должны пониматься как данные неподвижного изображения, исключающие аудиоданные. Аудио-субданные обозначают аудиоданные, которые дополнительно сделаны отдельными от данных основного потока и воспроизводятся как фоновая музыка в течение воспроизведения данных неподвижного изображения.Below, problems with playing forward or backward of a slide show with the possibility of viewing will be described with reference to Fig.7. Still images, such as a viewable slide show, are separated into mainstream data and audio subdata. In general, main stream data includes video data, audio data, and sub-picture data, but video data in a viewable slide show application should be understood as still image data excluding audio data. Audio sub-data refers to audio data that is additionally made separate from the main stream data and is reproduced as background music during playback of still image data.

Со ссылкой на фиг.7, каждое неподвижное изображение и аудио-субданные синхронизируются, используя PTS информацию, то есть информацию времени кодирования. Пока продолжается воспроизведение данных, значение STC счетчика декодера (не показан) увеличивается, и нормальное проигрывание выполняется в соответствии с этим увеличенным значением STC счетчика. Однако, когда пользователь хочет выполнить проигрывание назад или вперед, значение STC счетчика подрегулируется, основываясь на намеченной позиции проигрывания назад или вперед (например, 3000 и 20000). Если значение STC счетчика обновляется, STC счетчик переустанавливается на 10000, чтобы восстановить как исходное неподвижное изображение, так и исходное субаудио, тем самым вызывая прерывание в аудио-субданных, т.е. фоновой музыке.With reference to FIG. 7, each still image and audio sub data are synchronized using PTS information, i.e., encoding time information. As the data continues to play, the decoder counter STC value (not shown) increases, and normal playback is performed in accordance with this increased counter STC value. However, when the user wants to play backward or forward, the counter STC value is adjusted based on the intended position of backward or forward play (for example, 3000 and 20,000). If the counter's STC value is updated, the STC counter is reset to 10000 to restore both the original still image and the original subaudio, thereby causing interruption in the audio subdata, i.e. background music.

Как описано выше, традиционное воспроизводящее устройство контролирует как видеодекодер, так и аудиодекодер, используя STC счетчик. Поэтому, когда стандартное воспроизводящее устройство используется, чтобы воспроизводить неподвижные изображения, используя приложение, такое как показ слайдов с возможностью просмотра, трудно предотвратить прерывание в воспроизведении фоновой музыки, когда STC значение подрегулируется в течение проигрывания назад или вперед. В этом случае показ слайдов с возможностью просмотра не может быть воспроизведен гладко и может вызывать раздражающий грохочущий шум.As described above, a conventional reproducing apparatus monitors both a video decoder and an audio decoder using an STC counter. Therefore, when a standard playback device is used to reproduce still images using an application such as a viewable slide show, it is difficult to prevent interruption in the background music when the STC value is adjusted during playback backward or forward. In this case, the slide show with the ability to view cannot be played smoothly and can cause annoying rattling noise.

Раскрытие изобретенияDisclosure of invention

Настоящее изобретение предоставляет устройство и способ для воспроизведения данных неподвижного изображения, таких как показ слайдов с возможностью просмотра, в которые дополнительно включаются аудио-субданные, без прерывающегося воспроизведения этих аудио-субданных, т.е. фоновой музыки, даже в течение проигрывания вперед или назад, и записывающий носитель для этого.The present invention provides an apparatus and method for reproducing still image data, such as a viewable slide show, which further includes audio sub-data without intermittently reproducing these audio sub-data, i.e. background music, even while playing forward or backward, and a recording medium for that.

Согласно одному аспекту настоящего изобретения предоставляется воспроизводящее устройство, содержащее воспроизводящий модуль для воспроизведения данных основного потока и аудио-субданных, отдельно добавленных в данные основного потока, причем воспроизводящий модуль содержит счетчик, используемый в воспроизведении аудио-субданных.According to one aspect of the present invention, there is provided a reproducing apparatus comprising a reproducing module for reproducing main stream data and audio subdata separately added to main stream data, the reproducing module comprising a counter used in reproducing the audio subdata.

Дополнительные аспекты и/или преимущества этого изобретения будут изложены частично в описании, которое следует, и, частично, будут очевидны из описания, или могут быть узнаны посредством использования на практике этого изобретения.Additional aspects and / or advantages of this invention will be set forth in part in the description that follows, and, in part, will be apparent from the description, or may be recognized by practice of this invention.

В одном аспекте настоящего изобретения счетчик включает в себя счетчик импульсов синхронизации времени прибытия (АТС) субаудио, который используется, чтобы депакетировать эти аудио-субданные.In one aspect of the present invention, the counter includes a sub-audio arrival time synchronization (ATS) counter, which is used to depacketize this audio sub-data.

В другом аспекте настоящего изобретения счетчик содержит счетчик импульсов синхронизации системного времени (STC) субаудио, который используется, чтобы декодировать депакетированные аудио-субданные.In another aspect of the present invention, the counter comprises a sub-audio system time synchronization (STC) counter, which is used to decode the depacketized audio sub-data.

В одном аспекте настоящего изобретения данные основного потока включают в себя данные неподвижного изображения.In one aspect of the present invention, mainstream data includes still image data.

Согласно другому аспекту настоящего изобретения предоставляется воспроизводящее устройство, включающее в себя модуль воспроизведения основного потока, чтобы воспроизводить данные основного потока, включающие в себя данные неподвижного изображения, используя импульсы синхронизации для данных основного потока; и модуль воспроизведения субаудио, чтобы воспроизводить аудио-субданные, отдельно добавленные в данные основного потока, используя импульсы синхронизации для аудио-субданных.According to another aspect of the present invention, there is provided a reproducing apparatus including a main stream reproducing module for reproducing main stream data including still image data using synchronization pulses for main stream data; and a subaudio reproducing unit to reproduce audio subdata separately added to the main stream data using synchronization pulses for the audio subdata.

Согласно другому аспекту настоящего изобретения модуль воспроизведения основного потока включает в себя модуль депакетирования основного потока, который депакетирует данные основного потока; и АТС счетчик основного потока, который обеспечивает импульс синхронизации, используемый в депакетировании данных основного потока посредством модуля депакетирования основного потока. Модуль воспроизведения субаудио включает в себя модуль депакетирования субаудио, который депакетирует аудио-субданные; и АТС счетчик субаудио, который обеспечивает импульс синхронизации, используемый в депакетировании аудио-субданных посредством модуля депакетирования субаудио.According to another aspect of the present invention, the main stream reproducing module includes: a main stream de-packaging module that de-packages the main stream data; and a PBX main stream counter, which provides a synchronization pulse used in the data packet de-packaging of the main stream through the main stream de-packaging module. The subaudio playback module includes a subaudio de-packaging module that de-audio sub-data; and a PBX subaudio counter that provides a synchronization pulse used in the de-packaging of the audio sub-data via the sub-audio de-packaging module.

Согласно другому аспекту настоящего изобретения модуль воспроизведения основного потока включает в себя декодер основного потока, который декодирует данные основного потока, выводящиеся из модуля депакетирования основного потока; и STC счетчик основного потока, который обеспечивает импульс синхронизации, используемый в декодировании данных основного потока посредством декодера основного потока. Модуль воспроизведения субаудио включает в себя декодер субаудио, который декодирует данные субаудио, выводящиеся из модуля депакетирования субаудио; и STC счетчик субаудио, который обеспечивает импульс синхронизации, используемый в декодировании аудио-субданных посредством декодера субаудио.According to another aspect of the present invention, the main stream reproduction unit includes: a main stream decoder that decodes main stream data output from the main stream depacketizer; and an STC main stream counter that provides a clock pulse used in decoding the main stream data by the main stream decoder. The sub-audio reproducing module includes a sub-audio decoder that decodes the sub-audio data output from the sub-audio depacketizing module; and an STC subaudio counter that provides a clock pulse used in decoding audio sub data by a subaudio decoder.

Согласно другому аспекту настоящего изобретения предоставляется способ воспроизведения, содержащий воспроизведение аудио-субданных, отдельно добавленных в данные основного потока, используя импульс синхронизации для воспроизведения аудио-субданных.According to another aspect of the present invention, there is provided a reproducing method comprising reproducing audio subdata separately added to main stream data using a synchronization pulse to reproduce audio subdata.

В одном аспекте настоящего изобретения воспроизведение аудио-субданных включает в себя депакетирование аудио-субданных, используя импульс синхронизации, депакетирующий аудио-субданные.In one aspect of the present invention, reproducing audio subdata includes depacketizing audio subdata using a synchronization pulse depacketizing audio subdata.

В одном аспекте настоящего изобретения воспроизведение аудио-субданных включает в себя декодирование аудио-субданных, используя импульс синхронизации, декодирующий депакетированные аудио-субданные.In one aspect of the present invention, reproducing audio subdata includes decoding the audio subdata using a clock pulse decoding the de-stacked audio subdata.

Согласно другому аспекту настоящего изобретения предоставляется способ воспроизведения, включающий в себя воспроизведение данных основного потока, включающих в себя данные неподвижного изображения, используя импульс синхронизации, воспроизводящий данные основного потока; и воспроизведение аудио-субданных, которые отдельно добавлены в данные основного потока, используя импульс синхронизации, воспроизводящий аудио-субданные.According to another aspect of the present invention, there is provided a reproducing method including reproducing main stream data including still image data using a synchronization pulse reproducing main stream data; and reproducing audio subdata, which are separately added to the main stream data, using a synchronization pulse reproducing audio subdata.

В одном аспекте настоящего изобретения воспроизведение данных основного потока включает в себя депакетирование данных основного потока, используя импульс синхронизации, депакетирующий данные основного потока; и декодирование данных основного потока, используя импульс синхронизации, декодирующий депакетированные данные основного потока.In one aspect of the present invention, reproducing mainstream data includes depacketizing mainstream data using a synchronization pulse depacketizing mainstream data; and decoding the main stream data using a synchronization pulse decoding the de-stacked data of the main stream.

В одном аспекте настоящего изобретения воспроизведение аудио-субданных включает в себя депакетирование аудио-субданных, используя импульс синхронизации, депакетирующий аудио-субданные/декодирование аудио-субданных, используя импульс синхронизации, декодирующий депакетированные аудио-субданные.In one aspect of the present invention, reproducing the audio subdata includes depacketizing the audio subdata using a synchronization pulse depacketizing the audio subdata / decoding the audio subdata using the synchronization pulse decoding the depleted audio subdata.

Согласно другому аспекту настоящего изобретения предоставляется компьютерно-читаемый записывающий носитель, хранящий программу, выполняющую способ воспроизведения, причем этот способ воспроизведения содержит воспроизведение аудио-субданных, отдельно добавленных в данные основного потока, используя импульс синхронизации, воспроизводящий аудио-субданные.According to another aspect of the present invention, there is provided a computer-readable recording medium storing a program executing a reproducing method, the reproducing method comprising reproducing audio subdata separately added to main stream data using a synchronization pulse reproducing audio subdata.

Согласно другому аспекту настоящего изобретения предоставляется компьютерно-читаемый записывающий носитель, хранящий программу, выполняющую способ воспроизведения, причем этот способ воспроизведения содержит воспроизведение данных основного потока, включающих в себя данные неподвижного изображения, используя импульс синхронизации, воспроизводящий данные основного потока; и воспроизведение аудио-субданных, отдельно добавленных в данные основного потока, используя импульс синхронизации, воспроизводящий аудио-субданные.According to another aspect of the present invention, there is provided a computer-readable recording medium storing a program executing a reproducing method, the reproducing method comprising reproducing main stream data including still image data using a synchronization pulse reproducing main stream data; and reproducing audio subdata separately added to the main stream data using a synchronization pulse reproducing audio subdata.

Краткое описание чертежейBrief Description of the Drawings

Эти и/или другие аспекты и преимущества этого изобретения станут видны и с большей готовностью оценены из следующего описания вариантов осуществления, взятых в связи с прилагаемыми чертежами, на которых:These and / or other aspects and advantages of this invention will become apparent and more readily appreciated from the following description of embodiments taken in connection with the accompanying drawings, in which:

фиг.1 иллюстрирует традиционную структуру данных мультиплексированных пакетных данных;1 illustrates a conventional data structure of multiplexed packet data;

фиг.2 иллюстрирует традиционное иерархическое кодирующее устройство для MPEG кодирования;figure 2 illustrates a traditional hierarchical encoding device for MPEG encoding;

фиг.3 иллюстрирует традиционную структуру данных пакетных данных, включающих в себя метки времени прибытия (ATS) и связь между ATS метками и временем вывода данных, когда пакетные данные воспроизводятся;3 illustrates a conventional packet data data structure including arrival time stamps (ATS) and the relationship between ATS marks and data output time when packet data is reproduced;

фиг.4 иллюстрирует традиционную структуру данных пакетных данных, включающих в себя информацию синхронизации времени;4 illustrates a traditional packet data data structure including time synchronization information;

фиг.5 иллюстрирует часть традиционного воспроизводящего устройства, которое воспроизводит пакетные данные, включающие в себя ATS метки;5 illustrates a portion of a conventional reproducing apparatus that reproduces packet data including ATS tags;

фиг.6 является блок-схемой части стандартного декодера, включенного в традиционное воспроизводящее устройство;6 is a block diagram of part of a standard decoder included in a conventional reproducing device;

фиг.7 иллюстрирует традиционный способ переустановки импульса синхронизации системного времени (STC) при воспроизведении показа слайдов с возможностью просмотра;FIG. 7 illustrates a conventional method for resetting a system time synchronization (STC) pulse in a viewable slide show;

фиг.8 - схематическая блок-схема воспроизводящего устройства согласно варианту осуществления настоящего изобретения;FIG. 8 is a schematic block diagram of a reproducing apparatus according to an embodiment of the present invention; FIG.

фиг.9 - детальная блок-схема воспроизводящего устройства из фиг.8;Fig.9 is a detailed block diagram of the reproducing device of Fig.8;

фиг.10 - детальная блок-схема декодера основного потока, показанного на фиг.9; иfigure 10 - detailed block diagram of the decoder of the main stream shown in figure 9; and

фиг.11 - блок-схема последовательности операций, иллюстрирующая способ воспроизведения данных неподвижного изображения, согласно варианту осуществления настоящего изобретения.11 is a flowchart illustrating a method for reproducing still image data according to an embodiment of the present invention.

Осуществление изобретенияThe implementation of the invention

Теперь будет сделано детальное указание на варианты осуществления настоящего изобретения, примеры которых иллюстрируются на прилагаемых чертежах, причем одинаковые ссылочные позиции всюду указывают на одинаковые элементы. Варианты осуществления описываются ниже, чтобы объяснить настоящее изобретение с помощью указания на чертежи.A detailed reference will now be made to the embodiments of the present invention, examples of which are illustrated in the accompanying drawings, with the same reference numerals everywhere pointing to the same elements. Embodiments are described below to explain the present invention with reference to the drawings.

Фиг.8 - это блок-схема, иллюстрирующая воспроизводящее устройство 800 согласно варианту осуществления настоящего изобретения. Воспроизводящее устройство 800 включает в себя модуль 810 воспроизведения данных основного потока и модуль 820 воспроизведения аудио-субданных.FIG. 8 is a block diagram illustrating a reproducing apparatus 800 according to an embodiment of the present invention. The reproducing apparatus 800 includes a main stream data reproducing unit 810 and an audio subdata reproducing unit 820.

Модуль 810 воспроизведения данных основного потока воспроизводит данные основного потока, используя импульс синхронизации, и включает в себя счетчик 905 импульсов синхронизации времени прибытия (АТС) основного потока и счетчик 910 импульсов синхронизации системного времени (STC) основного потока.The main stream data reproducing unit 810 reproduces the main stream data using a synchronization pulse, and includes a main stream arrival time synchronization (ATC) counter 905 and a main stream system time (STC) counter 910.

Модуль 820 воспроизведения аудио-субданных воспроизводит аудио-субданные, используя импульс синхронизации, и включает в себя АТС счетчик 906 субаудио и STC счетчик 911 субаудио.The audio sub-data reproducing unit 820 reproduces the audio sub-data using a synchronization pulse, and includes a PBX counter 906 sub-audio and an STC counter 911 sub-audio.

Структура воспроизводящего устройства 800 будет описана в деталях со ссылкой на фиг.9. Как описывалось выше, воспроизводящее устройство 800 воспроизводит данные основного потока, используя импульс синхронизации для данных основного потока, и воспроизводит аудио-субданные, используя импульс синхронизации для аудио-субданных. Поэтому, даже если импульс синхронизации для данных основного потока регулируется, импульс синхронизации для аудио-субданных не затрагивается этим регулированием, таким образом, делая возможным непрерывное воспроизведение аудио-субданных.The structure of the reproducing apparatus 800 will be described in detail with reference to FIG. As described above, the reproducing apparatus 800 reproduces the main stream data using a clock pulse for the main stream data, and reproduces the audio sub data using the clock pulse for the audio sub data. Therefore, even if the synchronization pulse for the main stream data is regulated, the synchronization pulse for the audio subdata is not affected by this regulation, thereby making it possible to continuously reproduce the audio subdata.

Структура воспроизводящего устройства 900, такого как то, что показано на фиг.8, будет сейчас описана со ссылкой на фиг.9. Воспроизводящее устройство 900 включает в себя устройство 901 привода дисков, буфер 902 основного потока, буфер 903 субаудио, первый модуль 904 депакетирования источника, АТС счетчик 905 основного потока, АТС счетчик 906 субаудио, второй модуль 907 депакетирования источника, демультиплексор 908, декодер 909 основного потока, STC счетчик 910 основного потока, STC счетчик 911 субаудио, декодер 912 субаудио и графический процессор 913.The structure of a reproducing apparatus 900, such as that shown in FIG. 8, will now be described with reference to FIG. 9. Reproducing device 900 includes a disk drive device 901, a main stream buffer 902, a sub audio buffer 903, a first source depacketting module 904, a main stream PBX counter 905, a sub audio exchange 906, a second source depacking module 90, a demultiplexer 908, a main stream decoder 909 The STC counter 910 is the main stream, the STC counter 911 is subaudio, decoder 912 is subaudio, and a graphics processor 913.

Устройство 901 привода дисков читает пакетные данные, включающие в себя метки времени прибытия (ATS), из записывающего носителя 914, передает пакетные данные основного потока, включающие в себя данные неподвижного изображения из пакетных данных, на буфер 902 основного потока, и передает субаудио пакетные данные на буфер 903 субаудио.The drive device 901 reads packet data, including arrival time stamps (ATS), from a recording medium 914, transmits packet data of the main stream, including still image data from packet data, to the main stream buffer 902, and transmits subaudio packet data to buffer 903 subaudio.

Первый модуль 904 депакетирования источника принимает пакетные данные основного потока из буфера 902 основного потока, депакетирует пакетные данные основного потока и отправляет депакетированные данные основного потока демультиплексору 908. Более конкретно, первый модуль 904 депакетирования источника передает депакетированные данные основного потока, от которых отделяются ATS метки, демультиплексору 908 в заданные временные интервалы, основанные на ATS информации, добавленной к пакетным данным основного потока АТС счетчиком 905 основного потока.The first source depacketization module 904 receives the main stream packet data from the main stream buffer 902, de-packetizes the main stream packet data, and sends the main stream packet data to the demultiplexer 908. More specifically, the first source depacketation module 904 transfers the main stream depacketed data from which the ATS tags are separated, demultiplexer 908 at predetermined time intervals based on the ATS information added to the packet data of the main exchange of the PBX counter 905 of the main stream ka.

АТС счетчик 905 основного потока контролирует первый модуль 904 депакетирования источника, чтобы отправлять депакетированные данные основного потока демультиплексору 908 в заданные временные интервалы. Более конкретно АТС счетчик 905 основного потока инициализируется, базируясь на ATS значении первых пакетных данных основного потока, введенных в первый модуль 904 депакетирования источника, и начинает считать в то же время. Когда считающее значение АТС счетчика 905 основного потока эквивалентно значению ATS вторых пакетных данных основного потока, вводимых в первый модуль 904 депакетирования источника, первый модуль 904 депакетирования источника депакетирует вторые пакетные данные основного потока и отправляет эти депакетированные данные основного потока демультиплексору 908.The PBX main stream counter 905 monitors the first source depacketizer 904 to send the de-stacked main stream data to the demultiplexer 908 at predetermined time intervals. More specifically, the ATS main stream counter 905 is initialized based on the ATS value of the first packet data of the main stream entered into the first source depacketizer 904, and starts counting at the same time. When the ATC reading value of the main stream counter 905 is equivalent to the ATS value of the second main stream packet data input to the first source depacketer 904, the first source depacketizer 904 de-packetizes the second main stream packet data and sends this decomposed main stream data to the demultiplexer 908.

Операции второго модуля 907 депакетирования источника и АТС счетчика 906 субаудио являются такими же, как те в первом модуле 904 депакетирования источника и АТС счетчике 905 основного потока соответственно.The operations of the second source depacketizing module 907 and the ATC of the sub-audio counter 906 are the same as those in the first source depacketting module and the ATC of the main stream counter 905, respectively.

Второй модуль 907 депакетирования источника принимает субаудио пакетные данные из буфера 903 субаудио, депакетирует эти субаудио пакетные данные и выводит депакетированные аудио-субданные декодеру 912 субаудио. Более конкретно второй модуль 907 депакетирования источника выводит депакетированные аудио-субданные, от которых отделяются ATS метки, в заданные временные интервалы, основанные на ATS информации, добавленной к субаудио пакетным данным АТС счетчиком 906 субаудио.The second source de-packaging module 907 receives sub-audio packet data from sub-audio buffer 903, de-packetizes this sub-audio packet data, and outputs the de-packetized audio sub-data to sub-audio decoder 912. More specifically, the second source de-packaging module 907 outputs the de-embedded audio sub-data from which the ATS tags are separated at predetermined time intervals based on the ATS information added to the sub-audio packet data of the ATS by the sub-audio counter 906.

АТС счетчик 906 субаудио контролирует второй модуль 907 депакетирования источника, чтобы выводить субаудио пакетные данные в заданные временные интервалы. Более конкретно АТС счетчик 906 субаудио инициализируется, базируясь на ATS значении первых субаудио пакетных данных, вводимых во второй модуль 907 депакетирования источника, и АТС счетчик 906 субаудио начинает считать в то же время. Когда считающее значение АТС счетчика 906 субаудио эквивалентно значению ATS, добавленной ко вторым субаудио пакетным данным, вводимым во второй модуль 907 депакетирования источника, второй модуль 907 депакетирования источника депакетирует вторые субаудио пакетные данные и выводит депакетированные аудио-субданные. Депакетированные аудио-субданные, выводимые из второго модуля 907 депакетирования источника, могут быть отправлены буферу (не показан).The ATC subaudio counter 906 monitors the second source de-packaging module 907 to output subaudio packet data at predetermined time intervals. More specifically, the ATS sub-audio counter 906 is initialized based on the ATS value of the first sub-audio packet data input into the second source de-packaging module 907, and the ATS sub-audio counter 906 starts to be read at the same time. When the counting value of the ATC of the sub-audio counter 906 is equivalent to the value of the ATS added to the second sub-audio packet data input to the second source de-packeting module 907, the second source-de-packeting module 907 de-packetizes the second sub-audio packet data and outputs the depacketted audio sub-data. The de-embedded audio sub-data output from the second source de-packaging module 907 may be sent to a buffer (not shown).

Демультиплексор 908 демультиплексирует депакетированные данные основного потока, содержащие метку времени декодирования (DTS) и метку времени презентации (PTS), и отправляет эти демультиплексированные данные декодеру 909 основного потока. Демультиплексированные данные основного потока, выводимые из демультиплексора 908, буферизуются декодирующим буфером (не показан) перед тем, как демультиплексированные данные основного потока вводятся в декодер 909 основного потока.The demultiplexer 908 demultiplexes the de-stacked main stream data containing the decoding time stamp (DTS) and the presentation time stamp (PTS), and sends the demultiplexed data to the main stream decoder 909. The demultiplexed main stream data output from the demultiplexer 908 is buffered by a decoding buffer (not shown) before the demultiplexed main stream data is input to the main stream decoder 909.

STC счетчик 910 основного потока работает на 90 кГц или 27 MГц. STC счетчик 910 основного потока устанавливается, базируясь на информации (не показана) указателя программных импульсов синхронизации (PCR), содержащейся в пакетных данных, и контролирует значение пакетных данных, полученных в момент времени, когда пакетные данные вводятся в декодирующий буфер, базируясь на PCR значении, содержащемся в этих пакетных данных.STC counter 910 main stream operates at 90 kHz or 27 MHz. The STC counter 910 of the main stream is set based on the information (not shown) of the software synchronization pulse (PCR) pointer contained in the packet data, and monitors the value of the packet data received at the time when the packet data is entered into the decoding buffer based on the PCR value contained in this packet data.

Установленный STC счетчик 910 основного потока контролирует демультиплексированные данные основного потока, чтобы они вводились в декодер 909 основного потока в DTS время, определенное в DTS информации, и декодировались декодером 909 основного потока.The STC installed mainstream counter 910 controls the demultiplexed mainstream data so that it is input to the mainstream decoder 909 at the DTS time specified in the DTS information, and decoded by the mainstream decoder 909.

Декодированные данные основного потока, выводимые из декодера 909 основного потока, вводятся в графический процессор 913 в PTS время, определенное в PTS информации. Декодированные данные основного потока обрабатываются графическим процессором 913 и выводятся.The decoded main stream data output from the main stream decoder 909 is input to the graphics processor 913 at the PTS time specified in the PTS information. The decoded data of the main stream is processed by the graphics processor 913 and output.

Работа STC счетчика 910 основного потока аналогична работе АТС 905 счетчика основного потока. То есть STC счетчик 910 основного потока инициализируется, базируясь на PCR информации, и начинает считать в то же время.The operation of the STC counter 910 main stream is similar to the operation of the ATS 905 counter main stream. That is, the STC counter 910 of the main stream is initialized based on PCR information, and starts to read at the same time.

Декодер 909 основного потока декодирует демультиплексированные данные основного потока и передает декодированный результат графическому процессору 913, когда считающее значение STC счетчика 910 основного потока эквивалентно значению DTS из пакетных данных. Также графический процессор 913 обрабатывает принятый результат декодирования и выводит результат обработки на экран (не показан), когда считающее значение STC счетчика 910 основного потока эквивалентно значению PTS, содержащейся в пакетных данных.The main stream decoder 909 decodes the demultiplexed main stream data and transmits the decoded result to the GPU 913 when the reading STC value of the main stream counter 910 is equivalent to the DTS value from the packet data. Also, the graphics processor 913 processes the received decoding result and displays the processing result on a screen (not shown) when the STC reading value of the main stream counter 910 is equivalent to the PTS value contained in the packet data.

Операции STC счетчика 911 субаудио и декодера 912 субаудио аналогичны операциям STC счетчика 910 основного потока и декодера 909 основного потока.The operations of the STC counter 911 subaudio and decoder 912 subaudio similar to the operations STC counter 910 main stream and decoder 909 main stream.

STC счетчик 911 субаудио работает на 90 кГц или 27 MГц и контролирует значение депакетированных аудио-субданных, которые вводятся в декодирующий буфер, который временно хранит данные, базируясь на PCR значении, содержащемся в пакетных данных.The STC counter 911 subaudio operates at 90 kHz or 27 MHz and controls the value of the de-stacked audio sub-data, which is entered into a decoding buffer that temporarily stores data based on the PCR value contained in the packet data.

Установленный STC счетчик 911 субаудио контролирует депакетированные аудио-субданные, чтобы они были введены в декодер 912 субаудио в PTS время, определенное в PTS информации, и декодированы декодером 912 субаудио.The STC counter 911 sub audio set by the STC monitors the de-stacked audio sub data so that it is input to the sub audio decoder 912 at the PTS time determined in the PTS information and decoded by the sub audio decoder 912.

Работа STC счетчика 911 субаудио аналогична работе STC счетчика 910 основного потока. То есть STC счетчик 911 субаудио инициализируется, базируясь на PCR информации, содержащейся в пакетных данных, и начинает считать в то же время.The operation of the STC counter 911 subaudio is similar to the operation of the STC counter 910 of the main stream. That is, the STC counter 911 subaudio is initialized based on the PCR information contained in the packet data, and starts to count at the same time.

Декодер 912 субаудио декодирует депакетированные аудио-субданные, когда считающее значение STC счетчика 911 субаудио равно PTS значению, включенному в пакетные данные. Аудио-субданные декодируются и выводятся на экран без выполнения дополнительной обработки над аудио-субданными.The sub-audio decoder 912 decodes the de-stacked audio sub-data when the STC reading value of the sub-911 counter 911 is equal to the PTS value included in the packet data. Audio subdata are decoded and displayed without additional processing on the audio subdata.

Фиг.10 иллюстрирует в деталях декодер 909 основного потока из фиг.9. Декодер 909 основного потока включает в себя аудиодекодер 1, который декодирует аудиоданные, декодер 2 субкартинки, который декодирует данные субкартинки, и видеодекодер 3, который декодирует видеоданные. Данные основного потока приложения данных неподвижного изображения, такие как показ слайдов с возможностью просмотра, может включать в себя видеоданные, т.е. данные неподвижного изображения, и субданные картинки, такие как подзаголовки, но данные основного потока не включают в себя аудиоданные. Соответственно, аудиодекодер 1 не используется в приложении показа слайдов с возможностью просмотра.FIG. 10 illustrates in detail the main stream decoder 909 of FIG. 9. The main stream decoder 909 includes an audio decoder 1 that decodes the audio data, a sub picture decoder 2 that decodes the sub picture data, and a video decoder 3 that decodes the video data. The main stream application data of the still image data, such as a viewable slide show, may include video data, i.e. still image data, and sub-data of the image, such as subtitles, but the main stream data does not include audio data. Accordingly, audio decoder 1 is not used in a viewable slide show application.

Аудиодекодер 1, декодер 2 субкартинки и видеодекодер 3 декодируют аудиоданные, данные субкартинки и видеоданные соответственно, базируясь на считающем значении STC счетчика 910 основного потока из фиг.9.Audio decoder 1, sub picture decoder 2, and video decoder 3 decode audio data, sub picture data, and video data, respectively, based on the STC reading value of the main stream counter 910 of FIG. 9.

Фиг.11 - это блок-схема последовательности операций, иллюстрирующая способ воспроизведения данных неподвижной картинки с отдельно добавленными аудио-субданными, согласно варианту осуществления настоящего изобретения. Со ссылкой фиг.9 и 11, устройство 901 привода дисков читает пакетные данные из записывающего носителя 914 (операция 1100).11 is a flowchart illustrating a method for reproducing still picture data with separately added audio subdata according to an embodiment of the present invention. With reference to FIGS. 9 and 11, a disk drive device 901 reads packet data from a recording medium 914 (operation 1100).

Данные основного потока из прочитанных пакетных данных, которые включают в себя данные неподвижного изображения, хранятся в буфере 902 основного потока, и аудио-субданные прочитанных пакетных данных хранятся в буфере 903 субаудио (операция 1110).The main stream data from the read packet data, which includes still image data, is stored in the main stream buffer 902, and the audio sub data of the read packet data is stored in the sub audio buffer 903 (operation 1110).

Далее первый модуль 904 депакетирования источника депакетирует данные основного потока, базируясь на считающем значении АТС счетчика 905 основного потока, и второй модуль 907 депакетирования источника депакетирует аудио-субданные, базируясь на считающем значении АТС счетчика 906 субаудио (операция 1120).Next, the first source depacketizing module 904 de-packetizes the main stream data based on the reading value of the ATS of the main stream counter 905, and the second source depacketting module 904 de-packetizes the audio sub data based on the reading of the ATS of the sub-audio counter 906 (operation 1120).

Далее демультиплексор 908 демультиплексирует данные основного потока, депакетированные первым модулем 904 депакетирования источника (операция 1130).Next, the demultiplexer 908 demultiplexes the main stream data de-packetized by the first source depacketizer 904 (operation 1130).

Далее декодер 909 основного потока декодирует демультиплексированные данные основного потока, базируясь на считающем значении STC счетчика 910 основного потока, и декодер 912 субаудио декодирует депакетированные аудио-субданные, базируясь на считающем значении STC счетчика 911 субаудио (операция 1140).Next, the main stream decoder 909 decodes the demultiplexed data of the main stream based on the STC reading value of the main stream counter 910, and the subaudio decoder 912 decodes the de-stacked audio sub data based on the STC reading value of the subaudio counter 911 (operation 1140).

Далее декодированные данные основного потока и аудио-субданные выводятся (операция 1150).Next, the decoded data of the main stream and audio subdata are output (operation 1150).

Способ из фиг.11 может быть осуществлен как компьютерно-читаемый код в компьютерно-читаемом носителе. Здесь компьютерно-читаемый носитель может быть любым записывающим устройством, допускающим хранение данных, которые читаются компьютерной системой, например, постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), компакт-диск (CD)-ROM, магнитная лента, гибкий диск, оптическое устройство хранения данных и так далее. Также компьютерно-читаемый носитель может быть несущим колебанием, которое передает данные через Интернет. Например, компьютерно-читаемый записывающий носитель может быть распределен между компьютерными системами, которые соединены через сеть, и настоящее изобретение может храниться и осуществляться как компьютерно-читаемый код в распределенной системе.The method of FIG. 11 can be implemented as computer-readable code in a computer-readable medium. Here, a computer-readable medium may be any recording device capable of storing data readable by a computer system, for example, read-only memory (ROM), random access memory (RAM), compact disc (CD) -ROM, magnetic tape, floppy disk optical storage device and so on. Also, a computer-readable medium may be a carrier wave that transmits data over the Internet. For example, a computer-readable recording medium may be distributed between computer systems that are connected through a network, and the present invention may be stored and implemented as computer-readable code in a distributed system.

Как описано выше, согласно настоящему изобретению, возможно более натурально воспроизводить данные неподвижного изображения, такие как показ слайдов с возможностью просмотра, к которым отдельно добавлены аудио-субданные, используя импульс синхронизации для данных основного потока и импульс синхронизации для аудио-субданных, тем самым предотвращая прерывание в воспроизведении аудио-субданных, таких как фоновая музыка, даже в течение проигрывания вперед или назад.As described above, according to the present invention, it is possible to more naturally reproduce still image data, such as a viewable slide show, to which audio subdata are separately added using a synchronization pulse for main stream data and a synchronization pulse for audio subdata, thereby preventing interruption in the playback of audio sub-data, such as background music, even during forward or reverse playback.

Хотя несколько вариантов осуществления настоящего изобретения были показаны и описаны, будет оценено специалистами в данной области, что изменения могут быть сделаны в этом варианте осуществления без отхода от принципов и сущности этого изобретения, объем которого определяется в формуле изобретения и ее эквивалентах.Although several embodiments of the present invention have been shown and described, it will be appreciated by those skilled in the art that changes can be made in this embodiment without departing from the principles and spirit of this invention, the scope of which is defined in the claims and their equivalents.

Claims (7)

1. Воспроизводящее устройство для показа слайдов с возможностью просмотра, содержащее:
модуль для воспроизведения данных неподвижного изображения, чтобы воспроизводить данные неподвижного изображения, используя импульс синхронизации для данных неподвижного изображения,
модуль для воспроизведения аудиоданных для воспроизведения аудиоданных, отдельно добавляемых в данные неподвижного изображения, используя импульс синхронизации для аудиоданных,
при этом модуль для воспроизведения данных неподвижного изображения и модуль для воспроизведения аудиоданных являются независимыми таким образом, что пользователь изменяет в свободном порядке данные неподвижного изображения, не прерывая аудиовоспроизведения.
1. A playback device for a slide show with the ability to view, containing:
a module for reproducing still image data to reproduce still image data using a synchronization pulse for still image data,
a module for reproducing audio data for reproducing audio data separately added to the still image data using a synchronization pulse for the audio data,
wherein the module for reproducing still image data and the module for reproducing audio data are independent in such a way that the user freely changes the still image data without interrupting audio playback.
2. Устройство по п.1, в котором пользователь изменяет данные неподвижного изображения, используя операцию прогона вперед или операцию прогона назад.2. The device according to claim 1, in which the user changes the data of the still image using the forward run operation or the backward run operation. 3. Устройство по п.1, в котором модуль для воспроизведения данных неподвижного изображения содержит:
декодер данных неподвижного изображения для декодирования данных неподвижного изображения, и
счетчик импульсов синхронизации системного времени, который обеспечивает импульс синхронизации, используемый декодером данных неподвижного изображения при декодировании данных неподвижного изображения.
3. The device according to claim 1, in which the module for reproducing still image data comprises:
a still image data decoder for decoding still image data, and
a system time synchronization pulse counter that provides a synchronization pulse used by the still image data decoder when decoding the still image data.
4. Способ воспроизведения для показа слайдов с возможностью просмотра, содержащий:
воспроизведение данных неподвижного изображения, используя импульс синхронизации для данных неподвижного изображения,
воспроизведение аудиоданных, отдельно добавляемых в данные неподвижного изображения, используя импульс синхронизации для аудиоданных,
при этом процесс воспроизведения данных неподвижного изображения и процесс воспроизведения аудиоданных являются независимыми таким образом, что пользователь изменяет в свободном порядке данные неподвижного изображения, не прерывая аудиовоспроизведения.
4. A playback method for a slide show with the ability to view, containing:
reproducing still image data using a clock pulse for still image data,
playback of audio data separately added to the still image data using a synchronization pulse for the audio data,
wherein the process of reproducing still image data and the process of reproducing audio data are independent in such a way that the user freely changes the still image data without interrupting audio playback.
5. Способ по п.4, в котором пользователь изменяет данные неподвижного изображения, используя операцию прогона вперед или операцию прогона назад.5. The method according to claim 4, in which the user changes the data of the still image using a forward run operation or a backward run operation. 6. Способ по п.5, в котором этап воспроизведения данных неподвижного изображения содержит:
депакетирование данных неподвижного изображения, используя время вступления импульса синхронизации для депакетирования данных неподвижного изображения,
декодирование данных неподвижного изображения, с использованием импульса синхронизации системного времени при декодировании депакетированных данных неподвижного изображения.
6. The method according to claim 5, in which the step of reproducing still image data comprises:
de-packaging the still image data using the timing of the synchronization pulse to de-package the still image
decoding still image data using a system time clock pulse when decoding depacketized still image data.
7. Способ по п.5, в котором этап воспроизведения аудиоданных содержит:
депакетирование аудиоданных, используя время вступления импульса синхронизации для депакетирования аудиоданных, декодирование аудиоданных, с использованием импульса синхронизации системного времени при декодировании депакетированных аудиоданных.
7. The method of claim 5, wherein the step of reproducing audio data comprises:
audio data de-packaging using the timing of the synchronization pulse to de-audio the audio, decoding the audio using the system time clock when decoding the de-audio audio.
RU2006118102/28A 2003-03-28 2004-03-26 Playback device and method RU2401465C2 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20030019684 2003-03-28
KR10-2003-0019684 2003-03-28
US45843603P 2003-03-31 2003-03-31
US60/458,436 2003-03-31
KR10-2003-0082336 2003-11-19

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2004139201/28A Division RU2308098C2 (en) 2003-03-28 2004-03-26 Reproducing device and method, and recording carrier

Publications (2)

Publication Number Publication Date
RU2006118102A RU2006118102A (en) 2007-12-10
RU2401465C2 true RU2401465C2 (en) 2010-10-10

Family

ID=39703804

Family Applications (2)

Application Number Title Priority Date Filing Date
RU2006118102/28A RU2401465C2 (en) 2003-03-28 2004-03-26 Playback device and method
RU2006118101/28A RU2411596C2 (en) 2003-03-28 2004-03-26 Method of reproduction

Family Applications After (1)

Application Number Title Priority Date Filing Date
RU2006118101/28A RU2411596C2 (en) 2003-03-28 2004-03-26 Method of reproduction

Country Status (7)

Country Link
JP (1) JP2008176918A (en)
CA (2) CA2725177C (en)
HK (2) HK1098867A1 (en)
MY (2) MY145470A (en)
RU (2) RU2401465C2 (en)
SG (2) SG160210A1 (en)
TW (2) TWI366821B (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101168612B1 (en) * 2005-10-11 2012-07-30 삼성전자주식회사 Device and method for synchronizing data in digital television receiver
CN105338393A (en) * 2015-10-29 2016-02-17 小米科技有限责任公司 Medium synchronization method and device
EP3618039B1 (en) * 2018-08-30 2023-02-15 Televic Education A system for recording an interpretation of a source media item

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999053694A1 (en) * 1998-04-08 1999-10-21 Matsushita Electric Industrial Co., Ltd. Optical disc, optical disc recording method and apparatus, and optical disc reproducing method and apparatus
JP4127750B2 (en) * 2000-05-30 2008-07-30 富士フイルム株式会社 Digital camera with music playback function
US8041179B2 (en) * 2003-02-24 2011-10-18 Lg Electronics Inc. Methods and apparatuses for reproducing and recording still picture and audio data and recording medium having data structure for managing reproduction of still picture and audio data

Also Published As

Publication number Publication date
RU2006118102A (en) 2007-12-10
HK1098867A1 (en) 2007-07-27
TWI358723B (en) 2012-02-21
SG160210A1 (en) 2010-04-29
MY145470A (en) 2012-02-15
RU2006118101A (en) 2007-12-10
CA2725177C (en) 2014-09-16
SG162613A1 (en) 2010-07-29
TWI366821B (en) 2012-06-21
TW200705408A (en) 2007-02-01
CA2725179A1 (en) 2004-10-07
CA2725179C (en) 2014-10-21
RU2411596C2 (en) 2011-02-10
HK1084489A1 (en) 2006-07-28
TW200705407A (en) 2007-02-01
MY140810A (en) 2010-01-15
CA2725177A1 (en) 2004-10-07
JP2008176918A (en) 2008-07-31

Similar Documents

Publication Publication Date Title
US8233780B2 (en) Reproducing apparatus and method, and recording medium
US8886010B2 (en) Apparatus and method for decoding data for providing browsable slide show, and data storage medium therefor
JP4294660B2 (en) REPRODUCTION DEVICE, REPRODUCTION METHOD, AND RECORDING MEDIUM THEREOF
RU2401465C2 (en) Playback device and method
JP3867342B2 (en) Encoding apparatus and method, transmission method, and signal recording medium