WO2005096168A1 - 映像音声処理用集積回路 - Google Patents

映像音声処理用集積回路 Download PDF

Info

Publication number
WO2005096168A1
WO2005096168A1 PCT/JP2005/006490 JP2005006490W WO2005096168A1 WO 2005096168 A1 WO2005096168 A1 WO 2005096168A1 JP 2005006490 W JP2005006490 W JP 2005006490W WO 2005096168 A1 WO2005096168 A1 WO 2005096168A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
processing
block
integrated circuit
audio
Prior art date
Application number
PCT/JP2005/006490
Other languages
English (en)
French (fr)
Inventor
Kozo Kimura
Tokuzo Kiyohara
Hiroshi Mizuno
Junji Michiyama
Tomohiko Kitamura
Ryoji Yamaguchi
Manabu Kuroda
Nobuhiko Yamada
Hideyuki Ohgose
Akifumi Yamana
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2006511846A priority Critical patent/JP4857106B2/ja
Priority to EP05728836A priority patent/EP1732009A4/en
Priority to US10/599,494 priority patent/US8811470B2/en
Publication of WO2005096168A1 publication Critical patent/WO2005096168A1/ja
Priority to US14/314,435 priority patent/US9361259B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4027—Coupling between buses using bus bridges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Definitions

  • the present invention relates to a video / audio processing integrated circuit, and more particularly, to a video / audio processing integrated circuit realized as a system LSI used for various applications.
  • DVR digital video recorders
  • DTV digital television
  • DVD recorders mobile phones, video cameras, etc.
  • Video and audio equipment is increasingly required to be more sophisticated and smaller. For this reason, shortening the development period has become a major issue at the development sites of such audiovisual equipment.
  • This conventional LSI includes a DSP (Digital Signal Processor) core required for media processing, various video lZO, RGB I / O, MPEG-2 transport stream IZF, LAN
  • DSP Digital Signal Processor
  • Non-Patent Document 1 TMS320DM642 Technical Overview Texas Instruments Tsusha, p. 4 etc.
  • the conventional LSI described above does not have a function for low power consumption such as IZF with a telephone using voice or the like and power control or the like, the conventional LSI does not have a function such as a mobile phone or a video camera. There is a problem that it is not suitable for pile applications. For this reason, for example, even if a server device such as a DTV is implemented using the above-mentioned conventional LSI, the software and the like obtained there Design resources cannot be diverted to mobile devices such as mobile phones.
  • the present invention has been made in view of such conventional problems, and has been made in consideration of such conventional problems, and is provided only with a server-based video / audio device such as a DTV or a DVR.
  • a server-based video / audio device such as a DTV or a DVR.
  • the present invention provides an integrated circuit for video / audio processing capable of easily ensuring a transfer band and a guaranteed latency at an interface between a memory for storing video and audio data and each processing block. The purpose is also.
  • an integrated circuit for video and audio processing is an integrated circuit for audio and video processing for processing video and audio signals, comprising: a microcomputer block including a CPU; A stream input / output block for inputting and outputting video and audio streams to and from an external device under the control of the block; and a stream input / output to or from the stream input / output block under the control of the microcomputer block.
  • An AV input / output block that acquires video and audio signals from external devices and converts them into video and audio streams that are subjected to media processing in the media processing block, and the microcomputer block and the stream input / output under the control of the microcomputer block.
  • Block, the media processing block, and the AV input / output A memory interface block for controlling data transfer between the cover block and the memory.
  • the microcomputer block, the stream input / output block, the media processing block, and the AV input / output block are connected to the memory interface block via a dedicated data bus, and The video and audio streams are exchanged between the stream input / output block, the media processing block, and the AV input / output block via the memory, thereby performing four types of processing.
  • the blocks are each connected via a common memory, rather than interconnected. Therefore, the control programming for each processing block can be separated from the processing in other processing blocks only if it is designed to input and output data to and from the memory. Therefore, the independence of the application program with respect to each processing block is enhanced, and design resources can be used.
  • the memory interface block performs data transfer so that data transfer between the microcomputer block, the stream input / output block, the media processing block, and the AV input / output block and the memory is performed in parallel.
  • the microcomputer block, the stream input / output block, the media processing block, and the AV input / output block store the video and audio streams in the memory, and then indicate that the video and audio streams have been stored. Other blocks may be notified.
  • the memory is shared by the processing blocks via the memory interface block, and the data transfer and arbitration control and management processing are concentrated on the memory interface block, so that the memory and each processing block are shared. This makes it easy to secure the transfer bandwidth and guarantee the latency at the interface with the block.
  • the stream input / output block includes, for example, an interface unit for transmitting and receiving a video and audio stream to and from the external device, an encryption processing unit for encrypting or decrypting the transmitted and received video and audio streams, and
  • the media processing block includes a direct memory access control unit that controls data transfer between an external device and the memory, and the media processing block includes, for example, an instruction parallel processor that executes a plurality of signal processing instructions in parallel and an accelerator that executes arithmetic processing And a direct memory function for controlling data transfer with the memory
  • the AV interface block includes, for example, a graphics engine for performing graphics processing of image data, and a format conversion unit for converting a format of a video signal, and the memory interface block.
  • a plurality of ports connected to the microcomputer block, the stream input / output block, the media processing block, and the AV input / output block, and the timing of data transfer at each of the plurality of ports are adjusted. It may have a memory scheduler.
  • the microcomputer block further includes at least one of a clock control unit for turning on and off the supply of the clock to the CPU and a power supply control unit for turning on and off the power supply to the CPU.
  • a clock control unit for turning on and off the supply of the clock to the CPU
  • a power supply control unit for turning on and off the power supply to the CPU.
  • the media processing block further includes a data parallel processor that executes operations on a plurality of data in parallel.
  • the integrated circuit for video / audio processing further includes a signal line connecting the stream input / output block and the media processing block, and the media processing block performs the stream input / output via the signal line.
  • Blocking power may also be input, or media processing of a video and audio stream output to the stream input / output block via the signal line may be performed.
  • Stream input / output block power When the transmitted stream data has a low bit rate, it is more efficient for the media processing block that operates at high speed to directly receive the stream data and execute the media processing because it does not pass through memory. This is because the processing efficiency can be increased along with the improvement of security and the reduction of power consumption.
  • the integrated circuit for video and audio processing is used as a system LSI for a plurality of different devices, and the devices include a digital television, a digital video recorder, a video camera, and a mobile phone. Is included.
  • the instruction set of the CPU is made compatible or the instruction set of the media processor is made compatible.
  • the CPU or the core of the media processor may have a common soft macro, a common hard macro, or a common memory map.
  • the AV input / output block is further subjected to media processing in the media processing block.
  • a video signal for recording is generated by performing a resolution conversion process on a video signal converted from the obtained video stream card or obtained from an external device card, and is represented by the recording video signal.
  • the media processing block further generates field feature information indicating at least one of an intra-field sum and an inter-field difference of the video field, and further refers to the field feature information to convert the recording video signal into a recording video stream. Convert it.
  • the integrated circuit for video / audio processing further includes a signal line connecting the media processing block and the AV input / output block, and further includes a signal line connecting the media processing block and the AV input / output block. In between, the transmission and reception of the field feature information may be performed via the signal line.
  • the media processing block determines the I picture in the compression of the recorded image with reference to the known field feature information in the AV input / output block, and sets the compression rate. Can be adjusted dynamically.
  • the integrated circuit for video and audio processing achieves a good trade-off between image quality and data amount while maintaining high speed performance without duplicating costs for obtaining field feature information. Can be.
  • the media processing block performs time-division multiplexing or demultiplexing processing, image data compression or decompression processing, and audio data compression or decompression processing on one video / audio multiplexed stream. And multiplexing or demultiplexing of the stream may be prohibited from being started a plurality of times within a predetermined time.
  • the media processing block includes a virtual multiprocessor that plays a plurality of logical processors in a time-division manner, and multiplexes or demultiplexes the stream, compresses or decompresses the image data,
  • the compression or decompression processing of the audio data is executed by different logical processors performed by the virtual multiprocessor, respectively, and the logical processor that performs the multiplexing or demultiplexing processing of the stream described above performs a predetermined unit of the stream.
  • sleep may be performed until a predetermined timer expires.
  • the present invention can be realized not only as such a system LSI, but also as a method for designing and developing a device using such a system LSI.
  • the video and audio processing for the first device is performed. If the processing commonly performed by the integrated circuit for video and audio processing for the second device is performed by the microcomputer block of the integrated circuit for video and audio processing for the first device, the processing is performed as described above.
  • the processing is performed by the microcomputer block of the video / audio processing integrated circuit for the second device, and when performed by the stream input / output block of the video / audio processing integrated circuit for the first device, the processing is performed by the video for the second device.
  • the processing is performed by the stream input / output block of the audio processing integrated circuit and the media processing block of the video / audio processing integrated circuit for the first device, the processing is performed by the video / audio processing for the second device.
  • the processing is performed by the media processing block of the integrated circuit, and when the processing is performed by the AV input / output block of the video / audio processing integrated circuit for the first device, the processing is performed by the video / audio processing integrated circuit for the second device. It may be realized as a method of designing and developing to perform with the AV input / output block! / ⁇ .
  • a monophone video / audio device such as a mobile phone or a video camera, which can be replaced only with a server video / audio device such as a DTV or a DVR, is realized using a common system LSI. be able to. Then, the design assets can be reused between these video and audio devices.
  • FIG. 1 is a functional block diagram showing a basic configuration of an integrated circuit for video / audio processing according to the present invention.
  • FIG. 2 is a structural diagram of an integrated circuit for video / audio processing.
  • FIG. 3 is a functional block diagram showing a detailed configuration of a video / audio processing integrated circuit suitable for a mopile-based application.
  • FIG. 4 is a flowchart showing an operation procedure of the integrated circuit for video / audio processing.
  • FIG. 5 is a diagram showing a data flow in the operation shown in FIG. 4.
  • FIG. 6 (a) to FIG. 6 (d) are views showing a state of processing in each processing block in the operation shown in FIG.
  • FIG. 7 is a functional block diagram showing a detailed configuration of a video / audio processing integrated circuit suitable for server-based applications.
  • FIG. 8 is an explanatory diagram showing features of the integrated circuit for video / audio processing.
  • FIG. 9 is a functional block diagram showing a detailed configuration of a video / audio processing integrated circuit with improved video processing performance.
  • FIG. 10 is a flowchart showing an operation procedure of the integrated circuit for video / audio processing.
  • FIG. 11 is a diagram showing a data flow in the operation shown in FIG.
  • FIG. 12 (a) and FIG. 12 (b) are diagrams showing processing contents in each processing block in the operation shown in FIG.
  • FIG. 13 is a functional block diagram showing a detailed configuration of a video / audio processing integrated circuit suitable for stream processing.
  • FIG. 14 is a flowchart showing an operation procedure of a virtual multiprocessor related to stream processing.
  • FIG. 15 (a) and FIG. 15 (b) are diagrams showing allocation timings of virtual processors in the operation shown in FIG.
  • FIG. 16 (a) to FIG. 16 (c) are diagrams showing allocation timings of virtual processors when two streams are processed. Explanation of reference numerals
  • FIG. 1 is a functional block diagram showing a basic configuration of a video / audio processing integrated circuit 1 according to the present invention.
  • the video / audio processing integrated circuit 1 according to the present invention has a circuit configuration suitable for a mopile video / audio device such as a mobile phone or a video camera by slightly changing the circuit configuration, as described later, or It has the power V that can be realized as a circuit configuration suitable for server video and audio equipment such as DTV and DVR, and the architecture that is common to misaligned applications.This figure shows the common architecture. .
  • the integrated circuit for video / audio processing 1 is a system LSI that performs various signal processing on video / audio streams, and includes a microcomputer block 2, a media processing block 3, a stream I / O block 4, an AVIO (Audio Visual Input Output). ) Block 5 and memory IF block 6.
  • the microcomputer block 2 is a processor that controls the entire integrated circuit 1 for video and audio processing.
  • the microcomputer block 2 controls each of the processing blocks 3 to 6 via the control bus 7 and controls the data bus 8b and the memory IF block 6. It is a circuit block for accessing the external memory 9 through the memory.
  • This process is a non-real-time general-purpose (control-related) process that does not depend on the video / audio output cycle (such as the frame rate).
  • the stream I / O block 4 reads stream data such as a compressed video / audio stream under the control of the microcomputer block 2 from peripheral devices such as a storage media network, and stores the data bus 8a and the memory IF block 6
  • This is a circuit block that stores the data in the external memory 9 via the external memory and performs stream transfer in the reverse direction.
  • This process is a non-real-time IO process that does not depend on the video / audio output cycle (frame rate, etc.).
  • the media processing block 3 transmits a compressed video / audio stream or the like from the external memory 9 via the data bus data bus 8c and the memory IF block 6.
  • the circuit block that stores the processed image and audio data in the external memory 9 again via the data bus 8c and the memory IF block 6. is there.
  • the processing here is real-time general-purpose (media-related) processing that depends on the video / audio output cycle (frame rate, etc.).
  • the AVIO block 5 reads image data and audio data from the external memory 9 via the data bus 8 d and the memory IF block 6 under the control of the microcomputer block 2, and after performing various graphic processing and the like, This is a circuit block that outputs an image signal and an audio signal to an external display device such as a speed display, and performs data transfer in the opposite direction. This process is a real-time IO process that depends on the video / audio output cycle (frame rate, etc.).
  • the memory IF block 6 is a circuit block that performs control so that data processing is performed in parallel between the processing blocks 2 to 5 and the external memory 9 under the control of the microcomputer block 2. At this time, in accordance with a request from the microcomputer block 2, a transfer band between each of the processing blocks 2 to 5 and the external memory 9 is secured, and a latency is guaranteed.
  • each block such as the media processing block 3 secures the bandwidth required for the function to be provided and guarantees the requested access latency.
  • the integrated circuit for video / audio processing 1 has four characteristic features determined by a combination of the real-time property and the type of processing (IO processing Z non-IO (general-purpose) processing).
  • Processing blocks 2 to 5 i.e., a microcomputer block 2 that executes non-real-time general-purpose processing, a media processing block 3 that executes real-time general-purpose processing, and a stream IZO block that executes non-real-time IZO processing 4, and in addition to the AVIO block 5 that executes real-time ⁇ processing, and a memory IF block 6 that is connected to the four processing blocks 2 to 5 and dedicated data buses 8a to 8d, Applications and services It has a common architecture for both server-based applications.
  • the four types of processing blocks are not connected to each other but are connected via a common external memory 9. Therefore, the control programming for each processing block can be separated from the processing in other processing blocks as long as it is designed to input and output data to and from the external memory 9. This increases the independence of the application program for each processing block, and each processing block considers only the specifications between each processing block and the memory IF without being affected by other processing blocks. The design efficiency can be improved because the design can be performed simply by performing the same operations.In addition, even if the design is expanded to other applications, by changing only the configuration of the necessary blocks, Since application processing can be performed, design resources can be reused.
  • an application program of an integrated circuit for video / audio processing developed for incorporation into a mopile-type video / audio device such as a mobile phone for example, an application for expanding a compressed audio stream received by a mobile phone by a media processing block
  • applique over Chillon program video and audio processing integrated circuit incorporating a program to the server system audiovisual equipment D TV, etc. (e.g., stretching is included in the transport stream DTV receives, was the audio stream in the media processing block Application program).
  • the video / audio processing integration for the first device is performed. If the processing commonly performed by the circuit and the video / audio processing integrated circuit for the second device is performed by the microcomputer block of the video / audio processing integrated circuit for the first device, the processing is performed for the second device. If the processing is performed in the stream I / O block of the video and audio processing integrated circuit for the first device, the processing is performed by the microcomputer block of the video and audio processing integrated circuit of the first device.
  • the processing is performed in the IZO block and the media processing block of the integrated circuit for video and audio processing for the first device, the processing is performed in the media processing block of the integrated circuit for video and audio processing for the second device.
  • a collection of video and audio processing for the first device If the processing is performed by the AVIO block of the integrated circuit, the processing is performed by the video and audio It can be designed and developed to be performed by the AVIO block of the integrated circuit. In this way, by sharing the processing of each block of the video and audio processing integrated circuit for the first device with the processing of each block of the video and audio processing integrated circuit for the second device, Hardware and software design assets can be diverted.
  • the integrated circuit for video / audio processing 1 is a one-chip LSI formed on one semiconductor substrate.
  • a circuit layer lb, a lower wiring layer lc, and an upper wiring layer Id corresponds to the circuit element of each of the processing blocks 2 to 5
  • the lower wiring layer lc corresponds to the wiring in each of the processing blocks 2 to 5, which connects the circuit element of each of the processing blocks 2 to 5.
  • the upper wiring layer Id corresponds to a bus (control bus 7 and data buses 8a to 8d) connecting the processing blocks 2 to 5. In this way, the wiring layer is separated into the wiring in each processing block and the wiring connecting each processing block, and different mask layouts are used to separate the wiring design inside and outside each processing block. , Making the design easier.
  • FIG. 3 is a functional block diagram showing a detailed configuration of the integrated circuit for video / audio processing 100 suitable for a mopile application.
  • the video / audio processing integrated circuit 100 is a system LSI suitable for a mopile type video / audio device requiring a function of wireless communication and low power consumption, and includes a microcomputer block 10, a media processing block 20. , A stream IZO block 30, an AVIO block 40, and a memory IF block 50.
  • the microcomputer block 10 is a circuit block that controls the processing blocks 20 to 40 via the control bus 60 and accesses the SDRAM (Syncronous DRAM) 106 via the data bus 71.
  • a Memory Access) unit 11 a CPU unit 12, a microcomputer peripheral unit 13, a clock control unit 14, a power control unit 15, and the like.
  • the DMA unit 11 is a controller for direct memory access, and stores, for example, a user program or the like stored in the flash memory 101 connected via an external bus. Download by directly transferring it to a program memory or the like inside.
  • the CPU unit 12 is a processor core having a timer function and an interrupt function, and controls the entire integrated circuit 100 for processing video and audio in accordance with a program stored in an internal program memory or the like. Note that basic software such as an OS is stored in advance in an internal program memory or the like.
  • the microcomputer peripheral unit 13 is an interrupt control circuit, peripheral IZO ports, and the like.
  • the clock control unit 14 is a circuit for reducing power consumption by supplying a clock to each circuit and stopping the clock supply to the CPU unit 12 and the like when the CPU unit 12 and the like are in an idle state or the like.
  • the power control unit 15 is a circuit for reducing power consumption by supplying power to each circuit and stopping power supply to each processing block when each processing block is in an idle state or the like. is there.
  • the media processing block 20 compresses the image, audio, and audio data read out from the SDRAM 106 via the data buses 72a and 72b in accordance with the MPEG standard or the like. It is a high-speed DSP that expands, and has an instruction parallel processor 21, a sequencer 22, a first to fourth accelerator (ACC) units 23 to 26, a DMAC unit 27, and the like.
  • the media processing block 20 can also directly receive stream data from the stream I / O block 30 via the data bus 74 without passing through the SDRAM 106.
  • the media processing block 20 that operates at high speed to directly receive the stream data and execute the media processing to bypass the SDRAM 106 It is the power that can increase the processing efficiency as well as improve security and reduce power consumption.
  • the instruction parallel processor 21 is a processor that executes a plurality of instructions (signal processing instructions) in parallel, and performs overall control of each of the components 22 to 27.
  • the sequencer unit 22 controls the processing sequence of the first to fourth accelerator units 23 to 26 under the control of the instruction parallel processor 21.
  • the first to fourth accelerator units 23 to 26 operate in parallel, respectively, and output the image "audio". It is an arithmetic processing engine that performs media processing such as compression / decompression such as DCT (Discrete Cosine Transform), inverse DCT, quantization, inverse quantization, motion detection, and motion compensation on audio data.
  • DCT Discrete Cosine Transform
  • inverse DCT quantization
  • inverse quantization motion detection
  • motion compensation motion compensation
  • the DMAC unit 27 is a controller for direct memory access, and controls direct transfer of data to and from the SDRAM 106 via, for example, the data buses 72a and 72b.
  • the media processing block 20 is a low-power compatible circuit for mopile applications. Specifically, it is realized by low-power dedicated hardware engines such as the first to fourth accelerator units 23 to 26, which are not general-purpose data processing processors with high power consumption. There are no opportunities to automatically detect idle states such as non-existence and stop them (automatic stop control) or cut off clock supply (gated clock).
  • the stream IZO block 30 is a circuit block that receives stream data from the external devices 102 to 104, stores the stream data in the SDRAM 106 via the data bus 70, and performs data transfer in the reverse direction.
  • the encryption engine unit 32 is an encryption device and a decryption device that decrypts the input encrypted stream data and key data, and decrypts the key data to be passed to the external devices 102 to 104.
  • the secure management unit 33 is a tamper-resistant circuit that controls the execution of a device authentication protocol and the like required between the external devices 102 to 104 and holds a secret key.
  • the DMAC unit 34 is a controller for direct memory access. For example, the DMAC unit 34 directly transfers stream data input via the device IF unit 36 to the SDRAM 106 via the data bus 70.
  • the stream processing unit 35 demultiplexes the stream data input from the external devices 102 to 104 via the device IF unit 36.
  • the device IF unit 36 includes an IO port for transmitting / receiving data to / from another CPU 102 such as a communication processor used in a mobile phone, and reads / writes from / to a memory card 103 such as an SD (trademark) card.
  • I / O port for communication with the PDA104, etc. o A collection of ports and the like.
  • the AVIO block 40 reads the video and audio streams stored in the SDRAM 106 via the data buses 73a and 73b and outputs them to the LCD 107 or the like, or converts the imaging data sent from the digital camera 108 into data.
  • This is a circuit block that is stored in the SDRAM 106 via the buses 73a and 73b.
  • the graphics engine unit 41, the video input format conversion unit 42, the imaging processing engine unit 43, the audio IF unit 44, and the video output format conversion It has part 45 etc.
  • the graphics engine unit 41 is a high-performance graphics engine that performs graphics processing such as filter processing, screen synthesis, curve drawing, and 3D display.
  • the video input format converter 42 converts a signal format resulting from the color space or the like of the video data input to the video / audio processing integrated circuit 100 into a format suitable for internal processing.
  • the imaging processing engine unit 43 performs high-quality imaging processing on a still image or a moving image input from the digital camera 108 or the like.
  • the audio IF unit 44 is an AZD converter, a DZA converter, or the like that inputs and outputs audio signals between a microphone and a speaker.
  • the video output format converter 45 converts a signal format resulting from a color space or the like of an output video signal into a format compatible with the LCD 107 or the like.
  • the memory IF block 50 is an interface circuit that controls data transfer between the video / audio processing integrated circuit 100 and an external memory such as the SDRAM 106 or the high-speed IF 105.
  • a memory scheduler 51 a buffer section 52 , a built-in RAM 53, and the like.
  • the memory scheduler 51 is a scheduler having ports (subsystem IFs 51a to 51c) for inputting and outputting data in parallel with the processing blocks 10 to 40 and the high-speed IF 105. According to the instructions, a certain transfer band is secured and the latency is guaranteed for each of the subsystem IFs 51a to 51c.
  • the buffer unit 52 is a high-speed buffer memory that relays data transfer between the SDRAM 106 and the memory scheduler 51.
  • the memory scheduler 51 is fixed for each of the subsystems IF51a to 51c. This is a data save buffer memory for guaranteeing data transfer in a band.
  • FIG. 4 is a flowchart showing an operation procedure of the video / audio processing integrated circuit 100 when a compressed video / audio stream is read from the memory card 103, decompressed, and output as a video signal and an audio signal.
  • FIG. 5 is a diagram showing the data flow at that time.
  • FIG. 6 is a diagram showing the state of processing in each of the processing blocks 20 to 40.
  • the microcomputer block 10 initializes each of the processing blocks 20 to 40 in accordance with a built-in program (S10 in FIG. 4). For example, it instructs the media processing block 20 to perform a decompression process based on MPEG4, instructs the stream IZO block 30 to read the compressed image / audio stream stored in the memory card 103, and instructs the AVIO block 40 to Instructs audio output and video output to LCD107.
  • a built-in program S10 in FIG. 4
  • the stream # block 30 reads out the compressed video / audio stream stored in the memory card 103 and stores it in the SDRAM 106 via the memory IF block 50 (Sll in FIG. 4, S20 in FIG. 5). ).
  • This compressed video / audio stream has, for example, a structure in which bit strings of video and audio are multiplexed, as shown in FIG.
  • the media processing block 20 reads out the compressed video / audio stream stored in the SDRAM 106 and performs a versa process or the like based on the header information or the like, thereby obtaining the data as shown in FIG.
  • the image stream and the audio stream are demultiplexed, and the separated stream data is written back to the SDRAM 106 via the memory IF block 50 (S12 in FIG. 4, S21 in FIG. 5).
  • the media processing block 20 reads the image stream and the audio stream from the SDRAM 106, performs the decompression process, and then performs image data (for example, 8 bits per pixel) shown in FIG. (Image data expressed) and audio data (audio data expressed by 16-bit Z samples) are written back to the SDRAM 106 (S13 in FIG. 4, S22 in FIG. 5).
  • image data for example, 8 bits per pixel
  • audio data audio data expressed by 16-bit Z samples
  • the AVIO block 40 reads the image stream and the audio stream from the SDRAM 106, and converts the format of the image stream into the REC656 format or the like. After the audio stream is subjected to DZA conversion and the like, it is output as an image signal and an audio signal to the LCD 107, the speaker, and the like as shown in FIG. 6D, respectively (S14 in FIG. 4, FIG. S23, S24).
  • the processing by the above processing blocks is performed in units of packets, macroblocks, slices, pictures, and the like for the image stream, and in units of packets, frames, and the like for the audio stream.
  • Pipelined At this time, when the microcomputer block 10, the media processing block 20, the stream IZO block 30, and the AVIO block 40 store the image and audio stream packets and the like in the SDRAM 106, they notify other blocks that the packets have been stored. Thereby, each pipeline process flows.
  • the compressed video / audio stream provided from the external device such as the memory card 103 is multiplexed into the image stream and the audio stream. After being separated and decompressed, it is format-converted and output as image and audio signals.
  • the compressed video / audio stream stored in the external device can be reproduced with only one LSI and the external memory (SDRAM 106).
  • a buffer memory for temporarily storing image data and audio data is not provided for each processing block, but is shared by all processing blocks.
  • a memory SDRAM 1066 is provided. Therefore, the memory size to be allocated to each processing block can be freely determined, and the video / audio processing integrated circuit 100 is applied to various applications having different data generation amounts and processing loads in each processing block. can do.
  • the integrated circuit for video and audio processing 100 can reduce the chip size as a whole.
  • FIG. 7 is a functional block diagram showing a detailed configuration of a video / audio processing integrated circuit 200 suitable for a server application.
  • the integrated circuit 200 for video and audio processing is capable of connecting to various peripheral devices and providing various types of memory.
  • This is a system LSI suitable for server video and audio equipment that requires media processing. It is composed of a microcomputer block 210, a media processing block 220, a stream IZO block 230, an AVIO block 240, and a memory IF block 250.
  • Each of the processing blocks 210 to 250 basically has the same configuration as the processing blocks 10 to 50 of the integrated circuit for video / audio processing 100.
  • the same components as those of the video / audio processing integrated circuit 100 are denoted by the same reference numerals, and description thereof will be omitted.
  • the microcomputer block 210 has a configuration in which the microcomputer block 10 of the video / audio processing integrated circuit 100 also excludes the clock control unit 14 and the power supply control unit 15. This is because these low power consumption circuits are not required for server applications.
  • the microcomputer block 210 is connected to an external master 201 serving as a main processor of the video / audio equipment via an external bus, and can operate under the control of the external master 201.
  • the media processing block 220 has a configuration in which one accelerator in the media processing block 20 of the video / audio processing integrated circuit 100 is replaced with a data parallel processor 221.
  • the data parallel processor 221 is a SIMD (Single Instruction Multiple Data) type processor that executes operations on a plurality of data with one instruction, and has 8 or 16 (low parallelism or high parallelism) processors that can execute in parallel. It has a PE (processor element) and consumes more power than an accelerator, but has a large amount of data processing and a wide variety of operations that can be processed, enabling a wide variety of media processing.
  • SIMD Single Instruction Multiple Data
  • PE processor element
  • PS Program Stream
  • TS Transport Stream
  • various conversions such as conversion from MPEG2 to MPEG4, conversion from HD (high resolution video signal) to SD (standard definition video signal), and low bit rate conversion are possible.
  • high-quality image control according to the display device that displays an image can be performed, and various media processes required for server-based abridgement can be supported.
  • the stream IZO block 230 includes a stream processing unit 231 and a stream processing unit 231 that can connect the stream processing unit 35 and the device IF unit 36 in the stream ⁇ block 30 of the video / audio processing integrated circuit 100 to a wider variety of peripheral devices. Equipped with a configuration that replaces the device IF section 232
  • the stream processing unit 231 has the functions of the stream processing unit 35 of the integrated circuit for video / audio processing 100, and also includes a TV tuner 202 and an Ethernet controller 203 connected to the outside in order to support broadcasting and networks. It also has a function of processing the stream of the.
  • the device IF unit 232 is a collection of USB 205, an interface for the memory card 103, a disk drive interface for the hard disk 206 and the optical disk 207, a differential IF 208, and the like.
  • the AVIO block 240 has a configuration in which the imaging processing engine unit 43 is removed from the AVIO block 40 of the video / audio processing integrated circuit 100, and the image is displayed on the SD / HD-compatible large LCD 212 instead of the small LCD 107. It has a function to output.
  • the memory IF block 250 has the same function as the memory IF block 50 of the video / audio processing integrated circuit 100. However, as the external memories 210 and 211, not only a normal SDRAM but also a DDR (Double Data Rate) It has a high-speed bus that connects to the SDRAM of the type.
  • DDR Double Data Rate
  • the integrated circuit for video / audio processing 200 includes interface circuits for many types of peripheral devices and has a large capacity and can cope with various data processing. Since it also has a media processing processor, it is a system LSI suitable for server video and audio equipment.
  • a high-performance server-based video / audio device such as a DTV or DVR can be developed in a short period of time.
  • the integrated circuit for video and audio processing according to the present invention has five characteristic processing blocks, that is, a basic architecture common to all video and audio devices, and a configuration of each processing block. It has the freedom of design that can be customized to the type suitable for the mopile application and the server application by changing. This makes it possible to divert design assets from the development of a specific device to other devices.
  • a video signal or an audio signal is generated by a specified codec method, and the image is output to an external LCD or the like.
  • Memory IF block 250 which provides the function of outputting sound to external speakers or outputting sound to external speakers. It secures each bandwidth and guarantees the requested access latency.
  • the above-described stream processing, signal generation processing, output processing, and the like do not lack the required performance. That is, in realizing the TV function, the video does not drop frames or the audio is interrupted. Can be easily achieved.
  • FIG. 8 is an explanatory diagram showing features of the integrated circuit for video / audio processing according to the present invention.
  • the integrated circuit for video and audio processing according to the present invention can be realized as a system LSI having two types of architectures (for mobile and server), and the two types of integrated circuits for video and audio processing are: It is shown that they have a common design concept and can be matched by API (Application Program Interface). Furthermore, the integrated circuit for video and audio processing for mobile is a system LSI for mobile communication and other AVC mopiles such as video cameras, while the integrated circuit for video and audio processing for servers is a BD recorder and the like. It can be used as an AVC server and DTV system LSI such as HDTV.
  • the integrated circuit for video and audio processing according to the present invention can be roughly divided into two applications (mono-cell and server systems), and more specifically, four applications (DTV, It can be applied as a system LSI for video and audio equipment in AVC Sano, AVC mopile, and mopile communication, and enables the diversion of design assets to such equipment.
  • FIG. 9 is a functional block diagram showing a detailed configuration of a video / audio processing integrated circuit 200a with improved video processing performance.
  • the integrated circuit for video and audio processing 200a can be used, for example, to record in SD while watching a high-definition broadcast program (HD), or to follow up and play back the SD video in a video processing performance in any application.
  • This is a system LSI that is configured to improve the performance, and includes a microcomputer block 210, a media processing block 220a, a stream I / O block 230, an AVIO block 240a, and a memory IF block 250.
  • Each of the processing blocks 210, 220a, 230, 240a, and 250 basically has the same configuration as the processing blocks 210 to 250 of the integrated circuit 200 for video and audio processing.
  • This integrated circuit for video and audio processing 200a is different from the image stream in that a data bus 75 for transmitting a relatively small amount of field feature information extracted therefrom is provided by connecting the media processing block 220a and the AVIO block 240a. It is characterized by.
  • the same components as those of the integrated circuit for video / audio processing 200 are denoted by the same reference numerals, and description thereof will be omitted.
  • the media processing block 220a is a high-speed DSP or the like that inherits the features of the above-described media processing blocks 20 and 220.
  • the media processing block 220a reads images from the SDRAMs 210 and 211 via the data buses 72a and 72b. Audio data is compressed and decompressed according to the MPEG standard. For example, in applications where resolution is converted to SD while recording while watching a high-definition broadcast program (HD), the instruction parallel processor 21 or the data parallel processor 221 or both are used. And concurrently perform compression and multiplexing processing for obtaining a recorded compressed SD video / audio multiplexed stream, and write back the respective processing results to the SDRAMs 210 and 211.
  • HDMI high-definition broadcast program
  • the AVIO block 240a acquires the HD image data written back to the SDRAMs 210 and 211 as a result of the demultiplexing and decompression processing by the media processing block 220a via the buses 73a and 73b and outputs the HD image data to the large LCD 212,
  • the SD image data obtained by converting the resolution of the HD image data is written back to the SDRAMs 210 and 211.
  • the field characteristic information for example, the sum total information within the field, the difference information between the fields known at the time of the processing is fed back to the media processing block 220a via the data bus 75.
  • This resolution conversion processing is performed by, for example, the video output format conversion unit 45 of the AVIO block 240a.
  • the video output format converter 45 has a function of converting a signal format resulting from a color space or the like of an output video signal into a format suitable for a video output device, and a specific function thereof. Downsampling and decimation filter functions can be used in this resolution conversion process.
  • the media processing block 220a refers to the field feature information to determine the field in which the scene change has occurred and the frequency of the scene change. And in that judgment Based on this, for example, a frame after a scene change is determined to be an I-picture, and the SD rate is increased while increasing the compression rate during periods of frequent scene changes to equalize the amount of data after compression.
  • the data is compressed into an SD image stream, a multiplexed process is performed to generate a compressed SD image / audio multiplex stream, and the generated compressed SD image / audio multiplex stream is written back to the SDRAMs 210 and 211.
  • Fig. 10 shows a video in the case where a compressed HD video / audio multiplex stream, which is a Hi-Vision broadcast signal, is read from the TV tuner 202, and is output as an image signal and an audio signal while being converted into an SD image and recorded.
  • 9 is a flowchart showing an operation procedure of the audio processing integrated circuit 200a.
  • FIG. 11 is a diagram showing the flow of main data at that time.
  • FIG. 12 is a diagram showing the processing contents of the processing blocks 220a and 240a.
  • the microcomputer block 10 initializes the processing blocks 220a, 230, 240a and the like in accordance with the built-in program (S30 in Fig. 10). For example, a decompression process (HD) based on MPEG4 and a compression process (SD) based on MPEG2 are instructed to the media processing block 220a, and a compressed HD image / audio multiplexed stream is obtained from the TV tuner 202 to the stream IZO block 230. At the same time, it instructs the HDD 206 to record the compressed SD image / audio multiplex stream, and instructs the AVIO block 240a to perform audio output and video output to the large LCD 212, as well as resolution conversion from HD images to SD images.
  • HD decompression process
  • SD compression process
  • the stream IZO block 230 reads the compressed HD video / audio multiplex stream from the TV tuner 202, and the media processing block 220a performs versa processing and the like based on the compressed HD video / audio multiplex stream header information and the like.
  • the image stream and the audio stream are demultiplexed, and after the image stream and the audio stream are subjected to decompression processing, the SDRAM 210 and 211 are written back as image data and audio data.
  • the operation up to this point is basically the same as the operation of the integrated circuit for video / audio processing 100 described above (see FIGS. 4 and 5), and the resolution of the image and the compressed image / audio multiplex stream are stored in the memory. The power that can be obtained from the card. Related to the operation up to this point The illustration of the data flow in FIG. 11 is omitted.
  • the AVIO block 240 reads the HD image data and the audio data from the SDRAMs 210 and 211, and outputs them to the large LCD 212 and the speaker as shown in Fig. 12 (b) (S31, Fig. 10). (S40a and S40b in Fig. 11).
  • the AVIO block 240 sends the SD image data obtained by subjecting the HD image to resolution conversion processing as shown in Fig. 12 (a) to the SDRAMs 210 and 211.
  • Field features such as summation in the field (representing the overall brightness of the field) and difference information between fields (representing the difference in brightness from the immediately preceding field), etc. Generate information.
  • This field feature information is, for example,
  • AVIO block 240a Although not shown in the AVIO block 240a, it is stored in a small buffer memory in association with the field of SD image data, and is provided for reference from the media processing block 220a via the data bus 75 (FIG. 10). S32 and S41a and S41b in FIG. 11).
  • the media processing block 220a reads out the SD image data and the audio data from the SDRAMs 210 and 211, determines the I picture by referring to the field feature information via the data bus 75, and determines the compression rate.
  • the media processing block 220a reads out the SD image data and the audio data from the SDRAMs 210 and 211, determines the I picture by referring to the field feature information via the data bus 75, and determines the compression rate.
  • an SD image stream and an audio stream are generated and written back to the SDRAMs 210 and 211 (S33 in FIG. 10 and S42 in FIG. 11).
  • the media processing block 220a reads out the SDRAM 210 and 211 output SD image stream and audio stream, and multiplexes the compressed SD image and audio multiplexed stream generated by multiplexing them into the SDRAM 210 and 211. (S34 in Fig. 10, S43 in Fig. 11).
  • the stream IZO block 230 reads out the compressed SD video / audio multiplexed stream from the SDRAMs 210 and 211, and records it on the HDD 206 (S35 in Fig. 10 and S44 in Fig. 11).
  • This compressed SD video / audio multiplex stream may be recorded on the HDD 206 as a recording of a high-definition broadcast, or read out after a predetermined time has elapsed, and as shown in FIG. 12 (b), together with the high-definition broadcast.
  • the chase reproduction may be performed in a picture-in-picture display. In the latter case, the operation shown in FIG. A procedure for playing an SD video / audio multiplex stream is added.
  • the media processing block 220a refers to the field feature information known in the AVIO block 240a via the data bus 75, Determines the I-picture for recording image compression and dynamically adjusts the compression ratio.
  • the integrated circuit for video and audio processing 200a can achieve high speed performance while avoiding duplication costs for obtaining field feature information, and at the same time, achieve a good trade-off between image quality and data amount. it can.
  • the data bus 75 transmits a relatively small amount of field characteristic information between the media processing block 220a and the AVIO block 240a, so that the application program for each processing block is The effect on independence is negligible, and the footprint on the integrated circuit for video and audio processing is small.
  • the broadcast system refers to a process related to a broadcast program that can also obtain power such as a TV tuner and the Internet
  • the storage system is stored in a recording medium such as an HDD, a DVD, and a memory card! This refers to the processing related to the program.
  • FIG. 13 shows video and audio processing suitable for sharing video processing for broadcast and storage systems.
  • FIG. 3 is a functional block diagram showing a detailed configuration of the integrated circuit for use 100a.
  • the integrated circuit for video and audio processing 100a has a processing function of a broadcasting system (for example, reproduction of a broadcast program capable of obtaining a TV tuner) and a processing function of a storage system (for example, reproduction of a program stored in an HDD).
  • the system LSI has a microcomputer block 10, a media processing block 20a, a stream I / O block 30, an AVIO block 40, and a memory IF block 50.
  • the integrated circuit for video / audio processing 100a is characterized in that the media processing block 20a includes a virtual multiprocessor 21a having a stream processing suppression timer 28.
  • Other configurations are basically the same as those of the integrated circuit for video / audio processing 100.
  • a virtual multiprocessor is generally a type of instruction parallel processor that performs the functions of a plurality of logical processors (LPs) in a time-sharing manner (one LP stands for In effect, this is one context set in the register group of a physical processor (PP).)
  • LPs logical processors
  • PP physical processor
  • the media processing block 20a like the media processing block 20 of the video / audio processing integrated circuit 100, performs multiplexing / multiplexing / demultiplexing processing on a compressed video / audio multiplex stream, and compression / expansion of video / audio data. Although it is a circuit block that performs processing, it has a virtual multiprocessor 21a realized on the instruction parallel processor 21.
  • the virtual multiprocessor 21a uses, for example, three LPs (stream LP, image LP, and audio LP) for each compressed image / audio multiplex stream to be recorded or reproduced, and multiplexes or demultiplexes the stream, Performs compression or decompression and audio compression or decompression, respectively.
  • three LPs stream LP, image LP, and audio LP
  • Each of these LPs allocates a TS according to the characteristics of the stream, image, and audio. Te For example, in consideration of the calculation amount, more TSs are assigned to the image LPs than the audio LPs, and TSs are assigned to each stream LP for each stream LP in order to prevent the loss of the broadcast signal (so-called stream drop). Event-driven LP, or a timer-suppressed event-driven LP that prohibits TS allocation within a predetermined time under the control of the stream processing suppression timer 28.
  • FIG. 14 is a flowchart showing an operation procedure of an event-driven LP with timer suppression that commonly performs both stream processing of a broadcast system and stream processing of a storage system.
  • FIG. 15 shows the occurrence timing of each event at that time, and the TS in which each LP of the stream, image, and audio operates, for the case of processing a broadcast stream and the case of processing a storage stream.
  • FIG. The right side of the drawing corresponds to the passage of time, the bands are the TSs, and the characters in them represent LPs that operate on the TSs (Stream, Video, and Audio are the stream LP, image LP, and image LP, respectively). Represents an audio LP, blank indicates no LP to work).
  • the stream LP that sleeps while waiting for an input event! (S50) wakes up at the input event of the Nth packet and starts operating in the ITS. Then, the packet is
  • the stream LP wakes up by a timer event that occurs during the fourth TS. Then, when the operation is started in the fifth TS, the input event is confirmed (S54), and it is found that there is an input event of the N + 1st packet (S55: YES), and the packet is processed (S51). Thereafter, the same operation is repeated.
  • the operating clock frequency of the virtual multiprocessor is
  • the sleep LP //! Stream LP waits for an input event (S50), wakes up at the input event of the Nth packet, and starts operation in the ITS. Then, the packet is
  • the stream LP processes the (N + 1) th packet, the stream I / O block 30 that does not have a buffer for the stream cannot read subsequent packets, and the reading process of the (N + 2) th packet is postponed. You.
  • the second and third TSs are assigned to image and audio LPs, respectively.
  • the stream LP is woken up by a timer event that occurs during the fourth TS. Then, when the operation is started in the fifth TS, the input event is confirmed (S54), the input event of the N + 1th packet is recognized (S55: YES), the packet is processed (S51), and the timer event is thereafter performed. Enter the sleep mode (S52, S53). The stream LP does not wake up in the input event of the N + 2 packet that occurs during the 5th TS and continues to sleep (the thick dotted line starting from the N + 2 input event in Fig. 15 (b)). Thereafter, the same operation is repeated.
  • the integrated circuit for video and audio processing 100a executes the stream processing by the event-driven LP with timer suppression of the virtual multiprocessor 21a in the media processing block 20a.
  • This processing is used commonly in the broadcasting system and also in the storage system where the stream can be excessively input, and only prevents the excessive execution of the stream processing and prevents the breakdown of the image / audio processing before it happens.
  • the stream processing by the event-driven LP with timer suppression can also be applied to a case where two channels are processed concurrently.
  • FIG. 16 shows the occurrence timing of each event at that time, and the TS on which each LP of the stream, the image, and the sound operates, when (a) processing two broadcast streams, and (b) broadcast streams.
  • FIG. 8 is a diagram illustrating a case where each stream of the storage system is processed, and (c) a case where each stream of the two storage systems is processed.
  • the right side of the drawing corresponds to the passage of time, and the bands represent the columns of TS, and the characters in them represent LPs that operate on TS (characters S, V, and A represent stream LP and image LP, respectively).
  • characters S, V, and A represent stream LP and image LP, respectively.
  • audio LP blank indicates no LP to operate, and numbers 0 and 1 distinguish channels.
  • an event occurs at the above-described timing (see FIGS. 15A and 15B) according to the distinction between the broadcast system and the storage system of each stream.
  • the wake-up due to the input event is postponed by the sleep waiting for the timer event, and as a result, the excessive execution of the stream processing is prevented as described above.
  • the timer suppression The stream processing by the controlled event-driven LP has the effect of maintaining a good load balance of stream, image, and audio processing even when processing two channels concurrently.
  • the integrated circuit for video / audio processing according to the present invention has been described based on the embodiment, but the present invention is not limited to this embodiment.
  • the integrated circuit for video / audio processing according to the present invention is classified into two types, that is, a mopile type and a server type.
  • the present invention is not limited to only these types.
  • a video having a clock control unit 14, a power control unit 15, and a data parallel processor 221 is also required. What is necessary is just to employ
  • an integrated circuit for video and audio processing suitable for the above four uses basically has the same architecture as shown in Fig. 1, and each block is composed of completely identical circuits. You don't have to.
  • the integrated circuit for video / audio processing for the first device and the second device (1) Compatible with at least part of the instruction set of the CPU, (2) Compatible with at least part of the instruction set of the instruction parallel processor, 3) CPU cores have the same logical connection (soft macro), (4) instruction parallel processor cores have the same logical connection, (5) CPU cores have the same mask layout ( (6)
  • the address of the control register of each block (register for controlling each block) on the memory map of the CPU is the same, or used in each process. If there is any commonality such as the same area of external memory 9, . Such commonality makes it possible to divert an application program or to divert it in a manufacturing process as a system LSI in units of processing blocks, thereby improving
  • the memory shared by each processing block may be built in a system LSI external to the system LSI.
  • the present invention relates to a system LSI for a device that handles video and audio, in particular, a DTV and a DVD recorder. It can be used as a system LSI for AVC servers such as digital cameras, AVC mopiles such as digital cameras, and video and audio equipment such as mobile communications such as mobile phones.
  • AVC servers such as digital cameras
  • AVC mopiles such as digital cameras
  • video and audio equipment such as mobile communications such as mobile phones.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Microcomputers (AREA)
  • Studio Devices (AREA)
  • Television Receiver Circuits (AREA)

Abstract

　映像音声機器の開発で得られた設計資産が他の種類の映像音声機器にも流用することが可能な映像音声処理用集積回路を提供する。 　ＣＰＵを含むマイコンブロック２と、外部装置と映像及び音声ストリームの入出力を行うストリームＩ／Ｏブロック４と、ストリームＩ／Ｏブロック４に入力された映像及び音声ストリーム等の圧縮及び伸張の少なくとも１つを含むメディア処理を実行するメディア処理ブロック３と、メディア処理ブロック３でメディア処理された映像及び音声ストリームを映像及び音声信号に変換して外部機器に出力等するＡＶＩＯブロック５と、マイコンブロック２、ストリームＩ／Ｏブロック４、メディア処理ブロック３及びＡＶＩＯブロック５と外部メモリ９との間のデータ転送を制御するメモリＩＦブロック６とを備える。                                                                                 

Description

明 細 書
映像音声処理用集積回路
技術分野
[0001] 本発明は、映像音声処理用集積回路に関し、特に、各種アプリケーションに使用さ れるシステム LSIとして実現される映像音声処理用集積回路に関する。
背景技術
[0002] 近年のデジタル技術、動画像及び音声の圧縮伸張技術の急速な進展に伴!、、デ ジタルテレビ（DTV)、 DVDレコーダ等のデジタルビデオレコーダ（DVR)、携帯電 話、ビデオカメラ等の映像音声機器は、ますます高機能化、小型化が求められてい る。そのために、このような映像音声機器の開発現場においても、開発期間の短縮化 が大きな課題となっている。
[0003] 従来、映像音声機器の開発を支援するために、映像音声機能に関わる処理に必 要な複数の機能ブロックを 1つの LSIとして実現した技術がある（たとえば、非特許文 献 1参照)。
[0004] この従来の LSIは、メディア処理に必要な DSP (Digital Signal Procesor)コア や、各種ビデオ lZO、 RGB I/O, MPEG— 2トランスポートストリーム IZF、 LAN
IZF等を備える。機器の開発者は、このような LSIを使用することで、映像音声処理 に必要な各機能ブロックにおけるハードウェア回路を個別に開発する必要がなくなる 非特許文献 1 :「TMS320DM642 Technical Overview テキサスインスツルメン ッ社、 p. 4等
発明の開示
発明が解決しょうとする課題
[0005] し力しながら、上記従来の LSIは、音声等による電話との IZFや、電力制御等の低 消費電力のための機能等が備わっていないために、携帯電話やビデオカメラ等のモ パイル系用途には向かないという問題がある。そのために、例えば、 DTV等のサー バ系機器を上記従来の LSIを用いて実現したとしても、そこで得られたソフトウェア等 の設計資産を携帯電話等のモパイル系機器に流用することができない。
[0006] さらに、上記従来 LSIを用いて映像音声機器を開発する場合には、映像や音声デ ータを一時的に保存するためのメモリと各処理ブロックとのインターフェースについて は、開発者が独自に設計しなければならない。たとえば、各処理ブロックで共有でき る共有メモリを設ける場合には、各処理ブロックとメモリとの転送帯域を確保するととも にレイテンシ保証を考慮しなければならない。そのために、高機能な映像音声機器 の開発工数が削減されないのが実情である。
[0007] そこで、本発明は、このような従来の問題点に鑑みてなされたものであり、 DTVや D VR等のサーバ系映像音声機器だけでなぐ携帯電話やビデオカメラ等のモパイル 系映像音声機器のシステム LSIとして適用できるとともに、これらの映像音声機器の 開発で得られた設計資産が他の種類の映像音声機器にも流用することが可能な映 像音声処理用集積回路を提供することを目的とする。
[0008] さらに、本発明は、映像や音声データを保存するメモリと各処理ブロックとのインタ 一フェースにおける転送帯域やレイテンシ保証を容易に確保することができる映像音 声処理用集積回路を提供することをも目的とする。
課題を解決するための手段
[0009] 上記目的を達成するために、本発明に係る映像音声処理用集積回路は、映像及 び音声信号を処理する映像音声処理用集積回路であって、 CPUを含むマイコンブ ロックと、前記マイコンブロックによる制御の下で、外部装置と映像及び音声ストリーム の入出力を行うストリーム入出力ブロックと、前記マイコンブロックによる制御の下で、 前記ストリーム入出力ブロックに入力された、あるいは、前記ストリーム入出力ブロック 力も出力される映像及び音声ストリームの圧縮及び伸張の少なくとも 1つを含むメディ ァ処理を実行するメディア処理ブロックと、前記マイコンブロックによる制御の下で、 前記メディア処理ブロックでメディア処理された映像及び音声ストリームを映像及び 音声信号に変換して外部機器に出力、あるいは、外部機器から映像及び音声信号 を取得し、前記メディア処理ブロックでメディア処理される映像及び音声ストリームに 変換する AV入出力ブロックと、前記マイコンブロックによる制御の下で、前記マイコン ブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記 AV入出 カブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックとを 備えることを特徴とする。
[0010] これによつて、例えば、前記マイコンブロック、前記ストリーム入出力ブロック、前記メ ディア処理ブロック及び前記 AV入出力ブロックは、専用のデータバスで前記メモリイ ンターフェースブロックと接続され、前記マイコンブロック、前記ストリーム入出力ブロ ック、前記メディア処理ブロック及び前記 AV入出力ブロックの間では、前記メモリを 介して、前記映像及び音声ストリームの授受が行われるようにすることで、 4種類の処 理ブロックは、それぞれ、相互に接続されるのではなぐ共通のメモリを介して接続さ れる。したがって、各処理ブロックに対する制御プログラミングは、いずれも、メモリと の間でデータを入出力するように設計すればよぐ他の処理ブロックでの処理と分離 される。よって、各処理ブロックに対するアプリケーションプログラムの独立性が高まり 、設計資産の流用が可能となる。
[0011] ここで、前記メモリインターフェースブロックは、前記マイコンブロック、前記ストリーム 入出力ブロック、前記メディア処理ブロック及び前記 AV入出力ブロックと前記メモリと の間のデータ転送が並列に行われるようにデータ転送を中継してもよ 、し、前記マイ コンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記 AV 入出力ブロックは、前記映像及び音声ストリームを前記メモリに格納した後に、格納し た旨を他のブロックに通知してもよい。これによつて、メモリは、メモリインターフェース ブロックを介して、各処理ブロックに共有されることとなり、メモリインターフェースブロ ックにデータ転送やアービトレーションの制御や管理処理を集中させることで、メモリ と各処理ブロックとのインターフェースにおける転送帯域の確保やレイテンシ保証が 容易となる。
[0012] また、前記ストリーム入出力ブロックは、例えば、前記外部装置と映像及び音声スト リームの送受信をするインターフェース部、送受信される映像及び音声ストリームの 暗号又は復号を行う暗号処理部、及び、前記外部装置と前記メモリとのデータ転送 を制御するダイレクトメモリアクセス制御部を有し、前記メディア処理ブロックは、例え ば、複数の信号処理命令を並列に実行する命令並列プロセッサ、演算処理を実行 するァクセラレータ、及び、前記メモリとのデータ転送を制御するダイレクトメモリァク セス制御部を有し、前記 AV入出力ブロックは、例えば、画像データのグラフィックス 処理を行うグラフィックスエンジン、及び、映像信号のフォーマットを変換するフォーマ ット変換部を有し、前記メモリインターフェースブロックは、例えば、前記マイコンブロ ック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記 AV入出力ブ ロックと接続される複数のポート、及び、前記複数のポートそれぞれにおけるデータ 転送のタイミングを調整するメモリスケジューラを有してもよい。
[0013] さらに、モパイル用のアプリケーションとして、前記マイコンブロックはさらに、前記 C PUへのクロックの供給を ONZOFFするクロック制御部及び電源の供給を ONZO FFする電源制御部の少なくとも 1つを有するのが好ま 、。
[0014] また、サーバ用のアプリケーションとして、前記メディア処理ブロックはさらに、複数 のデータに対する演算を並列に実行するデータ並列プロセッサを備えるのが好まし い。
[0015] また、前記映像音声処理用集積回路はさらに、前記ストリーム入出力ブロックと前記 メディア処理ブロックとを接続する信号線を備え、前記メディア処理ブロックは、前記 信号線を介して前記ストリーム入出力ブロック力も入力される、あるいは、前記信号線 を介して前記ストリーム入出力ブロックに出力する映像及び音声ストリームのメディア 処理を実行してもよ 、。ストリーム入出力ブロック力も送られてくるストリームデータが 低ビットレートである場合には、高速動作するメディア処理ブロックが直接ストリームデ ータを受信してメディア処理を実行するほうが、メモリを経由しない分だけ、セキユリテ ィ向上、消費電力削減と合わせて、処理効率が高くなり得るからである。
[0016] また、具体的なアプリケーションとして、前記映像音声処理用集積回路は、異なる 複数の機器用のシステム LSIとして用いられ、前記機器には、デジタルテレビ、デジ タルビデオレコーダ、ビデオカメラ及び携帯電話が含まれる。
[0017] そして、前記機器のうちの 1つを第 1機器、他の 1つを第 2機器とした場合に、 CPU の命令セットに互換性をもたせたり、メディアプロセッサの命令セットに互換性をもた せたり、 CPUあるいはメディアプロセッサのコアにソフトマクロの共通性をもたせたり、 ハードマクロの共通性をもたせたり、メモリマップの共通性をもたせたりしてもよい。
[0018] また、前記 AV入出力ブロックはさらに、前記メディア処理ブロックでメディア処理さ れた映像ストリームカゝら変換されるか又は外部機器カゝら取得される映像信号を解像 度変換処理することによって記録用映像信号を生成すると共に、前記記録用映像信 号によって表される映像フィールドのフィールド内総和及びフィールド間差分の少な くとも一方を表すフィールド特徴情報を生成し、前記メディア処理ブロックはさらに、 前記フィールド特徴情報を参照して前記記録用映像信号を記録用映像ストリームに 変換してちょい。
[0019] また、好ましくは、前記映像音声処理用集積回路はさらに、前記メディア処理ブロッ クと前記 AV入出力ブロックとを接続する信号線を備え、前記メディア処理ブロック及 び前記 AV入出力ブロックの間では、前記信号線を介して、前記フィールド特徴情報 の授受が行われるとしてもよ 、。
[0020] この構成によれば、前記メディア処理ブロックは、前記 AV入出力ブロックにお 、て 知られたフィールド特徴情報を参照して、記録画像の圧縮における Iピクチャを決定 し、また圧縮率を動的に調整できる。これによつて、前記映像音声処理用集積回路 は、フィールド特徴情報を得るための重複コストをかけることなぐ高い速度性能を維 持しながら、画質とデータ量との良好なトレードオフを達成することができる。
[0021] また、前記メディア処理ブロックは、一つの映像音声多重ストリームに関連して、スト リームの多重化又は多重分離処理、画像データの圧縮又は伸張処理、音声データ の圧縮又は伸張処理を時分割に実行しつつ、前記ストリームの多重化又は多重分離 処理が所定の時間内に複数回起動されることを禁止してもよ 、。
[0022] また、好ましくは、前記メディア処理ブロックは、複数の論理プロセッサを時分割に 演じる仮想マルチプロセッサを有し、前記ストリームの多重化又は多重分離処理、前 記画像データの圧縮又は伸張処理、前記音声データの圧縮又は伸張処理は、それ ぞれ前記仮想マルチプロセッサが演じる異なる論理プロセッサによって実行され、前 記ストリームの多重化又は多重分離処理を実行する論理プロセッサは、前記ストリー ムの所定単位を処理し終わると、所定のタイマが満了するまでスリープするとしてもよ い。
[0023] この構成によれば、放送系、及びストリームが過剰に入力され得る蓄積系の区別な ぐストリーム処理の過剰実行が自律的に抑制されるので、画像'音声処理の破綻が 未然に防がれるだけでなぐストリーム入出力ブロックにおいてメディア処理ブロック へ送るストリーム量を上限管理することも不要になる。これらの総体として、各処理ブ ロックに対するアプリケーションプログラムの独立性、簡明性が向上し、ひいては設計 資産の流用促進に貢献する。
[0024] なお、本発明は、このようなシステム LSIとして実現することができるだけでなぐそ のようなシステム LSIを用いた機器の設計開発方法として実現することもできる。つま り、デジタルテレビ、デジタルビデオレコーダ、ビデオカメラ及び携帯電話等の機器の うちの 1つを第 1機器、他の 1つを第 2機器とした場合に、前記第 1機器用の映像音声 処理用集積回路と前記第 2機器用の映像音声処理用集積回路とで共通に行われる 処理が、前記第 1機器用の映像音声処理用集積回路のマイコンブロックで行われる 場合は、前記処理を前記第 2機器用の映像音声処理用集積回路のマイコンブロック で行い、前記第 1機器用の映像音声処理用集積回路のストリーム入出力ブロックで 行われる場合は、前記処理を前記第 2機器用の映像音声処理用集積回路のストリー ム入出力ブロックで行い、前記第 1機器用の映像音声処理用集積回路のメディア処 理ブロックで行われる場合は、前記処理を前記第 2機器用の映像音声処理用集積回 路のメディア処理ブロックで行 、、前記第 1機器用の映像音声処理用集積回路の A V入出力ブロックで行われる場合は、前記処理を前記第 2機器用の映像音声処理用 集積回路の AV入出力ブロックで行うように設計開発する方法として実現してもよ!/ヽ。 発明の効果
[0025] 本発明により、 DTVや DVR等のサーバ系映像音声機器だけでなぐ携帯電話や ビデオカメラ等のモノくィル系映像音声機器にっ 、ても、共通のシステム LSIを用いて 実現することができる。そして、これらの映像音声機器間で、設計資産の流用が可能 となる。
[0026] また、映像や音声データを保存するメモリと各処理ブロックとのインターフェースに おける転送帯域の確保やレイテンシ保証が容易となり、短い期間で高機能な映像音 声機器を開発することが可能となる。
[0027] このように、本発明により、映像音声機器の開発期間が短縮化され、映像音声機器 に対してますます高機能な映像音声処理が求められる今日における実用的価値は 極めて高い。
図面の簡単な説明
[図 1]図 1は、本発明に係る映像音声処理用集積回路の基本構成を示す機能ブロッ ク図である。
[図 2]図 2は、映像音声処理用集積回路の構造図である。
[図 3]図 3は、モパイル系アプリケーションに適した映像音声処理用集積回路の詳細 な構成を示す機能ブロック図である。
[図 4]図 4は、映像音声処理用集積回路の動作手順を示すフローチャートである。
[図 5]図 5は、図 4に示された動作におけるデータの流れを示す図である。
[図 6]図 6 (a)〜図 6 (d)は、図 4に示された動作における各処理ブロックでの処理の 様子を示す図である。
[図 7]図 7は、サーバ系アプリケーションに適した映像音声処理用集積回路の詳細な 構成を示す機能ブロック図である。
[図 8]図 8は、映像音声処理用集積回路の特徴を示す説明図である。
[図 9]図 9は、映像処理の性能を高めた映像音声処理用集積回路の詳細な構成を示 す機能ブロック図である。
[図 10]図 10は、映像音声処理用集積回路の動作手順を示すフローチャートである。
[図 11]図 11は、図 10に示された動作におけるデータの流れを示す図である。
[図 12]図 12 (a)、図 12 (b)は、図 10に示された動作における各処理ブロックでの処 理内容を表す図である。
[図 13]図 13は、ストリーム処理に適した映像音声処理用集積回路の詳細な構成を示 す機能ブロック図である。
[図 14]図 14は、ストリーム処理に係る仮想マルチプロセッサの動作手順を示すフロー チャートである。
[図 15]図 15 (a)、図 15 (b)は、図 14に示された動作における仮想プロセッサの割当 てタイミングを示す図である。
[図 16]図 16 (a)〜図 16 (c)は、 2つのストリームを処理する場合の仮想プロセッサの 割当てタイミングを示す図である。 符号の説明
1、 100、 100a, 200、 200a 映像音声処理用集積回路 la 半導体基板
lb 回路層
lc 下位配線層
Id 上位配線層
2、 10、 210 マイコンブロック
3、 20、 220 メディア処理ブロック
4、 30、 230 ストリーム ιΖοブロック
5、 40、 240 AVIOブロック
6、 50、 250 メモリ IFブロック
7、 60 制御バス
8a〜8d、 71〜75 データノ ス
9 外部メモリ
11 DMA部
12 CPU部
13 マイコン周辺部
14 クロック ff!lj御咅
15 電源制御部
21 命令並列プロセッサ
21a 仮想マノレチプロセッサ
22 シーケンサ部
23〜 26 クセラレータ咅 ^
27 DMAC部
28 ストリーム処理抑制タイマ
32 暗号エンジン部
33 セキュア管理部
34 DMAC部 ストリーム処理部
デバイス IF部
グラフィックスエンジン部 ビデオ入力フォーマット変換部 撮像処理エンジン部 オーディオ IF部
ビデオ出力フォーマット変換部 メモリスケジューラ
a〜51c サブシステム IF
バッファ部
内蔵 RAM
フラッシュメモリ
別 CPU
〜104 外部デバイス
メモリカード
PDA
高速 IF
SDRAM LCD
デジタルカメラ
外部マスタ
TVチューナ
イーサコントローラ
USB
ハードディスク
光ディスク
差動 IF
、 211 外部メモリ 212 大型 LCD
221 データ並列プロセッサ
231 ストリーム処理部
232 デバイス IF部
発明を実施するための最良の形態
[0030] 以下、本発明の実施の形態について、図面を用いて詳細に説明する。
図 1は、本発明に係る映像音声処理用集積回路 1の基本構成を示す機能ブロック 図である。本発明に係る映像音声処理用集積回路 1は、後述するように、若干の回 路構成を変更することで、携帯電話やビデオカメラ等のモパイル系の映像音声機器 に適した回路構成、あるいは、 DTVや DVR等のサーバ系映像音声機器に適した回 路構成として実現することができる力 V、ずれのアプリケーションにも共通するァーキ テクチヤをもっており、本図には、その共通アーキテクチャが示されている。
[0031] この映像音声処理用集積回路 1は、映像音声ストリームに関する様々な信号処理 を行うシステム LSIであり、マイコンブロック 2、メディア処理ブロック 3、ストリーム I/O ブロック 4、 AVIO (Audio Visual Input Output)ブロック 5及びメモリ IFブロック 6から構成される。
[0032] マイコンブロック 2は、映像音声処理用集積回路 1全体を制御するプロセッサであり 、制御バス 7を介して各処理ブロック 3〜6を制御したり、データバス 8b及びメモリ IFブ ロック 6を介して外部メモリ 9にアクセスしたりする回路ブロックである。ここでの処理は 、映像音声の出力サイクル (フレームレート等）に依存しない非リアルタイムな汎用（制 御関連の）処理である。
[0033] ストリーム I/Oブロック 4は、マイコンブロック 2による制御の下で、蓄積メディアゃネ ットワーク等の周辺デバイス力 圧縮画像音声ストリーム等のストリームデータを読み 込み、データバス 8a及びメモリ IFブロック 6を介して外部メモリ 9に格納したり、その逆 方向のストリーム転送をしたりする回路ブロックである。ここでの処理は、映像音声の 出力サイクル (フレームレート等）に依存しな 、非リアルタイムな IO処理である。
[0034] メディア処理ブロック 3は、マイコンブロック 2による制御の下で、データバスデータ バス 8c及びメモリ IFブロック 6を介して外部メモリ 9から圧縮画像音声ストリーム等の 画像音声データを読み出し、圧縮又は伸張等のメディア処理を行った後に、再び、 データバス 8c及びメモリ IFブロック 6を介して、処理後の画像データや音声データを 外部メモリ 9に格納する回路ブロックである。ここでの処理は、映像音声の出力サイク ル (フレームレート等）に依存するリアルタイムな汎用（メディア関連の）処理である。
[0035] AVIOブロック 5は、マイコンブロック 2による制御の下で、データバス 8d及びメモリ I Fブロック 6を介して外部メモリ 9から画像データ及び音声データ等を読み出し、各種 グラフィック処理等を施した後に、画像信号及び音声信号として外部の表示装置ゃス ピー力等に出力したり、その逆方向のデータ転送をしたりする回路ブロックである。こ こでの処理は、映像音声の出力サイクル (フレームレート等）に依存するリアルタイム な IO処理である。
[0036] メモリ IFブロック 6は、マイコンブロック 2による制御の下で、各処理ブロック 2〜5と外 部メモリ 9との間で並列にデータ要求が行われるように制御する回路ブロックである。 このとき、マイコンブロック 2からの要求に応じて、各処理ブロック 2〜5と外部メモリ 9と の間の転送帯域を確保するとともに、レイテンシ保証を行う。
[0037] これによつて、メディア処理ブロック 3を始めとする各ブロックは、提供する機能に必 要なバンド幅が確保されるとともに、要求したアクセスレイテンシが保証されることによ り、ブロック単独または複数のブロックの合同動作で提供されるアプリケーションの性 能保証およびリアルタイム性の保証を達成することができる。
[0038] なお、バンド幅を確保しレイテンシを保証するための技術は、その代表的な一例が 特開 2004— 246862号公報に詳しく開示されて 、るので、ここでは詳細な説明を省 略する。
[0039] このように、本発明に係る映像音声処理用集積回路 1は、リアルタイム性と処理の種 類 (IO処理 Z非 IO (汎用的な)処理）との組み合わせで定められる 4つの特徴的な処 理ブロック 2〜5、つまり、非リアルタイムな汎用的な処理を実行するマイコンブロック 2 、リアルタイムな汎用的な処理を実行するメディア処理ブロック 3、非リアルタイムな IZ O処理を実行するストリーム IZOブロック 4、及び、リアルタイムな ΙΖΟ処理を実行す る AVIOブロック 5に加えて、それら 4つの処理ブロック 2〜5と専用のデータバス 8a〜 8dで接続されたメモリ IFブロック 6と力 構成され、モパイル系のアプリケーションとサ ーバ系のアプリケーションの両方に共通のアーキテクチャを備える。
[0040] つまり、 4種類の処理ブロックは、それぞれ、相互に接続されるのではなぐ共通の 外部メモリ 9を介して接続される。したがって、各処理ブロックに対する制御プログラミ ングは、いずれも、外部メモリ 9との間でデータを入出力するように設計すればよぐ 他の処理ブロックでの処理と分離される。これによつて、各処理ブロックに対するァプ リケーシヨンプログラムの独立性が高まり、各処理ブロックは、他の処理ブロックからの 影響を受けることなぐ各処理ブロックとメモリ IFとの間の仕様のみを考慮するだけで 設計することが可能になるため、設計効率を高めることができるとともに、他のアプリケ ーシヨンに展開した場合であっても、必要なブロックの構成のみを変更することで、そ の他のアプリケーションの処理を行うことが可能になるため、設計資産の流用が可能 となる。
[0041] たとえば、携帯電話等のモパイル系の映像音声機器に組み込むために開発した映 像音声処理用集積回路のアプリケーションプログラム (例えば、携帯電話が受信した 圧縮音声ストリームをメディア処理ブロックで伸張するアプリケーションプログラム）を DTV等のサーバ系映像音声機器に組み込む映像音声処理用集積回路のアプリケ ーシヨンプログラム（例えば、 DTVが受信したトランスポートストリームに含まれて 、た 音声ストリームをメディア処理ブロックで伸張するアプリケーションプログラム）として流 用することができる。
[0042] つまり、 DTV、 DVR、ビデオカメラ、携帯電話等の機器のうちの 1つを第 1機器、他 の 1つを第 2機器とした場合に、第 1機器用の映像音声処理用集積回路と第 2機器用 の映像音声処理用集積回路とで共通に行われる処理が、第 1機器用の映像音声処 理用集積回路のマイコンブロックで行われる場合は、その処理を第 2機器用の映像 音声処理用集積回路のマイコンブロックで行い、第 1機器用の映像音声処理用集積 回路のストリーム I/Oブロックで行われる場合は、その処理を第 2機器用の映像音声 処理用集積回路のストリーム IZOブロックで行い、第 1機器用の映像音声処理用集 積回路のメディア処理ブロックで行われる場合は、その処理を第 2機器用の映像音 声処理用集積回路のメディア処理ブロックで行 、、第 1機器用の映像音声処理用集 積回路の AVIOブロックで行われる場合は、その処理を第 2機器用の映像音声処理 用集積回路の AVIOブロックで行うように設計開発することができる。このように、第 1 機器用の映像音声処理用集積回路の各ブロックの処理の分担を第 2機器用の映像 音声処理用集積回路の各ブロックの処理の分担と共通化することにより、各ブロック のハードウェア及びソフトウェアの設計資産を流用することができる。
[0043] なお、この映像音声処理用集積回路 1は、 1つの半導体基板上に形成された 1チッ プ LSIであるが、製造工程上の構成として、図 2に示されるように、半導体基板 la、回 路層 lb、下位配線層 lc及び上位配線層 Idからなる。回路層 lbは、各処理ブロック 2 〜5の回路要素に相当し、下位配線層 lcは、各処理ブロック 2〜5の回路要素を接 続する各処理ブロック 2〜5内での配線に相当し、上位配線層 Idは、各処理ブロック 2〜5間を接続するバス（制御バス 7及びデータバス 8a〜8d)に相当する。このように 、配線層を各処理ブロック内での配線と各処理ブロック間を接続する配線とに分離し 、異なるマスクレイアウトとすることで、各処理ブロックの内部と外部での配線設計が 分離され、設計が容易となる。
[0044] 次に、本発明に係る映像音声処理用集積回路のうち、携帯電話やビデオカメラ等 のモパイル系アプリケーションに適したタイプの映像音声処理用集積回路について、 より詳細に説明する。
[0045] 図 3は、モパイル系アプリケーションに適した映像音声処理用集積回路 100の詳細 な構成を示す機能ブロック図である。
[0046] 映像音声処理用集積回路 100は、無線通信や低消費電力化の機能が必要とされ るモパイル系の映像音声機器に適したシステム LSIであり、マイコンブロック 10、メデ ィァ処理ブロック 20、ストリーム IZOブロック 30、 AVIOブロック 40及びメモリ IFブロッ ク 50から構成される。
[0047] マイコンブロック 10は、制御バス 60を介して各処理ブロック 20〜40を制御したり、 データバス 71を介して SDRAM (Syncronous DRAM) 106にアクセスしたりする 回路ブロックであり、 DMA (Direct Memory Access)部 11、 CPU部 12、マイコ ン周辺部 13、クロック制御部 14及び電源制御部 15等を備える。
[0048] DMA部 11は、ダイレクトメモリアクセス用のコントローラであり、例えば、外部バスを 介して接続されたフラッシュメモリ 101に格納されたユーザプログラム等を CPU部 12 内のプログラムメモリ等に直接転送することによってダウンロードする。
[0049] CPU部 12は、タイマー機能や割り込み機能を有するプロセッサコアであり、内部の プログラムメモリ等に格納されたプログラムに従って、この映像音声処理用集積回路 100全体の制御を行う。なお、内部のプログラムメモリ等には、予め OS等の基本ソフ トが格納されている。
[0050] マイコン周辺部 13は、割り込み制御回路や周辺 IZOポート等である。
クロック制御部 14は、クロックを各回路に供給するとともに、 CPU部 12等がアイドル 状態等のときに CPU部 12等へのクロック供給を停止する等により、低消費電力化を 図る回路である。
[0051] 電源制御部 15は、電源を各回路に供給するとともに、各処理ブロックがアイドル状 態等のときに各処理ブロックへの電源供給を停止する等により、低消費電力化を図る 回路である。
[0052] メディア処理ブロック 20は、マイコンブロック 10による制御の下で、 SDRAM106力 らデータバスデータバス 72a及び 72bを介して読み出した画像 ·オーディオ ·音声デ ータを MPEG規格等に沿って圧縮 ·伸張する高速な DSP等であり、命令並列プロセ ッサ 21、シーケンサ部 22、第 1〜第 4ァクセラレータ（ACC ; accelerator)部 23〜26 及び DMAC部 27等を備える。なお、このメディア処理ブロック 20は、 SDRAM 106 を介さずに、ストリーム I/Oブロック 30からデータバス 74を介してストリームデータを 直接受け取ることもできる。ストリーム IZOブロック 30から送られてくるストリームデー タが低ビットレートである場合には、高速動作するメディア処理ブロック 20が直接スト リームデータを受信してメディア処理を実行するほうが、 SDRAM 106を経由しない 分だけ、セキュリティ向上、消費電力削減と合わせて、処理効率が高くなり得る力 で ある。
[0053] 命令並列プロセッサ 21は、複数の命令 (信号処理命令）を並列に実行するプロセッ サであり、各構成要素 22〜27の全体制御を行う。
[0054] シーケンサ部 22は、命令並列プロセッサ 21による制御の下で、第 1〜第 4ァクセラ レータ部 23〜26による処理シーケンスを制御する。
[0055] 第 1〜第 4ァクセラレータ部 23〜26は、それぞれ並列に動作し、画像'オーディオ' 音声データに対して DCT (Discrete Cosine Transform)、逆 DCT、量子化、逆 量子化、動き検出、動き補償等の圧縮'伸張等のメディア処理を行う演算処理ェンジ ンである。
[0056] DMAC部 27は、ダイレクトメモリアクセス用のコントローラであり、例えば、データバ ス 72a及び 72b等を介して SDRAM106との間でのデータの直接転送を制御する。
[0057] なお、このメディア処理ブロック 20は、モパイル系アプリケーションのための低電力 化対応回路となっている。具体的には、消費電力の高い汎用的なデータ処理プロセ ッサではなぐ第 1〜第 4ァクセラレータ部 23〜26のような低消費電力の専用ハード エンジンによって実現されて ヽること、処理データが存在しな ヽ等のアイドル状態を 自動検知して停止したり (自動停止制御）、クロック供給を遮断したりする（ゲーテッド クロック)機會を備免る。
[0058] ストリーム IZOブロック 30は、外部デバイス 102〜104からストリームデータを受信 し、データバス 70を介して SDRAM106に格納したり、その逆のデータ転送をする回 路ブロックであり、暗号エンジン部 32、セキュア管理部 33、 DMAC部 34、ストリーム 処理部 35及びデバイス IF部 36等を備える。
[0059] 暗号エンジン部 32は、入力された暗号化ストリームデータや鍵データ等を復号した り、外部デバイス 102〜104に渡す鍵データを暗号ィ匕したりする暗号器及び復号器 である。
[0060] セキュア管理部 33は、外部デバイス 102〜104との間で必要となる機器認証プロト コル等の実行制御をしたり、秘密鍵を保持したりする耐タンパな回路である。
[0061] DMAC部 34は、ダイレクトメモリアクセス用のコントローラであり、例えば、デバイス I F部 36を介して入力されるストリームデータをデータバス 70を介して SDRAM106に 直接転送する。
[0062] ストリーム処理部 35は、デバイス IF部 36を介して外部デバイス 102〜104から入力 されたストリームデータを多重分離する。
[0063] デバイス IF部 36は、携帯電話等に使用される通信用プロセッサ等の別 CPU102と の間で送受信するための IOポート、 SD (商標）カード等のメモリカード 103との間で 読み書きをするための IOポート、 PDA104等との間で赤外線通信等をするための I oポート等の集まりである。
[0064] AVIOブロック 40は、 SDRAM106に格納された映像及び音声ストリームを、デー タバス 73a及び 73bを介して読み出し、 LCD107等に出力したり、デジタルカメラ 10 8から送られてくる撮像データを、データバス 73a及び 73bを介して SDRAM106に 格納したりする回路ブロックであり、グラフィックスエンジン部 41、ビデオ入力フォーマ ット変換部 42、撮像処理エンジン部 43、オーディオ IF部 44及びビデオ出力フォーマ ット変換部 45等を備える。
[0065] グラフィックスエンジン部 41は、フィルタ処理、画面合成、曲線描画、 3D表示等の グラフィックス処理を行う高性能グラフィックスエンジンである。
[0066] ビデオ入力フォーマット変換部 42は、この映像音声処理用集積回路 100に入力さ れた映像データの色空間等に起因にする信号フォーマットを内部処理に適したフォ 一マットに変換する。
[0067] 撮像処理エンジン部 43は、デジタルカメラ 108等から入力される静止画や動画に 対する高画質撮像処理を行う。
[0068] オーディオ IF部 44は、マイク'スピーカ等との間で音声信号を入出力する AZD変 換器、 DZA変換器等である。
[0069] ビデオ出力フォーマット変換部 45は、出力する映像信号の色空間等に起因する信 号フォーマットを LCD107等に適合するフォーマットに変換する。
[0070] メモリ IFブロック 50は、この映像音声処理用集積回路 100と SDRAM106等の外 部メモリや高速 IF105との間でのデータ転送を制御するインターフェース回路であり
、メモリスケジューラ 51、ノ ッファ部 52及び内蔵 RAM53等を備える。
[0071] メモリスケジューラ 51は、各処理ブロック 10〜40や高速 IF105との間で並列にデ ータを入出力するポート（サブシステム IF51a〜51c)を有するスケジューラであり、マ イコンブロック 10からの指示に従って、各サブシステム IF51a〜51cごとに、一定の 転送帯域を確保するとともに、レイテンシを保証している。
[0072] バッファ部 52は、 SDRAM106とメモリスケジューラ 51とのデータ転送を中継する 高速なバッファメモリである。
[0073] 内蔵 RAM53は、メモリスケジューラ 51が各サブシステム IF51a〜51cごとに一定 帯域のデータ転送を保証するためのデータ退避用バッファメモリである。
[0074] 次に、以上のように構成された映像音声処理用集積回路 100の動作について図 4 〜図 6を用いて説明する。
[0075] 図 4は、メモリカード 103から圧縮画像音声ストリームを読み出し、伸張した後に、画 像信号及び音声信号として出力する場合の映像音声処理用集積回路 100の動作手 順を示すフローチャートである。図 5は、そのときのデータの流れを示す図である。図 6は、各処理ブロック 20〜40での処理の様子を示す図である。
[0076] まず、マイコンブロック 10は、内蔵しているプログラムに従って、各処理ブロック 20 〜40の初期設定等をする（図 4の S10)。たとえば、メディア処理ブロック 20に対して MPEG4に基づく伸張処理を指示し、ストリーム IZOブロック 30に対してメモリカード 103に格納された圧縮画像音声ストリームを読み出すように指示し、 AVIOブロック 4 0に対して音声出力と LCD107への映像出力を指示する。
[0077] 次に、ストリーム ΙΖΟブロック 30は、メモリカード 103に格納されている圧縮画像音 声ストリームを読み出し、メモリ IFブロック 50を介して SDRAM106に格納する（図 4 の Sl l、図 5の S20)。この圧縮画像音声ストリームは、例えば、図 6 (a)に示されるよ うに、画像と音声のビット列が多重化された構造となっている。
[0078] 続いて、メディア処理ブロック 20は、 SDRAM106に格納された圧縮画像音声スト リームを読み出し、そのヘッダ情報等に基づいてバーサ処理等を行うことで、図 6 (b) に示されるような画像ストリームと音声ストリームとに多重分離し、分離した各ストリーム データをメモリ IFブロック 50を介して SDRAM106に書き戻す（図 4の S12、図 5の S 21)。
[0079] そして、再び、メディア処理ブロック 20は、 SDRAM106から画像ストリームと音声ス トリームを読み出し、伸張処理を施した後に、図 6 (c)に示される画像データ (例えば 、画素ごとに 8ビットで表現される画像データ)及び音声データ（16ビット Zサンプル で表現される音声データ）として SDRAM106に書き戻す（図 4の S13、図 5の S22)
[0080] 最後に、 AVIOブロック 40は、 SDRAM106から画像ストリームと音声ストリームを 読み出し、画像ストリームについては REC656フォーマット等へのフォーマット変換を 施し、音声ストリームについては DZA変換等を施した後に、それぞれ、画像信号及 び音声信号として、図 6 (d)に示されるように、 LCD107やスピーカ等に出力する（図 4の S14、図 5の S23、 S24)。
[0081] なお、上記各処理ブロックによる処理（図 4の S11〜S14)は、画像ストリームについ てはパケット、マクロブロック、スライス、ピクチャ等の単位で、音声ストリームについて はパケット、フレーム等の単位でパイプライン処理される。そのとき、マイコンブロック 1 0、メディア処理ブロック 20、ストリーム IZOブロック 30及び AVIOブロック 40は、画 像及び音声ストリームのパケット等を SDRAM106に格納した場合に、格納した旨を 他のブロックに通知する。これによつて各パイプライン工程が流れる。
[0082] このように、本発明に係る映像音声処理用集積回路 100によれば、メモリカード 10 3等の外部デバイスカゝら与えられた圧縮画像音声ストリームは、画像ストリームと音声 ストリームとに多重分離され、伸張された後に、フォーマット変換され、画像信号及び 音声信号として出力される。つまり、 1つの LSIと外部メモリ（SDRAM106)だけで、 外部デバイスに格納された圧縮画像音声ストリームの再生が可能となる。
[0083] そして、この映像音声処理用集積回路 100によれば、各処理ブロックごとに画像デ ータゃ音声データを一時格納するバッファメモリを備えるのではなぐ全ての処理ブロ ックに共通の共有メモリ（SDRAM106)を備える。したがって、各処理ブロックに割り 当てるメモリサイズを自由に決定することができ、各処理ブロックでのデータ発生量や 処理負荷が異なる様々なアプリケーションに対して、この映像音声処理用集積回路 1 00を適用することができる。また、各ブロックは、独立してバッファメモリを備える必要 がないため、この映像音声処理用集積回路 100は、全体としてチップサイズを縮小 ィ匕することがでさる。
[0084] 次に、本発明に係る映像音声処理用集積回路のうち、 DTVや DVR等のサーバ系 アプリケーションに適したタイプの映像音声処理用集積回路について、より詳細に説 明する。
[0085] 図 7は、サーバ系アプリケーションに適した映像音声処理用集積回路 200の詳細な 構成を示す機能ブロック図である。
[0086] この映像音声処理用集積回路 200は、各種周辺デバイスとの接続や多種多様なメ ディア処理が必要とされるサーバ系の映像音声機器に適したシステム LSIであり、マ イコンブロック 210、メディア処理ブロック 220、ストリーム IZOブロック 230、 AVIOブ ロック 240及びメモリ IFブロック 250から構成される。各処理ブロック 210〜250は、基 本的には、上記映像音声処理用集積回路 100の処理ブロック 10〜50と同様の構成 を備える。以下、上記映像音声処理用集積回路 100と同様の構成要素には同一の 符号を付し、説明を省略する。
[0087] マイコンブロック 210は、上記映像音声処理用集積回路 100のマイコンブロック 10 力もクロック制御部 14と電源制御部 15とを除いた構成を備える。サーバ系のアプリケ ーシヨンでは、これらの低消費電力用回路が不要となるからである。なお、このマイコ ンブロック 210は、外部バスを介して、映像音声機器のメインプロセッサとなる外部マ スタ 201と接続され、外部マスタ 201による制御の下で動作することもできる。
[0088] メディア処理ブロック 220は、上記映像音声処理用集積回路 100のメディア処理ブ ロック 20における 1つのァクセラレータをデータ並列プロセッサ 221に代えた構成を 備える。データ並列プロセッサ 221は、 1つの命令で複数のデータに対する演算を実 行する SIMD (Single Instruction Multiple Data)型プロセッサであり、並列実 行可能な 8又は 16個（低並列度又は高並列度）の PE (プロセッサエレメント）を備え、 ァクセラレータに比べて消費電力が大きいが、データ処理量が大きぐ処理できる演 算の種類が豊富であり、多種多用なメディア処理が可能である。具体的には、 MPE G2 & 4に対応した同時符号 '復号化、 HDTVの 2ch分の映像信号の復号、 PS (Pro gram Stream)と TS (Transport Stream)との統合処理、 MPEG4— AVCによ る符号 ·復号ィ匕等のマルチフォーマットに対応した符号 ·復号ィ匕処理が可能なる。ま た、 MPEG2から MPEG4への変換、 HD (高解像度ビデオ信号）から SD (標準画質 ビデオ信号)への変換、低ビットレートイ匕等の各種変換も可能となる。さらに、画像を 表示するディスプレイデバイスに応じた高画質ィヒ制御等も可能となり、サーバ系アブ リケーシヨンに必要とされる各種メディア処理に対応することができる。
[0089] ストリーム IZOブロック 230は、上記映像音声処理用集積回路 100のストリーム ΙΖ Οブロック 30におけるストリーム処理部 35及びデバイス IF部 36を、より豊富な周辺デ バイスと接続可能なストリーム処理部 231及びデバイス IF部 232に代えた構成を備え る。ストリーム処理部 231は、映像音声処理用集積回路 100のストリーム処理部 35の 機能に加えて、放送やネットワーク等にも対応するために、外部に接続される TVチュ ーナ 202やイーサコントローラ 203からのストリームを処理する機能も備える。デバイ ス IF部 232は、 USB205、メモリカード 103用のインターフェース、ハードディスク 20 6や光ディスク 207用のディスクドライブインターフェース、差動 IF208等の集まりであ る。
[0090] AVIOブロック 240は、上記映像音声処理用集積回路 100の AVIOブロック 40から 撮像処理エンジン部 43を除いた構成を備え、小型の LCD107に代えて、 SD/HD 対応の大型 LCD212に画像を出力する機能を有する。
[0091] メモリ IFブロック 250は、上記映像音声処理用集積回路 100のメモリ IFブロック 50と 同様の機能を有するが、外部メモリ 210及び 211として、通常の SDRAMだけでなく 、DDR (Double Data Rate)型の SDRAMと接続する高速バスを備える。
[0092] このように、本発明に係る映像音声処理用集積回路 200は、多くの種類の周辺デ バイス用のインターフェース回路を備えるとともに、大容量で、かつ、多様なデータ処 理にも対応できるメディア処理用プロセッサも備えるので、サーバ系の映像音声機器 に適したシステム LSIである。このような映像音声処理用集積回路 200を用いること で、高機能な DTVや DVR等のサーバ系の映像音声機器を短い期間で開発すること ができる。
[0093] 以上のように、本発明に係る映像音声処理用集積回路は、特徴的な 5つの処理ブ ロック、つまり、あらゆる映像音声機器に共通の基本アーキテクチャを備えるとともに、 各処理ブロックでの構成を変更することでモパイル系アプリケーションやサーバ系ァ プリケーシヨンに適したタイプにカスタマイズすることができるという設計の自由度を有 する。これによつて、特定の機器の開発における設計資産を他の機器に流用すること が可能となる。
[0094] さらに、複数のブロックが合同で動作することにより、 TVチューナなどから入力され たストリームを処理した後に、指定されたコーデック方式で、ビデオ信号やオーディオ 信号を生成し、外部 LCDなどに画像出力したり、外部スピーカに音を出力する機能 を提供する力 メモリ IFブロック 250は、各ブロックとの間で、提供する機能に必要な バンド幅をそれぞれ確保するとともに、要求したアクセスレイテンシを保証する。これ らにより、上記のストリーム処理、信号生成処理、出力処理などは、必要な性能を不 足することなぐすなわち、 TV機能の実現においても、映像がコマ落ちしたり、音声 が途切れたりすることなぐ容易に達成できる。
[0095] 図 8は、本発明に係る映像音声処理用集積回路の特徴を示す説明図である。
ここでは、本発明に係る映像音声処理用集積回路は 2種類のアーキテクチャ (モバ ィル用及びサーバ用）をもつシステム LSIとして実現することができ、それら 2種類の 映像音声処理用集積回路は、共通設計思想をもち、かつ、 API (アプリケーションプ ログラムインターフェース）による整合が可能であることが示されている。さらに、モバ ィル用の映像音声処理用集積回路は携帯電話等のモパイルコミュニケーション及び ビデオカメラ等の AVCモパイルのシステム LSIとして、一方、サーバ用の映像音声処 理用集積回路は、 BDレコーダ等の AVCサーバ及び HDTV等の DTVのシステム L SIとして使用できることが示されて 、る。
[0096] 以上のように、本発明に係る映像音声処理用集積回路は、大きく分けると、 2つの 用途 (モノくィル系及びサーバ系）、より詳細に分けると、 4つの用途 (DTV、 AVCサ ーノ 、 AVCモパイル、モパイルコミュニケーション）における映像音声機器のシステム LSIとして適用することができ、かつ、それらの機器での設計資産の流用を可能にす る。
[0097] 次に、本発明に係る映像音声処理用集積回路のうち、映像処理 (特に再生と並行 して行われる録画処理)の性能を高めた映像音声処理用集積回路について、より詳 細に説明する。
[0098] 図 9は、映像処理の性能を高めた映像音声処理用集積回路 200aの詳細な構成を 示す機能ブロック図である。
[0099] この映像音声処理用集積回路 200aは、例えばハイビジョン放送番組 (HD)を視聴 しながら SDで録画したり、さらにはその SD映像を追つかけ再生するといつた応用に おいて映像処理性能の向上を果たすべく構成されたシステム LSIであり、マイコンブ ロック 210、メディア処理ブロック 220a、ストリーム I/Oブロック 230、 AVIOブロック 2 40a及びメモリ IFブロック 250から構成される。 [0100] 各処理ブロック 210、 220a, 230、 240a, 250ίま、基本的に ίま、上記映像音声処 理用集積回路 200の処理ブロック 210〜250と同様の構成を備える。この映像音声 処理用集積回路 200aは、画像ストリームとは別にそれから抽出される比較的少量の フィールド特徴情報を伝送するデータバス 75が、メディア処理ブロック 220aと AVIO ブロック 240aとを接続して設けられる点で特徴付けられる。以下、上記映像音声処 理用集積回路 200と同様の構成要素には同一の符号を付し、説明を省略する。
[0101] メディア処理ブロック 220aは、前述したメディア処理ブロック 20及び 220の特徴を 継承する高速な DSP等であり、 SDRAM210及び 211からデータバスデータバス 72 a及び 72bを介して読み出した画像 ·オーディオ ·音声データを MPEG規格等に沿つ て圧縮'伸張する。例えばハイビジョン放送番組 (HD)を視聴しながら SDに解像度 変換して録画するといつた応用においては、命令並列プロセッサ 21又はデータ並列 プロセッサ 221、若しくはその両方力 視聴する圧縮 HD画像音声多重ストリームの 多重分離及び伸張処理と、記録される圧縮 SD画像音声多重ストリームを得るための 圧縮及び多重化処理とをコンカレントに実行し、それぞれの処理結果を SDRAM21 0及び 211へ書き戻す。
[0102] AVIOブロック 240aは、メディア処理ブロック 220aによる多重分離及び伸張処理 の結果 SDRAM210、 211に書き戻された HD画像データを、バス 73a、 73bを介し て取得して大型 LCD212へ出力すると同時に、その HD画像データを解像度変換 処理して得た SD画像データを SDRAM210、 211へ書き戻す。そして、その処理の 際に知られたフィールド特徴情報 (例えば、フィールド内総和情報、フィールド間差分 情報）を、データバス 75を介してメディア処理ブロック 220aへとフィードバックする。
[0103] この解像度変換処理は、例えば、 AVIOブロック 240aのビデオ出力フォーマット変 換部 45によって行われる。ビデオ出力フォーマット変換部 45は、前述したように、出 力する映像信号の色空間等に起因する信号フォーマットを映像出力デバイスに適合 するフォーマットに変換する機能を有しており、その具体機能であるダウンサンプリン グ及びデシメーシヨンフィルタ機能をこの解像度変換処理に用いることができる。
[0104] 再び、メディア処理ブロック 220aは、このフィールド特徴情報を参照して、シーンチ ェンジが生じたフィールドやシーンチェンジの頻度を判断する。そして、その判断に 基づいて、例えばシーンチェンジ後のフレームを Iピクチャと決定し、またシーンチェ ンジが多発する期間にはそうでない期間に比べて圧縮率を上げて圧縮後のデータ 量の均一化を図りながら、 SD画像データを SD画像ストリームに圧縮し、さらに多重 化処理によって圧縮 SD画像音声多重ストリームを生成し、生成された圧縮 SD画像 音声多重ストリームを SDRAM210及び 211へ書き戻す。
[0105] 次に、以上のように構成された映像音声処理用集積回路 200aの動作について図 10〜図 12を用いて説明する。
[0106] 図 10は、 TVチューナ 202からハイビジョン放送信号である圧縮 HD画像音声多重 ストリームを読み出し、画像信号及び音声信号として出力しながら、 SD画像へと解像 度変換して記録する場合の映像音声処理用集積回路 200aの動作手順を示すフロ 一チャートである。
[0107] 図 11は、そのときの主要なデータの流れを示す図である。
図 12は、処理ブロック 220a、 240aでの処理内容を表す図である。
[0108] まず、マイコンブロック 10は、内蔵しているプログラムに従って、各処理ブロック 220 a、 230、 240aの初期設定等をする（図 10の S30)。たとえば、メディア処理ブロック 2 20aに対して MPEG4に基づく伸張処理（HD)及び MPEG2に基づく圧縮処理（SD )を指示し、ストリーム IZOブロック 230に対して TVチューナ 202から圧縮 HD画像 音声多重ストリームを取得すると共に圧縮 SD画像音声多重ストリームを HDD206に 記録するように指示し、 AVIOブロック 240aに対して音声出力と大型 LCD212への 映像出力と共に、 HD画像から SD画像への解像度変換を指示する。
[0109] 次に、ストリーム IZOブロック 230は、 TVチューナ 202から圧縮 HD画像音声多重 ストリームを読み出し、メディア処理ブロック 220aは、その圧縮 HD画像音声多重スト リーム力 ヘッダ情報等に基づいてバーサ処理等を行うことによって画像ストリームと 音声ストリームとを多重分離し、さらにその画像ストリームと音声ストリームとに伸張処 理を施した後、画像データ及び音声データとして SDRAM210、 211〖こ書き戻す。
[0110] ここまでの動作は、基本的には前述した映像音声処理用集積回路 100の動作（図 4及び図 5を参照）と同じであり、画像の解像度、及び圧縮画像音声多重ストリームが メモリカードから得られる力 TVチューナ力も得られるかが異なる。ここまでの動作に係 るデータの流れの図 11への図示は、省略する。
[0111] 続いて、 AVIOブロック 240は、 SDRAM210、 211から HD画像データと音声デー タを読み出し、図 12 (b)に示されるように、大型 LCD212やスピーカ等に出力する（ 図 10の S31、図 11の S40a、 S40b)。
[0112] この HD画像の出力と並行して、 AVIOブロック 240は、その HD画像に図 12 (a)に 示されるような解像度変換処理を施して得られた SD画像データを SDRAM210、 21 1へと書き戻すと共に、その処理の際に知られたフィールド内総和情報 (フィールドの 全体的な明るさを表す)、フィールド間差分情報 (直前のフィールドとの明るさの差を 表す)等といったフィールド特徴情報を生成する。このフィールド特徴情報は、例えば
AVIOブロック 240a内の図示しな!、小規模なバッファメモリに SD画像データのフィ 一ルドと対応付けて格納され、データバス 75を介してメディア処理ブロック 220aから の参照に供される（図 10の S32、図 11の S41a、 S41b)。
[0113] その後、メディア処理ブロック 220aは、 SDRAM210, 211から SD画像データと音 声データとを読み出すと共に、データバス 75を介してフィールド特徴情報を参照して 、 Iピクチャを決定し、また圧縮率を動的に変更しながら、その SD画像データと音声 データとを圧縮処理することによって SD画像ストリーム及び音声ストリームを生成して SDRAM210, 211へ書き戻す（図 10の S33、図 11の S42)。
[0114] そして、再び、メディア処理ブロック 220aは、 SDRAM210, 211力 SD画像ストリ ームと音声ストリームとを読み出し、それらを多重化処理することによって生成した圧 縮 SD画像音声多重ストリームを SDRAM210、 211へと書き戻す（図 10の S34、図 11の S43)。
[0115] 最後に、ストリーム IZOブロック 230は、 SDRAM210、 211から圧縮 SD画像音声 多重ストリームを読み出し、それを HDD206へと記録する（図 10の S35、図 11の S4 4)。
[0116] この圧縮 SD画像音声多重ストリームは、ハイビジョン放送の録画として HDD206 へ記録されてもよぐさらには所定の時間経過後に読み出され、図 12 (b)に示される ように、ハイビジョン放送と共にピクチャインピクチャ表示で追つかけ再生されるとして もよい。後者の場合には、図 10に示される動作にさらに HDD206に記録された圧縮 SD画像音声多重ストリームを再生する手順が追加される。
[0117] 上記各処理ブロックによる一連の処理（図 10の S31〜S35)においては、視聴する 放送番組のストリーム、記録されるストリーム、さらに追つかけ再生を行う場合には追 つかけ再生用のストリームの、 2つ乃至 3つのストリーム力 パケット、マクロブロック、ス ライス、ピクチャ、フレームといった周知の処理単位でパイプライン処理されることによ つて、コンカレントに処理される。
[0118] このように、本発明に係る映像音声処理用集積回路 200aによれば、メディア処理 ブロック 220aは、 AVIOブロック 240aにおいて知られたフィールド特徴情報を、デー タバス 75を介して参照して、記録画像の圧縮における Iピクチャを決定し、また圧縮 率を動的に調整する。これによつて、映像音声処理用集積回路 200aは、フィールド 特徴情報を得るための重複コストを避けて高い速度性能を得ると同時に、画質とデー タ量との良好なトレードオフを達成することができる。
[0119] なお、データバス 75は、前述したように、比較的少量のフィールド特徴情報をメディ ァ処理ブロック 220aと AVIOブロック 240aとの間に限定して伝送するため、各処理 ブロックに対するアプリケーションプログラムの独立性への影響はごく僅かであり、ま た、映像音声処理用集積回路上に占める実装面積も小さ 、。
[0120] ここまでに、 AVIOブロック 240aからメディア処理ブロック 220aへフィールド特徴情 報を供給することによって得られる優れた効果を、ハイビジョン放送の録画という顕著 な例を用いて説明した。この例の他にも、例えば、前記映像音声処理用集積回路 10 0 (図 3を参照）において、 AVIOブロック 40からメディア処理ブロック 20へ同様のフィ 一ルド特徴情報を供給すれば、放送の録画のみならず、デジタルカメラ等の外部機 器から取得される映像の録画において同様の効果を得ることができる。
[0121] 次に、本発明に係る映像音声処理用集積回路のうち、放送系及び蓄積系それぞ れの映像処理の共通化に適した映像音声処理用集積回路について、より詳細に説 明する。ここで、放送系とは TVチューナ、及びインターネット等力も得られる放送番 組に係る処理を言い、蓄積系とは HDD、 DVD,及びメモリカード等の記録媒体に蓄 積されて！、る番組に係る処理を言う。
[0122] 図 13は、放送系及び蓄積系それぞれの映像処理の共通化に適した映像音声処理 用集積回路 100aの詳細な構成を示す機能ブロック図である。
[0123] この映像音声処理用集積回路 100aは、放送系の処理 (例えば TVチューナ力も得 られる放送番組の再生)機能、及び蓄積系の処理 (例えば HDDに蓄積されている番 組の再生)機能を持つシステム LSIであり、マイコンブロック 10、メディア処理ブロック 20a,ストリーム I/Oブロック 30、 AVIOブロック 40、及びメモリ IFブロック 50から構成 される。
[0124] この映像音声処理用集積回路 100aは、メディア処理ブロック 20aに、ストリーム処 理抑制タイマ 28を持つ仮想マルチプロセッサ 21aを備える点で特徴付けられる。そ の他の構成は、基本的には、上記映像音声処理用集積回路 100と同様である。
[0125] 仮想マルチプロセッサ（VMP:Virtual Multi Processor)とは、一般的に、複数の論 理プロセッサ（LP:Logical Processor)の機能を時分割に演じる命令並列プロセッサの 一種を言う（一つの LPは、実体的には、物理プロセッサ（PP:Physical Processor)の レジスタ群に設定される一つのコンテキストである）。各 LPに割り当てる時間単位 (TS ： Time Slot)の頻度を管理することによって、各 LPによって実行されるアプリケーショ ン間の負荷バランスを保つことができる。 VMPの構成及び動作については、その代 表的な一例が特開 2003— 271399号公報に詳しく開示されているので、ここでは詳 細な説明を省略する。
[0126] 以下、上記映像音声処理用集積回路 100と同様の構成要素には同一の符号を付 し、説明を省略する。
[0127] メディア処理ブロック 20aは、上記映像音声処理用集積回路 100のメディア処理ブ ロック 20と同様、圧縮画像音声多重ストリームに係る多重化 ·多重分離処理、及び画 像 ·音声データの圧縮 ·伸張処理を行う回路ブロックであるが、命令並列プロセッサ 2 1上で実現されている仮想マルチプロセッサ 21aを備えている。
[0128] 仮想マルチプロセッサ 21aは、録画又は再生する圧縮画像音声多重ストリームごと に例えば 3つの LP (ストリーム LP、画像 LP、及び音声 LP)を用いて、ストリームの多 重化又は多重分離、画像の圧縮又は伸張、及び音声の圧縮又は伸張をそれぞれ行
[0129] これら各 LP〖こは、ストリーム、画像、及び音声それぞれの特性に応じて TSを割り当 てる。例えば、演算量を勘案して画像 LPには音声 LPよりも多くの TSを割り当てたり、 また放送信号の取りこぼし ( 、わゆるストリーム落ち）を防ぐためにストリーム LPを 1パ ケット受信ごとに TSを割り当てられるイベントドリブン LPとする力、又はストリーム処理 抑制タイマ 28の制御下で所定時間内の TS割り当てが禁止されるタイマ抑制付きィ ベントドリブン LPとする。
[0130] 各 LPへのこのような TSの割り当てが、各処理間の負荷バランスを良好に保つと同 時に、ストリーム落ちの防止に役立つことは明らかである。以下、ストリーム LPをタイマ 抑制付きイベントドリブン LPとすることが、放送系及び蓄積系それぞれの映像処理（ 特に再生処理)の共通化に役立つことを図 14及び図 15を用いて説明する。
[0131] 図 14は、放送系及び蓄積系両方のストリーム処理を共通に実行するタイマ抑制付 きイベントドリブン LPの動作手順を示すフローチャートである。
[0132] 図 15は、そのときの各イベントの発生タイミング、及びストリーム、画像、音声の各 L Pが動作する TSを、放送系のストリームを処理する場合及び蓄積系ストリームを処理 する場合それぞれについて示す図である。図面の右方向が時間の経過に対応し、 帯は TSの並び、その中の文字は TSで動作する LPを表している（Stream、 Video,及 び Audioは、それぞれストリーム LP、画像 LP、及び音声 LPを表し、空白は動作する L Pがないことを表す)。
[0133] まず放送系の場合について、時間 InFreqごとに TVチューナ力 パケットが取得され 入力イベントが発生するものとして、図 14及び図 15 (a)を用いて説明する。
[0134] 最初、入力イベント待ちでスリープして!/、るストリーム LPは（S50)、第 Nパケットの入 カイベントで起床して第 ITSで動作を開始する。そして、そのパケットを時間
StTime(N)で処理し終わると（S51)、時間 (Infreq-StTime(N))よりも短い時間のタイマ を起動し (S52)タイマイベント待ちのスリープに入る（S53)。第 2及び第 3TSはそれ ぞれ画像及び音声 LPに割り当てられる。
[0135] ストリーム LPは、第 4TS中に発生するタイマイベントで起床する。そして、第 5TSで 動作を開始すると、入力イベントを確認し (S54)、 N+ 1番パケットの入力イベントが あることを知って（S55 :YES)、そのパケットを処理する（S51)。以降、同様の動作が 繰り返される。 [0136] ここで、一つの具体例として、仮想マルチプロセッサの動作クロック周波数が
243[MHz]、ストリームが 70[Mbps]で入力される場合を考えると、 1秒あたりのパケット 数は、 70[Mbps]/(8[bit]xl88[byte/Packet]) 46543[Packet/sec]、パケットの処理周 期 InFreqは、 243[Mclock/sec]/46543[Packet/sec] 5221 [clock/packet]である。
[0137] このように、放送系の場合には、入力イベントそのものが比較的長い間隔で発生す ることによってストリーム LPの処理が制限され、その結果、ストリーム、映像、音声の 各 LPの負荷バランスが良好に保たれる。
[0138] 次に蓄積系の場合について、 1パケットの処理中に HDD力も後続パケットが取得さ れ次の入力イベントが発生するが、その後続パケットの処理は放送系と同じ時間 InFreq後に行 、た 、と 、う要請があるものとして、図 14及び図 15 (b)を用いて説明す る。
[0139] 最初、入力イベント待ちでスリープして!/、るストリーム LPは（S50)、第 Nパケットの入 カイベントで起床して第 ITSで動作を開始する。そして、そのパケットを時間
StTime(N)で処理し終わると（S51)、時間 (InFreq-StTime(N))のタイマを起動し（S52) タイマイベント待ちのスリープに入る（S53)。ストリーム LPは、第 ITS中に発生する第 N+ 1パケットの入力イベントでは起床せずスリープし続ける（図 15 (b)の第 N+ 1入 カイベントから始まる太 、点線)。
[0140] ストリーム LPが第 N+ 1パケットを処理しない限り、ストリーム用のバッファを持たな いストリーム I/Oブロック 30は後続パケットを読み込むことができず、第 N + 2パケット の読み出し処理は延期される。第 2及び第 3TSはそれぞれ画像及び音声 LPに割り 当てられる。
[0141] ストリーム LPは、第 4TS中に発生するタイマイベントで起床する。そして、第 5TSで 動作を開始すると、入力イベントを確認し (S54)、 N+ 1番パケットの入力イベントが あることを知って（S55 : YES)、そのパケットを処理し（S51)、その後タイマイベント待 ちのスリープに入る（S52、 S53)。ストリーム LPは、第 5TS中に発生する第 N + 2パ ケットの入力イベントでは起床せずスリープし続ける（図 15 (b)の第 N+ 2入カイベン トから始まる太い点線)。以降、同様の動作が繰り返される。
[0142] このように、蓄積系の場合には、入力イベントそのものは比較的短い間隔で発生し 得るのだが、そうなつた場合でもタイマイベント待ちのスリープによってストリーム LPの 処理が制限され、その結果、ストリーム、映像、音声の各 LPの負荷バランスが良好に 保たれる。
[0143] もし、蓄積系で、ストリーム LPがタイマイベント待ちでスリープしなかったとすれば、 ストリームを処理すればするだけ入力イベントが発生して結果的にストリーム LPに過 剰な TSを割り当てられ、画像 LPや音声 LPには必要量の TSが割り当てられず、画 像 ·音声処理が破綻してしまう。
[0144] 以上のように、本発明に係る映像音声処理用集積回路 100aは、メディア処理プロ ック 20aにおける仮想マルチプロセッサ 21aのタイマ抑制付きイベントドリブン LPによ つて、ストリーム処理を実行する。この処理は、放送系にも、またストリームが過剰に入 力され得る蓄積系にも共通に用いられ、ストリーム処理の過剰実行を自律的に抑制 して画像 ·音声処理の破綻を未然に防ぐだけでなぐストリーム IZOブロック 30にお V、てメディア処理ブロック 20aへ送るストリーム量を上限管理することも不要とする。こ れらの総体として、各処理ブロックに対するアプリケーションプログラムの独立性、簡 明性が向上し、ひいては設計資産の流用促進に貢献する。
[0145] なお、タイマ抑制付きイベントドリブン LPによるストリーム処理は、 2つのチャンネル をコンカレントに処理する場合にも適用できる。
[0146] 図 16は、そのときの各イベントの発生タイミング、及びストリーム、画像、音声の各 L Pが動作する TSを、（a) 2つの放送系のストリームを処理する場合、（b)放送系と蓄積 系それぞれのストリームを処理する場合、（c) 2つの蓄積系のストリームを処理する場 合それぞれについて示す図である。図面の右方向が時間の経過に対応し、帯は TS の列、その中の文字は TSで動作する LPを表している（文字 S、 V、及び Aは、それぞ れストリーム LP、画像 LP、及び音声 LPを表し、空白は動作する LPがないことを表す 。また、数字 0、 1はチャンネルを区別する）。
[0147] 図に示されるように、それぞれのストリームの放送系、蓄積系の区別に応じて、前記 説明したタイミング（図 15 (a)及び (b)を参照）でのイベントが発生する。蓄積系で、入 カイベントによる起床がタイマイベント待ちのスリープによって延期され、その結果スト リーム処理の過剰実行が防止されることは、前記と同様である。このように、タイマ抑 制付きイベントドリブン LPによるストリーム処理は、 2つのチャンネルをコンカレントに 処理する場合にも、ストリーム、画像、及び音声処理の負荷バランスを良好に保つ効 果を発揮する。
[0148] 以上、本発明に係る映像音声処理用集積回路について、実施の形態に基づいて 説明したが、本発明は、この実施の形態に限られるものではない。
[0149] たとえば、本発明に係る映像音声処理用集積回路はモパイル系とサーバ系の 2つ に分類されたが、これらの分類だけに限られない。たとえば、 AV機能付きノートパソ コン等のように、低消費電力と高解像度表示が求められる映像音声機器に適用する 場合には、クロック制御部 14、電源制御部 15及びデータ並列プロセッサ 221を併せ 持つ映像音声処理用集積回路を採用すればよい。
[0150] また、上記 4つの用途に適した映像音声処理用集積回路は、基本的に、図 1に示さ れた共通アーキテクチャを備えていればよぐ各ブロックが完全に同一の回路で構成 されている必要はない。例えば、上記 4つの用途に属する機器のうちの 1つを第 1機 器、他の 1つを第 2機器とした場合に、第 1機器用の映像音声処理用集積回路と第 2 機器用の映像音声処理用集積回路との間において、（1) CPUの命令セットの少なく とも一部で互換性がある、（2)命令並列プロセッサの命令セットの少なくとも一部で互 換性がある、（3) CPUのコアが同じ論理的接続 (ソフトマクロ）を有している、（4)命令 並列プロセッサのコアが同じ論理的接続を有している、（5) CPUのコアが同じマスク レイアウト（ノヽ一ドマクロ）を有して 、る、 (6) CPUのメモリマップ上での各ブロックの制 御レジスタ（各ブロックを制御するためのレジスタ）のアドレスが同じである、あるいは、 各処理で使う外部メモリ 9の領域が同じである等のいずれかの共通性があればよい。 このような共通性によって、処理ブロックの単位で、アプリケーションプログラムの流用 、あるいは、システム LSIとしての製造工程上の流用等が可能となり、全体としての開 発効率が向上する。
[0151] また、本実施の形態では、各処理ブロックに共有されるメモリは、システム LSIに外 付けされた力 システム LSIに内蔵されてもよい。
産業上の利用可能性
[0152] 本発明は、映像音声を扱う機器用のシステム LSIとして、特に、 DTV、 DVDレコー ダ等の AVCサーバ、デジタルカメラ等の AVCモパイル、携帯電話等のモバイルコミ ュ-ケーシヨン等の映像音声機器のシステム LSIとして利用することができる。

Claims

請求の範囲
[1] 映像及び音声信号を処理する映像音声処理用集積回路であって、
CPUを含むマイコンブロックと、
前記マイコンブロックによる制御の下で、外部装置と映像及び音声ストリームの入出 力を行うストリーム入出力ブロックと、
前記マイコンブロックによる制御の下で、前記ストリーム入出力ブロックに入力され た、あるいは、前記ストリーム入出力ブロックから出力される映像及び音声ストリーム の圧縮及び伸張の少なくとも 1つを含むメディア処理を実行するメディア処理ブロック と、
前記マイコンブロックによる制御の下で、前記メディア処理ブロックでメディア処理さ れた映像及び音声ストリームを映像及び音声信号に変換して外部機器に出力、ある いは、外部機器から映像及び音声信号を取得し、前記メディア処理ブロックでメディ ァ処理される映像及び音声ストリームに変換する AV入出力ブロックと、
前記マイコンブロックによる制御の下で、前記マイコンブロック、前記ストリーム入出 カブロック、前記メディア処理ブロック及び前記 AV入出力ブロックとメモリとの間のデ ータ転送を制御するメモリインターフェースブロックと
を備えることを特徴とする映像音声処理用集積回路。
[2] 前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及 び前記 AV入出力ブロックは、専用のデータバスで前記メモリインターフェースブロッ クと接続され、
前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及 び前記 AV入出力ブロックの間では、前記メモリを介して、前記映像及び音声ストリー ムの授受が行われる
ことを特徴とする請求項 1記載の映像音声処理用集積回路。
[3] 前記メモリインターフェースブロックは、前記マイコンブロック、前記ストリーム入出力 ブロック、前記メディア処理ブロック及び前記 AV入出力ブロックと前記メモリとの間の データ転送が並列に行われるようにデータ転送を中継する
ことを特徴とする請求項 2記載の映像音声処理用集積回路。
[4] 前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及 び前記 AV入出力ブロックは、前記映像及び音声ストリームをバッファリングするため のバッファメモリを有しな!/ヽ
ことを特徴とする請求項 2記載の映像音声処理用集積回路。
[5] 前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及 び前記 AV入出力ブロックは、前記映像及び音声ストリームを前記メモリに格納した 後に、格納した旨を他のブロックに通知する
ことを特徴とする請求項 2記載の映像音声処理用集積回路。
[6] 前記ストリーム入出力ブロックは、前記外部装置と映像及び音声ストリームの送受信 をするインターフェース部、送受信される映像及び音声ストリームの暗号又は復号を 行う暗号処理部、及び、前記外部装置と前記メモリとのデータ転送を制御するダイレ タトメモリアクセス制御部を有し、
前記メディア処理ブロックは、複数の信号処理命令を並列に実行する命令並列プ ロセッサ、演算処理を実行するァクセラレータ、及び、前記メモリとのデータ転送を制 御するダイレクトメモリアクセス制御部を有し、
前記 AV入出力ブロックは、画像データのグラフィックス処理を行うグラフィックスェ ンジン、及び、映像信号のフォーマットを変換するフォーマット変換部を有し、 前記メモリインターフェースブロックは、前記マイコンブロック、前記ストリーム入出力 ブロック、前記メディア処理ブロック及び前記 AV入出力ブロックと接続される複数の ポート、及び、前記複数のポートそれぞれにおけるデータ転送のタイミングを調整す るメモリスケジューラを有する
ことを特徴とする請求項 2記載の映像音声処理用集積回路。
[7] 前記マイコンブロックはさらに、前記 CPUへのクロックの供給を ONZOFFするクロ ック制御部及び電源の供給を ONZOFFする電源制御部の少なくとも 1つを有する ことを特徴とする請求項 6記載の映像音声処理用集積回路。
[8] 前記メディア処理ブロックはさらに、複数のデータに対する演算を並列に実行する データ並列プロセッサを備える
ことを特徴とする請求項 6記載の映像音声処理用集積回路。
[9] 前記映像音声処理用集積回路はさらに、前記ストリーム入出力ブロックと前記メディ ァ処理ブロックとを接続する信号線を備え、
前記メディア処理ブロックは、前記信号線を介して前記ストリーム入出力ブロックか ら入力される、あるいは、前記信号線を介して前記ストリーム入出力ブロックに出力す る映像及び音声ストリームのメディア処理を実行する
ことを特徴とする請求項 2記載の映像音声処理用集積回路。
[10] 前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック、前 記 AV入出力ブロック及び前記メモリインターフェースブロックにおける回路素子と回 路素子間の配線は、それぞれ、半導体基板上の回路層及び第 1配線層に形成され 前記データバスは、前記第 1配線層の上に位置する第 2配線層に形成されている ことを特徴とする請求項 2記載の映像音声処理用集積回路。
[11] 前記映像音声処理用集積回路は、異なる複数の機器用のシステム LSIとして用い られ、
前記機器には、デジタルテレビ、デジタルビデオレコーダ、ビデオカメラ及び携帯電 話が含まれる
ことを特徴とする請求項 2記載の映像音声処理用集積回路。
[12] 前記機器のうちの 1つを第 1機器、他の 1つを第 2機器とした場合に、
前記第 1機器用の映像音声処理用集積回路と前記第 2機器用の映像音声処理用 集積回路とで共通に行われる処理が、
前記第 1機器用の映像音声処理用集積回路のマイコンブロックで行われる場合は 、前記処理が前記第 2機器用の映像音声処理用集積回路のマイコンブロックで行わ れ、
前記第 1機器用の映像音声処理用集積回路のストリーム入出力ブロックで行われる 場合は、前記処理が前記第 2機器用の映像音声処理用集積回路のストリーム入出 カブロックで行われ、
前記第 1機器用の映像音声処理用集積回路のメディア処理ブロックで行われる場 合は、前記処理が前記第 2機器用の映像音声処理用集積回路のメディア処理ブロッ クで行われ、
前記第 1機器用の映像音声処理用集積回路の AV入出力ブロックで行われる場合 は、前記処理が前記第 2機器用の映像音声処理用集積回路の AV入出力ブロックで 行われる
ことを特徴とする請求項 11記載の映像音声処理用集積回路。
[13] 前記機器のうちの 1つを第 1機器、他の 1つを第 2機器とした場合に、
前記第 1機器用の映像音声処理用集積回路の CPUと前記第 2機器用の映像音声 処理用集積回路の CPUとは、命令セットの一部が互換性を有する
ことを特徴とする請求項 11記載の映像音声処理用集積回路。
[14] 前記メディア処理ブロックは、複数の信号処理命令を並列に実行する命令並列プ 口セッサを有し、
前記機器のうちの 1つを第 1機器、他の 1つを第 2機器とした場合に、
前記第 1機器用の映像音声処理用集積回路の命令並列プロセッサと前記第 2機器 用の映像音声処理用集積回路の命令並列プロセッサとは、命令セットの一部が互換 性を有する
ことを特徴とする請求項 11記載の映像音声処理用集積回路。
[15] 前記メディア処理ブロックは、複数の信号処理命令を並列に実行する命令並列プ 口セッサを有し、
前記機器のうちの 1つを第 1機器、他の 1つを第 2機器とした場合に、
前記第 1機器用の映像音声処理用集積回路の CPUのコアと前記第 2機器用の映 像音声処理用集積回路の CPUのコアとは、同じ論理的接続を有し、
前記第 1機器用の映像音声処理用集積回路の命令並列プロセッサのコアと前記第
2機器用の映像音声処理用集積回路の命令並列プロセッサのコアとは、同じ論理的 接続を有する
ことを特徴とする請求項 11記載の映像音声処理用集積回路。
[16] 前記メディア処理ブロックは、複数の信号処理命令を並列に実行する命令並列プ 口セッサを有し、
前記機器のうちの 1つを第 1機器、他の 1つを第 2機器とした場合に、 前記第 1機器用の映像音声処理用集積回路の CPUのコアと前記第 2機器用の映 像音声処理用集積回路の CPUのコアとは、同じマスクレイアウトを有し、
前記第 1機器用の映像音声処理用集積回路の命令並列プロセッサのコアと前記第 2機器用の映像音声処理用集積回路の命令並列プロセッサのコアとは、同じマスクレ ィアウトを有する
ことを特徴とする請求項 11記載の映像音声処理用集積回路。
[17] 前記機器のうちの 1つを第 1機器、他の 1つを第 2機器とした場合に、
前記第 1機器用の映像音声処理用集積回路における前記 CPUのメモリマップ上で の前記ストリーム入出力ブロック、前記メディア処理ブロック、前記 AV入出力ブロック 及び前記メモリインターフェースブロックの制御レジスタのアドレスと前記第 2機器用 の映像音声処理用集積回路における前記 CPUのメモリマップ上での前記ストリーム 入出力ブロック、前記メディア処理ブロック、前記 AV入出力ブロック及び前記メモリイ ンターフェースブロックの制御レジスタのアドレスとが共通する
ことを特徴とする請求項 11記載の映像音声処理用集積回路。
[18] 請求項 1記載の映像音声処理用集積回路を用いて機器を設計開発する方法であ つて、
前記機器には、デジタルテレビ、デジタルビデオレコーダ、ビデオカメラ及び携帯電 話が含まれる
ことを特徴とする機器の設計開発方法。
[19] 前記機器のうちの 1つを第 1機器、他の 1つを第 2機器とした場合に、
前記第 1機器用の映像音声処理用集積回路と前記第 2機器用の映像音声処理用 集積回路とで共通に行われる処理が、
前記第 1機器用の映像音声処理用集積回路のマイコンブロックで行われる場合は 、前記処理を前記第 2機器用の映像音声処理用集積回路のマイコンブロックで行 ヽ 前記第 1機器用の映像音声処理用集積回路のストリーム入出力ブロックで行われる 場合は、前記処理を前記第 2機器用の映像音声処理用集積回路のストリーム入出力 ブロックで行い、 前記第 1機器用の映像音声処理用集積回路のメディア処理ブロックで行われる場 合は、前記処理を前記第 2機器用の映像音声処理用集積回路のメディア処理ブロッ クで行い、
前記第 1機器用の映像音声処理用集積回路の AV入出力ブロックで行われる場合 は、前記処理を前記第 2機器用の映像音声処理用集積回路の AV入出力ブロックで 行う
ように設計開発することを特徴とする請求項 18記載の機器の設計開発方法。
[20] 前記 AV入出力ブロックはさらに、前記メディア処理ブロックでメディア処理された映 像ストリームカゝら変換されるか又は外部機器カゝら取得される映像信号を解像度変換 処理することによって記録用映像信号を生成すると共に、前記記録用映像信号によ つて表される映像フィールドのフィールド内総和及びフィールド間差分の少なくとも一 方を表すフィールド特徴情報を生成し、
前記メディア処理ブロックはさらに、前記フィールド特徴情報を参照して前記記録用 映像信号を記録用映像ストリームに変換する
ことを特徴とする請求項 2記載の映像音声処理用集積回路。
[21] 前記映像音声処理用集積回路はさらに、前記メディア処理ブロックと前記 AV入出力 ブロックとを接続する信号線を備え、
前記メディア処理ブロック及び前記 AV入出力ブロックの間では、前記信号線を介 して、前記フィールド特徴情報の授受が行われる
ことを特徴とする請求項 20記載の映像音声処理用集積回路。
[22] 前記メディア処理ブロックは、一つの映像音声多重ストリームに関連して、ストリーム の多重化又は多重分離処理、画像データの圧縮又は伸張処理、音声データの圧縮 又は伸張処理を時分割に実行しつつ、前記ストリームの多重化又は多重分離処理が 所定の時間内に複数回起動されることを禁止する
ことを特徴とする請求項 2記載の映像音声処理用集積回路。
[23] 前記メディア処理ブロックは、複数の論理プロセッサを時分割に演じる仮想マルチ プロセッサを有し、
前記ストリームの多重化又は多重分離処理、前記画像データの圧縮又は伸張処理 、前記音声データの圧縮又は伸張処理は、それぞれ前記仮想マルチプロセッサが 演じる異なる論理プロセッサによって実行され、
前記ストリームの多重化又は多重分離処理を実行する論理プロセッサは、前記スト リームの所定単位を処理し終わると、所定のタイマが満了するまでスリープする ことを特徴とする請求項 22記載の映像音声処理用集積回路。
PCT/JP2005/006490 2004-04-01 2005-04-01 映像音声処理用集積回路 WO2005096168A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006511846A JP4857106B2 (ja) 2004-04-01 2005-04-01 映像音声処理用集積回路及び機器の設計開発方法
EP05728836A EP1732009A4 (en) 2004-04-01 2005-04-01 INTEGRATED SWITCHING FOR VIDEO / AUDIO PROCESSING
US10/599,494 US8811470B2 (en) 2004-04-01 2005-04-01 Integrated circuit for video/audio processing
US14/314,435 US9361259B2 (en) 2004-04-01 2014-06-25 Integrated circuit with multipurpose processing and for video/audio processing optimization

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004108970 2004-04-01
JP2004-108970 2004-04-01

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US10/599,494 A-371-Of-International US8811470B2 (en) 2004-04-01 2005-04-01 Integrated circuit for video/audio processing
US14/314,435 Continuation US9361259B2 (en) 2004-04-01 2014-06-25 Integrated circuit with multipurpose processing and for video/audio processing optimization

Publications (1)

Publication Number Publication Date
WO2005096168A1 true WO2005096168A1 (ja) 2005-10-13

Family

ID=35063977

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/006490 WO2005096168A1 (ja) 2004-04-01 2005-04-01 映像音声処理用集積回路

Country Status (6)

Country Link
US (2) US8811470B2 (ja)
EP (2) EP2207103A1 (ja)
JP (5) JP4857106B2 (ja)
KR (1) KR20070011335A (ja)
CN (5) CN101626473B (ja)
WO (1) WO2005096168A1 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166597A (ja) * 2005-11-15 2007-06-28 Seiko Epson Corp 情報再生装置及び電子機器
WO2007125848A1 (ja) * 2006-04-24 2007-11-08 Panasonic Corporation データ処理装置、データ処理方法、データ処理プログラム、およびそのデータ処理プログラムを記録した記録媒体、並びに集積回路
JP2008165746A (ja) * 2006-12-06 2008-07-17 Toshiba Corp アクセラレータ、情報処理装置及び情報処理方法
JP2008176682A (ja) * 2007-01-22 2008-07-31 Renesas Technology Corp 半導体集積回路及びデータ処理システム
JP2008206006A (ja) * 2007-02-22 2008-09-04 Matsushita Electric Ind Co Ltd 暗号化ストリーム再生方式、装置、プログラム、及び媒体
JP2009017535A (ja) * 2007-05-25 2009-01-22 Nvidia Corp マルチメディア信号の符号化
JP2009070450A (ja) * 2007-09-11 2009-04-02 Canon Inc 映像信号処理装置及び映像信号処理方法
KR100920432B1 (ko) 2006-08-21 2009-10-08 후지쯔 마이크로일렉트로닉스 가부시키가이샤 화상 처리 장치 및 화상 처리 방법
WO2010113226A1 (ja) * 2009-04-03 2010-10-07 パナソニック株式会社 半導体集積回路装置および映像音響処理システム
JP2012015807A (ja) * 2010-06-30 2012-01-19 Toshiba Corp グラフィクスプロセッシングユニットおよび情報処理装置
JP2012016043A (ja) * 2011-08-25 2012-01-19 Toshiba Corp グラフィクスプロセッシングユニットおよび情報処理装置
US8660182B2 (en) 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
US8660380B2 (en) 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
US8666181B2 (en) 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
US8724702B1 (en) 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
US8756482B2 (en) 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
US8850168B2 (en) 2009-02-24 2014-09-30 Panasonic Corporation Processor apparatus and multithread processor apparatus
US8873625B2 (en) 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
US9118927B2 (en) 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
US9330060B1 (en) 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101365A1 (ja) * 2004-04-16 2005-10-27 Rohm Co., Ltd 画像処理装置
JP4355348B2 (ja) * 2007-07-10 2009-10-28 パナソニック株式会社 クロック供給回路及びその設計方法
US8515052B2 (en) 2007-12-17 2013-08-20 Wai Wu Parallel signal processing system and method
WO2009084080A1 (ja) * 2007-12-27 2009-07-09 Panasonic Corporation 映像表示システム、表示装置、プラグインモジュールおよびプラグインモジュールの電源制御方法
JP4968145B2 (ja) * 2008-03-31 2012-07-04 ソニー株式会社 放送信号受信機およびその受信制御方法、並びにｉｃ
JP2010015233A (ja) * 2008-07-01 2010-01-21 Panasonic Corp 集積回路及び電子機器
US8755515B1 (en) * 2008-09-29 2014-06-17 Wai Wu Parallel signal processing system and method
JP4760889B2 (ja) * 2008-10-07 2011-08-31 ソニー株式会社 信号処理装置および方法、並びにプログラム
US20100161856A1 (en) * 2008-12-22 2010-06-24 Solid State System Co., Ltd. Usb audio and mobile audio system using usb audio controller
US7962668B2 (en) * 2008-12-22 2011-06-14 Solid State System Co., Ltd. USB audio controller
WO2010095182A1 (ja) * 2009-02-17 2010-08-26 パナソニック株式会社 マルチスレッドプロセッサ及びデジタルテレビシステム
US8564657B2 (en) * 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
WO2011094346A1 (en) * 2010-01-26 2011-08-04 Hobbs Barry L Integrated concurrent multi-standard encoder, decoder and transcoder
WO2012020438A1 (en) * 2010-08-11 2012-02-16 Av Tech S.R.L. Device for processing and recording of high-definition images
US20120314777A1 (en) * 2011-06-13 2012-12-13 Ati Technologies Ulc Method and apparatus for generating a display data stream for transmission to a remote display
US9258579B1 (en) * 2011-06-30 2016-02-09 Sprint Communications Company L.P. Temporal shift of object resolution and optimization
JP2014063259A (ja) * 2012-09-20 2014-04-10 Fujitsu Ltd 端末装置，及び処理プログラム
US9165538B2 (en) * 2013-03-13 2015-10-20 Displaylink (Uk) Limited Image generation
US9384302B2 (en) * 2013-06-17 2016-07-05 International Business Machines Corporation Generating differences for tuple attributes
US9973754B2 (en) * 2014-03-18 2018-05-15 Texas Instruments Incorporated Low power ultra-HD video hardware engine
CN105094258A (zh) * 2014-04-16 2015-11-25 鸿富锦精密工业(武汉)有限公司 电源供应器及外壳
CN104460921B (zh) * 2014-10-29 2017-11-07 英业达科技有限公司 服务器系统
US9715475B2 (en) * 2015-07-21 2017-07-25 BigStream Solutions, Inc. Systems and methods for in-line stream processing of distributed dataflow based computations
CN105207816A (zh) * 2015-09-16 2015-12-30 国网智能电网研究院 一种多缓冲并行加密的软件调度方法
US10244249B2 (en) * 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10129558B2 (en) 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
EP3466056A4 (en) 2016-06-06 2020-02-26 Theatrixx Technologies Inc. VIDEO CONVERTER WITH INTEGRATED POWER SUPPLY
JP6865202B2 (ja) 2018-10-18 2021-04-28 矢崎総業株式会社 通信システム
US10747692B2 (en) * 2018-12-27 2020-08-18 Texas Instruments Incorporated Image processing accelerator
JP2021013117A (ja) * 2019-07-08 2021-02-04 キヤノン株式会社 集積回路チップ及び撮像装置
WO2023279326A1 (zh) * 2021-07-08 2023-01-12 深圳爱特天翔科技有限公司 音视频传输方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1102169A1 (en) * 1999-11-17 2001-05-23 Matsushita Electric Industrial Co., Ltd. System integrated circuit with monitoring means of internal buses
US20030222877A1 (en) * 2002-06-03 2003-12-04 Hitachi, Ltd. Processor system with coprocessor

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62145458A (ja) * 1985-12-20 1987-06-29 Nec Corp マイクロコンピユ−タ
SG34287A1 (en) * 1994-10-28 1996-12-06 Hitachi Ltd Input-output circuit recording apparatus and reproduction apparatus for digital video signal
WO1997004401A2 (en) 1995-07-21 1997-02-06 Philips Electronics N.V. Multi-media processor architecture with high performance-density
US5797028A (en) * 1995-09-11 1998-08-18 Advanced Micro Devices, Inc. Computer system having an improved digital and analog configuration
US6058459A (en) * 1996-08-26 2000-05-02 Stmicroelectronics, Inc. Video/audio decompression/compression device including an arbiter and method for accessing a shared memory
US5977997A (en) 1997-03-06 1999-11-02 Lsi Logic Corporation Single chip computer having integrated MPEG and graphical processors
US6118462A (en) * 1997-07-01 2000-09-12 Memtrax Llc Computer system controller having internal memory and external memory control
JP3573614B2 (ja) 1998-03-05 2004-10-06 株式会社日立製作所 画像処理装置及び画像処理システム
US6041400A (en) 1998-10-26 2000-03-21 Sony Corporation Distributed extensible processing architecture for digital signal processing applications
US6380558B1 (en) * 1998-12-29 2002-04-30 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and method of fabricating the same
JP3433125B2 (ja) * 1999-01-27 2003-08-04 三洋電機株式会社 動画像再生装置
CN2417544Y (zh) * 2000-03-08 2001-01-31 深圳凌云电子有限公司 Mp3数码录放复读机
JP4481511B2 (ja) * 2000-08-18 2010-06-16 富士通株式会社 情報機器、情報機器の制御方法及び制御方法のプログラム
US20020156953A1 (en) * 2001-02-28 2002-10-24 Beiley Mark A. Dynamic bus inversion method
US7403564B2 (en) * 2001-11-21 2008-07-22 Vixs Systems, Inc. System and method for multiple channel video transcoding
JP3655266B2 (ja) 2002-07-16 2005-06-02 株式会社東芝 情報処理装置
US7139849B2 (en) * 2002-08-07 2006-11-21 Matsushita Electric Industrial Co., Ltd. Semiconductor integrated circuit device
US7971030B2 (en) * 2002-08-07 2011-06-28 Mmagix Technology Limited Method for using multiple processing resources which share multiple co-processor resources
DE60314347T2 (de) 2002-09-30 2007-09-27 Matsushita Electric Industrial Co., Ltd., Kadoma Betriebsmittelverwaltungsgerät
JP2004246862A (ja) 2002-09-30 2004-09-02 Matsushita Electric Ind Co Ltd リソース管理装置
US7586925B2 (en) * 2003-09-09 2009-09-08 Sonus Networks, Inc. Data adaptation protocol

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1102169A1 (en) * 1999-11-17 2001-05-23 Matsushita Electric Industrial Co., Ltd. System integrated circuit with monitoring means of internal buses
US20030222877A1 (en) * 2002-06-03 2003-12-04 Hitachi, Ltd. Processor system with coprocessor

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KIMURA K. ET AL.: "Software deno Jitsujikan Shori o Jitsugen shita Minseiyo Media Shori Processor "Media Core Processor"", MATSUSHITA TECHNICAL JOURNAL, vol. 45, no. 2, 18 April 1999 (1999-04-18), pages 99 - 106, XP008111221 *
See also references of EP1732009A4 *
UEHARA H. ET AL.: "DTV Global Platform no Kaihatsu.", MATSUSHITA TECHNICAL JOURNAL., vol. 50, no. 1, 18 February 2004 (2004-02-18), pages 2 - 6, XP008111222 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330060B1 (en) 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US8660182B2 (en) 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
JP2007166597A (ja) * 2005-11-15 2007-06-28 Seiko Epson Corp 情報再生装置及び電子機器
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
US8724702B1 (en) 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
US8265274B2 (en) 2006-04-24 2012-09-11 Panasonic Corporation Data processing device, data processing method, data processing program, recording medium containing the data processing program and integrated circuit
JP4902644B2 (ja) * 2006-04-24 2012-03-21 パナソニック株式会社 データ処理装置、データ処理方法、データ処理プログラム、およびそのデータ処理プログラムを記録した記録媒体、並びに集積回路
WO2007125848A1 (ja) * 2006-04-24 2007-11-08 Panasonic Corporation データ処理装置、データ処理方法、データ処理プログラム、およびそのデータ処理プログラムを記録した記録媒体、並びに集積回路
KR100920432B1 (ko) 2006-08-21 2009-10-08 후지쯔 마이크로일렉트로닉스 가부시키가이샤 화상 처리 장치 및 화상 처리 방법
US8666166B2 (en) 2006-08-25 2014-03-04 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
US8660380B2 (en) 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
JP2008165746A (ja) * 2006-12-06 2008-07-17 Toshiba Corp アクセラレータ、情報処理装置及び情報処理方法
JP2008176682A (ja) * 2007-01-22 2008-07-31 Renesas Technology Corp 半導体集積回路及びデータ処理システム
JP2008206006A (ja) * 2007-02-22 2008-09-04 Matsushita Electric Ind Co Ltd 暗号化ストリーム再生方式、装置、プログラム、及び媒体
US8756482B2 (en) 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
JP2009017535A (ja) * 2007-05-25 2009-01-22 Nvidia Corp マルチメディア信号の符号化
US9118927B2 (en) 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
US8873625B2 (en) 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
JP2009070450A (ja) * 2007-09-11 2009-04-02 Canon Inc 映像信号処理装置及び映像信号処理方法
US8666181B2 (en) 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
US8850168B2 (en) 2009-02-24 2014-09-30 Panasonic Corporation Processor apparatus and multithread processor apparatus
WO2010113226A1 (ja) * 2009-04-03 2010-10-07 パナソニック株式会社 半導体集積回路装置および映像音響処理システム
US8174529B2 (en) 2010-06-30 2012-05-08 Kabushiki Kaisha Toshiba Graphics processing unit and information processing apparatus
JP2012015807A (ja) * 2010-06-30 2012-01-19 Toshiba Corp グラフィクスプロセッシングユニットおよび情報処理装置
JP2012016043A (ja) * 2011-08-25 2012-01-19 Toshiba Corp グラフィクスプロセッシングユニットおよび情報処理装置

Also Published As

Publication number Publication date
CN101626473B (zh) 2013-07-10
CN101626475B (zh) 2011-05-04
US20140310442A1 (en) 2014-10-16
CN101626473A (zh) 2010-01-13
US20070286275A1 (en) 2007-12-13
US8811470B2 (en) 2014-08-19
JP4857106B2 (ja) 2012-01-18
JP2010148153A (ja) 2010-07-01
KR20070011335A (ko) 2007-01-24
CN101626476A (zh) 2010-01-13
CN100545825C (zh) 2009-09-30
CN101626475A (zh) 2010-01-13
EP1732009A1 (en) 2006-12-13
JP2010182321A (ja) 2010-08-19
CN101626476B (zh) 2010-12-08
JP2010136452A (ja) 2010-06-17
CN1938697A (zh) 2007-03-28
US9361259B2 (en) 2016-06-07
JPWO2005096168A1 (ja) 2007-08-16
JP2010141925A (ja) 2010-06-24
EP2207103A1 (en) 2010-07-14
CN101626474A (zh) 2010-01-13
EP1732009A4 (en) 2009-07-15

Similar Documents

Publication Publication Date Title
JP4857106B2 (ja) 映像音声処理用集積回路及び機器の設計開発方法
TW567728B (en) Method and apparatus for decoding graphic image
US20140078020A1 (en) Terminal apparatus, integrated circuit, and computer-readable recording medium having stored therein processing program
JP3438223B2 (ja) 多重化装置および多重化方法、並びに伝送装置および伝送方法
CN102364945A (zh) 多画面图像解码显示的方法及其视频监控终端
JP2015084513A (ja) 表示フォワーディング機能および関連デバイスへの互換性通知を利用してコンテンツ共有を行うための方法
JP4581316B2 (ja) ディジタルテレビジョン受信機およびディジタルテレビジョン受信機における拡張機能提供方法
US8190582B2 (en) Multi-processor
US20120177348A1 (en) Media processing method and media processing program
US20110200119A1 (en) Information processing apparatus and method for reproducing video image
Iwasaki et al. Single-chip MPEG-2 422P@ HL CODEC LSI with multi-chip configuration for large scale processing beyond HDTV level
KR20160039922A (ko) 영상처리장치 및 그 제어방법
JP4331488B2 (ja) 集積回路及びそれを用いた電子機器
WO2021004049A1 (zh) 显示装置、音频数据传输方法及装置
US10306298B2 (en) Image processing apparatus and control method thereof
JP2008140368A (ja) 表示用にネットワークを介して通信されるコンテンツを処理するためのマルチグラフィックスプロセッサシステム及び方法
KR101115942B1 (ko) 텔레비젼 수상기에서의 섬네일 이미지 처리 장치 및 방법
WO2009150836A1 (ja) デコード装置、情報処理システムおよび動画像記録再生システム
JP2003274326A (ja) 情報処理装置及び情報処理方法
US8098737B1 (en) Robust multi-tuner/multi-channel audio/video rendering on a single-chip high-definition digital multimedia receiver
JPH10294940A (ja) 画像伝送システム及び画像伝送装置
JP2005316976A (ja) 半導体装置及びそれを用いた携帯電話

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2006511846

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 1020067019920

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2005728836

Country of ref document: EP

Ref document number: 200580010416.0

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE

WWP Wipo information: published in national office

Ref document number: 2005728836

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020067019920

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 10599494

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10599494

Country of ref document: US