WO2003091947A1 - Dispositif de traitement d'image - Google Patents

Dispositif de traitement d'image Download PDF

Info

Publication number
WO2003091947A1
WO2003091947A1 PCT/JP2003/005328 JP0305328W WO03091947A1 WO 2003091947 A1 WO2003091947 A1 WO 2003091947A1 JP 0305328 W JP0305328 W JP 0305328W WO 03091947 A1 WO03091947 A1 WO 03091947A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
liquid crystal
output
interface
Prior art date
Application number
PCT/JP2003/005328
Other languages
English (en)
French (fr)
Inventor
Tadashi Kayada
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to AU2003234991A priority Critical patent/AU2003234991A1/en
Priority to EP03727992A priority patent/EP1422659A1/en
Priority to KR10-2003-7016899A priority patent/KR20040016894A/ko
Priority to US10/480,939 priority patent/US20040119718A1/en
Publication of WO2003091947A1 publication Critical patent/WO2003091947A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/06—Use of more than one graphics processor to process data before displaying to one or more screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus

Definitions

  • the present invention relates to an image processing device (
  • an image display interface and an image input interface are mounted on an MPU (Micro Processor Unit) that controls the entire device, and these are mounted on an image display device such as a liquid crystal panel.
  • MPU Micro Processor Unit
  • an image is directly transferred from the MPU to the image display device, and the image is transferred from the MPU to the image display device.
  • the image processing performed by the communication terminal device is becoming more complicated and sophisticated year by year, such as a TV phone using moving images and three-dimensional graphic processing.
  • terminals equipped with multiple cameras and terminals equipped with multiple liquid crystal panels are appearing.
  • An object of the present invention is to suppress an increase in data traffic and expand functions without changing existing peripheral devices.
  • the subject of the present invention is to switch the input and output of each of a plurality of cameras, liquid crystal panels, and processors in order to prevent data traffic from passing through redundant paths.
  • an image processing apparatus includes: a first processing unit configured to perform a display image generation process using image data; and a display image different from the first processing unit using the image data.
  • a configuration including: a second processing unit that performs a generation process; and a switching unit that switches and outputs processing results obtained by the first processing unit and the second processing unit.
  • a communication terminal device has a configuration including the image processing device described above.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to Embodiment 1 of the present invention
  • FIG. 2 is a block diagram illustrating a configuration of an image processing apparatus according to Embodiment 2 of the present invention
  • FIG. FIG. 4 is a block diagram illustrating a configuration of an image processing apparatus according to Embodiment 3 of the present invention
  • FIG. 4 is a block diagram illustrating a configuration of an image processing apparatus according to Embodiment 4 of the present invention
  • FIG. FIG. 6 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 6 of the present invention
  • FIG. FIG. 7 is a block diagram illustrating a configuration of an image processing apparatus according to Embodiment 7 of the present invention
  • FIG. 8 is a block diagram showing a configuration of an image processing device according to Embodiment 8 of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • the image processing apparatus shown in FIG. 1 includes a camera module, a liquid crystal module, a main processor, a sub-processor, a RAM (Random Access Memory) 200, and a ROM (Read Only Memory) 300.
  • the processor, sub-processor, RAM 200, and ROM 300 are connected via main bus 700.
  • the main processors are MPU (Micro Processor Unit) 100, DSP (Digital Signal Processor) 110, camera interface 120, night crystal interface 130, gate 140, image output switching unit 15 0, and a bus conversion section 160 power.
  • the sub-processor comprises an image processor 400, a liquid crystal interface 410, and a gate 420.
  • the camera module includes a signal processing interface 500 and a sensor 510.
  • the liquid crystal module includes a driver 600 and a liquid crystal panel 610.
  • the MPU 100 performs control other than image generation and image processing.
  • the DSP 110 performs signal processing such as image processing.
  • the camera interface 120 captures image data obtained by the camera module into the main processor.
  • the liquid crystal interface 130 outputs a synchronizing signal for displaying an image on the liquid crystal panel 6 10 and an image processed by the DSP 110 to the liquid crystal module.
  • Gate The output unit 140 outputs an image from the liquid crystal interface 130 under the control of the image output switching unit 150. Further, the gate 140 prevents the image output from the gate 420 of the sub-processor from being input to the liquid crystal interface 130 of the main processor.
  • the image output switching unit 150 controls the gate 140 and the gate 420 to switch the image output to the liquid crystal module.
  • a gate (gout 140) for outputting a signal from the interface (liquid crystal interface 130) in the main processor in only one direction is provided, and a switching unit (switching for switching to an external gate) is provided.
  • a sub-processor also having an interface (liquid crystal interface 410) and a gate (gate 420).
  • the bus conversion unit 160 connects the main processor to the RAM 200, ROM 300, and the main bus 700 to which the sub-processor is connected.
  • RAM 200 and ROM 300 store sub-processor instructions, operation data, and the like.
  • the image processor 400 performs processing of a moving image having a high processing load.
  • the liquid crystal interface 410 outputs a synchronization signal and an image processed by the image processor 400 to the liquid crystal module.
  • the gate 420 outputs an image from the liquid crystal interface 410 under the control of the image output switching unit 150. Further, the gate 420 prevents an image output from the gate 140 of the main processor from being input to the liquid crystal interface 410 of the sub-processor.
  • the output image of the liquid crystal interface 130 of the main processor and the output image of the liquid crystal interface 410 of the sub-processor are wired-ORed and input to the liquid crystal module. The image that is wired or input to the liquid crystal module is switched by the image output switching unit 150.
  • the signal processing interface 500 outputs image data such as YUV (Y-signal U-signal V-signal) data obtained by the sensor 501 to the camera interface 120 of the main processor.
  • Sensor 510 captures image data. Get.
  • the driver 600 drives the liquid crystal panel 6100.
  • the liquid crystal panel 610 displays an image output from the gate 140 or the gate 420.
  • image data is acquired by the sensor 510.
  • This image data may be a still image or a moving image.
  • the obtained image data is output to the camera interface 120 of the main processor via the signal processing interface 500.
  • the image data is, for example, a still image or a low-resolution moving image
  • the load of image processing is relatively low, so that the image data is processed by the DSP 110 of the main processor, and a desired image such as an RGB (Red Green Blue) image is obtained.
  • An image is generated. If the image data is, for example, a high-resolution moving image, it is necessary to perform high-speed calculations and the like, and the load of image processing is high.
  • the data is output to the processing processor 400, processed, and a desired image is generated.
  • the image generated by the DSP 110 is output to the liquid crystal interface 130.
  • the image generated by the image processor 400 is output to the liquid crystal interface 410.
  • the image output switching unit 150 is controlled by the MPU 100, and the gut 140 and the gut 420 are controlled by the image output switching unit 150, thereby achieving synchronization.
  • the signals and the image generated by the DSP 110 or the image processor 400 are output to the driver 600 of the liquid crystal module.
  • the switching of the output image by the image output switching unit 150 is performed by a tri-state operation.
  • the gates 140 and 420 prevent the images output from the respective gates from being input to the liquid crystal interface 130 and the liquid crystal interface 410 of each processor.
  • the image will be input only to the driver 600.
  • the liquid crystal panel 610 is driven by the driver 600, and an image is displayed on the liquid crystal panel 610.
  • a sub-processor is provided, and the image generated by the image processing processor 400 of the sub-processor is transmitted from the liquid crystal interface 410 of the sub-processor instead of the liquid crystal interface 130 of the main processor. Since the image is output directly to the liquid crystal module, the generated image does not increase the traffic on the main bus 700.
  • image data having a relatively low processing load is processed by the main processor
  • image data having a high processing load is processed by the sub-processor
  • processed by each processor Since the generated image is switched and output to the LCD module for display, for example, the display of a menu screen with light processing is output and displayed from the main processor, and the heavy processing such as moving image processing is performed. Processing can be performed by the sub-processor and displayed directly on the liquid crystal module. New functions with a heavy processing load can be easily added, and bus traffic of the main processor can be reduced.
  • FIG. 2 is a block diagram illustrating a configuration of an image processing apparatus according to Embodiment 2 of the present invention.
  • the same parts as those in the image processing apparatus shown in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted.
  • the liquid crystal interface 130a outputs a synchronizing signal for displaying an image on the liquid crystal panel 610 and an image processed by the DSP 110 to the liquid crystal module.
  • the liquid crystal interface 130a outputs a synchronization signal to the liquid crystal interface 410a of the sub-processor.
  • the liquid crystal interface 410a outputs the synchronization signal output from the liquid crystal interface 130a and the image processed by the image processor 400 to the liquid crystal module.
  • image data such as YUV data acquired by the sensor 510 is transmitted to the DSP 11 via the signal processing interface 500 and the camera interface 120. 0 or input to the image processing processor 400, image processing is performed, and a desired image such as an RGB image is generated.
  • the image generated by the DSP 110 is output to the liquid crystal interface 130a.
  • the image generated by the image processing processor 400 is output to the liquid crystal interface 410a.
  • the image output switching unit 150 is controlled by the MPU 100, and the gates 140 and 420 are controlled by the image output switching unit 150, whereby the synchronization signal and the DSP 110 or the image processor are controlled.
  • the image generated by 400 is output to driver 600 of the liquid crystal module.
  • the synchronization signal includes a pixel clock, a horizontal synchronization signal (Hsync), and a vertical synchronization signal (Vsync) such as a vertical synchronization signal (Vsync).
  • the switching when switching between the output image from the main processor and the output image from the sub-processor, the switching is performed without changing the synchronization signal. And seamless switching of images can be performed.
  • FIG. 3 is a block diagram showing a configuration of an image processing device according to Embodiment 3 of the present invention.
  • the same parts as those in the image processing apparatus shown in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted.
  • the image processing device shown in FIG. 3 is different from the image processing device shown in FIG. 1 in that the gut 140, the image output switching unit 150, and the gate 420 are eliminated, and the liquid crystal interface 410
  • the difference is that a camera interface 4300 is installed in place of the above, and the signal processing interface 500 and the camera interface 4300 are connected.
  • image data is acquired by the sensor 510.
  • This image data may be a still image or a moving image. If the image data is, for example, a still image or a low-resolution moving image, the image data is output from the signal processing interface 500 to the camera interface 120, processed by the DSP 110, and the desired image is processed. Generated.
  • the image data is, for example, a high-resolution moving image
  • the image data is output from the signal processing interface 500 to the camera interface 430 and is processed by the image processing processor 400 to generate a desired image. Is done.
  • the image generated by the DSP 110 or the image processor 400 is output to the liquid crystal interface 130 via the main bus 700, and the synchronization signal and the image are transmitted from the liquid crystal interface 130 to the liquid crystal module. It is output and displayed on the LCD panel 6110.
  • the image processing is performed by the image processing processor 400.
  • the image data is not output from the signal processing interface 500 to the image processor 400 via the camera interface 120 and the main bus 700, but is output to the signal processing interface 500. Since the image data is output directly from the camera interface 430 to the camera interface 430, the image data does not increase the traffic on the main bus 750.
  • the image data with a low processing load is processed by the main processor, and the image data with a high processing load is output directly to the sub-processor before being processed.
  • Features can be added.
  • FIG. 4 is a block diagram illustrating a configuration of an image processing apparatus according to Embodiment 4 of the present invention.
  • the configuration of the image processing apparatus shown in FIG. 3 is a configuration in which the image processing apparatuses shown in FIG. 2 and FIG. 3 are combined, and a description thereof will be omitted.
  • image data is acquired by the sensor 510.
  • This image data may be a still image or a moving image. If the image data is, for example, a still image or a low-resolution moving image, the image data is output from the signal processing interface 500 to the camera interface 120, processed by the DSP 110, and the desired image is processed. Generated. When the image data is, for example, a high-resolution moving image, the image data is output from the signal processing interface 500 to the camera interface 430, processed by the image processing processor 400, and the desired image is processed. Generated.
  • the image generated by the DSP 110 is output to the liquid crystal interface 130a, and the image generated by the image processor 400 is output to the liquid crystal interface 410a.
  • Output to The image output switching unit 150 is controlled by the MPU 100, and the gates 140 and 420 are controlled by the image output switching unit 150.
  • the image generated by 10 or the image processor 400 is output to the driver 600 of the liquid crystal module.
  • the synchronization signal output from the liquid crystal interface 130a and the liquid crystal interface 410a the synchronization signal output from the liquid crystal interface 130a is a synchronization signal common to the two liquid crystal interfaces. Will be output as Therefore, when switching and displaying images on the LCD panel 610, the same synchronization signal timing Will be displayed.
  • encoding of relatively low-resolution image data and decoding of low-resolution images are performed by the main processor, and MPEG-4 encoding processing and decoding processing are performed in real time.
  • the video phone function specified by 3GPP, etc. which must be performed at the same time, has a high processing load, so the image data is directly input from the camera module to the sub-processor, and the encoded The stream is output to the main processor, the compressed image is input to the sub-processor via the main bus 700, a decoding process is performed, and the generated image is directly output to the liquid crystal module. The operation is performed.
  • FIG. 5 is a block diagram illustrating a configuration of an image processing apparatus according to Embodiment 5 of the present invention.
  • the same parts as those in the image processing apparatus shown in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted.
  • the camera input switching unit 170 controls a gate 520 a and a gate 520 b, which will be described later, to switch image data input to the camera interface 120.
  • the gate 520a outputs an image from the signal processing interface 550a under the control of the camera input switching unit 170.
  • the gate 502b outputs an image from the signal processing interface 500b under the control of the camera input switching section 170.
  • the output image data of the signal processing interface 500a and the output image data of the signal processing interface 500b are wired-ORed and input to the main processor.
  • Image data that is wired or input to the main processor is switched by the camera input switching unit 170.
  • camera A tri-state buffer is inserted at the output of the module to allow wired or connection.
  • the camera input switching unit 170 switches the image data from the two camera modules by outputting a signal for turning on and off the output of the tri-state buffer.
  • image data is acquired by the sensor 5110a or the sensor 510b. These image data may be still images or moving images. Then, the obtained image data is output to the corresponding signal processing interface 500a or 500b. Then, the MPU 100 controls the camera input switching unit 170, and the camera input switching unit 170 controls the gates 250 a and the gouts 502 b, thereby providing a signal processing interface.
  • the image data output to the source 500 a or the signal processing interface 500 b is output to the camera interface 120 of the main processor.
  • the image data is processed by the DSP 110 of the main processor to generate a desired image such as an RGB (Red Green Blue) image.
  • the generated image is output to the driver 600 of the liquid crystal module via the liquid crystal interface 130. Then, the liquid crystal panel 610 is driven by the driver 600, and an image is displayed on the liquid crystal panel 610.
  • a plurality of camera modules for capturing images in a plurality of directions are provided, and input control is performed by easily switching image data obtained by each camera module. And expandability can be further improved.
  • two camera modules are provided.
  • FIG. 6 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 6 of the present invention. It is.
  • the same parts as those in the image processing apparatus shown in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted.
  • the liquid crystal switching control section 180 controls a switching control section 620a and a switching control section 620b, which will be described later, to switch images input to the driver 600a and the driver 600b. .
  • the switching control section 620a switches on / off the driver 600a under the control of the liquid crystal switching control section 180.
  • the switching controller 62Ob switches the driver 600b on and off according to the control of the liquid crystal switching controller 180.
  • Each of the two liquid crystal modules has a VRAM (Video Random Access Memory), not shown, and can hold an image output from the liquid crystal interface 130.
  • VRAM Video Random Access Memory
  • image data is acquired by the sensor 510.
  • This image data may be a still image or a moving image.
  • the obtained image data is output to the camera interface 120 of the main processor via the signal processing interface 500.
  • the image data is processed by the DSP 110 of the main processor, and a desired image such as an RGB (Red Green Blue) image is generated.
  • the image generated by the DSP 110 is output to the liquid crystal interface 13 °.
  • the liquid crystal switching control unit 180 controls the switching control unit 620a and the switching control unit 620b so that one of the two liquid crystal modules is enabled (ie, the operating state). ), And one of them is disabled (that is, inactive).
  • the liquid crystal interface 130 outputs an image to the driver 600 a or driver 600 b of the enabled liquid crystal module.
  • the output images are displayed on the corresponding liquid crystal panel 610a or liquid crystal panel 610b, respectively.
  • a screen for displaying an image is switched by one liquid crystal switching control unit.
  • a screen for displaying an image is switched by one liquid crystal switching control unit.
  • the image processing apparatus of the present embodiment to, for example, a foldable mobile phone, it is possible to easily make the sub liquid crystal module conventionally realized by an interface such as a serial control and enlarge the screen. Can be planned.
  • a power in which two liquid crystal modules are provided is provided. According to the present invention, it is possible to switch the output to three or more liquid crystal modules.
  • FIG. 7 is a block diagram illustrating a configuration of an image processing apparatus according to Embodiment 7 of the present invention.
  • the same parts as those in the image processing apparatus shown in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted.
  • the input switching unit 170 a controls a gut 52, which will be described later, to turn on / off the output of image data to an image bus 800, which will be described later.
  • the image bus control unit 190 converts image data such as YUV data output from the signal processing interface 500 into an RGB image or the like.
  • the image bus control unit 190 converts the output bit width of the image data output from the signal processing interface 500 into the input bit width of the RGB image.
  • the gate 520 turns on / off the output of the image data from the signal processing interface 500 to the image bus 800 in accordance with the control of the camera input switching unit 170a.
  • image data is acquired by the sensor 510.
  • This image data may be a still image or a moving image.
  • the gate 520 is controlled by the camera input switching section 170a, and the image data is transferred to the image bus 8000 via the image bus 8000.
  • the YUV data obtained by the control unit 190 is converted into an RGB image by the camera module, and is again input to the driver 600 of the liquid crystal module via the image bus 800 and the liquid crystal. Displayed on panel 6 10.
  • RGB from camera module When the configuration is such that the data is output, the RGB data output from the signal processing interface 500 may be output to the driver 600 via the image bus 800. .
  • the image data is output to the camera interface 120 via the signal processing interface 500 and the image bus control unit 190. Then, the image data is processed by the DSP 110 of the main processor to generate a desired image such as an RGB (Red Green Blue) image. The image generated by the DSP 110 is output to the liquid crystal interface 130, output to the liquid crystal panel 610 via the image bus control unit 190 and the driver 600, and displayed.
  • a desired image such as an RGB (Red Green Blue) image.
  • RGB Red Green Blue
  • image data from the camera module passes through the main bus 700 via the camera interface 120 and is stored in a large-capacity RAM 200. Then, the data is output from the liquid crystal interface 130 to the liquid crystal module, and the preview of the image data is realized.
  • the image bus control unit 190 and the image bus 800 are provided for preview display, traffic of the main bus 700 does not increase due to the image data for preview. Therefore, it is possible to suppress a decrease in the processing capability of the MPU 100 due to an increase in traffic.
  • the present embodiment it is possible to reduce the number of terminals that tend to increase by increasing the bus width and mounting various peripheral interfaces in the main processor generally implemented by one chip. it can. Further, since image data obtained by the camera module is directly displayed on the liquid crystal panel, an increase in traffic due to the image data can be suppressed.
  • FIG. 8 is a block diagram showing a configuration of an image processing device according to Embodiment 8 of the present invention.
  • the configuration of the image processing apparatus shown in the figure is a combination of the image processing apparatuses shown in FIG. 4, FIG. 5, and FIG.
  • image data is acquired by the sensor 5110a or the sensor 510b. These image data may be still images or moving images.
  • the obtained image data is output to the corresponding signal processing interface 500a or 500b, respectively.
  • the MPU 100 controls the camera input switching unit 170, and further, the camera input switching unit 170 controls the gates 250 a and 500 b so that the signal processing interface is controlled.
  • the image data output to the source 500 a or the signal processing interface 500 b is output to the camera interface 120 of the main processor or the camera interface 43 0 of the sub processor.
  • the image data is, for example, a still image or a moving image with a low resolution
  • the image data is output from the signal processing interface 500 a or the signal processing interface 500 b to the camera interface 120
  • the data is, for example, a high-resolution moving image
  • the image data is output from the signal processing interface 500 a or the signal processing interface 500 b to the camera interface 4300.
  • the image data output to the camera interface 120 is processed by the DSP 110 to generate a desired image, which is output to the liquid crystal interface 130a.
  • the image data output to the camera interface 4300 is processed by the image processing processor 400 to generate a desired image and output to the liquid crystal interface 410a.
  • the liquid crystal switching control unit 180 controls the switching control unit 620a and the switching control unit 620b so that either one of the two liquid crystal modules is enabled (ie, the operating state). ), And one of them is disabled (ie, non-operational). Then, an image is output to the driver 600 a or 600 b of the enabled liquid crystal module by the liquid crystal interface 130 a.
  • the output images are displayed on the corresponding liquid crystal panel 610a or liquid crystal panel 610b, respectively. Also, at this time, since a synchronization signal is output from the liquid crystal interface 130a to the liquid crystal interface 410a, the liquid crystal interfaces of the main processor and the sub processor use a common synchronization signal, and the image output is performed. Even when the output image is switched by the switching unit 150, the display is not disturbed.
  • the processing load can be reduced by, for example, processing with a heavy load being performed by the sub-processor, and the connection to a plurality of camera modules and the liquid crystal module can be reduced by connecting terminals It can be realized without increasing.
  • the present invention can be applied to an image processing device.
  • the present invention can be applied to a communication terminal device having an image display device such as a liquid crystal panel and an image capturing device such as a force camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)
  • Studio Devices (AREA)

Description

明
画像処理装置
技術分野
本発明は、 画像処理装置に関する (
背景技術
糸
近年、 携帯電話に代表される通信端末装置において用いられる画像は、 白黒 画像からカラー画像へ、 小画面から大画面へ書、 静止画像から動画像へと変化し てきており、 画像データの大容量化が進んできている。
従来、 通信端末装置では、 装置全体の制御を行う M P U (Micro Processor Unit：マイクロ 'プロセッサ ·ュニット） に画像表示インタフェースおよび画 像入カインタフ ースを搭載し、 それらを例えば液晶パネルなどの画像表示装 置および例えば力メラなどの画像撮像装置と直結し、 M P Uから画像表示装置 に画像を転送する方法がとられている。また、通信端末装置が行う画像処理は、 動画像を用いた T V電話や 3次元グラフィック処理などのように、 年々複雑ィ匕 および高度化している。 また、 複数個のカメラを搭載した端末や、 複数の液晶 パネルを搭載した端末などが出てきている。
これらに対応するために、 汎用のメインのプロセッサとは別に、 画像処理専 用のサブプロセッサを搭載する方法が一般化してきており、 例えば、 " PEG4 Programmable Codec DSP with an Embedded Pre/Post - processing engine (IEEE 1999 Custom Integrated Circuits Conference)〃に発表された技術などがある。 しかしながら、 サブプロセッサを搭載した場合、 通信端末装置内において、 画像データの卜ラフィックの経路が複雑になり、 例えばメインバスなどにおけ るデータトラフィックが増加するという問題がある。
また、 サブプロセッサを搭载するためには、 サブプロセッサを制御するため のソフトウエア、 ならびにカメラおよび液晶パネルなどの既存の周辺デバイス を大幅に変更する必要が生じることがある。 さらに、 サブプロセッサを搭載す ることにより、 メインプロセッサの構成まで変更する必要が生じることがある。 したがって、 様々な処理専用のサブプロセッサを付加的に導入するような場合 には、 その度にメインプロセッサまで変更する必要が生じるという問題がある。 発明の開示
本発明の目的は、 データトラフィックの増大を抑制し、 既存の周辺デバイス の変更を生じることなく機能を拡張することである。
本発明の主題は、 カメラや液晶パネルおよびプロセッサを複数設ける場合に、 それぞれの入出力を切り替え、 データトラフィックが冗長な経路を通らないよ うにすることである。
本発明の一形態によれば、 画像処理装置は、 画像データを用いて表示画像の 生成処理を行う第 1の処理手段と、 画像データを用いて前記第 1の処理手段と は異なる表示画像の生成処理を行う第 2の処理手段と、 前記第 1の処理手段お よび前記第 2の処理手段によって得られた処理結果を切り替えて出力する切 替手段と、 を有する構成を採る。
本発明の他の形態によれば、 通信端末装置は、 上記の画像処理装置を有する 構成を採る。 図面の簡単な説明
図 1は、 本発明の実施の形態 1に係る画像処理装置の構成を示すプロック図、 図 2は、 本発明の実施の形態 2に係る画像処理装置の構成を示すプロック図、 図 3は、 本発明の実施の形態 3に係る画像処理装置の構成を示すプロック図、 図 4は、 本発明の実施の形態 4に係る画像処理装置の構成を示すプロック図、 図 5は、 本発明の実施の形態 5に係る画像処理装置の構成を示すプロック図、 図 6は、 本発明の実施の形態 6に係る画像処理装置の構成を示すプロック図、 図 7は、 本発明の実施の形態 7に係る画像処理装置の構成を示すプロック図、 および、
図 8は、 本発明の実施の形態 8に係る画像処理装置の構成を示すプロック図 である。 発明を実施するための最良の形態
以下、 本発明の実施の形態について、 図面を参照して詳細に説明する。
(実施の形態 1 )
図 1は、 本発明の実施の形態 1に係る画像処理装置の構成を示すプロック図 である。 同図に示す画像処理装置は、 カメラモジュール、 液晶モジュール、 メ インプロセッサ、 サブプロセッサ、 R AM (Random Access Memory) 2 0 0、 および R O M (Read Only Memory) 3 0 0を有しており、 メインプロセッサ、 サブプロセッサ、 R AM 2 0 0、 および R OM 3 0 0は、 メインバス 7 0 0を 介して接続されている。
メインプロセッサは、 M P U (Micro Processor Unit) 1 0 0 , D S P (Digital Signal Processor) 1 1 0、 カメラインタフェース 1 2 0、 夜晶インタフエ一 ス 1 3 0、 ゲート 1 4 0、 画像出力切替部 1 5 0、 およびバス変換部 1 6 0力、 ら構成されている。 サブプロセッサは、 画像処理プロセッサ 4 0 0、 液晶イン タフエース 4 1 0、 およびゲート 4 2 0から構成されている。 カメラモジユー ルは、 信号処理インタフェース 5 0 0、 およびセンサ 5 1 0から構成されてい る。 液晶モジュールは、 ドライバ 6 0 0、 および液晶パネル 6 1 0力、ら構成さ れている。
M P U 1 0 0は、画像の生成や画像処理以外の制御を行う。 D S P 1 1 0は、 画像処理などの信号処理を行う。 カメラインタフェース 1 2 0は、 カメラモジ ユールによって得られた画像データをメインプロセッサに取り込む。 液晶イン タフエース 1 3 0は、 液晶パネル 6 1 0に画像を表示するための同期信号と、 D S P 1 1 0によって処理された画像とを液晶モジュールへ出力する。 ゲート 1 4 0は、 画像出力切替部 1 5 0の制御に従って液晶インタフェース 1 3 0か らの画像を出力する。 また、 ゲート 1 4 0は、 サブプロセッサのゲート 4 2 0 から出力される画像がメインプロセッサの液晶ィンタフェース 1 3 0へ入力 されるのを防止する。 画像出力切替部 1 5 0は、 ゲート 1 4 0およびゲート 4 2 0を制御して、 液晶モジュールへ出力する画像を切り替える。 このように、 メインプロセッサ内のインタフェース （液晶インタフェース 1 3 0 ) から 1方 向のみへ信号を出力するためのゲート （グート 1 4 0 ) を設け、 さらに外部の ゲートとの切り替えを行う切替部 （画像出力切替部 1 5 0 ) を設ける構成とす ることにより、 同じくインタフェース （液晶インタフェース 4 1 0 ) とゲート (ゲート 4 2 0 ) とを有するサブプロセッサを容易に追加することができる。 バス変換部 1 6 0は、 メインプロセッサと R AM 2 0 0、 R OM 3 0 0、 お よびサブプロセッサが接続されているメインバス 7 0 0とを接続する。 R AM 2 0 0および R OM 3 0 0は、 サブプロセッサの命令や演算データなどを記憶 する。
画像処理プロセッサ 4 0 0は、 処理負荷の高い動画像の処理などを行う。 液 晶インタフェース 4 1 0は、 同期信号と画像処理プロセッサ 4 0 0によって処 理された画像とを液晶モジュールへ出力する。 ゲート 4 2 0は、 画像出力切替 部 1 5 0の制御に従って液晶インタフェース 4 1 0からの画像を出力する。 ま た、 ゲート 4 2 0は、 メインプロセッサのゲート 1 4 0から出力される画像が サブプロセッサの液晶インタフェース 4 1 0へ入力されるのを防止する。 ここ で、 メインプロセッサの液晶ィンタフェース 1 3 0の出力画像とサブプロセッ サの液晶インタフェース 4 1 0の出力画像とはワイヤードオアされて液晶モ ジュールへ入力される。 ワイヤードオアされて液晶モジュールに入力される画 像は、 画像出力切替部 1 5 0によって切り替えられる。
信号処理インタフェース 5 0 0は、 センサ 5 1 0によって得られた Y U V (Y- signal U- signal V-signal) データなどの画像データをメインプロセッサ のカメラインタフェース 1 2 0へ出力する。 センサ 5 1 0は、 画像データを取 得する。 ドライバ 6 0 0は、 液晶パネル 6 1 0を駆動する。 液晶パネル 6 1 0 は、 ゲート 1 4 0またはゲート 4 2 0から出力された画像を表示する。
次いで、 上記のように構成された画像処理装置の動作について説明する。 まず、 センサ 5 1 0によって画像データが取得される。 この画像データは静 止画でも動画でも良い。 そして、 得られた画像データは、 信号処理インタフエ ース 5 0 0を介して、 メインプロセッサのカメラインタフェース 1 2 0へ出力 される。 そして、 画像データが例えば静止画や低解像度の動画である場合は、 比較的画像処理の負荷が低いため、 メインプロセッサの D S P 1 1 0によって 処理され、 R G B (Red Green Blue) 画像などの所望の画像が生成される。 ま た、 画像データが例えば高解像度の動画である場合は、 高速の演算などを行う 必要があり、 画像処理の負荷が高いため、 画像データは、 メインバス 7 0 0を 介してサブプロセッサの画像処理プロセッサ 4 0 0へ出力され、 処理され、 所 望の画像が生成される。
画像データが静止画や低解像度の動画である場合、 D S P 1 1 0によって生 成された画像は、 液晶インタフェース 1 3 0へ出力される。 一方、 画像データ が高解像度の動画である場合、 画像処理プロセッサ 4 0 0によって生成された 画像は、 液晶インタフェース 4 1 0へ出力される。 そして、 M P U 1 0 0によ つて画像出力切替部 1 5 0が制御され、 さらに、 画像出力切替部 1 5 0によつ てグート 1 4 0およびグート 4 2 0が制御されることにより、 同期信号および D S P 1 1 0または画像処理プロセッサ 4 0 0によって生成された画像が液 晶モジュールのドライバ 6 0 0へ出力される。 この画像出力切替部 1 5 0によ る出力画像の切り替えは、 トライステート動作によって行われる。 なお、 この どき、 ゲート 1 4 0およびゲート 4 2 0がそれぞれ互いのゲートから出力され た画像が各プロセッサの液晶ィンタフェース 1 3 0および液晶ィンタフエー ス 4 1 0へ入力されるのを防止するため、 画像はドライバ 6 0 0のみに入力さ れることになる。 そして、 ドライバ 6 0 0によって液晶パネル 6 1 0が駆動さ れ、 液晶パネル 6 1 0に画像が表示される。 本実施の形態では、 サブプロセッサを設け、 サブプロセッサの画像処理プロ セッサ 4 0 0によって生成された画像は、 メインプロセッサの液晶インタフエ ース 1 3 0ではなく、 サブプロセッサの液晶インタフェース 4 1 0から直接液 晶モジュールへ出力されるため、 生成画像がメインバス 7 0 0のトラフィック を増大させることがない。
また、 メインプロセッサおよびサブプロセッサの複数のプロセッサについて、 それぞれ独立した液晶モジュールへの画像の出力経路を確保しているため、 例 えばサブプロセッサを入れ替えたり、 追加したりする場合でも、 メインプロセ ッサの構成を変更する必要がない。
このように、 本実施の形態によれば、 比較的処理負荷の低い画像データにつ いてはメインプロセッサで処理し、 処理負荷の高い画像データについてはサブ プロセッサで処理し、 各プロセッサによって処理されて生成された画像を切り 替えて液晶モジュールへ出力して表示するため、 例えば処理の軽いメニュー画 面の表示等は、 メインプロセッサから出力して表示し、 動画像処理等といった 処理の重い処理は、 サブプロセッサで処理を行って直接液晶モジュールに表示 することができ、 新たな処理負荷の重い機能を容易に付加することができると ともに、 メインプロセッサのバストラフィックの軽減を図ることができる。
(実施の形態 2 )
図 2は、 本発明の実施の形態 2に係る画像処理装置の構成を示すプロック図 である。 同図に示す画像処理装置において、 図 1に示す画像処理装置と同じ部 分には同じ番号を付し、 その説明を省略する。
液晶インタフェース 1 3 0 aは、 液晶パネル 6 1 0に画像を表示するための 同期信号と、 D S P 1 1 0によって処理された画像とを液晶モジュールへ出力 する。 また、 液晶インタフェース 1 3 0 aは、 同期信号をサブプロセッサの液 晶インタフェース 4 1 0 aへ出力する。 液晶インタフェース 4 1 0 aは、 液晶 ィンタフェース 1 3 0 aから出力された同期信号と画像処理プロセッサ 4 0 0によつて処理された画像とを液晶モジュールへ出力する。 次いで、 上記のように構成された画像処理装置の動作について説明する。 本実施の形態においても、 実施の形態 1と同様に、 センサ 5 1 0によって取 得された YUVデータなどの画像データは、 信号処理インタフェース 500お よびカメラインタフェース 1 20を介して、 DS P 1 1 0または画像処理プロ セッサ 400へ入力され、 画像処理が行われ、 RGB画像などの所望の画像が 生成される。
そして、 実施の形態 1と同様に、 画像データが静止画や低解像度の動画であ る場合、 DS P 1 10によって生成された画像は、 液晶インタフェース 1 30 aへ出力される。 一方、 画像データが高解像度の動画である場合、 画像処理プ 口セッサ 400によって生成された画像は、 液晶インタフェース 4 1 0 aへ出 力される。 そして、 MPU 1 00によって画像出力切替部 1 50が制御され、 さらに、 画像出力切替部 1 50によってゲート 1 40およびゲート 420力制 御されることにより、 同期信号および D S P 1 1 0または画像処理プロセッサ 40 0によって生成された画像が液晶モジュールのドライバ 6 00へ出力さ れる。 このとき、 液晶インタフェース 1 30 aと液晶インタフェース 4 1 0 a とから出力される同期信号としては、 液晶インタフェース 1 30 aから出力さ れるものが、 2つの液晶ィンタフェースに共通の同期信号として出力されるこ とになる。 したがって、 液晶パネル 6 1 0に画像を切り替えて表示する際、 同 じ同期信号のタイミングで出力された画像を表示することになる。 なお、 同期 信号としては、 ピクセルクロック （pixel clock) 、 H s y n c (Horizontal Synchronizing signal ： T 平同期ィ¾兮) 、 または V s y n c (Vertical Synchronizing signal：垂直同期信号) など力 Sある。
このように、 本実施の形態によれば、 メインプロセッサからの出力画像とサ ブプロセッサからの出力画像とを切り替える際に、 同期信号を変更することな く切り替えるため、 表示の乱れを生じることがなく、 シームレスな画像の切り 替えを行うことができる。
(実施の形態 3) 図 3は、 本発明の実施の形態 3に係る画像処理装置の構成を示すプロック図 である。 同図に示す画像処理装置において、 図 1に示す画像処理装置と同じ部 分には同じ番号を付し、 その説明を省略する。
図 3に示す画像処理装置は、 図 1に示す画像処理装置と比較して、 グート 1 4 0、 画像出力切替部 1 5 0、 およびゲート 4 2 0を除去し、 液晶インタフエ ース 4 1 0に代えてカメラインタフェース 4 3 0を設置し、 信号処理インタフ エース 5 0 0とカメラインタフエース 4 3 0とを接続する点が異なる。
次いで、 上記のように構成された画像処理装置の動作について説明する。 まず、 センサ 5 1 0によって画像データが取得される。 この画像データは静 止画でも動画でも良い。 そして、 画像データが例えば静止画や低解像度の動画 である場合は、 画像データは信号処理インタフェース 5 0 0からカメラインタ フェース 1 2 0へ出力され、 D S P 1 1 0によって処理され、 所望の画像が生 成される。 また、 画像データが例えば高解像度の動画である場合は、 画像デー タは信号処理インタフェース 5 0 0からカメラインタフェース 4 3 0へ出力 され、画像処理プロセッサ 4 0 0によって処理され、所望の画像が生成される。 D S P 1 1 0または画像処理プロセッサ 4 0 0によって生成された画像は、 メ インバス 7 0 0を介して液晶インタフェース 1 3 0へ出力され、 液晶インタフ エース 1 3 0から同期信号と画像が液晶モジュールへ出力され、 液晶パネル 6 1 0に表示される。
本実施の形態では、 センサ 5 1 0によって取得された画像データが例えば高 解像度の動画のように、 高速の演算などを行う必要がある場合は、 画像処理プ 口セッサ 4 0 0によって画像処理が行われるが、 画像データは、 信号処理イン タフエース 5 0 0からカメラインタフエース 1 2 0およびメインバス 7 0 0 を介して画像処理プロセッサ 4 0 0へ出力されるのではなく、 信号処理インタ フェース 5 0 0から直接カメラインタフェース 4 3 0へ出力されるため、 画像 データがメインバス 7 0 0のトラフィックを増大させることがなレ、。
このように、 本実施の形態によれば、 取得された画像データのうち、 比較的 処理負荷の低い画像データについてはメインプロセッサで処理し、 処理負荷の 高い画像データについてはサブプロセッサへ直接出力した上で処理するため、 メィンプロセッサの処理能力の低下を抑制し、 高度な画像処理の機能を追加す ることができる。
(実施の形態 4 )
図 4は、 本発明の実施の形態 4に係る画像処理装置の構成を示すプロック図 である。 同図に示す画像処理装置の構成は、 図 2および図 3に示す画像処理装 置を組み合わせた構成であるため、 その説明を省略する。
次いで、 上記のように構成された画像処理装置の動作について説明する。 まず、 センサ 5 1 0によって画像データが取得される。 この画像データは静 止画でも動画でも良い。 そして、 画像データが例えば静止画や低解像度の動画 である場合は、 画像データは信号処理インタフェース 5 0 0からカメラインタ フェース 1 2 0へ出力され、 D S P 1 1 0によって処理され、 所望の画像が生 成される。 また、 画像データが例えば高解像度の動画である場合は、 画像デー タは信号処理インタフェース 5 0 0からカメラインタフエース 4 3 0へ出力 され、画像処理プロセッサ 4 0 0によって処理され、所望の画像が生成される。 そして、 実施の形態 2と同様に、 D S P 1 1 0によって生成された画像は、 液晶インタフェース 1 3 0 aへ出力され、 画像処理プロセッサ 4 0 0によって 生成された画像は、 液晶インタフェース 4 1 0 aへ出力される。 そして、 M P U 1 0 0によって画像出力切替部 1 5 0が制御され、 さらに、 画像出力切替部 1 5 0によってゲート 1 4 0およびゲート 4 2 0が制御されることにより、 同 期信号および D S P 1 1 0または画像処理プロセッサ 4 0 0によって生成さ れた画像が液晶モジュールのドライバ 6 0 0へ出力される。 このとき、 液晶ィ ンタフェース 1 3 0 a と液晶インタフェース 4 1 0 a とから出力される同期 信号としては、 液晶インタフェース 1 3 0 aから出力されるものが、 2つの液 晶インタフェースに共通の同期信号として出力されることになる。 したがって、 液晶パネル 6 1 0に画像を切り替えて表示する際、 同じ同期信号のタイミング で出力された画像を表示することになる。
本実施の形態では、 比較的低解像度の画像データのエンコード処理や、 低解 像度の画像のデコード処理などはメインプロセッサによって行われ、 M P E G —4のェンコ一ド処理とデコード処理とをリアルタイムで同時に行う必要が ある例えば 3 G P P等で規定されている T V電話機能などは、 処理負荷が高い ため、 カメラモジュールから画像データが直接サブプロセッサに入力され、 ェ ンコード処理が行われ、 作成されたビットストリームがメインプロセッサへ出 力され、 また、 圧縮された画像がメインバス 7 0 0を介してサブプロセッサへ 入力され、 デコード処理が行われ、 生成された画像を直接液晶モジュールに出 力されるといった動作が行われる。
このように、 本実施の形態によれば、 処理負荷の高い T V電話等のェンコ一 ダぉよびデコ一ダ同時処理を行う処理はサブプロセッサによつて行われると いった処理ができ、 メインプロセッサの処理負担を上げることなく、 高度な画 像処理の機能を追加をすることができる。
(実施の形態 5 )
図 5は、 本発明の実施の形態 5に係る画像処理装置の構成を示すプロック図 である。 同図に示す画像処理装置において、 図 1に示す画像処理装置と同じ部 分には同じ番号を付し、 その説明を省略する。
カメラ入力切替部 1 7 0は、 後述するゲート 5 2 0 aおよびゲート 5 2 0 b を制御して、 カメラインタフェース 1 2 0へ入力される画像データを切り替え る。 ゲート 5 2 0 aは、 カメラ入力切替部 1 7 0の制御に従って信号処理ィン タフエース 5 0 0 aからの画像を出力する。 ゲート 5 2 0 bは、 カメラ入力切 替部 1 7 0の制御に従って信号処理インタフェース 5 0 0 bからの画像を出 力する。 ここで、 信号処理インタフェース 5 0 0 aの出力画像データと信号処 理インタフェース 5 0 0 bの出力画像データとはワイヤードオアされてメイ ンプロセッサへ入力される。 ワイヤードオアされてメインプロセッサに入力さ れる画像データは、 カメラ入力切替部 1 7 0によって切り替えられる。 カメラ モジュールの出力には、 ワイヤードオア接続できるように、 トライステートバ ッファが挿入されている。 カメラ入力切替部 1 7 0は、 トライステートバッフ ァの出力をオン Zオフする信号を出力することにより、 2つのカメラモジユー ルからの画像データを切り替える。
次いで、 上記のように構成された画像処理装置の動作について説明する。 まず、 センサ 5 1 0 aまたはセンサ 5 1 0 bによって画像データが取得され る。 これらの画像データは静止画でも動画でも良い。 そして、 得られた画像デ ータは、 それぞれ対応する信号処理インタフェース 5 0 0 aまたは信号処理ィ ンタフェース 5 0 0 bへ出力される。 そして、 M P U 1 0 0によってカメラ入 力切替部 1 7 0が制御され、 さらに、 カメラ入力切替部 1 7 0によってゲート 5 2 0 aおよびグート 5 2 0 bが制御されることにより、 信号処理インタフエ ース 5 0 0 aまたは信号処理ィンタフェース 5 0 0 bへ出力された画像デー タがメインプロセッサのカメラインタフェース 1 2 0へ出力される。 そして、 画像データは、 メインプロセッサの D S P 1 1 0によって処理され、 R G B (Red Green Blue) 画像などの所望の画像が生成される。 生成された画像は、 液晶インタフェース 1 3 0を介して、 液晶モジュールのドライバ 6 0 0へ出力 される。 そして、 ドライバ 6 0 0によって液晶パネル 6 1 0が駆動され、 液晶 パネル 6 1 0に画像が表示される。
このように、 本実施の形態によれば、 例えば複数の方向を撮像するための複 数のカメラモジュールを設け、 それぞれのカメラモジュールによって得られた 画像データを容易に切り替えることにより入力制御を行うことができ、 より拡 張性を高くすることができる。
なお、 本実施の形態においては、 2つのカメラモジュールを設ける構成とし たが、 本発明によれば、 3つ以上のカメラモジュールからの出力を切り替える ことも可能である。
(実施の形態 6 )
図 6は、 本発明の実施の形態 6に係る画像処理装置の構成を示すプロック図 である。 同図に示す画像処理装置において、 図 1に示す画像処理装置と同じ部 分には同じ番号を付し、 その説明を省略する。
液晶切替制御部 1 8 0は、 後述する切替制御部 6 2 0 aおよび切替制御部 6 2 0 bを制御して、 ドライバ 6 0 0 aおよびドライバ 6 0 0 bへ入力される画 像を切り替える。 切替制御部 6 2 0 aは、 液晶切替制御部 1 8 0の制御に従つ て、 ドライバ 6 0 0 aのオン/オフを切り替える。 切替制御部 6 2 O bは、 液 晶切替制御部 1 8 0の制御に従って、 ドライバ 6 0 0 bのオン オフを切り替 える。 2つの液晶モジユーノレには、 図示しない V R AM (Video Random Access Memory) が搭載されており、 液晶インタフェース 1 3 0から出力された画像を 保持することができる。
次いで、 上記のように構成された画像処理装置の動作について説明する。 まず、 センサ 5 1 0によって画像データが取得される。 この画像データは静 止画でも動画でも良い。 そして、 得られた画像データは、 信号処理インタフエ ース 5 0 0を介して、 メインプロセッサのカメラインタフェース 1 2 0へ出力 される。 そして、 画像データは、 メインプロセッサの D S P 1 1 0によって処 理され、 R G B (Red Green Blue) 画像などの所望の画像が生成される。 D S P 1 1 0によって生成された画像は、 液晶インタフェース 1 3◦へ出力される。 そして、 液晶切替制御部 1 8 0によって、 切替制御部 6 2 0 aおよび切替制 御部 6 2 0 bが制御されることにより、 2つの液晶モジュールのうちいずれか 一方がィネーブル （すなわち、 稼働状態） とされ、 いずれか他方がデイスエー ブル （すなわち、 非稼働状態） とされる。 そして、 液晶インタフェース 1 3 0 によって、 イネ一ブルである液晶モジュールのドライバ 6 0 0 aまたはドライ バ 6 0 0 bへ画像が出力される。 出力された画像は、 それぞれ対応する液晶パ ネル 6 1 0 aまたは液晶パネル 6 1 0 bに表示される。
このように、 本実施の形態によれば、 例えばメインの液晶モジュールとサブ の液晶モジュールとの 2つの画面を搭載する場合、 1つの液晶切替制御部によ つて画像を表示する画面の切り替えを行うことができ、 より拡張性を高くする ことができる。 また、 本実施の形態の画像処理装置を、 例えば折りたたみ式の 携帯電話に適用することにより、 従来、 シリアル制御などのインタフェースで 実現されているサブの液晶モジュールを容易にカラ一化および大画面化を図 ることができる。
なお、 本実施の形態においては、 2つの液晶モジュールを設ける構成とした 力 本発明によれば、 3つ以上の液晶モジュールへの出力を切り替えることも 可能である。
(実施の形態 7 )
図 7は、 本発明の実施の形態 7に係る画像処理装置の構成を示すプロック図 である。 同図に示す画像処理装置において、 図 1に示す画像処理装置と同じ部 分には同じ番号を付し、 その説明を省略する。
力メラ入力切替部 1 7 0 aは、 後述するグート 5 2 0を制御して、 後述する 画像バス 8 0 0への画像データの出力をオン/オフする。 画像バス制御部 1 9 0は、 信号処理インタフェース 5 0 0から出力される Y U Vデータなどの画像 データを R G B画像などに変換する。 また、 画像バス制御部 1 9 0は、 信号処 理ィンタフェース 5 0 0から出力された画像データの出力ビット幅を R G B 画像の入力ビット幅へ変換する。 ゲート 5 2 0は、 カメラ入力切替部 1 7 0 a の制御に従って、 信号処理インタフヱース 5 0 0から画像バス 8 0 0への画像 データの出力をオン オフする。
次いで、 上記のように構成された画像処理装置の動作について説明する。 まず、 センサ 5 1 0によって画像データが取得される。 この画像データは静 止画でも動画でも良い。 取得された画像データを液晶パネル 6 1 0にプレビュ 一表示する際は、 カメラ入力切替部 1 7 0 aによってゲート 5 2 0が制御され、 画像データは画像バス 8 0 0を介して、 画像バス制御部 1 9 0に入力される、 そして、 カメラモジュールによって得られた YU Vデータが R G B画像へ変換 され、 再び画像バス 8 0 0を介して、 液晶モジュールのドライバ 6 0 0へ入力 され、 液晶パネル 6 1 0に表示される。 ここで、 カメラモジュールから R G B ^ータが出力されるように構成した場合は、 信号処理インタフェース 5 0 0か ら出力された R G Bデータが画像バス 8 0 0を介して、 ドライバ 6 0 0へ出力 されるようにしても良い。
プレビュー動作時以外は、 画像データは、 信号処理インタフェース 5 0 0お よび画像バス制御部 1 9 0を介して、 カメラインタフェース 1 2 0へ出力され る。 そして、 画像データは、 メインプロセッサの D S P 1 1 0によって処理さ れ、 R G B (Red Green Blue) 画像などの所望の画像が生成される。 D S P 1 1 0によって生成された画像は、 液晶インタフェース 1 3 0へ出力され、 画像 バス制御部 1 9 0およびドライバ 6 0 0を介して液晶パネル 6 1 0へ出力さ れて表示される。
従来の画像表示動作においては、 カメラモジュールからの画像データは、 力 メラインタフエース 1 2 0を介してメインバス 7 0 0を通り、 大容量の R AM 2 0 0に蓄えられる。 そして、 液晶インタフェース 1 3 0から液晶モジュール へ出力されて、 画像データのプレビューが実現される。 本実施の形態では、 プ レビュー表示のために画像バス制御部 1 9 0および画像バス 8 0 0を設けた ため、 プレビュー用の画像データによってメインバス 7 0 0のトラフィックが 増大することがない。 したがって、 トラフィックの増大による M P U 1 0 0の 処理能力の低下を抑制することができる。
このように、 本実施の形態によれば、 一般に 1チップィヒされているメインプ 口セッサにおいて、 バス幅拡張や各種のペリフエラルインタフェースの搭載に より、 増大する傾向にある端子数を削減することができる。 また、 カメラモジ ユールによって得られた画像データを直接液晶パネルに表示するため、 画像デ ータによるトラフィックの増大を抑制することができる。
(実施の形態 8 )
図 8は、 本発明の実施の形態 8に係る画像処理装置の構成を示すブロック図 である。 同図に示す画像処理装置の構成は、 図 4、 図 5、 および図 6に示す画 像処理装置を組み合わせた構成であるため、 その説明を省略する。 次いで、 上記のように構成された画像処理装置の動作について説明する。 まず、 センサ 5 1 0 aまたはセンサ 5 1 0 bによって画像データが取得され る。 これらの画像データは静止画でも動画でも良い。 そして、 得られた画像デ ータは、 それぞれ対応する信号処理インタフユース 5 0 0 aまたは信号処理ィ ンタフェース 5 0 0 bへ出力される。 そして、 M P U 1 0 0によってカメラ入 力切替部 1 7 0が制御され、 さらに、 カメラ入力切替部 1 7 0によってゲート 5 2 0 aおよびゲート 5 2 0 bが制御されることにより、 信号処理インタフエ ース 5 0 0 aまたは信号処理ィンタフェース 5 0 0 bへ出力された画像デー タが、 メインプロセッサのカメラインタフェース 1 2 0またはサブプロセッサ のカメラインタフェース 4 3 0へ出力される。 ここで、 画像データが例えば静 止画や低 像度の動画である場合は、 画像データは信号処理インタフェース 5 0 0 aまたは信号処理インタフェース 5 0 0 bからカメラインタフェース 1 2 0へ出力され、 画像データが例えば高解像度の動画である場合は、 画像デー タは信号処理インタフェース 5 0 0 aまたは信号処理インタフェース 5 0 0 bからカメラインタフェース 4 3 0へ出力される。
カメラインタフェース 1 2 0へ出力された画像データは、 D S P 1 1 0によ つて処理され、 所望の画像が生成され、 液晶インタフェース 1 3 0 aへ出力さ れる。 カメラインタフェース 4 3 0へ出力された画像データは、 画像処理プロ セッサ 4 0 0によって処理され、 所望の画像が生成され、 液晶インタフェース 4 1 0 aへ出力される。
そして、 液晶切替制御部 1 8 0によって、 切替制御部 6 2 0 aおよび切替制 御部 6 2 0 bが制御されることにより、 2つの液晶モジュールのうちいずれか 一方がィネーブル （すなわち、 稼働状態） とされ、 いずれか他方がデイスエー ブル （すなわち、 非稼働状態） とされる。 そして、 液晶インタフェース 1 3 0 aによって、 イネ一ブルである液晶モジュールのドライバ 6 0 0 aまたはドラ ィバ 6 0 0 bへ画像が出力される。 出力された画像は、 それぞれ対応する液晶 パネル 6 1 0 aまたは液晶パネル 6 1 0 bに表示される。 また、 このとき、 液晶インタフェース 1 3 0 aから液晶インタフェース 4 1 0 aに同期信号が出力されているため、 メインプロセッサとサブプロセッサの 液晶ィンタフェースは共通の同期信号を用いることになり、 画像出力切替部 1 5 0によって出力される画像が切り替えられる場合でも、 表示に乱れが生じる ことがない。
このように、 本実施の形態によれば、 負荷の重い処理はサブプロセッサで処 理するなど、 処理負荷の軽減が図ることができるとともに、 複数のカメラモジ ユールおよび液晶モジュールへの接続を、 端子を増やすことなく実現すること ができる。
なお、 上記各実施の形態は組み合わせることが可能である。 すなわち、 例え ば、 実施の形態 7の画像バスによるプレビュー表示と実施の形態 8とを組み合 わせることなどが可能である。
以上説明したように、本発明によれば、データトラフィックの増大を抑制し、 既存の周辺デバィスの変更を生じることなく機能を拡張することができる。 本明細書は、 2 0 0 2年 4月 2 5日出願の特願 2 0 0 2— 1 2 3 7 6 8およ び 2 0 0 3年 4月 2 3 B出願の特願 2 0 0 3— 1 1 8 0 4 6に基づく。 これら の内容はすべてここに含めておく。 産業上の利用可能性
本発明は、 画像処理装置に適用することができる。 また、 本発明は、 例えば 液晶パネルなどの画像表示装置および例えば力メラなどの画像撮像装置を有 する通信端末装置に適用することができる。

Claims

請求の範囲
1 . 画像データを用いて表示画像の生成処理を行う第 1の処理手段と、 画像データを用いて前記第 1の処理手段とは異なる表示画像の生成処理を 行う第 2の処理手段と、
前記第 1の処理手段および前記第 2の処理手段によって得られた処理結果 を切り替えて出力する切替手段と、
を有する画像処理装置。
2 . 前記切替手段は、
前記第 1の処理手段の処理結果を出力する第 1のグートと、
前記第 2の処理手段の処理結果を出力する第 2のゲートと、
前記第 1のゲートおよび前記第 2のゲートを切り替えて動作させる画像出 力切替部と、
を有する請求の範囲第 1項記載の画像処理装置。
3 . 前記第 1の処理手段は、
処理結果を表示するための同期信号を前記第 2の処理手段へ出力し、 前記第 2の処理手段は、
同期信号に基づいて処理結果を出力する請求の範囲第 1項記載の画像処理
4 . 前記第 1の処理手段は、 処理負荷が所定値より小さい表示画像の生成処 理を行う一方、 前記第 2の処理手段は、 処理負荷が所定値より大きい表示画像 の生成処理を行う請求の範囲第 1項記載の画像処理装置。
5 . 前記第 1の処理手段は、 静止画像の生成処理を行う一方、 前記第 2の処 理手段は、 動画像の生成処理を行う請求の範囲第 1項記載の画像処理装置。
6 . 静止画像および動画像に対応する画像データを取得する取得手段、 をさ らに有し、
前記第 1の処理手段は、 前記取得手段によつて取得された静止画像に対応する画像データを用いて 表示画像の生成処理を行い、
前記第 2の処理手段は、
前記取得手段によつて取得された動画像に対応する画像データを用いて表 示画像の生成処理を行う請求の範囲第 1項記載の画像処理装置。
7 . 請求の範囲第 1項から請求の範囲第 6項のいずれかに記載の画像処理装 置を有する通信端末装置。
PCT/JP2003/005328 2002-04-25 2003-04-25 Dispositif de traitement d'image WO2003091947A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
AU2003234991A AU2003234991A1 (en) 2002-04-25 2003-04-25 Image processing device
EP03727992A EP1422659A1 (en) 2002-04-25 2003-04-25 Image processing device
KR10-2003-7016899A KR20040016894A (ko) 2002-04-25 2003-04-25 화상 처리 장치
US10/480,939 US20040119718A1 (en) 2002-04-25 2003-04-25 Image processing device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002-123768 2002-04-25
JP2002123768 2002-04-25
JP2003118046A JP2004004796A (ja) 2002-04-25 2003-04-23 画像処理装置
JP2003-118046 2003-04-23

Publications (1)

Publication Number Publication Date
WO2003091947A1 true WO2003091947A1 (fr) 2003-11-06

Family

ID=29272346

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/005328 WO2003091947A1 (fr) 2002-04-25 2003-04-25 Dispositif de traitement d'image

Country Status (7)

Country Link
US (1) US20040119718A1 (ja)
EP (1) EP1422659A1 (ja)
JP (1) JP2004004796A (ja)
KR (1) KR20040016894A (ja)
CN (1) CN1545682A (ja)
AU (1) AU2003234991A1 (ja)
WO (1) WO2003091947A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7619683B2 (en) * 2003-08-29 2009-11-17 Aptina Imaging Corporation Apparatus including a dual camera module and method of using the same
KR100600750B1 (ko) 2004-07-27 2006-07-14 엘지전자 주식회사 듀얼카메라가 장착된 이동통신 단말기
KR100652705B1 (ko) * 2004-12-30 2006-12-01 엘지전자 주식회사 이동 통신 단말기의 영상 화질 개선 장치 및 그 방법
JP4621618B2 (ja) * 2006-03-28 2011-01-26 株式会社東芝 図形描画装置、図形描画方法、およびプログラム
KR101607918B1 (ko) * 2010-01-22 2016-04-12 삼성전자주식회사 듀얼 카메라를 구비한 휴대용 단말기에서 방사 방지 회로 장치
KR20140114501A (ko) * 2013-03-14 2014-09-29 삼성전자주식회사 영상 데이터 처리 방법 및 이를 지원하는 전자 장치
CN106326186B (zh) * 2015-06-29 2019-04-30 深圳市中兴微电子技术有限公司 一种片上系统、图形绘制方法、中间层及嵌入式设备
CN108769508B (zh) * 2018-04-28 2019-06-28 Oppo广东移动通信有限公司 数据处理方法、装置、计算机可读存储介质和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02308376A (ja) * 1989-05-23 1990-12-21 Daikin Ind Ltd 画像合成方法およびその装置
JPH04253095A (ja) * 1991-01-30 1992-09-08 Matsushita Electric Ind Co Ltd ワークステーションの動画対応フレームバッファ
JPH0573252A (ja) * 1991-09-13 1993-03-26 Matsushita Electric Ind Co Ltd 動画表示ワークステーシヨン
JPH0614292A (ja) * 1992-06-26 1994-01-21 Fujitsu General Ltd 静止画像の一部に動画的効果を付与する方法
JPH0744850U (ja) * 1991-02-28 1995-11-28 日本電気ホームエレクトロニクス株式会社 画像処理装置
JPH11353470A (ja) * 1998-06-09 1999-12-24 Hitachi Ltd 画像描画並列化装置及び並列化画像描画システム
JP2000125192A (ja) * 1998-10-14 2000-04-28 Mitsubishi Electric Corp 画像合成装置
JP2001222276A (ja) * 1999-11-29 2001-08-17 Seiko Epson Corp Ｒａｍ内蔵ドライバ並びにそれを用いた表示ユニットおよび電子機器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100224861B1 (ko) * 1997-08-01 1999-10-15 윤종용 수신 신호 판별회로 및 그 방법
JP4058888B2 (ja) * 1999-11-29 2008-03-12 セイコーエプソン株式会社 Ｒａｍ内蔵ドライバ並びにそれを用いた表示ユニットおよび電子機器
JP3548521B2 (ja) * 2000-12-05 2004-07-28 Ｎｅｃマイクロシステム株式会社 半透明画像処理装置及び方法
JP2002229547A (ja) * 2001-02-07 2002-08-16 Hitachi Ltd 画像表示システム及び画像情報伝送方法
JP2002245104A (ja) * 2001-02-16 2002-08-30 Nec Corp 論理縮小機能を備えたマッピング装置、マッピング方法、及びそのプログラム。
TWI237142B (en) * 2001-07-27 2005-08-01 Sanyo Electric Co Active matrix type display device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02308376A (ja) * 1989-05-23 1990-12-21 Daikin Ind Ltd 画像合成方法およびその装置
JPH04253095A (ja) * 1991-01-30 1992-09-08 Matsushita Electric Ind Co Ltd ワークステーションの動画対応フレームバッファ
JPH0744850U (ja) * 1991-02-28 1995-11-28 日本電気ホームエレクトロニクス株式会社 画像処理装置
JPH0573252A (ja) * 1991-09-13 1993-03-26 Matsushita Electric Ind Co Ltd 動画表示ワークステーシヨン
JPH0614292A (ja) * 1992-06-26 1994-01-21 Fujitsu General Ltd 静止画像の一部に動画的効果を付与する方法
JPH11353470A (ja) * 1998-06-09 1999-12-24 Hitachi Ltd 画像描画並列化装置及び並列化画像描画システム
JP2000125192A (ja) * 1998-10-14 2000-04-28 Mitsubishi Electric Corp 画像合成装置
JP2001222276A (ja) * 1999-11-29 2001-08-17 Seiko Epson Corp Ｒａｍ内蔵ドライバ並びにそれを用いた表示ユニットおよび電子機器

Also Published As

Publication number Publication date
EP1422659A1 (en) 2004-05-26
CN1545682A (zh) 2004-11-10
AU2003234991A1 (en) 2003-11-10
US20040119718A1 (en) 2004-06-24
KR20040016894A (ko) 2004-02-25
JP2004004796A (ja) 2004-01-08

Similar Documents

Publication Publication Date Title
JP4424088B2 (ja) 撮像装置
JP2005244980A (ja) 撮像信号を処理する装置及びその方法
US7701466B2 (en) Method and system for providing accelerated video processing in a communication device
WO2003091947A1 (fr) Dispositif de traitement d'image
US20140133781A1 (en) Image processing device and image processing method
JP2018157335A (ja) 画像処理システム
JP2010118863A (ja) 画像表示装置
US20040235413A1 (en) Mobile terminal having image processing function and method therefor
US20040263663A1 (en) Digital camera image controller apparatus for a mobile phone
US9609215B2 (en) Moving-image recording/reproduction apparatus
JP2008040272A (ja) 液晶表示装置、撮像装置、液晶表示方法及びプログラム
KR100652705B1 (ko) 이동 통신 단말기의 영상 화질 개선 장치 및 그 방법
KR100606743B1 (ko) 티비아웃 기능을 지원하는 듀얼 액정 이동통신 단말기
JP2003087777A (ja) 監視カメラ制御装置
US20070008325A1 (en) Method and apparatus providing for high efficiency data capture for compression encoding
TW201941593A (zh) 投影顯示設備及顯示方法
KR200210747Y1 (ko) 화면분할기 일체형 엘씨디모니터
CN212461112U (zh) 一种液晶显示芯片
JP2006222617A (ja) 遠隔撮影システム、遠隔表示制御装置及び遠隔撮影装置
JP2009038635A (ja) カメラ及び画像表示方法
KR100362423B1 (ko) 화면분할기 일체형 엘씨디모니터
KR20010035778A (ko) 비디오 신호와 그래픽 신호의 오버레이 장치
KR100540249B1 (ko) 처리 영상을 복수개의 ｌｃｄ에 표시하는 단말기
JP2007281946A (ja) 撮像画像処理装置、画像処理方法及びプログラム
JP2004140613A (ja) 画像処理装置、画像処理方法及び通信端末装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PH PL PT RO RU SC SD SE SG SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2003727992

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1619/KOLNP/2003

Country of ref document: IN

Ref document number: 01619/KOLNP/2003

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 10480939

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020037016899

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 20038008009

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2003727992

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 2003727992

Country of ref document: EP