JP4239875B2 - Image signal processing apparatus and image signal transfer method - Google Patents
Image signal processing apparatus and image signal transfer method Download PDFInfo
- Publication number
- JP4239875B2 JP4239875B2 JP2004096182A JP2004096182A JP4239875B2 JP 4239875 B2 JP4239875 B2 JP 4239875B2 JP 2004096182 A JP2004096182 A JP 2004096182A JP 2004096182 A JP2004096182 A JP 2004096182A JP 4239875 B2 JP4239875 B2 JP 4239875B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- signal
- image
- transfer
- serial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 34
- 230000006870 function Effects 0.000 description 21
- 239000002131 composite material Substances 0.000 description 14
- 239000000872 buffer Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000000926 separation method Methods 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000008054 signal transmission Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000002279 physical standard Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Description
本発明は、デジタルデータとして入力された画像信号に基づいて画像を形成する処理部を有する画像信号処理装置及び画像信号の入力部から処理部に画像信号を転送する画像信号転送方法に関する。 The present invention relates to an image signal processing apparatus having a processing unit for forming an image based on an image signal input as digital data, and an image signal transfer method for transferring an image signal from the image signal input unit to the processing unit.
ID1204デジタル式のビデオカメラ等の画像処理装置は、基本的に対象物を撮像して画像データを生成する構成と、この画像データを処理して画像表示可能なデータ(表示画像データ)を生成する構成とを有する。図6は、ビデオカメラの画像データを生成する構成(映像信号源)61と、表示画像データを生成する構成(映像処理・表示部)62とを示す図である。図示したビデオカメラでは、撮像で得られた信号がY,U,V信号に変換され、Y信号とUV信号とがそれぞれ8ビットで映像処理・表示部62に転送される。映像信号源61と映像処理・表示部62とは信号線で接続され、画像データは、この信号線を使って転送される。
An image processing apparatus such as an ID1204 digital video camera basically captures an object and generates image data, and processes the image data to generate image displayable data (display image data). Configuration. FIG. 6 is a diagram showing a configuration (video signal source) 61 for generating image data of a video camera and a configuration (video processing / display unit) 62 for generating display image data. In the illustrated video camera, signals obtained by imaging are converted into Y, U, and V signals, and the Y signal and the UV signal are each transferred to the video processing /
図7は、映像信号源61の構成をより詳細に説明するための図である。映像信号源61は、電子カメラ・プリプロセス部71と、画像データ生成部72とで構成される。電子カメラ・プリプロセス部71のイメージセンサ73は、図示しないレンズを介して入力された光を受光し、光電変換してアナログの電気信号を生成する。生成された電気信号は、アンプ74で増幅されてADC(Analog-to-Digital Converter)75でデジタル信号に変換される。この信号をRAW信号と記す。
FIG. 7 is a diagram for explaining the configuration of the
RAW信号は、画像データ生成部72に出力される。画像データ生成部72は、RAW信号をデジタル映像処理部84においてデジタル処理し、画像データがカラーの場合にはR,G,B信号あるいはY,U,V信号を生成する。生成されたY,U,V信号等は、図6に示した映像処理・表示部62に転送される。この転送は、例えば30fps(frame/s)の実時間で行われる。このため、図7に示した構成は、Y信号用に8ビットのポート、UV信号用に8ビットのポート、また、画素同期信号を出力するためのポートの3ポートを使い、高速な画像データ転送を実現している。3ポートを使って各信号をパラレルに転送する場合、映像信号源61と映像処理・表示部62とを接続する映像信号線が16本になる。
The RAW signal is output to the image
ところで、デジタルカメラやムービーには、カメラ部分(筒頭)を可動とし、映像信号源61を搭載した筐体と映像処理・表示部62を搭載した筐体との位置関係を変更可能にしたものがある。カメラ部分を可動とすることは、ユーザにとって撮影位置を変更することなく撮影角度を変更できる使い有用な機能である。
しかし、前記したように映像信号源61から映像処理・表示部62に信号をパラレルに転送する構成では、筐体間を多くの信号線が結ぶことになる。このため、信号線が筐体同士の位置関係を変える自由度を制限する可能性がある。また、筐体間を多くの信号線が結ぶことは、デジタルカメラ等の小型化にも不利である。
By the way, in digital cameras and movies, the camera part (cylinder head) is movable, and the positional relationship between the housing in which the
However, in the configuration in which signals are transferred in parallel from the
上記した点を解決するため、Y,U,V信号等の画像データをシリアライズし、映像処理・表示部62にシリアル転送する技術がある。図8は、図7に示した映像信号源が画像データを映像処理・表示部62にシリアル転送する構成を説明するための図である。図8に示した映像信号源は、図7に示した電子カメラ・プリプロセス部71と、画像データ生成部72がUV信号多重部を備えない構成の画像データ生成部82と、映像データ・シリアル転送部83とで構成される。
In order to solve the above-described point, there is a technique of serializing image data such as Y, U, and V signals and serially transferring them to the video processing /
図9(a)〜(c)は、映像データ・シリアル転送部83の構成を説明するための図である。映像データ・シリアル転送部83は、図9(a)に示したPLL回路91、(b)に示した同期信号分離部92、(c)に示したパラレル・シリアル変換部93及びUV多重部94を有している。映像データ・シリアル転送部83のPLL回路91は、映像処理・表示部62から同期クロック信号を入力し、画素の信号に同期するPCLKとシリアル通信のためのSCLKとを画像データ生成部82に出力する。SCLKは、PCLKのレートの16倍のレートを持つ信号である。
FIGS. 9A to 9C are diagrams for explaining the configuration of the video data /
また、同期信号分離回路92は、映像処理・表示部62から複合同期信号を入力すると共にPLL回路91が出力したPCLK、SCLKを入力する。そして、入力された信号に基づいて水平同期信号HSYNC、垂直同期信号VSYNCを生成し、出力する。生成されたHSYNC、VSYNCは、PCLKと共に画像データ生成部82に出力される。なお、水平同期信号は、画像のラインの始まりを示す信号であり、垂直同期信号は、画像のフレームの始まりを示す信号である。
The synchronization
また、パラレル・シリアル変換部93にはY信号及びSCLK、PCLK、UV多重部94で生成されたUV信号が入力する。パラレル・シリアル変換部93は、SCLK、PCLKに基づいてY,U,V信号をシリアライズし、複合シリアル映像信号を生成して映像処理・表示部62に出力する。このような処理により、パラレル転送時には16本の信号線を使って転送していた画像データを、1本の信号線で転送することができる。
Further, the Y signal and the SCLK, PCLK, and the UV signal generated by the
以上述べた画像データのシリアル転送(16本の映像信号線)は、パラレル・シリアル変換の結果、少なくともパラレル転送の16倍以上の転送速度が要求される。さて、シリアル転送にCMOSレベル伝送を用いた場合を考える。CMOSレベル伝送は、送信側出力段のIOドライバ用トランジスタをスイッチングして出力レベルを決め、信号を伝送する。このため、伝送速度はIOドライバのスイッチング速度に制限される。また、CMOSレベル伝送には、物理的な信号線において信号の反射による波形歪みが生じる。CMOSレベル伝送の伝送速度は、この波形歪みによっても制限される。 The serial transfer (16 video signal lines) of the image data described above requires a transfer speed at least 16 times that of parallel transfer as a result of parallel-serial conversion. Consider a case where CMOS level transmission is used for serial transfer. In the CMOS level transmission, an IO driver transistor in a transmission side output stage is switched to determine an output level and a signal is transmitted. For this reason, the transmission speed is limited to the switching speed of the IO driver. Further, in CMOS level transmission, waveform distortion occurs due to signal reflection in a physical signal line. The transmission speed of CMOS level transmission is also limited by this waveform distortion.
さらに、このような制限を解消して充分な画像データの転送速度が得られた場合にも、CMOSレベル伝送には、転送速度が高まると消費電力が増加するという特性がある。このため、デジタルカメラ等の電池で駆動する構成において、高速なCMOSレベル転送を使ったシリアル転送を利用した場合、電池寿命がかえって短くなる恐れがある。
信号を高速に転送できるシリアル伝送の方式として、National Semiconductor社(NS社)がChannel Link(登録商標)を提案している(例えば非特許文献1)。FPD Link(Flat Panel Display Link)は、Channel Link(登録商標)を利用してディスプレイとコンピュータとを接続するNS社の規格である。
Further, even when such a restriction is removed and a sufficient transfer rate of image data is obtained, CMOS level transmission has a characteristic that power consumption increases as the transfer rate increases. For this reason, in a configuration driven by a battery such as a digital camera, when serial transfer using high-speed CMOS level transfer is used, the battery life may be shortened.
National Semiconductor (NS) has proposed Channel Link (registered trademark) as a serial transmission method capable of transferring signals at high speed (for example, Non-Patent Document 1). FPD Link (Flat Panel Display Link) is a standard of NS that connects a display and a computer by using Channel Link (registered trademark).
図10、11は、FPD Linkを説明するための図である。FPD Linkによれば、図10に示したように、シリアル同期クロック信号のための1チャンネル、画像データ(例えばR,G,B各8ビット)HSYNC、VSYNC等が多重された信号用の4チャンネルの合計5チャンネルで映像信号源95から画像データを映像処理・表示装置97へ転送することができる
図11は、シリアル送信部96の構成を示す図である。R,G,Bの各画像データ及び各同期信号は各7ビットの信号としてビット分配部100で4チャンネルに分配される。各信号は各々パラシリ変換部98a〜dでシリアルデータに変換され、専用のドライバ回路99a〜dで映像処理・表示装置97に伝送される。ドライバ回路99a〜dと図示しないレシーバ回路との間の物理的な規格にはLVDS(Low Voltage Differential Signaling)が用いられている。
10 and 11 are diagrams for explaining the FPD Link. According to FPD Link, as shown in FIG. 10, one channel for a serial synchronous clock signal, four channels for signals multiplexed with image data (for example, 8 bits each for R, G, B) HSYNC, VSYNC, etc. The image data can be transferred from the
LVDSによる信号の伝送は、1チャンネルの信号を差動信号として伝送するもので、1チャンネルあたり2本の信号線を使う。したがって、図10に示した構成では信号線は10本必要である。従来のバス全線接続時では28本必要であったことから、LVDSは、映像信号源と映像処理・表示装置とを接続する信号線の数を低減することが可能であるといえる。 Signal transmission by LVDS transmits a signal of one channel as a differential signal, and uses two signal lines per channel. Therefore, in the configuration shown in FIG. 10, ten signal lines are required. Since 28 lines are necessary when all the conventional bus lines are connected, it can be said that LVDS can reduce the number of signal lines connecting the video signal source and the video processing / display device.
また、LVDSは、物理的信号線のインピーダンスの整合に関して考慮されており、信号の反射による波形歪みが生じない。また、差動対の信号線にバイアス電圧をかけ、両者の信号レベルを変化させることによって信号を伝送する。このため、CMOSレベル伝送のようにドライバをスイッチングさせる必要がない。以上の点から、LVDSは、高速な伝送速度が実現できる伝送方式であり、充分な伝送速度が得られるものといえる。なお、現在、LVDSでは600Mbps程度の速度が保証されている。 Further, LVDS is considered with respect to impedance matching of physical signal lines, and waveform distortion due to signal reflection does not occur. Further, a signal is transmitted by applying a bias voltage to the signal lines of the differential pair and changing the signal levels of both. For this reason, it is not necessary to switch a driver like CMOS level transmission. From the above points, LVDS is a transmission method that can realize a high transmission rate, and it can be said that a sufficient transmission rate can be obtained. Currently, LVDS guarantees a speed of about 600 Mbps.
さらに、LVDSの方式は、消費電力が伝送速度に依存しない。このため、充分な信号の伝送速度を得た場合にも消費電力が大きくなることがなく、デジタルカメラ等に搭載することに適するものといえる。
しかしながら、LVDSによる信号の伝送は、常に差動対の信号線にバイアス(差動バイアス)をかけて行われる。このため、LVDSの方式の消費電力は、差動対の信号線を流れる差動バイアス電流(終端抵抗は100Ω程度)とバイアス電流によって発生するドライバ回路での消費電力によって決定する。このバイアス電流は、3.5mAと比較的小さく抑えられているものの、デジタルカメラ等電池を使って動作する装置に適用する場合にはさらに改善の余地がある。 However, signal transmission by LVDS is always performed by applying a bias (differential bias) to the signal lines of the differential pair. Therefore, the power consumption of the LVDS method is determined by the power consumption in the driver circuit generated by the differential bias current (termination resistor is about 100Ω) flowing through the differential pair of signal lines and the bias current. Although this bias current is suppressed to a relatively small value of 3.5 mA, there is room for further improvement when applied to a device that uses a battery such as a digital camera.
また、LVDSによる信号の伝送方式は、映像信号源と映像処理・表示装置とをつなぐ信号線の数を従来よりも少なくすることができるものの、信号線の数は少ないほど望ましい。このため、LVDSには、画像データの転送に必要な信号線の本数についてもいっそうの改善の余地がある。
本発明は、以上の点に鑑みてなされたものであり、LVDS方式の高速データ伝送の長所を生かしながら、より消費電力が低く、画像データの転送に必要な信号線本数の少ない画像信号処理装置及び画像信号転送方法を提供することを目的とする。
Further, the signal transmission method by LVDS can reduce the number of signal lines connecting the video signal source and the video processing / display apparatus as compared with the conventional one, but the smaller the number of signal lines, the better. For this reason, LVDS has room for further improvement in the number of signal lines necessary for transferring image data.
The present invention has been made in view of the above points, and is an image signal processing device that consumes the advantages of LVDS high-speed data transmission, consumes less power, and requires fewer signal lines for transferring image data. And an image signal transfer method.
以上の課題を解決するため、本発明の画像信号処理装置は、画像信号を取得する画像信号取得手段と、前記画像信号取得手段によって取得された画像信号を蓄積する画像信号蓄積手段と、前記画像信号蓄積手段に蓄積された画像信号を、該画像信号を処理して表示画像を生成する画像処理手段に転送する画像信号転送手段と、前記画像信号蓄積手段に所定の量の画像信号が蓄積される間、前記画像信号転送手段に対する電力供給を停止すると共に、所定量の画像信号が蓄積された場合に電力供給を開始する電力供給制御手段とを備えることを特徴とする。 In order to solve the above problems, an image signal processing apparatus according to the present invention includes an image signal acquisition unit that acquires an image signal, an image signal storage unit that stores the image signal acquired by the image signal acquisition unit, and the image An image signal transfer unit that transfers the image signal stored in the signal storage unit to an image processing unit that processes the image signal to generate a display image, and a predetermined amount of the image signal is stored in the image signal storage unit. Power supply control means for stopping power supply to the image signal transfer means and starting power supply when a predetermined amount of image signals are accumulated.
このような発明によれば、入力された画像信号をいったん蓄積して画像処理手段に転送する。そして、転送を行う画像信号転送手段に対し、画像信号蓄積手段に所定の量の画像信号が蓄積される間は電力供給を停止する。また、所定量の画像信号が蓄積された場合に電力供給を開始することができる。このため、画像信号の転送にかかる消費電力を低減することができる。そして、このような本発明をLVDS方式のデータ伝送に適用することにより、LVDS方式の長所(データ転送が高速にできる)を生かしながら、より消費電力を低減することができる。 According to such an invention, the input image signal is temporarily accumulated and transferred to the image processing means. Then, the power supply to the image signal transfer unit that performs the transfer is stopped while a predetermined amount of the image signal is stored in the image signal storage unit. Further, power supply can be started when a predetermined amount of image signal is accumulated. For this reason, it is possible to reduce the power consumption for transferring the image signal. By applying the present invention to LVDS data transmission, power consumption can be further reduced while taking advantage of the LVDS method (data transfer can be performed at high speed).
また、本発明の画像信号処理装置は、前記画像信号蓄積手段と前記画像信号転送手段とが、前記画像信号を速度変換し、前記画像信号取得手段によって取り込まれた速度よりも高速で前記画像処理手段に転送することによって画像信号が前記画像信号蓄積手段に所定の量蓄積される期間は画像信号の転送を停止させることを特徴とする。
このような発明によれば、画像信号転送期間(時間)を画像取得期間に対して短くすることができ、よって画像転送手段に対する電力供給期間を短縮できる。すなわち更に消費電力を削減することができる。
In the image signal processing apparatus of the present invention, the image signal storage means and the image signal transfer means convert the speed of the image signal and perform the image processing at a speed higher than the speed captured by the image signal acquisition means. The transfer of the image signal is stopped during a period in which a predetermined amount of the image signal is stored in the image signal storage means by transferring to the means.
According to such an invention, the image signal transfer period (time) can be shortened with respect to the image acquisition period, and therefore the power supply period for the image transfer means can be shortened. That is, power consumption can be further reduced.
また、本発明の画像信号処理装置は、前記画像信号蓄積手段に蓄積された画像信号がパラレルで読み出される場合、パラレルの画像信号をシリアルに変換して前記画像転送手段に転送させるシリアル変換手段をさらに備えることを特徴とする。
このような発明によれば、画像信号をシリアル化して画像処理手段に転送することができるので、極力少ない本数の信号線で画像信号を転送することができる。
The image signal processing apparatus according to the present invention further includes serial conversion means for converting the parallel image signal into serial data and transferring it to the image transfer means when the image signals stored in the image signal storage means are read out in parallel. It is further provided with the feature.
According to such an invention, since the image signal can be serialized and transferred to the image processing means, the image signal can be transferred with as few signal lines as possible.
また、本発明の画像信号処理装置は、前記画像信号蓄積手段が、少なくとも1ライン分の画像信号を蓄積するラインメモリであることを特徴とする。
このような発明によれば、画像信号をライン単位に蓄積し、転送することができる。このため、ライン単位で画像データを送受信でき、同期がとり易く、かつ画像処理もし易くなる。
In the image signal processing apparatus of the present invention, the image signal storage means is a line memory for storing image signals for at least one line.
According to such an invention, image signals can be stored and transferred in units of lines. For this reason, image data can be transmitted and received in line units, synchronization is easy, and image processing is easy.
また、本発明の画像信号処理装置は、前記電力供給制御手段が、前記画像信号転送手段に電力を供給した後、所定の時間の経過後に画像信号の転送を開始することを特徴とする。
このような発明によれば、画像信号転送手段の動作が安定してから画像信号の転送を開始することができる。このため、画像信号をより確実に転送し、転送動作の信頼性を高めることができる。
The image signal processing apparatus of the present invention is characterized in that the power supply control means starts transferring the image signal after a predetermined time has elapsed after supplying power to the image signal transfer means.
According to such an invention, the transfer of the image signal can be started after the operation of the image signal transfer means is stabilized. For this reason, the image signal can be transferred more reliably and the reliability of the transfer operation can be improved.
また、本発明の画像信号処理装置は、前記画像信号取得手段が、受光した光を光電変換してアナログ電気信号を生成するイメージセンサと、生成されたアナログ電気信号をデジタル信号に変換するAD変換器とを少なくとも含み、前記AD変換器によって変換されたデジタル信号を画像信号として取得することを特徴とする。
このような発明によれば、画像信号のデータ量が一般的な画像信号(RGBやYUV)のデータ量よりも少ないため、シリアル転送時間を短縮することができる。
In the image signal processing apparatus of the present invention, the image signal acquisition unit photoelectrically converts received light to generate an analog electric signal, and AD conversion to convert the generated analog electric signal into a digital signal A digital signal converted by the AD converter is acquired as an image signal.
According to such an invention, since the data amount of the image signal is smaller than the data amount of a general image signal (RGB or YUV), the serial transfer time can be shortened.
また、本発明の画像信号転送方法は、取得された画像信号を蓄積する画像信号蓄積ステップと、前記画像信号蓄積ステップにおいて所定の量の画像信号が蓄積される間、前記画像信号を転送する画像信号転送手段に対する電力の供給を停止する電力供給停止ステップと、前記画像信号蓄積ステップにおいて所定の量の画像信号が蓄積された場合に電力供給を開始する電力供給開始ステップと、を含むことを特徴とする。 The image signal transfer method of the present invention includes an image signal accumulation step for accumulating the acquired image signal, and an image for transferring the image signal while a predetermined amount of image signal is accumulated in the image signal accumulation step. A power supply stop step for stopping power supply to the signal transfer means; and a power supply start step for starting power supply when a predetermined amount of image signal is stored in the image signal storage step. And
このような発明によれば、入力された画像信号をいったん蓄積して転送する。そして、転送を行う画像信号転送手段に対し、所定の量の画像信号が蓄積される間は電力供給を停止する。また、所定量の画像信号が蓄積された場合に電力供給を開始することができる。このため、画像信号の転送にかかる消費電力を低減することができる。そして、このような本発明をLVDS方式のデータ伝送に適用することにより、LVDS方式の長所(データ転送が高速にできる)を生かしながら、より消費電力を低減することができる。 According to such an invention, the input image signal is once accumulated and transferred. Then, the power supply is stopped while a predetermined amount of the image signal is accumulated in the image signal transfer means that performs the transfer. Further, power supply can be started when a predetermined amount of image signal is accumulated. For this reason, it is possible to reduce the power consumption for transferring the image signal. By applying the present invention to LVDS data transmission, power consumption can be further reduced while taking advantage of the LVDS method (data transfer can be performed at high speed).
以下、図を参照して本発明に係る画像信号処理装置の実施の形態を説明する。図1は、本実施形態の画像信号処理装置の構成を説明するための図である。本実施形態の画像信号処理装置は、映像信号源1と、映像処理・表示装置2とを備えている。なお、本実施形態は、動画を撮影してデジタルデータとして処理するカムコーダに本発明の画像信号処理装置を適用したものである。
Embodiments of an image signal processing apparatus according to the present invention will be described below with reference to the drawings. FIG. 1 is a diagram for explaining a configuration of an image signal processing apparatus according to the present embodiment. The image signal processing apparatus of this embodiment includes a
図1に示した映像信号源1は、カムコーダのカメラ部分であって、撮影されたカラー画像を加工して画像信号を取得する画像信号取得手段である。また、映像処理・表示装置2は、画像信号を処理して表示画像を生成する画像処理部である。映像信号源1からは、各色の画像データが複合した複合映像信号として映像処理・表示装置2にシリアル転送される。また、映像処理・表示装置2からは複合同期信号及びシリアル同期クロックが映像信号源1に出力し、映像信号源1は、複合同期信号及びシリアル同期クロックに基づいて動作する。
A
映像信号源1はシリアル送信部101を有し、映像処理・表示装置2はシリアル送信部101が送信した画像信号を受信するシリアル受信部102を有する。映像信号源1が出力する画像信号は、R,G,B信号、Y,U,V信号、RAW信号のいずれでもよく、本実施形態では、YUV信号とする。なお、図1中に示していないが、映像信号源1は、図7に示した電子カメラ・プリプロセス部や画像データ生成部と同様の機能を備えている。そして、電子カメラ・プリプロセス部のイメージセンサで読み取った信号をアンプで増幅し、ADCでデジタル変換し、デジタル映像処理してY,U,V信号を生成している。
The
図2は、シリアル送信部101の構成を説明するための図である。シリアル送信部101は、画素データ生成部210からY,U,V信号を入力する。なお、本実施形態では、画素データ生成部210を図示しない電子カメラ・プリプロセス部からY,U,V信号をそれぞれ8ビットのY信号とUV信号として入力し、入力したY信号とUV信号とを多重して16ビットで表される画像データ(以降画素データと記す)を生成する構成とする。
FIG. 2 is a diagram for explaining the configuration of the
シリアル送信部101は、入力した画像信号を蓄積する画像信号蓄積手段であるFIFO(First-In First-Out)メモリ201、FIFOメモリ201に蓄積された画素データを映像処理・表示装置2に転送する画像信号転送手段である電源制御機能付ドライバ回路209、FIFOメモリ201に所定の量の画素データが蓄積される間、電源制御機能付ドライバ回路209に対する電力供給を停止すると共に、所定量の画像信号が蓄積された場合に電力供給を開始するシリアル転送制御部202を備えている。
The
また、シリアル送信部101は、映像処理・表示装置2から複合同期信号及びシリアル同期クロックを入力するためのレシーバ回路207a及び207b、FIFOメモリ201に蓄積された後、読み出された16ビットで表される画素データを1ビットのデータに変換するパラレル・シリアル変換部208を備えている。
図2に示したFIFOメモリ201は、少なくとも1ライン分の画素データを蓄積するラインメモリであり、本実施形態では、1ライン分の画素データ(16ビットで表される)を蓄積(本実施形態では書き込まれるとも記す)する。FIFOメモリ201は、書き込まれたデータが書き込まれた順に読み出されるメモリである。本実施形態では、FIFメモリ201が、画素データの転送速度(レート)をシリアル転送のレートに速度変換する。
In addition, the
The
パラレル・シリアル変換部208は、16ビットでFIFOメモリ201からパラレルに読み出される画素データを1ビットのシリアルデータに変換する構成であり、電源制御機能付ドライバ回路209は、外部から入力された制御信号によってオン、オフし、オン状態であるときに画素データを外部に伝送するドライバである。
シリアル転送制御部202は、FIFOメモリ201における画素データの書き込みを制御するFIFO書込コントローラ203、FIFO書込コントローラ203の制御によってFIFO201から画素データを読み出して転送するシリアル転送コントローラ204、映像処理・表示装置2から複合同期信号及び同期クロックを入力してFIFO書込コントローラ203とシリアル転送コントローラ204とに動作タイミングを指示する同期信号を生成する目的の、レシーバ回路207a及び207b、PLL回路206、同期信号分離回路205を備えている。
The parallel-
The serial
シリアル転送制御部202における同期信号の生成は、以下のように行われる。映像処理・表示装置2は、複合同期信号及びシリアル同期クロックを映像信号源1のシリアル送信部101に出力する。シリアル送信部101は、レシーバ回路207aで複合同期信号を入力し、レシーバ回路207bでシリアル同期クロックを入力する。入力された複合同期信号は、さらに同期信号分離回路205にされる。
The generation of the synchronization signal in the serial
一方、シリアル同期クロックは、レシーバ回路207bを介してシリアル転送制御部202に入力され、PLL回路206に入力される。PLL回路206は、シリアル同期クロックに基づいてPCLK(画素CLK、図中にはPXLCLKと記す)とSCLK(シリアルクロック)とを生成する。生成されたPCLKとSCLKとは、同期信号分離回路205に入力される。同期信号分離回路205は、入力された各同期信号からVSYNC、HSYNCを生成し、FIFO書込コントローラ203に出力する。
On the other hand, the serial synchronous clock is input to the serial
FIFO書込コントローラ203には、VSYNC、HSYNCと共にPCLKが入力される。そして、VSYNC、HSYNC、PCLKを使ってFIFOメモリ201の書込制御信号(FIFO_WRITE)と書込許可信号(ENABLE_Write)とを生成する。書込制御信号、書込許可信号は、FIFOメモリ201に所定のタイミングで出力される。
PCLK is input to the
書込制御信号はFIFOメモリ201に画素データの書込タイミングを指示する信号である。画素データのうちFIFOメモリ201に書き込むべき画素データ(有効画素を示す画素データ)が転送されてくるタイミング(有効範囲)で書込許可信号がENABLEの状態になり、ENABLE状態の間は書込制御信号が出力されてFIFOメモリ201における書き込みが行われる。
The write control signal is a signal that instructs the
さらに、FIFO書込コントローラ203は、FIFOメモリ201に書き込まれる画素及びライン数をカウントするカウンタ(図示せず)を有している。そして、このカウンタでFIFOメモリ201に書き込まれる画素データの数をカウントする。カウントにより、FIFO書込コントローラ203は、FIFOメモリ201に書き込まれた画素データの量を検出することができる。
Furthermore, the
FIFO書込コントローラ203は、FIFOメモリ201に所定の量の画素データが書き込まれたことを検出すると、書込終了信号(FIFO_FULL)をシリアル転送コントローラ204に出力する。なお、本実施形態では、FIFOメモリ201に1ライン分の画素データが書き込まれたタイミングで書込終了信号が出力されるものとして以降の説明を行う。なお、本実施形態は画素データを1ライン分書き込む構成に限定されるものでなく、ライン単位で1ライン以上の画素データを書き込むものであればよい。また、ライン単位の数(整数倍)でなく、FIFOとして機能できる数でよい。
When the
また、PLL回路206によって生成されたPCLK及びSCLKは、シリアル転送コントローラ204に出力される。シリアル転送コントローラ204は、PCLK、SCLK及び書込終了信号に基づいてFIFOメモリ201に書き込まれている画素データを読み出すことを指示する読み出し制御信号(FIFO_READ)を生成する。この読み出し制御信号(FIFO_READ)を前述の書込制御信号(FIFO_WRITE)よりも高速化することで速度変換を行う。読み出し制御信号は、FIFOメモリ201と共にパラレル・シリアル変換部208に入力される。
The PCLK and SCLK generated by the
さらに、シリアル転送コントローラ204は、PCLK、SCLK及び書込終了信号からSCLKと読み出し許可信号(ENABLE_Shift)を生成し、パラレル・シリアル変換部208に出力する。パラレル・シリアル変換部208は、読み出し制御信号が入力されたタイミングでFIFOメモリ201に書き込まれている画素データを読み出す。読み出し制御信号は、読み出し許可信号がENABLEの状態になったタイミングで出力される。
Further, the
また、シリアル転送コントローラ204は、PCLK、SCLK及び書込終了信号に基づいて電源制御信号を生成し、電源制御機能付ドライバ回路209に出力する。電源制御信号は、電源制御機能付ドライバ回路209をオンまたはオフするための制御信号である。
以上の構成は、以下のように動作する。すなわち、画素データ生成部210は、Y,U,Vの画素データを、16ビットを1単位としてパックする。パックされた画素データ(16ビット画素データ)はFIFOメモリ201に入力され、1ライン分の画素データ(640画素)がFIFOメモリ201に書き込まれる。この書き込みは、PCLKと等しいレートの書込制御信号に基づいて行われる。
The
The above configuration operates as follows. That is, the pixel
FIFO書込コントローラ203は、カウンタでFIFOメモリ201に書き込まれる画素数をカウントし、1ライン分の画素、すなわち640画素をカウントするとシリアル転送コントローラ104に書込終了信号を出力する。シリアル転送コントローラ204は、書込終了信号が入力されたことによってFIFOメモリ201とパラレル・シリアル変換部208に読み出し制御信号を出力する。
The
パラレル・シリアル変換部208は、読み出し制御信号が入力されるとFIFOメモリ201から1ライン分の画素データを読み出す。この読み出しは、読み出し制御信号(FIFO_READ)の16倍のレートを持つSCLKに基づいて行われる。読み出された画素データは、シリアルデータとなって1ビットずつ電源制御付ドライバ回路209に入力される。パラレル・シリアル変換部208は、例えば図3のように構成することができる。
The parallel /
図3に示した例では、パラレル・シリアル変換部208は、複数(16個)の内部バッファ203と、FIFOメモリ201から読み出された16ビットの画素データを各内部バッファに分配するビット分配部302、画素データの内部バッファへ303の格納のタイミングを制御するロード許可信号、格納された画素データの内部バッファ303間のシフトのタイミングを制御するシフト許可信号を生成する制御部301とで構成している。ロード許可信号、シフト許可信号は、いずれも内部バッファ303が空にならないよう、オーバーライトがなされないよう制御部が出力する制御信号である。
In the example illustrated in FIG. 3, the parallel /
パラレル・シリアル変換部208は、16ビットの画素データを入力し、各内部バッファ303に格納する。格納は、ロード許可信号に同期して行われる。格納された画素データは、シフト許可信号に同期して順次後段の内部バッファにシフトされ、1ビットずつシリアルデータとして電源制御機能付ドライバ回路209に転送される。ロード許可信号は、読み出し制御信号(FIFO_READ)に同期し、シフト許可信号は読み出し制御信号の16倍のレートのSCLKに同期している。読み出し制御信号の速度をPCLKの速度よりも十分に速くすることで、FIFOメモリ201から読み込まれた16ビットの画素データは、書き込みにかかった時間よりも短時間のうちにシリアルデータとして転送することができる。このような変換を本実施形態では速度変換という。
The parallel /
また、シリアル転送コントローラ204は、書込終了信号を受け取って電源制御機能付ドライバ回路209に電源制御信号を出力する。電源制御機能付ドライバ回路209は、電源制御信号が入力されたことによって電源オンし、画素データを複合映像信号として映像処理・表示装置2にシリアル転送する。本実施形態では、この転送を、従来技術で述べたVLDSの方式によって行うものとする。
The
FIFOメモリ201に書き込まれた1ライン分の画素データの読み出しが終了すると、シリアル転送コントローラ204は、読み出し制御信号の出力を停止する。また、電源制御信号を出力して電源制御機能付ドライバ回路209を電源オフする。そして、シリアル転送コントローラ204は、次に書込終了信号が入力されるまで待機する。
次に、以上述べた本実施形態の画像信号処理装置の動作を、タイミングチャートを使って説明する。図4(a)〜(i)は、シリアル送信部101の動作を説明するためのタイミングチャートである。画素データのシリアル送信部101への入力にあたり、映像処理・表示装置2から複合同期信号がシリアル送信部101に入力する。シリアル送信部101では複合同期信号を分離してHSYNCが生成され、シリアル送信部101は画像のラインの開始を検出する(c)。
When the reading of the pixel data for one line written in the
Next, the operation of the image signal processing apparatus of the present embodiment described above will be described using a timing chart. 4A to 4I are timing charts for explaining the operation of the
FIFO書込コントローラは、水平同期信号の入力からカウンタでカウントを開始し、1ラインのうち書き込むべき画素が入力されてくるタイミング(画素データ有効期間)を検出する。そして、画素データ有効期間を示す書込許可信号をFIFOメモリ201に出力する(d)。また、書込許可信号と共にPCLKに同期する書込制御信号をFIFOメモリ201に出力する(e)。FIFOメモリ201は、PCLK(a)に同期して入力される画素データ(b)を書込制御信号に同期して書き込む。
The FIFO write controller starts counting with the counter from the input of the horizontal synchronization signal, and detects the timing (pixel data valid period) at which the pixel to be written in one line is input. Then, a write permission signal indicating the pixel data valid period is output to the FIFO memory 201 (d). In addition, a write control signal synchronized with PCLK is output to the
本実施形態では、1ライン分の画素640個に相当する画素データが書き込まれたタイミングでFIFO書込コントローラ203が書込制御信号の出力を停止し(e)、FIFOメモリ201に書込を終了させる。また、FIFO書込コントローラ203は、書込制御信号のうち最後のパルス信号出力のタイミングで、書込終了信号をシリアル転送コントローラ204に出力する(f)。
In this embodiment, the
シリアル転送コントローラ204は、電源制御機能付ドライバ回路209に対する電源制御信号を、書込終了信号入力のタイミングでONにする(g)。電源制御信号は電源制御機能付ドライバ回路209の電源をオンする信号であり、電源制御信号の入力によって電源制御機能付ドライバ回路209に電力が供給される。本実施形態では、電源制御機能付ドライバ回路209に電力を供給した後、所定の時間の経過後に画像信号の転送を開始する。このため、シリアル転送コントローラ204は、電源制御信号の出力から所定の時間(ウェイト期間)経過後に読み出し許可信号をパラレル・シリアル変換部208に出力する(h)。
The
以上の動作により、シリアル転送データは、電源制御機能付ドライバ回路209への電力供給からウェイト期間経過後に転送を開始される(i)。このような動作により、本実施形態の画像信号処理装置は、電源制御機能付ドライバ回路209の動作状態が安定してから画素データの転送を開始し、画素データを確実に映像処理・表示装置2に転送することができる。
With the above operation, the transfer of the serial transfer data is started after the wait period elapses from the power supply to the power supply control function-equipped driver circuit 209 (i). By such an operation, the image signal processing apparatus according to the present embodiment starts the transfer of pixel data after the operation state of the
図5(a)〜(d)は、パラレル・シリアル変換部208の動作タイミングを説明するためのタイミングチャートである。パラレル・シリアル変換部208は、前記したように、FIFOメモリ201から画素データを読み出す。この読み出しは、シリアル転送コントローラ204から入力するSCLK(c)を16分周したレートの読み出し制御信号(a)に同期して行われる。すなわち、画素データは、図5(b)に示すように、SCLKが16パルス出力される間に16ビット分パラレル・シリアル変換部208に読み込まれる。
5A to 5D are timing charts for explaining the operation timing of the parallel /
パラレル・シリアル変換部208に読み込まれた16ビットの画素データは、1ビットずつ内部バッファ303に格納される。そして、SCLKに同期して順次後段の内部バッファ303にシフトされて1ビットずつ映像処理・表示部2にシリアル転送される(d)。なお、画素データがシリアル転送されている期間をシリアル転送期間といい、電源制御機能付ドライバ回路209が画素データを転送していない期間をアイドル期間という。
The 16-bit pixel data read into the parallel /
以下、本実施形態によって得られる消費電力低減の効果を具体的な例を挙げて説明する。なお、この例は、次の条件を想定している。
ピクセルクロック:13.5MHz
シリアル転送速度:13.5×44=594MBps
CCIR(ComiteConsultatif International des Radio Communication)601規格に準拠
1ラインあたり858画素(858画素/1H)ただし、有効画素は640/1H
1フレームあたり525ライン(525ライン/1V、60フィールド/sec)
以上の条件で1H分の画素データを転送する期間にシリアル転送期間が占める割合を計算すると、以下の計算式が示すように0.27の値が得られる。
Hereinafter, the effect of the power consumption reduction obtained by the present embodiment will be described with a specific example. This example assumes the following conditions.
Pixel clock: 13.5MHz
Serial transfer speed: 13.5 × 44 = 594MBps
Compliant with CCIR (ComiteConsultatif International des Radio Communication) 601 standard 858 pixels per line (858 pixels / 1H) However, effective pixels are 640 / 1H
525 lines per frame (525 lines / 1V, 60 fields / sec)
When the ratio of the serial transfer period to the period for transferring the pixel data for 1H under the above conditions is calculated, a value of 0.27 is obtained as shown in the following calculation formula.
(640×16/(13.5×44))/(858/13.5)=0.27
ただし、本実施形態は、上記したように、電源制御機能付ドライバ回路209の動作状態が安定するまでウェイト期間を設けている。ウェイト期間を0.06Hとすると、実際に電源制御機能付ドライバ回路209に電力が供給される時間は0.33Hである。従来のLVDSが1H中常に3.5mAのバイアス電流を流し続けて画素データを転送していたことに比べ、本実施形態は、消費電流を1/3の約1mAにすることができる。
(640 × 16 / (13.5 × 44)) / (858 / 13.5) = 0.27
However, in this embodiment, as described above, a wait period is provided until the operation state of the driver circuit with power
また、本発明は上記した実施形態のように画素データをY,U,Vの形で転送することに限定されるものではなく、RAWデータの形で転送するものであってもよい。このようにした場合、RAWデータのデータ量がY,U,Vのデータ量よりも少ないため、いっそうシリアル転送時間が1H中に占める割合が小さくなる。すなわち、YUVデータを10ビットとすると、シリアル転送期間が1Hの期間に占める割合は、
(640×10/(13.5×44))/(858/13.5)=0・17
これにウェイト期間の0.06Hを加えても電源制御機能付ドライバ回路209への給電時間は0.23となり、本実施形態の画素データ転送にかかる消費電流は、従来のVLDSの消費電流の1/4となる。
Further, the present invention is not limited to transferring pixel data in the form of Y, U, and V as in the above-described embodiment, and may be transferred in the form of RAW data. In this case, since the amount of RAW data is smaller than the amount of Y, U, and V data, the ratio of serial transfer time in 1H is further reduced. That is, assuming that the YUV data is 10 bits, the ratio of the serial transfer period to the 1H period is:
(640 × 10 / (13.5 × 44)) / (858 / 13.5) = 0 · 17
Even if a wait period of 0.06H is added to this, the power supply time to the driver circuit with
以上述べたように、本実施形態によれば、FIFOメモリ201に1ライン分の画素データを書き込み、書き込まれた画像データを一挙に転送することで、画像信号を転送しない期間を設け、この期間間電源制御機能付ドライバ回路209に対して電力を供給しないことが可能となる。このため、常に差動バイアスをかけて画素データを転送する従来のLVDSよりも消費電力を低減することができる。
As described above, according to the present embodiment, by writing pixel data for one line into the
また、本実施形態は、書き込まれた画素データをシリアル信号として映像処理・表示装置2に転送することができる。このため、映像信号源1から映像処理・表示装置2へ画素データを転送するための信号線が1チャンネルでよく、同期信号等を伝送する信号線と合わせて合計2チャンネルの信号線で映像信号源1と映像処理・表示装置2とを接続することができる。したがって、本実施形態は、従来のFPDに比べて信号線本数をより低減できるものといえる。
In the present embodiment, the written pixel data can be transferred to the video processing /
1 映像信号源、2 映像処理・表示装置、101 シリアル送信部、201 FIFOメモリ、202 シリアル転送制御部、203 FIFO書込コントローラ、204 シリアル転送コントローラ、205 同期信号分離回路、206 PLL回路、208 パラレル・シリアル変換部、209 電源制御機能付ドライバ回路、210 画素データ生成部210、301 制御部、302 ビット分配部、303 内部バッファ
DESCRIPTION OF
Claims (7)
前記画像信号取得手段によって取得された画像信号を蓄積する画像信号蓄積手段と、
前記画像信号蓄積手段に蓄積された画像信号を、該画像信号を処理して表示画像を生成する画像処理手段に転送する画像信号転送手段と、
前記画像信号蓄積手段に所定の量の画像信号が蓄積される間、前記画像信号転送手段に対する電力供給を停止すると共に、所定量の画像信号が蓄積された場合に電力供給を開始する電力供給制御手段と、
を備えることを特徴とする画像信号処理装置。 Image signal acquisition means for acquiring an image signal;
Image signal storage means for storing the image signal acquired by the image signal acquisition means;
Image signal transfer means for transferring the image signal stored in the image signal storage means to image processing means for processing the image signal to generate a display image;
Power supply control for stopping power supply to the image signal transfer means while a predetermined amount of image signal is stored in the image signal storage means and starting power supply when a predetermined amount of image signal is stored Means,
An image signal processing apparatus comprising:
前記画像信号蓄積ステップにおいて所定の量の画像信号が蓄積される間、前記画像信号を転送する画像信号転送部に対する電力の供給を停止する電力供給停止ステップと、
前記画像信号蓄積ステップにおいて所定の量の画像信号が蓄積された場合に電力供給を開始する電力供給開始ステップと、
を含むことを特徴とする画像信号転送方法。 An image signal accumulating step for accumulating the acquired image signal;
A power supply stop step of stopping the supply of power to the image signal transfer unit that transfers the image signal while a predetermined amount of the image signal is stored in the image signal storage step;
A power supply start step for starting power supply when a predetermined amount of image signal is stored in the image signal storage step;
An image signal transfer method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004096182A JP4239875B2 (en) | 2004-03-29 | 2004-03-29 | Image signal processing apparatus and image signal transfer method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004096182A JP4239875B2 (en) | 2004-03-29 | 2004-03-29 | Image signal processing apparatus and image signal transfer method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005286597A JP2005286597A (en) | 2005-10-13 |
JP4239875B2 true JP4239875B2 (en) | 2009-03-18 |
Family
ID=35184533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004096182A Expired - Lifetime JP4239875B2 (en) | 2004-03-29 | 2004-03-29 | Image signal processing apparatus and image signal transfer method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4239875B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4827611B2 (en) | 2006-05-23 | 2011-11-30 | ローム株式会社 | Serial interface device, image forming device |
TWI791952B (en) * | 2014-12-18 | 2023-02-11 | 日商半導體能源研究所股份有限公司 | Semiconductor device, sensor device, and electronic device |
-
2004
- 2004-03-29 JP JP2004096182A patent/JP4239875B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2005286597A (en) | 2005-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8218052B2 (en) | High frame rate high definition imaging system and method | |
US8169499B2 (en) | Solid-state image pick-up device, data transmission method, and image pickup apparatus | |
JP4827611B2 (en) | Serial interface device, image forming device | |
US20010050713A1 (en) | Device and method for generating timing signals of different kinds | |
JP5424726B2 (en) | Imaging device | |
CN101860682B (en) | Image pickup apparatus | |
US8587678B2 (en) | Head-separated camera device with switchable clocking | |
JP4368835B2 (en) | Image processing apparatus, imaging apparatus, and image processing system | |
US6948022B2 (en) | Digital image transfer controller | |
JP4239875B2 (en) | Image signal processing apparatus and image signal transfer method | |
US20080018742A1 (en) | Analog front-end device and imaging apparatus | |
JP2006352767A (en) | Image pickup module | |
JP7355839B2 (en) | Imaging systems and endoscopic devices | |
JP2009077195A (en) | Imaging apparatus, method of controlling output signal, and computer program | |
JP4493390B2 (en) | Electronic endoscope device | |
JP2011160158A (en) | Imaging apparatus, and imaging element | |
JP2006340289A (en) | Image pickup device | |
JP2001359089A (en) | Photographing processing unit and digital camera | |
JP2010016752A (en) | Serial interface device, arithmetic processing device, and image forming device | |
KR20080053635A (en) | Photographing apparatus and still image photographing method thereof | |
KR20010026979A (en) | Hybrid frame grabber device for interfacing video data | |
JP2006129275A (en) | Imaging device | |
JP2009206824A (en) | Imaging system | |
JPH11252407A (en) | Image signal processor | |
JP2002094872A (en) | Electronic still camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081202 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081215 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4239875 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140109 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |