JP4780599B2 - 画像出力装置 - Google Patents

画像出力装置 Download PDF

Info

Publication number
JP4780599B2
JP4780599B2 JP2004324065A JP2004324065A JP4780599B2 JP 4780599 B2 JP4780599 B2 JP 4780599B2 JP 2004324065 A JP2004324065 A JP 2004324065A JP 2004324065 A JP2004324065 A JP 2004324065A JP 4780599 B2 JP4780599 B2 JP 4780599B2
Authority
JP
Japan
Prior art keywords
data
image
graphics
display
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004324065A
Other languages
English (en)
Other versions
JP2005099841A (ja
Inventor
勝義 東島
俊博 森岩
昌俊 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2004324065A priority Critical patent/JP4780599B2/ja
Publication of JP2005099841A publication Critical patent/JP2005099841A/ja
Application granted granted Critical
Publication of JP4780599B2 publication Critical patent/JP4780599B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明は、画像出力装置に関するものである。
近年、液晶表示装置を使用した携帯端末が増え、画像表示の重要性が高まるなか、低消費電力化が重要な課題となってきている。液晶デバイスは、通常高い表示リフレッシュレートが要求され、60Hzの更新が必要である。しかし、画像生成は、30Hz以下で行われるため、そのレートの違いをフレームバッファを持つなどして吸収している。
このようなフレームバッファを有する電子描画装置として、特開平07−77958号公報が開示されており、図15を用いて説明する。
図15は、電子描画装置1の構成を示すブロック図である。
図15において、データ供給部10は、図形要素データから中間データを生成する中間データ生成部11と、中間データ生成部11にて生成された中間データから象形データを生成する象形データ生成部12とを備え、図形要素データを視覚化デバイスの走査順のドットデータ列である象形データに変換し、出力選択部30及び重合制御部60へ供給する。フレームメモリ20,21は、出力選択部30から供給された1フレーム分の象形データである第2内部象形データを記憶する。制御部50からのR/W制御信号の入力により、1フレーム分の象形データの書き込みを行う書込モード、及び記憶している1フレーム分の象形データを読み出す読出モード、のいずれかのモードを設定する。出力選択部30は、データ供給部10から供給された第1内部象形データ、フレームメモリ20,21から供給された第3内部象形データ、及び重合制御部60から供給された第4内部象形データ、のいずれかを選択する。データ表示部40は、出力選択部60より供給された出力象形データを表示する。制御部50は、装置全体を制御する。重合制御部60は、複数フレーム分の象形データを順次に合流させる。
上述のように構成された電子描画装置1の動作について説明する。
データ表示部40に供給される出力象形データの時系列上の位置を指定するためのユニットタイミング信号が制御部50に入力されると、制御部50は、データ供給部10などの内部処理のためのローカルタイミング信号を生成するが、これは、ユニットタイミング信号或いは該ユニットタイミング信号の位相を調整したものを基本とし、さらに、ローカルタイミング信号とは非同期に制御する必要のある図形要素データの供給を制御する信号が加えられる。
また、制御部50は、1フレーム中の一つの描画区間を指定する描画区間指定信号を生成し、中間データ生成部11へ出力する。中間データ生成部11は、入力された図形要素データを参照して、指定の描画区間に存在するパターン境界線と描画線間の交点座標を象形データ生成部12へ出力し、象形データ生成部12は、第1内部象形データを生成する。
第1内部象形データは、出力選択部30と重合制御部60に入力される。重合制御部60は、供給された第1内部象形データと、フレームメモリ20,21から供給された第3内部象形データと、を重合(合成)し、第4内部象形データとして出力選択部30に出力する。
出力選択部30は、第1内部象形データと第4内部象形データのいずれか一方のデータを選択し、データ表示部40、フレームメモリ20,21、あるいはデータ表示部40及びフレームメモリ20,21に出力する。なお、この選択処理は、制御部50から供給される出力制御信号に基づいて行われ、出力選択部30からデータ表示部40に供給される象形データを出力象形データと呼び、出力選択部30からフレームメモリ20、21に供給される象形データを第2内部象形データと呼ぶ。また、フレームメモリ20、21は、本従来例では2面であるが、それ以上であってもよい。
データ表示部40は、出力象形データが供給されると、データ表示を行い、フレームメモリ20、21は、第2象形データが供給されると、第3内部象形データとして出力選択部30と重合制御部60へ出力する。
また、第1内部象形データがデータ表示部40にリアルタイムに出力することができない場合、すなわち、フレームレートが低い場合は、データ供給部10からの第1内部象形データがフレームメモリ20、21に供給され、制御部50は、フレームメモリ20、21のいずれか一方から出力された第3内部象形データがデータ表示部40に供給されるよう出力選択部30を制御する。
一方、電子情報通信学会技術研究報告 Vol.100 No.42「集積回路」では、「MPEG−4コーデックLSIにおけるDMAコントローラ部の開発」において、単一DRAMからデータを出力するアーキテクチャが開示され、また、Proc of CICC’99,pp69-72,May1999, “A MPEG4 Programmable Codec DSP with an Embedded Pre/Post-processing Engine”では、LSIの消費電力が示されている。これらによると、画像サイズCIF(352×288)を15Hzコーデックする際、VIF関連のデータ転送量が、全体の41%以上を占めており、DMAバスの稼動率およびVIFの稼動率が高いことが示されており、以下に、図16を用いて説明する。
図16は、MPEG−4コーデックLSIの構成を示すブロック図であり、LSIは、プロセッサ161と、ビデオ入出力インターフェース164と、ホストインターフェース160と、DMAコントローラ163と、からなり、SDRAM162に格納された画像データは、NTSCフォーマットの画像にあわせて、毎秒60フィールドの画像データを、VIF164を経由して、NTSCエンコーダ(DAC)166へと出力する。このときの消費電力は、SDRAM162を除いたチップ全体で、約640mWである。
また、特開平9−93578号公報には、符号化または、復号する画像の解像度変換を容易に実行可能な、画像送信装置および画像受信装置が開示されている。この中で、画像送信装置では、フレームレート設定レジスタが開示され、画像受信装置では、フレームメモリの書込み制御および読出し制御に関する技術が開示されており、図17および図18を用いて説明する。
図17に示した画像送信装置において、ビデオ信号をA/Dコンバータ19でデジタル化し、フレームごとにスイッチを切り替えて画像フレームメモリ22、23に入力する。読出/書込制御手段21は、CCIR601レベルの画像を分割したQCIF画像の信号処理時間から、目標フレームレート設定手段26で指示されたフレームレートに納まるように、画素のサンプリング方法を決定する。すなわちここで、入力画像から解像度を落とすために、サンプリング位置が異なる複数のQCIF画像にCCIR601からダウンサンプリングする。そして読出しアドレスを画像フレームメモリ22,23に与える。QCIF符号化手段25はQCIFレベルの画像をDCT変換および量子化により符号化して、QCIFの番号と共に通信網28を介して受信装置に伝送する。
図18に示した画像受信装置において、復号化手段31で復号したビデオ信号は、画像フレームメモリ34又は35に書き込む。どちらに書き込むかは、読出/書込制御手段33が選択する。これは読出しと書込みが同時に同じメモリにアクセスされないようにするためであり、スイッチ32とスイッチ36を逆位相で交互に切り換える。QCIF復号化手段31は1フレームを構成する最後の番号のQCIF(4枚分割で構成された場合は、QCIF3、16枚分割で構成された場合は、QCIF15)を復号化し終えたことを検出し、読出/書込制御手段33に報知する。すなわち、スイッチ32および36の切り替えを指示する。読出/書込み制御手段33は、1フレームを構成する全てのQCIFの復号化処理が終了したことがQCIF復号化手段31から報知されると、画像フレームメモリ34または35からビデオ信号の読出しを開始し、CCIR601画像を再構成する。
しかしながら、上記従来の電子描画装置では、画像を合成する際に、一旦フレームメモリに画像を格納しておき、次に転送されてくるフレームデータと合成してから画像表示装置に出力するため、合成画像を表示するまでに、少なくとも、1フレーム分の遅延を要するという問題があった。
また、生成される画像のフレームレートが、データ表示部の表示レートより低い場合に、表示画像を即座に更新したい場合にも、更新手段がなく、さらに、フレームメモリが2面であり交互に出力するため、1フレーム分の遅延が必ず生じる。
さらに、即座に更新したい画像が、フレームレートの異なる2つの合成画像である場合にも、即座に合成画像を反映させることができなかった。
また、フレームメモリが必ず2面必要で、回路規模を増大させる原因となっていたのに加え、一旦格納したデータを合成するためにフレームメモリから再び読み出す必要があり、データ転送回数を増加させ、消費電力の増加にもつながっていた。
一方、電子情報通信学会技術研究報告 Vol.100 No.42「集積回路」では、「MPEG−4コーデックLSIにおけるDMAコントローラ部の開発」およびProc of CICC’99,pp69-72,May1999, “A MPEG4 Programmable Codec DSP with an Embedded Pre/Post-processing Engine”では、DMAバスおよび、VIFの稼働率が上がると、ロジックおよびメモリの消費電力が増加する原因となってしまう。これは、単一メモリからNTSC画像を毎秒60フィールド出力する必要があるため、メモリに対するアクセスやロジックの稼働率が増加することが原因として考えられる。
特開平9−93578号では、送信装置でのフレームレートレジスタが存在するが、受信装置においては、復号終了通知のみを備えており、一定周期でフレームデータを表示しながら、あるときはその周期とは非同期に画像表示を行う方法と、そのためのデータ転送制御に関する技術が開示されていない。
また、復号画像に対して、画像の拡大・縮小、およびノイズ除去などの各種ビデオ処理を行うビデオ処理部を施したい場合、セレクタとDAコンバータの間に挿入するなどする必要があり、ビデオ処理部が毎出力フレーム動作することになってしまう。これは消費電力の増加につながる。
また、ビデオ処理部が、データ転送のためのスケジューリングを備えてない場合、データ転送要求の発行を1箇所で行いたい場合、また、画像表示装置によって表示スケジュールが変わる場合、ハードウェアによって決定されたタイミングでデータ転送要求されると、様々な機器に柔軟に対応することができない。
さらに、フレームメモリを2面もち、スイッチを切り換える構成をとると、動画とグラフィックスといった複数の画像を処理したい場合に、フレームメモリが4個必要となり、回路規模を増大させてしまう。
本発明は、かかる問題点を解消するためになされたものであり、必要最小限のデータ転送で、即座に表示画面を更新でき、低消費電力の画像出力装置を提供することを目的とする。
上記課題を解決するために、本発明の請求項1に記載の画像出力装置は、画像データを格納するデータメモリと、上記画像データに対し画像処理を行い、表示画像データを生成するビデオ処理部と、上記データメモリと上記ビデオ処理部との間のデータ転送を制御するデータ転送制御部と、上記表示画像データを一時的に格納し、一定周期で画像表示装置へ出力する出力データ格納部と、装置全体を制御するシステム制御部と、上記システム制御部が上記出力データ格納部に格納されている上記表示画像データを更新するための更新指示を行った場合のみ、一定データ単位で上記データ転送を実行するようデータ転送要求を発行するデータ転送要求制御回路とを備えた画像出力装置であって、上記出力データ格納部は、上記表示画像データを1フレーム分格納し、該格納した画像データを1ライン単位で出力するフレームメモリと、該フレームメモリの出力データを格納するラインバッファを備えており、上記画像表示装置へ出力しようとするデータが前ラインの出力データと同一である場合、上記フレームメモリから上記ラインバッファへの画像データの読み出しを行わず、ラインバッファに蓄積されたデータを上記画像表示装置へと出力する、ことを特徴とするものである。
本発明に記載の画像出力装置によれば、画像データを格納するデータメモリと、上記画像データに対し画像処理を行い、表示画像データを生成するビデオ処理部と、上記データメモリと上記ビデオ処理部との間のデータ転送を制御するデータ転送制御部と、上記表示画像データを一時的に格納し、一定周期で画像表示装置へ出力する出力データ格納部と、装置全体を制御するシステム制御部と、上記システム制御部が上記出力データ格納部に格納されている上記表示画像データを更新するための更新指示を行った場合のみ、一定データ単位で上記データ転送を実行するようデータ転送要求を発行するデータ転送要求制御回路とを備えた画像出力装置であって、上記出力データ格納部は、上記表示画像データを1フレーム分格納し、該格納した画像データを1ライン単位で出力するフレームメモリと、該フレームメモリの出力データを格納するラインバッファを備えており、上記画像表示装置へ出力しようとするデータが前ラインの出力データと同一である場合、上記フレームメモリから上記ラインバッファへの画像データの読み出しを行わず、ラインバッファに蓄積されたデータを上記画像表示装置へと出力するようにしたので、前ラインと同じデータを繰り返して出力する場合に、フレームメモリにアクセスする必要がなく、フレームメモリの消費電力を低減することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、ここで示す実施の形態はあくまでも一例であって、必ずしもこの実施の形態に限定されるものではない。
(実施の形態1)
以下に、本実施の形態1による画像出力装置について図1を用いて説明する。
図1は、本実施の形態1による画像出力装置の構成を示すブロック図である。
図1において、1001はプロセッサ部であり、装置全体を制御し、入力された動画像符号化データに対して復号処理する。1002はデータメモリであり、画像データを格納する。1003はデータ転送制御部であり、データメモリ1002とビデオ処理部1004との間のデータ転送を制御する。1004はビデオ処理部であり、データメモリ1002に格納されている画像データに対し画像処理を行い、表示画像データを生成する。1006はフレームメモリであり、表示画像データを一時的に1フレーム分格納する。1007はデータ転送要求制御回路であり、データ転送要求の発行周期を決定するフレーム更新レジスタ1008と、定期的にデータ転送要求を発行するデータ転送要求発行部1009と、を備え、データ転送要求の制御を行う。
次に、上記構成を有する画像出力装置の動作について説明する。
プロセッサ部1001は、ホストCPUから転送されたビットストリーム(動画像符号化データ)を復号し、画像データとして、データメモリ1002へ出力する。
また、プロセッサ部1001は、新しいフレームの画像データを生成した場合、フレーム更新レジスタ1008に1をセットする。そして、データ転送要求発行部1009は、次のフレームの開始から、ライン単位でデータ転送要求を、データ転送制御部1003へ発行する。データ転送制御部1003は、データ転送要求にしたがって、データメモリ1002からビデオ処理部1004へとライン単位で画像データを転送するようデータメモリ1002を制御する。
データメモリ1002から転送された画像データは、ビデオ処理部1004内で、画像表示装置、例えば、液晶表示装置(LCD)の画面サイズに合うように、スケーリング処理され、表示画像データとしてフレームメモリ1006へと順次書き込まれ、フレームメモリ1006から毎フレーム、定期的に画像データがLCDへ出力される。
1フレーム分のデータ転送が終了すると、フレーム更新レジスタ1008は0となり、データ転送要求発行部1009は、データ転送制御部1003へのデータ転送要求の発行を停止する。
このような実施の形態1による画像出力装置では、プロセッサ部1001は、更新すべき画像データを生成した場合のみ、フレーム更新レジスタ1008に更新指示を送り、データ転送要求制御部1007が自動的に、1フレーム分の画像データを転送するためのデータ転送要求を発行するようにしたので、プロセッサ部1001が細かい転送制御をすることなく、必要最小限の制御で画像データの転送を実行でき、その結果、データ転送制御部1003、ビデオ処理部1004、及びデータ転送バスの稼働率を低減し、さらに、フレームメモリ1006に表示画像を蓄積できるため、液晶表示装置への画像表示は毎フレーム出力することを実現した上で、消費電力を削減することができる。
なお、画像表示装置としてフレームメモリを備えた液晶表示装置を使用して、ビデオ処理部1004の出力データを直接、画像表示装置へと入力するようにすれば、フレームメモリ1006を画像出力装置に設ける必要がなくなり、より高い効果を発揮することができる。
(実施の形態2)
以下に、本実施の形態2による画像出力装置について図2、図3、図4、及び図5を用いて説明する。
図2は、本実施の形態2による画像出力装置の構成を示すブロック図である。
図2において、101はプロセッサ部であり、装置全体を制御する。102はデータメモリであり、復号するためのデータ、圧縮された動画像符号化データを復号処理した動画データ、グラフィックステーブルデータ等の画像データを格納する。103はデータ転送制御部であり、データメモリ102とビデオ処理部104との間のデータ転送を制御する。104はビデオ処理部で、動画データを拡大・縮小し、表示動画データを生成するスケーリング処理部と、グラフィックステーブルデータから表示グラフィックス画像データを生成するグラフィックス生成処理部とを備えたものであり、データメモリ102から転送される画像データの画像処理を行う。105はラインバッファであり、表示動画データと表示グラフィックス画像データとを合成した表示画像データの1ライン分を一時的に格納する。106はフレームメモリであり、ラインバッファ105の出力データを毎ライン格納しながら、画像表示装置、例えば、液晶表示装置(LCD)へ60Hzで出力する。107はデータ転送要求制御回路であり、データ転送要求を発行する周期を決定するフレームレートレジスタ108と、定期的にデータ転送の要求を発行するデータ転送要求発行部109とを備えている。
図3は、フレームレートレジスタ108の構成を示す図である。
図3において、最上位ビットを除く下位ビットである201はフレームレートレジスタで、転送周期を決定する。最上位ビットである202は更新フラグである。203はカウンタで、データ転送の要求を発行するための開始判断タイミング毎にカウントする。204は周期一致検出器、205は更新フラグ202と一致検出結果の論理和、206はカウンタ値がオール0となる場合の有効フレームであるイネーブルを出力する論理積(オール0検出部)である。207は、クロック停止制御部であり、ビデオ処理部104全体を動作させるためのクロックを停止制御する。
このような構成のフレームレートレジスタ108は、最上位ビットが有効な場合、カウンタ203はリセットされ、次のデータ転送要求の発行開始判断タイミングで、最上位ビットである更新グラフ202は無効な値にリセットされ、かつカウンタ203は再び下位ビットによって決定された周期をカウントする。このように、フレームレジスタ及びカウンタの設定を自動化して、転送周期及び更新を容易に設定可能となる。
図4は、LCDの垂直同期信号と、データメモリ102からフレームメモリ106へのデータ転送タイミングおよびデータメモリ102からの表示データ出力タイミングの関係を示す図である。
図4に示すように、プロセッサ部101によりフレームレートレジスタ108に更新フラグ202が設定されると、データ転送要求発行部109は、フレームレートレジスタ201に設定された転送周期に関わらず、画像表示装置への次の画像出力フレームタイミングでデータ転送要求を発行する。
つまり、画像表示装置への画像出力周期信号のうち、次の垂直同期信号のタイミングで、更新フラグ202が有効であることを判断し、そのフレームを画像転送フレームとする。このようにすれば、フレーム単位でデータ転送要求の発行が判断可能となり、再設定を行う必要が無くなる。
そして、データ転送要求発行部109は、フレームレートレジスタ108に更新フラグ202が設定されると、フレームレートレジスタ201に設定された転送周期に関わらず、発行開始判断タイミングで、即座にデータ転送要求を発行する。これにより、定期的なデータ転送要求の発行周期を保持したまま、不規則なデータ転送要求を即座に発行可能であり、システムを容易かつ正確に制御できる。その結果、画像の乱れなどが発生しにくくなる。
図5は、LCDの水平同期信号、データメモリ102からビデオ処理部104へのデータ転送タイミング、ラインバッファ105への格納タイミング、ラインバッファ105からフレームメモリ106へのデータ転送タイミング、及び、フレームメモリ106からの画像出力タイミングの関係を表している。なお、LCDの水平同期信号の“L”の期間をブランキング期間と呼ぶ。
次に、本実施の形態2による画像出力装置の動作について説明する。
プロセッサ部101は、ホストCPUから動画像符号化データが転送された場合、データメモリ102を用いて上記動画像符号化データに対し復号処理を行い、動画データとしてデータメモリ102に格納する。また、ホストCPUからグラフィックステーブルデータが転送された場合、そのまま、データメモリ102に格納する。
次に、プロセッサ部101は、フレームレートレジスタ108に、復号画像レートである15Hzを表す値を設定する。ここで、15Hzとは、図4に示すように、LCDの垂直同期信号を基準とすると、4フレームに1回の転送を意味する。つまり、4フレームに1回、データ転送が有効となる。従って、フレームレートレジスタ201には、3を設定する。
また、データ転送要求発行部109は、転送が有効となるフレームとなると、図5に示すように、LCDの垂直同期信号が有効となる1つ前のタイミングから、水平同期信号のタイミングに合わせてデータ転送要求をデータ転送制御部103へ発行する。これにより、データ転送要求発行のタイミングを、特別なタイミング生成器を用いることなく、容易に制御でき、定期的な転送周期でデータ転送要求の発行を制御できる。これは、ハードウェアでの転送要求の発行を容易に実現するものである。
データ転送制御部103は、上記データ転送要求が発行されると、動画データ及びグラフィックステーブルデータをビデオ処理部104へ転送するようデータメモリ102を制御する。
このようにして転送された動画データおよびグラフィックステーブルデータの各々は、ビデオ処理部104内でスケーリング処理とグラフィックス生成処理とが施され、表示動画データ及び表示グラフィックス画像データなどの表示画像データが生成される。ここで、スケーリング処理とは、動画データをQCIF(176×144)からCIF(352×288)サイズへ拡大することであり、また、グラフィックス生成処理とは、テーブル値に応じて、グラフィックステーブルデータから画素単位に輝度信号と色差信号を生成することである。
生成された表示画像データは、画素ごとに合成するために、表示動画データと表示グラフィックス画像データのどちらか一方が選択され、水平同期信号の有効期間内に、ラインバッファ105に順次1ライン分の表示画像データが格納される。
次に、ラインバッファ105は、画像表示装置への画像出力同期信号のうち、水平同期信号のブランキング期間に、格納している表示画像データを1ライン単位で後段のフレームメモリ106へとバースト転送する。
フレームメモリ106は、水平同期信号のブランキング期間が終了した時点(水平同期信号の有効期間開始時点)から、LCDの画素クロックタイミングに合わせて、格納している1フレーム分の表示画像データを出力する。
15Hzの転送周期以外では、フレームメモリ106への書込みは行われず、フレームメモリ106から、LCDに対して表示画像データが繰り返し出力され、このとき、ビデオ処理部104の動作クロックは、図3のクロック停止制御部207により停止される。
次に、ホストCPUから、グラフィックステーブルデータと共に、グラフィックス更新命令が発行された場合について説明する。
プロセッサ部101は、フレームレートレジスタ108の更新フラグ202に1をセットする。つまり、フレームレートレジスタ201は、更新フラグ202である最上位ビットに1が立つと、次の垂直同期信号の立下りエッジ(フレーム開始時点)でカウンタ203がリセットされる。
カウンタ203がオール0となった場合、論理積206は、データ転送有効期間であることを示すイネーブルをデータ転送要求発行部109へ出力する。このとき、クロック停止制御部207は、動作クロックを供給するよう制御する。
更新フラグ202は、自動的に0に戻される機構となっており、フレーム更新後は、再び設定された発行周期でデータ転送を繰り返すこととなる。
このような実施の形態2による画像出力装置では、フレームレジスタ108に設定された周期でデータ転送要求を発行して、フレームメモリ106に格納されている表示画像データを更新しておき、グラフィックス画像データなどの即座に更新したい画像が発生した場合、フレームレートレジスタ108に更新フラグを設定すると、フレームレートレジスタ108に設定された発行周期に関わらず、画像表示装置への次の画像出力フレームタイミングで、データ転送要求を発行するようにしたので、表示画像を即座に更新することができ、ユーザの操作とデータ表示するまでの遅延が少なくなり、違和感のない映像を提供することができる。
また、フレームメモリ106の前段にラインバッファ105を備え、また、水平同期信号のブランキング期間に、表示画像データをラインバッファ105からフレームメモリ106へ転送し、水平同期信号の有効期間にLCDへ出力するようにしたので、フレームメモリへの表示画像データの書込みタイミングの制御が容易になり、かつ、1つのフレームメモリで表示画像の合成及び表示を実現することができ、さらに、転送された画像データを表示するまでのフレームの遅延をなくすことができる。
なお、本実施の形態2において、画像表示装置を液晶表示装置で実現し、また、フレームメモリ106及びデータメモリ102をDRAMで実現するようにすれば、大容量の画像データを保持しながら、小スペース化及び低消費電力化ができる。
また、本実施の形態2において、動作クロック制御手段を備え、フレームレートレジスタ201に設定された転送周期以外の非転送期間に、ラインバッファ105、ビデオ処理部104、及びフレームメモリ106の動作クロックを停止するように制御するようにすれば、消費電力を削減できる。
(実施の形態3)
以下に、本実施の形態3による画像出力装置について図6及び図7を用いて説明する。
なお、実施の形態2との違いは、実施の形態2ではフレームメモリの前段にラインバッファを設けているのに対し、本実施の形態3ではフレームメモリの後段にラインバッファを設けている点である。
図6は、本実施の形態3による画像出力装置のブロック図である。なお、図6において、図2と同一また相当する構成要素については同じ符号を用い、その説明を省略する。
501はフレームメモリであり、表示動画データと表示グラフィックス画像データを合成した表示画像データの1フレーム分を順次、格納する。502はラインバッファで、例えば、SRAMで構成され、フレームメモリ501から水平同期信号に同期して1ライン単位で、毎秒60枚の表示画像データが転送され、順次格納する。
図7は、LCDの水平同期信号とデータメモリ102からビデオ処理部104へのデータ転送タイミングおよびフレームメモリ501への格納タイミング、フレームメモリ501からラインバッファ502へのデータ転送タイミング、さらに、ラインバッファ502からの画像出力タイミングの関係を表している。LCDの水平同期信号の“L”の期間をブランキング期間と呼ぶ。
次に、本実施の形態3による画像出力装置の動作について説明する。
実施の形態2で説明したように、データメモリ102から転送された動画データとグラフィックステーブルデータは、ビデオ処理部104により、それぞれ画像処理される。これにより、表示動画データと表示グラフィックス画像データが生成される。
このように生成された表示画像データは、画素ごとに合成するために、表示動画データと表示グラフィックス画像データのどちらか一方が選択され、1水平同期信号の有効期間内に、1ライン分の表示画像データがフレームメモリ501に格納される。この処理を繰り返すと、フレームメモリ501には、1フレーム分の表示画像データが格納される。
フレームメモリ501は、次の水平同期信号のブランキング期間に、格納している1ライン分のデータを後段のラインバッファ502へと転送する。ラインバッファ502は、ブランキング期間終了後のライン開始のタイミングから、水平同期信号及び表示画素周期に合わせて、1画素づつ画像データを出力する。
ここでも、実施の形態2と同様に、プロセッサ部101がフレームレートレジスタ108、つまり、更新フラグ202をセットすると、次の垂直同期信号の開始時点で、更新フラグ202が判断される。そして、カウンタ203はリセットされ、有効フレームイネーブルが出力される。これを受けて、データ転送要求発行部107は、次のフレーム期間において、データ転送要求をデータ転送制御部103へと発行する。このようにすれば、即座にデータ表示を行える。
また、実施の形態2と同様、ビデオ処理部104および、ラインバッファ502は、クロック停止制御部207によりクロック停止制御されるので、消費電力を低減することができる。
このような実施の形態3による画像出力装置では、フレームレジスタ108に設定された周期で、データ転送要求を発行して、フレームメモリ501に格納されている表示画像データを更新しておき、グラフィックス画像データなどの即座に更新したい画像が発生した場合、プロセッサ部101がフレームレートレジスタ108に更新フラグを設定すると、フレームレートレジスタ108に設定された発行周期に関わらず、画像表示装置への次の画像出力フレームタイミングで、データ転送要求を発行するようにしたので、表示画像を即座に更新することができ、ユーザの操作とデータ表示するまでの遅延が少なくなり、違和感のない映像を提供することができる。
また、フレームメモリ501の後段にラインバファ502を備え、画像表示装置への画像出力周期信号のうち、水平同期信号のブランキング期間に、フレームメモリ501からラインバッファへのデータ転送を行い、水平同期信号のブランキング期間以外の期間に、ラインバッファ502から1ライン分の画像データを出力するようにしたので、画像表示装置へデータを出力する際、フレームメモリのようにRAS、CASにより制御する必要がないので、データの出力タイミング制御をフレームメモリから直接行うよりも容易であり、データメモリ102からのデータ転送が実行されない期間は、フレームメモリ501へのデータ書き込みがないので、フレームメモリ501の稼働時間を大幅に削減できる。
(実施の形態4)
以下に、本実施の形態4による画像出力装置について図8及び図10を用いて説明する。
図8は、本実施の形態4による画像出力装置の構成を示している。なお、図8において、図2と同一または相当する構成要素については同じ符号を用い、その説明を省略する。
701は、ビデオ処理部であり、データメモリ102から転送されてくる動画データを拡大・縮小し、表示動画データを生成するスケーリング処理と、データメモリ102から転送されてくるグラフィックステーブルデータから、表示グラフィックス画像データを生成するグラフィックス生成処理を行う。
702は、表示動画データの1ライン分のデータを一時的に格納しておく動画ラインバッファである。703は、表示グラフィックス画像データの1ライン分を一時的に格納しておくためのグラフィックスラインバッファであり、例えばSRAMで構成される。704は、水平同期信号のブランキング期間に動画ラインバッファ702の出力データを1フレーム分(288ライン分)格納しておくための動画フレームメモリである。705は、水平同期信号のブランキング期間にグラフィックスラインバッファ703の出力データを1フレーム分納しておくためのグラフィックスフレームメモリである。
706は、データ転送要求制御回路であり、フレームレートレジスタ707とデータ転送要求発行部708とを備えている。
フレームレートレジスタ707はデータ転送要求発行の周期を決定するものであり、図10に示すように構成され、画像フレームを即座に更新する為の更新フラグ202を備えている。
データ転送要求発行部708は、フレームレートレジスタ707からの有効フレームイネーブルを受けて、データ転送制御部103へとデータ転送要求を発行する。また、データ転送要求発行部708は、動画データ転送を有効とするか無効とするかを決定する動画転送レジスタと、グラフィックスデータの転送を有効とするか無効とするかを決定するグラフィックス転送レジスタとを備えており、プロセッサ部101によりフレームレートレジスタ706に更新フラグ202が設定され、動画転送レジスタ或いはグラフィックス転送レジスタが有効である場合のみ、それぞれに対応したデータ転送要求を発行する。なお、動画転送とグラフィックス転送の各々は、プロセッサ部101によりON/OFFを制御されるものであり、OFFの場合はデータ転送要求を発行しない。
図10は、フレームレートレジスタの構成図である。図10において、図3と同一または相当する構成要素については同じ符号を用い、その説明を省略する。
801は動画処理系クロック停止制御部であり、ビデオ処理部701内の動画処理系回路と、動画ラインバッファ702を動作させるためのクロックを停止制御させる。また、データ転送要求発行部708の動画系転送がOFFの時も、クロックを停止する。
802はグラフィックス処理系クロック停止制御部であり、ビデオ処理部701内のグラフィックス処理系回路と、グラフィックスラインバッファ703を動作させるためのクロックを停止させる。また、データ転送要求発行部708のグラフィックス系転送がOFFの時も、クロックを停止させる。
次に、本実施の形態4による画像出力装置の動作について説明する。
プロセッサ部101は、データメモリ102を用いて画像の復号処理を行い、データメモリ102に復号した画像を格納する。また、ホストCPUからはグラフィックステーブルデータが転送され、データメモリ102に格納されている。
プロセッサ部101は、フレームレートレジスタ707に、復号画像レートである15Hzを表す値を設定する。15Hzとは、図4に示すように、LCDの垂直同期信号を基準とすると、4フレームに1回の転送を意味する。つまり、4フレームに1回、データ転送が有効となる。従って、フレームレートレジスタ201には、3を設定する。さらに、データ転送要求発行部708には、転送したいデータのみ転送ONとするように設定する。ここでは、通常、復号画像(動画像)のみの表示を想定し、動画転送ON、グラフィックス転送OFFを設定する。
また、データ転送要求発行部708は、転送が有効となるフレームとなると、図4に示すように、LCDの垂直同期信号が有効となる1つ前のタイミングから、水平同期信号のタイミングに合わせてデータ転送要求を発行する。この時、転送要求は、動画データのみ行われ、グラフィックスデータの転送は行われない。
このようにして転送される1ライン分の動画データは、水平同期信号のブランキング期間以外の有効期間に、ビデオ処理部701内でスケーリング処理を施され、QCIF(176×144)からCIF(352×288)サイズへ拡大される。さらに、処理された動画データは、表示動画データとして動画ラインバッファ702へと格納される。
動画ラインバッファ702に格納された1ライン分の表示画像データは、水平同期信号のブランキング期間に、一気に動画フレームメモリ704へと転送され、水平同期信号のブランキング期間以外の有効期間に、外部LCDへと、同期信号および画素出力タイミングに合わせて出力される。
さらに、15Hzの転送周期以外では、動画フレームメモリ704への書込みは行われず、動画フレームメモリ704から、LCDに対して表示画像データが繰り返し出力される。
また、15Hzの転送周期以外でかつ、データ転送要求発行部708によって転送OFFとされているグラフィックス転送系の、ビデオ処理部およびラインバッファの動作クロックは、図10のグラフィックス処理系クロック停止制御部802により停止される。
次に、ホストCPUから、グラフィックステーブルデータと共に、グラフィックス更新命令が発行された場合について説明する。
プロセッサ部101は、データ転送要求発行部708にグラフィクス転送のONを設定し、フレームレートレジスタ707の更新フラグ202に1をセットする。このとき、表示動画データを更新する必要がなく、表示グラフィックス画像データのみ変更したい場合は、データ転送要求発行部708に動画転送のOFFを設定しておけばよい。
データ転送要求発行部708は、次のフレームの開始である、垂直同期信号の立下り時点で、更新フラグ202をチェックし、かつ、グラフィックス転送がONで、動画転送がOFFであることから、データ転送要求発行部708は、次のフレームで、グラフィックステーブルデータのみの転送を要求する。
従って、次のフレームでは、データメモリ702からビデオ処理部701に対しては、復号画像(動画)データは転送されず、グラフィックステーブルデータのみが転送される。
転送されたグラフィックステーブルデータは、ビデオ処理部701内で表示グラフィックス画像データに生成され、順次、グラフィックスラインバッファ703へと格納される。
グラフィックスラインバッファ703は、次の水平同期信号のブランキング期間に、格納しているデータをグラフィックスフレームメモリ705へと一気に転送する。
そして、水平同期信号のブランキング期間以外の有効期間になると、動画フレームメモリ704とグラフィックスフレームメモリ705から順次データが読み出され、画像データを合成するための選択回路を介して、LCDの表示タイミングに合わせて出力される。このとき、動画転送がOFFであるため、ビデオ処理部701内の動画処理系および動画ラインバッファ702の動作クロックは、フレームレートレジスタ707内の動画処理系クロック停止制御部801によってクロックが停止される。
このような実施の形態4による画像出力装置では、一定周期でデータ転送要求を発行して、動画フレームメモリ704及びグラフィックスフレームメモリ705に格納されている表示画像データを更新しておき、表示グラフィックス画像データなどの即座に更新したい画像が発生した場合、プロセッサ部101がフレームレートレジスタ707に更新フラグを設定すると、動画レジスタ或いはグラフィックスレジスタが有効である場合のみ、それぞれに対応したデータ転送要求を発行するようにしたので、ユーザの操作とデータ表示までの遅延を少なくし、違和感のない映像を提供するとともに、無駄な動画データの転送を行うことなく、動画処理系及びグラフィックス処理系の動作クロックを別々に制御できるので、データ転送を実行しない時は消費電力を削減することができる。
また、動画フレームメモリ704及びグラフィックスフレームメモリ705の前段に動画ラインバッファ702及びグラフィックスラインバッファ703を備えたことより、表示動画データと表示グラフィックス画像データは別々に格納されているので、映像が消えてしまう等の乱れが生じなくなり、また、動画ラインバッファ702及びグラフィックスラインバッファ703に格納されているデータは、画像表示装置への画像出力周期信号のうち、水平同期信号のブランキング期間に、動画ラインバッファ702及びグラフィックスラインバッファ703から後段の動画フレームメモリ704及びグラフィックスフレームメモリ705へのデータ転送を行い、水平同期信号のブランキング期間以外の期間に、動画フレームメモリ704及びグラフィックスフレームメモリ705からの出力データを合成した1ライン分の画像データを後段の画像表示装置へ出力するようにしたので、フレームメモリへの書き込みタイミング制御が容易となり、かつ、一つのフレームメモリで画像の合成及び表示が可能である。また、転送されてきたデータを表示するまでのフレーム遅延を無くすことできる。
(実施の形態5)
以下に、本実施の形態5による画像出力装置について図9及び図10を用いて説明する。
図9は、本実施の形態5による画像出力装置の構成を示している。なお、図9において、図8と同一または相当する構成要素については同じ符号を用い、その説明を省略する。711は動画フレームメモリであり、表示動画データを一時的に1フレーム分格納し、該格納した表示動画データを1ライン単位で出力する。712はグラフィックスフレームメモリであり、表示グラフィックス画像データを一時的に1フレーム分格納し、該格納した表示グラフィックス画像データを1ライン単位で出力する。713は動画ラインバッファであり、動画フレームメモリ711の出力データを一時的に格納する。714はグラフィックスラインバッファであり、グラフィックスフレームメモリ712の出力データを一時的に格納する。
次に、本実施の形態5による画像出力装置の動作について説明する。
プロセッサ部101は、データメモリ102を用いて画像の復号処理を行い、データメモリ102に復号した画像を格納する。また、ホストCPUから転送されたグラフィックスデータも、データメモリ102に格納する。
プロセッサ部101は、フレームレートレジスタ707に復号画像レートである15Hzを表す値を設定する。15Hzとは、図4に示すように、LCDの垂直同期信号を基準とすると、4フレームに1回の転送を意味する。つまり、4フレームに1回、データ転送が有効となる。従って、フレームレートレジスタ201には、3を設定する。さらに、データ転送要求発行部708には、転送したいデータのみ転送ONとするように設定する。ここでは、通常、復号画像(動画像)のみの表示を想定し、動画転送ON、グラフィックス転送OFFを設定する。
また、データ転送要求発行部708は、転送が有効となるフレームとなると、図4に示すように、LCDの垂直同期信号が有効となる1つ前のタイミングから、水平同期信号のタイミングに合わせてデータ転送要求を発行する。この時、転送要求は、動画転送のみ行われ、グラフィックス転送は行われない。
このようにして転送される1ライン分の動画データは、水平同期信号のブランキング期間以外の有効期間に、ビデオ処理部701内でスケーリング処理を施され、QCIF(176×144)からCIF(352×288)サイズへ拡大され、処理された動画データは、表示動画データとして順次、動画フレームメモリ711へと格納される。動画フレームメモリ711には、1フレーム分(288ライン)の動画データが格納されている。そして、格納された表示動画データは、次の水平同期信号のブランキング期間に、1ライン単位で、動画ラインバッファ713へと一気に転送される。
動画ラインバッファ713からは、水平同期信号のブランキング期間以外の有効期間に、外部LCDへと、同期信号および画素出力タイミングに合わせて出力される。
例えば、輝度データは、動画フレームメモリ711から動画ラインバッファ713へ毎ライン読み出され、LCDへと出力される。しかし、色差データは、偶数ラインのみ、動画フレームメモリ711から1ライン分のデータを読出し、動画ラインバッファ713へと転送し、奇数ラインでは、動画ラインバッファ713に蓄積されている、前ラインの色差データを出力する。このようにすることで、動画フレームメモリ711内に蓄積されている、4:2:0フォーマットの画像を、4:2:2へと変換し、LCDへ出力する。
そして、15Hzの転送周期以外では、動画フレームメモリ711への書込みは行われず、動画フレームメモリ711から動画ラインバッファ713を経て、LCDに対して画像データが繰り返し出力される。
また、15Hzの転送周期以外でかつ、データ転送要求発行部708によってOFFとされているグラフィックス転送系の、ビデオ処理部701の動作クロックは、図10のグラフィックスクロック停止制御部により停止される。
次に、ホストCPUから、グラフィックステーブルデータと共に、グラフィックス更新命令が発行された場合について説明する。
プロセッサ部101は、ビデオ処理部701内の、データ転送要求発行部708にグラフィクス転送ONを設定し、フレームレートレジスタ707の更新フラグ202に1をセットする。このとき、表示動画データを更新する必要がなく、表示グラフィックス画像データのみ変更したい場合は、データ転送要求発行部708で動画転送をOFFとすれば良い。
従って、次のフレームでは、データメモリ102からビデオ処理部701に対しては、動画データは転送されず、グラフィックステーブルデータのみが転送される。
転送されたグラフィックスデータは、ビデオ処理部701内で表示グラフィックス画像データに生成され、順次グラフィックスフレームメモリ712へと格納される。
動画フレームメモリ711と、グラフィックスフレームメモリ712からは、次の水平同期信号のブランキング期間に、1ライン分のデータが、それぞれ読み出され、動画ラインバッファ713とグラフィックスラインバッファ714へとそれぞれ、一気に転送される。
ここで、動画データと、グラフィックス画像データのフォーマットが同一の場合(例えば、Y,Cb,Cr同士、R,G,B同士など)、水平同期信号の有効期間になると、動画ラインバッファ713およびグラフィックスラインバッファ714から順次データが読み出され、合成のための選択回路を経てLCDの表示タイミングに従って、出力される。
また、フォーマットが一致しない場合は、選択回路を経ず、後段の処理回路へと、別々に画像データを出力する。このとき、動画転送がOFFであるため、ビデオ処理部701内の動画処理系の動作クロックは、フレームレートレジスタ部707内の動画処理系クロック停止制御部801によってクロックが停止される。
このような実施の形態5による画像出力装置では、一定周期でデータ転送要求を発行して、動画フレームメモリ711及びグラフィックスフレームメモリ712に格納されている表示画像データを更新しておき、グラフィックス画像データなどの即座に更新したい画像が発生した場合、プロセッサ部101がフレームレートレジスタ707に更新フラグを設定すると、動画レジスタ或いはグラフィックスレジスタが有効である場合のみ、それぞれに対応したデータ転送要求を発行するようにしたので、ユーザの操作とデータ表示までの遅延を少なくし、違和感のない映像を提供するとともに、無駄な動画データの転送を行うことなく、動画処理系及びグラフィックス処理系の動作クロックを別々に制御できるので、データ転送を実行しない時は消費電力を削減することができる。
また、動画フレームメモリ711及びグラフィックスフレームメモリ712の後段に動画ラインバッファ713及びグラフィックスラインバッファ714を備えることで、フレームメモリからの読み出しタイミング制御、LCDの表示タイミングに合わせた出力制御が容易であり、表示動画データと表示グラフィックス画像データとが別々に格納されているので、映像が消えてしまう等の乱れは生じることはなく、また、前ラインと同じデータを繰り返し出力する場合、毎回フレームメモリ711,712にアクセスする必要がなく、フレームメモリ711,712の消費電力を低減することができる。
また、前ラインの水平同期信号の有効期間に、1ライン分の表示画像データのフレームメモリ711,712へのデータ書込みを行い、水平同期信号のブランキング期間に、一気に1ライン分のデータをラインバッファ713,714に転送し、水平同期信号の有効期間にLCDへ画像データを出力することで、転送されてきたデータを表示するまでのフレーム遅延を少なくすることができる。
(実施の形態6)
以下に、本実施の形態6による画像出力装置について図4及び図11を用いて説明する。
図11は、本実施の形態6による画像出力装置のブロック図である。なお、図11において、図8と同一または相当する構成要素については同じ符号を用い、その説明を省略する。
901は動画フレームメモリで、水平同期信号のブランキング期間以外の有効期間に、1ライン分の表示動画データを1フレーム分(288ライン分)格納する。902はグラフィックスフレームメモリで、水平同期信号のブランキング期間以外の有効期間に、1ライン分の表示グラフィックス画像データを1フレーム分(288ライン分)格納する。903は、動画フレームメモリ901及びグラフィックスフレームメモリ902からの出力データを合成し、1ライン分のデータを格納しておくラインバッファで、水平同期信号のブランキング期間に、各フレームメモリからそれぞれデータが読みだされ、合成の為の選択回路を通って、ラインバッファ903へと格納される。
また、ラインバッファ903からは、水平同期信号のブランキング期間以外の有効期間に、LCDの同期信号および画素表示タイミングに合わせて、データが出力されるようになっている。
なお、実施の形態6は、実施の形態4とほとんど同じであるので、共通する部分についての説明は省略する。
次に、本実施の形態6による画像出力装置の動作について説明する。
実施の形態4で説明したように、データメモリ102から転送された動画データとグラフィックステーブルデータは、ビデオ処理部701でそれぞれ処理される。プロセッサ部101は、フレームレートレジスタ707に、復号画像レートである15Hzを表す値を設定する。さらに、データ転送要求発行部708には、転送したいデータのみ転送ONとするように設定する。ここでは、通常、動画像のみの表示を想定し、動画転送ON、グラフィックス転送OFFを設定する。
また、データ転送要求発行部708は、転送が有効となるフレームとなると、図4に示すように、LCDの垂直同期信号が有効となる1つ前のタイミングから、水平同期信号のタイミングに合わせてデータ転送要求を発行する。この時、データ転送要求は、動画データのみ行われ、グラフィックスデータの転送は行われない。
このようにして転送される1ライン分の動画データは、水平同期信号のブランキング期間以外の有効期間に、ビデオ処理部701内でスケーリング処理を施され、QCIF(176×144)からCIF(352×288)サイズへ拡大される。そして、処理された動画データは、表示動画データとして順次、動画フレームメモリ901へと格納される。そして、動画フレームメモリ901に格納された1フレーム分(288ライン)の動画データは、次の水平同期信号のブランキング期間に、ラインバッファ903へと一気に転送される。ラインバッファ903からは、水平同期信号のブランキング期間以外の有効期間に、外部LCDへと、同期信号および画素出力タイミングに合わせて出力される。
さらに、15Hzの転送周期以外では、動画フレームメモリ901への書込みは行われず、動画フレームメモリ901からラインバッファ903を経て、LCDに対して画像データが繰り返し出力される。
また、実施の形態4と同様、ビデオ処理部701の動作クロックは、グラフィックス処理系クロック停止制御部802により停止される。
次に、ホストCPUから、グラフィックステーブルデータと共に、グラフィックス更新命令が発行された場合について説明する。
プロセッサ部101は、データ転送要求発行部708にグラフィクス転送ONを設定し、フレームレートレジスタ707の更新フラグ202に1をセットする。このとき、表示動画データを更新する必要がなく、表示グラフィックス画像データのみ変更したい場合は、データ転送要求発行部708で動画転送をOFFとすれば良い。
従って、次のフレームでは、データメモリ102からビデオ処理部704に対しては、動画データは転送されず、グラフィックステーブルデータのみが転送される。そして、転送されたグラフィックステーブルデータは、ビデオ処理部701内で表示グラフィックス画像データに生成され、順次グラフィックスフレームメモリ902へと格納される。なお、表示動画データ及び表示グラフィックス画像データは別々に格納されているので、映像が消えてしまう等の乱れは生じることがない。
動画フレームメモリ901及びグラフィックスフレームメモリ902からは、次の水平同期信号のブランキング期間に、1ライン分の表示画像データを、それぞれ読み出され、データを合成する選択回路を介して、ラインバッファ903へと転送される。そして、水平同期信号のブランキング期間以外の有効期間になると、ラインバッファ903から順次データが読み出され、LCDの表示タイミングに合わせて出力される。この間、動画転送がOFFであるため、ビデオ処理部701内の動画処理系の動作クロックは、フレームレートレジスタ707内の動画処理系クロック停止制御部801によってクロックが停止される。
このような実施の形態6による画像出力装置では、一定周期で、データ転送要求を発行して、動画フレームメモリ901及びグラフィックスフレームメモリ902に格納されている表示画像データを更新しておき、グラフィックス画像データなどの即座に更新したい画像が発生した場合、プロセッサ部101がフレームレートレジスタ707に更新フラグを設定すると、動画レジスタ或いはグラフィックスレジスタが有効である場合のみ、それぞれに対応したデータ転送要求を発行するようにしたので、ユーザの操作とデータ表示までの遅延を少なくし、違和感のない映像を提供するとともに、無駄な動画データの転送を行うことなく、動画処理系及びグラフィックス処理系の動作クロックを別々に制御できるので、データ転送を実行しない時は消費電力を削減することができる。
また、動画フレームメモリ901及びグラフィックスフレームメモリ902の後段に、1つのラインバッファ903を設けたことで、画像表示装置への画像出力周期信号のうち、水平同期信号のブランキング期間以外の期間に、動画フレームメモリ901及びグラフィックスフレームメモリ902へと画像データを書き込み、水平同期信号のブランキング期間に、動画フレームメモリ901及びグラフィックスフレームメモリ902の各出力データの1ライン分を合成してラインバッファ903へ転送し、水平同期信号のブランキング期間以外の期間に、ラインバッファ903から後段のLCDへ画像データを出力するようにしたので、転送された画像データを表示するまでのフレーム遅延を無くすことができ、また、フレームメモリからの読み出しタイミング、及び画像表示装置への表示タイミングを容易に制御して、フレームメモリ901,902の稼動時間を最小限にして消費電力を削減できる。
(実施の形態7)
以下に、本実施の形態7による画像出力装置について図4及び図12を用いて説明する。
図12は、本実施の形態7による画像出力装置の構成を示すブロック図である。図12において、図11と同一または相当する構成要素については同じ符号を用い、その説明を省略する。
904は動画ラインバッファであり、表示動画データの1ライン分を一時的に格納する。905はグラフィックスラインバッファであり、表示グラフィックス画像データの1ライン分のデータを一時的に格納する。906は動画フレームメモリであり、動画ラインバッファ904の出力データを一時的に1フレーム分格納する。907はグラフィックスフレームメモリであり、グラフィックスラインバッファ905の出力データを一時的に1フレーム分格納する。
次に、実施の形態7による画像出力装置の動作について説明する。
プロセッサ部101は、データメモリ102を用いて画像の復号処理を行い、データメモリ102に復号した画像を格納する。また、ホストCPUから転送されたグラフィックステーブルデータも、データメモリ102に格納する。
プロセッサ部101は、フレームレートレジスタ707に、復号画像レートである15Hzを表す値を設定する。15Hzとは、図4に示すように、LCDの垂直同期信号を基準とすると、4フレームに1回の転送を意味する。つまり、4フレームに1回、データ転送が有効となる。従って、フレームレートレジスタ201には3を設定する。さらに、データ転送要求発行部708には、転送したいデータのみ転送ONとするように設定する。ここでは、通常、復号画像(動画像)のみの表示を想定し、動画転送ON、グラフィックス転送OFFを設定する。
また、データ転送要求発行部708は、転送が有効となるフレームとなると、図4に示すように、LCDの垂直同期信号が有効となる1つ前のタイミングから、水平同期信号の開始タイミングに合わせてデータ転送要求を発行する。この時、転送要求は、動画データのみ行われ、グラフィックスデータの転送は行われない。
このようにして転送される1ライン分の動画データは、水平同期信号のブランキング期間以外の有効期間に、ビデオ処理部701内でスケーリング処理を施され、QCIF(176×144)からCIF(352×288)サイズへ拡大される。処理された動画データは、表示動画データとして順次動画ラインバッファ904へと格納される。
動画ラインバッファ904に格納された1ライン分の表示動画データは、水平同期信号のブランキング期間の前半に、一気に動画フレームメモリ906へと格納される。
そして、水平同期信号のブランキング期間の後半には、動画フレームメモリ906に格納された表示動画データを、後段のラインバッファ903へと一気に転送する。
ラインバッファ903からは、水平同期信号のブランキング期間以外の有効期間に、外部LCDへと、同期信号および画素出力タイミングに合わせて出力される。
なお、15Hzの転送周期以外では、動画フレームメモリ906への書込みは行われず、動画フレームメモリ906に格納された表示画像が、ラインバッファ903を経て、LCDに対して画像データが繰り返し出力される。
また、15Hzの転送周期以外でかつ、データ転送要求発行部708によってOFFとされているグラフィックス転送系の、ビデオ処理部701およびラインバッファ903の動作クロックは、グラフィックスクロック停止制御部802により停止される。
次に、ホストCPUから、グラフィックステーブルデータと共に、グラフィックス更新命令が発行された場合について説明する。
プロセッサ部101は、データ転送要求発行部708にグラフィクス転送ONを設定し、フレームレートレジスタ707の更新フラグ202に1をセットする。このとき、表示動画データを更新する必要がなく、表示グラフィックス画像データのみ変更したい場合は、データ転送要求発行部708で動画転送をOFFにすれば良い。このとき、グラフィックス転送はONのままであるとする。
データ転送要求発行部708は、次のフレームの開始である、垂直同期信号の立下り時点で、更新フラグをチェックし、グラフィックス転送がONで、かつ、動画転送がONであることから、次のフレームで、動画データとグラフィックステーブルデータの両方の転送を要求する。従って、次のフレームでは、データメモリ102からビデオ処理部701に対しては、動画データ及びグラフィックスデータが転送される。
このようにして転送された1ライン分の動画データは、水平同期信号のブランキング期間以外の有効期間に、ビデオ処理部701内でスケーリング処理を施され、QCIF(176×144)からCIF(352×288)サイズへ拡大され、表示動画データとして順次、動画ラインバッファ904へと格納される。
また、グラフィックステーブルデータは、ビデオ処理部701内でグラフィックス画像データに生成され、順次、グラフィックスラインバッファ905へと格納される。
動画ラインバッファ904およびグラフィックスラインバッファ905からは、水平同期信号のブランキング期間の前半に、動画フレームメモリ906およびグラフィックスフレームメモリ907へと一気に転送される。このとき、表示動画データと表示グラフィックス画像データが別々に格納されているので、映像が消えてしまう等の乱れは生じない。
さらに、水平同期信号のブランキング期間の後半で、動画フレームメモリ906およびグラフィックスフレームメモリ907からラインバッファ903へと、表示動画データと表示グラフィックス画像データとを合成した表示画像データが格納される。
水平同期信号の有効期間になると、LCDの表示タイミングに合わせて、ラインバッファ903より、合成された表示画像データは1ライン単位で順次出力される。
このような実施の形態7による画像出力装置では、一定周期でデータ転送要求を発行して、動画フレームメモリ704及びグラフィックスフレームメモリ705に格納されている表示画像データを更新しておき、グラフィックス画像データなどの即座に更新したい画像が発生した場合、プロセッサ部101がフレームレートレジスタ707に更新フラグを設定すると、動画レジスタ或いはグラフィックスレジスタが有効である場合のみ、それぞれに対応したデータ転送要求を発行するようにしたので、ユーザの操作とデータ表示までの遅延を少なくし、違和感のない映像を提供するとともに、無駄な動画データの転送を行うことなく、動画処理系及びグラフィックス処理系の動作クロックを別々に制御できるので、データ転送を実行しない時は消費電力を削減することができる。
また、動画フレームメモリ906及びグラフィックスフレームメモリ907の前段に動画ラインバッファ904及びグラフィックスラインバッファ905を設け、フレームメモリ906,907への書込みタイミング制御が容易となり、かつ、フレームメモリも1つで、画像の合成、表示を実現することができ、さらに、後段にも1つのラインバッファ903を設け、水平同期信号のブランキング期間に、表示動画データと表示グラフィックス画像データとを合成してラインバッファ903に格納しておくことで、各フレームメモリ906,907の稼動時間を最小限とし、消費電力を低減できる。
また、水平同期信号のブランキング期間の前半に、一気に1ライン分の表示画像データをフレームメモリ906,907へ格納しておき、水平同期信号のブランキング期間の後半にラインバッファへとデータを転送することで、転送されてきたデータを表示するまでのフレーム遅延を少なくすることができる。
また、本実施の形態7において、水平同期信号のブランキング期間の前半にフレームメモリへの表示画像データの書込みを行い、水平同期信号のブランキング期間の後半にフレームメモリからラインバッファへのデータ転送を行う場合について示したが、これとは反対に、水平同期信号のブランキング期間の前半にラインバッファへのデータ転送を行い、水平同期信号のブランキング期間の後半にフレームメモリへのデータの書込みを行って、1ライン手前のタイミングで表示画像データをフレームメモリに入力し、次のラインのタイミングで上記表示画像データの1ライン後の表示画像データをフレーメモリから出力するようにしても、本実施の形態7と同様の効果が得られる。
(実施の形態8)
以下、本実施の形態8による画像出力装置について図13を用いて説明する。
図13は、本実施の形態8による画像出力装置の構成を示すブロック図である。図13において、131はプロセッサ部であり、装置全体を制御する。132は、データメモリであり、動画データやグラフィックステーブルデータ等の画像データを格納する。133はデータ転送制御部であり、データメモリ132とビデオ処理部134との間のデータ転送を制御する。134はビデオ処理部であり、データメモリ132から転送された画像データに対し、スケーリング処理やグラフィックス生成処理等の画像処理を行い表示動画データや表示グラフィックス画像データなどの表示画像データを生成する。
135は第1の動画ラインバッファであり、動画データの1ライン分を一時的に格納する。136は第1のグラフィックスラインバッファであり、グラフィックス画像データの1ライン分を一時的に格納する。137は動画フレームメモリであり、第1の動画ラインバッファの出力データを一時的に格納する。138はグラフィックスフレームメモリであり、第1のグラフィックスラインバッファの出力データを一時的に格納する。139は第2の動画ラインバッファであり、動画フレームメモリ137の出力データを一時的に格納する。130は第2のグラフィックスラインバッファであり、グラフィックスフレームメモリ138の出力データを一時的に格納する。140は一定周期割り込み発生部であり、画像表示装置への画像出力周期信号に従って一定間隔で割り込み信号をプロセッサ部131に対して出力するものであり、Hsync割り込み信号を発生する水平同期信号発生器141と、Vsync割り込み信号を発生する垂直同期信号発生器142とを備える。
次に、上記構成を有する画像出力装置の動作について説明する。
プロセッサ部131は、ホストCPUから転送された動画像符号化データをデータメモリ132を用いて復号処理し、データメモリ132に動画データを格納する。また、ホストCPUから転送されたグラフィックステーブルデータもデータメモリ132に格納する。
水平同期信号発生器141および垂直同期信号発生器142は、プロセッサ部131に対して、同期信号のタイミングで、Hsync割り込み信号及びVsync割り込み信号を発生している。
プロセッサ部131は、Vsync割り込み信号の入力により、データ転送要求の発生インターバルをリセットするために、Hsync割り込み信号の発生回数の計測(ラインカウント)をリセットする。以降、Hsync割り込み信号が発生する毎に、発生回数をカウントアップする。
そして、プロセッサ部131は、図14に示すように、ライン8のHsync割り込み信号が入力された場合、データ転送制御部133にデータ転送要求を発行する。ここで、データ転送要求は、動画データのみ表示するのであれば、動画データのみの要求をおこない、グラフィックス画像データのみ表示するのであれば、グラフィックステーブルデータのみの要求を行う。また、最終段にて合成して出力するために、両方のデータが必要な場合は、動画データ及びグラフィックテーブルデータを転送するためのデータ転送要求を発行する。
プロセッサ部131は、ライン297のHsync割り込み信号が入力されるまで、データ転送要求を発行しつづけ、ライン298のHsync割り込み信号が入力されると、データ転送要求を発行しない。再び、Vsync割り込み信号が入力されると、ラインカウントをリセットし、次のフレーム期間に、動画像符号化データの復号処理が完了しており、または、グラフィックスデータを更新したい場合には、再びHsync割り込み信号の発生回数をカウントアップし、データ転送要求を発行する。しかし、次のフレーム期間で画像データを転送しない場合(動画データが存在しない場合、または更新するグラフィックスデータがない場合)は、Hsync割り込み信号の発生回数のカウントアップを行わず、データ転送要求も発行しない。
転送された動画データおよびグラフィックステーブルデータは、次のラインでビデオ処理部134により、必要に応じて、スケーリング処理やグラフィックス生成処理、ノイズ除去処理、画像フォーマット変換(RGB変換、4:2:2変換)などの画像処理が施され、表示動画データ及び表示グラフィックス画像データとして随時、第1の動画ラインバッファ135及び第1のグラフィックスラインバッファ136へ書き込む。
そして、次ラインの水平同期信号のブランキング期間の前半で、動画フレームメモリ137及びグラフィックスフレームメモリ138にバースト転送する。
続いて、同じ水平同期信号のブランキング期間の後半では、動画フレームメモリ137及びグラフィックスフレームメモリ138から第2の動画ラインバッファ139及び第2のグラフィックスラインバッファ130に転送し、ブランキング期間終了後、表示動画データと表示グラフィックス画像データとを合成して、LCDへ出力する。このようにすれば、画像表示までの遅延を少なくすることができる。
また、プロセッサ部131が画像データ転送要求を発行しないフレームでは、前フレーム期間に、動画フレームメモリ137およびグラフィックスフレームメモリ138に蓄積された表示画像データがそれぞれ、第2のラインバッファ139及び第2のグラフィックスラインバッファ130を介して、LCDへ出力される。
このような実施の形態8による画像出力装置では、一定周期割り込み発生部140から定期的に発生される同期信号の割り込み信号を用いて、プロセッサ部131がデータメモリ132からビデオ処理部134への画像データの転送を制御することで、プロセッサ部131によりデータ転送を一括管理できるほか、開発のいかなるフェーズにおいても転送パターンを変更可能で、特に、システム完成後も変更可能であるので、フレームレートを自由にプログラムすることができ、更新パターンの自由度が増す。また、プログラムにより画像フレームの更新をコントロールする為、ハードウェアの設計が完了した後でも、更新が可能となり、設計の容易性が向上し、自由度も向上する。
また、動画フレームメモリ137及びグラフィックスフレームメモリ138の前段に第1の動画ラインバッファ135及び第1のグラフィックスラインバッファ136を設け、後段に第2の動画ラインバッファ139及び第2のグラフィックスラインバッファ130を設けたことで、フレームメモリ137,138に格納している画像データを即座に表示可能な為、遅延の少ない画像表示を実現することができると同時に、次のフレームのデータを蓄積しておくことができる。
また、大容量のフレームメモリは、ブランキング期間の第1,第2のラインバッファとのデータ入出力時しか動作しないため、クロック停止などにより、動作を停止させることで消費電力を低減させることができ、さらに、画像データ転送が発生しない場合(ビデオ処理部が動作しない場合)は、第1のラインバッファを停止させ、かつ大容量のフレームメモリは、第2のラインバッファに転送する、水平同期信号のブランキング期間のみしか動作する必要がないことから、小容量の第2のラインバッファのみ画像データ出力時に動作すればよく、ラインバッファおよびフレームメモリのクロックを停止することにより、低消費出力化を実現することができる。
なお、本実施の形態8において、フレームメモリを備えた液晶表示装置などの画像表示装置を使用する場合、ビデオ処理部134の出力、または第1のラインバッファ135,136の出力を、画像表示装置へと直接入力する構成とすることができ、より高い効果を発揮することができる。
また、本実施の形態8において、水平同期信号のブランキング期間の前半にフレームメモリへの表示画像データの書込みを行い、水平同期信号のブランキング期間の後半にフレームメモリからラインバッファへのデータ転送を行う場合について示したが、これとは反対に、水平同期信号のブランキング期間の前半にラインバッファへのデータ転送を行い、水平同期信号のブランキング期間の後半にフレームメモリへのデータの書込みを行って、1ライン手前のタイミングで表示画像データをフレームメモリに入力し、次のラインのタイミングで上記表示画像データの1ライン後の表示画像データをフレーメモリから出力するようにしても、本実施の形態8と同様の効果が得られる。
本発明の画像出力装置は、必要最小限のデータ転送で、即座に表示画面を更新することができ、また消費電力を大幅に削減することができるものであり、液体表示装置を使用する携帯端末などの画像出力装置において有用なものである。
実施の形態1による画像出力装置の構成を示すブロック図である。 実施の形態2による画像出力装置の構成を示すブロック図である。 フレームレートレジスタの構成の一例を示す図である。 画像出力フレーム周期と更新フラグの関係を示す図である。 LCDの水平同期信号と、データ転送タイミングの関係を示す図である。 実施の形態3による画像出力装置の構成を示すブロック図である。 LCDの水平同期信号と、データ転送タイミングの関係を示す図である。 実施の形態4による画像出力装置の構成を示すブロック図である。 実施の形態5による画像出力装置の構成を示すブロック図である。 フレームレートレジスタの構成の一例を示す図である。 実施の形態6による画像出力装置の構成を示すブロック図である。 実施の形態7による画像出力装置の構成を示すブロック図である。 実施の形態8による画像出力装置の構成を示すブロック図である。 LCDの水平同期信号と、データ転送タイミングの関係を示す図である。 従来の電子描画装置の構成を示す図である。 従来の画像出力装置の一例を示す図である。 従来の画像送信装置の構成を示す図である。 従来の画像受信装置の構成を示す図である。
符号の説明
1 電子描画装置
10 データ供給部
11 中間データ生成部
12 象形データ生成部
20、21 フレームメモリ
30 出力選択部
40 データ表示部
50 制御部
60 重合制御部
1001 プロセッサ部
1002 データメモリ
1003 データ転送制御部
1004 ビデオ処理部
1006 フレームメモリ
1007 データ転送要求制御回路
1008 フレーム更新レジスタ
1009 データ転送要求発行部
101 プロセッサ部
102 データメモリ
103 データ転送制御部
104 ビデオ処理部
105 ラインバッファ
106 フレームメモリ
107 データ転送要求制御回路
108 フレームレートレジスタ
109 データ転送要求発行部
201 フレームレートレジスタ
202 更新フラグ
203 カウンタ
204 周期一致検出器
205 論理和
206 論理積(オール0検出部)
207 クロック停止制御部
501 フレームメモリ
502 ラインバッファ
701 ビデオ処理部
702 動画ラインバッファ
703 グラフィックスラインバッファ
704 動画フレームメモリ
705 グラフィックスフレームメモリ
706 データ転送要求制御回路
707 フレームレートレジスタ
708 データ転送要求発行部
711 動画フレームメモリ
712 グラフィックスフレームメモリ
713 動画ラインバッファ
714 グラフィックスラインバッファ
801 動画処理系クロック停止制御部
802 グラフィックス処理系クロック停止制御部
901 動画フレームメモリ
902 グラフィックスフレームメモリ
903 ラインバッファ
904 動画ラインバッファ
905 グラフィックスラインバッファ
906 動画フレームメモリ
907 グラフィックスフレームメモリ
131 プロセッサ部
132 データメモリ
133 データ転送制御部
134 ビデオ処理部
135 第1の動画ラインバッファ
136 第1のグラフィックスラインバッファ
137 動画フレームメモリ
138 グラフィックスフレームメモリ
139 第2の動画ラインバファ
130 第2のグラフィックスラインバッファ
140 一定周期割り込み発生部
141 水平同期信号発生器
142 垂直同期信号発生器
160 ホストIF
161 プロセッサ
162 SDRAM
163 DMAコントローラ
164 ビデオIF
165 NTSC ADC
166 NTSC DAC

Claims (1)

  1. 画像データを格納するデータメモリと、
    上記画像データに対し画像処理を行い、表示画像データを生成するビデオ処理部と、
    上記データメモリと上記ビデオ処理部との間のデータ転送を制御するデータ転送制御部と、
    上記表示画像データを一時的に格納し、一定周期で画像表示装置へ出力する出力データ格納部と、
    装置全体を制御するシステム制御部と、
    上記システム制御部が上記出力データ格納部に格納されている上記表示画像データを更新するための更新指示を行った場合のみ、一定データ単位で上記データ転送を実行するようデータ転送要求を発行するデータ転送要求制御回路とを備えた画像出力装置であって、
    上記出力データ格納部は、
    上記表示画像データを1フレーム分格納し、該格納した画像データを1ライン単位で出力するフレームメモリと、該フレームメモリの出力データを格納するラインバッファを備えており、
    上記画像表示装置へ出力しようとするデータが前ラインの出力データと同一である場合、上記フレームメモリから上記ラインバッファへの画像データの読み出しを行わず、ラインバッファに蓄積されたデータを上記画像表示装置へと出力する、
    ことを特徴とする画像出力装置。
JP2004324065A 2000-05-31 2004-11-08 画像出力装置 Expired - Fee Related JP4780599B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004324065A JP4780599B2 (ja) 2000-05-31 2004-11-08 画像出力装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000163231 2000-05-31
JP2000163231 2000-05-31
JP2004324065A JP4780599B2 (ja) 2000-05-31 2004-11-08 画像出力装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001163283A Division JP3718832B2 (ja) 2000-05-31 2001-05-30 画像出力装置及び画像出力制御方法

Publications (2)

Publication Number Publication Date
JP2005099841A JP2005099841A (ja) 2005-04-14
JP4780599B2 true JP4780599B2 (ja) 2011-09-28

Family

ID=34466551

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004324065A Expired - Fee Related JP4780599B2 (ja) 2000-05-31 2004-11-08 画像出力装置

Country Status (1)

Country Link
JP (1) JP4780599B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI339810B (en) 2006-03-08 2011-04-01 Sony Corp Image display apparatus and image display method
JP5322529B2 (ja) * 2008-07-29 2013-10-23 キヤノン株式会社 表示装置、表示制御方法
KR101872944B1 (ko) 2011-08-02 2018-08-03 삼성디스플레이 주식회사 표시 패널의 구동 방법 및 이를 수행하기 위한 표시 장치
JP6281526B2 (ja) * 2015-05-22 2018-02-21 京セラドキュメントソリューションズ株式会社 表示装置及びこれを備えた画像形成装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123400A (ja) * 1994-10-18 1996-05-17 Fujitsu Ltd 表示制御装置および表示情報格納方式および表示装置
JP3578498B2 (ja) * 1994-12-02 2004-10-20 株式会社ソニー・コンピュータエンタテインメント 画像情報処理装置
JP3919877B2 (ja) * 1997-04-07 2007-05-30 セイコーエプソン株式会社 表示制御回路及び画像表示装置並びにそれを備えた電子機器
JP3280306B2 (ja) * 1998-04-28 2002-05-13 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像情報送信方法、画像情報更新方法、送信装置及び更新装置

Also Published As

Publication number Publication date
JP2005099841A (ja) 2005-04-14

Similar Documents

Publication Publication Date Title
KR100482493B1 (ko) 화상 출력 장치 및 화상 출력 제어 방법
JP3718832B2 (ja) 画像出力装置及び画像出力制御方法
KR100303723B1 (ko) 이미지업스케일방법및장치
US7941645B1 (en) Isochronous pipelined processor with deterministic control
US7542010B2 (en) Preventing image tearing where a single video input is streamed to two independent display devices
JPH10504113A (ja) ビデオウィンドウのための可変ピクセルデプスおよびフォーマット
WO2002035512A1 (fr) Dispositif d"affichage d"image
KR19980025110A (ko) 데이타 프로세서 및 그래픽 프로세서
GB2369760A (en) Multimedia display for a mobile terminal
JP5154027B2 (ja) スケーリングされた映像データの読み出し動作を制御する映像処理装置及びその方法
JP2007214659A (ja) Osd装置
JP4780599B2 (ja) 画像出力装置
KR100245275B1 (ko) 컴퓨터 시스템용 그래픽스 서브시스템
JP3253778B2 (ja) 表示システム、表示制御方法及び電子機器
JPH09116827A (ja) 縮小映像信号処理回路
JP3481913B2 (ja) 画像処理装置
US20060184893A1 (en) Graphics controller providing for enhanced control of window animation
JP3862976B2 (ja) 表示機構
JP2002112259A (ja) 符号化画像情報処理装置
JPH07311568A (ja) 画像出力方法および装置
JP2005070678A (ja) 画像信号処理回路及び携帯端末装置
JP2007094391A (ja) 動画像表示装置
JPH1013841A (ja) 画像復号方法および画像復号装置
JP2001103374A (ja) 映像拡大/縮小装置
JP2599045B2 (ja) 垂直方向拡大回路

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110613

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20110613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110629

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees