JP5157419B2 - 画像処理装置、画像処理方法及び電子機器 - Google Patents

画像処理装置、画像処理方法及び電子機器 Download PDF

Info

Publication number
JP5157419B2
JP5157419B2 JP2007327198A JP2007327198A JP5157419B2 JP 5157419 B2 JP5157419 B2 JP 5157419B2 JP 2007327198 A JP2007327198 A JP 2007327198A JP 2007327198 A JP2007327198 A JP 2007327198A JP 5157419 B2 JP5157419 B2 JP 5157419B2
Authority
JP
Japan
Prior art keywords
data
image
image data
pixel
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007327198A
Other languages
English (en)
Other versions
JP2008257685A (ja
Inventor
淳 小日向
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2007327198A priority Critical patent/JP5157419B2/ja
Priority to US12/075,428 priority patent/US8233003B2/en
Publication of JP2008257685A publication Critical patent/JP2008257685A/ja
Application granted granted Critical
Publication of JP5157419B2 publication Critical patent/JP5157419B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像処理装置、画像処理方法及び電子機器等に関する。
例えば、携帯電話機の液晶表示装置を例に挙げれば、近年、高精細な表示を行なうために、ディスプレス上の画素数が増大し、1画素当たりの階調数も増大している。携帯電話機の画面については、現在主流のQVGA(240×320ドット)から、VGA(480×640ドット)又はWVGA(480×800ドット)への移行が予定される。この場合、QVGAのときには1画素当たりの階調値が16ビット又は18ビットであったのが、VGA又はWVGAでは18ビット又は24ビットへと高階調化される。このような画素数と階調値の増大は、画像データが格納されるメモリの容量の増大に影響する。
またメモリの増大は、RAM内蔵ドライバICのコスト高に深刻な影響を招く。例えば、QVGAからVGAへの変更で、RAMのメモリ面積は4倍に増大し、RAM内蔵ドライバIC(広義には駆動部)の面積も著しく増大する。その場合、ガラス基板上にCOG(Chip On Grass)実装されるRAM内蔵ドライバICは、ドライバIC搭載のためだけに液晶表示パネルのガラス基板面積を増大させ、製造基板からのパネルの歩留まり枚数の減少を招く。そればかりか、ガラス基板の短辺を長手軸とする長方形状の従来型ドライバICの形状は維持できなくなる。もはやCOG実装は無理であり、全面的にCOF(Chip On Film)に変更しなければならない。
一方、携帯電話機では、画像を供給するベースバンドエンジン(LSI)から液晶ドライバICに直接に画像データを送付するのでなく、ベースバンドエンジンでの液晶表示に関するタスクを軽減するために、ベースバンドエンジンと液晶ドライバICとの間に液晶コントロールICを設けるものもある。しかし、画像データ量が多くなれば、液晶コントロールIC内に設けられるメモリ容量も増大してしまう。
上述の問題は、液晶表示装置に限らず、画像を受信又は生成する画像出力源となる集積回路と、表示部又はプリンタを駆動する集積回路との間で、高精細な画像データを転送する場合に共通している。
特開平1−112377号公報 特開2001−257888号公報
近年、携帯電話機に内蔵するカメラにより撮像した画像を液晶表示装置に表示したり、地上デジタル放送を受信した画像を液晶表示装置に表示したりすることが行われる。この場合に、カメラにより撮像した画像や放送で受信した画像の天地方向の向きを90度、180度又は270度等の所与の角度だけ回転させて液晶表示装置に表示させる必要がある。
しかしながら、特許文献1及び特許文献2に記載された技術では、圧縮処理後に特定の領域の画素のデータのみを抽出することは困難である。画像を回転させる場合、回転処理後の画像の画像データをメモリに格納するため、回転処理の際に作業エリアが必要となる。特許文献1又は特許文献2に記載された技術では、少なくとも1画面分の画素のデータが格納されるメモリを用意しておかなければならず、やはりメモリ容量を増大させてしまう。
本発明の幾つかの態様によれば、画像データ量が増大しても、メモリ容量を削減して小型化できる画像処理装置、画像処理方法及び電子機器を提供できる。
また本発明の他の態様によれば、画像の向きを回転した場合でもメモリ容量を削減できる画像処理装置、画像処理方法及び電子機器を提供できる。
上記課題を解決するために本発明は、
表示パネルの駆動部に画像データを供給するための画像処理装置であって、
入力画像の1走査ライン分の画像データを分割した複数ブロックの1ブロック毎に、前記画像データを符号化して符号化データを生成する符号化部と、
前記符号化部からの前記符号化データが格納されるメモリと、
前記メモリからの前記符号化データを、前記1ブロック毎に復号化して複合化データを生成する復号化部とを含み、
前記復号化部からの前記復号化データを、前記駆動部に供給する画像処理装置に関係する。
また本発明に係る画像処理装置では、
前記メモリの書き込み領域を特定するライトアドレスを生成するライトアドレス生成回路を含み、
前記ライトアドレスにより特定された書き込み領域のデータが、1ブロック分の前記符号化データにより更新されてもよい。
また本発明に係る画像処理装置では、
前記メモリの読み出し領域を特定するリードアドレスを生成するリードアドレス生成回路を含み、
前記リードアドレスにより特定された読み出し領域から、1ブロック分の前記符号化データを読み出すことができる。
上記のいずれかの発明によれば、1走査ラインを分割した1ブロック毎に、画像データを符号化してメモリに格納し、該メモリから読み出したデータを復号化して駆動部に供給するようにしたので、メモリの容量を削減された低コストな画像処理装置を提供できる。そして、1走査ライン分の画像データに対して符号化する場合に比べて圧縮率を低下させてしまうが、ブロック毎に符号化処理及び復号化処理が完結している。そのため、ある1ブロックのデータを他のデータで置き換えたとしても、他のブロックの復号化処理結果に影響を与えない。従って、符号化された状態でメモリに格納されたデータに対して、ブロック単位で書き込んで更新したり、読み出したりすることが可能となるため、ユーザにとって使い勝手の良い画像処理装置を提供できるようになる。
また本発明に係る画像処理装置では、
前記入力画像の天地方向の向きを基準に所与の角度だけ回転させた画像を生成する回転処理を行う回転処理部を含み、
前記回転処理部が、
各ラインバッファが、前記入力画像の1走査ライン分の画像データが格納される1又は複数のラインバッファを有し、
前記回転処理部により行われた回転処理後の画像の画像データが、前記符号化部に供給されてもよい。
本発明によれば、ブロック単位で符号化されるため、画像を回転させる場合で、非常に少ないメモリ容量で回転処理後の画像データをメモリに格納させることができるようになる。
また本発明に係る画像処理装置では、
前記各ラインバッファの容量をLBビット、前記入力画像の1走査ラインの画素数をH画素、1画素当たりのビット数をPとした場合に、前記1ブロックのデータ長が、f(LB/H/P)(関数fは、小数点以下を切り捨てる関数であることを示す)以下であってもよい。
本発明によれば、ラインバッファの容量を最大限活用して、圧縮処理が行われるため、回転処理部が有するラインバッファの容量を最小限に抑えることができる。
また本発明に係る画像処理装置では、
前記符号化部が規定圧縮率W以上の圧縮率で入力画像の画像データを符号化し、前記メモリのアクセス単位であるビット幅をB、前記入力画像の1画素当たりのビット数をPとした場合に、前記1ブロックのデータ長が、f(B/W/P)(関数fは、小数点以下を切り捨てる関数であることを示す)以下であってもよい。
本発明によれば、メモリへのアクセス回数を低減できるので、画面サイズが大きくなったとしても圧縮処理を高速化でき、メモリの容量の増大を抑えることができる。
また本発明に係る画像処理装置では、
前記入力画像の画像データのフォーマットに応じて、前記1ブロックのデータ長を異ならせてもよい。
本発明によれば、画像フォーマットにかかわらず、メモリ容量を削減して小型化できる画像処理装置を提供できる。
また本発明は、
表示パネルの駆動部に画像データを供給するための画像処理方法であって、
入力画像の1走査ライン分の画像データを分割した複数ブロックの1ブロック毎に、前記画像データを符号化して符号化データを生成するステップと、
前記符号化データをメモリに格納するステップと、
前記メモリからの前記符号化データを、前記1ブロック毎に復号化して複合化データを生成するステップと、
前記復号化データを、前記駆動部に供給するステップとを含む画像処理方法に関係する。
また本発明に係る画像処理方法では、
前記メモリの書き込み領域を特定するライトアドレスを生成するステップと、
前記ライトアドレスにより特定された書き込み領域のデータを、1ブロック分の前記符号化データにより更新するステップとを含むことができる。
また本発明に係る画像処理方法では、
前記メモリの読み出し領域を特定するリードアドレスを生成するステップと、
前記リードアドレスにより特定された読み出し領域から、1ブロック分の前記符号化データを読み出すステップとを含むことができる。
また本発明に係る画像処理方法では、
各ラインバッファが前記入力画像の1走査ライン分の画像データが格納される1又は複数のラインバッファを用いて、前記入力画像の天地方向の向きを基準に所与の角度だけ回転させた画像を生成する回転処理を行うステップを含み、
前記回転処理部により行われた回転処理後の画像の画像データに対して符号化を行うことができる。
また本発明に係る画像処理方法では、
前記各ラインバッファの容量をLBビット、前記入力画像の1走査ラインの画素数をH画素、1画素当たりのビット数をPとした場合に、前記1ブロックのデータ長が、f(LB/H/P)(関数fは、小数点以下を切り捨てる関数であることを示す)以下であってもよい。
また本発明に係る画像処理方法では、
前記符号化部が規定圧縮率W以上の圧縮率で入力画像の画像データを符号化し、前記メモリのアクセス単位であるビット幅をB、前記入力画像の1画素当たりのビット数をPとした場合に、前記1ブロックのデータ長が、f(B/W/P)(関数fは、小数点以下を切り捨てる関数であることを示す)以下であってもよい。
また本発明に係る画像処理方法では、
前記入力画像の画像データのフォーマットに応じて、前記1ブロックのデータ長を異ならせてもよい。
上記のいずれかの発明によれば、画像データ量が増大しても、メモリ容量を削減して小型化できる画像処理方法を提供できる。また上記のいずれかの発明によれば、画像の向きを回転した場合でもメモリ容量を削減できる画像処理方法を提供できる。
また本発明は、
上記のいずれか記載の画像処理装置と、
前記画像処理装置によって画像データが供給される駆動部と、
前記駆動部によって駆動される表示パネルとを含む電子機器に関係する。
本発明によれば、画像データ量が増大しても、メモリ容量を削減して小型化できる画像処理装置が適用された電子機器を提供できる。また本発明によれば、画像の向きを回転した場合でもメモリ容量を削減できる画像処理装置が適用された電子機器を提供できる。
以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。
1. 液晶表示装置
図1に、本実施形態を携帯電話機に適用した場合の構成例を示す。
図1において、ベースバンドエンジン(BBE:広義には画像供給装置)10は携帯電話機の基本機能を司る中央演算処理装置(Central Processing Unit:CPU)を搭載するLSI(Large Scale Integrated Circuit)であり、インターネット経由で受信した動画や静止画、カメラで撮影した自然画、携帯電話機の操作上で必要なメニュー画面、アイコンなどの文字・図形情報等の各種画像データの出力源である。
図1において、携帯電話機のディスプレイとして液晶表示パネル(広義には表示パネル)20が設けられている。この液晶表示パネル20は、2枚のガラス基板30、32間に液晶を封入したものである。大きなガラス基板30は例えばアクティブマトリクス基板であり、各画素にアクティブ素子であるTFT(Thin Film Transistor)が設けられている。各画素のTFTのドレイン端子に透明画素電極が、ソース端子にデータ線であるソース線が、ゲート端子に走査線であるゲート線がそれぞれ接続されている。このガラス基板30と対向するガラス基板32には透明電極が設けられている。ガラス基板32上には、ガラス基板30の短辺に沿って、液晶表示パネル20を駆動する表示ドライバ(広義には駆動部)40がCOG実装されている。表示ドライバ40は、液晶表示パネル20のゲート線に走査信号を、ソース線にデータ信号を供給して液晶表示パネル20を表示駆動する。
ベースバンドエンジン10と表示ドライバ40との間には、画像処理コントローラ(広義には画像処理装置)50が設けられている。ベースバンドエンジン10と画像処理コントローラ50との間、画像処理コントローラ50と表示ドライバ40との間は、複数本のバスラインで接続され、画像データ、水平・垂直同期信号、クロック信号、各種コマンドが転送される。
本実施形態では、画像処理コントローラ50が、ベースバンドエンジン10からの画像データを一旦蓄積して、回転処理やオーバレイ処理等の画像処理を行った後に、表示ドライバ40に対して画像処理後の画像のデータを供給する。その際、画像処理コントローラ50は、圧縮画像データメモリとしてのメモリを有し、ベースバンドエンジン10からの画像データに対して圧縮処理(符号化)を行って該メモリに格納し、該メモリから伸張処理(復号化)を行って画像データを表示ドライバ40に出力する。こうすることで、メモリの容量を削減する。
2. 画像処理コントローラ
図2に、図1の画像処理コントローラ50の構成例のブロック図を示す。
なお、本実施形態では、図2に示す構成に限定されるものではなく、図2に示す回路ブロックのうち少なくとも1つの回路ブロックが省略された構成であってもよい。
画像処理コントローラ50は、符号化部としての圧縮処理部100、圧縮画像データメモリとしてのメモリ120、それぞれが復号化部としての第1及び第2の伸張処理部(第1及び第2の復号化部)130、132を含む。なお、図2では、第1及び第2の伸張処理部130、132を含むものとして説明するが、第1及び第2の伸張処理部130、132の一方のみであってもよい。
圧縮処理部100は、ベースバンドエンジン10からの画像データ(入力画像の画像データ)のうち1走査ライン分(1水平走査分)の画像データを分割した複数ブロックの1ブロック毎に、該画像データを符号化する。より具体的には、圧縮処理部100は、1画面分(1フレーム分)の画像データを規定圧縮率(例えば50%)以上の圧縮率で圧縮して符号化することを保障する。圧縮処理部100は、1走査ライン分の画像データを規定圧縮率以上の圧縮率で圧縮して符号化することで、1画面分の画像データの圧縮処理後のデータサイズを保障することが望ましい。ここで、例えば50%の規定圧縮率以上の圧縮率で圧縮することは、圧縮処理後のデータサイズが圧縮処理前の画像データサイズの50%以下になることを意味する。また、データサイズを保障するとは、圧縮処理後のデータサイズの最大値が規定圧縮率で符号化されたデータサイズ以下となるように処理が行われることを意味する。
図3に、図2の圧縮処理部100の動作説明図を示す。
圧縮処理部100は、元画像の1走査ライン分の画像データをn(nは2以上の整数)ブロックに分割する。各ブロックの長さ(ビット長、データ長、データサイズ)は、固定のビット長であってもよいし、任意のビット長であってもよい。また各ブロックの長さは、ベースバンドエンジン10からの入力画像の画像データのフォーマットに応じて異なってもよい。
そして、圧縮処理部100は、各ブロック毎に、画像データを圧縮する処理を行って符号化データを生成する。このため、1走査ライン分の画像データに対して圧縮処理する場合に比べて圧縮率を低下させてしまうが、ブロック毎に圧縮処理及び伸張処理が完結している。即ち、ある1ブロックのデータを他のデータで置き換えたとしても、他のブロックの伸張処理結果に影響を与えない。従って、例えば1画面分の画像データを圧縮してメモリ120に格納したとしても、ブロック単位で書き込んで更新したり、読み出したりすることが可能となる。この場合、ベースバンドエンジン10や画像処理コントローラ50での処理の簡素化を考慮すると、1ブロックのデータ長を8×m(mは自然数)画素分のデータサイズであることが望ましい。
なお、本発明では、圧縮処理部100の圧縮アルゴリズムに限定されるものではないが、以下のように、LSI化に適した簡素なアルゴリズムであることが望ましい。
図4(A)、図4(B)、図4(C)に、圧縮処理部100の動作例を示す。
以下では、圧縮処理部100が、隣接する画素間の差分をPCM(Pulse Code Modulation)符号化するDPCM(Differential Pulse Code Modulation)符号化アルゴリズムを採用するものとする。
図4(A)は、RGB888フォーマットの画像データに対して、圧縮処理部100が、4画素単位にDPCM符号化処理によって符号化した例を示す。従って、各色成分の画像データが8ビットであり、1画素当たりの画像データが24ビットである。
この場合、圧縮処理部100は、先頭の第1の画素を圧縮処理せず、そのまま符号化データとして出力する。そして、圧縮処理部100は、第1の画素の画像データと第2の画素の画像データとの差分を求め、該差分を4ビットのデータに変換する。第3及び第4の画素については、直前の符号化データを伸張したデータとの差分を求め、該差分を4ビットのデータに変換する。このため、第2〜第4の画素の画像データは、それぞれ50%に圧縮される。即ち、図4(A)の場合、規定圧縮率(最悪圧縮率)が62.5%(=((8+4×3)×3)/(24×3))となる。
図4(B)は、YUV444フォーマットの画像データに対して、圧縮処理部100が、4画素単位にDPCM符号化処理によって符号化した例を示す。従って、各画素の輝度成分及び色差成分の画像データがそれぞれ8ビットであり、1画素当たりの画像データが24ビットである。
この場合、圧縮処理部100は、先頭の第1の画素を圧縮処理せず、そのまま符号化データとして出力する。そして、圧縮処理部100は、第1の画素の画像データと第2の画素の画像データとの差分を求め、該差分を4ビットのデータに変換する。第3及び第4の画素については、直前の符号化データを伸張したデータとの差分を求め、該差分を4ビットのデータに変換する。このため、第2〜第4の画素の画像データは、それぞれ50%に圧縮される。即ち、図4(B)の場合、規定圧縮率(最悪圧縮率)が62.5%(=((8+4×3)×3)/(24×3))となる。
図4(C)は、YUV422フォーマットの画像データに対して、圧縮処理部100が、8画素単位にDPCM符号化処理によって符号化した例を示す。従って、1画素当たりの画像データが16ビットである。
この場合、圧縮処理部100は、先頭からの2画素である第1及び第2の画素を圧縮処理せず、そのまま符号化データとして出力する。そして、圧縮処理部100は、第3〜第8の画素の画像データについては、上述の通り直前の伸張処理後の画像データとの差分を求め、該差分を4ビットのデータに変換する。このため、第3〜第8の画素の画像データは、それぞれ50%に圧縮される。即ち、図4(C)の場合、規定圧縮率(最悪圧縮率)が62.5%(=(16×2+4×2×6)/(16×8))となる。
このように、画像フォーマットに応じてDPCM符号化処理の1ブロックのデータ長を異ならせている。そして、上述のようにDPCM符号化アルゴリズムを採用することで、ベースバンドエンジン10からの画像の画像フォーマットが定まれば、圧縮処理後の画像データのサイズの最大値(最悪値)が求められるようになる。このため、予めメモリ120に確保すべき領域のサイズが定まり、ユーザにとって使いやすい画像処理コントローラを提供できる。この点、1画面分の圧縮処理が完了しなければ、圧縮処理後のデータサイズが判明しないJPEG(Joint Photographic Experts Group)等の高符号化アルゴリズムと異なる。
図2に戻って説明を続ける。メモリ120には、圧縮処理部100によってデータサイズが圧縮された符号化データが格納される。
第1及び第2の伸張処理部130、132は、互いに同期して、又は互いに非同期で、メモリ120から符号化データを読み出す。そして、各伸張処理部は、圧縮処理部100の圧縮処理アルゴリズムに対応した伸張処理アルゴリズムで、上記の圧縮処理単位であるブロック毎に、該符号化データに対して伸張処理を行う。伸張処理後の画像データが、表示ドライバ40に供給される。
本実施形態では、このように表示ドライバ40に供給される画像データに対して、回転処理やオーバレイ処理を行うことができるようになっている。そのため、画像処理コントローラ50は、図2に示すように、ホストインタフェース(Interface:以下、I/Fと略す)140、回転処理部150、第1及び第2のフォーマット変換部160、162、オーバレイ処理部170、ドライバI/F180、制御レジスタ部190を含むことができる。
ホストI/F140は、ベースバンドエンジン10に接続されたバスラインを介して入出力される信号のインタフェース処理を行う。
回転処理部150は、ベースバンドエンジン10から供給された画像の天地方向の向きを、例えば該天地方向の向きを基準に所定の回転角度だけ回転させた画像を生成する回転処理を行う。回転処理部150は、複数のラインバッファを有する。各ラインバッファには、ベースバンドエンジン10からの入力画像の1走査ライン分の画像データが格納される。本実施形態では、上述のように圧縮処理部100が1走査ラインを分割した1ブロック単位で圧縮処理を行うため、回転処理部150は、少ないラインバッファ数で回転処理を実現できる。回転処理部150により行われた回転処理後の画像の画像データが、圧縮処理部100(符号化部)に供給される。
第1のフォーマット変換部160は、第1の伸張処理部130によって伸張処理された画像データのフォーマットを変換する処理を行う。なお、ベースバンドエンジン10からの画像データのフォーマットをそのまま表示ドライバ40に供給する場合は、第1のフォーマット変換部160の処理を無効化してもよい。
第2のフォーマット変換部162は、第2の伸張処理部132によって伸張処理された画像データのフォーマットを変換する処理を行う。なお、ベースバンドエンジン10からの画像データのフォーマットをそのまま表示ドライバ40に供給する場合は、第2のフォーマット変換部162の処理を無効化してもよい。
オーバレイ処理部170は、第1及び第2のフォーマット変換部160、162からの画像データに対して重ね合わせ処理を行う。なお、図2において、画像処理コントローラ50は、第2の伸張処理部132、第2のフォーマット変換部162及びオーバレイ処理部170が省略された構成を有していてもよい。
ドライバI/F180は、表示ドライバ40に接続されたバスラインを介して入出力される信号のインタフェース処理を行う。例えば、ドライバI/F180は、オーバレイ処理部170により行われた重ね合わせ処理後の画像の画像データを、上記のバスラインを介して表示ドライバ40に出力する処理を行う。
制御レジスタ部190は、複数の制御レジスタを含む。各制御レジスタは、ベースバンドエンジン10によりアクセス可能に構成されており、各制御レジスタの設定データに応じた制御信号が出力される。各制御信号は、画像処理コントローラ50の各部に供給され、画像処理コントローラ50の各部は制御レジスタ部190からの制御信号に基づいて制御される。このため、ベースバンドエンジン10は制御レジスタ部190の制御レジスタに設定データを設定することで、画像処理コントローラ50の各部を制御できる。
なお、回転処理部150が有する複数のラインバッファの各ラインバッファの容量をLBビット、入力画像の1走査ラインの画素数をH画素、1画素当たりのビット数をPとした場合に、圧縮処理の処理単位である1ブロックのデータ長が、f(LB/H/P)(関数fは、小数点以下を切り捨てる関数であることを示す)以下としてもよい。
こうすることで、ラインバッファの容量を最大限活用して、圧縮処理が行われるため、回転処理部150が有するラインバッファの容量を最小限に抑えることができる。
更に、圧縮処理部100が、規定圧縮率W以上の圧縮率で入力画像の画像データを符号化し、メモリ120のアクセス単位であるビット幅をB、入力画像の1画素当たりのビット数をPとした場合に、圧縮処理の処理単位である1ブロックのデータ長が、f(B/W/P)(関数fは、小数点以下を切り捨てる関数であることを示す)以下としてもよい。
こうすることで、メモリ120へのアクセス回数を低減できるので、画面サイズが大きくなったとしても圧縮処理を高速化でき、メモリ120の容量の増大を抑えることができる。
以下、図2の画像処理コントローラ50の各部について説明する。
2.1 制御レジスタ部
図5に、図2の制御レジスタ部の構成の概要を示す。
制御レジスタ部190は、動作モード設定レジスタ200、画像サイズ設定レジスタ202、画像フォーマット設定レジスタ210、オーバレイ処理設定レジスタ220、回転角度設定レジスタ230を含む。
動作モード設定レジスタ200には、画像処理コントローラ50の動作モードを設定するための設定データ(制御データ)が設定され、該設定データに対応した制御信号MODEが出力される。画像処理コントローラ50は、例えばラインモード(第1の動作モード)又はパーシャルモード(第2の動作モード)で動作できるようになっている。
ラインモードに設定された画像処理コントローラ50は、圧縮処理部100において1走査ライン単位で圧縮処理を行うと共に、第1及び第2の伸張処理部130、132において1走査ライン単位で伸張処理を行う。ラインモードでは、ベースバンドエンジン10からの画像を回転させる場合には1画面分のバッファが必要となり回転処理には適さないが、1走査ライン分の画像データの圧縮処理後のデータサイズをパーシャルモードよりも小さくできる。
また、パーシャルモードに設定された画像処理コントローラ50は、圧縮処理部100において1走査ラインを分割した1ブロック単位で圧縮処理を行うと共に、第1及び第2の伸張処理部130、132において1ブロック単位で伸張処理を行う。パーシャルモードでは、圧縮処理後のデータサイズがラインモードよりも大きくなるが、ベースバンドエンジン10からの画像を回転させたり、メモリ120のデータを必要な部分のみ読み出したり更新したりできるようになる。
画像サイズ設定レジスタ202には、ベースバンドエンジン10からの画像の水平走査方向及び垂直走査方向のサイズに対応した設定データが設定され、該設定データに対応した制御信号SIZEが出力される。画像処理コントローラ50は、画像サイズ設定レジスタ202の設定データに基づいて1走査ライン分のデータサイズや走査ライン数を判断できる。
画像フォーマット設定レジスタ210には、ベースバンドエンジン10からの画像の画像データのフォーマットに対応した設定データが設定され、該設定データに対応した制御信号FMTが出力される。画像処理コントローラ50は、画像フォーマット設定レジスタ210により指定された画像フォーマットに応じて、例えば図4(A)〜図4(C)のように1ブロックのデータサイズを異ならせて圧縮処理を行う。第1及び第2のフォーマット変換部160、162は、画像フォーマット設定レジスタ210により指定された画像フォーマットに応じて、表示ドライバ40において予め決められたRGB888フォーマットの画像データに変換する。
オーバレイ処理設定レジスタ220は、第1及び第2の透過比率設定レジスタ222、224を含む。第1の透過比率設定レジスタ222には、第1の伸張処理部130及び第1のフォーマット変換部160により処理された画像データの透過比率に対応した設定データが設定され、該設定データに対応した制御信号GM1が出力される。第2の透過比率設定レジスタ224には、第2の伸張処理部132及び第2のフォーマット変換部162により処理された画像データの透過比率に対応した設定データが設定され、該設定データに対応した制御信号GM2が出力される。オーバレイ処理部170は、第1及び第2の透過比率設定レジスタ222、224に設定された透過比率を用いて、第1及び第2のフォーマット変換部160、162からの画像データに対して重ね合わせ処理を行う。
回転角度設定レジスタ230には、ベースバンドエンジン10からの画像の天地方向を基準に、例えば該画像の中心位置を基準に回転させる角度に対応した設定データが設定され、該設定データに対応した制御信号ROTが出力される。本実施形態では、回転角度設定レジスタ230に、ベースバンドエンジン10からの画像の天地方向を基準に、該画像の中心位置の回りに左方向に回転角度が0度、90度、180度又は270度に対応した設定データが設定されるものとする。回転処理部150は、回転角度設定レジスタ230に設定された設定データに基づいて回転処理を行う。
2.2 回転処理部
図6に、図2の回転処理部150の構成例のブロック図を示す。
回転処理部150は、ライトFIFO(First-In First-Out)300、ライトアドレス生成回路310、リードアドレス生成回路320、リードFIFO330、ラインバッファ制御回路340、ラインバッファ部350、回転処理制御回路360を含む。
ラインバッファ部350は、各ラインバッファが、圧縮処理部100の圧縮処理単位である1ブロックの画素数と同じ数の走査ライン数分の画像データを少なくとも格納できる複数のラインバッファを有する。例えば、ラインバッファ部350は、1ブロックが4又は8画素単位の場合には、その最大値である8走査ライン数分のラインバッファを有し、1ブロックが4画素単位で固定の場合には4走査ライン数分のラインバッファを有する。従って、ラインバッファ部350は、1画面分の画像データを蓄積する程のラインバッファを備える必要がない。
ライトFIFO300には、入力画像のラスタスキャン方向で、ホストI/F140からの画像データが順番に蓄積される。
ラインバッファ部350が有する各ラインバッファのアクセス領域にはそれぞれアドレスが割り当てられており、ライトアドレス生成回路310は、ラインバッファ部350のうち記憶領域のうちデータを書き込むべき領域のアドレスWAを生成する。ライトアドレス生成回路310は、ラインバッファ制御回路340に対してライト要求WRReqとライトアドレスWAとを出力し、ラインバッファ制御回路340からのライト承認WRAckを受けて、ラインバッファ制御回路340によりライト要求WRReqが受け入れられたことを認識する。
リードアドレス生成回路320は、ラインバッファ部350のうち記憶領域のうちデータを読み出すべき領域のアドレスRAを生成する。リードアドレス生成回路320は、ラインバッファ制御回路340に対してリード要求RDReqとリードアドレスRAとを出力し、ラインバッファ制御回路340からのリード承認RDAckを受けて、ラインバッファ制御回路340によりリード要求RDReqが受け入れられたことを認識する。
ラインバッファ制御回路340は、ライトアドレス生成回路310からのライト要求WRReqとリードアドレス生成回路320からのリード要求RDReqとを調停する。調停の結果、ライト要求WRReqを受け付けたラインバッファ制御回路340は、ライトアドレス生成回路310に対してライト承認WRAckを出力する。そして、ラインバッファ制御回路340は、ラインバッファ部350に対してライト要求WRQを出力すると共に、ライトアドレス生成回路310からのライトアドレスWAを用いてラインバッファ部350に対してアドレスAD、ライトFIFO300から読み出したデータWDをライトデータWRDとしてそれぞれ出力する。また、調停の結果、リード要求RDReqを受け付けたラインバッファ制御回路340は、リードアドレス生成回路320に対してリード承認RDAckを出力する。そして、ラインバッファ制御回路340は、ラインバッファ部350に対してリード要求RRQを出力すると共に、リードアドレス生成回路320からのリードアドレスRAを用いてラインバッファ部350に対してアドレスADを出力して、ラインバッファ部350からのリードデータRRDを取得する。このリードデータRRDは、データRDとしてリードFIFO330に蓄積された後、順次圧縮処理部100により読み出される。
回転処理制御回路360は、制御信号FMT、SIZE、ROTを受けて制御信号を生成する。この制御信号は、図6の回転処理部150の各部の制御に用いられる。回転処理制御回路360は、制御信号FMT、SIZEにより、1走査ライン分のデータサイズ、走査ライン数を判別する。そして、制御信号ROTにより回転すべき角度を判別して、リードアドレス生成回路320が、該角度に対応したリードアドレスRAを生成する。
図7に、図6の回転処理部150の動作説明図を示す。
回転処理部150は、ベースバンドエンジン10からの入力画像IMG0を元画像として、該元画像の中心位置CTRを通る回転軸の周りの回転角度に対応した回転処理を行う。
制御レジスタ部190の回転角度設定レジスタ230に設定された設定データが、回転角度90度に対応した設定データのときに、表示ドライバ40に供給される画像データにより形成される画像が画像IMG1となるようにメモリ120に画像データを格納する。回転角度設定レジスタ230に設定された設定データが、回転角度180度に対応した設定データのときに、表示ドライバ40に供給される画像データにより形成される画像が画像IMG2となるようにメモリ120に画像データを格納する。回転角度設定レジスタ230に設定された設定データが、回転角度270度に対応した設定データのときに、表示ドライバ40に供給される画像データにより形成される画像が画像IMG3となるようにメモリ120に画像データを格納する。
図8(A)、図8(B)に、回転角度が0度のときの回転処理部150の動作説明図を示す。
図8(A)は、図7の入力画像IMG0を、画素単位で画像データを並べて表したものである。図8(A)では、入力画像IMG0の水平走査方向にN(Nは2以上の整数)画素が並び、入力画像IMG0の垂直走査方向にM(Mは2以上の整数)画素が並ぶものとする。そして、入力画像IMG0の水平走査方向に画素P1−1、P1−2、・・・、P1−Nが並び、入力画像IMG0の垂直走査方向に、例えば左端については画素P1−1、P2−1、・・・、PM−1が並ぶものとする。
また図8(B)は、回転角度が0度のときの回転処理後の画像データがメモリ120に格納される様子を模式的に表したものである。
ここで、圧縮処理部100が8画素単位で圧縮処理を行うものとする。図8(A)では画素P1−1〜P1−8を処理方向DIR1で、例えば図4(C)に示したように圧縮処理を行い、符号化データCD1−1が生成される。同様に、画素P1−9〜P1−16、画素P1−17〜P1−24、・・・、画素P1−(N−7)〜P1−N、画素P2−1〜P2−8、・・・、画素P2−(N−7)〜P2−N、・・・、画素PM−1〜PM−8、・・・、画素PM−(N−7)〜PM−Nを、それぞれ処理方向DIR1で圧縮処理を行って、符号化データCD1−2、CD1−3、・・・、CD1−K(Kは自然数)、CD2−1、・・・、CD2−K、・・・、CDL−1(Lは自然数)、・・・、CDL−Kが生成される。
こうして生成された符号化データは、図8(B)に示す順序MDR1で、メモリ120に格納されていく。即ち、まず符号化データCD1−1〜CD1−Kが順序MDR1でメモリ120に格納された後に、符号化データCD2−1〜CD2−Kが順序MDR1でメモリ120に格納される。ライトアドレス生成回路310は、図8(B)に示す順序で圧縮処理が行われるようにラインバッファ部350のライトアドレスを生成する。
この結果、第1及び第2の伸張処理部130、132は、メモリ120からの符号化データを、いわゆるラスタスキャンの方向で単純に読み出すだけでよい。即ち、符号化データCD1−1、CD1−2、・・・、CD1−K、CD2−1、CD2−2、・・・、CD2−K、・・・、CDL−1、・・・、CDL−Kの順番に読み出すようにリードアドレス生成回路320がラインバッファ部350のリードアドレスを生成し、各符号化データに対して順番に伸張処理を行うことで、回転角度が0度のときの画像IMG0の画像データを出力できる。
図9(A)、図9(B)に、回転角度が90度のときの回転処理部150の動作説明図を示す。
図9(A)は、図7の入力画像IMG0を、画素単位で画像データを並べて表したものである。図9(A)では、入力画像IMG0の水平走査方向にN画素が並び、入力画像IMG0の垂直走査方向にM画素が並ぶものとする。そして、入力画像IMG0の水平走査方向に画素P1−1、P1−2、・・・、P1−Nが並び、入力画像IMG0の垂直走査方向に、例えば左端については画素P1−1、P2−1、・・・、PM−1が並ぶものとする。
また図9(B)は、回転角度が90度のときの回転処理後の画像データがメモリ120に格納される様子を模式的に表したものである。
ここで、圧縮処理部100が8画素単位で圧縮処理を行うものとする。図9(A)では画素P1−1〜P8−1を処理方向DIR2で、例えば図4(C)に示したように圧縮処理を行い、符号化データCD1−1が生成される。同様に、画素P1−2〜P8−2、画素P1−3〜P8−3、・・・、画素P1−N〜P8−N、画素P9−1〜P16−1、画素P9−2〜P16−2、・・・、画素P9−N〜P16−N、・・・、画素PM−(N−7)−1〜PM−1、・・・、画素P(M−7)−N〜PM−Nを、それぞれ処理方向DIR2で圧縮処理を行って、符号化データCD1−2、CD1−3、・・・、CD1−K、CD2−1、CD2−2、・・・、CD2−K、・・・、CDL−1、・・・、CDL−Kが生成される。
こうして生成された符号化データは、図9(B)に示す順序MDR2で、メモリ120に格納されていく。即ち、まず符号化データCD1−1〜CD1−Kが順序MDR2でメモリ120に格納された後に、符号化データCD2−1〜CD2−Kが順序MDR2でメモリ120に格納される。ライトアドレス生成回路310は、図9(B)に示す順序で圧縮処理が行われるようにラインバッファ部350のライトアドレスを生成する。
この結果、第1及び第2の伸張処理部130、132は、メモリ120からの符号化データを、いわゆるラスタスキャンの方向で単純に読み出すだけでよい。即ち、符号化データCD1−K、CD2−K、・・・、CDL−K、CD1−(K−1)、CD2−(K−1)、・・・、CDL−(K−1)、・・・、CD1−1、・・・、CDL−1の順番に読み出すようにリードアドレス生成回路320がラインバッファ部350のリードアドレスを生成し、各符号化データに対して順番に伸張処理を行うことで、回転角度が90度のときの画像IMG1の画像データを出力できる。
図10(A)、図10(B)に、回転角度が180度のときの回転処理部150の動作説明図を示す。
図10(A)は、図7の入力画像IMG0を、画素単位で画像データを並べて表したものである。図10(A)では、入力画像IMG0の水平走査方向にN画素が並び、入力画像IMG0の垂直走査方向にM画素が並ぶものとする。そして、入力画像IMG0の水平走査方向に画素P1−1、P1−2、・・・、P1−Nが並び、入力画像IMG0の垂直走査方向に、例えば左端については画素P1−1、P2−1、・・・、PM−1が並ぶものとする。
また図10(B)は、回転角度が180度のときの回転処理後の画像データがメモリ120に格納される様子を模式的に表したものである。
ここで、圧縮処理部100が8画素単位で圧縮処理を行うものとする。図10(A)では画素P1−8〜P1−1を処理方向DIR3で、例えば図4(C)に示したように圧縮処理を行い、符号化データCD1−1が生成される。同様に、画素P1−16〜P1−9、・・・、画素P1−(N−7)〜P1−N、画素P2−8〜P2−1、画素P2−16〜P2−9、・・・、画素P2−(N−7)〜P2−N、・・・、画素PM−8〜PM−1、・・・、画素PM−(N−7)〜PM−Nを、それぞれ処理方向DIR3で圧縮処理を行って、符号化データCD1−2、・・・、CD1−K、CD2−1、CD2−2、・・・、CD2−K、・・・、CDL−1、・・・、CDL−Kが生成される。
こうして生成された符号化データは、図10(B)に示す順序MDR3で、メモリ120に格納されていく。即ち、まず符号化データCD1−1〜CD1−Kが順序MDR3でメモリ120に格納された後に、符号化データCD2−1〜CD2−Kが順序MDR3でメモリ120に格納される。ライトアドレス生成回路310は、図10(B)に示す順序で圧縮処理が行われるようにラインバッファ部350のライトアドレスを生成する。
この結果、第1及び第2の伸張処理部130、132は、メモリ120からの符号化データを、いわゆるラスタスキャンの方向で単純に読み出すだけでよい。即ち、符号化データCDL−K、CDL−(K−1)、・・・、CDL−1、CD(L−1)−K、CD(L−1)−(K−1)、・・・、CD(L−1)−1、・・・、CD1−K、・・・、CD1−1の順番に読み出すようにリードアドレス生成回路320がラインバッファ部350のリードアドレスを生成し、各符号化データに対して順番に伸張処理を行うことで、回転角度が180度のときの画像IMG2の画像データを出力できる。
図11(A)、図11(B)に、回転角度が270度のときの回転処理部150の動作説明図を示す。
図11(A)は、図7の入力画像IMG0を、画素単位で画像データを並べて表したものである。図11(A)では、入力画像IMG0の水平走査方向にN画素が並び、入力画像IMG0の垂直走査方向にM画素が並ぶものとする。そして、入力画像IMG0の水平走査方向に画素P1−1、P1−2、・・・、P1−Nが並び、入力画像IMG0の垂直走査方向に、例えば左端については画素P1−1、P2−1、・・・、PM−1が並ぶものとする。
また図11(B)は、回転角度が270度のときの回転処理後の画像データがメモリ120に格納される様子を模式的に表したものである。
ここで、圧縮処理部100が8画素単位で圧縮処理を行うものとする。図11(A)では画素P1−1〜P8−1を処理方向DIR4で、例えば図4(C)に示したように圧縮処理を行い、符号化データCD1−1が生成される。同様に、画素P1−2〜P8−2、・・・、画素P1−N〜P8−N、画素P9−1〜P16−1、画素P9−2〜P16−2、・・・、画素P9−N〜P16−N、・・・、画素P(M−7)−1〜PM−1、・・・、画素P(M−7)−N〜PM−Nを、それぞれ処理方向DIR4で圧縮処理を行って、符号化データCD1−2、・・・、CD1−K、CD2−1、・・・、CD2−K、・・・、CDL−1、・・・、CDL−Kが生成される。
こうして生成された符号化データは、図11(B)に示す順序MDR4で、メモリ120に格納されていく。即ち、まず符号化データCD1−1〜CD1−Kが順序MDR4でメモリ120に格納された後に、符号化データCD2−1〜CD2−Kが順序MDR4でメモリ120に格納され、符号化データCDL−1〜CDL−Kが順序MDR4でメモリ120に格納される。即ち、ライトアドレス生成回路310は、図11(B)に示す順序で圧縮処理が行われるようにラインバッファ部350のライトアドレスを生成する。
この結果、第1及び第2の伸張処理部130、132は、メモリ120からの符号化データを、いわゆるラスタスキャンの方向で単純に読み出すだけでよい。即ち、符号化データCDL−1、CD(L−1)−1、・・・、CD1−1、CDL−2、CD(L−1)−2、・・・、CD1−2、・・・、CDL−K、・・・、CD1−Kの順番に読み出すようにリードアドレス生成回路320がラインバッファ部350のリードアドレスを生成し、各符号化データに対して順番に伸張処理を行うことで、回転角度が270度のときの画像IMG3の画像データを出力できる。
以上のように、本実施形態によれば、回転処理に必要な作業領域に1画面分の画像データを保持する必要がなく、8画素を1ブロックとするブロック単位で圧縮処理を行う場合には最低8走査ライン数分の画像データを保持するラインバッファを用意しておくだけで済む。4画素を1ブロックとするブロック単位で圧縮処理を行う場合には、最低4走査ライン数分の画像データを保持するラインバッファを用意しておくだけで済む。
なお、本実施形態における回転処理部150は、図8(A)〜図8(B)、図9(A)〜図9(B)、図10(A)〜図10(B)及び図11(A)〜図11(B)で説明した処理を行うものに限定されるものではない。
2.3 圧縮処理部
図12に、図2の圧縮処理部100の構成例のブロック図を示す。
図12では、ベースバンドエンジン10から入力される画像の画像データのフォーマットがRGB888フォーマットであるものとする。圧縮処理部100は、DPCM符号化回路400R、400G、400Bを含む。DPCM符号化回路400R、400G、400Bは、それぞれ同様の構成を有している。
画像データのフォーマットがRGB888フォーマットの場合、ホストI/F140や回転処理部150を介して入力される画像データは、1画素当たり24ビットである。そのうち、R成分の8ビットの画像データがDPCM符号化回路400Rに入力され、G成分の8ビットの画像データがDPCM符号化回路400Gに入力され、B成分の8ビットの画像データがDPCM符号化回路400Bに入力される。
各DPCM符号化回路は、圧縮処理対象の画素については8ビットの画像データを4ビットの符号化データとして出力する。このように圧縮処理部100は、色成分毎に、画像データを符号化する。また各DPCM符号化回路は、非圧縮処理対象の画素についてはそのまま8ビットの画像データを出力する。
図13に、図12のDPCM符号化回路400Rの構成例のブロック図を示す。
図13ではDPCM符号化回路400Rについて説明するが、DPCM符号化回路400G、400Bの構成も同様である。
DPCM符号化回路400Rは、減算器410R、量子化テーブル420R、逆量子化テーブル430R、加算器440R、選択器450R、452R、フリップフロップ460R、画素カウンタ470Rを含む。
減算器410Rは、入力された8ビットの画像データと、フリップフロップ460Rに保持された8ビットの画像データとの差分を求め、キャリービット(ボロービット)を含む9ビットの差分データを出力する。この差分データは、量子化テーブル420Rに供給される。
図14(A)に、図13の量子化テーブル420Rの構成の概要を示す。
量子化テーブル420Rには、予め9ビットの入力値に対応した4ビットの出力値が登録されている。この出力値は、入力値を量子化した値であり、この量子化した値を4ビットで表したものである。量子化テーブル420Rは、減算器410Rからの9ビットの差分データを入力値として、4ビットの出力値である量子化データを出力する。量子化データは、逆量子化テーブル430Rに供給される。
図14(B)に、図13の逆量子化テーブル430Rの構成の概要を示す。
逆量子化テーブル430Rは、量子化テーブル420Rに対応するテーブルである。逆量子化テーブル430Rには、予め4ビットの入力値に対応した9ビットの出力値が登録されている。この出力値は、入力値を逆量子化した値であり、この量子化した値を9ビットで表したものである。より具体的には、逆量子化テーブル430Rの出力値が量子化テーブル420Rの入力値となるように両テーブルの値が登録されている。
逆量子化テーブル430Rは、量子化テーブル420Rからの量子化データを入力値として、9ビットの出力値である逆量子化データを出力する。
図13に戻って説明を続ける。量子化テーブル420Rからの量子化データは、選択器450Rにも入力される。選択器450Rには、回転処理部150からの8ビットの画像データと4ビットの量子化データとが入力され、画素カウンタ470Rによって生成される選択制御信号SELに基づいて、いずれか1つのデータを出力する。選択器450Rの4ビット又は8ビットの出力データが、図4(A)に示す符号化データとなり、メモリ120に格納される。
逆量子化データは、加算器440Rに入力される。加算器440Rには、9ビットの逆量子化データとフリップフロップ460Rに保持された8ビットの画像データとが入力される。加算器440Rは、逆量子化データとフリップフロップ460Rの画像データとを加算し、8ビットの加算データを選択器452Rに供給する。
選択器452Rには、加算器440Rからの8ビットの加算データと、ホストI/F140を介して入力される8ビットの画像データとが入力され、画素カウンタ470Rによって生成される選択制御信号SELに基づいて、いずれか1つのデータを出力する。選択器452Rの選択データは、フリップフロップ460Rにおいて保持される。フリップフロップ460Rは、例えばホストI/F140を介して入力される画像データの色成分毎にカウントアップされるカウントパルスを用いて、選択データをラッチできる。
画素カウンタ470Rには、該カウントパルス、制御信号FMT、MODEが入力される。そして、制御信号MODEによりラインモードが指定されているとき、画素カウンタ470Rは、1走査ライン単位でDPCM符号化が行われるように選択制御信号SELを生成する。ラインモードでは、1走査ラインの先頭の第1の画素のみがそのまま出力され、その後の画素については直前の画素との差分が量子化される。一方、制御信号MODEによりパーシャルモードが指定されているとき、画素カウンタ470Rは、制御信号FMTにより指定される画像フォーマットに対応して、カウントパルスで規定されるタイミングに従って選択制御信号SELを生成する。
図15に、図13の画素カウンタ470Rの動作例のタイミング図を示す。
図15では、制御信号MODEによりパーシャルモードが指定されているときの画素カウンタ470Rの動作例を示している。
制御信号FMTによりRGB888フォーマットが指定されたとき、画素カウンタ470Rは、まず先頭の第1の画素については圧縮処理を行うことなくそのまま出力するように選択制御信号SELを生成する。この選択制御信号SELにより、各成分未符号化期間を規定できる。このため、選択器450R、452Rは、外部から入力された8ビットの画像データをそのまま選択出力する。その結果、圧縮処理部100が出力する符号化データは、入力される8ビットの画像データのまま出力できる。
そして、画素カウンタ470Rは、第1の画素に続く第2〜第4の画素について符号化処理を行うように選択制御信号SELを生成する。この選択制御信号SELにより、各成分符号化期間を規定できる。このため、選択器450Rは量子化データを出力し、選択器452Rは加算データを出力する。従って、隣の画素との差分を量子化したデータが符号化データとして出力される(各成分符号化期間)。
これに対して、制御信号MODEによりラインモードが指定されているときは、当該走査ラインの残りの画素について、パーシャルモードの第2〜第4の画素と同様の符号化が行われる。
なお、図12〜図15では、RGB888フォーマットを例に説明したが、画像フォーマットに応じて画素カウンタ470Rが選択制御信号SELのタイミングを変更することで、他の画像フォーマットについても同様に符号化できる。
また、圧縮処理部100の構成は図12〜図15に説明したものに限定されるものではない。
2.4 伸張処理部(第1の伸張処理部、第2の伸張処理部)
図16に、図2の第1の伸張処理部130の構成例のブロック図を示す。
図16では、第1の伸張処理部130について説明するが、第2の伸張処理部132についても同様である。図16についても、画像データのフォーマットがRGB888フォーマットであるものとする。
第1の伸張処理部130は、DPCM復号化回路500R、500G、500Bを含む。DPCM復号化回路500R、500G、500Bは、それぞれ同様の構成を有している。
DPCM復号化回路500Rには、先頭の第1の画素のR成分の8ビットの画像データが入力された後、第2〜第4の画素のR成分の4ビットの符号化データが順次入力される。DPCM復号化回路500Gには、先頭の第1の画素のG成分の8ビットの画像データが入力された後、第2〜第4の画素のG成分の4ビットの符号化データが順次入力される。DPCM復号化回路500Bには、先頭の第1の画素のB成分の8ビットの画像データが入力された後、第2〜第4の画素のB成分の4ビットの符号化データが順次入力される。
各DPCM復号化回路は、圧縮処理対象の画素については4ビットの符号化データを8ビットの画像データとして出力する。このように第1の伸張処理部130は、色成分毎に、画像データを復号化する。また各DPCM復号化回路は、非圧縮処理対象の画素についてはそのまま8ビットの符号化を画像データとして出力する。
図17に、図16のDPCM復号化回路500Rの構成例のブロック図を示す。
図17ではDPCM復号化回路500Rについて説明するが、DPCM復号化回路500G、500Bの構成も同様である。
DPCM復号化回路500Rは、逆量子化テーブル510R、加算器520R、選択器530R、フリップフロップ540R、画素カウンタ550Rを含む。
逆量子化テーブル510Rは、図13の逆量子化テーブル430Rと同様であり、図14(B)に示す機能を有することができる。即ち、逆量子化テーブル510Rは、4ビットの符号化データを9ビットの逆量子化データに変換する。
加算器540Rには、逆量子化テーブル510Rからの逆量子化データとフリップフロップ540Rに保持された8ビットの画像データとが入力される。加算器540Rは、逆量子化データとフリップフロップ540Rの画像データとを加算し、8ビットの加算データとして出力する。加算データは、選択器530Rに入力される。
選択器530Rには、非圧縮処理対象の8ビットの画像データと加算データとが入力され、画素カウンタ550Rにより生成された選択制御信号SEL1に基づいていずれか1つのデータが出力される。選択器530Rの選択データは、フリップフロップ540Rにおいて保持される。
フリップフロップ540Rは、メモリ120から読み出される画像データの色成分毎にカウントアップされるカウントパルスを用いて、選択データをラッチできる。
画素カウンタ550Rには、該カウントパルス、制御信号FMT、MODEが入力される。そして、制御信号MODEによりラインモードが指定されているとき、画素カウンタ470Rは、1走査ライン単位でDPCM復号化が行われるように選択制御信号SEL1を生成する。ラインモードでは、1走査ラインの先頭の第1の画素のみがそのまま出力され、その後の画素についてはDPCM復号化が行われる。一方、制御信号MODEによりパーシャルモードが指定されているとき、画素カウンタ550Rは、制御信号FMTにより指定される画像フォーマットに対応して、カウントパルスで規定されるタイミングに従って選択制御信号SEL1を生成する。
ラインモードが指定され、且つ制御信号FMTによりRGB888フォーマットが指定されたとき、画素カウンタ550Rは、まず先頭の第1の画素については伸張処理を行うことなくそのまま出力するように選択制御信号SEL1を生成する。このため、選択器530Rは、メモリ120から読み出された画像データをそのまま選択出力する。そして、画素カウンタ550Rは、第1の画素に続く当該走査ラインの残りの画素について復号化処理を行うように選択制御信号SEL1を生成する。このため、選択器530Rは加算データを出力する。この結果、第1の伸張処理部130は、DPCM復号化処理された8ビットの画像データを出力できる。
パーシャルモードが指定され、且つ制御信号FMTによりRGB888フォーマットが指定されたとき、画素カウンタ550Rは、まず先頭の第1の画素については伸張処理を行うことなくそのまま出力するように選択制御信号SEL1を生成する。このため、選択器530Rは、メモリ120から読み出された画像データをそのまま選択出力する。そして、画素カウンタ550Rは、第1の画素に続く第2〜第4の画素について復号化処理を行うように選択制御信号SEL1を生成する。このため、選択器530Rは加算データを出力する。この結果、第1の伸張処理部130は、DPCM復号化処理された8ビットの画像データを出力できる。
図16及び図17では、RGB888フォーマットを例に説明したが、画像フォーマットに応じて画素カウンタ550Rが選択制御信号SEL1のタイミングを変更することで、他の画像フォーマットについても同様に復号化できる。
なお、第1の伸張処理部130の構成は図16及び図17に説明したものに限定されるものではない。
2.5 オーバレイ処理部
図2のオーバレイ処理部170は、RGBの色成分毎に、第1及び第2のフォーマット変換部160、162からの画像データに対して重ね合わせ処理を行う重ね合わせ処理回路を有する。
図18に、図2のオーバレイ処理部170のR成分用の重ね合わせ処理回路の構成例のブロック図を示す。図18ではR成分用の重ね合わせ処理回路を示すが、G成分及びB成分についても同様である。
オーバレイ処理部170のR成分用の重ね合わせ処理回路170Rは、第1及び第2の乗算器600R、610Rと、加算器620Rとを含む。
第1の乗算器600Rには、制御信号GM1と第1のフォーマット変換部160によってフォーマット変換された画像データとが入力される。例えば第1の乗算器600Rは、該画像データに対して、色成分毎に制御信号GM1により指定される透過比率を乗算して加算器620Rに出力する。
第2の乗算器610Rには、制御信号GM2と第2のフォーマット変換部160によってフォーマット変換された画像データとが入力される。例えば第2の乗算器610Rは、該画像データに対して、色成分毎に制御信号GM2により指定される透過比率を乗算して加算器620Rに出力する。
加算器620Rは、第1の乗算器600Rからの乗算データと第2の乗算器610Rからの乗算データとを色成分毎に加算し、重ね合わせ処理後のデータとして出力する。
ここで、第1の乗算器600Rからの乗算データをMD1、第2の乗算器610Rからの乗算データをMD2、制御信号GM1により指定される透過比率をg1、制御信号GM2により指定される透過比率をg2とすると、加算器620Rの出力データODは、次式で表される。
OD(R)=MD1(R)×g1+MD2(R)×g2 ・・・(1)
ここで、(R)はR成分のデータであることを示す。この重ね合わせ処理後のデータが、ドライバI/F180を介して表示ドライバ40に供給される。従って、G成分の出力データOD(G)、B成分の出力データOD(B)についても、(1)式と同様である。
3. 電子機器
図19に、本実施形態における電子機器としての携帯電話機の構成例のブロック図を示す。図19において、図1と同一部分には同一符号を付し、適宜説明を省略する。
携帯電話機900は、カメラモジュール910を含む。カメラモジュール910は、CCDカメラを含み、CCDカメラで撮像した画像のデータを、例えばYUVフォーマットで画像処理コントローラ50(画像処理装置)に供給する。
携帯電話機900は、液晶表示パネル20を含む。液晶表示パネル20は、表示ドライバ40(駆動部)によって駆動される。液晶表示パネル20は、複数のゲート線、複数のソース線、複数の画素を含む。
表示ドライバ40は、ゲートドライバ42、ソースドライバ44及び電源回路46を含む。ゲートドライバ42は、液晶表示パネル20の複数のゲート線を走査する。ソースドライバ44は、液晶表示パネル20の複数のソース線を、画像データに基づいて駆動する。電源回路46は、ゲートドライバ42、ソースドライバ44及び液晶表示パネル20の電圧を生成する。電源回路46は、ソースドライバ44及びゲートドライバ42に接続され、各ドライバに対して、駆動用の電源電圧を供給する。また電源回路46は、液晶表示パネル20の対向電極に、対向電極電圧Vcomを供給する。
画像処理コントローラ50は、表示ドライバ40に接続され、ソースドライバ44に対してRGBフォーマットの画像データを供給する。
ベースバンドエンジン10は、画像処理コントローラ50に接続される。ベースバンドエンジン10は、画像処理コントローラ50を制御する。またベースバンドエンジン10は、アンテナ960を介して受信された画像データを、変復調部950で復調した後、画像処理コントローラ50に供給できる。画像処理コントローラ50は、この画像データに基づき、ソースドライバ44及びゲートドライバ42により液晶表示パネル20に表示させる。
ベースバンドエンジン10は、カメラモジュール910で生成された画像データを変復調部950で変調した後、アンテナ960を介して他の通信装置への送信を指示できる。
ベースバンドエンジン10は、操作入力部970からの操作情報に基づいて画像データの送受信処理、カメラモジュール910の撮像、液晶表示パネル20の表示処理を行う。
なお、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、本発明は上述の液晶表示パネルの駆動に適用されるものに限らず、エレクトロルミネッセンス、プラズマディスプレイ装置の駆動に適用可能である。
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の1の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
本実施形態における画像処理装置が適用される液晶表示装置の構成の概要を示す図。 図1の画像処理コントローラの構成例のブロック図。 図2の圧縮処理部の動作説明図。 図4(A)、図4(B)、図4(C)は画像フォーマットに応じた圧縮処理部の動作説明図。 図2の制御レジスタ部の構成の概要を示す図。 図2の回転処理部の構成例のブロック図。 図6の回転処理部の動作説明図。 図8(A)、図8(B)は回転角度が0度のときの回転処理部の動作説明図。 図9(A)、図9(B)は回転角度が90度のときの回転処理部の動作説明図。 図10(A)、図10(B)は回転角度が180度のときの回転処理部の動作説明図。 図11(A)、図11(B)は回転角度が270度のときの回転処理部の動作説明図。 図2の圧縮処理部の構成例のブロック図。 図12のDPCM符号化回路の構成例のブロック図。 図14(A)は図13の量子化テーブルの説明図。図14(B)は図13の逆量子化テーブルの説明図。 図13の画素カウンタの動作例を示すタイミング図。 図2の第1の伸張処理部の構成例のブロック図。 図16のDPCM復号化回路の構成例のブロック図。 図2のオーバレイ処理部のR成分用の重ね合わせ処理回路の構成例のブロック図。 本実施形態における電子機器の構成例のブロック図。
符号の説明
10 ベースバンドエンジン、 20 液晶表示パネル、 30、32 ガラス基板、
40 表示ドライバ、 42 ゲートドライバ、 44 ソースドライバ、
46 電源回路、 50 画像処理コントローラ、 100 圧縮処理部、
120 メモリ、 130 第1の伸張処理部、 132 第2の伸張処理部、
140 ホストI/F、 150 回転処理部、 160 第1のフォーマット変換部、162 第2のフォーマット変換部、 170 オーバレイ処理部、
170R 重ね合わせ処理回路、 180 ドライバI/F、
190 制御レジスタ部、 200 動作モード設定レジスタ、
202 画像サイズ設定レジスタ、 210 画像フォーマット設定レジスタ、
220 オーバレイ処理設定レジスタ、 222 第1の透過比率設定レジスタ、
224 第2の透過比率設定レジスタ、 230 回転角度設定レジスタ、
300 ライトFIFO、 310 ライトアドレス生成回路、
320 リードアドレス生成回路、 330 リードFIFO、
340 ラインバッファ制御回路、 350 ラインバッファ部、
360 回転処理制御回路、 400B、400G、400R DPCM符号化回路、
410R 減算器、 420R 量子化テーブル、
430R、510R 逆量子化テーブル、 440R、520R、620R 加算器、
450R、452R、530R 選択器、 460R、540R フリップフロップ、
470R、550R 画素カウンタ、
500B、500G、500R DPCM復号化回路、 600R 第1の乗算器、
610R 第2の乗算器、 900 携帯電話機、 910 カメラモジュール、
950 変復調部、 960 アンテナ、 970 操作入力部

Claims (11)

  1. 表示パネルの駆動部に画像データを供給するための画像処理装置であって、
    入力画像の1走査ライン分の画像データを分割した複数ブロックの1ブロック毎に、前記画像データを符号化して符号化データを生成する符号化部と、
    前記入力画像の天地方向の向きを基準に所与の角度だけ回転させた画像を生成する回転処理を行う回転処理部と、
    前記符号化部からの前記符号化データが格納されるメモリと、
    前記メモリからの前記符号化データを、前記1ブロック毎に復号化して復化データを生成する復号化部とを含み、
    前記復号化部からの前記復号化データを、前記駆動部に供給すると共に、
    前記回転処理部は、ラインバッファ部を含み、
    前記ラインバッファ部は、複数のラインバッファを有し、
    前記複数のラインバッファの各ラインバッファには、前記入力画像の1走査ライン分の画像データが格納され
    前記回転処理部により行われた回転処理後の画像の画像データが、前記符号化部に供給され、
    前記ラインバッファ部には、
    前記1ブロックの画素数と少なくとも同じ数の走査ライン数分の前記ラインバッファが設けられると共に、
    前記画像データはRGB画像データ又はYUV画像データであり、
    前記符号化部は、
    先頭の第1の画素の画像データについては符号化データとして出力し、第1の画素の画像データと第2の画素の画像データとの差分を求めて、該差分を圧縮し、第3の画素及び第4の画素の画像データについては、直前の符号化データを伸長したデータとの差分を求めて、該差分を圧縮する符号化処理を行うことを特徴とする画像処理装置。
  2. 請求項1において、
    前記符号化部は、
    先頭の第1の画素の画像データについては圧縮処理せずにそのまま符号化データとして出力し、第1の画素の画像データと第2の画素の画像データとの差分を求めて、該差分を、画素の画像データの1/2のビット数のデータに変換し、第3の画素及び第4の画素の画像データについては、直前の符号化データを伸長したデータとの差分を求めて、該差分を、画素の画像データの1/2のビット数のデータに変換する符号化処理を行うことを特徴とする画像処理装置。
  3. 請求項1又は2において、
    前記各ラインバッファの容量をLBビット、前記入力画像の1走査ラインの画素数をH画素、1画素当たりのビット数をPとした場合に、前記1ブロックのデータ長が、f(LB/H/P)(関数fは、小数点以下を切り捨てる関数であることを示す)以下であることを特徴とする画像処理装置。
  4. 請求項1乃至3のいずれかにおいて、
    前記符号化部が規定圧縮率W以上の圧縮率で入力画像の画像データを符号化し、前記メモリのアクセス単位であるビット幅をB、前記入力画像の1画素当たりのビット数をPと
    した場合に、前記1ブロックのデータ長が、f(B/W/P)(関数fは、小数点以下を切り捨てる関数であることを示す)以下であることを特徴とする画像処理装置。
  5. 請求項1乃至のいずれかにおいて、
    前記入力画像の画像データのフォーマットに応じて、前記1ブロックのデータ長を異ならせることを特徴とする画像処理装置。
  6. 表示パネルの駆動部に画像データを供給するための画像処理方法であって、
    入力画像の1走査ライン分の画像データを分割した複数ブロックの1ブロック毎に、前記画像データを符号化して符号化データを生成するステップと、
    前記符号化データをメモリに格納するステップと、
    前記メモリからの前記符号化データを、前記1ブロック毎に復号化して復号化データを生成するステップと、
    前記復号化データを、前記駆動部に供給するステップとを含むと共に、
    記入力画像の1走査ライン分の画像データが各ラインバッファに格納される複数のラインバッファを有するラインバッファ部を用いて、前記入力画像の天地方向の向きを基準に所与の角度だけ回転させた画像を生成する回転処理を行うステップを含み、
    前記回転処理部により行われた回転処理後の画像の画像データに対して符号化を行い、
    前記ラインバッファ部には、
    前記1ブロックの画素数と少なくとも同じ数の走査ライン数分の前記ラインバッファが設けられる、
    前記画像データはRGB画像データ又はYUV画像データであり、
    前記符号化データを生成するステップでは、
    先頭の第1の画素の画像データについては符号化データとして出力し、第1の画素の画像データと第2の画素の画像データとの差分を求めて、該差分を圧縮し、第3の画素及び第4の画素の画像データについては、直前の符号化データを伸長したデータとの差分を求めて、該差分を圧縮する符号化処理を行うことを特徴とする画像処理方法。
  7. 請求項6において、
    前記符号化データを生成するステップでは、
    先頭の第1の画素の画像データについては圧縮処理せずにそのまま符号化データとして出力し、第1の画素の画像データと第2の画素の画像データとの差分を求めて、該差分を、画素の画像データの1/2のビット数のデータに変換し、第3の画素及び第4の画素の画像データについては、直前の符号化データを伸長したデータとの差分を求めて、該差分を、画素の画像データの1/2のビット数のデータに変換する符号化処理を行うことを特徴とする画像処理方法。
  8. 請求項6又は7において、
    前記各ラインバッファの容量をLBビット、前記入力画像の1走査ラインの画素数をH画素、1画素当たりのビット数をPとした場合に、前記1ブロックのデータ長が、f(LB/H/P)(関数fは、小数点以下を切り捨てる関数であることを示す)以下であることを特徴とする画像処理方法。
  9. 請求項6乃至8のいずれかにおいて、
    前記符号化部が規定圧縮率W以上の圧縮率で入力画像の画像データを符号化し、前記メモリのアクセス単位であるビット幅をB、前記入力画像の1画素当たりのビット数をPとした場合に、前記1ブロックのデータ長が、f(B/W/P)(関数fは、小数点以下を切り捨てる関数であることを示す)以下であることを特徴とする画像処理方法。
  10. 請求項6乃至9のいずれかにおいて、
    前記入力画像の画像データのフォーマットに応じて、前記1ブロックのデータ長を異ならせることを特徴とする画像処理方法。
  11. 請求項1乃至のいずれか記載の画像処理装置と、
    前記画像処理装置によって画像データが供給される駆動部と、
    前記駆動部によって駆動される表示パネルとを含むことを特徴とする電子機器。
JP2007327198A 2007-03-12 2007-12-19 画像処理装置、画像処理方法及び電子機器 Active JP5157419B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007327198A JP5157419B2 (ja) 2007-03-12 2007-12-19 画像処理装置、画像処理方法及び電子機器
US12/075,428 US8233003B2 (en) 2007-03-12 2008-03-11 Image processing device, image processing method, and electronic instrument

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007061674 2007-03-12
JP2007061674 2007-03-12
JP2007327198A JP5157419B2 (ja) 2007-03-12 2007-12-19 画像処理装置、画像処理方法及び電子機器

Publications (2)

Publication Number Publication Date
JP2008257685A JP2008257685A (ja) 2008-10-23
JP5157419B2 true JP5157419B2 (ja) 2013-03-06

Family

ID=39981154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007327198A Active JP5157419B2 (ja) 2007-03-12 2007-12-19 画像処理装置、画像処理方法及び電子機器

Country Status (1)

Country Link
JP (1) JP5157419B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5578400B2 (ja) * 2009-07-16 2014-08-27 Nltテクノロジー株式会社 画像表示装置、及び該画像表示装置に用いられる駆動方法
JP2011077970A (ja) * 2009-10-01 2011-04-14 Seiko Epson Corp 画像処理装置、画像表示システム、電子機器及び画像処理方法
JP6411250B2 (ja) * 2015-03-12 2018-10-24 株式会社東芝 画像処理装置、及び画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62190969A (ja) * 1986-02-18 1987-08-21 Ricoh Co Ltd 情報処理装置
JPH07320052A (ja) * 1994-05-25 1995-12-08 Fuji Xerox Co Ltd 画像処理装置
JPH08241404A (ja) * 1995-03-07 1996-09-17 Ricoh Co Ltd イメ−ジ処理装置
JPH09252399A (ja) * 1996-03-15 1997-09-22 Ricoh Co Ltd イメージの回転圧縮装置
JPH1013660A (ja) * 1996-06-25 1998-01-16 Canon Inc 画像処理装置およびその方法
JP2004328571A (ja) * 2003-04-28 2004-11-18 Kyocera Mita Corp 画像処理装置
SE526226C2 (sv) * 2003-12-19 2005-08-02 Ericsson Telefon Ab L M Bildbehandling
JP4007342B2 (ja) * 2004-06-08 2007-11-14 セイコーエプソン株式会社 表示コントローラ、電子機器及び画像データ供給方法
JP2006174334A (ja) * 2004-12-20 2006-06-29 Seiko Epson Corp 表示コントローラ、電子機器及び画像データ供給方法
US7570819B2 (en) * 2005-01-28 2009-08-04 Chih-Ta Star Sung Method and apparatus for displaying images with compression mechanism
JP4674100B2 (ja) * 2005-03-07 2011-04-20 株式会社リコー 画像処理装置
US8036274B2 (en) * 2005-08-12 2011-10-11 Microsoft Corporation SIMD lapped transform-based digital media encoding/decoding

Also Published As

Publication number Publication date
JP2008257685A (ja) 2008-10-23

Similar Documents

Publication Publication Date Title
JP3674495B2 (ja) 表示ドライバ、これを備えた表示ユニット及び電子機器
JP3620521B2 (ja) 画像処理装置、画像伝送装置、画像受信装置及び画像処理方法
US20050270304A1 (en) Display controller, electronic apparatus and method for supplying image data
US8233003B2 (en) Image processing device, image processing method, and electronic instrument
US20020190943A1 (en) Image display apparatus
JP2002323881A (ja) 表示ドライバ、表示ユニット及び電子機器
JP5082240B2 (ja) 画像コントロールic
JP2006251861A (ja) 画像処理装置、画像処理方法、表示コントローラ及び電子機器
JP2009109835A (ja) 液晶表示装置、lcdドライバ、及びlcdドライバの動作方法
US20060133695A1 (en) Display controller, electronic instrument, and image data supply method
WO2015020773A1 (en) Video data compression format
JP2007178850A (ja) 画像出力ドライバic
JP5157419B2 (ja) 画像処理装置、画像処理方法及び電子機器
US7463237B2 (en) Controller circuit of image display device, display device, and program and recording medium thereof
JP4735572B2 (ja) 画像データ符号化装置、画像データ復号化装置、画像処理装置及び電子機器
US20080226164A1 (en) Image data decoding device, image data encoding device, image processing device, and electronic instrument
JP2007184977A (ja) 画像出力システム
KR100839504B1 (ko) 이미지를 디코딩하는 방법, 이를 수행하는 이미지 디코더및 이를 포함하는 모바일 장치
US20050285813A1 (en) Display controller, electronic equipment, and image data supplying method
JP2011077970A (ja) 画像処理装置、画像表示システム、電子機器及び画像処理方法
JP2007181052A (ja) 画像出力システム
JPWO2009122463A1 (ja) 画像圧縮装置、復元装置、圧縮方法、復元方法及びプログラム
JP2005055825A (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP2008259173A (ja) 画像データ復号化装置、画像処理装置及び電子機器
JP2003241733A (ja) 表示制御回路、半導体装置、及び携帯装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121126

R150 Certificate of patent or registration of utility model

Ref document number: 5157419

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350