JP4576459B2 - イメージシグナルプロセッサ及び垂直同期信号の遅延出力方法 - Google Patents

イメージシグナルプロセッサ及び垂直同期信号の遅延出力方法 Download PDF

Info

Publication number
JP4576459B2
JP4576459B2 JP2008538810A JP2008538810A JP4576459B2 JP 4576459 B2 JP4576459 B2 JP 4576459B2 JP 2008538810 A JP2008538810 A JP 2008538810A JP 2008538810 A JP2008538810 A JP 2008538810A JP 4576459 B2 JP4576459 B2 JP 4576459B2
Authority
JP
Japan
Prior art keywords
data
output
image
input
natural number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008538810A
Other languages
English (en)
Other versions
JP2009515412A (ja
Inventor
キム,ワン−ヒョン
Original Assignee
エムテクビジョン カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エムテクビジョン カンパニー リミテッド filed Critical エムテクビジョン カンパニー リミテッド
Publication of JP2009515412A publication Critical patent/JP2009515412A/ja
Application granted granted Critical
Publication of JP4576459B2 publication Critical patent/JP4576459B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、データエンコーディングに関し、より詳細には、エンコーディングされたデータの伝達のための垂直同期信号の出力に関する。
近年、小型及び薄型の撮像素子が、携帯電話機やPDA(Personal Digital Assistant)などの小型及び薄型の携帯用端末に搭載されることによって、携帯用端末が撮像装置としても機能することができる。これにより、携帯電話機のような携帯用端末は、遠隔地に音声情報だけでなく、画像情報も伝送できるようになった。撮像素子は、携帯電話機やPDAだけでなく、MP3プレーヤーなどの携帯用端末にも具備されている。したがって、種々の携帯用端末が外部映像を撮像して電子的なデータとして保持する撮像装置としても機能することができる。
一般に、撮像装置には、CCD(Charge Coupled Device)型イメージセンサーやCMOS(Complementary Metal-Oxide Semiconductor)型イメージセンサーなどの固体撮像素子が使われている。
図1は、一般的な撮像装置の構成を簡略に示した図であり、図2は、一般的なJPEGエンコーディング過程を示した図であり、図3は、従来のイメージシグナルプロセッサ(ISP、Image Signal Processor)がエンコーディングされたデータを出力するための信号形態を示した図である。
図1に示されたように、撮像された外部映像を電気的なデータに変換して表示部150にディスプレイする撮像装置は、イメージセンサー110と、イメージシグナルプロセッサ(ISP、Image Signal Processor)120と、バックエンドチップ(Back-end chip)130と、ベースバンドチップ(Baseband Chip)140と、表示部150と、を含む。その他に、撮像装置は、変換された電気的なデータを格納するためのメモリ、アナログ信号をデジタル信号に変換するAD変換機などを更に含むことができる。
イメージセンサー110は、バイエルパターン(Bayer Pattern)を持つセンサーであり、単位ピクセル別にレンズを介して入力された光の量に相応する電気信号を出力する。
イメージシグナルプロセッサ120は、イメージセンサー110から入力された電気信号(raw data)をYUV値に変換し、変換されたYUV値をバックエンドチップ130に出力する。YUV方式は、人間の眼が色相よりは明るさに敏感であるという事実に着目した方式であり、色を明るさ(Luminance)のY成分と色相(Chrominance)のU及びV成分とに分ける。Y成分は、誤差に敏感であるので、色相成分のUとVより多いビットをコーディングする。典型的なY:U:Vの比率は、4:2:2である。
イメージシグナルプロセッサ120は、変換したYUV値をFIFOに順次格納することによって、バックエンドチップ130が該当情報を入力され得るようにする。
バックエンドチップ130は、入力されたYUV値を予め指定されたエンコーディング方法によりJPEGやBMPに変換してメモリに格納したり、メモリに格納されたエンコーディングされたイメージをデコーディングして表示部150にディスプレイする。バックエンドチップ130は、イメージの拡大、縮小、ローテーションなどの機能も行うことができる。もちろん、図1に示されたように、ベースバンドチップ140が、バックエンドチップ130からデコーディングされたデータを入力され、表示部150にディスプレイすることもできる。
ベースバンドチップ140は、撮像装置の動作を全般的に制御する機能を行う。例えば、キー入力部(図示せず)を介して使用者から撮像命令が入力されると、ベースバンドチップ140は、バックエンドチップ130にイメージ生成命令を伝送することによって、バックエンドチップ130が入力された外部映像に相応するエンコーディングされたデータを生成するようにすることもできる。
表示部150は、バックエンドチップ130又はベースバンドチップ140の制御により提供されたデコーディングされたデータをディスプレイする。
図2には、バックエンドチップ130により行われる一般的なJPEGエンコーディング(encoding)過程が示されている。JPEGエンコーディング過程200は、当業者にとって自明な事項であるので、簡略に説明することにする。
図2に示されたように、入力されたYUV値のイメージは、8x8ピクセル大きさのブロックに分けられ、各ブロックに対して、DCT(離散コサイン変換、Discrete Cosine Transform)が行われる(210)。-128〜127間の8ビットの整数形態に入力された各ピクセルの画素値は、DCTにより-1024〜1023間の値に変換される。
次いで、量子化器(Quantizer)は、各ブロックのDCT係数を、視覚に及ぼす影響によって重み付けをして量子化する(220)。この重みのテーブルを量子化テーブルという。量子化テーブルの値は、DC近くでは小さい値を取り、高い周波数では、大きい値を取り、情報量の多いDC近くのデータを小さな損失で送り、高周波数では、高い圧縮率を誘導する。
次いで、無損失コーダー(Lossless coder)であるエントロピーエンコーダ(entropy encoder)により最終圧縮されたデータが生成される(230)。
上述した過程を経てエンコーディングされたデータは、メモリに格納される。バックエンドチップ130は、メモリに積載されたデータを復号化して表示部150にディスプレイする等の処理を行う。
メモリに格納されたデータが復号化などの処理のために順次入力される過程の信号波形が、図3に示されている。一般に、バックエンドチップ130は、YUV/BAYERフォーマットのデータを入力されるように具現されており、このようなデータを入力されるためのインターフェースとして、P_CLK、V_sync、H_REF、DATA信号を用いている。
図3に示されたように、従来のバックエンドチップ130は、エンコーディングされたデータを後続する構成要素(例えば、デコーディング部等)に伝達するにあたり、全過程でクロック信号(P_CLK)の出力状態をオン(ON)状態に維持するので、バックエンドチップ130は、有効でないデータ(例えば、0x00を含むデータ)が入力される間にも、相互間にインターフェーシングのための動作を行わなければならない。
したがって、従来の撮像装置は、バックエンドチップ130が、不要な動作を行うことで、無駄な電力消耗が生じるという問題点があった。
また、図3に示されたように、従来のイメージシグナルプロセッサ120は、現在処理されているフレームに対するエンコーディング処理が完了していないにも関わらず、次のフレームに対するデータの入力を示す新たな垂直同期信号(V_sync2)をバックエンドチップ130に出力することができる。
この場合、バックエンドチップ130は、現在処理されているフレームに対する処理だけでなく、次のフレームに対する処理を共に行うことがあり、正確なデータの入力及び/又は処理が完了されないという問題点もあった。
また、図3に示されたように、従来のイメージシグナルプロセッサ120は、バックエンドチップ130でデータを格納する際に利用可能なH_REF信号を交番的に出力することによって、バックエンドチップ130のメモリの記録イネーブル(Write enable)信号のスイッチングによる電力消耗が生じるという問題点もあった。
それで、本発明の目的は、バックエンドチップの処理効率の増進及び電力消耗を防止できる垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供することにある。
また、本発明の他の目的は、エンコーダによりエンコーディングされたデータを受信段(例えば、バックエンドチップ、ベースバンドチップ等)に伝達するにあたり、最適の時点で垂直同期信号を出力することができるようにする垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供することにある。
また、本発明の更に他の目的は、受信段でエンコーディングされたデータを入力される場合、新たなフレームの入力を示す垂直同期信号の入力により、現在フレームに対して処理されたデータの入力が妨害を受けない垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供することにある。
また、本発明の更に他の目的は、イメージシグナルプロセッサが、エンコーディングされたデータをバックエンドチップに提供するにあたり、一般的なインターフェース構造を用いることによって、ハードウェアの設計及び制御の側面で有利な効果を持つ垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供することにある。
また、本発明の更に他の目的は、イメージシグナルプロセッサが、エンコーディング速度によって入力されるフレームのエンコーディングの可否を決定でき、スムーズなエンコーディング動作を行える垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供することにある。
その他の本発明の目的は、以下に述べられる実施形態を通じてより明確になるであろう。
上述した目的を達成するために本発明の一側面によれば、イメージシグナルプロセッサ及び/又は前記イメージシグナルプロセッサを含む撮像装置が提供される。
本発明の一実施形態によれば、撮像装置のイメージシグナルプロセッサにおいて、任意のフレームに対してイメージセンサーから入力された電気信号に相応するイメージデータ列を、予め指定された処理ブロックによりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;前記処理ブロックの処理のために、前記エンコーディング部が、前記フレームに対する最初のn(自然数)個のイメージデータ列を格納した時点で、前記フレームに対する垂直同期信号(V_sync)を受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力し、前記エンコーディング部から入力されるエンコーディングされたイメージデータを前記受信段に出力するデータ出力部と;を含むイメージシグナルプロセッサが提供される。ここで、前記処理ブロックが、a(自然数)xb(自然数)である場合、前記nは、1乃至bのうち任意の自然数であることを特徴とする。
前記エンコーディングされたイメージデータのうち、有効データが出力される区間のみ、前記受信段にクロック信号を出力することを特徴とする。
前記エンコーディングされたイメージデータのうち、無効データが出力される区間には、ダミーデータが出力されることができる。
前記フレームに対して出力されるエンコーディングされたイメージデータは、‘START MARKER’から‘STOP MARKER’までであることを特徴とする。
前記データ出力部は、前記エンコーディング部から入力されるエンコーディングされたイメージデータを、予め指定されたクロックだけ遅延して出力するレジスタを含むことができる。
前記データ出力部は、垂直同期信号制御命令に応じて、ハイ(High)又はロー(Low)状態の前記垂直同期信号を生成して出力するV_sync発生器と;有効データイネーブル制御命令に応じて、ハイ(High)又はロー(Low)状態の前記有効データイネーブル信号を生成して出力するH_sync発生器と;データ出力制御命令に応じて、前記エンコーディング部から入力された有効データと、無効データ又は予め生成されたダミーデータとを出力する伝送遅延部と;前記垂直同期信号制御命令、前記有効データイネーブル制御命令、及び前記データ出力制御命令を生成して出力する伝送制御部と;を含み、前記伝送制御部は、前記エンコーディング部から入力されたカウンター値を用いて、前記フレームに対する最初のn(自然数)個のイメージデータ列を格納した時点で前記垂直同期信号制御命令を出力することを特徴とする。
前記有効データイネーブル信号は、前記受信段で記録イネーブル(write enable)信号として解析されることができる。
本発明の他の実施形態によれば、撮像装置のイメージシグナルプロセッサにおいて、垂直同期信号制御命令に応じて、ハイ(High)又はロー(Low)状態の前記垂直同期信号を生成して出力するV_sync発生器と;有効データイネーブル制御命令に応じて、ハイ(High)又はロー(Low)状態の前記有効データイネーブル信号を生成して出力するH_sync発生器と;データ出力制御命令に応じて、エンコーディング部から入力された有効データと、無効データ又は予め生成されたダミーデータとを出力する伝送遅延部と;前記垂直同期信号制御命令、前記有効データイネーブル制御命令、及び前記データ出力制御命令を生成して出力する伝送制御部を含み、前記伝送制御部は、前記エンコーディング部から入力されたカウンター値を用いて、前記フレームに対する最初のn(自然数)個のイメージデータ列を格納した時点で前記垂直同期信号制御命令を出力することを特徴とするイメージシグナルプロセッサが提供される。
本発明の更に他の実施形態によれば、イメージセンサー、イメージシグナルプロセッサ、バックエンドチップ、及び、ベースバンドチップを含む撮像装置において、前記イメージシグナルプロセッサが、任意のフレームに対してイメージセンサーから入力された電気信号に相応するイメージデータ列を、予め指定された処理ブロックによりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;前記処理ブロックの処理のために、前記エンコーディング部が、前記フレームに対する最初のn(自然数)個のイメージデータ列を格納した時点で、前記フレームに対する垂直同期信号(V_sync)を受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力し、前記エンコーディング部から入力されるエンコーディングされたイメージデータを前記受信段に出力するデータ出力部を含み、前記処理ブロックが、a(自然数)xb(自然数)である場合、前記nは、1乃至bのうち任意の自然数であることを特徴とする撮像装置が提供される。
上述した目的を達成するために本発明の他の側面によれば、イメージシグナルプロセッサで行われる垂直同期信号の遅延出力方法及び/又はその方法を行うためのプログラムが記録された記録媒体が提供される。
本発明の一実施形態によれば、イメージセンサーを備えた撮像装置のイメージシグナルプロセッサで行われる垂直同期信号の遅延出力方法において、エンコーディング部からm(自然数)番目のフレームに対する垂直同期信号を入力される段階と;前記エンコーディング部から入力されたカウント値を用いて、予め指定された処理ブロックに相応するn(自然数)個のイメージデータ列が格納されているか否かを監視する段階と;n個のイメージデータ列が格納された場合、前記m番目のフレームに相応する垂直同期信号を受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力する段階と;を含み、前記処理ブロックが、a(自然数)xb(自然数)である場合、前記nは、1乃至bのうち任意の自然数であることを特徴とする垂直同期信号の遅延出力方法が提供される。
前記垂直同期信号の遅延出力方法は、前記エンコーディング部から前記処理ブロックに相応してエンコーディングされたデータを入力される段階と;前記入力されたエンコーディングされたデータを前記受信段に出力する段階と;を更に含むことができる。ここで、前記エンコーディングされたデータのうち、有効データが出力される区間のみ、クロック信号を前記受信段に出力することができる。
前記m番目のフレームに対するエンコーディングが完了しているか否かは、前記入力されるエンコーディングされたデータのヘッダー(Header)情報及びテール(Tail)情報を用いて判断することができる。
上述のように、本発明は、バックエンドチップの処理効率の増進及び電力消耗を防止できるという効果がある。
また、本発明は、エンコーダによりエンコーディングされたデータを受信段(例えば、バックエンドチップ、ベースバンドチップ等)に伝達するにあたり、最適の時点で垂直同期信号を出力することができるようにする効果もある。
また、本発明は、受信段でエンコーディングされたデータを入力される場合、新たなフレームの入力を示す垂直同期信号の入力により、現在フレームに対して処理されたデータの入力が妨害を受けないという効果もある。
また、本発明は、イメージシグナルプロセッサが、エンコーディングされたデータをバックエンドチップに提供するにあたり、一般的なインターフェース構造を用いることによって、ハードウェアの設計及び制御の側面で有利な効果を持つ効果もある。
また、本発明は、イメージシグナルプロセッサが、エンコーディング速度によって入力されるフレームのエンコーディングの可否を決定でき、スムーズなエンコーディング動作を行えるという効果もある。
上述した目的、特徴及び長所は、添付の図面と関係する以下の詳細な説明を通してより明確になるであろう。
本発明は、種々の変更を加えることができ、複数の実施形態を持つことができるので、特定の実施形態を図面に例示して、詳細な説明に詳細に説明しようとする。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むものと理解すべきである。本発明を説明するにおいて、関係する公知の技術に関する具体的な説明が本発明の要旨を不明にすると判断される場合、それに関する詳細な説明は省略することにする。
第1、第2などの用語は、種々の構成要素を説明するのに使用されることはできるが、前記構成要素らは、前記用語らにより限定されてはならない。前記用語らは、一つの構成要素を他の構成要素から区別する目的にのみ使用される。例えば、本発明の権利範囲を逸脱しなく、第1の構成要素は、第2の構成要素と名付けることができ、同じく第2の構成要素も第1の構成要素と名付けることができる。及び/又はという用語は、複数の関係する記載された項目の組み合わせ、あるいは、複数の関係する記載された項目のいずれかの項目を含む。
ある構成要素が他の構成要素に“連結されて”いるとか、“接続されて”いると言及された場合は、その他の構成要素に直接連結されているか、あるいは、接続されていることもできるが、中間に他の構成要素が存在することもできると理解すべきである。一方、ある構成要素が他の構成要素に“直接連結されて”いるとか、“直接接続されて”いると言及された場合は、中間に他の構成要素が存在しないと理解すべきである。
本願で使用した用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に意味が違わない限り、複数の表現を含む。本願において、“含む”又は“有する”などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、又は、これらを組み合わせたものが存在することを指定しようとするものであり、1つ又はその以上の他の特徴や数字、段階、動作、構成要素、部品、又は、これらを組み合わせたものの存在又は付加可能性を予め排除するものではないと理解すべきである。
違う意味として定義されない限り、技術的あるいは科学的な用語を含めて、ここで使用される全ての用語は、本発明が属する技術分野において通常の知識を有する者により一般的に理解されるものと同じ意味を持っている。一般的に使用される事前に定義されているものと同じ用語は、関連技術の文脈上持つ意味と一致する意味を持つものと解釈されるべきであり、本願において明白に定義しない限り、理想的あるいは過度に形式的な意味として解析されない。
以下、添付の図面を参照して、本発明に係る実施形態を詳細に説明し、図面符号に関係なく、同一か対応する構成要素には同じ参照番号を付し、これに対する重複する説明は省略することにする。
また、本発明の実施形態を説明するにおいて、本発明の核心事項であるイメージシグナルプロセッサ(ISP、Image Signal Processor)の処理動作だけを中心として説明するが、本発明の権利範囲がこれに制限されないことは自明である。
図4は、本発明の一実施形態に係る撮像装置の構成を簡略に示した図であり、図5は、本発明の一実施形態に係るデータ出力部の構成を簡略に示した図であり、図6から図7は、本発明の一実施形態に係るイメージシグナルプロセッサのエンコーディングされたデータ出力のための信号波形を例示した図である。
図4に示されたように、撮像装置は、イメージセンサー110と、イメージシグナルプロセッサ400と、バックエンドチップ405と、を含むことができる。その他に、撮像装置は、表示部150、メモリ、ベースバンドチップ140、及び、キー入力部などを更に含めることは自明であるが、本発明の要旨とは多少距離感があるので、これに対する説明は省略する。
イメージシグナルプロセッサ400は、前処理部410と、JPEGエンコーダ420と、データ出力部430と、を含む。もちろん、イメージシグナルプロセッサ400は、内部動作のためのクロック発生器(Clock Generator)を更に含むことができる。
前処理部410は、JPEGエンコーダ420の処理のための前処理過程を行う。前処理部410は、各フレームに対して、イメージセンサー110から電気信号形態の原データ(raw data)を各ライン別に入力されて処理した後、JPEGエンコーダ420に伝達できる。
前処理過程には、カラーモデル変換(Color Space Transformation)、フィルタリング(Filtering)、ダウンサンプリング(Color SubSampling)などが含まれることができる。
カラーモデル変換(Color Space Transformation)は、RGBカラーモデルをYUV(又は、YIQ)カラーモデルに変換し、これは、画質差に対する認識なく、情報の量を減らすことができるためである。
フィルタリング(Filtering)は、ローパスフィルタで映像を平滑化(smoothing)する過程であり、圧縮率を高めるためのものである。
ダウンサンプリング(Color SubSampling)は、Y値は全部使用し、他の値は、一部だけ使用し、残りは捨てる等の方法により、色差(Chrominance)信号成分をダウンサンプリングする過程である。
JPEGエンコーダ420は、先に述べた方式と同様に前処理された原データ(raw data)を圧縮処理して、JPEGエンコーディングデータを生成する。
JPEGエンコーダ420は、エンコーディング処理のために、予め指定されたブロック単位(例えば、8x8)で分割できるようにするために、前処理部410から入力される処理された原データを臨時に格納するための入力メモリを含むことができる。JPEGエンコーダ420は、前処理部410とは異なり、予め指定されたブロック単位のデータが入力メモリに蓄積されるまでバッファーリング(buffering)を行うことができ、入力メモリに幾つかのラインが蓄積されているのか計数するためのカウンターを更に含むことができる。カウンターにより計数された値(L_count、以下、‘カウント値’と称する)は、データ出力部430に伝達され、垂直同期信号(V_sync)の出力時点を決定できるようにする。
また、JPEGエンコーダ420は、JPEGエンコーディングされたデータをデータ出力部430に出力する前に暫く格納する出力メモリを更に含むことができる。出力メモリは、例えば、FIFOであることができる。すなわち、本発明に係るイメージシグナルプロセッサ400は、従来のイメージシグナルプロセッサ120とは異なり、イメージデータのエンコーディングを更に行うことができる。
データ出力部430は、JPEGエンコーダ420により生成されたJPEGエンコーディングされたデータを受信段(例えば、バックエンドチップ405、ベースバンドチップ140、カメラコントロールプロセッサー(CCP)等-以下、バックエンドチップ405と称する)に伝達する。データ出力部430は、JPEGエンコーダ420から入力されたデータを一定時間(例えば、2〜3クロック)遅延(delay)させて出力するようにするためのレジスタを含むことができる。
データ出力部430は、JPEGエンコーダ420から入力されたJPEGエンコーディングされたデータをバックエンドチップ405に出力するにあたり、イメージセンサー110等から入力された垂直同期信号(V_sync)により、バックエンドチップ405に垂直同期信号(V_sync)を出力せず、JPEGエンコーダ420が、エンコーディング作業を開始する準備がなされているか否かに従って、バックエンドチップ405に垂直同期信号を出力する。
すなわち、データ出力部430は、バックエンドチップ405に新たなフレームについてのデータが出力されることを通知するために、垂直同期信号を出力する前に、JPEGエンコーダ420が、該当フレームに対するエンコーディング処理が用意されているかを判断する。
例えば、JPEGエンコーダ420は、入力メモリに8ラインのデータ列が格納された時点で、8x8ブロック単位にエンコーディング作業を行うので、カウント値(L_count)を参照して、入力メモリに1〜8ライン(望ましくは、6〜7ライン)のデータ列が格納されていれば、エンコーディング作業の準備がなされていると判断できる。
これにより、データ出力部430は、垂直同期信号の出力後、短い時間内にエンコーディングされたデータ出力を開始することができ、出力されるエンコーディングされたデータのうち、有効データが出力される区間に、クロック信号(P_CLK)及びハイ状態(又は、設計方法によって、ロー状態)の有効データイネーブル信号(H_REF)がバックエンドチップ405に出力されるように制御する。
但し、本明細書では、H_REF信号がハイ状態である場合、バックエンドチップ405が、JPEGエンコーディングデータのうち、有効データが入力されると認識する場合を仮定して説明する。
バックエンドチップ405は、携帯用端末の全般的な動作制御を行うベースバンドチップ140から、例えば、写真をキャプチャーするとの命令を受信すると、イメージシグナルプロセッサ400から入力された画質が改善されたJPEGエンコーディングされたデータを伝達されてメモリに格納しておき、デコーディングして表示部150にディスプレイしたり、ベースバンドチップ140が読み出して処理できるようにする。
図5に、データ出力部430の細部構成が示されている。図5を参照するに、データ出力部430は、ANDゲート510と、V_sync発生器(V_sync generator)520と、H_sync発生器530と、伝送遅延部(Delay unit)540と、伝送制御部550と、を含む。
ANDゲート510は、あらゆる入力に信号が入力される場合のみ、クロック信号(P_CLK)をバックエンドチップ405に出力する。すなわち、イメージシグナルプロセッサ400に備えられたクロック発生器(図示せず)からクロック信号を入力され、伝送制御部550からクロック制御信号を入力され、クロック制御信号がクロック信号出力を指示する場合のみ、クロック信号をバックエンドチップ405に出力する。クロック制御信号は、ハイ信号(High Signal)又はロー信号(Low Signal)形態であることができ、各々P_CLKイネーブル(enable)、又は、P_CLKディセーブル信号として認識されることができる。もちろん、逆の場合も可能である。図7に示されたように、クロック信号(P_CLK)がバックエンドチップ405に出力される区間は、伝送遅延部540がJPEGエンコーディングされたデータのうち有効データを出力する区間と一致する。伝送制御部550は、現在出力されるエンコーディングされたデータが有効データなのか無効データなのか識別できるため、ANDゲート510の出力信号を制御できることは、当業者にとって自明である。
V_sync発生器520は、伝送制御部550の制御により有効区間を表示するための垂直同期信号(V_sync)を生成して出力する。V_sync発生器520は、伝送制御部550からV_sync信号の出力命令が入力されてからV_sync信号の出力終了命令が入力されるまで、ハイ(High)状態のV_sync信号を出力する。もちろん、設計方法によっては、この場合、ロー(Low)状態のV_sync信号が出力されてもよいことは自明である。これは、ハイ状態又はロー状態のV_sync信号の意味は、任意に定義できるためである。垂直同期信号が、各フレームの入力が開始されることを意味するというのは、当業者にとって自明である。
H_sync発生器530は、伝送制御部550の制御により(すなわち、有効データイネーブル信号(H_REF)の出力命令が入力され、H_REF信号の出力終了命令が入力されるまで)、ハイ(High)状態の有効データイネーブル(enable)信号(H_REF)を生成して出力する。有効データイネーブル信号のハイ区間(これは、設計方法によって、ロー区間であってもよいのは、先に述べた通りである)は、伝送遅延部540から、一つのフレームに対するJPEGエンコーディングされたデータのうち、有効データが出力される区間と一致する。伝送制御部550は、現在出力されるエンコーディングされたデータが有効データなのか無効データなのか識別できるため、H_sync発生器530の出力信号を制御できることは、当業者にとって自明である。
伝送遅延部540は、H_REF信号がハイ状態で出力される区間の間、JPEGエンコーダ420から入力されるJPEGエンコーディングされたデータを順次出力する。伝送遅延部540は、例えば、JPEGエンコーダ420から入力されたデータを一定時間(例えば、2〜3クロック)遅延(delay)させて出力するようにするためのレジスタを含むことができる。
伝送遅延部540に一時格納されたJPEGエンコーディングされたデータが有効データなのか否かは、伝送制御部550により判断でき、現在出力されるべきデータが有効データでない(例えば、0x00を含むデータ)場合、伝送制御部550は、クロック信号がバックエンドチップ405に出力されないようにANDゲート510を制御し、ロー状態のH_REF信号が出力されるようにH_sync発生器530を制御できる。
本明細書での無効データ(すなわち、有効でないデータ)は、JPEG標準などで言及している有効でないデータ(すなわち、実際的にイメージを構成しないデータ)を意味し、その例示として、0x00に表示されることができる。
無効データが出力される区間には、予め格納されたダミーデータ(すなわち、形式だけを合わせるための用途に過ぎないデータ)が出力されることもできる。ダミーデータの出力のために、伝送遅延部540の前段に多重化器(MUX)が具備されてもよい。多重化器を介してJPEGエンコーディングされたデータ及びダミーデータが出力され、伝送遅延部540が、これを入力されて出力するようにすることもできる。この場合、伝送制御部550が、入力されたJPEGエンコーディングされたデータが無効データであると判断すると、多重化器にダミーデータ出力命令を入力することができる。多重化器は、予めレジスタに設定されたダミーデータが伝送遅延部540に入力され、バックエンドチップ405に出力されるようにすることができる。
伝送制御部550は、伝送遅延部540が、有効データの出力のためにJPEGエンコーダ530から順次入力され、出力前に暫く格納するJPEGエンコーディングされたデータのヘッダー(Header)とテール(Tail)とから、‘START MARKER’と‘STOP MARKER’とをキャプチャーして、JPEGエンコーディングの始まりと終わりに対する情報を認識できる。すなわち、これにより、JPEGエンコーダ420により、一つのフレームが全てエンコーディング及び/又は出力されているか否かを認識できる。
図6から図7に、各構成要素により出力される信号の波形が例示されている。図6には、イメージセンサー110と前処理部410とが各々出力する信号波形610、620が示されており、図7には、JPEGエンコーダ420とデータ出力部430とが各々出力する信号波形630、640が示されている。図6及び図7には、各構成要素での遅延時間のみを表示するだけであり、各構成要素間で信号送受信のための遅延時間は、表示しない。
図6に示されたように、イメージセンサーは、V_sync信号110を出力した後、予め指定された遅延時間d1後から電気信号(raw data)の出力を開始する。
イメージセンサー110が出力した信号は、前処理部410に入力され、前処理部410は、フィルタリング(filtering)、インターポーレーション(interpolation)などの処理のために、遅延時間d2の間、バッファーリング(buffering)及び/又は処理を行った後、処理されたデータをJPEGエンコーダ420に出力する。
JPEGエンコーダ420は、予め指定されたブロック単位に処理するために、前処理部410から入力される処理されたデータを入力メモリに格納する。予め指定されたブロック単位の処理ができるように、データが入力メモリに格納されるまで、遅延時間d3が必要となる。入力メモリに格納されるデータは、ライン単位に計数され、カウント値(L_count)が伝送制御部550にリアルタイムに入力される。
データ出力部430は、遅延時間d3が満了する前(例えば、7ラインのデータが格納された時点)に、現在JPEGエンコーダ420により処理されるフレームに対するV_sync信号をバックエンドチップ405に出力する。すなわち、図7に示されたように、該当フレームに対するV_sync信号の出力が遅れる。
次いで、データ出力部430は、JPEGエンコーダ420から入力されるエンコーディングされたデータをレジスタに一時格納した後、順次出力する。レジスタにエンコーディングされたデータが記録され、出力される間に、遅延時間d4だけ遅れることができる。
従来技術によれば、V_sync信号の出力後、遅延時間e(ここで、e=a+b+c+d)が経過して初めて、エンコーディングされたデータが出力された。しかし、k(自然数)番目のフレームに対するエンコーディングされたデータが出力される間に、k+1番目のフレームに対するV_sync信号が入力されると、k+1番目のフレームに対するV_sync信号の入力後には、k番目のフレームに対するエンコーディングされたデータが正常に受信段に受信されないという問題点があった。
しかしながら、本発明に係るデータ出力部430は、上述した過程を経て、V_sync信号をバックエンドチップ405に出力した後、短い時間内に、エンコーディングされたデータの出力を開始することができ、k番目のフレームを処理する間に、k+1番目のフレームに対するV_sync信号により正常なデータの送受信が妨げられるという問題点を解決できる。
この場合、データ出力部430は、出力されるエンコーディングされたデータが有効なデータである場合のみ、H_REF信号をハイ状態に維持することができ、また、該当区間のみ、クロック信号がバックエンドチップ405に出力されるようにすることができる。このように、有効でないエンコーディングデータ、又は、ダミーデータが出力される間には、バックエンドチップ405に出力されるべきクロック信号(P_CLK)をオフ(図7に示されたP_CLK信号の点線部分)させることで、バックエンドチップ405の無駄な動作を最小化させることができる。これにより、バックエンドチップ405の電力消耗を最小化することができる。
従来のバックエンドチップ405は、YUV/BAYERフォーマットのデータを入力されるように具現されており、このようなデータを入力されるためのインターフェースとして、P_CLK、V_sync、H_REF、DATA信号を用いていた。
これを考慮して、本発明のイメージシグナルプロセッサ400は、従来と同様のインターフェースを用いるように具現される。
したがって、本発明は、バックエンドチップ405が、従来のバックエンドチップの設計方法により具現された場合にも互換(port matching)できることは自明である。
例えば、一般的なバックエンドチップ405の動作が、V_sync信号のライジングエッジ(rising edge)の割り込みから動作初期化されるとすると、本発明もまた、従来のインターフェース構造を同様に適用したので、既存のV_sync信号が出力される形態と同様に、該当信号をバックエンドチップ405に入力することで、各チップ間でインターフェーシングが可能である。
同様に、一般的なバックエンドチップ405が、V_syncライジング(rising)割り込みを発生しなければならなく、また、イメージシグナルプロセッサ400からデータを受ける際に、有効データイネーブル信号(H_REF)をメモリの記録イネーブル(write enable)信号に用いることを考慮する場合、本発明に係る信号出力方式を用いることで、バックエンドチップ405の電力消耗も減らすことができる。
これまで、イメージシグナルプロセッサ400が、JPEGエンコーディング方式を用いる場合のみを中心として説明したが、BMPエンコーディング方式、MPEG(MPEG1/2/4、MPEG-4AVC)エンコーディング方式、TVアウト方式などのように、他のエンコーディング方式を支援する場合にも、同様のデータ伝送方式を利用できることは自明である。
図面と発明の詳細な説明は、単に本発明の例示的なものであり、これは、単に本発明を説明するための目的で使用されたものであって、意味限定や特許請求範囲上に記載された本発明の範囲を制限するために使用されたものではない。したがって、本技術分野の通常の知識を有する者ならば、これらから種々の変形及び均等な他の実施形態が可能であることを理解するはずである。よって、本発明の真の技術的保護範囲は、本願の特許請求範囲上の技術的思想により定められるべきである。
一般的な撮像装置の構成を簡略に示した図である。 一般的なJPEGエンコーディング過程を示した図である。 従来のイメージシグナルプロセッサ(ISP、Image Signal Processor)が、エンコーディングされたデータを出力するための信号形態を示した図である。 本発明の一実施形態に係る撮像装置の構成を簡略に示した図である。 本発明の一実施形態に係るデータ出力部の構成を簡略に示した図である。 本発明の一実施形態に係るイメージシグナルプロセッサのエンコーディングされたデータ出力のための信号波形を例示した図である。 本発明の一実施形態に係るイメージシグナルプロセッサのエンコーディングされたデータ出力のための信号波形を例示した図である。
符号の説明
110 イメージセンサー
120 イメージシグナルプロセッサ
130 バックエンドチップ
140 ベースバンドチップ
150 表示部
400 イメージシグナルプロセッサ
405 バックエンドチップ
410 前処理部
420 JPEGエンコーダ
430 データ出力部
510 ANDゲート
520 V_sync発生器
530 H_sync発生器
540 伝送遅延部
550 伝送制御部

Claims (11)

  1. 撮像装置のイメージシグナルプロセッサにおいて、
    任意のフレームに対してイメージセンサーから入力された電気信号に相応するイメージデータ列を、予め指定された処理ブロックによりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;
    前記処理ブロックの処理のために、前記エンコーディング部が、前記フレームに対する最初のn(自然数)個のイメージデータ列を格納した時点で、前記フレームに対する垂直同期信号(V_sync)を受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力し、前記エンコーディング部から入力されるエンコーディングされたイメージデータを前記受信段に出力するデータ出力部と;を含み、
    前記処理ブロックが、a(自然数)xb(自然数)である場合、前記nは、1乃至bのうち任意の自然数であることを特徴とするイメージシグナルプロセッサ。
  2. 前記エンコーディングされたイメージデータのうち、有効データが出力される区間のみ、前記受信段にクロック信号を出力することを特徴とする請求項1に記載のイメージシグナルプロセッサ。
  3. 前記エンコーディングされたイメージデータのうち、無効データが出力される区間には、ダミーデータが出力されることを特徴とする請求項1に記載のイメージシグナルプロセッサ。
  4. 前記フレームに対して出力されるエンコーディングされたイメージデータは、‘START MARKER’から‘STOP MARKER’までであることを特徴とする請求項1に記載のイメージシグナルプロセッサ。
  5. 前記データ出力部は、前記エンコーディング部から入力されるエンコーディングされたイメージデータを、予め指定されたクロックだけ遅延して出力するレジスタを含むことを特徴とする請求項1に記載のイメージシグナルプロセッサ。
  6. 前記データ出力部は、
    垂直同期信号制御命令に応じて、ハイ又はロー状態の前記垂直同期信号を生成して出力するV_sync発生器と;
    有効データイネーブル制御命令に応じて、ハイ又はロー状態の前記有効データイネーブル信号を生成して出力するH_sync発生器と;
    データ出力制御命令に応じて、前記エンコーディング部から入力された有効データと、無効データ又は予め生成されたダミーデータとを出力する伝送遅延部と;
    前記垂直同期信号制御命令、前記有効データイネーブル制御命令、及び前記データ出力制御命令を生成して出力する伝送制御部と;を含み、
    前記伝送制御部は、前記エンコーディング部から入力されたカウンター値を用いて、前記フレームに対する最初のn(自然数)個のイメージデータ列を格納した時点で前記垂直同期信号制御命令を出力することを特徴とする請求項1に記載のイメージシグナルプロセッサ。
  7. 前記有効データイネーブル信号は、前記受信段で記録イネーブル信号として解析されることを特徴とする請求項6に記載のイメージシグナルプロセッサ。
  8. イメージセンサー、イメージシグナルプロセッサ、バックエンドチップ、及び、ベースバンドチップを含む撮像装置において、
    前記イメージシグナルプロセッサが、
    任意のフレームに対してイメージセンサーから入力された電気信号に相応するイメージデータ列を、予め指定された処理ブロックによりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;
    前記処理ブロックの処理のために、前記エンコーディング部が、前記フレームに対する最初のn(自然数)個のイメージデータ列を格納した時点で、前記フレームに対する垂直同期信号(V_sync)を受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力し、前記エンコーディング部から入力されるエンコーディングされたイメージデータを前記受信段に出力するデータ出力部と;を含み、
    前記処理ブロックが、a(自然数)xb(自然数)である場合、前記nは、1乃至bのうち任意の自然数であることを特徴とする撮像装置。
  9. イメージセンサーを備えた撮像装置のイメージシグナルプロセッサで行われる垂直同期信号の遅延出力方法において、
    エンコーディング部からm(自然数)番目のフレームに対する垂直同期信号を入力される段階と;
    前記エンコーディング部から入力されたカウント値を用いて、予め指定された処理ブロックに相応するn(自然数)個のイメージデータ列が格納されているか否かを監視する段階と;
    n個のイメージデータ列が格納された場合、前記m番目のフレームに相応する垂直同期信号を受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力する段階と;を含み、
    前記処理ブロックが、a(自然数)xb(自然数)である場合、前記nは、1乃至bのうち任意の自然数であることを特徴とする垂直同期信号の遅延出力方法。
  10. 前記エンコーディング部から前記処理ブロックに相応してエンコーディングされたデータを入力される段階と;
    前記入力されたエンコーディングされたデータを前記受信段に出力する段階と、を更に含み、
    前記エンコーディングされたデータのうち、有効データが出力される区間のみ、クロック信号を前記受信段に出力することを特徴とする請求項9に記載の垂直同期信号の遅延出力方法。
  11. 前記m番目のフレームに対するエンコーディングが完了しているか否かは、前記入力されるエンコーディングされたデータのヘッダー情報及びテール情報を用いて判断されることを特徴とする請求項10に記載の垂直同期信号の遅延出力方法。
JP2008538810A 2005-11-02 2006-10-31 イメージシグナルプロセッサ及び垂直同期信号の遅延出力方法 Active JP4576459B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050104610A KR100685302B1 (ko) 2005-11-02 2005-11-02 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는이미지 시그널 프로세서
PCT/KR2006/004477 WO2007052934A1 (en) 2005-11-02 2006-10-31 Image signal processor and method for outputting deferred vertical synchronous signal

Publications (2)

Publication Number Publication Date
JP2009515412A JP2009515412A (ja) 2009-04-09
JP4576459B2 true JP4576459B2 (ja) 2010-11-10

Family

ID=38006050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008538810A Active JP4576459B2 (ja) 2005-11-02 2006-10-31 イメージシグナルプロセッサ及び垂直同期信号の遅延出力方法

Country Status (5)

Country Link
US (1) US7948527B2 (ja)
JP (1) JP4576459B2 (ja)
KR (1) KR100685302B1 (ja)
CN (1) CN101300828B (ja)
WO (1) WO2007052934A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100674474B1 (ko) * 2005-11-02 2007-01-25 엠텍비젼 주식회사 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는이미지 시그널 프로세서
US20090167888A1 (en) * 2007-12-28 2009-07-02 Yo-Hwan Noh Methods of processing imaging signal and signal processing devices performing the same
JP4426645B2 (ja) * 2008-05-16 2010-03-03 パナソニック株式会社 撮像装置システム及びカメラ本体、交換レンズ
JP4891462B2 (ja) 2009-11-12 2012-03-07 パナソニック株式会社 窒化ガリウム系化合物半導体発光素子
JP5163702B2 (ja) 2010-06-16 2013-03-13 セイコーエプソン株式会社 撮影装置およびタイミング制御回路
US9883116B2 (en) 2010-12-02 2018-01-30 Bby Solutions, Inc. Video rotation system and method
CN102484690B (zh) * 2011-06-23 2014-07-30 华为终端有限公司 一种移动终端录像方法、相关装置以及系统
TWI595290B (zh) * 2016-02-18 2017-08-11 群創光電股份有限公司 顯示裝置
WO2022021058A1 (zh) * 2020-07-28 2022-02-03 深圳市大疆创新科技有限公司 图像接收设备、图像处理设备及方法、图传系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2857750B2 (ja) 1996-06-18 1999-02-17 株式会社淀川製鋼所 開閉式溝蓋
JPH11177520A (ja) * 1997-12-10 1999-07-02 Sony Corp データ多重化装置
EP0982950A3 (en) * 1998-08-24 2004-09-29 Sony Corporation Electronic video camera comprising an MPEG encoder
KR20000055147A (ko) * 1999-02-03 2000-09-05 구자홍 영상데이터 프레임 레이트 변환장치
CN1394078A (zh) * 2001-06-22 2003-01-29 三洋电机株式会社 摄影装置
JP2003009002A (ja) * 2001-06-22 2003-01-10 Sanyo Electric Co Ltd 撮像装置
CN1302659C (zh) * 2003-03-27 2007-02-28 三星电子株式会社 数字成像装置和用于选择它的数据传输模式的方法
JP4063204B2 (ja) * 2003-11-20 2008-03-19 セイコーエプソン株式会社 画像データ圧縮装置及びエンコーダ
US20080316331A1 (en) * 2007-06-25 2008-12-25 Core Logic, Inc. Image processing apparatus and method for displaying captured image without time delay and computer readable medium stored thereon computer executable instructions for performing the method

Also Published As

Publication number Publication date
US20080284865A1 (en) 2008-11-20
WO2007052934A1 (en) 2007-05-10
CN101300828A (zh) 2008-11-05
JP2009515412A (ja) 2009-04-09
KR100685302B1 (ko) 2007-02-22
CN101300828B (zh) 2010-07-21
US7948527B2 (en) 2011-05-24

Similar Documents

Publication Publication Date Title
JP4576459B2 (ja) イメージシグナルプロセッサ及び垂直同期信号の遅延出力方法
JP4932846B2 (ja) イメージ処理方法及び装置
US7936378B2 (en) Image pickup device and encoded data transferring method
JP2009515407A (ja) 撮像装置及びエンコーディングされたデータ伝達方法
KR100788983B1 (ko) 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
JP4746106B2 (ja) イメージシグナルプロセッサ及び垂直同期信号の遅延出力方法
KR100664554B1 (ko) 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
KR20070047729A (ko) 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는이미지 시그널 프로세서
KR100854724B1 (ko) 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
KR20070047730A (ko) 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
KR20090072557A (ko) 이미지 신호의 처리 방법 및 이를 수행하는 신호 처리 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100810

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100823

R150 Certificate of patent or registration of utility model

Ref document number: 4576459

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130827

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250