JPWO2011148573A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JPWO2011148573A1
JPWO2011148573A1 JP2012517110A JP2012517110A JPWO2011148573A1 JP WO2011148573 A1 JPWO2011148573 A1 JP WO2011148573A1 JP 2012517110 A JP2012517110 A JP 2012517110A JP 2012517110 A JP2012517110 A JP 2012517110A JP WO2011148573 A1 JPWO2011148573 A1 JP WO2011148573A1
Authority
JP
Japan
Prior art keywords
data
pixel
unit
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012517110A
Other languages
English (en)
Other versions
JP5793716B2 (ja
Inventor
憲太郎 高倉
憲太郎 高倉
中村　研史
研史 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2012517110A priority Critical patent/JP5793716B2/ja
Publication of JPWO2011148573A1 publication Critical patent/JPWO2011148573A1/ja
Application granted granted Critical
Publication of JP5793716B2 publication Critical patent/JP5793716B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212—Motion video recording combined with still video recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本発明に係る撮像装置（５０）は、入射光に応じて画像データ（２１）を生成する撮像素子（１）と、画像データ（２２）を固定長符号に圧縮することにより圧縮データ（２３）を生成する圧縮部（３）と、圧縮データ（２３）の一部である指定データ（４０）のみを伸張することにより部分伸張データ（３２Ａ）を生成する伸張部（４）と、部分伸張データ（３２Ａ）を画質補正することにより部分補正画像データ（３３Ａ）を生成するカメラ信号処理部（５）と、部分補正画像データ（３３Ａ）を表示するビデオエンコーダ（８）とを備える。

Description

本発明は、撮像装置に関し、特に、画像データを固定長符号化する撮像装置に関するものである。
近年、デジタルスチルカメラ及びデジタルビデオカメラなどの撮像装置に用いられる撮像素子の高画素化に伴い、撮像装置に搭載される集積回路が処理する画像データ量が増大している。多くの画像データを扱うには、集積回路内のデータ転送のバス幅を確保するために、動作周波数の高速化、及びメモリの大容量化等を行うことが考えられる。しかし、これらは撮像装置のコストアップに直接繋がってしまう。
また、一般的にデジタルスチルカメラ及びデジタルビデオカメラなどの撮像装置では、集積回路内での全ての画像処理を終えたデータを、ＳＤカード等の外部記録装置に記録する際に圧縮処理を行う。これにより、非圧縮に比べてより大きな画像サイズ、又は多くの枚数の画像データを同じ容量の外部記録装置に格納できる。この圧縮処理には、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）又はＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）といった符号化方式が用いられている。
特許文献１には、画像データの圧縮処理を撮像素子から入力される画素信号（ＲＡＷデータ）に対しても展開することが開示されている。これにより、当該技術は、撮像素子の多画素化が進み信号処理の負荷が増大する場合でも、メモリへの書き込み及び読み出しの際に必要なバス帯域を削減し、高速操作を可能にする。また、当該技術では、バス帯域の保証と圧縮処理量の削減とのため固定長符号化方式を採用している。その実装方法については、任意の画像領域の画素データから最大値と最小値とを算出し、領域内の局所的なダイナミックレンジを求め、領域内の全ての画素から最小値を減算した値を、ダイナミックレンジに応じた量子化幅で量子化する。これにより、固定長符号化を行っている。
しかし、特許文献１に記載の撮像装置では、同一領域内における画素と最小値との差分値を量子化しており、領域内のダイナミックレンジが大きいほど量子化幅も大きくなる。これは、領域内のダイナミックレンジが広い場合は、画像として大きく変化している可能性が高く、細かいレベル変化を視覚的に感知しにくいという視覚特性を利用している。しかし、領域内の最小値及び最大値を求めるには、領域内の全画素が揃わなければ圧縮処理を開始できないという問題がある。そのため、バス帯域の削減は可能となるが、領域内の画素が揃うまでの処理遅延が発生することになる。よって、実装面においても、領域内の画素を格納しておくメモリが必要となるため、回路規模が増大するという問題がある。
また、特許文献２では撮像素子から入力される画素信号（ＲＡＷデータ）に対して、固定長符号化手段で、画像データを小領域の単位ブロックに細分し、単位ブロック内の前記画像データの平均値レベルを求めて固定長符号化し、露出制御手段で、前記平均値レベルに基づいて前記単位ブロック内の前記画像データ全体の輝度レベルを算出し、画像データが所定の輝度レベルとなるように撮像装置の露出量を制御する。
特開２００７−２２８５１５号公報 特開２０００−０１３８０６号公報
しかしながら、特許文献１に記載の撮像装置では、圧縮された固定長符号化データをＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリへ供給し、次にメモリから固定長符号化データを読み出し、伸張処理を行い、以降の画像処理を実施している。これは、近年のデータ量増大に伴い、各処理に対する後段処理が遅い場合に破綻する可能性があるためであり、このように間にメモリを介すことで処理速度を限定しない構成を実現するためである。
しかしながら、この構成では、メモリに対する書き込み及び読み出しに加えて、圧縮データの伸張処理が加わることで、実際に撮像してから表示するまでに時間がかかる。これにより、当該構成は、表示応答性に欠けるという課題がある。
また、特許文献２に記載の撮像装置では、画像データを圧縮した固定長符号化データに加えて画像の単位ブロックあたりの平均値を別途算出し、その平均値から露出量を制御する。しかし、特許文献２に記載の撮像装置は、画像データについては特許文献１と同様にメモリから固定長符号化データを読み出し、伸張処理を行って表示するため、特許文献１に記載の撮像装置と同様に、表示応答性に欠けるという課題がある。
そこで本発明は、表示応答性を向上できる撮像装置を提供することを目的とする。
上記目的を達成するために、本発明の一形態に係る撮像装置は、入射光に応じて第１画像データを生成する撮像素子と、前記第１画像データを固定長符号化することにより第１圧縮データを生成する圧縮部と、前記第１圧縮データを記憶する記憶部と、前記第１圧縮データの一部である第１指定データのみを伸張することにより第１部分伸張データを生成する伸張部と、前記第１部分伸張データを画質補正することにより第１部分補正画像データを生成する信号処理部と、前記第１部分補正画像データを表示する表示部とを備える。
この構成によれば、本発明の一形態に係る撮像装置は、圧縮データの一部のみを伸張し、伸張したデータを表示する。これにより、本発明の一形態に係る撮像装置は、表示応答性を向上できる。
また、前記伸張部は、前記第１部分伸張データを生成した後、前記記憶部に記憶されている前記第１圧縮データの全てを伸張することにより第１全体伸張データを生成し、前記信号処理部は、前記第１全体伸張データを画質補正することにより第１全体補正画像データを生成してもよい。
この構成によれば、本発明の一形態に係る撮像装置は、表示の高速化と、大容量のデータ処理とを両立できる。
また、前記圧縮部は、前記第１画像データに含まれる複数の画素データの一部である画素データ群ごとに、当該画素データ群に含まれる複数の画素データを固定長に圧縮することにより単位圧縮データを生成し、前記第１指定データは、前記単位圧縮データの各々に含まれる一部のデータであってもよい。
この構成によれば、本発明の一形態に係る撮像装置は、撮影された画像データに対して、解像度を下げた画像を高速に表示できる。
また、前記圧縮部は、予測値と符号化対象画素の画素データとの差を示すビット変化情報を算出し、算出した前記ビット変化情報を量子化することにより固定長の量子化値を算出し、前記単位圧縮データは、前記予測値として用いられる画素データである基準画素値と、前記画素データ群に含まれる画素データに対応する前記量子化値と、前記量子化の条件を示す量子化情報とを含み、前記第１指定データは、前記基準画素値を含んでもよい。
また、前記基準画素値は、前記画素データ群に含まれる一の画素データであり、前記単位圧縮データは、前記基準画素値と、前記画素データ群に含まれる、前記一の画素データ以外の画素データに対応する前記量子化値と、前記量子化情報とを含んでもよい。
この構成によれば、本発明の一形態に係る撮像装置は、撮影された画像データに対して画素を間引いた画像を表示できる。
また、前記圧縮部は、前記画素データ群に含まれる複数の画素データの平均値を算出し、前記基準画素値は、前記平均値であってもよい。
この構成によれば、本発明の一形態に係る撮像装置は、画素データ群内の全ての画素からの情報を用いることで折り返しノイズを抑えた画像を表示できる。
また、前記画素データ群は、連続して配置された複数の画素の画素データを含み、前記第１指定データは、前記基準画素値と、等間隔に配置される画素に対応する前記量子化値とを含んでもよい。
この構成によれば、本発明の一形態に係る撮像装置は、ノイズを抑えた画像を表示できる。
また、前記複数の画素データの各々は、複数の色の画素データのうちいずれかであり、前記単位圧縮データは、色ごとの前記基準画素値を含み、前記第１指定データは、前記色ごとの基準画素値を含み、前記圧縮部は、符号化対象画素と同色の基準画素値を前記予測値として用いて、前記ビット変化情報を算出し、算出した前記ビット変化情報を量子化することにより固定長の量子化値を算出してもよい。
この構成によれば、本発明の一形態に係る撮像装置は、カラー画像に対して表示応答性を向上できる。
また、前期撮像素子は、さらに、入射光に応じて第２画像データを生成し、前記圧縮部は、さらに、前記第２画像データを固定長符号化することにより第２圧縮データを生成し、前記記憶部は、さらに、前記第２圧縮データを記憶し、前記伸張部は、さらに、前記第２の圧縮データの一部である第２指定データのみを伸張することにより第２部分伸張データを生成し、前記信号処理部は、さらに、前記第２部分伸張データを画質補正することにより第２部分補正画像データを生成し、前記表示部は、さらに、前記第２部分補正画像データを表示し、前記伸張部は、前記第１部分伸張データ及び前記第２部分伸張データを共に生成した後、前記第１全体伸張データを生成し、前記記憶部に記憶されている前記第２圧縮データの全てを伸張することにより第２全体伸張データを生成し、前記信号処理部は、さらに、前記第２全体伸張データを画質補正することにより第２全体補正画像データを生成してもよい。
この構成によれば、本発明の一形態に係る撮像装置は、連続撮影時において表示応答性を向上できる。
また、前記撮像装置は、さらに、前記第１部分伸張データを用いて前記第１画像データの輝度レベルを算出し、前記第１画像データが所定の輝度レベルとなるように前記撮像素子の露出量を制御する露出制御部を備えてもよい。
この構成によれば、本発明の一形態に係る撮像装置は、高速な露出制御を実現できる。
また、前記撮像装置は、さらに、前記第１部分伸張データに含まれる画素データの周波数特性を算出し、当該周波数特性を用いてフォーカス制御を行うフォーカス制御部を備えてもよい。
この構成によれば、本発明の一形態に係る撮像装置は、高速なフォーカス制御を実現できる。
また、前記第１画像データは、遮光された画素の画素データである遮光画素データを含み、前記圧縮部は、前記画素データ群に含まれる複数の画素データが複数の前記遮光画素データである場合、予め定められた画素数ごとに前記複数の遮光画像データの平均値を算出し、複数の算出した平均値を固定長符号化することにより前記第１圧縮データを生成してもよい。
この構成によれば、本発明の一形態に係る撮像装置は、画質の劣化を抑制しつつ、圧縮データのデータ量を削減できる。
また、前記第１画像データは、遮光された画素の画素データである遮光画素データを含み、前記圧縮部は、前記画素データ群に含まれる複数の画素データが複数の前記遮光画素データである場合、予め定められた画素数ごとに前記複数の遮光画像データの最大値又は最小値を算出し、複数の算出した最小値又は最大値を固定長符号化することにより前記第１圧縮データを生成してもよい。
この構成によれば、本発明の一形態に係る撮像装置は、画質の劣化を抑制しつつ、圧縮データのデータ量を削減できる。
また、前記撮像装置は、さらに、前記撮像素子により生成された前記第１画像データをデジタル信号に変換するＡＤ変換部を備え、前記圧縮部は、前記ＡＤ変換部によりデジタル信号に変換された前記第１画像データを固定長符号に圧縮することにより前記第１圧縮データを生成してもよい。
なお、本発明は、このような撮像装置として実現できるだけでなく、撮像装置に含まれる特徴的な手段をステップとする画像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
さらに、本発明は、このような撮像装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような撮像装置を備える撮像システムとして実現したりできる。
以上より、本発明は、表示応答性を向上できる撮像装置を提供できる。
図１は、本発明の実施の形態１に係る撮像装置のブロック図である。 図２は、本発明の実施の形態１に係る圧縮処理例と各演算結果を示す図である。 図３は、本発明の実施の形態１に係る圧縮処理のフローチャートである。 図４は、本発明の実施の形態１に係るビット変化情報の有効ビット桁数、量子化幅及び量子化情報を示す図である。 図５Ａは、本発明の実施の形態１に係る未圧縮のデータの一例を示す図である。 図５Ｂは、本発明の実施の形態１に係る圧縮パッキングデータの一例を示す図である。 図６Ａは、本発明の実施の形態１に係る未圧縮のデータの一例を示す図である。 図６Ｂは、本発明の実施の形態１に係る圧縮パッキングデータの一例を示す図である。 図７は、本発明の実施の形態１に係るカメラ信号処理部のブロック図である。 図８は、本発明の実施の形態１に係る撮像装置による処理のタイミングを示す図である。 図９Ａは、本発明の実施の形態１に係る未圧縮のデータの一例を示す図である。 図９Ｂは、本発明の実施の形態１に係る圧縮パッキングデータの一例を示す図である。 図１０は、本発明の実施の形態１に係る圧縮パッキングデータの一例を示す図である。 図１１は、本発明の実施の形態１に係る撮像装置による処理のタイミングの別の例を示す図である。 図１２は、本発明の実施の形態１に係る撮像装置の変形例のブロック図である。 図１３は、本発明の実施の形態２に係るカメラ信号処理部のブロック図である。 図１４は、本発明の実施の形態２に係る露出制御処理のフローチャートである。 図１５は、本発明の実施の形態２に係るカメラ信号処理部の変形例のブロック図である。 図１６は、本発明の実施の形態２に係る積算領域の一例を示す図である。 図１７は、本発明の実施の形態３に係るカメラ信号処理部のブロック図である。 図１８は、本発明の実施の形態３に係るフォーカス制御処理のフローチャートである。 図１９は、本発明の実施の形態４に係る圧縮処理のフローチャートである。 図２０は、本発明の実施の形態４に係る遮光領域の一例を示す図である。 図２１は、本発明の実施の形態４に係る圧縮パッキングデータの一例を示す図である。 図２２は、本発明の実施の形態５に係る撮像システムのブロックである。
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施の形態や各変形例の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。
（実施の形態１）
本発明の実施の形態１に係る撮像装置は、圧縮データの一部のみを伸張し、伸張したデータを表示する。これにより、本発明の一形態に係る撮像装置は、表示応答性を向上できる。
図１は本発明の実施の形態１に係る撮像装置５０の構成を示すブロック図である。
なお、本実施の形態における撮像装置による撮像処理機能の全て又は一部は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）などのハードウェア、又はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により実行されるプログラムによって実現され、これは以下の実施の形態でも同様である。
図１に示す撮像装置５０は、撮像部１００と、画像信号処理部１０１と、記憶部１０２と、記録保存部１０３を備える。
また、撮像部１００は、撮像素子１と、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）回路２と、圧縮部３とを備える。画像信号処理部１０１は、伸張部４と、カメラ信号処理部５と、解像度変換部６と、画像符号化部７と、ビデオエンコーダ８と、メモリコントローラ９とを備える。また、伸張部４、カメラ信号処理部５、解像度変換部６、画像符号化部７、ビデオエンコーダ８、メモリコントローラ９は、内部バス１０により相互に接続されている。
撮像素子１は、入射光に応じて画像データ２１を生成する。この撮像素子１は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）、又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサなどの固体撮像素子である。この撮像素子１は、図示しないレンズブロックを通じて被写体から入射された光を電気信号に変換することによりアナログ信号である画像データ２１を生成する。
ＡＦＥ２は、撮像素子１が出力した画像データ２１に対してノイズ除去、信号増幅、及びＡ／Ｄ変換などの信号処理を行なうことにより画像データ２２を生成する。
圧縮部３は、ＡＦＥ２から出力された画像データ２２に対して固定長符号化を行うことにより圧縮データ２３を生成する。
以下、圧縮部３の処理を詳細に説明する。
図２は、本発明の実施の形態１における圧縮部３の処理を説明するための図である。また、図３は、本発明の実施の形態１における圧縮部３の処理のフローチャートである。
画像データ２２は、１画素に対応する固定ビット幅（Ｎビット）の画素データ２２Ａを複数含む。圧縮部３は、この固定ビット幅の画素データ２２Ａを順次、受信する。ここでは、画素データ２２Ａのデータ量は１２ビット（Ｎ＝１２）であるとする。すなわち、画素データ２２Ａのダイナミックレンジは１２ビットである。また、量子化値２９のビット幅Ｍは８ビットであるとする。また、圧縮部３は、複数の画素データ２２Ａ（画素データ群）を圧縮したデータを、Ｓビットの固定長にパッキングした圧縮データ２３（以下、圧縮パッキングデータ２３Ａ（単位圧縮データ））を画像信号処理部１０１に出力する。ここでは設定する固定ビットＳは、６４ビットとする。なお、固定ビット幅Ｎ、量子化値のビット幅Ｍ及び固定ビットＳは、予め決められているものであればよく、ここに示す例に限るものではない。
また、本実施の形態において行うコード変換は、グレイコード変換であるとする。画素データをグレイコード化する理由は、近似なものを表現する際のビット変化を抑え、圧縮率を高めることができるからである。
なお、一般に１０進数の値をグレイコードへ変換する方法として、１０進数をバイナリコードで表したビット列に対して、下位ビットから順に上位ビット側に隣り合うビットとの排他的論理和をとっていく方法がとられている。
なお、グレイコードではなくても、近似なものを表現する際のビット変化が、バイナリコードで表したビット列よりも小さくなるようなコード変換であれば、本発明に適用可能であることはいうまでもない。
図２には、一例として、１つの圧縮パッキングデータ２３Ａに圧縮される７個の画素データ２２Ａを示す。また、画素Ｐ１、Ｐ２、・・・、Ｐ７の順で、各画素に対応する画素データ２２Ａが入力されるとする。また、画素Ｐ１〜Ｐ７内に示される数値は、対応する画素データ２２Ａが示す信号レベルである。なお、画素Ｐ１に対応する画素データ２２Ａは、初期画素値２２Ｂであるとする。ここで初期画素値２２Ｂとは、Ｓビットの１つの圧縮パッキングデータ２３Ａにパッキングされる画素データ２２Ａのうち最初に入力される画素データ２２Ａである。
本実施の形態では、符号化対象画素の予測値は、一例として、符号化対象画素の左隣の画素の画素データ２２Ａを用いて算出されるものとする。すなわち、符号化対象画素の画素データ２２Ａは、一つ前に入力された画素と同一の画素データ２２Ａ（レベル）になる可能性が高いと予測していることになる。
図３に示す圧縮処理では、まず、ステップＳ１０１で圧縮部３は、入力された画素データ２２Ａが初期画素値２２Ｂであるか否かを判定する。
入力された画素データ２２Ａが初期画素値２２Ｂである場合（Ｓ１０１でＹＥＳ）、圧縮部３は、受信した初期画素値２２Ｂを内部のバッファに記憶させるとともに、当該初期画素値２２Ｂをパッキングバッファに送信する。そして、処理は後述するステップＳ１１０に移行する。
一方、入力された画素データ２２Ａが初期画素値２２Ｂでない場合（Ｓ１０１でＮＯ）、ステップＳ１０２に移行する。
ここで、圧縮部３は、初期画素値２２Ｂである、画素Ｐ１に対応する画素データ２２Ａを受信したとする。この場合、圧縮部３は、当該初期画素値２２Ｂを内部のバッファに記憶させるとともに、当該初期画素値２２Ｂをパッキングバッファに送信する。なお、内部バッファに画素データ２２Ａが既に記憶されている場合、圧縮部３は、受信した画素データ２２Ａを内部のバッファに上書き記憶させる。
次に、画素Ｐ２が符号化対象画素であるとする。この場合、圧縮部３は、画素Ｐ２に対応する画素データ２２Ａ（符号化対象画素データ）を受信する。また、符号化対象の画素データ２２Ａは“２２０”であるとする。この場合、受信した画素データ２２Ａは初期画素値２２Ｂではないので（Ｓ１０１でＮＯ）、圧縮部３は、画素Ｐ２の画素データ２２Ａをコード変換対象とする。
また、ステップＳ１０１でＮＯと判定された場合、圧縮部３は、内部のバッファに記憶されている１画素前の画素データ２２Ａを予測値とする（Ｓ１０２）。ここでは、予測値は、画素Ｐ１の画素データ２２Ａの値“３００”である。
次に、圧縮部３は、ステップＳ１０３で、符号化対象画素データと予測値とにグレイコード変換処理を施すことによりコード２４を生成する。ここでは、受信した符号化対象画素データは、“２２０”、予測値は“３００”であるため、コード変換により、それぞれＮ（“１２”）ビット長のグレイコード２４である符号化画素コード“００００１０１１００１０”と予測値コード“０００１１０１１１０１０”とが算出される。
次に、ステップＳ１０４では、圧縮部３は、符号化画素コードと、予測値コードとの差（変化）を示すビット変化情報２５を算出する。具体的には、圧縮部３は、符号化画素コードと予測値コードとの排他的論理和を演算することにより、ビット変化情報２５を算出する。ここでは、受信した符号化画素コードが“００００１０１１００１０”であり、予測値コードが“０００１１０１１１０１０”である。よって、圧縮部３は、符号化画素コード（“００００１０１１００１０”）と、予測値コード（“０００１１０１１１０１０”）との排他的論理和を演算することにより、ビット変化情報２５“０００１００００１０００”を算出する。
次に、ステップＳ１０５では、圧縮部３は、量子化幅決定処理を行う。量子化幅決定処理では、圧縮部３は、ビット変化情報２５の有効ビット桁数２６、つまり、ビット変化情報２５を表現するために必要なビット長を求める。具体的には、有効ビット桁数２６は、上位ビット側からみて最初に“１”となるビットを含む当該ビットから下位のビットの桁数である。ここでは、ビット変化情報２５は、“０００１００００１０００”である。この場合、有効ビット桁数２６は９ビットである。そして、圧縮部３は、有効ビット桁数２６から量子化値のビット幅Ｍを減算することにより量子化幅２７を設定する。ここでは、量子化値のビット幅Ｍが“８”であるとすると、量子化幅２７は、“９−８＝１”に設定される。
また、圧縮部３は、量子化幅２７をグループ単位で決定することにより圧縮効率を上げる。ここでグループは、予め決められた所定の画素数Ｐｉｘ＿Ｇの画素データ２２Ａで構成される。また、同一のグループに属する画素データ２２Ａには同一のグループＮｏ３０が付与される。
ステップＳ１０６では、圧縮部３は、例えばグループ内の画素数Ｐｉｘ＿Ｇ＝３の画素について、量子化幅２７が全て決定されたか否かの判定を行う。
グループ内の量子化幅２７が全て決定されていない場合（Ｓ１０６でＮＯ）、圧縮部３はステップＳ１０２に移行し、次に受信した画素データ２２Ａに対してステップＳ１０２からステップＳ１０５までの処理を実行する。
一方、グループ内の量子化幅２７が全て決定された場合（Ｓ１０６でＹＥＳ）、圧縮部３はステップＳ１０７に移行する。
ステップＳ１０７では、圧縮部３は、グループ内の画素数Ｐｉｘ＿Ｇの画素に対応する量子化幅２７の中から最も大きい最大量子化幅２８を算出する。図２においてグループＮｏ３０が“１”の量子化幅２７は“１”、“１”、“０”であるため、最大量子化幅２８は“１”となる。ここで算出された最大量子化幅２８は、グループ内の全画素に対して共通に用いられる。
また、圧縮部３は、量子化の条件を示す量子化情報３１を生成する。具体的には、圧縮部３は、最大量子化幅２８を符号化することによりＱビット長の量子化情報３１を生成する。ここでは、量子化情報３１のビット長Ｑが“２”であるとする。図４は、ビット変化情報２５の有効ビット桁数２６と、量子化幅２７（最大量子化幅２８）と、Ｑビットの量子化情報３１との対応関係を示す図である。例えば、最大量子化幅２８が“１”であるとする。この場合、図４より量子化情報３１は“０１”となる。なお、最大量子化幅２８はゼロ又は正数であるため、有効ビット桁数２６がＭ（“８”）よりも小さい値をとる場合は、量子化幅２７は“０”とする。
次に、ステップＳ１０８では、圧縮部３は、ビット変化情報２５に量子化処理を行うことにより量子化値２９を生成する。量子化処理では、圧縮部３は、ビット変化情報２５を最大量子化幅２８の数だけ下位にビットシフトすることにより当該ビット変化情報２５を量子化する。ここでは、最大量子化幅２８が“１”であり、かつ、ビット変化情報２５が“０００１００００１０００”である。この場合、“０００１００００１０００”を、最大量子化幅２８（”１“）の数だけ下位にビットシフトすることにより、“０００１００００１００”を算出する。ここで、量子化値のビット幅Ｍは８ビットであるため、圧縮部３は、最下位ビットから８ビット目までの量子化されたビット変化情報“１００００１００”を量子化値２９としてパッキングバッファへ送信する。
次に、ステップＳ１０９では、圧縮部３は、グループ内の画素数Ｐｉｘ＿Ｇの画素について、量子化処理が全て終了したか否かの判定を行う。
量子化処理が全て終了していない場合（Ｓ１０９でＮＯ）、圧縮部３はステップＳ１０８に移行し、同一グループ内における次の符号化対象画素データに対してステップＳ１０８の処理を実行する。
一方、量子化処理が全て終了した場合（ステップＳ１０９でＹＥＳ）、圧縮部３はステップＳ１１０に移行する。
ステップＳ１１０では、圧縮部３は、生成したデータを予め決められたＳビットにパッキングする処理を行う。パッキング処理では、圧縮部３は、初期画素値２２Ｂ（Ｐ１）をＳビット長のパッキングバッファに格納し、その後は順次、Ｑビット長の量子化情報３１、符号化対象画素Ｐ２〜Ｐ４の量子化値２９を、パッキングバッファに格納していく。ここで、固定ビットＳが“６４”、量子化情報３１のビット長Ｑが“２”であるとする。符号化対象画素の量子化値２９は８ビットであるため、画素数Ｐｉｘ＿Ｇの画素データ２２Ａを処理した時点で、６４ビット長のパッキングバッファの先頭から３８ビット分の圧縮データ（画素Ｐ１の画素データ２２Ａ（１２ビット）＋量子化情報３１（２ビット）＋画素Ｐ２〜Ｐ４の量子化値２９（８×３＝２４ビット））が格納されたことになる。符号化対象画素のパッキング処理が終了すると圧縮部３はステップＳ１１１に移行する。
ステップＳ１１１では、圧縮部３は、Ｓビットにパッキングする画素数Ｐｉｘの画素について圧縮処理が終了したか否かを判定する。ここで、画素数Ｐｉｘは、以下の式（１）にて予め算出されているものとする。
Ｐｉｘ ＝ （Ｓ−（２×Ｑ））／Ｍ ・・・（１）
ここで、固定ビットＳが“６４”、量子化情報３１のビット長Ｑが“２”、量子化値２９のビット幅Ｍは８ビットであるため、画素数Ｐｉｘは式（１）により７画素となる。
画素数Ｐｉｘの画素について圧縮処理が終了していない場合（Ｓ１１１でＮＯ）、圧縮部３はステップＳ１０１に移行し、次に画素データ２２Ａに対してステップＳ１０１以降の処理を実行する。この場合、圧縮部３は、画素Ｐ５から画素Ｐ７に対して、ステップＳ１０１以降の処理を行い、順次、生成したデータをバッファメモリに格納していく。
一方、画素数Ｐｉｘの画素について圧縮処理が終了した場合（Ｓ１１１でＹＥＳ）、圧縮部３は、バッファメモリ内に保持される圧縮データ２３をＳビット単位の圧縮パッキングデータ２３Ａとして出力し（Ｓ１１２）、次にステップＳ１１３に移行する。
ステップＳ１１３では、圧縮部３は、出力した圧縮パッキングデータ２３Ａで、１画像（１画面）についての圧縮処理が全て終了したかを判別する。１画像についての圧縮処理が全て終了した場合（Ｓ１１３でＹＥＳ）、圧縮部３は圧縮処理を終了し、１画像についての圧縮処理が全て終了していない場合（Ｓ１１３でＮＯ）、圧縮部３はステップＳ１０１へ移行して、ステップＳ１０１以降の処理を実行する。
以上の処理及び演算を実行した結果、算出される符号化対象画素Ｐ２〜Ｐ６のコード２４、ビット変化情報２５、有効ビット桁数２６、量子化幅２７、そしてパッキングされる８ビットの量子化値２９を図２に示している。
また、図５Ａは、上記圧縮処理を行わない場合のパッキングされた６４ビットのデータ例を示す図である。また、図５Ｂは、上記圧縮処理を行った場合のパッキングされた６４ビットの圧縮パッキングデータ２３Ａの例を示す図である。
図５Ａに示すように圧縮処理を行わない場合、６４ビットのデータは５画素分のデータで構成される。一方、図５Ｂに示すように圧縮処理を行うことにより６４ビットの圧縮パッキングデータ２３Ａに７画素分のデータを含ませることができる。
また、固定長符号化は、生成された複数の固定長の符号化データを、例えばメモリ等に記憶させた場合、画像内の特定の箇所の画素に対応した符号化データを、容易に特定することができる。その結果、符号化データに対するランダムアクセス性を維持することができるメリットがある。
また、ＲＡＷデータを圧縮する本実施の形態では、色成分が同色である近接画素から予測値を生成してもよい。具体的には、符号化対象画素の画素配列がベイヤー配列のＲＡＷデータであるとする。この場合、ＲＡＷデータを、Ｒ（赤）成分と、Ｇ（緑）成分と、Ｂ（青）成分とに分けることができる。よって、圧縮部３は、予測値として符号化対象画素の隣接画素ではなく、同色の左隣の画素を利用してもよい。これにより、色成分が異なる隣接画素が使用するよりも、画素データとして相関が高いため、量子化精度を上げることができる。
図６Ａは、ベイヤー配列のＲＡＷデータにおける予測値として用いる画素の関係を示す図である。例えば、図６Ａに示すように画素Ｒ２は、直前（左隣）の同色の画素Ｒ１の画素データ２２Ａを予測値として用いる。
また、図６Ａは、ベイヤー配列のＲＡＷデータに対して、上記圧縮処理を行わない場合のデータ例を示す図である。また、図６Ｂは、ベイヤー配列のＲＡＷデータに対して、上記圧縮処理を行った場合の圧縮パッキングデータ２３Ａのデータ例を示す図である。また、図６Ａ及び図６Ｂは、１４画素に対するデータ量を示している。
図６Ａに示すように圧縮処理を行わない場合、１４画素に対して１６８ビットのデータが必要になる。一方、図６Ｂに示すように圧縮処理を行うことにより１４画素分のデータを１２４ビットに圧縮できる。
次に、画像信号処理部１０１について説明する。
圧縮部３からの圧縮データ２３は内部バス１０、メモリコントローラ９を介して記憶部１０２に記憶されるのと同時に、伸張部４に送られ、伸張部４において圧縮データ２３の伸張処理が実施される。
伸張部４は、圧縮データ２３を伸張することにより伸張データ３２を生成する。
カメラ信号処理部５は、入力された伸張データ３２（ＲＡＷデータ）に所定の画像処理（画質補正処理等）を施すことにより補正画像データ３３を生成し、生成した補正画像データ３３を、内部バス１０を介して記憶部１０２に出力する。
図７は、カメラ信号処理部５の構成を示すブロック図である。
一般的には、図７に示すように、カメラ信号処理部５は、ホワイトバランス処理回路７２１（図中ではＷＢと略記）と、輝度信号生成回路７２２と、色分離回路７２３と、アパーチャ補正処理回路７２４（図中ではＡＰと略記）と、マトリクス処理回路７２５とを備えている。
ホワイトバランス処理回路７２１は、白い被写体がどのような光源下でも白く撮影されるように、撮像素子１のカラーフィルタによる色成分を正しい割合で補正することにより補正信号７３１を生成する。
輝度信号生成回路７２２は、ＲＡＷデータ（補正信号７３１）から輝度信号７３２（Ｙ信号）を生成する。
色分離回路７２３は、ＲＡＷデータ（補正信号７３１）から色差信号７３３（Ｃｒ／Ｃｂ信号）を生成する。
アパーチャ補正処理回路７２４は、輝度信号生成回路７２２が生成した輝度信号７３２に高周波数成分を足し合わせて解像度を高く見せる処理を行う。
マトリクス処理回路７２５は、撮像素子１の分光特性や画像処理で崩れた色相バランスの調整を、色分離回路７２３が生成した色差信号７３３に対して行う。
解像度変換部６は、画像の拡大及び縮小処理を行う。
画像符号化部７は、記憶部１０２に記憶されるデータをＪＰＥＧ等の所定の規格で圧縮変換することにより画像データを生成し、生成した画像データを記録保存部１０３に出力する。
一般的に画像信号処理部１０１は処理対象の画素データをＳＤＲＡＭ等のメモリ（記憶部１０２）に一時記憶させ、一時記憶されたデータに対して所定の画像処理、ＹＣ信号生成、及びズーム処理等を行い、処理後のデータを再度ＳＤＲＡＭに一時記憶することが多い。そのため、それぞれの処理部は内部バス１０を通じて接続されている。
同時にビデオエンコーダ８は、解像度変換部６からの拡大又は縮小された画像をＬＣＤ又はモニタなどに表示する表示部である。
次に、撮像装置５０における各処理の流れを説明する。図８は、本実施の形態における各処理のタイミングを示す図である。
まず、撮像部１００は、基準タイミング６０の立ち上がりタイミングで画面Ａの画像データ２２の取り込み処理を行い、その後、取り込んだ画像データ２２に対して圧縮処理を実施することにより圧縮データ２３を生成する。さらに、撮像部１００は、生成した圧縮データ２３を記憶部１０２へ記憶する（Ｓ９１）。
同時に、撮像部１００は、伸張部４へ圧縮データ２３を送る。伸張部４は圧縮データ２３の一部である指定データ４０のみを伸張することにより部分伸張データ３２Ａを生成する。次に、カメラ信号処理部５は、生成された部分伸張データ３２Ａにカメラ信号処理（画質補正処理）を施すことにより部分補正画像データ３３Ａを生成し、生成した部分補正画像データ３３Ａを記憶部１０２へ送る（Ｓ９２）。例えば、指定データ４０は、圧縮パッキングデータ２３Ａの各々に含まれる一部のデータである。より具体的には、例えば、指定データ４０は、初期画素値２２Ｂである。
次に、解像度変換部６は、記憶部１０２に記憶される部分補正画像データ３３Ａを読み出し、当該部分補正画像データ３３Ａにズーム処理を行うことにより部分変換画像データ３４Ａを生成し、生成した部分変換画像データ３４Ａを記憶部１０２へ記憶する（Ｓ９３）。次に、ビデオエンコーダ８は、記憶部１０２に記憶された部分変換画像データ３４Ａを表示する（Ｓ９４）。
また、伸張部４は、ステップＳ９２の部分伸張処理が終わった後、画面Ａの圧縮データ２３を記憶部１０２から読み出し（Ｓ９５）、読み出した圧縮データ２３の全てに伸張処理を行うことにより全体伸張データ３２Ｂを生成する。次に、カメラ信号処理部５は、生成された全体伸張データ３２Ｂにカメラ信号処理を施すことにより全体補正画像データ３３Ｂを生成し、生成した全体補正画像データ３３Ｂを記憶部１０２へ送る（Ｓ９６）。
同じく解像度変換部６は、部分伸張データ３２Ａのズーム処理が終わった後（Ｓ９３）、記憶部１０２から全体補正画像データ３３Ｂを読み出す。そして解像度変換部６は、読み出した全体補正画像データ３３Ｂに解像度変換処理を行うことにより全体変換画像データ３４Ｂを生成し、生成した全体変換画像データ３４Ｂを記憶部１０２に記憶する（Ｓ９７）。
次に、画像符号化部７は、記憶部１０２に記憶されている全体変換画像データ３４Ｂを符号化することにより符号化画像データを生成し、生成した符号化画像データを記録保存部１０３に記録する（Ｓ９８）。
ここで、近年、取り扱う画像サイズが増大している。例えば、１５ＭＰｉｘｅｌ程度の解像度（水平：４４８０、垂直：３３６０）の情報量の場合、一時伸張する画素が初期画素値２２Ｂのみであっても、図２に示す例では１／７の情報量となる。つまり、４４８０／７＝６４０、３３６０／７＝４８０とＮＴＳＣ（全米テレビジョン放送方式標準化委員会）などの標準モニタの解像度ＶＧＡ（６４０×４８０）を十分得ることができる。
この結果、本発明に係る撮像装置５０は、全体の信号処理をするよりも早く画像を表示することが可能である。
なお、一部伸張するのは圧縮パッキングデータ２３Ａに含まれるデータのうち任意の数の予め定められた複数の指定画素に関する指定データ４０でもよい。例えば、１つの圧縮パッキングデータ２３Ａに圧縮される複数の画素データ２２Ａが、連続して配置された複数の画素の画素データ２２Ａである場合、指定画素は、等間隔（例えば１つおき）に配置される画素であってもよい。
これは初期画素値２２Ｂのみでは単純に間引いた画素データを出力しているため折り返しノイズが発生する可能性があるためである。そのため圧縮部３は、図９Ａ及び図９Ｂに示すような順に画素データ２２Ａを圧縮してもよい。つまり、圧縮部３は、指定画素のみを先に連続して圧縮する。
この場合、伸張部４は、１つの圧縮パッキングデータ２３Ａに含まれる各色の前半４画素（Ｒ１、Ｒ３、Ｒ５、Ｒ７、Ｇ１、Ｇ３、Ｇ５、Ｇ７）に対応する指定データ４０のみ伸張すればよい。これにより、一部伸張する画素数が増えるものの、伸張する情報量を全体伸張の４／７程度の情報に抑えることができる。また、これにより、よりノイズを抑えた画像を得ることができる。
また、図１０に示すように、圧縮部３は、圧縮パッキングデータ２３Ａに含まれる画素データ２２Ａの平均値２２Ｃを算出し、基準となる基準画素値として、初期画素値２２Ｂの代わりに平均値２２Ｃを用いてもよい。この場合、伸張部４は、この基準画素値である平均値２２Ｃを一部伸張すればよい。このように、基準画素値である平均値２２Ｃを用いることで、平均値２２Ｃ分だけ圧縮効率は劣化するが、圧縮パッキングデータ２３Ａ内の全ての画素からの情報を用いることで折り返しノイズを抑えた画像を得ることができる。
また、本実施の形態における各処理のタイミングの異なる例を図１１に示す。
図１１に示すように、まず、撮像部１００は、基準タイミング６０の立ち上がりタイミングで画面Ａの画像データ２２の取り込み処理を行い、その後、取り込んだ画像データ２２に対して圧縮処理を実施することにより圧縮データ２３を生成する。さらに、撮像部１００は、生成した圧縮データ２３を記憶部１０２へ記憶する（Ｓ９１Ａ）。以降ステップＳ９４Ａまでは図８に示すステップＳ９１〜Ｓ９４と同じ処理である。次に、画面Ｂに対して同様の処理（Ｓ９１Ｂ〜Ｓ９４Ｂ）が行われ、その後、画面Ｃに対して同様の処理（Ｓ９１Ｃ〜Ｓ９４Ｃ）が行われる。すなわち連写記録が行われた場合、ステップＳ９１〜Ｓ９４の処理が繰り返し行われる。
上記ステップＳ９１Ａ〜Ｓ９４Ｃが完了するまで全体の圧縮データ２３は記憶部１０２に蓄積される。そして連写記録が終わったところで、全体伸張（Ｓ９５）〜全体符号化（Ｓ９８）までの処理が、記録された画像分繰り返し行われる。つまり、画面Ａに対する全体伸張（Ｓ９５Ａ）〜全体符号化（Ｓ９８Ａ）、画面Ｂに対する全体伸張（Ｓ９５Ｂ）〜全体符号化（Ｓ９８Ｂ）、画面Ｃに対する全体伸張（Ｓ９５Ｃ）〜全体符号化（Ｓ９８Ｃ）が順次行われる。
この結果、本発明の実施の形態１に係る撮像装置５０は、全体の信号処理をするよりも早く画像を表示することができる。また、ＳＤＲＡＭ等の記憶部１０２へは圧縮された状態でデータが保存されているため記憶部１０２へ記録するデータ量をより少なくできる。また、記憶部１０２により多くの情報を蓄積しておくことが可能である。
また、実施の形態１の異なる形態を図１２に示す。
図１２に示す撮像装置５０Ａは、図１に示す撮像装置５０に対して、撮像部１００Ａ及び画像信号処理部１０１Ａの構成が異なる。具体的には、圧縮部３が、撮像部１００Ａではなく画像信号処理部１０１Ａに含まれる。
また、ＡＦＥ回路２からの画像データ２２の一部が直接カメラ信号処理部５へ入力される。この結果、表示データを生成する際、伸張部４を介さず直接処理できるため、さらに早く表示させることが可能である。
（実施の形態２）
実施の形態２では、実施の形態１で説明した、伸張部４及びカメラ信号処理部５の変形例を説明する。
図１３は実施の形態２に係るカメラ信号処理部５Ａの構成を示すブロック図である。図１３に示すカメラ信号処理部５Ａは、図７に示すカメラ信号処理部５の構成に加え、新たに露出制御部７４１を備える。
この露出制御部７４１は、部分伸張データ３２Ａを用いて画像データ２２の輝度レベルを算出し、画像データ２２が所定の輝度レベルとなるように撮像素子１の露出量（露光量）を制御する。
図１４は、実施の形態２に係る撮像装置５０による露出制御処理の手順を示すフローチャートである。
まず、ステップＳ２０１では、伸張部４は圧縮部３から圧縮パッキングデータ２３Ａを受け取る。
次に、ステップＳ２０２では、伸張部４は圧縮パッキングデータ２３Ａに含まれる各データが初期画素値２２Ｂ（指定データ４０）かどうか判断する。初期画素値２２Ｂであれば（Ｓ２０２でＹｅｓ）、伸張部４はステップＳ２０３に移行する。初期画素値２２Ｂでなければ（Ｓ２０２でＮｏ）、次の初期画素値２２Ｂを取得するため次の圧縮パッキングデータ取得ステップ（Ｓ２０１）に戻る。
ステップＳ２０３では伸張部４は初期画素値２２Ｂのみを伸張する。
次にステップＳ２０４において伸張部４は、伸張した初期画素値２２Ｂをカメラ信号処理部５Ａへ転送する。次に、露出制御部７４１は取得した初期画素値２２Ｂを積算する（Ｓ２０５）。
これらステップＳ２０１〜Ｓ２０４までの処理が、露出制御部７４１が１画面分の初期画素値２２Ｂを積算するまで繰り返される（Ｓ２０６）。
１画面分の初期画素値２２Ｂの積算が終了すると（Ｓ２０６でＹＥＳ）、露出制御部７４１は、当該積算値が上限輝度レベルより高いか否かを判断する（Ｓ２０７）。また、露出制御部７４１は、当該積算値が下限輝度レベルより低いか否かを判断する（Ｓ２０８）。つまり、露出制御部７４１は、積算値が所定の輝度レベルの範囲内であるか否かを判定する。
積算値が所定の輝度レベルの範囲外である場合（Ｓ２０７でＹＥＳ、又は、Ｓ２０８でＹＥＳ）、露出制御部７４１が、撮像素子１を制御することで露出を制御する（Ｓ２０９）。
一方、積算値が所定の輝度レベルの範囲内である場合（Ｓ２０７でＮＯ、かつＳ２０８でＮｏ）、撮像装置５０は露出制御処理を終了する。
以上により、本発明の実施の形態２に係る撮像装置５０は、表示画像を生成するのと同時に、露出量を制御することができる。
また、図１５に示すカメラ信号処理部５Ｂのように、撮像装置５０は、露出制御に使用する積算領域７５０を選択する領域選択部７４２を備えてもかまわない。この場合、例えば、領域選択部７４２は、図１６に示す画面中央の積算領域７５０を選択する。また、露出制御部７４１は、領域選択部７４２により選択された積算領域７５０に含まれる初期画素値２２Ｂの輝度値のみを積算し、積算した積算値に応じて、上述した露出制御を行なう。これにより、撮像装置５０は、画像中の任意の位置の積算領域７５０のみの明るさに応じて露出量を調整できる。
また、図１０に示すように、基準画素値が圧縮パッキングデータ２３Ａに含まれる画素データ２２Ａの平均値２２Ｃであってもかまわない。この場合、撮像装置５０は、パッキングデータの全体の平均値２２Ｃを元に露出量を制御することが可能である。
また、図９Ｂに示すように、指定データ４０が複数の指定画素を含んでもよい。
（実施の形態３）
実施の形態３では、実施の形態１で説明した、伸張部４及びカメラ信号処理部５の変形例を説明する。
なお、実施の形態３では、圧縮パッキングデータ２３Ａは、図９Ｂに示すように複数の指定画素値を含むとする。
図１７は実施の形態３に係るカメラ信号処理部５Ｃの構成を示すブロック図である。図１７に示すカメラ信号処理部５Ｃは、図７に示すカメラ信号処理部５の構成に加え、新たにフォーカス制御部７４３を備える。
このフォーカス制御部７４３は、部分伸張データ３２Ａに含まれる画素データ２２Ａの周波数特性を算出し、当該周波数特性を用いてフォーカス制御を行う。
図１８は、実施の形態３に係る撮像装置５０によるフォーカス制御処理の手順を示すフローチャートである。
まず、ステップＳ３０１では、伸張部４は圧縮部３からの圧縮パッキングデータ２３Ａを受け取る。次に、ステップＳ３０２では、伸張部４は、圧縮パッキングデータ２３Ａに含まれる各データが指定画素値かどうか判断する。
指定画素値の場合（Ｓ３０２でＹｅｓ）、伸張部４はステップＳ３０３にて指定画素値に伸張処理を実施する。一方、指定画素値でない場合（Ｓ３０２でＮｏ）、次の指定画素値を取得するため次の圧縮パッキングデータ取得ステップ（Ｓ３０１）に戻る。
次にステップＳ３０４において、伸張部４は、圧縮パッキングデータ２３Ａ内において任意の数の指定画素値を取得したかどうか判断する。任意の数の指定画素値を取得した場合（Ｓ３０４でＹｅｓ）、伸張部４はＳ３０５に移行する。また、任意の数の指定画素値を取得していない場合（Ｓ３０４でＮｏ）、伸張部４はステップＳ３０２に戻って次の位置の指定画素値の伸張を行う。
ステップＳ３０５では伸張部４は伸張した画素データをカメラ信号処理部５Ｃへ転送する。カメラ信号処理部５Ｃでは取得した画素データを、例えば直交変換などを用いて周波数成分に変換する（Ｓ３０６）。また、１画面分の周波数成分を積算するまでステップＳ３０１〜Ｓ３０６の処理を繰り返す（Ｓ３０７）。
１画面分の周波数成分の積算が終了すると（Ｓ３０７でＹＥＳ）、フォーカス制御部７４３は、その積算値が所定のレベルより低いか否かを判断する（Ｓ３０８）。所定の周波数成分レベルより低い場合、フォーカス制御部７４３は、撮像素子１のレンズ位置を制御することでフォーカスを制御する（Ｓ３０９）。
一方、積算値が所定の周波数成分レベルより高い場合（Ｓ３０８がＮｏ）、撮像装置５０は、フォーカス制御処理を終了する。
以上により、本発明の実施の形態３に係る撮像装置５０は、表示画像を生成するのと同時に、フォーカスを制御することができる。
また、カメラ信号処理部５Ｃは、図１５に示すカメラ信号処理部５Ａと同様に、使用する積算領域を選択する領域選択部７４２を備えてもかまわない。この場合、図１６に示す画像中の任意の位置の指定画素値による輝度値を積算し、例えば画面中央のみのフォーカス調整が可能になる。
また、伸張部４が伸張するデータは、初期画素値２２Ｂ又は平均値２２Ｃであってもよい。
（実施の形態４）
実施の形態４では、実施の形態１で説明した、圧縮部３及び伸張部４の変形例を説明する。
実施の形態４に係る撮像装置５０の処理手順を図１９に示す。
まず、ステップＳ４０１において、圧縮部３は、符号化対象画素が遮光された領域の画素かどうか判断する。一般的な撮像装置において、画像の黒レベルを決定するため、図２０に示すように撮像素子１の上下左右領域に遮光領域７５１（ＯＢ領域）を設けている。撮像装置５０は、この遮光領域７５１に含まれる画素の画素データ２２Ａである遮光画素データ２２Ｄの平均値を黒レベルとして算出し、実際の撮像された領域の画素データ２２Ａから黒レベルを引くことで各画素のレベルを調整している。そのため、遮光領域７５１の必要データは各々の画素レベルではなく平均値があればよい。
符号化対象画素データが遮光画素データ２２Ｄでない場合（Ｓ４０１でＮＯ）、圧縮部３は、図３に示す実施の形態１と同様の処理を実施する（Ｓ４１５）。
符号化対象画素データが遮光画素データ２２Ｄである場合（Ｓ４０１でＹＥＳ）、次に、ステップＳ４０２では、圧縮部３は、Ｎ画素の遮光画素データ２２Ｄの平均値を算出する。図２１に示す例では、圧縮部３は、４画素の遮光画素データ２２Ｄの平均値を算出している。
また、ステップＳ４０３以降の処理において、圧縮部３は複数の算出した平均値を固定長符号化することにより圧縮データ２３を生成する。
なお、ステップＳ４０３〜ステップＳ４１４の処理は、図３に示すステップＳ１０２〜ステップＳ１１３に対して、符号化対象を画素データ２２ＡからＮ画素の平均値に置き換えた場合の処理と同様であるためここでの説明は省略する。なお、図２１に示す初期平均値２２Ｅは画素Ｐ１〜Ｐ４の平均値である。また、例えば、伸張部４は、この初期平均値２２Ｅのみを伸張することにより、部分伸張データ３２Ａを生成する。また、量子化平均値２９Ａは、例えば、画素Ｐ５〜Ｐ８の４画素の平均値の量子化値である。
以上により、本発明の実施の形態４に係る撮像装置５０は、遮光領域７５１の画素データ２２Ａに対しては、平均値を算出したうえで当該平均値を圧縮する。これにより、本発明の実施の形態４に係る撮像装置５０は、遮光領域７５１に対するデータ量を削減することができる。
なお、上記説明では、圧縮部３は遮光領域７５１に対しては平均値を圧縮するとしたが、圧縮部３は、Ｎ画素ごとに、画素データ２２Ａの最大値及び最小値のうち少なくとも一方を算出し、複数の算出した最小値及び最大値のうちの少なくとも一方を固定長符号化することにより圧縮データ２３を生成してもよい。
（実施の形態５）
本発明の実施の形態５では、上述した撮像装置５０を含む撮像システム５００について説明する。
図２２は、本発明の実施の形態５に係る撮像システム５００（例えばデジタルスチルカメラ（ＤＳＣ））の構成を示すブロック図である。
図２２に示す撮像システム５００は、光学系５０１と、イメージセンサ５０２と、アナログ・デジタル変換器（ＡＤＣ）５０３と、画像処理回路５０４と、記録転送回路５０６と、システム制御回路５０７と、タイミング制御回路５０８と、再生回路５０９とを備える。
ここで、イメージセンサ５０２は、図１に示す撮像素子１に相当し、ＡＤＣ５０３はＡＦＥ回路２に相当し、画像処理回路５０４は画像信号処理部１０１に相当し、記録転送回路５０６は記録保存部１０３に相当する。
この撮像システム５００の全体は、システム制御回路５０７によって制御されている。
この撮像システム５００においては、光学系５０１を通って入射した被写体像はイメージセンサ５０２上に結像される。イメージセンサ５０２はタイミング制御回路５０８によって駆動されることにより、結像された被写体像の光学データを蓄積し、電気信号へと光電変換する。イメージセンサ５０２から読み出された電気信号は、アナログ・デジタル変換器５０３によってデジタル信号へと変換された後、画像処理回路５０４に入力される。この画像処理回路５０４においては、本発明を用いた伸張処理、カメラ信号処理、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、画像圧縮伸張処理などの画像処理が行われる。画像処理された信号は、記録転送回路５０６においてメディアへの記録又はネットワークへの転送が行われる。記録又は転送された信号は、再生回路５０９により再生される。
なお、本発明の実施の形態の画像処理回路５０４における画像処理は、必ずしも光学系５０１を介してイメージセンサ５０２に結像された被写体像に基づく信号のみに適用されるものではなく、例えば外部装置から電気信号として入力される画像信号を処理する際にも適用可能であることはいうまでもない。
また、上記実施の形態１〜５に係る撮像装置及び撮像システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、本発明の実施の形態１〜５に係る、撮像装置及び撮像システムの機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記実施の形態１〜５に係る、撮像装置、撮像システム及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
また、上記で用いた数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
本発明は撮像装置に適用でき、デジタルスチルカメラ又はネットワークカメラ等のような画像を扱う装置に適用できる。
１ 撮像素子
２ ＡＦＥ回路
３ 圧縮部
４ 伸張部
５、５Ａ、５Ｂ、５Ｃ カメラ信号処理部
６ 解像度変換部
７ 画像符号化部
８ ビデオエンコーダ
９ メモリコントローラ
１０ 内部バス
２１、２２ 画像データ
２２Ａ 画素データ
２２Ｂ 初期画素値
２２Ｃ 平均値
２２Ｄ 遮光画素データ
２２Ｅ 初期平均値
２３ 圧縮データ
２３Ａ 圧縮パッキングデータ
２４ コード
２５ ビット変化情報
２６ 有効ビット桁数
２７ 量子化幅
２８ 最大量子化幅
２９ 量子化値
２９Ａ 量子化平均値
３０ グループＮｏ
３１ 量子化情報
３２ 伸張データ
３２Ａ 部分伸張データ
３２Ｂ 全体伸張データ
３３ 補正画像データ
３３Ａ 部分補正画像データ
３３Ｂ 全体補正画像データ
３４Ａ 部分変換画像データ
３４Ｂ 全体変換画像データ
４０ 指定データ
５０、５０Ａ 撮像装置
６０ 基準タイミング
１００、１００Ａ 撮像部
１０１、１０１Ａ 画像信号処理部
１０２ 記憶部
１０３ 記録保存部
５００ 撮像システム
５０１ 光学系
５０２ センサ
５０３ アナログ・デジタル変換器
５０４ 画像処理回路
５０６ 記録転送回路
５０７ システム制御回路
５０８ タイミング制御回路
５０９ 再生回路
７２１ ホワイトバランス処理回路
７２２ 輝度信号生成回路
７２３ 色分離回路
７２４ アパーチャ補正処理回路
７２５ マトリクス処理回路
７３１ 補正信号
７３２ 輝度信号
７３３ 色差信号
７４１ 露出制御部
７４２ 領域選択部
７４３ フォーカス制御部
７５０ 積算領域
７５１ 遮光領域

Claims (14)

  1. 入射光に応じて第１画像データを生成する撮像素子と、
    前記第１画像データを固定長符号化することにより第１圧縮データを生成する圧縮部と、
    前記第１圧縮データを記憶する記憶部と、
    前記第１圧縮データの一部である第１指定データのみを伸張することにより第１部分伸張データを生成する伸張部と、
    前記第１部分伸張データを画質補正することにより第１部分補正画像データを生成する信号処理部と、
    前記第１部分補正画像データを表示する表示部とを備える
    撮像装置。
  2. 前記伸張部は、前記第１部分伸張データを生成した後、前記記憶部に記憶されている前記第１圧縮データの全てを伸張することにより第１全体伸張データを生成し、
    前記信号処理部は、前記第１全体伸張データを画質補正することにより第１全体補正画像データを生成する
    請求項１記載の撮像装置。
  3. 前記圧縮部は、前記第１画像データに含まれる複数の画素データの一部である画素データ群ごとに、当該画素データ群に含まれる複数の画素データを固定長に圧縮することにより単位圧縮データを生成し、
    前記第１指定データは、前記単位圧縮データの各々に含まれる一部のデータである
    請求項１又は２記載の撮像装置。
  4. 前記圧縮部は、予測値と符号化対象画素の画素データとの差を示すビット変化情報を算出し、算出した前記ビット変化情報を量子化することにより固定長の量子化値を算出し、
    前記単位圧縮データは、前記予測値として用いられる画素データである基準画素値と、前記画素データ群に含まれる画素データに対応する前記量子化値と、前記量子化の条件を示す量子化情報とを含み、
    前記第１指定データは、前記基準画素値を含む
    請求項３記載の撮像装置。
  5. 前記基準画素値は、前記画素データ群に含まれる一の画素データであり、
    前記単位圧縮データは、前記基準画素値と、前記画素データ群に含まれる、前記一の画素データ以外の画素データに対応する前記量子化値と、前記量子化情報とを含む
    請求項４記載の撮像装置。
  6. 前記圧縮部は、前記画素データ群に含まれる複数の画素データの平均値を算出し、
    前記基準画素値は、前記平均値である
    請求項４記載の撮像装置。
  7. 前記画素データ群は、連続して配置された複数の画素の画素データを含み、
    前記第１指定データは、前記基準画素値と、等間隔に配置される画素に対応する前記量子化値とを含む
    請求項３記載の撮像装置。
  8. 前記複数の画素データの各々は、複数の色の画素データのうちいずれかであり、
    前記単位圧縮データは、色ごとの前記基準画素値を含み、
    前記第１指定データは、前記色ごとの基準画素値を含み、
    前記圧縮部は、符号化対象画素と同色の基準画素値を前記予測値として用いて、前記ビット変化情報を算出し、算出した前記ビット変化情報を量子化することにより固定長の量子化値を算出する
    請求項４〜７のいずれか１項に記載の撮像装置。
  9. 前期撮像素子は、さらに、入射光に応じて第２画像データを生成し、
    前記圧縮部は、さらに、前記第２画像データを固定長符号化することにより第２圧縮データを生成し、
    前記記憶部は、さらに、前記第２圧縮データを記憶し、
    前記伸張部は、さらに、前記第２の圧縮データの一部である第２指定データのみを伸張することにより第２部分伸張データを生成し、
    前記信号処理部は、さらに、前記第２部分伸張データを画質補正することにより第２部分補正画像データを生成し、
    前記表示部は、さらに、前記第２部分補正画像データを表示し、
    前記伸張部は、前記第１部分伸張データ及び前記第２部分伸張データを共に生成した後、前記第１全体伸張データを生成し、前記記憶部に記憶されている前記第２圧縮データの全てを伸張することにより第２全体伸張データを生成し、
    前記信号処理部は、さらに、前記第２全体伸張データを画質補正することにより第２全体補正画像データを生成する
    請求項２記載の撮像装置。
  10. 前記撮像装置は、さらに、
    前記第１部分伸張データを用いて前記第１画像データの輝度レベルを算出し、前記第１画像データが所定の輝度レベルとなるように前記撮像素子の露出量を制御する露出制御部を備える
    請求項１〜９のいずれか１項に記載の撮像装置。
  11. 前記撮像装置は、さらに、
    前記第１部分伸張データに含まれる画素データの周波数特性を算出し、当該周波数特性を用いてフォーカス制御を行うフォーカス制御部を備える
    請求項１〜１０のいずれか１項に記載の撮像装置。
  12. 前記第１画像データは、遮光された画素の画素データである遮光画素データを含み、
    前記圧縮部は、前記画素データ群に含まれる複数の画素データが複数の前記遮光画素データである場合、予め定められた画素数ごとに前記複数の遮光画像データの平均値を算出し、複数の算出した平均値を固定長符号化することにより前記第１圧縮データを生成する
    請求項３記載の撮像装置。
  13. 前記第１画像データは、遮光された画素の画素データである遮光画素データを含み、
    前記圧縮部は、前記画素データ群に含まれる複数の画素データが複数の前記遮光画素データである場合、予め定められた画素数ごとに前記複数の遮光画像データの最大値又は最小値を算出し、複数の算出した最小値又は最大値を固定長符号化することにより前記第１圧縮データを生成する
    請求項３記載の撮像装置。
  14. 前記撮像装置は、さらに、前記撮像素子により生成された前記第１画像データをデジタル信号に変換するＡＤ変換部を備え、
    前記圧縮部は、前記ＡＤ変換部によりデジタル信号に変換された前記第１画像データを固定長符号に圧縮することにより前記第１圧縮データを生成する
    請求項１〜１３のいずれか１項に記載の撮像装置。
JP2012517110A 2010-05-28 2011-05-02 撮像装置 Expired - Fee Related JP5793716B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012517110A JP5793716B2 (ja) 2010-05-28 2011-05-02 撮像装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010123555 2010-05-28
JP2010123555 2010-05-28
PCT/JP2011/002527 WO2011148573A1 (ja) 2010-05-28 2011-05-02 撮像装置
JP2012517110A JP5793716B2 (ja) 2010-05-28 2011-05-02 撮像装置

Publications (2)

Publication Number Publication Date
JPWO2011148573A1 true JPWO2011148573A1 (ja) 2013-07-25
JP5793716B2 JP5793716B2 (ja) 2015-10-14

Family

ID=45003574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012517110A Expired - Fee Related JP5793716B2 (ja) 2010-05-28 2011-05-02 撮像装置

Country Status (4)

Country Link
US (1) US8823832B2 (ja)
JP (1) JP5793716B2 (ja)
CN (1) CN102812698B (ja)
WO (1) WO2011148573A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003238A (ja) * 2011-06-14 2013-01-07 Sony Corp 映像信号処理回路、映像信号処理方法、表示装置、及び、電子機器
WO2015068568A1 (ja) * 2013-11-08 2015-05-14 Ｎｅｃライティング株式会社 撮像装置、有機ｅｌ素子、撮像方法、プログラムおよび記録媒体
JP6467190B2 (ja) * 2014-10-20 2019-02-06 キヤノン株式会社 露出制御装置及びその制御方法、撮像装置、プログラム、記憶媒体
CN107430766A (zh) * 2015-04-07 2017-12-01 深圳市大疆创新科技有限公司 用于将图像数据并行存储在相机系统中的系统和方法
JP6574655B2 (ja) * 2015-09-16 2019-09-11 キヤノン株式会社 撮像装置および撮像装置における符号化方法
KR102499187B1 (ko) 2018-02-12 2023-02-13 삼성전자주식회사 카메라를 이용하여 획득한 이미지를 압축 처리하는 전자 장치 및 그 동작 방법
US10680642B2 (en) * 2018-07-29 2020-06-09 Realtek Semiconductor Corp. Data processing system and image processing circuit
US10554975B1 (en) * 2018-09-30 2020-02-04 Tencent America LLC Method and apparatus for video coding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05176294A (ja) * 1991-12-25 1993-07-13 Ricoh Co Ltd デジタル電子スチルカメラ及び画像再生方法
CN1115054C (zh) * 1996-12-26 2003-07-16 索尼株式会社 图像信号编码、解码装置及方法
JP2000013806A (ja) 1998-06-23 2000-01-14 Mitsubishi Electric Corp 画像処理装置及び画像処理方法
JP2003125243A (ja) * 2001-10-16 2003-04-25 Fuji Photo Film Co Ltd 撮像装置
JP4822507B2 (ja) * 2005-10-27 2011-11-24 株式会社メガチップス 画像処理装置および画像処理装置に接続される装置
JP4508132B2 (ja) * 2006-02-27 2010-07-21 ソニー株式会社 撮像装置、撮像回路、および撮像方法
JP4680166B2 (ja) * 2006-10-30 2011-05-11 ソニー株式会社 撮像装置および撮像方法
US7969475B2 (en) * 2007-07-17 2011-06-28 Seiko Epson Corporation Low memory auto-focus and exposure system for large multi-frame image acquisition
JP2010074597A (ja) * 2008-09-19 2010-04-02 Sony Corp 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP2011049764A (ja) * 2009-08-26 2011-03-10 Toshiba Corp データ圧縮伸長装置

Also Published As

Publication number Publication date
US20130002905A1 (en) 2013-01-03
CN102812698B (zh) 2015-07-22
CN102812698A (zh) 2012-12-05
WO2011148573A1 (ja) 2011-12-01
JP5793716B2 (ja) 2015-10-14
US8823832B2 (en) 2014-09-02

Similar Documents

Publication Publication Date Title
JP5793716B2 (ja) 撮像装置
JP4337911B2 (ja) 撮像装置、撮像回路、および撮像方法
JP4769039B2 (ja) デジタル信号符号化および復号化装置ならびにその方法
JP4508132B2 (ja) 撮像装置、撮像回路、および撮像方法
JP4321496B2 (ja) 画像データ処理装置、画像データ処理方法およびプログラム
KR101395433B1 (ko) 촬상 장치 및 촬상 방법
US8295595B2 (en) Generating full color images by demosaicing noise removed pixels from images
KR100347508B1 (ko) 촬상 장치
CN101083773B (zh) 数字图像处理设备中的伽玛校正装置和方法
KR101009108B1 (ko) 화상 처리 장치 및 화상 처리 방법
US8994856B2 (en) Image processing apparatus, imaging apparatus, and image processing method for providing edge enhancement
JP4302661B2 (ja) 画像処理システム
JP7289642B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JPWO2019142836A1 (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
WO2023032484A1 (ja) 撮像システム、撮像端末及びサーバ
JP4522640B2 (ja) データ転送システムおよびデータ転送方法
JP4720494B2 (ja) 撮像装置、撮像方法およびプログラム、並びに記録媒体
JP5003787B2 (ja) 撮像装置及び撮像信号の雑音除去方法
CN115699788A (zh) 动态图像控制装置、动态图像记录装置、动态图像控制方法、动态图像记录方法及动态图像控制程序
JP2007228514A (ja) 撮像装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140718

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150323

R151 Written notification of patent or utility model registration

Ref document number: 5793716

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees