JP5238365B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP5238365B2
JP5238365B2 JP2008148260A JP2008148260A JP5238365B2 JP 5238365 B2 JP5238365 B2 JP 5238365B2 JP 2008148260 A JP2008148260 A JP 2008148260A JP 2008148260 A JP2008148260 A JP 2008148260A JP 5238365 B2 JP5238365 B2 JP 5238365B2
Authority
JP
Japan
Prior art keywords
data
image data
captured image
image
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008148260A
Other languages
Japanese (ja)
Other versions
JP2009296353A (en
Inventor
丈司 宮下
眞成 浅野
章弘 笠川
岳志 三沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008148260A priority Critical patent/JP5238365B2/en
Publication of JP2009296353A publication Critical patent/JP2009296353A/en
Application granted granted Critical
Publication of JP5238365B2 publication Critical patent/JP5238365B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像データをメモリに一時的に保存してからメモリ内の格納データを外部に出力する撮像装置に関する。 The present invention, a shooting image data relating to the data stored in an imaging device that be output to the outside in the memory after temporarily stored in the memory.

MOS型の固体撮像素子は、動作電圧が低電圧で済むため、近年普及が進み、多くのデジタルカメラやカメラ付携帯電話機等に搭載される様になってきている。 Since the CMOS type solid-state imaging device requires only a low operating voltage, it has been widely used in recent years and has been installed in many digital cameras, camera-equipped mobile phones and the like.

CMOS型固体撮像素子を駆動する場合、走査ライン毎に順次シャッタを切るローリングシャッタ方式が多く採用されるが、このローリングシャッタ方式は、画面の上部と下部とで露光タイミングが異なるため、動いている被写体に対してローリング歪みと呼ばれる画像の歪みが発生してしまう。   When driving a CMOS type solid-state imaging device, a rolling shutter system in which a shutter is sequentially released for each scanning line is often used. However, this rolling shutter system moves because the exposure timing is different between the upper part and the lower part of the screen. Image distortion called rolling distortion occurs with respect to the subject.

近年の固体撮像素子は多画素化が進展し、数百万画素以上を搭載するのが普通になってきているが、撮像画像データを読み出す画素数が多くなるほど、画面の上部から読み出すタイミングと、下部から読み出すタイミングとの差が大きくなり、画像歪みが大きくなってしまうという問題がある。   In recent years, solid-state imaging devices have been increased in number of pixels, and it has become common to mount millions of pixels or more. However, as the number of pixels from which captured image data is read increases, There is a problem that the difference from the timing of reading from the lower part becomes large and the image distortion becomes large.

そこで、下記の特許文献1記載の従来技術では、撮像画像データを一時保存するメモリを画素毎に半導体基板上に形成し、各画素が検出した画像データを一旦このメモリに蓄積し、メモリから撮像画像を読み出して、後段の画像処理装置側に撮像画像データを渡すことで、画面の上部と下部とで時間ズレのない完全同時シャッタを実現している。   Therefore, in the prior art described in Patent Document 1 below, a memory for temporarily storing captured image data is formed on a semiconductor substrate for each pixel, and image data detected by each pixel is temporarily stored in this memory, and the image is captured from the memory. By reading out the image and passing the captured image data to the subsequent image processing apparatus side, a complete simultaneous shutter with no time shift between the upper and lower portions of the screen is realized.

特開2006―129298号公報JP 2006-129298 A

固体撮像素子の撮像画像データを、画像処理装置側に出力する前に、撮像素子モジュール側に設けたメモリに一旦保存する場合には、固体撮像素子の画素数が増えても、高速シャッタを切ることが可能である。これは、メモリを、特許文献1記載の様に画素単位に固体撮像素子と同一半導体基板に設けても、また、撮像素子の外部に1画面分のデータ容量を持つメモリを設けても同様である。   When the captured image data of the solid-state image sensor is temporarily stored in the memory provided on the image sensor module side before being output to the image processing device side, the high-speed shutter is released even if the number of pixels of the solid-state image sensor increases. It is possible. This is the same even if the memory is provided on the same semiconductor substrate as the solid-state image sensor as described in Patent Document 1, or a memory having a data capacity for one screen is provided outside the image sensor. is there.

しかし、連写する場合、前回の撮像で得られた画像データがメモリから画像処理装置側に転送された後でなければ、今回の撮像を行うことができず、連写性能が低下してしまう。   However, in the case of continuous shooting, the current shooting cannot be performed unless the image data obtained in the previous shooting is transferred from the memory to the image processing apparatus, and the continuous shooting performance deteriorates. .

つまり、画素数が多く転送データ量が多くなる固体撮像素子を用いる場合には、メモリから画像処理装置側へのデータ転送路の転送速度がボトルネックとなり、高速連写ができなくなってしまうという問題がある。   In other words, when using a solid-state imaging device with a large number of pixels and a large amount of transfer data, the transfer speed of the data transfer path from the memory to the image processing apparatus becomes a bottleneck, and high-speed continuous shooting cannot be performed. There is.

上記は、連写を例に説明したが、動画撮影時のフレームレートを高くすることもできなくなり、あるいはAFデータ,AEデータ取得のためのスルー画像のフレームレートを高くすることができなくなってしまう。   In the above description, continuous shooting has been described as an example. However, it is impossible to increase the frame rate at the time of moving image shooting, or it becomes impossible to increase the frame rate of a through image for acquiring AF data and AE data. .

本発明の目的は、撮像素子の画素数が多い場合でも高速連写や高フレームレートでの動画像データの撮像を可能にする撮像素子モジュール及びその撮像データ出力方法並びに撮像装置を提供することにある。   An object of the present invention is to provide an imaging element module, an imaging data output method, and an imaging apparatus that enable high-speed continuous shooting and imaging of moving image data at a high frame rate even when the number of pixels of the imaging element is large. is there.

本発明の撮像装置は、撮像素子モジュールと、該撮像素子モジュールの外部に設けられ該撮像素子モジュールから出力されるRAWデータの撮像画像データに対して画像処理を施しJPEG画像データにする画像処理手段を備える撮像装置本体とを備える撮像装置であって、前記撮像素子モジュールは、被写体画像を撮像するMOS型の撮像素子と、該撮像素子により撮像された撮像画像データをRAWデータのままデジタル信号で記憶するメモリと、該メモリから読み出した前記RAWデータの前記撮像画像データを圧縮して出力する圧縮手段とを備え、前記撮像装置本体には、前記撮像素子モジュールから出力される前記圧縮された前記撮像画像データを直接受け取り伸張するデータ入力手段と、該データ入力手段により伸張された前記撮像画像データを直接受け取り画像処理する前記画像処理手段と、前記データ入力手段及び前記画像処理手段にバスを介して接続されたフレームメモリとを備えることを特徴とする。この構成により、連写性能が高くなり、また、動画のフレームレート高く維持することが可能となる。 Imaging apparatus of the present invention includes an imaging device module, image processing for the JPEG image data subjected to image processing on the captured image data of the RAW data output from the image sensor module disposed on the outer portion of the image sensor module An image pickup apparatus comprising: an image pickup apparatus main body comprising: a MOS type image pickup element that picks up a subject image; and a picked-up image data picked up by the image pickup element as a RAW data as a digital signal in comprising a memory for storing, and a compression means for force out by compressing the captured image data of the RAW data read out from the memory, the imaging apparatus main body, the compressed output from the imaging device module Data input means for directly receiving and expanding the captured image data, and the data input means expanded by the data input means Characterized by comprising said image processing means for directly receiving the image processing of the image image data, and a frame memory connected via a bus to said data input means and said image processing means. With this configuration, the continuous shooting performance is improved and the moving image frame rate can be maintained high.

本発明の撮像装置は、前記撮像素子から読み出された前記撮像画像データを、該読み出しと同時に前記圧縮手段で圧縮し前記データ入力手段へ出力することを特徴とする。この構成により、連写性能が高くなり、また、動画のフレームレート高く維持することが可能となる。 The image pickup apparatus of the present invention is characterized in that the picked-up image data read from the image pickup device is compressed by the compression means simultaneously with the reading and output to the data input means . With this configuration, the continuous shooting performance is improved and the moving image frame rate can be maintained high.

本発明の撮像装置は、前記圧縮が可逆圧縮であることを特徴とする。この構成により、連写性能等を高く維持できると共に、画像の品質劣化を回避することが可能となる。 The image pickup apparatus of the present invention is characterized in that the compression is reversible compression. With this configuration, it is possible to maintain high continuous shooting performance and the like and to avoid image quality deterioration.

本発明の撮像装置は、前記撮像素子の前段に配置されるメカニカルシャッタが「閉」にされたとき前記撮像素子から得られる前記撮像画像データを前記圧縮手段で圧縮し前記データ入力手段に出力することを特徴とする。この構成により、少ないデータ転送量で黒レベルの検出が可能となる。 The image pickup apparatus according to the present invention compresses the picked-up image data obtained from the image pickup device by the compression means when the mechanical shutter disposed in front of the image pickup device is “closed”, and outputs the compressed image data to the data input means . It is characterized by that. With this configuration, the black level can be detected with a small data transfer amount.

本発明の撮像装置は、前記撮像素子の各画素に積層されたカラーフィルタの色毎に前記撮像画像データの前記圧縮を行うことを特徴とする。この構成により、連写性能等の向上と転送データ量の一層の削減が可能となる。 The imaging apparatus according to the present invention is characterized in that the captured image data is compressed for each color of a color filter stacked on each pixel of the imaging element. With this configuration, continuous shooting performance and the like can be improved and the amount of transferred data can be further reduced.

本発明の撮像装置は、前記撮像素子の各画素に積層されたカラーフィルタの色毎の前記撮像画像データの積算値に基づき前記圧縮を非可逆圧縮で行うことを特徴とする。この構成により、転送データ量の削減が図られ連写性能等を高く維持できると共に、画質の大幅劣化を回避可能となる。 The imaging apparatus according to the present invention is characterized in that the compression is performed by irreversible compression based on an integrated value of the captured image data for each color of a color filter stacked on each pixel of the imaging element. With this configuration, it is possible to reduce the amount of transfer data and maintain high continuous shooting performance and the like, and to avoid a significant deterioration in image quality.

本発明の撮像装置は、前記撮像素子の各画素に積層されたカラーフィルタの色毎に前記撮像画像データを積算し該積算値を前記データ入力手段を通して前記撮像装置本体に出力させる積算手段を前記撮像素子モジュールが備え、前記撮像装置本体には、該撮像素子モジュールから出力される前記積算値に基づいて自動露出制御を行う制御手段が前記バスに接続されていることを特徴とする。この構成により、転送データ量の削減が図られると共にカメラのAE処理の高速化を図ることが可能となる。 Imaging apparatus of the present invention, an integration means for outputting to said image pickup device the bodies integrated to the integrated value the captured image data for each color of the color filters are laminated to each pixel through the data input means of the imaging device The image pickup device module is provided, and the image pickup apparatus main body is connected to the bus with control means for performing automatic exposure control based on the integrated value output from the image pickup device module . With this configuration, the amount of transfer data can be reduced and the AE processing of the camera can be speeded up.

本発明の撮像装置は、前記撮像画像データのうち隣接画素間データの微分値を算出し該微分値を前記データ入力手段を通して前記撮像装置本体に出力する微分フィルタを前記撮像素子モジュールが備え、前記撮像装置本体には、該撮像素子モジュールから出力される前記微分値に基づいて自動焦点制御を行う制御手段が前記バスに接続されていることを特徴とする。この構成により、転送データ量の削減と、AF処理の高速化を図ることが可能となる。 Imaging apparatus of the present invention, a differential filter that outputs a fine fraction value to calculate the differential value data between adjacent pixels of the captured image data to the imaging apparatus Body through said data input means the image sensor module comprising, The image pickup apparatus main body is connected to the bus with a control unit that performs automatic focus control based on the differential value output from the image pickup device module . With this configuration, it is possible to reduce the amount of transfer data and increase the speed of AF processing.

本発明の撮像装置は、前回の前記撮像画像データと今回の前記撮像画像データとの差分データを前記圧縮したデータとすることを特徴とする。この構成により、転送データ量が削減されて連写性能等の向上を図ることが可能となる。 The imaging apparatus of the present invention is characterized in that difference data between the previous captured image data and the current captured image data is the compressed data. With this configuration, it is possible to reduce the amount of transferred data and improve continuous shooting performance and the like.

本発明の撮像装置は、被写体を撮像した前記撮像画像データと、前記撮像素子の前段に配置されたメカニカルシャッタが「閉」にされたとき得られる前記撮像画像データとの差分を前記圧縮したデータとして前記データ入力手段を通して前記撮像装置本体に出力することを特徴とする。この構成により、連写性能等の向上が図られると共に黒レベルを正確に減算した撮像画像データを得ることが可能となる。 The image pickup apparatus of the present invention is a data obtained by compressing a difference between the picked-up image data obtained by picking up a subject and the picked-up image data obtained when the mechanical shutter disposed in the previous stage of the image pickup device is “closed”. and outputs to the imaging device the body through said data input means as. With this configuration, continuous shooting performance and the like can be improved, and captured image data in which the black level is accurately subtracted can be obtained.

本発明によれば、撮像素子モジュールから出力されるデータのデータ量が削減されてデータ出力時間が短縮されるため、撮像素子からの読み出し時間がデータ出力時間の遅延によって遅くなることがなくなり、数百万画素以上の撮像素子を搭載しても、連写性能が高く、また、動画撮影のフレームレートを高く維持することが可能となる。   According to the present invention, since the data amount of data output from the image sensor module is reduced and the data output time is shortened, the readout time from the image sensor is not delayed due to the delay in the data output time. Even when an image sensor with 1 million pixels or more is mounted, the continuous shooting performance is high and the frame rate of moving image shooting can be maintained high.

以下、本発明の一実施形態について、図面を参照して説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

(第1の実施形態)
図1は、本発明の一実施形態に係る撮像装置、図示する例ではデジタルスチルカメラの機能ブロック図である。デジタルスチルカメラ1は、カメラ全体を統括制御するシステム制御部(CPU)2と、ユーザからの操作入力を受け付ける操作部(シャッタボタンや操作スイッチ等を含む)3と、デジタル信号処理部(DSP)4と、メインメモリ(フレームメモリ)5と、外部記憶媒体を接続するメモリカードIF(インタフェース)部6と、カメラ背面等に設けられた液晶等の画像表示部7と、通信用IF部8と、ドライバ9と、データ解凍機能(データ伸長機能)を有するデータ入力IF部10と、これらを相互接続するメインバス11とを備える。
(First embodiment)
FIG. 1 is a functional block diagram of an imaging apparatus according to an embodiment of the present invention, in the illustrated example, a digital still camera. The digital still camera 1 includes a system control unit (CPU) 2 that performs overall control of the entire camera, an operation unit (including a shutter button and an operation switch) 3 that receives operation input from a user, and a digital signal processing unit (DSP). 4, a main memory (frame memory) 5, a memory card IF (interface) unit 6 for connecting an external storage medium, an image display unit 7 such as a liquid crystal provided on the back of the camera, etc., and a communication IF unit 8 , A driver 9, a data input IF unit 10 having a data decompression function (data decompression function), and a main bus 11 interconnecting them.

デジタルスチルカメラ1は、更に、撮像素子モジュール12が搭載されると共に、撮像素子モジュール12内のCMOS型イメージセンサの前段に設けられた撮影レンズやメカニカルシャッタを備える光学系13を備え、撮影レンズやメカニカルシャッタは、CPU2からの指示に基づき、ドライバ9のレンズ駆動部,シャッタ駆動部によって駆動される。また、撮像素子モジュール12も、ドライバ9の撮像素子駆動部によって駆動される。   The digital still camera 1 is further provided with an image sensor module 12 and an optical system 13 including a photographic lens and a mechanical shutter provided in front of the CMOS image sensor in the image sensor module 12. The mechanical shutter is driven by the lens driving unit and the shutter driving unit of the driver 9 based on an instruction from the CPU 2. The image sensor module 12 is also driven by the image sensor drive section of the driver 9.

図2は、図1に示す撮像素子モジュール12の詳細構成図である。撮像素子モジュール12は、ドライバ9の撮像素子駆動部からの指示信号により駆動されるロジック制御,駆動回路21と、複数の画素が半導体基板上に二次元アレイ状に配列形成された画素アレイ部22と、画素アレイ部22から読み出されたアナログの画像信号をデジタル信号に変換するアナログ/デジタル(A/D)変換部23とを備える。   FIG. 2 is a detailed configuration diagram of the image sensor module 12 shown in FIG. The image sensor module 12 includes a logic control and drive circuit 21 driven by an instruction signal from the image sensor drive section of the driver 9 and a pixel array section 22 in which a plurality of pixels are arranged in a two-dimensional array on a semiconductor substrate. And an analog / digital (A / D) converter 23 that converts an analog image signal read from the pixel array unit 22 into a digital signal.

画素アレイ部22の各画素には、信号読出回路としてCMOSトランジスタが形成され、この信号読出回路から読み出された撮像画像信号がA/D変換部23に出力される。尚、信号読出回路は、CMOSに限るものではなく、NMOS等、MOSトランジスタ構成であれば良い。   A CMOS transistor is formed as a signal readout circuit in each pixel of the pixel array unit 22, and a captured image signal read from the signal readout circuit is output to the A / D conversion unit 23. The signal readout circuit is not limited to a CMOS, and may be a MOS transistor configuration such as an NMOS.

この撮像素子モジュール12は、更に、1画面分の画像データを一時的に保存する容量を持つモジュール内メモリ25と、A/D変換部23の出力部に接続されメモリ25の書込/読出を制御すると共に駆動回路21と協動動作するメモリコントローラ26と、メモリコントローラ26から出力される画像データを圧縮する圧縮部27と、圧縮された画像データを外部に出力するデータIF部28とを備える。   The image sensor module 12 is further connected to an in-module memory 25 having a capacity for temporarily storing image data for one screen and an output unit of the A / D conversion unit 23 to write / read the memory 25. A memory controller 26 that controls and cooperates with the drive circuit 21; a compression unit 27 that compresses image data output from the memory controller 26; and a data IF unit 28 that outputs the compressed image data to the outside. .

斯かる構成のデジタルスチルカメラ1では、連写機能が操作部3で選択され、シャッタボタンが押下されると、図の光学系13を通し撮像素子モジュール12の画素アレイ部22に被写体の光学像が結像され、露光が開始する。 In the digital still camera 1 of this configuration, continuous shooting function is selected by the operating unit 3, the shutter button is pressed, the optical object in the pixel array unit 22 of the image sensor module 12 through the optical system 13 of FIG. 1 An image is formed and exposure begins.

画素アレイ部22は、本実施形態では、図3(b)に示す様に、ローリングシャッタ方式で駆動され、画素アレイ部22の各画素対応の信号読出回路からは、被写体からの入射光量に応じた撮像画像データが、画面の上部から下部にかけて走査ライン順にA/D変換部23に出力される。   In this embodiment, as shown in FIG. 3B, the pixel array unit 22 is driven by a rolling shutter system, and the signal readout circuit corresponding to each pixel of the pixel array unit 22 responds to the amount of incident light from the subject. The captured image data is output to the A / D converter 23 in the order of scanning lines from the top to the bottom of the screen.

A/D変換部23は、画素アレイ部22から出力される走査ライン順の撮像画像データをデジタルデータに変換してメモリコントローラ26に渡し、メモリコントローラ26は、この撮像画像データ(デジタルデータ)をRAWデータのままモジュール内メモリ25に一時的に格納する。   The A / D converter 23 converts the captured image data in the scanning line order output from the pixel array unit 22 into digital data and passes it to the memory controller 26, and the memory controller 26 receives the captured image data (digital data). The raw data is temporarily stored in the in-module memory 25.

メモリ25に一時的に格納された撮像画像データは、直ちにメモリコントローラ26によって画面上部の画像データから走査ライン順に読み出され、カメラ本体側に出力されるが、本実施形態では、メモリコントローラ26から出力された撮像画像データ(RAWデータ)は、圧縮部27によって圧縮され、圧縮された撮像画像データがデータIF部28から、図1に示すデータ入力IF部10に出力される。   The captured image data temporarily stored in the memory 25 is immediately read out in order of scanning lines from the image data at the top of the screen by the memory controller 26 and is output to the camera body side. The output captured image data (RAW data) is compressed by the compression unit 27, and the compressed captured image data is output from the data IF unit 28 to the data input IF unit 10 shown in FIG.

データ入力IF部10は、受け取った圧縮撮像画像データを、解凍すなわち伸長して、デジタル信号処理部4に渡したり、或いは、メインバス11を通してメインメモリ(フレームメモリ)5に格納する。   The data input IF unit 10 decompresses or expands the received compressed captured image data and passes it to the digital signal processing unit 4 or stores it in the main memory (frame memory) 5 through the main bus 11.

デジタル信号処理部4は、渡された撮像画像データを画像処理し、JPEG画像データにしてメモリカードに記録し、あるいはスルー画像データを画像表示部7に表示する。   The digital signal processing unit 4 performs image processing on the received captured image data, records it as JPEG image data on a memory card, or displays the through image data on the image display unit 7.

上述した様に、本実施形態のデジタルスチルカメラ1に搭載した撮像素子モジュール12は、外部すなわちカメラ本体側に転送する撮像画像データを圧縮して転送するため、転送データ量が削減される。   As described above, the image sensor module 12 mounted on the digital still camera 1 of the present embodiment compresses and transfers captured image data to be transferred to the outside, that is, the camera body side, so that the amount of transfer data is reduced.

図3(a)は、撮像画像データを圧縮せずにカメラ本体側に転送したときの状態を示している。撮像画像データを圧縮しない場合には、データ量が多くなるため、転送に時間がかかり、モジュール内メモリ25が空になるのに時間がかかる。   FIG. 3A shows a state when captured image data is transferred to the camera body without being compressed. If the captured image data is not compressed, the amount of data increases, so it takes time to transfer and it takes time to empty the in-module memory 25.

つまり、次の撮像までの待機時間が長くなってしまう。この待機時間は、画素アレイ部22の画素数が増えるほど転送データ量が多くなって長くなり、連写機能が低下してしまう。   That is, the standby time until the next imaging is lengthened. The waiting time becomes longer as the number of pixels in the pixel array unit 22 increases, and the amount of transfer data increases and the continuous shooting function deteriorates.

これに対し、本実施形態では、データ圧縮により転送データ量が削減されるため、図3(b)に示す様に、転送に要する時間が短縮される。このため、撮像素子モジュール12の撮像画像データの出力経路がボトルネックとなることがなく、次々と高速連写が可能となる。また、転送データ量が削減されるため、データIF部28の消費電力(発熱)の削減にも寄与することになる。   On the other hand, in this embodiment, since the amount of transfer data is reduced by data compression, the time required for transfer is shortened as shown in FIG. Therefore, the output path of the captured image data of the image sensor module 12 does not become a bottleneck, and high-speed continuous shooting can be performed one after another. Further, since the amount of transfer data is reduced, this contributes to reduction of power consumption (heat generation) of the data IF unit 28.

撮像素子モジュール12に搭載する画素アレイ部22の画素数が多くなれば、それだけデータ量も増大するが、その場合には画素数に合わせて圧縮部27における圧縮率を高めれば、撮像画像データの出力経路がボトルネックになることはない。   As the number of pixels of the pixel array unit 22 mounted on the image sensor module 12 increases, the amount of data increases accordingly. In that case, if the compression rate in the compression unit 27 is increased in accordance with the number of pixels, the captured image data The output path never becomes a bottleneck.

尚、画像圧縮は、非可逆圧縮でも良いが、画像の品質を保つために可逆圧縮とするのが良い。   The image compression may be irreversible compression, but is preferably lossless compression in order to maintain the image quality.

(第2の実施形態)
図4は、本発明の第2の実施形態に係るタイミングチャートである。ハードウェア構成は、図1,図2と同様である。
(Second Embodiment)
FIG. 4 is a timing chart according to the second embodiment of the present invention. The hardware configuration is the same as in FIGS.

図4(a)は、図3(a)と同様のタイミングチャートであり、データ圧縮を用いない場合に、モジュール内メモリ25から外部へのデータ転送に時間がかかる様子を示している。   FIG. 4A is a timing chart similar to that in FIG. 3A, and shows that it takes time to transfer data from the in-module memory 25 to the outside when data compression is not used.

この図4(a)に示すタイミングチャートでは、ローリングシャッタ方式で露光を行い、信号の読み出しが済んでから、つまり、1画面分の撮像画像データがモジュール内メモリ25に格納された後、メモリ25から撮像画像データをカメラ本体側に出力している。   In the timing chart shown in FIG. 4A, after the exposure is performed by the rolling shutter method and the signal is read out, that is, after the captured image data for one screen is stored in the in-module memory 25, the memory 25 The captured image data is output to the camera body side.

しかし、図4(b)に示す様に、撮像画像データの画素アレイ部22から読み出し及びメモリ25への格納と並行して、メモリ25からの撮像画像データのカメラ本体側への転送を行えば、転送終了までに要する時間の短縮を図ることが可能となる。この画像データの出力制御によっても、連写性能の向上を図ることが可能となるが、勿論、本実施形態でも、圧縮部27によるデータ圧縮を併用すれば、更なるデータ出力時間の短縮を図ることができることはいうまでもない。   However, as shown in FIG. 4B, when the captured image data is read from the pixel array unit 22 and stored in the memory 25, the captured image data from the memory 25 is transferred to the camera body side. Thus, it is possible to reduce the time required for the end of transfer. This image data output control can also improve the continuous shooting performance. Of course, in this embodiment, if the data compression by the compression unit 27 is also used, the data output time can be further shortened. It goes without saying that it can be done.

(第3の実施形態)
図5は、本発明の第3の実施形態に係る撮影手順のフローチャートである。ハードウェア構成は、図1,図2と同様である。本実施形態では、最初の撮影で被写体画像を撮影し、連続する次の撮影では、メカニカルシャッタを閉じて撮影することで、黒レベルの検出データを得る。黒レベルの撮影を「ダーク撮影」という。
(Third embodiment)
FIG. 5 is a flowchart of an imaging procedure according to the third embodiment of the present invention. The hardware configuration is the same as in FIGS. In the present embodiment, the subject image is photographed in the first photographing, and the black level detection data is obtained by photographing with the mechanical shutter closed in the next successive photographing. Black level shooting is called “dark shooting”.

先ず、ステップS1で、被写体画像を撮影し、画素アレイ部22の信号読出回路から撮像画像データを読み出す。この撮像画像データは、モジュール内メモリ25に格納し、圧縮してカメラ本体側に出力する。尚、この場合のデータ圧縮は必須ではなく、次にダーク撮影の露光期間が設けられるため、この露光期間でデータ転送を行えばよい。   First, in step S <b> 1, a subject image is captured, and captured image data is read from the signal readout circuit of the pixel array unit 22. The captured image data is stored in the in-module memory 25, compressed, and output to the camera body side. Note that data compression in this case is not essential, and an exposure period for dark photography is provided next, so data transfer may be performed during this exposure period.

次のステップS2で、メカニカルシャッタを閉じ、ステップS3で、ダーク撮影と読出を行う。このダーク撮影で得られた黒レベルのデータは、モジュール内メモリ25に格納し、圧縮部27で圧縮してカメラ本体側に転送する(ステップS4)。   In the next step S2, the mechanical shutter is closed, and in step S3, dark photographing and reading are performed. The black level data obtained by the dark photographing is stored in the in-module memory 25, compressed by the compression unit 27, and transferred to the camera body side (step S4).

図6は、本実施形態における動作タイミングチャートである。被写体画像の撮影をローリングシャッタ方式で行い、露光期間が過ぎた走査ラインから信号読出を行い、モジュール内メモリ25への格納及びメモリ25からのデータ読出とデータ圧縮を行って、カメラ本体側にデータ転送を行う。   FIG. 6 is an operation timing chart in the present embodiment. The subject image is taken by the rolling shutter method, the signal is read from the scanning line after the exposure period, the data is stored in the in-module memory 25, the data is read from the memory 25, and the data is compressed. Perform the transfer.

被写体画像の1画面分の露光が終了し信号読出時間が経過した後、メカニカルシャッタを閉じ、ダーク撮影の露光をローリングシャッタ方式で開始する。   After the exposure of one screen of the subject image is completed and the signal reading time has elapsed, the mechanical shutter is closed, and exposure for dark photography is started by the rolling shutter method.

このダーク露光で得られた黒レベルのデータは、モジュール内メモリ25に格納され、データ圧縮されてカメラ本体側に転送される。ダーク撮影により得られたデータは、可逆圧縮でも、ビット削減でも良い。ダークのデータは、圧縮率が高くなるため、転送に要する時間は短時間で済む。   The black level data obtained by this dark exposure is stored in the in-module memory 25, is compressed and transferred to the camera body side. Data obtained by dark imaging may be lossless compression or bit reduction. Since dark data has a high compression rate, the transfer time is short.

本実施形態によれば、黒レベルのデータの撮影を本撮影に連続して行う場合でも、トータルの撮影時間を短くすることが可能となる。   According to this embodiment, even when black level data is shot continuously after the main shooting, the total shooting time can be shortened.

(第4の実施形態)
図7は、本発明の第4の実施形態に係るデータ出力のタイミングチャートである。ハードウェア構成は、図1,図2と同様である。本実施形態では、ローリングシャッタ方式で被写体画像を撮像し、その撮像画像データをモジュール内メモリ25に格納するところまでは、第1の実施形態と同じである。
(Fourth embodiment)
FIG. 7 is a timing chart of data output according to the fourth embodiment of the present invention. The hardware configuration is the same as in FIGS. The present embodiment is the same as the first embodiment until a subject image is captured by the rolling shutter method and the captured image data is stored in the in-module memory 25.

異なるのは、第1の実施形態では、メモリ25に格納された走査ライン順に、撮像画像データを読み出し、圧縮部27でデータ圧縮してカメラ本体側に転送したが、本実施形態では、1画面分の撮像画像データが格納されたメモリ25から、先ず、青色(B)のカラーフィルタを搭載した画素から読み出された撮像画像データだけを読み出し、圧縮部27で圧縮してカメラ本体側に転送し、次に、緑色(G)のカラーフィルタを搭載した画素から読み出された撮像画像データだけを読み出し、圧縮部27で圧縮してカメラ本体側に転送し、最後に、赤色(R)のカラーフィルタを搭載した画素から読み出された撮像画像データだけを読み出し、圧縮部27で圧縮してカメラ本体側に転送する。勿論、読み出すデータの色順は、B→G→Rの順に限るものではなく、任意である。   The difference is that in the first embodiment, the captured image data is read out in the order of the scanning lines stored in the memory 25, compressed by the compression unit 27, and transferred to the camera body side. First, only the captured image data read from the pixel equipped with the blue (B) color filter is read out from the memory 25 storing the captured image data for the corresponding amount, and is compressed by the compression unit 27 and transferred to the camera body side. Next, only the captured image data read from the pixel mounted with the green (G) color filter is read out, compressed by the compression unit 27 and transferred to the camera body side, and finally the red (R) Only the captured image data read from the pixels equipped with the color filter is read, compressed by the compression unit 27, and transferred to the camera body side. Of course, the color order of the data to be read is not limited to the order of B → G → R, but is arbitrary.

この様に、同色の撮像画像データだけを纏めて読み出し圧縮するため、相関性の高いデータの圧縮となり、圧縮率が高くなってデータ転送時間の短縮を図ることが可能となる。   In this way, since only the captured image data of the same color are collectively read and compressed, data with high correlation is compressed, and the compression rate is increased and the data transfer time can be shortened.

(第5の実施形態)
図8は、本発明の第5の実施形態に係るデータ出力手順を示すフローチャートである。ハードウェア構成は図1,図2と同様であるが、本実施形態では、撮像素子モジュール12がCPU2の制御支配下にあり、圧縮部27はCPU2によって制御される構成になっている。
(Fifth embodiment)
FIG. 8 is a flowchart showing a data output procedure according to the fifth embodiment of the present invention. Although the hardware configuration is the same as in FIGS. 1 and 2, in this embodiment, the image sensor module 12 is under the control of the CPU 2, and the compression unit 27 is controlled by the CPU 2.

先ず、ステップS11で撮影が行われる。この撮影により、16ビットの撮像画像データ(RAWデータ)がモジュール内メモリ25に格納されることになる。   First, photographing is performed in step S11. By this shooting, 16-bit captured image data (RAW data) is stored in the in-module memory 25.

次のステップS12では、CPU2は、ユーザが操作部3を通してRAWデータ記録モードを設定しているか否かを判定する。RAWデータ記録モードが設定されている場合には、ステップS12からステップS13に進み、メモリ25に格納されている16ビットの撮像画像データの出力すなわちカメラ本体側への転送を行う。即ち、圧縮部27は、16ビットの撮像画像データをデータ圧縮してカメラ本体側に転送する。   In next step S <b> 12, the CPU 2 determines whether or not the user has set the RAW data recording mode through the operation unit 3. When the RAW data recording mode is set, the process proceeds from step S12 to step S13, and the 16-bit captured image data stored in the memory 25 is output, that is, transferred to the camera body side. That is, the compression unit 27 compresses 16-bit captured image data and transfers it to the camera body side.

RAWデータ記録モードが設定されていない場合には、ステップS12からステップS14に進み、今度は、スルー画像データから得られたAEデータ(露出データ)から撮像画像データの積算レンジ(ダイナミックレンジ)が所定値より広いか否かを判定する。   When the RAW data recording mode is not set, the process proceeds from step S12 to step S14, and this time, the integrated range (dynamic range) of the captured image data is predetermined from the AE data (exposure data) obtained from the through image data. Judge whether it is wider than the value.

ダイナミックレンジが所定値より広い場合には、ステップS15に進み、16ビットの撮像画像データのうち上位12ビットの出力を行う。即ち、圧縮部27は、メモリコントローラ26から受け取った16ビットのデータのうち、上位12ビットだけをカメラ本体側に転送する。   If the dynamic range is wider than the predetermined value, the process proceeds to step S15, and the upper 12 bits of the 16-bit captured image data are output. That is, the compression unit 27 transfers only the upper 12 bits of the 16-bit data received from the memory controller 26 to the camera body side.

ダイナミックレンジが所定値より狭い場合には、ステップS16に進み、16ビットの撮像画像データのうち下位12ビットの出力を行う。即ち、圧縮部27は、メモリコントローラ26から受け取った16ビットのデータのうち、下位12ビットだけをカメラ本体側に転送する。   When the dynamic range is narrower than the predetermined value, the process proceeds to step S16, and the lower 12 bits of the 16-bit captured image data are output. That is, the compression unit 27 transfers only the lower 12 bits of the 16-bit data received from the memory controller 26 to the camera body side.

この様に本実施形態では、RAWデータ記録モードでない場合に圧縮部27はビット深度を16ビット→12ビットに非可逆圧縮してデータ削減を図るため、転送時間の短縮を図ることが可能となる。しかし、ダイナミックレンジ幅に応じてデータ選別を行っているため、非可逆圧縮でも、画質に大きな影響を与えることはない。   As described above, in this embodiment, when not in the RAW data recording mode, the compression unit 27 performs lossy compression by reducing the bit depth from 16 bits to 12 bits, thereby reducing the transfer time. . However, since data selection is performed according to the dynamic range width, image quality is not greatly affected even by lossy compression.

(第6の実施形態)
図9は、本発明の第6の実施形態に係る撮像素子モジュールの機能構成図である。デジタルスチルカメラの機能構成は、図1と同様である。
(Sixth embodiment)
FIG. 9 is a functional configuration diagram of an image sensor module according to the sixth embodiment of the present invention. The functional configuration of the digital still camera is the same as in FIG.

本実施形態に係る撮像素子モジュール30は、図2の実施形態と比較して、圧縮部27を省略し、代わりに、メモリコントローラ26の前段に、A/D変換部23から出力される撮像画像データをメモリコントローラ26と並行して受け取り、積算データを算出する積算部31を設け、更に、モジュール内メモリ25に、この積算データを格納するエリア25yを設けた点が異なる。   Compared with the embodiment of FIG. 2, the imaging element module 30 according to the present embodiment omits the compression unit 27, and instead, the captured image output from the A / D conversion unit 23 in the previous stage of the memory controller 26. The difference is that an integration unit 31 for receiving the data in parallel with the memory controller 26 and calculating the integration data is provided, and further, an area 25y for storing this integration data is provided in the in-module memory 25.

積算部31は、A/D変換部23から出力される撮像画像データを受け取り、1画面を例えば8×8=64の部分領域に分け、各部分領域毎に、R(赤),G(緑),B(青)の撮像画像データの積算値(AEデータ)を求め、各積算値を部分領域毎に積算値エリア25yに格納する。   The accumulator 31 receives the captured image data output from the A / D converter 23, divides one screen into, for example, 8 × 8 = 64 partial areas, and R (red) and G (green) for each partial area. ), B (blue) of the captured image data (AE data) is obtained, and each integrated value is stored in the integrated value area 25y for each partial region.

デジタルスチルカメラ1に搭載された撮像素子モジュール30は、電源がオンとなり撮影モードに設定されている間は、常時、動画状態で被写体画像データをスルー画像データとして出力しており、これをカメラ本体側に転送している。   The image sensor module 30 mounted on the digital still camera 1 always outputs subject image data as through image data in a moving image state while the power is turned on and the shooting mode is set. Is transferring to the side.

従来は、カメラ本体側のデジタル信号処理部4がスルー画像データを受け取り、スルー画像データを積算してAEデータを取得しているが、本実施形態では、撮像素子モジュール30側に設けた積算部31でAEデータを算出し、これを、モジュール内メモリ25の特定エリア25yに保存し、モジュール内メモリ25の本体部に格納された撮像画像データを、画像表示部7の画素数まで間引いた縮小画像データと共にカメラ本体側に転送する様にすれば、AE処理の高速化と、転送データのデータ量削減を図ることが可能となる。   Conventionally, the digital signal processing unit 4 on the camera body side receives through image data and integrates the through image data to acquire AE data. In this embodiment, the integration unit provided on the image sensor module 30 side. The AE data is calculated at 31, stored in the specific area 25 y of the in-module memory 25, and reduced by thinning the captured image data stored in the main body of the in-module memory 25 to the number of pixels of the image display unit 7. If the image data is transferred to the camera body side, it is possible to increase the speed of the AE process and reduce the amount of transfer data.

尚、図2に示す圧縮部27を設け、メモリ25に格納された1画面分の撮像画像データを、図2に示す実施形態と同様に圧縮部27で圧縮しカメラ本体側に転送する様にしても良い。   2 is provided, and the captured image data for one screen stored in the memory 25 is compressed by the compression unit 27 and transferred to the camera body side as in the embodiment shown in FIG. May be.

(第7の実施形態)
図10は、本発明の第7の実施形態に係る撮像素子モジュールの機能構成図である。デジタルスチルカメラ本体側の機能は、図1と同様である。
(Seventh embodiment)
FIG. 10 is a functional configuration diagram of an image sensor module according to the seventh embodiment of the present invention. The functions on the digital still camera main body side are the same as those in FIG.

本実施形態の撮像素子モジュール32は、図2の撮像素子モジュール12と比較して、圧縮部12の代わりに、フィルタ部33を設けている点が異なるだけである。   The image sensor module 32 of the present embodiment is different from the image sensor module 12 of FIG. 2 only in that a filter unit 33 is provided instead of the compression unit 12.

フィルタ部33は、AF(自動焦点処理)時に、メモリ25から読み出し、後段のカメラ本体側に転送する撮像画像データに対して微分フィルタ処理(隣接画素の撮像画像データ間の差分変化量を求める処理)を施し、微分フィルタ処理後のデータをカメラ本体側に転送する。カメラ本体側は、この微分フィルタ処理後のデータを用いてAF動作を行う。   The filter unit 33 performs differential filter processing (processing for obtaining a difference change amount between captured image data of adjacent pixels) on the captured image data read from the memory 25 and transferred to the camera body side at the subsequent stage during AF (automatic focus processing) ) And transfer the data after differential filter processing to the camera body. The camera body side performs AF operation using the data after the differential filter processing.

微分フィルタ処理後のデータはデータ量が削減されるため、転送に要する時間の短縮が可能となり、AF処理の高速化を図ることが可能となる。   Since the amount of data after the differential filter processing is reduced, the time required for transfer can be shortened, and the AF processing can be speeded up.

尚、本実施形態では、第6の実施形態と同様に、縮小画像データをカメラ本体側に転送しても、あるいは、圧縮部27を設けて圧縮した撮像画像データをカメラ本体側に転送する様にしても良い。   In this embodiment, similarly to the sixth embodiment, the reduced image data is transferred to the camera body side, or the captured image data compressed by the compression unit 27 is transferred to the camera body side. Anyway.

(第8の実施形態)
図11は、本発明の第8の実施形態に係る撮像素子モジュールの機能構成図である。デジタルスチルカメラ本体側の機能は、図1と同様である。
(Eighth embodiment)
FIG. 11 is a functional configuration diagram of an image sensor module according to the eighth embodiment of the present invention. The functions on the digital still camera main body side are the same as those in FIG.

本実施形態に係る撮像素子モジュール35は、図2の実施形態と基本構成は同じであるが、異なるのは、図2のメモリコントローラ26の位置に演算部36を設け、メモリコントローラ26は演算部36とだけデータ授受を行い、メモリコントローラ26配下に2画面分のモジュール内メモリ25A,25Bを設け、演算部36の出力をデータIF部28に接続した点が異なる。本実施形態では、演算部36が圧縮部27の機能を果たす。   The image pickup device module 35 according to the present embodiment has the same basic configuration as that of the embodiment of FIG. 2 except that a calculation unit 36 is provided at the position of the memory controller 26 of FIG. The only difference is that data is exchanged only with 36, the memory 25A and 25B for two screens are provided under the memory controller 26, and the output of the calculation unit 36 is connected to the data IF unit 28. In the present embodiment, the calculation unit 36 functions as the compression unit 27.

本実施形態の撮像素子モジュール35は、連写時や動画撮影時(スルー画像を含む)に、前回撮像した撮像画像データを2面のモジュール内メモリ25A,25Bのうちの一方のメモリに格納し、今回撮像した撮像画像データを他方のメモリに格納し、演算部36は、前回撮像画像データと今回撮像画像データとの差分データを算出して出力する。   The image sensor module 35 of the present embodiment stores captured image data captured last time in one of the two memory modules 25A and 25B during continuous shooting or moving image shooting (including through images). The captured image data captured this time is stored in the other memory, and the calculation unit 36 calculates and outputs difference data between the previous captured image data and the current captured image data.

連写時や動画撮影時では、前回撮像画像データと今回撮像画像データは殆ど同じ被写体画像データとなり、相関性の高い画像データとなる蓋然性が高いため、その差分データは僅かとなり、データ圧縮を図ることが可能となる。   At the time of continuous shooting or moving image shooting, the previous captured image data and the current captured image data are almost the same subject image data, and there is a high probability that the image data has a high correlation. It becomes possible.

図12は、第8の実施形態における動作タイミングチャートである。前回(初回とする。)撮影時の露光期間(イ)で得られた撮像画像データが画素アレイ部22から読み出されて、例えばメモリ25Aに格納され、この撮像画像データが外部(カメラ本体側)に転送(ホ)される。   FIG. 12 is an operation timing chart according to the eighth embodiment. The captured image data obtained in the exposure period (a) at the previous (first) imaging is read from the pixel array unit 22 and stored in, for example, the memory 25A. This captured image data is externally (camera body side). ).

次に、今回撮影時の露光期間(ロ)で得られた撮像画像データが画素アレイ部22から読み出されて、メモリ25Bに格納され、今度は、差分データが外部に転送(ヘ)される。   Next, the captured image data obtained in the exposure period (b) at the time of the current photographing is read from the pixel array unit 22 and stored in the memory 25B, and this time the difference data is transferred (f) to the outside. .

次回の撮影時の露光期間(ハ)で得られる撮像画像データが画素アレイ部22から読み出されると、今度はメモリ25Aに格納され、メモリ25Bの格納データとの差分データが外部に転送(ト)される。   When the captured image data obtained in the exposure period (c) at the next shooting is read from the pixel array unit 22, this time it is stored in the memory 25A, and the difference data from the stored data in the memory 25B is transferred to the outside (G). Is done.

この様に、差分データを転送することで、転送データ量の削減を図ることができ、数百万画素以上の固体撮像素子を用いた場合でも、連写速度を向上させることができ、また、動画のフレームレートを向上させることができる。   In this way, by transferring the difference data, the amount of transfer data can be reduced, and even when a solid-state imaging device having millions of pixels or more is used, the continuous shooting speed can be improved, The frame rate of the video can be improved.

(第9の実施形態)
図13は、本発明の第9実施形態に係る撮像素子モジュールにおけるデータ出力方法を示す動作タイミングチャートである。
(Ninth embodiment)
FIG. 13 is an operation timing chart showing a data output method in the image sensor module according to the ninth embodiment of the present invention.

図6に示す実施形態では、第1の露光期間で被写体画像を撮像して撮像画像データをカメラ本体側に転送し、連続する第2の露光期間でダーク画像を撮像し、この撮像データを圧縮してカメラ本体側に転送した。   In the embodiment shown in FIG. 6, the subject image is captured in the first exposure period, the captured image data is transferred to the camera body side, the dark image is captured in the continuous second exposure period, and the captured data is compressed. And transferred to the camera body.

これに対し、本実施形態では、第1の露光期間で被写体画像を撮像して撮像画像データをモジュール内メモリ25に格納し、メカニカルシャッタを閉じ、連続する第2の露光期間でダーク撮影を行い、得られたダーク画像データと、メモリ25内のデータとの差分を算出してカメラ本体側に転送する。   In contrast, in the present embodiment, the subject image is captured in the first exposure period, the captured image data is stored in the in-module memory 25, the mechanical shutter is closed, and dark imaging is performed in the continuous second exposure period. Then, the difference between the obtained dark image data and the data in the memory 25 is calculated and transferred to the camera body side.

これにより、黒レベルを正確に減算した被写体撮像画像データを後段処理に転送することができ、また、トータルの転送データを半減させることが可能となる。   As a result, the subject captured image data obtained by accurately subtracting the black level can be transferred to subsequent processing, and the total transfer data can be halved.

(第10の実施形態)
図14は、本発明の第10の実施形態に係る撮像素子モジュールの機能構成図である。デジタルスチルカメラ本体側の構成は、図1と同様である。
(Tenth embodiment)
FIG. 14 is a functional configuration diagram of an image sensor module according to the tenth embodiment of the present invention. The configuration on the digital still camera body side is the same as in FIG.

本実施形態の撮像素子モジュール38は、図2に示す実施形態における圧縮部27を、メモリコントローラ26の前段に設けた点のみが異なる。   The image sensor module 38 of this embodiment is different only in that the compression unit 27 in the embodiment shown in FIG.

即ち、本実施形態の撮像素子モジュール38では、A/D変換部23から出力されるデジタルの撮像画像データ(RAWデータ)を、圧縮部27で圧縮してからモジュール内メモリ25に格納するため、後段処理への転送データ量の削減を図ることができると共に、モジュール内メモリ25の容量削減を図ることができる。   That is, in the imaging element module 38 of the present embodiment, the digital captured image data (RAW data) output from the A / D conversion unit 23 is compressed by the compression unit 27 and then stored in the in-module memory 25. The amount of data transferred to subsequent processing can be reduced, and the capacity of the in-module memory 25 can be reduced.

以上述べた様に、上述した各実施形態によれば、後段処理に転送するデータを圧縮して転送するため転送データ量の削減即ち転送時間の短縮を図ることができ、この結果、後段処理への転送遅れに起因する前段処理(画素アレイ即ち撮像素子から撮像データの読み出し)の遅れを回避することが可能となる。この結果、数百万画素以上の撮像素子を搭載した場合でも、高速連写が可能となり、また、動画のフレームレートを高く維持することが可能となる。   As described above, according to each of the above-described embodiments, since the data to be transferred to the subsequent process is compressed and transferred, the transfer data amount can be reduced, that is, the transfer time can be shortened. Therefore, it is possible to avoid the delay in the pre-processing (reading of image data from the pixel array, that is, the image sensor) due to the transfer delay. As a result, even when an image sensor having millions of pixels or more is mounted, high-speed continuous shooting is possible, and the moving image frame rate can be kept high.

本発明に係る撮像処理モジュールは、後段処理への転送データ量の削減が図られるため、撮像素子からのデータ読み出しに遅れが生じない。このため、多画素化が図られた固体撮像素子を撮像素子モジュールに搭載することが可能となり、デジタルカメラやカメラ付携帯電話機等に適用すると有用である。   In the imaging processing module according to the present invention, the amount of data transferred to subsequent processing is reduced, so that there is no delay in reading data from the imaging device. For this reason, it becomes possible to mount a solid-state image sensor with an increased number of pixels in an image sensor module, which is useful when applied to a digital camera, a camera-equipped mobile phone, or the like.

本発明の第1の実施形態に係るデジタルスチルカメラの機能構成図である。1 is a functional configuration diagram of a digital still camera according to a first embodiment of the present invention. 図1に示す撮像素子モジュールの機能構成図である。It is a functional block diagram of the image pick-up element module shown in FIG. 従来の動作タイミングチャート(a)と第1の実施形態に係るデータ出力方法の動作タイミングチャート(b)である。It is a conventional operation timing chart (a) and an operation timing chart (b) of the data output method according to the first embodiment. 本発明の第2の実施形態に係るデータ出力方法を示す動作タイミングチャートである。It is an operation | movement timing chart which shows the data output method which concerns on the 2nd Embodiment of this invention. 本発明の第3の実施形態に係るデータ出力方法の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the data output method which concerns on the 3rd Embodiment of this invention. 図5に示す実施形態のデータ出力方法を示す動作タイミングチャートである。6 is an operation timing chart showing a data output method of the embodiment shown in FIG. 5. 本発明の第4の実施形態に係るデータ出力方法を示す動作タイミングチャートである。It is an operation | movement timing chart which shows the data output method which concerns on the 4th Embodiment of this invention. 本発明の第5の実施形態に係るデータ出力方法の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the data output method which concerns on the 5th Embodiment of this invention. 本発明の第6の実施形態に係る撮像素子モジュールの機能構成図である。It is a functional block diagram of the image pick-up element module which concerns on the 6th Embodiment of this invention. 本発明の第7の実施形態に係る撮像素子モジュールの機能構成図である。It is a functional block diagram of the image pick-up element module which concerns on the 7th Embodiment of this invention. 本発明の第8の実施形態に係る撮像素子モジュールの機能構成図である。It is a functional block diagram of the image pick-up element module which concerns on the 8th Embodiment of this invention. 図11に示す撮像素子モジュールにおける動作タイミングチャートである。12 is an operation timing chart in the image sensor module shown in FIG. 11. 本発明の第9の実施形態に係るデータ出力方法を示す動作タイミングチャートである。It is an operation | movement timing chart which shows the data output method which concerns on the 9th Embodiment of this invention. 本発明の第10の実施形態に係る撮像素子モジュールの機能構成図である。It is a functional block diagram of the image pick-up element module which concerns on the 10th Embodiment of this invention.

符号の説明Explanation of symbols

1 撮像装置
2 システム制御部(CPU)
4 デジタル信号処理部(DSP)
7 画像表示部
10 データ入力IF部(解凍機能付)
12,30,32,35,38 撮像素子モジュール
22 画素アレイ部
25,25A,25B モジュール内メモリ
26 メモリコントローラ
27 圧縮部
31 積算部
33 微分フィルタ部
36 演算部
DESCRIPTION OF SYMBOLS 1 Imaging device 2 System control part (CPU)
4 Digital signal processor (DSP)
7 Image display section 10 Data input IF section (with decompression function)
12, 30, 32, 35, 38 Image sensor module 22 Pixel array unit 25, 25A, 25B In-module memory 26 Memory controller 27 Compression unit 31 Integration unit 33 Differential filter unit 36 Calculation unit

Claims (10)

撮像素子モジュールと、該撮像素子モジュールの外部に設けられ該撮像素子モジュールから出力されるRAWデータの撮像画像データに対して画像処理を施しJPEG画像データにする画像処理手段を備える撮像装置本体とを備える撮像装置であって、
前記撮像素子モジュールは、被写体画像を撮像するMOS型の撮像素子と、該撮像素子により撮像された撮像画像データをRAWデータのままデジタル信号で記憶するメモリと、該メモリから読み出した前記RAWデータの前記撮像画像データを圧縮して出力する圧縮手段とを備え
前記撮像装置本体には、前記撮像素子モジュールから出力される前記圧縮された前記撮像画像データを直接受け取り伸張するデータ入力手段と、該データ入力手段により伸張された前記撮像画像データを直接受け取り画像処理する前記画像処理手段と、前記データ入力手段及び前記画像処理手段にバスを介して接続されたフレームメモリとを備える
ことを特徴とする撮像装置。
An imaging element module, and an imaging device body including an image processing means for JPEG image data subjected to image processing on the captured image data of the RAW data provided on the outer portion is output from the image sensor module of the image sensor module An imaging device comprising :
The image sensor module includes a MOS type image sensor that captures a subject image, a memory that stores captured image data captured by the image sensor as a RAW data as a digital signal, and a RAW data read from the memory. and a compression means for force out by compressing the captured image data,
The imaging apparatus main body directly receives and decompresses the compressed captured image data output from the image sensor module, and directly receives and decompresses the captured image data decompressed by the data input means. An image pickup apparatus comprising: the image processing means; a frame memory connected to the data input means and the image processing means via a bus .
前記撮像素子から読み出された前記撮像画像データを、該読み出しと同時に前記圧縮手段で圧縮し前記データ入力手段へ出力することを特徴とする請求項1に記載の撮像装置。 2. The imaging apparatus according to claim 1, wherein the captured image data read from the imaging element is compressed by the compression unit simultaneously with the reading and output to the data input unit . 前記圧縮が可逆圧縮であることを特徴とする請求項1または請求項2に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the compression is lossless compression. 前記撮像素子の前段に配置されるメカニカルシャッタが「閉」にされたとき前記撮像素子から得られる前記撮像画像データを前記圧縮手段で圧縮し前記データ入力手段に出力することを特徴とする請求項1乃至請求項3のいずれかに記載の撮像装置。 The image pickup image data obtained from the image pickup device is compressed by the compression means and output to the data input means when a mechanical shutter disposed in front of the image pickup device is “closed”. The imaging device according to any one of claims 1 to 3. 前記撮像素子の各画素に積層されたカラーフィルタの色毎に前記撮像画像データの前記圧縮を行うことを特徴とする請求項1乃至請求項4のいずれかに記載の撮像装置。   The imaging apparatus according to claim 1, wherein the compression of the captured image data is performed for each color of a color filter stacked on each pixel of the imaging element. 前記撮像素子の各画素に積層されたカラーフィルタの色毎の前記撮像画像データの積算値に基づき前記圧縮を非可逆圧縮で行うことを特徴とする請求項1または請求項2に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the compression is performed by irreversible compression based on an integrated value of the captured image data for each color of a color filter stacked on each pixel of the imaging element. . 前記撮像素子の各画素に積層されたカラーフィルタの色毎に前記撮像画像データを積算し該積算値を前記データ入力手段を通して前記撮像装置本体に出力させる積算手段を前記撮像素子モジュールが備え、前記撮像装置本体には、該撮像素子モジュールから出力される前記積算値に基づいて自動露出制御を行う制御手段が前記バスに接続されていることを特徴とする請求項1乃至請求項6のいずれかに記載の撮像装置。 Wherein the integrating the captured image data the imaging device module integrating means for outputting the integrated value to the imaging device the body through said data input means provided for each color of the color filters are laminated to each pixel of the image sensor, 7. The control unit for performing automatic exposure control based on the integrated value output from the imaging element module is connected to the bus in the imaging apparatus main body. An imaging apparatus according to claim 1. 前記撮像画像データのうち隣接画素間データの微分値を算出し該微分値を前記データ入力手段を通して前記撮像装置本体に出力する微分フィルタを前記撮像素子モジュールが備え、前記撮像装置本体には、該撮像素子モジュールから出力される前記微分値に基づいて自動焦点制御を行う制御手段が前記バスに接続されていることを特徴とする請求項1乃至請求項7のいずれかに記載の撮像装置。 Wherein with said image sensor module a differential filter that outputs to the imaging device the body of the calculated fine fraction value differential value data between adjacent pixels through the data input means of the captured image data, the image pickup apparatus main body, 8. The image pickup apparatus according to claim 1, wherein control means for performing automatic focus control based on the differential value output from the image pickup element module is connected to the bus . 前回の前記撮像画像データと今回の前記撮像画像データとの差分データを前記圧縮したデータとすることを特徴とする請求項1または請求項2に記載の撮像装置。   The imaging apparatus according to claim 1, wherein difference data between the previous captured image data and the current captured image data is the compressed data. 被写体を撮像した前記撮像画像データと、前記撮像素子の前段に配置されたメカニカルシャッタが「閉」にされたとき得られる前記撮像画像データとの差分を前記圧縮したデータとして前記データ入力手段を通して前記撮像装置本体に出力することを特徴とする請求項1に記載の撮像装置。 The difference between the captured image data obtained by capturing an image of the subject and the captured image data obtained when the mechanical shutter disposed in front of the image sensor is “closed” through the data input means as the compressed data. the imaging apparatus according to claim 1, characterized in that the output to the image pickup apparatus the body.
JP2008148260A 2008-06-05 2008-06-05 Imaging device Expired - Fee Related JP5238365B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008148260A JP5238365B2 (en) 2008-06-05 2008-06-05 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008148260A JP5238365B2 (en) 2008-06-05 2008-06-05 Imaging device

Publications (2)

Publication Number Publication Date
JP2009296353A JP2009296353A (en) 2009-12-17
JP5238365B2 true JP5238365B2 (en) 2013-07-17

Family

ID=41544109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008148260A Expired - Fee Related JP5238365B2 (en) 2008-06-05 2008-06-05 Imaging device

Country Status (1)

Country Link
JP (1) JP5238365B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5383349B2 (en) * 2009-06-30 2014-01-08 キヤノン株式会社 Image data transfer device
US20120076205A1 (en) * 2010-09-29 2012-03-29 Segall Christopher A Methods and Systems for Capturing Wide Color-Gamut Video
JP6089398B2 (en) * 2011-12-22 2017-03-08 ソニー株式会社 Image processing apparatus, image processing method, and program
JP5906846B2 (en) * 2012-03-15 2016-04-20 株式会社ニコン Electronic camera
JP6218635B2 (en) * 2014-02-20 2017-10-25 オリンパス株式会社 Solid-state imaging device and imaging system
JP6777421B2 (en) 2015-05-04 2020-10-28 株式会社半導体エネルギー研究所 Semiconductor device
JP2017102904A (en) 2015-10-23 2017-06-08 株式会社半導体エネルギー研究所 Semiconductor device and electronic device
KR20170084020A (en) 2015-10-23 2017-07-19 가부시키가이샤 한도오따이 에네루기 켄큐쇼 Semiconductor device and electronic device
WO2018069785A1 (en) 2016-10-12 2018-04-19 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and system using the same
US11044411B2 (en) 2017-02-10 2021-06-22 Canon Kabushiki Kaisha Imaging element and imaging apparatus
JP2020022034A (en) 2018-07-31 2020-02-06 キヤノン株式会社 Imaging element, imaging apparatus, and control method
WO2020137663A1 (en) 2018-12-26 2020-07-02 富士フイルム株式会社 Imaging element, imaging device, imaging element operation method, and program

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164831A (en) * 1990-03-15 1992-11-17 Eastman Kodak Company Electronic still camera providing multi-format storage of full and reduced resolution images
JP3707820B2 (en) * 1995-03-07 2005-10-19 株式会社フォトロン High-speed imaging device
JPH1155564A (en) * 1997-07-31 1999-02-26 Ricoh Co Ltd Automatic exposure controller
JP2000209506A (en) * 1999-01-14 2000-07-28 Toshiba Corp Image pickup device and image pickup method
JP2001285708A (en) * 2000-03-30 2001-10-12 Canon Inc Image pickup device
JP2002142149A (en) * 2000-11-06 2002-05-17 Mega Chips Corp Picture processing circuit
JP2003110906A (en) * 2001-09-28 2003-04-11 Matsushita Electric Ind Co Ltd Image pickup device, display device and image pickup display system
JP2003244520A (en) * 2002-02-20 2003-08-29 Minolta Co Ltd Photographing device
JP4522640B2 (en) * 2002-03-29 2010-08-11 株式会社メガチップス Data transfer system and data transfer method
JP2005150835A (en) * 2003-11-11 2005-06-09 Canon Inc Image processing apparatus, digital camera system, and digital camera
JP4687216B2 (en) * 2005-04-18 2011-05-25 ソニー株式会社 Image signal processing apparatus, camera system, and image signal processing method
JP4321496B2 (en) * 2005-06-16 2009-08-26 ソニー株式会社 Image data processing apparatus, image data processing method and program
JP4844305B2 (en) * 2005-09-12 2011-12-28 日本ビクター株式会社 Imaging device
JP4822507B2 (en) * 2005-10-27 2011-11-24 株式会社メガチップス Image processing apparatus and apparatus connected to image processing apparatus
JP4572815B2 (en) * 2005-11-18 2010-11-04 富士フイルム株式会社 Imaging apparatus and imaging method
JP4508132B2 (en) * 2006-02-27 2010-07-21 ソニー株式会社 Imaging device, imaging circuit, and imaging method
JP4615468B2 (en) * 2006-03-23 2011-01-19 富士フイルム株式会社 Imaging device
JP2007310012A (en) * 2006-05-16 2007-11-29 Fujifilm Corp Lens unit
JP2008046556A (en) * 2006-08-21 2008-02-28 Nikon Corp Camera
JP4054839B1 (en) * 2007-03-02 2008-03-05 キヤノン株式会社 Photoelectric conversion device and imaging system using the same

Also Published As

Publication number Publication date
JP2009296353A (en) 2009-12-17

Similar Documents

Publication Publication Date Title
JP5238365B2 (en) Imaging device
TWI422219B (en) Imaging device, imaging method and computer-readable recording medium
JP2001078087A (en) Image pickup device and its signal processing method
US9398230B2 (en) Imaging device and imaging method
JP2006191236A (en) Imaging apparatus and imaging method
US7830447B2 (en) Imaging apparatus including a plurality of image pickup elements
JP2007135135A (en) Moving image imaging apparatus
JP2012023497A (en) Imaging device, imaging control method, and program
JP2024107113A (en) Video Compression Device
JP2006148550A (en) Image processor and imaging device
JP2010171848A (en) Imaging device, and control method and control program of imaging device
JP2008072501A (en) Imaging apparatus, imaging method, program, and recording medium
JP2007174160A (en) Imaging apparatus
JP7210172B2 (en) Imaging device and its control method
JP5530279B2 (en) Imaging apparatus, imaging control method, and program
JP2010171856A (en) Imaging apparatus
JP4529782B2 (en) Imaging apparatus and signal processing method thereof
JP2005229292A (en) Imaging apparatus and control method for imaging apparatus
JP2019216410A (en) Imaging apparatus and control method therefor
JP6261372B2 (en) Solid-state imaging device and imaging system
JP2020031336A (en) Imaging apparatus
JP2018093301A (en) Image pick-up device and control method of the same
JP4500106B2 (en) IMAGING DEVICE AND IMAGING DEVICE ADJUSTING METHOD
JP2007006071A (en) Image pickup apparatus and driving method of imaging device
JP2006186796A (en) Photographic apparatus, photographing method, and photographing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120911

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20121004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130401

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5238365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees