JP5494520B2 - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP5494520B2 JP5494520B2 JP2011025246A JP2011025246A JP5494520B2 JP 5494520 B2 JP5494520 B2 JP 5494520B2 JP 2011025246 A JP2011025246 A JP 2011025246A JP 2011025246 A JP2011025246 A JP 2011025246A JP 5494520 B2 JP5494520 B2 JP 5494520B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- compression
- unit
- imaging
- compression rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 269
- 238000007906 compression Methods 0.000 claims description 545
- 230000006835 compression Effects 0.000 claims description 545
- 238000012545 processing Methods 0.000 claims description 179
- 238000003860 storage Methods 0.000 claims description 114
- 230000004044 response Effects 0.000 claims description 91
- 238000000034 method Methods 0.000 claims description 85
- 238000012937 correction Methods 0.000 claims description 45
- 238000002360 preparation method Methods 0.000 claims description 7
- 238000007726 management method Methods 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims 1
- 238000013139 quantization Methods 0.000 description 77
- 230000008569 process Effects 0.000 description 55
- 230000000694 effects Effects 0.000 description 37
- 238000006243 chemical reaction Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 24
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 22
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 238000009795 derivation Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 4
- 230000020169 heat generation Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、連続撮像(連写)により生成された画像データに画面内予測符号化による圧縮符号化処理を施して記憶する撮像装置および撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method that store image data generated by continuous imaging (continuous shooting) by performing compression encoding processing by intra-screen predictive encoding.
撮像した画像をデジタルデータ(画像データ)として記憶する撮像装置(デジタル撮像装置)には、画像データを圧縮符号化しデータ容量を小さくしてから記憶することで、記憶媒体のデータ領域を有効に利用する機能が搭載されている。このような圧縮符号化方法のひとつとして、JPEG(Joint Photographic Experts Group)圧縮と呼ばれる画面内予測符号化方式がある。この方式は主に静止画を圧縮する際に用いられるものであるが、これを動画に応用したMotion JPEGという方式もある。これらの符号化方式は、MPEG(Moving Picture Experts Group)などと比較して同一ビットレートでの圧縮効率は悪いが、画面間の差分情報を用いないため、符号化、復号時の処理が軽く、また、任意の箇所を簡単に編集することが可能であるという利点がある。本発明は、このJPEG等の画面内符号化方式を用いることを前提としたものである。 In an imaging device (digital imaging device) that stores captured images as digital data (image data), the data area of the storage medium is effectively used by storing the image data after compressing and encoding the data to reduce the data capacity. It has a function to do. As one of such compression encoding methods, there is an intra-screen predictive encoding method called JPEG (Joint Photographic Experts Group) compression. This method is mainly used when compressing still images, but there is also a method called Motion JPEG that applies this to moving images. These encoding methods have poor compression efficiency at the same bit rate compared to MPEG (Moving Picture Experts Group) etc., but since the difference information between screens is not used, the processing at the time of encoding and decoding is light, In addition, there is an advantage that any part can be easily edited. The present invention is based on the premise that this intra-picture encoding method such as JPEG is used.
また、撮像装置には、リリーススイッチを連続的に押止することで、画像を連続撮像する機能を有するものもある。このような連続撮像では、一度に多くの画像データが生成されるため、生成された画像データのデータ容量が所望のデータ容量に収まるように圧縮符号化処理を適切に制御しなければならない。従来は、撮像後の複数の画像データ(ローデータ)に、予め定められた圧縮に関するパラメータを用いて暫定的に圧縮符号化処理を施し、その結果に応じてパラメータを変更し、再度圧縮符号化処理を施すといった動作を繰り返して、連続撮像した画像データ全てのデータ容量を所望のデータ容量に近づける処理が行われていた(例えば、特許文献1)。 Some imaging apparatuses have a function of continuously capturing images by continuously pressing a release switch. In such continuous imaging, a large amount of image data is generated at one time. Therefore, the compression encoding process must be appropriately controlled so that the data capacity of the generated image data is within a desired data capacity. Conventionally, a plurality of captured image data (raw data) is provisionally subjected to compression encoding processing using predetermined compression parameters, the parameters are changed according to the result, and compression encoding is performed again. The process of performing the process is repeated, and the process of bringing the data capacity of all continuously captured image data close to the desired data capacity has been performed (for example, Patent Document 1).
また、圧縮率の探索範囲の初期値の最大値および最小値によって画像信号の圧縮符号化処理をそれぞれ行い、最大値による圧縮符号化処理で得られたデータ容量および最小値による圧縮符号化処理で得られたデータ容量に基づいて圧縮率と圧縮符号化処理後のデータ容量との相関を求め、圧縮符号化処理後の目標データ容量が得られる圧縮率の候補を推定する技術も知られている(例えば、特許文献2)。 In addition, the compression encoding process of the image signal is performed with the maximum value and the minimum value of the initial value of the search range of the compression rate, respectively, and the data capacity obtained by the compression encoding process with the maximum value and the compression encoding process with the minimum value are performed. There is also known a technique for obtaining a correlation between the compression rate and the data volume after the compression encoding process based on the obtained data volume, and estimating a compression rate candidate capable of obtaining the target data capacity after the compression encoding process. (For example, patent document 2).
また、短時間の圧縮符号化処理を実現するため、画像データの取り出しおよび圧縮率の算出を継続的に行い、撮像操作がなされる直前に算出されていた圧縮率に従って、次回の画像データの圧縮符号化処理を行う技術が開示されている(例えば、特許文献3)。同様に、圧縮符号化処理後の1の画像データのデータ容量と目標値とを比較し、データ容量が目標値とほぼ一致するように次回の圧縮率を決定する技術も開示されている(例えば、特許文献4)。 In addition, in order to realize a short-time compression encoding process, the image data is continuously extracted and the compression rate is calculated, and the next image data is compressed according to the compression rate calculated immediately before the imaging operation is performed. A technique for performing an encoding process is disclosed (for example, Patent Document 3). Similarly, there is also disclosed a technique for comparing the data capacity of one image data after compression encoding processing with a target value and determining the next compression rate so that the data capacity substantially matches the target value (for example, Patent Document 4).
上述したように、データ容量が限られた記憶媒体に、連続撮像した多数の画像データを記憶するためには、撮像された画像データに圧縮符号化処理を施さなければならない。また、連続撮像した多数の画像データを所望のデータ容量に収めるには、圧縮符号化処理における圧縮率を適切に制御する必要もある。撮像装置では、例えば、予め設定された目標圧縮率に従って圧縮符号化処理を行う。しかし、画像データによっては、目標圧縮率と現実の圧縮率が大幅にずれてしまう場合がある。 As described above, in order to store a large number of continuously captured image data in a storage medium having a limited data capacity, the captured image data must be subjected to compression encoding processing. In addition, in order to store a large number of continuously captured image data in a desired data capacity, it is necessary to appropriately control the compression rate in the compression encoding process. In the imaging apparatus, for example, compression encoding processing is performed according to a preset target compression rate. However, depending on the image data, the target compression rate and the actual compression rate may deviate significantly.
所望するデータ容量に収めるには、このような圧縮率のずれを補正しなければならないが、例えば、特許文献1および特許文献2の技術では、暫定的な圧縮符号化処理に加え、その結果に基づく圧縮符号化処理が繰り返し行われるので、最終的な圧縮率が決定するまでに長時間を要するといった問題があった。また、特許文献3および特許文献4の技術では、画像データの圧縮率を直前の画像データの圧縮率のみに基づいて予測しているので、イレギュラーな画像が撮像されたり、画像間の移動量が大きい場合に圧縮率の予測精度が低くなってしまう問題があった。
In order to fit in the desired data capacity, it is necessary to correct such a shift in the compression rate. For example, in the techniques of
このような状況下において、本願発明者は、直前の1または複数の画像データの圧縮率を用いて圧縮率のずれを補正すると共に、1の撮像部における画像データの生成速度を切り換えることで、圧縮符号化処理を高精度かつ高速に行うことを可能にした。しかし、記憶対象となる画像データの生成速度が切り換わると記憶速度も切り換わることとなり、記憶動作が不安定になる可能性がある。 Under such circumstances, the inventor of the present application corrects the displacement of the compression ratio using the compression ratio of the immediately preceding one or more image data, and switches the generation speed of the image data in one imaging unit, The compression encoding process can be performed with high accuracy and high speed. However, when the generation speed of the image data to be stored is switched, the storage speed is also switched, and the storage operation may become unstable.
そこで本発明は、このような課題に鑑み、安定的な記憶動作を維持しつつ、連続撮像時における圧縮符号化処理を高精度かつ高速に行うことが可能な撮像装置および撮像方法を提供することを目的としている。 Therefore, in view of such problems, the present invention provides an imaging apparatus and an imaging method capable of performing compression encoding processing at the time of continuous imaging with high accuracy and high speed while maintaining a stable storage operation. It is an object.
上記課題を解決するために、本発明の撮像装置は、連続撮像により時間方向に連続する複数の画像データをそれぞれ生成する複数の撮像部と、画像データを補正するための補正要素に基づいて、複数の撮像部それぞれで生成された画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化する複数の画像加工部と、複数の画像加工部のうちの1の画像加工部で圧縮符号化された画像データの現実の圧縮率である現圧縮率を導出する現圧縮率導出部と、現圧縮率を時間方向に連続して複数保持する現圧縮率保持部と、保持された複数の現圧縮率、または、保持された複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測する次圧縮率予測部と、次圧縮率に基づいて補正要素を導出し、複数の画像加工部を更新する補正要素導出部と、1の画像加工部と異なる画像加工部で圧縮符号化された画像データを画像記憶部に記憶するデータ制御部と、を備え、1の画像加工部に係る撮像部の画像データは、1の画像加工部と異なる画像加工部に係る撮像部の画像データの生成速度より高い第1生成速度で生成されることを特徴とする。 In order to solve the above-described problem, the imaging apparatus of the present invention is based on a plurality of imaging units that respectively generate a plurality of image data continuous in the time direction by continuous imaging, and a correction element for correcting the image data. A plurality of image processing units that correct the compression rate of the image data generated by each of the plurality of imaging units and perform compression encoding using the intra prediction encoding method, and one of the plurality of image processing units A current compression rate deriving unit for deriving a current compression rate, which is an actual compression rate of image data compression-encoded by a unit, a current compression rate holding unit for continuously holding a plurality of current compression rates in a time direction, and holding The next compression rate, which is the compression rate of the image data to be compressed and encoded next time, is predicted from the plurality of current compression rates that have been set or the plurality of held current compression rates and the compression rate of the image data to be compression encoded this time Next compression ratio prediction unit and next compression ratio A correction element derivation unit that derives a correction element based on the image data and updates a plurality of image processing units, and a data control unit that stores image data compression-coded by an image processing unit different from one image processing unit in an image storage unit The image data of the imaging unit related to one image processing unit is generated at a first generation speed higher than the generation speed of the image data of the imaging unit related to the image processing unit different from the one image processing unit. It is characterized by.
現圧縮率導出部、現圧縮率保持部、次圧縮率予測部、補正要素導出部は、任意のトリガに応じて処理を開始してもよい。 The current compression rate deriving unit, the current compression rate holding unit, the next compression rate prediction unit, and the correction element deriving unit may start processing according to an arbitrary trigger.
データ制御部が圧縮符号化された画像データを画像記憶部に記憶開始してから任意のトリガがあるまで、1の画像加工部に係る撮像部の画像データを第1生成速度より低い第2生成速度で生成させる、または、画像データを生成させない生成速度管理部をさらに備えてもよい。 The second generation lower than the first generation speed for the image data of the imaging unit related to one image processing unit from when the data control unit starts storing the compression-encoded image data in the image storage unit until there is an arbitrary trigger You may further provide the production | generation speed management part which makes it produce | generate at speed | velocity or does not produce | generate image data.
生成速度管理部は、データ制御部が圧縮符号化された画像データを画像記憶部に記憶する毎に、記憶が為されるまでの所定期間、1の画像加工部に係る撮像部の画像データを第1生成速度で生成させてもよい。 Each time the data control unit stores the compression-coded image data in the image storage unit, the generation speed management unit stores the image data of the imaging unit related to one image processing unit for a predetermined period until the data is stored. You may make it produce | generate at the 1st production speed.
任意のトリガは、画像データを記憶するための準備処理であってもよい。 The arbitrary trigger may be a preparation process for storing image data.
データ制御部は、圧縮符号化された複数の画像データのうち、最後に圧縮符号化された画像データのみ画像記憶部に記憶してもよい。 The data control unit may store, in the image storage unit, only the image data that was compression-encoded lastly among the plurality of image data that has been compression-encoded.
上記課題を解決するために、本発明の撮像方法は、複数の撮像部それぞれで生成速度を異ならせて、連続撮像により時間方向に連続する複数の画像データを生成し、画像データを補正するための補正要素に基づいて、複数の撮像部それぞれで生成した画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化し、圧縮符号化された、生成速度が比較的高い方の画像データの現実の圧縮率である現圧縮率を導出し、現圧縮率を時間方向に連続して複数保持し、保持された複数の現圧縮率、または、保持された複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測し、次圧縮率に基づいて補正要素を導出し、圧縮符号化された、生成速度が比較的低い方の画像データを画像記憶部に記憶することを特徴とする。 In order to solve the above-described problem, the imaging method of the present invention is to generate a plurality of image data continuous in the time direction by continuous imaging, and to correct the image data by changing the generation speed of each of the plurality of imaging units. Based on the correction factor, the compression rate of the image data generated by each of the plurality of imaging units is corrected, compression encoded using the intra prediction encoding method, and compression encoded. Deriving the current compression rate, which is the actual compression rate of the image data, and holding the current compression rate in succession in the time direction, holding the multiple current compression rates, or holding the multiple current compression rates And the compression rate of the image data to be compression-encoded this time, the next compression rate, which is the compression rate of the image data to be encoded next time, is predicted, a correction factor is derived based on the next compression rate, and the compression-encoding is performed The one with the relatively low production rate And to store the image data in the image storage unit.
以上説明したように本発明によれば、安定的な記憶動作を維持しつつ、連続撮像時における圧縮符号化処理を高精度かつ高速に行うことが可能となる。 As described above, according to the present invention, it is possible to perform compression encoding processing at the time of continuous imaging with high accuracy and high speed while maintaining a stable storage operation.
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The dimensions, materials, and other specific numerical values shown in the embodiment are merely examples for facilitating understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.
本実施形態において「画像データ」は、撮像部の撮像素子による一度の撮像で生成される1画面分のデータを言う。「撮像」は、撮像部を通じて画像データを生成する動作を言い、「記憶」は、生成された画像データを記憶媒体に記憶する動作を言う。 In the present embodiment, “image data” refers to data for one screen generated by one-time imaging by the imaging device of the imaging unit. “Imaging” refers to an operation of generating image data through the imaging unit, and “memory” refers to an operation of storing the generated image data in a storage medium.
また、「連続撮像」は、画像データを、時間方向に連続して、順次生成する一連の動作を言い、例えば、結果として1秒あたり1枚以上の画像データが生成される。また、本実施形態では、連続撮像し、さらにその画像データを連続的に記憶する場合の速度を撮像記憶速度と言い、撮像記憶速度は、1枚/sec以上の、例えば60枚/secといった値をとる。「単写撮像」は、少なくとも1枚の画像データを生成する動作を言い、その1枚の画像データを記憶する動作までを含む場合もあるが、画像データを記憶する前に、画像データを生成する動作を複数回実行することを排除するものではない。 In addition, “continuous imaging” refers to a series of operations for sequentially generating image data in the time direction. For example, one or more image data is generated per second as a result. In the present embodiment, the speed at which continuous imaging is performed and the image data is stored continuously is referred to as an imaging storage speed, and the imaging storage speed is a value of 1 sheet / sec or more, for example, 60 sheets / sec. Take. “Single-shot imaging” refers to an operation for generating at least one piece of image data, and may include an operation for storing that single piece of image data, but before storing the image data, the image data is generated. It is not excluded to execute the operation to be performed multiple times.
(撮像装置100)
表示部上に、水平視差を有する2つの映像を提示し、観察者に対してあたかも被写体像が立体的に存在するように知覚させる立体映像の技術が存在する。かかる技術で用いられる2つの映像は、複数の撮像部による異なる複数の光軸(視点)それぞれに基づいて撮像された映像である。ユーザは、その2つの映像を左右眼で個別に視認することで被写体を立体的に知覚できる。このような複数の撮像部が設けられた撮像装置では、立体映像用の用途のみならず、複数の撮像部のうちの1の撮像部(記憶撮像部)を通じて2D画像を撮像することもできる。本実施形態における撮像装置は、記憶撮像部を通じて連続撮像を行うと共に、他の撮像部(予測撮像部)を通じ、記憶撮像部と独立して、その連続撮像における圧縮符号化処理における圧縮率を適切に制御する。したがって、安定的な記憶動作を維持しつつ、連続撮像時における圧縮符号化処理を高精度かつ高速に行うことが可能となる。以下、撮像装置の概略的な構成を述べ、予測撮像部で実行する圧縮符号化処理に言及し、その後、記憶撮像部と予測撮像部の画像データ生成速度について詳細に説明する。
(Imaging device 100)
There is a technique of stereoscopic video that presents two videos having a horizontal parallax on a display unit and makes an observer perceive that the subject image exists stereoscopically. The two images used in such a technique are images captured based on each of a plurality of different optical axes (viewpoints) by a plurality of imaging units. The user can perceive the subject three-dimensionally by viewing the two videos individually with the left and right eyes. In such an imaging device provided with a plurality of imaging units, a 2D image can be captured not only for a stereoscopic video application but also through one imaging unit (storage imaging unit) of the plurality of imaging units. The imaging apparatus according to the present embodiment performs continuous imaging through the storage imaging unit, and appropriately sets the compression rate in the compression encoding process in the continuous imaging independently from the storage imaging unit through another imaging unit (predictive imaging unit). To control. Therefore, it is possible to perform the compression encoding process at the time of continuous imaging with high accuracy and high speed while maintaining a stable storage operation. Hereinafter, a schematic configuration of the imaging apparatus will be described, reference will be made to compression encoding processing executed by the predictive imaging unit, and then image data generation speeds of the storage imaging unit and the predictive imaging unit will be described in detail.
図1は、撮像装置100の概略的な構成を示した機能ブロック図である。撮像装置100は、撮像部102(図1中、102aおよび102bで示す。)と、撮像制御部104と、同期信号発生部(SSG:Synchronizing Signal Generator)106と、タイミング発生部(TG:Timing Generator)108と、リリーススイッチ110と、Y/C処理部112(図1中、112aおよび112bで示す。)と、周波数応答処理部114(図1中、114aおよび114bで示す。)と、階調処理部116(図1中、116aおよび116bで示す。)と、圧縮処理部118(図1中、118aおよび118bで示す。)と、システム内部バス120と、画像メモリ122と、データ制御部124と、画像記憶部126と、表示部128と、現圧縮率導出部130と、現圧縮率保持部132と、次圧縮率予測部134と、周波数応答導出部136と、周波数応答保持部138と、階調導出部140と、階調保持部142と、量子化テーブル導出部144と、量子化テーブル保持部146とを含んで構成される。
FIG. 1 is a functional block diagram illustrating a schematic configuration of the
また、周波数応答処理部114a、114bと、階調処理部116a、116bと、圧縮処理部118a、118bとは、補正要素に基づいて、それぞれ撮像部102a、102bで生成された画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化する画像加工部として機能する。周波数応答導出部136と、階調導出部140と、量子化テーブル導出部144とは、補正要素を導出し、複数の画像加工部すべてを更新する補正要素導出部として機能する。同期信号発生部106と、タイミング発生部108とは、撮像部102bにおける画像データの生成速度を管理する生成速度管理部として機能する。ここで、補正要素とは、画像加工部で用いられる、周波数応答特性、階調特性、量子化テーブルの群から選択された1または複数の要素を言う。周波数応答特性、階調特性、量子化テーブルに関しては後ほど詳述する。
Further, the frequency
なお、データ制御部124、現圧縮率導出部130、次圧縮率予測部134、周波数応答導出部136、階調導出部140、量子化テーブル導出部144は、ハードウェアで構成してもよいし、プログラム等が格納されたROM、ワークエリアとしてのRAM等と協働して動作する中央処理装置(CPU)を通じてソフトウェアで遂行されてもよい。また、図1においては、周波数応答処理部114の後段に階調処理部116が縦続されているが、この順序は逆でもよい。
The data control
撮像部102a、102bは、レンズや、レンズを通じて入射した入射光を光電変換し画像データを生成する撮像素子、光軸を移動する駆動部等で構成され、例えば、連続撮像により時間方向に連続する複数の画像データを生成して、生成した複数の画像データを、それぞれ順次Y/C処理部112a、112bに送信する。また、撮像部102a、102bは、基準姿勢において両光軸が水平面に位置するように配され、両光軸が輻輳角を成して交差してもよい。本実施形態においては立体映像を撮像する場合における左眼用の撮像部102aを2Dの画像データを生成、記憶するための記憶撮像部として用い、右眼用の撮像部102bを圧縮符号化処理における圧縮率の予測処理を行うための予測撮像部として用いる。
The
撮像制御部104は、2つの撮像部102a、102bの焦点、絞り、ズーム倍率が等しくなるよう撮像部102a、102bそれぞれの駆動部を制御する。また、撮像制御部104は、撮像部102a、102bそれぞれの光軸を、光軸を含む面に垂直な軸を中心に互いに逆方向に同角度回転することで輻輳角を調整する。本実施形態では、記憶撮像部である撮像部102aの焦点位置(被写体位置)に輻輳点を位置させることで、撮像部102bの焦点や画角を撮像部102aの焦点や画角と等しくすることができ、近似する画像データによって高精度に圧縮率を予測することが可能となる。
The
同期信号発生部106は、生成される画像データの水平サイズと垂直サイズに対応させ、内部クロックに同期して、水平同期信号と垂直同期信号を生成しタイミング発生部108に送信する。タイミング発生部108は、同期信号発生部106で生成された水平同期信号と垂直同期信号に基づいて撮像部102の撮像素子のクロックタイミングを変化させる制御信号を生成する。撮像部102は、かかる制御信号に応じて画像データを生成する。本実施形態では、撮像部102bによる撮像データの生成速度を制御することを目的の1つとしているので、同期信号発生部106は、画像データの生成速度を高く(速く)するために水平同期信号および垂直同期信号の発生周期を短くし、一方、画像データの生成速度を低く(遅く)するために水平同期信号および垂直同期信号の発生周期を長くする。リリーススイッチ110は、ボタンスイッチ等で構成され、撮像者の操作入力を受け付け、撮像部102a、102bにおける画像データ生成のトリガ(契機)となる制御信号を生成する。また、本実施形態の撮像装置100では、撮像者がリリーススイッチ110を押止し続けることで連続撮像を行うことができる。
The synchronization
Y/C処理部112a、112bは、画像データを輝度データ(Y)と色データ(C)に分離、変換する処理を行う。周波数応答処理部114a、114bは、Y/C処理部112を通じた画像データの周波数領域の特性を、後述する周波数応答導出部136で導出された周波数応答特性に基づいて変換する。階調処理部116a、116bは、周波数応答特性の変換処理が施された画像データの階調を、後述する階調導出部140で導出された階調特性に基づいて変換する。
The Y /
圧縮処理部118a、118bは、JPEG圧縮方式に従い、階調特性の変換処理が施された画像データに対し、量子化テーブルに基づいて圧縮符号化処理を行い、圧縮処理部118aは、圧縮符号化処理を施した画像データを、システム内部バス120を通じて画像メモリ122に送信し、圧縮処理部118bは、圧縮符号化処理を施した画像データを現圧縮率導出部130に送信する。JPEG圧縮方式は既存の技術であるので、ここではその詳細な説明を省略する。また、圧縮処理部118a、118bは、JPEG圧縮方式以外の様々な既存の静止画圧縮方式を採用することが可能である。量子化テーブルについては後に詳述する。
The
画像メモリ122は、SRAMやDRAM等のバッファで構成され、圧縮処理部118aから送信された画像データを一時的に保持する。データ制御部124は、画像メモリ122に一時的に保持されている画像データを、システム内部バス120を通じて画像記憶部126に転送して画像データを保持させたり、画像メモリ122に保持されている画像データに基づく画像を表示部128に表示させたりする。
The
画像記憶部126は、撮像装置100と一体的に形成された、フラッシュメモリ、HDD(Hard Disk Drive)等の記憶媒体で構成され、1または複数の画像データを保持する。また、画像記憶部126として、撮像装置100から着脱可能な、DVD(Digital Versatile Disc)やBD(Blu-ray Disc)といった光ディスク媒体や、磁気テープ、磁気ディスクといった磁気媒体、フラッシュメモリ、ポータブルHDD等の外部記憶媒体を適用してもよい。なお、HDDは正確には装置であるが、説明の便宜上本実施形態では他の記憶媒体と同義として扱う。表示部128は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等で構成される。
The
現圧縮率導出部130は、圧縮処理部118bによって圧縮符号化処理が施される前の画像データのデータ容量と、圧縮符号化処理が施された後の画像データのデータ容量を比較して、圧縮符号化処理における直近かつ現実の圧縮率である現圧縮率を導出する。また、導出された現圧縮率を現圧縮率保持部132に順次保持させる。現圧縮率保持部132は、現圧縮率導出部130が導出した現圧縮率を時間方向に連続して複数保持する。したがって、現圧縮率保持部132には、過去の複数回に渡る現圧縮率が保持されていることとなる。
The current compression
次圧縮率予測部134は、直近の現圧縮率を含む過去複数回に渡る現圧縮率を現圧縮率保持部132から取得し、その複数の現圧縮率、または、保持された複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測する。
The next compression
周波数応答導出部136は、予測された次圧縮率が目標圧縮率に近づくように、周波数応答保持部138に保持された前回の周波数応答特性と、次圧縮率予測部134が予測した次圧縮率と、予め設定されている連続撮像における目標圧縮率とに基づいて、周波数応答処理部114a、114bが用いる周波数応答特性を導出する。
The frequency
階調導出部140は、予測された次圧縮率が目標圧縮率に近づくように、階調保持部142に保持された前回の階調特性と、次圧縮率予測部134が予測した次圧縮率と、予め設定されている連続撮像における目標圧縮率とに基づいて、階調処理部116a、116bが用いる階調特性を導出する。
The
量子化テーブル導出部144は、予測された次圧縮率が目標圧縮率に近づくように、量子化テーブル保持部146に保持された前回の量子化テーブルと、次圧縮率予測部134が予測した次圧縮率と、予め設定されている連続撮像における目標圧縮率とに基づいて、圧縮処理部118a、118bが用いる量子化テーブルを導出する。
The quantization
以下、現圧縮率導出部130、周波数応答導出部136、階調導出部140、量子化テーブル導出部144、同期信号発生部106、タイミング発生部108の各処理を具体的に説明する。
Hereinafter, each process of the current compression
(次圧縮率の予測処理)
次圧縮率予測部134は、上述したように、直近の現圧縮率を含む過去複数回に渡る現圧縮率を現圧縮率保持部132から取得し、その複数の現圧縮率、または、保持された複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測する。かかる次圧縮率の予測は、複数の現圧縮率の(1)平均値、(2)差分値、(3)変化率を用いて行う。以下、それぞれにおける次圧縮率の導出処理を詳述する。
(Next compression rate prediction process)
As described above, the next compression
図2〜4は、次圧縮率予測部134の動作を説明するための説明図である。特に図2は(1)平均値を用いる場合を、図3は(2)差分値を用いる場合を、図4は(3)変化率を用いる場合を示している。ここで、次圧縮率予測部134は、直近の現圧縮率と過去4回分の現圧縮率と合わせて5回分の現圧縮率150に基づいて次圧縮率152を予測している。ただし、次圧縮率予測部134で用いる現圧縮率150の数は、かかる5に限らず2以上であればよい。
2-4 is explanatory drawing for demonstrating operation | movement of the next compression
図2のように平均値を用いる場合、次圧縮率予測部134は、以下の数式1を用いて、直近を含む5回分の現圧縮率150(図2中、a、b、c、d、e)の平均値fを求める。
こうして求められた平均値fが次圧縮率152となる。このように平均値を用いると、イレギュラーな画像が撮像された等、圧縮率に短時間に大きな変化があった場合であっても、その変化に安易に追従することなく、適切な次圧縮率152を導出することが可能となる。
When the average value is used as shown in FIG. 2, the next compression
The average value f thus obtained becomes the
また、図3のように差分値を用いる場合、次圧縮率予測部134は、以下の数式2に示すように、直近を含む5回分の現圧縮率150(図3中、a、b、c、d、e)のそれぞれ時間方向に隣接する現圧縮率150同士の差分値を求め(b−a、c−b、d−c、e−d)、その平均値を直近の現圧縮率150(ここではe)に加算する。
こうして求められた、差分値を利用した値gが次圧縮率152となる。このように差分値を用いると、画像間の移動量が大きい等、圧縮率が連続的に大小一方向に変化し続けたり、その変化方向が偏っている場合に、その変化に追従した適切な次圧縮率152を導出することが可能となる。
In addition, when using the difference value as shown in FIG. 3, the next compression
The value g using the difference value obtained in this way becomes the
さらに、図4のように変化率を用いる場合、次圧縮率予測部134は、以下の数式3に示すように、直近を含む5回分の現圧縮率150(図4中、a、b、c、d、e)のそれぞれ時間方向に隣接する現圧縮率150同士の変化率を求め(b/a、c/b、d/c、e/d)、その平均値を直近の現圧縮率150(ここではe)に乗算する。
こうして求められた、変化率を利用した値hが次圧縮率152となる。このように変化率を用いると、画像間の移動量が大きい等、圧縮率が連続的に大小一方向に変化し続けたり、その変化方向が偏っている場合に、その変化に追従した適切な次圧縮率152を導出することが可能となる。
Furthermore, when using the rate of change as shown in FIG. 4, the next compression
The value h using the change rate obtained in this way becomes the
上述したように、次圧縮率予測部134で用いる現圧縮率150の数は2以上であれば足りるが、例えば、連続撮像開始時のように、現圧縮率150の数が予め定められた数に満たない場合、次圧縮率予測部134は、現圧縮率保持部132に保持された直近の現圧縮率150をそのまま次圧縮率152としたり、現圧縮率保持部132に保持している、予め定められた数に満たない現圧縮率150のみを反映して次圧縮率152を予測してもよい。
As described above, the number of the
例えば、連続撮像における1枚目の画像データの撮像では1回前の現圧縮率150が存在しないため、周波数応答処理部114a、114b、階調処理部116a、116b、圧縮処理部118a、118bは、それぞれ、予め準備されている標準の周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行う。なお、これらの、標準の周波数応答特性、階調特性、量子化テーブルは、ユーザーが外部操作によって設定した目標となる圧縮率に基づいて設定されるものである。そして、次圧縮率予測部134は、その変更処理および圧縮符号化処理による画像データの現圧縮率150をそのまま次圧縮率152とする。また、2枚目の画像データの撮像では、1回分の現圧縮率150しか保持されていないものの、周波数応答処理部114a、114b、階調処理部116a、116b、圧縮処理部118a、118bは、その1回分の現圧縮率150による次圧縮率152から導出された新たな周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行う。
For example, since there is no
同様に、現圧縮率150の数が予め定められた数に達するまで、次圧縮率予測部134は、現圧縮率保持部132に保持している、予め定められた数に満たない現圧縮率150を用いて次圧縮率を予測し、周波数応答処理部114a、114b、階調処理部116a、116b、圧縮処理部118a、118bは、その次圧縮率152から導出された新たな周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行う。このとき、データ制御部124は、生成された画像データのうち、現圧縮率150の数が予め定められた数に達するまでの画像データを画像記憶部126には記憶せず、予め定められた数に達した後に記憶し始めるとすることもできる。
Similarly, the next compression
ここでは、連続撮像における2枚目の画像データの撮像から予め定められた数に達するまで、周波数応答処理部114a、114b、階調処理部116a、116b、圧縮処理部118a、118bは、現圧縮率保持部132に保持している現圧縮率150を用いた新たな周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行うとしたが、かかる場合に限らず、1枚目同様、予め定められた数に達するまで予め準備さている標準の周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行ってもよい。
Here, the frequency
また、複数の現圧縮率150を取り出す時間的位置は、上述したように直近および過去の1または複数回に限られず、直近を除く過去の所定回とすることもできる。
Further, the time position at which the plurality of
さらに、次圧縮率予測部134は、上述した(1)予め定められた数の現圧縮率150を平均する処理、(2)現圧縮率150の時間方向に隣接する現圧縮率150の差分値の平均値を最新の現圧縮率150に加算する処理、(3)現圧縮率150の時間方向に隣接する現圧縮率150の変化率の平均値を最新の現圧縮率150に乗算する処理、の群から選択された2または3の処理を、現圧縮率150の変化態様(変化の向きやその大きさ)に応じて切り換え、次圧縮率152を予測するとしてもよい。
Further, the next compression rate prediction unit 134 (1) the above-described process of averaging a predetermined number of
例えば、(1)予め定められた数の現圧縮率150を平均する処理と、(2)現圧縮率150の時間方向に隣接する現圧縮率150の差分値の平均値を最新の現圧縮率150に加算する処理とを切換可能に組み合わせたとする。次圧縮率予測部134は、現圧縮率150の変化態様を監視し、例えば、画像間の移動量が大きい等、圧縮率が連続的に大小一方向に変化し続けたり、その変化方向が偏っている場合、(2)差分値を用いて次圧縮率152を予測し、イレギュラーな画像が撮像された等、圧縮率に短時間に大きな変化があった場合、(1)平均値を用いて次圧縮率152を予測する。このように現圧縮率150の変化態様に応じて、それぞれ次圧縮率の効果的な導出方法を用いることで、より高精度に圧縮符号化後の画像データのデータ容量を目標値に近づけることが可能となる。
For example, (1) a process of averaging a predetermined number of
続いて、画像データの圧縮率の補正について説明する。画像データの圧縮率の補正は、周波数応答処理部114a、114b、階調処理部116a、116b、圧縮処理部118a、118bそれぞれが、周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行うことで為される。したがって、(a)周波数応答特性、(b)階調特性、(c)量子化テーブルを補正することで結果的に画像データの圧縮率が相対的に変化し、連続撮像全時間を通じて現圧縮率150を目標圧縮率に近づけることができる。
Next, correction of the compression rate of image data will be described. The compression rate of the image data is corrected by the frequency
ここで、目標圧縮率は、撮像者が設定した、または複数の選択肢(標準モードやファインモードといった撮像モード等)から選択した1の圧縮率である。また、目標圧縮率は、一度の連続撮像で記憶可能な総データ容量を連続撮像の枚数で除算した1枚当たりのデータ容量に基づいて決定されるとしてもよい。 Here, the target compression rate is a compression rate of 1 set by the photographer or selected from a plurality of options (imaging mode such as standard mode and fine mode). The target compression rate may be determined based on the data capacity per frame obtained by dividing the total data capacity that can be stored in one continuous imaging by the number of continuous imaging.
(周波数応答特性の導出処理)
周波数応答導出部136は、前回の周波数応答特性と、次圧縮率152と、目標圧縮率とに基づいて、周波数応答処理部114が用いる周波数応答特性を導出する。
(Frequency response characteristics derivation process)
The frequency
具体的に、周波数応答導出部136は、まず、次圧縮率予測部134が予測した次圧縮率152と、目標圧縮率とを比較し、圧縮効果を下げるべきか上げるべきか判断する。例えば、周波数応答特性がLPF(Low Pass Filter)による周波数応答特性として表されている場合、周波数応答導出部136は、圧縮効果を下げるべきと判断すると、そのLPFのカットオフ周波数fc(大凡30〜40MHz程度)を上げ(通過帯域幅を拡げ)、圧縮効果を上げるべきと判断した場合、LPFのカットオフ周波数fcを下げる(通過帯域幅を狭める)。
Specifically, the frequency
図5は、周波数応答特性による圧縮率の補正を説明するための説明図である。図5では、横軸は周波数、縦軸は周波数に対する応答(レスポンス)を示す。上記のように、周波数応答特性がLPFによる周波数応答特性として表されている場合、周波数応答導出部136は、図5(a)に示されたような、前回導出された周波数応答特性を周波数応答保持部138から取得し(前回のLPFのカットオフ周波数fcを取得し)、圧縮効果を下げるべきと判断した場合、図5(b)に示すように、前回のLPFのカットオフ周波数fcを、次圧縮率152と目標圧縮率との差分値に応じて決定される周波数分だけ上げる。また、周波数応答導出部136は、圧縮効果を上げるべきと判断した場合、図5(c)に示すように、前回のLPFのカットオフ周波数fcを、次圧縮率152と目標圧縮率との差分値に応じて決定される周波数分だけ下げる。
FIG. 5 is an explanatory diagram for explaining the correction of the compression ratio based on the frequency response characteristics. In FIG. 5, the horizontal axis indicates the frequency, and the vertical axis indicates the response to the frequency. As described above, when the frequency response characteristic is represented as the frequency response characteristic by the LPF, the frequency
ここで、圧縮率の補正に周波数応答特性を用いたのは以下の理由による。即ち、画像データでは、高周波成分が多いほど、画像データのデータ容量が大きくなる。したがって、圧縮率を目標圧縮率に近づけるためには、圧縮符号化処理が施される前の段階で画像データの帯域幅を調整すればよいことになる。そこで、本実施形態では、次圧縮率152の圧縮効果が目標圧縮率の圧縮効果より大きい場合、圧縮効果を下げるべきと判断して周波数応答特性の帯域幅を拡げ、逆に、次圧縮率152の圧縮効果が目標圧縮率の圧縮効果より小さい場合、圧縮効果を上げるべきと判断して周波数応答特性の帯域幅を狭めている。
Here, the reason why the frequency response characteristic is used for correcting the compression ratio is as follows. That is, in the image data, the larger the high frequency component, the larger the data capacity of the image data. Therefore, in order to bring the compression rate close to the target compression rate, the bandwidth of the image data may be adjusted at a stage before the compression encoding process is performed. Therefore, in this embodiment, when the compression effect of the
また、上記では、周波数応答特性の帯域幅を、次圧縮率152と目標圧縮率との差分値に応じて変化させ、その都度、周波数応答特性を求める例を挙げたが、かかる場合に限られず、例えば、予め定められた複数の周波数応答特性(例えば、予め定められた複数のカットオフ周波数fc)と、次圧縮率152と目標圧縮率との差分値と複数の周波数応答特性とを対応させた周波数応答テーブルとを準備しておき、次圧縮率152と目標圧縮率との差分値に基づいて、適切な1の周波数応答特性を選択する構成としてもよい。かかる構成によって、周波数応答導出部136の処理負荷を軽減でき、また、周波数応答特性が迅速に求められるため、画像データの圧縮符号化処理に費やす時間を短縮でき、ひいては、連続撮像における画像データの生成間隔を短縮することも可能となる。
In the above description, the bandwidth of the frequency response characteristic is changed according to the difference value between the
周波数応答導出部136は、このようにして求められた新たな周波数応答特性を、周波数応答処理部114bのみならず周波数応答処理部114aにも送信し、周波数応答処理部114a、114bは、かかる新たな周波数応答特性に基づいて画像データを変換する。また、周波数応答導出部136は、導出された周波数応答特性を周波数応答保持部138の周波数応答特性に上書きして次回の処理に備える。
The frequency
(階調特性の導出処理)
階調導出部140は、前回の階調特性と、次圧縮率152と、目標圧縮率とに基づいて、階調処理部116が用いる階調特性を導出する。
(Grading characteristics derivation process)
The
具体的に、階調導出部140は、まず、次圧縮率予測部134が予測した次圧縮率152と、目標圧縮率とを比較し、圧縮効果を下げるべきか上げるべきか判断する。そして、階調導出部140は、圧縮効果を下げるべきと判断した場合、例えば、階調特性である階調変換曲線(ここでは直線)の全体的な傾きを大きくし、圧縮効果を上げるべきと判断した場合、階調変換曲線の全体的な傾きを小さくする。
Specifically, the
図6は、階調特性による圧縮率の補正を説明するための説明図である。図6では、横軸は階調処理部116に入力された画像データの階調値を、縦軸は階調処理部116から出力される画像データの階調値を示す。階調導出部140は、図6(a)に示されたような、前回導出された階調特性を階調保持部142から取得し(前回の階調変換曲線160の傾き(ここでは例えば傾き1)を取得し)、圧縮効果を下げるべきと判断した場合、図6(b)に示すように、前回の階調変換曲線160の傾きを、次圧縮率152と目標圧縮率との差分値に応じて決定される値分だけ上げる。また、階調導出部140は、圧縮効果を上げるべきと判断した場合、図6(c)に示すように、前回の階調変換曲線160の傾きを、次圧縮率152と目標圧縮率との差分値に応じて決定される値分だけ下げる。ただし、図6(a)〜(c)のように、入力された階調値が0.5であった場合、出力される階調値も0.5となるように、階調変換曲線160のオフセットが調整される。
FIG. 6 is an explanatory diagram for explaining correction of the compression rate based on the gradation characteristics. In FIG. 6, the horizontal axis indicates the gradation value of the image data input to the
ここで、圧縮率の補正に階調特性を用いたのは以下の理由による。即ち、画像データでは、階調値がとりうる範囲が大きいほどコントラストが大きくなり、それに伴って画像データのデータ容量が大きくなるので、その分、圧縮効果を上げなければならない。圧縮率を目標圧縮率に近づけるためには、圧縮符号化処理が施される前の段階で画像データの階調値のコントラストを変えればよい。そこで、本実施形態では、次圧縮率152の圧縮効果が目標圧縮率の圧縮効果より大きい場合、圧縮効果を下げるべきと判断して階調特性である階調変換曲線160の傾きを上げてコントラストを大きくし、逆に、次圧縮率152の圧縮効果が目標圧縮率の圧縮効果より小さい場合、圧縮効果を上げるべきと判断して階調変換曲線160の傾きを下げてコントラストを小さくしている。
Here, the reason why the gradation characteristic is used for correcting the compression rate is as follows. That is, in the image data, the greater the range that the gradation value can take, the greater the contrast, and the corresponding increase in the data capacity of the image data. Therefore, the compression effect must be increased accordingly. In order to bring the compression rate close to the target compression rate, the contrast of the gradation value of the image data may be changed at a stage before the compression encoding process is performed. Therefore, in this embodiment, when the compression effect of the
ここでは、階調特性である階調変換曲線160が直線(1次の曲線)となる例を挙げて説明したが、階調変換曲線160は直線に限られず、折線や2次以上の漸増曲線で構成することもできる。この場合、階調導出部140は、階調変換曲線160の近似直線の傾きが大きく、または小さくなるように階調変換曲線160を変化させるとしてもよい。また、階調値として、8bit入力、8bit出力の例を示したが、別のbit値でもよい。
Here, the
また、上記では、階調特性である階調変換曲線160の傾きを、次圧縮率152と目標圧縮率との差分値に応じて変化させ、その都度、階調特性を求める例を挙げたが、かかる場合に限られず、予め定められた複数の階調特性(例えば、予め定められた複数の階調変換曲線160の傾き)と、次圧縮率152と目標圧縮率との差分値と複数の階調変換曲線160の傾きとを対応させた階調テーブルとを準備しておき、次圧縮率152と目標圧縮率との差分値に基づいて、適切な1の階調変換曲線160の傾きを選択する構成としてもよい。かかる構成によって、階調導出部140の処理負荷を軽減でき、また、階調特性が迅速に求められるため、画像データの圧縮符号化処理に費やす時間を短縮でき、ひいては、連続撮像における画像データの生成間隔を短縮することも可能となる。
In the above description, the
階調導出部140は、このようにして求められた新たな階調特性(階調変換曲線160の傾き)を、階調処理部116bのみならず階調処理部116aにも送信し、階調処理部116a、116bは、かかる新たな階調特性に基づいて画像データを変換する。また、階調導出部140は、導出された階調特性を階調保持部142の階調特性に上書きして次回の処理に備える。
The
(量子化テーブルの導出処理)
量子化テーブル導出部144は、前回の量子化テーブルと、次圧縮率152と、目標圧縮率とに基づいて、圧縮処理部118が用いる量子化テーブルを導出する。ここで、量子化テーブルは、JPEGにおける離散コサイン変換(DCT:Discrete Cosine Transform)後の画像データの、比較的高い周波数成分を省略するために、その画像データを除算する係数をそれぞれ異ならせて配した表を言い、例えば、画像ブロックが8画素×8画素で表される場合、同じく8×8の係数が配された表となる。
(Quantization table derivation process)
The quantization
具体的に、量子化テーブル導出部144は、まず、次圧縮率予測部134が予測した次圧縮率152と、目標圧縮率とを比較し、圧縮効果を下げるべきか上げるべきか判断する。そして、量子化テーブル導出部144は、圧縮効果を下げるべきと判断した場合、例えば、量子化テーブルの各係数を比較的小さい(除数が小さい)値にし、圧縮効果を上げるべきと判断した場合、量子化テーブルの各係数を比較的大きい(除数が大きい)値にする。
Specifically, the quantization
図7は、量子化テーブル170による圧縮率の補正を説明するための説明図である。図7では、量子化テーブル170が画像ブロックに合わせて8×8の係数の配列によって表されている。また、量子化テーブル170は、図7中、左上に向かって画像ブロックの低周波数成分に対応した係数となり、右下に向かって画像ブロックの高周波数成分に対応した係数となっている。量子化テーブル導出部144は、図7(a)に示されたような、前回導出した量子化テーブル170を量子化テーブル保持部146から取得し、圧縮効果を下げるべきと判断した場合、図7(b)に示すように、次圧縮率152と目標圧縮率との差分値に応じて決定される値分だけ、例えば、各係数に0.5を乗算して、各係数を小さくする。また、量子化テーブル導出部144は、圧縮効果を上げるべきと判断した場合、図7(c)に示すように、次圧縮率152と目標圧縮率との差分値に応じて決定される値分だけ、例えば、各係数に2を乗算して、各係数を大きくする。
FIG. 7 is an explanatory diagram for explaining the correction of the compression rate by the quantization table 170. In FIG. 7, the quantization table 170 is represented by an array of 8 × 8 coefficients according to the image block. Further, the quantization table 170 is a coefficient corresponding to the low frequency component of the image block toward the upper left in FIG. 7, and is a coefficient corresponding to the high frequency component of the image block toward the lower right. When the quantization
ここで、圧縮率の補正に量子化テーブル170を用いたのは以下の理由による。即ち、画像データでは、量子化テーブル170の各係数が大きいほど圧縮効果が大きくなり、量子化テーブル170の各係数が小さいほど圧縮効果が小さくなる。具体的に説明すると、例えば、圧縮前の画像データのデータ容量をS、圧縮後の画像データの予測データ容量をSa、目標とする画像データのデータ容量をSb、1回前に用いた量子化テーブル170の各係数をQorgi,j(i,jは整数であり、それぞれ量子化テーブル170の行、列を示す。)とすると、求める量子化テーブル170の係数Qi,j(i,jは整数)は数式4を用いて求められる。
ここでSa/Sは次圧縮率152を示し、Sb/Sは目標圧縮率を示す。
Here, the reason why the quantization table 170 is used for correcting the compression rate is as follows. That is, in the image data, the compression effect increases as the coefficients of the quantization table 170 increase, and the compression effect decreases as the coefficients of the quantization table 170 decrease. More specifically, for example, the data capacity of image data before compression is S, the predicted data capacity of image data after compression is Sa, the data capacity of target image data is Sb, and quantization is performed once before. Assuming that each coefficient of the table 170 is Qorg i, j (i, j are integers, which indicate the row and column of the quantization table 170, respectively), the coefficient Q i, j (i, j of the quantization table 170 to be obtained). Is an integer) using Equation 4.
Here, Sa / S indicates the
例えば、図7(a)に示した量子化テーブル170を用いた場合に現圧縮率150が20%となったとすると、図7(a)の量子化テーブル170の係数を0.5で乗算した図7(b)の量子化テーブル170では、現圧縮率が40%となる。また、同様に、図7(a)の量子化テーブル170の係数を2で乗算した図7(c)の量子化テーブル170では、現圧縮率が10%となる。かかる圧縮符号化処理は一例であり、圧縮率は基となる画像データの内容によって変化するが、量子化テーブル170の係数の比に対する圧縮率の変化量はほぼ反比例の関係となる。
For example, if the
そこで、本実施形態では、次圧縮率152の圧縮効果が目標圧縮率の圧縮効果より大きい場合、圧縮効果を下げるべきと判断して量子化テーブル170の係数を下げ、逆に、次圧縮率152の圧縮効果が目標圧縮率の圧縮効果より小さい場合、圧縮効果を上げるべきと判断して量子化テーブル170の係数を上げる。
Therefore, in this embodiment, when the compression effect of the
また、上記では、量子化テーブル170を、次圧縮率152と目標圧縮率との差分値に応じて変化させ、その都度、量子化テーブル170を求める例を挙げたが、かかる場合に限られず、例えば、予め定められた複数の量子化テーブル170(例えば、図7(a)、(b)、(c)等)と、次圧縮率152と目標圧縮率との差分値と複数の量子化テーブル170とを対応させた量子化対応テーブルとを準備しておき、次圧縮率152と目標圧縮率との差分値に基づいて、適切な1の量子化テーブル170を選択する構成としてもよい。かかる構成によって、量子化テーブル導出部144の処理負荷を軽減でき、また、量子化テーブル170が迅速に求められるため、画像データの圧縮符号化処理に費やす時間を短縮でき、ひいては、連続撮像における画像データの生成間隔を短縮することも可能となる。
In the above description, the quantization table 170 is changed according to the difference value between the
量子化テーブル導出部144は、このようにして求められた新たな量子化テーブル170を、圧縮処理部118a、118bに送信し、圧縮処理部118a、118bは、かかる新たな量子化テーブル170に基づいて、それぞれ画像データに圧縮符号化処理を施す。また、量子化テーブル導出部144は、導出された量子化テーブル170を量子化テーブル保持部146の量子化テーブル170に上書きして次回の処理に備える。
The quantization
また、ここでは、周波数応答処理部114a、114b、階調処理部116a、116b、圧縮処理部118a、118bの全てで圧縮率の補正を行う例を挙げたが、周波数応答処理部114a、114bの組み合わせ、階調処理部116a、116bの組み合わせ、圧縮処理部118a、118bの組み合わせのうち選択された1または2の機能部の組み合わせのみで圧縮率の補正を行うことも可能である。このとき、採用する機能部の組み合わせを、圧縮率の影響度を踏まえて、圧縮処理部118a、118b、周波数応答処理部114a、114b、階調処理部116a、116bの順に優先して採用するとしてもよい。
In addition, here, an example in which the compression rate is corrected by all of the frequency
例えば、圧縮処理部118a、118bは、量子化テーブルを用いた圧縮符号化処理を直接行っているので、圧縮率を制御し易く、周波数応答処理部114a、114bは、既存のLPFを本実施形態の周波数応答特性の変換に用いることで部品点数を少なくでき、階調処理部116a、116bは、既存の増幅回路やガンマ補正回路を階調特性の変換に用いることで部品点数を少なくすることができる。また、いずれか1の機能部または2つの組み合わせで圧縮率の補正を行う場合、他の機能部の補正要素は固定する。
For example, since the
(生成速度の制御処理)
上述したように、直前の複数の画像データの現圧縮率から次圧縮率を予測することで、圧縮符号化処理を高精度かつ高速に行うことが可能となる。ただし、撮像装置100では、記憶対象となる画像データの圧縮率を予測するために、過去に渡る複数の画像データの現圧縮率150を参照しているため、適切な圧縮率の画像データを記憶するまでには、複数の画像データを生成する分だけの撮像時間を要することとなる。
(Control processing of generation speed)
As described above, by predicting the next compression rate from the current compression rate of the immediately preceding plurality of image data, the compression encoding process can be performed with high accuracy and high speed. However, since the
例えば、記憶撮像部である撮像部102aで生成された画像データが記憶される(画像記憶部126に画像データを記憶する、または、画像記憶部126に記憶するために少なくとも画像メモリ122に画像データを残す)速度である撮像記憶速度が60枚/secであった場合において、予測撮像部である撮像部102bにおける画像データの生成速度が撮像部102aと等しいとすると、画像データの圧縮率を予測するのに、直近の画像データと1回前の画像データとの2枚分の画像データを得るため、最低でも1/60×2=1/30秒必要となる。このため、撮像を行う場合の起動に時間がかかってしまい、撮影のタイミングを逃してしまう可能性がある。そこで、本実施形態の同期信号発生部106は、水平同期信号および垂直同期信号の発生周期を調整して、撮像部102bにおける画像データの生成速度を、撮像部102aにおける画像データの生成速度より高くする。ここで、画像データの生成速度の制御方法に関して触れておく。
For example, image data generated by the
画像データの生成速度の制御方法に関し、所定のクロックで撮像部102bを駆動した場合、撮像素子の1系統の出力バスから単位時間に読み出せる画像データのデータ容量の上限は決まっている。このため、一般的には、画像データの生成速度が高くなるほど、生成された画像データのデータ容量は小さくなり、画像データの生成速度が低くなるほど、画像データのデータ容量は大きくなる。これは、所謂画素混合を用いた手法であり、例えば、特開2006−217355号公報等に具体的な実現方法が示されている。また、特開平10−191184号公報のように、複数系統の出力バスを設け、複数系統の出力バスから同一のタイミングで同時に画像データを得ることにより、画像データの生成速度が高い場合であってもデータ容量の大きい画像データを得ることができる。
Regarding the method for controlling the generation speed of image data, when the
したがって、上述した複数系統の出力バスを設ける技術では、1系統の出力バスを設けた場合と異なり、画像データの生成速度が高速になっても画像データのデータ容量が小さくならない。即ち、画像データのデータ容量が画像データの生成速度に依存しないので、常に画像データの生成速度を高く設定しておくことも可能である。本実施形態では、複数系統の出力バスを設ける技術を用い、画像データの生成速度が切り換わった場合であっても画像データのデータ容量が等しいことを前提とする。 Therefore, unlike the case where a single output bus is provided, the above-described technique for providing a plurality of output buses does not reduce the data capacity of the image data even when the image data generation speed is increased. In other words, since the data capacity of the image data does not depend on the image data generation speed, it is possible to always set the image data generation speed high. In the present embodiment, a technique of providing a plurality of output buses is used, and it is assumed that the image data has the same data capacity even when the image data generation speed is switched.
本実施形態において、同期信号発生部106は、撮像部102aにおける画像データの生成速度(撮像記憶速度)を60枚/sec(周期1/60sec:60fps)に固定している場合に、撮像部102bの画像データの生成速度を、第1生成速度である、例えば240枚/sec(周期1/240:240fps)となるよう制御する。そして、任意のトリガ以降の所定のタイミングで、撮像部102bを用いた圧縮率の予測処理が開始される。ここで、任意のトリガは、画像データを記憶するための準備処理である。撮像者は、撮像(記憶)を開始する前段の準備処理として、例えば、リリーススイッチ110を半押しし、撮像部102a、102bのオートフォーカスを機能させ、フォーカスレンズを移動することで被写体に焦点を合わせる。このとき、撮像装置100では、撮像部102bにおいて高い生成速度(240枚/sec)で生成された画像データを用いて迅速に次圧縮率152を予測する。そして、半押し以降の所定のタイミングで、撮像者が、リリーススイッチ110を全押しすると、撮像部102aにおいて、連続撮像、および、生成された画像データの記憶が開始される。
In the present embodiment, the synchronization
前段の準備処理は、上記オートフォーカス機能の開始操作に限らず、被写体のスマイル検知の開始操作であったり、所定の画像範囲内の画像の変化の検知開始操作であったり、画像データの画像メモリ122への記憶タイミングにタイマを用いるオートタイマの設定操作であってもよい。 The preparatory process is not limited to the above-described autofocus function start operation, but is a start operation for detecting a smile of a subject, a start operation for detecting a change in an image within a predetermined image range, or an image memory for image data. It may be an auto timer setting operation that uses a timer for the storage timing to 122.
図8は、画像データの生成速度を説明するためのタイミングチャートである。図8においては、撮像状態として、例えば、撮像部102aで生成した画像データの記憶を目的とする「記憶状態」と、その前段で、主として画像データの圧縮符号化のため、撮像部102bで生成した画像データを用いて次圧縮率152を予測する「予測状態」と、画像データを閲覧させるため主として撮像部102aで生成された画像データを表示部128に表示させる「表示状態」との3つの状態遷移を示している。ただし、上記記憶状態においても、画像データの記憶と並行して、閲覧のための画像データの表示を継続することができる。
FIG. 8 is a timing chart for explaining the generation speed of the image data. In FIG. 8, as the imaging state, for example, a “storage state” for storing image data generated by the
任意のトリガがあるまでの表示状態において、データ制御部124は、撮像記憶速度と等しい60枚/sec(周期1/60sec)で、撮像部102aが生成した画像データを表示部128に表示させている。
In the display state until there is an arbitrary trigger, the
ここで、撮像者によるリリーススイッチ110の操作を通じて、画像データを記憶するための準備処理である任意のトリガ(例えば、オートフォーカス機能の開始操作)を受けると、それ以降の所定のタイミングで撮像部102bの撮像状態は、予測状態となり、撮像部102bは、撮像記憶速度より高い、240枚/sec(周期1/240sec)で画像データを生成し、同生成速度で圧縮率の予測処理が為される。ここでは、消費電力や発熱低減のため任意のトリガを受けて圧縮率の予測処理を開始しているが、圧縮率の予測処理を常時行うことも可能である。
Here, upon receiving an arbitrary trigger (for example, an autofocus function start operation) that is a preparation process for storing image data through the operation of the
また、任意のトリガから所定の時間が経過すると、もしくは、任意のトリガから所定時間経過後にさらに撮像者のリリーススイッチ110の操作を通じた新たなトリガ(例えば、全押し操作)を得ると、撮像部102aの撮像状態は、表示状態から記憶状態に遷移する。そして、データ制御部124は、画像メモリ122に保持された画像データの画像記憶部126への記憶を開始する。
When a predetermined time elapses from an arbitrary trigger, or when a new trigger (for example, full press operation) is obtained through the operation of the
図8をさらに具体的に説明すると、撮像装置100は、任意のトリガを受けると、撮像部102bの撮像状態を予測状態に遷移し、画像加工部(周波数応答処理部114a、114b、階調処理部116a、116b、圧縮処理部118a、118b)は画像データの圧縮率の補正を開始し、補正要素導出部(周波数応答導出部136、階調導出部140、量子化テーブル導出部144)は、その圧縮率の補正に必要な補正要素を導出し始める。そして、撮像部102bの垂直同期信号VD1における予測状態の1クロック目で現圧縮率保持部132に現圧縮率150が保持される。
More specifically, FIG. 8 will be described. Upon receiving an arbitrary trigger, the
例えば、次圧縮率152を予測するための現圧縮率150の数を4とした場合、予測状態は、垂直同期信号VD1の4クロック分継続する。そして、現圧縮率保持部132に現圧縮率150が4つ保持されると、撮像部102aの撮像状態は表示状態から記憶状態に遷移する。
For example, when the number of the
このとき、次圧縮率予測部134は、予測状態で蓄積された4つの現圧縮率150の平均値等により、次圧縮率152を適切に予測することができるので、補正要素導出部(周波数応答導出部136、階調導出部140、量子化テーブル導出部144)は、その次圧縮率152と目標圧縮率とに基づいて適切に補正要素を決定することが可能となり、画像加工部(周波数応答処理部114a、階調処理部116a、圧縮処理部118a)は、記憶状態における、撮像部102aの垂直同期信号VD2における記憶状態の1クロック目から、その適切な補正要素に基づいて画像データの圧縮率を補正することができる。こうして圧縮処理部118aで圧縮符号化された画像データは、データ制御部124によって画像記憶部126に記憶される(記憶1回目)。
At this time, the next compression
引き続き、記憶2回目においても、次圧縮率予測部134は、撮像部102bの予測状態における直前に取得された4つの現圧縮率150の平均値等により次圧縮率を予測し、画像加工部は、その適切な補正要素に基づいて画像データの圧縮率を補正することができる。
Subsequently, also in the second storage, the next compression
連続撮像において記憶する画像データの枚数の上限を例えば2枚に設定している場合、データ制御部124が画像記憶部126に画像データを2枚記憶したことに応じて、撮像部102aの撮像状態は、記憶状態から表示状態に自動的に遷移する。ここでは、連続撮像において記憶する画像データの枚数の上限を2枚としたが、1枚や3枚以上とすることも勿論可能である。また、本実施形態では、次圧縮率152の予測を行うための現圧縮率150の数を4としたが、現圧縮率150の数は1以上であればよい。
When the upper limit of the number of image data to be stored in continuous imaging is set to 2, for example, the imaging state of the
このように、撮像装置100では、撮像部102aで生成された画像データの画像メモリ122への記憶が開始される前の現圧縮率150の蓄積を、撮像部102bを用いて高速(撮像記憶速度より高い速度)に行い、短時間で適切な次圧縮率を予測する。画像データの生成間隔が短いと、次圧縮率152の予測に必要な時間が短くなるのみならず、連続する画像データが近似した画像となり、次圧縮率152の予測精度も向上する。また、かかる実施形態では、撮像部102a、102bいずれの画像データの生成速度も固定できるので、フレームレートの切換に対応していない、または、制限が設けられた撮像素子を利用する場合であっても、当該効果を得ることが可能となり、撮像素子の選択範囲が広がるメリットがある。
As described above, in the
(変形例1)
また、同期信号発生部106は、データ制御部124が圧縮符号化された画像データを画像記憶部126に記憶開始してから任意のトリガがあるまで、撮像部102bの画像データを、第1生成速度より低い第2生成速度で生成させたり、または、画像データを生成させないとすることもできる。
(Modification 1)
Further, the synchronization
かかる変形例1において、同期信号発生部106は、撮像部102aにおける画像データの生成速度(撮像記憶速度)を60枚/secに固定しつつ、撮像部102bの画像データの生成速度を第2生成速度である、例えば30枚/sec(周期1/30sec:30fps)となるように制御し、任意のトリガ以降の所定のタイミングで、撮像部102bの画像データの生成速度を30枚/secから、撮像記憶速度より高い240枚/secに切り換える。具体的には、撮像部102bの撮像素子のフレームレートを変更することで画像データの生成速度を切り換えている。ここで、任意のトリガは、上述した画像データを記憶するための準備処理である。そして、予め定められた数の現圧縮率150が保持され、次圧縮率が適切に予測されるようになると、撮像部102bの画像データの生成速度が30枚/secに戻され、撮像部102aで生成された画像データの画像メモリ122への記憶が開始される。ここでは、一例として画像データの生成速度を30枚/secとしているが、かかる場合に限られず、任意の生成速度としてもよいし、上述したように画像データそのものを生成させない(0枚/sec)とすることもできる。
In the first modification, the synchronization
図9は、変形例1における撮像装置200の概略的な構成を示した機能ブロック図であり、図10は、画像データの生成速度を説明するためのタイミングチャートである。撮像装置200は、上述した撮像装置100に対して、圧縮処理部118aへの画像データの入力元を、階調処理部116bと、階調処理部116aとで切り換える画像切換部148が追加されている点で異なる。
FIG. 9 is a functional block diagram illustrating a schematic configuration of the
任意のトリガがあるまでの表示状態において、データ制御部124は、撮像記憶速度と等しい60枚/sec(周期1/60sec)で、撮像部102aが生成した画像データを表示部128に表示させている。
In the display state until there is an arbitrary trigger, the
ここで、撮像者によるリリーススイッチ110の操作を通じて、画像データを記憶するための準備処理である任意のトリガを受けると、それ以降の所定のタイミングで撮像部102bの撮像状態は、予測状態となり、同期信号発生部106は、垂直同期信号VD1を制御し、撮像部102bの画像データの生成速度を、撮像記憶速度より高い、例えば、240枚/sec(周期1/240sec)に切り換え、同生成速度で圧縮率の予測処理が為される。
Here, when an arbitrary trigger, which is a preparation process for storing image data, is received through an operation of the
また、任意のトリガから所定の時間が経過すると、もしくは、任意のトリガから所定時間経過後にさらに撮像者のリリーススイッチ110の操作を通じた新たなトリガ(例えば、全押し操作)を得ると、撮像部102aの撮像状態は、表示状態から記憶状態に遷移し、それと同時に、同期信号発生部106が、垂直同期信号VD1を制御することで撮像部102bの画像データの生成速度を、30枚/secに切り換える(240枚/sec→30枚/sec)。そして、データ制御部124は、画像メモリ122に保持された画像データの画像記憶部126への記憶を開始する。
When a predetermined time elapses from an arbitrary trigger, or when a new trigger (for example, full press operation) is obtained through the operation of the
図10をさらに具体的に説明すると、撮像装置200は、任意のトリガを受けると、撮像部102bの撮像状態を予測状態に遷移し、同期信号発生部106は、撮像部102bの画像データの生成速度を30枚/secから240枚/secに切り換え、画像加工部(周波数応答処理部114a、114b、階調処理部116a、116b、圧縮処理部118a)は画像データの圧縮率の補正を開始し、補正要素導出部(周波数応答導出部136、階調導出部140、量子化テーブル導出部144)は、その圧縮率の補正に必要な補正要素を導出し始める。そして、撮像部102bの垂直同期信号VD1における予測状態の1クロック目で現圧縮率保持部132に現圧縮率150が保持される。
10 will be described more specifically. When the
例えば、次圧縮率152を予測するための現圧縮率150の数を4とした場合、予測状態は、垂直同期信号VD1の4クロック分継続する。そして、現圧縮率保持部132に現圧縮率150が4つ保持されると、撮像部102aの撮像状態は表示状態から記憶状態に遷移する。
For example, when the number of the
このとき、次圧縮率予測部134は、予測状態で蓄積された4つの現圧縮率150の平均値等により、次圧縮率152を適切に予測することができるので、補正要素導出部(周波数応答導出部136、階調導出部140、量子化テーブル導出部144)は、その次圧縮率152と目標圧縮率とに基づいて適切に補正要素を決定することが可能となり、画像加工部(周波数応答処理部114a、階調処理部116a、圧縮処理部118a)は、記憶状態における、撮像部102aの垂直同期信号VD2における記憶状態の1クロック目から、その適切な補正要素に基づいて画像データの圧縮率を補正することができる。こうして圧縮処理部118aで圧縮符号化された画像データは、例えば、データ制御部124によって画像記憶部126に記憶される(記憶1回目)。また、同期信号発生部106は、垂直同期信号VD2における記憶状態の1クロック目に対応するタイミングで、垂直同期信号VD1を制御し、撮像部102bの画像データの生成速度を30枚/secに戻す。
At this time, the next compression
記憶状態における垂直同期信号VD1の2クロック目では、次圧縮率予測部134は、撮像部102bの予測状態における直前に取得された3つの現圧縮率150と、他の1の現圧縮率150との平均値等により次圧縮率を予測する。しかし、上述したように、同期信号発生部106は、撮像部102bの画像データの生成速度を、30枚/secに戻しているか、または、画像データの生成を行っていないので、画像データを得ることができない。ここでは、画像切換部148が、圧縮処理部118aへの画像データの入力元を、階調処理部116bから階調処理部116aに切り換えることで、記憶状態における1回目の画像データの現圧縮率150を参照することができる。したがって、240枚/secで生成した3枚の画像データと60枚/secで生成した1枚の画像データとの圧縮率を参照していることとなる。画像加工部は、その適切な補正要素に基づいて画像データの圧縮率を補正することができる(記憶2回目)。
At the second clock of the vertical synchronization signal VD1 in the storage state, the next compression
このように、撮像装置200では、撮像部102aで生成された画像データの画像メモリ122への記憶が開始される前の現圧縮率150の蓄積を、撮像部102bを用いて高速(撮像記憶速度より高い速度)に行い、短時間で適切な次圧縮率を予測する。画像データの生成間隔が短いと、次圧縮率152の予測に必要な時間が短くなるのみならず、連続する画像データが近似した画像となり、次圧縮率152の予測精度も向上する。また、圧縮率の予測処理が不要な、データ制御部124が圧縮符号化された画像データを画像記憶部126に記憶開始してから任意のトリガがあるまでの期間、撮像部102bの画像データの生成速度を低くすることで、また、画像データを生成しないことで、消費電力や発熱の低減を図ることが可能となる。
As described above, in the
また、かかる変形例1では、画像切換部148を用いることによって、記憶状態における、撮像部102aの垂直同期信号VD2における記憶状態の1クロック目から撮像部102bの画像データを用いた圧縮率の予測処理が行われなくなるので、撮像部102bと撮像部102aとで圧縮処理を並行して行う必要がない。したがって、図9に示したように、一方の圧縮処理部118bを省略することができ、部品点数の削減および消費電力や発熱の低減を図ることができる。
In the first modification, the
(変形例2)
また、撮像装置100の同期信号発生部106は、データ制御部124が圧縮符号化された画像データを画像記憶部126に記憶開始してから任意のトリガがあるまで、撮像部102bの画像データを、第1生成速度より低い第2生成速度で生成させたり、または、画像データを生成させないとした上で、データ制御部124が圧縮符号化された画像データを画像記憶部126に記憶する毎に、記憶が為されるまでの所定期間、撮像部102bの画像データを第1生成速度で生成さてもよい。
(Modification 2)
In addition, the synchronization
かかる変形例2において、同期信号発生部106は、撮像部102aにおける画像データの生成速度(撮像記憶速度)を30枚/secに固定しつつ、撮像部102bの画像データの生成速度を第2生成速度である、例えば30枚/secとなるように制御し、任意のトリガ以降の所定のタイミングで、撮像部102bの画像データの生成速度を30枚/secから、撮像記憶速度より高い240枚/secに切り換える。そして、予め定められた数の現圧縮率150が保持され、次圧縮率が適切に予測されるようになると、撮像部102bの画像データの生成速度を30枚/secに戻して、画像メモリ122への記憶が開始される(記憶1回目)。さらに、変形例2では、撮像部102aの画像データの次回の記憶(例えば、記憶2回目)が想定される場合、記憶タイミングが到来するまでの所定期間(ここでは、4クロック分)、撮像部102bの画像データを240枚/secで生成し、撮像部102bの画像データを用いて圧縮率の予測処理を行う。
In the second modification, the synchronization
図11は、画像データの生成速度を説明するためのタイミングチャートである。任意のトリガがあるまでの表示状態において、データ制御部124は、撮像記憶速度と等しい30枚/sec(周期1/30sec)で、撮像部102aが生成した画像データを表示部128に表示させている。
FIG. 11 is a timing chart for explaining the generation speed of image data. In the display state until there is an arbitrary trigger, the
ここで、撮像者によるリリーススイッチ110の操作を通じて、画像データを記憶するための準備処理である任意のトリガを受けると、それ以降の所定のタイミングで、撮像部102bの撮像状態は予測状態となり、同期信号発生部106は、垂直同期信号VD1を制御し、撮像部102bの画像データの生成速度を、撮像記憶速度より高い、例えば、240枚/sec(周期1/240sec)に切り換え、同生成速度で圧縮率の予測処理が為される。
Here, when an arbitrary trigger, which is a preparation process for storing image data, is received through an operation of the
また、任意のトリガから所定の時間が経過すると、もしくは、任意のトリガから所定時間経過後にさらに撮像者のリリーススイッチ110の操作を通じた新たなトリガを得ると、撮像部102aの撮像状態は、表示状態から記憶状態に遷移し、同期信号発生部106が、垂直同期信号VD1を制御することで撮像部102bの画像データの生成速度を、30枚/secに切り換える(240枚/sec→30枚/sec)。そして、データ制御部124は、画像メモリ122に保持された画像データの画像記憶部126への記憶を開始する。変形例2では、かかる記憶までの一連の動作を、連続撮像において記憶する画像データの枚数分だけ繰り返す。
When a predetermined time elapses from an arbitrary trigger, or when a new trigger is obtained through the operation of the
図11をさらに具体的に説明すると、撮像装置100は、任意のトリガを受けると、撮像部102bの撮像状態を予測状態に遷移し、同期信号発生部106は、撮像部102bの画像データの生成速度を30枚/secから240枚/secに切り換え、画像加工部(周波数応答処理部114a、114b、階調処理部116a、116b、圧縮処理部118a、118b)は画像データの圧縮率の補正を開始し、補正要素導出部(周波数応答導出部136、階調導出部140、量子化テーブル導出部144)は、その圧縮率の補正に必要な補正要素を導出し始める。そして、撮像部102bの垂直同期信号VD1における予測状態の1クロック目で現圧縮率保持部132に現圧縮率150が保持される。
More specifically, FIG. 11 will be described. When the
例えば、次圧縮率152を予測するための現圧縮率150の数を4とした場合、予測状態は、垂直同期信号VD1の4クロック分継続する。そして、現圧縮率保持部132に現圧縮率150が4つ保持されると、撮像部102aの撮像状態は表示状態から記憶状態に遷移する。
For example, when the number of the
このとき、次圧縮率予測部134は、予測状態で蓄積された4つの現圧縮率150の平均値等により、次圧縮率152を適切に予測することができるので、補正要素導出部(周波数応答導出部136、階調導出部140、量子化テーブル導出部144)は、その次圧縮率152と目標圧縮率とに基づいて適切に補正要素を決定することが可能となり、画像加工部(周波数応答処理部114a、階調処理部116a、圧縮処理部118a)は、記憶状態における、撮像部102aの垂直同期信号VD2における記憶状態の1クロック目から、その適切な補正要素に基づいて画像データの圧縮率を補正することができる。こうして圧縮処理部118aで圧縮符号化された画像データは、例えば、データ制御部124によって画像記憶部126に記憶される(記憶1回目)。また、同期信号発生部106は、垂直同期信号VD2における記憶状態の1クロック目に対応するタイミングで、垂直同期信号VD1を制御し、撮像部102bの画像データの生成速度を一旦30枚/secに戻す(ただし、図11中では、予測状態の開始に伴いクロックが発生するので60/secに見える。)、または、画像データの生成を停止する。
At this time, the next compression
記憶状態における垂直同期信号VD1の2クロック目においても、記憶1回目同様、撮像部102aの画像データの記憶2回目の記憶タイミングの所定期間前から、撮像部102bを用いた圧縮率の予測処理が実行され、次圧縮率予測部134は、撮像部102bの予測状態における直前に取得された4つの現圧縮率150の平均値等により次圧縮率を予測することができる。したがって、補正要素導出部は、その次圧縮率152と目標圧縮率とに基づいて適切に補正要素を決定することが可能となり、画像加工部は、記憶状態における、撮像部102aの垂直同期信号VD2における記憶状態の2クロック目においても、その適切な補正要素に基づいて画像データの圧縮率を補正することができる(記憶2回目)。同期信号発生部106は、垂直同期信号VD2における記憶状態が終わると、垂直同期信号VD1を制御することで撮像部102bの画像データの生成速度を、一旦30枚/secに戻す、または、画像データの生成を停止する。
In the second clock of the vertical synchronization signal VD1 in the storage state, similarly to the first storage, the compression rate prediction process using the
このように、撮像装置100では、撮像部102aで生成された画像データの画像メモリ122への記憶が開始される前の現圧縮率150の蓄積を、撮像部102bを用いて高速(撮像記憶速度より高い速度)で行い、短時間で適切な次圧縮率を予測する。画像データの生成間隔が短いと、次圧縮率152の予測に必要な時間が短くなるのみならず、連続する画像データが近似した画像となり、次圧縮率152の予測精度も向上する。また、圧縮率の予測処理が不要な期間、撮像部102bの画像データの生成速度を低くすることで、もしくは、画像データを生成しないことで、消費電力や発熱の低減を図ることが可能となる。さらに、変形例2では、連続撮像した画像データの記憶開始時のみならず、連続撮像中の圧縮率の予測処理も高精度に行うことが可能となるので、連続撮像全体の圧縮率の予測精度を高めることが可能となる。
As described above, in the
こうして撮像者は、リリーススイッチ110等を操作することで、撮像および記憶タイミングを任意に決めることができ、本実施形態による高精度かつ高速な圧縮符号化処理の恩恵を受けつつ、所望する画像データを所望するタイミングで生成することが可能となる。
In this way, the imager can arbitrarily determine the image capturing and storage timing by operating the
また、コンピュータによって撮像装置100や撮像装置200として機能するプログラムや、当該プログラムを記憶した記憶媒体も提供される。さらに、当該プログラムは、記憶媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
In addition, a program that functions as the
以上説明したように本実施形態の撮像装置100、200では、複数の撮像部102a、102bを並行して用い、画像データの生成速度を異ならせ、圧縮率の予測処理の時間短縮を図ることで近似した画像を取り出すことができ、次圧縮率152の予測精度を向上することが可能となる。また、生成した画像データの記憶を行う撮像部102aでは、その生成速度を固定することで、安定的な記憶動作を維持することができ、所望する画像を得ることができる。さらに、ここでは、複数の撮像部を有する立体映像撮像装置において1の撮像部で2D画像を連続撮像する場合に、利用されない他の撮像部を圧縮率の予測処理に用いることで、リソースの有効利用も図ることができる。
As described above, in the
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this embodiment. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Is done.
例えば、上述した実施形態では、階調処理部116aから出力された画像データを圧縮処理部118aが直接圧縮符号化処理しているが、階調処理部116aが、階調特性の変換処理を施した画像データを、システム内部バス120を通じて画像メモリ122に一旦保持させてもよい。この場合、連続撮像された画像データが画像メモリ122に蓄積される途中、または、蓄積された後、圧縮処理部118aは、画像メモリ122から画像データを取得し、量子化テーブルに基づいて圧縮符号化処理を行い、また、システム内部バス120を通じて画像メモリ122に送信する。ここでは、画像データの生成と圧縮符号化処理とを独立させ、連続撮像時には画像データの生成のみを行い時間短縮を図ると共に、連続撮像時以外の時間を利用して圧縮符号化処理を行うことで時間効率を高めている。また、圧縮符号化処理時に画像メモリ122から迅速に画像データを取得することができ、早期に画像メモリ122内の画像データを削除することが可能なので、高精度かつ高速に圧縮符号化を行うことが可能である。
For example, in the above-described embodiment, the
また、上述した実施形態では連続撮像について言及しているが、撮像装置100、200は単写撮像にも適用できる。単写撮像では、画像データの生成に関して連続撮像が実行され、データ制御部124が、圧縮符号化された複数の画像データのうち、最後に圧縮符号化された画像データのみ画像記憶部126に記憶する。かかる構成により、連続撮像による圧縮率の補正処理を単写撮像においても利用することができ、単写撮像における画像データのデータ容量を所望のデータ容量に近づけることが可能となる。
In the above-described embodiment, continuous imaging is mentioned, but the
本発明は、連続撮像により生成された画像データに画面内予測符号化による圧縮符号化処理を施して記憶する撮像装置および撮像方法に利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used for an imaging apparatus and an imaging method that store image data generated by continuous imaging by performing compression encoding processing by intra-screen predictive encoding.
100、200 …撮像装置
102(102a、102b) …撮像部
106 …同期信号発生部
108 …タイミング発生部
114(114a、114b) …周波数応答処理部
116(116a、116b) …階調処理部
118(118a、118b) …圧縮処理部
124 …データ制御部
126 …画像記憶部
130 …現圧縮率導出部
132 …現圧縮率保持部
134 …次圧縮率予測部
136 …周波数応答導出部
138 …周波数応答保持部
140 …階調導出部
142 …階調保持部
144 …量子化テーブル導出部
146 …量子化テーブル保持部
148 …画像切換部
150 …現圧縮率
152 …次圧縮率
DESCRIPTION OF
Claims (7)
画像データを補正するための補正要素に基づいて、前記複数の撮像部それぞれで生成された画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化する複数の画像加工部と、
前記複数の画像加工部のうちの1の画像加工部で圧縮符号化された前記画像データの現実の圧縮率である現圧縮率を導出する現圧縮率導出部と、
前記現圧縮率を時間方向に連続して複数保持する現圧縮率保持部と、
保持された複数の前記現圧縮率、または、保持された前記複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測する次圧縮率予測部と、
前記次圧縮率に基づいて前記補正要素を導出し、前記複数の画像加工部を更新する補正要素導出部と、
前記1の画像加工部と異なる画像加工部で圧縮符号化された前記画像データを画像記憶部に記憶するデータ制御部と、
を備え、
前記1の画像加工部に係る撮像部の画像データは、前記1の画像加工部と異なる画像加工部に係る撮像部の画像データの生成速度より高い第1生成速度で生成されることを特徴とする撮像装置。 A plurality of imaging units that respectively generate a plurality of image data continuous in the time direction by continuous imaging;
A plurality of image processing units that correct the compression rate of the image data generated by each of the plurality of imaging units based on a correction element for correcting the image data and perform compression encoding using an intra-screen predictive encoding method When,
A current compression rate deriving unit for deriving a current compression rate which is an actual compression rate of the image data compression-encoded by one of the plurality of image processing units;
A current compression ratio holding unit for continuously holding a plurality of the current compression ratios in the time direction;
The plurality of current compression ratios held, or the next compression ratio, which is the compression ratio of the image data to be compressed and encoded next time, from the plurality of current compression ratios held and the compression ratio of the image data to be compression-encoded this time A next compression rate prediction unit that predicts
A correction element deriving unit for deriving the correction element based on the next compression ratio and updating the plurality of image processing units;
A data control unit for storing in the image storage unit the image data compressed and encoded by an image processing unit different from the one image processing unit;
With
The image data of the imaging unit related to the one image processing unit is generated at a first generation speed higher than the generation speed of the image data of the imaging unit related to the image processing unit different from the one image processing unit. An imaging device.
画像データを補正するための補正要素に基づいて、前記複数の撮像部それぞれで生成した画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化し、
圧縮符号化された、生成速度が比較的高い方の前記画像データの現実の圧縮率である現圧縮率を導出し、
前記現圧縮率を時間方向に連続して複数保持し、
保持された複数の前記現圧縮率、または、保持された前記複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測し、
前記次圧縮率に基づいて前記補正要素を導出し、
圧縮符号化された、生成速度が比較的低い方の前記画像データを画像記憶部に記憶することを特徴とする撮像方法。 Generate a plurality of image data continuous in the time direction by continuous imaging with different generation speeds for each of the plurality of imaging units,
Based on a correction element for correcting the image data, the compression rate of the image data generated by each of the plurality of imaging units is corrected, and compression encoded using an intra prediction encoding method,
Deriving the current compression rate that is the actual compression rate of the image data that has been compression-encoded and whose generation speed is relatively high,
A plurality of the current compression rates are continuously held in the time direction,
The plurality of current compression ratios held, or the next compression ratio, which is the compression ratio of the image data to be compressed and encoded next time, from the plurality of current compression ratios held and the compression ratio of the image data to be compression-encoded this time Predict
Deriving the correction factor based on the next compression rate,
An image capturing method, wherein the image data having a relatively low generation speed that has been compression-encoded is stored in an image storage unit.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011025246A JP5494520B2 (en) | 2011-02-08 | 2011-02-08 | Imaging apparatus and imaging method |
PCT/JP2011/073541 WO2012056896A1 (en) | 2010-10-29 | 2011-10-13 | Image capturing device and image capturing method |
US13/879,823 US8670654B2 (en) | 2010-10-29 | 2011-10-13 | Image capturing device and image capturing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011025246A JP5494520B2 (en) | 2011-02-08 | 2011-02-08 | Imaging apparatus and imaging method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012165268A JP2012165268A (en) | 2012-08-30 |
JP5494520B2 true JP5494520B2 (en) | 2014-05-14 |
Family
ID=46844212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011025246A Active JP5494520B2 (en) | 2010-10-29 | 2011-02-08 | Imaging apparatus and imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5494520B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014135568A (en) | 2013-01-08 | 2014-07-24 | Chiba Univ | Piezoelectric thin film resonator and filter |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0817137A (en) * | 1994-04-28 | 1996-01-19 | Sanyo Electric Co Ltd | Method and apparatus for recording, method and apparatus for reproduction, recording medium and its manufacture as well as master disc of recording medium ad its manufacture |
JPH10150633A (en) * | 1996-11-18 | 1998-06-02 | Konica Corp | Digital still camera |
JPH1146280A (en) * | 1997-07-25 | 1999-02-16 | Canon Inc | Image-forming device, image-forming method, and storage medium thereof |
JPH11122573A (en) * | 1997-10-13 | 1999-04-30 | Sony Corp | Still image pickup device |
JPH11177984A (en) * | 1997-12-12 | 1999-07-02 | Hitachi Ltd | Compression control system for digital image data |
JP3695140B2 (en) * | 1998-04-20 | 2005-09-14 | カシオ計算機株式会社 | Electronic still camera and control method thereof |
JP3172500B2 (en) * | 1998-10-19 | 2001-06-04 | 三洋電機株式会社 | Electronic camera |
JP4616432B2 (en) * | 1999-07-16 | 2011-01-19 | 富士フイルム株式会社 | Signal processing device |
JP2001036412A (en) * | 1999-07-19 | 2001-02-09 | Hitachi Ulsi Systems Co Ltd | Device and method for compressing digital data |
JP2001102935A (en) * | 1999-09-29 | 2001-04-13 | Seiko Epson Corp | Data compression controller, data compression control method, printing information forming device, printing system, and recording medium storing program |
JP2002237984A (en) * | 2002-01-23 | 2002-08-23 | Sanyo Electric Co Ltd | Digital camera |
JP4290664B2 (en) * | 2005-02-28 | 2009-07-08 | 富士フイルム株式会社 | Image compression apparatus and method, and program |
JP4274234B2 (en) * | 2006-12-04 | 2009-06-03 | ソニー株式会社 | Compressed data amount control method and image data compression apparatus |
JP2009130554A (en) * | 2007-11-22 | 2009-06-11 | Panasonic Corp | Imaging apparatus and imaging method |
JP2010074263A (en) * | 2008-09-16 | 2010-04-02 | Fujitsu Microelectronics Ltd | Image compression apparatus |
-
2011
- 2011-02-08 JP JP2011025246A patent/JP5494520B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012165268A (en) | 2012-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI458338B (en) | Three-dimensional recording and display system using near-and distal-focused images | |
JP2008228282A (en) | Image processing device | |
US8542298B2 (en) | Image processing device and image processing method | |
US10234653B2 (en) | Imaging device with focus lens stopped at each of focus positions during video capturing | |
JP4916378B2 (en) | Imaging apparatus, image processing apparatus, image file, and gradation correction method | |
KR101108640B1 (en) | Recording apparatus for recording moving picture, recording method, and computer readable rdcording medium | |
JP2009194770A (en) | Imaging device, moving image reproducing apparatus, and program thereof | |
WO2012056896A1 (en) | Image capturing device and image capturing method | |
US20130177287A1 (en) | Reproduction apparatus, image capturing apparatus, and program | |
JP6354877B2 (en) | Imaging control apparatus, and control method and program thereof | |
JP5494520B2 (en) | Imaging apparatus and imaging method | |
TW201034449A (en) | Image processing apparatus and storage medium | |
JP6103481B2 (en) | Imaging apparatus, and control method and program thereof | |
JP6147116B2 (en) | Imaging apparatus, control method thereof, and control program | |
US20180124306A1 (en) | Image capturing apparatus, method of controlling the same, and storage medium for shooting a still image without interrupting shooting of moving images | |
JP5464125B2 (en) | Imaging apparatus and imaging method | |
JP2012099879A (en) | Imaging device and imaging method | |
JP5219678B2 (en) | Imaging device | |
JP2012124653A (en) | Encoder, encoding method, and program | |
JP2010245686A (en) | Imaging apparatus, method of processing image, and image processing program | |
JP2004242000A (en) | Encoding device and method, and decoding device and method | |
JP2006229552A (en) | Video camera | |
JP2016058793A (en) | Imaging apparatus, control method therefor, and program | |
JP2014158124A (en) | Imaging device | |
JP2011259405A (en) | Imaging device and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5494520 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |