JP4336827B2 - 撮像装置およびその画像生成方法 - Google Patents
撮像装置およびその画像生成方法 Download PDFInfo
- Publication number
- JP4336827B2 JP4336827B2 JP2004053832A JP2004053832A JP4336827B2 JP 4336827 B2 JP4336827 B2 JP 4336827B2 JP 2004053832 A JP2004053832 A JP 2004053832A JP 2004053832 A JP2004053832 A JP 2004053832A JP 4336827 B2 JP4336827 B2 JP 4336827B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- compressed
- data
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
ここで、ローリングシャッタのみの画像取り込みでは、画像の上下で画像の歪みが発生することとなる。但し、あくまで動画像なので許容できる。
しかしながら、その静止画像の取り込みとなると、この画像歪みを許容できなくなる。そのために、メカニカルシャッタが必要となるが、限りなく、高速で連続画像取り込みを行うには、メカニカルシャッタ駆動にも限界がある。
しかしながら、ここと思うタイミングで操作したとしても、必ずしも所望する画像は得られないことが多く、これを解消する連写機能が実用化されている。
しかし、高解像度で、たとえば10秒間も秒数コマで撮影したとすると、その記録した画像データは膨大となり、現在のメモリカード等の容量を考えると実用性に乏しい。
また、このような連写機能を有するものは、数百万画素の高解像度の静止画連写の場合、連写速度の上限がCCD等の読み出し処理能力に大きく依存するため、秒数コマ程度が上限となり、所望する画像が動きの早い被写体であると、たとえば連写を用いたとしても所望する画像を得ることはむずかしいものとなる。
上記グローバルシャッタで取り込んだ画素のデータより第1の圧縮画像を生成し、上記ローリングシャッタで取り込んだ画素のデータより第2の圧縮画像を生成する。
そして、本実施形態に係る撮像装置1は、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とを併用する。
また、本実施形態に係る撮像装置1は、第1の圧縮画像の画像レベルと第2の圧縮画像の画像レベルとを略等しいレベルに補正する。
以下、各部の構成および機能について説明する。
レンズ光学系10は、被写体に対向する光学レンズ101、および図示しない光学ローパスフィルタ等を備えている。レンズ光学系10においては、光学レンズ101により被写体の光学像を集光して、イメージセンサ11上に被写体の像を結像する。
また、グローバルシャッタ機能とローリングシャッタ機能とを含むシャッタ機能を有する。
シャッタ機能は、制御系の制御に従ってグローバルシャッタ機能またはローリングシャッタ機能を選択的に用いられ、ローリングシャッタで画素を取り込ませている間に、グローバルシャッタで画像を取り込ませることが可能なように制御される。すなわち、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とが併用される。
後で詳述するように、画像処理部14は、第1の圧縮画像をイメージセンサから画像データを間引かずに読み出して生成し、第2の圧縮画像をイメージセンサから画像データを間引いて読み出して生成する。
画像処理部14は、第1の圧縮画像の生成時は高画素の画像データをイントラフレーム圧縮し、第2の圧縮画像の生成時は、低画素の画像データをインターフレーム圧縮する。
また、画像処理部14は、第2の圧縮画像をイメージセンサからのデータを間引いて読み出して生成する場合、同色の近傍の画素の積分処理を行って間引き読み出しを行う。
画像処理部14は、第1の圧縮画像の画像レベルと第2の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
また、画像処理部14は、第1の圧縮画像の画像レベルを維持し、第2の圧縮画像の画像レベルは、積分処理の積分量で除して補正することにより、第1の圧縮画像の画像レベルと第2の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
そして、画像処理部14は、第2の圧縮画像の一画面を指定すると、第2の圧縮画像とその前後の第1の圧縮画像を含めた他の圧縮画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する機能を有する。
ここで、ローリングシャッタのみの画像取り込みでは、画像の上下で画像の歪みが発生することとなる。但し、あくまで動画像なので許容できる。
しかしながら、それが静止画像の取り込みとなると、この画像歪みを許容できなくなる。そのために、メカニカルシャッタおよびグローバルシャッタが必要となる。限りなく、高速で連続画像取り込みを行うには、メカニカルシャッタ駆動にも限界があり、グローバルシャッタが不可欠となってくる。
ここでは、一つのストリーム上で異なった画素数の画像データを取り込む際、動画はローリングシャッタ機能を用い、静止画はローリングシャッタ若しくはグローバルシャッタを用いる、用いないときのカメラ状態において判断する。
図2のように、A〜Fまでのラインが素子に存在すると仮定すると、その画像の制御は図3に示すようになる。
通常、このローリングシャッタを使用する場合はA〜Fライン間で露光時間のズレを生じるために画像歪みを生じさせる
したがって、ローリングシャッタの長所としては、その取り込みのスピードがグローバルシャッタやメカニカルシャッタに比べ高速なことである。短所としては、ライン間の画像歪みを生じさせることである。
それに比べ、グローバルシャッタ(またはメカニカルシャッタ)の長所は、画像の歪みを生じさせないデータを得ることができる一方、取り込みのスピードは、ローリングシャッタに比べ遅くなる。
これらの長所、短所をカメラシステムとして、予め予測しておけば、カメラの状況に応じ(たとえば、ユーザー設定)、画像歪みは許容できるがスピード優先は絶対必要な場合はどのような、画素数の画像であろうと全てローリングシャッタで取り込みを行い、画質優先の場合は、その必要な画像データに関してはグローバルシャッタを用いる。
なお、一連の動作の中で、違う画素数を撮像素子から取り出すシステムに限らず、同一の画素数を取り扱う場合も同様なことが言える。
通常の状態では、タイミングジェネレータ17による信号処理系に対する制御により、画像処理部14が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部14が内蔵する画像メモリの画像信号は、D/A変換器18によってアナログ信号に変換され、対応する画像が表示部19に表示される。
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像(比較的低画素数)と静止画として取り扱える画像(比較的高画素数)を同一ストリーム上で取り扱う場合、低画素取り込みの場合、出力される画素は最低でもその同一色画素の複数画素の積分された画素データからなる。高画素取り込みの場合は、その低画素取り込み時の積分画素数に比べるとそれ以下の画素数となる。
その出力された画素の1画素の出力は、元の積分された画素数の差によりおのずと異なる。その異なった1画素1画素の出力を同一なものと判断すると、画像処理において、特にその画像の輝度が異なった画像を連続して生成してしまうため、おかしな画像となってしまう。
それを解消するため、画像処理部14は、画素が出力される部分で、その画素数に応じたディジタルゲインの回路(若しくはアナログゲインの回路)、もしくは画素数分平均化する回路を設け、1画素、1画素の画像出力に差異が発生することを補正する回路を設ける。
通常は不必要な画素は単純な間引きにより排除されるが、動画等のクオリティを求める場合、図5の(R)のように周辺のRを積分して取り出す。
その際出力された画素データが静止画(高画素)の場合と動画(低画素)の場合では異なり、出力のレベルの差がでる。
これを補正するため、高画素と低画素時では、その積分された画素の比に応じた係数を出力データに掛け補正するか若しくは積分された画素データをその積分された画素数に応じた係数で平均化することにより、静止画と動画時の出力レベルを補正する。
図6に、本実施形態に係る補正処理の概念図を示す。
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像(比較的低画素数)と静止画として取り扱える画像(比較的高画素数)を同一ストリーム上で取り扱う場合、低画素キャプチャーの場合、出力される画素は最低でもその同一色画素の1画素以上の積分された画素データからなり、高画素キャプチャーの場合は、その低画素キャプチヤー時の積分画素数に比べるとそれ以下の画素数となる。
低画素取り込みの場合その1画素データは複数画素の積分から生成されており、単画素取り込み時のそれと比較すると、出力は積分数だけ大きくなり、S/Nとしても一般的に単画素のS/Nと、比較するとS/N的に優れた情報である。
本実施形態においては、その積分されたデータ(動画時の情報のS/N情報を利用し、比較的ノイズの多いとされる単画素データ(静止画の情報)の画質向上を達成させる。
それを解消するため、画素が出力される部分で、上述したように、画素数に応じたディジタルゲインの回路(あるいはアナログゲインの回路)、若しくは画素数分平均化する回路を設け、1画素、1画素の画像出力に差異が発生することを補正する回路を設ける。
これは、すなわち単画素に比べると、そこから出力される(R)は約4倍の出力を持った画像出力となる。これはISOの感度で言えば約2段分有利に働く。この(R)情報を常時利用しているのが低画素出力時である。
それに比べ高画素出力時には、単画素出力情報rl〜r4の情報を利用している。
イメージセンサ11から出力されるレベレ調整のため、同一ストリーム上では、この単画素rl〜r4はアナログ若しくはデジタルによるゲインアップにより補正される。このゲインアップがS/Nに対し重大な劣化を招く。
元を正せば(R)情報はrl〜r4の積分情報であるので、ノイズの少ない(R)情報から類推することができる。
一方、単画素rnは、最終的にはゲインアップされたRnとなる。
r1+r2+r3+r4>>(R)
r1+r2+r3+r4>>(R)
に関係が成立した場合は、そのオーバ分はノイズと判断し、各々のRnに
(r1−n1)+(r2−n2)+(r3−n3)+(r4−n4)・・(1)
のn1〜n4に相当するN1〜N4を減じる補正を施す。
また計算上(量子化誤差等)の誤差もあるため(1)式の右辺は(R)固定ではなく、(R)±xである。
このときのxは、計算上の丸め込み等の誤差で生じる誤差補正数である。
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像(比較的低画素数)と静止画として取り扱える画像(比較的高画素数)を同一ストリーム上で取り扱い制御する方式で、その再生時に動画の画質(低画素数)しかないタイミングであっても、周囲の静止画の情報から予測された情報により動画画質を静止画として復元させる。
ここで高画素(静止画)画像データInと低画素(動画)画像データbnとの違いは、出力される1画素相当画像情報の中、Inは相当する1画素の情報、bnは積分する画素情報、の違いがある。
また、Inはディジタル的には、積分は可能なため、実質的にはIn時の情報は、静止画情報および動画情報をもつことになる。
ここで、Iから予測される情報も含んだ動画情報bnからは、積分された情報を一塊とする、物体移動情報が算出される。
また、Inからは、その積分される各々の単画素の含有比率情報が得られる。
したがって、動画画素数の情報しか持たない、たとえばb5の静止画生成には、I情報の変動から予想される各々の積分される単画素の構成比率を乗ずれば、ここの画素成分に復元できる。その個々の単画素情報から画像を生成することにより、静止画画質の画像を作り出せる。また、上述の理由によりbとbの間の画像もbnの物体移動情報及びInの含有比率情報から作り出すことが可能である。
そして、本実施形態に係る撮像装置1は、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とを併用することから、画像の歪みの発生を抑止しつつ、高速で連続画像取り込みを行うことが可能となる利点がある。
また、本実施形態に係る撮像装置1は、第1の圧縮画像の画像レベルと第2の圧縮画像の画像レベルとを略等しいレベルの補正することができ、画像の輝度が異なった画像を連続して生成してしまうためことを防止できる利点がある。
10…レンズ光学系
11…イメージセンサ
12…CDS
13…A/D変換器
14…画像処理部
15…メモリ
16…制御部
17…タイミングジェネレータ
18…D/A変換器
19…表示部
20…操作入力部
Claims (3)
- 被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置であって、
一動画像データを取り込み中に、上記高画像のデータをイントラフレーム圧縮した第1の圧縮画像と、上記第1の圧縮画像を生成する期間の前後の期間で、低画像のデータをインターフレーム圧縮した第2の圧縮画像とを一ストリームとして生成する画像処理部を有し、
シャッタ機能としてグローバルシャッタ機能とローリングシャッタ機能とを含み、
上記画像処理部は、
上記グローバルシャッタで取り込んだ画素のデータより第1の圧縮画像を生成し、上記ローリングシャッタで取り込んだ画素のデータより第2の圧縮画像を生成する
撮像装置。 - 上記高画像データは、上記撮像素子から間引かずに読み出した画像データまたは任意の間引き量で間引いて読み出した画像データであり、上記低画像データは、上記撮像素子から当該高画像データより低い解像度となるような任意の間引き量で間引いて読み出した画像である
請求項1に記載の撮像装置。 - シャッタ機能としてグローバルシャッタ機能とローリングシャッタ機能とを含み、被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置の画像生成方法であって、
一動画像データを取り込み中に、上記高画像のデータをイントラフレーム圧縮した第1の圧縮画像と、上記第1の圧縮画像を生成する期間の前後の期間で、低画像のデータをインターフレーム圧縮した第2の圧縮画像とを一ストリームとして生成するステップを有し、
上記ステップにおいて、
上記グローバルシャッタで取り込んだ画素のデータより第1の圧縮画像を生成し、上記ローリングシャッタで取り込んだ画素のデータより第2の圧縮画像を生成する
撮像装置の画像生成方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004053832A JP4336827B2 (ja) | 2004-02-27 | 2004-02-27 | 撮像装置およびその画像生成方法 |
KR1020050016015A KR101110009B1 (ko) | 2004-02-27 | 2005-02-25 | 촬상 장치 및 화상 생성 방법 |
US11/069,896 US20050190274A1 (en) | 2004-02-27 | 2005-02-28 | Imaging device and image generation method of imaging device |
CNB200510052453XA CN100542214C (zh) | 2004-02-27 | 2005-02-28 | 成像设备及成像设备的图像产生方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004053832A JP4336827B2 (ja) | 2004-02-27 | 2004-02-27 | 撮像装置およびその画像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005244761A JP2005244761A (ja) | 2005-09-08 |
JP4336827B2 true JP4336827B2 (ja) | 2009-09-30 |
Family
ID=35025978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004053832A Expired - Fee Related JP4336827B2 (ja) | 2004-02-27 | 2004-02-27 | 撮像装置およびその画像生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4336827B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4823743B2 (ja) * | 2006-04-03 | 2011-11-24 | 三星電子株式会社 | 撮像装置,及び撮像方法 |
US8120675B2 (en) | 2006-10-17 | 2012-02-21 | Panasonic Corporation | Moving image recording/playback device |
-
2004
- 2004-02-27 JP JP2004053832A patent/JP4336827B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005244761A (ja) | 2005-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101110009B1 (ko) | 촬상 장치 및 화상 생성 방법 | |
US8872937B2 (en) | Image capture apparatus and image capturing method | |
JP4525561B2 (ja) | 撮像装置、画像処理方法、並びにプログラム | |
JP4441882B2 (ja) | 撮影装置、表示制御方法、プログラム | |
WO2009098877A1 (ja) | 画像処理装置、及び画像処理方法 | |
JP2000224490A (ja) | 撮像制御装置および撮像制御方法 | |
JP2010136224A (ja) | 撮像装置及び撮像方法 | |
JP3980781B2 (ja) | 撮像装置および撮像方法 | |
JP2006211426A (ja) | 撮像装置およびその画像生成方法 | |
JP4268891B2 (ja) | 撮像装置およびその画像生成方法 | |
JP2007067708A (ja) | 撮像装置およびその画像生成方法 | |
JP2010021710A (ja) | 撮像装置、画像処理装置およびプログラム | |
JP4387264B2 (ja) | 撮像装置およびその画像生成方法 | |
JP4336827B2 (ja) | 撮像装置およびその画像生成方法 | |
JP4429148B2 (ja) | 画像撮影記録装置及び方法 | |
JP2007174160A (ja) | 撮像装置 | |
JP2005244762A (ja) | 撮像装置およびその画像生成方法 | |
JP2005277618A (ja) | 撮像装置、シェーディング補正装置、及びシェーディング補正方法 | |
JP2010136387A (ja) | 静止画生成装置、静止画生成プログラム及び静止画生成方法 | |
JP4379334B2 (ja) | 画像合成装置および電子カメラ | |
JP4449692B2 (ja) | 電子カメラ | |
JP2006041862A (ja) | 撮像装置およびその画像読出方法 | |
JP4626482B2 (ja) | 電子カメラ | |
JP2006109046A (ja) | 撮像装置 | |
JP4498253B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090512 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090610 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130710 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |