WO2007100002A1

WO2007100002A1 - 撮像装置、映像信号処理方法および映像信号処理プログラム

Info

Publication number: WO2007100002A1
Application number: PCT/JP2007/053765
Authority: WO
Inventors: Kouichi Hoshino
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2006-02-28
Filing date: 2007-02-28
Publication date: 2007-09-07
Also published as: US20090009623A1; JP4852321B2; US8253816B2; JP2007235342A

Abstract

　撮像装置（１）は、ＬＯＮＧ信号とＳＨＯＲＴ信号を１フィールド期間内に画素ラインごとに出力する全画素読み出し撮像素子（２）と、ＬＯＮＧ信号の輝度レベルが飽和する合成レベルを画素ラインごとに算出する合成レベル算出部（７）と、ＳＨＯＲＴ信号の輝度レベルを合成レベルまで底上げするオフセットを画素ラインごとに算出するオフセット算出部（８）を備える。レベル合成手段（９）において、輝度レベルが合成レベルよりも小さいときにはＬＯＮＧ信号となり、輝度レベルが合成レベルよりも大きいときにはオフセットを加えたＳＨＯＲＴ信号となるように、画素ラインごとにレベル合成信号を生成する。これにより、ダイナミックレンジが広く、解像度の高い画像が得られるとともに、得られる画像にライン濃淡が発生するのを抑えることができる。

Description

明細書

撮像装置、映像信号処理方法および映像信号処理プログラム

技術分野

[0001] 本発明はビデオカメラ等に用いられ、ダイナミックレンジが広ぐ解像度の高い画像が得られるとともに、ライン濃淡の発生を抑えた撮像装置に関するものである。

背景技術

[0002] 従来、ダイナミックレンジを拡大した撮像装置が知られている。例えば、特開平 10

261077号公報（第 3— 5頁、第 1図）には、水平 CCDの転送速度が通常の転送速度の 2倍であり、露光時間が長時間の映像信号と露光時間が短時間の映像信号を、 1フィールド期間内に出力できる撮像手段を備えたものが開示されている。

[0003] 従来の撮像装置では、撮像手段で画素加算が行われる。撮像手段から出力された映像信号は、前処理手段において CDSや AGC等の前処理が施された後、 A/D手段によりディジタル信号に変換される。次に、時間軸変換手段に入力されたディジタル信号は、標準速度かつ同一タイミングである長時間露光画像信号 (LONG信号）と短時間露光画像信号 (SHORT信号)に分離される。

[0004] レベル合成手段は、 LONG信号と SHORT信号を受け取って、 LONG信号については飽和点に達している信号を圧縮し、 SHORT信号についてはオフセットを足しこむ。レベル合成手段では、飽和点を合成点（合成レベル）とし、合成点以下の輝度レベルのときは LONG信号になるように、合成点以上の輝度レベルのときは SHOR T信号になるように合成信号が生成される。

[0005] ヒストグラムデータ検波手段は、合成信号の輝度のヒストグラムを検出する。ブロックデータ検波手段は、合成信号をブロックに分割して各ブロックの平均輝度を検出する。平均輝度の検出結果に基づいて、画面分割位置データ算出手段で画面分割位置が決定される。画面分割した各領域における階調補正特性を階調補正データ算出手段が算出して、領域階調補正手段がその階調補正特性に基づいて階調補正を行

5。

[0006] 算出された画面分割位置に従って、領域分割パルス生成手段が合成信号の領域を分割して合成するための制御パルスを生成する。その制御ノ^レスに基づレ、て領域合成手段で階調補正された画像の合成を行う。メイン信号処理手段で撮像装置のメイン部分の信号処理が行われて信号が出力される。このようにして、従来の撮像装置では、 LONG信号と SHORT信号を合成して、ダイナミックレンジを拡大した画像が得られる。

[0007] し力、しながら、従来の撮像装置においては、撮像素子の撮像面に、 Mg (マゼンダ）、 G (グリーン）、 Cy (シアン）、 Ye (イェロー）の 4色の画素が所定の配置パターンで配置されている。例えば、従来の撮像素子では、 Mgと Gの画素ライン (第 1画素ライン）と、 Cyと Yeの画素ライン (第 2画素ライン）が交互に形成されるように、画素が配置されている。従来の撮像装置では、撮像素子の感度を向上するために画素加算が行われてレ、るので、その分だけ撮像素子の解像度が低下する。

[0008] そこで、より解像度の高い画像を得るために、画素加算を行わない全画素読み出し撮像素子を用いることも考えられる。しかし、撮像素子の入射光に対する感度特性が 4色の画素ごとに異なるので、撮像素子の入射光に対する感度特性は画素ラインごとで異なる。したがって、従来の撮像装置において、全画素読み出し撮像素子を単に用いると、画素加算を行っていないため、本来、同じ輝度レベルであるはずの領域であっても、画素の感度特性の違いのために、第 1画素ラインと第 2画素ラインで輝度レベル (信号レベル）が異なることがある。例えば、本来、 SHORT信号を用いるベきである明るい領域であっても、 Cyと Yeの感度が高い波長の光の光量が少ないと、第 2画素ライン（Cyと Yeの画素ライン）では喑レ、領域であるとして LONG信号が用いられることになる。

[0009] 上記従来のレベル合成を単に行うと、本来、同じ露光時間信号を用いるはずの領域であっても、 SHORT信号の画素ライン (例えば第 1画素ライン）と、 LONG信号に切り替わってしまう画素ライン (例えば第 2画素ライン）ができる。そのため、 LONG信号と SHORT信号を合成して得られる画像にライン濃淡が発生してしまう。

発明の開示

発明が解決しょうとする課題

[0010] 本発明は、上記背景の下でなされたものである。本発明の目的は、ダイナミックレンジが広ぐ解像度の高い画像が得られるとともに、得られる画像にライン濃淡が発生するのを抑えることができる撮像装置を提供することにある。

課題を解決するための手段

[0011] 本発明の一の態様は、撮像装置であり、所定のフィールド期間内に、画素ラインごとに、露光時間が長時間の映像信号である LONG信号と露光時間が短時間の映像信号である SHORT信号の 2種類の映像信号を出力する全画素読み出し撮像部と、 LONG信号の輝度レベルが飽和する合成レベルを、画素ラインごとに算出する合成レベル算出部と、 SHORT信号の輝度レベルを合成レベルまで底上げするオフセットを、画素ラインごとに算出するオフセット算出部と、映像信号の輝度レベルが合成レベルよりも小さいときには LONG信号となり、映像信号の輝度レベルが合成レベルよりも大きいときにはオフセットを加えた SHORT信号となるように、画素ラインごとにレベル合成信号を生成するレベル合成部と、を備えている。

[0012] 本発明の別の態様は、映像信号処理方法であり、所定のフィールド期間内に、画素ラインごとに、露光時間が長時間の映像信号である LONG信号と露光時間が短時間の映像信号である SHORT信号の 2種類の映像信号を出力し、 LONG信号の輝度レベルが飽和する合成レベルを、画素ラインごとに算出し、 SHORT信号の輝度レベルを合成レベルまで底上げするオフセットを、画素ラインごとに算出し、映像信号の輝度レベルが合成レベルよりも小さいときには LONG信号となり、映像信号の輝度レベルが合成レベルよりも大きいときにはオフセットを加えた SHORT信号となるように、画素ラインごとにレベル合成信号を生成する。

[0013] 本発明の別の態様は、映像信号処理プログラムであり、所定のフィールド期間内に、画素ラインごとに出力された、露光時間が長時間の映像信号である LONG信号と露光時間が短時間の映像信号である SHORT信号の 2種類の映像信号を処理するプログラムであって、コンピュータに、 LONG信号の輝度レベルが飽和する合成レべルを、画素ラインごとに算出する手順、 SHORT信号の輝度レベルを合成レベルまで底上げするオフセットを、画素ラインごとに算出する手順、映像信号の輝度レベルが合成レベルよりも小さいときには LONG信号となり、映像信号の輝度レベルが合成レベルよりも大きいときにはオフセットをカ卩えた SHORT信号となるように、画素ラインごとにレベル合成信号を生成する手順、を実行させる。

[0014] 以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の態様の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。

図面の簡単な説明

[0015] [図 1]図 1は、本発明の実施の形態における撮像装置のブロック図

[図 2]図 2は、本発明の実施の形態における撮像素子の画素の配置パターンの説明図

[図 3]図 3は、本発明の実施の形態における任意枠信号生成部の動作の説明図

[図 4]図 4は、本発明の実施の形態における合成レベル算出部のブロック図

[図 5]図 5は、本発明の実施の形態におけるオフセット値算出部のブロック図

[図 6]図 6は、本発明の実施の形態におけるレベル合成部のブロック図

[図 7]図 7は、本発明の実施の形態におけるレベル合成部の動作の説明図

[図 8]図 8は、本発明の実施の形態におけるレベル合成部の動作（画素ラインごとのレベル合成）の説明図

[図 9]図 9は、本発明の実施の形態におけるヒストグラムデータ検波部と階調補正データ算出部の動作の説明図

[図 10]図 10は、本発明の実施の形態における LONG領域階調補正部および SHO RT領域階調補正部の動作の説明図

[図 11]図 11は、本発明の実施の形態における領域合成部の動作の説明図符号の説明

[0016] 1 撮像装置

2 全画素読み出し撮像素子

7 合成レベル算出部

8 オフセット算出部

9 レベル合成部

71 ラインカウンタ

72 ラインセレクタ 74 除算器

75 減算器

76 ライン別合成レベル算出部

81 ラインカウンタ

82 ラインセレクタ

83 加算器

84 异

85 減算器

86 ライン別オフセット算出部

91 ラインカウンタ

92 ラインセレクタ

93 圧縮部

94 加算器

95 合成部

発明を実施するための最良の形態

[0017] 以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は発明を限定するものではない。代わりに、発明の範囲は添付の請求の範囲により規定される。

[0018] 本発明の撮像装置は、所定のフィールド期間内に、画素ラインごとに、露光時間が長時間の映像信号である LONG信号と露光時間が短時間の映像信号である SHO RT信号の 2種類の映像信号を出力する全画素読み出し撮像部と、 LONG信号の輝度レベルが飽和する合成レベルを、画素ラインごとに算出する合成レベル算出部と、 SHORT信号の輝度レベルを合成レベルまで底上げするオフセットを、画素ラインごとに算出するオフセット算出部と、映像信号の輝度レベルが合成レベルよりも小さいときには LONG信号となり、映像信号の輝度レベルが合成レベルよりも大きいときにはオフセットをカ卩えた SHORT信号となるように、画素ラインごとにレベル合成信号を生成するレベル合成部とを備えた構成を有している。 [0019] この構成により、画素ラインごとに合成レベルとオフセットが算出され、画素ラインごとにレベル合成信号が生成される。これにより、本来、同じ輝度レベルであるはずの領域にもかかわらず、画素の感度特性の違いのために、画素ラインごとに輝度レべノレが異なる場合であっても、画素ラインごとの輝度レベルに応じたレベル合成信号の生成を行うことができる。したがって、本来、同じ輝度レベルであるはずの領域において、 LONG信号と SHORT信号が切り替わる画素ラインができるのが抑制され、得られる画像にライン濃淡が発生するのが抑えられる。

[0020] また、本発明の撮像装置では、全画素読み出し撮像部は、互いに隣接して色配置の異なる第 1画素ラインと第 2画素ラインを有し、合成レベル算出部は、第 1画素ラインと第 2画素ラインの輝度レベル差に基づいて、第 1画素ライン用の第 1合成レベルと第 2画素ライン用の第 2合成レベルを算出し、オフセット算出部は、第 1画素ラインと第 2画素ラインの輝度レベル差に基づいて、第 1画素ライン用の第 1オフセットと第 2 画素ライン用の第 2オフセットを算出し、レベル合成部は、第 1画素ラインについて、第 1合成レベルと第 1オフセットを用いてレベル合成信号を生成し、第 2画素ラインについて、第 2合成レベルと第 2オフセットを用いてレベル合成信号を生成する構成を有してもよい。

[0021] この構成により、第 1画素ラインと第 2画素ラインの輝度レベル差に応じて、第 1画素ライン用の第 1合成レベルと第 1オフセットが算出されるとともに、第 2画素ライン用の第 2合成レベルと第 2オフセットが算出される。そして、画素ラインごとの輝度レベルの高低に応じて、第 1合成レベルと第 1オフセットまたは第 2合成レベルと第 2オフセットを用いて、レベル合成信号が生成される。これにより、本来、同じ輝度レベルであるはずの領域にもかかわらず、画素の感度特性の違いのために、第 1画素ラインと第 2画素ラインで輝度レベルが異なる場合であっても、第 1画素ラインと第 2画素ラインの輝度レベル差に応じたレベル合成信号の生成を行うことができる。したがって、本来、同じ輝度レベルであるはずの領域において、画素ラインごとに LONG信号と SHOR T信号が切り替わるのが抑制され、得られる画像にライン濃淡が発生するのが抑えられる。

[0022] また、本発明の撮像装置では、合成レベル算出部は、第 1画素ラインと第 2画素ラインの輝度レベル差を算出し、所定の基準合成レベルに輝度レベル差を加えて第 1合成レベルを算出し、基準合成レベル力輝度レベル差を減じて第 2合成レベルを算出し、オフセット算出部は、第 1画素ラインと第 2画素ラインの輝度レベル差を算出し、所定の基準オフセットに輝度レベル差を加えて第 1オフセットを算出し、基準オフセットから輝度レベル差を減じて第 2オフセットを算出する構成を有してもょレ、。

[0023] この構成により、第 1画素ラインと第 2画素ラインの輝度レベル差に応じた第 1合成レベルと第 2合成レベルを、所定の基準合成レベルを用いて算出できるとともに、第 1 画素ラインと第 2画素ラインの輝度レベル差に応じた第 1オフセットと第 2オフセットを、所定の基準オフセットを用いて算出できる。

[0024] 本発明の映像信号処理方法は、所定のフィールド期間内に、画素ラインごとに、露光時間が長時間の映像信号である LONG信号と露光時間が短時間の映像信号である SHORT信号の 2種類の映像信号を出力し、 LONG信号の輝度レベルが飽和する合成レベルを、画素ラインごとに算出し、 SHORT信号の輝度レベルを合成レべルまで底上げするオフセットを、画素ラインごとに算出し、映像信号の輝度レベルが合成レベルよりも小さいときには LONG信号となり、映像信号の輝度レベルが合成レベルよりも大きいときにはオフセットをカ卩えた SHORT信号となるように、画素ラインごとにレベル合成信号を生成する。

[0025] この方法により、画素ラインごとに合成レベルとオフセットが算出され、画素ラインごとにレベル合成信号が生成される。これにより、本来、同じ輝度レベルであるはずの領域にもかかわらず、画素の感度特性の違いのために、画素ラインごとに輝度レべノレが異なる場合であっても、画素ラインごとの輝度レベルに応じたレベル合成信号の生成を行うことができる。したがって、本来、同じ輝度レベルであるはずの領域において、 LONG信号と SHORT信号が切り替わる画素ラインができるのが抑制され、得られる画像にライン濃淡が発生するのが抑えられる。

[0026] 本発明の映像信号処理プログラムは、所定のフィールド期間内に、画素ラインごとに出力された、露光時間が長時間の映像信号である LONG信号と露光時間が短時間の映像信号である SHORT信号の 2種類の映像信号を処理するプログラムであつて、コンピュータに、 LONG信号の輝度レベルが飽和する合成レベルを、画素ラインごとに算出する手順、 SHORT信号の輝度レベルを合成レベルまで底上げするオフセットを、画素ラインごとに算出する手順、映像信号の輝度レベルが合成レベルよりも小さいときには LONG信号となり、映像信号の輝度レベルが合成レベルよりも大きいときにはオフセットをカ卩えた SHORT信号となるように、画素ラインごとにレベル合成信号を生成する手順、を実行させることを特徴とする映像信号処理プログラム。

[0027] このプログラムにより、画素ラインごとに合成レベルとオフセットが算出され、画素ラインごとにレベル合成信号が生成される。これにより、本来、同じ輝度レベルであるはずの領域にもかかわらず、画素の感度特性の違いのために、画素ラインごとに輝度レベルが異なる場合であっても、画素ラインごとの輝度レベルに応じたレベル合成信号の生成を行うことができる。したがって、本来、同じ輝度レベルであるはずの領域において、 LONG信号と SHORT信号が切り替わる画素ラインができるのが抑制され、得られる画像にライン濃淡が発生するのが抑えられる。

[0028] 本発明は、画素ラインごとに合成レベルを算出する合成レベル算出手段と、画素ラインごとにオフセットを算出するオフセット算出手段を設け、レベル合成手段において画素ラインごとの合成レベルとオフセットを用いてレベル合成処理を行うことにより、ダイナミックレンジが広ぐ解像度の高い画像が得られるとともに、得られる画像にライン濃淡が発生するのを抑えることができる。

[0029] 以下、本発明の実施の形態の撮像装置について、図面を用いて説明する。本実施の形態では、例えばビデオカメラ等に用いられる撮像装置の場合を例示する。この撮像装置で行われる映像信号処理は、撮像装置のメモリに格納されているプログラムによって実現される。

[0030] 図 1は、本発明の実施の形態の撮像装置のブロック図である。図 1に示すように、本実施の形態の撮像装置 1は、全画素読み出し撮像素子 2と、前処理部 3と、 A/D変換部 4と、時間軸変更部 5と、任意枠信号生成部 6と、合成レベル算出部 7と、オフセット算出部 8と、レベル合成部 9と、ヒストグラムデータ検波部 10と、階調補正データ算出部 11と、 LONG領域階調補正部 12と、 SHORT領域階調補正部 13と、領域合成部 14と、メイン信号処理部 15とを備えている。ここで、全画素読み出し撮像素子 2が、本発明の全画素読み出し撮像手段に相当する。また、合成レベル算出部 7が、本発明の合成レベル算出手段に相当し、オフセット算出部 8が、本発明のオフセット算出手段に相当する。また、レベル合成部 9が、本発明のレベル合成手段に相当する

[0031] 全画素読み出し撮像素子 2は、例えば CCDや CMOSなどの固体撮像素子であり、平面状に配置された複数の画素を備えている。本実施の形態では、図 2に示すように、 Mg (マゼンダ）、 G (グリーン）、 Cy (シアン）、 Ye (イェロー）の 4色の画素が所定の配置パターンで配置されている。そして、例えば、 Mgと Gの画素ライン（第 1画素ライン）と、 Cyと Yeの画素ライン (第 2画素ライン）が交互に形成されるように画素が配置されている。すなわち、全画素読み出し撮像素子 2の奇数画素ラインが Mgと Gの画素ライン (第 1画素ライン）となり、偶数画素ラインが Cyと Yeの画素ライン (第 2画素ライン）となるように 4色の画素が配置されている。全画素読み出し撮像素子 2は、互いに隣接して色配置の異なる第 1画素ライン (Mgと Gの画素ライン）と第 2画素ライン (C yと Yeの画素ライン）を有しているともいえる。なお、図 2では、説明の都合上、撮像素子 2の一部の画素の配置パターンのみが図示されてレ、る。

[0032] 撮像素子 2は、露光時間が長時間の映像信号 (LONG信号）と露光時間が短時間の映像信号 (SHORT信号)を出力する。このとき、撮像素子 2は、 CCDの水平転送速度を通常の 2倍の転送速度にすることにより、水平画素ラインごとに LONG信号と SHORT信号を 1フィールド期間内に交互に出力する。すなわち、通常の撮像で 1フィールド分の映像信号を出力する期間内に、 LONG信号および SHORT信号の各々が 1フィールド分出力される。そして、全画素読み出し撮像素子 2では画素加算が行われないため、 Mgと Gの画素ライン（第 1画素ライン）の映像信号と、 Cyと Yeの画素ライン (第 2画素ライン）の映像信号が、 1画素ラインごとに交互に出力される。

[0033] 前処理部 3は、ノイズ除去処理を行う CDS回路と、ゲイン制御処理を行う AGC回路とを備えている。そして、撮像素子 2から出力された映像信号には、前処理部 3においてノイズ除去やゲイン制御などの前処理が施される。また、 A/D変換部 4は、前処理部 3から出力された映像信号を、アナログ信号からディジタル信号に変換する処理を行う。

[0034] 時間軸変換部 5は、撮像素子 2で生成された LONG信号と SHORT信号の時間軸をそれぞれ変換することにより、 LONG信号と SHORT信号をそれぞれ標準の速度かつ同一のタイミングにする。そして、この時間軸変換部 5によって、撮像素子 2から出力された映像信号は、 LONG信号と SHORT信号にそれぞれ分離され、独立して取り扱うことが可能になる。

[0035] 図 3 (a)〜（d)は、任意枠信号生成部 6の動作を説明する図である。ここでは、全画素読み出し撮像素子 2で、図 3 (a)に示すような被写体を撮像した場合について説明する。被写体は、楕円形の高輝度領域である SHORT領域と、その周辺の低輝度領域である LONG領域を有している。図 3 (b)は、時間軸変換部 5によって得られる L〇 NG信号のうち、被写体上の線 ABに対応する信号レベルを示す図である。また、図 3 (c)は、時間軸変換部 5によって得られる SHORT信号のうち、被写体上の線 AB 対応する信号レベルを示す図である。そして、任意枠信号生成部 6は、 LONG信号の輝度レベルと閾値の比較を行レ、、輝度レベルが閾値未満の領域は 0で、輝度レべルが閾値以上の領域は 1になるような任意枠信号を生成する。例えば、図 3 (d)は、被写体にぉレ、て Aから Bの水平方向で見た場合の任意枠信号を示す図面である。任意枠信号において 0で示されている領域は LONG領域であり、 1で示されている領域は SHORT領域である。このようにして、任意枠信号生成部 6により、映像信号が LO NG領域と SHORT領域の二つの領域に分けられる。

[0036] 図 4は、合成レベル算出部 7のブロック図である。図 4に示すように、合成レベル算出部 7は、ラインカウンタ 71と、ラインセレクタ 72と、二つの加算器 73と、二つの除算器 74と、減算器 75と、ライン別合成レベル算出部 76とを備えている。ラインカウンタ 7 1は、画素ライン数をカウントし奇数画素ライン (第 1画素ライン）と偶数画素ライン (第 2画素ライン）を区別する切替信号を生成する。ラインセレクタ 72は、切替信号を基に LONG信号を偶数画素ラインと奇数画素ラインに分ける。偶数画素ラインと奇数画素ラインそれぞれ加算器 73で、 1画素ライン分の全画素を加算して加算値を求め、同時に、加算した画素数（1画素ライン分の全画素数)であるサンプノレ数を数える。除算器 74は、加算値をサンプル数で割り、その偶数画素ラインの平均値と奇数画素ラインの平均値を算出する。減算器 75は、奇数画素ラインの平均値から偶数画素ラインの平均値を減算してライン差分を出力する。 [0037] そして、ライン別合成レベル算出部 76は、図示しないマイコンから提供される所定の基準合成レベル (基準飽和値）に対してライン差分を用いて以下の処理を行う。すなわち、基準合成レベルにライン差分を加算した値を合成レベル 1として出力し、基準合成レベルからライン差分を減算した値を合成レベル 2として出力する。このようにして、合成レベル算出部 7では、画素ラインごとに合成レベル 1または合成レベル 2が生成される。ここでは、合成レベル 1が、第 1画素ライン (奇数画素ライン)用の第 1合成レベルであり、合成レベル 2が、第 2画素ライン (偶数画素ライン)用の第 2合成レべルである。

[0038] 図 5は、オフセット算出部 8のブロック図である。図 5に示すように、オフセット算出部

8は、ラインカウンタ 81と、ラインセレクタ 82と、二つの加算器 83と、二つの除算器 84 と、減算器 85と、ライン別オフセット算出部 86とを備えている。ラインカウンタ 81は、画素ライン数をカウントし奇数画素ライン (第 1画素ライン）と偶数画素ライン (第 2画素ライン）を区別する切替信号を生成する。ラインセレクタ 82は、切替信号を基に LON G信号を偶数画素ラインと奇数画素ラインに分ける。偶数画素ラインと奇数画素ラインそれぞれ加算器 83で、 1画素ライン分の全画素を加算して加算値を求め、同時に、加算した画素数（1画素ライン分の全画素数)であるサンプル数を数える。除算器 8 4は、加算値をサンプル数で割り、その偶数画素ラインの平均値と奇数画素ラインの平均値を算出する。減算器 85は、奇数画素ラインの平均値力偶数画素ラインの平均値を減算してライン差分を出力する。

[0039] そして、ライン別オフセット算出部 86は、図示しないマイコンから提供される所定の基準オフセットに対してライン差分を用いて以下の処理を行う。すなわち、基準オフセットにライン差分を加算した値をオフセット 1として出力し、基準オフセットからライン差分を減算した値をオフセット 2として出力する。このようにして、オフセット算出部 8では、画素ラインごとにオフセット 1またはオフセット 2が算出される。ここでは、オフセット 1が、第 1画素ライン (奇数画素ライン)用の第 1オフセットであり、オフセット 2が、第 2 画素ライン (偶数画素ライン)用の第 2オフセットである。

[0040] 図 6は、レベル合成部 9のブロック図である。図 6に示すように、レベル合成部 9は、ラインカウンタ 91と、ラインセレクタ 92と、圧縮部 93と、加算器 94と、合成部 95とを備えている。ラインカウンタ 91は、画素ライン数をカウントし奇数画素ライン (第 1画素ライン）と偶数画素ライン (第 2画素ライン)を区別する切替信号を生成する。ラインセレクタ 92は、切替信号に応じて合成レベル 1または合成レベル 2を選択して、選択合成レベルとして交互に出力するとともに、切替信号を基にオフセット 1またはオフセット 2 を選択して、選択オフセットとして交互に出力する。すなわち、奇数画素ラインのときには、合成レベル 1とオフセット 1が選択され、偶数画素ラインのときには、合成レべル 2とオフセット 2が選択される。

[0041] そして、圧縮部 93は、飽和点である選択合成レベルに達している LONG信号を圧縮し、加算器 94は、 SHORT信号に選択オフセットを足しこむ。そして、合成部 95は、選択合成レベル以下の輝度レベルのときは LONG信号になり、選択合成レベル以上の輝度レベルのときは SHORT信号になるように、 LONG信号と SHORT信号を合成してレベル合成信号を生成する。

[0042] 図 7 (a)〜（e)は、レベル合成部 9の動作を説明する図である。図 7 (a)、 (b)に示すように、レベル合成部 9の圧縮部 93では、合成レベルに達している LONG信号が圧縮される。また、レベル合成部 9の加算器 94では、 SHORT信号にはオフセットが足しこまれる。そして、レベル合成部 9の合成部 95では、合成レベル以下の輝度レベルの時は LONG信号となり、合成レベル以上の時は SHORT信号となるようにレベル合成信号が合成される。

[0043] このレベル合成は、画素ラインごとに行われる。図 8は、レベル合成部 9における画素ラインごとのレベル合成の動作を説明する図である。同じ輝度レベルであるはずの領域であっても、画素の感度特性の違いのために、画素ラインごとに輝度レベルが異なる場合がある。例えば、本来、明るい領域であっても、 Cyと Yeの感度が高い波長の光の光量が少ないと、第 2画素ライン (Cyと Yeの画素ライン）の輝度レベルが低くなる。そのような場合、本実施の形態では、図 8に示すように、第 1画素ラインについては、合成レベル 1とオフセット 1を選択したレベル合成信号 1が生成され、第 2画素ラインにっレ、ては、合成レベル 2とオフセット 2を選択したレベル合成信号 2が生成される。このようにして、輝度レベルの高い第 1画素ラインにおいて、オフセット SHORT 信号 1 (オフセット 1が足された SHORT信号）が用いられるとともに、輝度レベルの低い第 2画素ラインにおいても、オフセット SHORT信号 2 (オフセット 2が足された SHO RT信号）が用いられる。すなわち、本来、 SHORT信号が用いられるはずの明るい領域で、画素ラインごとに、 LONG信号と SHORT信号が切り替わるのが抑えられる

[0044] 図 9 (a)〜（f)は、ヒストグラムデータ検波部 10と階調補正データ算出部 11の動作を示す図である。図 9 (a)は、レベル合成部 9で合成された合成信号を示す図である。ヒストグラムデータ検波部 10は、レベル合成部 9で生成された合成信号の中から、任意枠信号（図 9 (b)参照）で示される LONG領域と SHORT領域ごとにヒストグラムを検波する。任意枠信号において 0で示されている LONG領域のヒストグラムを算出すると、 LONG領域は被写体の喑ぃ領域を示しているため、ヒストグラムは、図 9(c)に示すように暗いところに集中する特性を示す。また任意枠信号において 1で示されてレ、る SHORT領域のヒストグラムは、 SHORT領域が被写体の明るい領域を示しているため、ヒストグラムは、図 9(d)に示すように明るいところに集中する特性を有する。

[0045] 次に、階調補正データ算出部 11は、ヒストグラムデータ検波部 10で算出されたヒストグラムを用いて、階調補正データを算出する。 LONG領域のヒストグラムは暗い部分に集中しているので、図 9 (e)に示すように暗い部分を持ち上げるような階調補正データを算出する。一方、 SHORT領域のヒストグラムは明るい部分に集中しているので、図 9 (f)に示すように明るい部分を持ち上げるような階調補正データを算出する

[0046] 図 10 (a)〜（f)は、 LONG領域階調補正部 12および SHORT領域階調補正部 13 の動作を示す図である。 LONG領域階調補正部 12および SHORT領域階調補正部 13は、レベル合成部 9で生成されたレベル合成信号と階調補正データを用いてそれぞれ階調補正を行う。 LONG領域階調補正部 12は、図 10 (a)に示すレベル合成信号に対して、図 10 (b)に示す階調補正データを用いて階調補正を行うため、図 10 (c)に示す LONG階調補正信号のように信号レベルの低い部分が抑えられ、高い部分が強調される。一方、 SHORT領域階調補正部 13は、図 10 (d)に示すレベル合成信号に対して、図 10 (e)に示す階調補正データを用いて階調補正を行うため、図 10 (f)に示す SHORT階調補正信号のように信号レベルの低い部分が強調され、高い部分を抑えられる。

[0047] 図 11 (a)〜（d)は、領域合成部 14の動作を示す図である。図 11 (a)に示すように、領域合成部 14は、 LONG領域階調補正部 12で生成された LONG階調補正信号と (図 11 (a)参照）、 SHORT領域階調補正 13で生成された SHORT階調補正信号を (図 11 (c)参照）、任意枠信号（図 11 (b)参照）を用いて出力切り替え処理を行う。すなわち、任意枠信号が 0の領域については LONG階調補正信号を出力し、 1の領域につレ、ては SHORT階調補正信号を出力し、 LONG階調補正信号と SHORT階調補正信号を合成して、図 11 (d)に示すような領域合成信号を生成する。

[0048] そして、メイン信号処理部 15は、領域合成信号に対して、圧縮符号化処理などを含むメイン部分の信号処理を行い、外部の装置（図示せず）に出力信号を出力する。

[0049] 上記のようにして、全画素読み出し撮像素子 2を使用し、画素加算を行わずに、第 1画素ライン (奇数画素ライン）と第 2画素ライン (偶数画素ライン）につレ、て、それぞれ適正な合成レベル（合成レベル 1および合成レベル 2)とオフセット（オフセット 1およびオフセット 2)を算出する。そして、その合成レベルとオフセットを用いて、 LONG信号と SHORT信号の合成を行う。したがって、適正な露光量で撮像された領域ごとにヒストグラムを検波し、階調補正を算出することができる。これにより、領域ごとに最適に階調補正された画像を出力することができ、どんな被写体でも明るい所力も暗い所までよく見えるダイナミックレンジの広い画像を得ることができる。また、全画素読み出し撮像素子を使用しているので、解像度の高い画像を得ることができ、その上、得られる画像にライン濃淡が発生するのを抑えることができる。

[0050] このような発明の実施の形態の撮像装置 1によれば、画素ラインごとに合成レベルを算出する合成レベル算出部 7と、画素ラインごとにオフセットを算出するオフセット算出部 8を設け、レベル合成部 9において画素ラインごとの合成レベル (合成レベル 1 および合成レベル 2)とオフセット（オフセット 1およびオフセット 2)を用いてレベル合成処理を行うことにより、ダイナミックレンジが広ぐ解像度の高い画像が得られるとともに、得られる画像にライン濃淡が発生するのを抑えることができる。

[0051] すなわち、本実施の形態では、画素ラインごとに合成レベル (合成レベル 1および合成レベル 2)とオフセット（オフセット 1およびオフセット 2)が算出され、画素ラインごとにレベル合成信号（レベル合成信号 1およびレベル合成信号 2)が生成される。これにより、本来、同じ輝度レベルであるはずの領域にもかかわらず、画素の感度特性の違いのために、画素ラインごとに輝度レベルが異なる場合であっても、画素ラインごとの輝度レベルに応じたレベル合成信号の生成を行うことができる。したがって、本来、同じ輝度レベルであるはずの領域において、 LONG信号と SHORT信号が切り替わる画素ラインができるのが抑制され、得られる画像にライン濃淡が発生するのが抑えられる。

[0052] また、本実施の形態では、第 1画素ライン (奇数画素ライン）と第 2画素ライン (偶数画素ライン）の輝度レベル差に応じて、第 1画素ライン用の第 1合成レベル (合成レべル 1)と第 1オフセット（オフセット 1)が算出されるとともに、第 2画素ライン用の第 2合成レベル (合成レベル 2)と第 2オフセット（オフセット 2)が算出される。そして、画素ラインごとの輝度レベルの高低に応じて、合成レベル 1とオフセット 1または合成レベル 2とオフセット 2を用いて、レベル合成信号（レベル合成信号 1またはレベル合成信号 2)が生成される。これにより、本来、同じ輝度レベルであるはずの領域にもかかわらず、画素の感度特性の違いのために、奇数画素ラインと偶数画素ラインで輝度レべルが異なる場合であっても、奇数画素ラインと偶数画素ラインの輝度レベル差に応じたレベル合成信号の生成を行うことができる。したがって、本来、同じ輝度レベルであるはずの領域において、画素ラインごとに LONG信号と SHORT信号が切り替わるのが抑制され、得られる画像にライン濃淡が発生するのが抑えられる。

[0053] また、本実施の形態では、第 1画素ライン (奇数画素ライン）と第 2画素ライン (偶数画素ライン）の輝度レベル差に応じた適正な第 1合成レベル (合成レベル 1)と第 2合成レベル (合成レベル 2)を、所定の基準合成レベルを用いて算出できるとともに、奇数画素ラインと偶数画素ラインの輝度レベル差に応じた適正な第 1オフセット（オフセット 1)と第 2オフセット（オフセット 2)を、所定の基準オフセットを用いて算出できる。

[0054] 以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなぐ請求項に記載された範囲内において目的に応じて変更'変形することが可能である。

[0055] 例えば、以上の説明では、合成レベル算出部 7において、偶数画素ラインと奇数画素ラインそれぞれ加算器 73で、 1画素ライン分の全画素を加算して加算値を求め、その偶数画素ラインの平均値と奇数画素ラインの平均値を算出する場合を例示した。しかし、本発明の範囲はこれらに限定されるものではなぐ合成レベル算出部 7において、偶数画素ラインと奇数画素ラインそれぞれ加算器 73で、 1画素ライン分の画素を任意の数おきに加算して加算値を求め、その偶数画素ラインの平均値と奇数画素ラインの平均値を算出してもよい。これにより、合成レベル算出部 7における回路負荷が軽減される。

[0056] また、以上の説明では、オフセット算出部 8において、偶数画素ラインと奇数画素ラインそれぞれ加算器 83で、 1画素ライン分の全画素を加算して加算値を求め、その偶数画素ラインの平均値と奇数画素ラインの平均値を算出する場合を例示した。しかし、本発明の範囲はこれらに限定されるものではなぐオフセット算出部 8において、偶数画素ラインと奇数画素ラインそれぞれ加算器 83で、 1画素ライン分の画素を任意の数おきに加算して加算値を求め、その偶数画素ラインの平均値と奇数画素ラインの平均値を算出してもよい。これにより、オフセット算出部 8における回路負荷が軽減される。

[0057] 以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。

産業上の利用可能性

[0058] 以上のように、本発明にかかる撮像装置は、ダイナミックレンジが広ぐ解像度の高い画像が得られるとともに、得られる画像にライン濃淡が発生するのを抑えるという効果を有し、例えばビデオカメラ等に用レ、られる撮像装置等として有用である。

Claims

請求の範囲

[1] 所定のフィールド期間内に、画素ラインごとに、露光時間が長時間の映像信号である LONG信号と露光時間が短時間の映像信号である SHORT信号の 2種類の映像信号を出力する全画素読み出し撮像部と、

前記 LONG信号の輝度レベルが飽和する合成レベルを、前記画素ラインごとに算出する合成レベル算出部と、

前記 SHORT信号の輝度レベルを前記合成レベルまで底上げするオフセットを、前記画素ラインごとに算出するオフセット算出部と、

前記映像信号の輝度レベルが前記合成レベルよりも小さいときには前記 LONG信号となり、前記映像信号の輝度レベルが前記合成レベルよりも大きいときには前記ォフセットを加えた前記 SHORT信号となるように、前記画素ラインごとにレベル合成信号を生成するレベル合成部と、

を備えたことを特徴とする撮像装置。

[2] 前記全画素読み出し撮像部は、互いに隣接して色配置の異なる第 1画素ラインと第 2画素ラインを有し、

前記合成レベル算出部は、

前記第 1画素ラインと前記第 2画素ラインの輝度レベル差に基づいて、前記第 1画素ライン用の第 1合成レベルと前記第 2画素ライン用の第 2合成レベルを算出し、前記オフセット算出部は、

前記第 1画素ラインと前記第 2画素ラインの輝度レベル差に基づいて、前記第 1画素ライン用の第 1オフセットと前記第 2画素ライン用の第 2オフセットを算出し、前記レベル合成部は、

前記第 1画素ラインについて、前記第 1合成レベルと前記第 1オフセットを用いて前記レベル合成信号を生成し、前記第 2画素ラインについて、前記第 2合成レベルと前記第 2オフセットを用いて前記レベル合成信号を生成することを特徴とする請求項 1 に記載の撮像装置。

[3] 前記合成レベル算出部は、

前記第 1画素ラインと前記第 2画素ラインの輝度レベル差を算出し、所定の基準合成レベルに前記輝度レベル差を加えて前記第 1合成レベルを算出し、前記基準合成レベルから前記輝度レベル差を減じて前記第 2合成レベルを算出し、

前記オフセット算出部は、

前記第 1画素ラインと前記第 2画素ラインの輝度レベル差を算出し、所定の基準ォフセットに前記輝度レベル差をカ卩えて前記第 1オフセットを算出し、前記基準オフセットから前記輝度レベル差を減じて前記第 2オフセットを算出することを特徴とする請求項 2に記載の撮像装置。

[4] 所定のフィールド期間内に、画素ラインごとに、露光時間が長時間の映像信号である LONG信号と露光時間が短時間の映像信号である SHORT信号の 2種類の映像信号を出力し、

前記 LONG信号の輝度レベルが飽和する合成レベルを、前記画素ラインごとに算出し、

前記 SHORT信号の輝度レベルを前記合成レベルまで底上げするオフセットを、前記画素ラインごとに算出し、

前記映像信号の輝度レベルが前記合成レベルよりも小さいときには前記 LONG信号となり、前記映像信号の輝度レベルが前記合成レベルよりも大きいときには前記ォフセットを加えた前記 SHORT信号となるように、前記画素ラインごとにレベル合成信号を生成することを特徴とする映像信号処理方法。

[5] 所定のフィールド期間内に、画素ラインごとに出力された、露光時間が長時間の映像信号である LONG信号と露光時間が短時間の映像信号である SHORT信号の 2 種類の映像信号を処理するプログラムであって、

コンピュータに、

前記 LONG信号の輝度レベルが飽和する合成レベルを、前記画素ラインごとに算出する手順、

前記 SHORT信号の輝度レベルを前記合成レベルまで底上げするオフセットを、前記画素ラインごとに算出する手順、

前記映像信号の輝度レベルが前記合成レベルよりも小さいときには前記 LONG信号となり、前記映像信号の輝度レベルが前記合成レベルよりも大きいときには前記ォフセットを加えた前記 SHORT信号となるように、前記画素ラインごとにレベル合成信号を生成する手順、

を実行させることを特徴とする映像信号処理プログラム。