JP4050547B2 - Movie imaging system - Google Patents
Movie imaging system Download PDFInfo
- Publication number
- JP4050547B2 JP4050547B2 JP2002113866A JP2002113866A JP4050547B2 JP 4050547 B2 JP4050547 B2 JP 4050547B2 JP 2002113866 A JP2002113866 A JP 2002113866A JP 2002113866 A JP2002113866 A JP 2002113866A JP 4050547 B2 JP4050547 B2 JP 4050547B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- conversion curve
- gradation conversion
- image
- gradation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 229
- 230000008859 change Effects 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 39
- 230000015572 biosynthetic process Effects 0.000 claims description 32
- 238000003786 synthesis reaction Methods 0.000 claims description 32
- 230000007704 transition Effects 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 22
- 230000009467 reduction Effects 0.000 claims description 20
- 230000002194 synthesizing effect Effects 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 16
- 238000004260 weight control Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 2
- 239000000872 buffer Substances 0.000 description 61
- 238000012545 processing Methods 0.000 description 29
- 238000012937 correction Methods 0.000 description 14
- 238000000926 separation method Methods 0.000 description 14
- 238000007792 addition Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000005375 photometry Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Picture Signal Circuits (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、画像を時系列的に得る撮像系の階調幅が出力系における階調幅より広い動画撮像システムに係わり、シーン変化に起因する階調変換曲線の切替えを適切に行うことで高画質な出力画像を得るようにした動画撮像システムに関する。
【0002】
【従来の技術】
現在のデジタルビデオカメラにおいては、デジタル系信号処理の桁落ちによる画像劣化を防止するため、最終的な出力画像の階調幅(通常8bit)に対して入力および処理系における画像の階調幅をより広く設定(10〜12bit程度)している。この場合、出力系の階調幅に合致するよう階調変換を行う必要がある。
【0003】
従来は、標準的なシーンにあわせた固定的なガンマ曲線やヒストグラムなどに基づく適用的な階調変換曲線により変換していた。
【0004】
また、露光量の異なる複数枚の画像を合成することで、より階調幅の広い広ダイナミックレンジ画像を生成する手法が提案されている。この場合も得られた広ダイナミックレンジ画像を出力系の階調幅に合致するように階調変換する必要がある。
【0005】
このような階調変換特性は撮影シーンに依存するため、シーン変化に基づき適切に切り替える必要がある。しかし、シーン変化直後に階調変換特性を切り替えると得られる画像の変化が大きく違和感を生ずる。このため、例えば特開平11−164190号公報では追随速度という時間に基づく補間係数を乗算することで徐々に階調変換特性を切り替える方法が提示されている。また、特開2000−307896号公報では、複数の階調変換特性を用意し、これを選択する際にヒステリシスな制御を行うことで急激な変化を緩和する例が開示されている。
【0006】
【発明が解決しようとする課題】
しかしながら、補間係数を乗算することで徐々に階調変換特性を切り替える方法では、階調変換特性を切り替える際に階調変換曲線全体に補間係数を乗算していた。このため、画像の階調幅(10〜12bit)分のデータ数(1024〜4096点)の補正をリアルタイムで行う必要がありハードウエア規模が大きくなる課題がある。すなわち、低コストにて違和感のない階調変換特性の変更に対応できない。
【0007】
また、複数の階調変換特性を用意して選択時にヒステリシスな制御を行う方法は、用意された階調変換特性が現在のシーンに適合する保証がない。すなわち、任意の撮影シーンに対して高品位な画像を得ることに対応できない。
【0008】
本発明は上記問題点に着目し、時系列的に得られた画像の階調幅を変換する階調変換曲線をシーン変化に合わせて低コストで適切に切替え可能であり、任意の撮影シーンに対して高品位な画像を生成することが可能な動画撮像システムを提供することを目的とする。
【0009】
【課題を解決するための手段】
第1の発明は、撮像系から時系列的に連続するMbit階調幅の画像群を出力系のNbit階調幅(M、Nは自然数でM≧N)へ変換して出力する動画撮像システムにおいて、上記画像群中からシーン変化を検出する検出手段と、上記検出手段でシーン変化が検出された画像から階調変換曲線を算出する算出手段と、上記階調変換曲線を記録する記録手段と、上記算出手段から算出された新規の階調変換曲線と上記記録手段に記録された過去の階調変換曲線を合成する変換曲線合成手段と、上記合成手段で合成された階調変換曲線を用い上記Mbit階調幅の画像群をNbit階調幅へ変換する階調変換手段と、を有するものである。なお、検出手段は図1に示される検出部115が、算出手段は算出部116が、記録手段は記録部117が、変換曲線合成手段は変換曲線合成部118が、階調変換手段は階調変換部112がそれぞれ対応している。
【0010】
この第1の発明の好ましい適用例は、図1に示される検出部115にて撮影された画像群からシーン変化の有無を検出し、シーン変化が検出された場合に算出部115にて階調変換曲線を算出し、算出された階調変換曲線を記録部117にて記録し、算出部115にて算出された新規の階調変換曲線と記録部117にて記録されている過去の階調変換曲線を変換曲線合成部118において合成し、合成された階調変換曲線を用いて階調変換部112にて各画像の階調変換特性の変換を行う動画撮像システムである。
【0011】
このような第1の発明では、シーン変化が検出された場合、新たな階調変換曲線を算出し、過去の階調変換曲線と合成した階調変換曲線を用いて階調変換特性の変換を行う。これにより、シーン変化に対応して階調変換曲線を切り替える時、違和感を低減して高品位な画像が得られる。
【0012】
第2の発明は、第1の発明の動画撮像システムにおいて、さらに、同一被写体に対して異なる露光条件で撮像した少なくとも二枚以上のフレームまたはフィールド単位の画像を合成しMbitの階調幅の画像群を生成する画像合成手段、を有するものである。なお、画像合成手段は図1に示される合成部110が対応する。
【0013】
この第2の発明の好ましい適用例は、図1に示されるCCD103にて異なる露光量で撮影した画像を画像用バッファ(長時間露光画像用)105、画像用バッファ(短時間露光画像用)106に保存し、これらの画像を合成部110にて合成することで広ダイナミックレンジの画像を得て、検出部115にてシーン変化が検出された場合に算出部116にて階調変換曲線を算出し、算出された階調変換曲線を記録部117にて記録し、算出部116にて算出された新規の階調変換曲線と記録部117にて記録されている過去の階調変換曲線を変換曲線合成部118にて合成し、合成された階調変換曲線を用いて階調変換部110にて各画像の階調変換特性の変換を行う撮像システムである。
【0014】
このような第2の発明では、異露光の画像を合成して1枚の広ダイナミックレンジの画像を生成し、この画像に対してシーン変化が検出された場合、新たな階調変換曲線を算出し、過去の階調変換曲線と合成した階調変換曲線を用いて階調変換特性の変換を行う。これにより、撮像系で扱うことのできる階調幅以上の画像から階調変換を行うため、黒潰れや白飛びの少ないより高品位な画像が得られる。また、シーン変化に対応して階調変換曲線を切り替える時、違和感を低減して高品位な画像が得られる。
【0015】
第3の発明は、第1又は第2の発明の動画撮像システムにおいて、上記検出手段は、上記撮像系から単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも1つに基づき上記画像群から画像を選択する時間間隔を設定する時間設定手段、を有するものである。 なお、時間設定手段は図2に示される時間設定部部200が対応する。
【0016】
この第3の発明の好ましい適用例は、図1に示される測光評価部107、合焦点検出部108、外部I/F部121からの情報に基づき撮影条件を推定して、図2に示される検出部115内の時間設定部200にて画像を選択する時間間隔を適用的に調整する動画撮像システムである。
【0017】
このような第3の発明では、撮影条件に応じて画像を選択する時間間隔を自動的に変更する。これにより、撮影状況に応じたタイミングで画像が選択されるため、シーン変化の検出能が向上する。
【0018】
第4の発明は、第3の発明の動画撮像システムにおける上記検出手段は、さらに上記選択された画像を所定サイズに縮小する縮小手段と、上記縮小された画像から平均輝度レベルを算出する輝度算出手段と、上記平均輝度レベルの時系列的な変化に基づきシーン変化の有無を判断する判断手段と、を有するものである。なお、縮小手段は図2に示される縮小部202が、輝度算出手段は図2に示される輝度算出部204が、判断手段は図2に示される判断部206が対応する。
【0019】
この第4の発明の好ましい適用例は、図1に示される信号処理部111から画像読み込み部201にて読み込まれた画像を、図2に示される検出部115内の縮小部202にて所定サイズに縮小し、輝度算出部204にて画像の平均輝度値を算出し、判断部206にて輝度値の変化を判断することでシーン変化を検出する撮像システムである。
【0020】
このような第4の発明では、選択された画像を所定サイズに縮小し、この縮小画像の輝度値の時系列的な変化からシーン変化を検出する。これにより、選択された画像を縮小するため以降の処理が軽減され、低コストのシステムが実現できる。また、縮小する段階で画像の微小変化が吸収されるため、算出される階調変換曲線の特性が安定し得られる画像が見やすくなる。さらに、特定領域ではなく画像全体からシーン変化の検出が可能となるため、被写体の位置によらないシーン変化の検出が可能となる。
【0021】
第5の発明は、第3の発明の動画撮像システムにおける上記検出手段は、さらに上記選択された画像を所定サイズに縮小する縮小手段と、上記縮小された画像の時系列的に前後する2枚の画像から動きベクトルを算出する動きベクトル算出手段と、上記動きベクトル量に基づきシーン変化の有無を判断する判断手段と、を有するものである。なお、縮小手段は図3に示される縮小部202が、動きベクトル算出手段は図3に示される動きベクトル算出部210が、判断手段は図3に示される判断部206が対応する。
【0022】
この第5の発明の好ましい適用例は、図1に示される信号処理部111から画像読み込み部201にて読み込まれた画像を、図3に示される検出部115内の縮小部202にて所定サイズに縮小し、動きベクトル算出部210にて画像内の動きベクトルを算出し、判断部206にて動きベクトルの変化を判断することでシーン変化と主要被写体位置を検出する動画撮像システムである。
【0023】
このような第5の発明では、選択された画像を所定サイズに縮小し、この縮小画像の動きベクトルの時系列的な変化からシーン変化を検出し、さらに動きの大きさに基づき主要被写体位置を求める。これにより、選択された画像を縮小するため以降の処理が軽減され、低コストのシステムが実現できる。また、主要被写体に重きを置いた階調変換が可能となり、高品位な画像が得られる。
【0024】
第6の発明は、第1又は第2の発明の動画撮像システムにおける上記算出手段は、上記画像を輝度信号と色差信号に分離する分離手段と、上記輝度信号レベルに基づき適正露光域を抽出する抽出手段と、上記適正露光域に関して特徴量を算出する特徴量算出手段と、上記特徴量に基づきヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段と、を有するものである。なお、分離手段は図4に示される輝度分離部300が、抽出手段は図4に示される適正露光抽出部301が、特徴量算出手段は図4に示されるエッジ抽出部302が、ヒストグラム作成手段は図4に示されるヒストグラム作成部303が、階調変換曲線算出手段は図4に示される階調変換曲線算出部304が対応する。
【0025】
この第6の発明の好ましい適用例は、図1に示される検出部115から転送される画像に対して、図4に示される算出部116内の輝度分離部300にて画像から輝度信号を分離し、適正露光抽出部301にて輝度信号に基づき適正露光域を抽出し、エッジ抽出部302にて輝度信号のエッジ成分を抽出し、ヒストグラム作成部303にてエッジ部のヒストグラムを算出し、階調変換曲線算出部304にて累積ヒストグラムから階調変換曲線を得る動画撮像システムである。
【0026】
このような第6の発明では、輝度信号からエッジ成分を抽出し、エッジ部の累積ヒストグラムから階調変換曲線を得る。これにより、平坦な背景部を除去して主要被写体に重きを置いた階調変換曲線を算出することで、高品位な画像が得られる。
【0027】
第7の発明は、第1又は第2の発明の動画撮像システムにおける上記変換曲線合成手段は、上記算出手段から算出された新規の階調変換曲線と上記記録手段に記録された過去の階調変換曲線に複数の代表点を設定する設定手段と、上記代表点に対して所定の重み係数に基づき上記新規の階調変換曲線と上記過去の階調変換曲線から合成値を算出する乗加算手段と、上記乗加算手段で処理された上記代表点間を補間する補間手段と、を有するものである。なお、設定手段は図5に示される代表点抽出部402が、乗加算手段は図5に示される乗加算部405が、補間手段は図5に示される補間部408が対応する。
【0028】
この第7の発明の好ましい適用例は、図1に示される算出部116および記録部117から階調変換曲線バッファ400及び401にて取り込まれた2つの階調変換曲線に対して、図5に示される変換曲線合成部118内の代表点抽出部402にて所定の代表点における値を抽出し、乗加算部405にて2つの階調変換曲線の代表点を合成し、補間部408にて代表点間を補間処理することで階調変換曲線を生成する動画撮像システムである。
【0029】
このような第7の発明では、シーン変化後に算出された新規の階調変換曲線とシーン変化前に使用された過去の階調変換曲線から数点の代表点を抽出し、両者を合成した階調変換曲線を生成する。これにより、少ない演算量で新旧の階調変換曲線を合成することができ、高速かつ低コストな処理を実現することが可能となる。
【0030】
第8の発明は、第7の発明の動画撮像システムにおける上記変換曲線合成手段は、さらに上記撮像系からの撮影条件に基づき上記過去の階調変換曲線から上記新規の階調変換曲線へ切り替える遷移時間を定める遷移時間設定手段と、上記遷移時間設定手段の遷移時間に基づき上記重み係数を制御する重み制御手段と、を有するものである。なお、遷移時間設定手段は図5に示される遷移時間設定部406が、重み制御手段は図5に示される重み制御部407が対応する。
【0031】
この第8の発明の好ましい適用例は、図1に示される制御部120から転送される撮影条件に基づき、図5に示される変換曲線合成部118内の遷移時間設定部406にて新旧の階調変換曲線を切り替える遷移時間を設定し、重み制御部407にて新旧の階調変換曲線に対する重み係数を遷移時間に基づき調整する動画撮像システムである。
【0032】
このような第8の発明では、撮影条件に基づき新旧の階調変換曲線を切り替える遷移時間を求め、この時間内で過去の階調変換曲線から新規の階調変換曲線へ切り替わるように重み係数を調整する。これにより、撮影条件に適した遷移時間で階調変換曲線が切り替わるため、違和感の少ない切り替えが可能となる。
【0033】
第9の発明は、第7の発明の動画撮像システムにおける上記変換曲線合成手段は、さらに上記補間手段で補間された階調変換曲線と上記新規の階調変換曲線のいずれか一つを選択する切替手段、を有するものである。なお、切替手段は図5に示される切替部409が対応する。
【0034】
この第9の発明の好ましい適用例は、図1に示される算出部116および記録部117からの2つの階調変換曲線から変換曲線合成部118にて合成した階調変換曲線または算出部116から転送された新規の階調変換曲線を切替部409にて切り替える動画撮像システムである。
【0035】
このような第9の発明では、シーン変化に伴う階調変換曲線の切替えに関して、所定の遷移時間内は合成された階調変換曲線で、その後は新規の階調変換曲線へと切替可能とする。これにより、シーン変化に伴う階調変換曲線の切替えに関して、所定の遷移以降は合成に関する処理部を迂回することができ低消費電力化が可能となる。
【0036】
第10の発明は、第7の発明の動画撮像システムにおける上記変換曲線合成手段は、さらに上記代表点に関して上記新規の階調変換曲線と上記過去の階調変換曲線の差分値を算出する差分算出手段と、上記差分値に基づき代表点の位置または数を調整する調整手段と、を有するものである。なお、差分算出手段は図5に示される差分算出部403が、調整手段は図5に示される代表点調整部404が対応する。
【0037】
この第10の発明の好ましい適用例は、図1に示される算出部116からおよび記録部117からの2つの階調変換曲線に対し、差分算出部403にて代表点に関する両者の差分値を算出し、代表点調整部404にて差分値に基づき代表点の調整を行う動画撮像システムである。
【0038】
このような第10の発明では、新旧の階調変換曲線の差分値に基づき、差分値の大きい場合は代表点を密に小さい場合には粗に調整する。これにより、新旧の階調変換曲線間での差の大きい階調域は代表点を密に配置するため、より精度の高い階調変換曲線が合成でき、高品位な画像が得られる。
【0039】
第11の発明は、第1又は第2の発明の動画撮像システムにおいて、さらに、標準階調変換曲線を記録する標準階調変換曲線記録手段と、電源投入時などの初期化状況を検出する初期化検出手段と、上記初期化検出手段に基づき上記標準階調変換曲線を上記階調変換手段へ転送する転送手段と、を有するものである。なお、標準階調曲線記録手段は図1に示される標準階調曲線ROM119が、初期化検出手段は図1に示される制御部120が、転送手段は図5に示される切替部409が対応する。
【0040】
この第11の発明の好ましい適用例は、図1に示される測光評価部107、合焦点検出部108、外部I/F部121からの情報に基づき制御部120が初期化状況を判断し、初期化状況と判断された場合に図5に示される切替部409が標準階調曲線ROM119内に記録された標準となる階調変換曲線を読み込む動画撮像システムである。
【0041】
このような第11の発明では、初期化状況と判断された場合、予め記録されている標準となる階調変換曲線を読み込む。これにより、電源投入時などの階調変換曲線が算出されていない初期化状況においても、画像出力を可能とする。
【0042】
【発明の実施の形態】
発明の実施の形態について図面を参照して説明する。
(構成)
図1は、本発明の一実施の形態の動画撮像システムの構成図である。
【0043】
レンズ系100、絞り101、ローパスフィルタ102、単板式のCCD103を介して撮影された映像は、A/D変換部104にてデジタル信号へ変換される。A/D変換部104からの信号は、画像用バッファ(長時間露光画像用)105、画像用バッファ(短時間露光画像用)106を介して合成部110へ転送される。画像用バッファ105は、測光評価部107、合焦点検出部108へも接続されている。測光評価部107は絞り101、CCD103へ、合焦点検出部108はAFモータ109へ接続されている。合成部110からの信号は、信号処理部111、階調変換部112、D/A変換部113を経由してモニターやビデオレコーダーなどの出力部114に接続されている。
【0044】
また、信号処理部111は、検出部115を経由して算出部116へ接続されている。算出部116は、記録部117と変換曲線合成部118へ接続しており、記録部117もまた変換曲線合成部118へ接続されている。変換曲線合成部118は階調変換部112へ接続しており、標準階調曲線ROM119は変換曲線合成部118へ接続されている。
【0045】
また、マイクロコンピュータなどの制御部120は、合成部110、信号処理部111、階調変換部112,出力部114、検出部115、算出部116、変換曲線合成部118と双方向に接続されている。
【0046】
さらに、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部121も制御部120に双方向に接続されている。また、測光評価部107、合焦点検出部108も制御部120へ接続されている。
【0047】
(作用)
図1において、信号の流れを説明する。
外部I/F部121を介して、使用者は画像サイズやフレーム数などの撮影条件を指定し、その後シャッターボタンを押すことで撮影が開始される。レンズ系100、絞り101、ローパスフィルタ102、CCD103を介して撮影された映像信号は、A/D変換部104にてデジタル信号へ変換されて画像用バッファ105(長時間露光画像)へ転送される。本実施の形態では、デジタル化された信号の階調幅を例えば12bitとする。画像用バッファ105内の映像信号は、測光評価部107および合焦点検出部108へ転送される。
【0048】
測光評価部107では、画像中の輝度レベルを求めて適正露光となるよう絞り101やCCD103の電子シャッター速度などを制御する。また、合焦点検出部108では画像中のエッジ強度を検出し、これが最大となるようにAFモータ109を制御することで合焦画像を得る。測光評価部107にて求められた露光条件と合焦点検出部108にて求められた合焦条件などの撮影時の条件は制御部120へ転送される。
【0049】
次に、測光評価部107にて求められた露光条件に対して所定の露光比、例えば1/8となるような露光条件で2枚目の画像が撮影され、A/D変換部104にてデジタル信号へ変換されて画像用バッファ106(短時間露光画像)へ転送される。
【0050】
合成部110は、画像用バッファ105、画像用バッファ106上の長時間露光画像、短時間露光画像を順に読み込む。まず、長時間露光画像に関して、所定の閾値(例えば12bit階調なら3890)以下の領域の信号を適正露光領域として残す。次に、適正露光領域以外の領域に対応する短時間露光画像を読み込み、露光比を補正して合成する。本実施の形態では、長時間露光に対して1/8となるよう設定されているため8倍に補正することになる。
【0051】
合成後の信号は、信号処理部111へ転送され公知の補間処理、ホワイトバランス処理、強調処理などが行われた三板状態の信号を生成する。信号処理部111からの信号は、制御部120の制御に基づき所定時間間隔で検出部115へ転送される。検出部115では、転送された画像から所定の特性情報を算出し、前回選択された画像の特性と比較することでシーン変化の有無を検出する。この結果は制御部120へ転送される。
【0052】
制御部120は、シーン変化が検出された場合に算出部116を制御し、新たな階調変換曲線を算出させる。
【0053】
算出部116は、検出部115からシーン変化が検出された画像を読み込み、ヒストグラムに基づき階調変換曲線を算出し記録部117および変換曲線合成部118へ転送する。記録部117は1つ分の階調変換曲線を記録するもので、算出部116からの階調変換曲線が転送されると上書きされる。変換曲線合成部118は、制御部120の制御に基づき新旧の階調変換曲線から合成した階調変換曲線、算出部116からの新規の階調変換曲線、標準階調曲線ROM119からの標準となる階調変換曲線のいずれかを階調変換部112へ転送する。
【0054】
階調変換部112は、変換曲線合成部118から転送された階調変換曲線に基づき信号処理部111からの信号を出力系の階調幅へ整合するよう変換する。本実施の形態では、出力系の階調幅を例えば8bitとする。この後、D/A変換部113にてアナログ信号に変換され、モニターやビデオレコーダーなどの出力部114へ出力される。
【0055】
図2は、輝度からシーン変化を検出する検出部115の構成の一例を示すもので、時間設定部200と、画像読み込み部201と、縮小部202と、縮小画像用バッファ203と、輝度算出部204と、輝度値用バッファ205と、判断部206からなる。制御部120は、時間設定部200、画像読み込み部201、輝度算出部204、判断部206と双方向に接続されている。時間設定部200は、画像読み込み部201へ接続されている。信号処理部111からの信号は、画像読み込み部201、縮小部202、縮小画像用バッファ203を介して算出部116へ接続されている。
【0056】
縮小画像用バッファ203からの信号は、輝度算出部204、輝度値用バッファ205を経由して判断部206へ接続されている。制御部120から、測光評価部107、合焦点検出部108、外部I/F部121からの情報が時間設定部200へ転送される。
【0057】
時間設定部200では、外部I/F部121から得られる画像サイズやフレーム数などの情報を制御部120から得て、これらの情報に基づき信号処理部111からの画像を選択する時間間隔を決定する。この制御は、例えば画像サイズまたはフレーム数が大きくなるにつれて時間間隔を長くすることで、後段の処理系に対する負担が増加しないようにするものである。また、時間設定部200は測光評価部107、合焦点検出部108からの測光、合焦条件が急変した場合にはシーン変化が生じたと判断し、時間間隔を0に設定し、画像を直ちに読みとらせるよう制御する。これ以外にも、ホワイトバランス、レンズのズーム位置、カメラの移動などの情報を用いてシーン変化を検出することも可能である。
【0058】
画像読み込み部201は、時間設定部200からの制御に基づき所定の時間間隔で信号処理部111からの信号を読み込み縮小部202へ転送する。縮小部202は、予め定められた縮小率、例えば1/8等で画像を縮小処理し、縮小画像用バッファ203へ転送する。この縮小率は固定にする必要はなく、可変にしても良い。例えば、縮小画像サイズと選択する時間間隔から単位時間内の情報量を求め、この情報量が一定値以下になるよう縮小率を制御することも可能である。縮小画像用バッファ203は複数枚の縮小画像を記録できるリング状バッファで、バッファが一杯になると古い画像から上書きされる構成になっている。縮小画像用バッファ203内の縮小画像は算出部116へ転送される。
【0059】
一方、輝度算出部204は、制御部120の制御に基づき縮小画像用バッファ203から縮小画像を取り込み、縮小画像の平均輝度値を算出する。この輝度値は輝度値用バッファ205へ転送され保存される。輝度値用バッファ205は、輝度値を記録できるリング状バッファで、バッファが一杯になると、古い輝度値から上書きされる構成になっている。
【0060】
判断部206は、輝度値用バッファ205から輝度値の時系列的な変化を監視し、所定の閾値以上の変化が発生し、その状況が所定回数連続した場合にシーン変化が生じたと判断する。この判断結果は、制御部120へ転送される。シーン変化は上記の輝度値に限定される必要はない。
【0061】
例えば、図3は、動きベクトルからシーン変化を検出する検出部115の構成例を示すもので、時間設定部200と、画像読み込み部201、縮小部202、縮小画像用バッファ203と、動きベクトル算出部210と、動きベクトル用バッファ211と、判断部206からなる。制御部120は、時間設定部200、画像読み込み部201、動きベクトル算出部210、判断部206と双方向に接続されている。時間設定部200は、画像読み込み部201へ接続されている。信号処理部111からの信号は、画像読み込み部201、縮小部202、縮小画像用バッファ203を介して算出部116へ接続されている。
【0062】
縮小画像用バッファ203からの信号は動きベクトル算出部210、動きベクトル用バッファ211を経由して判断部206へ接続されている。動きベクトル算出部210は縮小画像用バッファ203から時系列的に前後する縮小画像を読み込み、画像を所定のブロックに分割しマッチングに基づく公知の動き検出を行う。これにより、ブロックごとに動きベクトルを検出し、この結果を動きベクトル用バッファ211へ転送する。
【0063】
判断部206は、動きベクトル用バッファ211から動きベクトル情報を読み出し、所定値以上の動きベクトルが所定数以上のブロックで検出された場合にシーン変化が生じたと判断する。この判断結果は、制御部120へ転送される。
【0064】
また、算出部116でヒストグラムに基づき階調変換曲線を算出する際に、動きベクトルが検知されたブロックに対応する領域に重み係数を乗算することでその領域に階調幅を付与するなどの処理も可能である。
【0065】
図4は、階調変換曲線を算出する算出部116の構成の一例を示すもので、輝度分離部300と、適正露光抽出部301と、エッジ抽出部302と、ヒストグラム作成部303と、変換曲線算出部304からなる。制御部120は、輝度分離部300、適正露光抽出部301、変換曲線算出部304と双方向に接続されている。検出部115は輝度分離部300へ、輝度分離部300は適正露光抽出部301とヒストグラム作成部303へ接続されている。適正露光抽出部301はエッジ抽出部302とヒストグラム作成部303へ接続されており、エッジ抽出部302はヒストグラム作成部303へ接続されている。ヒストグラム作成部303は変換曲線算出部304を介して記録部117および変換曲線合成部118へ接続されている。
【0066】
制御部120は、検出部115にてシーン変化が検出された場合に、輝度分離部300を制御し検出部115から上記縮小画像を取り込ませる。輝度分離部300は、縮小画像から輝度を算出する。輝度信号は、適正露光抽出部301にて暗部と明部に関する所定の閾値(例えば12bit階調なら暗部が128、明部が3968)と比較され、暗部の閾値以上で明部の閾値以下の輝度信号が適正領域としてエッジ抽出部302とヒストグラム作成部303へ転送される。
【0067】
エッジ抽出部302は、公知のエッジ検出を行い、所定の閾値以上のエッジ強度を有する画素をエッジ部として抽出し、この情報をヒストグラム作成部303へ転送する。ヒストグラム作成部303は、上記適正露光域の情報とエッジ部の情報に基づき、輝度分離部300からの適正露光域の輝度信号からエッジ部のヒストグラムを作成する。
【0068】
変換曲線算出部304は、上記ヒストグラムを累積することで階調変換曲線を求め変換曲線合成部118へ転送する。また、制御部120の制御に基づき記録部117へも階調変換曲線を転送する。記録部117は、一つ分の階調変換曲線を記録するもので、算出部116から階調変換曲線が転送されると上書きされることになる。
【0069】
図5は、変換曲線合成部118の構成の一例を示すもので、階調変換曲線バッファ400と、階調変換曲線バッファ401と、代表点抽出部402と、差分算出部403と、代表点調整部404と、乗加算部405と、遷移時間設定部406と、重み制御部407と、補間部408と、切替部409からなる。制御部120は、代表点抽出部402、代表点調整部404、乗加算部405、遷移時間設定部406、切替部409と双方向に接続されている。 算出部116は階調変換曲線バッファ400へ、記録部117は階調変換曲線バッファ401へ接続されている。階調変換曲線バッファ400、階調変換曲線バッファ401は代表点抽出部402、乗加算部405、補間部408、切替部409を介して階調変換部112へ接続されている。
【0070】
代表点抽出部402は、差分算出部403を介して代表点調整部404へ接続しており、代表点調整部404は代表点抽出部402へ接続されている。遷移時間設定部406は、重み制御部407を介して乗加算部405へ接続されている。標準階調曲線ROM119および算出部116は、切替部409へ接続されている。算出部116からの階調変換曲線は階調変換曲線バッファ400へ、記録部117からの階調変換曲線は階調変換曲線バッファ401へ転送され保存される。
【0071】
代表点抽出部402は、制御部120の制御に基づき、両者の階調変換曲線から所定間隔、例えば等間隔で設定されている階調値に対応する値を代表点として抽出し、これを差分算出部403へ転送する。差分算出部403は、両者の階調変換曲線で対応する代表点間の絶対値を算出し、これを差分値として代表点調整部404へ転送する。代表点調整部404は、上記差分値が所定の閾値以上の場合はその代表点に隣接する代表点間の中央に新たな代表点を追加する。一方、上記差分値が所定の閾値以下の場合はその代表点を削除する。なお、これらの追加および削除は階調変換曲線の始点と終点に対しては行われない。
【0072】
図6は、差分値に基づく代表点の調整を示すものである。図6(a)のように等間隔に設定されている代表点が、同図(a)に示す新旧の階調変換曲線間の差分値に基づき、図6(b)に示すように差分値が大きい区間、すなわち階調変換が急峻な区間は密に、差分値が小さい区間、すなわち階調変換が緩やかな区間は粗に調整される。
【0073】
代表点調整部404は、上記の調整作業が完了すると、制御部120へ通達する。制御部120は、代表点抽出部402に調整された代表点に対応する値を抽出させ、これを乗加算部405へ転送するよう制御する。また、制御部120は遷移時間設定部406へ、外部I/F部121から得られる画像サイズやフレーム数などの情報を転送する。遷移時間設定部406はこれらの情報に基づき、新旧の階調変換曲線を切り替える遷移時間を調整する。これは例えば、フレームレートや画像サイズが大きく高品位な画像を処理している場合は2〜3秒と長く、フレームレートや画像サイズが小さく低品位な画像を処理している場合は1秒程度と短くする。設定された遷移時間は、重み制御部408では、設定された遷移時間T(秒)と現在のフレームレート(フレーム数/秒)Fから遷移時間中に生成される画像枚数N(枚)を求める。
【0074】
N=TF (1)
重み係数の基本単位は1/Nで与えられる。この重み係数の基本単位は、乗加算部405へ転送される。
【0075】
乗加算部405では、算出部116からの新規の階調変換曲線の代表点をVnew、記録部117からの過去の階調変換曲線の代表点をVoldとした場合に、下記(2)により合成された階調変換曲線の代表点Vを算出する。
【0076】
V=i/N Vnew+(1−i/N)Vold (i=0〜N) (2)
ここで、iは遷移時間中に生成される画像枚数のカウント値で、(2)式に基づき合成された階調変換曲線の全代表点が求まるごとに、1ずつ加算されることになる。乗加算部405は、合成された代表点を補間部408へ転送する。補間部408は、代表点間値を公知の線形補間により生成し、合成された階調変換曲線として切替部409へ転送する。
【0077】
図7は、上記の階調変換曲線の合成を示すものである。図7(a)に示す過去の階調変換曲線から図7(e)に示す新規の階調変換曲線へ徐々に移行していく合成された階調変換曲線を示している。過去の階調変換曲線から数点の代表点〔図6(b)参照〕を抽出し、図7(b)〜(d)に示すように折れ線近似を行いながら順次移行していく。図7のように、折れ線近似することで低コストで中間的な階調変換曲線を算出できる。
【0078】
切替部409は、制御部120の制御に基づき、シーン変化が検出された場合は遷移時間設定部406が定めた遷移時間内は乗加算部405からの階調変換曲線を、それ以外は算出部116からの階調変換曲線を階調変換部112へ転送する。なお、電源投入時などの初期化状況を制御部120が検知した場合は、切替部409は制御部120の制御に基づき標準階調曲線ROM119から階調変換曲線を階調変換部112へ転送する。
【0079】
制御部120は、遷移時間が終了し新規の階調変換曲線へ切替えが完了すると、算出部116からの階調変換曲線を記録部117へ転送させ記録させる。なお、上記では代表点の間隔を差分値に基づき調整していたが、多少の精度の低下が容認される場合には、これを省略することも可能である。この場合、差分算出部403、代表点調整部404を削除でき、より低コストな構成が可能となる。また、補間部408における代表点間の補間は線形補間に限定される必要はなく、任意の補間方法を使用することができる。
【0080】
図8は、階調変換部112の構成の一例を示すもので、Y/C分離部500と、輝度信号バッファ501と、色差信号バッファ502と、輝度補正部503と、補正輝度信号バッファ504と、色差補正部505と、Y/C合成部506からなる。制御部120は、Y/C分離部500、輝度補正部503、色差補正部505、Y/C合成部506と双方向に接続されている。信号処理部111はY/C分離部500へ、Y/C分離部500は輝度信号バッファ501と色差信号バッファ502へ接続されている。輝度信号バッファ501は輝度補正部503と色差補正部505へ、輝度補正部503は補正輝度信号バッファ504を介してY/C合成部506へ接続されている。また、輝度補正部503へは変換曲線合成部118が接続されている。色差信号バッファ502は色差補正部505を介してY/C合成部506へ接続されている。補正輝度信号バッファ504は色差補正部505へ、Y/C合成部506はD/A変換部113へ接続されている。
【0081】
信号処理部111からの信号は、Y/C分離部500にて輝度信号と色差信号に分離され、各々輝度信号バッファ501と色差信号バッファ502に保存される。輝度信号バッファ501の輝度信号は輝度補正部503に転送され、所定の階調変換曲線で出力系の階調幅、本実施の形態では8bitへ変換される。輝度補正部503で用いられる階調変換曲線は、制御部120の制御に基づき変換曲線合成部118から読み込まれる。輝度補正部503で階調変換された輝度信号は補正輝度信号バッファ504へ転送される。
【0082】
次に、色差補正部505は色差信号バッファ502上の色差信号を読み込み、輝度信号バッファ501からの階調変換前の輝度信号と補正輝度信号バッファ504からの階調変換後の輝度信号を受け取る。この変換前後の輝度信号と色の存在し得る理論限界モデルから、色差信号を補正する補正係数を算出し色差信号を補正する。補正された色差信号はY/C合成部506へ転送され、補正輝度信号バッファ504からの変換後の輝度信号と合成され、D/A変換部113へ転送される。
【0083】
上記構成により、時系列的に撮像される任意の画像に対して、シーン変化に対応する階調変換曲線の切替えを、画像サイズやフレーム数などの撮影条件に応じた遷移時間内で連続的に可変することが可能となり、違和感の少ない高品位な画像が得られる。また、処理する画像を縮小し、遷移時間内の階調変換曲線を数点の代表点から算出するため、計算量を低減でき低コストな処理系を実現できる。また、縮小処理により画像の微小変化が吸収されるため得られる画像が安定する。また、標準階調曲線を用意することで、初期化状況などでも対応可能となる。
【0084】
なお、上記構成では同一被写体に対して異なる露光量(長時間,短時間露光)で撮影した2枚の画像から1枚の広ダイナミックレンジ画像を合成していたが、このような構成に限定される必要はない。通常の1枚撮影のシステムにも適用することができる。この1枚撮影システムの場合は、画像用バッファ106および合成部110を省略することができる。
【0085】
【発明の効果】
以上述べたように本発明によれば、時系列的に得られた画像の階調幅を変換する階調変換曲線をシーン変化に合わせて低コストで適切に切替え可能な動画撮像システムを実現することができる。また、任意の撮影シーンに対して高品位な画像を生成する動画撮像システムを実現することができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態の動画撮像システムのブロック図。
【図2】輝度からシーン変化を検出する検出部の構成の一例を示すブロック図。
【図3】動きベクトルからシーン変化を検出する検出部の構成例を示すブロック図。
【図4】階調変換曲線を算出する算出部の構成の一例を示すブロック図。
【図5】変換曲線合成部の構成の一例を示すブロック図。
【図6】差分値に基づく代表点の調整を説明する図。
【図7】階調変換曲線の合成を説明する図。
【図8】階調変換部の構成の一例を示すブロック図。
【符号の説明】
110…合成部(画像合成手段)
112…階調変換部(階調変換手段)
115…検出部(検出手段)
116…算出部(算出手段)
117…記録部(記録手段)
118…変換曲線合成部(変換曲線合成手段)[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image pickup system in which the gradation width of an imaging system that obtains images in a time series is wider than the gradation width in an output system. The present invention relates to a moving image capturing system that obtains an output image.
[0002]
[Prior art]
In the current digital video camera, in order to prevent image deterioration due to digit loss of digital signal processing, the gradation width of the image in the input and processing system is wider than the gradation width (usually 8 bits) of the final output image. It is set (about 10-12 bits). In this case, it is necessary to perform gradation conversion so as to match the gradation width of the output system.
[0003]
Conventionally, conversion is performed by a fixed gamma curve adapted to a standard scene or an applicable gradation conversion curve based on a histogram.
[0004]
In addition, there has been proposed a method of generating a wide dynamic range image with a wider gradation width by combining a plurality of images having different exposure amounts. In this case as well, it is necessary to perform gradation conversion so that the obtained wide dynamic range image matches the gradation width of the output system.
[0005]
Since such gradation conversion characteristics depend on the shooting scene, it is necessary to switch appropriately based on scene changes. However, if the tone conversion characteristics are switched immediately after a scene change, the resulting image change is greatly uncomfortable. For this reason, for example, Japanese Patent Application Laid-Open No. 11-164190 proposes a method of gradually switching the gradation conversion characteristics by multiplying an interpolation coefficient based on the time of following speed. Japanese Patent Laid-Open No. 2000-307896 discloses an example in which a plurality of gradation conversion characteristics are prepared, and abrupt changes are alleviated by performing hysteresis control when selecting the characteristics.
[0006]
[Problems to be solved by the invention]
However, in the method of gradually switching the gradation conversion characteristics by multiplying the interpolation coefficient, the entire gradation conversion curve is multiplied by the interpolation coefficient when the gradation conversion characteristics are switched. For this reason, it is necessary to correct the number of data (1024 to 4096 points) corresponding to the gradation width (10 to 12 bits) of the image in real time, which increases the hardware scale. That is, it is not possible to cope with a change in gradation conversion characteristics that is inexpensive and has no sense of incongruity.
[0007]
Further, the method of preparing a plurality of gradation conversion characteristics and performing hysteresis control at the time of selection does not guarantee that the prepared gradation conversion characteristics conform to the current scene. That is, it cannot cope with obtaining a high-quality image for an arbitrary shooting scene.
[0008]
The present invention pays attention to the above-mentioned problems, and a gradation conversion curve for converting the gradation width of an image obtained in time series can be appropriately switched at a low cost in accordance with a scene change. An object of the present invention is to provide a moving image capturing system capable of generating high-quality images.
[0009]
[Means for Solving the Problems]
A first aspect of the present invention is a moving image pickup system for converting an image group having an Mbit gradation width that is continuous in time series from an image pickup system into an output system Nbit gradation width (M and N are natural numbers M ≧ N) and outputting the converted image group. Detecting means for detecting a scene change from the image group; calculating means for calculating a gradation conversion curve from an image in which a scene change is detected by the detecting means; recording means for recording the gradation conversion curve; A conversion curve synthesizing unit that synthesizes a new tone conversion curve calculated from the calculating unit and a past tone conversion curve recorded in the recording unit, and the Mbit using the tone conversion curve synthesized by the synthesizing unit. Gradation conversion means for converting an image group having a gradation width into an Nbit gradation width. 1 is detected, the calculating means is the calculating
[0010]
In a preferred application example of the first invention, the presence or absence of a scene change is detected from a group of images photographed by the
[0011]
In such a first invention, when a scene change is detected, a new gradation conversion curve is calculated, and the gradation conversion characteristic is converted using the gradation conversion curve synthesized with the past gradation conversion curve. Do. Thereby, when switching the gradation conversion curve in response to a scene change, a sense of incongruity is reduced and a high-quality image can be obtained.
[0012]
According to a second aspect of the present invention, in the moving picture imaging system according to the first aspect of the present invention, an image group having an Mbit gradation width is further obtained by synthesizing at least two or more frame or field unit images captured on the same subject under different exposure conditions. Image synthesizing means for generating. Note that the image synthesizing means corresponds to the synthesizing
[0013]
A preferred application of the second invention is that an image buffer (for long-exposure image) 105 and an image buffer (for short-exposure image) 106 are taken by the
[0014]
In the second invention as described above, a single wide dynamic range image is generated by synthesizing images of different exposures, and when a scene change is detected for this image, a new gradation conversion curve is calculated. Then, the tone conversion characteristics are converted using the tone conversion curve synthesized with the past tone conversion curve. Thereby, since gradation conversion is performed from an image having a gradation width or larger that can be handled by the imaging system, a higher-quality image with less blackout and whiteout can be obtained. Also, when switching the gradation conversion curve in response to a scene change, a sense of discomfort is reduced and a high-quality image can be obtained.
[0015]
According to a third aspect of the present invention, there is provided the moving image imaging system according to the first or second aspect, wherein the detection means includes the number of images photographed per unit time from the imaging system, the image size, the exposure condition, the focusing condition, and the white balance. Time setting means for setting a time interval for selecting an image from the image group based on at least one of a condition, a zoom position, and a camera position. Note that the time setting means corresponds to the
[0016]
A preferred application example of the third invention is shown in FIG. 2, in which the photographing conditions are estimated based on information from the
[0017]
In such a third invention, the time interval for selecting an image is automatically changed according to the photographing conditions. As a result, an image is selected at a timing according to the shooting situation, so that the ability to detect a scene change is improved.
[0018]
According to a fourth aspect of the present invention, the detection means in the moving image pickup system of the third aspect further includes a reduction means for reducing the selected image to a predetermined size, and a luminance calculation for calculating an average luminance level from the reduced image. And means for determining the presence or absence of a scene change based on the time-series change in the average luminance level. Note that the reduction unit corresponds to the
[0019]
A preferred application example of the fourth invention is that an image read by the
[0020]
In such a fourth invention, the selected image is reduced to a predetermined size, and a scene change is detected from a time-series change in the luminance value of the reduced image. Thereby, since the selected image is reduced, subsequent processing is reduced, and a low-cost system can be realized. Further, since minute changes in the image are absorbed at the stage of reduction, it is easy to see an image in which the characteristics of the calculated gradation conversion curve are stably obtained. Furthermore, since it is possible to detect a scene change not from a specific area but from the entire image, it is possible to detect a scene change regardless of the position of the subject.
[0021]
According to a fifth aspect of the invention, in the moving image pickup system of the third aspect of the invention, the detection means further includes a reduction means for reducing the selected image to a predetermined size, and two pieces of time before and after the reduced image. Motion vector calculation means for calculating a motion vector from the image and determination means for determining the presence or absence of a scene change based on the motion vector amount. The reduction means corresponds to the
[0022]
A preferred application example of the fifth invention is that an image read by the
[0023]
In such a fifth invention, the selected image is reduced to a predetermined size, a scene change is detected from a time-series change in the motion vector of the reduced image, and the main subject position is determined based on the magnitude of the movement. Ask. Thereby, since the selected image is reduced, subsequent processing is reduced, and a low-cost system can be realized. In addition, tone conversion can be performed with emphasis on the main subject, and a high-quality image can be obtained.
[0024]
According to a sixth aspect of the present invention, the calculation means in the moving image pickup system of the first or second aspect of the invention extracts separation means for separating the image into a luminance signal and a color difference signal, and an appropriate exposure area based on the luminance signal level. Extraction means; feature quantity calculation means for calculating feature quantities with respect to the appropriate exposure area; histogram creation means for creating histograms based on the feature quantities; and tone conversion curve calculation for calculating tone conversion curves based on the histograms Means. The separating means is the
[0025]
In a preferred application example of the sixth invention, the luminance signal is separated from the image by the
[0026]
In such a sixth invention, the edge component is extracted from the luminance signal, and the gradation conversion curve is obtained from the cumulative histogram of the edge portion. As a result, a high-quality image can be obtained by calculating a gradation conversion curve that removes the flat background portion and puts weight on the main subject.
[0027]
In a seventh aspect of the present invention, the conversion curve synthesizing means in the moving image pickup system of the first or second aspect is characterized in that the new gradation conversion curve calculated from the calculation means and the past gradation recorded in the recording means. Setting means for setting a plurality of representative points on the conversion curve, and multiplication / addition means for calculating a composite value from the new gradation conversion curve and the past gradation conversion curve based on a predetermined weighting factor for the representative point And interpolation means for interpolating between the representative points processed by the multiplication / addition means. The setting means corresponds to the representative
[0028]
A preferred application example of the seventh invention is shown in FIG. 5 for two gradation conversion curves fetched by the gradation conversion curve buffers 400 and 401 from the
[0029]
In such a seventh invention, several representative points are extracted from the new gradation conversion curve calculated after the scene change and the past gradation conversion curve used before the scene change, and the two are synthesized. Generate a key transformation curve. This makes it possible to synthesize old and new tone conversion curves with a small amount of computation, and to realize high-speed and low-cost processing.
[0030]
According to an eighth aspect of the present invention, the conversion curve synthesizing means in the moving image capturing system of the seventh aspect further switches from the past gradation conversion curve to the new gradation conversion curve based on a photographing condition from the imaging system. Transition time setting means for determining time, and weight control means for controlling the weight coefficient based on the transition time of the transition time setting means. The transition time setting means corresponds to the transition
[0031]
A preferred application example of the eighth invention is based on the photographing conditions transferred from the
[0032]
In such an eighth invention, a transition time for switching between the old and new gradation conversion curves is obtained based on the photographing conditions, and the weighting coefficient is set so that the previous gradation conversion curve is switched to the new gradation conversion curve within this time. adjust. As a result, the gradation conversion curve is switched at the transition time suitable for the shooting conditions, and thus switching with less discomfort is possible.
[0033]
In a ninth aspect of the present invention, the conversion curve synthesizing means in the moving image pickup system of the seventh invention further selects any one of the gradation conversion curve interpolated by the interpolation means and the new gradation conversion curve. Switching means. The switching means corresponds to the
[0034]
A preferred application example of the ninth invention is that the tone conversion curve synthesized from the two tone transformation curves from the
[0035]
In the ninth aspect of the invention, regarding the switching of the gradation conversion curve according to the scene change, it is possible to switch to the new gradation conversion curve after the synthesized gradation conversion curve within a predetermined transition time. . As a result, regarding the switching of the gradation conversion curve accompanying the scene change, the processing unit related to the synthesis can be bypassed after a predetermined transition, and the power consumption can be reduced.
[0036]
In a tenth aspect of the present invention, the conversion curve synthesizing means in the moving image capturing system of the seventh aspect further calculates a difference value for calculating a difference value between the new gradation conversion curve and the past gradation conversion curve with respect to the representative point. Means and adjusting means for adjusting the position or number of representative points based on the difference value. The difference calculating means corresponds to the
[0037]
In a preferred application example of the tenth invention, the
[0038]
In such a tenth invention, based on the difference value between the old and new gradation conversion curves, the representative point is coarsely adjusted when the difference value is large and the representative point is densely small. As a result, since the representative points are densely arranged in the gradation region having a large difference between the old and new gradation conversion curves, a more accurate gradation conversion curve can be synthesized and a high-quality image can be obtained.
[0039]
According to an eleventh aspect of the present invention, in the moving image pickup system of the first or second aspect, a standard gradation conversion curve recording means for recording a standard gradation conversion curve, and an initial state for detecting an initialization state at the time of power-on, etc. And a transfer means for transferring the standard gradation conversion curve to the gradation conversion means based on the initialization detection means. The standard tone curve recording means corresponds to the standard
[0040]
In a preferred application example of the eleventh aspect of the invention, the
[0041]
In the eleventh aspect of the invention, when it is determined that the state of initialization is present, a standard gradation conversion curve recorded in advance is read. As a result, an image can be output even in an initialization situation where a tone conversion curve is not calculated, such as when the power is turned on.
[0042]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the invention will be described with reference to the drawings.
(Constitution)
FIG. 1 is a configuration diagram of a moving image capturing system according to an embodiment of the present invention.
[0043]
An image photographed through the lens system 100, the diaphragm 101, the low-pass filter 102, and the single-
[0044]
The
[0045]
The
[0046]
Further, an external I /
[0047]
(Function)
In FIG. 1, the flow of signals will be described.
Via the external I /
[0048]
The
[0049]
Next, a second image is taken under an exposure condition that is a predetermined exposure ratio, for example, 1/8 with respect to the exposure condition obtained by the
[0050]
The synthesizing
[0051]
The combined signal is transferred to the
[0052]
When a scene change is detected, the
[0053]
The
[0054]
The
[0055]
FIG. 2 shows an example of the configuration of the
[0056]
A signal from the reduced
[0057]
The
[0058]
The
[0059]
On the other hand, the
[0060]
The
[0061]
For example, FIG. 3 shows a configuration example of the
[0062]
A signal from the reduced
[0063]
The
[0064]
Further, when the gradation conversion curve is calculated based on the histogram by the
[0065]
FIG. 4 shows an example of the configuration of the
[0066]
When a scene change is detected by the
[0067]
The
[0068]
The conversion
[0069]
FIG. 5 shows an example of the configuration of the conversion
[0070]
The representative
[0071]
Based on the control of the
[0072]
FIG. 6 shows the adjustment of the representative points based on the difference value. As shown in FIG. 6 (b), the representative points set at regular intervals as shown in FIG. 6 (a) are based on the difference values between the old and new gradation conversion curves shown in FIG. 6 (a). A section with a large difference, that is, a section with a sharp gradation conversion is densely adjusted, and a section with a small difference value, that is, a section with a gentle gradation conversion is adjusted roughly.
[0073]
The representative
[0074]
N = TF (1)
The basic unit of the weight coefficient is given by 1 / N. The basic unit of the weight coefficient is transferred to the multiplication /
[0075]
In the multiplication /
[0076]
V = i / N Vnew + (1-i / N) Vold (i = 0 to N) (2)
Here, i is a count value of the number of images generated during the transition time, and is incremented by one every time all the representative points of the gradation conversion curve synthesized based on the equation (2) are obtained. Multiplying / adding
[0077]
FIG. 7 shows the synthesis of the gradation conversion curve. FIG. 8 shows a combined tone conversion curve that gradually shifts from the past tone conversion curve shown in FIG. 7A to the new tone conversion curve shown in FIG. Several representative points [see FIG. 6 (b)] are extracted from the past gradation conversion curve, and are sequentially shifted while performing polygonal line approximation as shown in FIGS. 7 (b) to 7 (d). As shown in FIG. 7, an intermediate gradation conversion curve can be calculated at low cost by approximating the broken line.
[0078]
Based on the control of the
[0079]
When the transition time ends and the switching to the new gradation conversion curve is completed, the
[0080]
FIG. 8 shows an example of the configuration of the
[0081]
The signal from the
[0082]
Next, the color
[0083]
With the above configuration, for any image captured in time series, the gradation conversion curve corresponding to the scene change can be switched continuously within the transition time according to the shooting conditions such as the image size and the number of frames. This makes it possible to change the image, and a high-quality image with little discomfort can be obtained. Further, since the image to be processed is reduced and the gradation conversion curve within the transition time is calculated from several representative points, the amount of calculation can be reduced and a low-cost processing system can be realized. Further, since the minute change of the image is absorbed by the reduction process, the obtained image is stabilized. In addition, by preparing a standard gradation curve, it is possible to cope with an initialization situation.
[0084]
In the above configuration, one wide dynamic range image is synthesized from two images shot with different exposure amounts (long time and short time exposure) for the same subject. However, the configuration is limited to such a configuration. There is no need to The present invention can also be applied to a normal single image shooting system. In the case of this single image taking system, the
[0085]
【The invention's effect】
As described above, according to the present invention, it is possible to realize a moving image capturing system capable of appropriately switching a gradation conversion curve for converting a gradation width of an image obtained in time series in accordance with a scene change at a low cost. Can do. Further, it is possible to realize a moving image capturing system that generates a high-quality image for an arbitrary shooting scene.
[Brief description of the drawings]
FIG. 1 is a block diagram of a moving image capturing system according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating an example of a configuration of a detection unit that detects a scene change from luminance.
FIG. 3 is a block diagram illustrating a configuration example of a detection unit that detects a scene change from a motion vector.
FIG. 4 is a block diagram illustrating an example of a configuration of a calculation unit that calculates a gradation conversion curve.
FIG. 5 is a block diagram showing an example of the configuration of a conversion curve synthesis unit.
FIG. 6 is a diagram for explaining representative point adjustment based on a difference value;
FIG. 7 is a diagram for explaining synthesis of a gradation conversion curve.
FIG. 8 is a block diagram illustrating an example of a configuration of a gradation conversion unit.
[Explanation of symbols]
110... Composition unit (image composition means)
112 ... gradation conversion section (gradation conversion means)
115... Detection unit (detection means)
116: Calculation unit (calculation means)
117: Recording section (recording means)
118: Conversion curve synthesis unit (conversion curve synthesis means)
Claims (11)
上記画像群中からシーン変化を検出する検出手段と、
上記検出手段でシーン変化が検出された画像から階調変換曲線を算出する算出手段と、
上記階調変換曲線を記録する記録手段と、
上記算出手段から算出された新規の階調変換曲線と上記記録手段に記録された過去の階調変換曲線を合成する変換曲線合成手段と、
上記合成手段で合成された階調変換曲線を用い上記Mbit階調幅の画像群をNbit階調幅へ変換する階調変換手段と、
を有することを特徴とする動画撮像システム。In a moving image pickup system that outputs an image group having Mbit gradation widths that are continuous in time series from the imaging system to output Nbit gradation widths (M and N are natural numbers, M ≧ N).
Detecting means for detecting a scene change from the image group;
Calculation means for calculating a gradation conversion curve from an image in which a scene change is detected by the detection means;
Recording means for recording the gradation conversion curve;
A conversion curve synthesizing unit that synthesizes a new tone conversion curve calculated from the calculation unit and a past tone conversion curve recorded in the recording unit;
Gradation conversion means for converting the image group having the Mbit gradation width into the Nbit gradation width using the gradation conversion curve synthesized by the synthesis means;
A moving image capturing system comprising:
を有することを特徴とする請求項1に記載の動画撮像システム。Furthermore, an image composition means for composing at least two or more frame or field unit images captured under different exposure conditions on the same subject to generate an image group having an Mbit gradation width,
The moving image imaging system according to claim 1, wherein:
上記撮像系から単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも1つに基づき上記画像群から画像を選択する時間間隔を設定する時間設定手段、
を有することを特徴とする請求項1又は2に記載の動画撮像システム。The detecting means is
A time interval for selecting an image from the image group based on at least one of the number of images taken per unit time from the imaging system, image size, exposure condition, focusing condition, white balance condition, zoom position, and camera position. Time setting means to set,
The moving image imaging system according to claim 1, wherein:
上記選択された画像を所定サイズに縮小する縮小手段と、
上記縮小された画像から平均輝度レベルを算出する輝度算出手段と、
上記平均輝度レベルの時系列的な変化に基づきシーン変化の有無を判断する判断手段と、
を有することを特徴とする請求項3に記載の動画撮像システム。The detection means further includes a reduction means for reducing the selected image to a predetermined size;
Luminance calculating means for calculating an average luminance level from the reduced image;
A determination means for determining the presence or absence of a scene change based on a time-series change in the average luminance level;
The moving image imaging system according to claim 3, further comprising:
上記選択された画像を所定サイズに縮小する縮小手段と、
上記縮小された画像の時系列的に前後する2枚の画像から動きベクトルを算出する動きベクトル算出手段と、
上記動きベクトル量に基づきシーン変化の有無を判断する判断手段と、
を有することを特徴とする請求項3に記載の動画撮像システム。The detection means further includes a reduction means for reducing the selected image to a predetermined size;
A motion vector calculating means for calculating a motion vector from two images that precede and follow the reduced image in time series;
Determining means for determining presence or absence of a scene change based on the motion vector amount;
The moving image imaging system according to claim 3, further comprising:
上記画像を輝度信号と色差信号に分離する分離手段と、
上記輝度信号レベルに基づき適正露光域を抽出する抽出手段と、
上記適正露光域に関して特徴量を算出する特徴量算出手段と、
上記特徴量に基づきヒストグラムを作成するヒストグラム作成手段と、
上記ヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段と、を有することを特徴とする請求項1又は2に記載の動画撮像システム。The calculation means is
Separating means for separating the image into a luminance signal and a color difference signal;
Extraction means for extracting an appropriate exposure area based on the luminance signal level;
A feature amount calculating means for calculating a feature amount with respect to the appropriate exposure area;
A histogram creating means for creating a histogram based on the feature amount;
The moving image imaging system according to claim 1, further comprising a gradation conversion curve calculation unit that calculates a gradation conversion curve based on the histogram.
上記算出手段から算出された新規の階調変換曲線と上記記録手段に記録された過去の階調変換曲線に複数の代表点を設定する設定手段と、
上記代表点に対して所定の重み係数に基づき上記新規の階調変換曲線と上記過去の階調変換曲線から合成値を算出する乗加算手段と、
上記乗加算手段で処理された上記代表点間を補間する補間手段と、
を有することを特徴とする請求項1又は2に記載の動画撮像システム。The conversion curve synthesis means is:
Setting means for setting a plurality of representative points in the new gradation conversion curve calculated from the calculation means and the past gradation conversion curve recorded in the recording means;
Multiplying and adding means for calculating a composite value from the new gradation conversion curve and the past gradation conversion curve based on a predetermined weight coefficient with respect to the representative point;
Interpolation means for interpolating between the representative points processed by the multiplication and addition means;
The moving image imaging system according to claim 1, wherein:
上記撮像系からの撮影条件に基づき上記過去の階調変換曲線から上記新規の階調変換曲線へ切り替える遷移時間を定める遷移時間設定手段と、
上記遷移時間設定手段の遷移時間に基づき上記重み係数を制御する重み制御手段と、
を有することを特徴とする請求項7に記載の動画撮像システム。The conversion curve synthesizing means further includes a transition time setting means for determining a transition time for switching from the past gradation conversion curve to the new gradation conversion curve based on photographing conditions from the imaging system,
Weight control means for controlling the weighting factor based on the transition time of the transition time setting means;
The moving image imaging system according to claim 7, further comprising:
上記補間手段で補間された階調変換曲線と上記新規の階調変換曲線のいずれか一つを選択する切替手段、
を有することを特徴とする請求項7に記載の動画撮像システム。The conversion curve synthesis means further includes a switching means for selecting one of the gradation conversion curve interpolated by the interpolation means and the new gradation conversion curve,
The moving image imaging system according to claim 7, further comprising:
上記代表点に関して上記新規の階調変換曲線と上記過去の階調変換曲線の差分値を算出する差分算出手段と、
上記差分値に基づき代表点の位置または数を調整する調整手段と、
を有することを特徴とする請求項7に記載の動画撮像システム。The conversion curve synthesis means further includes a difference calculation means for calculating a difference value between the new gradation conversion curve and the past gradation conversion curve with respect to the representative point,
Adjusting means for adjusting the position or number of representative points based on the difference value;
The moving image imaging system according to claim 7, further comprising:
標準階調変換曲線を記録する標準階調変換曲線記録手段と、
電源投入時などの初期化状況を検出する初期化検出手段と、
上記初期化検出手段に基づき上記標準階調変換曲線を上記階調変換手段へ転送する転送手段と、
を有することを特徴とする請求項1又は2に記載の動画撮像システム。further,
A standard gradation conversion curve recording means for recording a standard gradation conversion curve;
Initialization detection means for detecting the initialization status at power-on, etc .;
Transfer means for transferring the standard gradation conversion curve to the gradation conversion means based on the initialization detection means;
The moving image imaging system according to claim 1, wherein:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002113866A JP4050547B2 (en) | 2002-04-16 | 2002-04-16 | Movie imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002113866A JP4050547B2 (en) | 2002-04-16 | 2002-04-16 | Movie imaging system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003309763A JP2003309763A (en) | 2003-10-31 |
JP4050547B2 true JP4050547B2 (en) | 2008-02-20 |
Family
ID=29395920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002113866A Expired - Fee Related JP4050547B2 (en) | 2002-04-16 | 2002-04-16 | Movie imaging system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4050547B2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3873917B2 (en) | 2003-03-14 | 2007-01-31 | セイコーエプソン株式会社 | Image processing apparatus, image processing method, and image processing program |
JP3873918B2 (en) | 2003-03-14 | 2007-01-31 | セイコーエプソン株式会社 | Image processing apparatus, image processing method, and image processing program |
JP4468734B2 (en) * | 2004-04-27 | 2010-05-26 | オリンパス株式会社 | Video signal processing apparatus and video signal processing program |
JP4157592B2 (en) * | 2005-10-12 | 2008-10-01 | 松下電器産業株式会社 | Visual processing device, display device, visual processing method, program, and integrated circuit |
JP4818031B2 (en) | 2005-10-27 | 2011-11-16 | キヤノン株式会社 | Image processing apparatus and image processing method |
CN101427559B (en) * | 2006-04-19 | 2011-11-30 | 松下电器产业株式会社 | Visual processing device, visual processing method, display device, and integrated circuit |
WO2007125732A1 (en) | 2006-04-28 | 2007-11-08 | Panasonic Corporation | Visual processing apparatus, visual processing method, program, recording medium, display, and integrated circuit |
JP4919034B2 (en) * | 2006-10-11 | 2012-04-18 | 株式会社Jvcケンウッド | Network decoder device |
KR100843090B1 (en) | 2006-10-25 | 2008-07-02 | 삼성전자주식회사 | Apparatus and method for improving a flicker for images |
JP2009290609A (en) * | 2008-05-29 | 2009-12-10 | Fujitsu Ten Ltd | Animation output device and method |
JP6443857B2 (en) * | 2014-06-05 | 2018-12-26 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
JP7334608B2 (en) | 2019-12-19 | 2023-08-29 | 株式会社Jvcケンウッド | VIDEO SIGNAL PROCESSING DEVICE AND VIDEO SIGNAL PROCESSING METHOD |
-
2002
- 2002-04-16 JP JP2002113866A patent/JP4050547B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003309763A (en) | 2003-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8130280B2 (en) | Electronic camera | |
JP4424292B2 (en) | Imaging apparatus, exposure control method, and program | |
US20080259181A1 (en) | Imaging apparatus, imaging method, integrated circuit, and storage medium | |
JP6702306B2 (en) | Image processing apparatus, image processing method, and program | |
JP2007158544A (en) | Camera system | |
JP4050547B2 (en) | Movie imaging system | |
JP2009010616A (en) | Imaging device and image output control method | |
JP2010093679A (en) | Imaging apparatus, and imaging control method | |
JP2010200177A (en) | Imaging device and image processing program | |
JP2002305684A (en) | Imaging system and program | |
JP4212290B2 (en) | Imaging system | |
JP6118118B2 (en) | Imaging apparatus and control method thereof | |
JP5609788B2 (en) | Image processing apparatus and image processing method | |
JP5117217B2 (en) | Imaging system, image processing method, and image processing program | |
JP2009164859A (en) | Imaging apparatus and imaging control method | |
JP2008172395A (en) | Imaging apparatus and image processing apparatus, method, and program | |
JP2003069821A (en) | Imaging system | |
JP5609787B2 (en) | Image processing apparatus and image processing method | |
JP5146500B2 (en) | Image composition apparatus, image composition method, and program | |
JP5423201B2 (en) | Image processing apparatus and image processing program | |
JP4028395B2 (en) | Digital camera | |
JP6075829B2 (en) | IMAGING DEVICE, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
KR101408359B1 (en) | Imaging apparatus and imaging method | |
JP2002223350A (en) | Image processor | |
JP2009038814A (en) | Imaging system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050404 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071129 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |