JP4050547B2

JP4050547B2 - Movie imaging system

Info

Publication number: JP4050547B2
Application number: JP2002113866A
Authority: JP
Inventors: 建夫鶴岡
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-04-16
Filing date: 2002-04-16
Publication date: 2008-02-20
Anticipated expiration: 2022-04-16
Also published as: JP2003309763A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を時系列的に得る撮像系の階調幅が出力系における階調幅より広い動画撮像システムに係わり、シーン変化に起因する階調変換曲線の切替えを適切に行うことで高画質な出力画像を得るようにした動画撮像システムに関する。
【０００２】
【従来の技術】
現在のデジタルビデオカメラにおいては、デジタル系信号処理の桁落ちによる画像劣化を防止するため、最終的な出力画像の階調幅（通常８bit）に対して入力および処理系における画像の階調幅をより広く設定（１０〜１２bit程度）している。この場合、出力系の階調幅に合致するよう階調変換を行う必要がある。
【０００３】
従来は、標準的なシーンにあわせた固定的なガンマ曲線やヒストグラムなどに基づく適用的な階調変換曲線により変換していた。
【０００４】
また、露光量の異なる複数枚の画像を合成することで、より階調幅の広い広ダイナミックレンジ画像を生成する手法が提案されている。この場合も得られた広ダイナミックレンジ画像を出力系の階調幅に合致するように階調変換する必要がある。
【０００５】
このような階調変換特性は撮影シーンに依存するため、シーン変化に基づき適切に切り替える必要がある。しかし、シーン変化直後に階調変換特性を切り替えると得られる画像の変化が大きく違和感を生ずる。このため、例えば特開平１１−１６４１９０号公報では追随速度という時間に基づく補間係数を乗算することで徐々に階調変換特性を切り替える方法が提示されている。また、特開２０００−３０７８９６号公報では、複数の階調変換特性を用意し、これを選択する際にヒステリシスな制御を行うことで急激な変化を緩和する例が開示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、補間係数を乗算することで徐々に階調変換特性を切り替える方法では、階調変換特性を切り替える際に階調変換曲線全体に補間係数を乗算していた。このため、画像の階調幅（１０〜１２bit）分のデータ数（１０２４〜409６点）の補正をリアルタイムで行う必要がありハードウエア規模が大きくなる課題がある。すなわち、低コストにて違和感のない階調変換特性の変更に対応できない。
【０００７】
また、複数の階調変換特性を用意して選択時にヒステリシスな制御を行う方法は、用意された階調変換特性が現在のシーンに適合する保証がない。すなわち、任意の撮影シーンに対して高品位な画像を得ることに対応できない。
【０００８】
本発明は上記問題点に着目し、時系列的に得られた画像の階調幅を変換する階調変換曲線をシーン変化に合わせて低コストで適切に切替え可能であり、任意の撮影シーンに対して高品位な画像を生成することが可能な動画撮像システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
第１の発明は、撮像系から時系列的に連続するＭbit階調幅の画像群を出力系のＮbit階調幅（Ｍ、Ｎは自然数でＭ≧Ｎ）へ変換して出力する動画撮像システムにおいて、上記画像群中からシーン変化を検出する検出手段と、上記検出手段でシーン変化が検出された画像から階調変換曲線を算出する算出手段と、上記階調変換曲線を記録する記録手段と、上記算出手段から算出された新規の階調変換曲線と上記記録手段に記録された過去の階調変換曲線を合成する変換曲線合成手段と、上記合成手段で合成された階調変換曲線を用い上記Ｍbit階調幅の画像群をＮbit階調幅へ変換する階調変換手段と、を有するものである。なお、検出手段は図１に示される検出部115が、算出手段は算出部116が、記録手段は記録部117が、変換曲線合成手段は変換曲線合成部118が、階調変換手段は階調変換部112がそれぞれ対応している。
【００１０】
この第１の発明の好ましい適用例は、図１に示される検出部115にて撮影された画像群からシーン変化の有無を検出し、シーン変化が検出された場合に算出部115にて階調変換曲線を算出し、算出された階調変換曲線を記録部117にて記録し、算出部115にて算出された新規の階調変換曲線と記録部117にて記録されている過去の階調変換曲線を変換曲線合成部118において合成し、合成された階調変換曲線を用いて階調変換部112にて各画像の階調変換特性の変換を行う動画撮像システムである。
【００１１】
このような第１の発明では、シーン変化が検出された場合、新たな階調変換曲線を算出し、過去の階調変換曲線と合成した階調変換曲線を用いて階調変換特性の変換を行う。これにより、シーン変化に対応して階調変換曲線を切り替える時、違和感を低減して高品位な画像が得られる。
【００１２】
第２の発明は、第１の発明の動画撮像システムにおいて、さらに、同一被写体に対して異なる露光条件で撮像した少なくとも二枚以上のフレームまたはフィールド単位の画像を合成しＭbitの階調幅の画像群を生成する画像合成手段、を有するものである。なお、画像合成手段は図１に示される合成部110が対応する。
【００１３】
この第２の発明の好ましい適用例は、図１に示されるＣＣＤ103にて異なる露光量で撮影した画像を画像用バッファ（長時間露光画像用）105、画像用バッファ（短時間露光画像用）106に保存し、これらの画像を合成部110にて合成することで広ダイナミックレンジの画像を得て、検出部115にてシーン変化が検出された場合に算出部116にて階調変換曲線を算出し、算出された階調変換曲線を記録部117にて記録し、算出部116にて算出された新規の階調変換曲線と記録部117にて記録されている過去の階調変換曲線を変換曲線合成部118にて合成し、合成された階調変換曲線を用いて階調変換部110にて各画像の階調変換特性の変換を行う撮像システムである。
【００１４】
このような第２の発明では、異露光の画像を合成して１枚の広ダイナミックレンジの画像を生成し、この画像に対してシーン変化が検出された場合、新たな階調変換曲線を算出し、過去の階調変換曲線と合成した階調変換曲線を用いて階調変換特性の変換を行う。これにより、撮像系で扱うことのできる階調幅以上の画像から階調変換を行うため、黒潰れや白飛びの少ないより高品位な画像が得られる。また、シーン変化に対応して階調変換曲線を切り替える時、違和感を低減して高品位な画像が得られる。
【００１５】
第３の発明は、第１又は第２の発明の動画撮像システムにおいて、上記検出手段は、上記撮像系から単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも１つに基づき上記画像群から画像を選択する時間間隔を設定する時間設定手段、を有するものである。なお、時間設定手段は図２に示される時間設定部部200が対応する。
【００１６】
この第３の発明の好ましい適用例は、図１に示される測光評価部107、合焦点検出部108、外部Ｉ／Ｆ部121からの情報に基づき撮影条件を推定して、図２に示される検出部115内の時間設定部200にて画像を選択する時間間隔を適用的に調整する動画撮像システムである。
【００１７】
このような第３の発明では、撮影条件に応じて画像を選択する時間間隔を自動的に変更する。これにより、撮影状況に応じたタイミングで画像が選択されるため、シーン変化の検出能が向上する。
【００１８】
第４の発明は、第３の発明の動画撮像システムにおける上記検出手段は、さらに上記選択された画像を所定サイズに縮小する縮小手段と、上記縮小された画像から平均輝度レベルを算出する輝度算出手段と、上記平均輝度レベルの時系列的な変化に基づきシーン変化の有無を判断する判断手段と、を有するものである。なお、縮小手段は図２に示される縮小部202が、輝度算出手段は図２に示される輝度算出部204が、判断手段は図２に示される判断部206が対応する。
【００１９】
この第４の発明の好ましい適用例は、図１に示される信号処理部111から画像読み込み部201にて読み込まれた画像を、図２に示される検出部115内の縮小部202にて所定サイズに縮小し、輝度算出部204にて画像の平均輝度値を算出し、判断部206にて輝度値の変化を判断することでシーン変化を検出する撮像システムである。
【００２０】
このような第４の発明では、選択された画像を所定サイズに縮小し、この縮小画像の輝度値の時系列的な変化からシーン変化を検出する。これにより、選択された画像を縮小するため以降の処理が軽減され、低コストのシステムが実現できる。また、縮小する段階で画像の微小変化が吸収されるため、算出される階調変換曲線の特性が安定し得られる画像が見やすくなる。さらに、特定領域ではなく画像全体からシーン変化の検出が可能となるため、被写体の位置によらないシーン変化の検出が可能となる。
【００２１】
第５の発明は、第３の発明の動画撮像システムにおける上記検出手段は、さらに上記選択された画像を所定サイズに縮小する縮小手段と、上記縮小された画像の時系列的に前後する２枚の画像から動きベクトルを算出する動きベクトル算出手段と、上記動きベクトル量に基づきシーン変化の有無を判断する判断手段と、を有するものである。なお、縮小手段は図３に示される縮小部202が、動きベクトル算出手段は図３に示される動きベクトル算出部210が、判断手段は図３に示される判断部206が対応する。
【００２２】
この第５の発明の好ましい適用例は、図１に示される信号処理部111から画像読み込み部201にて読み込まれた画像を、図３に示される検出部115内の縮小部202にて所定サイズに縮小し、動きベクトル算出部210にて画像内の動きベクトルを算出し、判断部206にて動きベクトルの変化を判断することでシーン変化と主要被写体位置を検出する動画撮像システムである。
【００２３】
このような第５の発明では、選択された画像を所定サイズに縮小し、この縮小画像の動きベクトルの時系列的な変化からシーン変化を検出し、さらに動きの大きさに基づき主要被写体位置を求める。これにより、選択された画像を縮小するため以降の処理が軽減され、低コストのシステムが実現できる。また、主要被写体に重きを置いた階調変換が可能となり、高品位な画像が得られる。
【００２４】
第６の発明は、第１又は第２の発明の動画撮像システムにおける上記算出手段は、上記画像を輝度信号と色差信号に分離する分離手段と、上記輝度信号レベルに基づき適正露光域を抽出する抽出手段と、上記適正露光域に関して特徴量を算出する特徴量算出手段と、上記特徴量に基づきヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段と、を有するものである。なお、分離手段は図４に示される輝度分離部300が、抽出手段は図４に示される適正露光抽出部301が、特徴量算出手段は図４に示されるエッジ抽出部302が、ヒストグラム作成手段は図４に示されるヒストグラム作成部303が、階調変換曲線算出手段は図４に示される階調変換曲線算出部304が対応する。
【００２５】
この第６の発明の好ましい適用例は、図１に示される検出部115から転送される画像に対して、図４に示される算出部116内の輝度分離部300にて画像から輝度信号を分離し、適正露光抽出部301にて輝度信号に基づき適正露光域を抽出し、エッジ抽出部302にて輝度信号のエッジ成分を抽出し、ヒストグラム作成部303にてエッジ部のヒストグラムを算出し、階調変換曲線算出部304にて累積ヒストグラムから階調変換曲線を得る動画撮像システムである。
【００２６】
このような第６の発明では、輝度信号からエッジ成分を抽出し、エッジ部の累積ヒストグラムから階調変換曲線を得る。これにより、平坦な背景部を除去して主要被写体に重きを置いた階調変換曲線を算出することで、高品位な画像が得られる。
【００２７】
第７の発明は、第１又は第２の発明の動画撮像システムにおける上記変換曲線合成手段は、上記算出手段から算出された新規の階調変換曲線と上記記録手段に記録された過去の階調変換曲線に複数の代表点を設定する設定手段と、上記代表点に対して所定の重み係数に基づき上記新規の階調変換曲線と上記過去の階調変換曲線から合成値を算出する乗加算手段と、上記乗加算手段で処理された上記代表点間を補間する補間手段と、を有するものである。なお、設定手段は図５に示される代表点抽出部402が、乗加算手段は図５に示される乗加算部405が、補間手段は図５に示される補間部408が対応する。
【００２８】
この第７の発明の好ましい適用例は、図１に示される算出部116および記録部117から階調変換曲線バッファ400及び401にて取り込まれた２つの階調変換曲線に対して、図５に示される変換曲線合成部118内の代表点抽出部402にて所定の代表点における値を抽出し、乗加算部405にて２つの階調変換曲線の代表点を合成し、補間部408にて代表点間を補間処理することで階調変換曲線を生成する動画撮像システムである。
【００２９】
このような第7の発明では、シーン変化後に算出された新規の階調変換曲線とシーン変化前に使用された過去の階調変換曲線から数点の代表点を抽出し、両者を合成した階調変換曲線を生成する。これにより、少ない演算量で新旧の階調変換曲線を合成することができ、高速かつ低コストな処理を実現することが可能となる。
【００３０】
第８の発明は、第７の発明の動画撮像システムにおける上記変換曲線合成手段は、さらに上記撮像系からの撮影条件に基づき上記過去の階調変換曲線から上記新規の階調変換曲線へ切り替える遷移時間を定める遷移時間設定手段と、上記遷移時間設定手段の遷移時間に基づき上記重み係数を制御する重み制御手段と、を有するものである。なお、遷移時間設定手段は図５に示される遷移時間設定部406が、重み制御手段は図５に示される重み制御部407が対応する。
【００３１】
この第８の発明の好ましい適用例は、図１に示される制御部120から転送される撮影条件に基づき、図５に示される変換曲線合成部118内の遷移時間設定部406にて新旧の階調変換曲線を切り替える遷移時間を設定し、重み制御部407にて新旧の階調変換曲線に対する重み係数を遷移時間に基づき調整する動画撮像システムである。
【００３２】
このような第８の発明では、撮影条件に基づき新旧の階調変換曲線を切り替える遷移時間を求め、この時間内で過去の階調変換曲線から新規の階調変換曲線へ切り替わるように重み係数を調整する。これにより、撮影条件に適した遷移時間で階調変換曲線が切り替わるため、違和感の少ない切り替えが可能となる。
【００３３】
第９の発明は、第７の発明の動画撮像システムにおける上記変換曲線合成手段は、さらに上記補間手段で補間された階調変換曲線と上記新規の階調変換曲線のいずれか一つを選択する切替手段、を有するものである。なお、切替手段は図５に示される切替部409が対応する。
【００３４】
この第９の発明の好ましい適用例は、図１に示される算出部116および記録部117からの２つの階調変換曲線から変換曲線合成部118にて合成した階調変換曲線または算出部116から転送された新規の階調変換曲線を切替部409にて切り替える動画撮像システムである。
【００３５】
このような第９の発明では、シーン変化に伴う階調変換曲線の切替えに関して、所定の遷移時間内は合成された階調変換曲線で、その後は新規の階調変換曲線へと切替可能とする。これにより、シーン変化に伴う階調変換曲線の切替えに関して、所定の遷移以降は合成に関する処理部を迂回することができ低消費電力化が可能となる。
【００３６】
第１０の発明は、第７の発明の動画撮像システムにおける上記変換曲線合成手段は、さらに上記代表点に関して上記新規の階調変換曲線と上記過去の階調変換曲線の差分値を算出する差分算出手段と、上記差分値に基づき代表点の位置または数を調整する調整手段と、を有するものである。なお、差分算出手段は図５に示される差分算出部403が、調整手段は図５に示される代表点調整部404が対応する。
【００３７】
この第１０の発明の好ましい適用例は、図１に示される算出部116からおよび記録部117からの２つの階調変換曲線に対し、差分算出部403にて代表点に関する両者の差分値を算出し、代表点調整部404にて差分値に基づき代表点の調整を行う動画撮像システムである。
【００３８】
このような第１０の発明では、新旧の階調変換曲線の差分値に基づき、差分値の大きい場合は代表点を密に小さい場合には粗に調整する。これにより、新旧の階調変換曲線間での差の大きい階調域は代表点を密に配置するため、より精度の高い階調変換曲線が合成でき、高品位な画像が得られる。
【００３９】
第１１の発明は、第１又は第２の発明の動画撮像システムにおいて、さらに、標準階調変換曲線を記録する標準階調変換曲線記録手段と、電源投入時などの初期化状況を検出する初期化検出手段と、上記初期化検出手段に基づき上記標準階調変換曲線を上記階調変換手段へ転送する転送手段と、を有するものである。なお、標準階調曲線記録手段は図１に示される標準階調曲線ＲＯＭ119が、初期化検出手段は図１に示される制御部120が、転送手段は図５に示される切替部409が対応する。
【００４０】
この第１１の発明の好ましい適用例は、図１に示される測光評価部107、合焦点検出部108、外部Ｉ／Ｆ部121からの情報に基づき制御部120が初期化状況を判断し、初期化状況と判断された場合に図５に示される切替部409が標準階調曲線ＲＯＭ119内に記録された標準となる階調変換曲線を読み込む動画撮像システムである。
【００４１】
このような第１１の発明では、初期化状況と判断された場合、予め記録されている標準となる階調変換曲線を読み込む。これにより、電源投入時などの階調変換曲線が算出されていない初期化状況においても、画像出力を可能とする。
【００４２】
【発明の実施の形態】
発明の実施の形態について図面を参照して説明する。
（構成）
図１は、本発明の一実施の形態の動画撮像システムの構成図である。
【００４３】
レンズ系100、絞り101、ローパスフィルタ102、単板式のＣＣＤ103を介して撮影された映像は、Ａ／Ｄ変換部104にてデジタル信号へ変換される。Ａ／Ｄ変換部104からの信号は、画像用バッファ（長時間露光画像用）105、画像用バッファ（短時間露光画像用）106を介して合成部110へ転送される。画像用バッファ105は、測光評価部107、合焦点検出部108へも接続されている。測光評価部107は絞り101、ＣＣＤ103へ、合焦点検出部108はＡＦモータ109へ接続されている。合成部110からの信号は、信号処理部111、階調変換部112、Ｄ／Ａ変換部113を経由してモニターやビデオレコーダーなどの出力部114に接続されている。
【００４４】
また、信号処理部111は、検出部115を経由して算出部116へ接続されている。算出部116は、記録部117と変換曲線合成部118へ接続しており、記録部117もまた変換曲線合成部118へ接続されている。変換曲線合成部118は階調変換部112へ接続しており、標準階調曲線ＲＯＭ119は変換曲線合成部118へ接続されている。
【００４５】
また、マイクロコンピュータなどの制御部120は、合成部110、信号処理部111、階調変換部112，出力部114、検出部115、算出部116、変換曲線合成部118と双方向に接続されている。
【００４６】
さらに、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部Ｉ／Ｆ部121も制御部120に双方向に接続されている。また、測光評価部107、合焦点検出部108も制御部120へ接続されている。
【００４７】
（作用）
図１において、信号の流れを説明する。
外部Ｉ／Ｆ部121を介して、使用者は画像サイズやフレーム数などの撮影条件を指定し、その後シャッターボタンを押すことで撮影が開始される。レンズ系100、絞り101、ローパスフィルタ102、ＣＣＤ103を介して撮影された映像信号は、Ａ／Ｄ変換部104にてデジタル信号へ変換されて画像用バッファ105（長時間露光画像）へ転送される。本実施の形態では、デジタル化された信号の階調幅を例えば１２bitとする。画像用バッファ105内の映像信号は、測光評価部107および合焦点検出部108へ転送される。
【００４８】
測光評価部107では、画像中の輝度レベルを求めて適正露光となるよう絞り101やＣＣＤ103の電子シャッター速度などを制御する。また、合焦点検出部108では画像中のエッジ強度を検出し、これが最大となるようにＡＦモータ109を制御することで合焦画像を得る。測光評価部107にて求められた露光条件と合焦点検出部108にて求められた合焦条件などの撮影時の条件は制御部120へ転送される。
【００４９】
次に、測光評価部107にて求められた露光条件に対して所定の露光比、例えば１／８となるような露光条件で２枚目の画像が撮影され、Ａ／Ｄ変換部104にてデジタル信号へ変換されて画像用バッファ106（短時間露光画像）へ転送される。
【００５０】
合成部110は、画像用バッファ105、画像用バッファ106上の長時間露光画像、短時間露光画像を順に読み込む。まず、長時間露光画像に関して、所定の閾値（例えば１２bit階調なら３８９０）以下の領域の信号を適正露光領域として残す。次に、適正露光領域以外の領域に対応する短時間露光画像を読み込み、露光比を補正して合成する。本実施の形態では、長時間露光に対して１／８となるよう設定されているため８倍に補正することになる。
【００５１】
合成後の信号は、信号処理部111へ転送され公知の補間処理、ホワイトバランス処理、強調処理などが行われた三板状態の信号を生成する。信号処理部111からの信号は、制御部120の制御に基づき所定時間間隔で検出部115へ転送される。検出部115では、転送された画像から所定の特性情報を算出し、前回選択された画像の特性と比較することでシーン変化の有無を検出する。この結果は制御部120へ転送される。
【００５２】
制御部120は、シーン変化が検出された場合に算出部116を制御し、新たな階調変換曲線を算出させる。
【００５３】
算出部116は、検出部115からシーン変化が検出された画像を読み込み、ヒストグラムに基づき階調変換曲線を算出し記録部117および変換曲線合成部118へ転送する。記録部117は１つ分の階調変換曲線を記録するもので、算出部116からの階調変換曲線が転送されると上書きされる。変換曲線合成部118は、制御部120の制御に基づき新旧の階調変換曲線から合成した階調変換曲線、算出部116からの新規の階調変換曲線、標準階調曲線ＲＯＭ119からの標準となる階調変換曲線のいずれかを階調変換部112へ転送する。
【００５４】
階調変換部112は、変換曲線合成部118から転送された階調変換曲線に基づき信号処理部111からの信号を出力系の階調幅へ整合するよう変換する。本実施の形態では、出力系の階調幅を例えば８bitとする。この後、Ｄ／Ａ変換部113にてアナログ信号に変換され、モニターやビデオレコーダーなどの出力部114へ出力される。
【００５５】
図２は、輝度からシーン変化を検出する検出部115の構成の一例を示すもので、時間設定部200と、画像読み込み部201と、縮小部202と、縮小画像用バッファ203と、輝度算出部204と、輝度値用バッファ205と、判断部206からなる。制御部120は、時間設定部200、画像読み込み部201、輝度算出部204、判断部206と双方向に接続されている。時間設定部200は、画像読み込み部201へ接続されている。信号処理部111からの信号は、画像読み込み部201、縮小部202、縮小画像用バッファ203を介して算出部116へ接続されている。
【００５６】
縮小画像用バッファ203からの信号は、輝度算出部204、輝度値用バッファ205を経由して判断部206へ接続されている。制御部120から、測光評価部107、合焦点検出部108、外部Ｉ／Ｆ部121からの情報が時間設定部200へ転送される。
【００５７】
時間設定部200では、外部Ｉ／Ｆ部121から得られる画像サイズやフレーム数などの情報を制御部120から得て、これらの情報に基づき信号処理部111からの画像を選択する時間間隔を決定する。この制御は、例えば画像サイズまたはフレーム数が大きくなるにつれて時間間隔を長くすることで、後段の処理系に対する負担が増加しないようにするものである。また、時間設定部200は測光評価部107、合焦点検出部108からの測光、合焦条件が急変した場合にはシーン変化が生じたと判断し、時間間隔を０に設定し、画像を直ちに読みとらせるよう制御する。これ以外にも、ホワイトバランス、レンズのズーム位置、カメラの移動などの情報を用いてシーン変化を検出することも可能である。
【００５８】
画像読み込み部201は、時間設定部200からの制御に基づき所定の時間間隔で信号処理部111からの信号を読み込み縮小部202へ転送する。縮小部202は、予め定められた縮小率、例えば１／８等で画像を縮小処理し、縮小画像用バッファ203へ転送する。この縮小率は固定にする必要はなく、可変にしても良い。例えば、縮小画像サイズと選択する時間間隔から単位時間内の情報量を求め、この情報量が一定値以下になるよう縮小率を制御することも可能である。縮小画像用バッファ203は複数枚の縮小画像を記録できるリング状バッファで、バッファが一杯になると古い画像から上書きされる構成になっている。縮小画像用バッファ203内の縮小画像は算出部116へ転送される。
【００５９】
一方、輝度算出部204は、制御部120の制御に基づき縮小画像用バッファ203から縮小画像を取り込み、縮小画像の平均輝度値を算出する。この輝度値は輝度値用バッファ205へ転送され保存される。輝度値用バッファ205は、輝度値を記録できるリング状バッファで、バッファが一杯になると、古い輝度値から上書きされる構成になっている。
【００６０】
判断部206は、輝度値用バッファ205から輝度値の時系列的な変化を監視し、所定の閾値以上の変化が発生し、その状況が所定回数連続した場合にシーン変化が生じたと判断する。この判断結果は、制御部120へ転送される。シーン変化は上記の輝度値に限定される必要はない。
【００６１】
例えば、図３は、動きベクトルからシーン変化を検出する検出部115の構成例を示すもので、時間設定部200と、画像読み込み部201、縮小部202、縮小画像用バッファ203と、動きベクトル算出部210と、動きベクトル用バッファ211と、判断部206からなる。制御部120は、時間設定部200、画像読み込み部201、動きベクトル算出部210、判断部206と双方向に接続されている。時間設定部200は、画像読み込み部201へ接続されている。信号処理部111からの信号は、画像読み込み部201、縮小部202、縮小画像用バッファ203を介して算出部116へ接続されている。
【００６２】
縮小画像用バッファ203からの信号は動きベクトル算出部210、動きベクトル用バッファ211を経由して判断部206へ接続されている。動きベクトル算出部210は縮小画像用バッファ203から時系列的に前後する縮小画像を読み込み、画像を所定のブロックに分割しマッチングに基づく公知の動き検出を行う。これにより、ブロックごとに動きベクトルを検出し、この結果を動きベクトル用バッファ211へ転送する。
【００６３】
判断部206は、動きベクトル用バッファ211から動きベクトル情報を読み出し、所定値以上の動きベクトルが所定数以上のブロックで検出された場合にシーン変化が生じたと判断する。この判断結果は、制御部120へ転送される。
【００６４】
また、算出部116でヒストグラムに基づき階調変換曲線を算出する際に、動きベクトルが検知されたブロックに対応する領域に重み係数を乗算することでその領域に階調幅を付与するなどの処理も可能である。
【００６５】
図４は、階調変換曲線を算出する算出部116の構成の一例を示すもので、輝度分離部300と、適正露光抽出部301と、エッジ抽出部302と、ヒストグラム作成部303と、変換曲線算出部304からなる。制御部120は、輝度分離部300、適正露光抽出部301、変換曲線算出部304と双方向に接続されている。検出部115は輝度分離部300へ、輝度分離部300は適正露光抽出部301とヒストグラム作成部303へ接続されている。適正露光抽出部301はエッジ抽出部302とヒストグラム作成部303へ接続されており、エッジ抽出部302はヒストグラム作成部303へ接続されている。ヒストグラム作成部303は変換曲線算出部304を介して記録部117および変換曲線合成部118へ接続されている。
【００６６】
制御部120は、検出部115にてシーン変化が検出された場合に、輝度分離部300を制御し検出部115から上記縮小画像を取り込ませる。輝度分離部300は、縮小画像から輝度を算出する。輝度信号は、適正露光抽出部301にて暗部と明部に関する所定の閾値（例えば１２bit階調なら暗部が１２８、明部が３９６８）と比較され、暗部の閾値以上で明部の閾値以下の輝度信号が適正領域としてエッジ抽出部302とヒストグラム作成部303へ転送される。
【００６７】
エッジ抽出部302は、公知のエッジ検出を行い、所定の閾値以上のエッジ強度を有する画素をエッジ部として抽出し、この情報をヒストグラム作成部303へ転送する。ヒストグラム作成部303は、上記適正露光域の情報とエッジ部の情報に基づき、輝度分離部300からの適正露光域の輝度信号からエッジ部のヒストグラムを作成する。
【００６８】
変換曲線算出部304は、上記ヒストグラムを累積することで階調変換曲線を求め変換曲線合成部118へ転送する。また、制御部120の制御に基づき記録部117へも階調変換曲線を転送する。記録部117は、一つ分の階調変換曲線を記録するもので、算出部116から階調変換曲線が転送されると上書きされることになる。
【００６９】
図５は、変換曲線合成部118の構成の一例を示すもので、階調変換曲線バッファ400と、階調変換曲線バッファ401と、代表点抽出部402と、差分算出部403と、代表点調整部404と、乗加算部405と、遷移時間設定部406と、重み制御部407と、補間部408と、切替部409からなる。制御部120は、代表点抽出部402、代表点調整部404、乗加算部405、遷移時間設定部406、切替部409と双方向に接続されている。算出部116は階調変換曲線バッファ400へ、記録部117は階調変換曲線バッファ401へ接続されている。階調変換曲線バッファ400、階調変換曲線バッファ401は代表点抽出部402、乗加算部405、補間部408、切替部409を介して階調変換部112へ接続されている。
【００７０】
代表点抽出部402は、差分算出部403を介して代表点調整部404へ接続しており、代表点調整部404は代表点抽出部402へ接続されている。遷移時間設定部406は、重み制御部407を介して乗加算部405へ接続されている。標準階調曲線ＲＯＭ119および算出部116は、切替部409へ接続されている。算出部116からの階調変換曲線は階調変換曲線バッファ400へ、記録部117からの階調変換曲線は階調変換曲線バッファ401へ転送され保存される。
【００７１】
代表点抽出部402は、制御部120の制御に基づき、両者の階調変換曲線から所定間隔、例えば等間隔で設定されている階調値に対応する値を代表点として抽出し、これを差分算出部403へ転送する。差分算出部403は、両者の階調変換曲線で対応する代表点間の絶対値を算出し、これを差分値として代表点調整部404へ転送する。代表点調整部404は、上記差分値が所定の閾値以上の場合はその代表点に隣接する代表点間の中央に新たな代表点を追加する。一方、上記差分値が所定の閾値以下の場合はその代表点を削除する。なお、これらの追加および削除は階調変換曲線の始点と終点に対しては行われない。
【００７２】
図６は、差分値に基づく代表点の調整を示すものである。図６(a)のように等間隔に設定されている代表点が、同図(a)に示す新旧の階調変換曲線間の差分値に基づき、図６(b)に示すように差分値が大きい区間、すなわち階調変換が急峻な区間は密に、差分値が小さい区間、すなわち階調変換が緩やかな区間は粗に調整される。
【００７３】
代表点調整部404は、上記の調整作業が完了すると、制御部120へ通達する。制御部120は、代表点抽出部402に調整された代表点に対応する値を抽出させ、これを乗加算部405へ転送するよう制御する。また、制御部120は遷移時間設定部406へ、外部Ｉ／Ｆ部121から得られる画像サイズやフレーム数などの情報を転送する。遷移時間設定部406はこれらの情報に基づき、新旧の階調変換曲線を切り替える遷移時間を調整する。これは例えば、フレームレートや画像サイズが大きく高品位な画像を処理している場合は２〜３秒と長く、フレームレートや画像サイズが小さく低品位な画像を処理している場合は１秒程度と短くする。設定された遷移時間は、重み制御部408では、設定された遷移時間Ｔ（秒）と現在のフレームレート（フレーム数／秒）Ｆから遷移時間中に生成される画像枚数Ｎ（枚）を求める。
【００７４】
Ｎ＝ＴＦ（１）
重み係数の基本単位は１／Ｎで与えられる。この重み係数の基本単位は、乗加算部405へ転送される。
【００７５】
乗加算部405では、算出部116からの新規の階調変換曲線の代表点をＶnew、記録部117からの過去の階調変換曲線の代表点をＶoldとした場合に、下記（２）により合成された階調変換曲線の代表点Ｖを算出する。
【００７６】
Ｖ＝ｉ／ＮＶnew＋（１−ｉ／Ｎ）Ｖold （ｉ＝０〜Ｎ）（２）
ここで、ｉは遷移時間中に生成される画像枚数のカウント値で、（２）式に基づき合成された階調変換曲線の全代表点が求まるごとに、１ずつ加算されることになる。乗加算部405は、合成された代表点を補間部408へ転送する。補間部408は、代表点間値を公知の線形補間により生成し、合成された階調変換曲線として切替部409へ転送する。
【００７７】
図７は、上記の階調変換曲線の合成を示すものである。図７(a)に示す過去の階調変換曲線から図７(e)に示す新規の階調変換曲線へ徐々に移行していく合成された階調変換曲線を示している。過去の階調変換曲線から数点の代表点〔図６(b)参照〕を抽出し、図７(b)〜(d)に示すように折れ線近似を行いながら順次移行していく。図７のように、折れ線近似することで低コストで中間的な階調変換曲線を算出できる。
【００７８】
切替部409は、制御部120の制御に基づき、シーン変化が検出された場合は遷移時間設定部406が定めた遷移時間内は乗加算部405からの階調変換曲線を、それ以外は算出部116からの階調変換曲線を階調変換部112へ転送する。なお、電源投入時などの初期化状況を制御部120が検知した場合は、切替部409は制御部120の制御に基づき標準階調曲線ＲＯＭ119から階調変換曲線を階調変換部112へ転送する。
【００７９】
制御部120は、遷移時間が終了し新規の階調変換曲線へ切替えが完了すると、算出部116からの階調変換曲線を記録部117へ転送させ記録させる。なお、上記では代表点の間隔を差分値に基づき調整していたが、多少の精度の低下が容認される場合には、これを省略することも可能である。この場合、差分算出部403、代表点調整部404を削除でき、より低コストな構成が可能となる。また、補間部408における代表点間の補間は線形補間に限定される必要はなく、任意の補間方法を使用することができる。
【００８０】
図８は、階調変換部112の構成の一例を示すもので、Ｙ／Ｃ分離部500と、輝度信号バッファ501と、色差信号バッファ502と、輝度補正部503と、補正輝度信号バッファ504と、色差補正部505と、Ｙ／Ｃ合成部506からなる。制御部120は、Ｙ／Ｃ分離部500、輝度補正部503、色差補正部505、Ｙ／Ｃ合成部506と双方向に接続されている。信号処理部111はＹ／Ｃ分離部500へ、Ｙ／Ｃ分離部500は輝度信号バッファ501と色差信号バッファ502へ接続されている。輝度信号バッファ501は輝度補正部503と色差補正部505へ、輝度補正部503は補正輝度信号バッファ504を介してＹ／Ｃ合成部506へ接続されている。また、輝度補正部503へは変換曲線合成部118が接続されている。色差信号バッファ502は色差補正部505を介してＹ／Ｃ合成部506へ接続されている。補正輝度信号バッファ504は色差補正部505へ、Ｙ／Ｃ合成部506はＤ／Ａ変換部113へ接続されている。
【００８１】
信号処理部111からの信号は、Ｙ／Ｃ分離部500にて輝度信号と色差信号に分離され、各々輝度信号バッファ501と色差信号バッファ502に保存される。輝度信号バッファ501の輝度信号は輝度補正部503に転送され、所定の階調変換曲線で出力系の階調幅、本実施の形態では８bitへ変換される。輝度補正部503で用いられる階調変換曲線は、制御部120の制御に基づき変換曲線合成部118から読み込まれる。輝度補正部503で階調変換された輝度信号は補正輝度信号バッファ504へ転送される。
【００８２】
次に、色差補正部505は色差信号バッファ502上の色差信号を読み込み、輝度信号バッファ501からの階調変換前の輝度信号と補正輝度信号バッファ504からの階調変換後の輝度信号を受け取る。この変換前後の輝度信号と色の存在し得る理論限界モデルから、色差信号を補正する補正係数を算出し色差信号を補正する。補正された色差信号はＹ／Ｃ合成部506へ転送され、補正輝度信号バッファ504からの変換後の輝度信号と合成され、Ｄ／Ａ変換部113へ転送される。
【００８３】
上記構成により、時系列的に撮像される任意の画像に対して、シーン変化に対応する階調変換曲線の切替えを、画像サイズやフレーム数などの撮影条件に応じた遷移時間内で連続的に可変することが可能となり、違和感の少ない高品位な画像が得られる。また、処理する画像を縮小し、遷移時間内の階調変換曲線を数点の代表点から算出するため、計算量を低減でき低コストな処理系を実現できる。また、縮小処理により画像の微小変化が吸収されるため得られる画像が安定する。また、標準階調曲線を用意することで、初期化状況などでも対応可能となる。
【００８４】
なお、上記構成では同一被写体に対して異なる露光量（長時間，短時間露光）で撮影した２枚の画像から１枚の広ダイナミックレンジ画像を合成していたが、このような構成に限定される必要はない。通常の１枚撮影のシステムにも適用することができる。この１枚撮影システムの場合は、画像用バッファ106および合成部110を省略することができる。
【００８５】
【発明の効果】
以上述べたように本発明によれば、時系列的に得られた画像の階調幅を変換する階調変換曲線をシーン変化に合わせて低コストで適切に切替え可能な動画撮像システムを実現することができる。また、任意の撮影シーンに対して高品位な画像を生成する動画撮像システムを実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の動画撮像システムのブロック図。
【図２】輝度からシーン変化を検出する検出部の構成の一例を示すブロック図。
【図３】動きベクトルからシーン変化を検出する検出部の構成例を示すブロック図。
【図４】階調変換曲線を算出する算出部の構成の一例を示すブロック図。
【図５】変換曲線合成部の構成の一例を示すブロック図。
【図６】差分値に基づく代表点の調整を説明する図。
【図７】階調変換曲線の合成を説明する図。
【図８】階調変換部の構成の一例を示すブロック図。
【符号の説明】
１１０…合成部（画像合成手段）
１１２…階調変換部（階調変換手段）
１１５…検出部（検出手段）
１１６…算出部（算出手段）
１１７…記録部（記録手段）
１１８…変換曲線合成部（変換曲線合成手段）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image pickup system in which the gradation width of an imaging system that obtains images in a time series is wider than the gradation width in an output system. The present invention relates to a moving image capturing system that obtains an output image.
[0002]
[Prior art]
In the current digital video camera, in order to prevent image deterioration due to digit loss of digital signal processing, the gradation width of the image in the input and processing system is wider than the gradation width (usually 8 bits) of the final output image. It is set (about 10-12 bits). In this case, it is necessary to perform gradation conversion so as to match the gradation width of the output system.
[0003]
Conventionally, conversion is performed by a fixed gamma curve adapted to a standard scene or an applicable gradation conversion curve based on a histogram.
[0004]
In addition, there has been proposed a method of generating a wide dynamic range image with a wider gradation width by combining a plurality of images having different exposure amounts. In this case as well, it is necessary to perform gradation conversion so that the obtained wide dynamic range image matches the gradation width of the output system.
[0005]
Since such gradation conversion characteristics depend on the shooting scene, it is necessary to switch appropriately based on scene changes. However, if the tone conversion characteristics are switched immediately after a scene change, the resulting image change is greatly uncomfortable. For this reason, for example, Japanese Patent Application Laid-Open No. 11-164190 proposes a method of gradually switching the gradation conversion characteristics by multiplying an interpolation coefficient based on the time of following speed. Japanese Patent Laid-Open No. 2000-307896 discloses an example in which a plurality of gradation conversion characteristics are prepared, and abrupt changes are alleviated by performing hysteresis control when selecting the characteristics.
[0006]
[Problems to be solved by the invention]
However, in the method of gradually switching the gradation conversion characteristics by multiplying the interpolation coefficient, the entire gradation conversion curve is multiplied by the interpolation coefficient when the gradation conversion characteristics are switched. For this reason, it is necessary to correct the number of data (1024 to 4096 points) corresponding to the gradation width (10 to 12 bits) of the image in real time, which increases the hardware scale. That is, it is not possible to cope with a change in gradation conversion characteristics that is inexpensive and has no sense of incongruity.
[0007]
Further, the method of preparing a plurality of gradation conversion characteristics and performing hysteresis control at the time of selection does not guarantee that the prepared gradation conversion characteristics conform to the current scene. That is, it cannot cope with obtaining a high-quality image for an arbitrary shooting scene.
[0008]
The present invention pays attention to the above-mentioned problems, and a gradation conversion curve for converting the gradation width of an image obtained in time series can be appropriately switched at a low cost in accordance with a scene change. An object of the present invention is to provide a moving image capturing system capable of generating high-quality images.
[0009]
[Means for Solving the Problems]
A first aspect of the present invention is a moving image pickup system for converting an image group having an Mbit gradation width that is continuous in time series from an image pickup system into an output system Nbit gradation width (M and N are natural numbers M ≧ N) and outputting the converted image group. Detecting means for detecting a scene change from the image group; calculating means for calculating a gradation conversion curve from an image in which a scene change is detected by the detecting means; recording means for recording the gradation conversion curve; A conversion curve synthesizing unit that synthesizes a new tone conversion curve calculated from the calculating unit and a past tone conversion curve recorded in the recording unit, and the Mbit using the tone conversion curve synthesized by the synthesizing unit. Gradation conversion means for converting an image group having a gradation width into an Nbit gradation width. 1 is detected, the calculating means is the calculating section 116, the recording means is the recording section 117, the conversion curve synthesizing means is the conversion curve synthesizing section 118, and the gradation converting means is the gradation. The conversion units 112 correspond to each other.
[0010]
In a preferred application example of the first invention, the presence or absence of a scene change is detected from a group of images photographed by the detection unit 115 shown in FIG. 1, and the gradation is detected by the calculation unit 115 when a scene change is detected. The conversion curve is calculated, the calculated gradation conversion curve is recorded by the recording unit 117, the new gradation conversion curve calculated by the calculation unit 115 and the past gradation recorded by the recording unit 117 This is a moving image capturing system in which conversion curves are combined by a conversion curve combining unit 118, and gradation conversion characteristics of each image are converted by a gradation conversion unit 112 using the combined gradation conversion curve.
[0011]
In such a first invention, when a scene change is detected, a new gradation conversion curve is calculated, and the gradation conversion characteristic is converted using the gradation conversion curve synthesized with the past gradation conversion curve. Do. Thereby, when switching the gradation conversion curve in response to a scene change, a sense of incongruity is reduced and a high-quality image can be obtained.
[0012]
According to a second aspect of the present invention, in the moving picture imaging system according to the first aspect of the present invention, an image group having an Mbit gradation width is further obtained by synthesizing at least two or more frame or field unit images captured on the same subject under different exposure conditions. Image synthesizing means for generating. Note that the image synthesizing means corresponds to the synthesizing unit 110 shown in FIG.
[0013]
A preferred application of the second invention is that an image buffer (for long-exposure image) 105 and an image buffer (for short-exposure image) 106 are taken by the CCD 103 shown in FIG. Are stored in the image, and an image with a wide dynamic range is obtained by combining these images with the combining unit 110, and when a scene change is detected with the detecting unit 115, a gradation conversion curve is calculated with the calculating unit 116. The calculated gradation conversion curve is recorded by the recording unit 117, and the new gradation conversion curve calculated by the calculation unit 116 and the past gradation conversion curve recorded by the recording unit 117 are converted. This is an imaging system in which tone conversion characteristics of each image are converted by the tone conversion unit 110 using the tone conversion curve synthesized by the curve synthesis unit 118.
[0014]
In the second invention as described above, a single wide dynamic range image is generated by synthesizing images of different exposures, and when a scene change is detected for this image, a new gradation conversion curve is calculated. Then, the tone conversion characteristics are converted using the tone conversion curve synthesized with the past tone conversion curve. Thereby, since gradation conversion is performed from an image having a gradation width or larger that can be handled by the imaging system, a higher-quality image with less blackout and whiteout can be obtained. Also, when switching the gradation conversion curve in response to a scene change, a sense of discomfort is reduced and a high-quality image can be obtained.
[0015]
According to a third aspect of the present invention, there is provided the moving image imaging system according to the first or second aspect, wherein the detection means includes the number of images photographed per unit time from the imaging system, the image size, the exposure condition, the focusing condition, and the white balance. Time setting means for setting a time interval for selecting an image from the image group based on at least one of a condition, a zoom position, and a camera position. Note that the time setting means corresponds to the time setting unit 200 shown in FIG.
[0016]
A preferred application example of the third invention is shown in FIG. 2, in which the photographing conditions are estimated based on information from the photometric evaluation unit 107, the in-focus detection unit 108, and the external I / F unit 121 shown in FIG. This is a moving image capturing system that adaptively adjusts the time interval for selecting an image by the time setting unit 200 in the detection unit 115.
[0017]
In such a third invention, the time interval for selecting an image is automatically changed according to the photographing conditions. As a result, an image is selected at a timing according to the shooting situation, so that the ability to detect a scene change is improved.
[0018]
According to a fourth aspect of the present invention, the detection means in the moving image pickup system of the third aspect further includes a reduction means for reducing the selected image to a predetermined size, and a luminance calculation for calculating an average luminance level from the reduced image. And means for determining the presence or absence of a scene change based on the time-series change in the average luminance level. Note that the reduction unit corresponds to the reduction unit 202 shown in FIG. 2, the luminance calculation unit corresponds to the luminance calculation unit 204 shown in FIG. 2, and the determination unit corresponds to the determination unit 206 shown in FIG.
[0019]
A preferred application example of the fourth invention is that an image read by the image reading unit 201 from the signal processing unit 111 shown in FIG. 1 is converted into a predetermined size by the reduction unit 202 in the detection unit 115 shown in FIG. In this imaging system, the luminance calculation unit 204 calculates an average luminance value of the image, and the determination unit 206 determines a change in the luminance value to detect a scene change.
[0020]
In such a fourth invention, the selected image is reduced to a predetermined size, and a scene change is detected from a time-series change in the luminance value of the reduced image. Thereby, since the selected image is reduced, subsequent processing is reduced, and a low-cost system can be realized. Further, since minute changes in the image are absorbed at the stage of reduction, it is easy to see an image in which the characteristics of the calculated gradation conversion curve are stably obtained. Furthermore, since it is possible to detect a scene change not from a specific area but from the entire image, it is possible to detect a scene change regardless of the position of the subject.
[0021]
According to a fifth aspect of the invention, in the moving image pickup system of the third aspect of the invention, the detection means further includes a reduction means for reducing the selected image to a predetermined size, and two pieces of time before and after the reduced image. Motion vector calculation means for calculating a motion vector from the image and determination means for determining the presence or absence of a scene change based on the motion vector amount. The reduction means corresponds to the reduction section 202 shown in FIG. 3, the motion vector calculation means corresponds to the motion vector calculation section 210 shown in FIG. 3, and the judgment means corresponds to the judgment section 206 shown in FIG.
[0022]
A preferred application example of the fifth invention is that an image read by the image reading unit 201 from the signal processing unit 111 shown in FIG. 1 is converted into a predetermined size by the reduction unit 202 in the detection unit 115 shown in FIG. This is a moving image capturing system that detects a scene change and a main subject position by calculating a motion vector in an image by a motion vector calculation unit 210 and determining a change of the motion vector by a determination unit 206.
[0023]
In such a fifth invention, the selected image is reduced to a predetermined size, a scene change is detected from a time-series change in the motion vector of the reduced image, and the main subject position is determined based on the magnitude of the movement. Ask. Thereby, since the selected image is reduced, subsequent processing is reduced, and a low-cost system can be realized. In addition, tone conversion can be performed with emphasis on the main subject, and a high-quality image can be obtained.
[0024]
According to a sixth aspect of the present invention, the calculation means in the moving image pickup system of the first or second aspect of the invention extracts separation means for separating the image into a luminance signal and a color difference signal, and an appropriate exposure area based on the luminance signal level. Extraction means; feature quantity calculation means for calculating feature quantities with respect to the appropriate exposure area; histogram creation means for creating histograms based on the feature quantities; and tone conversion curve calculation for calculating tone conversion curves based on the histograms Means. The separating means is the luminance separating section 300 shown in FIG. 4, the extracting means is the proper exposure extracting section 301 shown in FIG. 4, and the feature amount calculating means is the edge extracting section 302 shown in FIG. 4 corresponds to the histogram creation unit 303 shown in FIG. 4, and the gradation conversion curve calculation means corresponds to the gradation conversion curve calculation unit 304 shown in FIG.
[0025]
In a preferred application example of the sixth invention, the luminance signal is separated from the image by the luminance separation unit 300 in the calculation unit 116 shown in FIG. 4 for the image transferred from the detection unit 115 shown in FIG. Then, the appropriate exposure extraction unit 301 extracts the appropriate exposure area based on the luminance signal, the edge extraction unit 302 extracts the edge component of the luminance signal, the histogram creation unit 303 calculates the histogram of the edge portion, This is a moving image capturing system in which a tone conversion curve is obtained from a cumulative histogram by a tone conversion curve calculation unit 304.
[0026]
In such a sixth invention, the edge component is extracted from the luminance signal, and the gradation conversion curve is obtained from the cumulative histogram of the edge portion. As a result, a high-quality image can be obtained by calculating a gradation conversion curve that removes the flat background portion and puts weight on the main subject.
[0027]
In a seventh aspect of the present invention, the conversion curve synthesizing means in the moving image pickup system of the first or second aspect is characterized in that the new gradation conversion curve calculated from the calculation means and the past gradation recorded in the recording means. Setting means for setting a plurality of representative points on the conversion curve, and multiplication / addition means for calculating a composite value from the new gradation conversion curve and the past gradation conversion curve based on a predetermined weighting factor for the representative point And interpolation means for interpolating between the representative points processed by the multiplication / addition means. The setting means corresponds to the representative point extraction unit 402 shown in FIG. 5, the multiplication / addition means corresponds to the multiplication / addition unit 405 shown in FIG. 5, and the interpolation means corresponds to the interpolation unit 408 shown in FIG.
[0028]
A preferred application example of the seventh invention is shown in FIG. 5 for two gradation conversion curves fetched by the gradation conversion curve buffers 400 and 401 from the calculation unit 116 and the recording unit 117 shown in FIG. The representative point extraction unit 402 in the conversion curve synthesis unit 118 shown in the figure extracts values at predetermined representative points, the multiplication and addition unit 405 combines the representative points of the two gradation conversion curves, and the interpolation unit 408 This is a moving image capturing system that generates a gradation conversion curve by performing interpolation processing between representative points.
[0029]
In such a seventh invention, several representative points are extracted from the new gradation conversion curve calculated after the scene change and the past gradation conversion curve used before the scene change, and the two are synthesized. Generate a key transformation curve. This makes it possible to synthesize old and new tone conversion curves with a small amount of computation, and to realize high-speed and low-cost processing.
[0030]
According to an eighth aspect of the present invention, the conversion curve synthesizing means in the moving image capturing system of the seventh aspect further switches from the past gradation conversion curve to the new gradation conversion curve based on a photographing condition from the imaging system. Transition time setting means for determining time, and weight control means for controlling the weight coefficient based on the transition time of the transition time setting means. The transition time setting means corresponds to the transition time setting unit 406 shown in FIG. 5, and the weight control means corresponds to the weight control unit 407 shown in FIG.
[0031]
A preferred application example of the eighth invention is based on the photographing conditions transferred from the control unit 120 shown in FIG. 1, and the transition time setting unit 406 in the conversion curve synthesis unit 118 shown in FIG. This is a moving image capturing system in which a transition time for switching a tone conversion curve is set, and a weight control unit 407 adjusts a weight coefficient for new and old gradation conversion curves based on the transition time.
[0032]
In such an eighth invention, a transition time for switching between the old and new gradation conversion curves is obtained based on the photographing conditions, and the weighting coefficient is set so that the previous gradation conversion curve is switched to the new gradation conversion curve within this time. adjust. As a result, the gradation conversion curve is switched at the transition time suitable for the shooting conditions, and thus switching with less discomfort is possible.
[0033]
In a ninth aspect of the present invention, the conversion curve synthesizing means in the moving image pickup system of the seventh invention further selects any one of the gradation conversion curve interpolated by the interpolation means and the new gradation conversion curve. Switching means. The switching means corresponds to the switching unit 409 shown in FIG.
[0034]
A preferred application example of the ninth invention is that the tone conversion curve synthesized from the two tone transformation curves from the calculation unit 116 and the recording unit 117 shown in FIG. This is a moving image capturing system in which a transferred new gradation conversion curve is switched by a switching unit 409.
[0035]
In the ninth aspect of the invention, regarding the switching of the gradation conversion curve according to the scene change, it is possible to switch to the new gradation conversion curve after the synthesized gradation conversion curve within a predetermined transition time. . As a result, regarding the switching of the gradation conversion curve accompanying the scene change, the processing unit related to the synthesis can be bypassed after a predetermined transition, and the power consumption can be reduced.
[0036]
In a tenth aspect of the present invention, the conversion curve synthesizing means in the moving image capturing system of the seventh aspect further calculates a difference value for calculating a difference value between the new gradation conversion curve and the past gradation conversion curve with respect to the representative point. Means and adjusting means for adjusting the position or number of representative points based on the difference value. The difference calculating means corresponds to the difference calculating section 403 shown in FIG. 5, and the adjusting means corresponds to the representative point adjusting section 404 shown in FIG.
[0037]
In a preferred application example of the tenth invention, the difference calculation unit 403 calculates a difference value between the representative points for the two gradation conversion curves from the calculation unit 116 and the recording unit 117 shown in FIG. The representative point adjustment unit 404 adjusts the representative point based on the difference value.
[0038]
In such a tenth invention, based on the difference value between the old and new gradation conversion curves, the representative point is coarsely adjusted when the difference value is large and the representative point is densely small. As a result, since the representative points are densely arranged in the gradation region having a large difference between the old and new gradation conversion curves, a more accurate gradation conversion curve can be synthesized and a high-quality image can be obtained.
[0039]
According to an eleventh aspect of the present invention, in the moving image pickup system of the first or second aspect, a standard gradation conversion curve recording means for recording a standard gradation conversion curve, and an initial state for detecting an initialization state at the time of power-on, etc. And a transfer means for transferring the standard gradation conversion curve to the gradation conversion means based on the initialization detection means. The standard tone curve recording means corresponds to the standard tone curve ROM 119 shown in FIG. 1, the initialization detecting means corresponds to the control unit 120 shown in FIG. 1, and the transfer means corresponds to the switching unit 409 shown in FIG. .
[0040]
In a preferred application example of the eleventh aspect of the invention, the control unit 120 determines the initialization status based on information from the photometric evaluation unit 107, the in-focus detection unit 108, and the external I / F unit 121 shown in FIG. 5 is a moving image capturing system that reads a standard gradation conversion curve recorded in the standard gradation curve ROM 119 when the switching unit 409 shown in FIG.
[0041]
In the eleventh aspect of the invention, when it is determined that the state of initialization is present, a standard gradation conversion curve recorded in advance is read. As a result, an image can be output even in an initialization situation where a tone conversion curve is not calculated, such as when the power is turned on.
[0042]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the invention will be described with reference to the drawings.
(Constitution)
FIG. 1 is a configuration diagram of a moving image capturing system according to an embodiment of the present invention.
[0043]
An image photographed through the lens system 100, the diaphragm 101, the low-pass filter 102, and the single-plate CCD 103 is converted into a digital signal by the A / D conversion unit 104. A signal from the A / D conversion unit 104 is transferred to the synthesis unit 110 via the image buffer (for long exposure image) 105 and the image buffer (for short exposure image) 106. The image buffer 105 is also connected to the photometric evaluation unit 107 and the in-focus detection unit 108. The photometric evaluation unit 107 is connected to the aperture 101 and the CCD 103, and the in-focus detection unit 108 is connected to the AF motor 109. A signal from the synthesis unit 110 is connected to an output unit 114 such as a monitor or a video recorder via a signal processing unit 111, a gradation conversion unit 112, and a D / A conversion unit 113.
[0044]
The signal processing unit 111 is connected to the calculation unit 116 via the detection unit 115. The calculation unit 116 is connected to the recording unit 117 and the conversion curve synthesis unit 118, and the recording unit 117 is also connected to the conversion curve synthesis unit 118. The conversion curve synthesis unit 118 is connected to the gradation conversion unit 112, and the standard gradation curve ROM 119 is connected to the conversion curve synthesis unit 118.
[0045]
The control unit 120 such as a microcomputer is bidirectionally connected to the synthesis unit 110, the signal processing unit 111, the gradation conversion unit 112, the output unit 114, the detection unit 115, the calculation unit 116, and the conversion curve synthesis unit 118. Yes.
[0046]
Further, an external I / F unit 121 having a power switch, a shutter button, and an interface for switching various modes at the time of shooting is also connected to the control unit 120 in both directions. Further, the photometric evaluation unit 107 and the in-focus detection unit 108 are also connected to the control unit 120.
[0047]
(Function)
In FIG. 1, the flow of signals will be described.
Via the external I / F unit 121, the user designates shooting conditions such as the image size and the number of frames, and then presses the shutter button to start shooting. A video signal photographed through the lens system 100, the aperture 101, the low-pass filter 102, and the CCD 103 is converted into a digital signal by the A / D converter 104 and transferred to the image buffer 105 (long exposure image). . In the present embodiment, the gradation width of the digitized signal is, for example, 12 bits. The video signal in the image buffer 105 is transferred to the photometric evaluation unit 107 and the in-focus detection unit 108.
[0048]
The photometric evaluation unit 107 obtains the luminance level in the image and controls the electronic shutter speed of the diaphragm 101 and the CCD 103 so as to achieve proper exposure. The focus detection unit 108 detects the edge intensity in the image, and controls the AF motor 109 so as to maximize the edge intensity, thereby obtaining a focused image. The exposure conditions obtained by the photometric evaluation unit 107 and the shooting conditions such as the in-focus condition obtained by the in-focus detection unit 108 are transferred to the control unit 120.
[0049]
Next, a second image is taken under an exposure condition that is a predetermined exposure ratio, for example, 1/8 with respect to the exposure condition obtained by the photometric evaluation unit 107, and the A / D conversion unit 104 It is converted into a digital signal and transferred to the image buffer 106 (short-time exposure image).
[0050]
The synthesizing unit 110 sequentially reads the image buffer 105, the long-time exposure image on the image buffer 106, and the short-time exposure image. First, regarding a long-exposure image, a signal in an area not exceeding a predetermined threshold (for example, 3890 for 12-bit gradation) is left as an appropriate exposure area. Next, a short-time exposure image corresponding to an area other than the proper exposure area is read, and the exposure ratio is corrected and synthesized. In this embodiment, since it is set to be 1/8 with respect to long-time exposure, it is corrected to 8 times.
[0051]
The combined signal is transferred to the signal processing unit 111 to generate a three-plate signal subjected to known interpolation processing, white balance processing, enhancement processing, and the like. A signal from the signal processing unit 111 is transferred to the detection unit 115 at predetermined time intervals based on the control of the control unit 120. The detection unit 115 calculates predetermined characteristic information from the transferred image, and detects the presence / absence of a scene change by comparing it with the characteristic of the previously selected image. The result is transferred to the control unit 120.
[0052]
When a scene change is detected, the control unit 120 controls the calculation unit 116 to calculate a new gradation conversion curve.
[0053]
The calculation unit 116 reads an image in which a scene change is detected from the detection unit 115, calculates a gradation conversion curve based on the histogram, and transfers it to the recording unit 117 and the conversion curve synthesis unit 118. The recording unit 117 records one gradation conversion curve, and is overwritten when the gradation conversion curve from the calculation unit 116 is transferred. The conversion curve synthesizing unit 118 is a tone conversion curve synthesized from old and new tone conversion curves based on the control of the control unit 120, a new tone conversion curve from the calculation unit 116, and a standard from the standard tone curve ROM 119. One of the gradation conversion curves is transferred to the gradation conversion unit 112.
[0054]
The gradation conversion unit 112 converts the signal from the signal processing unit 111 to match the gradation width of the output system based on the gradation conversion curve transferred from the conversion curve synthesis unit 118. In the present embodiment, the gradation width of the output system is 8 bits, for example. Thereafter, the signal is converted into an analog signal by the D / A converter 113 and output to an output unit 114 such as a monitor or a video recorder.
[0055]
FIG. 2 shows an example of the configuration of the detection unit 115 that detects a scene change from the luminance, and includes a time setting unit 200, an image reading unit 201, a reduction unit 202, a reduced image buffer 203, and a luminance calculation unit. 204, a luminance value buffer 205, and a determination unit 206. The control unit 120 is bidirectionally connected to the time setting unit 200, the image reading unit 201, the luminance calculation unit 204, and the determination unit 206. The time setting unit 200 is connected to the image reading unit 201. A signal from the signal processing unit 111 is connected to the calculation unit 116 via the image reading unit 201, the reduction unit 202, and the reduced image buffer 203.
[0056]
A signal from the reduced image buffer 203 is connected to the determination unit 206 via the luminance calculation unit 204 and the luminance value buffer 205. Information from the photometric evaluation unit 107, the in-focus detection unit 108, and the external I / F unit 121 is transferred from the control unit 120 to the time setting unit 200.
[0057]
The time setting unit 200 obtains information such as the image size and the number of frames obtained from the external I / F unit 121 from the control unit 120, and determines a time interval for selecting an image from the signal processing unit 111 based on the information. To do. In this control, for example, by increasing the time interval as the image size or the number of frames increases, the burden on the subsequent processing system is prevented from increasing. The time setting unit 200 determines that a scene change has occurred when the photometry and focusing conditions from the photometry evaluation unit 107 and the focus detection unit 108 change suddenly, sets the time interval to 0, and immediately reads the image. Control to make it take. In addition, it is also possible to detect a scene change using information such as white balance, lens zoom position, camera movement, and the like.
[0058]
The image reading unit 201 reads the signal from the signal processing unit 111 and transfers the signal to the reduction unit 202 at predetermined time intervals based on the control from the time setting unit 200. The reduction unit 202 reduces the image at a predetermined reduction rate, for example, 1/8, and transfers the image to the reduced image buffer 203. This reduction ratio need not be fixed, but may be variable. For example, the amount of information within a unit time can be obtained from the reduced image size and the selected time interval, and the reduction rate can be controlled so that the amount of information becomes a certain value or less. The reduced image buffer 203 is a ring-shaped buffer capable of recording a plurality of reduced images. When the buffer is full, the old image is overwritten. The reduced image in the reduced image buffer 203 is transferred to the calculation unit 116.
[0059]
On the other hand, the luminance calculation unit 204 takes in the reduced image from the reduced image buffer 203 based on the control of the control unit 120, and calculates the average luminance value of the reduced image. This luminance value is transferred to the luminance value buffer 205 and stored. The luminance value buffer 205 is a ring-shaped buffer that can record luminance values. When the buffer is full, the old luminance values are overwritten.
[0060]
The determination unit 206 monitors a time-series change in luminance value from the luminance value buffer 205, and determines that a scene change has occurred when a change equal to or greater than a predetermined threshold occurs and the situation continues for a predetermined number of times. The determination result is transferred to the control unit 120. The scene change need not be limited to the above luminance value.
[0061]
For example, FIG. 3 shows a configuration example of the detection unit 115 that detects a scene change from a motion vector, and includes a time setting unit 200, an image reading unit 201, a reduction unit 202, a reduced image buffer 203, and a motion vector calculation. The unit 210 includes a motion vector buffer 211 and a determination unit 206. The control unit 120 is bidirectionally connected to the time setting unit 200, the image reading unit 201, the motion vector calculation unit 210, and the determination unit 206. The time setting unit 200 is connected to the image reading unit 201. A signal from the signal processing unit 111 is connected to the calculation unit 116 via the image reading unit 201, the reduction unit 202, and the reduced image buffer 203.
[0062]
A signal from the reduced image buffer 203 is connected to the determination unit 206 via the motion vector calculation unit 210 and the motion vector buffer 211. The motion vector calculation unit 210 reads a reduced image that moves back and forth in time series from the reduced image buffer 203, divides the image into predetermined blocks, and performs known motion detection based on matching. Thereby, the motion vector is detected for each block, and the result is transferred to the motion vector buffer 211.
[0063]
The determination unit 206 reads motion vector information from the motion vector buffer 211, and determines that a scene change has occurred when a motion vector greater than a predetermined value is detected in a predetermined number of blocks. The determination result is transferred to the control unit 120.
[0064]
Further, when the gradation conversion curve is calculated based on the histogram by the calculation unit 116, processing such as adding a gradation width to the area by multiplying the area corresponding to the block in which the motion vector is detected by a weighting coefficient is also performed. Is possible.
[0065]
FIG. 4 shows an example of the configuration of the calculation unit 116 that calculates the gradation conversion curve. The luminance separation unit 300, the appropriate exposure extraction unit 301, the edge extraction unit 302, the histogram creation unit 303, the conversion curve The calculation unit 304 is included. The control unit 120 is bi-directionally connected to the luminance separation unit 300, the appropriate exposure extraction unit 301, and the conversion curve calculation unit 304. The detection unit 115 is connected to the luminance separation unit 300, and the luminance separation unit 300 is connected to the appropriate exposure extraction unit 301 and the histogram creation unit 303. The appropriate exposure extraction unit 301 is connected to the edge extraction unit 302 and the histogram creation unit 303, and the edge extraction unit 302 is connected to the histogram creation unit 303. The histogram creation unit 303 is connected to the recording unit 117 and the conversion curve synthesis unit 118 via the conversion curve calculation unit 304.
[0066]
When a scene change is detected by the detection unit 115, the control unit 120 controls the luminance separation unit 300 to capture the reduced image from the detection unit 115. The luminance separation unit 300 calculates the luminance from the reduced image. The luminance signal is compared with a predetermined threshold value related to the dark part and the bright part (for example, if the gradation is 12 bits, the dark part is 128 and the bright part is 3968) by the appropriate exposure extraction unit 301, and the luminance signal is equal to or higher than the dark part threshold The signal is transferred to the edge extraction unit 302 and the histogram creation unit 303 as an appropriate region.
[0067]
The edge extraction unit 302 performs known edge detection, extracts pixels having edge strengths equal to or greater than a predetermined threshold as edge portions, and transfers this information to the histogram creation unit 303. The histogram creation unit 303 creates a histogram of the edge part from the luminance signal of the appropriate exposure area from the luminance separation unit 300 based on the information on the appropriate exposure area and the information on the edge part.
[0068]
The conversion curve calculation unit 304 obtains a gradation conversion curve by accumulating the histogram and transfers it to the conversion curve synthesis unit 118. Also, the gradation conversion curve is transferred to the recording unit 117 based on the control of the control unit 120. The recording unit 117 records one gradation conversion curve, and is overwritten when the gradation conversion curve is transferred from the calculation unit 116.
[0069]
FIG. 5 shows an example of the configuration of the conversion curve synthesis unit 118. The gradation conversion curve buffer 400, the gradation conversion curve buffer 401, the representative point extraction unit 402, the difference calculation unit 403, and the representative point adjustment A unit 404, a multiplication / addition unit 405, a transition time setting unit 406, a weight control unit 407, an interpolation unit 408, and a switching unit 409 are included. The control unit 120 is bidirectionally connected to the representative point extraction unit 402, the representative point adjustment unit 404, the multiplication / addition unit 405, the transition time setting unit 406, and the switching unit 409. The calculation unit 116 is connected to the gradation conversion curve buffer 400, and the recording unit 117 is connected to the gradation conversion curve buffer 401. The gradation conversion curve buffer 400 and the gradation conversion curve buffer 401 are connected to the gradation conversion unit 112 via a representative point extraction unit 402, a multiplication / addition unit 405, an interpolation unit 408, and a switching unit 409.
[0070]
The representative point extraction unit 402 is connected to the representative point adjustment unit 404 via the difference calculation unit 403, and the representative point adjustment unit 404 is connected to the representative point extraction unit 402. The transition time setting unit 406 is connected to the multiplication / addition unit 405 via the weight control unit 407. The standard gradation curve ROM 119 and the calculation unit 116 are connected to the switching unit 409. The tone conversion curve from the calculation unit 116 is transferred to the tone conversion curve buffer 400, and the tone conversion curve from the recording unit 117 is transferred to the tone conversion curve buffer 401 and stored.
[0071]
Based on the control of the control unit 120, the representative point extraction unit 402 extracts a value corresponding to a gradation value set at a predetermined interval, for example, an equal interval from the gradation conversion curves of the two as a representative point, and calculates the difference. Transfer to the calculation unit 403. The difference calculation unit 403 calculates an absolute value between the representative points corresponding to both the gradation conversion curves, and transfers this to the representative point adjustment unit 404 as a difference value. The representative point adjustment unit 404 adds a new representative point at the center between the representative points adjacent to the representative point when the difference value is equal to or greater than a predetermined threshold value. On the other hand, if the difference value is equal to or less than a predetermined threshold, the representative point is deleted. These additions and deletions are not performed on the start point and end point of the gradation conversion curve.
[0072]
FIG. 6 shows the adjustment of the representative points based on the difference value. As shown in FIG. 6 (b), the representative points set at regular intervals as shown in FIG. 6 (a) are based on the difference values between the old and new gradation conversion curves shown in FIG. 6 (a). A section with a large difference, that is, a section with a sharp gradation conversion is densely adjusted, and a section with a small difference value, that is, a section with a gentle gradation conversion is adjusted roughly.
[0073]
The representative point adjustment unit 404 notifies the control unit 120 when the above adjustment work is completed. The control unit 120 controls the representative point extracting unit 402 to extract a value corresponding to the adjusted representative point and transfers it to the multiplying and adding unit 405. Further, the control unit 120 transfers information such as the image size and the number of frames obtained from the external I / F unit 121 to the transition time setting unit 406. Based on this information, the transition time setting unit 406 adjusts the transition time for switching between the old and new gradation conversion curves. This is, for example, as long as 2-3 seconds when processing a high-quality image with a large frame rate or image size, and about 1 second when processing a low-quality image with a small frame rate or image size. And shorten. For the set transition time, the weight control unit 408 obtains the number N of images generated during the transition time from the set transition time T (seconds) and the current frame rate (number of frames / second) F. .
[0074]
N = TF (1)
The basic unit of the weight coefficient is given by 1 / N. The basic unit of the weight coefficient is transferred to the multiplication / addition unit 405.
[0075]
In the multiplication / addition unit 405, when the representative point of the new gradation conversion curve from the calculation unit 116 is Vnew and the representative point of the past gradation conversion curve from the recording unit 117 is Vold, the synthesis is performed according to (2) below. A representative point V of the gradation conversion curve thus obtained is calculated.
[0076]
V = i / N Vnew + (1-i / N) Vold (i = 0 to N) (2)
Here, i is a count value of the number of images generated during the transition time, and is incremented by one every time all the representative points of the gradation conversion curve synthesized based on the equation (2) are obtained. Multiplying / adding unit 405 transfers the synthesized representative point to interpolation unit 408. The interpolation unit 408 generates a representative inter-point value by known linear interpolation, and transfers it to the switching unit 409 as a synthesized gradation conversion curve.
[0077]
FIG. 7 shows the synthesis of the gradation conversion curve. FIG. 8 shows a combined tone conversion curve that gradually shifts from the past tone conversion curve shown in FIG. 7A to the new tone conversion curve shown in FIG. Several representative points [see FIG. 6 (b)] are extracted from the past gradation conversion curve, and are sequentially shifted while performing polygonal line approximation as shown in FIGS. 7 (b) to 7 (d). As shown in FIG. 7, an intermediate gradation conversion curve can be calculated at low cost by approximating the broken line.
[0078]
Based on the control of the control unit 120, the switching unit 409 performs the gradation conversion curve from the multiplication / addition unit 405 within the transition time determined by the transition time setting unit 406 when a scene change is detected, and the calculation unit otherwise The gradation conversion curve from 116 is transferred to the gradation conversion unit 112. When the control unit 120 detects an initialization state such as when the power is turned on, the switching unit 409 transfers the gradation conversion curve from the standard gradation curve ROM 119 to the gradation conversion unit 112 based on the control of the control unit 120. .
[0079]
When the transition time ends and the switching to the new gradation conversion curve is completed, the control unit 120 transfers the gradation conversion curve from the calculation unit 116 to the recording unit 117 for recording. In the above description, the interval between the representative points is adjusted based on the difference value. However, if a slight decrease in accuracy is acceptable, this can be omitted. In this case, the difference calculation unit 403 and the representative point adjustment unit 404 can be deleted, and a lower cost configuration is possible. Further, the interpolation between the representative points in the interpolation unit 408 need not be limited to linear interpolation, and any interpolation method can be used.
[0080]
FIG. 8 shows an example of the configuration of the gradation conversion unit 112. The Y / C separation unit 500, the luminance signal buffer 501, the color difference signal buffer 502, the luminance correction unit 503, and the corrected luminance signal buffer 504 The color difference correction unit 505 and the Y / C synthesis unit 506 are included. The control unit 120 is bidirectionally connected to the Y / C separation unit 500, the luminance correction unit 503, the color difference correction unit 505, and the Y / C composition unit 506. The signal processing unit 111 is connected to the Y / C separation unit 500, and the Y / C separation unit 500 is connected to the luminance signal buffer 501 and the color difference signal buffer 502. The luminance signal buffer 501 is connected to the luminance correction unit 503 and the color difference correction unit 505, and the luminance correction unit 503 is connected to the Y / C synthesis unit 506 via the corrected luminance signal buffer 504. In addition, a conversion curve synthesis unit 118 is connected to the luminance correction unit 503. The color difference signal buffer 502 is connected to the Y / C synthesis unit 506 via the color difference correction unit 505. The corrected luminance signal buffer 504 is connected to the color difference correcting unit 505, and the Y / C combining unit 506 is connected to the D / A converting unit 113.
[0081]
The signal from the signal processing unit 111 is separated into a luminance signal and a color difference signal by the Y / C separation unit 500 and stored in the luminance signal buffer 501 and the color difference signal buffer 502, respectively. The luminance signal in the luminance signal buffer 501 is transferred to the luminance correction unit 503 and converted into a gradation width of the output system by a predetermined gradation conversion curve, which is 8 bits in this embodiment. The gradation conversion curve used in the luminance correction unit 503 is read from the conversion curve synthesis unit 118 based on the control of the control unit 120. The luminance signal subjected to gradation conversion by the luminance correction unit 503 is transferred to the corrected luminance signal buffer 504.
[0082]
Next, the color difference correction unit 505 reads the color difference signal in the color difference signal buffer 502 and receives the luminance signal before gradation conversion from the luminance signal buffer 501 and the luminance signal after gradation conversion from the corrected luminance signal buffer 504. A correction coefficient for correcting the color difference signal is calculated from the luminance signal before and after the conversion and a theoretical limit model in which colors can exist, and the color difference signal is corrected. The corrected color difference signal is transferred to the Y / C combining unit 506, combined with the converted luminance signal from the corrected luminance signal buffer 504, and transferred to the D / A converting unit 113.
[0083]
With the above configuration, for any image captured in time series, the gradation conversion curve corresponding to the scene change can be switched continuously within the transition time according to the shooting conditions such as the image size and the number of frames. This makes it possible to change the image, and a high-quality image with little discomfort can be obtained. Further, since the image to be processed is reduced and the gradation conversion curve within the transition time is calculated from several representative points, the amount of calculation can be reduced and a low-cost processing system can be realized. Further, since the minute change of the image is absorbed by the reduction process, the obtained image is stabilized. In addition, by preparing a standard gradation curve, it is possible to cope with an initialization situation.
[0084]
In the above configuration, one wide dynamic range image is synthesized from two images shot with different exposure amounts (long time and short time exposure) for the same subject. However, the configuration is limited to such a configuration. There is no need to The present invention can also be applied to a normal single image shooting system. In the case of this single image taking system, the image buffer 106 and the combining unit 110 can be omitted.
[0085]
【The invention's effect】
As described above, according to the present invention, it is possible to realize a moving image capturing system capable of appropriately switching a gradation conversion curve for converting a gradation width of an image obtained in time series in accordance with a scene change at a low cost. Can do. Further, it is possible to realize a moving image capturing system that generates a high-quality image for an arbitrary shooting scene.
[Brief description of the drawings]
FIG. 1 is a block diagram of a moving image capturing system according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating an example of a configuration of a detection unit that detects a scene change from luminance.
FIG. 3 is a block diagram illustrating a configuration example of a detection unit that detects a scene change from a motion vector.
FIG. 4 is a block diagram illustrating an example of a configuration of a calculation unit that calculates a gradation conversion curve.
FIG. 5 is a block diagram showing an example of the configuration of a conversion curve synthesis unit.
FIG. 6 is a diagram for explaining representative point adjustment based on a difference value;
FIG. 7 is a diagram for explaining synthesis of a gradation conversion curve.
FIG. 8 is a block diagram illustrating an example of a configuration of a gradation conversion unit.
[Explanation of symbols]
110... Composition unit (image composition means)
112 ... gradation conversion section (gradation conversion means)
115... Detection unit (detection means)
116: Calculation unit (calculation means)
117: Recording section (recording means)
118: Conversion curve synthesis unit (conversion curve synthesis means)

Claims

In a moving image pickup system that outputs an image group having Mbit gradation widths that are continuous in time series from the imaging system to output Nbit gradation widths (M and N are natural numbers, M ≧ N).
Detecting means for detecting a scene change from the image group;
Calculation means for calculating a gradation conversion curve from an image in which a scene change is detected by the detection means;
Recording means for recording the gradation conversion curve;
A conversion curve synthesizing unit that synthesizes a new tone conversion curve calculated from the calculation unit and a past tone conversion curve recorded in the recording unit;
Gradation conversion means for converting the image group having the Mbit gradation width into the Nbit gradation width using the gradation conversion curve synthesized by the synthesis means;
A moving image capturing system comprising:

Furthermore, an image composition means for composing at least two or more frame or field unit images captured under different exposure conditions on the same subject to generate an image group having an Mbit gradation width,
The moving image imaging system according to claim 1, wherein:

The detecting means is
A time interval for selecting an image from the image group based on at least one of the number of images taken per unit time from the imaging system, image size, exposure condition, focusing condition, white balance condition, zoom position, and camera position. Time setting means to set,
The moving image imaging system according to claim 1, wherein:

The detection means further includes a reduction means for reducing the selected image to a predetermined size;
Luminance calculating means for calculating an average luminance level from the reduced image;
A determination means for determining the presence or absence of a scene change based on a time-series change in the average luminance level;
The moving image imaging system according to claim 3, further comprising:

The detection means further includes a reduction means for reducing the selected image to a predetermined size;
A motion vector calculating means for calculating a motion vector from two images that precede and follow the reduced image in time series;
Determining means for determining presence or absence of a scene change based on the motion vector amount;
The moving image imaging system according to claim 3, further comprising:

The calculation means is
Separating means for separating the image into a luminance signal and a color difference signal;
Extraction means for extracting an appropriate exposure area based on the luminance signal level;
A feature amount calculating means for calculating a feature amount with respect to the appropriate exposure area;
A histogram creating means for creating a histogram based on the feature amount;
The moving image imaging system according to claim 1, further comprising a gradation conversion curve calculation unit that calculates a gradation conversion curve based on the histogram.

The conversion curve synthesis means is:
Setting means for setting a plurality of representative points in the new gradation conversion curve calculated from the calculation means and the past gradation conversion curve recorded in the recording means;
Multiplying and adding means for calculating a composite value from the new gradation conversion curve and the past gradation conversion curve based on a predetermined weight coefficient with respect to the representative point;
Interpolation means for interpolating between the representative points processed by the multiplication and addition means;
The moving image imaging system according to claim 1, wherein:

The conversion curve synthesizing means further includes a transition time setting means for determining a transition time for switching from the past gradation conversion curve to the new gradation conversion curve based on photographing conditions from the imaging system,
Weight control means for controlling the weighting factor based on the transition time of the transition time setting means;
The moving image imaging system according to claim 7, further comprising:

The conversion curve synthesis means further includes a switching means for selecting one of the gradation conversion curve interpolated by the interpolation means and the new gradation conversion curve,
The moving image imaging system according to claim 7, further comprising:

The conversion curve synthesis means further includes a difference calculation means for calculating a difference value between the new gradation conversion curve and the past gradation conversion curve with respect to the representative point,
Adjusting means for adjusting the position or number of representative points based on the difference value;
The moving image imaging system according to claim 7, further comprising:

further,
A standard gradation conversion curve recording means for recording a standard gradation conversion curve;
Initialization detection means for detecting the initialization status at power-on, etc .;
Transfer means for transferring the standard gradation conversion curve to the gradation conversion means based on the initialization detection means;
The moving image imaging system according to claim 1, wherein: