JP4212290B2 - Imaging system - Google Patents

Imaging system Download PDF

Info

Publication number
JP4212290B2
JP4212290B2 JP2002105490A JP2002105490A JP4212290B2 JP 4212290 B2 JP4212290 B2 JP 4212290B2 JP 2002105490 A JP2002105490 A JP 2002105490A JP 2002105490 A JP2002105490 A JP 2002105490A JP 4212290 B2 JP4212290 B2 JP 4212290B2
Authority
JP
Japan
Prior art keywords
unit
image
imaging system
gradation conversion
conversion curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002105490A
Other languages
Japanese (ja)
Other versions
JP2003304417A (en
Inventor
建夫 鶴岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2002105490A priority Critical patent/JP4212290B2/en
Publication of JP2003304417A publication Critical patent/JP2003304417A/en
Application granted granted Critical
Publication of JP4212290B2 publication Critical patent/JP4212290B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を時系列的に得る撮像系の階調幅が、出力系における階調幅より広い撮像システムに係わり、階調幅を適用的に変換する階調変換曲線の更新を適切に行うことで高画質な出力画像を得る撮像システムに関するものである。
【０００２】
【従来の技術】
例えば、デジタルビデオカメラにおいては、デジタル系信号処理の桁落ちによる画質劣化を防止するため、最終的な出力画像の階調幅(通常８ビット)に対して、入力および処理系における画像の階調幅をより広く、通常１０〜１２ビット程度に設定している。この場合、出力系の階調幅に合致するように階調変換を行う必要がある。また、露光量の異なる複数枚の画像を合成することで、より階調幅の広い広ダイナミックレンジ画像を生成する手法も提案されている。この場合も、得られた広ダイナミックレンジ画像を、出力系の階調幅に合致するように階調変換する必要がある。
【０００３】
上記の階調変換を行なう方法として、従来、標準的なシーンに合わせた固定的なガンマ曲線や、ヒストグラムなどに基づく適用的な階調変換曲線により階調変換を行なったり、あるいは特開２０００−３０７８９６号公報に開示されているように、一定時間毎に画像を取り込み、その取り込んだ画像の特定領域（例えば、画像中央）の輝度統計量に基づいて階調変換を行なったりする方法が提案されている。
【０００４】
【発明が解決しようとする課題】
ところが、階調変換をガンマ変換などで固定的に行なう場合には、変化するシーンに応じて適切な階調変換を行なうことができず、また階調変換をヒストグラムなどに基づく適用的な階調変換曲線により行なう場合には、撮影時のシーン変化に合わせて、適切なタイミングで階調変換曲線を算出しないと、適切な階調変換を行なうことができないという問題がある。
【０００５】
また、上記の特開２０００−３０７８９６号公報に開示されているように、一定時間毎に画像を取り込み、その特定領域の輝度統計量に基づいて階調変換を行なう場合には、シーン変化が無く階調変換曲線を算出する必要のない場合でも算出することになるため無駄が多く、また、シーン変化が発生しても、タイミングが合わないと階調変換曲線が算出されないため、シーン変化に応じて適切な階調変換を行なうことができないという問題がある。
【０００６】
さらに、画像中央などの特定領域を設定しているため、それ以外の領域でのシーン変化の検出に対応できないという問題があると共に、定期的に階調変換曲線が更新されるため、画面の安定性を損なうという問題もある。
【０００７】
また、最近ではネットワークによる動画配信なども行われている。この場合、画像サイズやフレームレートなどが配信の条件により変化するが、上記の従来技術では、画像サイズやフレームレートの変化に対応して階調変換曲線を算出するタイミングを自動的に調整することができないため、適切な階調変換を行なうことができないという問題がある。
【０００８】
したがって、かかる点に鑑みてなされた本発明の目的は、時系列的に得られる画像の階調幅を変換する階調変換曲線を算出するタイミングを、被写体の画面位置や微小な画面変化に影響されることなく、シーン変化や撮影条件の変化に合わせて自動的に最適に調整でき、常に適切に階調変換できると共に、安定した階調変換画面が得られる撮像システムを提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成する請求項１に係る発明は、撮像系からの時系列的に連続するＭビット階調幅の画像群を、出力系のＮビット階調幅（Ｍ、Ｎは自然数でＭ≧Ｎ）の画像群に変換して後段の処理系に出力する撮像システムにおいて、
上記Ｍビット階調幅の画像群の中から、上記撮像系により単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも一つの撮影条件に基づいて、上記後段の処理系に対する負荷が増加しないように、画像サイズまたはフレーム数が大きくなるに従って長い時間間隔で１枚の画像を選択する選択手段と、
上記選択手段で順次選択された画像間の特性情報の変化を検出する検出手段と、
上記検出手段での検出結果に基づいて、上記選択手段により選択された画像の階調変換曲線を算出する算出手段と、
上記検出手段での検出結果に基づいて、上記特性情報の変化が検出されたときは上記算出手段で算出された新規の階調変換曲線を用いて、上記特性情報の変化が検出されないときは現在の階調変換曲線を用いて、それぞれ上記Ｍビット階調幅の画像群を上記Ｎビット階調幅の画像群に変換する階調変換手段と、
を有することを特徴とするものである。
【００１０】
請求項１に係る発明によると、選択手段において撮影条件に基づいて適切なタイミングで画像が抽出され、その抽出された順次の画像の特性情報の変化が検出手段で検出されたときは、選択手段で抽出された画像に基づいて算出手段で階調変換曲線が算出され、その新たに算出された階調変換曲線を用いて階調変換手段によりＭビット階調幅の画像群がＮビット階調幅の画像群に変換され、検出手段で特性情報の変化が検出されないときは、階調変換手段において現在使用している階調変換曲線でＭビット階調幅の画像群がＮビット階調幅の画像群に変換されるので、無駄な計算を省いてシーン変化に合わせて自動的に適切なタイミングで階調変換曲線を設定することができ、したがってシーン変化に対して常に適切に階調変換でき、高品位で安定した階調変換画面を得ることができる。
【００１１】
請求項２に係る発明は、撮像系からの時系列的に連続するＭビット階調幅の画像群を、出力系のＮビット階調幅（Ｍ、Ｎは自然数でＭ≧Ｎ）の画像群に変換して後段の処理系に出力する撮像システムにおいて、
上記Ｍビット階調幅の画像群の中から、上記撮像系により単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも一つの撮影条件に基づいて、上記後段の処理系に対する負荷が増加しないように、画像サイズまたはフレーム数が大きくなるに従って長い時間間隔で１枚の画像を選択する選択手段と、
上記選択手段で順次選択された画像間の特性情報の変化を検出する検出手段と、
上記検出手段での検出結果に基づいて、上記選択手段により選択された画像の階調変換曲線を選択的に算出する算出手段と、
上記選択手段で選択された画像の特性情報および当該画像に対して上記算出手段で算出された階調変換曲線を組として複数記録する記録手段と、
上記検出手段での検出結果に基づいて、上記特性情報の変化が検出されたときは上記算出手段で算出された新規の階調変換曲線、または上記記録手段に記録されている過去の階調変換曲線を用いて、上記特性情報の変化が検出されないときは現在の階調変換曲線を用いて、それぞれ上記Ｍビット階調幅の画像群を上記Ｎビット階調幅の画像群に変換する階調変換手段と、
を有することを特徴とするものである。
【００１２】
請求項２に係る発明によると、選択手段において撮影条件に基づいて適切なタイミングで画像が抽出され、その抽出された順次の画像の特性情報の変化が検出手段で検出され、かつ当該画像の特性情報に対応する特性情報が記録手段に記録されていないときは、選択手段で抽出された画像に基づいて算出手段で階調変換曲線が算出されて、その新たに算出された階調変換曲線とそのシーンを特徴付ける当該画像の特性情報とが組として記録手段に記録されると共に、その新たに算出された階調変換曲線を用いて階調変換手段によりＭビット階調幅の画像群がＮビット階調幅の画像群に変換される。また、検出手段で特性情報の変化が検出され、かつその特性情報に対応する特性情報が記録手段に記録されているときは、記録手段に記録されている特性情報と対応する階調変換曲線を用いて階調変換手段によりＭビット階調幅の画像群がＮビット階調幅の画像群に変換され、検出手段で特性情報の変化が検出されないときは、算出手段で階調変換曲線を算出することなく、階調変換手段において現在使用している階調変換曲線でＭビット階調幅の画像群がＮビット階調幅の画像群に変換される。したがって、シーン変化に合わせて自動的に適切なタイミングで階調変換曲線を設定することができると共に、無駄な計算を省いてシーン変化に対して迅速かつ適切に階調変換でき、高品位で安定した階調変換画面を得ることができる。
【００１３】
請求項３に係る発明は、請求項１または２に記載の撮像システムにおいて、
さらに、同一被写体に対して異なる露光条件で撮像した少なくとも二枚のフレームまたはフィールド単位の画像を合成して上記Ｍビットの階調幅の画像群を生成する合成手段を有することを特徴とするものである。
【００１４】
請求項３に係る発明によると、異なる露光の画像を合成して１枚の広ダイナミックレンジの画像を生成することで、撮像系で扱うことのできる階調幅以上の画像から階調変換を行うので、黒潰れや白飛びの少ないより高品位な画像を得ることができる。
【００１５】
しかも、請求項１，２または３に記載の撮像システムにおいては、
上記選択手段は、上記撮像系により単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも一つの撮影条件に基づいて、上記後段の処理系に対する負荷が増加しないように、画像サイズまたはフレーム数が大きくなるに従って長い時間間隔を設定するので、選択手段において撮影状況に応じたタイミングで画像が選択され、シーン変化の検出能が向上する。
【００１７】
請求項４に係る発明は、請求項１〜３のいずれか一項に記載の撮像システムにおいて、
上記選択手段は、上記選択された画像を縮小する縮小手段を有することを特徴とするものである。
【００１８】
請求項４に係る発明によると、選択手段において選択した画像を縮小して出力するので、後段の処理を軽減でき、低コストのシステムを実現することができる。また、縮小する段階で画像の微小変化が吸収されるので、算出手段で算出される階調変換曲線の特性が安定し、したがってそれにより階調変換される画像が見易くなる。さらに、特定領域ではなく画像全体からシーン変化を検出することができるので、被写体の位置によらないシーン変化の検出が可能となる。
【００１９】
請求項５に係る発明は、請求項４に記載の撮像システムにおいて、
上記縮小手段は、上記時間間隔に基づいて、単位時間あたりに処理する情報量が一定値以下となるように上記選択された画像を適用的に縮小するよう構成されていることを特徴とするものである。
【００２０】
請求項５に係る発明によると、画像が選択される時間間隔に応じて単位時間あたりに処理する情報量が一定となるよう選択された画像を縮小するので、後段の処理が追随できず遅延したタイミングで階調変換が行なわれるのを防止できる。また、後段の処理が軽減されるので、低コストのシステムを実現できると共に、縮小する段階で画像の微小変化が吸収されるので、後段の算出手段において安定した階調変換曲線を算出することができる。さらに、特定領域ではなく画像全体からシーン変化を検出することができるので、被写体の位置によらないシーン変化の検出が可能となる。
【００２１】
請求項６に係る発明は、請求項１〜５のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報として、上記選択手段で選択された画像の平均輝度レベルを算出する輝度算出手段と、
上記輝度算出手段で算出された順次の画像間における平均輝度レベルの変化に基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とするものである。
【００２２】
請求項６に係る発明によると、選択された画像の輝度値の時系列的な変化からシーン変化を検出するので、少ない演算量および低コストな処理系でシーン変化を検出することができる。
【００２３】
請求項７に係る発明は、請求項１〜５のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報として、上記選択手段で選択された順次の２枚の画像から動きベクトルを算出する動きベクトル算出手段と、
上記動きベクトル算出手段で算出された動きベクトルに基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とするものである。
【００２４】
請求項７に係る発明によると、動きベクトルの時系列的な変化に基づいてシーン変化を検出するので、主要被写体に重きを置いた階調変換が可能となり、高品位な画像を得ることができる。
【００２５】
請求項８に係る発明は、請求項１〜５のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報として、上記選択手段で選択された画像からヒストグラムを算出するヒストグラム算出手段と、
上記ヒストグラム算出手段で算出された順次の画像間におけるヒストグラムの変化に基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とするものである。
【００２６】
請求項８に係る発明によると、ヒストグラムの時系列的な変化からシーン変化を検出するので、比較的少ない演算量および低コストな処理系でシーン変化を検出することができる。また、暗部や明部を除いた中間の階調に重きを置くことで、シーン変化の検出能を向上することができる。
【００２７】
請求項９に係る発明は、請求項２または３に記載の撮像システムにおいて、
上記検出手段は、
上記選択手段で選択された画像の特性情報と上記記録手段に記録されている複数の特性情報との類似度を算出する類似度算出手段と、
上記類似度算出手段で算出された類似度が所定条件を満たす場合に、当該類似する特性情報と組をなす階調変換曲線を上記記録手段から読み出す読み出し手段と、
を有することを特徴とするものである。
【００２８】
請求項９に係る発明によると、シーン変化が検出された場合には、記録手段に記録されている過去の特性情報との類似性を求め、類似性が高い場合にはその過去の特性情報と組をなして記録されている過去の階調変換曲線を用いて階調変換が行なわれるので、類似するシーンの場合には階調変換曲線を算出する手間を省略することが可能となり、高速処理が可能となる。
【００２９】
請求項１０に係る発明は、請求項１〜６のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報の変化として、上記選択手段で選択された画像の露光条件または合焦条件の撮影条件を検出する撮影条件検出手段と、
上記撮影条件検出手段で検出された順次の画像間における撮影条件の変化に基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とするものである。
【００３０】
請求項１０に係る発明によると、画像の露光条件または合焦条件の撮影条件の変化に基づいてシーン変化が検出されるので、撮影条件の変化に合わせて自動的に適切なタイミングで階調変換曲線を設定することができる。
【００３１】
請求項１１に係る発明は、請求項１〜１０のいずれか一項に記載の撮像システムにおいて、
上記算出手段は、
上記選択手段で選択された画像を輝度信号と色差信号とに分離する分離手段と、
上記分離手段で分離された輝度信号レベルに基づいて適正露光域を抽出する抽出手段と、
上記抽出手段で抽出された適正露光域に関する特徴量を算出する特徴量算出手段と、
上記特徴量算出手段で算出された特徴量に基づいてヒストグラムを作成するヒストグラム作成手段と、
上記ヒストグラム作成手段で作成されたヒストグラムに基づいて階調変換曲線を算出する階調変換曲線算出手段と、
を有することを特徴とするものである。
【００３２】
請求項１１に係る発明によると、選択手段で選択された画像の適正露光域における特徴量を表わすヒストグラムに基づいて階調変換曲線が算出されるので、平坦な背景部を除去して主要被写体に重きを置いた階調変換曲線を算出することができ、高品位な画像を得ることができる。
【００３３】
請求項１２に係る発明は、請求項１〜１１のいずれか一項に記載の撮像システムにおいて、
上記算出手段は、さらに、上記検出手段で特性情報の変化が検出された場合のみ、上記算出手段で階調変換曲線を算出させるように制御する制御手段を有することを特徴とするものである。
【００３４】
請求項１２に係る発明によると、シーン変化が検出された場合のみ、階調変換曲線が算出されるので、不必要な階調変換曲線の算出を省略でき、高速処理が可能になると共に、後段の処理の負担を軽減することができる。
【００３５】
請求項１３に係る発明は、請求項２または３に記載の撮像システムにおいて、
上記記録手段は、
上記特性情報および階調変換曲線を記録する特性情報・階調変換曲線記録手段と、
上記特性情報・階調変換曲線記録手段の記録領域の残量を監視する監視手段と、
上記階調変換手段から読み出された階調変換曲線の履歴を管理する履歴管理手段と、
上記監視手段での監視結果に基づいて、上記特性情報・階調変換曲線記録手段の記録領域の残量が所定値以下となった場合に、上記履歴管理手段での履歴監視結果に基づいて、最も読み出し回数の少ない特性情報および階調変換曲線を上記特性情報・階調変換曲線記録手段から破棄する破棄手段と、
を有することを特徴とするものである。
【００３６】
請求項１３に係る発明によると、画像の特性情報および階調変換曲線を記録する特性情報・階調変換曲線記録手段における記録領域の残量が少なくなった場合は、読み出し回数が最少の階調変換曲線およびそれに対応する特性情報から破棄されるので、シーン変化が生じた場合に、過去に使用された頻度の高いものが優先的に保存され続けることになり、高速な処理を実現することが可能となる。
【００３７】
請求項１４に係る発明は、請求項１〜１３のいずれか一項に記載の撮像システムにおいて、
さらに、標準階調変換曲線を記録する標準階調変換曲線記録手段と、
電源投入時などの初期化状況を検出する初期化検出手段と、
上記初期化検出手段の出力に基づいて上記標準階調変換曲線記録手段に記録されている標準階調変換曲線を上記階調変換手段へ転送する転送手段と、
を有することを特徴とするものである。
【００３８】
請求項１４に係る発明によると、初期化状況と判断された場合には、予め記録されている標準となる階調変換曲線が設定されるので、電源投入時などの階調変換曲線が算出されていない状況においても、階調変換が可能となる。
【００３９】
請求項１５に係る発明は、請求項１〜１３のいずれか一項に記載の撮像システムにおいて、
さらに、標準階調変換曲線を記録する標準階調変換曲線記録手段と、
上記撮像系から単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも一つに基づいて撮影条件の変化を検出する撮影条件検出手段と、
上記撮影条件検出手段での検出結果に基づいて上記標準階調変換曲線記録手段に記録されている標準階調変換曲線を上記階調変換手段へ転送する転送手段と、
上記撮影条件検出手段での検出結果に基づいて上記選択手段における画像選択の時間間隔を零に設定して現時点の画像を選択させるリセット手段と、
を有することを特徴とするものである。
【００４０】
請求項１５に係る発明によると、撮影条件が変更された場合には標準的な階調変換曲線が設定されるので破綻の少ない階調変換画像を得ることができると共に、変更直後の画像で新規の階調変換曲線が算出されるので、短時間で高品位な階調変換画像を生成することができる。
【００４１】
【発明の実施の形態】
以下、本発明による撮像システムの実施の形態について、図１〜図１０を参照して説明する。
【００４２】
図１〜図６は本発明の第１実施の形態を示すもので、図１は撮像システム全体の構成を示すブロック図、図２は図１に示す選択部の一例の構成を示すブロック図、図３は選択部における時間設定用関数の説明図、図４は図１に示す検出部の一例の構成を示すブロック図、図５は図１に示す算出部の一例の構成を示すブロック図、図６は図１に示す階調変換部の一例の構成を示すブロック図である。
【００４３】
図１に示す撮像システムでは、動画等の映像を、レンズ系１００、絞り１０１、ローパスフィルタ１０２および単板式のＣＣＤ１０３を有する撮像系で撮影し、この撮像系のＣＣＤ１０３から出力されるアナログ映像信号をＡ／Ｄ変換器１０４でデジタル信号に変換して、画像用バッファ１０５を介して測光評価部１０６、合焦点検出部１０７および信号処理部１０９へそれぞれ転送する。
【００４４】
測光評価部１０６は、絞り１０１およびＣＣＤ１０３にそれぞれ接続し、合焦点検出部１０７はＡＦモータ１０８に接続する。また、信号処理部１０９は、階調変換部（階調変換手段）１１０およびＤ／Ａ変換器１１１を経てモニタやビデオレコーダなどの出力部１１２に接続すると共に、選択部（選択手段）１１３を経て検出部（検出手段）１１４および算出部（算出手段）１１５にそれぞれ接続する。また、階調変換部１１０には、算出部１１５および標準階調曲線ＲＯＭ（標準階調曲線記録手段）１１６をそれぞれ接続する。
【００４５】
上記の測光評価部１０６、合焦点検出部１０７、信号処理部１０９、階調変換部１１０、出力部１１２、選択部１１３、検出部１１４、算出部１１５は、さらにマイクロコンピュータなどの制御部１１７に接続し、制御部１１７には、さらに電源スイッチ、シャッタボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部Ｉ／Ｆ部１１８を接続する。ここで、制御部１１７は全体の動作を制御する制御手段を構成する他、初期化検出手段、撮影条件検出手段およびリセット手段も構成する。なお、図１、図２および図４〜図６において、太線の実線で示す信号ラインは映像信号ラインを示し、細線の実線で示す信号ラインは制御信号ラインを示し、破線で示す信号ラインはその他のデータラインを示している。
【００４６】
図１に示す撮像システムは、使用者が外部Ｉ／Ｆ部１１８を介して画像サイズやフレーム数などの撮影条件を指定し、その後、シャッタボタンを押すことにより撮影を開始する。この撮影開始によりＣＣＤ１０３から得られる映像信号は、Ａ／Ｄ変換器１０４でデジタル信号に変換して画像用バッファ１０５へ転送して格納する。本実施の形態では、デジタル化された信号の階調幅を例えば１２ビットとする。
【００４７】
画像用バッファ１０５へ転送された映像信号は、測光評価部１０６および合焦点検出部１０７へそれぞれ転送する。測光評価部１０６では、映像信号から画像中の輝度レベル（露光条件）を算出し、その輝度レベルに基づいて適正露光となるように絞り１０１やＣＣＤ１０３の電子シャッタ速度などを制御する。また、合焦点検出部１０７では、映像信号から画像中のエッジ強度（合焦条件）を検出し、そのエッジ強度が最大となるように、すなわち合焦画像が得られるようにＡＦモータ１０８を制御する。これら測光評価部１０６で算出された露光条件、および合焦点検出部１０７で検出された合焦条件などの撮影時の条件は、制御部１１７へ転送する。
【００４８】
信号処理部１０９では、制御部１１７の制御のもとに、画像用バッファ１０５上の単板状態の映像信号を読み込み、その映像信号に基づいて公知の補間処理、ホワイトバランス処理、強調処理などを行なって三板状態の映像信号を生成し、その生成した映像信号を選択部１１３により所定時間間隔で選択して検出部１１４へ転送する。
【００４９】
検出部１１４では、選択された映像信号（画像）から所定の特性情報を算出し、その算出した特性情報と、前回選択された画像から既に算出されている特性情報とを比較してシーン変化の有無を検出し、その結果を制御部１１７へ転送する。
【００５０】
制御部１１７では、検出部１１４からの信号に基づいて、シーン変化が検出された場合には、算出部１１５において選択部１１３で選択された画像に基づいて新たな階調変換曲線を算出して階調変換部１１０へ転送するように制御する。
【００５１】
これに対し、シーン変化が検出されなかった場合には、算出部１１５で新たな階調変換曲線を算出することなく、階調変換部１１０において現在使用している階調変換曲線の使用を継続させるように制御する。なお、電源投入時などの初期化状況を制御部１１７が検知した場合は、階調変換部１１０において標準階調曲線ＲＯＭ１１６に格納されている階調変換曲線を読み込むように制御する。
【００５２】
階調変換部１１０では、上記のようにして得られた階調変換曲線に基づいて信号処理部１０９からの信号を出力系の階調幅に整合するように変換する。本実施の形態では、出力系の階調幅を、例えば８ビットとする。この階調変換部１１０から出力されるデジタル映像信号は、Ｄ／Ａ変換器１１１でアナログの映像信号に変換して、モニタやビデオレコーダなどの出力部１１２へ出力する。
【００５３】
次に、上記の選択部１１３、検出部１１４、算出部１１５、および階調変換部１１０の各部の詳細な構成および動作について説明する。
【００５４】
図２は、選択部１１３の一例の構成を示すブロック図である。この選択部１１３は、時間設定部（時間設定手段）２００、関数用ＲＯＭ２０１、画像読み込み部２０２、縮小部（縮小手段）２０３、縮小画像用バッファ２０４を有している。時間設定部２００は、制御部１１７、関数用ＲＯＭ２０１および画像読み込み部２０２に接続し、画像読み込み部２０２は、さらに制御部１１７、信号処理部１０９および縮小部２０３に接続し、縮小部２０３は、さらに縮小画像用バッファ２０４に接続し、縮小画像用バッファ２０４は、さらに検出部１１４および算出部１１５にそれぞれ接続する。
【００５５】
時間設定部２００には、制御部１１７を経て測光評価部１０６、合焦点検出部１０７、外部Ｉ／Ｆ部１１８からの情報を転送する。時間設定部２００では、外部Ｉ／Ｆ部１１８から得られる画像サイズやフレーム数などの情報に基づいて関数用ＲＯＭ２０１に設定された関数から画像を選択する時間間隔を決定する。
【００５６】
図３は、関数用ＲＯＭ２０１に設定される時間設定用関数の一例を示すものである。この時間設定関数は、後段の処理系に対する負荷が増加しないように、画像サイズまたはフレーム数が大きくなるに従って時間間隔が長く設定されるようになっている。
【００５７】
なお、フレーム数が０の場合は静止画像撮影を意味し、この場合の時間間隔は０となり、全ての画像が選択されることになる。また、時間設定部２００は、測光評価部１０６、合焦点検出部１０７からの測光、合焦条件が急変した場合にはシーン変化が生じたと判断し、時間間隔を０に設定する。これ以外にも、ホワイトバランス、レンズのズーム位置、カメラの移動などの情報を用いてシーン変化を検出することも可能である。さらに、シーン変化量が所定値を越えて、現在の階調変換曲線では画像が破綻する可能性が高い場合には、新たな階調変換曲線の算出を待たずに標準階調曲線ＲＯＭ１１６の階調変換曲線へ切り換えることも可能である。また、上記の時間設定用関数を複数用意して、目的に応じて切り換えるなどの拡張も可能である。
【００５８】
画像読み込み部２０２は、時間設定部２００による制御に基づいて所定の時間間隔で信号処理部１０９からの信号を読み込んで縮小部２０３へ転送する。縮小部２０３は、予め定められた縮小率、例えば１／８等で画像を縮小処理し、縮小画像用バッファ２０４へ転送して格納する。なお、縮小部２０３における縮小率は、固定にする必要はなく、可変にしても良い。例えば、縮小画像サイズと選択する時間間隔とから単位時間内の情報量を求め、この情報量が一定値以下になるように縮小率を制御することも可能である。
【００５９】
縮小画像用バッファ２０４は、複数枚の縮小画像を記録できるリング状バッファで、バッファが一杯になると古い画像から上書きするように構成する。この縮小画像用バッファ２０４内の縮小画像は、検出部１１４または算出部１１５へ転送する。
【００６０】
図４は、検出部１１４の一例の構成を示すブロック図である。この検出部１１４は、輝度算出部（輝度算出手段）３００、輝度値用バッファ３０１、および判断部（判断手段）３０２を有している。輝度算出部３００は、制御部１１７および選択部１１３にそれぞれ接続すると共に、輝度値用バッファ３０１を経て判断部３０２に接続し、判断部３０２は、さらに制御部１１７に接続する。
【００６１】
輝度算出部３００は、制御部１１７による制御に基づいて選択部１１３から上記の縮小画像を取り込み、縮小画像の平均輝度値を算出する。この平均輝度値は輝度値用バッファ３０１へ転送して保存する。輝度値用バッファ３０１は、平均輝度値を記録するリング状バッファで、バッファが一杯になると、古い平均輝度値から上書きするように構成する。
【００６２】
判断部３０２は、輝度値用バッファ３０１からの平均輝度値の時系列的な変化を監視し、所定の閾値以上の変化が所定回数連続して発生した場合にシーン変化が生じたと判断する。この判断結果は、制御部１１７へ転送する。
【００６３】
図５は、算出部１１５の一例の構成を示すブロック図である。この算出部１１５は、輝度算出部（分離手段）４００、適正露光抽出部（抽出手段）４０１、エッジ抽出部（特徴量算出手段）４０２、ヒストグラム作成部（ヒストグラム作成手段）４０３、および変換曲線算出部（階調変換曲線算出手段）４０４を有している。輝度算出部４００は、制御部１１７および選択部１１３にそれぞれ接続すると共に、適正露光抽出部４０１を介してエッジ抽出部４０２に接続し、またヒストグラム作成部４０３を介して変換曲線算出部４０４に接続する。適正露光抽出部４０１は、さらに制御部１１７に接続し、ヒストグラム作成部４０３は、さらに適正露光抽出部４０１およびエッジ抽出部４０２にそれぞれ接続し、変換曲線算出部４０４は、さらに制御部１１７および階調変換部１１０にそれぞれ接続する。
【００６４】
輝度算出部４００は、制御部１１７による制御のもとに、検出部１１４でシーン変化が検出された場合に、選択部１１３からの上記の縮小画像を取り込んで、その輝度を算出する。この輝度算出部４００で算出された輝度信号は、適正露光抽出部４０１で暗部および明部に関する所定の閾値（例えば１２ビット階調なら暗部が「１２８」、明部が「３９６８」）と比較し、暗部の閾値以上で明部の閾値以下の輝度信号を適性露光域として抽出して、エッジ抽出部４０２およびヒストグラム作成部４０３へそれぞれ転送する。
【００６５】
エッジ抽出部４０２では、適正露光抽出部４０１からの輝度信号に対して公知のエッジ検出を行ない、所定の閾値以上のエッジ強度を有する画素をエッジ部として抽出し、その情報をヒストグラム作成部４０３へ転送する。
【００６６】
ヒストグラム作成部４０３では、上記の適性露光域の情報とエッジ部の情報とに基づいて、輝度算出部４００からの輝度信号の中から、適正露光域内のエッジ部における輝度信号のヒストグラムを作成して変換曲線算出部４０４へ転送する。
【００６７】
変換曲線算出部４０４では、ヒストグラム作成部４０３からのヒストグラムを累積することで階調変換曲線を求め、それを階調変換部１１０へ転送する。
【００６８】
図６は、階調変換部１１０の一例の構成を示すブロック図である。この階調変換部１１０は、Ｙ／Ｃ分離部５００、輝度信号バッファ５０１、色差信号バッファ５０２、輝度補正部５０３、階調変換曲線読み込み部（転送手段）５０４、補正輝度信号バッファ５０５、色差補正部５０６、およびＹ／Ｃ合成部５０７を有している。
【００６９】
Ｙ／Ｃ分離部５００は、信号処理部１０９に接続すると共に、輝度信号バッファ５０１および色差信号バッファ５０２にそれぞれ接続する。輝度信号バッファ５０１は、さらに色差補正部５０６に接続すると共に、輝度補正部５０３および補正輝度信号バッファ５０５を経てＹ／Ｃ合成部５０７に接続する。色差信号バッファ５０２は、さらに色差補正部５０６を経てＹ／Ｃ合成部５０７に接続する。また、補正輝度信号バッファ５０５は、さらに色差補正部５０６に接続し、Ｙ／Ｃ合成部５０７は、さらにＤ／Ａ変換器１１１に接続する。さらに、階調変換曲線読み込み部５０４は、算出部１１５および標準階調曲線ＲＯＭ１１６に接続すると共に、輝度補正部５０３に接続する。さらに、上記のＹ／Ｃ分離部５００、輝度補正部５０３、階調変換曲線読み込み部５０４、色差補正部５０６、およびＹ／Ｃ合成部５０７は制御部１１７にそれぞれ接続する。
【００７０】
信号処理部１０９からの映像信号は、Ｙ／Ｃ分離部５００で輝度信号と色差信号とに分離して、輝度信号を輝度信号バッファ５０１に、色差信号を色差信号バッファ５０２にそれぞれ格納する。また、階調変換曲線読み込み部５０４は、制御部１１７による制御のもとに、電源投入などの初期化状況が検出された場合には、標準階調曲線ＲＯＭ１１６に格納されている標準の階調変換曲線を読み込み、検出部１１４にてシーン変化が検出された場合には、算出部１１５からの新規の階調変換曲線を読み込む。
【００７１】
輝度信号バッファ５０１に格納された輝度信号は、輝度補正部５０３および色差補正部５０６にそれぞれ転送する。輝度補正部５０３では、輝度信号バッファ５０１からの輝度信号を、階調変換曲線読み込み部５０４に読み込まれた所定の階調変換曲線に基づいて出力系の階調幅、本実施の形態では８ビットに変換し、その変換した輝度信号を補正輝度信号バッファ５０５を経て、Ｙ／Ｃ合成部５０７および色差補正部５０６にそれぞれ転送する。
【００７２】
また、色差信号バッファ５０２に格納された色差信号は、色差補正部５０６へ転送する。色差補正部５０６では、輝度信号バッファ５０１および補正輝度信号バッファ５０５からの階調変換前後の輝度信号と色の存在し得る理論限界モデルとに基づいて色差信号を補正する補正係数を算出し、この算出した補正係数により色差信号バッファ５０２からの色差信号を補正して、その補正された色差信号をＹ／Ｃ合成部５０７へ転送する。
【００７３】
Ｙ／Ｃ合成部５０７では、補正輝度信号バッファ５０５からの階調変換後の輝度信号と、色差補正部５０６からの補正された色差信号とを合成し、その合成された映像信号をＤ／Ａ変換器１１１へ転送する。
【００７４】
このように、本実施の形態では、時系列的に撮像される画像に対して、選択部１１３で画像サイズやフレーム数などの撮影条件に適した時間間隔で画像を選択し、その選択された画像の特性に基づいて検出部１１４でシーン変化の有無を検出し、画像自体あるいはその測光情報や合焦情報からシーン変化が検出された場合には算出部１１５で新規の階調変換曲線を算出し、シーン変化が検出された場合には算出部１１５で新たに算出された階調変換曲線を用いて、またシーン変化が検出されない場合には現在の階調変換曲線を用いて階調変換部１１０で各画像の階調特性を変換するようにしたので、適切なタイミングで階調変換曲線を算出でき、高品位の画像を得ることができる。また、選択された画像からシーン変化を検出する際に、画像を縮小処理するようにしたので、処理系を小規模かつ低コストにできると共に、縮小処理することにより画像の微小変化が吸収されるので安定した画像を得ることができる。しかも、特定領域からではなく、画像全体からシーン変化を検出するようにしたので、被写体位置によることなくシーン変化を検出することができる。また、標準階調曲線を格納する標準階調曲線ＲＯＭ１１６を設けたので、初期化状況などにも対応することができる。
【００７５】
図７〜図１０は本発明の第２実施の形態を示すもので、図７は撮像システム全体の構成を示すブロック図、図８は図７に示す検出部の一例の構成を示すブロック図、図９は図８に示す検出部におけるヒストグラムの類似度性算出を説明するための図、図１０は図７に示す記録部の一例の構成を示すブロック図である。
【００７６】
本実施の形態の撮像システムは、第１実施の形態における撮像システムにおいて、画像用バッファ１０５に代えて第１画像用バッファ６００、第２画像用バッファ６０１および合成部（合成手段）６０２を設けると共に、検出部１１４、算出部１１５、制御部１１７、および階調変換部１１０にそれぞれ接続して記録部６０３を付加し、さらに検出部１１４を第１実施の形態とは異なる構成としたものであり、その他の構成は第１実施の形態と同様であるので、同様の作用を行なう構成要素には同一参照番号を付して、その詳細な説明は省略する。
【００７７】
図７において、第１画像用バッファ６００および第２画像用バッファ６０１は、Ａ／Ｄ変換器１０４に接続すると共に、合成部６０２を経て信号処理部１０９に接続し、第１画像用バッファ６００はさらに測光評価部１０６および合焦点検出部１０７に接続する。なお、図７、図８および図１０において、太線の実線で示す信号ラインは映像信号ラインを示し、細線の実線で示す信号ラインは制御信号ラインを示し、破線で示す信号ラインはその他のデータラインを示している。
【００７８】
図７に示す撮像システムは、使用者が外部Ｉ／Ｆ部１１８を介して画像サイズやフレーム数などの撮影条件を指定し、その後、シャッタボタンを押すことにより撮影を開始する。この撮影開始によりＣＣＤ１０３から得られる映像信号は、Ａ／Ｄ変換器１０４でデジタル信号に変換し、長時間露光用画像として第１画像用バッファ６００へ転送して格納する。本実施の形態では、デジタル化された信号の階調幅を、第１実施の形態と同様に例えば１２ビットとする。この第１画像用バッファ６００に格納された映像信号は、測光評価部１０６および合焦点検出部１０７へそれぞれ転送して、露光条件および合焦条件を算出する。
【００７９】
次に、測光評価部１０６で算出された露光条件に対して所定の露光比、例えば１／８となるような露光条件で２枚目の画像を撮影し、その映像信号をＡ／Ｄ変換器１０４でデジタル信号に変換して、短時間露光画像として第２画像用バッファ６０１へ転送して格納する。
【００８０】
合成部６０２では、第１画像用バッファ６００に格納された長時間露光画像および第２画像用バッファ６０１に格納された短時間露光用画像を順に読み込み、まず、長時間露光画像に関して所定の閾値（例えば１２ビット階調なら「３８９０」）以下の領域の信号を適性露光領域として残し、次に、適性露光領域以外の領域に対応する短時間露光画像を読み込み、その露光比を補正して（例えば短時間露光が長時間露光に対して１／８の露光比に設定されている場合には８倍に補正して）、長時間露光の適正露光領域の画像と合成する。この合成部６０２で合成した映像信号は、信号処理部１０９へ転送し、ここで第１実施の形態と同様に処理して三板状態の映像信号を生成する。
【００８１】
信号処理部１０９で生成した映像信号は、第１実施の形態と同様に、選択部１１３において所定時間間隔で選択して検出部１１４へ転送する。
【００８２】
検出部１１４では、第１実施の形態と同様に、選択された映像信号（画像）から所定の特性情報を算出して、その算出した特性情報と、前回選択された画像から既に算出されている特性情報とを比較してシーン変化の有無を検出するが、ここでシーン変化が検出された場合には、記録部６０３に記録されている過去の特性情報を参照して類似する特性情報が記録されているか否かを判断し、それらの結果を制御部１１７へ転送する。
【００８３】
制御部１１７は、検出部１１４からの信号に基づいて、シーン変化が検出され、かつ記録部６０３に類似する特性情報が存在する場合には、その類似する特性情報に対応する階調変換曲線を記録部６０３から読み込むように階調変換部１１０を制御する。また、シーン変化が検出され、かつ記録部６０３に類似する特性情報が存在しない場合には、算出部１１５において選択部１１３で選択された画像から新たな階調変換曲線を算出して階調変換部１１０へ転送するように制御すると同時に、算出部１１５で算出した新たな階調変換曲線と、検出部１１４で算出した画像の特性情報とを記録部６０３へ転送して、両者を組として保存する。
【００８４】
これに対し、シーン変化が検出されなかった場合には、第１実施の形態と同様に、算出部１１５で新たな階調変換曲線を算出することなく、現在使用している階調変換曲線の使用を継続するように階調変換部１１０を制御する。なお、電源投入時などの初期化状況を制御部１１７が検知した場合は、階調変換部１１０において標準階調曲線ＲＯＭ１１６に格納されている階調変換曲線を読み込むように制御する。
【００８５】
階調変換部１１０では、上記のようにして得られた階調変換曲線に基づいて信号処理部１０９からの信号を出力系の階調幅に整合するように変換する。本実施の形態では、出力系の階調幅を、例えば８ビットとする。この階調変換部１１０から出力されるデジタル映像信号は、Ｄ／Ａ変換器１１１でアナログの映像信号に変換して、モニタやビデオレコーダなどの出力部１１２へ出力する。
【００８６】
図８は、図７に示した検出部１１４の一例の構成を示すブロック図である。この検出部１１４は、ヒストグラム算出部（ヒストグラム算出手段）７００、ヒストグラム用バッファ７０１、判断部（判断手段）７０２、類似度算出部（類似度算出手段）７０３、および階調変換曲線指定部（読み出し手段）７０４を有している。ヒストグラム算出部７００、判断部７０２、類似度算出部７０３、および階調変換曲線指定部７０４は、制御部１１７にそれぞれ接続する。また、ヒストグラム算出部７００は、さらに選択部１１３に接続すると共に、ヒストグラム用バッファ７０１を介して、記録部６０３、判断部７０２、および類似度算出部７０３にそれぞれ接続する。判断部７０２は、さらに類似度算出部７０３に接続し、類似度算出部７０３は、さらに記録部６０３および階調変換曲線指定部７０４に接続し、階調変換曲線指定部７０４は、さらに記録部６０３に接続する。
【００８７】
図８に示す検出部１１４において、ヒストグラム算出部７００は、制御部１１７の制御に基づいて選択部１１３から縮小画像を取り込み、その縮小画像のヒストグラムを算出する。このヒストグラムは、ヒストグラム用バッファ７０１へ転送して保存する。ヒストグラム用バッファ７０１は、ヒストグラムを記録できるリング状バッファで、バッファが一杯になると、古いヒストグラムから上書きするよう構成する。
【００８８】
判断部７０２は、ヒストグラム用バッファ７０１からのヒストグラムの形状変化を監視して、所定以上の形状変化が発生し、その状況が所定回数連続した場合にシーン変化が生じたものと判断して、その判断結果を制御部１１７へ転送する。
【００８９】
ここで、シーン変化が生じたと判断された場合には、制御部１１７により類似度算出部７０３を制御して、シーン変化が生じたと判断されたヒストグラム用バッファ７０１上のヒストグラムと記録部６０３に記録されているヒストグラムとの類似度を求める。
【００９０】
図９は、この類似度算出法を説明するための図で、図９（ａ）はヒストグラム用バッファ７０１上のヒストグラムと、そのヒストグラムに対する所定の許容範囲、例えば±２０％の範囲のヒストグラムとを示しており、図９（ｂ）は記録部６０３に記録されている比較対象となる過去のヒストグラムを示しており、図９（ｃ）はある階調値に対するヒストグラム用バッファ７０１上のヒストグラムおよびその許容範囲と、記録部６０３上の比較対象となる過去のヒストグラムの値とを示している。
【００９１】
類似度算出部７０３では、記録部６０３上の過去のヒストグラムの値が許容範囲内に含まれるかを階調値を変えながら順次判断する。ここで、許容範囲内に含まれる階調値の総数が全階調値に対して所定の割合以上、例えば７０％以上の場合には、両者のヒストグラムは類似度が高いと判断し、それ以外の場合には類似度が低いと判断して、その結果を制御部１１７へ転送する。なお、上記ヒストグラムの類似度を判断する際に使用する許容範囲は、全階調で一定である必要はなく、例えば暗部や明部では広く、あるいは無視するように設定し、中間調では狭く設定することも可能である。この場合、主要被写体が存在するであろう中間調での判断基準が厳しくなり、より類似度の高い階調変換曲線が選択されることになる。
【００９２】
ここで、類似度が高いと判断された場合には、制御部１１７は階調変換曲線指定部７０４を制御して、記録部６０３から上記ヒストグラムと組になっている階調変換曲線を選択し、その情報を制御部１１７へ転送する。これに対し、記録部６０３に記録されている全ヒストグラムに対して類似度が低いと判断された場合には、制御部１１７は算出部１１５に対して新規の階調変換曲線を算出するように制御する。
【００９３】
図１０は、図７に示した記録部６０３の一例の構成を示すブロック図である。この記録部６０３は、特性記録部８００、階調変換曲線記録部８０１、監視部（監視手段）８０２、履歴管理部（履歴管理手段）８０３、および破棄制御部（破棄手段）８０４を有している。なお、特性記録部８００および階調変換曲線記録部８０１は、特性記録部・階調変換曲線記録手段を構成している。監視部８０２、履歴管理部８０３、および破棄制御部８０４は、制御部１１７にそれぞれ接続する。特性記録部８００は、検出部１１４、監視部８０２および破棄制御部８０４にそれぞれ接続し、監視部８０２は、さらに階調変換曲線記録部８０１および破棄制御部８０４にそれぞれ接続し、破棄制御部８０４は、さらに階調変換曲線記録部８０１および履歴管理部８０３に接続する。また、階調変換曲線記録部８０１は、さらに、算出部１１５、履歴管理部８０３および階調変換部１１０にそれぞれ接続する。
【００９４】
図１０に示す記録部６０３において、特性記録部８００は検出部１１４からの画像の特性情報を、階調変換曲線記録部８０１は算出部１１５からの階調変換曲線をそれぞれ組として記録する。監視部８０２は、特性記録部８００、階調変換曲線記録部８０１の残量を監視し、所定残量以下になると制御部１１７へ通知する。
【００９５】
一方、履歴管理部８０３は、階調変換曲線記録部８０１上の階調変換曲線に対して、階調変換部１１０により読み込まれた回数を履歴情報として管理する。制御部１１７は、監視部８０２からの残量が所定残量以下なった場合の通知を受けて破棄制御部８０４を起動する。破棄制御部８０４は、履歴管理部８０３からの履歴情報に基づいて、階調変換部１１０により読み込まれた回数の最も少ない階調変換曲線を選択すると共に、その階調変換曲線と組となる特性情報を選択し、それらの選択した階調変換曲線および特性情報を階調変換曲線記録部８０１および特性記録部８００からそれぞれ破棄すると共に、履歴管理部８０３の履歴情報を破棄して、残量を回復させる。
【００９６】
このように、本実施の形態では、ＣＣＤ１０３の階調幅を超える広ダイナミックレンジの画像群を得、そのシーン変化に基づいて階調変換曲線を算出するようにしたので、白飛びや黒潰れの少ない高品位の出力画像を得ることができる。また、一度算出した画像の特性情報と階調変換曲線とを組にして記録しておき、シーン変化が発生したときは、記録しておいた特性情報との類似度を判断し、類似度が高い場合には、その特性情報と対応して記録しておいた階調変換曲線を用いるようにしたので、無駄な演算を行う必要が無くなりシーン変化に対して迅速に適応することができる。さらに、特性情報および階調変換曲線を記録するにあたり、過去に使用された履歴情報から使用頻度の少ないものを優先的に消去するようにしたので、少ないメモリ量でも効率的に記録することができる。
【００９７】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、第１実施の形態では、検出部１１４を輝度値に基づいてシーン変化の有無を検出するように構成したが、第２実施の形態のようにヒストグラムに基づいてシーン変化の有無を検出するように構成したり、あるいは図１１に示すように動きベクトルに基づいてシーン変化の有無を検出するように構成することもできる。
【００９８】
すなわち、図１１に示す検出部１１４は、第１画像バッファ３１０、第２画像バッファ３１１、動きベクトル算出部（動きベクトル算出手段）３１２、動きベクトル用バッファ３１３、および判断部（判断手段）３１４を有している。動きベクトル算出部３１２および判断部３１４は、制御部１１７にそれぞれ接続し、第１画像バッファ３１０および第２画像バッファ３１１は、選択部１１３にそれぞれ接続すると共に、動きベクトル算出部３１２にそれぞれ接続する。また、動きベクトル算出部３１２は、さらに動きベクトル用バッファ３１３を介して判断部３１４に接続する。なお、図１１において、太線の実線で示す信号ラインは映像信号ラインを示し、細線の実線で示す信号ラインは制御信号ラインを示し、破線で示す信号ラインはその他のデータラインを示している。
【００９９】
図１１に示す検出部１１４において、選択部１１３から時系列的に出力される縮小画像は、第１画像バッファ３１０および第２画像バッファ３１１に順次格納し、これら第１画像バッファ３１０および第２画像バッファ３１１に格納された時系列的に前後する２枚の縮小画像間で、動きベクトル算出部３１２において画像を所定のブロックに分割してマッチングを行なう公知の動き検出処理によりブロックごとに動きベクトルを検出し、その結果を動きベクトル用バッファ３１３へ転送して格納する。
【０１００】
判断部３１４では、動きベクトル用バッファ３１３から動きベクトル情報を読み出し、所定値以上の動きベクトルが所定数以上のブロックで検出された場合にシーン変化が生じたと判断し、その判断結果を制御部１１７へ転送する。
【０１０１】
また、このようにヒストグラムに基づいてシーン変化の有無を検出する場合には、算出部１１５においてヒストグラムに基づいて階調変換曲線を算出する際に、動きベクトルが検出されたブロックに対応する領域に重み係数を乗算して、その領域に重点的に階調幅を付与するなどの処理も可能である。
【０１０２】
さらに、検出部１１４は、上記の輝度値、ヒストグラム、あるいは動きベクトルの他にも、合焦情報の変化などを利用してシーン変化の有無を検出するよう構成することもできる。
【０１０３】
また、第２実施の形態では、長時間露光画像と、その長時間露光画像から求めた露光条件に対して所定の露光比の短時間露光画像との２枚の画像に基づいて広ダイナミックレンジの画像を生成するようにしたが、この第２実施の形態は、任意の異露光の画像群から広ダイナミックレンジの画像を生成する場合にも有効に適用することができると共に、第１実施の形態と同様に通常の一枚の画像を階調変換する場合にも有効に適用することができる。
【０１０４】
また、第２実施の形態では、検出部１１４をヒストグラムに基づいてシーン変化の有無を検出するように構成したが、第１実施の形態のように輝度値に基づいてシーン変化の有無を検出するように構成したり、図１１に示したように動きベクトルに基づいてシーン変化の有無を検出するように構成したり、あるいは合焦情報の変化などを利用してシーン変化の有無を検出するよう構成することもできる。
【図面の簡単な説明】
【図１】 本発明の第１実施の形態における撮像システムの全体の構成を示すブロック図である。
【図２】 図１に示す選択部の一例の構成を示すブロック図である。
【図３】 図２に示す選択部における時間設定用関数の説明図である。
【図４】 図１に示す検出部の一例の構成を示すブロック図である。
【図５】 図１に示す算出部の一例の構成を示すブロック図である。
【図６】 図１に示す階調変換部の一例の構成を示すブロック図である。
【図７】 本発明の第２実施の形態における撮像システムの全体の構成を示すブロック図である。
【図８】 図７に示す検出部の一例の構成を示すブロック図である。
【図９】 図８に示す検出部におけるヒストグラムの類似度性算出を説明するための図である。
【図１０】 図７に示す記録部の一例の構成を示すブロック図である。
【図１１】 検出部の変形例を示すブロック図である。
【符号の説明】
１００ レンズ系
１０１ 絞り
１０２ ローパスフィルタ
１０３ ＣＣＤ
１０４ Ａ／Ｄ変換器
１０５ 画像用バッファ
１０６ 測光評価部
１０７ 合焦点検出部
１０８ ＡＦモータ
１０９ 信号処理部
１１０ 階調変換部
１１１ Ｄ／Ａ変換器
１１２ 出力部
１１３ 選択部
１１４ 検出部
１１５ 算出部
１１６ 標準階調曲線ＲＯＭ
１１７ 制御部
１１８ 外部Ｉ／Ｆ部
６００ 第１画像用バッファ
６０１ 第２画像用バッファ
６０２ 合成部
６０３ 記録部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging system in which the gradation width of an imaging system that obtains images in a time series is wider than the gradation width in the output system, and appropriately updates the gradation conversion curve that appropriately converts the gradation width. The present invention relates to an imaging system that obtains a high-quality output image.
[0002]
[Prior art]
For example, in a digital video camera, in order to prevent deterioration in image quality due to digit loss in digital signal processing, the gradation width of the image in the input and processing system is set to the gradation width of the final output image (usually 8 bits). More generally, it is set to about 10 to 12 bits. In this case, it is necessary to perform gradation conversion so as to match the gradation width of the output system. There has also been proposed a method of generating a wide dynamic range image with a wider gradation width by combining a plurality of images having different exposure amounts. In this case as well, it is necessary to perform gradation conversion so that the obtained wide dynamic range image matches the gradation width of the output system.
[0003]
As a method for performing the above-described gradation conversion, conventionally, gradation conversion is performed using a fixed gamma curve adapted to a standard scene, an applicable gradation conversion curve based on a histogram, or the like. As disclosed in Japanese Patent No. 307896, a method has been proposed in which an image is captured at regular intervals, and gradation conversion is performed based on luminance statistics of a specific region of the captured image (for example, the center of the image). ing.
[0004]
[Problems to be solved by the invention]
However, when the gradation conversion is fixedly performed by gamma conversion or the like, the appropriate gradation conversion cannot be performed according to the changing scene, and the gradation conversion is applied to an applicable gradation based on a histogram or the like. In the case of using a conversion curve, there is a problem that appropriate gradation conversion cannot be performed unless the gradation conversion curve is calculated at an appropriate timing in accordance with a scene change at the time of shooting.
[0005]
In addition, as disclosed in the above Japanese Patent Laid-Open No. 2000-307896, when an image is captured at regular intervals and gradation conversion is performed based on the luminance statistics of the specific area, there is no scene change. Even if it is not necessary to calculate the tone conversion curve, it is calculated and is wasteful, and even if a scene change occurs, the tone conversion curve is not calculated unless the timing is met. Therefore, there is a problem that appropriate gradation conversion cannot be performed.
[0006]
In addition, since a specific area such as the center of the image is set, there is a problem that it is not possible to cope with detection of scene changes in other areas, and the gradation conversion curve is regularly updated, so the screen is stable. There is also the problem of impairing sex.
[0007]
Recently, video distribution via a network has also been carried out. In this case, the image size, frame rate, etc. will change depending on the delivery conditions. However, the above-described conventional technology automatically adjusts the timing for calculating the gradation conversion curve in response to changes in the image size and frame rate. Therefore, there is a problem that appropriate gradation conversion cannot be performed.
[0008]
Accordingly, an object of the present invention made in view of such a point is that the timing for calculating the gradation conversion curve for converting the gradation width of the image obtained in time series is influenced by the screen position of the subject and the minute screen change. It is an object of the present invention to provide an imaging system that can automatically and optimally adjust according to scene changes and changes in shooting conditions, always perform appropriate gradation conversion, and obtain a stable gradation conversion screen.
[0009]
[Means for Solving the Problems]
  Above purposeAccording to the first aspect of the present invention, an image group having a continuous M-bit gradation width from the image pickup system is displayed as an image having an N-bit gradation width (M and N are natural numbers M ≧ N) in the output system. Convert it to a groupFor subsequent processing systemIn the imaging system that outputs,
  From the image group having the M-bit gradation width, the imaging systemBased on at least one shooting condition of the number of images shot per unit time, image size, exposure condition, focusing condition, white balance condition, zoom position, and camera position, the load on the subsequent processing system does not increase. As the image size or the number of frames increasesSelection means for selecting one image at time intervals;
  Detecting means for detecting a change in characteristic information between images sequentially selected by the selecting means;
  Calculation means for calculating a gradation conversion curve of the image selected by the selection means based on the detection result of the detection means;
  Based on the detection result of the detection means, when a change in the characteristic information is detected, a new gradation conversion curve calculated by the calculation means is used. Gradation conversion means for converting the image group having the M-bit gradation width into the image group having the N-bit gradation width, respectively, using the gradation conversion curve of
  It is characterized by having.
[0010]
According to the first aspect of the present invention, when the selection unit extracts an image at an appropriate timing based on the photographing condition, and when the change of the characteristic information of the extracted sequential images is detected by the detection unit, the selection unit A gradation conversion curve is calculated by the calculation means based on the image extracted in step, and an image group having an M-bit gradation width is converted to an N-bit gradation width by the gradation conversion means using the newly calculated gradation conversion curve. When it is converted into an image group and no change in the characteristic information is detected by the detection means, the image group having the M-bit gradation width is changed to the image group having the N-bit gradation width in the gradation conversion curve currently used by the gradation conversion means. Since it is converted, a tone conversion curve can be automatically set at an appropriate timing according to the scene change without unnecessary calculation, and therefore, tone conversion can always be appropriately performed in response to the scene change, and high quality. It is possible to obtain stable tone conversion screen.
[0011]
  The invention according to claim 2 converts an image group having continuous M-bit gradation width from the imaging system into an image group having an output system N-bit gradation width (M and N are natural numbers M ≧ N). do itFor subsequent processing systemIn the imaging system that outputs,
  From the image group having the M-bit gradation width, the imaging systemBased on at least one shooting condition of the number of images shot per unit time, image size, exposure condition, focusing condition, white balance condition, zoom position, and camera position, the load on the subsequent processing system does not increase. As the image size or the number of frames increasesSelection means for selecting one image at time intervals;
  Detecting means for detecting a change in characteristic information between images sequentially selected by the selecting means;
  Calculation means for selectively calculating a gradation conversion curve of the image selected by the selection means based on the detection result of the detection means;
  Recording means for recording a plurality of sets of characteristic information of the image selected by the selection means and the gradation conversion curves calculated by the calculation means for the image;
  When a change in the characteristic information is detected based on the detection result of the detection means, a new gradation conversion curve calculated by the calculation means or a past gradation conversion recorded in the recording means Tone conversion means for converting the image group having the M-bit gradation width into the image group having the N-bit gradation width using the current gradation conversion curve when no change in the characteristic information is detected using a curve When,
  It is characterized by having.
[0012]
According to the second aspect of the present invention, the selection unit extracts an image at an appropriate timing based on the photographing condition, the change of the characteristic information of the extracted sequential images is detected by the detection unit, and the characteristic of the image When the characteristic information corresponding to the information is not recorded in the recording means, a gradation conversion curve is calculated by the calculation means based on the image extracted by the selection means, and the newly calculated gradation conversion curve and The characteristic information of the image that characterizes the scene is recorded as a set on the recording means, and the gradation conversion means uses the newly calculated gradation conversion curve to convert an image group having an M-bit gradation width into an N-bit scale. It is converted into a group of images of the adjustment width. Further, when the change of the characteristic information is detected by the detecting means and the characteristic information corresponding to the characteristic information is recorded in the recording means, a gradation conversion curve corresponding to the characteristic information recorded in the recording means is obtained. When the gradation conversion unit converts the image group having the M-bit gradation width into the image group having the N-bit gradation width, and the change of the characteristic information is not detected by the detection unit, the gradation conversion curve is calculated by the calculation unit. Instead, the image group having the M-bit gradation width is converted into the image group having the N-bit gradation width by the gradation conversion curve currently used in the gradation converting means. Therefore, a tone conversion curve can be set automatically at an appropriate timing according to the scene change, and a tone conversion curve can be quickly and appropriately converted to a scene change without unnecessary calculation, and stable with high quality. A gradation conversion screen can be obtained.
[0013]
The invention according to claim 3 is the imaging system according to claim 1 or 2,
Further, the image processing apparatus further includes combining means for combining at least two frames or field-unit images captured with different exposure conditions for the same subject to generate an image group having the M-bit gradation width. is there.
[0014]
According to the third aspect of the present invention, gradation conversion is performed from an image having a gradation width or larger that can be handled by the imaging system by synthesizing images with different exposures to generate one wide dynamic range image. Therefore, it is possible to obtain a higher quality image with less black crushing and whiteout.
[0015]
  Moreover,The imaging system according to claim 1, 2, or 3.Is,
  The selection means is based on at least one shooting condition of the number of images shot per unit time by the imaging system, image size, exposure condition, focusing condition, white balance condition, zoom position, and camera position.The longer the image size or the number of frames, the greater the load on the subsequent processing system.Set time intervalTherefore, the selection unit selects an image at a timing according to the shooting situation, and the scene change detection ability is improved.
[0017]
  Claim4The invention according to claim 1 to claim 13In the imaging system according to any one of
  The selection means has a reduction means for reducing the selected image.
[0018]
  Claim4According to the invention, since the image selected by the selection unit is reduced and output, the subsequent processing can be reduced and a low-cost system can be realized. In addition, since minute changes in the image are absorbed at the stage of reduction, the characteristics of the gradation conversion curve calculated by the calculation means are stabilized, and accordingly, the image subjected to gradation conversion is easy to see. Furthermore, since a scene change can be detected not from a specific area but from the entire image, it is possible to detect a scene change regardless of the position of the subject.
[0019]
  Claim5The invention according to claim4In the imaging system described in
  The reduction means is configured to adaptively reduce the selected image so that the amount of information processed per unit time is equal to or less than a certain value based on the time interval. It is.
[0020]
  Claim5According to the invention, the selected image is reduced so that the amount of information to be processed per unit time is constant according to the time interval at which the image is selected. Therefore, the subsequent processing cannot be followed and the timing is delayed. It is possible to prevent tone conversion. Further, since the subsequent processing is reduced, a low-cost system can be realized, and a minute change in the image is absorbed at the stage of reduction, so that a stable gradation conversion curve can be calculated by the subsequent calculation means. it can. Furthermore, since a scene change can be detected not from a specific area but from the entire image, it is possible to detect a scene change regardless of the position of the subject.
[0021]
  Claim6The invention according to claim 1 to claim 15In the imaging system according to any one of
  The detecting means is
  As the characteristic information, luminance calculation means for calculating an average luminance level of the image selected by the selection means,
  Determining means for determining the presence or absence of a scene change based on a change in average brightness level between sequential images calculated by the brightness calculating means;
  It is characterized by having.
[0022]
  Claim6According to the invention, since the scene change is detected from the time-series change of the luminance value of the selected image, the scene change can be detected with a small amount of calculation and a low-cost processing system.
[0023]
  Claim7The invention according to claim 1 to claim 15In the imaging system according to any one of
  The detecting means is
  As the characteristic information, a motion vector calculation unit that calculates a motion vector from two sequential images selected by the selection unit;
  Determining means for determining the presence or absence of a scene change based on the motion vector calculated by the motion vector calculating means;
  It is characterized by having.
[0024]
  Claim7According to the invention, since the scene change is detected based on the time-series change of the motion vector, gradation conversion with emphasis on the main subject becomes possible, and a high-quality image can be obtained.
[0025]
  Claim8The invention according to claim 1 to claim 15In the imaging system according to any one of
  The detecting means is
  Histogram calculation means for calculating a histogram from the image selected by the selection means as the characteristic information;
  Determining means for determining the presence or absence of a scene change based on a change in histogram between sequential images calculated by the histogram calculating means;
  It is characterized by having.
[0026]
  Claim8According to the invention, since the scene change is detected from the time-series change of the histogram, the scene change can be detected with a relatively small amount of calculation and a low-cost processing system. Further, by placing emphasis on the intermediate gradation excluding the dark part and the bright part, the scene change detection ability can be improved.
[0027]
  Claim9The invention according to claim 2 is the imaging system according to claim 2 or 3,
  The detecting means is
  Similarity calculating means for calculating the similarity between the characteristic information of the image selected by the selecting means and a plurality of characteristic information recorded in the recording means;
  When the similarity calculated by the similarity calculating unit satisfies a predetermined condition, a reading unit that reads out from the recording unit a gradation conversion curve that forms a pair with the similar characteristic information;
  It is characterized by having.
[0028]
  Claim9According to the invention, when a scene change is detected, the similarity with the past characteristic information recorded in the recording unit is obtained, and when the similarity is high, the past characteristic information is paired. Since the tone conversion is performed using the past tone conversion curve recorded in this way, in the case of similar scenes, it is possible to omit the trouble of calculating the tone conversion curve and to perform high-speed processing. Become.
[0029]
  Claim10The invention according to claim 1 to claim 16In the imaging system according to any one of
  The detecting means is
  As a change in the characteristic information, a photographing condition detecting unit that detects a photographing condition of an exposure condition or a focusing condition of the image selected by the selecting unit;
  Determination means for determining the presence or absence of a scene change based on a change in shooting conditions between sequential images detected by the shooting condition detection means;
  It is characterized by having.
[0030]
  Claim10According to the invention, since a scene change is detected based on a change in the shooting condition of the image exposure condition or the focusing condition, a gradation conversion curve is automatically set at an appropriate timing according to the change of the shooting condition. can do.
[0031]
  Claim11The invention according to claim 1 to claim 110In the imaging system according to any one of
  The calculation means is
  Separation means for separating the image selected by the selection means into a luminance signal and a color difference signal;
  Extraction means for extracting an appropriate exposure area based on the luminance signal level separated by the separation means;
  A feature amount calculating means for calculating a feature amount relating to the appropriate exposure area extracted by the extracting means;
  Histogram creation means for creating a histogram based on the feature quantity calculated by the feature quantity calculation means;
  A gradation conversion curve calculating means for calculating a gradation conversion curve based on the histogram created by the histogram creating means;
  It is characterized by having.
[0032]
  Claim11According to the invention, since the gradation conversion curve is calculated based on the histogram representing the feature amount in the appropriate exposure area of the image selected by the selection unit, the flat background portion is removed and the main subject is emphasized. The tone conversion curve can be calculated, and a high-quality image can be obtained.
[0033]
  Claim12The invention according to claim 1 to claim 111In the imaging system according to any one of
  The calculation means further includes a control means for controlling the calculation means to calculate a gradation conversion curve only when a change in characteristic information is detected by the detection means.
[0034]
  Claim12According to the present invention, since the gradation conversion curve is calculated only when a scene change is detected, unnecessary calculation of the gradation conversion curve can be omitted, high-speed processing is possible, and The burden can be reduced.
[0035]
  Claim13The invention according to claim 2 is the imaging system according to claim 2 or 3,
  The recording means is
  Characteristic information / tone conversion curve recording means for recording the characteristic information and the gradation conversion curve;
  Monitoring means for monitoring the remaining amount of the recording area of the characteristic information / tone conversion curve recording means;
  History management means for managing the history of the gradation conversion curve read from the gradation conversion means;
  Based on the monitoring result of the history management unit, when the remaining amount of the recording area of the characteristic information / tone conversion curve recording unit is a predetermined value or less based on the monitoring result of the monitoring unit, Discarding means for discarding the characteristic information and gradation conversion curve with the smallest number of readouts from the characteristic information / tone conversion curve recording means,
  It is characterized by having.
[0036]
  Claim13According to the invention according to the present invention, when the remaining amount of the recording area in the characteristic information / tone conversion curve recording means for recording the image characteristic information and the gradation conversion curve is reduced, Since it is discarded from the characteristic information corresponding to it, when a scene change occurs, a frequently used one that has been used in the past will continue to be preferentially stored, and high-speed processing can be realized. .
[0037]
  Claim14The invention according to claim 1 to claim 113In the imaging system according to any one of
  Furthermore, a standard gradation conversion curve recording means for recording a standard gradation conversion curve;
  Initialization detection means for detecting the initialization status at power-on, etc .;
  Transfer means for transferring the standard gradation conversion curve recorded in the standard gradation conversion curve recording means to the gradation conversion means based on the output of the initialization detection means;
  It is characterized by having.
[0038]
  Claim14According to the invention according to the above, when it is determined that the initialization state, the standard gradation conversion curve that is recorded in advance is set, so that the gradation conversion curve is not calculated when the power is turned on. In this case, tone conversion is possible.
[0039]
  Claim15The invention according to claim 1 to claim 113In the imaging system according to any one of
  Furthermore, a standard gradation conversion curve recording means for recording a standard gradation conversion curve;
  Shooting condition detection that detects a change in shooting conditions based on at least one of the number of images shot per unit time, image size, exposure condition, focusing condition, white balance condition, zoom position, and camera position from the above imaging system Means,
  Transfer means for transferring a standard gradation conversion curve recorded in the standard gradation conversion curve recording means to the gradation conversion means based on a detection result in the photographing condition detection means;
  Reset means for selecting the current image by setting the time interval of image selection in the selection means to zero based on the detection result in the photographing condition detection means;
  It is characterized by having.
[0040]
  Claim15According to the invention, a standard gradation conversion curve is set when the shooting condition is changed, so that a gradation-converted image with little failure can be obtained, and a new gradation can be obtained with the image immediately after the change. Since the conversion curve is calculated, a high-quality gradation conversion image can be generated in a short time.
[0041]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of an imaging system according to the present invention will be described with reference to FIGS.
[0042]
1 to 6 show a first embodiment of the present invention. FIG. 1 is a block diagram showing a configuration of the entire imaging system. FIG. 2 is a block diagram showing an example of the configuration of a selection unit shown in FIG. FIG. 3 is an explanatory diagram of a time setting function in the selection unit, FIG. 4 is a block diagram illustrating a configuration of an example of the detection unit illustrated in FIG. 1, and FIG. 5 is a block diagram illustrating a configuration of an example of the calculation unit illustrated in FIG. FIG. 6 is a block diagram showing a configuration of an example of the gradation converting unit shown in FIG.
[0043]
In the imaging system shown in FIG. 1, an image such as a moving image is captured by an imaging system having a lens system 100, an aperture 101, a low-pass filter 102, and a single-plate CCD 103, and an analog video signal output from the CCD 103 of this imaging system is captured. The digital signal is converted by the A / D converter 104 and transferred to the photometric evaluation unit 106, the in-focus detection unit 107 and the signal processing unit 109 via the image buffer 105.
[0044]
The photometric evaluation unit 106 is connected to the diaphragm 101 and the CCD 103, and the focal point detection unit 107 is connected to the AF motor 108. The signal processing unit 109 is connected to an output unit 112 such as a monitor or a video recorder via a gradation conversion unit (gradation conversion unit) 110 and a D / A converter 111, and a selection unit (selection unit) 113. Then, it connects with the detection part (detection means) 114 and the calculation part (calculation means) 115, respectively. Further, the gradation conversion unit 110 is connected with a calculation unit 115 and a standard gradation curve ROM (standard gradation curve recording means) 116, respectively.
[0045]
The photometric evaluation unit 106, the in-focus detection unit 107, the signal processing unit 109, the gradation conversion unit 110, the output unit 112, the selection unit 113, the detection unit 114, and the calculation unit 115 are further added to the control unit 117 such as a microcomputer. The controller 117 is further connected to an external I / F unit 118 having a power switch, a shutter button, and an interface for switching various modes during photographing. Here, the control unit 117 constitutes a control means for controlling the entire operation, and also constitutes an initialization detection means, a photographing condition detection means, and a reset means. 1, 2, and 4 to 6, a signal line indicated by a bold solid line indicates a video signal line, a signal line indicated by a thin solid line indicates a control signal line, and a signal line indicated by a broken line indicates the others. The data line is shown.
[0046]
In the imaging system shown in FIG. 1, the user designates imaging conditions such as the image size and the number of frames via the external I / F unit 118, and then starts imaging by pressing the shutter button. The video signal obtained from the CCD 103 upon the start of photographing is converted into a digital signal by the A / D converter 104, transferred to the image buffer 105, and stored. In the present embodiment, the gradation width of the digitized signal is, for example, 12 bits.
[0047]
The video signal transferred to the image buffer 105 is transferred to the photometric evaluation unit 106 and the in-focus detection unit 107, respectively. The photometric evaluation unit 106 calculates a luminance level (exposure condition) in the image from the video signal, and controls the electronic shutter speed of the diaphragm 101 and the CCD 103 so as to achieve appropriate exposure based on the luminance level. The focus detection unit 107 detects the edge strength (focusing condition) in the image from the video signal, and controls the AF motor 108 so that the edge strength is maximized, that is, the focused image is obtained. To do. The exposure conditions calculated by the photometric evaluation unit 106 and the shooting conditions such as the focus condition detected by the focus detection unit 107 are transferred to the control unit 117.
[0048]
The signal processing unit 109 reads a single-panel video signal on the image buffer 105 under the control of the control unit 117, and performs known interpolation processing, white balance processing, enhancement processing, and the like based on the video signal. The three-plate video signal is generated, and the generated video signal is selected by the selection unit 113 at predetermined time intervals and transferred to the detection unit 114.
[0049]
The detection unit 114 calculates predetermined characteristic information from the selected video signal (image), compares the calculated characteristic information with characteristic information that has already been calculated from the previously selected image, and determines the scene change. The presence or absence is detected, and the result is transferred to the control unit 117.
[0050]
The control unit 117 calculates a new gradation conversion curve based on the image selected by the selection unit 113 in the calculation unit 115 when a scene change is detected based on the signal from the detection unit 114. Control to transfer to the gradation conversion unit 110.
[0051]
On the other hand, when no scene change is detected, the tone conversion unit 110 continues to use the tone conversion curve currently used without calculating a new tone conversion curve. To control. When the control unit 117 detects an initialization state such as when the power is turned on, the gradation conversion unit 110 controls the gradation conversion curve stored in the standard gradation curve ROM 116 to be read.
[0052]
The tone conversion unit 110 converts the signal from the signal processing unit 109 to match the tone width of the output system based on the tone conversion curve obtained as described above. In this embodiment, the gradation width of the output system is, for example, 8 bits. The digital video signal output from the gradation conversion unit 110 is converted into an analog video signal by the D / A converter 111 and output to the output unit 112 such as a monitor or a video recorder.
[0053]
Next, detailed configurations and operations of the respective units of the selection unit 113, the detection unit 114, the calculation unit 115, and the gradation conversion unit 110 will be described.
[0054]
FIG. 2 is a block diagram illustrating an exemplary configuration of the selection unit 113. The selection unit 113 includes a time setting unit (time setting unit) 200, a function ROM 201, an image reading unit 202, a reduction unit (reduction unit) 203, and a reduced image buffer 204. The time setting unit 200 is connected to the control unit 117, the function ROM 201, and the image reading unit 202. The image reading unit 202 is further connected to the control unit 117, the signal processing unit 109, and the reduction unit 203. The reduction unit 203 is Further, the reduced image buffer 204 is further connected to the detection unit 114 and the calculation unit 115, respectively.
[0055]
Information from the photometric evaluation unit 106, the in-focus detection unit 107, and the external I / F unit 118 is transferred to the time setting unit 200 via the control unit 117. The time setting unit 200 determines a time interval for selecting an image from a function set in the function ROM 201 based on information such as the image size and the number of frames obtained from the external I / F unit 118.
[0056]
FIG. 3 shows an example of a time setting function set in the function ROM 201. In this time setting function, the time interval is set longer as the image size or the number of frames increases so that the load on the processing system in the subsequent stage does not increase.
[0057]
If the number of frames is 0, it means still image shooting. In this case, the time interval is 0, and all images are selected. Also, the time setting unit 200 determines that a scene change has occurred when the photometry and focusing conditions from the photometry evaluation unit 106 and the focus detection unit 107 change suddenly, and sets the time interval to zero. In addition, it is also possible to detect a scene change using information such as white balance, lens zoom position, camera movement, and the like. Furthermore, if the scene change amount exceeds a predetermined value and there is a high possibility that the image will fail in the current gradation conversion curve, the standard gradation curve ROM 116 is not waiting for calculation of a new gradation conversion curve. It is also possible to switch to a tone conversion curve. Also, it is possible to expand such as preparing a plurality of the above time setting functions and switching them according to the purpose.
[0058]
The image reading unit 202 reads a signal from the signal processing unit 109 at a predetermined time interval based on control by the time setting unit 200 and transfers the signal to the reduction unit 203. The reduction unit 203 reduces the image at a predetermined reduction rate, for example, 1/8, and transfers the image to the reduced image buffer 204 for storage. Note that the reduction ratio in the reduction unit 203 need not be fixed, but may be variable. For example, the amount of information within a unit time can be obtained from the reduced image size and the selected time interval, and the reduction rate can be controlled so that this amount of information is not more than a certain value.
[0059]
The reduced image buffer 204 is a ring-shaped buffer capable of recording a plurality of reduced images, and is configured to overwrite an old image when the buffer is full. The reduced image in the reduced image buffer 204 is transferred to the detection unit 114 or the calculation unit 115.
[0060]
FIG. 4 is a block diagram illustrating an exemplary configuration of the detection unit 114. The detection unit 114 includes a luminance calculation unit (luminance calculation unit) 300, a luminance value buffer 301, and a determination unit (determination unit) 302. The luminance calculation unit 300 is connected to the control unit 117 and the selection unit 113, and is connected to the determination unit 302 via the luminance value buffer 301. The determination unit 302 is further connected to the control unit 117.
[0061]
The luminance calculation unit 300 takes in the reduced image from the selection unit 113 based on the control by the control unit 117, and calculates the average luminance value of the reduced image. The average luminance value is transferred to the luminance value buffer 301 and stored. The luminance value buffer 301 is a ring-shaped buffer that records the average luminance value, and is configured to overwrite the old average luminance value when the buffer is full.
[0062]
The determination unit 302 monitors a time-series change in the average luminance value from the luminance value buffer 301, and determines that a scene change has occurred when a change equal to or greater than a predetermined threshold has occurred continuously a predetermined number of times. This determination result is transferred to the control unit 117.
[0063]
FIG. 5 is a block diagram illustrating an exemplary configuration of the calculation unit 115. The calculation unit 115 includes a luminance calculation unit (separation unit) 400, a proper exposure extraction unit (extraction unit) 401, an edge extraction unit (feature amount calculation unit) 402, a histogram generation unit (histogram generation unit) 403, and a conversion curve calculation. Part (gradation conversion curve calculation means) 404. The luminance calculation unit 400 is connected to the control unit 117 and the selection unit 113, connected to the edge extraction unit 402 via the appropriate exposure extraction unit 401, and connected to the conversion curve calculation unit 404 via the histogram creation unit 403. To do. The appropriate exposure extraction unit 401 is further connected to the control unit 117, the histogram creation unit 403 is further connected to the appropriate exposure extraction unit 401 and the edge extraction unit 402, and the conversion curve calculation unit 404 is further connected to the control unit 117 and the floor. Each is connected to the tone conversion unit 110.
[0064]
When the scene change is detected by the detection unit 114 under the control of the control unit 117, the luminance calculation unit 400 takes in the reduced image from the selection unit 113 and calculates the luminance. The luminance signal calculated by the luminance calculation unit 400 is compared with a predetermined threshold value related to the dark part and the bright part by the appropriate exposure extraction unit 401 (for example, for a 12-bit gradation, the dark part is “128” and the bright part is “3968”). A luminance signal that is not less than the dark portion threshold value and not more than the bright portion threshold value is extracted as an appropriate exposure area and transferred to the edge extracting unit 402 and the histogram creating unit 403, respectively.
[0065]
The edge extraction unit 402 performs known edge detection on the luminance signal from the appropriate exposure extraction unit 401, extracts pixels having edge strengths equal to or greater than a predetermined threshold as edge portions, and sends the information to the histogram creation unit 403. Forward.
[0066]
The histogram creation unit 403 creates a histogram of the luminance signal at the edge portion in the appropriate exposure area from the luminance signal from the luminance calculation section 400 based on the information on the appropriate exposure area and the information on the edge part. Transfer to the conversion curve calculation unit 404.
[0067]
The conversion curve calculation unit 404 obtains a gradation conversion curve by accumulating the histogram from the histogram creation unit 403 and transfers it to the gradation conversion unit 110.
[0068]
FIG. 6 is a block diagram illustrating an exemplary configuration of the gradation conversion unit 110. The gradation conversion unit 110 includes a Y / C separation unit 500, a luminance signal buffer 501, a color difference signal buffer 502, a luminance correction unit 503, a gradation conversion curve reading unit (transfer means) 504, a correction luminance signal buffer 505, and a color difference correction. A unit 506 and a Y / C synthesis unit 507.
[0069]
The Y / C separation unit 500 is connected to the signal processing unit 109 and to the luminance signal buffer 501 and the color difference signal buffer 502, respectively. The luminance signal buffer 501 is further connected to the color difference correction unit 506 and is connected to the Y / C synthesis unit 507 via the luminance correction unit 503 and the corrected luminance signal buffer 505. The color difference signal buffer 502 is further connected to the Y / C synthesis unit 507 via the color difference correction unit 506. The corrected luminance signal buffer 505 is further connected to the color difference correction unit 506, and the Y / C synthesis unit 507 is further connected to the D / A converter 111. Further, the gradation conversion curve reading unit 504 is connected to the calculation unit 115 and the standard gradation curve ROM 116 and is also connected to the luminance correction unit 503. Further, the Y / C separation unit 500, the luminance correction unit 503, the gradation conversion curve reading unit 504, the color difference correction unit 506, and the Y / C composition unit 507 are connected to the control unit 117, respectively.
[0070]
The video signal from the signal processing unit 109 is separated into a luminance signal and a color difference signal by the Y / C separation unit 500, and the luminance signal is stored in the luminance signal buffer 501 and the color difference signal is stored in the color difference signal buffer 502. In addition, the gradation conversion curve reading unit 504, when the initialization state such as power-on is detected under the control of the control unit 117, the standard gradation stored in the standard gradation curve ROM 116. When a conversion curve is read and a scene change is detected by the detection unit 114, a new gradation conversion curve from the calculation unit 115 is read.
[0071]
The luminance signal stored in the luminance signal buffer 501 is transferred to the luminance correction unit 503 and the color difference correction unit 506, respectively. The luminance correction unit 503 converts the luminance signal from the luminance signal buffer 501 to the gradation width of the output system based on a predetermined gradation conversion curve read by the gradation conversion curve reading unit 504, which is 8 bits in this embodiment. The converted luminance signal is transferred to the Y / C synthesis unit 507 and the color difference correction unit 506 via the corrected luminance signal buffer 505, respectively.
[0072]
Further, the color difference signal stored in the color difference signal buffer 502 is transferred to the color difference correction unit 506. The color difference correction unit 506 calculates a correction coefficient for correcting the color difference signal based on the luminance signal before and after gradation conversion from the luminance signal buffer 501 and the corrected luminance signal buffer 505 and the theoretical limit model in which a color can exist. The color difference signal from the color difference signal buffer 502 is corrected by the calculated correction coefficient, and the corrected color difference signal is transferred to the Y / C synthesis unit 507.
[0073]
The Y / C combining unit 507 combines the luminance signal after gradation conversion from the corrected luminance signal buffer 505 and the corrected color difference signal from the color difference correcting unit 506, and the combined video signal is D / A. Transfer to converter 111.
[0074]
As described above, in the present embodiment, with respect to an image captured in time series, the selection unit 113 selects an image at a time interval suitable for the imaging conditions such as the image size and the number of frames, and the selected image is selected. Based on the characteristics of the image, the detection unit 114 detects the presence or absence of a scene change. When a scene change is detected from the image itself or its photometric information or focus information, the calculation unit 115 calculates a new gradation conversion curve. When a scene change is detected, the tone conversion unit uses the tone conversion curve newly calculated by the calculation unit 115. When no scene change is detected, the tone conversion unit uses the current tone conversion curve. Since the gradation characteristics of each image are converted at 110, a gradation conversion curve can be calculated at an appropriate timing, and a high-quality image can be obtained. In addition, since the image is reduced when detecting a scene change from the selected image, the processing system can be reduced in size and cost, and a minute change in the image can be absorbed by the reduction process. Therefore, a stable image can be obtained. In addition, since the scene change is detected not from the specific area but from the entire image, the scene change can be detected regardless of the subject position. In addition, since the standard gradation curve ROM 116 for storing the standard gradation curve is provided, it is possible to cope with the initialization situation.
[0075]
FIGS. 7 to 10 show a second embodiment of the present invention, FIG. 7 is a block diagram showing a configuration of the entire imaging system, and FIG. 8 is a block diagram showing an example of the configuration of the detection unit shown in FIG. FIG. 9 is a diagram for explaining calculation of histogram similarity in the detection unit shown in FIG. 8, and FIG. 10 is a block diagram showing a configuration of an example of the recording unit shown in FIG.
[0076]
The imaging system according to the present embodiment is different from the imaging system according to the first embodiment in that a first image buffer 600, a second image buffer 601 and a synthesizing unit (synthesizing unit) 602 are provided instead of the image buffer 105. The recording unit 603 is added to the detection unit 114, the calculation unit 115, the control unit 117, and the gradation conversion unit 110, and the detection unit 114 has a configuration different from that of the first embodiment. Since the other configuration is the same as that of the first embodiment, the same reference numerals are given to components that perform the same operation, and detailed description thereof will be omitted.
[0077]
In FIG. 7, the first image buffer 600 and the second image buffer 601 are connected to the A / D converter 104 and connected to the signal processing unit 109 via the synthesis unit 602, and the first image buffer 600 is connected to the A / D converter 104. Further, the photometric evaluation unit 106 and the in-focus detection unit 107 are connected. 7, 8, and 10, a signal line indicated by a thick solid line indicates a video signal line, a signal line indicated by a thin solid line indicates a control signal line, and a signal line indicated by a broken line indicates other data lines. Is shown.
[0078]
In the imaging system shown in FIG. 7, the user designates imaging conditions such as the image size and the number of frames via the external I / F unit 118, and then starts imaging by pressing the shutter button. The video signal obtained from the CCD 103 upon the start of photographing is converted into a digital signal by the A / D converter 104, transferred to the first image buffer 600 and stored as a long exposure image. In the present embodiment, the gradation width of the digitized signal is, for example, 12 bits as in the first embodiment. The video signal stored in the first image buffer 600 is transferred to the photometric evaluation unit 106 and the in-focus detection unit 107, and the exposure condition and the in-focus condition are calculated.
[0079]
Next, a second image is taken under an exposure condition that is a predetermined exposure ratio, for example, 1/8 with respect to the exposure condition calculated by the photometric evaluation unit 106, and the video signal is converted into an A / D converter. The digital signal is converted at 104 and transferred to the second image buffer 601 and stored as a short exposure image.
[0080]
The compositing unit 602 sequentially reads the long-exposure image stored in the first image buffer 600 and the short-exposure image stored in the second image buffer 601. First, a predetermined threshold ( For example, in the case of 12-bit gradation, “3890”) is left as an appropriate exposure area, and then a short-time exposure image corresponding to an area other than the appropriate exposure area is read and the exposure ratio is corrected (for example, When the short-time exposure is set to an exposure ratio of 1/8 with respect to the long-time exposure, it is corrected to 8 times), and the image is combined with the image of the appropriate exposure area for long-time exposure. The video signal synthesized by the synthesis unit 602 is transferred to the signal processing unit 109, where it is processed in the same manner as in the first embodiment to generate a three-plate video signal.
[0081]
The video signal generated by the signal processing unit 109 is selected at a predetermined time interval by the selection unit 113 and transferred to the detection unit 114 as in the first embodiment.
[0082]
As in the first embodiment, the detection unit 114 calculates predetermined characteristic information from the selected video signal (image), and has already been calculated from the calculated characteristic information and the previously selected image. The presence / absence of a scene change is detected by comparing with the characteristic information. If a scene change is detected here, similar characteristic information is recorded with reference to past characteristic information recorded in the recording unit 603. It is determined whether or not it has been performed, and those results are transferred to the control unit 117.
[0083]
When a scene change is detected based on the signal from the detection unit 114 and there is characteristic information similar to the recording unit 603, the control unit 117 calculates a gradation conversion curve corresponding to the similar characteristic information. The gradation conversion unit 110 is controlled to read from the recording unit 603. Further, when a scene change is detected and there is no characteristic information similar to the recording unit 603, the calculation unit 115 calculates a new gradation conversion curve from the image selected by the selection unit 113 and performs gradation conversion. At the same time, the new gradation conversion curve calculated by the calculation unit 115 and the image characteristic information calculated by the detection unit 114 are transferred to the recording unit 603 and stored as a set. To do.
[0084]
On the other hand, if no scene change is detected, the tone conversion curve of the currently used tone conversion curve is not calculated by the calculation unit 115, as in the first embodiment. The gradation conversion unit 110 is controlled so as to continue use. When the control unit 117 detects an initialization state such as when the power is turned on, the gradation conversion unit 110 controls the gradation conversion curve stored in the standard gradation curve ROM 116 to be read.
[0085]
The tone conversion unit 110 converts the signal from the signal processing unit 109 to match the tone width of the output system based on the tone conversion curve obtained as described above. In this embodiment, the gradation width of the output system is, for example, 8 bits. The digital video signal output from the gradation conversion unit 110 is converted into an analog video signal by the D / A converter 111 and output to the output unit 112 such as a monitor or a video recorder.
[0086]
FIG. 8 is a block diagram illustrating an exemplary configuration of the detection unit 114 illustrated in FIG. 7. The detection unit 114 includes a histogram calculation unit (histogram calculation unit) 700, a histogram buffer 701, a determination unit (determination unit) 702, a similarity calculation unit (similarity calculation unit) 703, and a gradation conversion curve designation unit (readout). Means) 704. The histogram calculation unit 700, the determination unit 702, the similarity calculation unit 703, and the gradation conversion curve designation unit 704 are connected to the control unit 117, respectively. In addition, the histogram calculation unit 700 is further connected to the selection unit 113 and is also connected to the recording unit 603, the determination unit 702, and the similarity calculation unit 703 via the histogram buffer 701. The determination unit 702 is further connected to the similarity calculation unit 703, the similarity calculation unit 703 is further connected to the recording unit 603 and the gradation conversion curve designation unit 704, and the gradation conversion curve designation unit 704 is further connected to the recording unit. Connect to 603.
[0087]
In the detection unit 114 illustrated in FIG. 8, the histogram calculation unit 700 takes in a reduced image from the selection unit 113 based on the control of the control unit 117 and calculates a histogram of the reduced image. This histogram is transferred to the histogram buffer 701 and stored. The histogram buffer 701 is a ring-shaped buffer capable of recording a histogram, and is configured to overwrite an old histogram when the buffer is full.
[0088]
The determination unit 702 monitors the change in the shape of the histogram from the histogram buffer 701, determines that a change in shape greater than or equal to a predetermined value has occurred, and that the situation has changed a predetermined number of times. The determination result is transferred to the control unit 117.
[0089]
If it is determined that a scene change has occurred, the control unit 117 controls the similarity calculation unit 703 to record the histogram on the histogram buffer 701 that has been determined that the scene change has occurred and the recording unit 603. The degree of similarity with the histogram is calculated.
[0090]
FIG. 9 is a diagram for explaining the similarity calculation method. FIG. 9A shows a histogram on the histogram buffer 701 and a histogram having a predetermined allowable range for the histogram, for example, a histogram having a range of ± 20%. FIG. 9B shows a past histogram to be compared recorded in the recording unit 603, and FIG. 9C shows a histogram on the histogram buffer 701 for a certain gradation value and its histogram. An allowable range and a past histogram value to be compared on the recording unit 603 are shown.
[0091]
The similarity calculation unit 703 sequentially determines whether the past histogram value on the recording unit 603 is included in the allowable range while changing the gradation value. Here, when the total number of gradation values included in the allowable range is a predetermined ratio or more, for example, 70% or more with respect to all gradation values, it is determined that the histograms of both are high in similarity, otherwise In this case, it is determined that the degree of similarity is low, and the result is transferred to the control unit 117. It should be noted that the allowable range used in determining the similarity of the histogram does not need to be constant for all gradations. For example, it is set so that it is wide or neglected in a dark part and a bright part, and narrow in a halftone. It is also possible to do. In this case, the criteria for determination in the halftone where the main subject is likely to be strict, and a tone conversion curve having a higher similarity is selected.
[0092]
If it is determined that the similarity is high, the control unit 117 controls the gradation conversion curve designating unit 704 to select a gradation conversion curve paired with the histogram from the recording unit 603. The information is transferred to the control unit 117. On the other hand, when it is determined that the similarity is low with respect to all the histograms recorded in the recording unit 603, the control unit 117 causes the calculation unit 115 to calculate a new gradation conversion curve. Control.
[0093]
FIG. 10 is a block diagram illustrating a configuration example of the recording unit 603 illustrated in FIG. The recording unit 603 includes a characteristic recording unit 800, a gradation conversion curve recording unit 801, a monitoring unit (monitoring unit) 802, a history management unit (history management unit) 803, and a discard control unit (discarding unit) 804. Yes. The characteristic recording unit 800 and the gradation conversion curve recording unit 801 constitute a characteristic recording unit / tone conversion curve recording unit. The monitoring unit 802, the history management unit 803, and the discard control unit 804 are connected to the control unit 117, respectively. The characteristic recording unit 800 is connected to the detection unit 114, the monitoring unit 802, and the discard control unit 804, and the monitoring unit 802 is further connected to the gradation conversion curve recording unit 801 and the discard control unit 804, and the discard control unit 804 is connected. Are further connected to a gradation conversion curve recording unit 801 and a history management unit 803. The gradation conversion curve recording unit 801 is further connected to the calculation unit 115, the history management unit 803, and the gradation conversion unit 110, respectively.
[0094]
In the recording unit 603 shown in FIG. 10, the characteristic recording unit 800 records the image characteristic information from the detection unit 114, and the gradation conversion curve recording unit 801 records the gradation conversion curve from the calculation unit 115 as a set. The monitoring unit 802 monitors the remaining amount of the characteristic recording unit 800 and the gradation conversion curve recording unit 801, and notifies the control unit 117 when the remaining amount is less than the predetermined remaining amount.
[0095]
On the other hand, the history management unit 803 manages the number of times the gradation conversion curve on the gradation conversion curve recording unit 801 has been read by the gradation conversion unit 110 as history information. The control unit 117 activates the discard control unit 804 upon receiving a notification when the remaining amount from the monitoring unit 802 is equal to or less than the predetermined remaining amount. Based on the history information from the history management unit 803, the discard control unit 804 selects a tone conversion curve with the least number of times read by the tone conversion unit 110, and a characteristic paired with the tone conversion curve. Information is selected, the selected gradation conversion curve and characteristic information are discarded from the gradation conversion curve recording unit 801 and the characteristic recording unit 800, respectively, and the history information of the history management unit 803 is discarded, and the remaining amount is determined. Recover.
[0096]
As described above, in this embodiment, an image group having a wide dynamic range exceeding the gradation width of the CCD 103 is obtained, and the gradation conversion curve is calculated based on the scene change. A high-quality output image can be obtained. Also, once calculated characteristic information of the image and the gradation conversion curve are recorded as a set, and when a scene change occurs, the degree of similarity with the recorded characteristic information is determined, and the degree of similarity is determined. If it is high, the gradation conversion curve recorded in correspondence with the characteristic information is used, so that it is not necessary to perform useless calculation and it is possible to quickly adapt to the scene change. Furthermore, when recording the characteristic information and the gradation conversion curve, the history information used in the past is preferentially erased so that it can be efficiently recorded even with a small memory amount. .
[0097]
In addition, this invention is not limited only to the said embodiment, Many deformation | transformation or a change is possible. For example, in the first embodiment, the detection unit 114 is configured to detect the presence / absence of a scene change based on the luminance value. However, as in the second embodiment, the presence / absence of a scene change is detected based on a histogram. Alternatively, as shown in FIG. 11, it is also possible to detect the presence or absence of a scene change based on a motion vector.
[0098]
That is, the detection unit 114 shown in FIG. 11 includes a first image buffer 310, a second image buffer 311, a motion vector calculation unit (motion vector calculation unit) 312, a motion vector buffer 313, and a determination unit (determination unit) 314. Have. The motion vector calculation unit 312 and the determination unit 314 are respectively connected to the control unit 117, and the first image buffer 310 and the second image buffer 311 are respectively connected to the selection unit 113 and to the motion vector calculation unit 312. . The motion vector calculation unit 312 is further connected to the determination unit 314 via the motion vector buffer 313. In FIG. 11, a signal line indicated by a bold solid line indicates a video signal line, a signal line indicated by a thin solid line indicates a control signal line, and a signal line indicated by a broken line indicates other data lines.
[0099]
In the detection unit 114 illustrated in FIG. 11, the reduced images output in time series from the selection unit 113 are sequentially stored in the first image buffer 310 and the second image buffer 311, and the first image buffer 310 and the second image are displayed. The motion vector calculation unit 312 divides the image into predetermined blocks between two reduced images stored in the buffer 311 and moves back and forth in time series, and a motion vector is calculated for each block by a known motion detection process. The detection result is transferred to the motion vector buffer 313 and stored.
[0100]
The determination unit 314 reads motion vector information from the motion vector buffer 313, determines that a scene change has occurred when a motion vector greater than a predetermined value is detected in a predetermined number of blocks, and the determination result is used as a control unit 117. Forward to.
[0101]
Also, when detecting the presence or absence of a scene change based on the histogram in this way, when calculating the gradation conversion curve based on the histogram in the calculation unit 115, the region corresponding to the block in which the motion vector is detected is displayed. Processing such as multiplying a weighting factor to give a gradation width to the region with emphasis is also possible.
[0102]
Furthermore, the detection unit 114 can be configured to detect the presence or absence of a scene change using a change in focus information in addition to the luminance value, histogram, or motion vector.
[0103]
In the second embodiment, a wide dynamic range is obtained based on two images, a long exposure image and a short exposure image having a predetermined exposure ratio with respect to the exposure conditions obtained from the long exposure image. Although an image is generated, the second embodiment can be effectively applied to a case where an image having a wide dynamic range is generated from an image group of arbitrary different exposure, and the first embodiment. Similarly to the above, the present invention can be effectively applied to a case where gradation conversion is performed on a normal image.
[0104]
In the second embodiment, the detection unit 114 is configured to detect the presence / absence of a scene change based on a histogram. However, as in the first embodiment, the presence / absence of a scene change is detected based on a luminance value. 11 or configured to detect the presence / absence of a scene change based on a motion vector as shown in FIG. 11, or to detect the presence / absence of a scene change using a change in focus information. It can also be configured.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an overall configuration of an imaging system according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of an example of a selection unit shown in FIG.
FIG. 3 is an explanatory diagram of a time setting function in the selection unit shown in FIG. 2;
4 is a block diagram illustrating a configuration of an example of a detection unit illustrated in FIG. 1. FIG.
FIG. 5 is a block diagram showing a configuration of an example of a calculation unit shown in FIG. 1;
6 is a block diagram showing a configuration of an example of a gradation conversion unit shown in FIG.
FIG. 7 is a block diagram illustrating an overall configuration of an imaging system according to a second embodiment of the present invention.
8 is a block diagram showing a configuration of an example of a detection unit shown in FIG.
9 is a diagram for explaining calculation of histogram similarity in the detection unit shown in FIG. 8; FIG.
10 is a block diagram showing a configuration of an example of a recording unit shown in FIG.
FIG. 11 is a block diagram illustrating a modification of the detection unit.
[Explanation of symbols]
100 lens system
101 Aperture
102 Low-pass filter
103 CCD
104 A / D converter
105 Image buffer
106 Photometric evaluation section
107 Focus detection unit
108 AF motor
109 Signal processor
110 gradation converter
111 D / A converter
112 Output unit
113 Selector
114 detector
115 Calculation unit
116 Standard gradation curve ROM
117 control unit
118 External I / F section
600 First image buffer
601 Second image buffer
602 synthesis unit
603 Recording unit

Claims (15)

撮像系からの時系列的に連続するＭビット階調幅の画像群を、出力系のＮビット階調幅（Ｍ、Ｎは自然数でＭ≧Ｎ）の画像群に変換して後段の処理系に出力する撮像システムにおいて、
上記Ｍビット階調幅の画像群の中から、上記撮像系により単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも一つの撮影条件に基づいて、上記後段の処理系に対する負荷が増加しないように、画像サイズまたはフレーム数が大きくなるに従って長い時間間隔で１枚の画像を選択する選択手段と、
上記選択手段で順次選択された画像間の特性情報の変化を検出する検出手段と、
上記検出手段での検出結果に基づいて、上記選択手段により選択された画像の階調変換曲線を算出する算出手段と、
上記検出手段での検出結果に基づいて、上記特性情報の変化が検出されたときは上記算出手段で算出された新規の階調変換曲線を用いて、上記特性情報の変化が検出されないときは現在の階調変換曲線を用いて、それぞれ上記Ｍビット階調幅の画像群を上記Ｎビット階調幅の画像群に変換する階調変換手段と、
を有することを特徴とする撮像システム。An image group having continuous M-bit gradation width from the imaging system is converted to an output image group having N-bit gradation width (M and N are natural numbers M ≧ N) and output to a subsequent processing system. In the imaging system to
Shooting at least one of the number of images taken per unit time by the imaging system , the image size, the exposure condition, the focusing condition, the white balance condition, the zoom position, and the camera position from the M-bit gradation width image group. Selection means for selecting one image at a long time interval as the image size or the number of frames increases so as not to increase the load on the subsequent processing system based on the conditions ;
Detecting means for detecting a change in characteristic information between images sequentially selected by the selecting means;
Calculation means for calculating a gradation conversion curve of the image selected by the selection means based on the detection result of the detection means;
Based on the detection result of the detection means, when a change in the characteristic information is detected, a new gradation conversion curve calculated by the calculation means is used. Gradation conversion means for converting the image group having the M-bit gradation width into the image group having the N-bit gradation width, respectively, using the gradation conversion curve of
An imaging system comprising: 撮像系からの時系列的に連続するＭビット階調幅の画像群を、出力系のＮビット階調幅（Ｍ、Ｎは自然数でＭ≧Ｎ）の画像群に変換して後段の処理系に出力する撮像システムにおいて、
上記Ｍビット階調幅の画像群の中から、上記撮像系により単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも一つの撮影条件に基づいて、上記後段の処理系に対する負荷が増加しないように、画像サイズまたはフレーム数が大きくなるに従って長い時間間隔で１枚の画像を選択する選択手段と、
上記選択手段で順次選択された画像間の特性情報の変化を検出する検出手段と、
上記検出手段での検出結果に基づいて、上記選択手段により選択された画像の階調変換曲線を選択的に算出する算出手段と、
上記選択手段で選択された画像の特性情報および当該画像に対して上記算出手段で算出された階調変換曲線を組として複数記録する記録手段と、
上記検出手段での検出結果に基づいて、上記特性情報の変化が検出されたときは上記算出手段で算出された新規の階調変換曲線、または上記記録手段に記録されている過去の階調変換曲線を用いて、上記特性情報の変化が検出されないときは現在の階調変換曲線を用いて、それぞれ上記Ｍビット階調幅の画像群を上記Ｎビット階調幅の画像群に変換する階調変換手段と、
を有することを特徴とする撮像システム。An image group having continuous M-bit gradation width from the imaging system is converted to an output image group having N-bit gradation width (M and N are natural numbers M ≧ N) and output to a subsequent processing system. In the imaging system to
Shooting at least one of the number of images taken per unit time by the imaging system , the image size, the exposure condition, the focusing condition, the white balance condition, the zoom position, and the camera position from the M-bit gradation width image group. Selection means for selecting one image at a long time interval as the image size or the number of frames increases so as not to increase the load on the subsequent processing system based on the conditions ;
Detecting means for detecting a change in characteristic information between images sequentially selected by the selecting means;
Calculation means for selectively calculating a gradation conversion curve of the image selected by the selection means based on the detection result of the detection means;
A recording unit that records a plurality of sets of characteristic information of the image selected by the selection unit and the gradation conversion curve calculated by the calculation unit for the image;
When a change in the characteristic information is detected based on the detection result of the detection means, a new gradation conversion curve calculated by the calculation means or a past gradation conversion recorded in the recording means Tone conversion means for converting the image group having the M-bit gradation width into the image group having the N-bit gradation width using the current gradation conversion curve when no change in the characteristic information is detected using a curve When,
An imaging system comprising: 請求項１または２に記載の撮像システムにおいて、
さらに、同一被写体に対して異なる露光条件で撮像した少なくとも二枚のフレームまたはフィールド単位の画像を合成して上記Ｍビットの階調幅の画像群を生成する合成手段を有することを特徴とする撮像システム。The imaging system according to claim 1 or 2,
Further, the imaging system further includes a synthesis unit that generates an image group having the gradation width of M bits by synthesizing at least two frames or field-unit images captured under different exposure conditions for the same subject. . 請求項１〜３のいずれか一項に記載の撮像システムにおいて、
上記選択手段は、上記選択された画像を縮小する縮小手段を有することを特徴とする撮像システム。In the imaging system according to any one of claims 1 to 3 ,
The imaging system according to claim 1, wherein the selection unit includes a reduction unit that reduces the selected image. 請求項４に記載の撮像システムにおいて、
上記縮小手段は、上記時間間隔に基づいて、単位時間あたりに処理する情報量が一定値以下となるように上記選択された画像を適用的に縮小するよう構成されていることを特徴とする撮像システム。The imaging system according to claim 4 ,
The reduction means is configured to adaptively reduce the selected image based on the time interval so that the amount of information to be processed per unit time is a predetermined value or less. system. 請求項１〜５のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報として、上記選択手段で選択された画像の平均輝度レベルを算出する輝度算出手段と、
上記輝度算出手段で算出された順次の画像間における平均輝度レベルの変化に基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とする撮像システム。In the imaging system according to any one of claims 1 to 5 ,
The detecting means is
As the characteristic information, luminance calculation means for calculating an average luminance level of the image selected by the selection means,
Determining means for determining the presence or absence of a scene change based on a change in average brightness level between sequential images calculated by the brightness calculating means;
An imaging system comprising: 請求項１〜５のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報として、上記選択手段で選択された順次の２枚の画像から動きベクトルを算出する動きベクトル算出手段と、
上記動きベクトル算出手段で算出された動きベクトルに基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とする撮像システム。In the imaging system according to any one of claims 1 to 5 ,
The detecting means is
A motion vector calculating means for calculating a motion vector from two sequential images selected by the selecting means as the characteristic information;
Determining means for determining the presence or absence of a scene change based on the motion vector calculated by the motion vector calculating means;
An imaging system comprising: 請求項１〜５のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報として、上記選択手段で選択された画像からヒストグラムを算出するヒストグラム算出手段と、
上記ヒストグラム算出手段で算出された順次の画像間におけるヒストグラムの変化に基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とする撮像システム。In the imaging system according to any one of claims 1 to 5 ,
The detecting means is
Histogram calculation means for calculating a histogram from the image selected by the selection means as the characteristic information;
Determining means for determining the presence or absence of a scene change based on a change in histogram between sequential images calculated by the histogram calculating means;
An imaging system comprising: 請求項２または３に記載の撮像システムにおいて、
上記検出手段は、
上記選択手段で選択された画像の特性情報と上記記録手段に記録されている複数の特性情報との類似度を算出する類似度算出手段と、
上記類似度算出手段で算出された類似度が所定条件を満たす場合に、当該類似する特性情報と組をなす階調変換曲線を上記記録手段から読み出す読み出し手段と、
を有することを特徴とする撮像システム。The imaging system according to claim 2 or 3,
The detecting means is
Similarity calculating means for calculating the similarity between the characteristic information of the image selected by the selecting means and a plurality of characteristic information recorded in the recording means;
When the similarity calculated by the similarity calculating unit satisfies a predetermined condition, a reading unit that reads out from the recording unit a gradation conversion curve that forms a pair with the similar characteristic information;
An imaging system comprising: 請求項１〜５のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報の変化として、上記選択手段で選択された画像の露光条件または合焦条件の撮影条件を検出する撮影条件検出手段と、
上記撮影条件検出手段で検出された順次の画像間における撮影条件の変化に基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とする撮像システム。In the imaging system according to any one of claims 1 to 5 ,
The detecting means is
As a change in the characteristic information, a photographing condition detecting unit that detects a photographing condition of an exposure condition or a focusing condition of the image selected by the selecting unit;
Determination means for determining the presence or absence of a scene change based on a change in shooting conditions between sequential images detected by the shooting condition detection means;
An imaging system comprising: 請求項１〜１０のいずれか一項に記載の撮像システムにおいて、
上記算出手段は、
上記選択手段で選択された画像を輝度信号と色差信号とに分離する分離手段と、
上記分離手段で分離された輝度信号レベルに基づいて適正露光域を抽出する抽出手段と、
上記抽出手段で抽出された適正露光域に関する特徴量を算出する特徴量算出手段と、
上記特徴量算出手段で算出された特徴量に基づいてヒストグラムを作成するヒストグラム作成手段と、
上記ヒストグラム作成手段で作成されたヒストグラムに基づいて階調変換曲線を算出する階調変換曲線算出手段と、
を有することを特徴とする撮像システム。In the imaging system according to any one of claims 1 to 10 ,
The calculation means is
Separation means for separating the image selected by the selection means into a luminance signal and a color difference signal;
Extraction means for extracting an appropriate exposure area based on the luminance signal level separated by the separation means;
A feature amount calculating means for calculating a feature amount relating to the appropriate exposure area extracted by the extracting means;
Histogram creation means for creating a histogram based on the feature quantity calculated by the feature quantity calculation means;
A gradation conversion curve calculating means for calculating a gradation conversion curve based on the histogram created by the histogram creating means;
An imaging system comprising: 請求項１〜１１のいずれか一項に記載の撮像システムにおいて、
上記算出手段は、さらに、上記検出手段で特性情報の変化が検出された場合のみ、上記算出手段で階調変換曲線を算出させるように制御する制御手段を有することを特徴とする撮像システム。In the imaging system according to any one of claims 1 to 11 ,
The imaging system further includes a control unit that controls the calculation unit to calculate a gradation conversion curve only when a change in characteristic information is detected by the detection unit. 請求項２または３に記載の撮像システムにおいて、
上記記録手段は、
上記特性情報および階調変換曲線を記録する特性情報・階調変換曲線記録手段と、
上記特性情報・階調変換曲線記録手段の記録領域の残量を監視する監視手段と、
上記階調変換手段から読み出された階調変換曲線の履歴を管理する履歴管理手段と、
上記監視手段での監視結果に基づいて、上記特性情報・階調変換曲線記録手段の記録領域の残量が所定値以下となった場合に、上記履歴管理手段での履歴監視結果に基づいて、最も読み出し回数の少ない特性情報および階調変換曲線を上記特性情報・階調変換曲線記録手段から破棄する破棄手段と、
を有することを特徴とする撮像システム。The imaging system according to claim 2 or 3,
The recording means is
Characteristic information / tone conversion curve recording means for recording the characteristic information and the gradation conversion curve;
Monitoring means for monitoring the remaining amount of the recording area of the characteristic information / tone conversion curve recording means;
History management means for managing the history of the gradation conversion curve read from the gradation conversion means;
Based on the monitoring result of the history management unit, when the remaining amount of the recording area of the characteristic information / tone conversion curve recording unit is a predetermined value or less based on the monitoring result of the monitoring unit, Discarding means for discarding the characteristic information and gradation conversion curve with the smallest number of readouts from the characteristic information / tone conversion curve recording means,
An imaging system comprising: 請求項１〜１３のいずれか一項に記載の撮像システムにおいて、
さらに、標準階調変換曲線を記録する標準階調変換曲線記録手段と、
電源投入時などの初期化状況を検出する初期化検出手段と、
上記初期化検出手段の出力に基づいて上記標準階調変換曲線記録手段に記録されている標準階調変換曲線を上記階調変換手段へ転送する転送手段と、
を有することを特徴とする撮像システム。The imaging system according to any one of claims 1 to 13 ,
Furthermore, a standard gradation conversion curve recording means for recording a standard gradation conversion curve;
Initialization detection means for detecting the initialization status at power-on, etc .;
Transfer means for transferring the standard gradation conversion curve recorded in the standard gradation conversion curve recording means to the gradation conversion means based on the output of the initialization detection means;
An imaging system comprising: 請求項１〜１３のいずれか一項に記載の撮像システムにおいて、
さらに、標準階調変換曲線を記録する標準階調変換曲線記録手段と、
上記撮像系から単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも一つに基づいて撮影条件の変化を検出する撮影条件検出手段と、
上記撮影条件検出手段での検出結果に基づいて上記標準階調変換曲線記録手段に記録されている標準階調変換曲線を上記階調変換手段へ転送する転送手段と、
上記撮影条件検出手段での検出結果に基づいて上記選択手段における画像選択の時間間隔を零に設定して現時点の画像を選択させるリセット手段と、
を有することを特徴とする撮像システム。The imaging system according to any one of claims 1 to 13 ,
Furthermore, a standard gradation conversion curve recording means for recording a standard gradation conversion curve;
Shooting condition detection that detects a change in shooting conditions based on at least one of the number of images shot per unit time, image size, exposure condition, focusing condition, white balance condition, zoom position, and camera position from the above imaging system Means,
Transfer means for transferring a standard gradation conversion curve recorded in the standard gradation conversion curve recording means to the gradation conversion means based on a detection result in the photographing condition detection means;
Reset means for selecting the current image by setting the time interval of image selection in the selection means to zero based on the detection result in the photographing condition detection means;
An imaging system comprising:
JP2002105490A 2002-04-08 2002-04-08 Imaging system Expired - Fee Related JP4212290B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002105490A JP4212290B2 (en) 2002-04-08 2002-04-08 Imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002105490A JP4212290B2 (en) 2002-04-08 2002-04-08 Imaging system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008235004A Division JP2009038814A (en) 2008-09-12 2008-09-12 Imaging system

Publications (2)

Publication Number Publication Date
JP2003304417A JP2003304417A (en) 2003-10-24
JP4212290B2 true JP4212290B2 (en) 2009-01-21

Family

ID=29390170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002105490A Expired - Fee Related JP4212290B2 (en) 2002-04-08 2002-04-08 Imaging system

Country Status (1)

Country Link
JP (1) JP4212290B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3873917B2 (en) * 2003-03-14 2007-01-31 セイコーエプソン株式会社 Image processing apparatus, image processing method, and image processing program
JP3873918B2 (en) * 2003-03-14 2007-01-31 セイコーエプソン株式会社 Image processing apparatus, image processing method, and image processing program
JP4078649B2 (en) 2004-01-28 2008-04-23 日本ビクター株式会社 Video signal processing apparatus and method
JP4526445B2 (en) * 2005-06-15 2010-08-18 オリンパス株式会社 Imaging device
KR100843090B1 (en) * 2006-10-25 2008-07-02 삼성전자주식회사 Apparatus and method for improving a flicker for images
JP4924155B2 (en) * 2007-03-30 2012-04-25 ソニー株式会社 Video signal processing apparatus and video signal processing method
JP6020199B2 (en) * 2013-01-24 2016-11-02 株式会社ソシオネクスト Image processing apparatus, method, program, and imaging apparatus
EP3425899B1 (en) * 2013-07-30 2019-12-25 Dolby Laboratories Licensing Corporation System and methods for generating scene-stabilized metadata
US11457158B2 (en) 2017-07-27 2022-09-27 Nec Corporation Location estimation device, location estimation method, and program recording medium

Also Published As

Publication number Publication date
JP2003304417A (en) 2003-10-24

Similar Documents

Publication Publication Date Title
US8488019B2 (en) Image-capturing device, image-capturing method and storage medium storing image-capturing program for generating a wide dynamic range image
JP4404823B2 (en) Imaging device
JP3430994B2 (en) camera
JP5968068B2 (en) Imaging apparatus for controlling exposure, control method for imaging apparatus, program, and recording medium
JP4914300B2 (en) Imaging apparatus and imaging control method
JP5115568B2 (en) Imaging apparatus, imaging method, and imaging program
JP5975642B2 (en) Image processing apparatus, image processing method, and imaging apparatus
JP2007067815A (en) Image processing device and image processing method
JP5780764B2 (en) Imaging device
JP4212290B2 (en) Imaging system
JP4050547B2 (en) Movie imaging system
JP2010200177A (en) Imaging device and image processing program
JP2002305684A (en) Imaging system and program
JP3997786B2 (en) Imaging device, display device, image recording device, and image quality correction method
TWI381723B (en) Image pickup apparatus, image signal processing apparatus, and image signal processing method
JP2002232777A (en) Imaging system
JP5744490B2 (en) Image processing method, image processing apparatus, storage medium, and program
JP2009017427A (en) Imaging device
JP2003069821A (en) Imaging system
US20090207285A1 (en) Image capturing system, image processing method, and computer- readable recording medium having image processing program recorded thereon
JP4499527B2 (en) Image processing apparatus, image recording apparatus, and image processing method
JP2019080261A (en) Imaging apparatus
JP2009038814A (en) Imaging system
JP2003324748A (en) Television camera
JP5268823B2 (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071113

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20071113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081007

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081028

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111107

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111107

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111107

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121107

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131107

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees