JP5975705B2

JP5975705B2 - 撮像装置およびその制御方法、画像処理装置および画像処理のための方法

Info

Publication number: JP5975705B2
Application number: JP2012090596A
Authority: JP
Inventors: 弘典青景
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-04-11
Filing date: 2012-04-11
Publication date: 2016-08-23
Anticipated expiration: 2032-04-11
Also published as: JP2013219695A; US20130321658A1; WO2013153809A1; US8854256B2

Description

本発明は、撮像装置およびその制御方法、画像処理装置および画像処理のための方法に関する。

従来、ビデオカメラとスチルカメラは多くの点で異なるものであり、前者は動画のみを、後者は静止画のみを撮影する装置であった。しかし、両者が撮像素子を用いるようになり、また画像をデジタル処理するようになったことで、両者の差は小さくなりつつある。現在、ビデオカメラによる静止画撮影機能や、スチルカメラにおける動画撮影機能は、当初のレベルから大幅に進歩し、例えば携帯電話に内蔵されるような小型のスチルカメラでも、フルハイビジョン解像度の動画撮影ができるほどである。

特に、近年、レンズ交換式デジタルスチルカメラにも動画撮影機能が搭載されるようになったことで、スチルカメラによる動画撮影が注目されている。これは、レンズ交換式デジタルスチルカメラが大型かつ画素数の多い撮像素子を用いていること、また、レンズ交換によって画角の変更が容易であること、高画質な静止画撮影が行えることなどによるものと考えられる。

映画やテレビのように、編集を前提とした撮影の場合、編集時の調整しろを確保するため、できるだけ白とびや黒つぶれが生じないよう、階調性を重視した記録が行われる。具体的には、輝度値の増加に対して対数的に(logarithmically)増加するような非線形な入出力特性を適用して記録することが知られている。このような非線形な入出力特性をＬｏｇまたはＬｏｇガンマと呼び、関数やテーブルとして定義される。さらに、定義されたＬｏｇガンマからさらに米国コダック社がフィルムスキャンデータの記録用に提唱したCineon LOG等で変換することによって写真フィルムの感光特性に近い画像データとして扱うことが可能になる。なお、Ｌｏｇガンマを適用することで、白とびや黒つぶれは抑制されて高い階調性が維持出来るが、記録した動画像は暗い部分が明るめに、明るい部分が暗めになったコントラストの低い画像となる。そのため、そのまま鑑賞するには適しておらず、最終的に人間の視覚特性に対して線形（リニア）な階調特性に変換する必要がある。

テレビや映画の制作においては、Ｌｏｇガンマの特性を有する動画像を編集することが一般的である。しかし、従来、デジタルスチルカメラによる動画撮影機能は、撮影後の編集処理（ポストプロダクション処理という）をしなくてもそのまま鑑賞するのに適した階調特性やコントラストを有する動画を記録するものであった。そのため、デジタルスチルカメラに対しても、Ｌｏｇガンマを用いた動画像記録への対応が要望されている。

Recommendation ITU-R BT.601-7 (03/2011) Studio encoding parameters of digital television for standard 4:3 and wide-screen 16:9 aspect ratios ［平成２４年４月９日検索］、インターネット＜URL:http://www.itu.int/dms_pubrec/itu-r/rec/bt/R-REC-BT.601-7-201103-I!!PDF-E.pdf＞ Recommendation ITU-R BT.709-5 (04/2002) Parameter values for the HDTV standards for production and international programme exchange ［平成２４年４月９日検索］、インターネット＜URL:http://www.itu.int/dms_pubrec/itu-r/rec/bt/R-REC-BT.709-5-200204-I!!PDF-E.pdf＞

画像信号には規格に応じて満たすべき色空間が規定されている。例えば静止画で一般的に用いられているＪＰＥＧや、標準解像度（ＳＤ）のテレビ、ビデオ信号についてはＩＴＵ−Ｒ（国際電気通信連合の無線通信部門）によるＢＴ．６０１規格で定められている（非特許文献１）。また、高解像度（ＨＤ）のテレビ、ビデオ信号については、ＩＴＵ−ＲによるＢＴ．７０９規格で定められている（非特許文献２）。

また、静止画記録においても、ＢＴ．６０１規格で定められた色空間（以下、単にＢＴ．６０１色空間という）を採用しているため、通常、デジタルスチルカメラの内部処理は、ＢＴ．６０１色空間の画像信号を前提としている。そして、ＨＤ動画の撮影時においても、ＢＴ．６０１色空間で画像信号を処理し、記録や外部出力を行う前に、ＢＴ．７０９色空間へ変換している。これは、動画撮影中の静止画撮影（あるいは動画からの静止画生成）が行われた場合に、得られる静止画と動画との色を合わせる必要があるためである。ここでＢＴ．６０１、ＢＴ．７０９規格で定められた色空間というのは、各規格で定義されたＲＧＢからＹＵＶへの色変換マトリクス係数を対象としており、カラー規格によるプライマリ（色域）やガンマではない。

しかしながら、色空間の変換は演算処理であり、繰り返し行うと演算誤差による画質劣化が想定されるため、適用される色空間の変換回数は少ない方が望ましい。しかしながら、Ｌｏｇガンマを適用したＨＤ動画撮影を従来の動画撮影と同様に処理した場合、ＢＴ．６０１色空間の信号に変換されて色信号処理や輝度信号処理が行われた後、記録時にＢＴ．７０９色空間の信号に変換されることになる。この場合、画像信号に、撮像素子から出力されてから記録されるまで最低２回の色空間の変換処理が適用されることになる。

本発明は、色空間変換処理が繰り返し適用されることによる動画像の画質劣化を抑制することができる撮像装置およびその制御方法、画像処理装置および画像処理のための方法を提供することを目的とする。

上述の目的は、撮像素子から出力された画像信号を、第１の色空間の画像信号に変換する第１の変換手段と、第１の色空間の画像信号に対して色処理を適用して出力する信号処理手段と、信号処理手段が出力する画像信号から動画記録用の画像信号を生成する記録用信号生成手段であって、動画記録用の画像信号に要求される第２の色空間が第１の色空間と異なる場合には、信号処理手段が出力する画像信号を第２の色空間の信号に変換する第２の変換手段とを有する記録用信号生成手段と、信号処理手段が出力する画像信号から、表示装置に対する表示用の画像信号を生成する表示用信号生成手段であって、表示用の画像信号に要求される第３の色空間が第１の色空間と異なる場合には、信号処理手段が出力する画像信号を第３の色空間の信号に変換する第３の変換手段とを有する表示用信号生成手段と、第１から第３の変換手段の動作を制御する制御手段と、を有し、制御手段は、動画記録と表示とのうち、優先すべき一方に用いる画像信号が生成される過程で適用される色空間の変換処理の回数が最小となるように、第１から第３の変換手段の動作を制御することを特徴とする撮像装置によって達成される。

本発明に係る撮像装置およびその制御方法、画像処理装置および画像処理のための方法によれば、色空間変換処理が繰り返し適用されることによる動画像の画質劣化を抑制することができる。

本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラの構成例を示すブロック図図１における撮像部および画像処理部の詳細を示すブロック図従来の色空間変換処理の流れを模式的に示す図本発明の実施形態における色空間変換処理の流れを模式的に示す図本発明の実施形態におけるコントローラの動作を説明するためのフローチャート本発明の実施形態の変形例に係る色空間変換処理の流れを模式的に示す図本発明の実施形態における関数で定義されたＬｏｇガンマの入出力特性を示す図 viewing LUTの特性例を示す図本発明の実施形態における撮影モードと記録画像の関係を示す図

以下、添付図面を参照して本発明の例示的な実施形態について説明する。
図１は、本発明の実施形態に係る撮像装置または画像処理装置の一例としてのデジタルスチルカメラ１００（以下、単にデジタルカメラという）における、撮像、現像、出力に関わる構成例を示すブロック図である。コントローラ１３０はＣＰＵおよび、ＲＯＭやＲＡＭ等のメモリを有し、以下に説明する各部を制御したり、各部の機能の一部もしくは全てを実現したりする。なお、以下に説明する構成の少なくとも一部は、コントローラ１３０のＣＰＵがソフトウェア的に実現してもよいし、ハードウェアによって実現されてもよいし、ハードウェアとソフトウェアの協働により実現されてもよい。

撮像部１０１は、撮影光学系および撮像素子を含み、撮像素子の撮像面に結像された光学像を電気信号に変換し、取得された電気信号をデジタル信号に変換して出力する。撮像部１０１の構成例を図２（ａ）に示す。図２（ａ）において、撮影光学系２０１の視野（撮像範囲）内の被写体像は、撮影光学系２０１により、撮像素子としてのＣＭＯＳ２０２の撮像面上に結像する。なお、撮像素子はＣＭＯＳに限られるものではなく、ＣＣＤ等の他の光電変換素子であってもよい。

ＣＤＳ／ＡＧＣ回路２０３は、ＣＭＯＳ２０２から得られた電気信号に相関二重サンプリング／ゲイン調整を行なう。Ａ／Ｄ変換器２０４は、ＣＤＳ／ＡＧＣ回路２０３から出力される信号をデジタル変換し、画像信号として出力する。また、撮影光学系２０１は、絞りおよびフォーカスレンズの駆動機構２０６を有し、ＡＥ／ＡＦ部２０５はコントローラ１３０からの指示により駆動機構２０６を制御する。このようなＡＥ／ＡＦ部２０５、駆動機構２０６により、自動焦点検出（ＡＦ）機能や自動露出制御（ＡＥ）機能が実現される。

図１に戻り、ＷＢ回路１０２は、撮像部１０１（Ａ／Ｄ変換器２０４）から出力された画像信号に対してホワイトバランス調整を行なう。ＷＢ回路１０２においてホワイトバランスが調整された画像信号は画像処理部１０６に供給される。画像処理部１０６の詳しい動作については後述する。

操作部１０３は、ユーザがデジタルカメラ１００に各種の設定や指示を入力するためのスイッチ、ボタン、キー、ダイアル、タッチパネルなどの入力デバイス群である。なお、操作部１０３は、物理的な機構の操作によるものだけでなく、視線検知や音声認識などを利用するものであってもよい。
操作部１０３に含まれる代表的なものは、レリーズボタン、メニュー表示ボタン、矢印キー、決定／実行ボタン、撮影モード設定ダイヤルなどである。

操作部１０３の操作はコントローラ１３０によって検出され、コントローラ１３０は検出した操作内容に応じた動作を実現するように各部を制御する。なお、コントローラ１３０は表示部１１１にメニュー画面などのＧＵＩ画面を表示したり、画像処理部１０６が出力する表示用画像にデジタルカメラ１００の設定情報や撮影情報などを重畳して表示部１１１に表示したりする。

図２（ｂ）は、画像処理部１０６の詳細な機能構成例を示す図である。ノイズ除去部（ＮＲ）２１１は、ホワイトバランス調整がされた画像信号に対してノイズ除去を行なう。ノイズ除去部２１１から出力された画像信号は、色信号と輝度信号とで並行に処理される。ブロック２１２〜２１７からなる色処理部では、まず、第１の変換手段としての第１マトリクス（ＭＴＸ）２１２が、ノイズ除去部２１１から出力された画像信号（ＲＧＢ）を所定の第１の色空間におけるＹＵＶ信号に変換する。

例えば、ＲＧＢ形式の画像信号は、以下の式によりＢＴ．６０１色空間およびＢＴ．７０９色空間のＹＵＶ（ＹＣｂＣｒ）形式の画像信号に変換することができる。
ＲＧＢ→ＹＵＶ（ＢＴ．６０１）
Y = 0.29891 × R + 0.58661 × G + 0.11448 × B
Ｕ = -0.16874 × R - 0.33126 × G + 0.50000 × B
Ｖ = 0.50000 × R - 0.41869 × G - 0.08131 × B
ＲＧＢ→ＹＵＶ（ＢＴ．７０９）
Y = 0.2126 × R + 0.7152 × G + 0.0722 × B
Ｕ = -0.1146 × R - 0.3854 × G + 0.5000 × B
Ｖ = 0.50000 × R - 0.4542 × G - 0.0458 × B

第１マトリクス２１２がＢＴ．６０１色空間およびＢＴ．７０９色空間のどちらのＹＵＶ信号に変換するかは、コントローラ１３０が設定する。
また、第１マトリクス２１２は、撮像素子（ＣＭＯＳ）２０２の固有の分光特性に起因したばらつきを吸収するマトリクス変換を併せて行なう。

色抑圧部２１３は、飽和時のホワイトバランスを維持するために高輝度部分の色値のゲインを調整（抑圧）する。

第２マトリクス２１４は、色抑圧部２１３により処理されたＵＶ信号を含むＹＵＶ信号を、γ処理のためにＲＧＢ信号に変換する。Ｃγ処理部２１５は、第２マトリクス２１４により得られた画像信号（ＲＧＢ信号）に対してγ処理を施す。そして、第３マトリクス２１６は、Ｃγ処理部２１５の出力（ＲＧＢ信号）を再びＹＵＶ信号に変換する。ニー補正部２１７は、第３マトリクス２１６から出力されたＹＵＶ信号のうちのＵＶ信号を入力し、高彩度における色空間の圧縮を行なって、画像信号を目標とする色空間に収める。

他方、ノイズ除去部２１１から出力された画像信号（ＲＧＢ）のうちのＧ成分は、ブロック２２１〜２２３からなる輝度処理部に入力される。輝度処理部では、まず、適応処理部２２１が帯域を維持するためにＧ信号に適応化処理を施してＹ信号を生成する。Ｙγ処理部２２２は、適応処理部２２１により生成されたＹ信号にγ処理を施す。また、適応処理部２２１の出力はシャープネス部２２３にも供給され、シャープネス部２２３は、入力されたＹ信号からシャープネス量を検出し、これをＹγ処理部２２２の出力に足し込む。

Ｌｏｇガンマを始め、撮像画像を非線形の入出力特性を有するガンマカーブを適用して変換する場合、コントローラ１３０がＣγ処理部２１５およびＹγ処理部２２２に対して使用するガンマ特性（入出力特性）を設定する。なお、上述の通り、Ｌｏｇガンマとは、例えば図７のように入力値の線形的な増加に対して出力値が対数的に増加する非線形な入出力特性を意味する。すなわち、
出力値＝Ａ×ｌｏｇ１０（Ｂ×入力値＋Ｃ）＋Ｄ
（０＜Ａ＜１，Ｂ，Ｃ，Ｄは定数）といった対数式で表される入出力特性である。例えば、８ビットデータの場合、Ａ＝０．５２９１３６，Ｂ＝１０．１５９６，Ｃ＝１．０，Ｄ＝０．０７３０５９７とする。これにより、暗部は少しオフセットされた状態で黒つぶれを防ぎ、中間輝度部は階調を最低限のビット数で維持し、明部は飽和まで白とびを防いで階調を保つことが可能になる。

このＬｏｇガンマがユーザにより設定されている場合は、記録用動画専用撮影モードとなる。あるいは、ユーザが撮影モードとして記録用動画専用撮影モードを設定してる場合は、自動的に上述のＬｏｇガンマの変換が適用される。

なお、静止画のみの撮影の場合、図９に示されるように静止画を基準としたＢＴ．６０１のガンマが適用される。また、動画記録中の静止画撮影が可能な通常撮影モードでの静止画撮影、特に動画記録中の静止画撮影に関しては、同じタイミングで撮影されている静止画像と動画像の画質を合わせるため、やはり静止画を基準としたＢＴ．６０１のガンマが適用される。さらに別途、風景や夕景、人物ポートレート等のそれぞれの被写体のシーンに応じたガンマがマニュアルあるいはオートで設定され変換が行われる。なお、図９の通り、通常撮影モードにおける静止画、動画および記録用動画専用撮影モードにおけるプライマリ（色域）に関しては、ＢＴ．７０９に設定される。

ニー補正部２１７の出力信号（Ｕ，Ｖ）と輝度処理部から得られる信号（Ｙ）は、第１ルックアップテーブル（以下、第１ＬＵＴ）２１８に供給され、画像処理部１０６からの最終的なＹＵＶ信号が生成され、出力される。なお、画像処理部１０６のうち、色処理部および第１ＬＵＴ２１８が信号処理手段を構成する。

図１に戻って、記録用信号生成手段としての記録部１０９は、例えば入力されたＹＵＶ信号のフレーム間の相関性を利用するなどしてノイズ除去を行う。その後、記録部１０９は、第２の変換手段としての第４マトリクス１０９１により必要に応じて、ノイズ除去後の画像信号を第２の色空間の画像信号に変換して、動画記録用の画像信号を生成する。第４マトリクス１０９１で色空間の変換を行うかどうか、行う場合はどのような変換を行うのか、はコントローラ１３０が設定する。また、記録部１０９では、付加情報とともに、予め設定された記録ファイルフォーマット（例えばＥｘｉｆ：Exchangeable image file format）に従った画像ファイルを生成する。そして、メモリカードやハードディスクなどの記録媒体に画像ファイルを記録する。

外部出力部１１０は、外部出力用の画像信号を生成する。ここでは、外部出力部１１０はＨＤＭＩ(High-Definition Multimedia Interface)を通じて外部出力するための信号を生成するものとするが、他の規格に準拠した信号を生成してもよい。外部出力部では、第５マトリクス１１０１により必要に応じて色空間変換処理を実行する。第４マトリクス１１０１で色空間の変換を行うかどうか、行う場合はどのような変換を行うのか、はコントローラ１３０が設定する。外部出力部１１０はまた、必要に応じて解像度の変換を行ってもよい。例えばＨＤＭＩから出力する場合は、ＨＤＭＩ規格で定められている解像度の何れか（例えば１９２０×１０８０や１２８０×７２０）に変換する。

表示用信号生成手段としての表示部１１１は、表示用の画像信号を生成し、デジタルカメラ１００が有する表示装置（本例では、デジタルカメラ１００の背面に設けられたＬＣＤとする）に表示させる。表示部１１１は、画像の解像度を表示装置の解像度に対応するように変換し、必要に応じて階調補正を行うＬＵＴを適用する。ここで、ＬＵＴの適用が必要なのは、Ｌｏｇガンマを適用して動画撮影している場合のモニタ時、あるいはＬｏｇガンマを適用して撮影された動画像の再生時である。上述の通り、Ｌｏｇガンマを適用して撮影された動画像はそのままの状態で表示しても、撮影結果を正しく評価することができない。そのため、視覚特性に対してリニアな階調になるようなガンマによる処理が行われた状態をシミュレーションするためのＬＵＴを適用して表示するようにする。このようなＬＵＴはviewing LUTと呼ばれ、具体的には、図８に示されるような、Ｌｏｇガンマで抑えていた中間輝度部のコントラストを上げる特性を有するＬＵＴである。これにより、標準的な映像色空間（例えばＢＴ．７０９）に従った明るさが再現される。つまり、例えば、ユーザは撮影時にviewing LUTで変換される前の状態で階調を確認し、viewing LUTで変換された状態で最終的な画像をイメージしながら撮影を行うことが可能になる。viewing LUTは、Ｌｏｇガンマ以外のガンマカーブが用いられている場合には適用されない。また、それぞれの環境に応じたガンマのＬＵＴを適用してシミュレーションをしても良い。

また表示部１１１は、第３の変換手段としての第６マトリクス１１１１により必要に応じて画像信号を第３の色空間の画像信号に変換する。第６マトリクス１１１１で色空間の変換を行うかどうか、行う場合はどのような変換を行うのか、はコントローラ１３０が設定する。表示部１１１は、必要に応じてＬＵＴおよび色空間の変換が適用された表示用の画像信号を表示装置に供給して表示する。

このような構成のデジタルカメラ１００における、色空間変換処理動作を説明する前に、従来のデジタルスチルカメラにおけるＨＤ動画記録時の色空間変換処理について説明する。
図３は、デジタルカメラ１００のうち、色空間変換処理に係る構成を抜き出して模式的に示した図である。参照数字は図１、図２と共通である。

画像処理部１０６には、撮像部１０１からＲＧＢ形式の画像信号が入力される。第１マトリクス２１２は、ＲＧＢ形式の画像信号を、ＢＴ．６０１色空間のＹＵＶ形式の画像信号に変換する。ＢＴ．６０１色空間への変換は、デジタルカメラにおける静止画撮影時において広く一般的に行われているものである。

静止画画像は一般的にＪＰＥＧファイルで出力される。ＪＰＥＧで規定されているＲＧＢ−ＹＵＶマトリクス係数は、ＢＴ６０１で定義されているマトリクス係数と同一である。また、前段でＢＴ．６０１変換しておくことにより、後段ではマトリクス変換が不要になるため、ＪＰＥＧファイルとして出力する静止画画質を優先することが出来る。そして、色処理を行った後、ＢＴ．６０１色空間のＹＵＶ形式で記録部１０９、外部出力部１１０、表示部１１１に供給される。

上述の通り、ＨＤ動画像についてはＢＴ．７０９色空間の画像信号であることが要求されるため、記録部１０９の第４マトリクス１０９１はＢＴ．６０１色空間のＹＵＶ形式の画像信号をＢＴ．７０９色空間のＹＵＶ形式の画像信号に変換する。なお、ＹＵＶ形式のままでＢＴ．６０１色空間からＢＴ．７０９色空間（あるいはその逆）に変換するための演算式は、上述のＲＧＢ形式から各色空間におけるＹＵＶ形式への変換式の相互関係に基づいて得ることができる。

同様に、外部出力部１１０においても、ＨＤＭＩ等のＨＤ解像度での出力を行う場合には、第５マトリクス１１０１でＢＴ．６０１色空間のＹＵＶ形式の画像信号をＢＴ．７０９色空間のＹＵＶ形式の画像信号に変換する。

一方、本実施形態におけるデジタルカメラ１００の表示装置は、ＢＴ．６０１色空間の画像信号を要求するものであるため、表示部１１１の第６マトリクス１１１１は色空間変換処理を行わず、供給されたＢＴ．６０１色空間のＹＵＶ形式をそのまま後段に供給する。

このように、従来の構成においては、ＨＤ動画撮影時には、適用されるガンマの種類によらず、第１マトリクス２１２でＢＴ．６０１色空間のＹＵＶ形式の画像信号とされたのち、第４マトリクス１０９１でＢＴ．７０９色空間のＹＵＶ形式の画像信号に変換される。

次に、本実施形態のデジタルカメラ１００における色空間変換処理動作について、図４を参照して説明する。図４は図３と同様、デジタルカメラ１００のうち、色空間変換処理に係る構成を抜き出して模式的に示した図である。参照数字は図１〜図３と共通である。

ここでは、Ｌｏｇガンマを適用した動画撮影時における色空間変換処理について説明する。Ｌｏｇガンマを適用した動画撮影時には、他の（入力値の線形的な増加に対して出力値が対数的に増加しない入出力特性の）ガンマを適用する場合と異なり、動画撮影中の静止画撮影や、動画フレームが静止画として利用されたりする可能性を考慮する必要がない。つまり、静止画に用いる色空間と合わせる必要がない。

そのため、コントローラ１３０は、Ｌｏｇガンマを適用した動画撮影時には、第１マトリクス２１２を、ＢＴ．６０１色空間のＹＵＶ形式ではなく、記録用信号に要求される色空間と等しいＢＴ．７０９色空間のＹＵＶ形式の画像信号に変換するよう設定する。そして、色処理についても、必要に応じてＢＴ．７０９色空間の画像信号用の処理を実行する。なお、色処理の内容を画像信号の色空間に応じて変更する必要がある場合、コントローラ１３０が必要なブロックに対して処理の切り替えを指示したり、パラメータなどの設定値を変更したりする。

従って、画像処理部１０６からは、ＢＴ．６０１色空間のＹＵＶ形式ではなくＢＴ．７０９色空間のＹＵＶ形式の画像信号が出力される。これにより、記録部１０９および外部出力部１１０においては色空間の変換を行う必要がなくなる。そのため、コントローラ１３０は、第４および第５マトリクス１１０１および１１１１に、色空間の変換を行わないように設定する。従って、優先すべき動画記録用の画像信号に対して適用される色空間変換処理の回数を、図３の場合が２回であるのに対し、１回に減らすことができる。

一方、表示部１１１では、ＢＴ．６０１色空間のＹＵＶ形式の画像信号への変換が必要となる。そのため、コントローラ１３０は、第６マトリクス１１１１に、ＢＴ．７０９色空間のＹＵＶ形式の画像信号をＢＴ．６０１色空間のＹＵＶ形式の画像信号に変換するよう設定する。

説明したコントローラ１３０の動作を、図５のフローチャートを用いて説明する。Ｓ１０１でコントローラ１３０は、Ｌｏｇガンマの使用が設定されたかどうか判定する。例えば、Ｌｏｇガンマ設定メニュー画面に含まれる、Ｌｏｇガンマの使用・不使用の設定項目３１１が操作部１０３を通じて選択、実行（決定）されると、コントローラ１３０はＬｏｇガンマの使用が設定されたと判定する。

Ｌｏｇガンマの使用が設定された場合、Ｓ１０３でコントローラ１３０は、Ｃγ処理部２１５およびＹγ処理部２２２が用いるガンマ特性（入出力特性）にＬｏｇガンマを設定する。

また、コントローラ１３０は、Ｌｏｇガンマの使用が設定されると、画像処理部１０６の第１マトリクス２１２に、Ｌｏｇガンマで変換された動画信号の記録に要求される色空間に等しい色空間におけるＹＵＶ形式の画像信号に変換するよう設定する。本実施形態では、コントローラ１３０は、ＲＧＢ形式の画像信号をＢＴ．７０９色空間のＹＵＶ形式の画像信号に変換するよう、第１マトリクス２１２に設定する。

Ｓ１０５でコントローラ１３０は、色処理を行うブロック２１３〜２１７に対し、色空間の変更に伴って処理内容を変更する必要があれば、変更を指示する（設定パラメータを変更する）。

なお、コントローラ１３０は、参照可能な例えば不揮発性メモリに、設定可能なガンマ特性に対応づけて、色空間変換処理や色処理に関する構成要素に対する設定値をあらかじめ記憶しておくことができる。そして、コントローラ１３０は、設定されているガンマ特性が変更されると、不揮発性メモリを参照して、変更後のガンマ特性に応じて、必要な機能ブロックに対する設定を変更することができる。

Ｓ１０７でコントローラ１３０は、記録部１０９（第４マトリクス１０９１）および外部出力部１１０（第５マトリクス１１０１）に対し、色空間の変換を行わないように設定する。一方で、表示部１１１（第６マトリクス１１１１）に対しては、表示用の信号に要求される色空間への変換を行うよう設定する。本実施形態では、コントローラ１３０は、ＢＴ．７０９色空間のＹＵＶ形式の画像信号を、ＢＴ．６０１色空間のＹＵＶ形式の画像信号に変換するよう、第６マトリクス１１１１に設定する。

（変形例）
なお、理解を容易にするため、Ｌｏｇガンマの使用が設定された際に記録用画像信号に必要な色空間の変換が、第１マトリクス２１２による変換のみで足りるものとしてこれまで説明してきた。しかし、マトリクス演算による理論的な色空間全体の均一な写像演算に加え、部分的な修正を行うことが望ましい場合もある。このような場合には、マトリクス演算と、ルックアップテーブルとの組み合わせを用いて色空間の変換を実現してもよい。ルックアップテーブルを用いることで、色空間内の特定の色域に対してのみ修正を行うことが可能である。

この場合、ルックアップテーブルによる修正は、色処理や輝度処理が終了した後に行うことが望ましい。そのため、図６に示すように、画像処理部１０６からの最終的なＹＵＶ信号を生成する第１ＬＵＴ２１８で行うことが望ましい。

このように、本実施形態によれば、Ｌｏｇガンマを適用した動画撮影が可能な撮像装置において、Ｌｏｇガンマを適用した動作撮影時には、記録用の信号に要求される色空間と等しい色空間の画像信号に変換してから色処理や輝度処理を行うようにした。そのため、撮像素子から出力されてから、記録されるまでに適用される色空間変換処理の回数を実質的に１回に減らすことが可能となり、従来のデジタルスチルカメラにおける動画撮影機能をそのまま利用する場合よりも、画質の劣化を低減できる。Ｌｏｇガンマは、８ｂｉｔデータであったとしても、映画やテレビ用に最適化させるため、例えば意図的に１６−２５４といった狭いダイナミックレンジで定義される。したがって、高画質を維持するためには、トーンジャンプが生じる恐れがある色変換の回数を減少させることはより効果的である。

また、画素の階調レンジについても今回の色空間と同様に考えることが出来る。すなわち、動画記録中に静止画撮影が可能な通常撮影モードでは、撮影タイミングにおける静止画像と動画像の画質を合わせる必要があるので、レンジも動画用と静止画用の異なる階調レンジには変換しないようにする。仮にそれぞれを専用の階調レンジに変換する場合は、後段の色変換で行うため、画質劣化が起こりやすい。

記録用動画専用撮影モードの場合は、図９に示されるようにＬｏｇガンマが適用され、静止画に合わせる必要がない。そのため、デジタルシネマや映画用のレンジ１６−２４５で記録するため、ブロック１０６では既に１６−２４５のレンジで処理を行い、後段ではレンジの変換を行わないようにすることによってマトリクス変換と同様に画質劣化を回避することが出来る。

なお、本実施形態では、ＢＴ．７０９色空間とＢＴ．６０１色空間との間の変換について説明したが、本発明はこれら特有の色空間の間の変換を対象としたものではない。また、記録用、外部出力用、および表示用の画像信号に要求される色空間についても単なる例示である。従って、記録用と外部出力用の画像信号に要求される色空間が常に等しいとは限らず、また本発明がそのような場合にのみ適用可能である訳でもない。また、記録、外部出力、表示という３系統も単なる例示であり、複数であれば数に制限はない。

本発明は、動画像信号を複数の出力先に供給する撮像装置において、色処理および輝度処理の前後における色空間変換処理の内容を、優先すべき出力先が要求する色空間に適合させるために必要な色変換処理の回数が最小になるように決定することを特徴とする。具体的には、撮像素子から出力されてから最終的な出力形態（記録、外部出力、表示など）に対応した画像信号とされるまでの間に適用される色空間変換処理の回数を、優先すべき出力形態に対する画像信号について最小化するものである。従って、記録よりも表示を優先すべき場合、表示用の画像信号が生成される過程で適用される色空間の変換処理の回数が最小となるように、色空間変換マトリクスの処理内容を設定する。また、必要な色空間の変換処理については、できるだけ処理の上流（撮像素子側）で行うようにすることで、画質劣化を一層抑制することができる。

本発明は、Ｌｏｇガンマを適用した動画撮影時において特に有効ではあるが、画質を最優先すべき信号系統における色空間変換処理の回数を最小化することによる画質劣化抑制効果は、Ｌｏｇガンマを適用した動画撮影時に限定されない。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

撮像素子から出力された画像信号を、第１の色空間の画像信号に変換する第１の変換手段と、
前記第１の色空間の画像信号に対して色処理を適用して出力する信号処理手段と、
前記信号処理手段が出力する画像信号から動画記録用の画像信号を生成する記録用信号生成手段であって、前記動画記録用の画像信号に要求される第２の色空間が前記第１の色空間と異なる場合には、前記信号処理手段が出力する画像信号を前記第２の色空間の信号に変換する第２の変換手段とを有する記録用信号生成手段と、
前記信号処理手段が出力する画像信号から、表示装置に対する表示用の画像信号を生成する表示用信号生成手段であって、前記表示用の画像信号に要求される第３の色空間が前記第１の色空間と異なる場合には、前記信号処理手段が出力する画像信号を前記第３の色空間の信号に変換する第３の変換手段とを有する表示用信号生成手段と、
前記第１から第３の変換手段の動作を制御する制御手段と、を有し、
前記制御手段は、動画記録と表示とのうち、優先すべき一方に用いる画像信号が生成される過程で適用される色空間の変換処理の回数が最小となるように、前記第１から第３の変換手段の動作を制御することを特徴とする撮像装置。
前記制御手段は、前記撮像装置が入力値の線形的な増加に対して出力値が対数的に増加する入出力特性で変換された動画像を記録する場合には、前記第１の色空間が前記第２の色空間と等しくなるように前記第１の変換手段を制御することを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記撮像装置が前記入出力特性で変換されない動画像を記録する場合には、前記第１の色空間が前記第３の色空間と等しくなるように前記第１の変換手段を制御することを特徴とする請求項２に記載の撮像装置。
前記制御手段は、前記撮像装置が静止画を記録する場合には、前記第１の色空間が前記第３の色空間と等しくなるように前記第１の変換手段を制御することを特徴とする請求項１ないし請求項３のいずれか１項に記載の撮像装置。
前記第１の色空間は、ＢＴ．６０１規格に準拠した色空間であり、前記第２の色空間はＢＴ．７０９規格に準拠した色空間であることを特徴とする請求項１から請求項４の何れか１項に記載の撮像装置。
撮像素子から出力された画像信号を、第１の色空間の画像信号に変換する第１の変換手段と、
前記第１の色空間の画像信号に対して色処理を適用して出力する信号処理手段と、
前記信号処理手段が出力する画像信号から動画記録用の画像信号を生成する記録用信号生成手段であって、前記動画記録用の画像信号に要求される第２の色空間が前記第１の色空間と異なる場合には、前記信号処理手段が出力する画像信号を前記第２の色空間の信号に変換する第２の変換手段とを有する記録用信号生成手段と、
前記信号処理手段が出力する画像信号から、表示装置に対する表示用の画像信号を生成する表示用信号生成手段であって、前記表示用の画像信号に要求される第３の色空間が前記第１の色空間と異なる場合には、前記信号処理手段が出力する画像信号を前記第３の色空間の信号に変換する第３の変換手段とを有する表示用信号生成手段と、を有する撮像装置の制御方法であって、
前記撮像装置の制御手段が、動画記録と表示とのうち、優先すべき一方に用いる画像信号が生成される過程で適用される色空間の変換処理の回数が最小となるように、前記第１から第３の変換手段の動作を制御する制御工程を有することを特徴とする撮像装置の制御方法。
画像処理装置であって、
撮像素子から出力された画像信号を、第１の色空間の画像信号に変換する第１の変換手段と、
前記第１の色空間の画像信号に対して色処理を適用して出力する信号処理手段と、
前記信号処理手段が出力する画像信号から動画記録用の画像信号を生成する記録用信号生成手段であって、前記動画記録用の画像信号に要求される第２の色空間が前記第１の色空間と異なる場合には、前記信号処理手段が出力する画像信号を前記第２の色空間の信号に変換する第２の変換手段を有する記録用信号生成手段と、
前記信号処理手段が出力する画像信号から、表示装置に対する表示用の画像信号を生成する表示用信号生成手段であって、前記表示用の画像信号に要求される第３の色空間が前記第１の色空間と異なる場合には、前記信号処理手段が出力する画像信号を前記第３の色空間の信号に変換する第３の変換手段を有する表示用信号生成手段と、
前記第１の色空間を前記第１の変換手段に設定し、前記第２の色空間を前記第２の変換手段に設定し、前記第３の色空間を前記第３の変換手段に設定する制御手段と、を有し、
前記制御手段は、前記画像処理装置が入力値の線形的な増加に対して出力値が対数的に増加する入出力特性で変換された動画像を記録する場合には、前記第１の色空間が前記第２の色空間と等しくなるように前記第１の色空間および前記第２の色空間を設定することを特徴とする画像処理装置。
前記制御手段は、前記画像処理装置が入力値の線形的な増加に対して出力値が対数的に増加する前記入出力特性で変換されない動画像を記録する場合には、前記第１の色空間が前記第３の色空間と等しくなるように前記第１の色空間および前記第３の色空間を設定することを特徴とする請求項７に記載の画像処理装置。
前記制御手段は、前記画像処理装置が静止画を記録する場合には、前記第１の色空間が前記第３の色空間と等しくなるように前記第１の色空間および前記第３の色空間を設定することを特徴とする請求項７または請求項８に記載の画像処理装置。
前記第２の色空間はＢＴ．７０９規格に準拠した色空間であることを特徴とする請求項７から請求項９のいずれか１項に記載の画像処理装置。
前記第３の色空間は、ＢＴ．６０１規格に準拠した色空間であることを特徴とする請求項７から請求項１０のいずれか１項に記載の画像処理装置。
画像処理装置であって、
撮像素子から出力された画像信号を、第１の色空間の画像信号に変換する第１の変換手段と、
前記第１の色空間の画像信号に対して色処理を適用して出力する信号処理手段と、
前記信号処理手段が出力する画像信号から動画記録用の画像信号を生成する記録用信号生成手段であって、前記動画記録用の画像信号に要求される第２の色空間が前記第１の色空間と異なる場合には、前記信号処理手段が出力する画像信号を前記第２の色空間の信号に変換する第２の変換手段を有する記録用信号生成手段と、
前記信号処理手段が出力する画像信号から、表示装置に対する表示用の画像信号を生成する表示用信号生成手段であって、前記表示用の画像信号に要求される第３の色空間が前記第１の色空間と異なる場合には、前記信号処理手段が出力する画像信号を前記第３の色空間の信号に変換する第３の変換手段を有する表示用信号生成手段と、
前記第１の色空間を前記第１の変換手段に設定し、前記第２の色空間を前記第２の変換手段に設定し、前記第３の色空間を前記第３の変換手段に設定する制御手段と、を有し、
前記制御手段は、前記画像処理装置が入力値の線形的な増加に対して出力値が対数的に増加する入出力特性で変換された動画像を記録する場合には、前記第１の色空間および前記第２の色空間をＢＴ．７０９規格に準拠した色空間に設定することを特徴とする画像処理装置。
前記制御手段は、前記画像処理装置が入力値の線形的な増加に対して出力値が対数的に増加する前記入出力特性で変換されない動画像を記録する場合には、前記第３の色空間をＢＴ．６０１規格に準拠した色空間に設定することを特徴とする請求項１２に記載の画像処理装置。
前記制御手段は、前記画像処理装置が静止画を記録する場合には、前記第１の色空間および前記第３の色空間をＢＴ．６０１規格に準拠した色空間に設定することを特徴とする請求項１２または請求項１３に記載の画像処理装置。
前記制御手段は、前記画像処理装置が静止画を記録する場合には、前記第２の色空間をＢＴ．７０９規格に準拠した色空間に設定することを特徴とする請求項１２から請求項１４のいずれか１項に記載の画像処理装置。
撮像素子から出力された画像信号に対して画像処理を行う、画像処理装置が実行する方法であって、
前記撮像素子から出力された前記画像信号を、第１の色空間の画像信号に変換するステップと、
前記第１の色空間の画像信号に対して色処理を適用して出力信号を出力する信号処理ステップと、
前記出力信号から動画記録用の画像信号を生成する第１生成ステップであって、
前記動画記録用の画像信号に要求される第２の色空間が前記第１の色空間と異なる場合には、前記信号処理ステップが出力する画像信号を前記第２の色空間の信号に変換するステップを有する第１生成ステップと、
前記信号処理ステップが出力する画像信号から、表示装置に対する表示用の画像信号を生成する第２生成ステップあって、
前記表示用の画像信号に要求される第３の色空間が前記第１の色空間と異なる場合には、前記出力信号を前記第３の色空間の信号に変換するステップを有する第２生成ステップと、を有し、
前記画像処理が入力値の線形的な増加に対して出力値が対数的に増加する入出力特性で変換された動画像を記録するために行われる場合には、前記第１の色空間が前記第２の色空間と等しくなるように前記第１の色空間および前記第２の色空間が設定されることを特徴とする方法。
撮像素子から出力された画像信号に対して画像処理を行う、画像処理装置が実行する方法であって、
前記撮像素子から出力された前記画像信号を、第１の色空間の画像信号に変換するステップと、
前記第１の色空間の画像信号に対して色処理を適用して出力信号を出力する信号処理ステップと、
前記出力信号から動画記録用の画像信号を生成する第１生成ステップであって、
前記動画記録用の画像信号に要求される第２の色空間が前記第１の色空間と異なる場合には、前記信号処理ステップが出力する画像信号を前記第２の色空間の信号に変換するステップを有する第１生成ステップと、
前記信号処理ステップが出力する画像信号から、表示装置に対する表示用の画像信号を生成する第２生成ステップあって、
前記表示用の画像信号に要求される第３の色空間が前記第１の色空間と異なる場合には、前記出力信号を前記第３の色空間の信号に変換するステップを有する第２生成ステップと、を有し、
前記画像処理が入力値の線形的な増加に対して出力値が対数的に増加する入出力特性で変換された動画像を記録するために行われる場合には、前記第１の色空間および前記第２の色空間をＢＴ．７０９規格に準拠した色空間に設定することを特徴とする方法。
コンピュータを、請求項７から請求項１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。