JP6791223B2 - 信号処理装置、信号処理方法およびカメラシステム - Google Patents

Description

本技術は、信号処理装置、信号処理方法およびカメラシステムに関し、詳しくは、ハイダイナミックレンジ映像信号の信号レベル判断のための信号処理装置等に関する。

０％から１００％の輝度レベル範囲を持つ通常ダイナミックレンジ（ＳＤＲ：Standard Dynamic Range）の映像信号に対して、ハイダイナミックレンジ（ＨＤＲ：High Dynamic Range）の映像信号は０％から１００％＊Ｎ（Ｎは１より大きい数）の輝度レベル範囲を持っている。従来、撮像映像信号としてＨＤＲ映像信号を出力するカメラが知られている（例えば、特許文献１参照）。

ＨＤＲ映像信号では、ダイナミックレンジの拡大により、被写体毎の輝度レベルの正確な把握が難しくなっている。例えば、１０００％を超えるようなＨＤＲ映像信号を、リニアな信号レベルで波形モニター上に表示しても、輝度のスケール感が広すぎて、映像として重要な、常用域の輝度レベルの状況を把握しにくくなるし、一方、光電気伝達関数（Optical-Electro Transfer Function、OETF）を用いて階調圧縮処理された伝送フォーマットの信号を、そのままのコードで表示した場合には、逆に、高輝度部分が圧縮されて表示されるため、正確な輝度レベルを把握することが困難になる。

また、映像モニター上で輝度確認する場合、人間の視覚が対数特性を有していることから、例えば、ＳＤＲ映像信号の輝度レベル範囲にある５０％、１００％で認識できる輝度変化の違いに対し、ＨＤＲ映像信号の輝度レベル範囲にある２５０％、５００％で認識できる輝度変化の違いは小さく、はっきりと区別しにくくなる。

従来、ＳＤＲ映像信号から所定の輝度レベル領域を検出し、その領域を表示するための表示信号を当該ＳＤＲ映像信号に合成して表示用ＳＤＲ映像信号を得ることで、所定の輝度レベル領域を画面上で容易に確認可能とすることが提案されている（例えば、特許文献２参照）。

特開２０１５−１１５７８９号公報 特開２００８−０６０８６６号公報

本技術の目的は、ＨＤＲ映像信号の所定の信号レベル領域を表示装置に表示される画面上で容易に確認可能とすることにある。

本技術の概念は、
ハイダイナミックレンジ映像信号に少なくとも通常ダイナミックレンジ用の階調圧縮処理を含む処理を行って通常ダイナミックレンジ映像信号を得る信号処理部と、
上記ハイダイナミックレンジ映像信号から所定の信号レベル領域を検出するレベル検出部と、
上記通常ダイナミックレンジ映像信号に上記ハイダイナミックレンジ映像信号から検出された上記所定の信号レベル領域を示す信号に基づいて該所定の信号レベル領域を表示するための表示信号を合成して表示用通常ダイナミックレンジ映像信号を得る合成部を備える
信号処理装置にある。

本技術において、信号処理部により、ハイダイナミックレンジ映像信号に少なくとも通常ダイナミックレンジ用の階調圧縮処理を含む処理が行われて通常ダイナミックレンジ映像信号が得られる。

レベル検出部により、ハイダイナミックレンジ映像信号から所定の信号レベル領域が検出される。

例えば、レベル検出部は、ハイダイナミックレンジ映像信号を構成する輝度信号から所定の信号レベル領域を検出する、ようにされてもよい。また、例えば、レベル検出部は、ハイダイナミックレンジ映像信号を構成する原色色信号から所定の信号レベル領域を検出する、ようにされてもよい。

合成部により、通常ダイナミックレンジ映像信号に、ハイダイナミックレンジ映像信号から検出された所定の信号レベル領域を示す信号に基づいてこの所定の信号レベル領域を表示するための表示信号が合成されて表示用通常ダイナミックレンジ映像信号が得られる。例えば、表示信号は、所定の信号レベル領域を特定の色、あるいは特定輝度パターン（ゼブラパターン、クロスハッチパターンなど）で表示する信号である、ようにされてもよい。

なお、本技術において、例えば、ハイダイナミックレンジ映像信号は第１の解像度を持ち、ダイナミックレンジ映像信号を第１の解像度からこの第１の解像度より低い第２の解像度に変換する第１の解像度変換部と、所定の信号レベル領域を示す信号の解像度を第１の解像度から第２の解像度に変換する第２の解像度変換部をさらに備え、信号処理部は、第２の解像度に変換されたハイダイナミックレンジ映像信号を処理して第２の解像度の通常ダイナミックレンジ映像信号を得、合成部は、第２の解像度の通常ダイナミックレンジ映像信号に、第２の解像度に変換された所定の信号レベル領域を示す信号に基づいてこの所定の信号レベル領域を表示するための表示信号を合成して、第２の解像度の表示用通常ダイナミックレンジ映像信号を得る、ようにされてもよい。

また、本技術において、例えば、合成部は、所定の信号レベル領域を表示するために、表示用通常ダイナミックレンジ映像信号を表示装置に出力する、ようにされてもよい。

また、本技術の他の概念は、
ハイダイナミックレンジ映像信号を得る撮像部と、
上記ハイダイナミックレンジ映像信号に少なくとも通常ダイナミックレンジ用の階調圧縮処理を含む処理を行って通常ダイナミックレンジ映像信号を得る信号処理部と、
上記ハイダイナミックレンジ映像信号から所定の信号レベル領域を検出するレベル検出部と、
上記通常ダイナミックレンジ映像信号に、上記ハイダイナミックレンジ映像信号から検出された上記所定の信号レベル領域を示す信号に基づいて該所定の信号レベル領域を表示するための表示信号を合成して表示用通常ダイナミックレンジ映像信号を得る合成部を備える
カメラシステムにある。

本技術において、撮像部により、ハイダイナミックレンジ映像信号が得られる。信号処理部により、ハイダイナミックレンジ映像信号に少なくとも通常ダイナミックレンジ用の階調圧縮処理を含む処理が行われて通常ダイナミックレンジ映像信号が得られる。

レベル検出部により、ハイダイナミックレンジ映像信号から所定の信号レベル領域が検出される。そして、合成部により、通常ダイナミックレンジ映像信号に、ハイダイナミックレンジ映像信号から検出された所定の信号レベル領域を示す信号に基づいてこの所定の信号レベル領域を表示するための領域を表示するための表示信号が合成されて表示用通常ダイナミックレンジ映像信号が得られる。

本技術によれば、ＨＤＲ映像信号の所定の信号レベル領域を表示装置に表示される画面上で容易に確認可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

第１の実施の形態としてのカメラシステムの構成例を示すブロック図である。 ＨＤＲカメラプロセス部およびＳＤＲカメラプロセス部の詳細な構成例を示すブロック図である。 ＢＰＵにおける表示信号の生成および合成に係る部分の構成例を示すブロック図である。 ＨＤＲ映像信号から所定の信号レベル領域を検出することによる効果、リニアなＨＤＲ映像信号から所定の信号レベル領域を検出することによる効果などを説明するための図である。 第２の実施の形態としてのカメラシステムの構成例を示すブロック図である。 インバース・ＨＤＲカメラプロセス部およびＳＤＲカメラプロセス部の詳細な構成例を示すブロック図である。 ＣＣＵにおける表示信号の生成および合成に係る部分の構成例を示すブロック図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例

＜１．第１の実施の形態＞
［カメラシステムの構成例］
図１は、実施の形態としてのカメラシステム１０の構成例を示している。このカメラシステム１０は、カメラ１００で得られた撮像映像信号としてのリニアなハイダイナミックレンジ（ＨＤＲ）映像信号が信号処理ユニットとしてのベースバンド・プロセッサ・ユニット（ＢＰＵ：Baseband Processor Unit）２００に伝送される構成となっている。ここで、リニアとは階調圧縮処理が行われていないことを意味する。

カメラ１００は、撮像部１０１と、プリプロセス（Pre-Process）部１０２と、伝送部１０３を有している。撮像部１０１は、例えば、ＵＨＤ（８Ｋ、４Ｋなど）あるいはＨＤの解像度のイメージセンサを持ち、撮像映像信号としてＨＤＲ映像信号を出力する。プリプロセス部１０２は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサであり、撮像部１０１から出力されるＨＤＲ映像信号に対して、レンズなどの光学系の補正処理や、イメージセンサのばらつきなどから生じる傷補正処理などを行う。伝送部１０３は、通信インタフェースを有する回路であり、プリプロセス部１０２で処理されたＨＤＲ映像信号をＢＰＵ２００に送信する。ここで、４Ｋ解像度は横:約4,000×縦:約2,000ピクセルの解像度であり、例えば4096×2160や3840×2160であり、８Ｋ解像度は縦、横のピクセルがそれぞれ４Ｋ解像度の２倍となる解像度である。また、ＨＤ解像度は、例えば、縦、横のピクセルが４Ｋ解像度の１/２倍となる解像度である。

ＢＰＵ２００は、伝送部２０１と、ＨＤＲカメラプロセス（HDR CAM Process）部２０２と、ＳＤＲカメラプロセス（SDR CAM Process）部２０３を有している。伝送部２０１は、通信インタフェースを有する回路であり、カメラ１００から送られてくるリニアなＨＤＲ映像信号を受信する。ＨＤＲカメラプロセス部２０２は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサであり、伝送部２０１で受信されたリニアなＨＤＲ映像信号に対して色域変換、ディテール（輪郭）補正、階調圧縮などの処理を行って出力ＨＤＲ映像信号（HDR Video）を得る。ここでの階調圧縮処理は、ＨＤＲ用の光電気伝達関数（Optical-Electro Transfer Function,OETF）を用いてリニア領域からビット長圧縮をする階調圧縮処理を意味する。ＳＤＲカメラプロセス部２０３は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサであり、伝送部２０１で受信されたリニアなＨＤＲ映像信号に対して色域変換、ニー補正、ディテール（輪郭）補正、階調圧縮などの処理を行って出力ＳＤＲ映像信号（SDR Video）を得る。ここでの階調圧縮処理は、ＳＤＲ用の光電気伝達関数（例えばガンマ特性）を用いてリニア領域からビット長圧縮をする階調圧縮処理を意味する。

図２は、ＨＤＲカメラプロセス部２０２およびＳＤＲカメラプロセス部２０３の詳細な構成例を示している。なお、この例は、リニアなＨＤＲ映像信号がＵＨＤ（８Ｋ、４Ｋなど）の解像度を持つ例であり、ＳＤＲカメラプロセス部２０３の前段に、リニアなＨＤＲ映像信号の解像度をＵＨＤからＨＤに変換する解像度変換部２０４を備えている。この解像度変換部２０４は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサである。

ＨＤＲカメラプロセス部２０２は、ホワイトゲイン（White-Gain）部２２１と、リニアマトリクス（Linear-Matrix）部２２２と、ブラックレベル（Black-level）部２２３と、ディテール（Detail）部２２４と、ＯＥＴＦ（Optical-Electro Transfer Function）・フォーマッタ（Formatter）部２２５を有している。

ホワイトゲイン部２２１は、伝送部２０１（図１参照）で受信されたリニアなＨＤＲ映像信号（Linear HDR Video）を構成するＲ，Ｇ，Ｂの各原色信号のゲインをホワイトバランス調整のために調整する。リニアマトリクス部２２２は、ホワイトゲイン部２２１から出力されるＨＤＲ映像信号に色域変換の処理をする。ブラックレベル部２２３は、リニアマトリクス部２２２から出力されるＨＤＲ映像信号に黒レベル調整をする。

ディテール部２２４は、ブラックレベル部２２３から出力されるＨＤＲ映像信号にディテール（輪郭）補正の処理をする。ＯＥＴＦ・フォーマッタ部２２５は、ディテール部２２４から出力されるＨＤＲ映像信号に階調圧縮処理、つまりＨＤＲ用の光電気伝達関数を用いてリニア領域からビット長圧縮をする階調圧縮処理を行う。この階調圧縮処理により、ＨＤＲ映像信号は、ログカーブ特性で階調圧縮処理されたものとなる。ここでログカーブ特性とは対数関数そのものだけではなく、低域輝度の階調が密で、高域輝度の階調が疎になるような特性のカーブのことを言い、例えば、ＨＬＧ（Hybrid Log-Gamma）特性、ＰＱ（Perceptual Quantizer）カーブ特性、Ｓ−ＬＯＧ３特性などがある。また、ＯＥＴＦ・フォーマッタ部２２５は、このように階調圧縮されたＨＤＲ映像信号を、ＲＧＢドメインからＹ色差ドメインに変換して出力ＨＤＲ映像信号（HDR Video）を得る。

ＳＤＲカメラプロセス部２０３は、ホワイトゲイン（White-Gain）・リラティブゲイン（Relative-Gain）部２３１と、リニアマトリクス（Linear-Matrix）部２３２と、ブラックレベル（Black-level）部２３３と、ニー（Knee）・ディテール（Detail）部２３４と、ガンマ（Gamma）・フォーマッタ（Formatter）部２３５を有している。

ホワイトゲイン・リラティブゲイン部２３１は、解像度変換部２０４でＨＤ解像度に変換されたリニアなＨＤＲ映像信号（Linear HDR Video）を構成するＲ，Ｇ，Ｂの各原色信号のゲインをホワイトバランス調整およびコントラスト調整のために調整する。

リニアマトリクス部２３２は、ホワイトゲイン・リラティブゲイン部２３１から出力されるＨＤＲ映像信号に色域変換の処理をする。ブラックレベル部２３３は、リニアマトリクス部２３２から出力されるＨＤＲ映像信号に黒レベル調整をする。ニー・ディテール部２３４は、ブラックレベル部２３３から出力されるＨＤＲ映像信号に、ニー補正を行ってＳＤＲ映像信号にし、さらにこのＳＤＲ映像信号にディテール（輪郭）補正をする。

ガンマ・フォーマッタ部２３５は、ニー・ディテール部２３４から出力されるリニアなＳＤＲ映像信号にＳＤＲ用の光電気伝達関数（ガンマ特性）を用いてリニア領域からビット長圧縮をする階調圧縮処理を行う。また、ガンマ・フォーマッタ部２３５は、このように階調圧縮されたＳＤＲ映像信号を、ＲＧＢドメインからＹ色差ドメインに変換して出力ＳＤＲ映像信号（SDR Video）を得る。

この実施の形態において、ＢＰＵ２００は、ＨＤＲ映像信号における輝度信号から所定の信号レベル領域を検出し、この所定の信号レベル領域を示す信号に基づいてこの所定の信号レベル領域を表示するための表示信号をＳＤＲ映像信号に合成することが可能となっている。このようにＳＤＲ映像信号に表示信号が合成されることで、ＨＤＲ映像信号における輝度信号の所定の信号レベル領域をＳＤＲ対応の表示装置に表示されるＳＤＲ画面上で容易に確認可能となる。

図３は、ＢＰＵ２００における表示信号の生成および合成に係る部分の構成例を示している。この図３において、図１、図２と対応する部分には同一符号を付して示している。レベル検出（Level Detect）部２０５は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサであり、伝送部２０１（図１参照）で受信されたリニアなＨＤＲ映像信号（Linear HDR Video）を構成する輝度信号から所定の信号レベル領域を検出し、この所定の信号レベル領域を示す信号を出力する。

この所定の信号レベル領域を示す信号は、例えば、各画素信号に対応して、検出領域で“１”となり、その他の領域で“０”となる信号であり、ＨＤＲ映像信号と同じ解像度、ここではＵＨＤ（８Ｋ、４Ｋなど）の解像度を持っている。なお、所定の信号レベルは、例えば図示しないユーザ操作部からユーザが指定可能とされる。信号レベルの指定は、例えば、「Ａ％からＢ％」、あるいは「Ｃ％以上」などのように指定される。

遅延（Delay）部２０６は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサであり、レベル検出部２０５で得られた所定の信号レベル領域を示す信号のタイミングをＳＤＲカメラプロセス部２０３で得られる出力ＳＤＲ映像信号（SDR Video）と合わせるために設けられている。解像度変換部２０７は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサであり、遅延部２０６でタイミング調整された所定の信号レベル領域を示す信号の解像度をＵＨＤから出力ＳＤＲ映像信号と同じＨＤに変換する。

合成部２０８は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサであり、ＳＤＲカメラプロセス部２０３で得られる出力ＳＤＲ映像信号に、解像度変換部２０７で解像度変換された所定の信号レベル領域を示す信号に基づき、この所定の信号レベル領域を表示するための表示信号を合成して表示用ＳＤＲ映像信号を得る。この場合、出力ＳＤＲ映像信号の所定の信号レベル領域に対応する部分が、特定の色、あるいは特定輝度パターン（ゼブラパターン、クロスハッチパターンなど）で表示する表示信号に置き換えられる。図示しないが、表示信号は、例えば、合成部２０８内で発生される。

その後、合成部２０８は、ＳＤＲ映像信号を表示可能な表示装置に対して、表示用ＳＤＲ映像信号を出力する。このようにＳＤＲ映像信号に表示信号が合成されることで、ＳＤＲ映像信号の所定の信号レベル領域を、ＳＤＲ対応の表示装置に表示されるＳＤＲ画面上で容易に確認可能となる。このＳＤＲ対応の表示装置は、例えばＬＣＤやＯＬＥＤ、あるいはビューファインダーでもよい。

なお、上述ではリニアなＨＤＲ映像信号を構成する輝度信号から所定の信号レベル領域を検出する例を示したが、ＨＤＲカメラプロセス部２０２で階調圧縮などの処理が施された後のＨＤＲ映像信号を構成する輝度信号から所定の信号レベル領域を検出することも考えられる。

その場合、破線図示するように、ＨＤＲカメラプロセス部２０２の後段にレベル検出部２０５´が設けられる。そして、このレベル検出部２０５´では、ＨＤＲカメラプロセス部２０２から出力される出力ＨＤＲ映像信号を構成する輝度信号から所定の信号レベル領域が検出されて、所定の信号レベル領域を示す信号を出力される。そして、この所定の信号レベル領域を示す信号が、解像度変換部２０７でＵＨＤの解像度からＨＤに解像度に変換された後に、合成部２０８に供給されて用いられる。

また、上述では、ＨＤＲ映像信号の解像度がＵＨＤである例を示したが、ＨＤＲ映像信号の解像度がＨＤである場合には、ＵＨＤからＨＤに解像度を変換する解像度変換部２０４，２０７は不要となる。

また、上述では、所定の信号レベル領域を表示するための表示信号をＳＤＲ映像信号に合成する例を説明したが、この所定の信号レベル領域を表示するための表示信号をＨＤＲ映像信号に合成することも考えられる。この場合、レベル検出部２０５あるいはレベル検出部２０５´から出力される所定の信号レベル領域を示す信号レベル検出信号は、破線図示する合成部２０９に供給される。

そして、合成部２０９では、ＨＤＲカメラプロセス部２０２で得られる出力ＨＤＲ映像信号に、所定の信号レベル領域を示す信号に基づき、この所定の信号レベル領域を表示するための表示信号が合成されて表示用ＨＤＲ映像信号が得られる。その後合成部２０９はＨＤＲ映像信号を表示可能な表示装置（例えば高輝度表示が可能なディスプレイ）に対し、表示用ＨＤＲ映像信号を出力する。このＨＤＲ対応の表示装置は、例えばＬＣＤやＯＬＥＤでもよい。このようにＨＤＲ映像信号に表示信号が合成されることで、ＨＤＲ映像信号の所定の信号レベル領域をＨＤＲ対応の表示装置に表示されるＨＤＲ画面上で容易に確認可能となる。

上述したように、図１に示すカメラシステム１０では、ＢＰＵ２００において、ＨＤＲ映像信号を構成する輝度信号から所定の信号レベル領域が検出され、この所定の信号レベル領域を示す信号に基づいてこの所定の信号レベル領域を表示するための表示信号がＳＤＲ映像信号に合成される。そのため、ＨＤＲ映像信号における輝度信号の所定の信号レベル領域をＳＤＲ対応の表示装置に表示されるＳＤＲ画面上で容易に確認可能となる。

この場合、ＨＤＲ映像信号を構成する輝度信号から所定の信号レベル領域が検出されるため、レベル検出部２０５，２０５´では、ＨＤＲ映像信号における、ＳＤＲ映像信号の輝度レベルを超える高輝度レベルの領域の検出を正しく検出することができる。ＳＤＲ映像信号では、ＨＤＲ映像信号における高輝度レベル部分が、図４に矢印ａで示すように、ニー処理により圧縮されて最大１００％以下とされるので、ＳＤＲ映像信号からＨＤＲ映像信号における高輝度レベルの領域（例えば７５０％以上の領域）を正しく検出することはできない。

また、リニアなＨＤＲ映像信号を構成する輝度信号から所定の信号レベル領域を検出する場合には、ＨＤＲカメラプロセス部２０２で得られる出力ＨＤＲ映像信号を構成する輝度信号から所定の信号レベル領域を検出する場合に比べて、信号レベル領域の検出を簡単に行うことができる。例えば、ＨＤＲカメラプロセス部２０２で、図４に矢印ｂで示すように、高輝度抑制機能が掛けられると、ＨＤＲカメラプロセス部２０２で得られる出力ＨＤＲ映像信号から所定の信号レベル領域（例えば７５０％以上の領域）を検出する場合にはその抑制量に応じて検出レベルを変える必要が生じる。しかし、リニアなＨＤＲ映像信号から所定の信号レベル領域を検出する場合にはそのような必要はない。

また、ＨＤＲ映像信号の解像度がＵＨＤである場合、レベル検出部２０５，２０５´で得られた所定の信号レベル領域を示す信号の解像度がＵＨＤからＨＤに変換されて合成部２０８で用いられる。そのためＨＤＲ映像信号の解像度がＵＨＤでＳＤＲ対応の表示装置の解像度がＨＤである場合であっても、ＨＤＲ映像信号における輝度信号の所定の信号レベル領域をＳＤＲ対応の表示装置に表示されるＳＤＲ画面上で容易に確認可能となる。

＜２．第２の実施の形態＞
［カメラシステムの構成例］
上述の第１の実施の形態においては、カメラ１００からＢＰＵ２００にリニアなＨＤＲ映像信号が送られてくるものであって、このリニアなＨＤＲ映像信号の供給のもと、ＢＰＵ２００ではＳＤＲ映像信号にＨＤＲ映像信号における映像信号の所定の信号レベル領域を表示する表示信号を合成する例を示した。しかし、階調圧縮処理が既に施されているＨＤＲ映像信号が供給される場合にあっても、同様の処理を行うことは可能である。

図５は、第２の実施の形態としてのカメラシステム１０Ａの構成例を示している。この図５において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。このカメラシステム１０Ａは、カメラ１００Ａで得られた撮像映像信号としての、階調圧縮処理が施されたＨＤＲ映像信号がカメラ・コントロール・ユニット（ＣＣＵ：Camera Control Unit）３００に伝送される構成となっている。

カメラ１００Ａは、撮像部１０１と、プリプロセス（Pre-Process）部１０２と、ＨＤＲカメラプロセス（HDR CAM Process）部１０４と、伝送部１０３を有している。撮像部１０１は、例えば、４ＫあるいはＨＤのイメージセンサを持ち、撮像映像信号としてＨＤＲ映像信号を出力する。プリプロセス部１０２は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサであり、撮像部１０１から出力されるＨＤＲ映像信号に対して、レンズなどの光学系の補正処理や、イメージセンサのばらつきなどから生じる傷補正処理などを行う。

ＨＤＲカメラプロセス部１０４は、プリプロセス部１０２で処理されたＨＤＲ映像信号に対して色域変換、ディテール（輪郭）補正、階調圧縮などの処理をする。このＨＤＲカメラプロセス部１０４は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサであり、詳細説明は省略するが、上述したカメラシステム１０のＢＰＵ２００におけるＨＤＲカメラプロセス部２０２と同様の構成とされている（図１、図２参照）。伝送部１０３は、通信インタフェースを有する回路であり、ＨＤＲカメラプロセス部１０４で処理されたＨＤＲ映像信号をＣＣＵ３００に送信する。

ＣＣＵ３００は、伝送部３０１と、インバース・ＨＤＲカメラプロセス（Inverse HDR CAM Process）部３０２と、ＳＤＲカメラプロセス（SDR CAM Process）部３０３を有している。伝送部３０１は、通信インタフェースを有する回路であり、カメラ１００Ａから送られてくるＨＤＲ映像信号を受信する。このＨＤＲ映像信号は、そのまま、ＣＣＵ３００からの出力ＨＤＲ映像信号となる。

インバース・ＨＤＲカメラプロセス部３０２は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサであり、伝送部３０１で受信されたＨＤＲ映像信号に対してＹ色差ドメインからＲＧＢドメインへの変換、階調圧縮の逆変換などの処理を行って、リニアなＨＤＲ映像信号を得る。ＳＤＲカメラプロセス部３０３は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサであり、インバース・ＨＤＲカメラプロセス部３０２で得られたリニアなＨＤＲ映像信号に対して色域変換、ニー補正、ディテール（輪郭）補正、階調圧縮などの処理を行って出力ＳＤＲ映像信号（SDR Video）を得る。

図６は、インバース・ＨＤＲカメラプロセス部３０２およびＳＤＲカメラプロセス部３０３の詳細な構成例を示している。なお、この例は、ＨＤＲ映像信号がＵＨＤ（８Ｋ、４Ｋなど）の解像度を持つ例であり、ＳＤＲカメラプロセス部３０３の前段に、ＨＤＲ映像信号の解像度をＵＨＤからＨＤに変換する解像度変換部３０４を備えている。この解像度変換部３０４は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサである。

インバース・ＨＤＲカメラプロセス部３０２は、デフォーマッタ（De-Formatter）部３２１と、インバースＯＥＴＦ（Inverse-OETF）部３２２と、リムーブ・ブラックレベル（Remove-Black-level）部３２３を有している。

デフォーマッタ部３２１は、伝送部３０１（図５参照）で受信されたＨＤＲ映像信号に対してＹ色差ドメインからＲＧＢドメインへの変換処理をする。インバースＯＥＴＦ部３２２は、デフォーマッタ部３２１から出力されるＨＤＲ映像信号に階調圧縮の逆変換を行ってリニアなＨＤＲ映像信号を得る。リムーブ・ブラックレベル部３２３は、インバースＯＥＴＦ部３２２から出力されるリニアなＨＤＲ映像信号のブラックレベルをＨＤＲカメラプロセス部１０４（図５参照）のブラックレベル部で調整される前の状態に戻す。

ＳＤＲカメラプロセス部３０３は、リラティブゲイン（Relative-Gain）部３３１と、リニアマトリクス（Linear-Matrix）部３３２と、ブラックレベル（Black-level）部３３３と、ニー（Knee）・ディテール（Detail）部３３４と、ガンマ（Gamma）・フォーマッタ（Formatter）部３３５を有している。

リラティブゲイン部３３１は、インバース・ＨＤＲカメラプロセス部３０２から出力されて解像度変換部３０４でＨＤ解像度に変換されたリニアなＨＤＲ映像信号（Linear HDR Video）にコントラスト調整のためのゲイン調整をする。リニアマトリクス部３３２は、リラティブゲイン部３３１から出力されるＨＤＲ映像信号に色域変換の処理をする。

ブラックレベル部３３３は、リニアマトリクス部３３２から出力されるＨＤＲ映像信号に黒レベル調整をする。ニー・ディテール部３３４は、ブラックレベル部３３３から出力されるＨＤＲ映像信号に、ニー補正を行ってＳＤＲ映像信号にし、さらにこのＳＤＲ映像信号にディテール（輪郭）補正をする。

ガンマ・フォーマッタ部３３５は、ニー・ディテール部３３４から出力されるリニアなＳＤＲ映像信号にＳＤＲ用の光電気伝達関数（ガンマ特性）を用いてリニア領域からビット長圧縮をする階調圧縮処理を行う。また、ガンマ・フォーマッタ部３３５は、このように階調圧縮されたＳＤＲ映像信号を、ＲＧＢドメインからＹ色差ドメインに変換して出力ＳＤＲ映像信号（SDR Video）を得る。

この実施の形態において、ＣＣＵ３００は、ＨＤＲ映像信号における輝度信号から所定の信号レベル領域を検出し、この所定の信号レベル領域を示す信号に基づいてこの所定の信号レベル領域を表示するための表示信号をＳＤＲ映像信号に合成することが可能となっている。このようにＳＤＲ映像信号に表示信号が合成されることで、ＨＤＲ映像信号における輝度信号の所定の信号レベル領域をＳＤＲ対応の表示装置に表示されるＳＤＲ画面上で容易に確認可能となる。

図７は、ＣＣＵ３００における表示信号の生成および合成に係る部分の構成例を示している。この図７において、図５、図６と対応する部分には同一符号を付して示している。レベル検出（Level Detect）部３０５は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサであり、インバース・ＨＤＲカメラプロセス部３０２から出力されるリニアなＨＤＲ映像信号（Linear HDR Video）を構成する輝度信号から所定の信号レベル領域を検出し、この所定の信号レベル領域を示す信号を出力する。

この所定の信号レベル領域を示す信号は、例えば、各画素信号に対応して、検出領域で“１”となり、その他の領域で“０”となる信号であり、ＨＤＲ映像信号と同じ解像度、ここではＵＨＤ（８Ｋ、４Ｋなど）の解像度を持っている。なお、所定の信号レベルは、例えば図示しないユーザ操作部からユーザが指定可能とされる。信号レベルの指定は、例えば、「Ａ％からＢ％」、あるいは「Ｃ％以上」などのように指定される。

遅延（Delay）部３０６は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサであり、レベル検出部３０５で得られた所定の信号レベル領域を示す信号のタイミングをＳＤＲカメラプロセス部３０３で得られる出力ＳＤＲ映像信号（SDR Video）と合わせるために設けられている。解像度変換部３０７は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサであり、遅延部３０６でタイミング調整された所定の信号レベル領域を示す信号の解像度をＵＨＤから出力ＳＤＲ映像信号と同じＨＤに変換する。

合成部３０８は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサであり、ＳＤＲカメラプロセス部３０３で得られる出力ＳＤＲ映像信号に、解像度変換部３０７で解像度変換された所定の信号レベル領域を示す信号に基づき、この所定の信号レベル領域を表示するための表示信号を合成して表示用ＳＤＲ映像信号を得る。この場合、出力ＳＤＲ映像信号の所定の信号レベル領域に対応する部分が、特定の色、あるいは特定輝度パターン（ゼブラパターン、クロスハッチパターンなど）で表示する表示信号に置き換えられる。図示しないが、表示信号は、例えば、合成部３０８内で発生される。

その後、合成部３０８は、ＳＤＲ映像信号を表示可能な表示装置に対して、表示用ＳＤＲ映像信号を出力する。このようにＳＤＲ映像信号に表示信号が合成されることで、ＳＤＲ映像信号の所定の信号レベル領域を、ＳＤＲ対応の表示装置に表示されるＳＤＲ画面上で容易に確認可能となる。このＳＤＲ対応の表示装置は、例えばＬＣＤやＯＬＥＤ、あるいはビューファインダーでもよい。

なお、上述ではリニアなＨＤＲ映像信号を構成する輝度信号から所定の信号レベル領域を検出する例を示したが、伝送部３０１（図５参照）で受信された、階調圧縮などの処理が施されているＨＤＲ映像信号を構成する輝度信号から所定の信号レベル領域を検出することも考えられる。

その場合、破線図示するように、ビデオ遅延（Video-delay）部３１０でタイミング調整されたＨＤＲ映像信号を構成する輝度信号から、レベル検出（Level Detect）部３０５´で所定の信号レベル領域が検出されて、この所定の信号レベル領域を示す信号が出力される。そして、この所定の信号レベル領域を示す信号が、解像度変換部３０７でＵＨＤの解像度からＨＤに解像度に変換された後に、合成部３０８に供給されて用いられる。なお、ビデオ遅延部３１０は、例えばＦＰＧＡやＡＳＩＣ等の回路で構成されるプロセッサである。

また、上述では、ＨＤＲ映像信号の解像度がＵＨＤである例を示したが、ＨＤＲ映像信号の解像度がＨＤである場合には、ＵＨＤからＨＤに解像度を変換する解像度変換部３０４，３０７は不要となる。

また、上述では、所定の信号レベル領域を表示するための表示信号をＳＤＲ映像信号に合成する例を説明したが、この所定の信号レベル領域を表示するための表示信号をＨＤＲ映像信号に合成することも考えられる。この場合、レベル検出部３０５あるいはレベル検出部３０５´で検出される所定の信号レベル領域を示す信号は、破線図示する合成部３０９に供給される。

そして、合成部３０９では、ビデオ遅延部３１０でタイミング調整されたＨＤＲ映像信号に、所定の信号レベル領域を示す信号に基づき、この所定の信号レベル領域を表示するための表示信号が合成されて表示用ＨＤＲ映像信号が得られる。その後合成部３０９はＨＤＲ映像信号を表示可能な表示装置（例えば高輝度表示が可能なディスプレイ）に対し、表示用ＨＤＲ映像信号を出力する。このＨＤＲ対応の表示装置は、例えばＬＣＤやＯＬＥＤでもよい。このようにＨＤＲ映像信号に表示信号が合成されることで、ＨＤＲ映像信号の所定の信号レベル領域をＨＤＲ対応の表示装置に表示されるＨＤＲ画面上で容易に確認可能となる。

上述したように、図５に示すカメラシステム１０では、ＣＣＵ３００において、ＨＤＲ映像信号を構成する輝度信号から所定の信号レベル領域が検出され、この所定の信号レベル領域を示す信号に基づいてこの所定の信号レベル領域を表示するための表示信号がＳＤＲ映像信号に合成される。そのため、上述した第１の実施の形態と同様に、ＨＤＲ映像信号における輝度信号の所定の信号レベル領域をＳＤＲ対応の表示装置に表示されるＳＤＲ画面上で容易に確認可能となる。

この場合、ＨＤＲ映像信号を構成する輝度信号から所定の信号レベル領域が検出されることから、レベル検出部３０５，３０５´では、ＨＤＲ映像信号における、ＳＤＲ映像信号の輝度レベルを超える高輝度レベルの領域の検出を正しく検出することができる。また、リニアなＨＤＲ映像信号を構成する輝度信号から所定の信号レベル領域を検出する場合には、階調圧縮等が施されている出力ＨＤＲ映像信号を構成する輝度信号から所定の信号レベル領域を検出する場合に比べて、信号レベル領域の検出を簡単に行うことができる。

また、ＨＤＲ映像信号の解像度がＵＨＤである場合、レベル検出部３０５，３０５´で得られた検出領域信号の解像度がＵＨＤからＨＤに変換されて合成部３０８で用いられる。そのためＨＤＲ映像信号の解像度がＵＨＤでＳＤＲ対応の表示装置の解像度がＨＤである場合であっても、ＨＤＲ映像信号における輝度信号の所定の信号レベル領域をＳＤＲ対応の表示装置に表示されるＳＤＲ画面上で容易に確認可能となる。

＜３．変形例＞
なお、上述実施の形態においては、レベル検出部でＨＤＲ映像信号を構成する輝度信号から所定の信号レベル領域が検出される例を示した。しかし、レベル検出部でＨＤＲ映像信号を構成するＲ，Ｇ，Ｂのそれぞれの原色色信号から所定の信号レベル領域を検出し、それぞれの検出領域を示す表示信号を出力ＳＤＲ映像信号あるいは出力ＨＤＲ映像信号に合成することも考えられる。この場合、Ｒ，Ｇ，Ｂの各原色信号の所定の信号レベル領域をＳＤＲ画面上あるいはＨＤＲ画面上で容易に確認可能となる。

また、本技術は、以下のような構成を取ることもできる。
（１）ハイダイナミックレンジ映像信号に少なくとも通常ダイナミックレンジ用の階調圧縮処理を含む処理を行って通常ダイナミックレンジ映像信号を得る信号処理部と、
上記ハイダイナミックレンジ映像信号から所定の信号レベル領域を検出するレベル検出部と、
上記通常ダイナミックレンジ映像信号に、上記ハイダイナミックレンジ映像信号から検出された上記所定の信号レベル領域を示す信号に基づいて該所定の信号レベル領域を表示するための表示信号を合成して表示用通常ダイナミックレンジ映像信号を得る合成部を備える
信号処理装置。
（２）上記ハイダイナミックレンジ映像信号は第１の解像度を持ち、
上記ハイダイナミックレンジ映像信号を上記第１の解像度から該第１の解像度より低い第２の解像度に変換する第１の解像度変換部と、
上記所定の信号レベル領域を示す信号の解像度を上記第１の解像度から上記第２の解像度に変換する第２の解像度変換部をさらに備え、
上記信号処理部は、
上記第２の解像度に変換された上記ハイダイナミックレンジ映像信号を処理して上記第２の解像度の通常ダイナミックレンジ映像信号を得、
上記合成部は、
上記第２の解像度の通常ダイナミックレンジ映像信号に、上記第２の解像度に変換された上記所定の信号レベル領域を示す信号に基づいて該所定の信号レベル検出領域を表示するための表示信号を合成して、上記第２の解像度の表示用通常ダイナミックレンジ映像信号を得る
前記（１）に記載の信号処理装置。
（３）上記第１の解像度は４Ｋまたは８Ｋであり、上記第２の解像度はＨＤである
前記（２）に記載の信号処理装置。
（４）上記レベル検出部は、ハイダイナミックレンジ映像信号を構成する輝度信号から上記所定の信号レベル領域を検出する
前記（１）から（３）のいずれかに記載の信号処理装置。
（５）上記レベル検出部は、ハイダイナミックレンジ映像信号を構成する原色色信号から上記所定の信号レベル領域を検出する
前記（１）から（３）のいずれかに記載の信号処理装置。
（６）上記合成部は、上記所定の信号レベル領域を表示するために、上記表示用通常ダイナミックレンジ映像信号を表示装置に出力する
前記（１）から（５）のいずれかに記載の信号処理装置。
（７）ハイダイナミックレンジ映像信号に少なくとも通常ダイナミックレンジ用の階調圧縮処理を含む処理を行って通常ダイナミックレンジ映像信号を得る信号処理ステップと、
上記ハイダイナミックレンジ映像信号から所定の信号レベル領域を検出するレベル検出ステップと、
上記通常ダイナミックレンジ映像信号に、上記ハイダイナミックレンジ映像信号から検出された上記所定の信号レベル領域を示す信号に基づいて該所定の信号レベル領域を表示するための表示信号を合成して表示用通常ダイナミックレンジ映像信号を得る合成ステップを有する
信号処理方法。
（８）ハイダイナミックレンジ映像信号を得る撮像部と、
上記ハイダイナミックレンジ映像信号に少なくとも通常ダイナミックレンジ用の階調圧縮処理を含む処理を行って通常ダイナミックレンジ映像信号を得る信号処理部と、
上記ハイダイナミックレンジ映像信号から所定の信号レベル領域を検出するレベル検出部と、
上記通常ダイナミックレンジ映像信号に、上記ハイダイナミックレンジ映像信号から検出された上記所定の信号レベル領域を示す信号に基づいて該所定の信号レベル領域を表示するための表示信号を合成して表示用通常ダイナミックレンジ映像信号を得る合成部を備える
カメラシステム。

１０，１０Ａ・・・カメラシステム
１００，１００Ａ・・・カメラ
１０１・・・撮像部
１０２・・・プリプロセス部
１０３・・・伝送部
１０４・・・ＨＤＲカメラプロセス部
２００・・・ベースバンド・プロセッサ・ユニット（ＢＰＵ）
２０１・・・伝送部
２０２・・・ＨＤＲカメラプロセス部
２０３・・・ＳＤＲカメラプロセス部
２０４，２０７・・・解像度変換部
２０５，２０５´・・・レベル検出部
２０６・・・遅延部
２０８，２０９・・・合成部
２２１・・・ホワイトゲイン部
２２２・・・リニアマトリクス部
２２３・・・ブラックレベル部
２２４・・・ディテール部
２２５・・・ＯＥＴＦ・フォーマッタ部
２３１・・・ホワイトゲイン・リラティブゲイン部
２３２・・・リニアマトリクス部
２３３・・・ブラックレベル部
２３４・・・ニー・ディテール部
２３５・・・ガンマ・フォーマッタ部
３００・・・カメラ・コントロール・ユニット（ＣＣＵ）
３０１・・・伝送部
３０２・・・インバース・ＨＤＲカメラプロセス部
３０３・・・ＳＤＲカメラプロセス部
３０４，３０７・・・解像度変換部
３０５，３０５´・・・レベル検出部
３０６・・・遅延部
３０８，３０９・・・合成部
３１０・・・ビデオ遅延部
３２１・・・デフォーマッタ部
３２２・・・インバースＯＥＴＦ部
３２３・・・リムーブ・ブラックレベル部
３３１・・・リラティブゲイン部
３３２・・・リニアマトリクス部
３３３・・・ブラックレベル部
３３４・・・ニー・ディテール部
３３５・・・ガンマ・フォーマッタ部

Claims (9)

1. 第１のダイナミックレンジおよび第１の解像度を有するリニアな第１の映像信号に処理を行って、上記第１の映像信号よりも小さな第２のダイナミックレンジを有し、かつ上記第１の解像度よりも低い第２の解像度を有する第２の映像信号を得る信号処理部と、
   上記第１の映像信号から所定の輝度レベル以上の領域を検出するレベル検出部と、
   上記第２の映像信号に、上記第１の映像信号から検出された上記所定の輝度レベル以上の領域を示す信号に基づいて該所定の輝度レベル以上の領域を表示するための表示信号を合成して、上記第２の解像度を有する表示用映像信号を得る合成部を備える
   信号処理装置。
2. 上記所定の輝度レベルは、ユーザの入力を介して変更指示することが可能とされる
   請求項１に記載の信号処理装置。
3. 上記第１の映像信号を上記第１の解像度から上記第２の解像度に変換する第１の解像度変換部と、
   上記所定の輝度レベル以上の領域を示す信号の解像度を上記第１の解像度から上記第２の解像度に変換する第２の解像度変換部をさらに備え、
   上記信号処理部は、
   上記第２の解像度に変換された上記第１の映像信号を処理して上記第２の解像度の上記第２の映像信号を得、
   上記合成部は、
   上記第２の解像度の上記第２の映像信号に、上記第２の解像度に変換された上記所定の輝度レベル以上の領域を示す信号に基づいて該所定の輝度レベル以上の領域を表示するための表示信号を合成して、上記第２の解像度の上記表示用映像信号を得る
   請求項１または２に記載の信号処理装置。
4. 上記第１の解像度は４Ｋまたは８Ｋであり、上記第２の解像度はＨＤである
   請求項１から３のいずれかに記載の信号処理装置。
5. 上記レベル検出部は、上記第１の映像信号を構成する輝度信号から上記所定の輝度レベル以上の領域を検出する
   請求項１から４のいずれかに記載の信号処理装置。
6. 上記レベル検出部は、上記第１の映像信号を構成する原色色信号から上記所定の輝度レベル以上の領域を検出する
   請求項１から４のいずれかに記載の信号処理装置。
7. 上記合成部は、上記所定の輝度レベル以上の領域を表示するために、上記表示用映像信号を表示装置に出力する
   請求項１から６のいずれかに記載の信号処理装置。
8. 第１のダイナミックレンジおよび第１の解像度を有するリニアな第１の映像信号に処理を行って、上記第１の映像信号よりも小さな第２のダイナミックレンジを有し、かつ上記第１の解像度よりも低い第２の解像度を有する第２の映像信号を得る信号処理ステップと、
   上記第１の映像信号から所定の輝度レベル以上の領域を検出するレベル検出ステップと、
   上記第２の映像信号に、上記第１の映像信号から検出された上記所定の輝度レベル以上の領域を示す信号に基づいて該所定の輝度レベル以上の領域を表示するための表示信号を合成して、上記第２の解像度を有する表示用映像信号を得る合成ステップを有する
   信号処理方法。
9. 第１のダイナミックレンジおよび第１の解像度を有するリニアな第１の映像信号を得る撮像部と、
   上記第１の映像信号に処理を行って、上記第１の映像信号よりも小さな第２のダイナミックレンジを有し、かつ上記第１の解像度よりも低い第２の解像度を有する第２の映像信号を得る信号処理部と、
   上記第１の映像信号から所定の輝度レベル以上の領域を検出するレベル検出部と、
   上記第２の映像信号に、上記第１の映像信号から検出された上記所定の輝度レベル以上の領域を示す信号に基づいて該所定の輝度レベル以上の領域を表示するための表示信号を合成して、上記第２の解像度を有する表示用映像信号を得る合成部を備える
   カメラシステム。

Images