JP6135490B2 - 動画画像処理システムおよび動画画像処理方法 - Google Patents

Description

本技術は、現像機能を有する撮像装置と、この撮像装置により得た画像データを、用途に適した色域の画像データに変換する画像処理装置とを有する画像処理システムおよび画像処理方法に関する。

撮像装置は、イメージセンサーによって得られたＲＡＷデータを目的の色域の画像データに現像して出力する。画像データにおいて理想とされる色域は、例えば、テレビジョン、プロジェクター、ビデオフィルム、印刷など、画像データの用途によって違いある。このため、上記のように現像機能を有する撮像装置から出力された画像データを、撮像装置において予定されていた用途とは別の用途に用いる場合には、撮像装置から供給される画像データの色域を、別の用途に対応した色域に変換しなければならない。

しかし、この場合、撮像装置より出力される画像データにおいてＲＡＷデータから既に欠落している色域の部分は再現できないため、撮像装置より出力される画像データの色域より広い色域の画像データに変換した場合に色の再現性が低下する。

そこで、撮像装置のイメージセンサーによって得られたＲＡＷデータをメディアや通信により画像処理装置に伝送し、画像処理装置において目的の色域の画像データに現像する方法がある（例えば、特許文献１参照。）。この方法は、現像時に画像データの色域とガンマを自由に選択できる。しかし、ＲＡＷデータがそのままメディアや通信によって伝送されるので、伝送データ量が大きくなり、高速化の妨げとなる。

特開２００９−０３３３８５号公報（段落００４４，００５５）

現像処理を行うことが可能な撮像装置と、この撮像装置より出力された画像データの色域を用途に応じた色域に変換することが可能な画像処理装置とを有する画像処理システムにおいては、色再現性、速度など、性能面における様々な点で未解決の課題が残されており、その対策が望まれている。

以上のような事情に鑑み、本技術の目的は、色の再現性に優れ、伝送が高速であるなど、性能に優れた画像処理システムおよび画像処理方法を提供することにある。

上記の課題を解決するために、本技術の画像処理システムは、
イメージセンサーと、
前記イメージセンサーから取り込まれたＲＡＷデータから第１の色域の画像データを生成する現像処理部と、
前記生成された第１の色域の画像データを圧縮符号化する圧縮符号化部と
を有する撮像装置と、
前記撮像装置と伝送路を通じて接続可能な画像処理装置であって、
前記伝送路を通じて伝送され、前記圧縮符号化された画像データを伸張復号して前記第１の色域の画像データを復元する伸張復号部と、
前記復元された第１の色域の画像データを、選択可能な複数の種類の色域のなかから選択される一の色域である第２の色域の画像データに変換する色域変換部と
を有する画像処理装置と
を具備し、
前記第１の色域が、前記選択可能な複数の種類の色域を包含する色域としたものである。

前記複数の種類の色域のなかの一の色域が他の色域を包含するものであり、前記第１の色域が前記一の色域であってもよい。

前記撮像装置は、前記第１の色域の情報を含むメタデータを前記伝送路を用いて前記画像処理装置に伝送するように構成される第１のコントローラをさらに有し、
前記画像処理装置は、前記受信したメタデータに含まれる前記第１の色域の情報と、前記第２の色域の情報をもとに、前記色域変換部の変換マトリクスを設定するように構成された第２のコントローラをさらに有するものであってよい。

前記一の色域はＳ−Ｇａｍｕｔ３であってよい。
あるいは、前記一の色域はＳ−Ｇａｍｕｔ３を包含し、かつこのＳ−Ｇａｍｕｔ３より広い色域としてもよい。

本技術に係る別の形態の画像処理方法は、
撮像装置は、
イメージセンサーから取り込まれたＲＡＷデータから第１の色域の画像データを生成し、
前記生成された第１の色域の画像データを圧縮符号化し、伝送路を通じて接続された画像処理装置に伝送する。
ここで、前記第１の色域は、前記選択可能な複数の種類の色域を包含する色域である。
前記画像処理装置は、
前記圧縮符号化された画像データを伸張復号して前記第１の色域の画像データを復元し、
前記復元された第１の色域の画像データを、選択可能な複数の種類の色域のなかから選択される一の色域である第２の色域の画像データに変換する。

以上のように、本技術によれば、色の再現性に優れ、伝送が高速であるなど、性能を向上させた画像処理システムが実現される。

本実施形態の画像処理システム１における撮像装置１０の構成を示すブロック図である。 本実施形態の画像処理システム１におけるデコードユニット３０の構成を示すブロック図である。 様々な色域を比較して示す図である。 本実施形態の画像処理システム１の動作のフローチャートである。 変形例を説明するための各種の色域を示す図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
図１および図２は、本技術に係る第１の実施形態の画像処理システムの構成を示すブロック図である。

この画像処理システム１は、撮像装置１０と伝送路２０とデコードユニット（画像処理装置）３０を備える。

［撮像装置１０］
図１は本実施形態の画像処理システム１における撮像装置１０の構成を示すブロック図である。
撮像装置１０は、イメージセンサー１１と、現像処理部１２と、第１の階調変換部１３と、圧縮符号化部１４と、第１のコントローラ１５とを備える。

イメージセンサー１１は、例えば、ＣＭＯＳ（Complementary MOS）イメージセンサー、ＣＣＤ（Charge Coupled Device）イメージセンサーなどの撮像素子である。イメージセンサー１１は、光をその強さに応じたＲＧＢ毎の電気的信号に変換し、Ａ／Ｄ変換した信号系列をＲＡＷデータとして出力する。

現像処理部１２は、イメージセンサー１１より出力されたＲＡＷデータを第１の色域の画像データに変換する。現像処理部１２は、具体的には、例えば、変換マトリクス（第１の変換マトリクス）などを用いてＲＡＷデータから第１の色域の画像データに変換を行う回路などである。第１の色域がどのようなものであるかは、後で説明する。

第１の階調変換部１３は、現像処理部１２により得られた第１の色域の画像データに撮影後の画調調整を前提とした撮影ガンマ（例えばＳ−Ｌｏｇガンマなど）をかける。この種の撮影ガンマは、暗部とハイライトの情報をより多く取り込むことができるように非線形関数で設計されたものである。暗部とハイライトの情報量をより多くとれることによって、ポストプロダクション作業におけるカラーコレクションの自由度を広げることができる。

圧縮符号化部１４は、第１の階調変換部１３より出力された第１の色域の画像データを圧縮符号化する。圧縮符号化の方式としては、例えば、ＭＰＥＧ（Moving Picture Experts Group）などが採用される。圧縮符号化された第１の色域の画像データは伝送路２０を通じてデコードユニット３０に伝送される。

第１のコントローラ１５は、イメージセンサー１１、現像処理部１２、第１の階調変換部１３、圧縮符号化部１４などの動作を制御する。例えば、第１のコントローラ１５は、現像処理部１２に対する第１の色域または第１の変換マトリクスの指定、第１の階調変換部１３に対する撮影ガンマの指定などを行うことが可能である。また、第１のコントローラ１５は、現像処理部１２に対して指定した第１の色域の情報、第１の階調変換部１３に指定した撮影ガンマの情報などを含むメタデータを、伝送路２０を通じてデコードユニット３０に伝送するように制御を行う。

［デコードユニット３０］
デコードユニット３０は、撮像装置１０より伝送された画像データから目的の色域やガンマの画像データを生成する画像処理装置である。

図２は本実施形態の画像処理システム１におけるデコードユニット３０の構成を示すブロック図である。

デコードユニット３０は、伸張復号部３１、色域変換部３２、第２の階調変換部３３および第２のコントローラ３４を備える。

伸張復号部３１は、伝送路２０を通じて撮像装置１０より伝送され、圧縮符号化された第１の色域の画像データを伸張復号する。

第２の階調変換部３３は、伸張復号部３１によって伸張復号された画像データに対して、必要に応じてガンマをかけて階調の調整を行う。

色域変換部３２は、伸張復号部３１によって伸張復号された画像データを、画像データの用途に応じた第２の色域の画像データに変換する。色域変換部３２は、具体的には、例えば、変換マトリクス（第２の変換マトリクス）などを用いて画像データの色域を変換する回路などである。第２の色域がどのようなものであるかは、後で説明する。

第２の階調変換部３３は、色域変換部３２より出力された第２の色域の画像データを、必要に応じてガンマをかけて階調の調整を行う。

第２のコントローラ３４は、伸張復号部３１、第２の階調変換部３３および色域変換部３２の制御を行う。

第２のコントローラ３４は、例えばユーザから与えられた指令などをもとに、デコードユニット３０にて設定可能な複数の種類の色域の中から選択される一の色域を第２の色域として設定する。ここで、デコードユニット３０にて設定可能な複数の種類の色域とは、具体的には、例えば、Ｓ−Ｇａｍｕｔ３、ＩＴＵ−７０９、ＩＴＵ２０２０、ＤＣＩ Ｐ３、フィルム用色域などである。第２の色域は、この画像処理システム１による画像処理の実行前に選択されてもよく、あるいは実行中に適宜ユーザにより選択されてもよい。

第２のコントローラ３４は、伝送路２０を通じて撮像装置１０より伝送されてきたメタデータから第１の色域の情報を取得し、この第１の色域と第２の色域との組み合わせに対応する変換マトリクスを色域変換部３２に設定するように制御を行う。

また、第２のコントローラ３４は、例えばユーザから与えられた指令などをもとに、第２の階調変換部３３が画像データに適用するガンマを選択することができる。

［第１の色域および第２の色域について］
ここで、第１の色域および第２の色域について説明する。
画像データの色域には、用途によって様々な種類がある。

例えば、液晶テレビジョンの色域として、ＩＴＵ−Ｒ・ＢＴ.７０９規格の色域モードであるＩＴＵ−７０９、４Ｋ対応液晶テレビジョンに対応するＩＴＵ２０２０などがある。

デジタルシネマ用の色域としては、Ｓ−Ｇａｍｕｔ３、ＤＣＩ Ｐ３、ＡＣＥＳがある。
Ｓ−Ｇａｍｕｔ３は、ソニー社製のデジタルシネマトグラフィカメラで対応の広色域モード用の色域である。

ＤＣＩ Ｐ３（Digital Cinema Initiatives）は、映画館のプロジェクターによって映し出される映像用の色域として、ＤＣＩ（Digital Cinema Initiatives）によって提唱された色域の１つである。

デコードユニット３０では、上記のような複数の種類の色域の中から、ユーザにより選択された一の色域が第２の色域として設定される。一方、撮像装置１０の現像処理部１２に適用される第１の色域には、デコードユニット３０において設定可能な複数の種類の色域を包含する色域が用いられる。

図３は、ＩＴＵ−７０９、ＩＴＵ２０２０、ＤＣＩ Ｐ３、Ｓ−Ｇａｍｕｔ３、フィルム用色域、可視色域の各々の色域を比較して示す図である。

上記の各色域において、可視色域を除けば、Ｓ−Ｇａｍｕｔ３は、ＩＴＵ−７０９、ＩＴＵ２０２０、ＤＣＩ Ｐ３、フィルム用色域のすべての色域を包含する色域であることが分かる。このような複数の色域の関係が成立している場合、Ｓ−Ｇａｍｕｔ３を第１の色域として用いることができる。すなわち、デコードユニット３０において設定可能な複数の種類の色域の中で、一の種類の色域が他の種類の色域を包含する場合には、その一の種類の色域を撮像装置１０の第１の色域として用いることができる。

［画像処理システム１の動作］
次に、本実施形態の画像処理システム１の動作を説明する。
図４は画像処理システム１の動作のフローチャートである。

まず、撮像装置１０の動作として、第１のコントローラ１５によって現像処理部１２に、ＲＡＷデータから第１の色域への第１の変換マトリクスの設定が行われる。また、第１のコントローラ１５によって第１の階調変換部１３に撮影ガンマが設定される（ステップＳ１０１）。

次に、第１のコントローラ１５は、第１の色域の情報を少なくとも含むメタデータを作成し、伝送路２０を通じてデコードユニット３０に伝送する（ステップＳ１０２）。

デコードユニット３０の第２のコントローラ３４は、伝送路２０を通じてメタデータを受信すると、このメタデータに含まれる第１の色域の情報により特定される第１の色域と、デコードユニット３０において選択される第２の色域との組み合わせ対応する第２の変換マトリクスを色域変換部３２に設定する（ステップＳ１０３）。

ここで、第２のコントローラ３４のメモリには、色域の様々な組み合わせ毎に、対応する第２の変換マトリクスの情報が予め記憶されている。第２のコントローラ３４は、メタデータに格納されて撮像装置１０より通知された第１の色域と、第２の色域との組み合わせに対応する第２の変換マトリクスの情報をメモリから参照して得ることができる。

イメージセンサー１１からＲＡＷデータが現像処理部１２に供給されると（ステップＳ１０４）、現像処理部１２は、上記の第１の変換マトリクスを用いて、ＲＡＷデータを第１の色域の画像データに変換する（ステップＳ１０５）。

なお、撮像装置１０での変換マトリクスの設定において、第１のコントローラ１５が、伝送路２０を通じてデコードユニット３０から全種類の色域の情報を取得し、これらの情報をもとに第１の色域を自動的に特定するようにしてもよい。

次に、第１の階調変換部１３が、現像処理部１２より出力された第１の色域の画像データに対し、指定された撮影ガンマによりガンマ調整を行う（ステップＳ１０６）。

次に、圧縮符号化部１４が、第１の階調変換部１３より供給された第１の色域の画像データを圧縮符号化する（ステップＳ１０７）。圧縮符号化部１４によって得られた圧縮画像データは、伝送路２０を通じてデコードユニット３０に伝送される（ステップＳ１０８）。

なお、画像の圧縮符号方式として、ＭＰＥＧなどの不可逆圧縮方式を用いたが、本技術はこれに限定されず、可逆圧縮方式を採用してもよい。

撮像装置１０とデコードユニット３０との伝送路２０には、例えば、ＳＤＩ（Serial Digital Interface）などの伝送方式が用いられる。勿論、本技術は、伝送方式がＳＤＩであることに限定されない。

デコードユニット３０に伝送された画像データは、伸張復号部３１にて伸張復号される（ステップＳ１０９）。

次に、色域変換部３２が、伸張復号部３１にて伸張復号された第１の色域の画像データを第２の変換マトリクスを用いて第２の色域の画像データに変換する（ステップＳ１１０）。これによって、用途に適した色域の画像データが得られる。

次に、第２の階調変換部３３が、色域変換部３２より出力された第２の色域の画像データに対して画像データの用途に対応して設定されたガンマをかける。あるいは、ガンマをかけずにそのまま画像データをスルーさせる場合もある（ステップＳ１１１）。

ここで、第１の色域としてＳ−Ｇａｍｕｔ３が設定された場合、第２の色域としては、このＳ−Ｇａｍｕｔ３の色域に包含される関係にある色域、例えば、ＩＴＵ−７０９、ＩＴＵ２０２０、ＤＣＩ Ｐ３およびフィルム用色域などのいずれかが設定される。

デコードユニット３０においてＳ−Ｇａｍｕｔ３の色域をそのまま利用する場合も想定される。この場合には、色域変換部３２による色域の変換はスキップされる。

以上説明したように、本実施形態の画像処理システム１では、撮像装置１０において、デコードユニット３０で設定可能なすべての色域を包含する色域でＲＡＷデータが現像される。このため、デコードユニット３０で画像データが設定可能な複数の種類のどの色域に変換されても画像の色再現性が劣化しない。

Ｓ−Ｇａｍｕｔ３など、第１の色域として、第２の色域と同じ色域を設定した場合には、デコードユニット３０での色域変換が不要になり、高速化を図れる。

また、ＲＡＷデータをそのままデコードユニット３０に伝送する方式に比べ、伝送データ量を低減させることができ、高速化を期待できる。

＜変形例１＞
上記の実施形態では、デコードユニット３０で設定可能なすべての種類の色域の関係から、一の色域が他の色域を包含する場合には、その一の色域を第１の色域として設定することとした。本技術は、これに限定されない。

例えば、図５に示すように、デコードユニット３０で設定可能なすべての種類の色域を包含し、かつＳ−Ｇａｍｕｔ３より広い新たな色域５１を、第１の色域として設定するようにしてもよい。これによっても、画像の色再現性が劣化しない効果、伝送データ量の低減による高速化を実現できる。

デコードユニット３０で設定可能な色域としてＩＴＵ−７０９、ＩＴＵ２０２０、ＤＣＩ Ｐ３、Ｓ−Ｇａｍｕｔ３、フィルム用色域を示したが、本技術は、これに限定されるものではない。

例えば、ＩＴＵ−７０９、ＩＴＵ２０２０、ＤＣＩ Ｐ３の３種類がデコードユニット３０で設定可能な色域であったとしたならば、ＩＴＵ２０２０がその他の色域を包含する。したがって、ＩＴＵ２０２０を第１の色域としてもよい。

なお、本技術は以下のような構成もとることができる。
（１） イメージセンサーと、
前記イメージセンサーから取り込まれたＲＡＷデータから第１の色域の画像データを生成する現像処理部と、
前記生成された第１の色域の画像データを圧縮符号化する圧縮符号化部と
を有する撮像装置と、
前記撮像装置と伝送路を通じて接続可能な画像処理装置であって、
前記伝送路を通じて伝送され、前記圧縮符号化された画像データを伸張復号して前記第１の色域の画像データを復元する伸張復号部と、
前記復元された第１の色域の画像データを、選択可能な複数の種類の色域のなかから選択される一の色域である第２の色域の画像データに変換する色域変換部と
を有する画像処理装置と
を具備し、
前記第１の色域が、前記選択可能な複数の種類の色域を包含する色域である
画像処理システム。

（２）前記（１）に記載の画像処理システムであって、
前記複数の種類の色域のなかの一の色域が他の色域を包含するものであり、前記第１の色域が前記一の色域である
画像処理システム。

（３）前記（１）または（２）に記載の画像処理システムであって、
前記撮像装置は、前記第１の色域の情報を含むメタデータを前記伝送路を用いて前記画像処理装置に伝送するように構成される第１のコントローラをさらに有し、
前記画像処理装置は、前記受信したメタデータに含まれる前記第１の色域の情報と、前記第２の色域の情報をもとに、前記色域変換部の変換マトリクスを設定するように構成された第２のコントローラをさらに有する
画像処理システム。

（４）前記（１）ないし（３）のいずれかに記載の画像処理システムであって、
前記一の色域が、Ｓ−Ｇａｍｕｔ３である
画像処理システム。

（５）前記（１）に記載の画像処理システムであって、
前記撮像装置は、前記第１の色域の情報を含むメタデータを前記伝送路を用いて前記画像処理装置に伝送するように構成される第１のコントローラをさらに有し、
前記画像処理装置は、前記受信したメタデータに含まれる前記第１の色域の情報と、前記第２の色域の情報をもとに、前記色域変換部の変換マトリクスを設定するように構成された第２のコントローラをさらに有し、
前記一の色域が、Ｓ−Ｇａｍｕｔ３を包含し、かつこのＳ−Ｇａｍｕｔ３より広い色域である
画像処理システム。

１…画像処理システム
１０…撮像装置
１１…イメージセンサー
１２…現像処理部
１３…第１の階調変換部
１４…圧縮符号化部
１５…第１のコントローラ
２０…伝送路
３０…デコードユニット
３１…伸張復号部
３２…色域変換部
３３…第２の階調変換部
３４…第２のコントローラ

Claims (3)

1. 動画のための動画画像データを撮像可能な動画撮像装置と、この動画撮像装置から伝送路を通じて伝送された前記動画画像データを処理して、複数の種類の第２の色域のなかから選択されるいずれかの第２の色域の動画画像データを得ることが可能な動画画像処理装置とを具備する動画画像処理システムであって、
   前記動画撮像装置は、
   ＲＡＷデータを生成するイメージセンサーと、
   前記イメージセンサーにより生成された前記ＲＡＷデータから、前記動画画像処理装置にて選択可能な前記複数の種類の第２の色域を包含する第１の色域の動画画像データを生成する現像処理部と、
   前記生成された第１の色域の動画画像データを圧縮符号化する圧縮符号化部とを有し、
   前記動画画像処理装置は、
   前記伝送路を通じて伝送され、前記圧縮符号化された前記動画画像データを伸張復号して前記第１の色域の動画画像データを復元する伸張復号部と、
   前記復元された第１の色域の動画画像データを前記複数の種類の第２の色域のなかから選択されるいずれかの第２の色域の動画画像データに変換する色域変換部と
   を有する
   動画画像処理システム。
2. 請求項１に記載の動画画像処理システムであって、
   前記動画撮像装置は、前記第１の色域の情報を含むメタデータを前記伝送路を用いて前記動画画像処理装置に伝送するように構成される第１のコントローラをさらに有し、
   前記動画画像処理装置は、前記伝送路を通じて受信した前記メタデータに含まれる前記第１の色域の情報と、前記第２の色域の情報をもとに、前記色域変換部の変換マトリクスを設定するように構成された第２のコントローラをさらに有する
   動画画像処理システム。
3. 動画のための動画画像データを撮像可能な動画撮像装置と、この動画撮像装置から伝送路を通じて伝送された前記動画画像データを処理して、複数の種類の第２の色域のなかから選択されるいずれかの第２の色域の動画画像データを得ることが可能な動画画像処理装置とによる動画画像処理方法であって、
   前記動画撮像装置が
   イメージセンサーにより生成されたＲＡＷデータから、前記動画画像処理装置にて選択可能な前記複数の種類の第２の色域を包含する第１の色域の動画画像データを生成し、圧縮符号化し、前記伝送路を通じて接続された前記動画画像処理装置に伝送し、
   前記動画画像処理装置は、
   前記伝送路を通じて伝送され、前記圧縮符号化された前記動画画像データを伸張復号して前記第１の色域の動画画像データを復元し、前記復元された第１の色域の動画画像データを前記複数の種類の第２の色域のなかから選択されるいずれかの第２の色域の動画画像データに変換する
   動画画像処理方法。

Images