JP6948173B2 - 画像処理装置及び方法、撮像装置、及び、撮像システム - Google Patents

Description

本発明は、画像処理装置及び方法、撮像装置、及び、撮像システムに関する。

従来より、映像コンテンツを保持する映像信号源からテレビ等の表示装置へ映像信号を送信する技術がある。近年では、映像コンテンツを送信する際に、映像信号源から映像情報と共に、映像コンテンツに含まれる映像コンテンツの特性（例えばコンテンツ内の最大輝度の情報等）をメタデータとして表示装置へ送信する技術が一般的になってきている。

このような技術を用いることによって、表示装置は表示装置の性能と映像コンテンツの特性に適した画像処理を行うことが可能となる。また映像信号を送信する側は、付加するメタデータによって、表示装置へ映像信号をどのように表示したいのか、といった意図を送信することが可能となる。

このような技術として、映像コンテンツの注目すべき場所や物体の輝度情報をメタデータとして送信する技術が存在する（特許文献１参照）。

特開２０１６−３４１２５号公報

一方、昨今のデジタルカメラには、High Definition Multimedia Interface（ＨＤＭＩ）（登録商標）等の規格に対応したケーブルを用いてテレビに接続し、デジタルカメラ内の記録メディアに記録された画像をテレビのディスプレイで表示する機能を持つものが存在する。

ここで、上述したように輝度情報を付加する場合、画像毎に輝度の情報が異なると、画像毎に異なる最高輝度の情報を含んだメタデータをテレビへ送信することが考えられる。そのような場合は画像毎にメタデータが異なることになり、テレビは、画像毎に異なる画像処理を行う場合がある。

メタデータに付与される最大輝度情報に応じた画像処理の一例として、最大輝度情報が表示装置の表示可能な輝度以下である場合は、映像信号通りの輝度で表示する。一方、最大輝度情報が表示装置の表示可能な輝度を超える場合は、最大輝度情報の輝度が表示装置の表示可能な輝度となるように、入力された信号に一律のゲインを適用して、全体的に輝度を落として表示する。このような画像処理では、例えば、同じ主被写体の複数の画像を連続して表示した場合、主被写体の輝度が同じでも、画像内の最大輝度が表示装置の表示可能な輝度より高い画像と低い画像が混在していると、次のような問題が発生する。すなわち、表示された主被写体の輝度が高くなったり低くなったりと変動してしまい、見にくくなってしまう。

本発明は上記問題点を鑑みてなされたものであり、複数の画像を表示する場合に、当該複数の画像に含まれる同じ輝度の被写体を、表示装置において表現する際の輝度の変化を抑制できるようにすることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、撮像装置により得られた画像データを処理する画像処理装置であって、前記撮像装置により得られた画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力手段と、前記撮像装置が取り扱い可能な最大輝度を取得する取得手段と、前記最大輝度情報として、前記取得手段により取得された最大輝度を出力するよう前記出力手段を制御する制御手段と、前記画像データを得るために用いられた輝度の範囲に基づく画像データの画素値を、前記撮像装置が取り扱い可能な輝度の範囲に基づく輝度値に変換する変換手段と、を有する。

複数の画像を表示する場合に、当該複数の画像に含まれる同じ輝度の被写体を、表示装置において表現する際の輝度の変化を抑制することができる。

本発明の実施形態におけるシステムを示す概念図。 第１の実施形態におけるデジタルカメラの処理モジュールの構成を示すブロック図。 第２及び第４の実施形態におけるデジタルカメラの処理モジュールの構成を示すブロック図。 第２の実施形態における画像情報に含まれる情報を示す図。 第３の実施形態におけるデジタルカメラの処理モジュールの構成を示すブロック図。 第３の実施形態におけるグループ化処理の一例を説明するための図。 第３の実施形態におけるグループ化情報の一例を示す図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、本実施形態では情報処理装置の一例としてデジタルカメラを用いて説明を行うが、デジタルカメラに限らず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型等）、ゲーム機など、情報を処理する機器に適用可能である。

図１は、本実施形態のデジタルカメラが使用されるシステムを示す概念図である。デジタルカメラ１は、ディスプレイ２とケーブル３（または無線）で接続される。

デジタルカメラ１には、撮影された画像が画像ファイルとして記憶されている。ここで、本実施形態の画像ファイルとは、デジタルカメラのセンサが取得した光信号を記録した情報と撮影時情報からなるＲＡＷファイルと、ＪＰＥＧ方式へ変換された画像情報と撮影時情報からなるＪＰＥＧファイルを指す。

図１に示すシステムにおいて、デジタルカメラ１は、ユーザ４からデジタルカメラ１内に記憶された画像ファイルをディスプレイ２で再生表示するための指示４０（以下、再生指示）を受け付ける。デジタルカメラ１は再生指示４０を受け付けると、画像ファイルの情報から生成した画像情報とメタデータからなる伝送信号１０をディスプレイ２へ送信することで、ディスプレイ２を用いてデジタルカメラ１内の画像の表示を行う。

＜第１の実施形態＞
図２は、第１の実施形態のデジタルカメラ１における処理モジュールの構成を表したブロック図であり、例えば、処理の一部または全部がデジタルカメラ１に含まれる不図示のＣＰＵ及びメモリ等を用いて構成される。第１の実施形態では、処理モジュールとして、ユーザ指示取得部１０１、再生表示制御部１０２、輝度情報取得部１０３、ダイナミックレンジ情報保持部１０４、メタデータ生成部１０５、送信信号生成部１０６、画像ファイル保持部１０７、送信部１０８を含む。なお、図２では、本実施形態の説明に不要な処理モジュールに関しては省略している。

ユーザ指示取得部１０１は、ユーザからの指示を受け付けるための、例えば、デジタルカメラ１に配置されたボタンやタッチパネル等のユーザインタフェースとその処理部からなり、ユーザ４からの再生指示４０を受け付ける。再生指示４０は、複数ある画像ファイルの中で、どの画像ファイルをどのように表示するかといった指示を含んでいる。ユーザ指示取得部１０１は、ユーザからの再生指示４０を受け付けると、再生表示制御部１０２へ再生制御開始指示１０１０を送信する。

再生表示制御部１０２は、再生制御開始指示１０１０を受信すると、輝度情報取得部１０３へ輝度情報取得指示１０２０を送信し、メタデータ生成部１０５へメタデータ生成指示１０２１を送信する。また、送信信号生成部１０６へ送信信号生成指示１０２２を送信する。ここで、再生表示制御部１０２から各処理モジュールへ送信される情報は、表示対象の画像、表示の仕方等の情報を含む。

輝度情報取得部１０３は、輝度情報取得指示１０２０を受信すると、輝度情報としてダイナミックレンジ情報保持部１０４から、デジタルカメラ１が扱う輝度の範囲を示すダイナミックレンジ情報１０４０を取得する。デジタルカメラ１のダイナミックレンジは、一般的に撮影の設定等の要因で変化するが、第１の実施形態におけるダイナミックレンジ情報１０４０は、その機種のデジタルカメラ１が扱うことが可能な最大のダイナミックレンジとする。一例として、ここではダイナミックレンジ情報保持部１０４には、デジタルカメラ１が扱うことが可能な最大のダイナミックレンジとして、１０００％という情報が保持されているものとして説明する。なお、表示対象となる複数の画像の撮影時に設定されたダイナミックレンジの最大値でもよい。

次に、輝度情報取得部１０３は、取得したダイナミックレンジ情報１０４０を輝度情報１０３０へ変換する。第１の実施形態では、ダイナミックレンジ情報１０４０に記載されたダイナミックレンジの値を輝度へと置き換えて輝度情報とする。例えば、１０００％を１０００ｎｉｔｓに置き換える。

メタデータ生成部１０５は、メタデータ生成指示１０２１と輝度情報１０３０を受信し、メタデータを生成する。ここで、第１の実施形態では、メタデータとして最大輝度の情報を含むデータを示して説明を行うが、メタデータの種類はこれに限定されるものではない。例えば、メタデータに、色域、色温度、最低輝度等の情報が付加されていてもよい。また例えば、ＨＤＭＩでサポートされるＭａｘＣＬＬ（Maximum Content Light Level）やＭａｘＦＡＬＬ（Maximum Frame Average Light Level）の情報が付加されていてもよい。

メタデータ生成部１０５は、取得した輝度情報１０３０をメタデータの形式（メタデータフォーマットとして定められたフォーマット形式）へと変換し、メタデータ１０５０として出力する。

送信信号生成部１０６は、送信信号生成指示１０２２とメタデータ１０５０を受信し、デジタルカメラ１に接続されたディスプレイ２へ送信する為の信号を生成する。具体的には、送信信号生成部１０６は、送信信号生成指示１０２２を受信すると、送信する信号の作成に必要な画像情報１０７０を画像ファイル保持部１０７から取得する。画像ファイル保持部１０７は、デジタルカメラ１によって撮影された様々なダイナミックレンジを持つ画像データが画像ファイルとして保持されている。そして送信信号生成部１０６は、取得した画像情報１０７０を信号の伝送に適した形式へと変換する。

本実施形態では、伝送に適した形式として、ＳＭＰＴＥ ＳＴ ２０８４に規定されたＥＯＴＦ（Electro Optical Transfer Function）に対応する形式へ変換する。ここで、ＳＭＰＴＥ ＳＴ ２０８４に規定される信号は絶対輝度を表わす信号である。しかしながら、一般的に、デジタルカメラで撮影された画像ファイルの情報は、絶対輝度を表わすデータ形式では保存されてはおらず、相対的な明るさで保存されることが多い。そこで、本実施形態では、各画像ファイル内での特定の相対値（例えば１８％）を特定の絶対輝度（例えば１８ｎｉｔｓ）に割り当てると決め、どのようなダイナミックレンジを持つ画像ファイルであっても、その割り当てになるように形式を変換する。

例えば、画像ファイルのビット幅が１０ｂｉｔ、最大のダイナミックレンジが１００％の画像ファイルＡがあり、ある画素値と対応するダイナミックレンジが次のようであるものとする。

＊画像ファイルＡ（最大のダイナミックレンジ：１００％）
・画素値０：ダイナミックレンジ０％
・画素値１８４：ダイナミックレンジ１８％
・画素値１０２３：ダイナミックレンジ１００％
この場合は、画素値０を０ｎｉｔｓ、画素値１８４を１８ｎｉｔｓ、画素値１０２３（最大値）を、１００ｎｉｔｓを表わす信号へと変換する。

ここで、デジタルカメラ１は設定を変更することで、記録する画像ファイルのダイナミックレンジを変更可能なものがある。そのような場合は、画像ファイルの画素値と対応するダイナミックレンジの値が、画像ファイル毎に異なる場合がある。
また、画像ファイルのビット幅が１０ｂｉｔ、最大のダイナミックレンジが１０００％の画像ファイルＢがあり、ある画素値と対応するダイナミックレンジの値が次のようであるものとする。

＊画像ファイルＢ（最大のダイナミックレンジ：１０００％）
・画素値０：ダイナミックレンジ０％
・画素値１８：ダイナミックレンジ１８％
・画素値１０２３：ダイナミックレンジ１０００％
この場合は、画素値０を０ｎｉｔｓ、画素値１８を１８ｎｉｔｓ、画素値１０２３（最大値）を１０００ｎｉｔｓを表わす信号へと変換する。

このように、ダイナミックレンジが異なる画像ファイルが生成可能なデジタルカメラでは、一般的に、画像ファイルの形式毎に、画像ファイルの画素値と対応するダイナミックレンジに関する情報を内部に保持しているため、上述したような変換を行うことができる。

このような変換（以下、「輝度変換」と呼ぶ。）を行うことで、例えばダイナミックレンジが１００％の画像ファイルでも、ダイナミックレンジが１０００％の画像ファイルでも、ある相対値は同じ輝度を表わす信号へと変換されることとなる。

送信信号生成部１０６は、受信したメタデータ１０５０と、伝送に適した形式へと変換された画像情報とを関連付けて、送信信号１０６０として送信部１０８へ送信する。送信部１０８は、ＨＤＭＩなどの規格の端子とその制御部より構成され、送信信号生成部１０６から送られる送信信号１０６０をデジタルカメラ１の外部へ送信する。

上記の通り第１の実施形態によれば、それぞれの画像において相対的に表現された画素値を、共通のダイナミックレンジにおける輝度値に変換した画像情報に、共通の最大輝度の情報を含むメタデータを付与する。ディスプレイ２では、メタデータに含まれる共通の最大輝度が、ディスプレイ２で表示可能な輝度となるように画像情報の輝度値を変換して表示することで、同じ輝度で表示を行いたい画像データの領域を、同一の輝度信号として扱うことが可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態では、デジタルカメラ１に、他の外部デジタルカメラが接続可能であって、接続した外部デジタルカメラから画像ファイルを受信、保持することができる場合の処理について説明する。なお、他のデジタルカメラ１から画像ファイルを取得する形態として可搬の記録媒体を介して取得する形態でもよい。以下、一例として、画像ファイルを生成したデジタルカメラの情報に基づいてメタデータを決定する例について説明する。

図３は、第２の実施形態のデジタルカメラ１における処理モジュールの構成を表したブロック図であり、例えば、処理の一部または全部がデジタルカメラ１に含まれる不図示のＣＰＵ及びメモリ等を用いて構成される。第２の実施形態におけるデジタルカメラ１の処理は、図２を参照して説明した処理と比較して、輝度情報取得部２０１における処理が異なる。それ以外は、第１の実施形態と同様であるため、同じ参照番号を付して適宜説明を省略する。

輝度情報取得部２０１は、輝度情報取得指示１０２０を受信すると、画像ファイル保持部１０７から表示対象の画像の画像情報１０７０を取得する。

図４は、ある画像情報に含まれる情報の一例を示した図である。画像情報は、画像のデータである画像データ部と、撮影時情報からなる撮影時情報部とから構成される。ここで、撮影時情報とは、例えば、カメラの設定から決定されたダイナミックレンジ、撮影日時、撮影に使用したカメラの識別情報、撮影モード（例えば、夜景の撮影に適した夜景モード等のカメラの動作モード）等の情報である。

輝度情報取得部２０１は、画像情報１０７０から、撮影に使用したカメラの識別情報を取得し、その識別情報に応じたダイナミックレンジ情報１０４０をダイナミックレンジ情報保持部１０４から取得する。第２の実施形態では、ダイナミックレンジ情報保持部１０４は、カメラの識別情報毎のダイナミックレンジ情報を保持しているものとする。なお、カメラの識別情報に該当するダイナミックレンジ情報が無い場合、ダイナミックレンジ情報保持部１０４は、他のカメラのダイナミックレンジ情報を代わりに提供する。

そして、輝度情報取得部２０１は、取得したダイナミックレンジ情報１０４０を、第１の実施形態と同様の方法で輝度情報１０３０へ変換し、メタデータ生成部１０５に出力する。メタデータ生成部１０５では、取得した輝度情報１０３０をメタデータの形式へと変換し、メタデータ１０５０として出力する。

送信信号生成部１０６では、第１の実施形態と同様に、受信したメタデータ１０５０と、伝送に適した形式へと変換された画像情報とを関連付けて、送信信号１０６０として送信部１０８へ送信する。

上記の通り第２の実施形態によれば、撮影したデジタルカメラが同一の画像に対して、共通のダイナミックレンジにおける輝度値に変換した画像情報に、共通の最大輝度の情報を含むメタデータを付与する。これにより、ディスプレイ２において、同一のデジタルカメラで撮影を行った画像に対して、同じ輝度で表示を行いたい画像データの領域を同一の輝度信号として扱うことが可能となる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第１の実施形態では、デジタルカメラ１内の全ての画像に共通の最大輝度の情報を含むメタデータを付加する例について説明を行った。これに対し、第３の実施形態では、画像をグループ化し、グループ毎にグループに含まれる画像に対して同じメタデータを付加する例につい説明をする。

図５は、第３の実施形態のデジタルカメラ１における処理モジュールの構成を表したブロック図であり、例えば、処理の一部または全部がデジタルカメラ１に含まれる不図示のＣＰＵ及びメモリ等を用いて構成される。第３の実施形態におけるデジタルカメラ１の処理モジュールは、図２を参照して説明した処理モジュールと比較して、グループ化処理部３０２を含み、これに伴い、再生表示制御部３０１、輝度情報取得部３０３、送信信号生成部３０４における処理が異なる。それ以外は、第１の実施形態と同様であるため、同じ参照番号を付して適宜説明を省略する。

再生表示制御部３０１は、再生制御開始指示１０１０を受信すると、グループ化処理部３０２へグループ化指示３０１０を送信し、輝度情報取得部３０３へ輝度情報取得指示３０１１を送信し、メタデータ生成部１０５へメタデータ生成指示１０２１を送信する。また、送信信号生成部３０４へ送信信号生成指示１０２２を送信する。ここで、再生表示制御部３０１から各処理モジュールへ送信される情報は、表示対象の画像、表示の仕方等の情報を含む。

グループ化処理部３０２は、グループ化指示３０１０を受け、画像ファイルのグループ化を行う。ここで言うグループ化とは、予め決められたグループ化条件に従って、同じメタデータを付加すべき画像ファイルをグループに分類することである。

グループ化条件は、例えば、画像の撮影日時、撮影モード、撮影後の画像処理の設定、シャッタースピード等の情報が、１つ以上同一もしくは近いことである。グループ化条件はデジタルカメラ１に予め設定されていても良いし、ユーザが選択可能なようにしてもよい。また、グループ化する際は、表示を行う順序を考慮に入れてグループ化を行ってもよい。

ここで図６を用いて、グループ化処理の一例について説明する。図６（ａ）は、画像ファイル保持部１０７が保持する画像ファイルの例を示す。なお、画像ファイルｐｉｃｔｕｒｅ００１の画像から昇順に表示を行うものとし、グループ化条件として、撮影日時と撮影モードの両方が同じであることとする。

図６（ｂ）は、グループ化条件のみに基づいてグループ化した例である。図６（ｂ）では、画像ファイルｐｉｃｔｕｒｅ００１、ｐｉｃｔｕｒｅ００２、ｐｉｃｔｕｒｅ００４、ｐｉｃｔｕｒｅ００５が、グループ１、画像ファイルｐｉｃｔｕｒｅ００３のみがグループ２となっている。

図６（ｃ）は、表示を行う順序（表示順）を考慮に入れてグループ化した例である。最初に表示を行う画像ファイルｐｉｃｔｕｒｅ００１から昇順にグループ化条件が同じとなる画像ファイルをグループとしていく。画像ファイルｐｉｃｔｕｒｅ００１からｐｉｃｔｕｒｅ００２まではグループ化条件を満たしているので、同一グループ（グループ１）である。画像ファイルｐｉｃｔｕｒｅ００３からはまた別のグループとしてグループ化を行うが、その次の画像ファイルｐｉｃｔｕｒｅ００４は画像ファイルｐｉｃｔｕｒｅ００３とのグループ化条件を満たしていない。そのため、画像ファイルｐｉｃｔｕｒｅ００３は単一の画像ファイルによるグループ（グループ２）となる。同様に、残りの画像ファイルｐｉｃｔｕｒｅ００４とｐｉｃｔｕｒｅ００５はグループ化条件を満たしているため、同一のグループ（グループ３）とする。

ここで、表示を行う順序を考慮に入れてグループ化するのは、あるグループに含まれる画像を連続して表示しないのであれば、画像処理が変化することによる弊害を人間が感じにくい為、異なるメタデータを付与することによる弊害が少ないためである。また、グループに含まれる画像ファイルの数が少ない方が、より画像に適した最大輝度を設定することが可能になるため、画像に適したダイナミックレンジで表示できる可能性が高くなるからである。

グループ化処理部３０２は、上述したような方法で画像ファイルをグループ化した情報を、グループ化情報３０２０として輝度情報取得部３０３及び送信信号生成部３０４へ出力する。図７はグループ化情報３０２０の一例を示す図である。

輝度情報取得部３０３は、輝度情報取得指示３０１１とグループ化情報３０２０を取得すると、グループ化情報３０２０に記述されたグループ毎に、輝度情報を取得する。ここでは、各グループに属する画像ファイルが持つダイナミックレンジの中で、最も大きいダイナミックレンジを取得し、それを輝度へと置き換え、そのグループの最大輝度情報とする。例えば、グループ内の最大のダイナミックレンジが１０００％であれば、そのグループの最大輝度情報は１０００ｎｉｔｓとなる。

図６（ｃ）に示す例では、グループ１の最大輝度情報は２００ｎｉｔｓ、グループ２の最大輝度情報は３００ｎｉｔｓ、グループ３の輝度情報は４００ｎｉｔｓとなる。

なお、第３の実施形態では、グループの最大輝度情報を各グループに属する画像ファイルが持つダイナミックレンジの中で最も大きいダイナミックレンジから取得する例を示したが、輝度情報の取得方法はそれに限定されない。画像の撮影時情報に含まれる情報（例えば撮影モード）毎に対応する輝度情報を記したテーブルを保持しておき、それを用いて各グループの画像ファイルの撮影時情報から最大輝度情報を取得してもよい。

送信信号生成部３０４は、送信信号生成指示１０２２とメタデータ１０５０を受信し、デジタルカメラ１に接続されたディスプレイ２へ送信する為の信号を生成する。具体的には、送信信号生成部３０４は、送信信号生成指示１０２２を受信すると、送信する信号の作成に必要な画像情報１０７０を画像ファイル保持部１０７から取得し、グループ化情報３０２０をグループ化処理部３０２から取得する。そして送信信号生成部１０６は取得した画像情報１０７０を、第１の実施形態で説明した方法により輝度変換し、更に、信号の伝送に適した形式へと変換する。第３の実施形態では、伝送に適した形式としてＳＭＰＴＥ ＳＴ ２０８４に規定されたＥＯＴＦに対応する形式へ変換する。送信信号生成部３０４は、受信したメタデータ１０５０と、伝送に適した形式へと変換した画像情報を関連付けて、送信信号３０４０として送信部１０８へ送信する。

このように、画像をグループ分けし、グループ毎に、共通のダイナミックレンジにおける輝度値に変換した画像情報に、共通の最大輝度の情報を含むメタデータを付与する。これにより、ディスプレイ２において、グループ毎に、同じ輝度で表示を行いたい画像データの領域を、同一の輝度信号として扱うことが可能となる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。上述した第１〜第３の実施形態では、各画像に１つのメタデータを生成する場合について説明した。これに対し、第４の実施形態では、各画像に、全ての画像に共通する共通メタデータと、画像毎の個別メタデータをそれぞれ生成し、スライドショウの再生間隔によって、それら２つのメタデータから最終的なメタデータを生成する例について説明する。

なお、第４の実施形態におけるデジタルカメラ１の各処理モジュールの構成は、図３に示すものと同様であるが、処理の詳細内容が異なるため、図３を参照して以下に説明する。

ユーザ指示取得部１０１は、例えばデジタルカメラ１に配置されたボタンやタッチパネル等のユーザインタフェースとその処理部からなり、ユーザからのユーザ指示４１を受け付ける。第４の実施形態ではユーザ指示４１は、スライドショウ表示指示を含む。なお、スライドショウ表示指示とは、デジタルカメラ１内に保持された画像ファイルを、ユーザが指定した時間間隔で切り替えて順次表示するスライドショウ表示を、デジタルカメラ１に接続されたディスプレイ２で行う、という指示である。このスライドショウ表示指示は、表示を開始する画像の指定や、表示を切り替える時間間隔（以下、切り替え時間）の指定を含む。

ユーザ指示取得部１０１は、ユーザからスライドショウ表示指示を受け付けると、再生表示制御部１０２へ再生制御開始指示１０１０を送信する。

再生表示制御部１０２は、再生制御開始指示１０１０を受信すると、輝度情報取得部２０１へ輝度情報取得指示１０２０を送信し、メタデータ生成部１０５へメタデータ生成指示１０２１を送信する。また、送信信号生成部１０６へ送信信号生成指示１０２２を送信する。ここで、各処理モジュールへ送信される情報は、スライドショウ表示指示により指定された、表示を開始する画像や、表示の切り替え時間等の情報を含む。

輝度情報取得部２０１は、輝度情報取得指示１０２０を受け、最大輝度情報を取得する。第４の実施形態における最大輝度情報は、画像ファイル保持部１０７に保持された画像全体に共通の共通輝度情報と、画像毎の個別輝度情報とから構成される。なお、第４の実施形態では、画像ファイル保持部１０７に保持された画像全体に共通の共通輝度情報を取得するが、本発明はこれに限られるものではない。例えば、第２の実施形態で説明したように他のデジタルカメラにより撮影された画像ファイルを有する場合には、デジタルカメラ毎に共通の共通輝度情報を取得してもよい。また、スライドショウ表示指示に表示する複数の画像が指定されている場合には、指定された複数の画像に共通の共通輝度情報を取得してもよい。

第４の実施形態における輝度情報は、ダイナミックレンジの情報から生成される。そこで、輝度情報取得部２０１は、輝度情報取得指示１０２０を受信すると、まず共通のダイナミックレンジ情報として、ダイナミックレンジ情報保持部１０４からダイナミックレンジ情報１０４０を取得する。なお、共通のダイナミックレンジは、第１の実施形態と同様に、デジタルカメラ１が扱うことが可能な輝度の範囲とする。一例として、ここでは、ダイナミックレンジ情報保持部１０４には、デジタルカメラ１が扱うことが可能な最大のダイナミックレンジとして、１０００％という情報が保持されているものとする。

次に、輝度情報取得部２０１は、画像毎のダイナミックレンジ情報を取得する為、画像ファイル保持部１０７から画像情報１０７０を取得する。画像情報には、図４を参照して上述したように、画像のデータである画像データ部と、撮影時情報からなる撮影時情報部から構成される。輝度情報取得部２０１は、取得した画像情報１０７０内の撮影時情報部に含まれるダイナミックレンジ情報を、画像毎のダイナミックレンジ情報とする。

輝度情報取得部２０１は、取得した共通のダイナミックレンジ情報と画像毎のダイナミックレンジ情報を、それぞれ共通輝度情報と個別輝度情報へ変換する。第４の実施形態では、第１の実施形態と同様に、それぞれのダイナミックレンジ情報に記載されたダイナミックレンジの値を輝度へと置き換えて輝度情報とする。例えば１０００％を１０００ｎｉｔｓへ置き換える。そして、作成した共通輝度情報と個別輝度情報とを合わせて、輝度情報１０３０とする。

メタデータ生成部１０５は、メタデータ生成指示１０２１と輝度情報１０３０を受信し、メタデータを生成する。ここで、第４の実施形態では、メタデータとして最大輝度の情報を含むデータを示して説明を行うが、メタデータの種類はこれに限定されるものではない。例えば、メタデータに、色域、色温度、最低輝度等の情報が付加されていてもよい。また例えば、ＨＤＭＩでサポートされるＭａｘＣＬＬやＭａｘＦＡＬＬの情報が付加されていてもよい。

メタデータ生成部１０５は、取得した輝度情報１０３０をメタデータの形式（メタデータフォーマットとして定められたフォーマット形式）へと変換し、それをメタデータ１０５０として出力する。第４の実施形態においては、メタデータ１０５０は、共通メタデータと、個別メタデータを含む。

送信信号生成部１０６は、送信信号生成指示１０２２とメタデータ１０５０を受信し、デジタルカメラ１に接続されたディスプレイ２へ送信する為の信号を生成する。具体的には、送信信号生成部１０６は、送信信号生成指示１０２２を受信すると、送信する信号の作成に必要な画像情報１０７０を画像ファイル保持部１０７から取得する。そして送信信号生成部１０６は取得した画像情報１０７０を、第１の実施形態で説明した方法により輝度変換し、更に、信号の伝送に適した形式へと変換する。第４の実施形態では、伝送に適した形式としてＳＭＰＴＥ ＳＴ ２０８４に規定されたＥＯＴＦに対応する形式へ変換する。

次に、本第４の実施形態における最大輝度の決定方法について説明する。送信信号生成部１０６は、送信信号生成指示１０２２に含まれるスライドショウの表示の切り替え時間を基に、共通メタデータと個別メタデータを合成して送信用のメタデータを生成する。ここで、合成比率は、切り替え時間が短いほど共通メタデータの比率が高くし、反対に切り替え時間が長いほど個別メタデータの比率を高くする。これは時間間隔が短い程、メタデータの変化によるテレビ側の画像処理の変更が頻繁に発生する為に、画像間でメタデータの差を小さくするためである。また、個別メタデータを用いた方が、画像単体で見ればテレビ側の画像処理はより望ましくなる傾向が強い為、時間間隔が長い場合（画像処理の変更があまり発生しない場合）は画像毎のメタデータを重視する。

そこで、送信信号生成部１０６は、内部に切り替え時間に応じて、共通メタデータと個別メタデータの合成比率を決定するテーブルを予め保持しておく。そして、このテーブルの情報に応じて、共通メタデータと個別メタデータを合成し、送信用のメタデータを生成する。そして、送信信号生成部１０６は、合成したメタデータと、伝送に適した形式へと変換した画像情報とを関連付けて、送信信号１０６０として送信部１０８へ送信する。

このように、スライドショウの切り替え時間に応じて最大輝度を調整することで、より見やすい表示が行えるようにすることが可能となる。

＜他の実施形態＞
上述した第１から第４の実施形態では、デジタルカメラ１において、ディスプレイ２に出力する画像ファイルを生成する例について説明したが、本発明はこれに限られるものではない。例えば、図２、図３または図５に示す処理モジュールを、外部の画像処理装置において構成し、画像ファイルを撮像装置から取得するようにしてもよい。その場合、撮像装置と画像処理装置とにより、撮像システムを構成することができる。

また、本発明は、上述した第１から第４の実施形態を適宜組み合わせて実施してもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：デジタルカメラ、２：ディスプレイ、３：ケーブル、１０１：ユーザ指示取得部、１０２：再生表示制御部、１０３，２０１，３０３：輝度情報取得部、１０４：ダイナミックレンジ情報保持部、１０５：メタデータ生成部、１０６，３０４：送信信号生成部、１０７：画像ファイル保持部、１０８：送信部、３０２：グループ化処理部

Claims (17)

1. 撮像装置により得られた画像データを処理する画像処理装置であって、
   前記撮像装置により得られた画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力手段と、
   前記撮像装置が取り扱い可能な最大輝度を取得する取得手段と、
   前記最大輝度情報として、前記取得手段により取得された最大輝度を出力するよう前記出力手段を制御する制御手段と、
   前記画像データを得るために用いられた輝度の範囲に基づく画像データの画素値を、前記撮像装置が取り扱い可能な輝度の範囲に基づく輝度値に変換する変換手段と、
   を有することを特徴とする画像処理装置。
2. 前記撮像装置は複数の輝度の範囲を設定可能であって、
   前記取得手段は、前記設定可能な複数の輝度の範囲に含まれる輝度のうち、最大輝度を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記変換手段により変換された輝度値を出力するよう前記出力手段を制御することを特徴とする請求項１に記載の画像処理装置。
4. 前記画像処理装置は、複数の撮像装置により得られた複数の画像データを処理可能であり、
   前記取得手段は、前記複数の画像データのそれぞれを取得した撮像装置の情報に基づき、前記複数の撮像装置のそれぞれが取り扱い可能な最大輝度を取得することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、前記画像データのメタデータとして最大輝度情報を出力するように出力手段を制御することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記輝度の範囲は、ダイナミックレンジであることを特徴とする請求項２に記載の画像処理装置。
7. 複数の輝度の範囲を有する複数の画像データを処理可能な画像処理装置であって、
   出力される画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力手段と、
   撮像により得られた複数の画像データを分類する分類手段と、
   前記出力手段により、所定のグループに分類された画像データの１つを出力する場合、前記最大輝度情報として、前記出力される画像データの最大輝度ではなく、前記所定のグループに分類された複数の画像データにおける最大輝度を出力するよう前記出力手段を制御する制御手段と、
   を有することを特徴とする画像処理装置。
8. 前記出力される画像データを得るために用いられた輝度の範囲に基づく画像データの画素値を、前記出力される画像データを撮像した撮像装置が取り扱い可能な輝度の範囲に基づく輝度値に変換する変換手段をさらに有することを特徴とする請求項７に記載の画像処理装置。
9. 前記制御手段は、前記変換手段により変換された輝度値を出力するよう前記出力手段を制御することを特徴とする請求項８に記載の画像処理装置。
10. 前記分類手段は前記複数の画像データの撮影時の情報に基づき、前記複数の画像データを分類することを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置。
11. 前記分類手段は、前記画像データの表示順において、連続して表示する画像が共に所定の条件を満たす場合、同じグループに分類することを特徴とする請求項７乃至１０のいずれか１項に記載の画像処理装置。
12. 前記制御手段は、前記画像データのメタデータとして最大輝度情報を出力するよう前記出力手段を制御することを特徴とする請求項７乃至１１のいずれか１項に記載の画像処理装置。
13. 前記輝度の範囲は、ダイナミックレンジであることを特徴とする７乃至１２のいずれか１項に記載の画像処理装置。
14. 撮像装置により得られた画像データを処理する画像処理方法であって、
    出力手段が、前記撮像装置により得られた画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力工程と、
    取得手段が、前記撮像装置が取り扱い可能な最大輝度を取得する取得工程と、
    制御手段が、前記最大輝度情報として、前記取得手段により取得された最大輝度を出力するよう前記出力手段を制御する制御工程と、
    変換手段が、前記画像データを得るために用いられた輝度の範囲に基づく画像データの画素値を、前記撮像装置が取り扱い可能な輝度の範囲に基づく輝度値に変換する変換工程と、
    を有することを特徴とする画像処理方法。
15. 複数の輝度の範囲を有する複数の画像データを処理可能な画像処理方法であって、
    出力手段が、出力される画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力工程と、
    分類手段が、撮像により得られた複数の画像データを分類する分類工程と、
    制御手段が、前記出力工程で、所定のグループに分類された画像データの１つを出力する場合、前記最大輝度情報として、前記出力される画像データの最大輝度ではなく、前記所定のグループに分類された複数の画像データにおける最大輝度を出力するよう前記出力手段を制御する制御工程と、
    を有することを特徴とする画像処理方法。
16. コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
17. 請求項１６に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images