JP7256663B2 - 画像出力装置およびその制御方法 - Google Patents

Description

本発明は、画像出力装置およびその制御方法に関する

近年、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）での撮影や表示が本格化しており、ＨＤＲ関連の規格化や、製品化が進められている。例えばＨＤＲ１０＋などの規格では、フレームやシーン毎に最大輝度値を示すＭａｘＣＬＬや、フレーム毎の平均輝度値を示すＭａｘＦＡＬＬなどの付加情報が定義された。ＭａｘＣＬＬは、「Ｍａｘｉｍｕｍ Ｃｏｎｔｅｎｔ Ｌｉｇｈｔ Ｌｅｖｅｌ」である。また、ＭａｘＦＡＬＬは、「Ｍａｘｉｍｕｍ Ｆｒａｍｅ Ａｖｅｒａｇｅ Ｌｉｇｈｔ Ｌｅｖｅｌ」である。ＭａｘＣＬＬやＭａｘＦＡＬＬ情報は、ＨＤＭＩ（登録商標）規格などで機器間伝送することが可能である。このため、例えば、デジタルカメラやビデオカメラで撮影した画像データとその輝度情報を、ＨＤＭＩ（登録商標）を介してディスプレイに動的に伝えることによって、フレーム単位でのディスプレイの表示輝度を調整することが容易になった。

一方、ディスプレイでの画像データの確認方法として、複数の画像データを一覧表示することが一般に行われる。ユーザは、一覧表示を用いて、画像を見比べたり、複数の画像データから適切な画像データを選別したりすることができる。このような一覧表示においても、ディスプレイで適切なＨＤＲ表示が行われることが望ましい。例えば、特許文献１には複数の画像データをレイアウトに応じて特定の領域の画像データの輝度を適切に表示することができる。

特開２０１８－１１７３４３号公報

しかしながら、特許文献１に開示の技術では、レイアウトやウィンドウといった表示画像データに差異があることを前提にしている。そのため、例えば、デジタルカメラなどで一般的に用いられるような、複数の画像データが一様に同じ表示サイズで整然と表示される一覧表示において、表示されているＨＤＲ画像データすべてを適切に表示することは困難である。

本発明は、ＨＤＲ画像を含む複数の画像をマルチ再生で表示した際に適切な輝度での表示を可能とする技術を提供する。

本発明の一態様による画像出力装置は、
２枚以上の画像を並べて１画面に表示させるマルチ再生のためのデータを出力する画像出力装置であって、
マルチ再生における設定枚数の画像を記録手段から読み出す読出手段と、
前記読出手段により読み出された前記設定枚数の画像を用いてマルチ再生のための表示用の画像を生成する生成手段と、
前記読出手段により読み出された前記設定枚数の画像に含まれるＨＤＲ画像の最大輝度情報が示す輝度のうち最大の輝度を、前記表示用の画像の最大輝度情報に設定する設定手段と、
前記生成手段により生成された前記表示用の画像に、前記設定手段により設定された最大輝度情報を付加して出力する出力手段と、を備える。

本発明によれば、ＨＤＲ画像を含む複数の画像をマルチ再生で表示した際に適切な輝度での表示が可能となる。

実施形態によるデジタルカメラの構成例を示すブロック図。 システム制御部の機能構成例を示すブロック図。 第１実施形態の画像再生モード（シングル再生）の動作を示すフローチャート。 第１実施形態の画像再生モード（マルチ再生）の動作を示すフローチャート。 第１実施形態の画面表示の模式図。 第２実施形態の画像再生モード（マルチ再生）の動作を示すフローチャート。 第２実施形態の画面表示の模式図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下では、記録装置に記録されている複数の画像から、２枚以上の所定枚数の画像を読み出して表示装置に表示させる画像出力装置として、デジタルカメラを例示するが、本発明の画像出力装置がこれに限られないことは言うまでもない。本発明の画像出力装置は、記録装置に記録されている画像を読み出して表示装置に表示する画像出力装置であればいかなる機器であってもよく、例えば、スマートフォン、タブレットＰＣなどであってもよい。

＜第１実施形態＞
図１Ａは、本発明の第１実施形態にかかるデジタルカメラ１００の構成例を示すブロック図である。

バリア１０は、デジタルカメラ１００の撮影レンズ１１を含む撮像部を覆う事により、撮像部の汚れや破損を防止する保護部材である。撮影レンズ１１は、光学像を撮像素子１３の撮像面に結像させる。シャッター１２は絞り機能を備える。撮像素子１３は、撮像面上に結像された光学像を電気信号に変換する。撮像素子１３は、例えば、ＣＣＤやＣＭＯＳ素子等で構成される。Ａ／Ｄ変換器１５は、撮像素子１３のアナログ信号出力をディジタル信号に変換する。Ａ／Ｄ変換器１５で変換されたディジタル信号は、所謂Ｒａｗ画像データとして、メモリ２５に書き込まれる。併せて、撮影時の情報を基に各Ｒａｗ画像データに対応する現像パラメータが生成され、メモリ２５に書き込まれる。現像パラメータの内容としては、露光設定、ホワイトバランス、色空間、コントラストなどＪＰＥＧ方式などを記録するための画像処理で使用する各種パラメータから構成される。

タイミング発生器１４は、撮像素子１３、Ａ／Ｄ変換器１５、Ｄ／Ａ変換器２１にクロック信号や制御信号を供給する。タイミング発生器１４は、メモリ制御部２２及びシステム制御部５０により制御される。画像処理部２０は、Ａ／Ｄ変換器１５からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理、色変換処理、補正処理、リサイズ処理などの各種画像処理を行う。また、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果をシステム制御部５０に提供する。システム制御部５０は、提供された演算結果に基づいて露光制御部４０および測距制御部４１を制御することにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を実現する。

なお、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行う。さらに、画像処理部２０は、メモリ２５に格納された画像を読み込んでＪＰＥＧ方式やＭＰＥＧ－４ ＡＶＣまたはＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）での圧縮処理或いは伸長処理を行う。画像処理部２０は、処理を終えたデータをメモリ２５に書き込む。

メモリ制御部２２は、Ａ／Ｄ変換器１５、タイミング発生器１４、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２１、メモリ２５を制御する。Ａ／Ｄ変換器１５を通して生成されたＲａｗ画像データは画像処理部２０、メモリ制御部２２を介して、或いは、直接にメモリ制御部２２を介して、画像表示メモリ２４或いはメモリ２５に書き込まれる。

画像表示メモリ２４、Ｄ／Ａ変換器２１、ＴＦＴ ＬＣＤは表示部２３を構成する。画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２１を介して表示部２３に表示される。表示部２３を用いて撮像した画像データを逐次表示すれば、ライブ映像を表示する電子ファインダ機能を実現することが可能である。メモリ２５は、撮影した静止画像や動画像を格納する。メモリ２５は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、メモリ２５はシステム制御部５０の作業領域としても使用することが可能である。

露光制御部４０は、絞り機能を備えるシャッター１２を制御する。また、露光制御部４０は、フラッシュ４４と連動することによりフラッシュ調光機能も有する。測距制御部４１は、撮影レンズ１１のフォーカシングを制御する。ズーム制御部４２は、撮影レンズ１１のズーミングを制御する。バリア制御部４３は、保護部材であるバリア１０の動作を制御する。フラッシュ４４は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。

システム制御部５０は、デジタルカメラ１００全体を制御する。不揮発性メモリ５１は、電気的に消去・記録可能な不揮発性メモリである。不揮発性メモリ５１には、例えばＥＥＰＲＯＭ等が用いられる。なお、不揮発性メモリ５１には、プログラムだけでなく、地図情報等も記録されている。また、システム制御部５０は、外部記録媒体９１に記録されている画像（静止画、動画）を外部の表示装置２００に表示させるための画像再生処理を行う。画像再生処理を行うための機能構成および画像再生処理の動作については後述する。

シャッタースイッチ６１（ＳＷ１）は、シャッターボタン６０の操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。シャッタースイッチ６２（ＳＷ２）は、シャッターボタン６０の操作完了でＯＮとなり、露光処理、現像処理、記録処理を含む一連の撮影動作の開始を指示する。露光処理では、撮像素子１３から読み出された信号を、Ａ／Ｄ変換器１５、メモリ制御部２２を介して、Ｒａｗデータとしてメモリ２５に書き込む。現像処理では、画像処理部２０やメモリ制御部２２での演算を用いて、メモリ２５に書き込まれたＲａｗデータを現像し、画像データとしてメモリ２５に書き込む。記録処理では、メモリ２５から画像データを読み出し、画像処理部２０により圧縮を行い、メモリ２５に格納した後にカードコントローラ９０を介して外部記録媒体９１に画像データを書き込む。

操作部６３は、各種ボタンやタッチパネル等を備える。例えば、操作部６３は、電源ボタン、メニューボタン、撮影モード／再生モード／その他特殊撮影モードの切替えを行うモード切替スイッチ、十字キー、セットボタン、マクロボタン、マルチ画面再生改ページボタンを含む。また、例えば、操作部６３は、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動－（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等を含む。

メタデータ生成・解析部７０は、外部記録媒体９１に画像データを記録する際に撮影時の情報を基に画像データのメタデータを生成する。また、メタデータ生成・解析部７０は、外部記録媒体９１に記録されている画像データを読み込んだ際に、画像データに付与されているメタデータを解析する。例えば、ＨＤＲ画像を記録する際には、メタデータ生成・解析部７０は、撮影時の画像処理部２０の情報などを基にメタデータを生成し、画像データに付与する。この場合のメタデータは、例えば、画像データの最大輝度情報や平均輝度情報などの画像データの輝度に関する情報、画像データ中に含まれる被写体の特徴情報などを含む。また、動画像データを記録する際には、メタデータ生成・解析部７０は、各フレームについてメタデータを生成し、付与する。

画像出力部７１は、デジタルカメラ１００と接続された外部の表示装置２００に、デジタルカメラ１００で撮影された画像データや外部記録媒体９１に記録されている画像データを出力する。外部の表示装置２００との接続には、例えば、ＨＤＭＩ（登録商標）の規格が用いられる。画像出力部７１が、画像データと併せてＨＤＭＩ２．１に対応した動的メタデータを伝送することで、外部の表示装置２００は、画像データの輝度、彩度、コントラストなどをフレーム単位で適切に設定して表示することができる。

電源８０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。電源制御部８１は、電源８０から供給される電力をデジタルカメラ１００の各部に供給する。カードコントローラ９０は、メモリカード等の外部記録媒体９１とデータの送受信を行う。外部記録媒体９１は、例えばメモリカードで構成され、デジタルカメラ１００が撮影した画像（静止画、動画）を記録する。

図１Ｂは、本実施形態の画像再生処理に関わるシステム制御部５０の機能構成例を示すブロック図である。モード制御部５０１は、画像再生モードとして、シングル再生モードとマルチ再生モードの２つのモードを制御する。シングル再生モードでは、画像再生のモードを全画面に１枚の画像を表示するシングル再生が実行される。また、マルチ再生モードでは、２枚以上の画像を並べて１画面に表示するマルチ再生が実行される。

読出部５０２は、モード制御部５０１により指示される再生モードが１画面における画像の表示に必要とする枚数（設定枚数）の画像を外部記録媒体９１から読み出し、メモリ２５に保持させる。シングル再生モードでは、設定枚数は１枚、マルチ再生モードでは、設定枚数は２以上となる。本実施形態では、マルチ再生モードとして１画面に２×２枚の画像を表示するモードと、３×３枚の画像を表示するモードを有するものとし、マルチ再生モードにおける設定枚数は、４枚または９枚である。

生成部５０４は、読出部５０２により読み出された設定枚数の画像を用いて、モード制御部５０１が指定する再生モードに応じた表示用画像を生成する。シングル再生モードでは、生成部５０４は、１枚の画像を１画面に表示するシングル再生のための表示用画像を生成する。マルチ再生モードでは、生成部５０４は、２以上の設定枚数の画像を１画面に並べて表示するマルチ再生のための表示用画像を生成する。

輝度設定部５０３は、シングル再生モードにおいて、読出部５０２により読み出された画像がＨＤＲ画像であればその最大輝度情報が示す輝度を生成部５０４が生成する表示用の画像の最大輝度情報に設定する。輝度設定部５０３は、シングル再生モードにおいて、読出部５０２により読み出された画像がＨＤＲ画像ではない場合、あらかじめ定められた輝度（例えば、本実施形態ではＳＤＲ用の輝度を用いる。）を表示用の画像の最大輝度情報に設定する。また、輝度設定部５０３は、マルチ再生モードでは、読出部５０２により読み出された設定枚数の画像に含まれるＨＤＲ画像の最大輝度情報が示す輝度のうちの最大の輝度を表示用の画像の最大輝度情報に設定する。読出部５０２により読み出された設定枚数の画像にＨＤＲ画像が含まれていない場合は、輝度設定部５０３は、あらかじめ定められた輝度（例えば、本実施形態ではＳＤＲ用の輝度を用いる。）を表示用の画像の最大輝度情報に設定する。

出力部５０５は、生成部５０４により生成された表示用の画像に、輝度設定部５０３により設定された最大輝度情報を付加して、画像出力部７１を介して表示装置２００に出力する。カーソル制御部５０６は、ユーザ操作に応じてカーソル位置を移動する。カーソルは、例えばマルチ再生モードにおいて、１画面に表示されている複数の画像の組み合わせを変更したり、複数の画像のうちの一つを指定したりするのに用いられる。

以上のような構成を備えた本実施形態のデジタルカメラ１００による画像再生動作を、図２Ａ～図２Ｂを用いて説明する。図２Ａ～図２Ｂは、デジタルカメラ１００が外部の表示装置２００と接続され、外部の表示装置２００に画像データを出力して表示を行う際の画像再生モードの動作を示すフローチャートである。図２Ａでは主としてシングル再生モードの動作が、図２Ｂでは主としてマルチ再生モードの動作が示される。デジタルカメラ１００は、操作部６３に含まれるモード切替スイッチで再生モードが指示されると、外部記録媒体９１に記録されている画像データを閲覧する画像再生モードを開始する。画像再生モードでは、まず、１画面に１枚の画像を表示するシングル再生モードが実行され、ユーザ操作に応じて、１画面に複数枚の画像を表示するマルチ再生モードへの切り替えが行われる。

画像再生モードが開始されると、モード制御部５０１は、画像再生モードをシングル再生モードに設定する。Ｓ２０１において、読出部５０２は、表示すべき１枚の画像データを、カードコントローラ９０を介して外部記録媒体９１からメモリ２５に読み込む。ここで読出部５０２が読み出す画像データは、デジタルカメラ１００で最後に撮影された画像データ、画像データのファイル名などに付与されているファイル番号に基づく任意の画像データなどで構わない。また、画像データが動画像データであった場合は、動画像データ全体に関するメタデータ、先頭フレームと先頭フレームに関するメタデータなどを含む、動画像データの一部分を読み出すようにしても構わない。

Ｓ２０２では、輝度設定部５０３が、Ｓ２０１で読み出された画像データがＨＤＲ画像か否かを確認する。画像データがＨＤＲ画像か否かの確認は、画像データに含まれるメタデータ、記録方式、画像データの記録フォーマットなどに基づいてなされ得る。読み出されたた画像データがＨＤＲ画像と確認された場合、処理はＳ２０３に進む。Ｓ２０３において、輝度設定部５０３は、読み出されたＨＤＲ画像のメタデータをメタデータ生成・解析部７０を用いて処理し、ＨＤＲ画像に記録されている最大輝度情報を取得する。

Ｓ２０５では、生成部５０４が、画像処理部２０に含まれる伸長処理やリサイズ処理などを介して、読み出された画像データから外部の表示装置２００で表示する表示用画像を生成し、メモリ２５に格納する。出力部５０５は、生成部５０４が生成した表示用画像とＳ２０３で輝度設定部５０３が取得した最大輝度情報を含む動的メタデータとを関連づけ、画像出力部７１から外部の表示装置２００に出力する。

図３（ａ）は、デジタルカメラ１００から外部記録媒体９１に含まれる０００１番のファイル番号で識別される画像データを外部の表示装置２００に表示した際の画面の模式図である。０００１番の画像データは、ＨＤＲ画像であり、メタデータには最大輝度３００ｎｉｔと記録されていることとする。図３（ａ）は、デジタルカメラ１００が０００１番の画像データと最大輝度３００ｎｉｔという動的メタデータとを併せて出力することで、外部の表示装置２００は、０００１番のＨＤＲ画像を最大輝度３００ｎｉｔで表示させることができることを表している。

Ｓ２０２で読出部５０２が読み出した画像データがＨＤＲ画像ではない場合（例えば、ＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像であった場合）、処理はＳ２０４へ進む。Ｓ２０４において、輝度設定部５０３は、ＳＤＲ画像用の輝度を設定する。例えば、ＲＥＣ．７０９規格では１００ｎｉｔを上限と定めているので、本実施形態では、１００ｎｉｔという最大輝度が設定される。

Ｓ２０６で、モード制御部５０１は、複数の画像データを一覧表示するマルチ再生がユーザ操作により指示されたか否かを判定する。マルチ再生が指示されていない場合、すなわちシングル再生が維持される場合、処理はＳ２０７へ進む。Ｓ２０７において、モード制御部５０１は、ユーザが別の画像を指定したかどうか（画像変更が指示されたか否か）を判定する。

ユーザは、操作部６３に含まれる十字キーなどを用いて、外部の表示装置２００に表示させる画像データを変更する（選択する）ことができる。表示対象の画像データが変更されると、処理はＳ２０１に戻り、上述した処理が繰り返される。すなわち、読出部５０２が指定された画像データを読み出し、輝度設定部５０３が表示対象の画像データに最大輝度を設定する。このような処理により、外部の表示装置２００におけるシングル再生モードによる画像表示の輝度を適切に切り替えて表示を行うことができる。

Ｓ２０７において画像の変更が指示されていないと判定された場合、処理はＳ２０８へ進む。Ｓ２０８において、モード制御部５０１は、画像再生の終了が指示された否かを判定する。Ｓ２０８において、画像再生の終了が指示されたと判定された場合、モード制御部５０１は本処理（画像再生モード）を終了する。画像再生の終了が指示されていない場合、処理はＳ２０６へ戻る。

Ｓ２０６で操作部６３に含まれる操作部材で複数の画像データを一覧表示するマルチ再生が指示されると、処理はＳ２０９に進み、モード制御部５０１は、マルチ再生を行うべく、読出部５０２、輝度設定部５０３、生成部５０４を制御する。

Ｓ２０９において、カーソル制御部５０６は、外部の表示装置２００で複数の画像データを一覧表示する際にユーザが操作するカーソルの位置を表示画面上どの位置に設定するかを決定する。Ｓ２１０では、モード制御部５０１が、一覧表示における画像数Ｍが所定数（Ｎ枚）を超えるか否かを確認する。本実施形態では、一覧表示におけるパターンの例として、縦２画像×横２画像（Ｍ＝４）、縦３画像×横３画像（Ｍ＝９）の２つのパターンを例として用いて説明を行う。また、所定数Ｎは４（Ｎ＝４）とする。シングル再生の状態からマルチ再生が指示された場合は、まず、縦２画像×横２画像のパターンに移行するものとする。この場合、一覧表示における画像の枚数Ｍ（＝４）は、Ｎを超えないため、処理はＳ２１１に進む。

Ｓ２１１では、読出部５０２は、Ｍ枚（上記の例としては、４枚）の画像データを外部記録媒体９１からメモリ２５に読み込む。画像データのサイズが大きい場合などは、画像データに別途記録されている記録サイズの小さな表示用画像（例えば、縮小画像）とメタデータなど、画像データの一部分が読み出されるようにしてもよい。Ｓ２２９において、輝度設定部５０３は、高速画像送り中か否かを判定する。高速画像送りについては後述する。ここでは、高速画像送り中ではないとして、処理はＳ２１２に進むこととする。

Ｓ２１２では、輝度設定部５０３は、Ｓ２１１で読み出された画像データの中からＨＤＲ画像を抽出する。Ｓ２０２と同様に、ＨＤＲ画像か否かは、メタデータ、記録方式、画像データの記録フォーマットなどから判断することができる。Ｓ２１２でＨＤＲ画像が１枚も抽出できなかった場合、処理はＳ２１４に進む。Ｓ２１４において、輝度設定部５０３は、ＳＤＲ画像用の輝度情報（１００ｎｉｔ）を取得する。

一方、Ｓ２１２でＨＤＲ画像が含まれていると判断された場合、処理はＳ２１５に進む。Ｓ２１５では、輝度設定部５０３は、Ｓ２１２で抽出されたＨＤＲ画像それぞれのメタデータをメタデータ生成・解析部７０で処理することにより、各ＨＤＲ画像の最大輝度情報を取得する。Ｓ２１６において、輝度設定部５０３は、取得できた最大輝度情報の中から最も高い輝度を取得する。

Ｓ２２１では、生成部５０４は、読み出したＭ枚の画像データを、指定されたパターン（例えば、縦２画像×横２画像）に配置して、外部の表示装置２００に表示させる表示用画像を生成する。生成部５０４は、画像処理部２０に含まれる伸長処理やリサイズ処理を用いて各画像データから表示用の画像を生成し、これを指定されたパターンに従って配置して外部の表示装置２００で表示するための表示用画像を生成し、メモリ２５に格納する。また、生成部５０４は、カーソル位置を示す表示部材を、表示用画像上のＳ２０９で決定されたカーソル位置に配置する。Ｓ２２２において、出力部５０５は、生成部５０４が生成した表示用画像に、輝度設定部５０３が取得した最大輝度情報を含む動的メタデータを関連づけし、画像出力部７１から外部の表示装置２００に出力する。

図３（ｂ）は、図３（ａ）のシングル再生の表示状態からマルチ再生に切り替えた際の表示装置２００における表示状態を示す模式図である。０００１番の画像データを表示したシングル再生の状態でマルチ再生が開始されると、０００１番に続いて外部記録媒体９１に記録されている０００２～０００４番で識別される画像データが縦２画像×横２画像となるように配置して表示される。カーソル位置は、マルチ再生を指示した０００１番の画像に該当するよう配置される。

このとき、０００１～０００４番の画像データがそれぞれ図に示すような最大輝度情報をメタデータとして保持していた場合、外部の表示装置２００には、それら最大輝度情報のうちの最大輝度５００ｎｉｔで表示するように表示用画像が出力される。このようにすることで、表示されている０００１～０００４番の画像データがいずれも最大輝度に到達することがなくなる。そのため、マルチ再生におけるすべての画像データがすべての階調を再現することができるようになる。結果、すべての画像データにおいて、一部が白とびするといったような破綻をきたすことがなくなり、ユーザは、同時に表示された複数の画像を比較しながら閲覧することができる。

Ｓ２２３では、カーソル制御部５０６は、ユーザが操作部６３に含まれる十字キーなどを用いてカーソル位置の移動を指示したかを判定する。カーソル位置の移動が指示されたと判定された場合、処理はＳ２２４に進む。Ｓ２２４では、カーソル制御部５０６は、カーソル位置の移動に伴い、マルチ再生における画像データの組み合わせが変化するか否か、すなわち、マルチ再生の表示画像を切り替える必要があるか否かを判定する。マルチ再生の表示画像を切り替える必要がないと判定された場合、処理はＳ２２５に進む。Ｓ２２５では、カーソル制御部５０６が、移動後のカーソル位置を生成部５０４に通知する。その後、処理はＳ２２１に戻り、生成部５０４は、カーソル位置が変更された表示用画像を生成し、出力部５０５がこれを出力する。画像の組み合わせに変更がないので、最大輝度情報は変更されいない。

例えば、図３（ｂ）の表示状態において、操作部６３に含まれる十字キーで右の画像の０００２番の画像に異動が指示された場合は、Ｓ２２５でカーソル位置が変更され、図３（ｃ）のような表示となる。この場合、表示されている画像データは変化がないため、最大輝度が変更されることはない。

一方、Ｓ２２４でマルチ再生の表示画像を切り替える必要があると判定された場合、処理はＳ２０９に戻り、上述した処理を繰り返す。カーソル制御部５０６は、移動後のカーソル位置を指定するとともに、読出部５０２は、新たにＭ枚の画像を読み込む。但し、すでに読み込み済みの画像データがある場合は、新たに必要になった画像データを読み込むようにすればよい。

例えば、図３（ｂ）で操作部６３に含まれる十字キーで０００１番の前に記録されている画像データを表示するよう指示された場合は、処理がＳ２２４からＳ２０９に戻る。これにより、例えば、０００１番の直前の画像が０９９９番の画像であった場合は、図３（ｄ）のように表示対象の画像データの組み合わせが０９９９、０００１～０００３番の画像データに切り替わる。また、画像の切り替わりに応じて、読み出された表示対象の画像データの持つ最大輝度情報が変化することがある。そのため、外部の表示装置２００で表示される輝度も画像の切り替わりに応じて変化することになる。

次に、マルチ再生における、１画面あたいの画像の表示枚数が変更された場合の処理を説明する。Ｓ２２６において、モード制御部５０１は、操作部６３に含まれる操作部材により、マルチ再生で一覧表示する画像数が変更されたか確認する。画像数の変更が指示された場合、処理はＳ２０９に戻り、新たに設定された画像数によるマルチ再生を開始する。以下、縦２画像×横２画像のマルチ再生から縦３画像×横３画像のマルチ再生と一覧表示する画像を増やすよう指示された場合を例に説明する。

Ｓ２０９で、カーソル制御部５０６は、カーソル位置を設定する。Ｓ２１０において、モード制御部５０１は、表示する画像数Ｍ（＝９）が所定数Ｎ（＝４）枚を超えていると判断し、処理をＳ２１７に進める。Ｓ２１７において、読出部５０２は、表示対象となる設定枚数（Ｍ＝９枚）の画像データを読み出し、メモリ２５に格納する。Ｓ２１１と同様に、表示対象の画像データの一部分（記録サイズの小さい表示用画像とメタデータを含む）が読み出されるようにしてもよい。その後、Ｓ２１８～Ｓ２１０の処理により、輝度設定部５０３は、マルチ再生の表示用の画像に関連付けられる最大輝度情報を、外部記録媒体９１に記録されているすべてのＨＤＲ画像の最大輝度情報のうちの最大の輝度またはＳＤＲ画像用の輝度に設定する。こうして、輝度設定部５０３は、マルチ再生における設定枚数（Ｍ）が所定数（Ｎ）を超える場合に、表示用の画像に関連付けられる最大輝度情報が示す輝度を所定値に固定する。

Ｓ２１８において、輝度設定部５０３は、外部記録媒体９１にＨＤＲ画像データが記録されているかを判定する。外部記録媒体９１にＨＤＲ画像が記録されていると判定された場合、処理はＳ２１９へ進む。Ｓ２１９で、輝度設定部５０３は、外部記録媒体９１に記録されているすべてのＨＤＲ画像の最大輝度情報の中でもっとも大きな最大輝度を取得する。この最大輝度は、画像データを外部記録媒体９１に記録する際にあらかじめ算出しておいてもよい。また、一度、算出したものを不揮発性メモリ５１や外部記録媒体９１に覚えておくなどしておいたものを取得して利用してもよい。Ｓ２１８でＨＤＲ画像が外部記録媒体９１に１枚も記録されていないと判定された場合、処理はＳ２２０へ進む。Ｓ２２０で、輝度設定部５０３は、ＳＤＲ画像用の輝度情報を取得する。

なお、Ｓ２１９において、外部記録媒体９１に記録されているすべてのＨＤＲ画像を対象にしたがこれに限られるものではない。例えば、外部記録媒体９１において画像がフォルダを用いて管理されている場合、Ｓ２１９において輝度設定部５０３は、現在表示中の画像が属するフォルダ内のすべてのＨＤＲ画像を対象として、輝度を設定してもよい。

図３（ｅ）は、図３（ｂ）からマルチ再生で表示する画像データ数を増やすように指示された場合の画面の模式図である。図３（ｅ）では、表示されている０００１～０００９番の画像の最大輝度に関わらず、外部記録媒体９１に含まれるＨＤＲ画像の中で最も高い輝度情報（この例では８００ｎｉｔ）が外部の表示装置２００に設定された例を示している。このようにすることで１画面に多くの画像を表示した際においても、どの画像も白とびすることなく表示することができる。また、一度、外部記録媒体９１に含まれるＨＤＲ画像の中で最も高い輝度情報を取得することにより、表示画像が切り替わった際にすべての画像の最大輝度情報をその都度調べる必要がなくなり、高速な表示が可能となる。

Ｓ２２７では、モード制御部５０１は、操作部６３に含まれる操作部材によりマルチ再生終了が指示されたかを確認する。マルチ再生の終了が指示された場合、処理はＳ２０１へ戻り、シングル再生を開始する。マルチ再生の終了が指示されていなければ、処理はＳ２２８に進む。Ｓ２２８では、モード制御部５０１は、操作部６３に含まれる操作部材により画像再生モードの終了が指示されたか確認する。画像再生モードの終了が指示されていなければ、処理はＳ２２３に戻り、マルチ再生が維持される。他方、画像再生モードの終了が指示された場合は、画像再生モードを終了する。

Ｓ２２９において、輝度設定部５０３が高速画像送り中であると判定した場合、処理はＳ２１７へ進む。これにより、マルチ再生において１画面に表示される画像の枚数Ｍが所定数Ｎ以下の場合であっても、高速画像送りにより、表示画像の高速な切り替えが発生している場合には、表示輝度が所定値に固定される。

本実施形態において、高速画像送りの場合とは、例えば、カーソルの移動により、マルチ再生における設定枚数の画像を構成する画像の組み合わせの変更頻度が所定の頻度を超える場合である。このような高速画像送りは、例えば、操作部６３に含まれる操作部材でカーソル位置変更が何度も短時間で繰り返されることにより発生する。表示画像の高速な切り替えが発生している場合、輝度設定部５０３は、表示対象の画像の最大輝度を用いる処理（Ｓ２１２～Ｓ２１６）を実施せず、外部記録媒体９１に含まれる画像の最大輝度を用いる処理（Ｓ２１８～Ｓ２２０）を実施する。これにより、高速に表示画像を切り替えた際に表示される輝度の変化が頻繁に行われてしまうことに伴う、表示のちらつきを抑えることができる。

なお、Ｓ２１９では、外部記録媒体９１（またはフォルダ内）に記録されているすべてのＨＤＲ画像の最大輝度情報を用いることを説明した。しかしながら、変更頻度が所定の頻度を超えたことにより（Ｓ２２９でのＹＥＳ判定により）Ｓ２１９が実行される場合は、これに限られるものではない。例えば、変更頻度が所定の頻度を超えた時点において表示用の画像に付加されている最大輝度情報が示す輝度を所定値として用いるようにしてもよい。

以上のように、第１実施形態によれば、ＨＤＲ画像を含む複数の画像をマルチ再生で表示した際に適切な輝度での表示が可能となる。

＜第２実施形態＞
マルチ再生モードの利用方法として、外部記録媒体９１に記録された多くの画像データからすばやく目的の画像データを見つけ出すために利用されることがある。このような場合、一覧表示されている状態であっても、他の画像の影響を受けることなく、目的の画像だけが正しい輝度で適切に表示されることが望ましいことがある。第２実施形態は、そのような課題を鑑みた形態である。なお、第２実施形態のデジタルカメラの構成、システム制御部５０の機能構成は第１実施形態（図１Ａ，図１Ｂ）と同様である。

但し、第２実施形態では、輝度設定部５０３は、マルチ再生において１画面に表示される設定枚数の画像のうち、ユーザ操作により指定された画像がＨＤＲ画像であるか否かで処理を切り替える。ユーザ操作による画像の指定は、例えば、ユーザ操作によって移動するカーソルによってなされる。指定された画像がＨＤＲ画像であった場合、輝度設定部５０３は、当該ＨＤＲ画像の最大輝度情報が示す輝度を、当該表示用の画像における当該ＨＤＲ画像の表示領域に設定する。出力部５０５は、生成部５０４により生成された表示用の画像を、輝度設定部５０３が設定した輝度と表示領域を示す情報を付加して、画像出力部７１を介して表示装置２００へ出力する。この場合、他の領域にはあらかじめ定められた輝度（例えばＳＤＲ用の輝度）が設定される。また、カーソルによって指定された画像がＨＤＲ画像ではない場合、輝度設定部５０３は、あらかじめ定められた輝度（例えば、ＳＤＲ用の輝度）を、表示用画像の全体の表示領域に設定する。

図４は、第２実施形態に係るデジタルカメラ１００が外部の表示装置２００と接続され、外部の表示装置２００に画像データを出力して表示を行う際の画像再生モード（マルチ再生）の動作を示すフローチャートである。なお、シングル再生の動作は第１実施形態（図２Ａ）と同様である。Ｓ２０６でマルチ再生が指示されると処理は図４のＳ４０９へ進む。

Ｓ４０９において、カーソル制御部５０６は、マルチ再生における、ユーザが操作するカーソルの位置を設定する。Ｓ４１０では、読出部５０２は、一覧表示の表示対象となる複数（Ｍ枚）の画像データを外部記録媒体９１からメモリ２５に読み込む。第１実施形態と同様、画像データのサイズが大きい場合などは、画像データに別途記録されている記録サイズの小さな表示用画像とメタデータなど、画像データの一部分が読み出されるようにしてもよい。

Ｓ４１１において、輝度設定部５０３は、Ｓ４１０で読み出された画像データの中からカーソル位置に該当する画像がＨＤＲ画像であるかを判定する。ＨＤＲ画像であると判定された場合、処理はＳ４１２に進む。Ｓ４１２では、輝度設定部５０３は、カーソル位置に該当する画像データ（ＨＤＲ画像）のメタデータから最大輝度情報を取得する。Ｓ４１３では、輝度設定部５０３は、カーソル位置に該当する画像データの、表示用画像における表示領域を取得する。

Ｓ４１６では、生成部５０４は、読み出した複数（Ｍ枚）の画像データを、所定のパターン（例えば、縦２画像×横２画像）に配置して、外部の表示装置２００に表示させる表示用画像を生成する。生成部５０４は、画像処理部２０に含まれる伸長処理やリサイズ処理などを用いて、各画像データから表示用の画像を生成し、これを上記所定のパターンに従って配置して表示装置２００で表示するための表示用の画像を生成し、メモリ２５に格納する。また、カーソル位置も所定の位置になるように表示用の画像が生成される。

Ｓ４１７において、出力部５０５は、輝度設定部５０３が取得した最大輝度情報と、最大輝度情報を適用する領域としてＳ４１３で取得した表示領域を示す情報とを含む動的メタデータを生成部５０４が生成した表示用画像と関連付けて、出力する。なお、動的メタデータには、上記表示領域以外の輝度を例えばＳＤＲ相当の輝度（１００ｎｉｔ）とする情報が含まれる。こうして、動的メタデータが関連付けられた表示用画像は、画像出力部７１から外部の表示装置２００に出力される。外部の表示装置２００は、動的メタデータに従って表示用画像を表示することでマルチ再生表示を行う。なお、外部の表示装置２００は、例えば、ローカルディミングに対応しており、指定された表示領域を指定された最大輝度で表示できるように、部分的に異なる輝度を設定できる。

図５は、０００１番の画像データと、これに続く外部記録媒体９１に記録されている０００２～０００４番で識別される画像データを縦２画像×横２画像となるように配置して表示した際の模式図である。カーソル位置は、マルチ再生を指示した０００１番の画像に設定されている。第２実施形態によれば、外部の表示装置２００において、０００１番が表示される領域だけを０００１番の最大輝度で表示することできる。その他の０００２～０００４番の画像はＳＤＲ画像相当の輝度で表示される。図３（ｂ）と比べると、０００１番以外の高い輝度を持つ画像が低輝度で表示されるため、０００１番は他のより大きな輝度を持つ画像の影響を受けることなくマルチ表示状態であっても０００１番本来の画像として視認することができる。

図４に戻り、Ｓ４１１において、カーソル位置に該当する画像がＨＤＲ画像でないと判定された場合、処理はＳ４１４に進む。Ｓ４１４において、輝度設定部５０３は、ＳＤＲ画像用の輝度を取得する。そして、Ｓ４１５において、輝度設定部５０３は、画面全体をＳＤＲ画像の輝度で表示するように輝度を設定する。その後、上述したＳ４１６とＳ４１７が実行され、動的メタデータが付与された表示用画像が出力される。

Ｓ４１８～Ｓ４２１の処理は、図２のＳ２２３、Ｓ２２６～Ｓ２２８と同様である。すなわち、Ｓ４１８では、カーソル制御部５０６は、ユーザが操作部６３に含まれる十字キーなどを用いてカーソル位置の移動を指示したかを判定する。カーソル位置の移動が指示されたと判定された場合、処理はＳ４０９に戻る。Ｓ４１９では、モード制御部５０１は、操作部６３に含まれる操作部材により、マルチ再生で一覧表示する画像数が変更されたか否かを判定する。画像数が変更されたと判定された場合、処理はS４０９に戻る。Ｓ４２０では、モード制御部５０１は、操作部６３に含まれる操作部材によりマルチ再生終了が指示されたかを確認する。マルチ再生の終了が指示された場合、処理はＳ２０１へ戻り、シングル再生を開始する。Ｓ４２１では、モード制御部５０１は、操作部６３に含まれる操作部材により画像再生モードの終了が指示されたか確認する。画像再生モードの終了が指示されていなければ、処理はＳ４１８に戻り、マルチ再生が維持される。他方、画像再生モードの終了が指示された場合は、画像再生モードを終了する。

以上のように、第２実施形態によれば、ＨＤＲ画像を含む複数の画像をマルチ再生で表示した際に、注目するＨＤＲ画像を適切な輝度で表示することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

５０：システム制御部、２５：メモリ、９０：カードコントローラ、９１：外部記録媒体、１００：デジタルカメラ、２００：表示装置、５０１：モード制御部、５０２：読出部、５０３：輝度設定部、５０４：生成部、５０５：出力部、５０６：カーソル制御部

Claims (15)

1. ２枚以上の画像を並べて１画面に表示させるマルチ再生のためのデータを出力する画像出力装置であって、
   マルチ再生における設定枚数の画像を記録手段から読み出す読出手段と、
   前記読出手段により読み出された前記設定枚数の画像を用いてマルチ再生のための表示用の画像を生成する生成手段と、
   前記読出手段により読み出された前記設定枚数の画像に含まれるＨＤＲ画像の最大輝度情報が示す輝度のうち最大の輝度を、前記表示用の画像の最大輝度情報に設定する設定手段と、
   前記生成手段により生成された前記表示用の画像に、前記設定手段により設定された最大輝度情報を付加して出力する出力手段と、を備えることを特徴とする画像出力装置。
2. 前記設定手段は、前記読出手段により読み出された前記設定枚数の画像がＨＤＲ画像を含まない場合に、あらかじめ設定されている輝度を前記表示用の画像の最大輝度情報として設定することを特徴とする請求項１に記載の画像出力装置。
3. 前記あらかじめ設定されている輝度は、ＳＤＲ用の輝度であることを特徴とする請求項２に記載の画像出力装置。
4. 前記設定手段は、前記設定枚数の画像を構成する画像の組み合わせの変更頻度が所定の頻度を超える場合に、前記表示用の画像の最大輝度情報が示す輝度を所定値に固定することを特徴とする請求項１乃至３のいずれか１項に記載の画像出力装置。
5. 前記設定枚数をユーザにより指定することが可能であり、
   前記設定手段は、前記設定枚数が所定数を超える場合に、前記表示用の画像に関連付けられる最大輝度情報が示す輝度を所定値に固定することを特徴とする請求項１乃至４のいずれか１項に記載の画像出力装置。
6. 前記設定手段は、前記記録手段に記録されている全てのＨＤＲ画像の最大輝度情報が示す輝度のうち、最大の輝度を前記所定値として用いることを特徴とする請求項４または５に記載の画像出力装置。
7. 前記設定手段は、前記変更頻度が前記所定の頻度を超えた時点において前記表示用の画像に付加されている最大輝度情報が示す輝度を前記所定値として用いることを特徴とする請求項４に記載の画像出力装置。
8. ２枚以上の画像を並べて１画面に表示させるマルチ再生のためのデータを出力する画像出力装置であって、
   マルチ再生における設定枚数の画像を記録手段から読み出す読出手段と、
   前記読出手段により読み出された前記設定枚数の画像を用いてマルチ再生のための表示用の画像を生成する生成手段と、
   前記設定枚数の画像のうち、ユーザ操作により指定された画像がＨＤＲ画像の場合、当該ＨＤＲ画像の最大輝度情報が示す輝度を前記表示用の画像における前記指定された画像の表示領域に設定する設定手段と、
   前記生成手段により生成された前記表示用の画像に、前記設定手段により設定された輝度と前記表示領域を示す情報を付加して出力する出力手段と、を備えることを特徴とする画像出力装置。
9. 前記設定手段は、前記表示用の画像の前記表示領域以外の領域に、あらかじめ定められた輝度を設定することを特徴とする請求項８に記載の画像出力装置。
10. 前記設定手段は、ユーザ操作によって指定された画像がＨＤＲ画像ではない場合、あらかじめ定められた輝度を前記最大輝度情報に設定し、前記表示領域を前記表示用の画像の全体に設定することを特徴とする請求項８に記載の画像出力装置。
11. 前記あらかじめ定められた輝度は、ＳＤＲ用の輝度であることを特徴とする請求項９または１０に記載の画像出力装置。
12. 前記読出手段は、前記設定枚数の画像の読み出しにおいて、前記記録手段に記録されている画像の縮小画像とメタデータを読み出すことを特徴とする請求項１乃至１１のいずれか１項に記載の画像出力装置。
13. ２枚以上の画像を並べて１画面に表示させるマルチ再生のためのデータを出力する画像出力装置の制御方法であって、
    マルチ再生における設定枚数の画像を記録手段から読み出す読出工程と、
    前記読出工程で読み出された前記設定枚数の画像を用いてマルチ再生のための表示用の画像を生成する生成工程と、
    前記読出工程で読み出された前記設定枚数の画像に含まれるＨＤＲ画像の最大輝度情報が示す輝度のうち最大の輝度を、前記表示用の画像の最大輝度情報に設定する設定工程と、
    前記生成工程で生成された前記表示用の画像に、前記設定工程で設定された最大輝度情報を付加して出力する出力工程と、を備えることを特徴とする画像出力装置の制御方法。
14. ２枚以上の画像を並べて１画面に表示させるマルチ再生のためのデータを出力する画像出力装置の制御方法であって、
    マルチ再生における設定枚数の画像を記録手段から読み出す読出工程と、
    前記読出工程で読み出された前記設定枚数の画像を用いてマルチ再生のための表示用の画像を生成する生成工程と、
    前記設定枚数の画像のうち、ユーザ操作により指定された画像がＨＤＲ画像の場合、当該ＨＤＲ画像の最大輝度情報が示す輝度を前記表示用の画像における前記指定された画像の表示領域に設定する設定工程と、
    前記生成工程で生成された前記表示用の画像に、前記設定工程で設定された輝度と前記表示領域を示す情報を付加して出力する出力工程と、を備えることを特徴とする画像出力装置の制御方法。
15. コンピュータを、請求項１乃至１２のいずれか１項に記載された画像出力装置の各手段として機能させるためのプログラム。

Images