以下、本発明の実施形態について、図面を参照して説明する。図1は、本実施形態における表示処理装置を搭載したシステムの構成の一例を示したブロック図である。なお、本実施形態の表示処理装置を適用するシステムの構成に関しては、何ら限定しない。図1には、撮像装置のシステムに本実施形態の表示処理装置を適用した構成を示している。
図1に示した撮像装置1のシステムは、撮像センサ10と、画像処理装置20と、テレビ(TV)31と、EVF32と、TFT液晶ディスプレイ(TFT−LCD)33とから構成される。撮像装置1は、撮像センサ10によって撮影した画像を、接続された表示デバイス(テレビ31、EVF32、TFT液晶ディスプレイ33)のそれぞれに表示させる。
撮像センサ10は、図示しないレンズによって結像された被写体の光学像を光電変換するCCD(Charge Coupled Device:電荷結合素子)イメージセンサや、CMOS(Complementary Metal−Oxide Semiconductor:相補型金属酸化膜半導体)イメージセンサに代表されるイメージセンサである。撮像センサ10は、被写体光に応じた画素信号を画像処理装置20に出力する。
画像処理装置20は、撮像センサ10から入力された画素信号に対して、予め定めた画像処理を行う。そして、画像処理装置20は、画像処理を行った後の画像に対して、接続されたテレビ31、EVF32、TFT液晶ディスプレイ33のそれぞれに合わせた表示処理を行って表示させる。画像処理装置20は、撮像処理部21、画像処理部22、および表示処理装置23を備えている。また、画像処理装置20内では、撮像処理部21、画像処理部22、および表示処理装置23のそれぞれが、DMA(Direct Memory Access)バス25を介してそれぞれ接続されている。そして、撮像処理部21、画像処理部22、および表示処理装置23のそれぞれは、画像処理装置20の外部に備えられ、DMAバス25に接続されたDRAM(Dynamic Random Access Memory)(不図示)などの一時記憶用のメモリへのデータの書き込みやデータの読み出しを、DMAによって行う。つまり、画像処理装置20内の撮像処理部21、画像処理部22、および表示処理装置23のそれぞれは、DMAバス25に接続された外部のDRAM(不図示)を介して、処理を行う画像データをそれぞれの構成要素の間でやり取りする。
撮像処理部21は、撮像センサ10から入力された画素信号に応じた画像に対して、キズ補正やシェーディング補正などの前処理を施し、前処理した結果の画像データ(以下、「前処理画像データ」という)を、DMAによってDRAM(不図示)に転送する(書き込む)。
画像処理部22は、DRAM(不図示)に記録されている前処理画像データをDMAによって取得し(読み出し)、ノイズ除去、YC変換処理、リサイズ処理などの各種の画像処理を施して、表示用の画像データ(以下、「表示画像データ」という)を生成する。そして、画像処理部22は、生成した表示画像データを、DMAによってDRAM(不図示)に転送する(書き込む)。
なお、撮像装置1では、画像処理部22が、前処理画像データに対して、JPEG圧縮処理、およびMPEG圧縮処理やH.264圧縮処理等の動画圧縮処理などの各種の画像処理を施すことによって記録用の画像データを生成し、撮像装置1に着脱可能な構成の記録媒体(例えば、SDメモリカード(SD Memory Card)やコンパクトフラッシュ(CompactFlash:CF(登録商標))など)に、生成した記録用の画像データを記録させることもできる。このときも、画像処理部22が生成した記録用の画像データは、DRAM(不図示)を介して、記録媒体に記録される。このため、撮像装置1では、記録媒体に記録された記録用の画像データが読み出されて、DRAM(不図示)に転送されている(書き込みされている)場合もある。この場合、画像処理部22は、DRAM(不図示)に記録されている記録用の画像データをDMAによって取得し(読み出し)、JPEG伸張処理、MPEG伸張処理やH.264伸張処理等の動画伸張処理などの各種の画像処理を施すことによって表示画像データを生成し、生成した表示画像データを、再びDMAによってDRAM(不図示)に転送する(書き込む)こともできる。
表示処理装置23は、DRAM(不図示)に記録されている表示画像データをDMAによって取得し(読み出し)、取得した表示画像データに、OSD(On−Screen Display)表示用のデータを重畳する処理、接続された表示デバイスに対応する色変換処理などの表示処理を施す。そして、表示処理装置23は、表示処理後の表示画像データ(以下、「出力画像データ」という)を、テレビ31、EVF32、TFT液晶ディスプレイ33などの表示デバイスに出力する。
なお、本実施形態の表示処理装置23は、図1に示したように、撮像装置1に搭載した画像処理装置20に内蔵される構成であってもよいが、例えば、撮像装置1に単独で搭載される構成であってもよい。
表示処理装置23は、3つの表示処理部231〜表示処理部233を備えている。なお、以下の説明においては、表示処理部231〜表示処理部233のそれぞれを区別しない場合には、「表示処理部230」という。
表示処理部231〜表示処理部233のそれぞれは、接続されている表示デバイスに表示させる表示画像データを、DMAによってDRAM(不図示)から取得し(読み出し)、取得した表示画像データに対して表示処理を施す。そして、表示処理部231〜表示処理部233のそれぞれは、表示処理後の出力画像データを、接続された表示デバイスに出力する。図1に示した撮像装置1のシステムでは、表示処理部231にテレビが接続され、表示処理部232にEVF32が接続され、表示処理部233にTFT液晶ディスプレイ33が接続されている構成を示している。なお、表示処理部231〜表示処理部233のそれぞれは、同じ構成を備えている。つまり、表示処理部231〜表示処理部233のそれぞれは、いずれの表示処理部230であっても、接続されたいずれの表示デバイスに画像を表示させることができる。
なお、本実施形態の表示処理装置23および表示処理部230のそれぞれの構成および動作に関する詳細な説明は、後述する。
テレビ31は、フルHD(1920×1080)の大きさ(サイズ)の画像を表示するテレビ(HDTV:High Definition TeleVision)である。テレビ31は、表示処理部231から出力された表示処理後の出力画像データに応じた画像を表示する。なお、図1においては、テレビ31も撮像装置1の構成要素としているが、テレビ31は、撮像装置1に着脱可能な構成である。
EVF32は、例えば、TFT液晶ディスプレイTFT(薄膜トランジスター:Thin Film Transistor)液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどの小型の表示デバイスである。EVF32は、表示処理部232から出力された表示処理後の出力画像データに応じた画像を表示する。EVF32は、撮像センサ10によって撮影している画像を確認するために撮像装置1に搭載されたビューファインダとして動作する。
TFT液晶ディスプレイ33は、中型の表示デバイスである。TFT液晶ディスプレイ33は、表示処理部233から出力された表示処理後の出力画像データに応じた画像を表示する。なお、図1においては、TFT液晶ディスプレイ33も撮像装置1の構成要素としているが、TFT液晶ディスプレイ33は、撮像装置1に着脱可能な構成であってもよい。
このような構成によって、撮像装置1は、撮像センサ10によって撮影した画像を、複数の表示デバイスに表示させることができる。つまり、撮像装置1は、画像処理装置20に備えた表示処理装置23内の表示処理部230の数と同じ数の表示デバイスに、同時に表示処理後の出力画像データに応じた画像を表示させることができる。
また、撮像装置1には、例えば、4K2K(3840×2160)の大きさ(サイズ)の画像を表示するテレビ(UHDTV:Ultra High Definition TeleVision)のように、表示する画素数が多い表示デバイスを接続することもできる。つまり、撮像装置1には、表示処理装置23内のそれぞれの表示処理部230が対応する画素数よりも多い画素数の表示デバイスを接続することができる。この場合、撮像装置1は、複数の表示処理部230が連携して並列に動作することによって、画素数の多い画像を表示する表示デバイスに、表示処理後の出力画像データに応じた画像を表示させる。ただし、複数の表示処理部230が連携して並列に動作する場合、それぞれの表示処理部230に接続され、それぞれの表示処理部230が単独で画像を表示させることができる表示デバイスへの表示処理後の出力画像データの出力と、連携して並列に動作することによって画像を表示させることができる表示デバイスへの表示処理後の出力画像データの出力とは、排他的となる。
次に、本実施形態の表示処理装置23の構成および動作について説明する。図2は、本実施形態の表示処理装置23の概略構成を示したブロック図である。以下の説明においては、画像処理装置20に備えた表示処理装置23内に、フルHD(1920×1080)の大きさ(サイズ)の画像を表示する表示デバイスに対応した2つの表示処理部231および表示処理部232を備え、表示処理部231と表示処理部232とが連携して、4K2K(3840×2160)の大きさ(サイズ)の画像を表示する表示デバイスに、出力画像データを出力する構成および動作について説明する。
図2に示した表示処理装置23は、表示処理部231と、表示処理部232と、クロック制御部234と、メモリ書込制御部235と、ラインメモリ236と、出力選択部237とを備えている。表示処理装置23には、表示処理部231と表示処理部232とが連携して画像を表示させる4K2K(3840×2160)サイズの画像を表示する4Kテレビ(4K−TV)310と、表示処理部232が単独で画像を表示させるEVF32とが接続されている。
4Kテレビ310は、4K2K(3840×2160)サイズの画像を表示するテレビである。4Kテレビ310は、表示処理装置23から出力された表示処理後の出力画像データに応じた画像を表示する。なお、4Kテレビ310は、撮像装置1に着脱可能な構成である。
表示処理部231および表示処理部232は、接続されている表示デバイスに表示させるそれぞれのフレームの表示画像データを、DMAによってDMAバス25に接続されたDRAM(不図示)から順次取得する(読み出す)。そして、表示処理部231および表示処理部232は、順次取得した表示画像データに対して表示処理を施した出力画像データを、接続された表示デバイスに順次出力する。このとき、表示処理部231と表示処理部232とのそれぞれは、表示デバイスに表示させるそれぞれのフレームの表示画像データを、DMAによってDRAM(不図示)から1行(ライン)毎に順次取得し(読み出し)、取得したそれぞれのライン毎に表示処理を施した出力画像データを、接続された表示デバイスに順次出力する。
図2に示した表示処理装置23では、上述したように、4Kテレビ310に表示させる表示画像データに対する表示処理を、表示処理部231と表示処理部232とが連携して並列に行う。より具体的には、4Kテレビ310に表示させる表示画像データの領域を2つに分割し、分割した一方の領域の表示画像データに対する表示処理を表示処理部231が行い、分割した他方の領域の表示画像データに対する表示処理を表示処理部232が行う。さらに詳細には、4Kテレビ310に表示させる1フレームの表示画像データの領域を水平方向に2つの領域に分割、つまり、左右の2つの領域に分割し、左側半分の領域の表示画像データに対する表示処理を表示処理部231が行い、右側半分の領域の表示画像データに対する表示処理を表示処理部232が行う。
表示処理部231は、同期信号生成ブロック2311と、入力制御ブロック2312と、表示処理ブロック2313とを備えている。また、表示処理部232は、同期信号生成ブロック2321と、入力制御ブロック2322と、表示処理ブロック2323と、同期信号選択ブロック2324とを備えている。
同期信号生成ブロック2311は、クロック制御部234から供給された動作クロックに基づいて、表示処理部231に接続された表示デバイスに、出力画像データに応じた画像を表示させるタイミングを表す、例えば、垂直同期信号Vや水平同期信号Hなどの同期信号を生成する。そして、同期信号生成ブロック2311は、生成した同期信号を、表示処理部231に接続された表示デバイスに出力する。また、同期信号生成ブロック2311は、生成した同期信号を、メモリ書込制御部235および出力選択部237に出力する。
また、同期信号生成ブロック2311は、生成した同期信号に基づいて、表示処理部231に接続された表示デバイスに表示させる1フレームの表示画像データをDRAM(不図示)から取得して表示処理を開始するタイミング、すなわち、DMAを開始するタイミングを表すトリガ信号TG1を生成し、生成したトリガ信号TG1を入力制御ブロック2312に出力する。このトリガ信号TG1は、1フレームの表示画像データにおける最初の画素、つまり、画像の左上の画素に対応する表示画像データのDRAM(不図示)からの取得を開始するタイミングを表す。
また、同期信号生成ブロック2311は、生成した同期信号に基づいて、連携して動作する他の表示処理部230が、対応する表示画像データをDRAM(不図示)から取得して表示処理を開始するタイミング、すなわち、DMAを開始するタイミングを表すトリガ信号TG1aを生成し、生成したトリガ信号TG1aを他の表示処理部230内の同期信号選択ブロックに出力する。図2に示した構成では、同期信号生成ブロック2311は、表示処理部232が対応する表示画像データを取得するためのトリガ信号TG1aを、表示処理部232内の同期信号選択ブロック2324に出力する。このトリガ信号TG1aを出力するタイミングは、連携して動作する他の表示処理部230が対応する表示画像データの領域における最初の画素に対応する表示画像データのDRAM(不図示)からの取得を開始するタイミングを表す。
なお、表示処理部231と表示処理部232とが連携して並列に動作する場合、表示処理部231と表示処理部232とのそれぞれが、表示処理を行う対象の表示画像データを同時期に取得してもよい。このため、同期信号生成ブロック2311が生成するトリガ信号TG1とトリガ信号TG1aとは、同じタイミングを表すトリガ信号であってもよい。
入力制御ブロック2312は、同期信号生成ブロック2311から入力されたトリガ信号TG1に応じて、表示処理部231が表示処理を行う表示画像データを取得するためのDMAを開始する。そして、入力制御ブロック2312は、DMAによってDRAM(不図示)から取得した(読み出した)表示画像データを、予め定めたタイミングから、表示処理ブロック2313に出力する。
なお、表示処理部231と表示処理部232とが連携して4Kテレビ310に表示させる表示画像データに対して表示処理を行う場合には、入力制御ブロック2312は、4Kテレビ310に表示させる表示画像データの内、左側半分の領域の表示画像データ(以下、「左側表示画像データ」という)をDRAM(不図示)から取得して(読み出して)、表示処理ブロック2313に出力する。なお、入力制御ブロック2312が取得した表示画像データを予め定めたタイミングから表示処理ブロック2313に出力するために行うタイミングの調整は、例えば、入力制御ブロック2312内に備えたバッファ部によって行う。
表示処理ブロック2313は、入力制御ブロック2312から入力された表示画像データに対して表示処理を施した出力画像データを、ラインメモリ236に出力する。なお、表示処理部231と表示処理部232とが連携して4Kテレビ310に表示させる表示画像データの表示処理を行う場合には、表示処理ブロック2313は、入力制御ブロック2312から入力された左側表示画像データに対して表示処理を施した後の出力画像データを、ラインメモリ236に出力する。
同期信号生成ブロック2321は、表示処理部231内の同期信号生成ブロック2311と同様に、クロック制御部234から供給された動作クロックに基づいて、表示処理部232に接続された表示デバイスに、出力画像データに応じた画像を表示させるタイミングを表す同期信号(例えば、垂直同期信号Vや水平同期信号Hなど)を生成する。そして、同期信号生成ブロック2321は、生成した同期信号を、表示処理部232に接続された表示デバイスに出力する。
また、同期信号生成ブロック2321は、表示処理部231内の同期信号生成ブロック2311と同様に、生成した同期信号に基づいて、表示処理部232に接続された表示デバイスに表示させる1フレームの表示画像データをDRAM(不図示)から取得して表示処理を開始するタイミング、すなわち、DMAを開始するタイミングを表すトリガ信号TG2を生成し、生成したトリガ信号TG2を同期信号選択ブロック2324に出力する。このトリガ信号TG2は、例えば、表示処理部232に接続されたEVF32に出力する1フレームの表示画像データにおける最初の画素、つまり、画像の左上の画素に対応する表示画像データのDRAM(不図示)からの取得を開始するタイミングを表す。
同期信号選択ブロック2324は、同期信号生成ブロック2321から入力されたトリガ信号TG2と、表示処理部231内の同期信号生成ブロック2311から入力されたトリガ信号TG1aとのいずれか一方のトリガ信号を選択し、選択したトリガ信号TGを、入力制御ブロック2322に出力する。
なお、同期信号選択ブロック2324は、表示処理部232が単独で、接続されたEVF32に画像を表示させる場合には、同期信号生成ブロック2321から入力されたトリガ信号TG2をトリガ信号TGとして入力制御ブロック2322に出力する。また、同期信号選択ブロック2324は、表示処理部231と表示処理部232とが連携して4Kテレビ310に画像を表示させる場合には、表示処理部231内の同期信号生成ブロック2311から入力されたトリガ信号TG1aをトリガ信号TGとして入力制御ブロック2322に出力する。
入力制御ブロック2322は、表示処理部231内の入力制御ブロック2312と同様に、同期信号選択ブロック2324から入力されたトリガ信号TGに応じて、表示処理部232が表示処理を行う表示画像データを取得するためのDMAを開始する。そして、入力制御ブロック2322は、DMAによってDRAM(不図示)から取得した(読み出した)表示画像データを、予め定めたタイミングから、表示処理ブロック2323に出力する。
なお、表示処理部232が単独でEVF32に表示させる表示画像データに対して表示処理を行う場合には、入力制御ブロック2322は、EVF32に表示させる表示画像データ(以下、「EVF表示画像データ」という)をDRAM(不図示)から取得して(読み出して)、表示処理ブロック2323に出力する。また、表示処理部231と表示処理部232とが連携して4Kテレビ310に表示させる表示画像データに対して表示処理を行う場合には、入力制御ブロック2322は、4Kテレビ310に表示させる表示画像データの内、右側半分の領域の表示画像データ(以下、「右側表示画像データ」という)をDRAM(不図示)から取得して(読み出して)、表示処理ブロック2323に出力する。
なお、入力制御ブロック2322が取得した表示画像データを予め定めたタイミングから表示処理ブロック2323に出力するために行うタイミングの調整も、表示処理部231内の入力制御ブロック2312と同様に、例えば、入力制御ブロック2322内に備えたバッファ部によって行う。ここで、入力制御ブロック2312が取得した表示画像データの表示処理ブロック2313への出力を開始するタイミングと、入力制御ブロック2322が取得した表示画像データの表示処理ブロック2323への出力を開始するタイミングとは、同じタイミングである。このため、表示処理部231と表示処理部232とが連携して4Kテレビ310に表示させる表示画像データに対して表示処理を行う場合において、表示処理ブロック2313が表示処理を開始するタイミングと、表示処理ブロック2323が表示処理を開始するタイミングとが同じタイミングになる。これにより、表示処理部231と表示処理部232とのそれぞれは、入力された表示画像データに対する表示処理を同時に行い、出力画像データを同じタイミングから出力することができる。つまり、表示処理部231と表示処理部232とのそれぞれは、左側表示画像データに対して表示処理を施した後の出力画像データと、右側表示画像データに対して表示処理を施した後の出力画像データとを、同じタイミングで出力することができる。
表示処理ブロック2323は、表示処理部231内の表示処理ブロック2313と同様に、入力制御ブロック2322から入力された表示画像データに対して表示処理を施した出力画像データを出力する。このとき、表示処理部232が単独でEVF32に表示させるEVF表示画像データに対して表示処理を行う場合には、表示処理ブロック2323は、入力制御ブロック2322から入力されたEVF表示画像データに対して表示処理を施した後の出力画像データを、EVF32に出力する。また、表示処理部231と表示処理部232とが連携して4Kテレビ310に表示させる表示画像データの表示処理を行う場合には、表示処理ブロック2323は、入力制御ブロック2322から入力された右側表示画像データに対して表示処理を施した後の出力画像データを、ラインメモリ236に出力する。
メモリ書込制御部235は、同期信号生成ブロック2311から入力された同期信号(例えば、垂直同期信号Vや水平同期信号Hなど)に基づいて、ラインメモリ236への出力画像データの格納(書き込み)を制御する。
なお、メモリ書込制御部235は、表示処理部231と表示処理部232とが連携して4Kテレビ310に画像を表示させる場合に、ラインメモリ236への出力画像データの格納(書き込み)を制御する。より具体的には、メモリ書込制御部235は、同期信号に基づいたタイミングで、表示処理部231内の表示処理ブロック2313から出力された出力画像データ、および表示処理部232内の表示処理ブロック2323から出力された出力画像データを、ラインメモリ236の対応する記憶領域に格納する(書き込む)ように、ラインメモリ236を制御する。これにより、ラインメモリ236には、表示処理ブロック2313が左側表示画像データに対して表示処理を行った後の出力画像データが、ラインメモリ236において画像の左側に対応する記憶領域に格納され、表示処理ブロック2323が右側表示画像データに対して表示処理を行った後の出力画像データが、ラインメモリ236において画像の右側に対応する記憶領域に格納される。
また、メモリ書込制御部235は、表示処理装置23に表示処理部231が単独で画像を表示させるテレビ31が接続されている場合など、表示処理部231と表示処理部232とが連携して動作しない場合には、表示処理部231内の表示処理ブロック2313からラインメモリ236に入力された出力画像データを格納させずにそのまま出力選択部237に出力するように、ラインメモリ236を制御する。
ラインメモリ236は、表示処理装置23に接続された4Kテレビ310が表示する1行(ライン)分(つまり、3840個)の出力画像データを一時的に格納(記憶)する記憶領域を備えた、例えば、SRAM(Static Random Access Memory)などのメモリで構成される。なお、ラインメモリ236は、表示処理部231内の表示処理ブロック2313から出力された出力画像データに対応する記憶領域(以下、「左側用記憶領域」ともいう)と、表示処理部232内の表示処理ブロック2323から出力された出力画像データに対応する記憶領域(以下、「右側用記憶領域」ともいう)とのそれぞれに分かれて構成されている。
ラインメモリ236は、メモリ書込制御部235からの制御に応じて、表示処理部231内の表示処理ブロック2313から入力された左側表示画像データに対して表示処理を行った表示処理後の出力画像データと、表示処理部232内の表示処理ブロック2323から入力された右側表示画像データに対して表示処理を行った表示処理後の出力画像データとのそれぞれを、一時的に格納する。また、ラインメモリ236は、出力選択部237からの制御に応じて、格納しているそれぞれの出力画像データを、出力選択部237に出力する。
なお、表示処理装置23に4Kテレビ310が接続されることが想定される撮像装置1のシステムでは、ラインメモリ236に、少なくとも3840個の出力画像データを一時的に格納する記憶領域を備えていればよいため、例えば、4096個の出力画像データを一時的に格納することができる記憶領域を備えたSRAMなどが搭載されることが想定される。しかし、ラインメモリ236は、さらに多くの記憶領域を備えた構成にすることもできる。
また、ラインメモリ236は、メモリ書込制御部235による出力画像データの格納(書き込み)の制御と、出力選択部237による出力画像データの読み出しの制御とが、同時期に行われることが想定される。このため、ラインメモリ236は、格納された出力画像データが出力選択部237によって読み出される前に、メモリ書込制御部235によって次の出力画像データが格納される(書き込まれる)、つまり、上書きされるのを防止する構成になっている。この上書きを防止する構成としては、例えば、ラインメモリ236に、2ライン分の記憶領域を備える構成とし、メモリ書込制御部235による表示処理後の出力画像データの格納(書き込み)の制御と、出力選択部237による表示処理後の出力画像データの読み出しの制御とをライン毎に切り替える、いわゆる、ダブルバッファの構成とすることが考えられる。しかし、本実施形態の表示処理装置23では、ラインメモリ236の上書きを防止する構成に関しては、特に規定しない。つまり、上書きを防止するための既存の技術を、ラインメモリ236に適用することができる。
出力選択部237は、同期信号生成ブロック2311から入力された同期信号(例えば、垂直同期信号Vや水平同期信号Hなど)に基づいて、ラインメモリ236に格納された出力画像データの読み出しと、読み出した出力画像データの接続された表示デバイスへの出力を制御する。
なお、出力選択部237は、表示処理部231と表示処理部232とが連携して4Kテレビ310に画像を表示させる場合に、ラインメモリ236に格納された出力画像データの読み出しと、読み出した出力画像データの接続された4Kテレビ310への出力を制御する。より具体的には、出力選択部237は、同期信号に基づいたタイミングで、表示処理部231内の表示処理ブロック2313が表示処理した後の出力画像データと、表示処理部232内の表示処理ブロック2323が表示処理した後の出力画像データとのそれぞれをラインメモリ236の対応する記憶領域から読み出すように、ラインメモリ236を制御する。これにより、ラインメモリ236において画像の左側に対応する記憶領域(左側用記憶領域)に格納された左側表示画像データに対して表示処理が行われた出力画像データと、ラインメモリ236において画像の右側に対応する記憶領域(右側用記憶領域)に格納された右側表示画像データに対して表示処理が行われた出力画像データとのそれぞれが、ライン毎に、ラインメモリ236から順次読み出される。そして、出力選択部237は、読み出したそれぞれの出力画像データを、ライン毎に順次4Kテレビ310に出力する。これにより、4Kテレビ310に、左側表示画像データに対応する表示処理後の出力画像データと、右側表示画像データに対応する表示処理後の出力画像データとが合わさった出力画像データ、すなわち、4Kテレビ310に表示させる表示画像データに対して表示処理を行った後の出力画像データに応じた1つの画像が表示される。
また、出力選択部237は、表示処理装置23に表示処理部231が単独で画像を表示させるテレビ31が接続されている場合など、表示処理部231と表示処理部232とが連携して動作しない場合には、ラインメモリ236に格納された出力画像データの読み出しを行わずに、ラインメモリ236を介してそのまま出力された、表示処理部231内の表示処理ブロック2313が表示処理した後の出力画像データを、接続されたテレビ31に出力する。これにより、テレビ31に、表示処理部231内の表示処理ブロック2313から出力された表示処理後の出力画像データに応じた画像が表示される。
クロック制御部234は、表示処理装置23の備えたそれぞれの構成要素(表示処理部231、表示処理部232、メモリ書込制御部235、および出力選択部237)が動作するのに適した周波数のクロックを生成し、生成したクロックをそれぞれの構成要素に供給する。
より具体的には、表示処理装置23に接続された表示デバイスが表示処理後の出力画像データに応じた画像を表示する際のクロック(以下、「表示デバイスクロック」という)を生成する。ここで、クロック制御部234が生成する表示デバイスクロックの周波数は、例えば、表示処理装置23に接続された表示デバイスが1画素分の画像を表示させるために必要な周期(周波数)のクロックである。表示デバイスクロックは、いわゆる、画素クロックに相当する。
例えば、表示処理装置23にフルHD(1920×1080)サイズの画像を表示するテレビ31が接続されている場合、クロック制御部234は、テレビ31が表示する画像内のそれぞれの画素を表示させるために必要な周波数の表示デバイスクロックを生成する。また、表示処理装置23にEVF32が接続されている場合、クロック制御部234は、EVF32がEVF表示画像データに応じた画像内のそれぞれの画素を表示させるために必要な周波数の表示デバイスクロックを生成する。また、表示処理装置23に4K2K(3840×2160)サイズの画像を表示する4Kテレビ310が接続されている場合、クロック制御部234は、4Kテレビ310が表示する画像内のそれぞれの画素を表示させるために必要な周波数の表示デバイスクロック、つまり、テレビ31が表示処理装置23に接続されている場合に生成する表示デバイスクロックの4倍の周波数の表示デバイスクロックを生成する。
そして、クロック制御部234は、生成した表示デバイスクロックに基づいて、それぞれの構成要素が動作するための動作クロックを生成し、生成した動作クロックを、それぞれの構成要素に供給する。例えば、表示処理部231が単独でテレビ31に画像を表示させ、表示処理部232が単独でEVF32に画像を表示させる場合には、クロック制御部234は、テレビ31に対応する表示デバイスクロックと、EVF32に対応する表示デバイスクロックとを生成する。そして、クロック制御部234は、テレビ31に対応する表示デバイスクロックに基づいて生成した動作クロックを表示処理部231に、EVF32に対応する表示デバイスクロックに基づいて生成した動作クロックを表示処理部232に、それぞれ供給する。なお、それぞれの表示デバイスクロックを、それぞれの動作クロックとしてもよい。
なお、表示処理装置23に4Kテレビ310が接続されている場合には、上述したように、クロック制御部234は、テレビ31に対応する表示デバイスクロックの4倍の周波数の表示デバイスクロックを生成する。しかし、表示処理装置23では、表示処理部231と表示処理部232とが連携して、4Kテレビ310に表示させる表示画像データに対する表示処理を行う。つまり、上述したように、表示処理装置23では、表示処理部231と表示処理部232とのそれぞれは、4Kテレビ310に表示させる表示画像データの領域を2つに分割したいずれか一方の領域の表示画像データに対する表示処理を行う。すなわち、表示処理部231と表示処理部232とのそれぞれが表示処理を行う表示画像データの数は1/2である。このため、表示処理部231と表示処理部232とのそれぞれは、テレビ31に対応する表示デバイスクロックの4倍の周波数の表示デバイスクロックの1/2の周波数の動作クロック、すなわち、テレビ31に対応する表示デバイスクロックの2倍の周波数の動作クロックであっても、同じ周期で動作を完了することができる。従って、クロック制御部234は、テレビ31に対応する表示デバイスクロックの2倍の周波数の動作クロックを、表示処理部231と表示処理部232とのそれぞれに供給する。
このような構成によって、本実施形態の表示処理装置23では、表示処理装置23内に備えた表示処理部230が対応しているサイズの画像よりも高精細な画像を表示する表示デバイスが接続された場合でも、複数の表示処理部230が連携して並列に動作することによって、それぞれの表示処理部230が動作する動作クロックの周波数を抑えた状態で、高精細な画像を表示する表示デバイスに対応することができる。そして、本実施形態の表示処理装置23では、それぞれの表示処理部230が動作する動作クロックの周波数を抑えることによって、本実施形態の表示処理装置23自体の消費電力の増大も抑えることができる。
次に、本実施形態の表示処理装置23が画像を分割して処理する動作について説明する。以下の説明においては、表示処理装置23が表示画像データの領域を2つに分割し、分割したそれぞれの領域の表示画像データに対して、2つの表示処理部230が連携して並列に表示処理を行う動作の一例について説明する。
まず、本実施形態の表示処理装置23が画像を分割して処理する動作の全体の流れについて説明する。図3は、本実施形態の表示処理装置23において画像を分割して処理する場合の一例を模式的に示した図である。
上述したように、表示処理装置23が表示画像データの領域を2つに分割して表示処理を行う場合、表示処理部231と表示処理部232とが連携し、表示処理部231が左側半分の領域の左側表示画像データに対する表示処理を行い、表示処理を表示処理部232が右側半分の領域の右側表示画像データに対する表示処理を行う。図3の上段には、左側表示画像データに対する処理を示し、図3の下段には、右側表示画像データに対する処理を示している。
図3の上段に示したように、表示処理部231は、まず、入力制御ブロック2312がDMAによって左側表示画像データをDRAM(不図示)から取得し(読み出し)、表示処理ブロック2313に出力する。そして、表示処理ブロック2313は、入力制御ブロック2312から入力された左側表示画像データに対して表示処理を行い、表示処理後の出力画像データをラインメモリ236の左側用記憶領域に出力する。
また、図3の下段に示したように、表示処理部232は、まず、入力制御ブロック2322がDMAによって右側表示画像データをDRAM(不図示)から取得し(読み出し)、表示処理ブロック2323に出力する。そして、表示処理ブロック2323は、入力制御ブロック2322から入力された右側表示画像データに対して表示処理を行い、表示処理後の出力画像データをラインメモリ236の右側用記憶領域に出力する。
そして、メモリ書込制御部235は、表示処理部231から出力された左側表示画像データに対応する出力画像データと、表示処理部232から出力された右側表示画像データに対応する出力画像データとのそれぞれを、ラインメモリ236の対応する記憶領域に格納させる。
その後、表示画像データの1ライン分の表示処理が終了した後、出力選択部237は、ラインメモリ236から1ライン分の出力画像データを順次読み出し、同期信号生成ブロック2311から入力された同期信号(例えば、垂直同期信号Vや水平同期信号Hなど)に応じたタイミングで、表示処理装置23に接続された表示デバイスに順次出力する。
このように、表示処理装置23では、2つの表示処理部230が連携して並列に表示処理を行うことによって、それぞれの表示処理部230が単独では表示処理を行うことができないサイズの画像に対しても表示処理を行うことができる。このとき、表示処理装置23では、連携して動作する2つの表示処理部230のそれぞれが、表示画像データの領域を2つに分割したいずれか一方の領域の表示画像データに対して表示処理を行うため、それぞれの表示処理部230が動作する動作クロックの周波数を抑えた状態で表示処理を行うことができる。
次に、本実施形態の表示処理装置23が画像を分割して処理する場合において、表示処理装置23に接続された表示デバイスに備えた画像信号の入力系統の数に応じたそれぞれの構成要素の動作について説明する。なお、以下の説明においては、図2に示した、フルHD(1920×1080)サイズの画像を表示するテレビ31に対応した2つの表示処理部231および表示処理部232を備えた表示処理装置23に、4K2K(3840×2160)サイズの画像を表示する4Kテレビ310が接続され、表示処理部231と表示処理部232とが連携して、4Kテレビ310に表示処理後の出力画像データを出力する場合の動作について説明する。
<第1の動作>
図4は、本実施形態の表示処理装置23において画像を処理する第1の動作の一例を示した図である。図4に示した動作の一例は、画像信号の入力系統を1系統備えている4Kテレビ310に、表示処理部231と表示処理部232とが連携して表示処理を行った4K2K(3840×2160)サイズの表示処理後の出力画像データを出力する場合の動作である。図4には、表示処理装置23のブロック図上に、第1の動作におけるそれぞれの画像データの経路を示している。
第1の動作では、クロック制御部234が、表示処理装置23に接続された4Kテレビ310に画像を表示するための表示デバイスクロックを生成する。ここで、クロック制御部234が生成する表示デバイスクロックの周波数は、テレビ31が表示処理装置23に接続されている場合に生成する表示デバイスクロックの4倍の周波数のクロックである。そして、クロック制御部234は、生成した表示デバイスクロックを、出力選択部237に供給する。
また、クロック制御部234は、生成した表示デバイスクロックに基づいて、表示デバイスクロックの1/2の周波数の動作クロックを生成する。そして、クロック制御部234は、生成した動作クロックを、表示処理部231、表示処理部232、およびメモリ書込制御部235に供給する。
そして、表示処理部231内の同期信号生成ブロック2311は、クロック制御部234から供給された動作クロックに基づいて、4Kテレビ310に表示処理後の出力画像データに応じた画像を表示させるための垂直同期信号Vおよび水平同期信号Hを生成する。そして、同期信号生成ブロック2311は、生成した垂直同期信号Vおよび水平同期信号Hを、メモリ書込制御部235、出力選択部237、および4Kテレビ310に出力する。
その後、同期信号生成ブロック2311は、垂直同期信号Vが、4Kテレビ310に1つのフレームの画像を表示するタイミングを表した後、水平同期信号Hが、出力画像データを出力する水平期間であることを表す1つ前の水平期間の開始を表すタイミング、つまり、垂直ブランキング期間における最後の水平期間の開始を表すタイミングで、トリガ信号TG1を入力制御ブロック2312に出力する。これにより、入力制御ブロック2312は、同期信号生成ブロック2311から入力されたトリガ信号TG1に応じて、表示処理部231が表示処理を行う、1フレームの表示画像データの1ライン目から、左側表示画像データのそれぞれの画素のデータを取得するDMAを開始する(画像データ経路C1参照)。
また、同期信号生成ブロック2311は、トリガ信号TG1と同じタイミングのトリガ信号TG1aを、表示処理部232内の同期信号選択ブロック2324に出力する。そして、同期信号選択ブロック2324は、表示処理部231内の同期信号生成ブロック2311から入力されたトリガ信号TG1aを、トリガ信号TGとして入力制御ブロック2322に出力する。これにより、入力制御ブロック2322は、同期信号選択ブロック2324から入力されたトリガ信号TGに応じて、表示処理部232が表示処理を行う、1フレームの表示画像データの1ライン目から、右側表示画像データのそれぞれの画素のデータを取得するDMAを開始する(画像データ経路C2参照)。
このように、表示処理部231内の入力制御ブロック2312と、表示処理部232内の入力制御ブロック2322とのそれぞれは、対応する領域の表示画像データのそれぞれを、DMAによってDRAM(不図示)から取得する。
そして、入力制御ブロック2312は、DRAM(不図示)からDMAによって取得した左側表示画像データのそれぞれの画素のデータを、表示処理ブロック2313に出力する(画像データ経路C1参照)。これにより、表示処理ブロック2313は、入力制御ブロック2312から入力された左側表示画像データのそれぞれの画素のデータに対して表示処理を施した出力画像データを、ラインメモリ236に出力する(画像データ経路C1参照)。また、入力制御ブロック2322は、DRAM(不図示)からDMAによって取得した右側表示画像データのそれぞれの画素のデータを、表示処理ブロック2323に出力する(画像データ経路C2参照)。これにより、表示処理ブロック2323は、入力制御ブロック2322から入力された右側表示画像データのそれぞれの画素のデータに対して表示処理を施した出力画像データを、ラインメモリ236に出力する(画像データ経路C2参照)。
そして、メモリ書込制御部235は、表示処理部231内の同期信号生成ブロック2311から入力された垂直同期信号Vが、4Kテレビ310に1つのフレームの画像を表示するタイミングを表した後、水平同期信号Hが、出力画像データを出力する水平期間であることを表す1つ前の水平期間の開始を表すタイミング、つまり、垂直ブランキング期間における最後の水平期間の開始を表すタイミングから、ラインメモリ236への出力画像データの格納(書き込み)の制御を開始する。なお、メモリ書込制御部235におけるラインメモリ236への出力画像データの格納の制御は、表示処理部231と表示処理部232とのそれぞれが表示画像データを取得してから、表示処理後の出力画像データを出力するまでの遅延時間が考慮される。つまり、メモリ書込制御部235は、ラインメモリ236への出力画像データの格納の制御を開始した水平期間において、表示処理部231と表示処理部232とのそれぞれが、表示画像データに対して表示処理を施すために要するクロック数分待った後のタイミングから、表示処理部231と表示処理部232とのそれぞれが出力する表示処理後の出力画像データの、ラインメモリ236への格納(書き込み)を開始する。
これにより、ラインメモリ236の左側用記憶領域に、表示処理部231内の表示処理ブロック2313から出力された左側表示画像データに対する表示処理後の出力画像データが格納され、ラインメモリ236の右側用記憶領域に、表示処理部232内の表示処理ブロック2323から出力された右側表示画像データに対する表示処理後の出力画像データが格納される。
その後、出力選択部237は、表示処理部231内の同期信号生成ブロック2311から入力された垂直同期信号Vが、4Kテレビ310に1つのフレームの画像を表示するタイミングを表し、水平同期信号Hが、出力画像データを出力する水平期間の開始を表すタイミング、つまり、4Kテレビ310に表示する1フレームの画像の1ライン目のタイミングを表した後、最初の画素の画像データを出力するタイミングから、ラインメモリ236に格納された表示処理後のそれぞれの出力画像データの読み出しの制御を開始する。このとき、出力選択部237は、表示処理部231内の同期信号生成ブロック2311から入力された表示デバイスクロックで、ラインメモリ236に格納された表示処理後のそれぞれの出力画像データの読み出しを行う。そして、出力選択部237は、読み出した表示処理後の出力画像データのそれぞれを、表示デバイスクロックのタイミング、つまり、4Kテレビ310が画像を表示するタイミングで順次、4Kテレビ310に出力する。
出力選択部237におけるラインメモリ236に格納された出力画像データの読み出しの制御では、4Kテレビ310に出力する1フレームの1ライン目における最初の画素のタイミング、つまり、4Kテレビ310に表示する1フレームの左半分の領域の最初の画素のタイミングに合うように、ラインメモリ236の左側用記憶領域に格納されている左側表示画像データに対する出力画像データのそれぞれを、表示デバイスクロックのタイミングで順次読み出す(画像データ経路C1参照)。そして、出力選択部237は、読み出した左側表示画像データに対する出力画像データのそれぞれを、4Kテレビ310に表示する1フレームの左半分の領域の最初の画素のタイミングから、表示デバイスクロックのタイミングで、4Kテレビ310に順次出力する(画像データ経路C1参照)。その後、出力選択部237は、4Kテレビ310に出力する1フレームの1ライン目における中央の右側の画素のタイミング、つまり、4Kテレビ310に表示する1フレームの右半分の領域の最初の画素のタイミングに合うように、ラインメモリ236の右側用記憶領域に格納されている右側表示画像データに対する出力画像データのそれぞれを、表示デバイスクロックのタイミングで順次読み出す(画像データ経路C2参照)。そして、出力選択部237は、読み出した右側表示画像データに対する出力画像データのそれぞれを、4Kテレビ310に表示する1フレームの右半分の領域の最初の画素のタイミングから、表示デバイスクロックのタイミングで、4Kテレビ310に順次出力する(画像データ経路C2参照)。
これにより、出力選択部237から出力された1フレームの1ライン目の出力画像データに応じた画像が、4Kテレビ310に表示される。
また、入力制御ブロック2312は、1フレームの表示画像データの1ライン目の左側表示画像データのDMAによる取得が終了した後、引き続き、1フレームの表示画像データの2ライン目の左側表示画像データを取得するためのDMAを開始する(画像データ経路C1参照)。そして、入力制御ブロック2312は、DRAM(不図示)からDMAによって取得した左側表示画像データのそれぞれの画素のデータを、表示処理ブロック2313に出力する(画像データ経路C1参照)。また、入力制御ブロック2322は、1フレームの表示画像データの1ライン目の右側表示画像データのDMAによる取得が終了した後、引き続き、1フレームの表示画像データの2ライン目の右側表示画像データを取得するためのDMAを開始する(画像データ経路C2参照)。そして、入力制御ブロック2322は、DRAM(不図示)からDMAによって取得した右側表示画像データのそれぞれの画素のデータを、表示処理ブロック2323に出力する(画像データ経路C2参照)。
このように、入力制御ブロック2312と入力制御ブロック2322とのそれぞれは、対応する領域の表示画像データを、ライン毎に順次、DMAによってDRAM(不図示)から取得し、取得した表示画像データを、ライン毎に順次、対応する入力制御ブロック2312または入力制御ブロック2322に出力する。これにより、表示処理ブロック2313と表示処理ブロック2323とのそれぞれは、対応する入力制御ブロック2312または入力制御ブロック2322から入力された、対応する領域の表示画像データに対して表示処理を施し、表示処理後の出力画像データのそれぞれを、表示画像データのライン毎に順次、ラインメモリ236に出力する。
そして、メモリ書込制御部235は、表示処理部231内の同期信号生成ブロック2311から入力された水平同期信号Hが、出力画像データを出力する次の水平期間の開始を表すタイミング、つまり、4Kテレビ310に表示する1フレームの画像の1ライン目のタイミングから、出力画像データのそれぞれを、ラインメモリ236の左側用記憶領域および右側用記憶領域に、表示画像データのライン毎に順次格納する。これにより、ラインメモリ236の左側用記憶領域に左側表示画像データに対する表示処理後の出力画像データが、ラインメモリ236の右側用記憶領域に右側表示画像データに対する表示処理後の出力画像データが、表示画像データのライン毎に順次格納される。
その後、出力選択部237は、表示処理部231内の同期信号生成ブロック2311から入力された水平同期信号Hが、出力画像データを出力する次の水平期間の開始を表すタイミング、つまり、4Kテレビ310に表示する1フレームの画像の2ライン目のタイミングに合わせて、ラインメモリ236に格納された表示処理後のそれぞれの出力画像データを、表示デバイスクロックに応じて読み出す。そして、出力選択部237は、読み出した表示処理後の出力画像データのそれぞれを、4Kテレビ310が画像を表示するタイミング、つまり、表示デバイスクロックのタイミングで順次、4Kテレビ310に出力する。
これにより、出力選択部237から、1フレームの1ライン目以降の出力画像データが、4Kテレビ310に順次出力され、4Kテレビ310に、出力選択部237から出力された1フレームの1ライン目以降の出力画像データに応じた画像が表示される。
このように、第1の動作では、表示処理装置23に備えた、フルHD(1920×1080)サイズの表示画像データに対応した2つの表示処理部231および表示処理部232が連携して、左側表示画像データに対する表示処理と右側表示画像データに対する表示処理とを並列に行うことによって、4K2K(3840×2160)サイズの表示画像データに対する表示処理を行う。そして、表示処理装置23に備えた出力選択部237が、4K2K(3840×2160)サイズの画像を表示する表示デバイスクロックのタイミングで、表示処理装置23に接続された4Kテレビ310に、4K2K(3840×2160)サイズの表示処理後の出力画像データを出力する。
このとき、表示処理部231と表示処理部232とのそれぞれは、4K2K(3840×2160)サイズの画像を表示するための表示デバイスクロックの1/2の周波数の動作クロックで動作する。また、出力選択部237は、4K2K(3840×2160)サイズの画像を表示するための表示デバイスクロックで動作する。これにより、表示処理装置23では、4Kテレビ310に出力画像データを出力するための表示デバイスクロックの周波数が、接続された4Kテレビ310が1画素分の画像を表示させるために必要なクロックの周波数に応じて、フルHD(1920×1080)サイズの画像を表示するテレビ31の表示デバイスクロックの4倍の周波数になるが、4K2K(3840×2160)サイズの表示画像データに対する表示処理は、4Kテレビ310の表示デバイスクロックの1/2の周波数にすることができる。つまり、表示処理装置23に備えた表示処理部231、表示処理部232、ラインメモリ236、およびメモリ書込制御部235は、表示デバイスクロックの1/2の周波数で動作することができる。このことにより、表示処理装置23では、第1の動作によって、動作クロックの周波数を抑えた状態で、表示処理装置23内に備えた表示処理部231と表示処理部232とのそれぞれが対応するサイズの画像よりも高精細な画像に対する表示処理を行うことができる。
<第2の動作>
図5は、本実施形態の表示処理装置23において画像を処理する第2の動作の一例を示した図である。図5に示した動作の一例は、画像信号の入力系統を2系統備えている4Kテレビ310に、表示処理部231と表示処理部232とが連携して表示処理を行った4K2K(3840×2160)サイズの表示処理後の出力画像データを出力する場合の動作である。図5には、表示処理装置23のブロック図上に、第2の動作におけるそれぞれの画像データの経路を示している。
第2の動作でも、第1の動作と同様に、クロック制御部234が、表示処理装置23に接続された4Kテレビ310に画像を表示するための表示デバイスクロック、つまり、テレビ31が表示処理装置23に接続されている場合に生成する表示デバイスクロックの4倍の周波数のクロックを生成する。
また、クロック制御部234は、第1の動作と同様に、生成した表示デバイスクロックに基づいて、表示デバイスクロックの1/2の周波数の動作クロックを生成し、生成した動作クロックを、表示処理部231、表示処理部232、およびメモリ書込制御部235に供給する。そして、第2の動作では、クロック制御部234は、生成した動作クロックを、出力選択部237にも供給する。
そして、表示処理部231内の同期信号生成ブロック2311は、第1の動作と同様に、クロック制御部234から供給された動作クロックに基づいて、4Kテレビ310に表示処理後の出力画像データを表示させるための垂直同期信号Vおよび水平同期信号Hを生成し、生成した垂直同期信号Vおよび水平同期信号Hを、メモリ書込制御部235、出力選択部237、および4Kテレビ310に出力する。
その後、同期信号生成ブロック2311は、第1の動作と同様のタイミングで、トリガ信号TG1を入力制御ブロック2312に出力する。これにより、入力制御ブロック2312は、第1の動作と同様に、同期信号生成ブロック2311から入力されたトリガ信号TG1に応じて、表示処理部231が表示処理を行う、1フレームの表示画像データの1ライン目から、左側表示画像データのそれぞれの画素のデータを取得するDMAを開始する(画像データ経路C3参照)。
また、同期信号生成ブロック2311は、第1の動作と同様に、トリガ信号TG1と同じタイミングのトリガ信号TG1aを、表示処理部232内の同期信号選択ブロック2324に出力し、同期信号選択ブロック2324は、表示処理部231内の同期信号生成ブロック2311から入力されたトリガ信号TG1aを、トリガ信号TGとして入力制御ブロック2322に出力する。これにより、入力制御ブロック2322は、第1の動作と同様に、同期信号選択ブロック2324から入力されたトリガ信号TGに応じて、表示処理部232が表示処理を行う、1フレームの表示画像データの1ライン目から、右側表示画像データのそれぞれの画素のデータを取得するDMAを開始する(画像データ経路C4参照)。
このように、第2の動作においても、第1の動作と同様に、表示処理部231内の入力制御ブロック2312と、表示処理部232内の入力制御ブロック2322とのそれぞれが、対応する領域の表示画像データのそれぞれを、DMAによってDRAM(不図示)から取得する。
そして、入力制御ブロック2312は、第1の動作と同様に、DRAM(不図示)からDMAによって取得した左側表示画像データのそれぞれの画素のデータを、表示処理ブロック2313に出力し、表示処理ブロック2313は、入力制御ブロック2312から入力された左側表示画像データのそれぞれの画素のデータに対して表示処理を施した出力画像データを、ラインメモリ236に出力する(画像データ経路C3参照)。また、入力制御ブロック2322は、第1の動作と同様に、DRAM(不図示)からDMAによって取得した右側表示画像データのそれぞれの画素のデータを、表示処理ブロック2323に出力し、表示処理ブロック2323は、入力制御ブロック2322から入力された右側表示画像データのそれぞれの画素のデータに対して表示処理を施した出力画像データを、ラインメモリ236に出力する(画像データ経路C4参照)。
そして、メモリ書込制御部235は、第1の動作と同様のタイミングから、ラインメモリ236への出力画像データの格納(書き込み)の制御を開始する。これにより、第1の動作と同様に、ラインメモリ236の左側用記憶領域に、表示処理部231内の表示処理ブロック2313から出力された左側表示画像データに対する表示処理後の出力画像データが格納され、ラインメモリ236の右側用記憶領域に、表示処理部232内の表示処理ブロック2323から出力された右側表示画像データに対する表示処理後の出力画像データが格納される。
その後、出力選択部237は、第1の動作と同様のタイミングから、ラインメモリ236に格納された表示処理後のそれぞれの出力画像データの読み出しの制御を開始する。このとき、出力選択部237は、表示処理部231内の同期信号生成ブロック2311から入力された動作クロックで、ラインメモリ236の左側用記憶領域に格納された左側表示画像データに対する表示処理後の出力画像データと、ラインメモリ236の右側用記憶領域に格納された右側表示画像データに対する表示処理後の出力画像データとを同時に読み出す。そして、出力選択部237は、同時に読み出した表示処理後の出力画像データのそれぞれを、動作クロックのタイミング、つまり、4Kテレビ310が画像を表示する表示デバイスクロックの1/2の周波数のタイミングで順次、4Kテレビ310に出力する。
出力選択部237におけるラインメモリ236に格納された出力画像データの読み出しの制御では、4Kテレビ310に出力する1フレームの1ライン目における最初の画素のタイミング、つまり、4Kテレビ310に表示する1フレームの左半分の領域の最初の画素のタイミングに合うように、ラインメモリ236の左側用記憶領域に格納されている左側表示画像データに対する出力画像データのそれぞれを、動作クロックのタイミングで順次読み出す(画像データ経路C3参照)。そして、出力選択部237は、読み出した左側表示画像データに対する出力画像データのそれぞれを、4Kテレビ310に表示する1フレームの左半分の領域の最初の画素のタイミングから、動作クロックのタイミングで、4Kテレビ310に順次出力する(画像データ経路C3参照)。また、出力選択部237は、4Kテレビ310に出力する1フレームの1ライン目における最初の画素のタイミング、つまり、4Kテレビ310に表示する1フレームの左半分の領域の最初の画素のタイミングに合う同じタイミングで、ラインメモリ236の右側用記憶領域に格納されている右側表示画像データに対する出力画像データのそれぞれを、動作クロックのタイミングで順次読み出す(画像データ経路C4参照)。そして、出力選択部237は、読み出した右側表示画像データに対する出力画像データのそれぞれを、4Kテレビ310に表示する1フレームの左半分の領域の最初の画素のタイミングと同じタイミングから、動作クロックのタイミングで、4Kテレビ310に順次出力する(画像データ経路C4参照)。
これにより、出力選択部237から、4Kテレビ310に表示する1フレームの画像の1ライン目における左半分の領域に対応した出力画像データが、4Kテレビ310に備えた画像信号の一方の入力系統に(画像データ経路C3参照)、4Kテレビ310に表示する同じ1フレームの画像の1ライン目における右半分の領域に対応した出力画像データが、4Kテレビ310に備えた画像信号の他方の入力系統に(画像データ経路C4参照)、それぞれ同時に出力される。そして、出力選択部237からそれぞれの入力系統に出力された1フレームの1ライン目の出力画像データに応じた画像が、4Kテレビ310に表示される。
また、入力制御ブロック2312は、第1の動作と同様に、1フレームの表示画像データの1ライン目の左側表示画像データのDMAによる取得が終了した後、引き続き、1フレームの表示画像データの2ライン目の左側表示画像データを取得するためのDMAを開始し、DRAM(不図示)からDMAによって取得した左側表示画像データのそれぞれの画素のデータを、表示処理ブロック2313に出力する(画像データ経路C3参照)。また、入力制御ブロック2322は、第1の動作と同様に、1フレームの表示画像データの1ライン目の右側表示画像データのDMAによる取得が終了した後、引き続き、1フレームの表示画像データの2ライン目の右側表示画像データを取得するためのDMAを開始し、DRAM(不図示)からDMAによって取得した右側表示画像データのそれぞれの画素のデータを、表示処理ブロック2323に出力する(画像データ経路C4参照)。
このように、第2の動作においても、第1の動作と同様に、入力制御ブロック2312と入力制御ブロック2322とのそれぞれは、対応する領域の表示画像データを、ライン毎に順次、DMAによってDRAM(不図示)から取得し、取得した表示画像データを、ライン毎に順次、対応する入力制御ブロック2312または入力制御ブロック2322に出力する。これにより、表示処理ブロック2313と表示処理ブロック2323とのそれぞれは、第1の動作と同様に、対応する入力制御ブロック2312または入力制御ブロック2322から入力された、対応する領域の表示画像データに対して表示処理を施し、表示処理後の出力画像データのそれぞれを、表示画像データのライン毎に順次、ラインメモリ236に出力する。
そして、メモリ書込制御部235は、第1の動作と同様のタイミングから、出力画像データのそれぞれを、ラインメモリ236の左側用記憶領域および右側用記憶領域に、表示画像データのライン毎に順次格納する。これにより、第1の動作と同様に、ラインメモリ236の左側用記憶領域に左側表示画像データに対する表示処理後の出力画像データが、ラインメモリ236の右側用記憶領域に右側表示画像データに対する表示処理後の出力画像データが、表示画像データのライン毎に順次格納される。
その後、出力選択部237は、第1の動作と同様のタイミングから、ラインメモリ236の左側用記憶領域に格納された左側表示画像データに対する表示処理後の出力画像データと、ラインメモリ236の右側用記憶領域に格納された右側表示画像データに対する表示処理後の出力画像データとを同時に、動作クロックに応じて読み出す。そして、出力選択部237は、同時に読み出した出力画像データのそれぞれを、4Kテレビ310が画像を表示する表示デバイスクロックの1/2の周波数のタイミング、つまり、動作クロックのタイミングで順次、4Kテレビ310に出力する。
これにより、出力選択部237から、4Kテレビ310に表示する1フレームの画像の1ライン目以降における左半分の領域に対応した出力画像データと、右半分の領域に対応した出力画像データとが、4Kテレビ310に備えた画像信号の対応するそれぞれの入力系統に同時に順次出力される。そして、4Kテレビ310に、出力選択部237からそれぞれの入力系統に出力された1フレームの1ライン目以降の出力画像データに応じた画像が表示される。
このように、第2の動作でも、第1の動作と同様に、表示処理装置23に備えた、フルHD(1920×1080)サイズの表示画像データに対応した2つの表示処理部231および表示処理部232が連携して、左側表示画像データに対する表示処理と右側表示画像データに対する表示処理とを並列に行うことによって、4K2K(3840×2160)サイズの表示画像データに対する表示処理を行う。そして、第2の動作では、表示処理装置23に備えた出力選択部237が、4K2K(3840×2160)サイズの画像を表示する表示デバイスクロックの1/2の周波数のタイミングで、左半分の領域に対応した表示処理後の出力画像データと、右半分の領域に対応した表示処理後の出力画像データとを同時に、表示処理装置23に接続された4Kテレビ310に備えた画像信号の対応するそれぞれの入力系統に出力する。
このとき、表示処理部231と表示処理部232とのそれぞれは、4K2K(3840×2160)サイズの画像を表示するための表示デバイスクロックの1/2の周波数の動作クロックで動作する。また、出力選択部237も、4K2K(3840×2160)サイズの画像を表示するための表示デバイスクロックの1/2の周波数の動作クロックで動作する。つまり、表示処理装置23における第2の動作では、それぞれの構成要素が、表示処理装置23に接続された4Kテレビ310が1画素分の画像を表示させるために必要な表示デバイスクロックの1/2の周波数の動作クロックで動作することができる。言い換えれば、表示処理装置23における第2の動作では、それぞれの構成要素の動作クロックを、フルHD(1920×1080)サイズの画像を表示するテレビ31の表示デバイスクロックの2倍の周波数にするのみで、4K2K(3840×2160)サイズの表示画像データに対する表示処理と、表示処理後の出力画像データの出力とを行うことができる。このことにより、表示処理装置23では、第2の動作によって、動作クロックの周波数を抑えた状態で、表示処理装置23内に備えた表示処理部231と表示処理部232とのそれぞれが対応するサイズの画像よりも高精細な画像に対する表示処理を行うことができる。
なお、第2の動作では、出力選択部237が動作する動作クロックが、4Kテレビ310に画像を表示するための表示デバイスクロックの1/2の周波数の動作クロックである場合について説明した。しかし、第2の動作においては、出力選択部237の動作クロックを、第1の動作と同様に、4Kテレビ310に画像を表示するための表示デバイスクロックにしてもよい。この場合には、第1の動作と同様に、出力選択部237の動作クロックが、テレビ31が表示処理装置23に接続されている場合に生成する表示デバイスクロックの4倍の周波数のクロックになるが、ラインメモリ236に格納された出力画像データが出力選択部237によって読み出される前に、メモリ書込制御部235によって次の出力画像データが格納される(書き込まれる)、つまり、上書きされることがなくなる。これにより、ラインメモリ236は、上書きされるのを防止する構成を備えなくてもよくなると考えられる。
本実施形態によれば、入力された予め定めた第1の大きさ(例えば、フルHD(1920×1080)の大きさ(サイズ))の表示画像の画像データ(表示画像データ)に対して予め定めた表示処理を施す表示処理装置(表示処理装置23)であって、例えば、フルHD(1920×1080)の大きさ(サイズ)よりも大きい第2の大きさ(例えば、4K2K(3840×2160)の大きさ(サイズ))の表示画像が入力されると、第1と第2との領域(左側半分の領域と右側半分の領域)に分割し、第1の領域(左側半分の領域)の表示画像データ(左側表示画像データ)に対して表示処理を施した第1の出力画像の画像データ(左側表示画像データに対して表示処理を施した後の出力画像データ)を出力する第1の表示処理部(表示処理部231)と、第2の領域(右側半分の領域)の表示画像データ(右側表示画像データ)に対して表示処理を施した第2の出力画像の画像データ(右側表示画像データに対して表示処理を施した後の出力画像データ)を出力する第2の表示処理部(表示処理部232)と、左側表示画像データに対して表示処理を施した後の出力画像データと右側表示画像データに対して表示処理を施した後の出力画像データとを一時的に格納する記憶部(ラインメモリ236)と、左側表示画像データに対して表示処理を施した後の出力画像データと右側表示画像データに対して表示処理を施した後の出力画像データとのラインメモリ236への書き込みを制御するメモリ書込制御部(メモリ書込制御部235)と、ラインメモリ236に格納された左側表示画像データに対して表示処理を施した後の出力画像データおよび右側表示画像データに対して表示処理を施した後の出力画像データを読み出して、例えば、4K2K(3840×2160)の大きさ(サイズ)の表示画像を表示する第1の表示デバイス(例えば、4Kテレビ310)に出力する出力選択部(出力選択部237)と、表示処理部231、表示処理部232、およびメモリ書込制御部235が動作するための動作クロックを生成して供給するクロック制御部(クロック制御部234)とを備える表示処理装置(表示処理装置23)が構成される。
また、本実施形態によれば、表示処理部231は、左側半分の領域の左側表示画像データをDMAによって取得すると共に、右側半分の領域の右側表示画像データをDMAによって取得するタイミングを表示処理部232に通知する表示処理装置23が構成される。
また、本実施形態によれば、表示処理部231は、クロック制御部234から供給された動作クロックに基づいて、例えば、4Kテレビ310が出力選択部237から出力された出力画像データに応じた画像を表示するための同期信号(例えば、垂直同期信号Vや水平同期信号Hなど)を生成して出力すると共に、左側半分の領域の左側表示画像データのDMAによる取得を開始する第1のタイミングを表す第1のトリガ信号(トリガ信号TG1)、および右側半分の領域の右側表示画像データのDMAによる取得を開始する第2のタイミングを表す第2のトリガ信号(トリガ信号TG1a)を生成して出力する第1の同期信号生成ブロック(同期信号生成ブロック2311)と、トリガ信号TG1に応じて、左側半分の領域の左側表示画像データをDMAによって取得する第1の入力制御ブロック(入力制御ブロック2312)と、入力制御ブロック2312が取得した左側半分の領域の左側表示画像データに対して表示処理を施した第1の出力画像の画像データ(左側表示画像データに対して表示処理を施した後の出力画像データ)を出力する第1の表示処理ブロック(表示処理ブロック2313)と、を備え、表示処理部232は、クロック制御部234から供給された動作クロックに基づいて、この表示処理部232が単独で対応する第2の表示デバイス(例えば、テレビ31,EVF32,TFT液晶ディスプレイ33など)が、この表示処理部232が出力した出力画像データに応じた画像を表示するための同期信号を生成すると共に、この表示処理部232が単独で対応する、例えば、フルHD(1920×1080)の大きさ(サイズ)の表示画像の画像データ(表示画像データ)のDMAによる取得を開始する第3のタイミングを表す第3のトリガ信号(トリガ信号TG2)を生成して出力する第2の同期信号生成ブロック(同期信号生成ブロック2321)と、トリガ信号TG1aまたはトリガ信号TG2のいずれか一方のトリガ信号を選択し、ここで選択したトリガ信号を第4のトリガ信号(トリガ信号TG)として出力する同期信号選択ブロック(同期信号選択ブロック2324)と、トリガ信号TGに応じて、右側半分の領域の右側表示画像データまたはこの表示処理部232が単独で対応する、例えば、フルHD(1920×1080)の大きさ(サイズ)の表示画像の画像データ(表示画像データ)をDMAによって取得する第2の入力制御ブロック(入力制御ブロック2322)と、入力制御ブロック2322が取得した右側半分の領域の右側表示画像データまたはこの表示処理部232が単独で対応する、例えば、フルHD(1920×1080)の大きさ(サイズ)の表示画像の画像データ(表示画像データ)に対して表示処理を施した第2の出力画像の画像データ(出力画像データ)を出力する第2の表示処理ブロック(表示処理ブロック2323)とを備える表示処理装置23が構成される。
また、本実施形態によれば、ラインメモリ236は、左側表示画像データに対して表示処理を施した後の出力画像データを格納する第1の記憶領域(左側用記憶領域)と、右側表示画像データに対して表示処理を施した後の出力画像データを格納する第2の記憶領域(右側用記憶領域)とによって構成され、メモリ書込制御部235は、表示処理部231が出力した、例えば、4Kテレビ310に対応する同期信号に基づいて、左側表示画像データに対して表示処理を施した後の出力画像データの左側用記憶領域への書き込みと、トリガ信号TG1aが選択されたときに表示処理部232が出力した右側表示画像データに対して表示処理を施した後の出力画像データの右側用記憶領域への書き込みとを制御する表示処理装置23が構成される。
また、本実施形態によれば、出力選択部237は、表示処理部231が出力した、例えば、4Kテレビ310に対応する同期信号に基づいて、ラインメモリ236に格納された左側表示画像データに対して表示処理を施した後の出力画像データに引き続き、右側表示画像データに対して表示処理を施した後の出力画像データを読み出して、例えば、4Kテレビ310に出力する表示処理装置23が構成される。
また、本実施形態によれば、出力選択部237は、表示処理部231が出力した、例えば、4Kテレビ310に対応する同期信号に基づいて、ラインメモリ236に格納された左側表示画像データに対して表示処理を施した後の出力画像データと、右側表示画像データに対して表示処理を施した後の出力画像データとを同時に読み出して、例えば、4Kテレビ310に備えた対応する入力系統のそれぞれに出力する表示処理装置23が構成される。
また、本実施形態によれば、クロック制御部234は、例えば、4Kテレビ310が1画素分の画像を表示させるために必要な周波数のクロック(表示デバイスクロック、いわゆる、画素クロック)を生成し、ここで生成した表示デバイスクロックに基づいて、動作クロックを生成する表示処理装置23が構成される。
また、本実施形態によれば、ラインメモリ236は、例えば、4K2K(3840×2160)の大きさ(サイズ)の表示画像の1行(ライン)分の出力画像データを格納する記憶領域を備えたラインメモリである表示処理装置23が構成される。
また、本実施形態によれば、第1の領域は、例えば、4K2K(3840×2160)の大きさ(サイズ)の表示画像の左側半分の領域であり、第2の領域は、例えば、4K2K(3840×2160)の大きさ(サイズ)の表示画像の右側半分の領域であり、表示処理部231は、左側半分の領域の左側表示画像データに対して表示処理を施した後の出力画像データを出力し、表示処理部232は、右側半分の領域の右側表示画像データに対して表示処理を施した後の出力画像データを出力する表示処理装置23が構成される。
また、本実施形態によれば、表示処理装置(表示処理装置23)を備える撮像装置(撮像装置1、または撮像装置1のシステム)が構成される。
上記に述べたとおり、本発明を実施するための形態によれば、表示処理装置に備えた表示処理部が対応しているサイズの画像よりも高精細な画像を表示する表示デバイスが接続された場合に、表示処理装置に備えた複数の表示処理部が連携して並列に動作する。これにより、本発明を実施するための形態では、表示処理装置に備えたそれぞれの表示処理部が単独では表示処理を行うことができない高精細な画像に対しても表示処理を行うことができる。そして、本発明を実施するための形態では、接続された表示デバイスが備える画像信号の入力系統に依存せずに、表示処理後の出力画像データを出力することができる。
また、本発明を実施するための形態では、表示処理装置に備えたそれぞれの表示処理部が動作する動作クロックの周波数を、接続された高精細な画像を表示する表示デバイスが画像を表示する際のクロック(実施形態においては、表示デバイスクロック、いわゆる、画素クロック)の周波数よりも抑えることができる。このことにより、本発明を実施するための形態では、高精細な画像を表示する表示デバイスが接続された場合でも、表示処理装置の消費電力の増大を抑えることができる。
なお、本実施形態においては、表示処理装置23に備えた2つの表示処理部230(表示処理部231と表示処理部232)が連携して並列に動作する場合について説明した。このため、本実施形態においては、4K2K(3840×2160)サイズの画像を表示する4Kテレビ310に表示させる表示画像データの領域を左右の2つの領域に分割し、左側半分の領域の表示画像データに対する表示処理を表示処理部231が行い、右側半分の領域の表示画像データに対する表示処理を表示処理部232が行う場合について説明した。このことから、本実施形態においては、表示処理装置23に備えた表示処理部231、表示処理部232、およびメモリ書込制御部235のそれぞれが動作する動作クロックが、4Kテレビ310に画像を表示するための表示デバイスクロックの1/2の周波数のクロックであると説明した。しかし、連携して並列に動作する表示処理部230の数は、本発明を実施するための形態に限定されるものではなく、さらに多くの表示処理部230が連携して並列に動作する構成にすることもできる。
例えば、表示処理装置に備えた4つの表示処理部230が連携して並列に動作する構成にすることもできる。この構成において4K2K(3840×2160)サイズの画像を4Kテレビ310に表示させる場合には、4K2K(3840×2160)サイズの表示画像データの領域を4つの領域に分割し、分割したそれぞれの領域の表示画像データに対する表示処理を、連携して並列に動作する4つの表示処理部230のそれぞれが表示処理部を行うことができる。この場合には、表示処理装置23に備えた表示処理部230およびメモリ書込制御部235のそれぞれが動作する動作クロックの周波数を、4Kテレビ310に画像を表示するための表示デバイスクロックの1/4の周波数にすることができる。すなわち、本発明を実施するための形態では、連携して並列に動作する表示処理部の数に応じて、表示処理を行う表示画像データの分割数を多くすることによって、表示処理装置に備えた構成要素が動作するクロックの周波数を抑える、つまり、(1/表示処理部の数)の周波数に抑えることができる。
なお、この場合は、4つの表示処理部230の内、1つの表示処理部230が上述した表示処理部231と同様に、DMAを開始するタイミングを表すトリガ信号TG1aを出力し、他の3つの表示処理部230が上述した表示処理部232と同様に、トリガ信号TG1aに応じて対応する表示画像データを取得する構成になる。また、表示処理装置に備えたラインメモリの記憶領域は、連携して並列に動作するそれぞれの表示処理部に対応して分かれた構成になる。つまり、ラインメモリの記憶領域は、連携して並列に動作する表示処理部の数に分かれて構成されることになる。また、表示処理装置に備えた出力選択部は、表示処理装置に接続された表示デバイスが備える画像信号の入力系統の数に応じて、ラインメモリのそれぞれの記憶領域に格納された表示処理後の出力画像データを読み出して出力する構成になる。
また、本実施形態においては、表示処理装置23に備えたそれぞれの表示処理部230が表示処理後の出力画像データを出力するタイミングを、それぞれの表示処理部230内の入力制御ブロックが調整する構成について説明した。しかし、表示処理部231と表示処理部232とのそれぞれが表示処理をした後の出力画像データを出力するタイミングは、完全に同期をとる必要はない。すなわち、同じ水平同期信号Hの期間(同じ水平期間)内に1ライン分の表示処理が終了すれば、それぞれの表示処理部230が表示処理を行うタイミングがずれていてもよい。つまり、表示処理装置23では、表示処理部231と表示処理部232とのそれぞれが表示処理を行うタイミングは、水平ブランキング期間内のずれであれば許容することができる。このため、例えば、表示処理部231内の同期信号生成ブロック2311が、連携して動作する表示処理部232にDMAを開始させるトリガ信号TG1aを出力するタイミングの制御を、より簡単にすることができる。
また、本実施形態においては、表示処理装置23に備えたメモリ書込制御部235が、2つの表示処理部230(表示処理部231と表示処理部232)が表示処理をした後の出力画像データをラインメモリ236に格納する(書き込む)制御を行う構成について説明した。しかし、表示処理部231と表示処理部232とのそれぞれが表示処理をした後の出力画像データをラインメモリ236に格納する(書き込む)制御は、本発明を実施するための形態に限定されるものではない。例えば、表示処理部231と表示処理部232とのそれぞれが、表示処理後の出力画像データをラインメモリ236の対応する記憶領域に格納する(書き込む)制御を行う構成にすることもできる。この構成の場合、例えば、表示処理装置23にメモリ書込制御部235を備えない構成にすることもできる。
また、本実施形態においては、表示処理装置23に備えた2つの表示処理部230(表示処理部231と表示処理部232)が連携して並列に動作することによって、それぞれの表示処理部230が対応するフルHD(1920×1080)の大きさ(サイズ)の画像よりも大きい(高精細な)、4K2K(3840×2160)の大きさ(サイズ)の画像を表示する表示デバイスに対応する場合について説明した。しかし、表示処理装置に備えた複数の表示処理部230が連携して並列に動作することによって対応することができる画像の大きさ(サイズ)は、本発明を実施するための形態に限定されるものではない。すなわち、表示処理装置に備えた表示処理部230の構成に応じて、本発明の考え方を適用することによって、4K2K(3840×2160)の大きさ(サイズ)の画像よりもさらに高精細な、つまり、さらに大きなサイズの画像に対する表示処理を行う構成を構築することができる。
また、本実施形態においては、表示処理装置23における第1の動作と第2の動作とを切り替える構成に関しては、特に規定していない。この表示処理装置23における第1の動作と第2の動作とを切り替えは、例えば、本実施形態の表示処理装置23を適用した撮像装置1の全体を制御する不図示の制御部、または撮像装置1に搭載された、本実施形態の表示処理装置23を備えた画像処理装置20の全体を制御する不図示の制御部によって行われる構成であってもよい。
また、本実施形態においては、表示画像データの領域を分割するそれぞれの領域に関しては、特に規定していない。この表示画像データの領域を分割するそれぞれの領域は、単純に領域を分割するのみではなく、例えば、分割したそれぞれの領域の境界部分が互いに重複する、いわゆる、オーバーラップする領域を設けることもできる。このオーバーラップする領域を設けることによって、分割したそれぞれの領域の表示画像データに対して別々に表示処理を行った場合でも、表示デバイスに表示される表示処理後の出力画像データに応じた画像における分割したそれぞれの領域の繋ぎ目を目立たなくすることができる。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。