以下、図を参照して、本発明の実施の形態について説明する。
図1は、本発明を適用した撮像装置1の構成を示すブロック図である。
図1に示すように、撮像装置1は、レンズ21、プリズム22、CCD(Charge Coupled Devices)イメージセンサ23、タイミングコントローラ24、コントローラ25、基準同期信号発生部26、相関2重サンプリング(CDS:Correlated Double Sampling)処理部27、A/Dコンバータ28、画像処理部29、コーデック(CODEC:COmpression/DECompression)処理部30、メモリ31、操作入力部32、および、ドライブ33から構成される。
プリズム22は、CCDイメージセンサ23に含まれる撮像素子の数をnとして、レンズ21を介して入射された光の反射率が1/nであるプリズムビームスプリッタで構成され、レンズ21を介して入射された光をn個に分割し、CCDイメージセンサ23のn個の撮像素子に供給する。
CCDとは、光情報を電気信号に変換する(光電変換)半導体素子であり、CCDイメージセンサ23は、光を電気に変換する受光素子(画素)を複数個並べ、光の変化を画素ごとに独立して電気信号に変換する撮像素子をn個含むものである。なお、CCDイメージセンサ23は、撮像素子をn個含んでいるが、いわゆる複板式のCCDイメージセンサではなく、受光素子ごとに、例えば、RGBの3原色のカラーフィルタがモザイク状に並べられているベイヤー配列などのカラーフィルタが構成されている、一般的な単板式のCCDイメージセンサが、n個用いられているものである。CCDイメージセンサ23のそれぞれの撮像素子のカラーフィルタは、ベイヤー配列以外の配列であってもよい。
CCDイメージセンサ23の複数の撮像素子は、タイミングコントローラ24の制御により、それぞれ異なるタイミングで、画像情報を取得する。タイミングコントローラ24は、コントローラ25の制御に基づいて、基準同期信号発生部26から供給される基準同期信号を所定の時間だけ遅延させたトリガ信号を、CCDイメージセンサ23の複数の撮像素子にそれぞれ供給する。
コントローラ25は、操作入力部32により入力されたユーザの操作入力に基づいて、タイミングコントローラ24、相関2重サンプリング処理部27、A/Dコンバータ28、画像処理部29、コーデック処理部30、および、メモリ31を制御する。基準同期信号発生部26は、タイミングコントローラ24がCCDイメージセンサ23の複数の撮像素子を制御するための基準となる同期信号を発生し、タイミングコントローラ24に供給する。
相関2重サンプリング回路27は、CCDイメージセンサ23の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することにより除去する回路である。A/Dコンバータ28は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換する。
画像処理部29は、信号処理用プロセッサと画像用RAMを持つブロックで、信号処理用プロセッサが画像用RAMに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものである。
コーデック処理部30は、デジタル画像データの圧縮または伸張アルゴリズムによる処理を実行する。メモリ31は、例えば、半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成され、コントローラ25の制御に基づいて、供給されたデータを記憶したり、または、記憶しているデータを出力する。なお、メモリ31は、撮像装置1に対して着脱可能なようになされていても良い。
操作入力部32は、動画像の表示を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受け、コントローラ25に供給する。また、コントローラ25には、必要に応じてドライブ33が接続され、磁気ディスク41、光ディスク42、光磁気ディスク43、もしくは、半導体メモリ44などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてコントローラ25に実行される。
次に、撮像装置1の動作について説明する。
レンズ21を介して入力された光は、プリズム22により分割されて、CCDイメージセンサ23に入射され、n個の受光素子のそれぞれにおいて、タイミングコントローラ24により制御されるタイミングで光電変換によって電気信号に変換され、相関2重サンプリング回路27に供給される。相関2重サンプリング回路27は、CCDイメージセンサ23の出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去し、A/Dコンバータ28に供給する。A/Dコンバータ28は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、画像処理部29の画像用RAMに一時格納する。
画像処理部29は、一定のレートで画素のストリームデータの供給を受け、画像用RAMに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、例えば、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、および、YC変換などの各種画像処理を実行する。
コーデック処理部30は、画像処理部29から供給された画像データに対して、所定の方式の符号化を施し、符号化された画像データをメモリ31に供給して記憶させる。
次に、図2および図3を用いて、CCDイメージセンサ23に含まれる撮像素子の数nが4である場合を例として、レンズ21を介して入射された光の反射率が1/4であるプリズムビームスプリッタで構成され、レンズ21を介して入射された光を4個に分割し、CCDイメージセンサ23の4個の撮像素子に光を供給するプリズム22と、CCDイメージセンサ23の4個の撮像素子の画像取得のタイミングについて説明する。
プリズム22は、入射する光のうちの50%を直進させ、残り50%を入射光路から垂直方向に反射させるプリズムビームスプリッタ22−1乃至22−3で構成されている。
レンズ21を介して入射された光は、プリズムビームスプリッタ22−2で半分に分割され、プリズムビームスプリッタ22−1とプリズムビームスプリッタ22−3に供給される。プリズムビームスプリッタ22−1に入射された光は、更に半分に分割され、CCDイメージセンサ23の第1の撮像素子23−1と第2の撮像素子23−2に供給される。プリズムビームスプリッタ22−3に入射された光は、更に半分に分割され、CCDイメージセンサ23の第3の撮像素子23−3と第4の撮像素子23−4に供給される。第1の撮像素子23−1乃至第4の撮像素子23−4に供給される入射光のレンズ21からの光路長は、全て等しい。
第1の撮像素子23−1乃至第4の撮像素子23−4には、タイミングコントローラ24から、それぞれ、画像取得のタイミング(すなわち、光電変換を行うタイミング)を指令する駆動信号の供給を受ける。
タイミングコントローラ24は、遅延処理部24−1乃至遅延処理部24−3の、3つの遅延処理部を有している。遅延処理部24−1乃至遅延処理部24−3は、基準同期信号発生部26から供給される基準同期信号に対して、所定の時間幅だけ同期信号を遅延させて出力する。
すなわち、タイミングコントローラ24は、図3に示されるように、基準同期信号発生部26から供給される(1/t)Hzの基準同期信号、基準同期信号より(1/4)tだけ遅延された(1/t)Hzの遅延信号1、基準同期信号より(2/4)tだけ遅延された(1/t)Hzの遅延信号2、および、基準同期信号より(3/4)tだけ遅延された(1/t)Hzの遅延信号3を、CCDイメージセンサ23に供給する。
基準同期信号は、第1の撮像素子23−1に供給され、遅延信号1は、第2の撮像素子23−2に供給され、遅延信号2は、第3の撮像素子23−3に供給され、遅延信号3は、第4の撮像素子23−4に供給される。
例えば、CCDイメージセンサ23のそれぞれの撮像素子の駆動速度の限界が60Hzであった場合、基準同期信号の周波数を60Hz(すなわち、t=1/60秒)とし、遅延信号1を基準同期信号より1/15秒だけ遅延させ、遅延信号2を基準同期信号より2/15秒だけ遅延させ、遅延信号3を基準同期信号より3/15秒だけ遅延させた場合、第1の撮像素子23−1乃至第4の撮像素子23−4により撮像される画像のフレームレートは、60×4の240Hzとなる。更に、第1の撮像素子23−1乃至第4の撮像素子23−4のそれぞれのシャッタスピードを1/15秒とすることにより、より正確な動画像を取得することが可能となる。
同様にして、CCDイメージセンサ23に含まれる撮像素子の数nが4以外の異なる数である場合も、プリズム22は、レンズ21を介して入射された光の反射率が1/nであるプリズムビームスプリッタで構成され、レンズ21を介して入射された光をn個に分割し、CCDイメージセンサ23のn個の撮像素子に光を供給する。そして、タイミングコントローラ24は、基準同期信号の周波数をmHzとすると、それぞれ、1/(n×m)秒ずつ遅延させた(n−1)の遅延信号を生成し、CCDイメージセンサ23のn個の撮像素子に供給して、(m×n)Hzの高フレームレートの画像を取得することが可能となる。
例えば、撮像素子の数nが5であり、基準同期信号の周波数が50Hzであるとき、CCDイメージセンサ23の5個の撮像素子により、250Hzの高フレームレートの画像が取得される。
このような構成にすることにより、CCDイメージセンサ23のそれぞれの撮像素子の駆動速度の限界よりも速いフレームレートの画像を取得することが可能となる。
取得された画像データは、それぞれ、相関2重サンプリング処理部27、A/Dコンバータ28、画像処理部29、および、コーデック処理部30により処理されて、メモリ31に記憶される。このとき、取得された画像データは、(m×n)Hzの高フレームレートの動画像データとして処理されて記憶されるものとしてもよいが、1/nずつ位相がずれた、それぞれmHzのn系列の動画像データとして、それぞれ個別に処理されて記憶されるようにしてもよい。1/nずつ位相がずれた、それぞれmHzのn系列の動画像データが、それぞれ個別に処理されて記憶されるようになされた場合、メモリ31には、4つの動画像データのファイルが生成され、それぞれ、個別に出力されるようになされる。
図4を用いて、取得された画像データが、(m×n)Hzの高フレームレートの動画像データとしてメモリ31に記憶された場合について説明する。ここでは、図2および図3を用いて説明したように、n=4であり、CCDイメージセンサ23の撮像素子23−1乃至撮像素子23−4により画像データが取得される場合を例として説明するが、nが4以外のいかなる値である場合も、メモリ31には、図4に示されるようにして、(m×n)Hzの高フレームレートの動画像データが順次記憶されるので、nが4以外の値についての説明は省略する。
例えば、α番目のフレームであるαフレームが、CCDイメージセンサ23の撮像素子23−1により取得された場合、α+1フレームは、撮像素子32−2により、αフレームより1/(m×n)秒遅れて取得される。そして、α+2フレームは、撮像素子32−3により、α+1フレームより1/(m×n)秒遅れて取得され、α+3フレームは、撮像素子32−4により、α+2フレームより1/(m×n)秒遅れて取得される。更に、α+4フレームは、再び撮像素子32−1により、α+3フレームより1/(m×n)秒遅れて取得され、α+5フレームは、撮像素子32−2により、α+4フレームより1/(m×n)秒遅れて取得される。
メモリ31に、取得された画像データが、(m×n)Hzの高フレームレートの動画像データとして記憶される場合、画像処理されたそれぞれのフレームが、順次、メモリ31に記憶されるので、記憶された各フレームの時間の差は、それぞれ1/(m×n)となる。
図5および図6を用いて、取得された画像データが、1/nずつ位相がずれた、それぞれmHzのn系列の動画像データとしてメモリ31に記憶された場合について説明する。図5は、n=4の場合の例であり、図6は、n=5である場合の例である。
n=4の場合、図5に示されるように、メモリ31に記憶される第1の動画像データは、αフレーム、α+4フレーム・・・のフレームレートmの動画像データであり、第2の動画像データは、α+1フレーム、α+5フレーム・・・のフレームレートmの動画像データであり、第3の動画像データは、α+2フレーム、α+6フレーム・・・のフレームレートmの動画像データであり、第4の動画像データは、α+3フレーム、α+7フレーム・・・のフレームレートmの動画像データである。なお、図5においては、フレーム間の取得時間の関係を明確化するために、それぞれのフレームを乖離して図示しているが、第1の動画像データ乃至第4の動画像データとして記憶されるそれぞれのフレーム画像データは、連続して記憶されるようにしてもよいことは言うまでもない。
例えば、図2および図3を用いて説明したように、n=4であり、CCDイメージセンサ23の撮像素子23−1乃至撮像素子23−4により画像データが取得される場合、それぞれの撮像素子によって取得された画像データが、それぞれ独立して画像処理され、メモリ31に、第1の動画像データ乃至第4の動画像データとして記憶されるようにすると好適である。
また、n=5の場合、図6に示されるように、メモリ31に記憶される第1の動画像データは、αフレーム、α+5フレーム・・・のフレームレートmの動画像データであり、第2の動画像データは、α+1フレーム、α+6フレーム・・・のフレームレートmの動画像データであり、第3の動画像データは、α+2フレーム、α+7フレーム・・・のフレームレートmの動画像データであり、第4の動画像データは、α+3フレーム、α+8フレーム・・・のフレームレートmの動画像データであり、第5の動画像データは、α+4フレーム、α+9フレーム・・・のフレームレートmの動画像データである。なお、図6においても、フレーム間の取得時間の関係を明確化するために、それぞれのフレームを乖離して図示しているが、第1の動画像データ乃至第5の動画像データとして記憶されるそれぞれのフレーム画像データは、連続して記憶されるようにしてもよいことは言うまでもない。
なお、nが4または5以外の、例えば、2,3,6などのいずれの値であっても、メモリ31には、1/nずつ位相がずれた、それぞれmHzのn系列の動画像データとして、それぞれ個別に処理されて記憶されるようにすることができる。更に、メモリ31には、例えば、1/nずつ位相がずれた、それぞれmHzのn系列の動画像データの供給を受け、n系列の動画像データを、例えば、n/2やn/3などの系列数の動画像データにまとめて記憶しておくことができるようにしてもよい。
例えば、メモリ31に、図5を用いて説明したような、4系列の動画像データが供給された場合、メモリ31には、図7に示されるように、4系列の動画像データを、2系列の動画像データとして記憶させるようにすることができる。その場合、第1の動画像データには、αフレーム、α+2フレーム、α+4フレーム・・・が記憶され、第2の動画像データには、α+1フレーム、α+3フレーム、α+5フレーム・・・が記憶される。すなわち、第1の動画像データおよび第2の動画像データは、フレームレート2mの動画像データとなる。
次に、図8のフローチャートを参照して、画像取得処理1について説明する。
ステップS1において、プリズム22は、レンズ21を介して入射された光をn分割(図2を用いて説明した場合においては、4分割)して、CCDイメージセンサ23のn個の撮像素子(図2を用いて説明した場合においては、撮像素子23−1乃至23−4)に供給する。
ステップS2において、タイミングコントローラ24は、基準同期信号発生部26から供給される、mHzの基準同期信号を基に、n個の撮像素子による画像データ取得のタイミング信号、すなわち、それぞれ、1/(n×m)秒ずつ遅延させた(n−1)の遅延信号を発生し、CCDイメージセンサ23のn個の撮像素子に供給する。
ステップS3において、CCDイメージセンサ23は、タイミングコントローラ24から供給されたタイミング信号に基づいて、n個の撮像素子を用いて、(m×n)Hzのフレームレートの画像データを取得する。
ステップS4において、相関2重サンプリング処理部27、A/Dコンバータ28、画像処理部29、および、コーデック処理部30は、CCDイメージセンサ23によって取得された(m×n)Hzのフレームレートの画像データに対して、画像処理を行う。
ステップS5において、メモリ31は、処理された画像の供給を受けて記憶し、処理が終了される。
このような処理により、n個の撮像素子を用いて、(m×n)Hzのフレームレートの画像データが取得されて記憶される。(m×n)Hzのフレームレートの画像データは、1/nずつ位相がずれた、それぞれmHzのn系列の動画像データとして、メモリ31に記憶されるようにしてもよい。
次に、このようにして取得された(m×n)Hzのフレームレートの画像データの表示方法について説明する。
図9は、本発明を適用した画像信号処理装置51および画像表示装置52の構成を示すブロック図である。
画像信号処理装置51には、(m×n)Hzのフレームレートの画像データを構成する1/nずつ位相がずれた、それぞれmHzのn系列の動画像データが、個別に供給され、メモリ61のフレームメモリ61−1乃至フレームメモリ61−nに供給されて保持される。
コントローラ62は、操作入力部63から入力されるユーザの操作入力にしたがって、基準同期信号発生部64から供給されるmHzの基準同期信号を基に、フレームメモリ61−1乃至61−nからの映像信号の出力を制御するとともに、フレームメモリ61−1乃至61−nからの映像信号の出力に関する情報を、表示制御部66に供給する。操作入力部63は、動画像の表示を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受け、コントローラ62に供給する。基準同期信号発生部64は、コントローラ62がメモリ61の複数のフレームメモリ61−1乃至61−nを制御するための基準となる同期信号を発生し、コントローラ62に供給する。
メモリ61のフレームメモリ61−1乃至61−nは、コントローラ62の制御に基づいて、供給されたデジタルの画像信号S1乃至S4を、D/A変換部65−1乃至65−nに出力する。
D/A変換部65−1乃至65−nは、フレームメモリ61−1乃至61−nから供給されたデジタルの画像信号S1乃至S4を、アナログの画像信号に変換し、画像表示装置52の走査制御部81−1乃至81−nに供給する。表示制御部66は、コントローラ62から供給された情報を基に、画像表示装置52による動画像の表示を制御し、(m×n)Hzのフレームレートのフレーム画像を表示させる。
また、コントローラ62には、必要に応じてドライブ67が接続され、磁気ディスク71、光ディスク72、光磁気ディスク73、もしくは、半導体メモリ74などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてコントローラ62に実行される。
図10乃至図13を用いて、コントローラ62の制御に基づいて、フレームメモリ61−1乃至61−nから読み出される画像データのタイミングについて説明する。
図10を用いて、n=2である場合の、フレームメモリ61−1乃至61−nから読み出される画像データのタイミングについて説明する。
コントローラ62は、フレームメモリ61−1および61−2を制御して、フレームメモリ61−1から、フレームレートmのαフレームを出力映像信号S1としてA/D変換部65−1に供給させ、フレームメモリ61−2から、フレームレートmのα+1フレームを、出力映像信号S2として、αフレームの供給開始時刻aよりも、1/2mだけ遅らせた供給開始時刻bで、A/D変換部65−2に供給させる。
αフレームのA/D変換部65−1への供給にかかる時間は、1/mとなり、供給終了時刻cは、α+1フレームのA/D変換部65−2への供給開始時刻bから、1/2mだけ後になる。そして、時刻cからα+2フレームがフレームメモリ61−1からA/D変換部65−1へ、時間1/mだけかけて供給される。すなわち、α+2フレームの供給終了時刻eは、2/mである。また、α+1フレームのA/D変換部65−2への供給にかかる時間は、1/mとなり、供給終了時刻dは、α+2フレームのA/D変換部65−2への供給開始時刻cから、1/2mだけ後になる。そして、時刻dからα+3フレームがフレームメモリ61−2からA/D変換部65−2へ、時間1/mだけかけて供給される。すなわち、α+3フレームの供給終了時刻fは、5/2mである。
次に、図11を用いて、n=3である場合の、フレームメモリ61−1乃至61−nから読み出される画像データのタイミングについて説明する。
コントローラ62は、フレームメモリ61−1乃至61−3を制御して、フレームメモリ61−1から、フレームレートmのαフレームを出力映像信号S1としてA/D変換部65−1に供給させ、フレームメモリ61−2から、フレームレートmのα+1フレームを、出力映像信号S2として、αフレームの供給開始時刻aよりも、1/3mだけ遅らせた供給開始時刻bで、A/D変換部65−2に供給させ、フレームメモリ61−3から、フレームレートmのα+2フレームを、出力映像信号S3として、α+1フレームの供給開始時刻bよりも、1/3mだけ遅らせた供給開始時刻cで、A/D変換部65−3に供給させる。
αフレームのA/D変換部65−1への供給にかかる時間は、1/mとなり、供給終了時刻dは、α+1フレームのA/D変換部65−2への供給開始時刻bから、2/3mだけ後になる。そして、時刻dからα+3フレームがフレームメモリ61−1からA/D変換部65−1へ、時間1/mだけかけて供給される。すなわち、α+3フレームの供給終了時刻gは、2/mである。また、α+1フレームのA/D変換部65−2への供給にかかる時間は、1/mとなり、供給終了時刻eは、α+2フレームのA/D変換部65−3への供給開始時刻cから、2/3mだけ後になる。そして、時刻dからα+4フレームがフレームメモリ61−2からA/D変換部65−2へ、時間1/mだけかけて供給される。すなわち、α+4フレームの供給終了時刻fは、7/3mである。また、α+2フレームのA/D変換部65−3への供給にかかる時間は、1/mとなり、供給終了時刻fは、α+3フレームのA/D変換部65−1への供給開始時刻dから、2/3mだけ後になる。そして、時刻fからα+5フレームがフレームメモリ61−3からA/D変換部65−3へ、時間1/mだけかけて供給される。すなわち、α+5フレームの供給終了時刻iは、8/3mである。
次に、図12を用いて、n=4である場合の、フレームメモリ61−1乃至61−nから読み出される画像データのタイミングについて説明する。
コントローラ62は、フレームメモリ61−1乃至61−4を制御して、フレームメモリ61−1から、フレームレートmのαフレームを出力映像信号S1としてA/D変換部65−1に供給させ、フレームメモリ61−2から、フレームレートmのα+1フレームを、出力映像信号S2として、αフレームの供給開始時刻aよりも、1/4mだけ遅らせた供給開始時刻bで、A/D変換部65−2に供給させ、フレームメモリ61−3から、フレームレートmのα+2フレームを、出力映像信号S3として、α+1フレームの供給開始時刻bよりも、1/4mだけ遅らせた供給開始時刻cで、A/D変換部65−3に供給させ、フレームメモリ61−4から、フレームレートmのα+3フレームを、出力映像信号S4として、α+2フレームの供給開始時刻cよりも、1/4mだけ遅らせた供給開始時刻dで、A/D変換部65−4に供給させる。
αフレームのA/D変換部65−1への供給にかかる時間は、1/mとなり、供給終了時刻eは、α+1フレームのA/D変換部65−2への供給開始時刻bから、3/4mだけ後になる。そして、時刻eからα+4フレームがフレームメモリ61−1からA/D変換部65−1へ、時間1/mだけかけて供給される。すなわち、α+4フレームの供給終了時刻iは、2/mである。また、α+1フレームのA/D変換部65−2への供給にかかる時間は、1/mとなり、供給終了時刻fは、α+2フレームのA/D変換部65−3への供給開始時刻cから、3/4mだけ後になる。そして、時刻fからα+5フレームがフレームメモリ61−2からA/D変換部65−2へ、時間1/mだけかけて供給される。すなわち、α+5フレームの供給終了時刻jは、9/4mである。
また、α+2フレームのA/D変換部65−3への供給にかかる時間は、1/mとなり、供給終了時刻gは、α+3フレームのA/D変換部65−4への供給開始時刻dから、3/4mだけ後になる。そして、時刻fからα+6フレームがフレームメモリ61−3からA/D変換部65−3へ、時間1/mだけかけて供給される。すなわち、α+6フレームの供給終了時刻iは、5/2mである。そして、α+3フレームのA/D変換部65−4への供給にかかる時間は、1/mとなり、供給終了時刻hは、α+4フレームのA/D変換部65−1への供給開始時刻eから、3/4mだけ後になる。そして、時刻hからα+7フレームがフレームメモリ61−4からA/D変換部65−4へ、時間1/mだけかけて供給される。すなわち、α+7フレームの供給終了時刻lは、11/4mである。
次に、図13を用いて、n=5である場合の、フレームメモリ61−1乃至61−nから読み出される画像データのタイミングについて説明する。
コントローラ62は、フレームメモリ61−1乃至61−5を制御して、フレームメモリ61−1から、フレームレートmのαフレームを出力映像信号S1としてA/D変換部65−1に供給させ、フレームメモリ61−2から、フレームレートmのα+1フレームを、出力映像信号S2として、αフレームの供給開始時刻aよりも、1/5mだけ遅らせた供給開始時刻bで、A/D変換部65−2に供給させ、フレームメモリ61−3から、フレームレートmのα+2フレームを、出力映像信号S3として、α+1フレームの供給開始時刻bよりも、1/5mだけ遅らせた供給開始時刻cで、A/D変換部65−3に供給させ、フレームメモリ61−4から、フレームレートmのα+3フレームを、出力映像信号S4として、α+2フレームの供給開始時刻cよりも、1/5mだけ遅らせた供給開始時刻dで、A/D変換部65−4に供給させ、フレームメモリ61−5から、フレームレートmのα+4フレームを、出力映像信号S5として、α+3フレームの供給開始時刻dよりも、1/5mだけ遅らせた供給開始時刻eで、A/D変換部65−5に供給させる。
αフレームのA/D変換部65−1への供給にかかる時間は、1/mとなり、供給終了時刻fは、α+1フレームのA/D変換部65−2への供給開始時刻bから、4/5mだけ後になる。そして、時刻fからα+5フレームがフレームメモリ61−1からA/D変換部65−1へ、時間1/mだけかけて供給される。すなわち、α+5フレームの供給終了時刻fは、2/mである。また、α+1フレームのA/D変換部65−2への供給にかかる時間は、1/mとなり、供給終了時刻gは、α+2フレームのA/D変換部65−3への供給開始時刻cから、4/5mだけ後になる。そして、時刻gからα+6フレームがフレームメモリ61−2からA/D変換部65−2へ、時間1/mだけかけて供給される。すなわち、α+5フレームの供給終了時刻lは、11/5mである。
また、α+2フレームのA/D変換部65−3への供給にかかる時間は、1/mとなり、供給終了時刻hは、α+3フレームのA/D変換部65−4への供給開始時刻dから、4/5mだけ後になる。そして、時刻hから次のフレーム(図示していないがα+7フレーム)がフレームメモリ61−3からA/D変換部65−3へ、時間1/mだけかけて供給される。そして、α+3フレームのA/D変換部65−4への供給にかかる時間は、1/mとなり、供給終了時刻iは、α+4フレームのA/D変換部65−5への供給開始時刻eから、4/5mだけ後になる。そして、時刻iから次のフレーム(図示していないがα+8フレーム)がフレームメモリ61−4からA/D変換部65−4へ、時間1/mだけかけて供給される。そして、α+4フレームのA/D変換部65−5への供給にかかる時間は、1/mとなり、供給終了時刻jは、α+5フレームのA/D変換部65−1への供給開始時刻fから、4/5mだけ後になる。そして、時刻jから次のフレーム(図示していないがα+9フレーム)がフレームメモリ61−5からA/D変換部65−5へ、時間1/mだけかけて供給される。
再び、図9に戻り、画像表示装置52について説明する。
画像表示装置52は、画像信号処理装置51から供給された、n系統のアナログ映像信号の供給を受け、表示制御部66の制御に基づいて、走査制御部81−1乃至81−nを用いて、表示部82に、(m×n)Hzの動画像を表示する。
走査制御部81−1乃至81−nは、アナログ映像信号の供給を受け、供給されたアナログの映像信号を、点順次、または、線順次走査方式によって表示部82に表示させる。このとき、走査制御部81−1乃至81−nは、連続したフレームを、1/nフレームずらして交互に走査することにより、走査制御部81−1乃至81−nにおける単独での画像描画のフレームレートのn倍のフレームレートで、表示部82への画像表示を行うことができる。
また、画像表示装置52は、一つの装置として構成される以外にも、複数の装置により構成される画像表示システムとして構成するようにしても良い。画像表示装置52が画像表示システムとして構成される場合、例えば、図14に示されるように、プロジェクタ91−1乃至プロジェクタ91−n、および、スクリーン92により構成することができる。
画像表示装置52の具体的な動作について、図14に示されるプロジェクタ91−1乃至プロジェクタ91−n、および、スクリーン92を用いた場合を例として説明する。プロジェクタ91−1は、図9の走査制御部81−1に対応し、プロジェクタ91−nは、図9の走査制御部81−nに対応し、スクリーン92は、図9の表示部82に対応する。
例えば、プロジェクタ91−1乃至プロジェクタ91−nは、図10乃至図13を用いて説明したタイミングでフレームメモリ61−1乃至61−nから読み出され、A/D変換部65でアナログ信号に変換された、出力映像信号S1乃至Snに対応するアナログ映像信号の供給を受ける。
プロジェクタ91−1乃至プロジェクタ91−nは、それぞれ、表示制御部66の制御に基づいたタイミングで、表示される表示画像を構成する画素(X,Y)=(0,0)から、画素(X,Y)=(p,q)を、スクリーン92に水平方向に走査することにより、供給された映像信号に対応するフレーム画像を表示する。プロジェクタ91−1乃至プロジェクタ91−nの1つ1つがスクリーン92に表示させるフレーム画像のそれぞれのフレームレートは、mHzであり、プロジェクタ91−1乃至プロジェクタ91−nによって表示される動画像のフレームレートは(m×n)Hzである。また、プロジェクタ91−1乃至プロジェクタ91−nによって表示される各フレームの走査開始タイミングは、図10乃至図13を用いて説明した出力映像信号S1乃至出力映像信号Snにおける場合と同様に、プロジェクタ91−1乃至プロジェクタ91−nによる、それぞれの1フレームの表示に対して、1/n位相、すなわち、1/(m×n)だけずれている。
例えば、プロジェクタ91−2が、スクリーン92上の走査Bで示されるラインに、α+1フレームの対応するラインを走査しているとき、プロジェクタ91−3は、スクリーン92上の走査Aで示されるラインに、α+2フレームの対応するラインを走査している。走査Bで示されるラインは、走査Aで示されるラインから、1フレームのライン数の1/nだけずれたラインである。すなわち、スクリーン92に表示される動画像は、時間1/(m×n)ごとに、走査Aおよび走査Bを含む複数の走査によって、順次書き換えられる。
例えば、n=2であり、プロジェクタ91−1およびプロジェクタ91−2において出力される表示画像のフレームレートが、それぞれ、120Hzであった場合、スクリーンに表示される動画像のフレームレートは、実質的に、240Hzとなる。また、例えば、n=3であり、プロジェクタ91−1乃至プロジェクタ91−3において出力される表示画像のフレームレートが、それぞれ、80Hzであった場合、スクリーンに表示される動画像のフレームレートは、実質的に、240Hzとなる。例えば、n=4であり、プロジェクタ91−1乃至プロジェクタ91−4において出力される表示画像のフレームレートが、それぞれ、60Hzであった場合、スクリーンに表示される動画像のフレームレートは、実質的に、240Hzとなる。更に、例えば、n=5であり、プロジェクタ91−1乃至プロジェクタ91−5において出力される表示画像のフレームレートが、それぞれ、50Hzであった場合、スクリーンに表示される動画像のフレームレートは、実質的に、250Hzとなる。
なお、図14に示される走査Aと走査Bなどの複数の走査線による同一位置の走査ラインのずれが発生しないようにするために、従来の、いわゆるツインスタック技術において用いられる光学的な画像の位置補正と同様の技術を用いて、画素の走査位置を補正することが可能である。ツインスタック技術とは、プロジェクタを2台使用して、同時に同一の画像を同一位置に表示することにより、明るい画像を表示することができる技術である。ツインスタックを用いて画像を表示する場合には、表示される画像の輝度が2倍となり、周囲の環境が明るい場合や、投影距離が長い場合にも鮮明な投影が可能となる。
ツインスタック技術を用いた場合、投影される2つの画像の画素位置のずれによる画像のボケの発生が問題となっていたが、この問題を解決するために、光学的に投影される画素の画素位置を微調整することができる、いわゆるピクチャーシフト機能が広く用いられており、2台のプロジェクタから投影される画像の位置を厳密に合わせることが可能である。この技術は、複数台のプロジェクタを用いた場合においても適用可能である。
なお、投影される2つの画像の画素位置のずれを補正するための技術は、例えば、特願平10−058291などに開示されている。
画像表示装置52においては、複数の走査による走査ラインのずれが、1画素(1ドット、または1ピクセル)以内となるように調整することにより、1フレームずれた画像との重なりにより、画像がぼやけてしまうことなく、動画像を表示することが可能となる。
上述したように、プロジェクタ91−1乃至プロジェクタ91−nにより、1/nフレームずらして、1フレームずつ順番に、フレーム画像が描画されるようになされた場合、あるプロジェクタによって、1フレームが完全に走査されて描画されるよりも早く、他のプロジェクタによって、次のフレームの画像の描画のための走査が開始される。このとき、図14のスクリーン92に表示される物体Cが、例えば、表示画面上で、左から右に移動するように表示される場合、動画像を観測するユーザにとっては、エッジ部分の移動の滑らかさが、表示される動画の滑らかさとして感じられる。
スクリーン92に表示される物体Cのエッジ部分βの表示について、図15を用いて説明する。
プロジェクタ91−1により、αフレームの物体Cが表示され、時間1/(m×n)後に、プロジェクタ91−2により、α+1フレームの物体Cが表示される。このときの、物体Cのエッジ部分βの位置は、αフレームの表示から、時間1/(m×n)で書き換えられる。そして、プロジェクタ91−3(n=2であるときは、プロジェクタ91−2)により、時間1/(m×n)後に、α+2フレームの物体Cが表示される。このときの、物体Cのエッジ部分βは、α+1フレームの表示から、時間1/(m×n)で書き換えられる。
例えば、プロジェクタ91−1乃至プロジェクタ91−nにおいて出力される表示画像のフレームレートが、それぞれ、mHzである場合、プロジェクタ91−1乃至プロジェクタ91−nのうちのいずれかが単独で表示した動画像においては、フレームが1/m(秒)ごとに書き換えられる。それに対して、プロジェクタ91−1乃至プロジェクタ91−nを用いて、1フレームずつ順番にフレーム画像を表示することによってスクリーン92に表示される物体Cのエッジ部分βは、1/(m×n)(秒)でリフレッシュされる。したがって、ユーザにより観測される物体Cのエッジ部分βの動きは、非常に滑らかになる。
ここでは、画像表示装置52は、表示制御部66の制御を受けて、画像の表示を制御するものとして説明しているが、画像表示装置52は、表示制御部66を内部に有し(すなわち、画像表示装置52と表示制御部66とで1つの装置を構成し)、コントローラ62から、画像表示に必要な制御信号の供給を受けるようにしたり、内部に表示制御部66とは異なる制御部を備え、表示制御部66から、垂直同期信号や、ドットクロック信号などの供給を受けて、例えば、図14を用いて説明したプロジェクタ91−1乃至プロジェクタ91−nの動作を制御するようにしても良い。
また、ここでは、画像表示装置52の動作について、プロジェクタ91−1乃至プロジェクタ91−n、および、スクリーン92で構成された投影表示システムを例として説明したが、画像表示装置52は、複数の表示デバイスを用いて、1/nフレームずらして、連続したフレームを順次走査させるようにすることにより、それぞれの表示デバイスの単独でのフレームレートmHzのn倍のフレームレートで、動画像の表示を行うことができるものであれば、点順次、または、線順次走査方式によって、画像の描画を行ういかなる表示システムを用いるようにしても良い。
画像表示装置52には、例えば、CRT(Cathode Ray Tube),LCD(Liquid Crystal Display:液晶ディスプレイ),GLV(Grating Light Valve),LED(Light Emitting Diode:発光ダイオード),FED(Field Emission Display)の直視型のディスプレイ、または、プロジェクタなどであって、点順次、または、線順次走査方式によって、画像の描画を行うものを用いることができる。
例えば、GLVとは、光の回折効果を利用して光の向きや色などを制御する投影デバイスである、マイクロリボンアレイを使用した画像表示技術である。マイクロリボンアレイとは、極小の光回折素子を1列に並べたもので、GLVでは、これにレーザ光を当てることで、画像の投影を行う。リボンは、電気信号により独立して駆動することができ、駆動量を調節することで光回折量を変化させ、各リボンの差異により画像の明暗を作り出すことができるので、滑らかな階調表現と高コントラストを実現することができる。
LEDは、2種類の半導体が接合されて生成される素子で、電流を加えることにより、発光することができるものである。
FEDは、陰極から電子を取り出して、陽極に塗布した蛍光体に衝突させて発光させるという、CRTと同様の発光原理により、画像を得ることができるものである。ただし、陰極の構造として、CRTは点電子源を用いるのに対して、FEDは面状の電子源を用いる。
ところで、動画には、静止画では発生しない動画特有の画質劣化が存在する。現状最も広く用いられている50Hz(PAL:Phase Alternating Line)や60Hz(NTSC:National Television System CommitteeやHD(High Definitions)映像信号)のディスプレイでは、時間方向の再現が不完全であり、特定の条件下においてこの時間方向での不完全性が空間方向での不完全性に変換されるために、例えば、動画像データ取得時のシャッタ時間、動画像データ表示時の表示素子発光時間、および、人の視線条件によって、動画質の劣化が発生してしまう。
図16に、動くものと固定しているものが共存するような現実のシーンの例を示す。このシーンは車が右方向に移動し、樹木は地面に固定されていることを想定している。図16のシーンを観察した場合の観察者の見えを図17および図18に示す。
図17は観察者が樹木を注視していた場合の観察者からの映像の見えを示す図である。この場合、右方向に移動する車は、観察者からはぼけて見える。一方、図18は車に注視していた場合の観察者からの映像の見えを示す図である。この場合、固定している樹木は、観察者からはぼけて見える。
以下、観察面座標上での固定物に視線を固定している場合を固定視条件、観察面座標上での移動物に視線を追従している場合を追従視条件とする。すなわち、図17を用いて説明した場合が固定視条件、図18用いて説明した場合が追従視条件となる。固定視条件、追従視条件とも、注視しているものはクリアに見える。一方、注視している物体と相対位置が変化する物体はぼけて見える。
この原因は、人が網膜に入射された光をある時間内であるならば積分する作用を視覚特性として持つためである。眼の網膜座標上で移動する物体は、その位置変化が時間方向に積分されるため、結果的にぼけた映像として知覚される。このぼけは、網膜座標上での移動速度に比例して大きくなる。網膜座標上の移動速度とは、実際の物体の速度ではなく、角速度(deg/sec)に相当する。
以上のように、網膜座標上で静止している物体はクリアに見え、網膜座標上で移動する物体はぼけて見える。この実際の見えと一致する映像を再現することが、リアリティのある動画像、すなわち、滑らかに動いているように見える画質のよい動画像を表示するためには重要である。
図19を用いて、図17および図18を用いて説明した観察者の見えの違いについて説明する。図19上部は外界での実際の動きを示している。縦軸は時間軸、横軸は水平方向であり、外界上にて固定ドット(図16乃至図18における樹木に対応し、図中xで示す)と一定速度で移動するドット(図16乃至図18における車に対応し、図中yで示す)が存在するシーンでの各ドットの時間毎の位置を示す。図19下部は、この外界の動きを観察したときの固定視および追従視での見えを示している。点線で示された矢印が、観察者の視点の動き、つまり網膜上での映像の積分方向を示す。垂直方向の軸が固定視、斜め方向の軸が追従視での積分方向である。すなわち、観察者が追従視をしている場合、固定ドット(樹木)はぼけて見えるが、移動するドット(車)はクリアに見える。一方、観察者が固定視をしている場合、固定ドット(樹木)はクリアに見えるが、移動するドット(車)はボケて見える。
次に、図20を用いて、図16で示した外界の動きを固定撮影し、動画像として再生表示した場合の観察者の見えについて、撮影条件、表示条件、観察条件ごとに説明する。図20上部は、動画像表示の時間変化を示す。図20下部に、固定視、追従視での視線の動き方向、つまり積分軸方向に沿って動画像表示された光を積分した結果を観察者の見えとして示す。
図20Aは、撮影条件がオープンシャッタ方式で、表示がパルスタイプである場合、図20Bは、撮影条件がオープンシャッタ方式で、表示がホールドタイプである場合、図20Cは、撮影条件が高速シャッタ方式で、表示がパルスタイプである場合、図20Dは、撮影条件が高速シャッタ方式で、表示がホールドタイプである場合の、観察者の見えを示す。
図20A乃至図20Dより、発生する動画質劣化は各条件によって異なることがわかる。例えば、図20Aおよび図20Cの追従視での移動物の見えと比較して、図20Bおよび図20Dの追従視での移動物がぼけて見えてしまうのは、発光条件がホールド型であるディスプレイ特有の「動きぼけ」と呼ばれる現象である。「動きぼけ」は、注視しているものがぼけてしまうため、観察者にとって、わかりやすい劣化である。
それ以外にも、図20Dの固定視でのストロボ妨害、図20Aおよび図20Cの追従視でのストロボ妨害などの劣化が生じている。ストロボ障害とは、図21に示されるように、ディスプレイ上の固定物(例えば、樹木)に固定視を行った場合に、移動物(例えば、車)が、多重像に見える、または、スムーズではない離散的な動きが見えるといった動画質劣化のことである。このように、固定視での移動物、追従視での固定物に発生するストロボ妨害は、注視している対象ではない部分で発生する劣化である場合が多く、「動きぼけ」と比較してあまり目立たないことも多い。だが、視線の追従が完全に行われていない場合は、注視を行いたい対象物と視線の関係は、固定視での移動物、または追従視での固定物と同じ関係になる。この場合のストロボ妨害は注視している対象物において発生するため、非常に目立つ劣化となる。この現象は、動きが速く、次の動きが予測しにくい映像ソース、例えば、スポーツ中継、アクション映画等において目立ってしまう。映画などにおける動画像の撮像では、このような動画質劣化を防止するために、例えば、移動物を撮影する場合はカメラで追従して撮影し、表示画面上では固定物状態にすることや、ストロボ妨害を抑制するためにmotion blurと呼ばれるぼけを加味するといった手法を用いる。しかしながら、これらの手法による制限は、表現手段を狭めている結果にもなっている。また、スポーツなどでは、注目したい被写体の動きの予想ができないため、これらの手段は使えない。
このような動画質劣化は移動物の角速度に応じて増加する。したがって、同じ映像シーンであっても、より視野角の大きいディスプレイに動画像が表示された場合において動画質が顕著に劣化する。また、高解像度化を行っても本章で述べた動画質劣化はほとんど改善されない。むしろ、高解像度化により静止画質がより向上してしまうために、動画質劣化が目立ってしまう。今後、ディスプレイが大画面化、高精細化されるのにともなって、これらの動画質劣化が大きな問題となることが予想される。
動画質劣化の原因は時間再現性の欠如である。したがって、時間再現性を向上することが根本的な解決となる。すなわち、その解決手段としては、撮影、表示ともフレームレートを高くすることが有効な手段となる。
図20を用いて説明した場合の動画像データを、2倍のフレームレートで撮影し、2倍のフレームレートで表示を行った場合の動画質劣化の改善を図22に示す。
図22Aは、撮影条件がオープンシャッタ方式で、表示がパルスタイプである場合、図22Bは、撮影条件がオープンシャッタ方式で、表示がホールドタイプである場合、図22Cは、撮影条件が高速シャッタ方式で、表示がパルスタイプである場合、図22Dは、撮影条件が高速シャッタ方式で、表示がホールドタイプである場合、それぞれ、図20を用いて説明した場合の2倍のフレームレートで表示された動画像に対する、観察者の見えを示す。
図22A乃至図22Dに示されるように、表示画像の見えのぼけ妨害に関して、それぞれの撮像および表示方法において、ぼけ量は半分となっている。また、ストロボ妨害に関しても、ストロボ的な離散数が倍増するため、画像劣化が改善される。すなわち、ぼけ妨害およびストロボ妨害は、フレームレートの増加に対し、リニアに改善されることが示される。また、フレームレートを増加した場合、シャッタ時間、発光時間による動画質劣化の質の違いも小さくなっている。すなわち、動画質を改善するためには、高フレームレート化が、非常に有効な手段であるといえる。
次に、オープンシャッタで撮影された動画像の表示について、追従視の条件において、ジャーキネス、動きぼけに着目した動画質の評価を、視覚心理物理実験により調査した。
ジャーキネスに着目した評価結果を図23に、動きぼけに着目した評価結果を図24に示す。この評価においては、動画像として、例えば、自然動画、CGの動き、オープンシャッタで撮影された映像など、さまざまなものが用意された。また、評価ポイントは、劣化尺度については、「劣化がわからない」が評価5、「劣化は分かるが気にならない」が評価4、「劣化は分かるが邪魔にならない」が評価3、「劣化が邪魔になる」が評価2、「劣化が非常に邪魔になる」が評価1とされ、評価尺度については、「非常によい」が評価5、「よい」が評価4、「普通」が評価3、「悪い」が評価2、「非常に悪い」が評価1とされた。この実験においては、一般的な動画質の評価について調査するために充分な人数の被験者により評価が実行されている。そして、図23および図24においては、全てのシーンおよび被験者の平均と、標準偏差がプロットされている。
図23に示されるジャーキネスに比較して、図24に示される動きぼけの評価値の変化が大きく、また両者に共通して、フレームレートが大きくなるにともなって、動画質の評価値も大きくなる傾向が見られる。特に動きぼけに関して、250fps近辺で、知覚限である評価値4.5近辺に達し、更に高いフレームレートでは、評価値は4.5以上で平らな値を示す屈曲型の傾向を示した。また、ジャーキネスに関しても、250fps近辺で、知覚限である評価値4.5近辺に達し、更に高いフレームレートでは、評価値は4.5以上で、略平らな値を示す屈曲型の傾向を示した。
このように、特に顕著な動画質劣化を示す追従視における動きぼけは、250fps近辺のフレームレートにより十分解決されること、すなわち、250fps近辺が、現在広く用いられている映像リソースの有効性を考慮した場合の理想周波数であることを示唆するものである。具体的には、現在広く用いられている映像リソースは、上述したように50Hz,60Hzのものが多いので、その整数倍の周波数である240Hzや250Hzが、映像リソースの有効性を考慮した場合の理想周波数であることを示唆するものである。
次に、図25のフローチャートを参照して、図9の画像信号処理装置51および画像表示装置52を用いた場合の画像表示処理1について説明する。
ステップS21において、コントローラ62は、メモリ61のフレームメモリ61−1乃至フレームメモリ61−nから、例えば、図10乃至図13を用いて説明した所定のタイミングでフレーム画像データを読み出させて、D/A変換部65−1乃至D/A変換部65−nに供給する。
ステップS22において、D/A変換部65−1乃至D/A変換部65−nは、供給されたフレーム画像データにD/A変換を施して、走査制御部81−1乃至走査制御部81−nに供給する。
ステップS23において、走査制御部81−1乃至走査制御部81−nは、表示制御部66の制御に基づいて、例えば、図10乃至図13を用いて説明した出力映像信号に対応する所定のタイミングでそれぞれのフレーム画像データの各画素を走査させて表示させ、処理が終了される。
このような処理により、n分割された、それぞれはmHzのフレームレートを有する動画像データが、n個の操作制御部81−1乃至走査制御部81−nにより(n×m)Hzの動画像データとして表示される。
以上においては、n分割されたそれぞれmHzのフレーム画像データを表示画面の走査線数の1/nづつずらして走査させることにより、(n×m)Hzの動画像を表示する場合について説明したが、n分割されたそれぞれmHzのフレーム画像データを、nより少ない数に合成した後、表示するようにしてもよい。
すなわち、それぞれのフレーム画像データの撮像時のシャッタオープンの時間が、1/s×mより短い場合、次に、n分割されたそれぞれmHzのフレーム画像データをn/s系列のフレーム画像データに変換した後、n/s個の操作制御部81を用いて表示させるようにしても、動画像データがぼけることはない。
図26は、本発明を適用した画像信号処理装置101および画像表示装置52の構成を示すブロック図である。図26においては、n=4、s=2の場合について説明する。
なお、図9における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
画像信号処理装置101には、(m×n)Hzのフレームレートの画像データを構成する1/nずつ位相がずれた、それぞれmHzの4系列の動画像データが、個別に供給され、メモリ61のうちのフレームメモリ61−1乃至フレームメモリ61−4に供給されて保持される。
コントローラ111は、操作入力部63から入力されるユーザの操作入力にしたがって、基準同期信号発生部64から供給されるmHzの基準同期信号を基に、フレームメモリ61−1乃至61−4からの映像信号の出力を制御するとともに、フレームメモリ61−1乃至61−4からの映像信号の出力に関する情報を、表示制御部66に供給する。操作入力部63は、動画像の表示を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受け、コントローラ111に供給する。基準同期信号発生部64は、コントローラ111がメモリ61の複数のフレームメモリ61−1乃至61−4を制御するための基準となる同期信号を発生し、コントローラ111に供給する。
メモリ61のフレームメモリ61−1およびフレームメモリ61−2は、コントローラ111の制御に基づいて、供給されたデジタルの画像信号S1およびS2を、信号処理部112−1に供給する。メモリ61のフレームメモリ61−3およびフレームメモリ61−4は、コントローラ111の制御に基づいて、供給されたデジタルの画像信号S3およびS4を、信号処理部112−2に供給する。信号処理部112−1および信号処理部112−2は、供給された画像信号を合成し、合成された画像信号S5およびS6を、D/A変換部65−1およびD/A変換部65−2に出力する。信号処理部112−1および信号処理部112−2が実行する信号の合成の詳細については、図27を用いて後述する。
D/A変換部65−1およびD/A変換部65−2は、信号処理部112−1および信号処理部112−2から供給されたデジタルの画像信号を、アナログの画像信号に変換し、画像表示装置52の走査制御部81−1および走査制御部81−2に供給する。表示制御部66は、コントローラ111から供給された情報を基に、画像表示装置52による動画像の表示を制御し、(m×n)Hzのフレームレートのフレーム画像を表示させる。
ここで、走査制御部81−1および走査制御部81−2に供給される動画像データのフレームレートは、それぞれ2mHzである。走査制御部81−1および走査制御部81−2がフレームレート2mHzの動画像データを、供給されたフレーム画像データが有する画素数で表示する機能(データ処理や、走査速度などの機能)を有していなかった場合、信号処理部112−1および信号処理部112−2は、走査制御部81−1および走査制御部81−2により表示可能なように、合成されて出力される画像信号S5およびS6に対して、例えば、画素数の減少や、走査ラインの間引きなどの適当な画像処理を施す。
また、コントローラ111には、必要に応じてドライブ67が接続され、磁気ディスク71、光ディスク72、光磁気ディスク73、もしくは、半導体メモリ74などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてコントローラ111に実行される。
図27を用いて、n=4、S=2である場合の、フレームメモリ61−1乃至61−4から読み出される画像データのタイミング、および、信号処理部112−1および信号処理部112−2が実行する信号の合成について説明する。
コントローラ111は、フレームメモリ61−1および61−2を制御して、フレームメモリ61−1から、フレームレートmで、シャッタスピード1/2m以下のαフレームを出力映像信号S1として信号処理部112−1に供給させ、フレームメモリ61−2から、フレームレートmで、シャッタスピード1/2m以下のα+2フレームを、出力映像信号S2として、αフレームの供給開始時刻aよりも、1/2mだけ遅らせた供給開始時刻bで、信号処理部112−1に供給させる。コントローラ111は、それ以降、1/2mづつずらして、フレームメモリ61−1および61−2から、出力信号S1または出力信号S2を交互に読み出して、信号処理部112−1に供給させる。
信号処理部112−1は、供給された信号を合成して、αフレームの1/2m後にα+2フレームが続き、更に、α+2フレームの1/2m後にα+4フレームが続く合成信号S5を生成し、A/D変換部65−1に供給する。
コントローラ111は、フレームメモリ61−3および61−4を制御して、フレームメモリ61−3から、フレームレートmで、シャッタスピード1/2m以下のα+1フレームを出力映像信号S3として信号処理部112−2に供給させ、フレームメモリ61−2から、フレームレートmで、シャッタスピード1/2m以下のα+3フレームを、出力映像信号S4として、α+1フレームの供給開始時刻aよりも、1/2mだけ遅らせた供給開始時刻bで、信号処理部112−2に供給させる。コントローラ111は、それ以降、1/2mづつずらして、フレームメモリ61−1および61−2から、出力信号S3または出力信号S4を交互に読み出して、信号処理部112−2に供給させる。
信号処理部112−2は、供給された信号を合成して、α+1フレームの1/2m後にα+3フレームが続き、更に、α+1フレームの1/2m後にα+5フレームが続く合成信号S6を生成し、A/D変換部65−2に供給する。
A/D変換部65−1およびA/D変換部65−2は、図10を用いて説明した出力映像信号S1および出力映像信号S2と同様にして、それぞれ、1/2mだけずらしたタイミングで、合成信号S5および合成信号S6を走査制御部81−1および走査制御部81−2に供給する。走査制御部81−1および走査制御部81−2は、1フレームのライン数の1/2だけずらして、交互にフレーム画像信号を走査させ、動画像データを表示部82に表示させる。
例えば、出力信号S1乃至S4が、それぞれ、60Hzである場合、合成信号S5およびS6は、それぞれ、120Hzとなる。したがって、走査制御部81−1および走査制御部81−2が120Hzの動画像データを表示する機能をそれぞれ有していた場合、240Hzの動画像データを表示させるようにすることが可能となる。
なお、図26および図27においては、n=4、s=2の場合について説明したが、nまたはsがそれぞれ異なる値であっても本発明は適用可能であることは言うまでもない。
例えば、n=4、s=4の場合について、図28および図29を用いて説明する。
図28は、本発明を適用した画像信号処理装置121および画像表示装置52の構成を示すブロック図である。
なお、図26における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
画像信号処理装置121には、(m×n)Hzのフレームレートの画像データを構成する1/nずつ位相がずれた、それぞれmHzの4系列の動画像データが、個別に供給され、メモリ61のうちのフレームメモリ61−1乃至フレームメモリ61−4に供給されて保持される。
コントローラ131は、操作入力部63から入力されるユーザの操作入力にしたがって、基準同期信号発生部64から供給されるmHzの基準同期信号を基に、フレームメモリ61−1乃至61−4からの映像信号の出力を制御するとともに、フレームメモリ61−1乃至61−4からの映像信号の出力に関する情報を、表示制御部66に供給する。操作入力部63は、動画像の表示を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受け、コントローラ131に供給する。基準同期信号発生部64は、コントローラ131がメモリ61の複数のフレームメモリ61−1乃至61−4を制御するための基準となる同期信号を発生し、コントローラ131に供給する。
メモリ61のフレームメモリ61−1乃至フレームメモリ61−4は、コントローラ131の制御に基づいて、供給されたデジタルの画像信号S1乃至S4を、信号処理部132に供給する。信号処理部132は、供給された画像信号を合成し、合成された画像信号S5、D/A変換部65−1に出力する。信号処理部132が実行する信号の合成の詳細については、図29を用いて後述する。
D/A変換部65−1は、信号処理部132から供給されたデジタルの画像信号を、アナログの画像信号に変換し、画像表示装置52の走査制御部81−1に供給する。表示制御部66は、コントローラ131から供給された情報を基に、画像表示装置52による動画像の表示を制御し、(m×n)Hzのフレームレートのフレーム画像を表示させる。
ここで、走査制御部81−1に供給される動画像データのフレームレートは、それぞれ4mHzである。走査制御部81−1がフレームレート4mHzの動画像データを、供給されたフレーム画像データが有する画素数で表示する機能(データ処理や、走査速度などの機能)を有していなかった場合、信号処理部132は、走査制御部81−1により表示可能なように、合成されて出力される画像信号S5に対して、例えば、画素数の減少や、走査ラインの間引きなどの適当な画像処理を施す。
また、コントローラ131には、必要に応じてドライブ67が接続され、磁気ディスク71、光ディスク72、光磁気ディスク73、もしくは、半導体メモリ74などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてコントローラ131に実行される。
図29を用いて、n=4、S=4である場合の、フレームメモリ61−1乃至61−4から読み出される画像データのタイミング、および、信号処理部132が実行する信号の合成について説明する。
コントローラ131は、フレームメモリ61−1および61−2を制御して、フレームメモリ61−1から、フレームレートmで、シャッタスピード1/4m以下のαフレームを出力映像信号S1として信号処理部132に供給させ、フレームメモリ61−2から、フレームレートmで、シャッタスピード1/4m以下のα+1フレームを、出力映像信号S2として、αフレームの供給開始時刻aよりも、1/4mだけ遅らせた供給開始時刻bで、信号処理部132に供給させ、フレームメモリ61−3から、フレームレートmで、シャッタスピード1/4m以下のα+2フレームを出力映像信号S3として、α+1フレームの供給開始時刻aよりも、1/4mだけ遅らせた供給開始時刻cで、信号処理部132に供給させ、フレームメモリ61−4から、フレームレートmで、シャッタスピード1/4m以下のα+3フレームを、出力映像信号S4として、α+2フレームの供給開始時刻aよりも、1/4mだけ遅らせた供給開始時刻dで、信号処理部132に供給させる。コントローラ111は、それ以降、1/4mづつずらして、フレームメモリ61−1乃至61−4から、出力信号S1乃至出力信号S4を順次読み出して、信号処理部132に供給させる。
信号処理部112−1は、供給された信号を合成して、αフレームの1/4m後にα+1フレームが続き、更に、α+1フレームの1/4m後にα+2フレームが続く合成信号S5を生成し、A/D変換部65−1に供給する。
A/D変換部65−1は、合成信号S5を走査制御部81−1に供給する。走査制御部81−1は、フレーム画像信号を走査させ、動画像データを表示部82に表示させる。
例えば、出力信号S1乃至S4が、それぞれ、60Hzである場合、合成信号S5は、240Hzとなる。したがって、走査制御部81−1が供給されるフレーム画像データの画素数、または走査線数で240Hzの動画像データを表示する機能をそれぞれ有していない場合、信号処理部112−1が適当な間引き処理や画素数変換(減少)処理を合成信号S5に対して施すことにより、走査制御部81−1に240Hzの動画像データを表示させるようにすることが可能となる。
また、例えば、n=5で、出力信号S1乃至S5が、それぞれ、50Hzである場合、合成信号は、250Hzとなる。したがって、走査制御部81−1が供給されるフレーム画像データの画素数、または走査線数で250Hzの動画像データを表示する機能をそれぞれ有していない場合、信号処理部112−1が適当な間引き処理や画素数変換(減少)処理を合成信号S5に対して施すことにより、走査制御部81−1に250Hzの動画像データを表示させるようにすることが可能となる。
次に、図30のフローチャートを参照して、図26または図28を用いて説明した画像信号処理装置101および画像表示装置52、または、画像信号処理装置121および画像表示装置52を用いた場合の画像表示処理2について説明する。
ステップS41において、コントローラ111またはコントローラ131は、メモリ61のフレームメモリ61−1乃至フレームメモリ61−n(図26または図28を用いて説明した場合はn−4であったが、nは4以外の異なる値であってもよいことは言うまでもない)から、例えば、図27または図29を用いて説明した所定のタイミングでフレーム画像データを読み出させて、信号処理部112−1乃至信号処理部112−t(ここで、t=n/s)または信号処理部132に供給する。
ステップS42において、信号処理部112−1乃至信号処理部112−tまたは信号処理部132は、図27または図29を用いて説明したように、出力信号を合成し、必要に応じて、走査制御部81−1乃至走査制御部81−t(ここで、t=n/s)により表示可能な画像データに変換する処理(例えば、画素数の減少や、走査ラインの間引き処理など)を施して、D/A変換部65−1乃至D/A変換部65−t(ここで、t=n/s)に供給する。
ステップS43において、D/A変換部65−1乃至D/A変換部65−tは、供給されたフレーム画像データにD/A変換を施して、走査制御部81−1乃至走査制御部81−tに供給する。
ステップS44において、走査制御部81−1乃至走査制御部81−tは、表示制御部66の制御に基づいて、所定のタイミングでそれぞれのフレーム画像データの各画素を走査させて表示させ、処理が終了される。
このような処理により、n分割された動画像データが、n/s系列の動画像データに合成された後、n/s個の操作制御部81−1乃至走査制御部81−t(ここで、t=n/s)により(n×m)Hzの動画像データとして表示される。
また、外部の装置により合成された画像信号の入力を受けて表示することができるようにしてもよい。
図31は、例えば、図28の信号処理部132の処理によって合成された合成信号S5のように、その信号だけで、全てのフレーム画像がそろっているような画像信号の供給を受けて表示することが可能な画像信号処理装置141および画像表示装置52の構成を示すブロック図である。
なお、図28における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
画像信号処理装置151には、(m×n)Hzのフレームレートの画像データを構成する動画像データが供給され、フレームメモリ61−1に保持される。
コントローラ151は、操作入力部63から入力されるユーザの操作入力にしたがって、基準同期信号発生部64から供給されるmHzの基準同期信号を基に、フレームメモリ61−1からの映像信号の出力を制御するとともに、フレームメモリ61−1からの映像信号の出力に関する情報を、表示制御部66に供給する。操作入力部63は、動画像の表示を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受け、コントローラ151に供給する。基準同期信号発生部64は、コントローラ151がフレームメモリ61−1を制御するための基準となる同期信号を発生し、コントローラ151に供給する。
フレームメモリ61−1は、コントローラ151の制御に基づいて、供給されたデジタルの画像信号を、信号処理部152に供給する。信号処理部152は、供給された画像信号に対して信号処理を施し、D/A変換部65−1に出力する。具体的には、走査制御部81−1に供給される動画像データのフレームレートを(n×m)Hzとし、走査制御部81−1がフレームレート(n×m)Hzの動画像データを供給されたフレーム画像データが有する画素数で表示する機能を有していなかった場合、信号処理部152は、走査制御部81−1により表示可能なように、出力される画像信号に対して、例えば、画素数の減少や、走査ラインの間引きなどの適当な画像処理を施す。
D/A変換部65−1は、信号処理部152から供給されたデジタルの画像信号を、アナログの画像信号に変換し、画像表示装置52の走査制御部81−1に供給する。表示制御部66は、コントローラ151から供給された情報を基に、画像表示装置52による動画像の表示を制御し、(m×n)Hzのフレームレートのフレーム画像を表示させる。
また、コントローラ151には、必要に応じてドライブ67が接続され、磁気ディスク71、光ディスク72、光磁気ディスク73、もしくは、半導体メモリ74などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてコントローラ151に実行される。
次に、図32のフローチャートを参照して、図31を用いて説明した画像信号処理装置141および画像表示装置52を用いた場合の画像表示処理3について説明する。
ステップS61において、コントローラ151は、フレームメモリ61−1から、所定のタイミングでフレーム画像データを読み出させて、信号処理部112−1に供給する。
ステップS62において、信号処理部112−1は、必要に応じて、走査制御部81−1により表示可能な画像データに変換する処理(例えば、画素数の減少や、走査ラインの間引き処理など)を施して、D/A変換部65−1に供給する。
ステップS63において、D/A変換部65−1は、供給されたフレーム画像データにD/A変換を施して、走査制御部81−1に供給する。
ステップS64において、走査制御部81−1は、表示制御部66の制御に基づいて、所定のタイミングでそれぞれのフレーム画像データの各画素を走査させて表示させ、処理が終了される。
このような処理により、外部の装置により合成された動画像データを滑らかに表示させることができる。
以上においては、フレームレート(n×m)Hzの動画像データを表示させるために、n系列でフレームレートmの動画像データを取得し、n系列、もしくは、n系列を合成したn/s系列の動画像データを順次所定のタイミングだけずらして走査出力することにより、フレームレート(n×m)Hzの動画像データを表示させる場合について説明したが、次に、空間的に画素を画素ピッチの1/nずつずらして撮像し、その表示映像をn倍の空間に広げることにより、フレームレート(n×m)Hzの動画像データを取得する方法について説明する。
図33は、本発明を適用した撮像装置171の構成を示すブロック図である。
なお、図1における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
図33に示すように、撮像装置171は、レンズ21、CCDイメージセンサ181、タイミングコントローラ24、コントローラ183、基準同期信号発生部26、相関2重サンプリング処理部27、A/Dコンバータ28、画像処理部182、コーデック処理部30、メモリ31、操作入力部32、および、ドライブ33から構成される。
CCDとは、光情報を電気信号に変換する(光電変換)半導体素子であり、CCDイメージセンサ181は、光を電気に変換する受光素子(画素)を複数個並べ、光の変化を画素ごとに独立して電気信号に変換する撮像素子を1つ有する、例えば、RGBの3原色のカラーフィルタがモザイク状に並べられているベイヤー配列などのカラーフィルタが構成されている、一般的な単板式のCCDイメージセンサである。CCDイメージセンサ181のそれぞれの撮像素子のカラーフィルタは、ベイヤー配列以外の配列であってもよい。
CCDイメージセンサ181の撮像素子は、タイミングコントローラ24の制御により、図34に示されるように、画素ピッチの1/nだけずらして(図34においては、n=4とし、画素ピッチの1/4ずらして撮像するものとして図示しているが、nは4以外のいかなる数字であってもかまわない)、タイミングを1/(m×n)ずらして画像情報を取得する。タイミングコントローラ24は、コントローラ25の制御に基づいて、基準同期信号発生部26から供給されるmHzの基準同期信号を、1/(m×n)ずつ遅延させたトリガ信号を、CCDイメージセンサ181の撮像素子に供給する。
ここでは、タイミングコントローラ24が発生するタイミング信号に基づいて、撮像素子が画素ピッチの1/nだけ移動させるものとして説明したが、撮像素子の位置を固定して、タイミングコントローラ24が発生するタイミング信号に基づいて、光学系の位置を、画素ピッチの1/nだけ移動させるようにしてもよい。
したがって、CCDイメージセンサ181が撮像するフレーム画像データのフレームレートは、(m×n)Hzとなる。
一般にCCDカメラ等で受光部の無効部分を補うために画素ずらしの手段は用いられているが、それらは、同時刻の映像を多板の撮像素子で撮像するカメラに用いられたり、異なる時刻の映像を単一の撮像素子あるいは光学系を振動させて撮像するカメラに用いられている(上述したCCDカメラ技術入門、コロナ社、1997, PP109-111に記載の技術)。
しかし、画素ずらしに対応する手法を、異なる時刻の映像を撮像するための構成として適用された例は知られていない。ここで、異なる時刻の撮像により、時間解像度を増すことができる。また、撮像素子または光学系のうちのいずれか一方は固定しているので、安定した高解像度画像を得ることができる。
コントローラ183は、操作入力部32により入力されたユーザの操作入力に基づいて、タイミングコントローラ24、相関2重サンプリング処理部27、A/Dコンバータ28、画像処理部182、コーデック処理部30、メモリ31、および、操作入力部32を制御する。
画像処理部182は、信号処理用プロセッサと画像用RAMを持つブロックで、信号処理用プロセッサが画像用RAMに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものであり、具体的には、一定のレートで画素のストリームデータの供給を受け、画像用RAMに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、例えば、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、および、YC変換などの各種画像処理に加えて、必要に応じて、補間処理を実行する。
図35および図36を用いて。画素ずらし撮像後の補間処理について説明する。
図35において、図に示された数字が記された1/4画素は、この数字の順番に撮像された部分であり、数字が記されていない1/4画素は、データがないことを意味している。このような画像データにおいて、観察者が、画素表示の方向に画素ずらしと略同じ速度で視線を動かした場合、すなわち追従視の場合において、映像が離散的に見えてしまう。この動画質の劣化を防止するためには、空間的に、近傍の画素情報から、線形または非線形補間により、取得していない画素の情報を生成する必要がある。
図36は、図35において数字が記されていなかった1/4画素のそれぞれに対して、空間的に補間処理を施し、全ての1/4画素がデータを有するように変換しているデータを示す。これらを固定視すなわち、画面の1箇所に視線を固定して観察した場合には、時間周波数が十分高ければ、いずれも眼の積分効果により、空間的に連続な緻密な映像として見える。
したがって、画素ずらしを行って撮像し、空間的に補間して表示することで、時間方向の解像度を保ちつつ、映像品質を高めることができる。
次に、図37のフローチャートを参照して、図33の撮像装置171が実行する画像取得処理2について説明する。
ステップS81において、タイミングコントローラ24は、基準同期信号発生部26が発生するmHzの基準同期信号を基に、画素ずらしで画像データを取得するタイミング信号を発生して、CCDイメージセンサ181に供給する。
ステップS82において、CCDイメージセンサ181は、タイミングコントローラ24から供給されたタイミング信号に基づいて、図34を用いて説明した画素ずらしによって、(m×n)Hzのフレームレートの画像データを取得する。
ステップS83において、相関2重サンプリング処理部27、A/Dコンバータ28、画像処理部182、および、コーデック処理部30は、CCDイメージセンサ23によって取得された(m×n)Hzのフレームレートの画像データに対して、画像処理を行う。
このとき、画像処理部182は、必要に応じて補間処理を含む画像処理を行う。
ステップS84において、メモリ31は、処理された画像の供給を受けて記憶し、処理が終了される。
このような処理により、画素ずらしの手法を用いて、(m×n)Hzのフレームレートの画像データが取得されて記憶される。
また、高解像度の高フレームレート映像を得るために、画素ごとの輝度と色の取得をフレームごとに分離し、フレーム間補間を用いて合成処理を施すようにすることも可能である。
図38は、本発明を適用した撮像装置201の構成を示すブロック図である。
なお、図1における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
図38に示すように、撮像装置201は、レンズ21、プリズム211、CCDイメージセンサ212、タイミングコントローラ24、コントローラ214、基準同期信号発生部26、相関2重サンプリング)処理部27、A/Dコンバータ28、画像処理部213、コーデック処理部30、メモリ31、操作入力部32、および、ドライブ33から構成される。
プリズム211は、図39に示されるように、レンズ21を介して入射された光の反射率が1/n(ここでは、n=4)であるプリズムビームスプリッタで構成され、レンズ21を介して入射された光をn個に分割し、CCDイメージセンサ212のn個の撮像素子212−1乃至212−nに供給する。
CCDイメージセンサ212は、光を電気に変換する受光素子(画素)を複数個並べ、光の変化を画素ごとに独立して電気信号に変換する撮像素子をn個含むものである。なお、CCDイメージセンサ212は、撮像素子をn個含んでいるが、いわゆる複板式のCCDイメージセンサではなく、受光素子ごとに、例えば、RGBの3原色のカラーフィルタがモザイク状に並べられているベイヤー配列などのカラーフィルタが構成されている、一般的な単板式のCCDイメージセンサと、カラーフィルタを用いずに、輝度情報のみを取得する受光素子とがそれぞれ同数設けられて構成されているものである。CCDイメージセンサ212の一方の撮像素子のカラーフィルタは、ベイヤー配列以外の配列であってもよい。
CCDイメージセンサ212のそれぞれの撮像素子は、タイミングコントローラ24の制御により、それぞれ1/(n×m)秒だけずれたタイミングで、画像情報を取得する。タイミングコントローラ24は、コントローラ214の制御に基づいて、基準同期信号発生部26から供給される基準同期信号を1/(n×m)秒ずつ遅延させたトリガ信号を、CCDイメージセンサ212の撮像素子212−1乃至212−nに供給する。
コントローラ214は、操作入力部32により入力されたユーザの操作入力に基づいて、タイミングコントローラ24、相関2重サンプリング処理部27、A/Dコンバータ28、画像処理部213、コーデック処理部30、および、メモリ31を制御する。基準同期信号発生部26は、タイミングコントローラ24がCCDイメージセンサ212の複数の撮像素子を制御するための基準となる同期信号を発生し、タイミングコントローラ24に供給する。
図40を用いて、画素ごとの輝度と色の取得をフレームごとに分離し、画像処理部213により、フレーム間補間を用いて、高解像度の高フレームレート映像を得るしくみについて説明する。
例として、CCDイメージセンサ212のうちの2/n個の撮像素子のカラーフィルタが、RGB水平配列の640カラー画素(RGBで1画素として)であり、残りの2/n個の撮像素子が輝度情報のみ取得する(水平1920モノクロ画素)ようになされている場合について考える。カラーフィルタを有する撮像素子は、撮像素子の規模としては水平640×3=1920モノクロ画素と同等である。画質としては、1920のカラー画素が理想であるが、上述の撮像素子しか使えない場合を想定する。
例えば、撮像素子が4枚(n=4)の場合、撮影の順で1番目と3番目に水平640カラー画素、2番目と4番目に水平1920モノクロ画素を取得する撮像素子を割り当てる。画像処理部213は、取得された2番目と4番目のモノクロ画像に対応する画像信号から、内挿処理によってフレーム補間画像を作る。そして、画像処理部213は、次に取得された3番目のカラー画像に対応する画像信号から、(R+G+B)/3の演算処理により輝度を抽出した水平640画素のモノクロ画像を生成する。そして、画像処理部213は、その1画素の値にフレーム補間画像の対応する3画素の値を正規化して掛け算し、水平1920画素のモノクロ画像を生成する。
この処理は、すなわち、カラーフィルタを用いて撮影された映像の画素ごとの輝度は変化させずに、輝度の勾配の解像度を3倍に拡大したことに相当する。同様の手順を繰り返すことにより連続した水平1920画素のモノクロ画像が取得できる。更に次にこれらに色情報を付与する。色情報は、1番目と3番目の撮像処理で取得できているので、この情報を1番目と3番目の水平1920画素のモノクロ画像に適用する。
すなわち、モノクロ画像の値をYmono、色情報をそれぞれRorg,Gorg,Borgとし、合成処理後の新しい高解像度のRGBの値を、それぞれRnew,Gnew,Bnewとした場合、高解像度のRGBの値Rnew,Gnew,Bnewは、次の式(1)乃至式(3)で求められる。
Rnew=Ymono*Rorg/(Rorg+Gorg+Borg) ・・・(1)
Gnew=Ymono*Gorg/(Rorg+Gorg+Borg) ・・・(2)
Bnew=Ymono*Gorg/(Rorg+Gorg+Borg) ・・・(3)
このようにして得られる映像信号は、3色のバランスは変えずに3倍の輝度についての解像度を反映させた映像である。そして、2番目と4番目の水平1920モノクロ画素の画像にも、同様にして色情報を付与するようにすればよい。
ここで、それぞれの画素データを精度良く求めるには、カラー画像の内挿画像からフレーム補間画像を生成し、それらの色情報により、上述した方法で、3倍密度のカラー画像を作る方法もあるが、例えば、演算コストの向上を考慮して、それぞれ、1番目3番目のカラー情報をそのまま利用するようにしてもよい。
1番目3番目のカラー情報をそのまま利用するようにした場合、時間方向には、色情報のみ1/2の時間周波数となり、動画像として、追従視の際の色情報は半減する。しかしながら、図41に示されるように、人の視覚にとって、通常の空間周波数の対象については、輝度情報に比較して色情報はコントラスト感度関数が低い。すなわち、人の視覚にとって、色情報は、ボケが知覚されにくい性質があるので、輝度情報の時間周波数を高めることにより、動画質の劣化を低く抑えることができる。
このようにして、限られた映像リソースで、高動画質を得ることができる。
なお、カラーフィルタの配列が、上述したRGB水平配列以外のいかなる配列(例えば、ベイヤー配列、原色4色配列、補色3色配列、補色4色配列など)を用いた場合にも、本発明が適用可能であることは言うまでもない。
次に、図42のフローチャートを参照して、図33の撮像装置171が実行する画像取得処理3について説明する。
ステップS101において、プリズム211は、レンズ21を介して入射された光をn分割して、CCDイメージセンサ212の2個の撮像素子212−1乃至212−nに供給する。
ステップS102において、タイミングコントローラ24は、基準同期信号発生部26から供給されるmHzの基準同期信号を、CCDイメージセンサ212に供給し、CCDイメージセンサ212は、mHzの基準同期信号を基に、n個の撮像素子212−1乃至212−nのうちのいずれかによって、色情報を有する画像データ、および、輝度情報を有する画像データをそれぞれ取得する。
ステップS103において、相関2重サンプリング処理部27、A/Dコンバータ28、画像処理部213、および、コーデック処理部30は、CCDイメージセンサ212によって取得されたmHzのフレームレートの画像データに対して、画像処理を行う。このとき、画像処理部213は、図40を用いて説明した合成処理を含む画像処理を行う。
ステップS104において、メモリ31は、処理された画像の供給を受けて記憶し、処理が終了される。
このような処理により、限られた映像リソースで、高動画質を得ることができる。
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
この記録媒体は、図1、図9、図26、図28、図31、図33、図38に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク41または71(フレキシブルディスクを含む)、光ディスク42または72(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク43または73(MD(Mini-Disk)(商標)を含む)、もしくは半導体メモリ44または74などよりなるパッケージメディアなどにより構成される。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。