JP4320658B2 - 撮像装置、制御方法、並びにプログラム - Google Patents

Description

本発明は、撮像装置、制御方法、並びにプログラムに関し、特に、電子ズーム機能によって拡大して出力する画像をメモリから読み出すタイミングを早くすることによって生じる最大拡大率の低下を防止することができるようにした撮像装置、制御方法、並びにプログラムに関する。

従来より、画像を電気信号に変換する撮像装置、例えばビデオカメラなどには、撮影画像を一時的に記憶する画像メモリを設けることにより、手振れ補正および電子ズームなどの効果を施す機能が付加されている。

ここで、手振れ補正とは、ビデオカメラの撮影者の手振れ情報をジャイロセンサ等で取得し、その情報を基に画像の一部分を切り出して、画素値を近隣の画素値で補間処理することにより、切り出した部分を標準の画角の画像に電気的に拡大あるいは縮小するものである。また、電子ズームとは、画像の一部分を切り出して、不足する画素値を近隣の画素値で補間処理することにより、切り出した部分を標準の画角の画像に電気的に拡大するものである。

図１は、従来の画像表示装置における全画面表示時の連続３画面分の画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートの一例を示す図である。

図１では、水平１９２０画素×垂直５４０ラインの入力画像を水平１４４０画素×垂直５４０ラインの出力画像に解像度変換する様子が示されている。

画像メモリはリングバッファで構成され、その画像メモリに対するデータの書き込みが破線、書き込まれたデータの読み出しが実線で示されている。画像メモリは、例えば、入力画像の横方向の画素数を変換することによって得られた画像が書き込まれるメモリである。画像メモリに書き込まれた画像に対しては、そこから読み出された後に縦方向のライン数の変換が適宜施され、得られた画像が出力画像として出力される。

この画像メモリのアドレスは０から始まり、１ライン書き込む毎に次のラインの書き込みアドレスが１ライン分加算される。アドレスが画像メモリの最後まで到達した場合、図に示されるように次のラインの書き込みアドレスは０に戻り、再び、１ライン書き込む毎に１ライン分加算されるといったことが続けられる。データの書き込み先となるアドレスは１画面分の処理が終了しても保持され、次画面の処理（書き込み）は保持されていたアドレスから継続して行われる。

入力同期信号と出力同期信号は互いに同期して発せられており、画像メモリに画像が書き込まれている間、その書き込まれている画像よりも１Ｖ前の画像が画像メモリから読み出される。すなわち、例えば、期間（ｔ１１〜ｔ１２）で画像メモリに書き込まれた画像１は、１Ｖ遅れた期間（ｔ１３〜ｔ１４）で画像メモリから解像度変換されて読み出されるが、この期間（ｔ１３〜ｔ１４）においては同時に次画面の画像２の書き込みが行われる。同様に、期間（ｔ１５〜ｔ１６）において画像３の書き込みが行われると同時に、画像３よりも１画面前の画像２の読み出しが行われる。

図２は、従来の画像表示装置における手振れ補正を想定した動作例として、水平１９２０画素×垂直５４０ラインの入力画像を、その画面中央の水平１６００画素×垂直４５０ラインを有効範囲に指定して、水平１４４０画素×垂直５４０ラインの出力画像に解像度変換する様子を示す図である。

また、従来の画像表示装置における手振れ補正を想定した他の動作例として、有効範囲が水平１６００画素×垂直４５０ライン（画面上部）、水平９６０画素×垂直２７０ライン（画面中央）、水平１６００画素×垂直４５０ライン（画面下部）と順に変化させた場合の画像メモリのアドレス推移と画像の入出力タイミングを図３に示す。

図２および図３の動作例においても、図１の動作例と同様に、入力同期信号と出力同期信号は互いに同期して発せられており、画像メモリに画像が書き込まれている間、その画像よりも１Ｖ前の画像が画像メモリから読み出されている。これらの例では、入力画像の書き込み期間が有効範囲画像のライン位置に対応して変化するが、読み出し期間は同一で常に一定の出力タイミングで画像が出力されている。

特許第３４０６９２４号公報

従来の画像表示装置において、入力画像を一時的に記憶する画像メモリは、少なくとも１画面（フィールドまたはフレーム）分の記憶容量を必要としていた。従って、例えばハイビジョン（ＨＤ）映像の１フィールド分の輝度及び色差信号を各々８ビットで記憶すると、そのままでは記憶容量として約１２Ｍビット必要となり、画像メモリが大型化するだけでなく高価になる。

そこで、画像メモリの入力側に圧縮符号化回路を設けるとともに、画像メモリの出力側に伸長復号化回路を設けて、画像メモリの記憶容量を少なくて済むようにしたり、電子ズーム倍率によって圧縮時の量子化係数を制御する方法が開示されている（特許文献１参照）。

そのような構成によれば、必要となる画像メモリの容量の一部削減にある程度貢献できる反面、圧縮符号化回路や伸長復号化回路等の回路の追加が必要となり、また、圧縮処理を施すことにより少なからず画質の劣化を招き、特に、電子ズーム時には電子ズーム自体の画質劣化と相まって画質は更に劣化してしまう。

本発明はこのような状況に鑑みてなされたものであり、例えば、解像度変換に要する画像メモリの容量の削減を図ることができるようにするものである。また、画像メモリの容量を減らすことによって（出力画像をメモリから読み出すタイミングを早くすることによって）生じる最大拡大率の低下を防止することができるようにするものである。

本発明の一側面の撮像装置は、撮像された画像全体の一部を拡大して表示する電子ズーム機能を有する撮像装置において、画像の読み出しの開始位置を切り替え可能な撮像手段と、メモリからの画像の読み出しのタイミングのときに画像全体の中心を基準とした所定の範囲のデータの少なくとも一部が書き込まれているように、前記撮像手段により読み出され、撮像結果として入力された画像のうちの前記所定の範囲の画像を抽出し、抽出した画像を前記メモリに書き込む書き込み手段と、前記書き込み手段により前記メモリに書き込まれた画像の読み出しを前記読み出しのタイミングのときに開始し、前記メモリから読み出した前記所定の範囲の画像を所定の解像度の画像に変換して出力する読み出し手段と、前記撮像手段が撮像可能な画像全体を撮像結果として読み出す状態から、前記撮像手段が撮像可能な画像全体を垂直方向に分割した所定の数のブロックのうちの最も上のブロックと最も下のブロックを除くブロックからなる画像を撮像結果として読み出す状態になるように、前記撮像手段の読み出しの開始位置を制御する制御手段と、前記撮像手段の読み出しの開始位置の制御が前記制御手段により行われた直後の１画面を基準として、基準の前記１画面の直前の１画面の最大露光時間を、それより１画面だけ前の１画面の最大露光時間と基準の前記１画面の最大露光時間の中間の時間になるように制御し、基準の前記１画面の直後の１画面の最大露光時間を、それより１画面だけ後の１画面の最大露光時間と基準の前記１画面の最大露光時間の中間の時間になるように制御する露光時間制御手段とを備える。

入力された画像に対する入力同期信号と、読み出し手段により出力される画像に対する出力同期信号は互いに非同期であり、前記入力同期信号をＶとしたとき、前記出力同期信号は前記入力同期信号に対して（１／３）Ｖ遅れて出力されるようにすることができる。

本発明の一側面の制御方法またはプログラムは、メモリからの画像の読み出しのタイミングのときに画像全体の中心を基準とした所定の範囲のデータの少なくとも一部が書き込まれているように、読み出され撮像結果として入力された画像のうちの前記所定の範囲の画像を抽出し、抽出した画像を前記メモリに書き込み、前記メモリに書き込まれた画像の読み出しを前記読み出しのタイミングのときに開始し、前記メモリから読み出した前記所定の範囲の画像を所定の解像度の画像に変換して出力し、撮像手段が撮像可能な画像全体を撮像結果として読み出す状態から、前記撮像手段が撮像可能な画像全体を垂直方向に分割した所定の数のブロックのうちの最も上のブロックと最も下のブロックを除くブロックからなる画像を撮像結果として読み出す状態になるように、読み出しの開始位置を制御し、前記撮像手段の読み出しの開始位置の制御を行う直後の１画面を基準として、基準の前記１画面の直前の１画面の最大露光時間を、それより１画面だけ前の１画面の最大露光時間と基準の前記１画面の最大露光時間の中間の時間になるように制御し、基準の前記１画面の直後の１画面の最大露光時間を、それより１画面だけ後の１画面の最大露光時間と基準の前記１画面の最大露光時間の中間の時間になるように制御するするステップを含む。

本発明の一側面においては、撮像手段の読み出しの開始位置の制御が行われる直後の１画面を基準として、基準の前記１画面の直前の１画面の最大露光時間が、それより１画面だけ前の１画面の最大露光時間と基準の前記１画面の最大露光時間の中間の時間になるように制御され、基準の前記１画面の直後の１画面の最大露光時間が、それより１画面だけ後の１画面の最大露光時間と基準の前記１画面の最大露光時間の中間の時間になるように制御される。

本発明によれば、最大拡大率の低下を防止することができる。

以下、本発明の実施の形態について図面を参照して説明する。

図４は本発明の実施の形態に係る画像表示装置１の概略構成図である。

本実施の形態では、画像表示装置１としてデジタルビデオカメラへの適用例を示す。画像表示装置１は、レンズ１１、撮像素子１２、Ａ／Ｄ（Analog/Digital）変換器１３、信号処理回路１４、制御部１５、および解像度変換及び電子ズーム回路部（以下「解像度変換部」という）１６から構成される。

撮像素子１２は、例えばX-Yアドレス型のCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等で構成され、レンズ１１を介して取り込まれた被写体からの光を電気信号に変換し、変換して得られたアナログの画像信号をＡ／Ｄ変換器１３に出力する。

Ａ／Ｄ変換器１３は、撮像素子１２からのアナログの画像信号をデジタルの画像信号に変換し、得られたデジタルの画像信号を信号処理回路１４に出力する。

信号処理回路１４は、ガンマ補正やカラーバランス調整等のカメラ信号処理をＡ／Ｄ変換器１３から供給された画像信号に対して施し、輝度信号及び色差信号を各々８ビットの画像信号として出力する。

制御部１５は、手振れ補正や電子ズームに応じた入力画像の有効範囲を解像度変換部１６に対して指定する。また、制御部１５は、適宜、読み出しの開始位置を撮像素子１２に対して指定する。後述するように、撮像素子１２の最上部のブロック（画素のまとまり）からではなく、それより下方にあるブロックを開始位置としたデータの読み出しが電子ズームの拡大率に応じて行われる。

解像度変換部１６は、制御部１５からの有効範囲情報に応じて必要な画像データのみを抽出し、出力画像の解像度に変換した画像信号（ビデオ信号）を出力する。

図５は、解像度変換部１６の詳細な構成例を示すブロック図である。

解像度変換部１６は、横解像度変換回路２１、画像メモリ２２、および縦解像度変換回路２３から構成される。

横解像度変換回路２１は、画像メモリ２２の前段に置かれ、信号処理回路１４からの入力画像のうち、横方向（水平方向）に関して制御部１５より指定された有効範囲のみを抽出し、補間演算により出力画像の解像度に変換する。処理はライン単位で行われる。処理したラインが有効範囲内であれば、横解像度変換回路２１はそのラインのデータを画像メモリ２２に書き込む。

縦解像度変換回路２３は、画像メモリ２２の後段に置かれ、制御部１５より指定された有効範囲のラインのデータを画像メモリ２２から読み出し、縦方向（垂直方向）に関して補間演算により出力画像の解像度に変換して出力する。

画像メモリ２２は、例えばＤＲＡＭ等の半導体記憶素子で構成され、横解像度変換回路２１により出力画像の横解像度と同じ解像度にその横方向の解像度が変換された入力画像の画像データを一時的に記憶する。例えば、画像メモリ２２の容量は、
Ｘ＝出力画像の横方向の解像度
Ｙ＝入力画像の縦方向のライン数の１／２＋マージン（１０％程度）
として、（Ｘ＊Ｙ）分のデータを記憶可能な容量とされる。

従って、画像メモリ２２には、入力画像の１画面分の画像データ全体を書き込むことができない。そこで、画像表示装置１においては、画像メモリ２２への一画面分の画像データの書き込みが終了する前に、その一画面分の画像データの読み出しが開始される。すなわち、入力画像は、従来と同様に同期信号に合わせて一定期間Ｖ毎に連続して入力されるが、出力画像は、従来と異なり、入力画像に対して（１／２）Ｖだけ遅れて一定期間Ｖ毎に連続して出力される。

ここで、全画面表示時（ブロック１乃至７の全体の画像をそのまま出力する時）の連続２画面分の画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートである図６を参照して、画像表示装置１による動作の例について説明する。

図６の例では、水平１７２８画素×垂直６４８ラインの入力画像を水平１４４０画素×垂直５４０の出力画像に解像度変換する様子が示されている。入力画像を垂直方向に７つのブロックに分割し、それぞれのブロックをブロック１乃至７として説明する。

画像メモリ２２はリングバッファで構成され、画像メモリ２２に対するデータの書き込みが破線、画像メモリ２２からのデータの読み出しが実線で示されている。

画像メモリ２２のアドレスは０から始まり、１ライン書き込む毎に次のラインの書き込みアドレスが１ライン分加算される。アドレスが画像メモリの最後まで到達した場合、図に示されるように次のラインの書き込みアドレスは０に戻り、再び、１ライン書き込む毎に１ライン分加算されるといったことが続けられる。データの書き込み先となるアドレスは、１画面分（ブロック１乃至７）の処理が終了しても保持され、次画面の処理は保持されていたアドレスから継続して行われる。

図６に示されるように、撮像素子１２のブロック１のラインから順次読み出されることによって得られた入力画像は、同期信号に合わせて一定期間Ｖ毎に連続して入力される。また、出力同期信号は入力同期信号とは非同期とされ、この例では、出力画像は、入力画像に対して（１／２）Ｖ遅れて一定期間Ｖ毎に連続して出力される。

画面１の入力画像データは横解像度変換回路２１により画面最上部のブロック１を構成するラインから順に解像度変換され、解像度変換された画像データが順に画像メモリ２２のアドレスにライン毎に書き込まれる。

図６において、時刻ｔ１〜ｔ３の期間にわたって画面１の入力画像データ全体を画像メモリ２２に書き込む場合、画像メモリ２２の縦方向の容量は入力画像データのライン数の半分程度しかないので、書き込みの対象となる入力画像データの例えば半分から下のラインに位置する画像データは、先に書き込まれたラインの画像データに上書きされることになる。

そこで、画像表示装置１においては、図６に示されるように、画像メモリ２２に対する画面１の全ての入力画像データの書き込みが終了する前の、画像入力から（１／２）Ｖ経過した時刻ｔ２に縦解像度変換回路２３による画面１の入力画像データの縦解像度変換処理が開始されるようになされている。

この（１／２）Ｖの期間内に画像メモリ２２に既に書き込まれている入力画像データの最上部ラインから下の所定ラインにかけて縦解像度変換処理が行われることにより、入力画像データの前半部分が後半部分による上書きによって消失する前に、出力画像の縦解像度と同じものにした画像を出力することが可能となる。

図６において、画面１の入力画像データの読み出しは時刻ｔ２〜ｔ５の期間にわたって縦解像度変換回路２３により行われ、その期間内の時刻ｔ４に、画面２の入力画像データの書き込みが横解像度変換回路２１により開始される。

同様に、画面２の画像データの入力から（１／２）Ｖ経過した時刻ｔ６に画面２の画像データの読み出しが行われ、以降、次の画面である画面３（図示せず）の書き込み及び読み出しが順に行われる。

なお、この全画面表示時における入力画像データの書き込み速度および読み出し速度は共に同じであり、画像データの書き込み処理が読み出し処理を追い越すことはない。

次に、図７を参照して、手振れ補正や電子ズームを行うときの動作例について説明する。

図７においては、水平１７２８画素×垂直６４８ラインの入力画像を、その画面中央のブロック４に含まれる画素を有効範囲に指定して、その有効範囲の解像度を水平１４４０画素×垂直５４０ラインの出力画像に解像度変換する様子が示されている。

横解像度変換部２１は、画面１の入力画像に対して、１ラインあたり１７２８画素のデータを、制御部１５による指定に従って１４４０画素のデータに解像度変換する。横解像度変換部２１は、解像度を変換したラインが制御部１５より指定された縦方向の有効範囲に含まれる場合、変換したデータを画像メモリ２２上の所定のアドレスに書き込む（時刻ｔ１〜ｔ３）。

なお、書き込みアドレスは０から始まり、１ライン書き込む毎に次のラインの書き込みアドレスが１ライン分加算される。データの書き込み先となるアドレスは１画面分の処理が終了しても保持され、次の画面である画面２のデータの書き込みは保持されていたアドレスから継続して行われる。

縦解像度変換回路２３は、画面１の画像データの入力から（１／２）Ｖ時間経過後の時刻ｔ２に処理を開始する。この（１／２）Ｖ時間が経過する間にブロック４の横解像度変換が終了し、得られたデータが画像メモリ２２に書き込まれている。

縦解像度変換回路２３は、処理を行うラインのデータの画像メモリ２２からの読み出しを時刻ｔ２において開始し、読み出したデータを縦出力解像度５４０のものに解像度変換して出力する。このとき、画像メモリ２２からの読み出しアドレスは、画像メモリ２２には有効範囲のラインしか書き込まれていないことを考慮して設定される。

図７において、画面１の入力画像データの読み出しは時刻ｔ２〜ｔ５の期間にわたって縦解像度変換回路２３により行われ、その期間内の時刻ｔ４に、画面２の入力画像データの書き込みが横解像度変換回路２１により開始される。

同様に、画面２の画像データの入力から（１／２）Ｖ経過した時刻ｔ６に画面２の画像データの読み出しが行われ、以降、次の画面である画面３（図示せず）の書き込み及び読み出しが順に行われる。

以上の処理の結果、入力画像のうちの有効範囲の部分が出力画像と同じ解像度の画像に変換され、入力画像に対して（１／２）Ｖ遅れて出力画像として出力される。

以上のようなタイミングで画像メモリ２２に対するデータの書き込みと画像メモリ２２からのデータの読み出しが行われることにより、手振れ補正や電子ズームのために１画面（フィールドまたはフレーム）分の容量を必要としていた従来の画像メモリに比べて、画質の劣化を招いたり、圧縮／伸長回路を追加することなく、メモリ容量を半分程度に削減することが可能となる。すなわち、画像メモリ２２の小型化および低廉化を図ることができる。

なお、以上においては、入力画像から（１／２）Ｖだけ遅延して出力画像が出力される関係上、有効範囲の先頭ラインは入力画面の半分（１／２）より上のラインに限定されることになるが、ビデオカメラの手振れ補正や電子ズームに関しては画面の中央付近を有効画面とする場合がほとんどなので、特に問題となることはない。

また、入力画像に対する出力画像の出力遅延タイミングは上記（１／２）Ｖに限らず、これよりも早くしたり、遅くすることができる。前者の場合、メモリ容量の更なる削減が図れることになる。メモリ容量の更なる削減が要求されていることから、例えば、出力遅延タイミングを（１／３）Ｖとし、１画面全体を記録可能な従来の容量と較べて画像メモリ２２の容量を１／３程度のものとすることができる。

図８は、出力遅延タイミングを（１／３）Ｖだけ確保したときの画像メモリ２２のアドレス推移とタイミングについて示す図である。

図８においても、水平１７２８画素×垂直６４８ラインの入力画像を水平１４４０画素×垂直５４０ラインの出力画像に解像度変換する様子が示されている。

図８に示されるように、撮像素子１２のブロック１のラインから順次読み出されることによって得られた入力画像は、同期信号に合わせて一定期間Ｖ毎に連続して入力される。また、出力同期信号は入力同期信号とは非同期とされ、この例では、出力画像は、入力画像に対して（１／３）Ｖ遅れて一定期間Ｖ毎に連続して出力される。

すなわち、図８に示されるように、画像メモリ２２に対する画面１の全ての入力画像データの書き込みが終了する前の、画像入力から（１／３）Ｖ経過した時刻ｔ２に縦解像度変換回路２３による画面１の入力画像データの縦解像度変換処理が開始されるようになされている。

この（１／３）Ｖ時間の期間内に画像メモリ２２に既に書き込まれている入力画像データの最上部ラインから下の所定ラインにかけて縦解像度変換処理が行われることにより、入力画像データの前半の１／３の部分がそれより後の部分による上書きによって消失する前に、出力画像の縦解像度と同じものにした画像を出力することが可能となる。

図８において、画面１の入力画像データの読み出しは時刻ｔ２〜ｔ５の期間にわたって縦解像度変換回路２３により行われ、その期間内の時刻ｔ４に、画面２の入力画像データの書き込みが横解像度変換回路２１により開始される。

同様に、画面２の画像データの入力から（１／３）Ｖ経過した時刻ｔ６に画面２の画像データの読み出しが行われ、以降、次の画面である画面３（図示せず）の書き込み及び読み出しが順に行われる。

図９は、出力遅延タイミングを（１／３）Ｖだけ確保した場合の画像メモリ２２のアドレス推移とタイミングについて示す他の図である。

、
図９においては、水平１７２８画素×垂直６４８ラインの入力画像を、その画面中央のブロック３乃至５に含まれる画素を有効範囲に指定して、その有効範囲の解像度を水平１４４０画素×垂直５４０ラインの出力画像に解像度変換する様子が示されている。

横解像度変換部２１は、画面１の入力画像に対して、１ラインあたり１７２８画素のデータを、制御部１５による指定に従って１４４０画素のデータに解像度変換する。横解像度変換部２１は、解像度を変換したラインが制御部１５より指定された縦方向の有効範囲であるブロック３乃至５の範囲に含まれる場合、変換したデータを画像メモリ２２上の所定のアドレスに書き込む（時刻ｔ１〜ｔ４）。

なお、書き込みアドレスは０から始まり、１ライン書き込む毎に次のラインの書き込みアドレスが１ライン分加算される。この例においては、１画面分の処理が終了したとき、次のデータの書き込み先となるアドレスは０となり、次画面（画面２）の処理は０のアドレスを最初のデータの書き込み先として行われる。

縦解像度変換回路２３は、画面１の画像データの入力から（１／３）Ｖ時間経過後の時刻ｔ２に処理を開始する。この（１／３）Ｖ時間が経過する間にブロック３の横解像度変換が途中まで終了し、得られたデータが画像メモリ２２に書き込まれている。縦解像度変換回路２３は、時刻ｔ６までの間に、読み出したデータを縦出力解像度５４０のものに解像度変換して出力することをブロック５の最後のラインまで行う。

同様に、画面２の画像データの入力から（１／３）Ｖ経過した時刻ｔ７に画面２のブロック３乃至５の画像データの読み出しが行われ、以降、次の画面である画面３（図示せず）の書き込み及び読み出しが順に行われる。

ところで、上述したように、入力画像に対する出力画像の遅れを１／２Ｖより小さくしたことで、電子ズームの最大拡大率が減少する。これは、遅れを１／２Ｖとした場合、ブロック４だけの解像度を変換して出力することができるのに対し、遅れを１／３Ｖとした場合、出力同期信号に従って画像メモリ２２からの読み出しが行われる以上、ブロック４だけの解像度を変換することはタイミング的に不可能であり、ブロック３乃至５の解像度を変換して出力することが行われるためである。拡大後の出力画像の解像度と大きさが同じである場合、より狭い範囲の画像を拡大した方が最大の拡大率はより高いものになる。

従って、画像表示装置１においては撮像素子１２の読み出し開始位置を変更することが行われ、これにより、遅れを１／３Ｖとしたときでも、遅れを１／２Ｖとしたときと同等の電子ズーム拡大率を得ることが可能となる。

図１０は、中央部（ブロック４）を出力解像度と同じ解像度の画像に変換して出力する場合の画像メモリ２２のアドレス推移とタイミングについて示す図である。

電子ズームなしの状態から、ブロック３乃至５のデータを用いて拡大させる状態までは、図７、図９に示すように撮像素子１２の読み出し開始位置はブロック１となるのに対し、拡大に用いるデータのブロックをブロック４だけとして電子ズームの拡大率をそれ以上にする場合は、図１０に示すように、撮像素子１２の読み出し開始位置をブロック２として切り替える。

これにより、画像（拡大させたいブロック４）の入力タイミングが早まり、出力同期信号に従ってブロック４のみを画像メモリ２２から読み出すことができ、ブロック４だけの拡大が可能となる。

なお、図１０においては、各ブロックのうちのブロック１と７は読み出されずにその間のブロック２乃至６だけが撮像素子１２から読み出されている。

上述したように、撮像素子１２は例えばX-Yアドレス型のＣＭＯＳであり、Ｘ軸方向、Ｙ軸方向の所定のアドレスの画素値だけを読み出すことができるから、このように、拡大させたい範囲に応じた読み出し位置の切り替えが可能となる。

撮像素子１２がローリングシャッタ方式の撮像素子（CMOSセンサ等）の場合、以上のようにして撮像素子１２の読み出し開始位置を変更すると、その変更時（遷移時）に最大露光時間にも変更が生じる。

図１１は、読み出し開始位置を下げる遷移（電子ズームの拡大率を通常（画像メモリ２２から読み出されたブロック３乃至５で拡大できる範囲）より拡大させる遷移）で最大露光時間が短くなることについて示す図である。

図１１において、遷移時の最大露光時間（３）は、遷移前後の最大露光時間（１）、（２）、（４）、（５）よりも短い。従って、この場合、出力画像に現れる最大露光時間の変化の影響を目立たなくするための方法として、制御部１５によって遷移前後の最大露光時間を制御する方法が考えられる。

図１２は、遷移時の最大露光時間（３）が短くなることから、遷移前後の最大露光時間（２）と（４）を、通常時の最大露光時間である最大露光時間（１）、（５）と遷移時の最大露光時間（３）の中間の時間に制御した例を示す図である。

このように遷移前後の最大露光時間を制御することにより、読み出し開始位置の遷移時に最大露光時間が急に変化してしまうことを防止し、出力画像に現れる最大露光時間の変化の影響を目立たなくすることができる。

図１３は、読み出し開始位置を上げる遷移（電子ズームの拡大率を拡大（撮像素子１２の読み出し開始位置をブロック２としてブロック４を拡大する範囲）から通常への遷移）で最大露光時間が長くなることについて示す図である。

図１３において、遷移時の最大露光時間（３）は、遷移前後の最大露光時間（１）、（２）、（４）、（５）よりも長い。従って、この場合、出力画像に現れる最大露光時間の変化の影響を目立たなくするための方法として、制御部１５によって遷移時の最大露光時間を制御する方法が考えられる。

図１４は、遷移時の最大露光時間（３）が大きくなることから、遷移時の最大露光時間（３）を通常時の最大露光時間と同じ時間になるように制御した例を示す図である。

このように最大露光時間を制御することによっても、読み出し開始位置の遷移時に最大露光時間が急に変化してしまうことを防止し、出力画像に現れる最大露光時間の変化の影響を目立たなくすることができる。

図１５のフローチャートを参照して、画像表示装置１の撮像処理について説明する。

ステップＳ１において、横解像度変換回路２１は、入力画像データを読み出して横解像度変換を行い、画像データを画像メモリ２２に書き込む。

ステップＳ２において、制御部１５は、画像入力から（１／３）Ｖが経過したか否かを判定し、画像入力から（１／３）Ｖが経過したと判定するまで処理を繰り返す。そして、画像入力から（１／３）Ｖが経過したと判定された場合、ステップＳ３に進み、縦解像度変換回路２３は、制御部１５による制御の下、画像メモリ２２から入力画像データを読み出して縦解像度変換を行う。

この（１／３）Ｖの期間内に画像メモリ２２に既に書き込まれている入力画像データの最上部ラインから下の所定ラインにかけて縦解像度変換処理が行われることにより、入力画像データの前半の１／３の部分がそれより後の部分による上書きによって消失する前に、出力画像の縦解像度と同じものにした画像を出力することが可能となる。

ステップＳ４において、制御部１５はユーザによる撮像操作が終了したか否かを判定し、ユーザによる撮像操作が終了していないと判定した場合、ステップＳ１に戻り、次画面の撮像処理に移行させる。

そして、ステップＳ４において、ユーザによる撮像操作が終了したと判定された場合、この撮像処理を終了させる。

以上の処理が行われることによって、入力画像のうちの有効範囲の部分が出力画像と同じ解像度の画像に変換され、入力画像に対して（１／３）Ｖ遅れて出力画像として出力される。従って、１画面全体を記録可能な従来の容量と較べて画像メモリ２２の容量を１／３程度のものとすることができる。

なお、入力画像データの解像度、出力画像データの解像度、有効範囲の解像度などは、以上の例に限られるものではなく、仕様等に応じて適宜変更することが可能である。

また、画像表示装置１としてビデオカメラを例に挙げて説明したが、これに限らず、例えばデジタルスチルカメラの動画モード等においも本発明は適用可能である。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。

CPU(Central Processing Unit)１０１は、ROM(Read Only Memory)１０２、または記憶部１０８に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)１０３には、CPU１０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１０１、ROM１０２、およびRAM１０３は、バス１０４により相互に接続されている。

CPU１０１にはまた、バス１０４を介して入出力インターフェース１０５が接続されている。入出力インターフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続されている。CPU１０１は、入力部１０６から入力される指令に対応して各種の処理を実行する。そして、CPU１０１は、処理の結果を出力部１０７に出力する。

入出力インターフェース１０５に接続されている記憶部１０８は、例えばハードディスクからなり、CPU１０１が実行するプログラムや各種のデータを記憶する。通信部１０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

入出力インターフェース１０５に接続されているドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１、または、プログラムが一時的もしくは永続的に格納されるROM１０２や、記憶部１０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部１０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

従来の画像表示装置の一作用を説明する画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートである。 従来の画像表示装置の他の作用を説明する画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートである。 従来の画像表示装置の更に他の作用を説明する画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートである。 本発明の実施の形態による画像表示装置１の概略構成図である。 本発明に係る解像度変換部１６の一構成例を示すブロック図である。 本発明の一作用を説明する画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートである。 本発明の他の作用を説明する画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートである。 本発明の更に他の作用を説明する画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートである。 本発明の更に他の作用を説明する画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートである。 本発明の更に他の作用を説明する画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートである。 読み出し開始位置を下げる遷移で最大露光時間が短くなることについて示す図である。 最大露光時間を制御した例を示す図である。 読み出し開始位置を下げる遷移で最大露光時間が長くなることについて示す図である。 最大露光時間を制御した例を示す図である。 撮像処理を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ 画像表示装置， １１ レンズ， １２ 撮像素子， １３ Ａ／Ｄ変換器， １５ 制御部， １６ 信号処理回路， ２１ 横解像度変換回路， ２２ 画像メモリ， ２３ 縦解像度変換回路

Claims (4)

1. 撮像された画像全体の一部を拡大して表示する電子ズーム機能を有する撮像装置において、
   画像の読み出しの開始位置を切り替え可能な撮像手段と、
   メモリからの画像の読み出しのタイミングのときに画像全体の中心を基準とした所定の範囲のデータの少なくとも一部が書き込まれているように、前記撮像手段により読み出され、撮像結果として入力された画像のうちの前記所定の範囲の画像を抽出し、抽出した画像を前記メモリに書き込む書き込み手段と、
   前記書き込み手段により前記メモリに書き込まれた画像の読み出しを前記読み出しのタイミングのときに開始し、前記メモリから読み出した前記所定の範囲の画像を所定の解像度の画像に変換して出力する読み出し手段と、
   前記撮像手段が撮像可能な画像全体を撮像結果として読み出す状態から、前記撮像手段が撮像可能な画像全体を垂直方向に分割した所定の数のブロックのうちの最も上のブロックと最も下のブロックを除くブロックからなる画像を撮像結果として読み出す状態になるように、前記撮像手段の読み出しの開始位置を制御する制御手段と、
   前記撮像手段の読み出しの開始位置の制御が前記制御手段により行われた直後の１画面を基準として、基準の前記１画面の直前の１画面の最大露光時間を、それより１画面だけ前の１画面の最大露光時間と基準の前記１画面の最大露光時間の中間の時間になるように制御し、基準の前記１画面の直後の１画面の最大露光時間を、それより１画面だけ後の１画面の最大露光時間と基準の前記１画面の最大露光時間の中間の時間になるように制御する露光時間制御手段と
   を備える撮像装置。
2. 入力された画像に対する入力同期信号と、読み出し手段により出力される画像に対する出力同期信号は互いに非同期であり、前記入力同期信号をＶとしたとき、前記出力同期信号は前記入力同期信号に対して（１／３）Ｖ遅れて出力される
   請求項１に記載の撮像装置。
3. 画像の読み出しの開始位置を切り替え可能な撮像手段を備え、撮像された画像全体の一部を拡大して表示する電子ズーム機能を有する撮像装置の制御方法において、
   メモリからの画像の読み出しのタイミングのときに画像全体の中心を基準とした所定の範囲のデータの少なくとも一部が書き込まれているように、読み出され撮像結果として入力された画像のうちの前記所定の範囲の画像を抽出し、抽出した画像を前記メモリに書き込み、
   前記メモリに書き込まれた画像の読み出しを前記読み出しのタイミングのときに開始し、前記メモリから読み出した前記所定の範囲の画像を所定の解像度の画像に変換して出力し、
   前記撮像手段が撮像可能な画像全体を撮像結果として読み出す状態から、前記撮像手段が撮像可能な画像全体を垂直方向に分割した所定の数のブロックのうちの最も上のブロックと最も下のブロックを除くブロックからなる画像を撮像結果として読み出す状態になるように、読み出しの開始位置を制御し、
   前記撮像手段の読み出しの開始位置の制御を行う直後の１画面を基準として、基準の前記１画面の直前の１画面の最大露光時間を、それより１画面だけ前の１画面の最大露光時間と基準の前記１画面の最大露光時間の中間の時間になるように制御し、基準の前記１画面の直後の１画面の最大露光時間を、それより１画面だけ後の１画面の最大露光時間と基準の前記１画面の最大露光時間の中間の時間になるように制御する
   ステップを含む制御方法。
4. 画像の読み出しの開始位置を切り替え可能な撮像手段を備え、撮像された画像全体の一部を拡大して表示する電子ズーム機能を有する撮像装置の処理をコンピュータに実行させるプログラムにおいて、
   メモリからの画像の読み出しのタイミングのときに画像全体の中心を基準とした所定の範囲のデータの少なくとも一部が書き込まれているように、読み出され撮像結果として入力された画像のうちの前記所定の範囲の画像を抽出し、抽出した画像を前記メモリに書き込み、
   前記メモリに書き込まれた画像の読み出しを前記読み出しのタイミングのときに開始し、前記メモリから読み出した前記所定の範囲の画像を所定の解像度の画像に変換して出力し、
   前記撮像手段が撮像可能な画像全体を撮像結果として読み出す状態から、前記撮像手段が撮像可能な画像全体を垂直方向に分割した所定の数のブロックのうちの最も上のブロックと最も下のブロックを除くブロックからなる画像を撮像結果として読み出す状態になるように、読み出しの開始位置を制御し、
   前記撮像手段の読み出しの開始位置の制御を行う直後の１画面を基準として、基準の前記１画面の直前の１画面の最大露光時間を、それより１画面だけ前の１画面の最大露光時間と基準の前記１画面の最大露光時間の中間の時間になるように制御し、基準の前記１画面の直後の１画面の最大露光時間を、それより１画面だけ後の１画面の最大露光時間と基準の前記１画面の最大露光時間の中間の時間になるように制御する
   ステップを含む処理をコンピュータに実行させるプログラム

Images