JP4049897B2

JP4049897B2 - 画像入力装置

Info

Publication number: JP4049897B2
Application number: JP20855798A
Authority: JP
Inventors: 功高柳
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1998-07-09
Filing date: 1998-07-09
Publication date: 2008-02-20
Anticipated expiration: 2018-07-09
Also published as: JP2000032328A

Description

【０００１】
【発明の属する技術分野】
この発明は、非破壊読み出し可能な２次元固体撮像素子を用いた画像入力装置、特に、非破壊読み出し可能な２次元固体撮像素子とストロボ補助光とを用いた焦点検出処理等の高速化可能な画像入力装置に関する。
【０００２】
【従来の技術】
従来、ストロボ補助光を用いた画像入力装置としては種々の提案がなされているが、例えば特開平７−２３３０２号公報には、ストロボ発光のタイミングを示すトリガ信号の入力に同期して固体撮像素子の電荷蓄積動作及び蓄積電荷の読み出し動作を順次行うようにし、ストロボ発光の禁止や発光期間のシフトなどによってストロボ発光のタイミングと蓄積電荷読み出しタイミングとの重なりを回避することにより生じる被写体画像の取り込み漏れや被写体の位置ずれを防止するようにした、ストロボ画像を取り込むための固体撮像装置について開示がなされている。
【０００３】
また、特開平９−３１２７９９号公報には、入射された被写体からの光を光電変換し電気信号として出力する固体撮像素子と、上記被写体に光を照射するストロボ発光管と、上記固体撮像素子の垂直ブランキング期間内に上記ストロボ発光管を発光させる制御手段とを備え、ＣＭＤ等のＸ−Ｙアドレス方式の固体撮像素子と短時間発光のストロボ発光管を用いた場合でも、適正露光量の画像が得られるようにした撮像装置について開示がなされている。
【０００４】
一方、露光量の設定や焦点合わせ等の処理は、画像の一部の領域に着目して処理することが一般的であり、特開平７−１６２７６７号公報には２次元イメージセンサの回路構成の一部を利用して１次元イメージセンサとして利用し、部品を共通化することでコストを削減するようにしたイメージセンサが開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記特開平７−２３３０２号公報及び特開平９−３１２７９９号公報開示の技術は、いずれも適正なストロボ画像を得ることを目的とするものであり、ストロボ画像を得る場合における焦点検出については何も考慮がなされておらず、またストロボ光を焦点検出補助光として用いた場合の信号処理についても何も開示するところがない。また上記特開平７−１６２７６７号公報開示の技術は、２次元イメージセンサの任意行又は任意列の信号を取り出してラインセンサとして機能させるものであり、装置の小型化や低価格化には効果があるものの、ラインセンサとして機能させている期間は２次元イメージセンサの本来の機能である撮像が行えないため、例えば焦点合わせの合格判定後に再度本露光が必要となる等装置の使用上に大きな問題があるが、この点の改善については何も考慮がなされていない。
【０００６】
本発明は、この点に鑑みてなされたもので、ストロボ画像を得る場合に、画像の任意領域を用いた焦点検出処理等を高速に行えると共に、処理中においても映像信号の出力を可能にしたストロボ発光を用いた画像入力装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明は、被写体からの光を光電変換して得られた映像信号を非破壊的に読み出すことの可能な２次元固体撮像素子と、前記被写体に補助光を照射するためのストロボ発光手段と、前記２次元固体撮像素子の任意の複数行の映像信号を記憶可能なラインメモリ手段と、前記ストロボ発光手段の発光前と発光直後の前記２次元固体撮像素子の少なくとも一行以上の同一ラインの映像信号を非破壊的に読み出し前記ラインメモリ手段に記憶させ、該ラインメモリ手段に記憶された発光前の映像信号と発光直後の映像信号の差分処理を行う差分処理手段とで画像入力装置を構成するものである。
【０００８】
このように、ストロボ発光手段の発光前と発光直後の２次元固体撮像素子の少なくとも一行以上の同一ラインの映像信号を非破壊的に読み出すと共にラインメモリ手段に記憶させ、記憶された発光前及び直後の映像信号の差分処理を行うことにより、外光成分やオフセット成分を除去した特定行の映像信号に基づいて、高速且つ高精度で焦点検出処理等用の画像信号を読み出すことが可能となると共に、前記ラインメモリ手段に記憶する際に非破壊的に映像信号を読み出すことにより映像情報が画素に保持されており、前記ラインメモリ手段に信号を読み出した後でも映像信号を走査し出力することが可能になり、更に信号処理系等に関しては外部のラインメモリ素子が不要となり、且つ処理をビデオ走査期間中に行えるため処理速度の遅いＣＰＵの採用が可能となり、小型化や低価格化に適した画像入力装置を実現することができる。
【０００９】
【発明の実施の形態】
次に、実施の形態について説明する。図１は本発明に係る画像入力装置の第１の実施の形態を示すブロック構成図である。図１において、１はｍ×ｎ（垂直×水平）画素からなる非破壊読み出し可能な２次元画素アレイ、２は垂直走査回路、３は水平走査回路で、水平走査回路３から通常のイメージセンサと同様にビデオ出力が得られるようになっている。４はストロボ発光装置、５−１はストロボ発光装置４の発光前の画素アレイ１の特定行（ｉ行）の映像信号を読み出し記憶する第１のラインメモリ、５−２はストロボ発光装置４の発光直後の画素アレイ１の同一の特定行（ｉ行）の映像信号を読み出し記憶する第２のラインメモリ、６は第１のラインメモリ５−１に記憶されているｉ行のストロボ発光前の映像信号と第２のラインメモリ５−２に記憶されているｉ行のストロボ発光直後の映像信号とを読み出して、それらの差信号を形成するライン処理回路、７は上記各構成要素の動作を制御すると共に、前記ライン処理回路６で形成された差信号に基づいて焦点検出（ＡＦ）信号、露出（ＡＥ）制御信号、ホワイトバランス（ＷＢ）制御信号を出力する制御回路（ＣＰＵ）である。なお、上記第１及び第２のラインメモリ５−１，５−２を構成する各メモリ要素は２次元画素アレイ１の列毎に並列に設けられ、ライン処理回路と共にオンチップ化されている。
【００１０】
次に、このように構成されている画像入力装置の動作を、図２に示すタイミングチャートに基づいて説明する。この画像入力装置はストロボ発光装置４を発光させてストロボ光によるビデオ信号を出力させるものであるが、そのビデオ信号の出力に先立って、画素アレイ１の特定行（ｉ行）のストロボ発光前及び直後の映像信号を非破壊的に読み出し、それぞれ第１のラインメモリ５−１と第２のラインメモリ５−２に記憶させる。すなわち、まずストロボ発光前の時刻ｔ₀₁において、制御回路７から送出される書き込み制御パルスＳＨ−１により第１のラインメモリ５−１にｉ行の映像信号が書き込み記憶される。次いで時刻ｔ₀₂において、ストロボ発光装置４の制御回路７による制御によりストロボ発光が行われ、続いてストロボ発光直後の時刻ｔ₀₃において、同じく制御回路７から送出される書き込み制御パルスＳＨ−２により第２のラインメモリ５−２にｉ行の映像信号が書き込み記憶される。
【００１１】
次いで、時刻ｔ₁においてビデオ信号出力のための走査が開始されると共に、第１及び第２のラインメモリ５−１，５−２に記憶されている同一行のストロボ発光前及び直後の映像信号を読み出して、ライン処理回路６において、それらの差信号を生成する差分処理を行い、外光成分やオフセット成分を除去したストロボ光に基づく特定行の映像信号を形成し、時刻ｔ₂においてその映像信号に基づいて、制御回路７において焦点検出（合焦点判定処理）動作や、露出制御信号、ホワイトバランス制御信号を形成し、時刻ｔ₃〜ｔ₄においてフィードバック信号として出力し、次のストロボ発光までに光学系のピントや光源強度の設定を修正する。
【００１２】
このように、ストロボ発光前及び直後の特定行の映像信号を外部に出力せずに撮像素子内部に記憶させ、この映像信号に基づいて焦点検出信号あるいは露出制御信号やホワイトバランス制御信号を形成するようにしているので、通常のビデオ信号を用いて焦点検出信号や露出制御信号及びホワイトバランス制御信号を形成する場合に比較して、高速で焦点検出用の映像信号を記憶できると共に、前記特定行の画像上の位置が変更された場合でも同じタイミングで前記特定行の映像信号を記憶できる。更に前記特定行の映像信号は非破壊的に読み出されるため、その後のビデオ信号用の走査に関しても画像情報を欠落することなく得ることができる。
【００１３】
また、上記のように１フレームの始期において発光動作が行われるストロボ発光前及び直後の特定行の映像信号に基づいて焦点検出等のための映像情報の取り込みを行っており、しかもストロボ発光前及び直後に読み出される映像信号のラインメモリへの書き込みは並列的に行われ余り時間を必要としないので、前記特定行の映像信号記憶後にビデオ信号を走査している時間を処理時間に当てることが可能となり、余り処理速度の速くないＣＰＵを制御装置として用いることが可能となる。
【００１４】
また、上記実施の形態においては、ストロボ発光の発光前及び発光直後に読み出す画素アレイの特定行を１行としたものについて説明を行ったが、複数ラインの任意の領域のストロボ発光前及び発光直後の映像信号を読み出し、これらの映像信号に基づいて、焦点検出処理動作及び露出制御信号、ホワイトバランス制御信号の形成処理を行うようにしてもよい。この場合は、読み出しライン数に対応させてラインメモリを構成する。
【００１５】
次に、第２の実施の形態について説明する。図３は第２の実施の形態を示すブロック構成図で、この実施の形態は、ストロボ発光で得られる映像信号をより正確に取り込みたい場合、つまりストロボ発光成分だけの映像信号を取り込みたい場合があるが、ストロボ発光させてその直後に映像信号を取り込みストロボ発光前の映像信号との差信号を形成しても、ストロボ発光中における外光成分は入ってしまうことになるので、このストロボ発光中における外光成分を除去して、外光除去精度をより向上させるようにするものである。
【００１６】
すなわち、図３に示すように、第１及び第２のラインメモリ５−１，５−２の他に第３のラインメモリ５−３を追加して設け、図４のタイミングチャートに示すように、第１のラインメモリ５−１には、第１の実施の形態と同様なタイミングｔ₀₁でストロボ装置４の発光前において画素アレイ１の特定行（ｉ行）から読み出した映像信号を記憶させ、第２のラインメモリ５−２には、ストロボ装置４の発光の直前ｔ₀₂において画素アレイ１の同一行から読み出した映像信号を記憶させ、続いて時刻ｔ₀₃においてストロボ発光を行わせ、第３のラインメモリ５−３には、ストロボ装置４の発光直後ｔ₀₄において画素アレイ１の同一行から読み出した映像信号を記憶させる。
【００１７】
そして、第１のラインメモリ５−１に記憶されている映像信号を SIG_SH1，第２のラインメモリ５−２に記憶されている映像信号を SIG_SH2，第３のラインメモリ５−３に記憶されている映像信号を SIG_SH3とすると、次式（１），（２）のように表すことができる。
SIG_SH2＝ SIG_SH1＋Ｅ_DARK×（ｔ₀₂−ｔ₀₁）・・・・・・・・・（１）
SIG_SH3＝ SIG_SH1＋Ｅ_DARK×（ｔ₀₄−ｔ₀₁）＋Ｅ_SIG ・・・・・（２）
ここで、Ｅ_DARK×ｔは外光による信号成分、Ｅ_SIGはストロボ露光による信号成分を表している。上記（１），（２）式よりＥ_SIGを求めると、次式（３）が得られる。
Ｅ_SIG＝ SIG_SH3−｛（ｔ₀₄−ｔ₀₁）／（ｔ₀₂−ｔ₀₁）｝× SIG_SH2
＋｛（ｔ₀₄−ｔ₀₁）／（ｔ₀₂−ｔ₀₁）｝× SIG_SH1・・・・（３）
上記（３）式の差分処理をライン処理回路６で行うことにより、ストロボ発光中の外光成分も除去され、外光除去精度がより向上したストロボ光のみに基づく映像信号を生成することができる。
【００１８】
この実施の形態においても、ストロボ発光の発光前、直前及び直後に読み出す画素アレイのライン数を複数のラインとし、この複数ライン領域の映像信号を読み出して、それに基づいて焦点検出処理動作及び露出制御信号、ホワイトバランス制御信号の形成処理を行うようにしてもよい。
【００１９】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、ストロボ発光手段と非破壊読み出し可能な２次元固体撮像素子とを用い、ストロボ発光手段の発光前と発光直後の２次元固体撮像素子の少なくとも一行以上の特定の同一ラインの非破壊読み出しによる映像信号をラインメモリ手段に記憶させ、記憶された発光前及び直後の映像信号の差分処理を行うようにしているので、外光成分やオフセット成分を除去した特定行の映像信号に基づいて、高速且つ高精度で焦点検出、露出制御、オートホワイトバランス制御を行わせることが可能となると共に、前記ラインメモリ手段に記憶する際に非破壊的に映像信号を読み出すことにより映像情報が画素に保持されており、前記ラインメモリ手段に信号を読み出した後でも映像信号を走査し出力することが可能になり、更に信号処理系等に関しては外部のラインメモリ素子が不要となり、且つ処理をビデオ走査期間中に行えるため処理速度の遅いＣＰＵの採用が可能となり、小型化や低価格化に適した画像入力装置を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る画像入力装置の第１の実施の形態を示すブロック構成図である。
【図２】図１に示した第１の実施の形態の動作を説明するためのタイミングチャートである。
【図３】本発明の第２の実施の形態を示すブロック構成図である。
【図４】図３に示した第２の実施の形態の動作を説明するためのタイミングチャートである。
【符号の説明】
１画素アレイ
２垂直走査回路
３水平走査回路
４ストロボ発光装置
５−１第１のラインメモリ
５−２第２のラインメモリ
５−３第３のラインメモリ
６ライン処理回路
７制御回路

Claims

被写体からの光を光電変換して得られた映像信号を非破壊的に読み出すことの可能な２次元固体撮像素子と、前記被写体に補助光を照射するためのストロボ発光手段と、前記２次元固体撮像素子の任意の複数行の映像信号を記憶可能なラインメモリ手段と、前記ストロボ発光手段の発光前と発光直後の前記２次元固体撮像素子の少なくとも一行以上の同一ラインの映像信号を非破壊的に読み出し前記ラインメモリ手段に記憶させ、該ラインメモリ手段に記憶された発光前の映像信号と発光直後の映像信号の差分処理を行う差分処理手段とを備えていることを特徴とする画像入力装置。
前記差分処理手段により差分処理された信号に基づいて、焦点検出、露出制御、ホワイトバランス調節の少なくともいずれか一つの信号処理を行う信号処理手段を備えていることを特徴とする請求項１に係る画像入力装置。
前記信号処理手段は、前記２次元固体撮像素子の１フレーム走査期間中に前記信号処理を行うように構成されていることを特徴とする請求項２に係る画像入力装置。
前記ラインメモリ手段を構成するメモリ要素は、前記２次元固体撮像素子の列毎に並列に設けられ、前記ストロボ発光手段の発光前と発光直後の前記２次元固体撮像素子の少なくとも一行以上の同一ラインの映像信号を非破壊的に読み出す際に、行単位で並列に前記メモリ要素に記憶させ差分処理を行うように構成されていることを特徴とする請求項１〜３のいずれか１項に係る画像入力装置。