JPWO2015004975A1

JPWO2015004975A1 - 撮像システム

Info

Publication number: JPWO2015004975A1
Application number: JP2014556294A
Authority: JP
Inventors: 秀次高橋
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2013-07-09
Filing date: 2014-04-30
Publication date: 2017-03-02
Anticipated expiration: 2034-04-30
Also published as: US9962068B2; JP5784845B2; WO2015004975A1; US20160073865A1

Abstract

撮像システムは、周期的に動作する被写体を照明するための光を発する発光部と、ローリングシャッタ方式の撮像動作に応じた画像を取得する撮像素子を具備する撮像部と、撮像素子の露光状態に基づき、発光許可期間及び発光不許可期間を設定する発光期間制御部と、被写体の動作に係る基本周期を検出する基本周期検出部と、基本周期に基づき、発光部をストロボ発光させるためのストロボ発光信号を生成して出力する発光信号生成部と、発光許可期間においては、ストロボ発光信号に応じて発光部を発光させる制御を行う一方で、発光不許可期間においては、発光部を発光させないように制御を行う発光制御部と、を有する。

Description

本発明は、撮像システムに関し、特に、ストロボ撮影を行うことが可能な撮像システムに関するものである。

声帯等の周期的に動作する（または周期的に振動する）被写体をストロボ撮影することにより、当該被写体の状態を詳細に視認可能な画像を取得するための技術が従来知られている。

具体的には、例えば、日本国特開２００８−２２９２２２号公報には、電子内視鏡システムにおいて、ＬＥＤによるストロボ発光が行われるタイミングと、撮像部による撮像が行われるタイミングと、を制御することにより、当該撮像部の撮像周期に比べて短い周期で振動する被写体を略静止状態として観察可能な画像を取得するための構成が開示されている。

ところで、近年のＣＭＯＳイメージセンサの高性能化に伴い、周期的に動作する被写体のストロボ撮影をＣＭＯＳイメージセンサを用いて好適に行うための技術が希求されている。

しかし、日本国特開２００８−２２９２２２号公報には、周期的に動作する被写体のストロボ撮影をＣＭＯＳイメージセンサを用いて行う場合を想定した構成について、特に言及されていない。

そのため、日本国特開２００８−２２９２２２号公報に開示された構成によれば、周期的に動作する被写体をＣＭＯＳイメージセンサを用いてストロボ撮影することにより画像を取得した場合において、ローリングシャッタ方式の撮像動作に起因する画質の劣化が発生してしまう、という課題が生じている。

本発明は、前述した事情に鑑みてなされたものであり、周期的に動作する被写体のストロボ撮影を行う際に、ローリングシャッタ方式の撮像動作に起因して発生する画質の劣化を抑制することが可能な撮像システムを提供することを目的としている。

本発明の一態様の撮像システムは、周期的に動作する被写体を照明するための光を発するように構成された発光部と、ローリングシャッタ方式の撮像動作を行うとともに、前記撮像動作に応じた画像を取得する撮像素子を具備して構成された撮像部と、前記撮像素子の露光状態に基づき、前記撮像素子の各ラインにおいて同一のフレームの画像を得るための露光が行われている期間を、前記発光部の発光を許可する発光許可期間として設定するとともに、前記撮像素子の各ラインにおいて異なるフレームの画像を得るための露光が行われている期間を、前記発光部の発光を許可しない発光不許可期間として設定するように構成された発光期間制御部と、前記被写体の動作に係る基本周期を検出するように構成された基本周期検出部と、前記基本周期に基づき、前記発光部をストロボ発光させるためのストロボ発光信号を生成して出力するように構成された発光信号生成部と、前記発光許可期間に前記ストロボ発光信号が入力された場合には、前記ストロボ発光信号に応じて前記発光部を発光させるための制御を行う一方で、前記ストロボ発光信号が前記発光不許可期間に入力された場合には、前記発光部を発光させないようにするための制御を行うように構成された発光制御部と、を有する。

第１の実施例に係る撮像システムの要部の構成を示す図。第１の実施例に係る撮像システムにおいて行われる動作の一例を説明するための図。第２の実施例に係る撮像システムの要部の構成を示す図。第２の実施例に係る撮像システムにおいて、発光許可期間が基本周期より長いとの比較結果が得られた場合に行われる動作の一例を説明するための図。第２の実施例に係る撮像システムにおいて、基本周期が発光許可期間以上の長さであるとの比較結果が得られた場合に行われる動作の一例を説明するための図。第３の実施例に係る撮像システムの要部の構成を示す図。第３の実施例に係る撮像システムにおいて行われる動作の一例を説明するための図。

以下、本発明の実施の形態について、図面を参照しつつ説明を行う。

（第１の実施例）
図１及び図２は、本発明の第１の実施例に係るものである。図１は、第１の実施例に係る撮像システムの要部の構成を示す図である。

撮像システム１０１は、図１に示すように、内視鏡等の撮像装置に設けられ、被写体を撮像して画像を取得するように構成された撮像部１と、当該画像に基づいて映像信号を生成するように構成された信号処理部２と、当該映像信号に応じた画像等を表示するように構成された表示部３と、を有している。

撮像部１は、撮像制御部４（後述）から出力される撮像制御信号に基づいてローリングシャッタ方式の撮像動作（露光及び読出）を行うとともに、当該撮像動作に応じた画像を取得して信号処理部２へ出力するＣＭＯＳイメージセンサ（以下、ＣＭＯＳセンサと略記する）１Ａと、ＣＭＯＳセンサ１Ａの撮像動作に係るタイミングに同期する同期信号を生成して信号処理部２及び発光期間制御部５へ出力する同期信号生成部１Ｂと、を有して構成されている。

信号処理部２は、撮像部１から出力される画像及び同期信号に基づき、当該画像に対して所定の処理を施して映像信号を生成するとともに、当該生成した映像信号を当該同期信号に応じたタイミングで表示部３へ出力する。

一方、撮像システム１０１は、撮像制御部４と、発光期間制御部５と、音検出部６と、基本周期検出部７と、発光信号生成部８と、発光制御部９と、発光部１０と、を有している。

撮像制御部４は、ＣＭＯＳセンサ１Ａの撮像動作に係る動作速度を制御することにより、所定のフレームレートＦＲＡ（例えばＦＲＡ＝６０ｆｐｓ）で画像を取得させるための撮像制御信号を生成して撮像部１へ出力する。また、撮像制御部４は、ＣＭＯＳセンサ１Ａに所定のフレームレートＦＲＡで画像を取得させる場合において、１回分の発光許可期間（後述）を０．５／ＦＲＡ秒以上とするように、ＣＭＯＳセンサ１Ａの撮像動作（露光及び読出）に係る動作速度を制御する。具体的には、撮像制御部４は、例えば、ＣＭＯＳセンサ１Ａに６０ｆｐｓで画像を取得させる場合において、１回分の発光許可期間（後述）を１／１２０秒以上とするように、ＣＭＯＳセンサ１Ａの撮像動作（露光及び読出）に係る動作速度を制御する。

発光期間制御部５は、撮像部１から出力される同期信号に基づき、ＣＭＯＳセンサ１Ａの露光状態を検出する。また、発光期間制御部５は、ＣＭＯＳセンサ１Ａの露光状態の検出結果に基づき、ＣＭＯＳセンサ１Ａの各ラインにおいて同一のフレームの画像を得るための露光が行われている期間を、発光部１０の発光を許可する期間（以下、発光許可期間とも称する）として設定する。ＣＭＯＳセンサ１Ａの各ラインにおいて異なるフレームの画像を得るための露光が行われている期間を、発光部１０の発光を許可しない期間（以下、発光不許可期間とも称する）として設定する。そして、発光期間制御部５は、前述のように設定した発光許可期間及び発光不許可期間をそれぞれ識別可能な発光期間制御信号を生成して発光制御部９へ出力する。

音検出部６は、例えば、マイクまたは骨伝導デバイス等の集音装置を具備し、声帯等の周期的な動作を行っている（周期的に振動している）被写体から発せられる音を検出するとともに、当該検出した音の強さに応じた信号レベルを具備する音信号を生成して出力する。

基本周期検出部７は、音検出部６から出力される音信号の基本波に応じた基本周期（及び基本周波数）を検出するとともに、当該検出した基本周期を特定可能な基本周期信号を生成して発光信号生成部８へ出力する。

発光信号生成部８は、基本周期検出部７から出力される基本周期信号に基づき、音検出部６から出力される音信号の基本周期を特定する。そして、発光信号生成部８は、前述のように特定した基本周期に基づき、所定の発光期間及び所定の光量により発光部１０をストロボ発光させるためのストロボ発光信号を生成して発光制御部９へ出力する。

発光制御部９は、発光期間制御部５から出力される発光期間制御信号により示される発光許可期間に、発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号に応じて発光部１０を発光させるための制御を行う。また、発光制御部９は、発光期間制御部５から出力される発光期間制御信号により示される発光不許可期間に、発光信号生成部８からのストロボ発光信号が入力された場合には、発光部１０を発光させないようにするための制御を行う。

発光部１０は、例えば、ＬＥＤ等のストロボ発光可能な光源を具備し、発光制御部９の制御に応じて被写体を照明するための光を発するように構成されている。

続いて、撮像システム１０１において行われる動作について、声帯を被写体として撮像する場合を例に挙げつつ説明する。図２は、第１の実施例に係る撮像システムにおいて行われる動作の一例を説明するための図である。

なお、以降においては、簡単のため、ＣＭＯＳセンサ１Ａの一のラインにおける露光が完了するタイミングと、当該一のラインに属する各画素に蓄積された電荷の読出が行われるタイミングと、当該一のラインにおける露光が再開されるタイミングと、が略同時であるとして説明を行う。また、以降においては、ＣＭＯＳセンサ１ＡがラインＬ１〜ＬＮのＮ個のラインを具備しているとともに、ラインＬ１〜ＬＮがそれぞれＰ個の画素を具備して構成されているものとして説明を行う。

ユーザーは、周期的に動作している（振動している）最中の声帯の近傍に撮像部１及び音検出部６を配置することにより、当該声帯をＣＭＯＳセンサ１Ａにより撮像させるとともに、当該声帯から発せられる音を音検出部６により検出させる。

一方、同期信号生成部１Ｂは、ＣＭＯＳセンサ１Ａの撮像動作に係るタイミングに同期する同期信号を生成して（信号処理部２及び）発光期間制御部５へ出力する。また、基本周期検出部７は、音検出部６から出力される音信号の基本波に応じた基本周期を検出し、当該検出した基本周期に応じた基本周期信号を生成して発光信号生成部８へ出力する。

発光期間制御部５は、撮像部１の同期信号生成部１Ｂから出力される同期信号に基づいてＣＭＯＳセンサ１Ａの露光状態を検出し、さらに、当該検出したＣＭＯＳセンサ１Ａの露光状態に基づいて発光期間制御信号を生成する。

ところで、図２に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬ１の一端に位置する１個目の画素が時刻Ｔ１のタイミングで露光され、ラインＬ１の中途に位置する２個目〜（Ｐ−１）個目の画素が時刻Ｔ１以後の期間内で順次露光され、ラインＬ１の他端に位置するＰ個目の画素が時刻Ｔ３のタイミングで露光される。そして、時刻Ｔ３のタイミングにおいて、ラインＬ１に属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬ１における（１個目の画素からの）露光が再開される。

一方、図２に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬＮの一端に位置する１個目の画素が時刻Ｔ１から所定時間だけ後の時刻Ｔ２のタイミングで露光され、ラインＬＮの中途に位置する２個目〜（Ｐ−１）個目の画素が時刻Ｔ２以後の期間内で順次露光され、ラインＬＮの他端に位置するＰ個目の画素が時刻Ｔ３から前記所定時間だけ後の時刻Ｔ４のタイミングで露光される。そして、時刻Ｔ４のタイミングにおいて、ラインＬＮに属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬＮにおける（１個目の画素からの）露光が再開される。

すなわち、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ２から時刻Ｔ３までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１〜ＬＮにおいて同一のフレームの画像を得るための露光が行われている期間として扱うことができる。一方、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ１以後から時刻Ｔ２以前までの期間、及び、時刻Ｔ３以後から時刻Ｔ４以前までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１〜ＬＮにおいて異なるフレームの画像を得るための露光が行われている期間として扱うことができる。

そのため、発光期間制御部５は、撮像部１による声帯の撮像に伴って同期信号生成部１Ｂから出力される同期信号に基づき、時刻Ｔ１から時刻Ｔ４までにおけるラインＬ１〜ＬＮの各ラインの露光状態を（ＣＭＯＳセンサ１Ａの露光状態として）検出する。また、発光期間制御部５は、時刻Ｔ２から時刻Ｔ３までの期間を発光許可期間として設定するとともに、時刻Ｔ１以後から時刻Ｔ２以前までの期間、及び、時刻Ｔ３以後から時刻Ｔ４以前までの期間を発光不許可期間として設定する。そして、発光期間制御部５は、図２に例示するような、発光許可期間における信号レベルと、発光不許可期間における信号レベルと、をそれぞれ異ならせた発光期間制御信号を生成して発光制御部９へ出力する。

一方、発光信号生成部８は、基本周期検出部７から出力される基本周期信号に基づき、音検出部６から出力される音信号の基本周期ＢＣ１を特定する。そして、発光信号生成部８は、図２に例示するような、発光部１０を基本周期ＢＣ１毎にストロボ発光させるためのストロボ発光信号を生成して発光制御部９へ出力する。

発光制御部９は、発光期間制御部５から出力される発光期間制御信号により示される発光許可期間である、時刻Ｔ２から時刻Ｔ３までの期間に発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号に応じて発光部１０を発光させる。一方、発光制御部９は、発光期間制御部５から出力される発光期間制御信号により示される発光不許可期間である、時刻Ｔ１以後から時刻Ｔ２以前までの期間、及び、時刻Ｔ３以後から時刻Ｔ４以前までの期間に発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号（の入力）を無効化することにより発光部１０を発光させないようにする。そして、このような制御が発光制御部９において行われることにより、図２に例示するような発光状態で発光部１０が発光する。

以上に述べたように、本実施例の撮像システム１０１によれば、ＣＭＯＳセンサ１ＡのラインＬ１〜ＬＮにおいて同一のフレームの画像を得るための露光が行われている期間中に、発光部１０をストロボ発光させるための制御が行われる一方で、ＣＭＯＳセンサ１ＡのラインＬ１〜ＬＮにおいて異なるフレームの画像を得るための露光が行われている期間中には、発光部１０を発光させないようにするための制御が行われる。そのため、本実施例の撮像システム１０１によれば、例えば、声帯等の周期的に動作する（周期的に振動する）被写体をストロボ撮影することにより、当該被写体を擬似的な静止状態として観察する場合において、同一フレーム内の明るさのムラが抑制された画像を表示部３に表示させることができる。

すなわち、本実施例の撮像システム１０１によれば、周期的に動作する被写体のストロボ撮影を行う際に、ローリングシャッタ方式の撮像動作に起因して発生する画質の劣化を抑制することができる。

（第２の実施例）
図３から図５は、本発明の第２の実施例に係るものである。図３は、第２の実施例に係る撮像システムの要部の構成を示す図である。

なお、本実施例においては、第１の実施例と同様の構成等を有する部分に関する詳細な説明を省略するとともに、第１の実施例と異なる構成等を有する部分に関して主に説明を行う。

撮像システム１０２は、図３に示すように、撮像部１と、信号処理部２と、表示部３と、撮像制御部４と、発光期間制御部５と、音検出部６と、基本周期検出部７と、発光信号生成部８と、発光制御部９と、発光部１０と、比較部１１と、を有している。

比較部１１は、発光期間制御部５から出力される発光期間制御信号に基づいて発光許可期間を特定するとともに、基本周期検出部７から出力される基本周期信号に基づいて音検出部６から出力される音信号の基本周期を特定する。

そして、比較部１１は、発光許可期間と基本周期とを比較することにより、発光許可期間が基本周期より長いとの比較結果を得た場合に、１回分の発光許可期間における発光部１０の発光回数（ストロボ発光回数）を１回までに制限させるための発光制限信号を生成して発光制御部９へ出力する。また、比較部１１は、発光許可期間と基本周期とを比較することにより、基本周期が発光許可期間以上の長さであるとの比較結果を得た場合に、ＣＭＯＳセンサ１Ａによる画像の取得に係るフレームレートを所定のフレームレートＦＲＡの半分に低下させるためのフレームレート制限信号を生成して撮像制御部４へ出力する。

次に、撮像システム１０２において、発光許可期間が基本周期より長いとの比較結果が得られた場合に行われる動作について、声帯を被写体として撮像する場合を例に挙げつつ説明する。図４は、第２の実施例に係る撮像システムにおいて、発光許可期間が基本周期より長いとの比較結果が得られた場合に行われる動作の一例を説明するための図である。

同期信号生成部１Ｂは、ＣＭＯＳセンサ１Ａの撮像動作に係るタイミングに同期する同期信号を生成して（信号処理部２及び）発光期間制御部５へ出力する。また、基本周期検出部７は、音検出部６から出力される音信号の基本波に応じた基本周期を検出し、当該検出した基本周期に応じた基本周期信号を生成して発光信号生成部８へ出力する。

ところで、図４に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬ１の一端に位置する１個目の画素が時刻Ｔ１１のタイミングで露光され、ラインＬ１の中途に位置する２個目〜（Ｐ−１）個目の画素が時刻Ｔ１１以後の期間内で順次露光され、ラインＬ１の他端に位置するＰ個目の画素が時刻Ｔ１３のタイミングで露光される。そして、時刻Ｔ１３のタイミングにおいて、ラインＬ１に属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬ１における（１個目の画素からの）露光が再開される。

また、図４に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬＮの一端に位置する１個目の画素が時刻Ｔ１１から所定時間だけ後の時刻Ｔ１２のタイミングで露光され、ラインＬＮの中途に位置する２個目〜（Ｐ−１）個目の画素が時刻Ｔ１２以後の期間内で順次露光され、ラインＬＮの他端に位置するＰ個目の画素が時刻Ｔ１３から前記所定時間だけ後の時刻Ｔ１４のタイミングで露光される。そして、時刻Ｔ１４のタイミングにおいて、ラインＬＮに属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬＮにおける（１個目の画素からの）露光が再開される。

すなわち、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ１２から時刻Ｔ１３までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１〜ＬＮにおいて同一のフレームの画像を得るための露光が行われている期間として扱うことができる。一方、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ１１以後から時刻Ｔ１２以前までの期間、及び、時刻Ｔ１３以後から時刻Ｔ１４以前までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１〜ＬＮにおいて異なるフレームの画像を得るための露光が行われている期間として扱うことができる。

発光期間制御部５は、撮像部１による声帯の撮像に伴って同期信号生成部１Ｂから出力される同期信号に基づき、時刻Ｔ１１から時刻Ｔ１４までにおけるラインＬ１〜ＬＮの各ラインの露光状態を（ＣＭＯＳセンサ１Ａの露光状態として）検出する。また、発光期間制御部５は、時刻Ｔ１２から時刻Ｔ１３までの期間を発光許可期間として設定するとともに、時刻Ｔ１１以後から時刻Ｔ１２以前までの期間、及び、時刻Ｔ１３以後から時刻Ｔ１４以前までの期間を発光不許可期間として設定する。そして、発光期間制御部５は、図４に例示するような、発光許可期間における信号レベルと、発光不許可期間における信号レベルと、をそれぞれ異ならせた発光期間制御信号を生成して発光制御部９へ出力する。

発光信号生成部８は、基本周期検出部７から出力される基本周期信号に基づき、音検出部６から出力される音信号の基本周期ＢＣ２を特定する。そして、発光信号生成部８は、図４に例示するような、発光部１０を基本周期ＢＣ２毎にストロボ発光させるためのストロボ発光信号を生成して発光制御部９へ出力する。

発光制御部９は、比較部１１から出力される発光制限信号に基づき、時刻Ｔ１２から時刻Ｔ１３までの期間においては、１回目のストロボ発光信号（の入力）に応じて発光部１０を発光させる一方で、２回目以降のストロボ発光信号（の入力）を無効化することにより発光部１０を発光させないようにする。また、発光制御部９は、時刻Ｔ１１以後から時刻Ｔ１２以前までの期間、及び、時刻Ｔ１３以後から時刻Ｔ１４以前までの期間に発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号（の入力）を無効化することにより発光部１０を発光させないようにする。そして、このような制御が発光制御部９において行われることにより、図４に例示するような発光状態で発光部１０が発光する。

なお、以上に述べた撮像システム１０２の動作によれば、発光許可期間が基本周期の２倍以上大きいとの比較結果が得られた場合、すなわち、１回分の発光許可期間内に常に２回以上のストロボ発光信号が発光信号生成部８から出力される場合において、発光部１０の発光回数（ストロボ発光回数）を制限するための制御が発光制御部９により行われるようにする代わりに、発光部１０の１回あたりの発光光量（ストロボ発光光量）を基本周期の大きさに応じて低下するための制御が発光制御部９により行われるようにしてもよい。具体的には、例えば、発光許可期間が基本周期の３倍大きいとの比較結果が得られた場合、すなわち、１回分の発光許可期間内に３回のストロボ発光信号が発光信号生成部８から出力されるような場合において、発光部１０の１回あたりのストロボ発光光量を３分の１に低下させるための発光制限信号が比較部１１から発光制御部９へ出力されるようにすればよい。

続いて、撮像システム１０２において、基本周期が発光許可期間以上の長さであるとの比較結果が得られた場合に行われる動作について、声帯を被写体として撮像する場合を例に挙げつつ説明する。図５は、第２の実施例に係る撮像システムにおいて、基本周期が発光許可期間以上の長さであるとの比較結果が得られた場合に行われる動作の一例を説明するための図である。

撮像制御部４は、比較部１１から出力されるフレームレート制限信号に基づき、ＣＭＯＳセンサ１Ａの露光及び読出に係る動作速度をそれぞれ低下させることにより、所定のフレームレートＦＲＡの半分のフレームレート（例えば３０ｆｐｓ）で画像を取得させるための撮像制御信号を生成して撮像部１へ出力する。

ところで、図５に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬ１の一端に位置する１個目の画素が時刻Ｔ２１のタイミングで露光され、ラインＬ１の中途に位置する２個目〜（Ｐ−１）個目の画素が時刻Ｔ２１以後の期間内で順次露光され、ラインＬ１の他端に位置するＰ個目の画素が時刻Ｔ２３のタイミングで露光される。そして、時刻Ｔ２３のタイミングにおいて、ラインＬ１に属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬ１における（１個目の画素からの）露光が再開される。

また、図５に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬＮの一端に位置する１個目の画素が時刻Ｔ２１から所定時間だけ後の時刻Ｔ２２のタイミングで露光され、ラインＬＮの中途に位置する２個目〜（Ｐ−１）個目の画素が時刻Ｔ２２以後の期間内で順次露光され、ラインＬＮの他端に位置するＰ個目の画素が時刻Ｔ２３から前記所定時間だけ後の時刻Ｔ２４のタイミングで露光される。そして、時刻Ｔ２４のタイミングにおいて、ラインＬＮに属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬＮにおける（１個目の画素からの）露光が再開される。

すなわち、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ２２から時刻Ｔ２３までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１〜ＬＮにおいて同一のフレームの画像を得るための露光が行われている期間として扱うことができる。一方、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ２１以後から時刻Ｔ２２以前までの期間、及び、時刻Ｔ２３以後から時刻Ｔ２４以前までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１〜ＬＮにおいて異なるフレームの画像を得るための露光が行われている期間として扱うことができる。

発光期間制御部５は、撮像部１による声帯の撮像に伴って同期信号生成部１Ｂから出力される同期信号に基づき、時刻Ｔ２１から時刻Ｔ２４までにおけるラインＬ１〜ＬＮの各ラインの露光状態を（ＣＭＯＳセンサ１Ａの露光状態として）検出する。また、発光期間制御部５は、時刻Ｔ２２から時刻Ｔ２３までの期間を発光許可期間として設定するとともに、時刻Ｔ２１以後から時刻Ｔ２２以前までの期間、及び、時刻Ｔ２３以後から時刻Ｔ２４以前までの期間を発光不許可期間として設定する。そして、発光期間制御部５は、図５に例示するような、発光許可期間における信号レベルと、発光不許可期間における信号レベルと、をそれぞれ異ならせた発光期間制御信号を生成して発光制御部９へ出力する。

発光信号生成部８は、基本周期検出部７から出力される基本周期信号に基づき、音検出部６から出力される音信号の基本周期ＢＣ３を特定する。そして、発光信号生成部８は、図５に例示するような、発光部１０を基本周期ＢＣ３毎にストロボ発光させるためのストロボ発光信号を生成して発光制御部９へ出力する。

発光制御部９は、時刻Ｔ２２から時刻Ｔ２３までの期間に発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号に応じて発光部１０を発光させる。また、発光制御部９は、時刻Ｔ２１以後から時刻Ｔ２２以前までの期間、及び、時刻Ｔ２３以後から時刻Ｔ２４以前までの期間に発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号（の入力）を無効化することにより発光部１０を発光させないようにする。そして、このような制御が発光制御部９において行われることにより、図５に例示するような発光状態で発光部１０が発光する。

以上に述べたように、本実施例の撮像システム１０２によれば、ＣＭＯＳセンサ１ＡのラインＬ１〜ＬＮにおいて同一のフレームの画像を得るための露光が行われている期間中に、発光部１０をストロボ発光させるための制御が行われる一方で、ＣＭＯＳセンサ１ＡのラインＬ１〜ＬＮにおいて異なるフレームの画像を得るための露光が行われている期間中には、発光部１０を発光させないようにするための制御が行われる。そのため、本実施例の撮像システム１０２によれば、例えば、声帯等の周期的に動作する（周期的に振動する）被写体をストロボ撮影することにより、当該被写体を擬似的な静止状態として観察するような場合において、同一フレーム内の明るさのムラが抑制された画像を表示部３に表示させることができる。

一方、本実施例の撮像システム１０２によれば、発光許可期間が基本周期より長いとの比較結果が比較部１１により得られた場合に、発光部１０のストロボ発光回数またはストロボ発光光量を制限することにより、露光過剰な状態で画像が生成されることを極力防止することができる。また、本実施例の撮像システム１０２によれば、基本周期が発光許可期間以上の長さであるとの比較結果が比較部１１により得られた場合に、画像の取得に係るフレームレートを所定のフレームレートＦＲＡから低下させることにより、露光不足な状態で画像が生成されることを極力防止することができる。そのため、本実施例の撮像システム１０２によれば、例えば、声帯等の周期的に動作する（周期的に振動する）被写体をストロボ撮影することにより、当該被写体を擬似的な静止状態として観察するような場合において、各フレーム間の明るさのムラが抑制された画像を表示部３に表示させることができる。

すなわち、本実施例の撮像システム１０２によれば、周期的に動作する被写体のストロボ撮影を行う際に、ローリングシャッタ方式の撮像動作に起因して発生する画質の劣化を抑制することができる。

（第３の実施例）
図６及び図７は、本発明の第３の実施例に係るものである。図６は、第３の実施例に係る撮像システムの要部の構成を示す図である。

なお、本実施例においては、第１及び第２の実施例の少なくともいずれか一方と同様の構成等を有する部分に関する詳細な説明を省略するとともに、第１及び第２の実施例のいずれともと異なる構成等を有する部分に関して主に説明を行う。

撮像システム１０３は、図６に示すように、撮像部１と、信号処理部２と、表示部３と、撮像制御部４と、発光期間制御部５と、音検出部６と、基本周期検出部７と、発光信号生成部８と、発光制御部９と、発光部１０と、ユーザーインターフェース部（以下、ユーザーＩ／Ｆ部と略記する）１２と、シフト期間算出部１３と、を有している。

ユーザーＩ／Ｆ部１２は、タッチパネルまたはキーボード等の入力装置を具備し、声帯等の周期的に動作する（周期的に振動する）被写体を擬似的なスローモーション状態として観察する際に、表示部３に表示される当該被写体の動きを毎秒何フレームずつ遷移させるかを示す値である、スローモーション表示レートＳＤＲを設定することができるように構成されている。具体的には、例えば、表示部３に表示される被写体の動きを毎秒２フレームずつ遷移させる場合においては、スローモーション表示レートＳＤＲの値が２として設定される。一方、ユーザーＩ／Ｆ部１２は、スローモーション表示レートＳＤＲとして設定された値をシフト期間算出部１３へ出力する。

シフト期間算出部１３は、撮像制御部４から出力される撮像制御信号に基づき、所定のフレームレートＦＲＡで画像の取得が行われていることを検出する。また、シフト期間算出部１３は、前述のように検出した所定のフレームレートＦＲＡの逆数と、ユーザーＩ／Ｆ部１２から出力されるスローモーション表示レートＳＤＲの逆数と、を乗ずることにより、発光部１０の発光間隔をシフトさせる際に用いられるシフト期間βを算出し、当該算出したシフト期間βの値を発光信号生成部８へ出力する。具体的には、例えば、所定のフレームレートＦＲＡが６０ｆｐｓであるとともに、スローモーション表示レートＳＤＲの値が２である場合には、シフト期間βが１／１２０秒として算出される。

続いて、撮像システム１０３において行われる動作について、声帯を被写体として撮像する場合を例に挙げつつ説明する。図７は、第３の実施例に係る撮像システムにおいて行われる動作の一例を説明するための図である。

ところで、図７に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬ１の一端に位置する１個目の画素が時刻Ｔ３１のタイミングで露光され、ラインＬ１の中途に位置する２個目〜（Ｐ−１）個目の画素が時刻Ｔ３１以後の期間内で順次露光され、ラインＬ１の他端に位置するＰ個目の画素が時刻Ｔ３３のタイミングで露光される。そして、時刻Ｔ３３のタイミングにおいて、ラインＬ１に属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬ１における（１個目の画素からの）露光が再開される。

また、図７に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬＮの一端に位置する１個目の画素が時刻Ｔ３１から所定時間だけ後の時刻Ｔ３２のタイミングで露光され、ラインＬＮの中途に位置する２個目〜（Ｐ−１）個目の画素が時刻Ｔ３２以後の期間内で順次露光され、ラインＬＮの他端に位置するＰ個目の画素が時刻Ｔ３３から前記所定時間だけ後の時刻Ｔ３４のタイミングで露光される。そして、時刻Ｔ３４のタイミングにおいて、ラインＬＮに属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬＮにおける（１個目の画素からの）露光が再開される。

すなわち、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ３２から時刻Ｔ３３までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１〜ＬＮにおいて同一のフレームの画像を得るための露光が行われている期間として扱うことができる。一方、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ３１以後から時刻Ｔ３２以前までの期間、及び、時刻Ｔ３３以後から時刻Ｔ３４以前までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１〜ＬＮにおいて異なるフレームの画像を得るための露光が行われている期間として扱うことができる。

発光期間制御部５は、撮像部１による声帯の撮像に伴って同期信号生成部１Ｂから出力される同期信号に基づき、時刻Ｔ３１から時刻Ｔ３４までにおけるラインＬ１〜ＬＮの各ラインの露光状態を（ＣＭＯＳセンサ１Ａの露光状態として）検出する。また、発光期間制御部５は、時刻Ｔ３２から時刻Ｔ３３までの期間を発光許可期間として設定するとともに、時刻Ｔ３１以後から時刻Ｔ３２以前までの期間、及び、時刻Ｔ３３以後から時刻Ｔ３４以前までの期間を発光不許可期間として設定する。そして、発光期間制御部５は、図７に例示するような、発光許可期間における信号レベルと、発光不許可期間における信号レベルと、をそれぞれ異ならせた発光期間制御信号を生成して発光信号生成部８及び発光制御部９へ出力する。

発光信号生成部８は、基本周期検出部７から出力される基本周期信号に基づき、音検出部６から出力される音信号の基本周期ＢＣ４を特定する。その後、発光信号生成部８は、前述のように特定した基本周期ＢＣ４と、シフト期間算出部１３から出力されるシフト期間βと、発光期間制御部５から出力される発光期間制御信号と、に基づき、基本周期ＢＣ４及びシフト期間βが経過した直後に相当する一のタイミングが発光許可期間または発光不許可期間のいずれに属するかを判定する。そして、発光信号生成部８は、基本周期ＢＣ４及びシフト期間βが経過した直後に相当する一のタイミングが発光許可期間に属するとの判定結果を得た場合には、当該一のタイミングでストロボ発光信号を生成して発光制御部９へ出力する。また、発光信号生成部８は、基本周期ＢＣ４及びシフト期間βが経過した直後に相当する一のタイミングが発光不許可期間に属するとの判定結果を得た場合には、当該一のタイミングではなく、基本周期ＢＣ４が経過した直後に相当する他のタイミングでストロボ発光信号を生成して発光制御部９へ出力する。

発光制御部９は、時刻Ｔ３２から時刻Ｔ３３までの期間に発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号に応じて発光部１０を発光させる。また、発光制御部９は、時刻Ｔ３１以後から時刻Ｔ３２以前までの期間、及び、時刻Ｔ３３以後から時刻Ｔ３４以前までの期間に発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号（の入力）を無効化することにより発光部１０を発光させないようにする。そして、このような制御が発光制御部９において行われることにより、図７に例示するような発光状態で発光部１０が発光する。

以上に述べたように、本実施例の撮像システム１０３によれば、ＣＭＯＳセンサ１ＡのラインＬ１〜ＬＮにおいて同一のフレームの画像を得るための露光が行われている期間中に、発光部１０をストロボ発光させるための制御が行われる一方で、ＣＭＯＳセンサ１ＡのラインＬ１〜ＬＮにおいて異なるフレームの画像を得るための露光が行われている期間中には、発光部１０を発光させないようにするための制御が行われる。そのため、本実施例の撮像システム１０３によれば、例えば、声帯等の周期的に動作する（周期的に振動する）被写体をストロボ撮影することにより、当該被写体を擬似的なスローモーション状態として観察するような場合において、同一フレーム内の明るさのムラが抑制された画像を表示部３に表示させることができる。

一方、本実施例の撮像システム１０３によれば、基本周期ＢＣ４及びシフト期間βが経過した直後に相当する一のタイミングが発光許可期間である場合に限って発光部１０を発光させるような制御が行われる。そのため、本実施例の撮像システム１０３によれば、例えば、声帯等の周期的に動作する（周期的に振動する）被写体をストロボ撮影することにより、当該被写体を擬似的なスローモーション状態として観察するような場合において、各フレーム間の連続性が確保された画像を表示部３に表示させることができる。

すなわち、本実施例の撮像システム１０３によれば、周期的に動作する被写体のストロボ撮影を行う際に、ローリングシャッタ方式の撮像動作に起因して発生する画質の劣化を抑制することができる。

なお、本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

本出願は、２０１３年７月９日に日本国に出願された特願２０１３−１４３８０１号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

本発明の一態様の撮像システムは、ローリングシャッタ方式の撮像動作に係る同期信号を生成する同期信号生成部と、前記撮像動作に応じた画像を取得する撮像素子と、を具備して構成された撮像部と、前記同期信号に基づいて、前記撮像素子の各ラインにおいて同一のフレームを得るための露光が行われている第１の期間と、前記撮像素子の各ラインにおいて異なるフレームの画像を得るための露光が行われている第２の期間と、を検出するように構成された検出部と、周期的に動作する被写体を照明するための光を発するように構成された発光部と、前記第１の期間を前記発光部の発光を許可する発光許可期間として設定するとともに、前記第２の期間を前記発光部の発光を許可しない発光不許可期間として設定するように構成された発光期間制御部と、前記被写体の動作に係る基本周期を検出するように構成された基本周期検出部と、前記基本周期に基づき、前記発光部をストロボ発光させるためのストロボ発光信号を生成して出力するように構成された発光信号生成部と、前記発光許可期間に前記ストロボ発光信号が入力された場合には、前記ストロボ発光信号に応じて前記発光部を発光させるための制御を行う一方で、前記ストロボ発光信号が前記発光不許可期間に入力された場合には、前記発光部を発光させないようにするための制御を行うように構成された発光制御部と、を有する。

本発明の一態様の撮像システムは、ローリングシャッタ方式の撮像動作を行うとともに、前記撮像動作に応じた画像を取得する撮像素子を具備して構成された撮像部と、前記撮像素子の露光状態に基づき、前記撮像素子の各ラインにおいて同一のフレームを得るための露光が行われている期間を、前記発光部の発光を許可する発光許可期間として設定するとともに、前記撮像素子の各ラインにおいて異なるフレームの画像を得るための露光が行われている期間を、前記発光部の発光を許可しない発光不許可期間として設定するように構成された発光期間制御部と、周期的に動作する被写体を照明するための光を発するように構成された発光部と、前記被写体の動作に係る基本周期を検出するように構成された基本周期検出部と、前記基本周期に基づき、前記発光部をストロボ発光させるためのストロボ発光信号を生成して出力するように構成された発光信号生成部と、前記発光許可期間に前記ストロボ発光信号が入力された場合には、前記ストロボ発光信号に応じて前記発光部を発光させるための制御を行う一方で、前記ストロボ発光信号が前記発光不許可期間に入力された場合には、前記発光部を発光させないようにするための制御を行うように構成された発光制御部と、前記画像を所定のフレームレートで取得させるための制御を前記撮像部に対して行うことができるように構成された撮像制御部と、前記発光許可期間と前記基本周期とを比較することにより、前記発光許可期間が前記基本周期より長いとの比較結果を得た場合には、１回分の前記発光許可期間における前記発光部の発光回数を制限させるための、または、前記発光部の１回あたりの発光光量を前記基本周期の大きさに応じて低下させるための発光制限信号を生成して前記発光制御部へ出力する一方で、前記基本周期が前記発光許可期間以上の長さであるとの比較結果を得た場合には、前記画像の取得に係るフレームレートを前記所定のフレームレートから低下させるためのフレームレート制限信号を生成して前記撮像制御部へ出力するように構成された比較部と、を有する。

Claims

周期的に動作する被写体を照明するための光を発するように構成された発光部と、
ローリングシャッタ方式の撮像動作を行うとともに、前記撮像動作に応じた画像を取得する撮像素子を具備して構成された撮像部と、
前記撮像素子の露光状態に基づき、前記撮像素子の各ラインにおいて同一のフレームの画像を得るための露光が行われている期間を、前記発光部の発光を許可する発光許可期間として設定するとともに、前記撮像素子の各ラインにおいて異なるフレームの画像を得るための露光が行われている期間を、前記発光部の発光を許可しない発光不許可期間として設定するように構成された発光期間制御部と、
前記被写体の動作に係る基本周期を検出するように構成された基本周期検出部と、
前記基本周期に基づき、前記発光部をストロボ発光させるためのストロボ発光信号を生成して出力するように構成された発光信号生成部と、
前記発光許可期間に前記ストロボ発光信号が入力された場合には、前記ストロボ発光信号に応じて前記発光部を発光させるための制御を行う一方で、前記ストロボ発光信号が前記発光不許可期間に入力された場合には、前記発光部を発光させないようにするための制御を行うように構成された発光制御部と、
を有することを特徴とする撮像システム。
前記画像を所定のフレームレートで取得させるための制御を前記撮像部に対して行うことができるように構成された撮像制御部と、
前記発光許可期間と前記基本周期とを比較することにより、前記発光許可期間が前記基本周期より長いとの比較結果を得た場合には、１回分の前記発光許可期間における前記発光部の発光回数を制限させるための、または、前記発光部の１回あたりの発光光量を前記基本周期の大きさに応じて低下させるための発光制限信号を生成して前記発光制御部へ出力する一方で、前記基本周期が前記発光許可期間以上の長さであるとの比較結果を得た場合には、前記画像の取得に係るフレームレートを前記所定のフレームレートから低下させるためのフレームレート制限信号を生成して前記撮像制御部へ出力するように構成された比較部と、
をさらに有することを特徴とする請求項１に記載の撮像システム。
前記比較部は、前記発光許可期間が前記基本周期より長いとの比較結果を得た場合に、１回分の前記発光許可期間における前記発光部の発光回数を１回までに制限させるための前記発光制限信号を生成して前記発光制御部へ出力する
ことを特徴とする請求項２に記載の撮像システム。
前記比較部は、前記基本周期が前記発光許可期間以上の長さであるとの比較結果を得た場合に、前記画像の取得に係るフレームレートを前記所定のフレームレートから半減させるための前記フレームレート制限信号を生成して前記撮像制御部へ出力する
ことを特徴とする請求項２に記載の撮像システム。
前記画像を所定のフレームレートで取得させるための制御を前記撮像部に対して行うことができるように構成された撮像制御部と、
前記所定のフレームレートに基づき、前記発光部の発光間隔を前記基本周期からシフトさせる際に用いられるシフト期間を算出するシフト期間算出部と、をさらに有し、
前記発光信号生成部は、前記基本周期及び前記シフト期間が経過した直後に相当する一のタイミングが前記発光許可期間に属する場合には、当該一のタイミングで前記ストロボ発光信号を生成して出力する一方で、前記一のタイミングが前記発光不許可期間に属する場合には、前記基本周期が経過した直後に相当する他のタイミングで前記ストロボ発光信号を生成して出力する
ことを特徴とする請求項１に記載の撮像システム。
前記被写体としての声帯から発せられる音を検出するとともに、当該検出した音に応じた音信号を生成して出力するように構成された音検出部をさらに有し、
前記基本周期検出部は、前記音検出部から出力される前記音信号の基本波に応じた前記基本周期を検出する
ことを特徴とする請求項１に記載の撮像システム。