JP7414431B2 - 撮像装置及びその制御方法及びプログラム - Google Patents

Description

本発明は、撮像装置及びその制御方法及びプログラムに関するものである。

EVF（electronic viewfinder）等のデジタル表示部を有するミラーレスデジタルカメラ（以下、MLカメラ）には、高フレームレートの動画撮像中に静止画像の記録要求を受け付け可能なものである。この種のMLカメラでは、従来の一眼レフの持つOVF（optical viewfinder）の性能に追いつく様、EVFの解像度・リフレッシュレート等の技術改善が進んでいる。

撮像素子はCMOSセンサーが主流であるが、動画像では電子シャッター走査の遅さからローリング歪の影響を受けてきた。近年は、Global Shutter（以下、GS）の実用化や、複数ライン同時に画素読み出しを実施することで、電子シャッターの幕速向上を実現している。この複数ライン同時読み出しでの電子シャッターの幕速向上の実現には、カラムアドレスを該当ライン分有し、且つAD変換後のデジタルデータの現像処理部への転送を高速に実施する必要がある。高速データ通信を行うための、CMOSセンサー出力の転送インターフェースとしては、プロトコルを持った差動シリアル通信が登場しており、GHz帯域で複数レーンでのインターフェースが可能である。

CMOSセンサーの電子シャッターの幕速向上に向けて、画素の読み出し、AD変換、後段への転送の処理速度向上を図るために、垂直方向の読み出し走査を強化した画素部と、一度に大量の画素数を処理する（AD変換含む）デジタル処理部構成とを別基板で生成し、それを積層化した積層センサーという選択肢が登場している。

高速撮像を可能にするCMOSセンサーの登場の結果、高フレームレートの動画像・静止画像の撮像処理（以下、Big Capture）が可能となり、それにより得られるデータ（映像取得中の静止画高速連写や、AFやAE等の評価値取得等のデータであり、以降、Big Data）処理が必要となっている。そのため、現像処理を行う従来の映像エンジンチップとは別に、撮像処理に特化したデジタルフロントエンドを用意して、上記Big CaptureによるBig Data処理に対応する構成も選択肢として存在する。

MLカメラではEVFを採用するが、EVFでは撮像から表示までの表示タイムラグを考慮しなければならない。撮影者が記録要求の操作を行ったときに表示されたEVF表示画像は、既に過去の被写体の像であるからである。

このため、従来、撮影者の静止画記録要求以前に一時記憶を開始し（以下、この記録動作をpre Captureと記す）、実際の記録要求発行時に、そこから特定の期間遡った既に記憶済の画像を記録メディアへと記録する提案がされている（特許文献１、特許文献２）。

CMOSセンサーは、画素数増、デジタル回路搭載、複数ライン同時読み出し等、消費電力増大の要因をいくつも抱える様になった。消費電力の増大は、バッテリーの持ちや機器の発熱の問題に直結するので、装置の構成部品毎（特に、撮像手段）の省電制御が必須となっている。省電制御とは、センサー全体の完全なPower OFFまたは、積層センサーにおける画素部基板または／およびデジタル処理部基板の任意な領域のPower OFFに関る制御状態を指す。

従来、デジタルカメラにおける撮像部の省電制御は、Hブランキング、Vブランキング、長秒蓄積時等、状況に応じて細かく実施されている。

特開２００２－２７１６７３号公報 特開２０１４－１１６８７８号公報

Big Capture時代の撮像装置では、高リフレッシュレートのLive View（以下、LV）フレームの撮像と、静止画フレームの撮像が混在して両立する様な撮像制御を実現しなければならない。従来から静止画撮像要求はLV動画の撮像に対して非同期であり、連続するLV動画の撮像を遮らない様に静止画撮像処理の時期を調整する。そのためにレリーズタイムラグが生じるが、上述の様に静止画撮像要求自体が非同期であるために、レリーズタイムラグにバラツキを生じる。

特許文献１および特許文献２のpre Capture方式では、LV動画の撮像処理と静止画撮像処理との時期の調整はしていないので、上記レリーズタイムラグのバラツキの改善はしない。

また、特許文献１および特許文献２に因らず、EVFで発生する表示遅延（表示タイムラグ）などは、装置側の問題なのだから撮影者の意図に頼らずに安定して低減したい。

また、撮影者の記録要求検出後、装置が暫く（数秒）撮影画像を表示するのであれば、この記録要求検出後、従来装置の様な細かな制御設定を要せずに直ちに撮像部を省電制御状態に遷移することが望まれる。

このようにレリーズタイムラグのバラツキ低減、EVF表示遅延低減、省電力化は、解決しなければならない課題である。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段と当該撮像手段で得た画像を表示するための表示手段とを有する撮像装置であって、
ユーザーの操作に応じて静止画要求を発行する指示手段と、
周期的にフレームデータを取得するための撮影要求のイベントの生成と管理を行うイベント管理手段とを有し、
該イベント管理手段は、
前記周期的に周期イベントを発生する発生手段と、
該発生手段で発生した周期イベントに同期して前記指示手段を監視する制御手段と有し、
前記制御手段は、
前記指示手段からの前記静止画要求の発生が検出されない間、表示用の動画要求を前記周期イベントに同期した予め決められた周期の第二の信号に変換し、
前記指示手段からの前記静止画要求の発生を検出した場合、当該静止画要求を前記周期イベントに同期し、前記第二の信号と予め決められた位相差を有する、前記予め決められた周期の第一の信号に変換すると共に、前記表示用の動画要求を前記周期イベントに同期した前記第二の信号に変換し、
前記第一、第二の信号に基づいて、連続し、周期的に前記撮像手段によるフレームデータを撮像するように制御することを特徴とする。

本発明によれば、高フレームレートのLVおよび静止画を撮像する制御・処理においても、レリーズタイムラグのバラツキの低減、EVF表示遅延の低減、および、撮像部の省電制御を実現できるようになる。

実施形態の撮像装置の要部ブロック構成図。 記憶部のフレームの格納状態を示す図。 撮像部の要部ブロック図。 撮像部インターフェースの要部ブロック図。 イベント管理部の要部ブロック図。 、 Power-ON時の代表信号のタイミング図。 、 、 、 pre Capture時の代表信号のタイミング図。 制御部の状態遷移図。 転送部の要部ブロック図。 同期転送部の要部ブロック図。 差動信号受信部の要部ブロック図。 イベント発生源の回路図。 ホールド回路を示す図。 記憶制御部の要部ブロック図。 アドレスポインタの回路図。 他の実施形態の記録画像取得時の遡り量の設定のＵＩ図。 他の実施形態の記録画像取得時の遡り量の表示のＵＩ図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、明細書中で表記される“イベント”とは、任意の時間に発生するタイミングを指すものとし、装置回路中では電気信号として扱われ、レベルの反転やパルスの発生を指すものとする。イベントの発生は、制御回路の状態の遷移を起こす。また、一定の周期で発生するパルス信号を、周期イベントとして扱う。

［第１の実施形態］
図１は、本第１の実施形態が適用する撮像装置の要部ブロック構成図である。本実施形態の撮像装置はML構成であり、LVフレームを撮像しながら1枚の静止画記録を実施するデジタルスチルカメラの例示である。勿論、静止画撮影可能なビデオカメラに適用しても構わない。

図１における各ブロックは、本提案のフレームデータ処理に関るデータパスを例示し、信号の結線もデータパスと、本提案特徴に関るステータス信号を記載している。特に、動作説明上の必要に応じて、信号線には符号を添付している。

実施形態の撮像装置は、CPU108で制御管理されるものとする。このCPU108は、不揮発性メモリ(non-volatile memory)109に記憶したファームウエアを実行する。図１における信号sig_121は１本の線で示されているが、この信号sig_121は、CPU108と他モジュールとをつなぎ、動作制御やパラメータ設定を行うためのアドレス線・データ線・write/read ステータス線等を含むバス構成の信号であり、実際は複数本の信号線で構成される。本実施形態では、信号sig_121のデータ線は双方向と定義する。

図示において、CPU108とインターフェースをとる各モジュールは、アドレス・ステータスをデコードする機能と、データを保持する記憶部を持つレジスタ構成を具備しても良い。図の簡略化のために、信号sig_121は本提案特徴に関る図中の参照符号102, 104, 105のモジュールとの接続のみを明示している。勿論、接続のない他のモジュールと該信号sig_121との接続が存在しても良い。

参照符号103は、ユーザーの操作に応じて静止画撮影要求を発行する撮影指示部としてのレリーズ釦（ボタン）である。スイッチ1031およびスイッチ1032はカメラのレリーズ釦103に連動するスイッチで、レリーズ釦103の第一ストロークでスイッチ1031がオンし、更に押し込んだ状態である第二ストロークでスイッチ1032がオンするようになっている。CPU108は、スイッチ1031およびスイッチ1032の押下状態を監視する監視機能を有する。このため、スイッチ1031, 1032夫々はプルアップ抵抗で電源にプルアップされており、途中シュミットトリガタイプのインバータ122, 123を挟んで、信号sig_101およびsig_102としてCPU108に直接接続している。ただし、CPU周辺にペリフェラルポート（不図示）のリソースがあれば、それを用いて状態変化があったときにペリフェラルポート経由でCPU108に割り込みをかけても良い。

参照符号100は撮影レンズシステム(Lens system)であり、本撮像装置の撮影光学系である。被写体の光学情報は、撮像部101(CMOS sensor)で電気信号に変換される。撮像したフレームデータは、撮像部インターフェース102(IF(Capture))を介して動画データとして補正部107(Compensation）へ転送されるか、静止画像データとして記憶制御部105(mem CTRL)へと転送される。

通常、撮像部101は単体部品であり受光面を考慮して実装される。それ以降の処理回路部は大抵別基板であり、フレキシブル配線板やコアキシャル配線を介して接続される。本実施形態では、撮像部101と撮像部インターフェース102とは電気的な配線を要する構成であり、差動信号等シリアル通信を介する例示とする。撮像部インターフェース102については、別途図４を用いて説明する。

図１における参照符号110は、AF用のアプリケーションブロック（application(AF)）であり、MLカメラにおいて像面位相差方式を採用する場合（撮像部101の画素構成上で視差画像取得が可能となっているものとする）には、補正部107の出力から得る視差画像間の任意の枠領域中の像ずれ量を推定し、それをレンズの駆動制御量に換算して、レンズ駆動情報を撮影レンズシステム100に転送する。

補正部107は、撮像部101で発生する信号への悪影響を補正する信号処理手段として機能するものであり、色シェーディング補正や欠陥画素補正等を実施する。また、補正データはレジスタや専用の記憶部（SRAM等）を用意して、CPU108から設定更新できるようにしても良い。あるいは、後述する図３のデジタル補正回路部307が、補正部107の代わりにこれらの補正を行うようにしても良い。

参照符号134はビデオRAM（VRAM）であり、動画フレーム情報を一時記憶する記憶手段として機能する。また参照符号133はビデオRAM134のI/Fを制御するVRAM制御部である。ここでフレームデータを一旦保持するのは、当該フレームの評価値取得結果を現像前の同フレームデータへフィードバックするためである。勿論、ビデオRAM134を後述する記憶部126上に設けても良いし、光源の変動が緩やかであること（フリッカ除去後とか、AGC(Auto Gain Control)後とか）を前提にビデオRAM134を用いずに評価結果をフレーム遅延して用いる構成も考えられる。

参照符号111は評価値取得部(evaluation(AE/AWB))であり、ホワイトバランスやAE調整をするための補正値の取得用のブロック積分回路である。ここには白サーチを行うための色空間信号への変換演算と、色空間でブロック分割した積分結果値を評価値として得る回路（不図示）を実装しても良い。該評価値取得部111による評価結果は、レジスタ129(evaluation value(reg))に保持され、評価値演算部112(WB, color balance)でVRAM制御部133を経由したビデオRAM134のデータに（主にデジタルゲイン値として）適用し、後段の画像処理部114(image process(including NR))へ送出する。

画像処理部114は、撮像部101の出力がベイヤー配列であれば同時化を行い、入力信号をマトリクス演算して輝度信号と色信号に分離する。ここでは、ノイズ抑圧処理や偽色抑圧処理等実施するが、本提案の主眼ではないので詳細を省略する。また、画像処理部114の手前に光学系の回復処理（収差補正や、回折影響の補償等）を挿入しても良い。

参照符号116は表示インターフェース(IF(GenLock))である。この表示インターフェース116の大目的は、異なるsource信号（実施形態中、画像処理部114からの動画出力と、画像処理部121を経由した静止画出力と）を共通の同期信号に載せて表示部（EVF117, LCD118等）に送出するためのGen Lockとしての機能である。

本実施形態における表示インターフェース116には、VRAM115とEVF117とLCD118を接続している。VRAM115は、任意のタイミングの表示画像入力を、一定のタイミング出力に同期させるためのバッファである。このVRAM115の制御部（不図示）は該表示インターフェース116中に実装しても良い。ユーザーインターフェースとして、表示画像に撮影情報やメニュー等を表示するようにOSD(On Screen Display)機能を具備しても良いが、本実施形態の主眼ではないのでその説明は省略する。

表示インターフェース116は、高リフレッシュレートのフレームデータをEVF117に送出する。LCD118は静止画記録画像や、メニュー表示を行う目的を持つが、高リフレッシュレートの部材を用いてEVF117と同様にLV表示をさせても良いし、リフレッシュレートを落としてLV表示をさせても良い。

表示部インターフェース116は、表示部材に動画を表示させるときには、その垂直同期期間と等価な期間（周期）で発行するイベントを表示用映像信号の要求信号sig_110として、イベント管理部104(EVENT manager)へと伝達する。イベント管理部104は、本提案の特徴部位でもあるので、別途図５を用いて説明する。

参照符号105は、記憶部106(memory (for example volatile memory))を制御する記憶制御部である。これも本提案の特徴部位であるので、別途図１４を用いて説明する。

記憶部106は、本実施形態で事前撮影（以下、pre Capture）動作を実施時に静止画像データを一時的に記憶するためのメモリ（バッファメモリ）である。記憶部106の記憶領域の定義については図２を用いて説明する。

参照符号119は、画素補正部(Compensation)であり、撮像部101で撮像した静止画像データに対して補正するものであり、機能としては補正部107と同様である。

参照符号131は評価値取得部(evaluation(AE/AWB))であり、補正の済んだ静止画像から評価値を取得するものであり、その構成・用途は評価値取得部111と同様である。評価値取得部131は、評価結果をレジスタ132に一時格納する。図１では、静止画像処理時に、補正完了後のデータを一旦、記憶部126に格納してから、評価値演算部120へと読み出すことで評価値取得に１パス消費している構成を採っているが、評価値取得から画像処理へのパス構成自体は本提案の特徴ではないので、パス構成を限定するものでは無い（LV動画の評価値パス（VRAM134有無等）も同様に限定はしない）。勿論、評価値取得のプロセス自体を限定しない。

参照符号121は、静止画像用の画像処理部(image process(including NR))である。画像処理要件は画像処理部114と同様で構わないが、動画像では連続するフレームデータを用いてフレーム間の巡回処理が可能であるが、静止画像ではそれは難しいので、ノイズ抑圧処理等で相違点があっても良い。

参照符号113はリサイズ部(resize)である。ここでのリサイズは、記録画像が表示サイズよりも画素数が多い場合を想定して、表示画像サイズに縮小する例示である。リサイズ部113での縮小方法は、センサーサイズによってはフィルタをかけて間引く単純なものでも良いし、Nearest Neighbor, Bilinear, Bi-cubic等で任意の画素への縮小をしても良く、縮小方法は特に問わない。なお、画像を縮小する処理に限らず、画像を拡大する処理も行う構成としても良い。

記憶部126は、静止画像処理パス中で、workメモリの役割を担う。その一時処理として、評価値演算のための補正部119の出力の一時保存、画像圧縮のための画像処理部121の出力の一時保存、コーデック124(Codec)の出力結果の一時保存である。

参照符号125は、記憶部126に対する記憶制御部(mem CTRL)であり、上述の一時保持データの入出力を制御する。記憶制御部125は、主にアービトレーション、アドレス管理、記憶部126とのデータ・ステータスのI/O管理を行うものであり、本提案の特徴部位ではなく、大抵の電子機器において既知の制御なので詳細な説明は省略する。

コーデック124は、記録用に画像圧縮をするためのものであり、再生用に記録ファイルの伸張機能を有しても良い。ここでは、記録ファイルのフォーマットについては限定しない。

参照符号128は記録用のメディアであり、デジタルカメラでは一般的にCFカードやSDカード等の不揮発メモリが用いられる。参照符号127はメディア128への書き込み／読み出しを制御する記録部インターフェース(IF (for Record))である。

本実施形態では、LV表示用の動画撮影と静止画撮影を行うスチルカメラについて例示しているが、撮像装置が動画像を記録する場合には、これに限られるものではない。例えば、撮像装置が、記憶部126への動画像の一時記憶制御部、記録動画用のリサイズ部、及び、動画像圧縮をするためのコーデック部を設けた構成としても良い。

本実施形態では、撮像部101として積層型のCMOSイメージセンサーを例示する。

図３は、本実施形態の撮像部101の要部ブロック図である。図中、参照符号101aは、垂直読み出し制御部301(Vertical CTRL)と画素アレイ302(Pixel Array)とを含む画素側のチップである。また、参照符号101bは、AD変換器305(Column circuit (including ADC))とデジタル補正回路部307(Digital Compensation circuit)と撮像データインターフェース310を含むデジタル側チップである。垂直読み出し制御部301はデジタル側チップに実装しても良い。

画素アレイ302は、例えばPD（Photo Diode）と転送トランジスタ、増幅トランジスタ、選択トランジスタ、リセットトランジスタを含む様な画素構成を格子状に配列したものであり、選択トランジスタの先が垂直線に接続される。これらは公知のCMOSセンサー画素構成であるので説明は省略する。垂直読み出し制御部301は、画素アレイ302中の画素のトランジスタを制御する。格子状の画素の任意の行毎に選択することで任意の列単位の画素値読み出しが出来る。垂直線は夫々のチップのメタル層に生成され、TSV（Through Silicon Via）等によってチップ間を電気的に接続しても良い。

参照符号303は、フレームとしてのタイミング信号を生成するタイミングジェネレータ(TG)であり、フレーム同期、ライン同期の管理、および、タイミングパルス（イベント）の生成を行う。垂直読み出し制御部301の動作は、このTG303の管理するイベントに連動する。TG 303のフレーム読み出し開始イベントは、撮像部インターフェース102からの垂直同期信号（VD信号sig_105であり、別途図１０で説明する）である。

参照符号304は、垂直線にぶら下がる画素アレイ302中の画素を選択時に、ソースフォロア構成となる増幅トランジスタ（不図示）から画素の電圧信号を損失なく取り出すための定電流源(Const. Current Supply to Vertical Line)であり、本実施形態ではデジタル側チップに搭載されるものとしている。参照符号305は列回路構成(Column circuit(Including ADC))であり、AD変換器（不図示）を含む。参照符号309は、AD変換器305のコンパレータのリファレンス信号となるランプ信号発生回路(Ramp)である。参照符号306は、AD変換された画素データを一時保持する（複数）列メモリ(Column Memory)である。参照符号307はデジタル補正回路部(Digital Compensation circuit)であり、クランプ処理や輝度シェーディング補正、デジタルゲイン調整等の信号処理を行う。本実施形態では、デジタル補正回路部307と補正部107,119を併設し、センサー毎依存の補正処理を該デジタル補正回路部307に搭載するが、夫々の補正機能については限定されるものではない。参照符号308はシェーディング補正パラメータを保持する記憶部(Shading Compensation Parameter)である。補正パラメータは、撮像部インターフェース102から信号sig_113を介して転送されても良い。

撮像データインターフェース310は、本実施形態では、撮像データを差動信号として電気的に撮像部インターフェース102へと転送する。本実施形態では、転送はレーン単位のシリアルデータ通信で例示する。図１１を用いた受信側の例示で、処理の流れを説明する。送信側と受信側では処理フローが逆なだけなので、ここでの説明は割愛する。

図３における参照符号314は、CPU108とのデータ通信を行うための双方向通信部であり、例えばデジタル補正回路部307の補正パラメータを記憶部308に転送する。本実施形態ではシリアルデータ通信で例示する。動作については、インターフェース102側の転送部1021について図９を用いて説明するので、ここでは割愛する。また、受信後のデータにある規則を定義する（有効データ幅の定義と、その中のアドレスビット、データビットの定義等）ことで、撮像部101内の各回路にレジスタを設けて分配することが出来る。

図３における参照符号315は電源管理部(Power)であり、例えばデジタル側チップ101bを部分的に電源遮断するときの部位間のアイソレーション状態やリセット状態を管理する。この電源管理部315は、CPU108からの設定情報を保持するレジスタを持ち、電源供給グループ（パワードメイン）の管理を実施する。

参照符号316はクロック生成部(CLK Gen)であり、外部供給の原振クロック（不図示）を逓倍や分周をして所望のクロックを生成し（PLLを用いても良い）、チップ内のクロック系統別管理を実施する。クロック系統は、AD変換器含む列回路305や補正回路部307や撮像データインターフェース310毎に分けて制御しても良い。また、このクロック生成部316は、CPU108からの設定情報を保持するレジスタを持ち、部分的なクロック停止等の制御管理を実施する。

次に、図４を参照して、撮像部インターフェース102について説明する。図４（ａ）は、本実施形態における撮像部インターフェース102の要部ブロック図である。図４（ｂ）は、図４（ａ）中における信号sig_119をデコードしてsig_400を生成するときの関係を示した対応表である。信号sig_119の信号値については、別途図７Ａ～７Ｄおよび図８で後述する。

図４（ａ）における参照符号1021は信号sig_113の送受信を行う転送部(serial IF(UART))であり、本実施形態ではシリアル通信手段であり、詳細は図９を用いて後述する。参照符号1022は、撮像部101にVD信号を送出する同期転送部(Source Synchronous)であり、図１０を用いて後述する。参照符号1023は、差動信号受信部(Differential Signal Receiver(Rx))であり、図１１を用いて後述する。参照符号1024は、信号sig_119のデコーダ(decoder)である。信号sig_119は、イベント管理部104中の制御部1041が送出するステータス信号であり、制御部1041の制御状態が反映されたものである。この制御部1041は本発明の特徴部位なので、別途図８を用いて説明する。参照符号1025は、CPU108との情報授受のための信号sig_121を経由した制御指示・状態・パラメータ等を一時記憶するレジスタ(register for status/parameter)である。

図９は、転送部1021の要部ブロック図示である。本実施形態では、上述の様に撮像部101を撮像装置上の１つの部品として、撮像データとその他情報とのシリアル通信手段を夫々具備させている。転送部1021は、撮像データ以外の制御設定命令および情報をシリアル通信で伝達するための手段である。図３の双方向通信部314でも述べた様に、該シリアル通信は双方向の通信で例示している。撮像部101への制御設定命令および情報の伝達のみ必要であれば、単方向通信でも良い。ここでは限定しない。

図９において、参照符号中10211は、転送部1021の制御部(CTRL)であり、送信情報を待機するシフトレジスタ10212と、受信情報を蓄積するシフトレジスタ10213と、のデータ送受信状態を制御する。シフトレジスタ10212では、レジスタ1025に格納した転送情報（これは、CPU108が設定する多ビットのレジスタ情報であり、例えば32bit単位で転送される）をパラレル・シリアル変換する。シフトレジスタ10213では、撮像部101から受信したシリアル信号をCPU108への情報として伝達するためにシリアル・パラレル変換し、出力する。

制御部10211は、デコーダ1024からの信号sig_400およびCPU108の要求を受けて（信号sig_901に反映）、送信要求があればレジスタ1025の状態から所望な設定を、セレクタ10216を介して選択し、シフトレジスタ10212にセットし、バッファ10214を介して撮像部101へのシリアル通信（送信）を実施する。受信要求があれば、撮像部101より転送されて来る信号sig_113を、バッファ10215を介してシフトレジスタ10213に受信し、受信結果を多ビットの信号としてCPU108へと転送する。

図１０は、同期転送部1022の要部ブロック図示である。図中の参照符号10221はパルス拡張部(enhancer)であり、図５を用いて後述する信号sig_100に同期した第一の信号（静止画撮像要求信号sig_103）,第二の信号（動画像撮像要求信号sig_104）の何れかの受信時に、受信したパルス信号を第三の信号（VD信号sig_105）として撮像部101が受信可能な様に、パルス幅の調整を実施する。パルス幅設定は、レジスタ1025を経由でCPU108が設定する（不図示）。パルス幅拡張自体はカウンタを用いても、単安定マルチバイブレータの様な構成を採っても良く、ここでは限定しない。

参照符号10222はSRラッチで、第一の信号（静止画要求信号sig_103）受信でHigh（1値）に、第二の信号（動画要求信号sig_104）受信でLow（0値）になる信号sig_401を出力する。信号sig_401は、図１１を参照して後述する、信号sig_402, sig_403をマスクするための信号であり、信号sig_401が1値のときに静止画像データ(信号sig_107)および有効ステータス(信号sig_106)が後段に対して出力される。信号sig_401が0値のときには、動画像フレームデータ(sig_114)が有効であり、後段の補正部107に対して出力される。

図１１は、差動信号受信部1023の要部ブロック図示である。差動信号はLVDSやSLVS等規格があり、プロトコルを有するものもある。これらは、高速伝送を実現するための通信インターフェースの規格であり本提案実施形態でも採用するが、通信方式自体は実施形態の主眼では無いので簡単な説明に留める。撮像部101からの差動信号sig_118は、図の簡略化のために１レーン分のみ記載しているが複数レーンを実装し、例えば、複数bitからなる画素データを複数のレーンに分けて転送する。画素配列毎（ベイヤーの色毎とか）に複数リンクに分けて、リンク毎の転送レーン管理を実施しても良い。

図１１における参照符号10231は物理層処理部(phy)であり、レーン毎のデータから転送クロックの再生、制御コードの除去、レーン間スキューの調整等を実施する。参照符号10232はリンク層処理部(Link)であり、物理層を経たデータを結合してパケットデータに戻し、必要であれば誤り検出や誤り訂正性処理をして、各レーンデータから画素データを抽出する。複数リンクのデータ転送であれば、この出口でリンク間スキュー調整を施しても良い。参照符号10233はアライメント処理部(Align)であり、リンク間の各画素データを事前に決めた画素データ列へと並び替え、後段でフレームデータ処理が出来る様にするアプリケーション層として存在する。参照符号10234はFIFOであり、後段のデータ処理とのレート調整を行う。参照符号10235はバッファ制御部(Buff CTRL)であり、アライメント処理部10233からの有効データ受信連絡を受け付け、後段へのデータ有効ステータス信号sig_402の生成、それに合わせたデータsig_403の転送を制御する。図１１中各モジュールの制御設定は、レジスタ1025から受け取る（不図示）。

図５は、イベント管理部104の要部ブロック図示である。制御部1041(State Machine)は、撮像部101への各種設定要求を信号sig_119として発行する。また、制御部1041は、静止画撮影においては、撮影指示部103中のスイッチ1031, 1032の状態の変化を受信し、pre Capture開始要求（信号sig_805）、静止画記録要求（信号sig_806）を発行する。

参照符号1042は、周期的に周期イベントを発生する周期イベント発生源(Event Generator)であり、動画および静止画の撮像要求を共通イベントで同期化するための信号sig_100を発生する。参照符号1043は、CPU108からの命令を受信するレジスタであり、制御部1041, イベント発生源1042に、CPU108からの指示・設定を伝達する（図５中sig_500, sig_506～509）。実施形態では、信号sig_500およびsig_506～sig_509は、レジスタ1043がリセット（不図示）されると0値になるものとする。また、レジスタ1043の設定により1値に状態変化する。参照符号1044は保持回路(Hold)であり、表示部インターフェース116からの動画要求信号sig_110の要求状態（1値）を、直近のsig_100イベントの発生まで保持する。

図８は、制御部1041の制御状態の遷移を例示した状態遷移図示である。ここに示す状態は、信号sig_119として図４（ｂ）に記載の4bitの信号として撮像部インターフェース102中のデコーダ1024に転送される。状態の遷移条件は{true, false} で表現するが、電気回路やロジック回路として扱う例示として本実施形態ではtrue = 1値 (High) , false = 0値 (Low) と定義する。

システムリセット（Reset）が入ると、制御状態は動作の起点となる状態S800のidle状態へと遷移する。その後、CPU108がレジスタ1043中の制御部1041 enableレジスタ（不図示）をenable状態に設定することで図５中の信号sig_506の状態が1値となり、制御状態は状態S801のstand by状態へと遷移する。状態S801時は撮像禁止状態であり、撮像部101も省電状態に制御される。

CPU108からレジスタ1043に撮像部101への初期化要求が設定されると、図５中の信号sig_507の状態が1値となる。状態S801において信号sig_507の1値状態を検知すると、制御状態は状態S801から状態S802へと遷移する。

状態S802は撮像部101への初期化要求phaseである。該要求は信号sig_119を介して撮像部インターフェース102へと伝達され、該撮像部インターフェース102中の転送部1021によって撮像部101に所望の設定情報が送出される。図４中信号sig_120は、情報送出完了イベントを伝達する。転送部1021は、情報送出後に該信号sig_120を制御部1401に返送する。制御部1401は該完了信号sig_120を受信して、信号sig_501を1値として状態S803へと遷移する。転送部1021と該制御部1041が同期回路（同期設計）であれば、状態遷移ステータスとしての信号sig_120のイベントは、クロック（不図示）１サイクル分のパルス（イベント発生時1値、それ以外0値等）で良い。

状態S803は、LV動画の撮像要求を受信出来る撮像処理active状態である。状態S803では連続するLV動画像を撮像するが、この動画像撮像中にISO感度（センサー内のゲイン値）を変えたりする場合にはCPU108からレジスタ1043に撮像部101への設定要求がセットされる。レジスタ1043は、撮像部101への転送要求として信号sig_508を1値にする。このとき制御状態は状態S803から状態S804のupdate状態へと遷移し、その様は信号sig_119を通じて転送部1021に伝達される。転送部1021が転送する設定値自体は、事前にレジスタ1025に更新されており、前述の様にシフトレジスタ10212を介して撮像部101へとシリアル転送される。転送部1021は所望の情報を撮像部101に転送後、完了信号sig_120を発行する。制御部1401はこれを受信後、状態S804から再び状態S803へと復帰する。

本実施形態では、状態S804中も、LV動画撮像要求は受け付ける。そのためには、書き換え対象となる撮像部101中のレジスタがダブルバッファ（primary registerを即時更新後、次期フレームでsecondary registerに反映する等々）と等価な機能を有する必要がある。

撮影指示部103における第一のスイッチ1031が押されると、シュミットトリガのインバータ122を介して整形された信号sig_101がCPU108に伝達される。CPU108は、静止画撮影指示の一環として信号sig_111を1値としてpre Captureの開始を制御部1041に伝達する。同様に、撮影指示部103における第二のスイッチ1032が押されると、シュミットトリガのインバータ123を介して整形された信号sig_102がCPU108に伝達される。CPU108は静止画記録指示の一環として、信号sig_112を1値としてpre Captureの完了を制御部1041に伝達する。

本実施形態では、信号sig_111が1値且つ信号sig_112が0値でpre Capture要求、信号sig_112が1値で静止画記録要求、信号sig_111, sig_112共0値で静止画撮影は待機状態であると定義する。本提案の特徴は、pre Captureによる撮像である。したがって、いきなり第二のスイッチを押し込む（状態S803中、信号sig_112が1値となる）様な場合にはpre Captureによる記録処理は成立しないので、撮像装置は撮影記録要求に反応しない（状態S803からの遷移条件に含めない）。後述する図７Ａ～７Ｄに、pre Captureにおける信号 {sig_101, sig_102, sig_111, sig_112}のタイミングチャートを例示する。

図８における状態S803時に信号sig_111が1値になったときに、制御部1041の制御状態は状態S803からpre Capture開始状態である状態S805へと遷移する。

状態S805は、撮像部101に対する静止画撮像設定の転送要求phaseであり、制御部1041は転送部1021に対して信号sig_119を介して状態S805への遷移状況を伝達する。この状況を受けて、転送部1021は撮像部101に対して静止画撮像のための設定（走査設定等）を転送する。転送部1021は、撮像部101への設定情報転送の完了時に完了信号sig_120を制御部1041に返送する。制御部1041は、状態S805で信号sig_120の1値状態を受信すると、信号sig_805を1値として状態S806へと遷移する。

状態S806は、撮像部101に対して動画撮像要求と静止画撮像要求が交互に発行される様なalternate状態である。状態S805から状態S806へ遷移後に、信号sig_805を０値とする。状態S806においてCPU108から撮像部101へのパラメータ変更要求が入った（状態S803同様に、sig_508が1値となった）場合には状態S807へと遷移して、S804同様の処理を実施する。状態S807ではパラメータ変更要求の対象は動画・静止画どちらの制御に対してもあり得る。前述の様に、レジスタ1025に事前設定するデータ中にアドレスビットが定義されていれば、宛先については問題無い。状態S807において転送部1021からの転送完了信号sig_120を検知後、状態S806へと復帰する。

CPU108からのパラメータ変更要求を伴わない撮像部101側の動画用、静止画用設定の切り替え（状態S806時のpre Capture期間のVD毎の撮像制御切り替え）は、撮像部101中に動画用、静止画用のレジスタを夫々具備し、第三の信号(VD信号)到着毎にalternateに切り替えることで成立する。撮像部101では、静止画の電荷蓄積の裏で動画の読み出し走査が行われるので、撮像部101のレジスタ・ダブルバッファ切替は、構成毎に適宜異なって良い。

前述の様に、撮影指示部103の第二のスイッチ1032が押されるとCPU108経由で信号sig_112が1値の状態が制御部1041に伝達される。制御部1041は信号sig_112を検知すると、pre Captureの完了信号sig_806を1値として状態S806から状態S809へと遷移する。もし、状態S807において信号sig_112が1値の状態を検知したならば、信号sig_120の検知を待たずに状態S809へと遷移（撮像部101は省電制御に入るので構わない）する。その場合にも、信号sig_806を1値として状態S809へと遷移する。

また、撮影者が撮影指示部103の第二のスイッチ1032を押し込むこと無く第一のスイッチ1031をリリース（信号sig_111の0値状態を検知）した場合には、状態S808のpre Capture OFF状態へと遷移する。

状態S809は、撮像部101に省電制御要求を発するPower Save遷移状態である。状態S809に遷移後、信号sig_806は0値となる。本実施形態では、LV撮像中のpre Capture実施時に静止画記録要求（第二のスイッチ1032押状態）が発生すると、1枚の静止画記録を実施する単写モードを例示している。静止画記録後数秒は、EVF117, LCD118等表示部には記録静止画を数秒表示し、撮像を不要とする期間中は撮像部101を省電制御するものとする。状態S809は、そのためのPower Save遷移状態である。

状態809において、転送部1021からの（撮像部101への省電設定の転送完了後の）完了信号sig_120が1値になったのを受けて、制御部1041は状態S801へと遷移し、待機状態となる。

状態808は、静止画像に関る制御を無効にするためのpre Capture OFF状態である。例えば、撮像部101が積層センサーであり、補正パラメータにSRAMを積んでいる場合には、静止画で使用していたSRAM領域を省電モードへと入れる様、転送部1021を介して撮像部101に設定情報を転送する。転送部1021はこの転送完了後、制御部1041に対して信号sig_120を1値として転送完了を知らせる。制御部1041はこの信号sig_120の1値検知を受けて、状態S803へと遷移する。

状態S803にあり、途中で一旦LV表示を切る様な場合には、CPU108はレジスタ1043に撮像要求Halt指示を設定する。そのとき、図５の信号sig_509は1値となり、制御部1041は該信号sig_509の1値への状態変化を検知して、状態S803から状態S801へと遷移し、待機状態となる。

図１２は、周期イベント発生源1042の回路図である。システムクロックを基にイネーブル期間中インクリメント動作をするカウンタ10421(Counter)と、その結果の任意の値でパルスを生成するための比較器10422, AND素子10423とから成る。図中の信号sig_501は、別途図８における状態S803からS808の範囲で1値を採るレベル信号である。sig_500はCPU108によって設定されたイベント周期に関るレジスタ値であり、イベント周波数は、LV表示のリフレッシュレートの逓倍の関係を採る様に設定する。図６Ａ，６Ｂ、図７Ａ～７Ｄの周期イベント信号sig_100は、EVF117への垂直同期信号sig_108の2倍のレートで例示している。

図１３（ａ）は、ホールド回路1044の回路図であり、同図（ｂ）はタイミング図である。

ホールド回路1044は、受信した表示部インターフェース116からの表示用映像の要求信号sig_110のイベントを、その時点からの次期周期イベント（信号sig_100）検知まで遅延させる状態保持回路であり、状態保持期間中、信号sig_504を1値として出力する。図１３（ｂ）の様に、信号sig_501が1値の状態において、信号sig_110のイベントで信号sig_504は1値になり、信号sig_100のイベントで該信号sig_504は0値になる。

図５における信号sig_103は撮像部101に対する静止画撮像要求信号（第一の信号）であり、信号sig_104はLV用動画像の撮像要求信号（第二の信号）である。信号sig_103, sig_104は、周期イベント信号sig_100に同期したタイミングで撮像部インターフェース102に送信される。夫々の信号は、AND素子1045（または、AND素子1046）でホールド回路1044の結果とANDされて出力するので同時に発行されることは無い。素子1047, 1048はフリップフロップ回路でありシステムクロック（不図示）で同相転送されるので、撮像部インターフェース102と同期設計が可能である。

図１４は、記憶制御部105の要部ブロック図示である。記憶制御部105は、記憶部106中のpre Capture領域を管理する手段として例示するが、勿論記憶部106全体を管理しても良い。ここでは本実施形態の特徴である、記憶制御部105のpre Capture領域の管理制御についてのみ言及する。また、記憶制御部105は、記憶部106とアドレスやコマンド等のステータス、データバスのインターフェースを持つ。

図１４におけるドライバ1053, 1054(driver)は、ステータス信号のドライブを行う物理インターフェースである。I/Oインターフェース1057はデータバスへの有効データ送出および取得を行うインターフェースである。FIFO1056は撮像部インターフェース102と記憶部106の処理レートの違いを吸収するバッファである。FIFO1058は記憶部106と後段（補正部119）との処理レートを吸収するためのバッファである。これらは提案特徴ではなく、汎用な制御技術なので詳細な動作説明は省略する。

参照符号1055は、撮像部インターフェース102からの有効データを示すステータス信号sig_106とデータsig_107とを受信し、FIFO1056へと格納するインターフェース部である。参照符号1059は、FIFO1058内のデータを後段（補正部119）へと送出するためのインターフェース部である。これらは、記憶制御部105の入出力バス形態と該記憶制御部105内部のFIFO1056,1058とのデータアライメントや、ステータス信号の発行および応答をするが、これらは本実施形態の特徴部位ではなく、汎用な制御技術であるので、その詳細は省略する。

図１４における制御ロジック回路1051(CTRL Logic)は、撮像部インターフェース102から信号sig_106を、イベント管理部104から信号sig_103およびsig_805, sig_806を、CPU108から信号sig_121を、夫々受信する。前述の様に信号sig_121はCPU108からの設定伝達用であり、設定はレジスタ10511(register)に記憶する。該制御ロジック回路1051は、記憶部106に対する動作制御を司り、記憶部106に対する発行コマンドの管理をするコマンド管理部1052と、静止画格納領域アドレスを管理するアドレス管理部1050と、記憶部とのデータ授受を行うI/Oインターフェース1057夫々に、撮像データのwrite, read要求の発行を行う。

前述の様に、信号sig_805はpre Capture実行開始イベントであり、信号sig_806はpre Capture完了イベントである。第一の信号sig_103は静止画取得要求であるがフレームデータ格納先更新イベントでもある。信号sig_106は有効データ受信ステータスである。また、メディアへの記録指示は、CPU108から信号sig_121を介してレジスタ10511への設定により実施される。

前述の様に、記憶部106は例えばDRAM等大容量の揮発性メモリで良く、発行するコマンドは既存であり、コマンド管理部1052も本実施形態の特徴的部位ではないので、該コマンド管理部1052の詳細は省略する。

pre Capture時の記憶領域のアドレス管理は本実施形態の特徴部分でもあるので、図１５にアドレス管理部1050内のアドレスポインタ10501の回路図を、図２に記憶部106内の静止画記憶領域例を提示する。

図１５は、アドレスポインタ10501の回路図である。図示における参照符号1500は剰余演算結果を保持するカウンタ(Modulo M counter)であり、参照符号1501は格納フレーム数を保持するレジスタ(reg. X)である。カウンタ1500の初期値はCPU108から信号sig_121を介してレジスタ10511に設定され、信号reg_151としてレジスタ1501に格納される。初期化はCPU108からの命令で良く、信号sig_121を介して状態S801, S802の時期に設定されれば良い。信号sig_153は、reg_151をレジスタ10511に設定後、例えば信号sig_121をデコードした結果イベントをロードパルス（LD）としてレジスタ1501に入力すれば良い。デコードするアドレス値は任意な値を割り当てておく。このreg_151値のカウンタ1500へのロードは、最初のsig_805に到着時に行われる。

カウンタ1500のCLR(クリア)端子は、カウンタ値を0値にリセットするための端子であり、電源投入後のカウンタ出力の不定状態を回避するためのものである。リセット信号（不図示）を接続しておけば良い。

カウンタ1500は、pre Capture期間中の定常時は第一の信号sig_103（パルス信号）受信毎に＋１インクリメントすれば良いが、pre Captureの最初で＋１余計に計数してしまう。そのため、SRラッチ1508でsig_103のpre Capture先頭のイベントをマスクする信号sig_150を生成し、第一の信号sig_103の最初のイベントをマスクした信号sig_151としてカウントアップを行う。SRラッチ1508は図１０のSRラッチ10222と同様の構成である。

本実施形態では、記憶部106にMフレーム分のpre Capture画像を格納可能な様定義する。レジスタ10511には、バッファサイズ情報としてこのフレーム数Mを設定し、図１５中信号reg_152としてアドレスポインタ10501へと伝達する。カウンタ1500は該信号reg_152を参照し、カウンタ値と信号reg_152値との剰余を結果値X（図１５の信号sig_152）として出力する。pre Capture完了時（パルス信号sig_806受信時）に、そのときのカウンタ1500値をレジスタ1501に保持する。数値Mの剰余演算結果を出力するカウンタ（modulo M counter）自体は汎用技術なので説明詳細は省略する。

本実施形態のpre Capture時のフレームデータ毎の格納先頭アドレスは、カウンタ1500の出力値に、オフセット値を積算した結果値である乗算器1502の出力値となる。オフセット値は、１フレームデータを格納するには十分な領域を確保した固定値とし、メモリ領域のアライメントを考慮した数値としてレジスタ10511に設定する。このレジスタ設定値は、図１５の信号reg_153として扱う。

pre Capture完了時に静止画記録指示が出た（図８の状態S806からS809へ遷移する）場合、読み出すフレームの先頭アドレスは、乗算器1507の出力値となる。

pre Capture完了時のカウンタ1500値から何フレーム遡るかの情報（遡りカウント値）を、レジスタ10511に設定しておく。この遡りカウント値は、システムに関るタイムラグ低減のための数値を信号reg_154として、視覚刺激応答に関るタイムラグを信号reg_155として扱う。本実施形態では、記憶部106のpre Capture割当領域中をフレーム毎に区分してフレーム番号を割り当てる。今、記憶可能なフレーム数の上限をM枚としたときに、カウンタを０オリジンとして用いる例示としては、カウンタ値Mー1までカウントすると次期カウント値は０に戻る。記憶部106上の記憶領域も同様に、先頭フレームポイント値は、M枚目指示から1枚目指示に飛ぶ。pre Capture期間が長ければ、記憶部106上の記憶領域上をM枚のリングバッファとして運用しているのに等しい。この記憶部106上の領域イメージについては、図２を用いて後述する。

信号sig_806による記録指示時、最終pre Captureデータ（最後のフレームデータ）を示すカウンタ値はレジスタ1501に更新される。先程のカウント制御の仕様（剰余を取る）から、信号reg_154と、レジスタ1501結果値との大小関係によって、読み出しアドレスの算出方法を以下の様に分ける。

図１５における参照符号1503は、レジスタ1501と信号reg_154, reg_155加算結果との大小比較器である。今、レジスタ1501値をX、遡り(Back)量（信号reg_154, reg_155加算結果）をBと定義すると、比較器1503は“X＜B”が成立したときに１値を、それ以外で０値を出力する。加算器（減算器）1504は、“X－B”の演算結果（演算値）を出力し、加算器1505は { M＋(X－B)} の演算結果を出力する。セレクタ1506は、比較器1503の結果が0値のときに加算器（減算器）1504の出力を、1値のときに加算器1505の出力を選択し、選択した演算値を出力する。読み出しアドレス値は、乗算器1507でセレクタ1506の出力とオフセット値reg_153とを乗算した結果値である。上述の様に、アドレスポインタ10501は格納および読み出しフレームの先頭アドレスを指示するものであり、実際の記憶部106アクセスの実アドレス管理はアドレス管理部1050内で行われる。記憶部106は前述の様にDRAM等大容量のメモリで良く、アドレス管理部1050、コマンド管理部1052は公知のメモリコントローラの範疇として詳細は省略する。

図２は、記憶部106のpre Capture時の静止画記憶領域の例示である。参照符号1600は、pre Captureのために割り当てたテンポラリ領域である。参照符号1601は、１フレーム分の固定の画像データ量（単位サイズ）を示している。

図２では、テンポラリ領域1600中にMフレーム分の静止画像を格納可能な様に例示しているので、テンポラリ領域1600は領域1601のサイズでＭ分割されていることに等しい。アドレスポインタ10501は、データ書き込みおよび、読み出し時にはこのＭ分割された領域の先頭アドレスを示す。１フレーム分の領域1601のサイズは、レジスタ情報reg_153の指示値と等価である。

アドレスポインタ10501の出力は、前述の様に、Ｍ分割したテンポラリ領域1600中の格納フレームの先頭アドレスを算出する。そのため、アドレスポインタ10501のアドレス管理は、実アドレスではなくフレーム数単位である。静止画像取得開始（pre Capture開始）時のテンポラリ領域1600への静止画格納開始位置も、0 ～Ｍ－１の範囲で初期値reg_151値に設定する。本実施形態では、テンポラリ領域1600の先頭アドレスを0番地として運用するよう例示しているが、これに限られるものではない。任意の領域を規定アドレスとするには、その規定アドレスとする目標位置の実アドレス値をオフセットアドレス値として、乗算器1502 (および1507)の出力値に対して加算または減算すれば良い（不図示）。

本実施形態では、図２中テンポラリ領域1600を前述の様にリングバッファとして用い、Ｍ枚( “frame M―1”への格納)後の格納位置は、1枚目（”frame 0”の位置）に戻る様例示している。カウンタ1500が数値Mの剰余演算結果を出力するカウンタなのは、該テンポラリ領域1600をリングバッファとして用いるためである。

もし、M＝Bと定義するならば、記録要求時の本来取得したい画像が最後の静止画Captureで上書きされてしまうため、遡り量Ｂは、“Ｍ＞Ｂ”の関係を持つ様に設定する。また、Ｂ＝Ｍ－１とすると、Ｘ－Ｂ＝Ｘ－（Ｍ－１）となる。ここで、Ｘが最大値以外は、“Ｘ＜Ｂ”の関係となるので、セレクタ1506の出力値は、Ｘ－（Ｍ－１）＋Ｍ＝Ｘ＋１となる。つまり、Ｘ|max 時 0値となる以外は“Ｘ＋１”値となる。この関係に限定するのであれば、アドレスポインタ10501の構成は少し簡素化が可能である。但し、システムとしてテンポラリ領域をある程度の容量で一定に確保して、遡り量Ｂを可変にしたい場合には、適さない。本実施形態のハードウエア構成としては、その他、撮像レートの変更やメモリアライメントの調整も鑑みて（図１５のアドレスポインタ10501構成の様に）M≠Bの関係を例示している。

図６Ａ，６Ｂは、説明してきた装置構成の、Power ON時の撮像に関る代表信号のタイミング図示である。図６Ａ，６Ｂの最上部に描かれている信号(Power)は、投入される電源のイメージである。実際には、複数の電圧があり、且つ起動順も定義されるが、ここでは大まかにCPU108とその周辺デジタル回路部への電源投入イメージを例示する。撮像部101等は、別途省電制御されても良い。次段の信号(System Reset)も同様に、CPU108とその周辺デジタル回路部のリセットイメージ図示である。例示ではLow時にリセット、Highでリセット解除（active low）と定義する。

図６Ａ，６Ｂにおける信号sig_121は、CPU108の各moduleに対するインターフェースを採るためのステータス・データ線をまとめて表示していることは前述の通りであるが、ここでは、イベント管理部104に対して送受信が実施される様を示している。

図６Ａ，６Ｂにおける信号sig_119は、図５の制御部1041の状態を示す4bitの信号として例示したが、ここでは該制御部1041状態の説明のために同図４（ｂ）中の状態表記とする。

電源が投入され、リセット状態に入ると、制御部1041はIdle状態S800に遷移する。CPU108がレジスタ1043をセットして、イネーブル信号sig_506が1値になると、制御部1041はstand by状態S801へと遷移し、初期化動作要求の待機状態となる。CPU108がレジスタ1043をセットすることで初期化イベント信号sig_507が発行されると、制御部1041はそれを検知して初期化状態S802へと遷移する。信号sig_119が状態S802となると、デコーダ1024は転送部1021に対して図４(a)中信号sig_400を介して撮像部101の初期化（電源管理や、ロジック部のリセット等初期化動作）と、LV撮像開始のための設定情報の転送要求を出す。図６Ａ，６Ｂの信号sig_113は、この転送部1021から撮像部101への情報伝達有無を転送データイメージとして例示している。S802中の転送量が多いのは、全体の初期設定情報を転送しているためである。転送部1021は、撮像部101への通信完了後に信号sig_120のイベントを制御部1041に返す。

制御部1041は、信号sig_120のイベント（同期回路では、クロック１cycleの間1値になる様）返送を検知して、状態S803に遷移する。この状態S803は、EVF117にLV動画を表示しながら撮像指示部のユーザー操作による静止画撮影指示を待つ待機状態である。状態S803では、信号sig_501が1値となり、周期イベント発生源1042は周期信号sig_100を発行する。表示部インターフェース116は、表示用映像の要求信号sig_110をイベント管理部104に対して発行し、該イベント管理部104は周期信号sig_100で同期化した第二の信号（表示用映像の撮像要求信号sig_104）を撮像部インターフェース102に対して発行する。

図６Ａ，６Ｂの第三の信号sig_105は、イベント信号sig_100で同期化されたVD信号であり、撮像部101に対して発行される。撮像部101は、第三の信号sig_105を受けて画素アレイ302から（複数）列毎にデータを読み出し、差動信号受信部1023に送出する。図６Ａ，６Ｂにおける信号sig_118は、撮像部101から転送されるフレームデータのストリームのイメージ図示である。本実施形態では複数レーンを用いた差動振幅信号のシリアル転送で例示する様既に述べているが、ここでは転送データ有無のイメージ図示に留める。

信号sig_105とsig_118との間に示す斜め線（破線と実線）は、撮像部101中画素アレイ302の電子シャッター制御を示す。破線はシャッター走査であり、実線は読み出し走査を示す。画素部はシャッター走査で光電変換部のリセットがかかり、実線部までが蓄積時間として例示している。

図６Ａ，６Ｂの信号sig_114は、撮像部インターフェース102出力であるフレームデータが補正部107に転送されるイメージ図示である。実際には、画素データと、データの有効を示すステータスとから成立しても良い。図６Ａ，６Ｂの信号sig_108, sig_109は、EVF117へのビデオ信号出力イメージ図示であり、信号sig_108は垂直同期信号（イベントとして例示し、実際にはブランキング期間で別途振舞を持っても良い）、信号sig_109はフレームデータを示す。本実施形態では、最初の2フレームは現像処理が表示に間に合わない期間として（無効データ、濃いグレー）例示している。

図７Ａ～７Ｄは、本実施形態のpre Capture時の撮像に関る代表信号のタイミング図である。図中のsig_101は、反転バッファ122を介して得た撮像指示部103の第一のスイッチ1031の状態であり、1値の状態でユーザーが静止画撮影準備状態に入ったことを示す。信号sig_101は、CPU108に検出され、装置全体は静止画撮像に備える制御動作に入る。CPU108はイベント管理部104に向けて信号sig_111を1値とする。信号sig_101 が0値→1値の状態に遷移してから信号sig_111が0値→1値の状態に遷移するまでのタイムラグは、システム起因のレリーズタイムラグ（CPU108がスイッチ103状態を検知して反応するまでの時間）である。LV表示処理（動画現像、AF処理、追尾等）とシステムリソースがコンフリクトする場合には、CPU108はその完了を待って信号sig_111を1値とする。

制御部1041は、信号sig_111の1値状態を検知すると信号sig_119を状態S805へと遷移する。転送部1021は、静止画取得のための設定を信号sig_113を介して撮像部101に転送する。前述の様に、静止画取得のための設定は事前にCPU108が信号sig_121を介してレジスタ1025に設定する。但し、図７Ａ～７Ｄにおける信号sig_121も、図６Ａ，６Ｂと同様にイベント管理部104に対しての送受信イメージのみ図示し、レジスタ1025への設定描写は省略している。

制御部1041は、撮像部101への設定完了後（信号sig_120受信後）、信号sig_502を1値として信号sig_119を状態S806へと遷移する。イベント管理部104は、信号sig_502が1値の間(状態S806か、S807)、第一の信号(sig_103)を発生する。例えば信号sig_100を120fps(frame per second)として信号sig_110による第二の信号(sig_104)の発生を60fpsとすると、第一の信号(sig_103)、第二の信号(sig_104)は夫々信号sig_100に同期した60fpsの周期信号として交番（重畳）し、第三の信号(sig_105)は120fpsのVD信号として撮像部101へと送出される。

LV動画、pre Capture静止画夫々の撮像タイミングは、信号sig_100に同期した第一(sig_103), 第二(sig_104)の信号で実施される。sig_119が状態S806の期間は、撮像部インターフェース102が受信したフレームデータ(sig_118)は、LV動画用は信号sig_114として、静止画用は信号sig_107として処理される。途中の状態S807遷移は、撮像部101に対するパラメータ変更要求が入った場合の例示である。フレームデータ受信処理は、状態S806と同様である。

図７Ａ～７Ｄにおける信号sig_119が状態S806（状態S807）の期間について、信号sig_118, sig_114, sig_107に添字を付する。この信号の添字{S,L} のSは静止画用データ(StillのS)を示し、Lは動画用データ(LVのL)を示す。また、添字n {n = 0, 1, 2, … , X} は、該期間の撮像リクエストに対する受信データの０オリジンの（動画・静止画夫々の）撮像フレーム数を示す。

信号sig_119が状態S806（状態S807）の期間、アドレスポインタ10501にも第一の信号(sig_103)のイベントが送出される。図７Ａ～７Ｄにおける信号sig_150は、pre Capture開始直前の信号sig_805のイベント到着でHighとなり、信号sig_103到着でLowとなる。図７Ａ～７Ｄにおける信号sig_151は、信号sig_150がHigh期間中の信号sig_103のイベントをマスクしたカウンタ1500に対するカウントパルスであり、該カウンタ1500のカウント結果は信号sig_152に示すようになる。

図７Ａ～７Ｄにおける信号sig_108は、図６Ａ，６Ｂでの説明同様、EVF117へのVD（垂直同期）信号であり、信号sig_109は表示用のフレームデータの転送状態を例示している。図７Ａ～７Ｄにおける表示用フレームデータsig_109の添字は、pre Capture期間外は単に“L”記載（LVのL）とし、pre Capture中は番号付“Ln”記載としている。このときの添字nは、先程同様（pre Capture中の）撮像フレーム数を示す。

図７Ａ～７Ｄは、撮影指示部103の第一のスイッチ1031が押されてから第二のスイッチ1032が押されるまでの間に、X枚のpre Captureが実施された例示である。特に、撮影者が本来撮影したかった被写体の状態を認識してから、実際に第二のスイッチ1032が押されるまでの視覚刺激応答分のタイムラグを含む様、例示している。カウンタ1500は、信号sig_151のイベントを計数して静止画X枚取得を示している。撮影指示部103の第二のスイッチ1032が押されたのは、表示データが“LX－4”のときであり、本撮像装置のシステムに起因する表示タイムラグの低減は、reg_154値の定義による。また、実際に撮影者が本来撮影したかったのは表示データが“LX－B”のときであり、この視覚刺激応答を含むレリーズタイムラグの低減は、reg_155値の定義による。

実施形態の装置は、その直前に撮像された“X－B”枚目（図７Ａ～７Ｄの”SX-B”）の静止画をメディア128への記録対象とすることで、静止画1枚撮影時のレリーズタイムラグ、表示タイムラグの影響を低減する。

なお、視覚刺激応答分のタイムラグは必ずしも考慮する必要はなく、省略することもできる。この場合、図１５においてreg_154とreg_155を加算するための加算器は不要であり、図７Ａ～７Ｄにおいても、reg_155の考慮せずにreg_154の定義にのみ基づいて、“X-4”枚目の静止画をメディア128への記録対象とすることもできる。

また、“X－B”枚目の静止画のみを記録するのではなく、“X－B”枚目から第二のスイッチ1032が押されるまでに撮像されたすべての静止画を記録対象としても良い。あるいは、該第二のスイッチ1032が押される以前の静止画中の任意の枚数を記録対象に含めても良い。

本実施形態では、撮影指示部103の第二のスイッチ1032が押された結果、静止画1枚を記録すべくpre Captureは完了する。制御部1041は、状態S806からS809へと遷移する。転送部1021は信号sig_119をデコードした信号sig_400を介してpre Captureの完了要求を捉え、撮像部101に対して撮像動作を停止するよう信号sig_113を介して設定を転送する。

上述の様、CPU108は“X‐B”枚目（図７Ａ～７Ｄにおける“X－B”）の静止画を記憶部106より読み出してメディア128に記録する様制御すると共に、表示部インターフェース116が該記録画像をEVF117に数秒間表示する様制御する。その間、撮像部101の消費電力を抑えることが出来る。

撮影済画像表示中に撮像部を省電制御すること自体は、従来製品で実施されている技術である。pre Capture時の記録要求（撮影指示部103第二のスイッチ1032押）の検知後直ちに撮像部の省電制御を実施するための仕組みが本提案の新規技術である。

本実施形態では、LV動画撮像中に1枚の静止画を撮影する場合を例示している。静止画を連続して撮影する（連写）場合にも、撮影要求受信からpre Captureデータを遡る様は同様である。連写時は、第二のスイッチ1032が押されている間は静止画撮像を続行する必要があるので、図８中の状態S806から状態S809への遷移は、この第二のスイッチ1032が（一旦押されてから）離された状態とする必要がある。また、連写中は記憶部106中の記憶領域をテンポラリ領域1600とは分けて設定しても良い。

［第２の実施形態］
上記第１の実施形態では、MLカメラの様な撮像装置による1枚の静止画記録を実施する単写モードを例示した。本第２の実施形態では、その時に用いた視覚刺激応答分のタイムラグ低減のための数値設定の例示を行う。

図１６（ａ），（ｂ）は、静止画記録画像取得時の遡り量設定のＵＩ図である。参照符号1603は、撮影者が数値設定を行うためのユーザーインターフェースであり、変更部16031, 選択部16032を搭載した部材と、部材の操作に応じて設定数値が表示されるLCD118を含んでも良い。図示において、LCD118の例示している、静止画記録画像取得時の遡り量の選択候補は、時間の単位である。人間の視覚刺激応答の単位としては[msec]オーダーが適当である。

図１６（ａ）は、調整時間の選択時の例示であり、図１６（ｂ）は視覚刺激応答のタイムラグ低減のための設定を無効（ＯＦＦ）にするための操作の例示である。

図１６（ａ）の例示では、撮影者自身の視覚刺激応答の推定時間を選択する様、選択数値を提示（表示）している。数値間隔は、静止画pre Capture間隔（第一の信号sig_103の間隔）として、16.667[msec] (60fps)を例示している。設定間隔としては、第一の信号sig_103の間隔の整数倍としても良い。本実施形態では、変更部16031は回転する部材であり、LCD118に表示される選択数値は変更部16031の回転に連動してリング状に可動する様例示している。選択部16032は押し込むことで選択する押し釦として例示する。

本実施形態では、表示される選択数値を時間単位の表示と同じ水平位置に来た時に選択候補となる様例示している。所望の数値（図１６（ａ）では、250[msec]）をこの位置に合わせて、ユーザーが選択部16032を押し込むことで、選択完了となる。CPU108は選択結果数値を第一の数値として取得し、事前に設定した第二の数値で除した結果の正の整数値を第三の数値として取得する。または、第一の数値は第二の数値の間隔で増減しているのだから、除算をしなくても更新時の候補数値の移動量（パラメータを何個増加（または減少）側に変更したか）から第三の数値の増減量を決定することが出来る。

この第三の数値は、CPU108によってpre Capture開始前に記憶制御部105のレジスタ10511に設定され、アドレスポインタ10501中の信号reg_155として用いられる。また、この第三の数値は、次期装置立ち上げ時のプリセット値として、次回変更操作まで不揮発性メモリ109に記憶しておいても良い。

ユーザーインターフェース1603上に表示される第一の数値は、実際は表示値よりも精度を持つ数値で良い。例えば前述の様に、16.667[msec]間隔の場合は、選択数値は小数点を持つが表示上は丸めて（四捨五入、切り捨て、切り上げ等、ここでは限定はしない）いても良い。

事前設定である第二の数値は、前述の様に、第一の信号sig_103の周期と等倍（または、周期イベントsig_100の（逓倍の）周期）で良い。この第二の数値は、静止画pre Captureで1枚を撮影する時間単位と見做す。

図１６（ｂ）は、前述の様に、第一の数値を無効にする選択を例示している。無効状態では、信号reg_155値は0値となり、システムに関るタイムラグとしての信号reg_154値の設定値のみが取得静止画の遡りに反映される。図７Ａ～７Ｄにおけるsig_152の例示でいうと、視覚刺激応答込で“X－B” までの遡りが、“X－４”までの遡りとなる。図１６（ｂ）では”OFF”と表示しているが、”0”でも良いし、第一の数値が無効であることが伝われば良く、これら限定されるものではない。

ユーザーインターフェース中の部材の形状は特に問わない。また、ユーザーインターフェースの形態自体を限定するものではない。例えば、PCやリモコンその他を介してリモート操作・設定する場合にも、変更・選択・表示に関る手段が存在すれば本案件は成立する。LCD118にタッチセンサーを装備して、変更部16031、選択部16032の機能を担わせても良い。

図１７（ａ），（ｂ）は、記録画像取得時の遡り量表示のＵＩ図である。図１７（ａ）は、調整時間を選択している様を示している。図１７（ｂ）は視覚刺激応答のタイムラグ低減のための設定を無効（ＯＦＦ）にしたときの表示状態を示している。図１７（ａ），（ｂ）は、EVF117の表示例であるが、LCD118に同様の情報を表示しても良いし、その他表示部材があればそこに表示しても良い。

図１７では、ファインダー表示の左上の位置に、本実施形態の特徴である情報を表示している。表示情報内容は、視覚刺激応答低減のための設定値であり、第一の数値を[msec]オーダーで表示する様、例示している。撮影を阻害しない様であれば、特に文字の表現および表示位置・文字の大きさ／形状／配色等に制約は付けない。

図１７（ｂ）の無効（ＯＦＦ）表示も同様に、表現上の制約は付けない。表記内容についても同様に限定はしない（０[sec]でも良い）。また、無効時には表示しない様な構成としても良い。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

100…レンズシステム、101…撮像部、102…撮像部インターフェース、103…撮影指示部（レリーズ釦）、104…イベント管理部、105…記憶制御部、106…記憶部、107, 119…補正部、108…CPU、109…不揮発性メモリ、111, 131…評価値取得部、112, 120…評価値演算部、113…リサイズ部、114, 121…画像処理部、115, 134…ビデオRAM (VRAM)、116…表示部インターフェース、117…EVF、118…LCD、122, 123…反転バッファ（シュミットトリガ）、124…コーデック、125…記憶制御部、126…記憶部、127…記録部インターフェース、128…記録メディア、115, 132…評価値レジスタ

Claims (17)

1. 撮像手段と当該撮像手段で得た画像を表示するための表示手段とを有する撮像装置であって、
   ユーザーの操作に応じて静止画要求を発行する指示手段と、
   周期的にフレームデータを取得するための撮影要求のイベントの生成と管理を行うイベント管理手段とを有し、
   該イベント管理手段は、
   前記周期的に周期イベントを発生する発生手段と、
   該発生手段で発生した周期イベントに同期して前記指示手段を監視する制御手段と有し、
   前記制御手段は、
   前記指示手段からの前記静止画要求の発生が検出されない間、表示用の動画要求を前記周期イベントに同期した予め決められた周期の第二の信号に変換し、
   前記指示手段からの前記静止画要求の発生を検出した場合、当該静止画要求を前記周期イベントに同期し、前記第二の信号と予め決められた位相差を有する、前記予め決められた周期の第一の信号に変換すると共に、前記表示用の動画要求を前記周期イベントに同期した前記第二の信号に変換し、
   前記第一、第二の信号に基づいて、連続し、周期的に前記撮像手段によるフレームデータを撮像するように制御する
   ことを特徴とする撮像装置。
2. 前記第一の信号、前記第二の信号を重畳して、転送に係る第三の信号を生成する同期転送手段と、
   前記連続して撮像されて得たフレームデータを受信する受信手段と、
   前記第一の信号に対応するフレームデータを静止画像として処理する第１の画像処理手段と、
   前記第二の信号に対応するフレームデータを動画像として処理する第２の画像処理手段と
   を更に有することを特徴とする請求項１に記載の撮像装置。
3. 前記指示手段は、
   静止画の事前撮影の開始要求を発行する第一のスイッチと、
   静止画記録要求を発行する第二のスイッチと、を有し、
   前記イベント管理手段は、
   前記第一のスイッチの操作を検出することで、前記第一の信号の周期的な発行を開始し、
   前記第二のスイッチの操作を検出することで、前記第一の信号の発行を停止する
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 複数の静止画を一時的に記憶可能な記憶部と、
   当該記憶部を制御する記憶制御手段とを更に有し、
   前記記憶制御手段は、
   前記記憶部へのアドレスを管理するアドレス管理手段を有し、
   該アドレス管理手段は、
   前記記憶部に確保した複数の静止画のための一時的な記憶領域に対して、
   静止画像１フレームを固定の単位サイズ間隔で管理するよう、静止画のフレームデータの書き込みおよび読み出し先頭アドレスを演算するアドレスポインタを具備する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記記憶制御手段は、
   前記単位サイズを示す情報と、
   前記確保した記憶領域に格納可能なフレーム数を示す情報と、
   前記記憶領域に対するフレームデータの書き込みによって更新されるアドレスに対して、読み出しアドレスとして何フレーム遡るかを示す情報
   を記憶するためのレジスタを有することを特徴とする請求項４に記載の撮像装置。
6. 前記アドレスポインタは、
   静止画のフレームデータの受信に関るイベントの受信時にカウントアップするカウンタを有し、
   該カウンタでカウントアップされる値と前記単位サイズとから、前記記憶領域における、次のフレームデータを格納するための先頭アドレスを求める
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記イベント管理手段は、
   前記指示手段に含まれる第一のスイッチの操作を検出することで、静止画の事前撮影の開始イベントを発行し、
   前記指示手段に含まれる第二のスイッチの操作を検出することで、静止画の事前撮影の完了イベントを発行する
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記アドレスポインタは、
   前記静止画の事前撮影の完了イベントで前記カウンタ出力を保持するレジスタを有し、
   記録対象の静止画のフレームデータの読み出し要求を受けることで、前記レジスタの保持値と前記何フレーム遡るかを示す情報とから、前記記憶領域に格納されている記録対象フレームデータの先頭アドレスを決定する
   ことを特徴とする請求項６に記載の撮像装置。
9. 前記カウンタは剰余演算を実施し、
   前記レジスタは、剰余演算の結果を保持する
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記アドレスポインタは、比較器、第１の加算器、第２の加算器、およびセレクタを具備し、
    前記比較器は、
    前記事前撮影の完了イベントが発生した際の前記レジスタに保持された値と、前記何フレーム遡るかを示す情報との比較を行い、
    前記第１の加算器は、
    第一の演算値として、前記レジスタに保持された値から前記何フレーム遡るかを示す情報が示す値の減算の結果を出力し、
    前記第２の加算器は、
    第二の演算値として、前記第一の演算値と前記単位サイズの画像がいくつ格納できるかを示す情報の値との加算の結果を出力し、
    前記セレクタは、
    前記比較器の結果によって、前記第一の演算値と第二の演算値の何れかを選択し、
    当該選択した演算値と前記単位サイズとに基づき、前記記憶領域から読み出すフレームデータの先頭アドレスを求める
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記記憶部に保持した静止画のフレームデータを記録メディアに記録するための記録部インターフェースを更に有し、
    前記記録メディアに記録すべき静止画のフレームデータは、
    前記読み出しアドレスを何フレーム遡るかを示す情報に基づいて決定したアドレスから読み出したフレームデータであること、
    を特徴とする請求項１０に記載の撮像装置。
12. 前記何フレーム遡るかを示す情報を設定するためのユーザーインターフェースを有することを特徴とする請求項５乃至１０のいずれか１項に記載の撮像装置。
13. 前記ユーザーインターフェースは、
    遡る時間の長さの変更を行うための変更部と、
    前記遡る時間の長さの決定をするための選択部と、
    前記変更部の操作を反映して、前記遡る時間の長さを現す情報を表示する表示部と、
    を有することを特徴とする請求項１２に記載の撮像装置。
14. 前記ユーザーインターフェースは、前記遡る時間の長さを表す情報として数値と時間単位と、を前記表示部に表示することを特徴とする請求項１３に記載の撮像装置。
15. 前記表示手段は、撮像したフレームデータを一定のリフレッシュレートで表示する表示部であって、
    前記撮像装置は、
    撮像した動画、静止画夫々を前記表示部に同期して切り替えて表示するための表示部インターフェースを有し、
    前記表示部インターフェースは、
    前記イベント管理手段に対して表示用の動画要求を送信し、
    前記イベント管理手段は、
    前記発生手段が発生する周期イベントで前記表示用の動画要求を同期化するためのホールド回路を具備し、
    前記発生手段が発生する周期イベントは、
    前記表示用の動画要求の周期が等倍か、逓倍の関係にある
    ことを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 撮像手段、当該撮像手段で得た画像を表示するための表示手段、及び、ユーザーの操作に応じて静止画要求を発行する指示手段とを有する撮像装置であって、
    周期的にフレームデータを取得するための撮影要求のイベントの生成と管理を行うイベント管理工程とを有し、
    該イベント管理工程は、
    前記周期的に周期イベントを発生する発生工程と、
    該発生工程で発生した周期イベントに同期して前記指示手段を監視する制御工程と有し、
    前記制御工程は、
    前記指示手段からの前記静止画要求の発生が検出されない間、表示用の動画要求を前記周期イベントに同期した予め決められた周期の第二の信号に変換し、
    前記指示手段からの前記静止画要求の発生を検出した場合、当該静止画要求を前記周期イベントに同期し、前記第二の信号と予め決められた位相差を有する、前記予め決められた周期の第一の信号に変換すると共に、前記表示用の動画要求を前記周期イベントに同期した前記第二の信号に変換し、
    前記第一、第二の信号に基づいて、連続し、周期的に前記撮像手段によるフレームデータを撮像するように制御する
    ことを特徴とする撮像装置の制御方法。
17. 撮像手段、当該撮像手段で得た画像を表示するための表示手段、及び、ユーザーの操作に応じて静止画要求を発行する指示手段とを有するコンピュータが読み込み実行することで、前記コンピュータを、請求項１乃至１５のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images