JP6752640B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

近年、デジタルカメラ等の撮像装置に搭載されるイメージセンサとして、画像信号に画像処理を行う半導体集積回路チップ（処理チップ）上に、撮像部を有する半導体集積回路チップ（撮像チップ）を積層した積層型のイメージセンサが登場している。このようなイメージセンサを備えた撮像装置では、撮像部に入射した光が電気信号に変換され、さらにＡＤ変換されたデジタルの画像データがメインチップに転送される。そして、画像データに関する画像処理、表示処理等はメインチップ側で行われる。また、特許文献１は、積層型イメージセンサ内の処理チップ側とメインチップ側とで、二段階に分けてオートフォーカス処理を行うことにより、メインチップ側のみでオートフォーカス処理を行うよりも高精度となるような構成を提案している。

特開２０１５−１４８６７６号公報

しかしながら、近年、イメージセンサの画素数や撮影可能なフレームレートは著しく増加傾向にあり、イメージセンサとメインチップとの間で通信するデータ量は大きくなっている。通常、イメージセンサは、撮像して得た画像データをメインチップへ転送し、メインチップは、転送された画像データを現像して表示可能なデータを生成する。このように、メインチップ側で表示用のデータを生成する現像処理を行う場合、画像データのイメージセンサからメインチップへの転送や、メインチップでのメモリへの一次記憶等の処理を介することから、画像表示が開始されるまでに時間がかかる。従って、画像データのデータ量が大きくなるにつれて、ライブビュー再生する場合の画像表示開始の遅延時間が長くなる。しかも、イメージセンサとメインチップ間の通信帯域が十分でないと、転送に時間がかかることから画像表示開始の一層の遅延を招く。また、メインチップにおける現像処理の最高速度は転送速度に依存するから、通信帯域が十分でないと、撮像画像を本来の速度でライブビュー再生することができず、スロー再生となってしまう。

本発明の目的は、表示開始のタイミング及び表示品位の選択を可能にすることである。

上記目的を達成するために本発明は、受光した光を電気信号に変換して画像データを出力する撮像部と、前記撮像部により出力された前記画像データを転送する転送手段と、前記撮像部により出力された前記画像データを現像して第１の表示用データを生成する第１の現像手段と、前記第１の現像手段により生成された前記第１の表示用データを、前記転送手段で用いられる経路とは別の経路で出力する第１の出力手段と、前記転送手段により転送された前記画像データを現像して第２の表示用データを生成する第２の現像手段と、前記第２の現像手段により生成された前記第２の表示用データを出力する第２の出力手段と、表示部と、前記第１の出力手段により出力された前記第１の表示用データと前記第２の出力手段により出力された前記第２の表示用データとを選択的に切り替えて前記表示部に表示させる切り替え手段と、を有し、前記撮像部及び前記第１の現像手段はイメージセンサ内に設けられ、前記第１の現像手段と前記撮像部とは積層配置されていることを特徴とする。

本発明によれば、表示開始のタイミング及び表示品位の選択を可能にすることができる。

撮像装置のブロック図である。 チップ間通信帯域が不十分な場合のタイミングチャートである。 チップ間通信帯域が十分な場合のタイミングチャートである。

以下、図面を参照して本発明の実施の形態を説明する。

図１は、本発明の一実施の形態に係る撮像装置のブロック図である。この撮像装置１０００は、一例として、積層型イメージセンサ１００が実装されるデジタルカメラとして構成される。しかし、積層型イメージセンサを有し、撮像機能を有する装置であれば本発明を適用でき、例えば、デジタルビデオカメラ、携帯電話、スマートフォン、タブレット、その他の電子機器にも本発明を適用可能である。

撮像装置１０００は、積層型イメージセンサ１００（以下「イメージセンサ１００」と略記する）と、第２ロジック部１０６とを有する。イメージセンサ１００は、センサ部１０１（撮像部）と、第１メモリ部１０２と、第１ロジック部１０３とが積層配置されて成る。第２ロジック部１０６は、イメージセンサ１００とは別個の半導体チップに含まれる。第２ロジック部１０６には、第２メモリ部１０４、表示部１０５、記録媒体Ｉ／Ｆ１０７及び操作部１０９が電気的に接続される。第２ロジック部１０６は第１ロジック部１０３と電気的に接続されている。

センサ部１０１はいわゆるＣＭＯＳイメージセンサユニットである。センサ部１０１は、複数の画素部からなる撮像素子と撮像素子を駆動する駆動部とを有する。センサ部１０１は、受光した光を電気信号に変換し、さらにアナログ−デジタル変換をして得たデジタルの画像データであるＲＡＷデータを第１ロジック部１０３へ送信する。第１ロジック部１０３は、第１メモリ制御部１０３１、第１チップ間通信Ｉ／Ｆ１０３２（転送手段）、簡易現像部１０３３（第１の現像手段）及び第１表示制御部１０３４（第１の出力手段）を有する。第１メモリ部１０２は、第１メモリ制御部１０３１によって読み書きを制御される、ランダムアクセス可能なメモリである。

第１メモリ制御部１０３１は、いわゆるメモリコントローラであり、センサ部１０１、第１ロジック部１０３内の各ブロック、及び第１メモリ部１０２と接続されている。第１メモリ制御部１０３１は第１ロジック部１０３内の各ブロックからのリクエストを受けて、第１メモリ部１０２に対し適切にアクセスできるよう調停を行う。第１メモリ制御部１０３１は、センサ部１０１から出力されたＲＡＷデータを第１メモリ部１０２へ書き込む。第１チップ間通信Ｉ／Ｆ１０３２は、デジタル信号を伝送するためのインターフェースであり、イメージセンサ１００と第２ロジック部１０６とを通信可能に接続する。第１チップ間通信Ｉ／Ｆ１０３２に採用される規格として例えば、ＬＶＤＳ（Low Voltage Differential Signaling）、ＳＡＴＡ（Serial ATA）、ＰＣＩｅ（PCI Express）等の規格が挙げられる。しかしこれらの規格に限定されない。第１チップ間通信Ｉ／Ｆ１０３２は、第１メモリ制御部１０３１を介して第１メモリ部１０２へアクセスし、第１メモリ部１０２から読み出したＲＡＷデータを第２ロジック部１０６へ転送する。ここで、ＲＡＷデータは現像処理前のデータに相当し、第１ロジック部１０３に含まれる不図示の画像処理部において、欠陥補正や所定のオフセット処理等が行われてもよい。

簡易現像部１０３３は、第１メモリ制御部１０３１を介して第１メモリ部１０２へアクセスし、第１メモリ部１０２から読み出したＲＡＷデータに対して現像処理を行う。簡易現像部１０３３による現像処理によって、ＲＡＷデータは表示部１０５で表示可能な画像データである第１の表示用データとなる。簡易現像部１０３３は、生成した第１の表示用データを、第１メモリ制御部１０３１を介して第１メモリ部１０２へ書き戻す。この現像処理については後述する。第１表示制御部１０３４は、第１メモリ制御部１０３１を介して、第１メモリ部１０２に格納されている第１の表示用データを所定の間隔で繰り返し読み出しながら、第２ロジック部１０６の表示切替部１０６６を通じて表示部１０５へ出力する。第１表示制御部１０３４から第２ロジック部１０６の表示切替部１０６６を経て表示部１０５へ至る経路としては、第１チップ間通信Ｉ／Ｆ１０３２と第２チップ間通信Ｉ／Ｆ１０６１との間の伝送経路と独立した別の伝送経路が用いられている。従って、互いの通信帯域同士が影響を及ぼし合うことはない。

第２ロジック部１０６は、第２チップ間通信Ｉ／Ｆ１０６１、第２メモリ制御部１０６２、高画質現像部１０６３（第２の現像手段）、第２表示制御部１０６４（第２の出力手段）を有する。第２ロジック部１０６はさらに、表示切替制御部１０６５、表示切替部１０６６、記録制御部１０６７及び操作指示制御部１０６８を有する。第２メモリ部１０４は、第２メモリ制御部１０６２によって読み書きを制御されるランダムアクセス可能なメモリである。表示部１０５は、例えば液晶パネルであり、第１ロジック部１０３または第２ロジック部１０６で現像処理された表示用データを表示する。

第２ロジック部１０６において、第２チップ間通信Ｉ／Ｆ１０６１は、第１チップ間通信Ｉ／Ｆ１０３２と同じ規格の伝送インターフェースである。第２チップ間通信Ｉ／Ｆ１０６１は、第１チップ間通信Ｉ／Ｆ１０３２から転送されたＲＡＷデータを受信し、第２メモリ制御部１０６２を介して第２メモリ部１０４へ書き込む。第２メモリ制御部１０６２は、いわゆるメモリコントローラであり、第２ロジック部１０６内の複数のブロックと、第２メモリ部１０４とに接続されている。第２メモリ制御部１０６２は、第２ロジック部１０６内で接続されたブロックからのリクエストを受けて、第２メモリ部１０４に対し適切にアクセスできるよう調停を行う。

高画質現像部１０６３は、第２メモリ制御部１０６２を介して第２メモリ部１０４へアクセスし、第２メモリ部１０４から読み出したＲＡＷデータに対して現像処理を行う。高画質現像部１０６３による現像処理によって、ＲＡＷデータは、表示部１０５で表示可能な画像データである第２の表示用データとなると共に、記録媒体１０８で記録するための記録用画像データとなる。高画質現像部１０６３は、第２の表示用データ及び記録用画像データを、第２メモリ制御部１０６２を介して第２メモリ部１０４へ書き戻す。この現像処理については後述する。

第２表示制御部１０６４は、第２メモリ制御部１０６２を介して、第２メモリ部１０４に格納されている第２の表示用データを所定の間隔で繰り返し読み出しながら、表示切替部１０６６を通じて表示部１０５へ出力する。操作部１０９は、ユーザが撮像装置１０００を操作するためのスイッチやタッチパネル等であり、ユーザからの入力操作をＡＤ変換し、操作信号として第２ロジック部１０６へ送信する。操作指示制御部１０６８は、操作部１０９から入力された操作信号を受けて、第２ロジック部１０６の各ブロックへ制御信号を送信する。表示切替制御部１０６５は、操作指示制御部１０６８から送信されてくるユーザからの操作指示を示す制御信号に基づいて、表示切替部１０６６に対して表示切替のための制御信号を送信する。

表示切替部１０６６は、第１表示制御部１０３４から出力されてくる第１の表示用データまたは第２表示制御部１０６４から出力されてくる第２の表示用データのうち、いずれを表示部１０５へ出力するかを選択するスイッチである。表示切替部１０６６は、表示切替制御部１０６５からの制御信号を受けてスイッチを切り替える。これにより、表示切替部１０６６は、第１の表示用データと第２の表示用データとを選択的に切り替えて表示部１０５に表示させる切り替え手段としての役割を果たす。

記録制御部１０６７は、第２メモリ制御部１０６２を介して、第２メモリ部１０４に格納されている記録用画像データを読み出し、記録媒体Ｉ／Ｆ１０７を通して、記録媒体１０８へ記録する。記録制御部１０６７はまた、記録媒体Ｉ／Ｆ１０７を介して、記録媒体１０８から記録用画像データを読み出し、第２メモリ部１０４へ書き込むこともできる。記録媒体１０８は、いわゆるＳＤカード（登録商標）等のメモリカードのような記録メディアである。記録媒体Ｉ／Ｆ１０７は、記録媒体１０８が着脱されるカードスロットのようなデバイスである。

以上が撮像装置１０００の構成である。次に、撮像時における簡易現像部１０３３と高画質現像部１０６３の動作について詳細に説明する。簡易現像部１０３３は、高画質現像部１０６３がＲＡＷデータを現像する際に処理するデータ量よりも少ないデータ量を処理することで、高画質現像部１０６３に比し簡易な現像処理を行える。

例えば、簡易現像部１０３３は、第１メモリ部１０２に格納されたＲＡＷデータに対して、画素数やフレーム数を間引いたり、補間や絵作りにおける参照画素数を少なくしたりすることで、データ処理量を削減した現像処理を行う。例えば、センサ部１０１から第１メモリ部１０２へのＲＡＷデータの転送レートが１２０ｆｐｓである場合に、簡易現像部１０３３は、ＲＡＷデータの４分の１に対してのみ現像処理をすることで、３０ｆｐｓ相当で表示用の簡易現像処理を行う。あるいは、センサ部１０１から第１メモリ部１０２へ転送されるＲＡＷデータの画素数が４Ｋサイズである場合に、簡易現像部１０３３は例えば、ＶＧＡサイズに間引きながら現像することで、ＶＧＡサイズ相当の表示用の簡易現像処理を行う。４Ｋサイズは４０９６×２１６０ピクセル、ＶＧＡサイズは６４０×４８０ピクセルである。なお、簡易現像部１０３３における現像処理はこれらの例示に限定されることはなく、表示画質を限定することで、回路規模または消費電力が高画質現像部１０６３より小さな現像処理であればよい。

一方、高画質現像部１０６３は、第２メモリ部１０４に書き込まれたＲＡＷデータに対して、画素数やフレーム数を間引くことなく、また補間や絵作りにおける参照画素数をできるだけ多くすることで高画質現像処理を行う。例えば、第２メモリ部１０４へのＲＡＷデータの転送レートが１２０ｆｐｓである場合に、高画質現像部１０６３は、ＲＡＷデータの全てに対して現像処理をすることで、１２０ｆｐｓ相当で第２の表示用データ及び記録用画像データを生成する。あるいは、第２メモリ部１０４へのＲＡＷデータの画素数が４Ｋサイズである場合に、高画質現像部１０６３は、全ての画素を現像処理することで４Ｋサイズの第２の表示用データ及び記録用画像データを生成する。

なお、高画質現像部１０６３がＲＡＷデータに対して画素数やフレーム数の間引きを行ってもよい。しかしその場合でも、簡易現像部１０３３は、高画質現像部１０６３による現像処理と比べて、同数以下のフレームまたは画素数を現像処理の対象とすることで、高画質現像部１０６３と同等またはより簡易な現像処理を行える構成とする。

なお、高画質現像部１０６３は、記録用画像データの生成のための画像処理を実施したのち、表示部１０５の解像度に合わせて、記録用画像データを縮小処理して第２の表示用データを生成する構成としてもよい。ＲＡＷデータは、撮像時においては、第２チップ間通信Ｉ／Ｆ１０６１を介してリアルタイムに第２メモリ部１０４へ転送される。一方、再生時においては、記録制御部１０６７を介して第２メモリ部１０４へ転送される。

次に、表示部１０５へライブビュー画像を表示しながら撮像をする際の処理の流れについて図２、図３のタイミングチャートを用いて説明する。図２、図３はそれぞれ、第１チップ間通信Ｉ／Ｆ１０３２と第２チップ間通信Ｉ／Ｆ１０６１との間のチップ間通信帯域が不十分な場合、十分な場合の各タイミングチャートである。

まず、図２の例を説明する。図２の例では、第１チップ間通信Ｉ／Ｆ１０３２と第２チップ間通信Ｉ／Ｆ１０６１との間（チップ間）のデータ転送間隔Ｔｃ＿ｔを、Ｔｃ＿ｔ＝１１．１ｍｓｅｃ、すなわち９０ｆｐｓ相当として説明する。センサ部１０１から第１メモリ部１０２へのＲＡＷデータの転送間隔Ｔｃ＿ｃａｐを、Ｔｃ＿ｃａｐ＝８．３３ｍｓｅｃ、すなわち１２０ｆｐｓ相当とする。データ転送間隔Ｔｃ＿ｔは、第１チップ間通信Ｉ／Ｆ１０３２と第２チップ間通信Ｉ／Ｆ１０６１との間の転送帯域（通信帯域）によって制限されるものとし、図２の例では、Ｔｃ＿ｔ＞Ｔｃ＿ｃａｐである。センサ部１０１から第１メモリ部１０２へのＲＡＷデータの出力速度が１２０ｆｐｓ相当であるのに対し、チップ間の転送速度がそれより遅い９０ｆｐｓ相当であるので、チップ間通信帯域が不十分である。

まず、第１ロジック部１０３の簡易現像処理及び表示動作について説明する。時刻Ｔ０＿０において、センサ部１０１から第１メモリ部１０２へのＲＡＷデータの転送が開始される。その後、時刻Ｔ０＿０から時間Ｔｄ＿ｌ０の経過後に現像処理の開始に必要な画素数の転送が完了すると、簡易現像部１０３３は第１メモリ部１０２からＲＡＷデータの読み出しを開始し、簡易現像処理を開始する。簡易現像処理により第１の表示用データが生成される。簡易現像部１０３３は、簡易現像処理が完了した画素領域から、第１の表示用データの第１メモリ部１０２への転送を開始する。センサ部１０１からのＲＡＷデータの転送が開始されてから、第１の表示用データの第１メモリ部１０２への転送が開始されるまでの時間を、遅延時間Ｔｄ＿ｌ１とする。

その後、第１表示制御部１０３４は、第１メモリ部１０２から第１の表示用データを読み出し、表示切替部１０６６へ出力する。このとき、表示切替部１０６６で、第１表示制御部１０３４からの出力が選択されている場合は、表示部１０５には第１の表示用データが表示される。センサ部１０１からのＲＡＷデータの転送が開始されてから、表示部１０５に第１の表示用データの表示が開始されるまでの時間を遅延時間Ｔｄ＿ｌ２とする。

次に、第２ロジック部１０６の高画質現像処理及び表示動作について説明する。時刻Ｔ０＿０において、センサ部１０１から第１メモリ部１０２へのＲＡＷデータの転送が開始されると、第１チップ間通信Ｉ／Ｆ１０３２は、第１メモリ部１０２からＲＡＷデータの読み出しを開始する。その後、第１チップ間通信Ｉ／Ｆ１０３２は、第２チップ間通信Ｉ／Ｆ１０６１を介して、第２チップ間通信Ｉ／Ｆ１０６１へのＲＡＷデータの転送を開始する。ここで、第１チップ間通信Ｉ／Ｆ１０３２による第２チップ間通信Ｉ／Ｆ１０６１へのＲＡＷデータの転送は、簡易現像部１０３３による現像処理と時間的に重複し、並行して実行される。すなわち、第１の表示用データの生成のバックグラウンドでＲＡＷデータの転送がなされる。このような並行処理により、第２ロジック部１０６での現像処理の開始が早まる。

時刻Ｔ０＿０から時間Ｔｄ＿ｈ０の経過後、現像処理の開始に必要な画素数の転送が完了すると、高画質現像部１０６３は第２メモリ部１０４からＲＡＷデータの読み出しを開始し、高画質現像処理を開始する。高画質現像処理により第２の表示用データ及び記録用画像データが生成される。高画質現像部１０６３は、高画質現像処理が完了した画素領域から、第２の表示用データの第２メモリ部１０４への転送を開始する。センサ部１０１からのＲＡＷデータの転送が開始されてから、第２の表示用データの第２メモリ部１０４への転送が開始されるまでの時間を遅延時間Ｔｄ＿ｈ１とする。

また、記録制御部１０６７は、高画質現像処理が完了した画素領域から、記録用画像データを記録媒体１０８へ転送する。その後、第２表示制御部１０６４は、第２メモリ部１０４から第２の表示用データを読み出し、表示切替部１０６６を介して、表示切替部１０６６へ出力する。このとき、表示切替部１０６６で、第２表示制御部１０６４からの出力が選択されている場合は、表示部１０５には第２の表示用データが表示される。センサ部１０１からのＲＡＷデータの転送が開始されてから、表示部１０５への第２の表示用データの表示が開始されるまでの時間を遅延時間Ｔｄ＿ｈ２とする。

ここで、表示部１０５に第１の表示用データが表示される場合は、表示部１０５に第２の表示用データが表示される場合と比べ、表示開始タイミングが早く訪れる。すなわち、第１の表示用データの方が、第２の表示用データよりも、Ｔｄ＿ｈ２とＴｄ＿ｌ２との差分（Ｔｄ＿ｈ２−Ｔｄ＿ｌ２）だけ早く表示部１０５に表示させることが可能である。

ところで、簡易現像部１０３３は、フレームや画素数や間引きをして現像処理を行うので、本来の画質で表示できる第２の表示用データに対して、第１の表示用データは画質が低い。一方、第１の表示用データを表示する場合の１画面あたりの読み出し速度はＴｃ＿ｌｄ（３３．３ｍｓ）となる。３３．３ｍｓは時刻Ｔ０＿０から時刻Ｔ１＿０までの時間と同じである。ところが、Ｔｃ＿ｔ＞Ｔｃ＿ｃａｐであることから、転送間隔Ｔｃ＿ｃａｐ（８．３３ｍｓｅｃ）に対して、第２表示制御部１０６４による表示レートである読み出し間隔Ｔｃ＿ｈｄが長くなっている。そのため、第２の表示用データを表示する場合の１画面あたりの読み出し間隔はＴｃ＿ｈｄ４となり、Ｔｃ＿ｌｄよりも長くなる。すなわち、第１の表示用データを表示する場合（１２０ｆｐｓ相当）に比べ、第２の表示用データを表示する場合は再生速度が遅く、スロー再生（９０ｆｐｓ相当）となる。

従って、図２の例のようにＴｃ＿ｔ＞Ｔｃ＿ｃａｐである場合、低画質でもよいが表示遅延の抑制を優先したい場合は、表示切替部１０６６において第１の表示用データが選択されるようにすればよい。一方、表示開始は遅れて再生速度もスローとなるが表示画質を優先したい場合は、表示切替部１０６６において第２の表示用データが選択されるようにすればよい。ユーザは、操作部１０９を介して、任意の表示用データを選択することができる。

次に、図３の例を説明する。図３の例では、第１チップ間通信Ｉ／Ｆ１０３２と第２チップ間通信Ｉ／Ｆ１０６１との間のデータ転送間隔Ｔｃ＿ｔを、Ｔｃ＿ｔ＝８．３３ｍｓｅｃ、すなわち１２０ｆｐｓ相当として説明する。センサ部１０１から第１メモリ部１０２へのＲＡＷデータの転送間隔Ｔｃ＿ｃａｐは、図２の例と同様にＴｃ＿ｃａｐ＝８．３３ｍｓｅｃ、すなわち１２０ｆｐｓ相当とする。図３の例では、Ｔｃ＿ｔ＝Ｔｃ＿ｃａｐである。センサ部１０１から第１メモリ部１０２へのＲＡＷデータの出力速度が１２０ｆｐｓ相当であるのに対し、チップ間の転送速度も同じ１２０ｆｐｓ相当であり、Ｔｃ＿ｔ≦Ｔｃ＿ｃａｐに該当するので、チップ間通信帯域が十分である。

図３の例でも、第１ロジック部１０３の簡易現像処理及び表示動作、並びに、第２ロジック部１０６の高画質現像処理及び表示動作は図２の例と基本的に同様である。第１ロジック部１０３での動作は図２の例と変わりはないから、時間Ｔｄ＿ｌ０、遅延時間Ｔｄ＿ｌ１、遅延時間Ｔｄ＿ｌ２は図２の例と同じ長さとなる。一方、図２の例に比しデータ転送間隔Ｔｃ＿ｔが短くなったことから、時間Ｔｄ＿ｈ０、遅延時間Ｔｄ＿ｈ１、遅延時間Ｔｄ＿ｈ２、読み出し間隔Ｔｃ＿ｈｄ、Ｔｃ＿ｈｄ４については図２の例よりも短くなる。なお、読み出し間隔Ｔｃ＿ｈｄ４はＴｃ＿ｌｄと同じ長さとなる。

画像表示の開始タイミングに関しては、図２の例と同様に、表示部１０５に第１の表示用データが表示される場合は、表示部１０５に第２の表示用データが表示される場合と比べ、Ｔｄ＿ｈ２とＴｄ＿ｌ２との差分だけ表示開始タイミングが早く訪れる。図３の例では、Ｔｄ＿ｈ２とＴｄ＿ｌ２との差分は図２の例よりも小さくなっている。画像表示の品位に関しては、簡易現像部１０３３による簡易現像処理が図２の例と同じであるので、第１の表示用データの画質は図２の例と同等である。第２の表示用データの画質も図２の例と同等である。

再生速度に関しては、図３の例では、転送間隔Ｔｃ＿ｃａｐに対して読み出し間隔Ｔｃ＿ｈｄが低下することはない。すなわち、読み出し間隔Ｔｃ＿ｈｄがＴｃ＿ｌｄと同じ長さとなる。ここで、高画質現像部１０６３での現像処理の最高速度はデータ転送間隔Ｔｃ＿ｔに依存する。しかし、高画質現像部１０６３での現像処理をデータ転送間隔Ｔｃ＿ｔに応じた処理速度（この例では同じ速度）で行うことで、転送レートに応じた再生速度で第２の表示用データを表示することができる。従って、第２の表示用データが表示される際であっても、本来の速度で再生（リアルタイム表示）することができる。

従って、図３の例のようにＴｃ＿ｔ≦Ｔｃ＿ｃａｐである場合、低画質でもよいが表示遅延の抑制を優先したい場合は、表示切替部１０６６で、第１の表示用データが選択されるようにすればよい。一方、表示開始は遅れるが表示画質を優先したい場合は、表示切替部１０６６で、第２の表示用データが選択されるようにすればよい。

本実施の形態によれば、積層型イメージセンサ１００に搭載される簡易現像部１０３３は、第２ロジック部１０６に搭載される高画質現像部１０６３よりも簡易な現像処理を行える。また、第１の表示用データの出力の開始タイミングは第２の表示用データの出力の開始タイミングよりも早い。そして、表示切替部１０６６は、簡易現像部１０３３により生成された第１の表示用データと高画質現像部１０６３により生成された第２の表示用データとを選択的に切り替えて表示部１０５に表示させる。これにより、２種類の現像処理により生成される表示用データを選択的に切り替えて表示し、表示開始のタイミング及び表示品位の選択を可能にすることができる。

第１の表示用データを表示させる場合の最速の表示開始タイミングは、チップ間通信帯域とは無関係であるが、第２の表示用データを表示させる場合の最速の表示開始タイミングは、チップ間通信帯域が不十分であるほど遅くなる。よって、チップ間通信帯域が不十分な場合には特に、表示されるデータとして第１の表示用データを選択することで、表示遅延の抑制効果が高くなる。ところで、簡易現像部１０３３による簡易現像処理が簡易であるほど、第１の表示用データの出力開始は早まる。従って、表示遅延の抑制効果を求める度合いに応じて、簡易現像処理で処理されるデータ量を設定すればよい。

なお、第１の表示用データが表示部１０５に表示されている間、高画質現像部１０６３による現像処理が中断される省電力モードを採用してもよい。例えば、第１の表示用データの表示期間中は高画質現像部１０６３への電力供給が停止されるようにする。なお、その際、第２の表示用データの生成及び表示に関する構成要素の動作を停止すれば省電力が高い。従って、第２表示制御部１０６４及び表示切替制御部１０６５への電力供給も停止されるようにしてもよい。なお、省電力モードの期間中は、記録制御部１０６７を介して記録媒体１０８に記録されるデータは、現像処理前のＲＡＷデータとしてもよい。

なお、表示切替部１０６６は、操作部１０９を介したユーザからの指示に基づいて、表示部１０５に表示させる表示用データを切り替えた。しかし、表示切替部１０６６は、操作部１０９を介して指示される動作状態に応じて切り替えを行ってもよい。例えば、操作部１０９を介して画像の拡大表示が指示された場合には、拡大表示時における表示画質の劣化を抑えるために、高画質現像部１０６３で現像された第２の表示用データが選択されるようにしてもよい。

なお、第１の表示用データが表示部１０５に表示されている途中で第２の表示用データの生成が完了したら、表示される表示用データが第１の表示用データから第２の表示用データへ自動的に切り替わるように構成してもよい。例えば、第１の表示用データの表示中に高画質現像部１０６３での現像が完了して第２の表示用データの表示が可能になった時点で、高画質現像部１０６３は所定の信号を操作指示制御部１０６８に出力する。操作指示制御部１０６８は、その所定の信号を受けて、制御信号を表示切替部１０６６に送ると、第１の表示用データに代わって第２の表示用データが選択され表示される。

なお、チップ間のデータ転送間隔Ｔｃ＿ｔとして、９０ｆｐｓ相当（図２）と１２０ｆｐｓ相当（図３）とを例示したが、これらの例示に限定されない。なお、表示切替部１０６６は第２ロジック部１０６内に配置されたが、第２ロジック部１０６外に配置されてもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

１００ 積層型イメージセンサ
１０１ センサ部
１０５ 表示部
１０３２ 第１チップ間通信Ｉ／Ｆ
１０３３ 簡易現像部
１０３４ 第１表示制御部
１０６３ 高画質現像部
１０６４ 第２表示制御部
１０６６ 表示切替部

Claims (13)

1. 受光した光を電気信号に変換して画像データを出力する撮像部と、
   前記撮像部により出力された前記画像データを転送する転送手段と、
   前記撮像部により出力された前記画像データを現像して第１の表示用データを生成する第１の現像手段と、
   前記第１の現像手段により生成された前記第１の表示用データを、前記転送手段で用いられる経路とは別の経路で出力する第１の出力手段と、
   前記転送手段により転送された前記画像データを現像して第２の表示用データを生成する第２の現像手段と、
   前記第２の現像手段により生成された前記第２の表示用データを出力する第２の出力手段と、
   表示部と、
   前記第１の出力手段により出力された前記第１の表示用データと前記第２の出力手段により出力された前記第２の表示用データとを選択的に切り替えて前記表示部に表示させる切り替え手段と、を有し、
   前記撮像部及び前記第１の現像手段はイメージセンサ内に設けられ、前記第１の現像手段と前記撮像部とは積層配置されていることを特徴とする撮像装置。
2. 前記第１の出力手段による前記第１の表示用データの出力の開始タイミングは前記第２の出力手段による前記第２の表示用データの出力の開始タイミングよりも早いことを特徴とする請求項１に記載の撮像装置。
3. 前記第２の現像手段及び前記第２の出力手段は、前記イメージセンサとは別個の半導体チップに設けられ、
   前記転送手段は、前記画像データを前記別個の半導体チップへ転送することを特徴とする請求項１または２に記載の撮像装置。
4. 前記第１の現像手段は、前記第２の現像手段が前記画像データを現像する際に処理するデータ量よりも少ないデータ量を処理することで、前記第２の現像手段に比し簡易な現像処理を行えることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記第１の現像手段は、前記画像データを現像する際のフレームの間引きまたは画素数の間引きによって前記簡易な現像処理を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記第１の現像手段は、前記第２の現像手段による現像処理と比べて少ないフレーム数または少ない画素数を現像処理の対象とすることで前記簡易な現像処理を行うことを特徴とする請求項４に記載の撮像装置。
7. 前記第２の現像手段は、前記転送手段による転送レートに応じた処理速度で前記第２の表示用データを生成することを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
8. 前記転送手段は、前記第１の現像手段による前記第１の表示用データの生成のバックグラウンドで前記画像データを転送することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
9. 前記第１の表示用データが前記表示部に表示されている間、前記第２の現像手段への電力供給は停止されることを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
10. 前記切り替え手段は、前記表示部に表示させる表示用データをユーザからの指示に基づいて切り替えることを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
11. 前記切り替え手段は、ユーザにより画像の拡大表示の指示がなされた場合は、前記表示部に表示させる表示用データとして前記第２の表示用データを選択することを特徴とする請求項１０に記載の撮像装置。
12. 前記画像データはＲＡＷデータであることを特徴とする請求項１〜１１のいずれか１項に記載の撮像装置。
13. 前記切り替え手段は前記別個の半導体チップに配置されることを特徴とする請求項３に記載の撮像装置。