JP5531054B2 - Ｈｄｒ撮影機能を有するイメージセンサ - Google Patents

Description

本開示は、画像撮影システム及び技術に関する。

この欄では、以下に説明及び／または請求する、本開示の様々な面に関する技術の様々な見地を読者に紹介することを目的としている。ここでの議論は、本開示の様々な面の理解をより深め易くするための背景の情報を読者に提供するのに役立つものと信じる。従って、これらの記載は、その目的のために読まれるべきであり、従来技術として認めるものではないことを理解されたい。

ハイダイナミックレンジ（ＨＤＲ）撮影は、一般的に、画像の最も明るい領域と最も暗い領域との間の輝度のダイナミックレンジが、標準のデジタル画像撮影技術よりも広い撮影及び表現を可能にする、一連の撮影技術に関する。ダイナミックレンジがより広くなると、ＨＤＲ画像は、現実の場面における広いレンジの濃度レベルを、より正確に表現することができるようになる。ＨＤＲ画像を撮影する１つの方法は、独立に撮影された複数の写真を１つにまとめることを含む。例えばこの処理は、複数の画像を異なる露出で続けて撮影し、得られた画像を処理して、１つの合成ＨＤＲ画像を生成することを含む。

しかしながら、独立に撮影された複数の画像から１つのＨＤＲ画像を生成する処理には欠点がある。例えば、生成された合成ＨＤＲ画像が完全に一致しないような複数の画像が続けて撮影されたときに、変化が生じる。これは、合成ＨＤＲ画像において動きの乱れを生じさせる。また、画像は、例えば、風による木の揺れ、人々や顔の軽微な変化等、その画像の場面における部分的な動きにより影響を受ける。更に、撮影される画像に基づいて、ＨＤＲ画像が処理されるのにかかる時間が遅延する。そのため、ＨＤＲ画像が生成されるスピード及び連続性を向上させる技術及びシステムが望まれている。

ここで開示する実施形態の要旨を以下に示す。これらの面は、単に、読者にこれら特定の実施形態の簡潔な要旨を提供する為になされるものであって、本開示の範囲を制限することを意図したものではないことは理解されるべきである。実際、本開示は、以下に記載されていない様々な面を包含する。

本発明の実施形態は、特に、ＨＤＲ撮影アプリケーションにおける、画像の生成に関する。例えば、一実施形態では、１つの画像はカメラのような画像撮影機器により撮影される。この撮影された画像は、画像撮影機器のイメージセンサにより電気信号（例えば、電圧）に変換された光のエネルギーの結果である。イメージセンサの複数回の走査（すなわち、読み出し）は、撮影する画像が露出アンダーの表現に対応する１回の読み出しと、撮影する画像が露出オーバーとなる表現に対応する第２の読み出しとになるようになされる。この読み出されたデータは、１つのパスを介して画像処理回路に送られ、画像信号処理部が第１及び第２走査からのデータを分離する。この分離されたデータは別々に格納され、画像信号処理部により組み替えられて、ＨＤＲ画像が生成され、電子機器のディスプレイに表示するために送られる。

上述したような様々な特徴の改善は、本開示の様々な見地に関連するものである。更なる特徴は、これらの様々な見地にも含まれるかも知れない。これらの改善及び追加の特徴は、単独または組み合わせで存在することもある。例えば、１以上の例示的な実施形態に関連して以下に議論する様々な特徴は、上述した本開示の見地の単独または組み合わせの何れかに含まれるかも知れない。繰り返すが、上記簡単な要旨は、主張する対象を限定すること無く、本開示の実施形態のある見地及び状況に、読者を親しみやすくすることをのみを意図している。

本開示の様々な面は、以下の詳細な記述を読み、図面を参照することで、よりよく理解することができるであろう。

図１は、本開示で記載する見地に係るＨＤＲ画像処理技術を実施するように構成された画像撮影機器及び画像信号処理サブシステムを含む電子機器の一例の構成要素を示す概略ブロック図である。 図２は、図１の電子機器の画像撮影機器で実施されるベイヤーカラーフィルタ配列の２×２の画素ブロックを示す図である。 図３は、ハンドヘルド携帯電子機器の形態で表した本開示の見地にかかる図１の電子機器の正面図である。 図４は、図３に示すハンドヘルド電子機器の背面図である。 図５は、図１の電子機器により撮影される画像の一例を示す図である。 図６は、図１の電子機器の画像撮影機器及び画像信号処理サブシステムのブロック図である。 図７は、図６の画像信号処理サブシステムの画像信号処理部の動作を示すフローチャートである。

発明の詳細な説明
以下に、本開示の１以上の特定の実施形態を記述する。これら記述された実施形態は、ここで開示される技術の単なる例である。また、これらの実施形態の簡潔な記述を提供するにあたり、実際に実行したときのすべての特徴を明細書に記述していないかも知れない。現実に実施するための開発において、何らかの光学または設計プロジェクトにおいてそうであるように、開発者の特定のゴールに到達するために、実施に応じてそれぞれ異なるシステム関連及びビジネル関連の拘束と折り合いをつける等、おびただしい数の実施のための決断がなされなければならないことは理解されるべきである。その上、そのような開発の努力は複雑で時間がかかるものであるが、それにも関わらず、この開示からの恩恵を受ける当業者にとって、設計、政策、製造の日常的な仕事であることは理解されよう。

本開示の様々な実施形態の構成要素を紹介するときに、冠詞「a」、「an」、及び「the」は、１以上の要素が存在することを表すことを意図している。「comprising」、「including」及び「having」は、包含的であることを意図しており、リストに挙げた要素の他にも追加的要素がある可能性を意味している。更に、本開示を「一実施形態」または「実施形態」と呼ぶ場合、列挙された特徴を含む追加的実施形態の存在を排除していると解釈されることを意図していないことを理解されたい。

以下に説明するように、本開示は、一般的に、デジタルイメージセンサを用いたＨＤＲ画像の生成及び１回の露出中に複数画像の撮影をまとめるための様々な技術を提供する。図１は、本開示の実施形態に係るデジタル画像生成のための電子機器１０の一例を示すブロック図である。電子機器１０は、ラップトップまたはデスクトップコンピュータ、携帯電話、デジタルメディアプレイヤー等、１以上の撮像機器を用いて得られたデータ等の画像データを受信し、処理する、どのようなタイプの電子機器であってもよい。電子機器１０は、一例として、カリフォルニア州クパティーノのアップル株式会社のiPod（登録商標）または iPhone（登録商標）などのような携帯電子機器であってもよい。また、電子機器１０は、アップル株式会社のMacBook（登録商標）、MacBook（登録商標） Pro、MacBook Air（登録商標）、iMac（登録商標）、Mac（登録商標） Mini、Mac Pro（登録商標）またはiPad（登録商標）などのようなデスクトップ、ラップトップ、またはタブレットコンピュータであってもよい。別の実施形態において、電子機器１０は、画像データを取得し、処理することのできる、他のメーカーの電子機器であってもよい。

電子機器１０は、機器１０の機能に貢献する様々な内部及び／外部構成を含んでもよい。当業者であれば、図１に示される様々な機能ブロックが、ハードウエア要素（回路を含む）、ソフトウエア要素（コンピュータ可読媒体に格納されたコンピュータコードを含む）、またはハードウエア及びソフトウエア要素の組み合わせを含むことは、分かるであろう。例えば、ここで示される実施形態において、電子機器１０は、入力／出力（Ｉ／Ｏ）ポート１２、入力機構１４、１以上のプロセッサ１６、メモリ機器１８、不揮発性格納部２０、拡張カード２２、ネットワーク機器２４、電源２６、及び、ディスプレイ２８を含む。更に、電子機器１０は、デジタルカメラ及び画像処理回路（ＩＳＰサブシステム）３２などの１以上の撮像機器３０を含んでいてもよい。以下に更に説明するように、画像処理回路３２は、合成ＨＤＲ画像を生成するために、画像データを処理するための画像処理技術を実現する。

プロセッサ１６は、機器１０の総括的な処理を制御する。例えば、プロセッサ１６は、電子機器１０のオペレーティングシステム、プログラム、ユーザ及びアプリケーションインターフェース、及び、その他の機能を実行する処理能力を提供する。プロセッサ１６は、１以上の「汎用」マイクロプロセッサ、１以上の専用マイクロプロセッサ、及び／またはアプリケーション専用マイクロプロセッサ（ＡＳＩＣ）、またはこういった処理構成要素の組み合わせなどの、１以上のマイクロプロセッサを含んでもよい。例えば、プロセッサ１６は、１以上の処理エンジン（例えば、ＲＩＳＣまたはＣＩＳＣプロセッサ、グラフィックプロセッサ（ＧＰＵ）、ビデオプロセッサ、及び／または関連するチップセット）を含んでもよい。プロセッサ１６は、機器１０の様々な構成要素間でデータ及び命令をやり取りするための１以上のデータバスに接続されていることは理解されるであろう。ある実施形態では、プロセッサ１６は、アップル株式会社から提供されているPhoto Booth（登録商標）、Aperture（登録商標）、iPhoto（登録商標）、 または Preview（登録商標）、または、アップル株式会社から提供されたiPhone（登録商標）のモデルにおける「カメラ」及び／または「写真」アプリケーションといった、電子機器１０における撮像アプリケーションを実行する処理能力を提供する。一実施形態では、プロセッサ１６は、アップル株式会社から提供されるFaceTime（登録商標）等の、機器１０におけるビデオ会議アプリケーションを実行する能力を提供する。

プロセッサ１６ により処理される命令またはデータは、メモリ機器１８などのコンピュータ可読媒体に格納される。メモリ機器１８は、ランダムアクセスメモリ（ＲＡＭ）などの揮発性メモリ、または、読み出し専用メモリ（ＲＯＭ）などの不揮発性メモリ、または、１以上のＲＡＭ及びＲＯＭデバイスの組み合わせとして提供される。メモリ１８は、様々な情報を格納し、様々な目的に使用される。 例えば、メモリ１８は、ベーシック入力／出力システム（ＢＩＯＳ）、オペレーティングシステム、様々なプログラム、アプリケーション、または、ユーザインターフェース機能や、プロセッサ機能などを含む、電子機器１０で実行されるその他のルーチンといった、電子機器１０のためのファームウエアを保持する。更に、メモリ１８は、電子機器１０が動作中のバッファリングまたはキャッシングに用いてもよい。例えば、一実施形態では、メモリ１８は、ディスプレイ２８に出力する時にビデオデータをバッファリングするための１以上のフレームバッファを含む。

メモリ機器１８に加えて、電子機器１０はデータ及び／または命令の永続的な保持のための不揮発性格納部２０を更に含む。不揮発性格納部２０は、フラッシュメモリ、ハードドライブ、またはその他の光学、磁気及び／または固体記録媒体、またはこれらの組み合わせを含む。従って、図１では明確化のために１つの機器として記載されているが、不揮発性格納部２０は、プロセッサ１６と協動する、１以上の上述した格納機器の組み合わせを含むことは理解されよう。不揮発性格納部２０は、ファームウエア、データファイル、画像データ、ソフトウエアプログラム及びアプリケーション、無線接続情報、個人情報、ユーザーの好み、及びその他の適したデータを保持するために用いられる。本開示の一様態によれば、不揮発性格納部２０及び／またはメモリ機器１８に格納された画像データは、ディスプレイに出力される前に、画像処理回路３２により処理される。

ディスプレイ２８は、以下にさらに説明するように、オペレーティングシステムのためのＧＵＩなどの機器１０により生成される様々な画像、または、画像処理回路３２により処理される画像データ（静止画像及びビデオデータを含む）を表示するために用いられる。上述したように、画像データは、撮像機器３０を用いて取得された画像データ、または、メモリ１８及び／または不揮発性格納部２０から取り出された画像データを含む。ディスプレイ２８は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、または、有機発光ダイオード（ＯＬＥＤ）ディスプレイなどの、適するタイプのディスプレイであればよい。一実施形態では、ディスプレイは、１インチあたり３００以上の画素を有する、例えば、アップル株式会社のRetina Display（登録商標）などの、高解像度ＬＥＤディスプレイである。更に、別の実施形態では、ディスプレイ２８を、電子機器１０の入力機構（１４）として機能する、上述したタッチセンシティブメカニズム（例えば、タッチスクリーン）と合わせて提供しても良い。

上述したように、電子機器１０は、静止画像及び動画像（例えば、ビデオ）の両方を取得するように構成されたデジタルカメラとして提供される撮像機器３０を含んでいてもよい。カメラ３０は、レンズと、光を捉えて電気信号に変換する１以上のイメージセンサを含んでも良い。例として、イメージセンサは、ＣＭＯＳイメージセンサ（例えば、ＣＭＯＳアクティブピクセルセンサ（ＡＰＳ））またはＣＣＤ（charge-coupled device）センサを含む。一般的に、カメラ３０のイメージセンサは、画像シーンからの光を感知するための光検出器を各画素が含む画素配列を有する集積回路を含む。イメージセンサは、ＳＭＩＡ（Standard Mobile Imaging Architecture）インターフェースまたは他の適するシリアルまたはパラレルイメージセンサインターフェース、または、そのようなインターフェースの組み合わせを用いた、センサインターフェースを介してＩＳＰサブシステム３２に接続しても良い。

当業者であれば分かるように、センサの撮像画素の光検出器は、通常、カメラレンズを介して捉えられた光の強度を検知する。しかしながら、光検出器それ自身は、通常、捉えた光の波長を検知することはできないため、色情報を判断することはできない。従って、イメージセンサは、色情報を得るために、イメージセンサの画素配列の上に重ねられた、または配列されたカラーフィルタアレイ（ＣＦＡ）を更に含んでもよい。カラーフィルタアレイは、イメージセンサのそれぞれの画素に重ねられ、周波数ごとに捉えた光を通過させる、小さなカラーフィルタの配列を含む。従って、結合して用いられた場合、カラーフィルタアレイとイメージセンサは、得られた画像を表す、カメラにより撮影された光に関して、周波数及び強度情報の両方を提供する。

一実施形態において、カラーフィルタは、緑成分５０％、赤成分２５％、青成分２５％のカラーパターンを供給するベイヤーカラーフィルタアレイを含む。図２は、２つの緑成分（Ｇｒ及びＧｂと記す）と、１つの赤成分（Ｒ）と、１つの青成分（Ｂ）とを含む、ベイヤーＣＦＡの２×２の画素ブロックを示す。従って、ベイヤーカラーフィルタを用いるイメージセンサは、カメラ３０により受光された、緑、赤、青の波長の光の強度に関する情報を提供し、画像の各画素は、３色（赤、緑、青）のうちの１つだけを記録する。「Ｒａｗ画像データ」と呼ばれるこの情報は、１以上のデモザイク技術を用いて処理され、通常、各画素について赤、緑、青の値を補間することで、Ｒａｗ画像データをフルカラー画像に変換する。このようなデモザイク技術は、ＩＳＰサブシステム３２により行われる。

次に、図３及び図４において、電子機器１０は、携帯ハンドヘルド電子機器５０の形態で表されているが、これは、アップル株式会社により提供されるiPod Touch（登録商標）またはiPhone（登録商標）等の、iPod（登録商標）の１つのモデルであってもよい。ハンドヘルド機器５０は、内部構成要素を物理的なダメージから守り、電磁波の干渉（ＥＭＩ）から遮断するように機能する、囲い５２を有する。囲い５２は、プラスチック、金属、合金、合成素材等の、適した素材または素材の組み合わせにより構成され、図３に示すように、無線ネットワーク（例えば、802.11 a/b/g/nネットワーキング）及び／または遠距離通信信号（例えば、GPRS、EDGE、3G、LTE等）等の特定周波数の電磁波が、囲い５２内に構成された無線通信回路（例えば、ネットワーク機器２４）を通過することができる。

囲い５２は様々なユーザ入力機構１４を有し、これらを介してユーザはハンドヘルド機器５０とのインターフェースを行う。例えば、各入力機構１４は、押下または作動された時に、１以上の各デバイス機能を制御する。例として、１以上の入力機構１４は、スリープ、ウェイク、または電源オン／オフモード間をトグルで切り替えたり、携帯電話アプリケーションの呼び出し音をオフにしたり、ボリューム出力を上げたり下げたりする等のために、表示すべき「ホーム」画面またはメニューを呼び出す。ここに示す入力機構１４は単なる例であって、ハンドヘルド機器５０は、ボタン、スイッチ、キー、つまみ、スクロールダイヤル等を含む様々な形態で存在する適するユーザ入力機構をいくつ有していてもよいことは理解されるであろう。

ハンドヘルド機器５０は、様々なＩ／Ｏポート１２を含む。例えば、描かれたＩ／Ｏポート１２は、データを送受信し、１以上の着脱可能、再充電可能、及び／または置き換え可能な電池を含む、電源２６を充電するための専有接続ポート１２ａ（例えば、アップル株式会社により提供されている30-pin dock-connector）を含む。Ｉ／Ｏポートは、更に、機器５０を音声出力機器（例えば、ヘッドフォンまたはスピーカー）に接続するための音声接続ポート１２ｂを含む。更に、ハンドヘルド機器５０が携帯電話機能を提供する実施形態においては、Ｉ／Ｏポート１２ｃは、ＳＩＭ（subscriber identify module）カード（例えば、拡張カード２２）を受け付けるために供給されている。

ＬＣＤ、ＯＬＥＤ、または適したタイプのディスプレイであるディスプレイ２８は、ハンドヘルド機器５０により生成される様々な画像を表示する。例えば、ディスプレイ２８は、電源の状態、信号強度、外部装置接続等の１以上のハンドヘルド機器５０の状態をユーザにフィードバックするために、様々なシステム指標５４を表示する。ディスプレイ２８は、ユーザが機器５０とやりとりを行えるようにするためのグラフィカルユーザインターフェース（ＧＵＩ）５６を表示する。ある実施形態では、表示中のＧＵＩ５６のスクリーン画像は機器５０で実行されているオペレーティングシステムのホーム画面を表しており、オペレーティングシステムは、例えば、アップル株式会社のMac OS（登録商標）またはiOS（登録商標）（以前のiPhone OS（登録商標））オペレーティングシステムの一バージョンである。

ＧＵＩ５６は、ユーザ選択（例えば、特定アイコン５８の選択に応じたユーザ入力を受信する）に応じて開かれる、または、実行される様々なアプリケーションに対応するアイコン５８等、様々なグラフィカル要素を含む。いくつかの実施形態では、アイコン５８の選択は、アイコン５８の選択が、１以上の追加アイコンまたは他のＧＵＩ構成要素を含む、他のグラフィカルウィンドウを画面に導く、または開くように、階層ナビゲーション処理に導く。ここで示す実施形態において、アイコン５８の１つは、画像を取得するために、機器５０の前側にある第１前面カメラ３０ａ及び、機器５０の裏側にある第２背面カメラ３０ｂ（図３において点線で表す）の一方または両方と共に使用されるカメラアプリケーション６６を表す。図４を簡単に参照すると、ハンドヘルド機器５０の背面図は、背面カメラ３０ｂがハウジング５２と一体化され、ハンドヘルド機器５０の背面に配置されていることを表すように描かれている。ここで示す実施形態において、ハンドヘルド機器５０の背面は、背面カメラ３０ｂを用いて撮影する画像シーンを照らすために用いられるフラッシュモジュール（またはストロボとも呼ぶ）６４を含んでいてもよい。一例として、フラッシュモジュール６４は、キセノン照明装置及び／または発光ダイオード（ＬＥＤ）を含む。一実施形態において、前面及び背面カメラ３０ａ及び３０ｂは、アップル株式会社から提供されているFaceTime（登録商標）に基づくビデオ会議アプリケーションを利用する等により、ビデオ会議能力を提供するために利用してもよい。

更に、ハンドヘルド機器５０は、様々な音声入力及び出力素子を含む。例えば、音声入力／出力素子７０は、マイクロフォンなどの入力受信部を含む。従って、ハンドヘルド機器５０が携帯電話機能を含む実施形態において、入力受信部は、ユーザの声などのユーザ音声入力を受ける。更に、音声入力／出力素子７０は、メディアプレイヤーアプリケーション７２を用いて音楽データを再生している間などに、音声信号をユーザに伝える機能を有する１以上のスピーカーを含む、１以上の出力トランスミッタを含む。携帯電話の実施形態において、図３に示すように、更に音声出力トランスミッタ７４を含んでいてもよい。音声入力／出力素子７０の出力トランスミッタのように、出力トランスミッタ７４は、通話中の音声データなどの音声信号をユーザに伝える１以上のスピーカーを含む。従って、携帯電話の実施形態において、音声入力／出力素子７０及び７４は、電話の音声受信及び送信素子として、一体的に機能する。

電子機器１０がとることのできるいくつかの形態要因に関していくつかの状況を供給するにあたり、本開示において述べる実施形態にかかる、電子機器１０において実施されるあるＨＤＲ撮影技術について、更に詳細に説明する。例えば、画像処理回路３２は、合成ＨＤＲ画像を生成するために、撮影された画像の画像マージングを行う。一実施形態において、ＨＤＲ撮像のために、カメラ３０は、一回の露光の間に、低露出レベル（露出アンダー）での１枚以上の画像と、高露出レベル（露出オーバー）での１枚以上の画像とを含む複数の画像を取得し、それらの画像を、画像処理回路３２により１つの合成ＨＤＲ画像を生成するために用いる。または、カメラ３０は、低露出レベル（露出アンダー）での少なくとも１枚の画像と、通常の露出レベルでの少なくとも１枚の画像と、高露出レベル（露出オーバー）での少なくとも１つの画像とを取得してもよい。画像処理回路３２は、これらの画像を処理して、合成ＨＤＲ画像を生成する。

図５は、カメラ３０のイメージセンサにより撮影される画像７６の例を示す。画像７６は、カメラ３０により、画像取得のローリングシャッタ方法（つまり、ライン走査による取得と、露光を開始するための画素に対するライン走査リセット）を用いた処理を介して撮影される。すなわち、カメラ３０は、ある時刻における１つのスナップショットからではなく、撮像領域（フレーム）を同時に一度に露光する代わりに、カメラ３０のイメージセンサの露光領域に亘ってシャッターを転がす（つまり、移動させる）ことで、画像を記録する。従って、１フレーム分の情報は、画像７６のすべてが、再生中に１つの画像７６として表示のために再構成されるものの、画像７６のすべての部分が厳密に同時に記録されないように、カメラ３０のイメージセンサの画素により行単位（縦位置または横位置のいずれか）で得られる。別の実施形態では、イメージセンサにおいて、フレーム全体を同時に露光するグローバルシャッタ方法での撮影を行ってもよい。

図５に示すように、画像７６の走査方向をライン７８により示す。すなわち、ローリングシャッタリセット８０は、イメージセンサの画素をリセットするために、画像７６の一番上の部分８２から、画像７６の一番下の部分８４まで移動する。イメージセンサの画素がローリングシャッタリセット８０によりリセットされると、リセットされた画素は、画像７６の一部に対応する光を集め始める。すなわち、カメラ３０におけるイメージセンサの画素は露光され、露光した光は集められて、画像７６の生成に用いられる。一実施形態によれば、ローリングシャッタリセット８０は、固定の時間「ｔ」（つまり、フレーム期間）の間に、画像７６の部分８２から部分８４まで（すなわち、フレーム全体に亘って）移動する。例えば、この固定の時間「ｔ」は、１／１５秒、１／３０秒、１／６０秒、１／１２５秒、１／２５０秒、１／５００秒、１／１０００秒、１／５０００秒、１／１００００秒、または他の時間である。この固定の時間「ｔ」は、アップル株式会社により提供されているPhoto Booth（登録商標）、Aperture（登録商標）、iPhoto（登録商標）、またはPreview（登録商標）、または、アップル株式会社によりiPhone（登録商標）のモデルで提供されている「カメラ」及び／または「Photo」アプリケーション等の、電子機器１０における撮影アプリケーションを実行するプロセッサ１６により自動的に調整されたり、または、ユーザにより、例えば、上記撮影アプリケーションの１つと対話している間に調整される。

１回のフレーム露光中（つまり、ローリングシャッタリセット８０がフレームを移動する間の固定の時間ｔ）にＨＤＲ画像を生成するために、イメージセンサの同じ行の画素に対する複数回の読み出しが行われる。例えば、１行分の画素に蓄積されたデータの第１データ読み出し８６は、時間ｎに開始される。ここでｎは時間ｔの固定数分の１である。この時間ｎは、例えば、１／２、１／３、１／４、１／５、１／１０、１／２０、またはフレーム時間ｔの他の値である。この時間ｎは、図５において線８８として表されている。つまり、第１データ読み出し８６はローリングシャッタリセット８０による１行分の画素のリセット後の時間ｎに行われる。従って、ローリングシャッタリセット８０が、矢印７８に従って下方向に動くにつれて、第１データ読み出し８６は時間ｎをおいてローリングシャッタリセット８０の後を追う。このようにすることで、フレームの各行の画素に格納されたデータは、その行の画素をローリングシャッタリセット８０した後、時間ｎで読み出される。従って、イメージセンサを通過する第１データ読み出し８６として読み出される各行の画素は、同じ時間ｎだけ露光されるため、この時間ｎを露光時間または積分時間と呼ぶ。

なお、この第１データ読み出し８６は、低露出レベル（露出アンダー）で得られた画像の生成に対応する。つまり、第１データ読み出し８６は、画像７６の陰の部分の描写はあまり良くないが、明るい部分ははっきりと描写されているような画像を生成するのに役に立つ。すなわち、第１データ読み出し８６に対応するデータは、ＨＤＲ画像の明るい部分を描写するのに役立つ。

第１データ読み出し８６に続いて、第２データ読み出し９０が、例えば、イメージセンサの１行分の画素に蓄積されたデータについて行われる。この第２データ読み出し９０は、図５の線９２で示す時間ｍで行われる。この時間ｍは、時間ｎの数倍である。例えば、時間ｍは、ｎと等しい、ｎの１．５倍、ｎの２倍、ｎの２．５倍、ｎの３倍、ｎの３．５倍、ｎの４倍、または他のｎの倍数である。一実施形態によれば、線９２で表される時間ｍは、第２データ読み出し９０が、全体として、時間ｎを４倍した時間（つまり４ｎ）に行われるように、３ｎである。つまり、第２データ読み出し９０は、ローリングシャッタリセット８０による１行分の画素のリセットの後、時間４ｎで行われる。従って、ローリングシャッタリセット８０が矢印７８に沿って下方向へ移動すると、第２データ読み出し８６は、時間４ｎ後にローリングシャッタリセット８０の後を追う。このようにすることで、フレームの各行の画素に蓄積されたデータが、１行分の画素のローリングシャッタリセット８０の後、時間４ｎで読み出される。従って、イメージセンサを移動する第２データ読み出し９０として読み出される各行の画素は、同じ時間４ｎの間、露光されることになる。これにより、複数回の露光（例えば、露光時間ｎで１回、露光時間４ｎで１回）を、１フレーム撮影の間に行うことができる。

なお、第２データ読み出し９０は、高露出レベル（露出オーバー）の画像の生成に対応する。即ち、第２データ読み出し９０は、画像７６の陰の部分ははっきりと描画されているが、明るい部分は白く飛んでしまっているような画像を生成するのに役に立つ。すなわち、第２データ読み出し９０に対応するデータは、ＨＤＲ画像の暗い部分を描写するのに役立つ。このようにすることで、第１データ読み出し８６からのデータをＨＤＲ画像の明るい部分を生成するのに用い、第２データ読み出し９０からのデータをＨＤＲ画像の暗い部分を生成するのに用いることができるため、合成ＨＤＲ画像は拡大されたダイナミックレンジを有し、そのために、第１データ読み出し８６または第２データ読み出し９０のいずれか一方のデータから得られた画像よりも、見た目の良いものになる。更に、第１データ読み出し８６及び第２データ読み出し９０に加えて、その他のデータ読み出しを行っても良い。例えば、「通常の」露出（例えば、第１データ読み出し８６が時間ｎで、第２データ読み出しが時間４ｎの場合、時間２ｎ）に対応するような、第３データ読み出しを、第１データ読み出し８６と第２データ読み出し９０の間の時間に行っても良い。この第３データ読み出しを、第１データ読み出し８６及び第２データ読み出し９０からのデータと結合して、合成ＨＤＲ画像を生成しても良い。

更に、電子機器１０において撮影アプリケーションを実行するプロセッサ１６は、読み出し時間ｎ、それに続く複数の読み出し時間、及び、データ読み出しの総回数を変更することができる。この変更は、撮影する対象物の明るさ、カメラの露出インデックス、ノイズ、または他の要因などの要因に関するフィードバックに基づいて行われる。 例えば、より多くのデータ読み出しをより遅いフレームレートで行い、遅れた読み出し時間ｔを低明るさレベルで行ってもよい。データ読み出し（例えば、データ読み出し８６及び９０）の読み出し回数の変更を通して、生成されるＨＤＲ画像への変更ができるように、露出時間を調整してもよい。

図６は、ＨＤＲ画像を生成するために用いられるカメラ３０及び画像処理回路３２の構成要素を示すブロック図である。カメラ３０は光を捉えて電気信号に変換するイメージセンサ９４を含む。イメージセンサ９４は、例えば、ＣＭＯＳ イメージセンサ（例えば、ＣＭＯＳアクティブピクセルセンサ（ＡＰＳ））またはＣＣＤ（charge-coupled device）センサである。一般的に、カメラ３０のイメージセンサ９４は、画像７６からの光を感知するための光検出器を各画素が含む画素配列を有する集積回路を含む。画素は、図５を参照して上述したローリングシャッタリセット８０を介してリセットされ、第１データ読み出し８６、第２データ読み出し９０、または他のデータ読み出し中に、取り込んだ光の値を電気信号として読み出すように駆動する。例えば、第１データ読み出し８６は、露出アンダーの画像に対応するデータを生成するために上述した時間ｎで行われ、第２データ読み出し９０は、露出オーバーの画像に対応するデータを生成するために時間４ｎで行われ、第３データ読み出しは、平均（つまり、標準）露出の画像に対応するデータを生成するために時間２ｎで行われる。

ローリングシャッタリセット８０、第１データ読み出し８６、第２データ読み出し９０、及びその他の読み出しは、走査回路９５により行われる。走査回路９５は、例えば、プロセッサ１６から１以上の活性化信号を受信し、イメージセンサ９４の様々な画素にデータ読み出し信号を送るように駆動する。例えば、走査回路９５は、第１データ読み出し８６（例えば、時間ｎ）の間に１行分の画素に活性化信号を送ることで、活性化された行の画素からデータが送られるようにする。その後、走査回路９５は、第２データ読み出し９０（例えば、時間４ｎ）の間に、同じ行の画素に活性化信号を送ることで、活性化された行の画素からデータが送られるようにする。これにより、走査回路９５は、シャッタリセットに先立って、複数回、イメージセンサ９４からデータを読み出せるようにする。

イメージセンサ９４から読み出されたデータは、アナログ／デジタル（Ａ／Ｄ）変換器９６に送られる。Ａ／Ｄ変換器９６は、例えば、イメージセンサ９４と同じチップまたは回路に形成しても良いし、またはＡ／Ｄ変換器９６は、イメージセンサと電気的に連結していてもよい。Ａ／Ｄ変換器９６は、例えば、パイプライン型Ａ／Ｄ変換器またはカラムＡ／Ｄ変換器である。Ａ／Ｄ変換器９６は、例えば、第１データ読み出し８６の間に、 イメージセンサ９４から読み出したデータを受信し、受信したデータを、受信したデータ値に対応するデジタル信号（デジタルデータ）に変換する。このデジタルデータは、パス９８を介して画像処理回路３２に送られる。パス９８は、ＭＩＰＩ ＣＳＩ（Mobile Industry Processor Interface Camera Serial Interface）、ＳＭＩＡ（standard mobile industry architecture）インターフェース、または他の適したパラレルまたはシリアルインターフェースを含む。従って、一実施形態によれば、データは画像処理回路３２にシリアルに送られる。

しかしながら、上述したように、イメージセンサ９４からの複数のデータ読み出しは、１回の露光中に行われる（例えば、第１データ読み出し８６、第２データ読み出し９０、及び／または他のデータ読み出し）。従って、各読み出しにおいて受信するデータは、パス９８を共有しなければならない。これを達成するために、イメージセンサ９４からの読み出しを互い違いに行ってもよい。すなわち、第１データ読み出し８６からのデータを、第２読み出し９０が始まるまでの間などにＡ／Ｄ変換器に送っても良い。このとき、まず、第１データ読み出し８６に対応した行について、そして次に第２データ読み出し９０に対応した行について、イメージセンサ９４からデータを読み出す。この処理は、２つの読み出しが行われる時間がオーバーラップする限り、（例えば、交互に）繰り返される。更に、もし第３以上の読み出しが行われる場合、他の読み出しも同様にして互い違いにすればよく、各読み出しで得たデータを、互いに食い違うようにＡ／Ｄ変換器９６に送れば良い。このようにして、Ａ／Ｄ変換器９６は、供給されたデータを受信する度にデジタル形式に変換するので、パス９８により送られたデジタルデータは、例えば、第１データ読み出し８６から読みだしたデータ、第２データ読み出し９０から読み出したデータ、及び、その他の追加データ読み出しから読み出したデータを含んでもよい。

一実施形態において、バッファ９７はイメージセンサ９４と同じチップまたは回路上に、ラインバッファ（つまり、読み出された１行分のデータに対応するデータを保持するメモリ）として構成される。このバッファ９７は、データ読み出し（例えば、第１データ読み出し８６）から受信したデータを、Ａ／Ｄ変換器９６による変換前に、ビンに分けて（例えば、４×４のビンに分ける）格納してもよい。つまり、一群の画素のデータを１つの画素値に結合することで、イメージセンサ９４からのデータ読み出しに付随する読み出しノイズの影響を減らす。一実施形態において、インターフェース上で転送するデータ量を減らすために、露出オーバー及び露出アンダーの画像の両方に関するデータを、ビンに分けてもよい。

更に、または、代わりに、複数のデータ読み出しのための一連のデータを一列に並べるためにバッファ９７を用いても良い。即ち、バッファ９７は、第２データ読み出し（例えば、第１データ読み出し８６）を保持すること無く転送し、１回のデータ読み出し（例えば、第２データ読み出し９０）の全体を転送のために保持するフレームバッファであってもよい。即ち、データ読み出しが互い違いに行われている間にパス９８を介して送られるデータは、第１データ読み出し８６から読み出された全てのデータと、続けて、第２データ読み出し９０から読み出された全てのデータ（バッファ９７から転送される）とを含む。このようにバッファ９７を利用することで、データパス９８からのデータを分離する際の複雑さを低減することができる（つまり、データパス９８上のデータは混ざらない）。

パス９８を通ったデジタルデータは、画像処理回路３２において受信される。上述したように、このデジタルデータは、イメージセンサ９４の２回以上の読み出しによるデータ（すなわち、異なる露出時間に関するデータ）を含む。従って、一実施形態において、第１データ読み出し８６、第２データ読み出し９０、またはその他のデータ読み出しに対応するデジタルデータは、特定のデータ読み出し（例えば、第１データ読み出し８６）に属することが識別できるように、１以上の識別ビット等の識別子を含む。このように、デジタルデータにはタグが付けられるため、例えば、画像信号処理部（ＩＳＰ）１００により、特定のデータ読み出しに関連する、受信したデジタルデータの正しい分類がなされる。更に、（例えば、データ読み出しを行うときに）ＩＳＰ１００を、読み出し時間を調整するために用いてもよい。例えば、ＩＳＰ１００を、露出、ホワイトバランス、及び撮像機器３０の焦点といった要素に関する統計的なデータを生成するために用いてもよい。このデータは、撮像機器３０、ひいてはＨＤＲ画像の読み出し回数を調整するために用いてもよい。

上述したように、ＩＳＰ１００はデジタルデータを受信し、パス９８から受信したデータをそれぞれの露出に分離するように動作してもよい。例えば、ＩＳＰ１００は、第１データ読み出し８６から読み出されたデータを分離し、分離したデータを、記憶場所であるバッファ１０２に格納する。同様に、ＩＳＰ１００は、パス９８を介して受信したデータから第２データ読み出し９０から読み出されたデータを分離し、分離したデータを記憶場所であるバッファ１０４に格納する。いくつかの実施形態では、バッファ１０２及び１０４は、１つの物理的な回路における２つの別々の領域であってもよい。別の実施形態では、バッファ１０２及び１０４は、別のメモリ回路にあってもよい。更に、ＩＳＰ１００は、イメージセンサ９４から読み出された数のデータ部分をそれぞれ分離するように動作し、例えば、実行された追加のデータ読み出しそれぞれに対応する追加のバッファを含んでもよい。

例えば、第１データ読み出し８６及び第２データ読み出し９０に関する全てのデータが分離されると、各バッファ１０２及び１０４は、ＨＤＲ画像を形成するために用いられる全てのデータセットを保持することになる。従って、ＩＳＰ１００はバッファ１０２及び１０４に格納されたデータを結合して、合成ＨＤＲ画像を生成し、生成された合成ＨＤＲ画像は、プロセッサ１６が取り出せるように、バッファ１０６に送られる。一実施形態では、ＨＤＲ画像は、バッファ１０２及び１０４に格納されたデータよりも、高いビット深度を有する。例えば、バッファ１０６に格納されたＨＤＲ画像は、バッファ１０２及び１０４に格納されたデータと比較して、１、２、３、またはそれ以上のビットの追加情報を含む。ＨＤＲ画像のこの高いビット深度により、よりはっきりとした、及び／またはより見た目の良い画像を生成することができる。

図７は、ＩＳＰ１００の動作の一実施形態の詳細を示すフローチャート１０８を示す。ステップ１１０において、ＩＳＰ１００はパス９８からデジタルデータを受信する。ＩＳＰ１００はステップ１１２において、パス９８から受信したデータを各露出に分離する。この分離は、受信データが特定のデータ読み出し（例えば、第１データ読み出し８６）に属すると分類されるように、受信データに関連付けられた識別子（つまり、例えばデータに付加された、１以上の識別ビット）を分析することで、与えられたデータセットがどのデータ読み出しに対応するかを判断することで実現することができる。

受信した画像データが分離されると、ＩＳＰ１００はステップ１１４において分離したデータを格納する。例えば、第１データ読み出し８６からのデータは、記憶場所であるバッファ１０２に格納される。同様に、第２データ読み出し９０からのデータは、バッファ１０２とは異なる記憶場所であるバッファ１０４に格納される。更に、その他の追加データ読み出しからのデータは、ＩＳＰ１００により追加バッファに格納される。.

これらのデータ読み出しにかかる全てのデータが格納されると、ＩＳＰ１００は、ステップ１１６において、ＨＤＲ画像を生成する。すなわち、バッファ１０２及び１０４それぞれ、及び使用される他の追加バッファは、ＨＤＲ画像を形成するために用いられる全データセットを含む。ＩＳＰ１００は、ステップ１１８において、合成ＨＤＲ画像を生成するために、バッファに格納されたデータを結合し、プロセッサ１６に送るために、バッファ１０６に送る。このようにすることで、画像撮影機器３０の１回のローリングシャッタリセット８０からＨＤＲ画像を生成するためにＩＳＰ１００を用いることができる。

上述したＨＤＲ撮影に関する様々な技術は、単なる例示として提供したものであることは理解されよう。従って、本開示は、提供した例にのみ限定されるべきものではないことは理解されたい。更に、ＨＤＲ撮影技術は、ハードウエア（適するように構成された回路）、ソフトウエア（例えば、１以上の有形のコンピュータ可読媒体に格納された、実行可能なコードを含むコンピュータプログラムを介して）、または、ハードウエア及びソフトウエア構成要素両方の組み合わせを用いることを含む、適する状態で実施できることは分かるであろう。

上述した特定の実施形態は例として示しており、これらの実施形態は、様々な変形及び別の形態に変えることが可能であることを理解されたい。更に、請求項は、開示された特定の形態に限定されることを意図しておらず、むしろ、本開示の精神及び範囲内にある全ての変形例、同等物、代案を包含することを理解されたい。

Claims (20)

1. １つの画像の複数回の露光に関する画像データを送るデータパスと、
   前記データパスと結ばれ、前記画像データを受信して、少なくとも１つの抽出条件に基づいて該画像データを少なくとも２つのカテゴリに分離する画像信号処理部と、
   前記画像信号処理部と結ばれ、前記カテゴリの少なくとも１つからデータを格納する第１バッファと、
   １枚の画像に対して、画像スキャナにより行われる走査の頻度及び回数を制御するプロセッサと
   を有することを特徴とする画像処理回路。
2. 前記画像信号処理部と結ばれ、前記カテゴリのうち２つめのカテゴリからデータを格納する第２バッファを有することを特徴とする請求項１に記載の画像処理回路。
3. 前記画像信号処理部は、前記第１及び第２バッファそれぞれに格納された前記データを取り出し、該取り出したデータを用いて、ハイダイナミックレンジ画像を生成することを特徴とする請求項２に記載の画像処理回路。
4. 前記画像信号処理部と結ばれ、前記ハイダイナミックレンジ画像を格納する第３バッファを更に有することを特徴とする請求項３に記載の画像処理回路。
5. 前記少なくとも２つのカテゴリは、露出アンダー画像データカテゴリと、 露出オーバー画像データカテゴリとを含むことを特徴とする請求項１に記載の画像処理回路。
6. １枚の画像に対して、画像取得メトリクスに関連するフィードバック要因を決定する工程と、
   前記１枚の画像に対して、前記フィードバック要因に基づいて、画像センサへ送信するための複数の読み出し要求の回数及び頻度を判定する工程であって、前記読み出し要求の回数及び頻度の判定は、第１の読み出し要求の前に実施される、工程と、
   画像信号処理部において、前記複数の読み出し要求に関する画像データを受信する工程と、
   前記画像信号処理部において、前記画像データを、少なくとも１つの抽出条件に基づいて少なくとも２つのカテゴリに分離する工程と、
   第１のバッファに、前記カテゴリの少なくとも１つからデータを格納する工程と
   を有することを特徴とする画像を生成する方法。
7. 第２バッファに、前記カテゴリのうち２つめのカテゴリからデータを格納する工程を有することを特徴とする請求項６に記載の方法。
8. 前記第１及び第２バッファそれぞれに格納された前記データを取り出し、該取り出したデータに基づいて、ハイダイナミックレンジ画像を生成する工程を有することを特徴とする請求項７に記載の方法。
9. 第３バッファに、前記カテゴリのうち３つめのカテゴリからデータを格納し、前記第１、第２、及び第３バッファそれぞれに格納された前記データを取り出し、該取り出した検索したデータに基づいて、ハイダイナミックレンジ画像を生成する工程を有することを特徴とする請求項７に記載の方法。
10. 前記画像データを少なくとも２つのカテゴリに分離することは、前記画像データを、露出アンダー画像データカテゴリと、露出オーバー画像データカテゴリとに分類することを含むことを特徴とする請求項６に記載の方法。
11. １枚の画像の撮影に対応する光を受光するレンズと、
    前記レンズと結ばれ、前記１枚の画像に対応する光を前記レンズから受光して、画素位置における受光した光に対応するデータ値を生成するイメージセンサと、
    前記イメージセンサと結ばれ、前記受光した光に対応する第１データ値を前記イメージセンサの１行分の画素位置から第１の時間に読み出し、前記受光した光に対応する第２データ値を前記イメージセンサの前記１行分の画素位置から第２の時間に読み出す走査回路と、
    前記１枚の画像に対して、画像スキャナにより行われる走査の頻度及び回数を制御するプロセッサとを有し、
    前記第１の時間と前記第２の時間は、前記画素位置の１回のシャッタリセットに先立っていることを特徴とする画像撮影機器。
12. 前記走査回路による第１の読み出しの間に、前記イメージセンサの全ての画素位置から読み出した全てのデータ信号を受信して格納するラインバッファを有することを特徴とする請求項１１に記載の画像撮影機器。
13. １枚の撮影画像に対応する光を受光して、イメージセンサの画素位置における前記受光した光に対応するデータ値を生成する前記イメージセンサと、
    前記イメージセンサと結ばれ、前記受光した光に対応する第１データ値を前記イメージセンサの１行分の画素位置から第１の時間に読み出し、前記受光した光に対応する第２データ値を前記イメージセンサの前記１行分の画素位置から第２の時間に読み出す走査回路を有し、前記第１の時間と前記第２の時間は、前記画素位置の共通のシャッタリセットに先立っており、
    前記イメージセンサと結ばれ、前記第１データ値と前記第２データ値とを受信して、該第１及び第２データ値を画像データに変換するアナログ／デジタル変換器と、
    前記画像データを受信して、少なくとも１つの抽出条件に基づいて該画像データを少なくとも２つのカテゴリに分離する画像信号処理部と、
    前記画像信号処理部と結ばれ、前記カテゴリの少なくとも１つからデータを格納する第１バッファと、
    １枚の画像に対して、画像スキャナにより行われる走査の頻度及び回数を制御するプロセッサと
    を有することを特徴とする電子機器。
14. 前記アナログ／デジタル変換器、前記イメージセンサ、及び画像信号処理部と結ばれ、シリアルデータラインを有するデータパスを有することを特徴とする請求項１３に記載の電子機器。
15. イメージセンサと結ばれ、前記走査回路による第１の読み出しの間に、前記イメージセンサの画素位置から読み出したデータ信号を格納する第２バッファを有することを特徴とする請求項１３に記載の電子機器。
16. 前記画像信号処理部と結ばれ、前記カテゴリのうち２つめのカテゴリからデータを格納する第２バッファを有することを特徴とする請求項１３に記載の電子機器。
17. 前記画像信号処理部は、前記第１及び第２バッファそれぞれに格納された前記データを取り出し、該取り出したデータを用いて、ハイダイナミックレンジ画像を生成することを特徴とする請求項１６に記載の電子機器。
18. １枚の画像に対応する光を受光して、該受光した光に対応する電気信号を生成するイメージセンサと、
    １フレームの間に撮影された前記１枚の画像の前記受光した光に対応する前記電気信号を、第１の走査及び第２の走査の間に、１行分の画素から取り出すことで、前記イメージセンサの前記１行分の画素を走査する画像スキャナと、
    前記１枚の画像に対して、前記画像スキャナにより行われる走査の頻度及び回数を制御するプロセッサと
    を有することを特徴とする電子機器。
19. 画像データを受信し、少なくとも１つの抽出条件に基づいて該画像データを少なくとも２つのカテゴリに分離して格納する画像信号処理部を有することを特徴とする請求項１８に記載の電子機器。
20. 前記画像信号処理部は、前記分離され、格納された画像データを結合したデータに基づいて、ハイダイナミックレンジ画像を生成することを特徴とする請求項１９に記載の電子機器。

Images