JP6173022B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP6173022B2 JP6173022B2 JP2013098001A JP2013098001A JP6173022B2 JP 6173022 B2 JP6173022 B2 JP 6173022B2 JP 2013098001 A JP2013098001 A JP 2013098001A JP 2013098001 A JP2013098001 A JP 2013098001A JP 6173022 B2 JP6173022 B2 JP 6173022B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- integrated circuit
- memory
- pair
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、画像処理装置に関する。
高速な連写機能を備えたデジタルカメラでは、撮像素子の高画素化等に伴い撮像素子から転送されるデータ量が急激に増大していることから、より高いメモリアクセス性能が要求される。このような連写機能を持つカメラは例えば特許文献1に開示されている。また、動画撮影機能を備えたデジタルカメラでは、リアルタイム性が要求されることから、静止画の連写機能以上に高いメモリアクセス性能が要求される。
一方、デジタルカメラ等の画像処理装置は、画像処理回路やメモリ等の半導体装置を備える。画像処理回路を有する半導体チップとメモリ等の半導体チップとを縦方向に積層することで実装面積を削減する構成が、特許文献2に開示されている。
しかしながら、近年では、動画撮影中に静止画撮影を可能とする機能が搭載されており、より高いメモリアクセス性能と、複数の画像処理回路に対するより効率的な制御が要求されている。
また、複数の半導体チップを積層した場合に、チップ間接続容量の増加、積層チップ間を通過する際の動作ノイズ等により、伝搬遅延が増加する。
本発明は、これらの問題の少なくとも1つを解決する。例えば本発明は、メモリを含む集積回路チップと画像処理回路を含む集積回路チップとを積層した場合でも、貫通電極や動作ノイズの影響を受けにくく、互いのアクセス性能を最高性能で使用することのできる画像処理装置を提供する。
本発明の一側面によれば、メイン基板と、
それぞれが画像処理を行う回路であって、前記メイン基板に積層される複数の第1の集積回路と、それぞれが前記第1の集積回路による画像処理のために用いられるメモリを含む回路であって、前記第1の集積回路に対して、更に積層される複数の第2の集積回路と、動画データを処理する動画モードを含む複数のモードの一つを設定するモード設定手段と、前記モード設定手段により設定されたモードに応じて前記複数の第1の集積回路を制御する制御手段とを有し、前記複数の第1の集積回路及び前記複数の第2の集積回路のうち隣接する第1の集積回路と第2の集積回路とが電気的に接続されて第1のペアを形成するとともに、前記第1のペアを挟む第1の集積回路と第2の集積回路とが、前記第1のペアの第1の集積回路と第2の集積回路とにそれぞれ設けられた貫通電極を介して電気的に接続されて第2のペアを形成し、前記第1のペアの第1の集積回路が前記第1のペアの第2の集積回路にクロックを供給し、前記第2のペアの第1の集積回路が前記第2のペアの第2の集積回路にクロックを供給し、前記制御手段は、前記動画モードにおいて、前記第1のペアの第1の集積回路が前記第1のペアの第2の集積回路に供給するクロックの周波数を、前記第2のペアの第1の集積回路が前記第2のペアの第2の集積回路に供給するクロックの周波数よりも高くなるように制御することを特徴とする画像処理装置が提供される。
それぞれが画像処理を行う回路であって、前記メイン基板に積層される複数の第1の集積回路と、それぞれが前記第1の集積回路による画像処理のために用いられるメモリを含む回路であって、前記第1の集積回路に対して、更に積層される複数の第2の集積回路と、動画データを処理する動画モードを含む複数のモードの一つを設定するモード設定手段と、前記モード設定手段により設定されたモードに応じて前記複数の第1の集積回路を制御する制御手段とを有し、前記複数の第1の集積回路及び前記複数の第2の集積回路のうち隣接する第1の集積回路と第2の集積回路とが電気的に接続されて第1のペアを形成するとともに、前記第1のペアを挟む第1の集積回路と第2の集積回路とが、前記第1のペアの第1の集積回路と第2の集積回路とにそれぞれ設けられた貫通電極を介して電気的に接続されて第2のペアを形成し、前記第1のペアの第1の集積回路が前記第1のペアの第2の集積回路にクロックを供給し、前記第2のペアの第1の集積回路が前記第2のペアの第2の集積回路にクロックを供給し、前記制御手段は、前記動画モードにおいて、前記第1のペアの第1の集積回路が前記第1のペアの第2の集積回路に供給するクロックの周波数を、前記第2のペアの第1の集積回路が前記第2のペアの第2の集積回路に供給するクロックの周波数よりも高くなるように制御することを特徴とする画像処理装置が提供される。
本発明によれば、メモリを含む集積回路チップと画像処理回路を含む集積回路チップとを積層した場合でも、貫通電極並びに動作ノイズの影響を受けにくく、互いのアクセス性能を最高性能で使用することのできる画像処理装置が提供される。
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
図1は、本発明の実施形態における画像処理装置の一例である撮像装置100の構成を示す図である。図1において、レンズユニット10は、ズーム機構や絞り機構等を有する。撮像素子12は、光学像を電気信号に変換する。撮像素子は例えばCCD素子で構成される。A/D変換器14は、撮像素子12のアナログ出力信号をデジタル信号に変換する。タイミング発生回路16は、撮像素子12、A/D変換器14、D/A変換器18にクロック信号や制御信号を供給する。このタイミング発生回路16は、システム制御回路70により制御される。D/A変換器18は、画像処理回路から供給されたデジタル画像データをアナログ信号に変換する。表示パネル20は、撮像装置100の表示部としての機能を担い、例えばLCD等で構成される。メモリB44又はメモリA54に書き込まれた表示用の画像データは、D/A変換器18を介して表示パネル20に供給され、撮影した静止画像、動画像又はライブビュー画像が表示パネル20上に表示される。
撮像装置100はモードダイヤルスイッチ22を備える。これにより使用者は、電源オフ、自動撮影モード、マニュアル撮影モード、パノラマ撮影モード、再生モード、動画モード、等の複数のモードの一つを設定することができる。シャッタースイッチ24は、シャッターボタン26の使用途中(半押し)で、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作の開始を指示する。
撮像装置100の制御を司るシステム制御回路70は、シャッターボタン26の使用完了(全押し、即ち使用者指示)に応答して露光処理を実行する。システム制御回路70は、露光処理として、撮像素子12からの信号をA/D変換器14によりデジタル信号への変換を指示し、得られたデジタル信号を画像処理回路B40又は画像処理回路A50を介してメモリB44又はメモリA54に格納する。システム制御回路70は、静止画撮影の指示があった場合は、撮影指示に応じた一画面の画像データを取得し、動画撮影開始の指示があった場合は、撮影開始の指示から撮影停止の指示までの間、動画データを取り込む。また、本実施形態では、動画撮影中に静止画撮影を行うことが可能である。その後、システム制御回路70は、画像処理回路B40又は画像処理回路A50に対して一連の撮影処理の開始を指示する。指示を受けた画像処理回路B40又は画像処理回路A50は、現像処理、符号化処理等を行い、処理後の画像データを、カードI/F56を介して記録媒体58に書き込む記録処理等を行う。
撮像装置100は更に、ズームレバー28を備える。システム制御回路70は、使用者によるズームレバー28の操作に応じて、レンズユニット10へのズーム動作の指示、あるいは、電子ズーム倍率の設定を行う。レンズ制御部30は、システム制御回路70の指示に従い、レンズユニット10の焦点制御、ズーム制御、絞り値、シャッタースピードの制御等を行う。フラッシュ32は、システム制御回路70の指示に従いフラッシュ発光を行う。フラッシュ32はまた、AF補助光の投光機能やフラッシュ調光機能も有する。
画像処理回路B40及び画像処理回路A50はそれぞれ、A/D変換器14から出力されるデータに対して、ROM−B42又はROM−A52に格納された情報に基づいて、色変換処理や画素補間処理等の現像処理を実施する。画像処理回路B40及び画像処理回路A50は、メモリB44又はメモリA54に格納されたデータに対しても、同様の現像処理を実施することができる。画像処理回路B40及び画像処理回路A50の他の処理については、後述する。
ROM−B42及びROM−A52は、画像処理回路B40及び画像処理回路A50が動作する際に参照する定数、変数等を記憶する。メモリB44及びメモリA54は、撮影した静止画像及び/又は動画像の画像処理や圧縮伸長時の処理のために必要なデータを記憶する。メモリB44、メモリA54はまた、表示画像データの書き込み領域としても使用される。メモリB44、メモリA54はいずれも、所定枚数の静止画像や所定時間の動画像を格納するに十分な記録容量を備えている。本実施形態において、画像処理回路B40及び画像処理回路A50はそれぞれ、同一構成の画像処理用集積回路(IC)チップとして構成される。また、メモリB44及びメモリA54は、例えばSDRAM(Synchronous Dynamic Random Access Memory)であり、それぞれ一つの集積回路チップとして構成される。メモリB44及びメモリA54は、同一容量のメモリであってもよいし、異なる容量のメモリであっても構わない。
記録媒体58は、撮影した静止画像及び/又は動画像データを記録するメモリカード等の記録媒体である。撮影した静止画像データや動画像データは、画像処理回路A50からカードI/F56を介して記録媒体58へと転送される。記録媒体58は、半導体メモリや磁気ディスク等で構成され、撮像装置100に内蔵されているものもあってもよいし、着脱可能に構成されているものであってもよい。
外部インターフェースである外部I/F60は、撮影により得られた静止画像及び/又は動画像データを撮像装置100の外部に転送する。外部I/F60はまた、撮像装置100の外部に保存された静止画像及び/又は動画像データを撮像装置100に転送することも行う。外部I/F60は例えば、USB又はワイヤレスLAN等により構成される。
システム制御回路70は、上述したように、撮像装置100の統括制御を行う。ROM−C72は、システム制御回路70が動作する際に参照する定数、変数、プログラム等を記憶している。メモリC74は、システム制御回路70が動作する際に作業領域として使用される。電源制御部80は、例えば電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。電源制御部80は例えば、電池装着の有無、電池の種類及び電池残量を検出し、その検出結果及びシステム制御回路70の指示に基づいてDC−DCコンバータを制御して、必要な電圧を必要な期間だけ各部に供給する。コネクタ82は、電源制御部80と電源部84との接続を行う。電源部84は、例えばアルカリ電池やリチウム電池等の一次電池、Li電池等の二次電池、ACアダプタ等で構成される。
図2は、本実施形態における画像処理回路B40及び画像処理回路A50の詳細なブロック構成を示す図である。本実施形態において、画像処理回路B40と画像処理回路A50は、同一構成の集積回路であるため、以下では代表的に画像処理回路A50の構成について説明する。画像処理回路B40と画像処理回路A50は、半導体により構成される。制御部200は、画像処理回路A50の制御を司る。制御部200はCPUを含み、ROMコントローラ204を介して受信したROM−A52に格納された情報に基づいて、画像処理回路A50全体の動作制御を行う。クロック生成回路202は、制御部200の指示に基づき、画像処理回路A50内部の各ブロックの動作に必要な周波数のクロックを生成し、各部に供給する。クロック生成回路202で生成されたクロックは、メモリコントローラ206を介してメモリA54へも供給される。メモリコントローラ206は、制御部200の指示に基づき、画像処理回路A50内部の各ブロックからメモリA54に対するデータの書き込み、又は、メモリA54から画像処理回路A50内部の各ブロックへのデータの読み出しを行う。
撮像インターフェース208は、撮像素子12で撮像された信号をA/D変換器14を介して高速に取り込む。撮像インターフェース208から取り込まれたデータは、メモリコントローラ206を介してメモリA54に転送される。ディスプレイコントローラ210は、メモリA54に書き込まれた画像データ及び/又はアイコン等のデータを、メモリコントローラ206を介して読み込み、D/A変換器18を介して表示パネル20に送信する。チップ間通信インターフェース212は、画像処理回路B40内部のチップ間通信インターフェース212と通信する。画像処理回路A50は、チップ間通信インターフェース212を介して、画像処理回路B40で処理された画像データ等を取り込むことができる。
カードコントローラ214は、メモリA54からメモリコントローラ206を介して読み込んだデータを、カードI/F56を介して記録媒体58へ転送する。カードコントローラ214はまた、記録媒体58からカードI/F56を介して読み込んだデータを、メモリコントローラ206を介してメモリA54に転送する。外部通信インターフェース216は、メモリA54からメモリコントローラ206を介して読み込んだデータを、外部I/F60を介して撮像装置100の外部に転送する。外部通信インターフェース216はまた、撮像装置100の外部から外部I/F60を介して読み込んだデータを、メモリコントローラ206を介してメモリA54に転送する。
フォーカス検出回路220は、メモリA54からメモリコントローラ206を介して読み込んだ単数又は複数フレームの画像データ又は撮像インターフェース208を介して取り込まれた画像データを参照して、オートフォーカスに必要な情報の抽出を行う。抽出結果は、メモリコントローラ206を介してメモリA54に転送される。なお、抽出結果は直接、制御部200からも参照できる。顔検出回路222は、メモリA54からメモリコントローラ206を介して読み込んだ単数又は複数フレームの画像データ内に含まれる顔情報の抽出を行う。抽出結果は、メモリコントローラ206を介してメモリA54に転送される。なお、抽出結果は直接、制御部200からも参照できる。個人認証回路224は、顔検出回路222で抽出した顔情報が所定の個人の特徴に合致するか否かの認証処理を行う。認証結果は、メモリコントローラ206を介してメモリA54に転送される。なお、認証結果は直接、制御部200からも参照できる。笑顔検出回路226は、顔検出回路222で抽出した顔から笑顔の検出を行う。検出結果は、メモリコントローラ206を介してメモリA54に転送される。なお、検出結果は直接、制御部200からも参照できる。動き検出回路228は、メモリA54からメモリコントローラ206を介して読み込んだ複数フレームの画像データを参照して、複数フレーム間で移動する被写体の動き検出を行う。検出結果はメモリコントローラ206を介してメモリA54に転送される。なお、検出結果は直接、制御部200からも参照できる。
現像処理回路230は、撮像インターフェース208及びメモリコントローラ206を介してメモリA54に取り込まれた画像データに対して現像処理を行う。現像処理としては例えば、ホワイトバランス処理等の色補正、撮像素子12の素子配列等に応じた輝度及び色差への補間処理等が含まれる。現像処理された画像データはメモリコントローラ206を介してメモリA54に転送される。拡大縮小回路232は、現像処理回路230で現像された画像データ等をメモリA54からメモリコントローラ206を介して読み込み、予め設定された記録サイズ又は表示パネルの出力解像度等に合わせて、拡大縮小処理を行う。拡大縮小処理された画像データはメモリコントローラ206を介してメモリA54に転送される。静止画符号化回路236は、現像処理回路230及び拡大縮小回路232で処理された画像データをメモリA54からメモリコントローラ206を介して読み込み、例えばJPEG処理等の静止画符号化処理を行う。符号化されたデータは、メモリコントローラ206を介してメモリA54に転送され、さらに、カードコントローラ214及びカードI/F56を介して、記録媒体58に転送される。動画符号化回路238は、現像処理回路230及び拡大縮小回路232で処理された単数又は複数の画像データをメモリA54からメモリコントローラ206を介して読み込み、例えばH.264等の動画符号化処理を行う。符号化されたデータは、メモリコントローラ206を介してメモリA54に転送され、さらに、カードコントローラ214及びカードI/F56を介して記録媒体58に転送する。
次に、図3を参照して、本実施形態における画像処理回路B40、画像処理回路A50、メモリB44及びメモリA54の積層方法を説明する。同図には、積層されるこれらの集積回路と、A/D変換器14、D/A変換器18、カードI/F56、ROM−B42及びROM−A52との接続断面構造が示されている。本実施形態において、メイン基板300には、積層された複数の第1の集積回路である画像処理回路A50及び画像処理回路B40が搭載される。また、複数の第1の集積回路に対して、複数の第2の集積回路であるメモリB44及びメモリA54が更に積層される。メモリB44及びメモリA54はそれぞれ、画像処理回路B40及び画像処理回路A50による画像処理のために用いられるメモリを含む回路である。
メイン基板300は、メイン基板上に実装される半導体部品を接続するための配線パターンを有し、配線パターンのための複数の導体層と絶縁層とにより構成される。インターポーザー310は、半導体チップのIO端子とメイン基板とを接続するための配線パターンを有し、配線パターンのための複数の導体層と絶縁層とにより構成される。ボール302は、各半導体チップのインターポーザー310とメイン基板300とを電気的に接続するための球状の導体物で形成される。
複数のマイクロバンプ312、314、316、318は、半導体チップである画像処理回路A50とインターポーザー310とを電気的に接続するための微細な導体物で形成される。複数のマイクロバンプ320、322、324、326は、積層方向に隣接する画像処理回路B40と画像処理回路A50とを電気的に接続する。複数のマイクロバンプ330は、積層方向に隣接する画像処理回路B40とメモリB44とを電気的に接続する。複数のマイクロバンプ340は、積層方向に隣接するメモリB44とメモリA54とを電気的に接続する。
複数の貫通電極350、352、354は、半導体チップである画像処理回路B40及び画像処理回路A50の上面と下面とを、半導体チップ内部を経由して電気的に接続する。貫通電極は一般に、スルーシリコンビア(Through Sillicon Via、以下「TSV」という。)と呼ばれる。複数のTSV356は、半導体チップであるメモリB44及びメモリA54の上面と下面とを、半導体チップ内部を経由して電気的に接続する。メモリB44及びメモリA54はそれぞれ、コントローラ・メモリセル360を有する。
上記したように、複数のマイクロバンプ330は、隣接する画像処理回路B40とメモリB44とを電気的に接続する。このマイクロバンプ330を介した電気的接続によって、画像処理回路B40とメモリB44とは第1のペアを形成する。具体的には、画像処理回路B40のメモリコントローラ206は、マイクロバンプ330を介してメモリB44のコントローラ・メモリセル360に接続される。
画像処理回路B40のROMコントローラ204は、マイクロバンプ322、TSV352、マイクロバンプ312、インターポーザー310、ボール302、及びメイン基板300を介して、ROM−B42に接続される。画像処理回路B40の撮像インターフェース208は、マイクロバンプ324、TSV354、マイクロバンプ314、インターポーザー310、ボール302、及びメイン基板300を介して、A/D変換器14に接続される。画像処理回路B40及び画像処理回路A50のチップ間通信インターフェース212はそれぞれ、マイクロバンプ326を介して互いに接続される。
第1のペアを挟む画像処理回路A50とメモリA54とは、第1のペアを貫通する貫通電極を介して電気的に接続されて第2のペアを形成する。具体的には、画像処理回路A50のメモリコントローラ206は、マイクロバンプ320、TSV350、マイクロバンプ330、TSV356、及びマイクロバンプ340を介して、メモリA54のコントローラ・メモリセル360に接続される。
画像処理回路A50のROMコントローラ204は、マイクロバンプ312、インターポーザー310、ボール302、及びメイン基板300を介して、ROM−A52に接続される。画像処理回路A50の撮像インターフェース208は、マイクロバンプ314、インターポーザー310、ボール302、及びメイン基板300を介して、A/D変換器14に接続される。画像処理回路A50のカードコントローラ214は、マイクロバンプ316、インターポーザー310、ボール302、及びメイン基板300を介して、カードI/F56に接続される。画像処理回路A50のディスプレイコントローラ210は、マイクロバンプ318、インターポーザー310、ボール302、及びメイン基板300を介して、D/A変換器18に接続される。
次に、画像処理回路A50とメモリA54との接続関係に係る電気的特性と、画像処理回路B40とメモリB44との接続関係に係る電気的特性の違いに伴う信号伝搬特性の違いを、図4を用いて説明する。
図4(a)は、画像処理回路B40からメモリB44に供給するクロック信号線について、チップ間の接続容量に着目した等価回路である。図3に示されるように、画像処理回路B40とメモリB44とは、マイクロバンプ330により接続される。この間のメモリアクセスに影響する容量性負荷C_Bは、それぞれの半導体チップの入力容量を除くとマイクロバンプとの接続に関わる容量性負荷のみであるので、
C_B=C330
となる。
C_B=C330
となる。
一方、図4(b)は、画像処理回路A50からメモリA54に供給するクロック信号線について、チップ間の接続容量に着目した等価回路である。図3に示されるように、画像処理回路A50とメモリA54とは、マイクロバンプ320、TSV350、マイクロバンプ330、TSV356、及びマイクロバンプ340を介して接続される。この間のメモリアクセスに影響する容量性負荷C_Aは、それぞれの半導体チップの入力容量を除くと各マイクロバンプ及び各TSV接続に関わる容量性負荷の総和になるので、
C_A=C320+C350+C330+C356+C340
となる。
C_A=C320+C350+C330+C356+C340
となる。
図4(c)は、容量性負荷C_B及びC_Aに伴う信号の伝搬遅延の違いを模式的に示すものである。容量性負荷の充放電にかかる時間(Ta、Tb)は、単純に容量性負荷の大きさに比例する。この充放電にかかる時間に対してメモリアクセスにかかる信号の周波数が高すぎる場合には、十分な振幅で動作させることができない。このため、このような場合には、メモリアクセスにかかる波形品質が劣化し、結果として正常なメモリアクセスが阻害される可能性がある。さらに、この充放電にかかる時間はそのまま半導体チップ間を伝搬する信号遅延に影響する。このため、画像処理回路A50とメモリA54との間のメモリアクセスにかかる信号の伝搬遅延は、画像処理回路B40とメモリB44との間のメモリアクセスにかかる信号の伝搬遅延に比べて大きくなる。従って、図3の構成においては、C_A>C_Bの関係から明らかなように、画像処理回路A50とメモリA54のメモリアクセス性能に比べ、画像処理回路B40とメモリB44の方が、より高いメモリアクセス性能を得ることが可能である。
次に、撮像装置100における静止画撮影時と動画撮影時における画像処理回路B40と画像処理回路A50の機能割当の一実施形態について、図5及び図6を用いて説明する。なお、本実施形態においては、以下に説明する機能割当は、システム制御回路70の制御により行われる。図5は、撮像装置100が静止画撮影における連写撮影時における機能割当を図示したものであり、それぞれ斜線で示された回路が未使用状態となる。ここで、連写撮影時において最も高い処理能力が要求されるのは、撮像インターフェース208を介して撮像素子12からの画像データの取り込み性能である。連写撮影を継続するためには、撮像インターフェース208を介して取り込んだ画像データを滞りなく処理してカードコントローラ214及びカードI/F56を介して記録媒体58に転送する必要がある。このため本実施形態では、1フレーム分の画像データ毎に、現像及び静止画符号化に関連する処理を、画像処理回路B40と画像処理回路A50とで交互に切り替えて処理を行う。連写撮影時において、撮像処理から、現像処理、静止画符号化処理に至る一連の静止画処理には、撮像インターフェース208、現像処理回路230、拡大縮小回路232、静止画符号化回路236の動作が必要である。そこで本実施形態では、連写撮影時においては、上記一連の静止画処理に必要とされる上記各回路の処理機能を、画像処理回路B40及び画像処理回路A50のいずれにも割り当てる。一方、動画処理に必要であるが静止画処理には必要のない、動画符号化回路238及び動き検出回路228の各処理機能は、いずれの画像処理回路にも割り当てない。
また、図4で説明したとおり、TSVを経由した信号の伝搬遅延は、TSVを経由しない信号の伝搬遅延よりも大きい。このため、ディスプレイコントローラ210、カードコントローラ214及び外部通信インターフェース216の各制御機能は、画像処理回路A50のみに割り当てられる。これにより、TSV経由に伴う伝搬遅延の劣化を最小限に抑えることができる。この態様によれば例えば、カードコントローラ214の機能は画像処理回路A50に割り当てられる。そのため、画像処理回路B40で符号化されたデータは、互いのチップ間通信インターフェース212を介して、更に、画像処理回路A50のカードコントローラ214を介して、記録媒体58に転送される。
一方、フォーカス検出、顔検出、笑顔検出、個人認証等の検出系の処理については、連写撮影時においては、必ずしも毎フレーム処理する必要性がなく、さらにメモリアクセスさえできれば処理可能である。このため、フォーカス検出回路220、顔検出回路222、個人認証回路224、笑顔検出回路226の各機能は、画像処理回路B40のみに割り当てる。ただし、静止画撮影時のモード設定等に応じて、これら検出系の処理についても、画像処理回路B40と画像処理回路A50とで切り替える構成としてもよい。
図6は、撮像装置100が動画撮影時における機能割当を図示したものであり、図5と同様に斜線で示された回路が未使用状態となる。ここで、動画撮影時において最も高い処理能力が要求されるのは、動画処理におけるフレーム間演算を必要とする場合のメモリアクセス性能と、さらに動画撮影時において同時に静止画撮影を指示された場合のメモリアクセス性能である。本実施形態においては、より高いメモリアクセス性能を要する動画処理のために、撮像インターフェース208、現像処理回路230、拡大縮小回路232、動画符号化回路238及び動き検出回路228の各処理機能を画像処理回路B40に割り当てる。一方、動画撮影中における静止画処理のために、撮像インターフェース208、現像処理回路230、拡大縮小回路232、静止画符号化回路236の各処理機能を画像処理回路A50に割り当てる。
撮像インターフェース208を介して取り込んだ画像データは、現像処理、拡大縮小処理の一連の処理を実施したのち、メモリコントローラ206を介してメモリB44に転送される。動画処理におけるフレーム間演算を実施する場合には、メモリB44に転送された直前フレームの画像データを、メモリコントローラ206を介して、動画符号化回路238及び動き検出回路228に読み込む。ここで、撮像インターフェース208を介して取り込んだ処理対象フレームの画像データとの間でフレーム間演算処理を行った後、再びメモリコントローラ206を介してメモリB44に転送される。このように、画像処理回路B40は、メモリB44との間で短時間に大量のデータ転送を必要とすることから、動画撮影に要求される処理性能は、静止画1枚あたりの処理性能よりも高いメモリアクセス性能とリアルタイム性を要求される。
図4で説明したとおり、TSVを介さずに接続されるメモリB44と画像処理回路B40は、TSVを介して接続されるメモリA54と画像処理回路A50との接続よりも高いメモリアクセス性能が得られる。このことからも、動画処理に関わる各機能を、画像処理回路B40に割り当てることが適切である。また、図5と同様に、TSVを経由した信号の伝搬遅延は、TSVを経由しない信号の伝搬遅延よりも劣る。このため、ディスプレイコントローラ210、カードコントローラ214及び外部通信インターフェース216の各機能は、画像処理回路A50のみに割り当てる。これにより、TSV経由に伴う伝搬遅延の劣化を最小限に抑えることができる。さらに、この態様によれば例えば、カードコントローラ214の機能は画像処理回路A50に割り当てられる。そのため、画像処理回路B40で符号化されたデータは、互いのチップ間通信インターフェース212を介して、更に、画像処理回路A50のカードコントローラ214を介して、記録媒体58に転送される。
一方、フォーカス検出、顔検出、笑顔検出、個人認証等の検出系の処理については、動画撮影時においても、必ずしも毎フレーム処理する必要性がなく、さらにメモリアクセスさえできれば処理可能である。このため、フォーカス検出回路220、顔検出回路222、個人認証回路224、笑顔検出回路226の各機能は、画像処理回路B40のみに割り当てる。ただし、静止画撮影時のモード設定等に応じて、静止画処理に必要な検出系の処理については、必要に応じて画像処理回路A50の機能を使用する構成としてもよい。
図7は、図5及び図6で説明した連写撮影時及び動画撮影時における、画像処理回路B40と画像処理回路A50の時間毎の機能割当の様子と、メモリB44とメモリA54に供給されるクロック周波数の関係を図示したものである。図7(a)は、連写撮影時の画像処理回路B40と画像処理回路A50の時間毎の機能割当の様子を示している。図7(a)によれば、撮像インターフェース208を介して画像を取り込む撮像処理と、静止画処理(現像処理、拡大縮小処理及び静止画符号化処理の一連の処理を含む。)とが、画像処理回路B40と画像処理回路A50とで互い違いに、繰り返し実施される。図7(a)の状態における連写撮影時の処理性能としては、画像処理回路B40と画像処理回路A50とで同等のメモリアクセス性能が必要とされる。そのため、画像処理回路B40及び画像処理回路A50がそれぞれメモリB44及びメモリA54に供給するメモリクロックB及びメモリクロックAの周波数は共に同一のYMHzとなる。
図7(b)は、動画処理時の様子を示している。画像処理回路B40は、撮像インターフェース208を介して画像を取り込む撮像処理と、動画処理(現像処理、拡大縮小処理及び動画符号化処理の一連の処理を含む。)とを繰り返し実施する。動画撮影中に静止画撮影指示があった場合のみ、撮像処理と静止画処理とを実施する。前述したとおり、図7(b)の状態においては、動画処理機能を担う画像処理回路Bが必要とするメモリアクセス性能は、静止画処理機能を担う画像処理回路Aのメモリアクセス性能よりも高い。さらに、画像処理回路Aが静止画処理を実施している場合のメモリアクセス性能は、画像処理回路Aが静止画処理を実施していない場合に比べて高い。したがって、メモリB44及びメモリA54に供給されるメモリクロックBとメモリクロックAの周波数は、次のように決定することができる。
メモリクロックB=XMHz(動画撮影時)
メモリクロックA=YMHz(静止画撮影時)
メモリクロックA=ZMHz(静止画非撮影時)
ここで、各クロックの周波数関係は、X>Y>Zである。
メモリクロックA=YMHz(静止画撮影時)
メモリクロックA=ZMHz(静止画非撮影時)
ここで、各クロックの周波数関係は、X>Y>Zである。
システム制御回路70は、撮像装置100の動作状態(モード)に応じて画像処理回路A50と画像処理回路B40の制御部200を制御して、クロックの周波数を制御する。画像処理回路B40及び画像処理回路A50におけるクロック生成回路202は、図7に示すように、制御部200からの指示に応じて、各画像処理回路の状態に応じた周波数のクロックを発生する。そして、クロック生成回路202により生成されたクロックは、メモリコントローラ206を介して、各画像処理回路に接続されているメモリB44、メモリA54に供給される。
以上説明した実施形態によれば、画像処理回路B40とメモリB44、画像処理回路A50とメモリA54の接続関係を考慮して、各メモリクロックの周波数制御が適切に行われる。これにより最適なパフォーマンスを達成することが可能となる。
(他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
Claims (8)
- メイン基板と、
それぞれが画像処理を行う回路であって、前記メイン基板に積層される複数の第1の集積回路と、
それぞれが前記第1の集積回路による画像処理のために用いられるメモリを含む回路であって、前記第1の集積回路に対して、更に積層される複数の第2の集積回路と、
動画データを処理する動画モードを含む複数のモードの一つを設定するモード設定手段と、
前記モード設定手段により設定されたモードに応じて前記複数の第1の集積回路を制御する制御手段と
を有し、
前記複数の第1の集積回路及び前記複数の第2の集積回路のうち隣接する第1の集積回路と第2の集積回路とが電気的に接続されて第1のペアを形成するとともに、前記第1のペアを挟む第1の集積回路と第2の集積回路とが、前記第1のペアの第1の集積回路と第2の集積回路とにそれぞれ設けられた貫通電極を介して電気的に接続されて第2のペアを形成し、前記第1のペアの第1の集積回路が前記第1のペアの第2の集積回路にクロックを供給し、前記第2のペアの第1の集積回路が前記第2のペアの第2の集積回路にクロックを供給し、
前記制御手段は、前記動画モードにおいて、前記第1のペアの第1の集積回路が前記第1のペアの第2の集積回路に供給するクロックの周波数を、前記第2のペアの第1の集積回路が前記第2のペアの第2の集積回路に供給するクロックの周波数よりも高くなるように制御する
ことを特徴とする画像処理装置。 - 前記第1のペアの第1の集積回路に、動画処理に関連する処理機能が割り当てられることを特徴とする請求項1に記載の画像処理装置。
- 前記動画処理に関連する処理機能は、現像、動画符号化、及び動き検出のうちの少なくともいずれかの処理機能を含むことを特徴とする請求項2に記載の画像処理装置。
- 撮像手段を備え、
前記第2のペアの第1の集積回路に、前記撮像手段による動画撮影中における静止画処理に関連する処理機能が割り当てられることを特徴とする請求項2又は3に記載の画像処理装置。 - 前記動画撮影中における静止画処理に関連する処理機能は、現像及び静止画符号化の少なくともいずれかの処理機能を含むことを特徴とする請求項4に記載の画像処理装置。
- 画像の表示を行う表示部と、
記録媒体に画像データを記録する記録手段と、
外部との通信を行うための外部インターフェースと、
を更に有し、
前記第2のペアの第1の集積回路に、前記表示部、前記画像データの記録、及び前記外部インターフェースに関連する制御機能が割り当てられることを特徴とする請求項2乃至5のいずれか1項に記載の画像処理装置。 - 前記制御手段は、前記動画モードにおいて動画撮影中に静止画処理を実施するときの、前記第2のペアの第1の集積回路が前記第2のペアの第2の集積回路に供給するクロックの周波数を、静止画処理を実施しないときのクロックの周波数よりも高くすることを特徴とする請求項4に記載の画像処理装置。
- 前記貫通電極は、スルーシリコンビアにより構成されることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013098001A JP6173022B2 (ja) | 2013-05-07 | 2013-05-07 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013098001A JP6173022B2 (ja) | 2013-05-07 | 2013-05-07 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014220627A JP2014220627A (ja) | 2014-11-20 |
JP6173022B2 true JP6173022B2 (ja) | 2017-08-02 |
Family
ID=51938726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013098001A Expired - Fee Related JP6173022B2 (ja) | 2013-05-07 | 2013-05-07 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6173022B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6765940B2 (ja) * | 2016-11-16 | 2020-10-07 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP7006327B2 (ja) * | 2018-02-01 | 2022-01-24 | セイコーエプソン株式会社 | 表示装置、信号処理装置、及び、表示装置の制御方法 |
KR102693213B1 (ko) * | 2018-11-30 | 2024-08-09 | 에스케이하이닉스 주식회사 | 메모리 시스템 |
JP7400536B2 (ja) * | 2020-02-27 | 2023-12-19 | セイコーエプソン株式会社 | 半導体装置 |
JP7400537B2 (ja) * | 2020-02-27 | 2023-12-19 | セイコーエプソン株式会社 | 半導体装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4408042B2 (ja) * | 2002-12-27 | 2010-02-03 | 株式会社半導体エネルギー研究所 | 半導体装置及びその作製方法 |
JP2006032379A (ja) * | 2004-07-12 | 2006-02-02 | Akita Denshi Systems:Kk | 積層半導体装置及びその製造方法 |
JP2006287118A (ja) * | 2005-04-04 | 2006-10-19 | Canon Inc | 半導体装置及びその製造方法 |
JP5388503B2 (ja) * | 2007-08-24 | 2014-01-15 | 株式会社半導体エネルギー研究所 | 半導体装置の製造方法 |
-
2013
- 2013-05-07 JP JP2013098001A patent/JP6173022B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014220627A (ja) | 2014-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021036719A (ja) | 電子機器 | |
JP6173022B2 (ja) | 画像処理装置 | |
CN109743514B (zh) | 摄像元件以及摄像装置 | |
US10082723B2 (en) | Image capturing apparatus for generating a high dynamic range video frame from multiple image frames with different characteristics | |
JP2017118579A (ja) | 撮像素子および電子機器 | |
JP2016152417A (ja) | イメージセンサ、及びイメージセンサを含む撮像装置 | |
US12081882B2 (en) | Imaging unit, imaging apparatus, and computer-readable medium having stored thereon a control program | |
JP6561428B2 (ja) | 電子機器、制御方法、及び制御プログラム | |
US10277853B2 (en) | Image capturing apparatus and control method of the same | |
US9871970B2 (en) | Imaging apparatus, control method, and storage medium storing program | |
JP6248468B2 (ja) | 撮像装置および電子機器 | |
US10410995B2 (en) | Image processing device having an integrated circuit chip, a first memory chip and a second memory chip, and control method therefor | |
JP2019103066A (ja) | 電子機器およびその制御方法、ならびに撮像素子 | |
JP5959194B2 (ja) | 撮像装置 | |
JP2015138994A (ja) | 電子機器 | |
US7433099B2 (en) | Image sensing apparatus, image sensing method, program, and storage medium | |
JP2013211715A (ja) | 撮像装置 | |
JP2013211724A (ja) | 撮像装置 | |
US10462360B2 (en) | Image capturing apparatus and control method utilizing an image sensor with two-dimensional pixels and pixel signal storing unit | |
JP2010056768A (ja) | 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置 | |
JP6916418B2 (ja) | 撮像装置 | |
JP6349659B2 (ja) | 電子機器、電子機器の制御方法、及び制御プログラム | |
JP6757199B2 (ja) | 撮像素子およびその駆動方法、ならびに電子機器 | |
JP6852712B2 (ja) | 撮像素子および撮像装置 | |
JP4466698B2 (ja) | 固体撮像装置、これを用いたカメラおよび固体撮像装置の駆動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170704 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6173022 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |