JP4225795B2 - 撮像システム、画像処理プログラム - Google Patents
撮像システム、画像処理プログラム Download PDFInfo
- Publication number
- JP4225795B2 JP4225795B2 JP2003013863A JP2003013863A JP4225795B2 JP 4225795 B2 JP4225795 B2 JP 4225795B2 JP 2003013863 A JP2003013863 A JP 2003013863A JP 2003013863 A JP2003013863 A JP 2003013863A JP 4225795 B2 JP4225795 B2 JP 4225795B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- video signal
- signal
- unit
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 75
- 238000000034 method Methods 0.000 claims description 181
- 230000008569 process Effects 0.000 claims description 123
- 238000012795 verification Methods 0.000 claims description 118
- 238000012545 processing Methods 0.000 claims description 103
- 238000000605 extraction Methods 0.000 claims description 86
- 238000004364 calculation method Methods 0.000 claims description 76
- 238000000926 separation method Methods 0.000 claims description 58
- 238000012546 transfer Methods 0.000 description 37
- 230000014509 gene expression Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 28
- 239000000284 extract Substances 0.000 description 21
- 238000007906 compression Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000004904 shortening Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- OVSKIKFHRZPJSS-UHFFFAOYSA-N 2,4-D Chemical compound OC(=O)COC1=CC=C(Cl)C=C1Cl OVSKIKFHRZPJSS-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Description
【発明の属する技術分野】
本発明は、複数の補間方法を適応的に組み合わせて欠落する色信号を補間し高品位な映像信号を得る撮像システム、画像処理プログラムに関する。
【0002】
【従来の技術】
現在、一般向けに市販されているデジタルスチルカメラやビデオカメラなどは、撮像系として単板CCDを用いたものが主流となっている。この単板CCDは、前面にカラーフィルタを配置して構成されており、該カラーフィルタの種類によって補色系と原色系とに大別される。
【0003】
このような構成の単板カラーCCDでは、カラーフィルタの種類が補色系と原色系との何れであっても、1つの画素に1つの色信号を割り当てている点は何れも同様である。従って、1つの画素に対して全ての色信号を得るためには、各画素において欠落している色信号を補間する処理を行うことが必要となる。
【0004】
このような単板系に限らず、二板式の撮像系や、三板式であっても画素ずらしを行った撮像系においては、同様に、補間処理を行うことが必要になる。
【0005】
上述したような補間処理としては、例えば特開平7−236147号公報や特開平8−298670号公報に、相関またはエッジを検出して、相関の高い方向またはエッジ強度の低い平坦な方向に補間処理を行う技術が記載されている。
【0006】
また、上記補間処理の他の例としては、特開2000−224601号公報に、局所領域における色相関を用いる技術が記載されている。
【0007】
さらに、特開2000−151989号公報には、拡大処理を行う際に、R信号およびG信号に関してはキュービック補間を用い、B信号に関してはニアレストネイバー補間を用いるなどの、異なる補間方法を組み合わせる技術が記載されている。
【0008】
一方、上述した特開2000−224601号公報には、色相関による補間と線形補間とを適応的に切り換える技術が記載されている。
【0009】
【特許文献1】
特開平7−236147号公報
【0010】
【特許文献2】
特開平8−298670号公報
【0011】
【特許文献3】
特開2000−224601号公報
【0012】
【特許文献4】
特開2000−151989号公報
【0013】
【発明が解決しようとする課題】
上記特開平7−236147号公報や特開平8−298670号公報に記載されたような方向を選択して補間する手段は、映像信号が単一のエッジ構造で構成される場合には良好に機能するが、テクスチャ画像のように複数のエッジ構造がある場合には方向の選択に失敗して補間精度が低下することがある。
【0014】
また、上記特開2000−224601号公報に記載されたような色相関に基づく補間は、テクスチャのように複数のエッジ構造がある場合でも、それが単一の色相である場合には高精度な補間が可能である。しかし、異なる色相での境界領域では色相関の推定に失敗して、アーティファクトが発生することがある。
【0015】
そして、上記特開2000−151989号公報に記載されたような異なる補間方法を組み合わせる手段は、それぞれが得意とする領域で補間処理を行わせることで、全体としてより高精度な補間が可能となる利点がある一方で、補間処理を如何にうまく切り換え制御するかが課題となる。しかし、この特開2000−151989号公報に記載された切換方法は固定的であるために、例えばB(青)信号に複雑なエッジ構造がある場合には精度が低下してしまい、各々の補間方法が有するメリットを生かしきれないことがあった。
【0016】
また、上記特開2000−224601号公報に記載のものでは、1つ以上の色信号が欠落する原信号に基づいて補間方法の切り換え制御を行っているために、制御方法が複雑になって、処理時間が長くなるという課題があった。
【0017】
本発明は上記事情に鑑みてなされたものであり、映像信号中の欠落する色信号をより高精度に補間することができる撮像システム、画像処理プログラムを提供することを目的としている。
【0018】
【課題を解決するための手段】
上記の目的を達成するために、第1の発明による撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて1つ以上欠落している映像信号を処理する撮像システムであって、上記欠落する色信号を第1の補間方法により上記映像信号から補間する第1の補間手段と、上記映像信号と上記第1の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段と、上記補間精度が充分でないと判断された場合に上記欠落する色信号を上記第1の補間方法とは異なる第2の補間方法により上記映像信号から補間する第2の補間手段と、を具備したものである。
【0019】
また、第2の発明による撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて1つ以上欠落している映像信号を処理する撮像システムであって、上記映像信号に係る所定の特性に基づいて該映像信号を第1の映像信号と第2の映像信号とに分離する分離手段と、上記第1の映像信号から上記欠落する色信号を第1の補間方法により補間する第1の補間手段と、上記第2の映像信号から上記欠落する色信号を上記第1の補間手段とは異なる第2の補間方法により補間する第2の補間手段と、上記第1の映像信号の領域については該第1の映像信号と上記第1の補間手段により補間された色信号とに基づいて補間精度を検証し上記第2の映像信号の領域については該第2の映像信号と上記第2の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段と、上記補間精度が充分でないと判断された場合に充分でない補間が上記第1の補間手段により行われたときには上記欠落する色信号を上記第2の補間手段により上記映像信号から再度補間処理させ充分でない補間が上記第2の補間手段により行われたときには上記欠落する色信号を上記第1の補間手段により上記映像信号から再度補間処理させる調整手段と、を具備したものである。
【0020】
さらに、第3の発明による撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて1つ以上欠落している映像信号を処理する撮像システムであって、上記欠落する色信号を第1の補間方法により上記映像信号から補間する第1の補間手段と、上記欠落する色信号を上記第1の補間方法とは異なる第2の補間方法により上記映像信号から補間する第2の補間手段と、上記映像信号と上記第1の補間手段により補間された色信号と上記第2の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段と、上記第1の補間手段により補間された色信号と上記第2の補間手段により補間された色信号との内のより補間精度が高い方の色信号を選択する選択手段と、を具備したものである。
【0021】
第4の発明による撮像システムは、上記第1から第3の発明による撮像システムにおいて、上記第1の補間手段または第2の補間手段が、上記映像信号から注目画素を中心とする所定サイズの領域を抽出する抽出手段と、上記領域内で注目画素から所定方向に関する複数のエッジ強度を抽出するエッジ抽出手段と、上記エッジ強度から正規化された重み係数を算出する重み算出手段と、上記領域内で注目画素から所定方向に関する複数の補間信号を算出する補間信号算出手段と、上記所定方向に関する複数の重み係数と上記所定方向に関する複数の補間信号とに基づいて注目画素における欠落する色信号を算出する演算手段と、を有して構成されたものである。
【0022】
第5の発明による撮像システムは、上記第1から第3の発明による撮像システムにおいて、上記第1の補間手段または第2の補間手段が、上記映像信号から注目画素を中心とする所定サイズの領域を抽出する抽出手段と、上記領域内で注目画素における欠落する色信号を線形補間またはキュービック補間によって算出する演算手段と、を有して構成されたものである。
【0023】
第6の発明による撮像システムは、上記第1から第3の発明による撮像システムにおいて、上記第1の補間手段または第2の補間手段が、上記映像信号から注目画素を中心とする所定サイズの領域を抽出する抽出手段と、上記領域内における各色信号間の相関関係を線形式として求める相関算出手段と、上記映像信号と上記相関関係とに基づいて欠落する色信号を算出する演算手段と、を有して構成されたものである。
【0024】
第7の発明による撮像システムは、上記第1から第3の発明による撮像システムにおいて、上記精度検証手段が、上記映像信号と上記第1の補間手段により補間された色信号とに基づいて所定領域毎に各色信号間の相関情報を求める相関算出手段と、上記相関情報に基づいて補間精度を検証する相関検証手段と、を有して構成されたものである。
【0025】
第8の発明による撮像システムは、上記第1から第3の発明による撮像システムにおいて、上記精度検証手段が、上記映像信号と上記第1の補間手段により補間された色信号とに基づいて画素毎に色相情報を求める色相算出手段と、上記色相情報に基づいて補間精度を検証する色相検証手段と、を有して構成されたものである。
【0026】
第9の発明による撮像システムは、上記第1から第3の発明による撮像システムにおいて、上記精度検証手段が、上記映像信号と上記第1の補間手段により補間された色信号とに基づいて所定領域毎にエッジ情報を求めるエッジ算出手段と、上記エッジ情報に基づいて補間精度を検証するエッジ検証手段と、を有して構成されたものである。
【0027】
第10の発明による撮像システムは、上記第2の発明による撮像システムにおいて、上記分離手段が、上記映像信号から所定領域毎にエッジ情報を求めるエッジ算出手段と、上記エッジ情報に基づいて上記映像信号の分離を行う映像信号分離手段と、を有して構成されたものである。
【0028】
第11の発明による撮像システムは、上記第2の発明による撮像システムにおいて、上記分離手段が、上記映像信号から所定領域毎に各色信号間の相関情報を求める相関算出手段と、上記相関情報に基づいて上記映像信号の分離を行う映像信号分離手段と、を有して構成されたものである。
【0029】
第12の発明による撮像システムは、上記第1の発明による撮像システムにおいて、上記精度検証手段の動作と上記第2の補間手段の動作とを停止させるように制御し得る制御手段をさらに具備したものである。
【0030】
第13の発明による撮像システムは、上記第2の発明による撮像システムにおいて、上記精度検証手段の動作と上記調整手段の動作とを停止させるように制御し得る制御手段をさらに具備したものである。
【0031】
第14の発明による撮像システムは、上記第3の発明による撮像システムにおいて、上記第2の補間手段の動作と上記精度検証手段の動作とを停止させるように制御し得るとともにこれらの動作を停止させるときには上記選択手段に対して上記第1の補間手段により補間された色信号のみを選択させるように制御する制御手段をさらに具備したものである。
【0032】
第15の発明による撮像システムは、上記第12から第14の発明による撮像システムにおいて、上記制御手段が、上記映像信号の画質に係る画質情報と当該撮像システムに設定されている撮影モード情報と手動により設定され得る補間処理の切り換え情報との内の少なくとも1つの情報を取得する情報取得手段と、上記画質情報と撮影モード情報と補間処理の切り換え情報との内の少なくとも1つの情報に基づいて上記動作を停止させるか否かを判断する判断手段と、を有して構成されたものである。
【0033】
第16の発明による画像処理プログラムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて1つ以上欠落している映像信号をコンピュータにより処理するための画像処理プログラムであって、コンピュータを、上記欠落する色信号を第1の補間方法により上記映像信号から補間する第1の補間手段、上記映像信号と上記第1の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段、上記補間精度が充分でないと判断された場合に上記欠落する色信号を上記第1の補間方法とは異なる第2の補間方法により上記映像信号から補間する第2の補間手段、として機能させるための画像処理プログラムである。
【0034】
第17の発明による画像処理プログラムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて1つ以上欠落している映像信号をコンピュータにより処理するための画像処理プログラムであって、コンピュータを、上記映像信号に係る所定の特性に基づいて該映像信号を第1の映像信号と第2の映像信号とに分離する分離手段、上記第1の映像信号から上記欠落する色信号を第1の補間方法により補間する第1の補間手段、上記第2の映像信号から上記欠落する色信号を上記第1の補間手段とは異なる第2の補間方法により補間する第2の補間手段、上記第1の映像信号の領域については該第1の映像信号と上記第1の補間手段により補間された色信号とに基づいて補間精度を検証し上記第2の映像信号の領域については該第2の映像信号と上記第2の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段、上記補間精度が充分でないと判断された場合に充分でない補間が上記第1の補間手段により行われたときには上記欠落する色信号を上記第2の補間手段により上記映像信号から再度補間処理させ充分でない補間が上記第2の補間手段により行われたときには上記欠落する色信号を上記第1の補間手段により上記映像信号から再度補間処理させる調整手段、として機能させるための画像処理プログラムである。
【0035】
第18の発明による画像処理プログラムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて1つ以上欠落している映像信号をコンピュータにより処理するための画像処理プログラムであって、コンピュータを、上記欠落する色信号を第1の補間方法により上記映像信号から補間する第1の補間手段、上記欠落する色信号を上記第1の補間方法とは異なる第2の補間方法により上記映像信号から補間する第2の補間手段、上記映像信号と上記第1の補間手段により補間された色信号と上記第2の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段、上記第1の補間手段により補間された色信号と上記第2の補間手段により補間された色信号との内のより補間精度が高い方の色信号を選択する選択手段、として機能させるための画像処理プログラムである。
【0036】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図1から図8は本発明の第1の実施形態を示したものであり、図1は撮像システムの構成を示すブロック図、図2はカラーフィルタの色配置を示す図、図3は第1補間部の構成を示すブロック図、図4はエッジ方向に基づく補間方法を説明するための図、図5は検証部の構成を示すブロック図、図6は色相関関係の線形式への回帰を説明するための図、図7は第2補間部の構成を示すブロック図、図8は画像処理プログラムによる補間処理を示すフローチャートである。
【0037】
この撮像システムは、図1に示すように、被写体像を結像するためのレンズ系1と、このレンズ系1内に配置されていて該レンズ系1における光束の通過範囲を規定するための絞り2と、上記レンズ系1による結像光束から不要な高周波成分を除去するためのローパスフィルタ3と、このローパスフィルタ3を介して結像される光学的な被写体像を光電変換して電気的な映像信号を出力する撮像素子たるCCD4と、このCCD4から出力されるアナログの映像信号をデジタル信号へ変換するA/D変換器5と、このA/D変換器5から出力されたデジタルの画像データを一時的に記憶する画像用バッファ6と、この画像用バッファ6に記憶された画像データに基づき被写体に関する測光評価を行いその評価結果に基づき上記絞り2とCCD4の制御を行う測光評価部7と、上記画像用バッファ6に記憶された画像データに基づき合焦点検出を行い検出結果に基づき後述するAFモータ9を駆動する合焦点検出部8と、この合焦点検出部8により制御されて上記レンズ系1に含まれるフォーカスレンズ等の駆動を行うAFモータ9と、上記画像用バッファ6に記憶された画像データに後で詳しく説明するようなエッジ方向に基づく欠落色信号の補間処理を行う第1の補間手段たる第1補間部10と、この第1補間部10を介して上記画像用バッファ6から転送される元の画像データと該第1補間部10により処理された欠落色に係る補間データとを一時的に記憶するとともに後述する第2補間部13により処理された欠落色に係る補間データを該第1補間部10により処理された欠落色に係る補間データに上書きして一時的に記憶する作業用バッファ11と、この作業用バッファ11に記憶された元の画像データおよび第1補間部10による補間データに基づいて単一の色相関関係が成立する領域を検証する精度検証手段たる検証部12と、この検証部12により単一の色相関関係が成立すると判断された領域について上記画像用バッファ6から元の画像データを読み込んで後で詳しく説明するような色相関に基づく欠落色信号の補間処理を行う第2の補間手段たる第2補間部13と、この第2補間部13による処理が終了した後に上記作業用バッファ11から出力される補間済みの画像データに公知の強調処理や圧縮処理などを行う信号処理部14と、この信号処理部14からの画像データを例えばメモリカード等に記録するために出力する出力部15と、電源スイッチ,シャッタボタン,各種の撮影モードや画質モードを切り替えるためモードスイッチ,補間処理を切り換えるための切換スイッチ等へのインターフェースを備えた情報取得手段たる外部I/F部17と、上記測光評価部7と合焦点検出部8とからデータを取得するとともに上記第1補間部10,検証部12,第2補間部13,信号処理部14,出力部15,外部I/F部17と双方向に接続されてこれらを含むこの撮像システムを統合的に制御するマイクロコンピュータ等でなる制御手段であって情報取得手段と判断手段とを兼ねた制御部16と、を有して構成されている。
【0038】
次に、図2を参照して、CCD4の前面に配置されているカラーフィルタの色配置について説明する。
【0039】
本実施形態においては、単板原色系のカラーフィルタを備えた撮像系を想定しており、例えば図2に示すような原色ベイヤー(Bayer)型のカラーフィルタが、上記CCD4の前面に配置されている。
【0040】
この原色ベイヤー(Bayer)型のカラーフィルタは、図2(A)に示すような、対角方向にG(緑)の画素が2つ配置され、それ以外の2画素にR(赤)とB(青)が各配置されている2×2画素の基本配置を備えており、この基本配置を上下方向および左右方向に2次元的に繰り返してCCD4上の各画素を覆うことにより、図2(B)に示すようなフィルタ配置にしたものとなっている。
【0041】
このように、単板原色系のカラーフィルタを備えた撮像系から得られる映像信号は、各画素の映像信号を構成するべき3色の色信号が、画素位置に応じて2つ欠落(すなわち、配置されるカラーフィルタ以外の色成分の2つが欠落)したものとなっている。
【0042】
続いて、上記図1に示したような撮像システムにおける信号の流れについて説明する。
【0043】
この撮像システムは、外部I/F部17を介して、圧縮率や画像サイズなどの画質モード、文字画像撮影や動画撮影などの撮影モード、補間処理の切り換えなどを使用者が設定することができるように構成されており、これらの設定がなされた後に、2段式の押しボタンスイッチでなるシャッタボタンを半押しすることにより、プリ撮影モードに入る。
【0044】
上記レンズ系1,絞り2,ローパスフィルタ3を介してCCD4により撮影され出力された映像信号は、A/D変換器5によりデジタル信号へ変換され、画像用バッファ6へ転送される。
【0045】
この画像用バッファ6内の映像信号は、その後に、測光評価部7と合焦点検出部8とへ転送される。
【0046】
測光評価部7は、画像中の輝度レベルを求めて、適正露光となるように絞り2による絞り値やCCD4の電子シャッタ速度などを制御する。
【0047】
また、合焦点検出部8は、画像中のエッジ強度を検出して、このエッジ強度が最大となるようにAFモータ9を制御し合焦画像を得る。
【0048】
このようなプリ撮影モードを行うことにより本撮影の準備が整ったところで、次に、シャッタボタンが全押しにされたことを外部I/F部17を介して検出すると、本撮影が行われる。
【0049】
この本撮影は、測光評価部7により求められた露光条件と合焦点検出部8により求められた合焦条件とに基づいて行われ、これらの撮影時の条件は制御部16へ転送される。
【0050】
こうして本撮影が行われると、映像信号が、プリ撮影のときと同様にして、画像用バッファ6へ転送され記憶される。
【0051】
第1補間部10は、制御部16の制御に基づいて、この画像用バッファ6内に記憶された本撮影に係る映像信号を読み出し、エッジ方向に基づく補間処理を行う。上述したように、本実施形態ではCCD4の前面に原色系のカラーフィルタが配置された単板式の撮像系を想定しているために、1つの画素について2つの色信号が欠落している。従って、この補間処理では、欠落した2つの色信号が生成されて、補間信号として出力されることになる。
【0052】
そして、第1補間部10は、この補間処理により得られた補間信号と、上記画像用バッファ6から読み出した原信号とを、作業用バッファ11へ転送する。こうして、作業用バッファ11に補間信号と原信号とが記憶されると、1つの画素についてRGBの三信号が揃った三板信号となる。
【0053】
次に、検証部12は、制御部16の制御に基づいて、この作業用バッファ11内に記憶された三板信号を、所定の局所領域(例えば5×5画素)を単位として順次読み込む。そして、検証部12は、局所領域における相関関係を線形式として回帰し、単一の色相関関係が成立するか否かを検証して、検証結果を第2補間部13へ転送する。
【0054】
第2補間部13は、制御部16の制御に基づいて、検証部12で単一の色相関が成立すると判断された局所領域に対応する原信号を画像用バッファ6から読み込み、色相関に基づく補間処理を行う。
【0055】
この第2補間部13による補間信号は、作業用バッファ11へ転送されて、上記第1補間部10による補間結果に上書きされるように記録される。これにより、検証部12によって単一の色相関が成立すると判断された局所領域については、第2補間部13による補間信号に置き換えられることになる。
【0056】
制御部16は、検証部12による検証と、この検証結果に応じて必要なときにのみ行われる第2補間部13による補間と、が作業用バッファ11内の全信号に対して完了した後に、該作業用バッファ11内の三板信号を信号処理部14へ転送するように制御する。
【0057】
信号処理部14は、制御部16の制御に基づいて、補間処理後の映像信号に対して、公知の強調処理や圧縮処理などを行い、出力部15へ転送する。
【0058】
出力部15は、この信号処理部14からの画像データを例えばメモリカード等に記録するために出力する。
【0059】
次に図3を参照して、上記第1補間部10の構成の一例について説明する。
【0060】
この第1補間部10は、上記画像用バッファ6に記憶された画像データから所定サイズの領域を順次抽出する抽出手段たる抽出部21と、この抽出部21により抽出された領域の画像データを記憶する領域バッファ22と、この領域バッファ22に記憶された領域のエッジ成分を算出するエッジ抽出手段たるエッジ抽出部23と、このエッジ抽出部23により算出されたエッジ成分を正規化して重み係数を算出する重み算出手段たる重み算出部24と、この重み算出部24により算出された重み係数を記憶する重みバッファ25と、上記領域バッファ22に記憶された領域の着目画素に対して補間信号としての色差成分を算出する補間信号算出手段たる補間部26と、この補間部26により算出された色差成分を記憶する補間値バッファ27と、この補間値バッファ27に記憶された色差成分と上記重みバッファ25に記憶された重み係数とから着目画素位置における欠落色成分を算出して上記領域バッファ22と作業用バッファ11とへ出力する演算手段たる演算部28と、を有して構成されている。
【0061】
なお、演算部28により1つの色に係る欠落成分が算出されると、この算出された欠落色成分を用いて他の色に係る欠落成分の補間を行うために、該演算部28による算出結果は上記領域バッファ22にも記憶されるようになっている。
【0062】
また、上記制御部16は、上記抽出部21、エッジ抽出部23、重み算出部24、補間部26、演算部28に対して双方向に接続されており、これらを制御するようになっている。
【0063】
このような第1補間部10の作用について、図4を参照しながら説明する。
【0064】
抽出部21は、制御部16の制御に基づいて、画像用バッファ6から所定サイズ(例えば6×6画素サイズ)の領域を順次抽出し、領域バッファ22へ転送する。
【0065】
図4(A)は、この抽出部21により抽出された6×6画素サイズの領域と、各画素位置における色信号Sij(S=R,G,B、X方向(横方向)の座標i=0〜5、Y方向(縦方向)の座標j=0〜5)と、を示している。
【0066】
第1補間部10は、このような6×6画素サイズの領域を用いて、中央部の2×2画素位置の補間処理を行うようになっており、この図4に示す例では、R22位置の欠落成分G22,B22と、G32位置の欠落成分R32,B32と、G23位置の欠落成分R23,B23と、B33位置の欠落成分R33,G33と、を算出する。
【0067】
補間処理が中央部の2×2画素位置で行われるために、抽出部21が6×6画素サイズの領域を抽出する際には、X方向位置またはY方向位置を2画素ずつずらして、X方向またはY方向にそれぞれ4画素ずつ重複するようにしながら、順次抽出を行っていくことになる。
【0068】
エッジ抽出部23と補間部26とは、制御部16の制御に基づいて、R22位置の欠落成分G22と、B33位置の欠落成分G33と、に関する補間処理を先行して行う。
【0069】
エッジ抽出部23は、まずR22画素に対して、図4(B)に示すような周辺画素の値を用い、その上下左右の4方向のエッジ成分を次の数式1に示すように算出して、重み算出部24へ転送する。
【数1】
E上=|R22−R20|+|G21−G23|
E下=|R22−R24|+|G21−G23|
E左=|R22−R02|+|G12−G32|
E右=|R22−R42|+|G12−G32|
【0070】
重み算出部24は、これら4方向のエッジ成分の総和totalを次の数式2に示すように求めて、
【数2】
total=E上+E下+E左+E右
上記エッジ抽出部23により算出された4方向のエッジ成分を、次の数式3に示すように、この総和totalで除算して正規化された重み係数を算出し、重みバッファ25へ転送して記憶させる。
【数3】
W上=E上/total
W下=E下/total
W左=E左/total
W右=E右/total
【0071】
一方、補間部26は、R22画素に対して、その上下左右の4方向の色差成分を次の数式4に示すように補間し、補間値バッファ27へ転送して記憶させる。
【数4】
Cr上=G21−(R22+R20)/2
Cr下=G23−(R22+R24)/2
Cr左=G12−(R22+R02)/2
Cr右=G32−(R22+R42)/2
【0072】
演算部28は、制御部16の制御に基づいて、重みバッファ25に記憶された重み係数と、補間値バッファ27に記憶された補間値(色差成分)とを用いて、R22位置において欠落する緑成分G22を次の数式5に示すように算出し、領域バッファ22と作業用バッファ11とへ転送して記憶させる。
【数5】
G22=R22+ΣCrk ・Wk (k =上,下,左,右)
【0073】
次に、このR22位置のG22を求めるのと同様にして、B33位置のG33を、図4(C)に示すような周辺画素の値を用いて算出し、領域バッファ22と作業用バッファ11とへ転送して記憶させる。
【0074】
このG33を算出する際の上記数式1〜数式5に各相当する数式6〜数式10は、次のようになっている。
【数6】
E上=|B33−B31|+|G32−G34|
E下=|B33−B35|+|G32−G34|
E左=|B33−B13|+|G23−G43|
E右=|B33−B53|+|G23−G43|
【数7】
total=E上+E下+E左+E右
【数8】
W上=E上/total
W下=E下/total
W左=E左/total
W右=E右/total
【数9】
Cb上=G32−(B33+B31)/2
Cb下=G34−(B33+B35)/2
Cb左=G23−(B33+B13)/2
Cb右=G43−(B33+B53)/2
【数10】
G33=B33+ΣCbk ・Wk (k =上,下,左,右)
【0075】
このG33を算出する際の上記G22との差異は、上記G22の場合は4方向の色差成分がCr成分(G−R)となっているのに対して、該G33の場合はCb成分(G−B)となっている点である。
【0076】
上述したようなG信号に対する補間処理が、6×6画素サイズの領域を順次抽出することによって、画像用バッファ6上の全信号に対して行われ、領域バッファ22と作業用バッファ11とには、補間された全G信号が記憶される。
【0077】
次に、制御部16は、再度6×6画素サイズの領域を順次抽出して、エッジ抽出部23と補間部26とに対して、G32位置の欠落成分R32,B32と、G23位置の欠落成分R23,B23と、R22位置の残りの欠落成分B22と、B33位置の残りの欠落成分R33と、の補間処理を図4(D)〜図4(G)に示すように行わせる。これらの補間処理を行う際には、上述したように算出したG信号も用いて、処理が行われる。
【0078】
図4(D)は、G23位置のR23,B23を補間する際に用いる周辺画素の様子を示す図である。
【0079】
まず、R23を算出する際の上記数式1〜数式5に各相当する数式11〜数式15は、次のようになっている。
【数11】
E上左=|G23−G02|
E上中=|G23−G22|
E上右=|G23−G42|
E下左=|G23−G04|
E下中=|G23−G24|
E下右=|G23−G44|
【数12】
total=E上左+E上中+E上右+E下左+E下中+E下右
【数13】
W上左=E上左/total
W上中=E上中/total
W上右=E上右/total
W下左=E下左/total
W下中=E下中/total
W下右=E下右/total
【数14】
Cr上左=G02−R02
Cr上中=G22−R22
Cr上右=G42−R42
Cr下左=G04−R04
Cr下中=G24−R24
Cr下右=G44−R44
【数15】
R23=G23−ΣCrk ・Wk
(k =上左,上中,上右,下左,下中,下右)
【0080】
また、B23を算出する際の上記数式1〜数式5に各相当する数式16〜数式20は、次のようになっている。
【数16】
E上左=|G23−G11|
E上右=|G23−G31|
E中左=|G23−G13|
E中右=|G23−G33|
E下左=|G23−G15|
E下右=|G23−G35|
【数17】
total=E上左+E上右+E中左+E中右+E下左+E下右
【数18】
W上左=E上左/total
W上右=E上右/total
W中左=E中左/total
W中右=E中右/total
W下左=E下左/total
W下右=E下右/total
【数19】
Cb上左=G11−B11
Cb上右=G31−B31
Cb中左=G13−B13
Cb中右=G33−B33
Cb下左=G15−B15
Cb下右=G35−B35
【数20】
B23=G23−ΣCbk ・Wk
(k =上左,上右,中左,中右,下左,下右)
【0081】
次に、図4(E)は、G32位置のR32,B32を補間する際に用いる周辺画素の様子を示す図である。
【0082】
R32を算出する際の上記数式1〜数式5に各相当する数式21〜数式25は、次のようになっている。
【数21】
E上左=|G32−G20|
E上右=|G32−G40|
E中左=|G32−G22|
E中右=|G32−G42|
E下左=|G32−G24|
E下右=|G32−G44|
【数22】
total=E上左+E上右+E中左+E中右+E下左+E下右
【数23】
W上左=E上左/total
W上右=E上右/total
W中左=E中左/total
W中右=E中右/total
W下左=E下左/total
W下右=E下右/total
【数24】
Cr上左=G20−R20
Cr上右=G40−R40
Cr中左=G22−R22
Cr中右=G42−R42
Cr下左=G24−R24
Cr下右=G44−R44
【数25】
R32=G32−ΣCrk ・Wk
(k =上左,上右,中左,中右,下左,下右)
【0083】
また、B32を算出する際の上記数式1〜数式5に各相当する数式26〜数式30は、次のようになっている。
【数26】
E上左=|G32−G11|
E上中=|G32−G31|
E上右=|G32−G51|
E下左=|G32−G13|
E下中=|G32−G33|
E下右=|G32−G53|
【数27】
total=E上左+E上中+E上右+E下左+E下中+E下右
【数28】
W上左=E上左/total
W上中=E上中/total
W上右=E上右/total
W下左=E下左/total
W下中=E下中/total
W下右=E下右/total
【数29】
Cb上左=G11−B11
Cb上中=G31−B31
Cb上右=G51−B51
Cb下左=G13−B13
Cb下中=G33−B33
Cb下右=G53−B53
【数30】
B32=G32−ΣCbk ・Wk
(k =上左,上中,上右,下左,下中,下右)
【0084】
このように、G23位置の欠落成分R23,B23と、G32位置の欠落成分R32,B32と、を補間する際には、6方向の重み係数と補間値(色差成分)とを用いている。
【0085】
次に、図4(F)は、R22位置のB22を補間する際に用いる周辺画素の様子を示す図である。
【0086】
B22を算出する際の上記数式1〜数式5に各相当する数式31〜数式35は、次のようになっている。
【数31】
E上左=|G22−G11|
E上右=|G22−G31|
E下左=|G22−G13|
E下右=|G22−G33|
【数32】
total=E上左+E上右+E下左+E下右
【数33】
W上左=E上左/total
W上右=E上右/total
W下左=E下左/total
W下右=E下右/total
【数34】
Cb上左=G11−B11
Cb上右=G31−B31
Cb下左=G13−B13
Cb下右=G33−B33
【数35】
B22=G22−ΣCbk ・Wk (k =上左,上右,下左,下右)
【0087】
次に、図4(G)は、B33位置のR33を補間する際に用いる周辺画素の様子を示す図である。
【0088】
R33を算出する際の上記数式1〜数式5に各相当する数式36〜数式40は、次のようになっている。
【数36】
E上左=|G33−G22|
E上右=|G33−G42|
E下左=|G33−G24|
E下右=|G33−G44|
【数37】
total=E上左+E上右+E下左+E下右
【数38】
W上左=E上左/total
W上右=E上右/total
W下左=E下左/total
W下右=E下右/total
【数39】
Cr上左=G22−R22
Cr上右=G42−R42
Cr下左=G24−R24
Cr下右=G44−R44
【数40】
R33=G33−ΣCrk ・Wk (k =上左,上右,下左,下右)
【0089】
次に、図5を参照して、検証部12の構成の一例について説明する。
【0090】
この検証部12は、上記作業用バッファ11に記憶された三板状態の画像データから所定サイズの領域を順次抽出する抽出手段たる抽出部31と、この抽出部31により抽出された領域の画像データを記憶する領域バッファ32と、この領域バッファ32に記憶された領域の色相関を示す線形式を算出する相関算出手段たる相関算出部33と、この相関算出部33により算出された線形式における、単一の色相領域であるか否かを判別するためのバイアス項を記憶する係数用バッファ34と、この係数用バッファ34に記憶されたバイアス項の絶対値を所定の閾値と比較して閾値以下である場合に対応する領域の位置情報を第2補間部13へ転送する相関検証手段たる相関検証部35と、を有して構成されている。
【0091】
上記制御部16は、上記抽出部31、相関算出部33、相関検証部35に対して双方向に接続されており、これらを制御するようになっている。
【0092】
このような検証部12の作用について、図6を参照しながら説明する。
【0093】
抽出部31は、制御部16の制御に基づいて、作業用バッファ11から所定サイズの領域(例えば5×5画素サイズの領域)を順次抽出し、領域バッファ32へ転送する。
【0094】
相関算出部33は、制御部16の制御に基づいて、領域バッファ32に記憶された領域に対し、RGB信号間の相関関係を公知の最小自乗近似に基づいて線形式に回帰する。
【0095】
すなわち、RGBの3信号をS(S=R,G,B)により表記したときに、2つの色信号SとS’(S≠S’)の間に線形な色相関が成立する場合には、次の数式41に示すような線形式、
【数41】
S’=αS+β
に回帰される。
【0096】
図6(A)は単一の色相で構成される入力画像を示し、図6(B)はこの単一の色相で構成される入力画像に対するR−G信号間での色相関関係の線形式への回帰を示している。また、G−B信号間での色相関関係の線形式への回帰と、R−Bの信号間での色相関関係の線形式への回帰と、の何れの場合も、この図6(B)に示したのと同様に行われる。
【0097】
図6(B)に示すように、入力画像が単一の色相で構成される場合には、数式41のバイアス項βは0近傍の値をとる。
【0098】
これに対して、入力画像が例えば図6(C)に示すような複数の色相(図示の例では第1の色相の領域Aと第2の色相の領域Bとの2つ)で構成される場合には、図6(D)に示すように、色相関関係を示す線形式も複数必要となり、これを一つの線形式に回帰すると、バイアス項βは0近傍の値から外れることになる。
【0099】
従って、入力画像を一つの線形式に回帰した後に、そのバイアス項βを調べることにより、該入力画像(ここでは入力した領域)が単一の色相で構成されるか否かを判別することができる。
【0100】
このような原理に基づいて、上記相関算出部33は、数式41に示したバイアス項βを求め、求めたバイアス項βを係数用バッファ34へ転送する。
【0101】
相関検証部35は、係数用バッファ34に記憶されているバイアス項βの絶対値と所定の閾値とを比較して、バイアス項βの絶対値が閾値以下となる場合には、対応する領域の位置情報を第2補間部13へ転送する。その後に、相関検証部35が、第2補間部13での補間処理が完了した旨の情報を制御部16から受けると、次の領域へ移行して上述したような処理を行う。
【0102】
一方、バイアス項βの絶対値が閾値以上である場合には、相関検証部35は、第2補間部13へ何も転送をすることなく、次の領域へ移行して上述したような処理を行う。
【0103】
検証部12は、このような処理を、領域を順次移行させながら、作業用バッファ11上の全信号に対して行う。
【0104】
続いて、図7を参照して、第2補間部13の構成の一例について説明する。
【0105】
この第2補間部13は、上記画像用バッファ6に記憶された画像データの内の上記検証部12により単一の色相領域と判断された所定サイズの領域を順次抽出する抽出手段たる抽出部41と、この抽出部41により抽出された領域の画像データを記憶する領域バッファ42と、この領域バッファ42に記憶された領域の色相関を示す線形式を算出する相関算出部43と、この相関算出部43により算出された線形式を用いて上記領域バッファ42に記憶されている原信号から欠落する色信号を算出し上記作業用バッファ11に出力する演算部44と、を有して構成されている。
【0106】
上記制御部16は、上記抽出部41、相関算出部43、演算部44に対して双方向に接続されており、これらを制御するようになっている。
【0107】
次に、このような第2補間部13の作用について説明する。
【0108】
抽出部41は、制御部16の制御に基づいて検証部12から単一の色相領域と判断される領域の位置情報が転送された場合に、画像用バッファ6からその領域を抽出して領域バッファ42へ転送する。
【0109】
相関算出部43は、制御部16の制御に基づいて、領域バッファ42上の単板状態の原信号から相関関係を線形式として回帰する。
【0110】
すなわち、RGBの3信号をS(S=R,G,B)により表記し、対象とする領域におけるS信号の平均をAV_S、分散をVar_Sとする。2つの色信号SとS’(S≠S’)の間に線形な色相関が成立する場合には、次の数式42に示すような線形式、
【数42】
S’=(Var_S’/Var_S)×(S−AV_S)+AV_S’
に回帰される。
【0111】
相関算出部43は、この数式42に示すような線形式を、R−G,G−B,R−Bの各信号間において求めて、その結果を演算部44へ転送する。
【0112】
演算部44は、数式42に示したような線形式と、領域バッファ42上の原信号とに基づいて、欠落する色信号を算出して作業用バッファ11へ転送する。
【0113】
このとき、上述したように第1補間部10によって得られて作業用バッファ11に記憶されている補間値は、この第2補間部13によって得られた補間値により上書きされることになる。
【0114】
演算部44は、領域内における欠落した色信号を全て算出した後に、処理が完了した旨を制御部16へ通知する。
【0115】
なお、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、例えば、CCD4からの信号を未処理のままのロー(Raw)データとして、フィルタ情報や画像サイズなどをヘッダ情報として付加した後に出力し、外部のコンピュータ等において別途のソフトウェアである画像処理プログラムにより処理することも可能である。
【0116】
図8を参照して、画像処理プログラムによる補間処理について説明する。
【0117】
処理を開始すると、まず、Rawデータでなる原信号と、ヘッダ情報と、を読み込んで(ステップS1)、原信号を所定サイズのブロック領域を単位として抽出する(ステップS2)。
【0118】
そして、抽出された領域について、上記数式1等に示したようにして各方向別のエッジ成分を算出し(ステップS3)、上記数式2、数式3等に示したように各方向別の重み係数を算出する(ステップS4)。
【0119】
その一方で、抽出された領域について、上記数式4等に示したように各方向別の色差信号の補間値を求める(ステップS5)。
【0120】
続いて、上記ステップS4において求めた重み係数と上記ステップS5において求めた補間値とに基づいて、上記数式5等に示したようにG信号を算出して出力する(ステップS6)。
【0121】
このような処理が全信号に対応して抽出される全てのブロック領域で完了したか否かを判断し(ステップS7)、完了していない場合は上記ステップS2へ戻って、次のブロック領域について上述したような処理を繰り返して行う。
【0122】
一方、全信号に対応するブロック領域についての処理が完了している場合には、原信号と上記ステップS6において出力されたG信号とを、所定サイズのブロック領域を単位として抽出する(ステップS8)。
【0123】
そして、抽出された領域について、各方向別のエッジ成分を算出し(ステップS9)、各方向別の重み係数を算出する(ステップS10)。
【0124】
その一方で、上記ステップS8において抽出された領域について、各方向別の色差信号の補間値を求める(ステップS11)。
【0125】
続いて、上記ステップS10において求めた重み係数と、上記ステップS11において求めた補間値とに基づいて、欠落しているR信号およびB信号を上述と同様に算出し出力する(ステップS12)。
【0126】
このような処理が全信号に対応して抽出される全てのブロック領域で完了したか否かを判断し(ステップS13)、完了していない場合には上記ステップS8へ戻って、次のブロック領域について上述したような処理を繰り返して行う。
【0127】
一方、全信号に対応するブロック領域についての処理が完了している場合には、上記ステップS6および上記ステップS12において出力された第1補間信号を所定サイズのブロック領域単位で抽出して(ステップS14)、色信号間の相関関係を示す線形式を、上記数式41に示したように求める(ステップS15)。
【0128】
このステップS15により得られた線形式のバイアス項の絶対値と所定の閾値Thとを比較して(ステップS16)、バイアス項が閾値Th以下である場合には、原信号を所定サイズのブロック領域単位で抽出し(ステップS17)、色信号間の相関関係を示す線形式を、上記数式42に示したように求めて(ステップS18)、この線形式に基づいて欠落する色信号を算出して出力する(ステップS19)。この出力は、上記ステップS6で出力されたG信号と上記ステップS12で出力されたR,B信号とを上書きすることになる。
【0129】
一方、上記ステップS16において、バイアス項が閾値Thよりも大きい場合、または、上記ステップS19の処理が終了した場合には、全信号に対して抽出される全てのブロック領域での処理が完了したか否かを判断して(ステップS20)、完了していない場合は上記ステップS14へ戻って、次のブロック領域について上述したような処理を繰り返して行う。
【0130】
また、全てのブロック領域での処理が完了している場合には、補間信号を出力してから(ステップS21)、この処理を終了する。
【0131】
なお、上述では第1補間処理と第2補間処理とを必ず組み合わせて処理を行っているが、これに限定されるものではない。例えば、外部I/F部17を介して、高精細な補間処理を必要としない高圧縮率の画質モードが選択された場合や、あるいは高速処理が必要とされる動画撮影などの撮影モードが選択された場合には、第2補間処理を行うことなく第1補間処理のみを行うようにすることも可能である。この場合には、検証部12の動作を停止させて、第2補間部13へ信号が転送されないように、制御部16が制御すればよい。制御部16が第2補間処理を行うか否かを判断する際には、圧縮率や画像サイズなどの映像信号の画質に係る画質情報と、文字画像撮影や動画撮影などのこの撮像システムに設定されている撮影モード情報と、使用者により手動で設定され得る補間処理の切り換え情報と、の内の少なくとも1つの情報を取得して、これらの情報の何れか1以上に基づいて判断を行う。
【0132】
また、上述では原色ベイヤー(Bayer)型の単板CCDを例にとって説明したが、これに限定されるものでもない。例えば、補色フィルタを備えた単板CCDについても同様に適用可能であるし、二板式の撮像系や、画素ずらしが行われた三板式の撮像系についても適用可能である。
【0133】
このとき、映像信号を構成するべき色信号の数として3色を例に挙げているが、これに限らず、より高精度な色再現を行うシステムに採用されるような例えば6色であっても構わないし、広くは2色以上の所定数であれば良い。ただし、メタメリズムによって通常のカラー画像として認識される画像を得るためには、複数である所定数が3、またはそれ以上となる必要があることは公知の通りである。
【0134】
このような第1の実施形態によれば、エッジ方向に基づいて補間処理を行う第1補間処理と、色相関に基づいて補間処理を行う第2補間処理と、を適応的に切り換えることができるために、高精度な補間処理を行うことが可能となる。
【0135】
また、補間処理の切り換えを、原信号と第1補間信号との両方を用いた欠落する色信号のない三板状態の信号で行っているために、高精度かつ高速な切り換え処理を行うことが可能となる。
【0136】
そして、エッジ方向に基づいて補間処理を行うことにより、単一なエッジ構造からなる領域で高精度な補間処理を行うことが可能となる。また、色相関に基づいて補間処理を行うことにより、単一な色相からなる領域で高精度な補間処理を行うことが可能となる。
【0137】
さらに、三板状態の信号から相関関係を求めているために、高精度な精度検証を行うことが可能となる。この相関関係は、色相関を使用する補間方法との親和性が高く、色相関を使用する補間方法とそれ以外の補間方法とを切り換え制御するのに適している。
【0138】
また、必要に応じて第2の補間処理および精度検証処理を停止させて、第1の補間処理のみ行うことにより、処理時間を短縮し、消費電力を低減することが可能となる。このとき、高圧縮であるために高精度な補間を必要としない場合や、動画撮影などで高速な処理が優先される場合などの情報を得るようにしたために、再度の補間処理を行うか否かの制御を自動化することができ、操作性が向上する。また、使用者の意図に基づいて手動により補間処理を切り換えることが可能となるために、処理に関する自由度が向上する。
【0139】
こうして、このような撮像システムによれば、複数の補間手段を適応的に組み合わせているために、高精度な補間処理が可能となる。また、複数の補間手段の切り換え制御に原信号と補間された色信号との両方を組み合わせて使用しているために、高精度かつ高速な切り換えが可能となる。
【0140】
図9から図15は本発明の第2の実施形態を示したものであり、図9は撮像システムの構成を示すブロック図、図10は分離部の一構成例と他の構成例とを示すブロック図、図11はエッジ抽出を説明するための図、図12は第1補間部の構成を示すブロック図、図13は検証部の構成を示すブロック図、図14は色相クラスを説明するための表図、図15は画像処理プログラムによる補間処理を示すフローチャートである。
【0141】
この第2の実施形態において、上述の第1の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0142】
この第2の実施形態における撮像システムは、図9に示すように、上述した第1の実施形態の構成に、分離手段たる分離部51と調整手段たる調整部52とを追加した構成となっている。
【0143】
分離部51は、上記画像用バッファ6から所定の局所領域の映像信号(原信号)を読み込んで、映像信号に係る所定の特性として、平坦領域であるかエッジ領域であるかを判断し、平坦領域である場合には該局所領域の映像信号を上記第1補間部10へ、エッジ領域である場合には該局所領域の映像信号を第2補間部13へ、それぞれ出力するものである。この分離部51は、平坦領域であるかエッジ領域であるかの領域情報を、さらに調整部52にも出力するようになっている。
【0144】
調整部52は、分離部51からの領域情報と、検証部12からの該局所領域が単一色相であるかまたは複数色相領域であるかの色相情報と、に基づいて、作業用バッファ11に既に記憶されている補間信号を、第1補間部10または第2補間部13に再度補間させて得られる補間信号により置き換えるか否かを調整するものである。
【0145】
従って、検証部12は、この第2の実施形態においては、検証した色相情報を第2補間部13ではなく調整部52へ出力するものとなっている。
【0146】
また、作業用バッファ11は、補間信号を検証部12へ出力するだけでなく、調整部52へも出力するものとなっている。
【0147】
そして、第1補間部10は、後で図12を参照して説明するように、R信号とB信号については線形補間を行い、G信号についてはキュービック補間を行うものとなっており、また、検証部12は、抽出した領域において画素単位で色相クラスに分類し、その分布状況に基づいて、単一の色相領域であるかまたは複数の色相領域であるかを判断するものとなっている。
【0148】
なお、制御部16は、この第2の実施形態において追加された分離部51と調整部52とに対しても双方向に接続されており、これらを制御するようになっている。
【0149】
その他の部分の基本的な構成については、上述した第1の実施形態とほぼ同様である。
【0150】
このような撮像システムの作用は、基本的に第1の実施形態と同様であるために、主として異なる部分についてのみ、図9を参照して信号の流れに沿って説明する。
【0151】
画像用バッファ6に記憶されている映像信号は、制御部16の制御に基づいて、所定の局所領域(例えば8×8画素)を単位として分離部51へ順次転送される。
【0152】
分離部51は、転送された8×8画素の領域中における中心の2×2画素に関して、複数の所定方向に関するエッジ成分を算出する。そして、分離部51は、算出したエッジ成分を所定の閾値と比較して、閾値以上の有効なエッジ成分の総数をカウントし、この総数に基づいて平坦領域であるかまたはエッジ領域であるかを判断する。そして、分離部51は、平坦領域であると判断した場合には、8×8画素の局所領域を第1補間部10へ転送し、一方、エッジ領域であると判断した場合には、8×8画素の局所領域を第2補間部13へ転送する。
【0153】
さらに、分離部51は、平坦領域であるかまたはエッジ領域であるかを示す領域情報を、8×8画素領域における中心の2×2画素単位で全ての領域に関して取得し、調整部52へ転送する。
【0154】
第1補間部10は、中心の2×2画素に関し、上述したように、R,B信号に対しては公知の線形補間処理を、G信号に対しては公知のキュービック補間処理を、それぞれ行って、欠落する色信号を算出する。そして、第1補間部10は、算出した補間信号と原信号とを作業用バッファ11へ出力する。
【0155】
一方、第2補間部13は、上述した第1の実施形態と同様に、中心の2×2画素に対して色相関に基づく補間処理を行い、算出した補間信号と原信号とを作業用バッファ11へ出力する。
【0156】
このような補間処理が全信号に対して完了した後に、制御部16は、作業用バッファ11に記憶された三板信号を、所定の局所領域(例えば8×8画素)を単位として検証部12へ順次転送させる。
【0157】
検証部12は、局所領域内の画素毎に色相を選択して、13種類の色相クラス(図14参照)の何れかへ分類する。そして、検証部12は、画素単位で求められた色相クラスの分布状況に基づいて、該局所領域が単一の色相領域であるかまたは複数の色相領域であるかを判断し、求めた色相情報を調整部52へ転送する。
【0158】
調整部52は、分離部51からの平坦領域であるかまたはエッジ領域であるかを示す領域情報と、検証部12からの局所領域が単一色相であるかまたは複数色相領域であるかを示す色相情報と、に基づいて、再度補間処理を行うか否かを調整する。
【0159】
すなわち、調整部52は、「平坦領域かつ複数色相領域」である場合と、「エッジ領域かつ単一色相領域」である場合と、については再度の補間処理を行うことなくそのままとし、一方、「平坦領域かつ単一色相領域」である場合と、「エッジ領域かつ複数色相領域」である場合と、については再度の補間処理を行うように調整する。
【0160】
再度の補間処理を行う場合における「平坦領域かつ単一色相領域」は、最初の補間処理において第1補間部10による補間が行われた領域である。このときには、調整部52は、作業用バッファ11から該当する領域の原信号を抽出して、これを第2補間部13へ転送し、色相関に基づいて補間処理を行なわせる。
【0161】
一方、再度の補間処理を行う場合における「エッジ領域かつ複数色相領域」は、最初の補間処理において第2補間部13による補間が行われた領域である。このときには、調整部52は、作業用バッファ11から該当する領域の原信号を抽出して、これを第1補間部10へ転送し、線形補間処理またはキュービック補間処理により補間を行わせる。
【0162】
これらの2回目の補間処理により生成された補間信号は、作業用バッファ11へ出力されて、該当する領域の1回目の補間処理により生成された補間信号に対し、上書きされる。
【0163】
制御部16は、検証部12における検証と、調整部52における調整作業と、が作業用バッファ11内の全信号に対して完了した後に、信号処理部14へ三板信号を転送するように制御する。
【0164】
次に図10(A)を参照して、分離部51の構成の一例について説明する。
【0165】
この例に示す分離部51は、上記画像用バッファ6に記憶された画像データから所定サイズの領域を順次抽出する抽出手段たる抽出部61と、この抽出部61により抽出された領域の画像データを記憶する領域バッファ62と、この領域バッファ62に記憶された領域のエッジ成分を算出するエッジ算出手段たるエッジ抽出部63と、このエッジ抽出部63により算出されたエッジ成分を所定の閾値と比較して該閾値以上となる有効エッジ成分の総数をカウントし該総数が領域全体の数の半数以上である場合にはエッジ領域であると判断し半数未満の場合には平坦領域であると判断して判断結果を上記調整部52に出力するとともに後述する転送部65へ出力する映像信号分離手段たる映像信号分離部64と、この映像信号分離部64による判断が平坦領域である場合には上記第1補間部10へまたエッジ領域である場合には上記第2の補間部13へ上記領域バッファ62からの原信号を転送する映像信号分離手段たる転送部65と、を有して構成されている。
【0166】
また、制御部16は、上記抽出部61、エッジ抽出部63、映像信号分離部64、転送部65に対して双方向に接続されており、これらを制御するようになっている。
【0167】
次に、このような分離部51の作用について説明する。
【0168】
抽出部61は、制御部16の制御に基づいて、画像用バッファ6から所定サイズ(例えば8×8画素)のブロック領域を単位として順次抽出し、領域バッファ62へ転送する。
【0169】
後段におけるエッジ抽出処理が各領域の中央部の2×2画素位置で行われるために、抽出部61が8×8画素サイズの領域を抽出する際には、X方向位置またはY方向位置を2画素ずつずらして、X方向またはY方向にそれぞれ6画素ずつ重複するようにしながら、順次抽出を行っていくことになる。
【0170】
エッジ抽出部63は、制御部16の制御に基づいて、領域バッファ62に記憶されている原信号でなる領域の中央部の2×2画素について、RGBの各信号別にエッジ成分を算出する。
【0171】
図11を参照して、エッジ抽出部63によるエッジ成分の算出方法について説明する。
【0172】
R信号とB信号に関しては上下左右の4方向、G信号に関しては斜め45度の4方向、について差分の絶対値をとることにより、エッジ成分の算出を行う。
【0173】
まず、R信号については、図11(A)に示すように、着目画素に対して1画素間をおいて上下左右に離れた各信号R0 ,R3 ,R1 ,R2 との差分の絶対値を、次の数式43に示すようにとる。
【数43】
E0 =|R−R0 |
E1 =|R−R1 |
E2 =|R−R2 |
E3 =|R−R3 |
【0174】
また、G信号については、図11(B)に示すように、着目画素に対して左上、右上、左下、右下に位置する各信号G0 ,G1 ,G2 ,G3 との差分の絶対値を次の数式44に示すようにとる。
【数44】
E0 =|G−G0 |
E1 =|G−G1 |
E2 =|G−G2 |
E3 =|G−G3 |
【0175】
さらに、B信号については、図11(C)に示すように、着目画素に対して1画素間をおいて上下左右に離れた各信号B0 ,B3 ,B1 ,B2 との差分の絶対値を次の数式45に示すようにとる。
【数45】
E0 =|B−B0 |
E1 =|B−B1 |
E2 =|B−B2 |
E3 =|B−B3 |
【0176】
このようにして、中央部の2×2画素、つまり4画素に対して、各々4方向のエッジ成分の算出を行っているために、求められるエッジ成分は合計16種類となる。
【0177】
こうしてエッジ抽出部63により求められたエッジ成分は、映像信号分離部64へ転送される。
【0178】
映像信号分離部64は、受け取ったエッジ成分を所定の閾値、例えば上記A/D変換器5の出力幅が12bitである場合には256、と比較して、この閾値以上となるエッジ成分を有効エッジ成分であるとする。
【0179】
この有効エッジ成分の数の合計が全体の過半数である場合、つまり上述したような例においてはエッジ成分の総数が16であるために有効エッジ成分の数の合計が8以上である場合に、該領域がエッジ領域であると判断する。これに対して、有効エッジ成分の数の合計が全体の過半数に満たない場合(つまり7以下である場合)には、平坦領域であると判断する。
【0180】
この映像信号分離部64による判断結果は、調整部52へ転送されるとともに、転送部65へ転送される。
【0181】
転送部65は、映像信号分離部64から送られてきた判断結果が平坦領域であることを示すものである場合には、上記領域バッファ62からの原信号を第1補間部10へ転送し、一方、エッジ領域であることを示すものである場合には、第2補間部13へ転送する。
【0182】
制御部16は、上述したような処理を画像用バッファ6上の全ての原信号に対して行うように分離部51を制御する。
【0183】
次に、図12を参照して、第1補間部10の構成の一例について説明する。
【0184】
この第1補間部10は、上記分離部51からの映像信号における所定サイズの領域を順次抽出する抽出手段たる抽出部71と、この抽出部71により抽出された領域の画像データを記憶する領域バッファ72と、この領域バッファ72に記憶された領域について欠落するR信号とB信号とを公知の線形補間により補間し上記作業用バッファ11に出力する演算手段たるRB線形補間部73と、上記領域バッファ72に記憶された領域について欠落するG信号を公知のキュービック補間により補間し上記作業用バッファ11に出力する演算手段たるGキュービック補間部74と、を有して構成されている。
【0185】
また、制御部16は、上記抽出部71、RB線形補間部73、Gキュービック補間部74に対して双方向に接続されており、これらを制御するようになっている。
【0186】
次に、このような第1補間部10の作用について説明する。
【0187】
抽出部71は、制御部16の制御に基づいて、分離部51から所定サイズ(例えば8×8画素)のブロック領域を単位として抽出し、領域バッファ72へ転送する。
【0188】
RB線形補間部73は、領域バッファ72に記憶された8×8画素領域の中央部の2×2画素に対して、欠落するR信号とB信号とを公知の線形補間処理により算出し、作業用バッファ11へ出力する。
【0189】
一方、Gキュービック補間部74は、領域バッファ72に記憶された8×8画素領域の中央部2×2画素に対して、欠落するG信号を公知のキュービック補間処理により算出し、作業用バッファ11へ出力する。
【0190】
続いて、図13を参照して、検証部12の構成の一例について説明する。
【0191】
この検証部12は、上記作業用バッファ11に記憶された三板状態の画像データから所定サイズの領域を順次抽出する抽出手段たる抽出部81と、この抽出部81により抽出された領域の画像データを記憶する領域バッファ82と、この領域バッファ82に記憶された領域の色相クラスをRGB値の大小関係に基づき算出する色相算出手段たる色相算出部83と、この色相算出部83により算出された色相クラスを示す係数を記憶する係数用バッファ84と、この係数用バッファ84に記憶された係数に基づき色相クラスの分布状況を調べて領域が単一の色相領域であるかまたは複数の色相領域であるかを判断しその検証結果を上記調整部52に出力する色相検証手段たる色相検証部85と、を有して構成されている。
【0192】
また、制御部16は、上記抽出部81、色相算出部83、色相検証部85に対して双方向に接続されており、これらを制御するようになっている。
【0193】
次に、このような検証部12の作用について説明する。
【0194】
抽出部81は、制御部16の制御に基づいて、作業用バッファ11から所定サイズ(例えば8×8画素サイズ)の領域を順次抽出し、領域バッファ82へ転送する。
【0195】
色相算出部83は、制御部16の制御に基づいて、この領域バッファ82に記憶された領域の各画素に関して、RGB値の大小関係に基づき色相クラスを算出する。
【0196】
図14を参照して、RGB値の大小関係に応じて13に分類される色相クラスについて説明する。
【0197】
図示のように、クラス0はR=G=B、クラス1はB>R>G、クラス2はR=B>G、クラス3はR>B>G、クラス4はR>G=B、クラス5はR>G>B、クラス6はR=G>B、クラス7はG>R>B、クラス8はG>R=B、クラス9はG>B>R、クラス10はG=B>R、クラス11はB>G>R、クラス12はB>R=G、のそれぞれの大小関係が成り立つときに対応している。
【0198】
なお、色相算出部83は、RGB値の大小関係を算出するに当たって、微小変化の影響を取り除くための所定の係数、例えばA/D変換器5の出力幅が12bitである場合には32、で除算した後に、図12に示すようなRGB値の大小関係を各画素単位で調査して色相クラスを求めるようになっている。このような32による除算は、12bitのデータにおける下位5bitを取り除くことに当たるために、色相クラスを上位7bitのデータに基づいて求めることに相当している。
【0199】
このようにして求められた色相クラスによる分類結果は、係数用バッファ84へ転送されて保存される。
【0200】
色相検証部85は、制御部16の制御に基づいて、係数用バッファ84に記憶された色相クラスの分布状況を調べ、領域が単一の色相領域であるかまたは複数の色相領域であるかを判断する。この判断は、領域サイズに対して所定の割合(例えば70%)以上が一つの色相クラスで構成されている場合に、単一の色相であるとする、などにより行われる。
【0201】
具体的には、上述した例では8×8画素サイズの領域を想定しているために、色相クラスに分類される画素は64存在し、その70%である45画素以上が同一の色相クラスで構成されている場合に単一の色相領域であると判断し、45画素未満の場合には複数の色相領域であると判断するようになっている。
【0202】
この色相検証部85による判断結果は、上記調整部52へ転送される。
【0203】
なお、上述では、分離部51が、エッジ情報に基づいて原信号の分離を行うものとなっていたが、このような構成に限定される必要はなく、例えば、図10(B)に示すような相関情報を用いるタイプのものであっても良い。
【0204】
図10(B)を参照して、分離部51の構成の他の例について説明する。この図10(B)に示す分離部51の基本的な構成は、上記図10(A)に示した分離部51とほぼ同様であるために、同一の構成要件については同一の符号と名称とを付して説明を省略する。
【0205】
この図10(B)に示す分離部51は、上記図10(A)に示した分離部51におけるエッジ抽出部63を、相関算出手段たる相関算出部66に置き換えたものとなっていて、これが差異の要部となっている。
【0206】
上記相関算出部66は、領域バッファ62から読み込んだ領域における各色信号間の相関関係を、上記第1の実施形態の数式42に示したような線形式に回帰する。そして、該相関算出部66は、この線形式における定数項を、上記映像信号分離部64へ転送する。
【0207】
映像信号分離部64は、上記定数項の絶対値を所定の閾値と比較して、閾値未満となる場合には単一の色相領域であると判断し、閾値以上となる場合には複数の色相領域であると判断する。そして、映像信号分離部64は、この判断結果を上記調整部52へ転送するとともに転送部65へ転送する。
【0208】
転送部65は、映像信号分離部64から送られてきた判断結果が複数の色相領域であることを示すものである場合には、上記領域バッファ62からの原信号を第1補間部10へ転送し、一方、単一の色相領域であることを示すものである場合には、第2補間部13へ転送する。
【0209】
なお、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、例えば、CCD4からの信号を未処理のままのロー(Raw)データとして、フィルタ情報や画像サイズなどをヘッダ情報として付加した後に出力し、外部のコンピュータ等において別途のソフトウェアである画像処理プログラムにより処理することも可能である。
【0210】
図15を参照して、画像処理プログラムによる補間処理について説明する。
【0211】
図15(A)に示すように、処理を開始すると、まず、Rawデータでなる原信号とヘッダ情報とを読み込む(ステップS31)。
【0212】
そして、原信号を所定サイズのブロック領域を単位として抽出し(ステップS32)、図11に示したように、複数方向のエッジ成分を抽出する(ステップS33)。
【0213】
次に、領域が平坦領域であるかまたはエッジ領域であるかを判断するための分離情報として、上記エッジ成分の総数を出力して保存する(ステップS34)。
【0214】
その後、所定の閾値Thとエッジ成分の総数とを比較することにより、領域が平坦領域であるかまたはエッジ領域であるかを判断する(ステップS35)。
【0215】
ここで、エッジ成分の総数が閾値Th未満であって平坦領域であると判断される場合には、後述するステップS42(図15(B)参照)へ移行して、後述するステップS45までの処理を行った後に、次のステップS36へ移行する。
【0216】
また、エッジ成分の総数が閾値Th以上であってエッジ領域であると判断される場合には、後述するステップS46(図15(C)参照)へ移行して、後述するステップS48までの処理を行った後に、次のステップS36へ移行する。
【0217】
そして、全信号に対応する全てのブロック領域で抽出が完了したか否かを判断し(ステップS36)、完了していない場合には上記ステップS32へ戻って次のブロック領域の抽出を行う。
【0218】
また、全ブロックの抽出が完了している場合には、補間処理後の信号を所定サイズのブロック領域を単位として抽出し(ステップS37)、図14に示したような13の色相クラスへ分類することにより色相マップを算出して、該ブロック領域が単一色相領域であるかまたは複数色相領域であるかを定める(ステップS38)。
【0219】
ここで、上記ステップS35において出力された平坦領域またはエッジ領域に関する分離情報を入力して、次のステップS40の処理へ転送する(ステップS39)。
【0220】
そして、上記ステップS38において算出した色相情報と、このステップS39において転送された分離情報と、に基づいて、再度の補間処理を行うか行わないか、行う場合には図15(B)に示す補間処理と、図15(C)に示す補間処理との何れを行うか、を選択する(ステップS40)。
【0221】
すなわち、再度の補間処理が必要でない「平坦領域かつ複数色相領域」である場合と、「エッジ領域かつ単一色相領域」である場合と、については次のステップS41へ移行し、「エッジ領域かつ複数色相領域」である場合については後述するステップS42(図15(B)参照)へ行ってステップS45までの処理を行った後に次のステップS41へ移行し、「平坦領域かつ単一色相領域」である場合については後述するステップS46(図15(C)参照)へ行ってステップS48までの処理を行った後に次のステップS41へ移行する。
【0222】
そして、全信号に対する全てのブロック領域についての抽出が完了したか否かを判断し(ステップS41)、完了していない場合は上記ステップS37へ戻って次のブロックの抽出を行い、一方、完了した場合にはこの処理を終了する。
【0223】
次に、図15(B)に示すようなステップS42〜S45の補間処理について説明する。
【0224】
この補間処理を開始すると、まず、原信号から所定サイズのブロック領域を抽出する(ステップS42)。
【0225】
そして、欠落するR信号とB信号とを線形補間処理により算出するとともに(ステップS43)、欠落するG信号をキュービック補間処理により算出する(ステップS44)。
【0226】
その後、原信号と補間信号とを合わせて出力し(ステップS45)、上記図15(A)の処理に戻る。
【0227】
続いて、図15(C)に示すようなステップS46〜S48の補間処理について説明する。
【0228】
この補間処理を開始すると、まず、原信号から所定サイズのブロック領域を抽出する(ステップS46)。
【0229】
そして、上述した第1の実施形態の数式42に基づいて、相関関係を線形式として求め、求めた線形式に基づいて欠落する色信号を算出する(ステップS47)。
【0230】
その後、原信号と補間信号とを合わせて出力し(ステップS48)、上記図15(A)の処理に戻る。
【0231】
なお、上述では第1補間処理と第2補間処理とを必ず組み合わせて処理を行っているが、これに限定されるものではない。例えば、外部I/F部17を介して、原信号からの分離結果に基づく2つの補間処理だけを行って、再度の補間処理を行わないようにすることも可能である。この場合には、検証部12の動作と調整部52の動作とを停止させるように制御部16が制御すればよい。制御部16がこれらの動作を停止させるか否かを判断する際には、圧縮率や画像サイズなどの映像信号の画質に係る画質情報と、文字画像撮影や動画撮影などのこの撮像システムに設定されている撮影モード情報と、使用者により手動で設定され得る補間処理の切り換え情報と、の内の少なくとも1つの情報を取得して、これらの情報の何れか1以上に基づいて判断を行う。
【0232】
また、上述では、第1補間処理として線形補間またはキュービック補間処理を行う構成を説明しているが、これに限定されるものでもない。例えば、上述した第1の実施形態における第1補間処理と同様に、エッジ方向に基づく補間処理などを行う構成であっても良いし、これに限らず第2補間処理とは異なる特性となるような任意の特性を備えた第1補間処理であれば良い。つまり、第1補間処理と第2補間処理とが異なる特性同士の組み合わせとなれば良いのである。
【0233】
さらに、上述では原色ベイヤー(Bayer)型の単板CCDを例にとって説明したが、これに限定されるものでもない。例えば、補色フィルタを備えた単板CCDについても同様に適用可能であるし、二板式の撮像系や、画素ずらしが行われた三板式の撮像系についても適用可能である。
【0234】
このような第2の実施形態によれば、上述した第1の実施形態とほぼ同様の効果を奏するとともに、互いに異なる特性の第1補間処理と第2補間処理とを適応的に組み合わせて補間を行っているために、全体として高精度な補間信号を得ることができる。
【0235】
また、原信号に基づいて第1の補間処理と第2の補間処理とを概略的に選択し、その後に、原信号と補間信号とに基づいて精密な精度検証を行い補間処理をやり直すようにしているために、補間処理をやり直す領域が減少して、処理速度の向上を図ることが可能となる。
【0236】
さらに、視覚特性に整合するように、輝度信号に近いG信号はキュービック補間によって、その他の色信号であるR信号およびB信号とは線形補間によって、それぞれ処理しているために、全体としての画質の低下を抑えつつ、高速な補間処理を行うことが可能となる。
【0237】
そして、原信号と補間信号とを合わせた欠落する色信号のない三板状態の信号で色相情報を求めているために、高精度な精度検証を行うことが可能となる。また、この色相情報の算出は、計算量が少ないために、高速な処理を行うことが可能となる。
【0238】
加えて、原信号の分離を、エッジ情報または相関情報に基づき行っているために、適切な処理を高速に行うことが可能となる。エッジ情報は、エッジ方向を使用する補間方法との親和性が高いために、エッジ方向を使用する補間方法とそれ以外の補間方法との切り換え制御に適する利点がある。一方、相関情報は、色相関を使用する補間方法との親和性が高いために、色相関を使用する補間方法とそれ以外の補間方法との切り換え制御に適する利点がある。
【0239】
また、必要に応じて、原信号からの分離結果に基づく2つの補間処理だけを行って再度の補間処理を行わないようにすることにより、処理時間を短縮して、消費電力を低減することが可能となる。このとき、高圧縮であるために高精度な補間を必要としない場合や、動画撮影などで高速な処理が優先される場合などの情報を得るようにしたために、再度の補間処理を行うか否かの制御を自動化することができ、操作性が向上する。また、使用者の意図に基づいて手動により補間処理を切り換えることが可能となるために、処理に関する自由度が向上する。
【0240】
図16から図18は本発明の第3の実施形態を示したものであり、図16は撮像システムの構成を示すブロック図、図17は検証部の構成を示すブロック図、図18は画像処理プログラムによる補間処理を示すフローチャートである。
【0241】
この第3の実施形態において、上述の第1,第2の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0242】
この第3の実施形態における撮像システムは、図16に示すように、上述した第1の実施形態の構成に、選択手段たる選択部90を追加した構成となっている。
【0243】
この選択部90は、上記検証部12による検証結果に基づいて、上記作業用バッファ11に記憶されている第1補間部10による補間信号と第2補間部13による補間信号との何れか一方の選択を行い、信号処理部14へ出力するものである。
【0244】
従って、検証部12は、この第3の実施形態においては、検証結果を第2補間部13ではなく選択部90へ出力するものとなっている。
【0245】
また、作業用バッファ11は、補間信号を検証部12へ出力するとともに、信号処理部14に代えて選択部90へ出力するものとなっている。
【0246】
その他の部分の基本的な構成については、上述した第1の実施形態とほぼ同様である。
【0247】
なお、制御部16は、この第3の実施形態において追加された選択部90に対しても双方向に接続されており、これを制御するようになっている。
【0248】
このような撮像システムの作用は、基本的に第1の実施形態と同様であるために、主として異なる部分についてのみ、図16を参照して信号の流れに沿って説明する。
【0249】
画像用バッファ6に記憶されている映像信号は、制御部16の制御に基づいて、第1補間部10と第2補間部13とによって各々独立に補間処理が行われる。このときの各補間処理は、上述した第1の実施形態と同様に、第1補間部10がエッジ方向に基づく補間処理であり、第2補間部13が色相関に基づく補間処理となっている。
【0250】
第1補間部10による補間信号と第2補間部13による補間信号とは、作業用バッファ11へそれぞれ転送されて、上書きされることなく各独立に保存される。
【0251】
このような補間処理が全信号に対して完了した後に、制御部16は、作業用バッファ11に記憶されている三板信号を、所定の局所領域(例えば8×8画素)を単位として、検証部12へ順次転送させる。このときの三板信号は、原信号および第1補間部10による補間信号でなる三板信号と、原信号および第2補間部13による補間信号でなる三板信号と、の一対である。
【0252】
検証部12は、RGBの三板信号から輝度信号を求めて、公知のラプラシアン処理などによりエッジ成分を画素単位で算出する。そして、該検証部12は、所定の閾値以上のエッジ成分を有効なエッジ成分として、局所領域内における有効なエッジ成分の総数を求める。このとき、第1補間部10による補間信号と第2補間部13による補間信号とで上記総数が異なる場合には、該検証部12は、多い方を選択する。こうして検証部12は、有効なエッジ成分の総数を、選択情報として選択部90へ転送する。
【0253】
選択部90は、制御部16の制御に基づいて、検証部12からの有効なエッジ成分の総数を用いて、第1補間部10による補間信号と第2補間部13による補間信号との何れか一方を選択する。すなわち、選択部90は、有効なエッジ成分の総数が所定の閾値以上である場合にはエッジ領域であるとして第1補間部10による補間信号を選択し、所定の閾値未満である場合には平坦領域であるとして第2補間部13による補間信号を選択する。
【0254】
制御部16は、検証部12による検証と、選択部90による選択作業と、を作業用バッファ11内の全信号に対して行わせるように制御し、選択された信号を信号処理部14へ順次転送する。
【0255】
次に、図17を参照して、検証部12の構成の一例について説明する。
【0256】
この検証部12は、上記作業用バッファ11に記憶された画像データから所定サイズの領域を順次抽出する抽出手段たる抽出部91と、この抽出部91により抽出された領域の画像データを記憶する領域バッファ92と、この領域バッファ92に記憶された領域のエッジ成分を抽出するエッジ算出手段たるエッジ算出部93と、このエッジ算出部93により算出されたエッジ成分を記憶する係数用バッファ94と、この係数用バッファ94に記憶されているエッジ成分を所定の閾値と比較して閾値以上となる有効エッジ成分の総数を求め第1補間部10による補間信号に基づく総数と第2補間部13による補間信号に基づく総数との内の大きい方の総数を選択情報として選択部90へ出力するエッジ検証手段たるエッジ検証部95と、を有して構成されている。
【0257】
また、制御部16は、上記抽出部91、エッジ算出部93、エッジ検証部95に対して双方向に接続されており、これらを制御するようになっている。
【0258】
次に、このような検証部12の作用について説明する。
【0259】
抽出部91は、制御部16の制御に基づいて、作業用バッファ11から所定サイズ(例えば8×8画素サイズ)の領域を順次抽出し、領域バッファ92へ転送する。
【0260】
エッジ算出部93は、制御部16の制御に基づいて、この領域バッファ92に記憶された領域の各画素に対して、RGB信号値から輝度信号Yを次の数式46に示すように算出する。
【数46】
Y=0.299R+0.587G+0.114B
【0261】
さらに、エッジ算出部93は、算出した輝度信号Yに対して、公知のラプラシアン処理を行うことによりエッジ成分を求める。このときのラプラシアン処理は、3×3フィルタにより行うために、エッジ成分は8×8画素の領域における中央部の6×6画素で得られることになる。従って、抽出部91が8×8画素サイズの領域を抽出する際には、X方向位置またはY方向位置を6画素ずつずらして、X方向またはY方向にそれぞれ2画素ずつ重複するようにしながら、順次抽出を行っていくことになる。
【0262】
こうして得られた6×6画素でのエッジ成分は、エッジ算出部93から係数用バッファ94に転送される。
【0263】
エッジ検証部95は、制御部16の制御に基づいて、係数用バッファ94に記憶されたエッジ成分を順次読み込み、これを所定の閾値、例えば上記A/D変換器5の出力幅が12bitである場合には256、と比較して、この閾値以上となるエッジ成分を有効エッジ成分であるとする。エッジ検証部95は、こうして有効エッジ成分であると判定されたものの総数を求める。
【0264】
このようなエッジ検証部95における処理は、制御部16の制御に基づいて、作業用バッファ11に記憶されている、原信号および第1補間部10による補間信号と、原信号および第2補間部13による補間信号と、の一対に対してそれぞれ行われる。
【0265】
エッジ検証部95は、こうして得られた有効エッジ成分の総数の内の、何れか大きい方の総数を、選択情報として選択部90に転送する。
【0266】
なお、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、例えば、CCD4からの信号を未処理のままのロー(Raw)データとして、フィルタ情報や画像サイズなどをヘッダ情報として付加した後に出力し、外部のコンピュータ等において別途のソフトウェアである画像処理プログラムにより処理することも可能である。
【0267】
図18を参照して、画像処理プログラムによる補間処理について説明する。
【0268】
処理を開始すると、まず、Rawデータでなる原信号とヘッダ情報とを読み込む(ステップS51)。
【0269】
そして、原信号を所定サイズのブロック領域を単位として抽出し(ステップS52)、上述した第1の実施形態の図4に示したように、複数方向のエッジ成分を抽出して(ステップS53)、各方向別の重み係数を算出する(ステップS54)。
【0270】
また、上記ステップS52において抽出したブロック領域について、各方向別の色差信号の補間値を求める(ステップS55)。
【0271】
こうして、上記ステップS54において求めた重み係数と、上記ステップS55において求めた補間値と、に基づき、最終的な補間信号を算出して出力する(ステップS56)。
【0272】
次に、全信号に対応する全てのブロック領域について抽出が完了したか否かを判断し(ステップS57)、完了していない場合には上記ステップS52へ戻って次のブロック領域の抽出を行い、完了している場合には後述するステップS62へ移行する。
【0273】
一方、上記ステップS51で読み込んだ原信号を、所定サイズのブロック領域を単位として抽出し(ステップS58)、上述した第1の実施形態の数式42に示したように、色信号間の相関関係を線形式として求めて(ステップS59)、求めた線形式に基づいて補間信号を算出し出力する(ステップS60)。
【0274】
その後、全信号に対応する全てのブロック領域について抽出が完了したか否かを判断し(ステップS61)、完了していない場合には上記ステップS58へ戻って次のブロック領域の抽出を行い、完了している場合には後述するステップS62へ移行する。
【0275】
そして、原信号と、上記ステップS56において出力された補間信号と、上記ステップS60において出力された補間信号と、を所定サイズのブロック領域を単位として抽出し(ステップS62)、有効なエッジ成分の総数を算出する(ステップS63)。
【0276】
次に、算出した総数に基づいて、上記ステップS56において出力された補間信号と上記ステップS60において出力された補間信号との何れか一方を選択するための選択情報を求めて、求めた選択情報に基づき補間信号の選択を行う(ステップS64)。
【0277】
こうして選択された補間信号を出力し(ステップS65)、全信号に対応する全てのブロック領域について抽出が完了したか否かを判断して(ステップS66)、完了していない場合には上記ステップS62へ戻って次のブロック領域の抽出を行い、完了している場合にはこの処理を終了する。
【0278】
なお、上述では第1補間処理と第2補間処理とを必ず組み合わせて処理を行っているが、これに限定されるものではない。例えば、外部I/F部17を介して、何れか一方の補間処理のみを選択することも可能である。この場合には、検証部12の動作と第2補間部13の動作とを停止させるとともに選択部90に対して第1補間部10による補間信号のみを選択させるように制御部16が制御すればよい。制御部16がこれらの動作を停止させるか否かを判断する際には、圧縮率や画像サイズなどの映像信号の画質に係る画質情報と、文字画像撮影や動画撮影などのこの撮像システムに設定されている撮影モード情報と、使用者により手動で設定され得る補間処理の切り換え情報と、の内の少なくとも1つの情報を取得して、これらの情報の何れか1以上に基づいて判断を行う。
【0279】
また、上述では原色ベイヤー(Bayer)型の単板CCDを例にとって説明したが、これに限定されるものでもない。例えば、補色フィルタを備えた単板CCDについても同様に適用可能であるし、二板式の撮像系や、画素ずらしが行われた三板式の撮像系についても適用可能である。
【0280】
このような第3の実施形態によれば、上述した第1,第2の実施形態とほぼ同様の効果を奏するとともに、エッジ方向に基づく第1の補間処理と色相関に基づく第2の補間処理との両方により補間をそれぞれ行って、精度を検証して何れか一方を適応的に選択しているために、全体として高精度な補間信号を得ることができる。
【0281】
また、原信号と第1の補間信号と第2の補間信号との3つを用いて精度を検証し、該検証結果に基づき選択を行っているために、高精度な適応制御を行って、高品位な補間信号を得ることが可能となる。このとき、検証をエッジ情報に基づき行っているために、精度を向上することができる。このエッジ情報は、エッジ方向を使用する補間方法との親和性が高いために、エッジ方向を使用する補間方法とそれ以外の補間方法との切り換え制御に適する利点がある。
【0282】
さらに、必要に応じて、第2の補間処理13の動作と検証部12の動作とを停止させるように制御するとともに、第1の補間処理の信号のみを選択するように選択部90を制御することにより、処理時間を短縮して、消費電力を低減することが可能となる。このとき、高圧縮であるために高精度な補間を必要としない場合や、動画撮影などで高速な処理が優先される場合などの情報を得るようにしたために、再度の補間処理を行うか否かの制御を自動化することができ、操作性が向上する。また、使用者の意図に基づいて手動により補間処理を切り換えることが可能となるために、処理に関する自由度が向上する。
【0283】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【0284】
【発明の効果】
以上説明したように本発明の撮像システム、画像処理プログラムによれば、映像信号中の欠落する色信号をより高精度に補間することが可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態における撮像システムの構成を示すブロック図。
【図2】上記第1の実施形態におけるカラーフィルタの色配置を示す図。
【図3】上記第1の実施形態における第1補間部の構成を示すブロック図。
【図4】上記第1の実施形態において、エッジ方向に基づく補間方法を説明するための図。
【図5】上記第1の実施形態における検証部の構成を示すブロック図。
【図6】上記第1の実施形態において、色相関関係の線形式への回帰を説明するための図。
【図7】上記第1の実施形態における第2補間部の構成を示すブロック図。
【図8】上記第1の実施形態における画像処理プログラムによる補間処理を示すフローチャート。
【図9】本発明の第2の実施形態における撮像システムの構成を示すブロック図。
【図10】上記第2の実施形態における分離部の一構成例と他の構成例とを示すブロック図。
【図11】上記第2の実施形態において、エッジ抽出を説明するための図。
【図12】上記第2の実施形態における第1補間部の構成を示すブロック図。
【図13】上記第2の実施形態における検証部の構成を示すブロック図。
【図14】上記第2の実施形態において、色相クラスを説明するための表図。
【図15】上記第2の実施形態における画像処理プログラムによる補間処理を示すフローチャート。
【図16】本発明の第3の実施形態における撮像システムの構成を示すブロック図。
【図17】上記第3の実施形態における検証部の構成を示すブロック図。
【図18】上記第3の実施形態における画像処理プログラムによる補間処理を示すフローチャート。
【符号の説明】
1…レンズ系
4…CCD(撮像素子)
5…A/D変換器
6…画像用バッファ
7…測光評価部
8…合焦点検出部
10…第1補間部(第1の補間手段)
11…作業用バッファ
12…検証部(精度検証手段)
13…第2補間部(第2の補間手段)
14…信号処理部
15…出力部
16…制御部(制御手段、情報取得手段、判断手段)
17…外部I/F部(情報取得手段)
21…抽出部(抽出手段)
23…エッジ抽出部(エッジ抽出手段)
24…重み算出部(重み算出手段)
26…補間部(補間信号算出手段)
28…演算部(演算手段)
31…抽出部(抽出手段)
33…相関算出部(相関算出手段)
35…相関検証部(相関検証手段)
41…抽出部(抽出手段)
43…相関算出部
44…演算部
51…分離部(分離手段)
52…調整部(調整手段)
61…抽出部(抽出手段)
63…エッジ抽出部(エッジ算出手段)
64…映像信号分離部(映像信号分離手段)
65…転送部(映像信号分離手段)
66…相関算出部(相関算出手段)
71…抽出部(抽出手段)
73…RB線形補間部(演算手段)
74…Gキュービック補間部(演算手段)
81…抽出部(抽出手段)
83…色相算出部(色相算出手段)
85…色相検証部(色相検証手段)
90…選択部(選択手段)
91…抽出部(抽出手段)
93…エッジ算出部(エッジ算出手段)
95…エッジ検証部(エッジ検証手段)
Claims (18)
- 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて1つ以上欠落している映像信号、を処理する撮像システムであって、
上記欠落する色信号を第1の補間方法により上記映像信号から補間する第1の補間手段と、
上記映像信号と上記第1の補間手段により補間された色信号とに基づいて、補間精度を検証する精度検証手段と、
上記補間精度が充分でないと判断された場合に、上記欠落する色信号を上記第1の補間方法とは異なる第2の補間方法により上記映像信号から補間する第2の補間手段と、
を具備したことを特徴とする撮像システム。 - 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて1つ以上欠落している映像信号、を処理する撮像システムであって、
上記映像信号に係る所定の特性に基づいて、該映像信号を第1の映像信号と第2の映像信号とに分離する分離手段と、
上記第1の映像信号から上記欠落する色信号を第1の補間方法により補間する第1の補間手段と、
上記第2の映像信号から上記欠落する色信号を上記第1の補間手段とは異なる第2の補間方法により補間する第2の補間手段と、
上記第1の映像信号の領域については該第1の映像信号と上記第1の補間手段により補間された色信号とに基づいて補間精度を検証し、上記第2の映像信号の領域については該第2の映像信号と上記第2の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段と、
上記補間精度が充分でないと判断された場合に、充分でない補間が上記第1の補間手段により行われたときには上記欠落する色信号を上記第2の補間手段により上記映像信号から再度補間処理させ、充分でない補間が上記第2の補間手段により行われたときには上記欠落する色信号を上記第1の補間手段により上記映像信号から再度補間処理させる調整手段と、
を具備したことを特徴とする撮像システム。 - 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて1つ以上欠落している映像信号、を処理する撮像システムであって、
上記欠落する色信号を第1の補間方法により上記映像信号から補間する第1の補間手段と、
上記欠落する色信号を上記第1の補間方法とは異なる第2の補間方法により上記映像信号から補間する第2の補間手段と、
上記映像信号と上記第1の補間手段により補間された色信号と上記第2の補間手段により補間された色信号とに基づいて、補間精度を検証する精度検証手段と、
上記第1の補間手段により補間された色信号と、上記第2の補間手段により補間された色信号と、の内の、より補間精度が高い方の色信号を選択する選択手段と、
を具備したことを特徴とする撮像システム。 - 上記第1の補間手段または第2の補間手段は、
上記映像信号から注目画素を中心とする所定サイズの領域を抽出する抽出手段と、
上記領域内で注目画素から所定方向に関する複数のエッジ強度を抽出するエッジ抽出手段と、
上記エッジ強度から正規化された重み係数を算出する重み算出手段と、
上記領域内で注目画素から所定方向に関する複数の補間信号を算出する補間信号算出手段と、
上記所定方向に関する複数の重み係数と、上記所定方向に関する複数の補間信号と、に基づいて、注目画素における欠落する色信号を算出する演算手段と、
を有して構成されたものであることを特徴とする請求項1、請求項2、または請求項3に記載の撮像システム。 - 上記第1の補間手段または第2の補間手段は、
上記映像信号から注目画素を中心とする所定サイズの領域を抽出する抽出手段と、
上記領域内で注目画素における欠落する色信号を線形補間またはキュービック補間によって算出する演算手段と、
を有して構成されたものであることを特徴とする請求項1、請求項2、または請求項3に記載の撮像システム。 - 上記第1の補間手段または第2の補間手段は、
上記映像信号から注目画素を中心とする所定サイズの領域を抽出する抽出手段と、
上記領域内における各色信号間の相関関係を線形式として求める相関算出手段と、
上記映像信号と上記相関関係とに基づいて、欠落する色信号を算出する演算手段と、
を有して構成されたものであることを特徴とする請求項1、請求項2、または請求項3に記載の撮像システム。 - 上記精度検証手段は、
上記映像信号と、上記第1の補間手段により補間された色信号と、に基づいて、所定領域毎に各色信号間の相関情報を求める相関算出手段と、
上記相関情報に基づいて補間精度を検証する相関検証手段と、
を有して構成されたものであることを特徴とする請求項1、請求項2、または請求項3に記載の撮像システム。 - 上記精度検証手段は、
上記映像信号と、上記第1の補間手段により補間された色信号と、に基づいて、画素毎に色相情報を求める色相算出手段と、
上記色相情報に基づいて補間精度を検証する色相検証手段と、
を有して構成されたものであることを特徴とする請求項1、請求項2、または請求項3に記載の撮像システム。 - 上記精度検証手段は、
上記映像信号と、上記第1の補間手段により補間された色信号と、に基づいて、所定領域毎にエッジ情報を求めるエッジ算出手段と、
上記エッジ情報に基づいて補間精度を検証するエッジ検証手段と、
を有して構成されたものであることを特徴とする請求項1、請求項2、または請求項3に記載の撮像システム。 - 上記分離手段は、
上記映像信号から所定領域毎にエッジ情報を求めるエッジ算出手段と、
上記エッジ情報に基づいて上記映像信号の分離を行う映像信号分離手段と、
を有して構成されたものであることを特徴とする請求項2に記載の撮像システム。 - 上記分離手段は、
上記映像信号から所定領域毎に各色信号間の相関情報を求める相関算出手段と、
上記相関情報に基づいて上記映像信号の分離を行う映像信号分離手段と、
を有して構成されたものであることを特徴とする請求項2に記載の撮像システム。 - 上記精度検証手段の動作と、上記第2の補間手段の動作と、を停止させるように制御し得る制御手段をさらに具備したことを特徴とする請求項1に記載の撮像システム。
- 上記精度検証手段の動作と、上記調整手段の動作と、を停止させるように制御し得る制御手段をさらに具備したことを特徴とする請求項2に記載の撮像システム。
- 上記第2の補間手段の動作と、上記精度検証手段の動作と、を停止させるように制御し得るとともに、これらの動作を停止させるときには、上記選択手段に対して上記第1の補間手段により補間された色信号のみを選択させるように制御する制御手段をさらに具備したことを特徴とする請求項3に記載の撮像システム。
- 上記制御手段は、
上記映像信号の画質に係る画質情報と、当該撮像システムに設定されている撮影モード情報と、手動により設定され得る補間処理の切り換え情報と、の内の少なくとも1つの情報を取得する情報取得手段と、
上記画質情報と撮影モード情報と補間処理の切り換え情報との内の少なくとも1つの情報に基づいて、上記動作を停止させるか否かを判断する判断手段と、
を有して構成されたものであることを特徴とする請求項12、請求項13、または請求項14に記載の撮像システム。 - 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて1つ以上欠落している映像信号、をコンピュータにより処理するための画像処理プログラムであって、コンピュータを、
上記欠落する色信号を第1の補間方法により上記映像信号から補間する第1の補間手段、
上記映像信号と上記第1の補間手段により補間された色信号とに基づいて、補間精度を検証する精度検証手段、
上記補間精度が充分でないと判断された場合に、上記欠落する色信号を上記第1の補間方法とは異なる第2の補間方法により上記映像信号から補間する第2の補間手段、
として機能させるための画像処理プログラム。 - 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて1つ以上欠落している映像信号、をコンピュータにより処理するための画像処理プログラムであって、コンピュータを、
上記映像信号に係る所定の特性に基づいて、該映像信号を第1の映像信号と第2の映像信号とに分離する分離手段、
上記第1の映像信号から上記欠落する色信号を第1の補間方法により補間する第1の補間手段、
上記第2の映像信号から上記欠落する色信号を上記第1の補間手段とは異なる第2の補間方法により補間する第2の補間手段、
上記第1の映像信号の領域については該第1の映像信号と上記第1の補間手段により補間された色信号とに基づいて補間精度を検証し、上記第2の映像信号の領域については該第2の映像信号と上記第2の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段、
上記補間精度が充分でないと判断された場合に、充分でない補間が上記第1の補間手段により行われたときには上記欠落する色信号を上記第2の補間手段により上記映像信号から再度補間処理させ、充分でない補間が上記第2の補間手段により行われたときには上記欠落する色信号を上記第1の補間手段により上記映像信号から再度補間処理させる調整手段、
として機能させるための画像処理プログラム。 - 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて1つ以上欠落している映像信号、をコンピュータにより処理するための画像処理プログラムであって、コンピュータを、
上記欠落する色信号を第1の補間方法により上記映像信号から補間する第1の補間手段、
上記欠落する色信号を上記第1の補間方法とは異なる第2の補間方法により上記映像信号から補間する第2の補間手段、
上記映像信号と上記第1の補間手段により補間された色信号と上記第2の補間手段により補間された色信号とに基づいて、補間精度を検証する精度検証手段、
上記第1の補間手段により補間された色信号と、上記第2の補間手段により補間された色信号と、の内の、より補間精度が高い方の色信号を選択する選択手段、
として機能させるための画像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003013863A JP4225795B2 (ja) | 2003-01-22 | 2003-01-22 | 撮像システム、画像処理プログラム |
PCT/JP2004/000395 WO2004066637A1 (ja) | 2003-01-22 | 2004-01-20 | 撮像システムおよび画像処理プログラム |
US10/543,079 US7570291B2 (en) | 2003-01-22 | 2004-01-20 | Imaging system and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003013863A JP4225795B2 (ja) | 2003-01-22 | 2003-01-22 | 撮像システム、画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004266323A JP2004266323A (ja) | 2004-09-24 |
JP4225795B2 true JP4225795B2 (ja) | 2009-02-18 |
Family
ID=32767371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003013863A Expired - Fee Related JP4225795B2 (ja) | 2003-01-22 | 2003-01-22 | 撮像システム、画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7570291B2 (ja) |
JP (1) | JP4225795B2 (ja) |
WO (1) | WO2004066637A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7596273B2 (en) * | 2004-04-19 | 2009-09-29 | Fujifilm Corporation | Image processing method, image processing apparatus, and image processing program |
JP5121206B2 (ja) | 2006-10-23 | 2013-01-16 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法 |
JP5391635B2 (ja) * | 2008-10-06 | 2014-01-15 | 富士通株式会社 | 解析装置、データ保存方法およびデータ保存プログラム |
JP2011041210A (ja) * | 2009-08-18 | 2011-02-24 | Sony Corp | 信号処理装置、撮像装置及び信号処理方法 |
JP2014123787A (ja) * | 2012-12-20 | 2014-07-03 | Sony Corp | 画像処理装置、画像処理方法、および、プログラム |
US9715735B2 (en) * | 2014-01-30 | 2017-07-25 | Flipboard, Inc. | Identifying regions of free space within an image |
US10416576B2 (en) * | 2016-09-14 | 2019-09-17 | Canon Kabushiki Kaisha | Optical system for use in stage control |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2931520B2 (ja) * | 1993-08-31 | 1999-08-09 | 三洋電機株式会社 | 単板式カラービデオカメラの色分離回路 |
US5506619A (en) * | 1995-03-17 | 1996-04-09 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
JP3503372B2 (ja) * | 1996-11-26 | 2004-03-02 | ミノルタ株式会社 | 画素補間装置及びその画素補間方法 |
JP4016470B2 (ja) * | 1997-12-09 | 2007-12-05 | カシオ計算機株式会社 | カラー撮像装置及びカラー画像補正方法 |
JP4032200B2 (ja) | 1998-11-06 | 2008-01-16 | セイコーエプソン株式会社 | 画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4371469B2 (ja) * | 1999-06-07 | 2009-11-25 | 株式会社ルネサステクノロジ | 画素データ処理装置および画素データ処理方法 |
US7053944B1 (en) * | 1999-10-01 | 2006-05-30 | Intel Corporation | Method of using hue to interpolate color pixel signals |
US7369284B1 (en) * | 2000-04-12 | 2008-05-06 | Ricoh Printing Systems Ltd. | Image signal processing method, image signal processing device, and image signal processing system |
JP4055927B2 (ja) * | 2000-08-25 | 2008-03-05 | シャープ株式会社 | 画像処理装置およびデジタルカメラ |
JP3862506B2 (ja) | 2001-02-06 | 2006-12-27 | キヤノン株式会社 | 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体 |
JP4451044B2 (ja) * | 2002-02-21 | 2010-04-14 | 株式会社メガチップス | 混成画素補間装置および混成画素補間方法 |
US7015961B2 (en) * | 2002-08-16 | 2006-03-21 | Ramakrishna Kakarala | Digital image system and method for combining demosaicing and bad pixel correction |
-
2003
- 2003-01-22 JP JP2003013863A patent/JP4225795B2/ja not_active Expired - Fee Related
-
2004
- 2004-01-20 US US10/543,079 patent/US7570291B2/en active Active
- 2004-01-20 WO PCT/JP2004/000395 patent/WO2004066637A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2004066637A1 (ja) | 2004-08-05 |
US20060132629A1 (en) | 2006-06-22 |
JP2004266323A (ja) | 2004-09-24 |
US7570291B2 (en) | 2009-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3762725B2 (ja) | 撮像システムおよび画像処理プログラム | |
JP3899118B2 (ja) | 撮像システム、画像処理プログラム | |
US7253836B1 (en) | Digital camera, storage medium for image signal processing, carrier wave and electronic camera | |
US7227574B2 (en) | Image capturing apparatus | |
JP3934597B2 (ja) | 撮像システムおよび画像処理プログラム | |
JP4465002B2 (ja) | ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 | |
JP4628937B2 (ja) | カメラシステム | |
JP4427001B2 (ja) | 画像処理装置、画像処理プログラム | |
EP2429194B1 (en) | Image processing method and device, image processing program, and medium having said program recorded thereon | |
US20090219417A1 (en) | Image capturing system and computer readable recording medium for recording image processing program | |
JP2004128985A (ja) | 撮像システム、再生システム、撮像プログラム、再生プログラム | |
WO2006004151A1 (ja) | 信号処理システム及び信号処理プログラム | |
US20020113195A1 (en) | Method of processing an image signal with the result from decision on a correlation corrected | |
JP5165300B2 (ja) | 映像処理装置および映像処理プログラム | |
JPWO2007049418A1 (ja) | 画像処理システム、画像処理プログラム | |
JP2001169160A (ja) | デジタルカメラおよびデジタルカメラにおける画像表示方法 | |
WO2008150017A1 (ja) | 信号処理方法および信号処理装置 | |
JPH10248068A (ja) | 撮像装置及び画像処理装置 | |
JP4225795B2 (ja) | 撮像システム、画像処理プログラム | |
JP2006180210A (ja) | 撮像装置および方法、並びにプログラム | |
JP4053321B2 (ja) | 電子カメラ | |
JP2007027943A (ja) | 撮像装置、プログラムおよびシェーディング処理方法 | |
JP2004221650A (ja) | 電子カメラ | |
JP4243412B2 (ja) | 固体撮像装置および信号処理方法 | |
JP2005051393A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081125 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4225795 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |