JP4371469B2 - 画素データ処理装置および画素データ処理方法 - Google Patents
画素データ処理装置および画素データ処理方法 Download PDFInfo
- Publication number
- JP4371469B2 JP4371469B2 JP15910799A JP15910799A JP4371469B2 JP 4371469 B2 JP4371469 B2 JP 4371469B2 JP 15910799 A JP15910799 A JP 15910799A JP 15910799 A JP15910799 A JP 15910799A JP 4371469 B2 JP4371469 B2 JP 4371469B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- data
- pixel
- unit
- symmetry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画素データ処理装置および画素データ処理に関し、より特定的には、入力された画素の色データから高品質な画像を再現するための画素データ処理装置および画素データ処理方法に関する。
【０００２】
【従来の技術】
デジタルスチルカメラの普及により、デジタル処理に適した撮像素子の開発が進められている。こうした撮像素子のなかでもベイヤー型原色方式のＣＣＤイメージセンサは、色信号の感度、色再現性が良く多くのデジタル機器に使用されている。
【０００３】
【発明が解決しようとする課題】
ところで、ベイヤー型原色方式のＣＣＤは、赤色（Ｒ）、青色（Ｂ）、緑色（Ｇ）のフィルタが交互に配列されていて、たとえば、赤色のフィルタが配置されている画素については、青データや緑データが得られない。したがって、ベイヤ型原色方式のＣＣＤを使用した場合、欠落したデータを補間する必要が生じる。このため、従来のデジタルスチルカメラをはじめとするデジタル機器は、補間対象色と同一色の画素だけを用いて欠落している色データを生成する補間処理回路を備え、画像の再現を行なっている。
【０００４】
しかしながら、このような単純な補間処理回路のみでは、高品質な画像を再現することは困難である。その一方で、デジタルスチルカメラのような民生用途では、高解像度化とともに高速処理、さらにはマイクロプロセッサでの実現（小型化）が必須となる。
【０００５】
そこで、本発明はこのような問題を解決するためになされたものであり、その目的は、小規模の回路で高速に高解像度の画素データを得ることができる画素データ処理装置および当該画素データ処理装置のための画素データ処理方法を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１に係る画素データ処理装置は、複数の画素に対して配置される複数の色フィルタから出力される複数の色データを処理する画素データ処理装置であって、複数の色データの特徴を抽出する特徴抽出部と、補間対象画素に色データを補間するための互いに異なる処理を並列して行なう補間部と、特徴抽出部において抽出された特徴に基づき、補間部の出力する複数の補間処理結果のうちいずれか一つを選択的に出力するセレクタとを備え、補間部は、補間対象画素の周辺領域における画素の色データの変化量に基づき色データを補間する第１補間処理回路と、補間対象画素の周辺領域における、補間する色データと同種類の色データと補間対象画素と同種類の画素の色データとの比に基づき、色データを補間する第２補間処理回路とを含む。特徴抽出部は、補間対象画素の周辺領域における画素の色データが、補間対象画素に対して対称性があるか否かを検出し、セレクタは、対称性がある場合には、第２補間処理回路の出力を選択的に出力する。
【０００８】
請求項２に係る画素データ処理装置は、請求項１に係る画素データ処理装置であって、複数の画素は、垂直方向および水平方向にマトリックス状に配置され、特徴抽出部は、垂直方向の対称性を検出する第１評価部と、水平方向の対称性を検出する第２評価部とを含み、第１評価部および第２評価部の結果を統合して、第１補間処理回路または第２補間処理回路のいずれか一方を選択するための選択信号を出力する方式選択部をさらに備え、セレクタは、選択信号に応じて、第１補間処理回路または第２補間処理回路のいずれか一方の出力を選択的に出力する。
【０００９】
請求項３に係る画素データ処理装置は、請求項１に係る画素データ処理装置であって、複数の画素は、垂直方向および水平方向にマトリックス状に配置され、特徴抽出部は、垂直方向の前記対称性を検出する第１評価部と、水平方向の前記対称性を検出する第２評価部と、斜め方向の前記対称性を検出する第３評価部とを含み、第１評価部、第２評価部および第３評価部の結果を統合して、第１補間処理回路または第２補間処理回路のいずれか一方を選択するための選択信号を出力する方式選択部をさらに備え、セレクタは、選択信号に応じて、第１補間処理回路または第２補間処理回路のいずれか一方の出力を選択的に出力する。
【００１０】
請求項４に係る画素データ処理装置は、請求項１に係る画素データ処理装置であって、複数の色フィルタは、ベイヤー配列に従って配置され、記複数の色データのそれぞれは、赤データ、青データ、緑データのいずれかであって、特徴抽出部は、緑データの対称性を検出する。
【００１１】
請求項５に係る画素データ処理装置は、請求項１に係る画素データ処理装置であって、特徴抽出部は、補間対象画素の色データと同種類の色データの対称性を検出する。
【００１２】
請求項６に係る画素データ処理方法は、複数の画素のそれぞれに対して複数の種類の色フィルタから出力される複数の色データを処理して画像を再現する画素データ処理方法であって、補間対象画素に色データを補間するための互いに異なる複数の補間処理を並列して行なう補間ステップと、補間ステップに同期して、複数の色データの特徴を抽出する特徴抽出ステップと、抽出された特徴に応じて、複数の補間処理の結果のうちいずれか一つを選択的に出力する選択ステップとを備え、複数の補間処理は、補間対処画素の周辺領域における画素の色データの変化量に基づき色データを補間する第１補間処理と、補間対象画素の周辺領域における、補間する色データと同種類の色データと補間対象画素と同種類の画素の色データとの比に基づき色データを補間する第２補間処理とを含む。特徴抽出ステップは、補間対象画素の周辺領域に位置する画素の色データが、補間対象画素に対して対称性があるか否かを検出し、選択ステップは、対称性がある場合には、第２補間処理の結果を選択的に出力する。
【００１４】
請求項７に係る画素データ処理方法は、請求項６に係る画素データ処理方法であって、複数の画素は、垂直方向および水平方向にマトリックス状に配置され、特徴抽出ステップは、垂直方向の前記対称性、および水平方向の対称性を検出する評価ステップと、評価ステップの結果を統合して、第１補間処理または第２補間処理のいずれか一方を選択するための選択信号を出力する方式選択ステップとを含み、選択ステップは、選択信号に応じて、第１補間処理または第２補間処理のいずれか一方の出力を選択的に出力する。
【００１５】
請求項８に係る画素データ処理方法は、請求項６に係る画素データ処理方法であって、複数の画素は、垂直方向および水平方向にマトリックス状に配置され、特徴抽出部は、垂直方向、水平方向および斜め方向の対称性を検出する評価ステップと、評価ステップの結果を統合して、第１補間処理または第２補間処理のいずれか一方を選択するための選択信号を出力する方式選択ステップとを含み、選択ステップは、選択信号に応じて、第１補間処理または第２補間処理のいずれか一方の出力を選択的に出力する。
【００１６】
請求項９に係る画素データ処理方法は、請求項６に係る画素データ処理方法であって、複数の色フィルタは、ベイヤー配列に従って配置され、複数の色データのそれぞれは、赤データ、青データ、緑データのいずれかであって、特徴抽出ステップは、緑データの対称性を検出する。
【００１７】
請求項１０に係る画素データ処理方法は、請求項６に係る画素データ処理方法であって、特徴抽出ステップは、補間対象画素の色データと同種類の色データの対称性を検出する。
【００１８】
【発明の実施の形態】
［実施の形態１］
本発明の実施の形態１における画素データ処理装置について説明する。本発明の実施の形態１における画素データ処理装置は、入力した色データの特徴に基づき、特定の色データが与えられている各々の画素に他の色データを補間するための処理を行なう。
【００１９】
本発明の実施の形態１における画素データ処理装置が適用されるデジタルスチルカメラについて図１を用いて説明する。なお、以下において、同一構成要素には同じ記号および符号を付しその説明を省略する。
【００２０】
図１は、本発明の実施の形態１における画素データ処理装置が適用されるデジタルスチルカメラ１０００の構成の概要を示すブロック図である。図１を参照して、デジタルスチルカメラ１０００は、光学系１０２、ＣＣＤ１０４、周辺回路１０６、データ処理部１１２、メモリ１１４、カメラ制御部１１６および入出力インタフェース回路１１８を備える。
【００２１】
光学系１０２は、内部に撮像レンズを含む。カメラ制御部１１６は光学系の撮影動作やデータ処理動作を制御する。光学系１０２で取得された光信号はＣＣＤ１０４により電気信号に変換される。ＣＣＤ１０４は、ベイヤー型原色フィルタで構成される。周辺回路１０６は、ＣＣＤ１０４の出力をデジタルデータに変換し、データ処理部１１２に出力する。
【００２２】
データ処理部１１２は、画像処理部１０８と圧縮伸張部１１０とを含む。画像処理部１０８は、欠落した色データを生成する（補間データを生成する）画像補間部を含む。圧縮伸張部１１０は、画像データを圧縮し、または圧縮された画像データを伸張するための伸張処理を行なう。画像メモリ１１４は、画像データを記憶する。入出力インタフェース回路１１８は、撮影条件等を外部から受けたり、また所定の処理を施した画像データを図示しないメモリカードの形で取出すための制御を行なう。
【００２３】
次に、画像処理部１０８に含まれる画像補間部１００について説明する。図２は、本発明の実施の形態１における画像補間部１００の構成の概要を説明するための図である。図２を参照して、画像補間部１００は、特徴抽出部１、方式選択部２、第１方式部３、第２方式部４およびセレクタ５を含む。
【００２４】
特徴抽出部１は、入力した画像データの特徴を抽出する。方式選択部２は、特徴抽出部１における抽出結果に基づき、第１方式部３または第２方式部４のいずれかの補間処理を選択するための選択信号を出力する。第１方式部３および第２方式部４のそれぞれは、互いに異なる補間処理を実行して補間データを生成する。セレクタ５は、方式選択部２の出力する選択信号に従い、第１方式部３または第２方式部４のいずれか一方の補間データを選択的に出力する。
【００２５】
図３は、ＣＣＤ１０４に含まれるベイヤー型原色フィルタの特徴について説明するための図である。Ｒは赤色、Ｇは緑色、Ｂは青色に対応する色フィルタであり、それぞれは１画素に対応している。垂直方向・水平方向ともに１画素おきに同色のフィルタが配置されている（ベイヤー配列）。ＣＣＤ１０４により、各画素毎に、３原色（Ｒ、Ｇ、Ｂ）のうちの特定の色情報が得られる。（Ｒ、Ｇ、Ｂ）のうち、Ｒデータを有する画素をＲ画素、Ｇデータを有する画素をＧ画素、Ｂデータを有する画素をＢ画素とそれぞれ称す。
【００２６】
図２を参照して、画像補間部１００は、各画素毎に特定の色情報を有する画像データ（入力データ）を受ける。図４は、入力パターンの一例を示す図である。画像補間部１００は、図４（ａ）に示す入力パターンＰ１または図４（ｂ）に示す入力パターンＰ２を受ける。入力パターンＰ１およびＰ２において記号ＲはＲ画素、記号ＧはＧ画素、記号ＢはＢ画素にそれぞれ対応している。なお、記号Ｒと記号Ｂとを互いに入れ替えた場合も含まれる。
【００２７】
実施の形態１においては、第１方式部３および第２方式部４は、Ｒ画素、Ｂ画素にＧデータを与える（補間データＧを与える）ための処理を行なう。特徴抽出部１は、補間対象となる画素を中心にＧデータの対称性の有無を検出する。なお、処理時間を短縮するため、２種類の補間回路（第１方式部３および第２方式部４）と特徴抽出部１とを並列に動作させ、特徴抽出および方式選択を行なっている間に補間処理が実行されるように構成する。
【００２８】
なお、Ｒ画素に対するＢデータの補間、Ｂ画素に対するＲデータの補間、およびＧ画素に対するＲデータ、Ｂデータの補間については後述する実施の形態において説明する。
【００２９】
次に、本発明の実施の形態１における特徴抽出部１について図５を用いて説明する。図５は、本発明の実施の形態１における特徴抽出部１の構成の概要を説明するための図である。図５を参照して、特徴抽出部１は、画素を抽出するための画素抽出部６、入力パターンＰ１およびＰ２に対応する切替を行なうためのカウンタ７および抽出した画素の評価を行なう評価部を含む。評価部は、水平方向の対称性を評価するための第１評価部８ａ、第２評価部８ｂおよび第３評価部８ｃと、垂直方向の対称性を評価するための第４評価部８ｄ、第５評価部８ｅおよび第６評価部８ｆとで構成される。なお、以下の例では、特徴を抽出する範囲を５×５画素の範囲とする。
【００３０】
画素抽出部６は、入力パターンＰ１またはＰ２に対し、Ｇ画素を抽出する。なお、入力パターンＰ１とＰ２とは交互に入力されるため、画素抽出部６は、１ビットカウンタ（カウンタ７）の出力に基づき抽出する画素を変える。
【００３１】
入力データとして、入力パターンＰ１を受けた場合について説明する。入力パターンＰ１に対しては、画素抽出部６は、Ｇ画素、すなわち画素Ｇ１１、Ｇ１３、Ｇ１５、Ｇ３１、Ｇ３３、Ｇ３５、Ｇ５１、Ｇ５３およびＧ５５を抽出する。第１評価部８ａ〜第３評価部８ｃは、水平方向に配列するデータの対称性の有無を調べる。具体的には、第１評価部８ａは（Ｇ１１、Ｇ１３、Ｇ１５）について次式（１）が、第２評価部８ｂは（Ｇ３１、Ｇ３３、Ｇ３５）について次式（２）が、第３評価部８ｃは（Ｇ５１、Ｇ５３、Ｇ５５）について次式（３）が成り立つか否かをそれぞれ調べる。
【００３２】
Ｇ１１−Ｇ１５＜ｔｈ１、（Ｇ１１＋Ｇ１５）−Ｇ１３＞ｔｈ２…（１）
Ｇ３１−Ｇ３５＜ｔｈ１、（Ｇ３１＋Ｇ３５）−Ｇ３３＞ｔｈ２…（２）
Ｇ５１−Ｇ５５＜ｔｈ１、（Ｇ５１＋Ｇ５５）−Ｇ５３＞ｔｈ２…（３）
なお、ｔｈ１、ｔｈ２はしきい値であり、ｔｈ１＜ｔｈ２が成り立つ任意の数で実験的に定めるものとする。回路の大きさを考えて、第２評価部８ｂのみを配置するようにしてもよい。
【００３３】
同様に、第４評価部８ｄ〜第６評価部８ｆは、垂直方向に配列するデータの対称性の有無を調べる。具体的には、第４評価部８ｄは（Ｇ１１、Ｇ３１、Ｇ５１）について次式（４）が、第５評価部８ｅは（Ｇ１３、Ｇ３３、Ｇ５３）について次式（５）が、第６評価部８ｆは（Ｇ１５、Ｇ３５、Ｇ５５）について次式（６）がそれぞれ成り立つか否かを調べる。
【００３４】
Ｇ１１−Ｇ５１＜ｔｈ１、（Ｇ１１＋Ｇ５１）−Ｇ３１＞ｔｈ２…（４）
Ｇ１３−Ｇ５３＜ｔｈ１、（Ｇ１３＋Ｇ５３）−Ｇ３３＞ｔｈ２…（５）
Ｇ１５−Ｇ５５＜ｔｈ１、（Ｇ１５＋Ｇ５５）−Ｇ３５＞ｔｈ２…（６）
なお、回路の大きさを考えて、第５評価部８ｅのみを配置するようにしてもよい。特徴抽出部１は、第１評価部８ａ〜第６評価部８ｆの結果（真・偽）を出力Ａ１〜Ａ６する。
【００３５】
次に、入力データとして入力パターンＰ２を受けた場合について説明する。入力パターンＰ２については、画素抽出部６は、Ｇ画素である画素Ｇ１２、Ｇ１４、Ｇ２１、Ｇ２３、Ｇ２５、Ｇ３２、Ｇ３４、Ｇ４１、Ｇ４３、Ｇ４５、Ｇ５２およびＧ５４を抽出する。
【００３６】
第１評価部８ａ〜第２評価部８ｂは、水平方向に配列するデータの対称性の有無について調べる。具体的には、第１評価部８ａは（Ｇ２１、Ｇ２３、Ｇ２５）について次式（１ｂ）が、第２評価部８ｂは（Ｇ４１、Ｇ４３、Ｇ４５）について次式（２ｂ）が成り立つか否かを調べる。
【００３７】
Ｇ２１−Ｇ２５＜ｔｈ１、（Ｇ２１＋Ｇ２５）−Ｇ２３＞ｔｈ２…（１ｂ）Ｇ４１−Ｇ４５＜ｔｈ１、（Ｇ４１＋Ｇ４５）−Ｇ４３＞ｔｈ２…（２ｂ）第４評価部８ｄ〜第５評価部８ｅは、垂直方向に配列するデータの対称性の有無について調べる。具体的には、第４評価部８ｄは（Ｇ１２、Ｇ３２、Ｇ５２）について次式（４ｂ）が、第５評価部８ｅは（Ｇ１４、Ｇ３４，Ｇ５４）について次式（５ｂ）が成り立つか否かをそれぞれ調べる。
【００３８】
Ｇ１２−Ｇ５２＜ｔｈ１、（Ｇ１２＋Ｇ５２）−Ｇ３２＞ｔｈ２…（４ｂ）
Ｇ１４−Ｇ５４＜ｔｈ１、（Ｇ１４＋Ｇ５４）−Ｇ３４＞ｔｈ２…（５ｂ）
特徴抽出部１は、第１評価部８ａ〜第２評価部８ｂ、第４評価部８ｄ〜第５評価部８ｅの結果（真・偽）を出力Ａ１〜Ａ２、Ａ４〜Ａ５する。この際、第３評価部８ｃおよび第６評価部８ｆについては特に考慮しない。
【００３９】
図６は、本発明の実施の形態１における方式選択部２の構成の概要を説明するための図である。図６を参照して、方式選択部２は、水平方向対称性判定回路９、垂直方向対称性判定回路１０、ＯＲ回路１１およびカウンタ１２を含む。水平方向対称性判定回路９は、第１評価部８ａ、第２評価部８ｂおよび第３評価部８ｃのそれぞれの出力Ａ１〜Ａ３に基づきＧデータの水平方向における対称性を判定する。垂直方向対称性判定回路１０は、第４評価部８ｄ、第５評価部８ｅおよび第６評価部８ｆのそれぞれの出力Ａ４〜Ａ６に基づきＧデータの垂直方向における対称性を判定する。なお、水平方向対称性判定回路９および垂直方向対称性判定回路１０は、１ビットカウンタ（カウンタ１２）の出力０／１に基づき、処理対象（入力パターンＰ１、Ｐ２）を切換える。
【００４０】
水平方向対称性判定回路９は、入力パターンＰ１については、出力Ａ１〜Ａ３のすべてが真の場合には真を、それ以外の場合には偽を出力し、入力パターンＰ２については、出力Ａ１およびＡ２が真の場合には真を、それ以外の場合には偽を出力する。
【００４１】
また、垂直方向対称性判定回路１０は、入力パターンＰ１については、出力Ａ４〜Ａ６のすべてが真の場合には真を、それ以外の場合には偽を出力し、入力パターンＰ２については、出力Ａ４およびＡ５が真の場合には真を、それ以外の場合には偽を出力する。
【００４２】
ＯＲ回路１１は、水平方向対称性判定回路９の出力または垂直方向対称性判定回路１０の出力のいずれか一方が真の場合には、第２方式部４を、偽の場合には第１方式部３を選択するための選択信号を出力する。すなわち、Ｇデータに関し水平方向または垂直方向のいずれかに対称性がある場合には第２方式部４を選択し、それ以外の場合には第１方式部３の補間処理を適用することを指定する。
【００４３】
続いて、本発明の実施の形態１における第１方式部３および第４方式部４について説明する。図７は、補間処理について説明するための図である。図７では、画素の並びを、水平方向をＸ軸で、垂直方向をＹ軸で表現し、Ｘ座標（ｉ−２）〜（ｉ＋２）、Ｙ座標（ｊ−２）〜（ｊ＋２）に配置された２５画素を表示している。座標（Ｋ，Ｌ）の画素またはデータを、色Ｇ、Ｒ、Ｂに対応して、記号Ｇ（Ｋ，Ｌ）、Ｒ（Ｋ，Ｌ）、Ｂ（Ｋ，Ｌ）で表わす。
【００４４】
図７を参照して、画素Ｒ（ｉ，ｊ）に対して補間データＧを求める方法について説明する。なお、Ｒ画素とＢ画素とを置換えることにより、同様の手順でＢ画素の補間データＧが算出される。
【００４５】
補間対象である画素Ｒ（ｉ，ｊ）を中心とする垂直方向のＲデータの変化量をΔＶ、水平方向のＲデータの変化量をΔＨとする。
【００４６】
ΔＶ＝｛Ｒ（ｉ，ｊ−２）＋Ｒ（ｉ，ｊ＋２）｝−Ｒ（ｉ，ｊ） …（７）
ΔＨ＝｛Ｒ（ｉ−２，ｊ）＋Ｒ（ｉ＋２，ｊ）｝−Ｒ（ｉ，ｊ） …（８）
第１方式部３では、色の変化の割合（差）が等しいと仮定して、ΔＶまたはΔＨを予測誤差とみなして次式（９）〜（１０）に示す補間データｇｖ、ｇｈを算出する。
【００４７】
ｇｖ（ｉ，ｊ）＝１／２・｛Ｇ（ｉ，ｊ＋１）＋Ｇ（ｉ，ｊ−１）｝−１／２・ΔＶ …（９）
ｇｈ（ｉ，ｊ）＝１／２・｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝−１／２・ΔＨ …（１０）
第１方式部３では、垂直方向の相関が強い場合（△Ｈ＞△Ｖ）、式（９）に示す補間データｇｖを、それ以外の場合には式（１０）に示す補間データｇｈを出力する。
【００４８】
第２方式部４では、色の変化の比率（低周波成分の比率）が等しいと仮定して補間データを算出する。まず、次式に示す低周波成分を算出する。
【００４９】
ＧLPF３ｖ＝１／２・（Ｇ２ｖ＋Ｇ４ｖ） …（１１ａ）
ＲLPF３ｖ＝１／４・Ｒ１ｖ＋１／２・Ｒ３＋１／４・Ｒ５ｖ …（１２ａ）
ＧLPF３ｈ＝１／２・（Ｇ２ｈ＋Ｇ４ｈ） …（１１ｂ）
ＲLPF３ｈ＝１／４・Ｒ１ｈ＋１／２・Ｒ３＋１／４・Ｒ５ｈ …（１２ｂ）
ここで、Ｒ３は、補間対象となるＲ画素のＲデータを、Ｇ２ｖ、Ｇ４ｖは、画素Ｒ３に対し垂直方向に隣接するＧ画素のＧデータを、Ｒ１ｖ、Ｒ５ｖは、画素Ｇ２ｖ、Ｇ４ｖに対し垂直方向に隣接するＲ画素のＲデータを示している。具体的には、図７において、Ｒ３はＲ（ｉ、ｊ）に、Ｇ２ｖはＧ（ｉ，ｊ＋１）に、Ｇ４ｖはＧ（ｉ，ｊ−１）に、Ｒ１ｖはＲ（ｉ，ｊ＋２）に、Ｒ５ｖはＲ（ｉ，ｊ−２）に、それぞれ対応している。
【００５０】
さらに、Ｇ２ｈ、Ｇ４ｈは、画素Ｒ３に対し水平方向で隣接するＧ画素のＧデータを、Ｒ１ｈ、Ｒ５ｈは、画素Ｇ２ｈ、Ｇ４ｈに対し水平方向で隣接するＲ画素のＲデータを示している。具体的には、図７において、Ｇ２ｈはＧ（ｉ−１，ｊ）に、Ｇ４ｈはＧ（ｉ＋１，ｊ）に、Ｒ１ｈはＲ（ｉ−２，ｊ）に、Ｒ５ｈはＲ（ｉ＋２，ｊ）にそれぞれ対応している。
【００５１】
座標（ｉ，ｊ）におけるＧとＲとの相関は、低周波成分ＧLPFと低周波成分ＲLPFとの相関に等しいと仮定する。第２方式部４は、式（１１ａ）〜（１２ａ）を用いて式（１３）の補間データを、式（１１ｂ）〜（１２ｂ）を用いて式（１４）の補間データを算出する。
【００５２】
ｇｖ（ｉ，ｊ）＝Ｒ（ｉ，ｊ）×ＧLPF３ｖ／ＲLPF３ｖ…（１３）
ｇｈ（ｉ，ｊ）＝Ｒ（ｉ，ｊ）×ＧLPF３ｈ／ＲLPF３ｈ…（１４）
第２方式部４は、垂直方向の相関が強い場合（ΔＨ＞ΔＶ）には式（１３）の補間データｇｖを、それ以外の場合には式（１４）の補間データｇｈを出力する。
【００５３】
図２を参照して、セレクタ５は、選択信号に応じて、Ｇデータに対称性がある場合には、低周波成分を考慮した第２方式部４の補間データを、それ以外の場合には第１方式部３の補間データを出力する。
【００５４】
ここで、上述した補間処理を行なう方式部（第１方式部３、第２方式部４）の構成例について、図８〜図９を用いて説明する。
【００５５】
図８は、本発明の実施の形態１における第１方式部３の構成例について説明するための図である。図８を参照して、第１方式部３は、Ｇデータ算出回路５０、比較判定回路５１およびセレクタ５２を含む。Ｇデータ算出回路５０は、入力データを受けて、式（９）〜（１０）に対応する補間データｇｖ、ｇｈを算出する。比較判定回路５１は、水平方向の変位ΔＨおよび垂直方向の変位ΔＶの大小関係を比較し、補間データｇｖ、ｇｈのいずれを出力すべきかを判定する。セレクタ５２は、比較判定回路５１の判定結果に基づき、補間データｇｖ、ｇｈのいずれか一方を補間データＧとして出力する。なお、比較判定回路５１の結果に基づき、Ｇデータ算出回路５０においてｇｖ、ｇｈのいずれか一方を算出するように構成してもよい。
【００５６】
図９は、本発明の実施の形態１における第２方式部４の構成例について説明するための図である。図９を参照して、第２方式部４は、Ｇデータ算出回路５３、比較判定回路５４およびセレクタ５２を含む。Ｇデータ算出回路５３は、入力データを受けて式（１３）〜（１４）に対応する補間データｇｖ、ｇｈを算出する。比較判定回路５４は、水平方向の変位ΔＨおよび垂直方向の変位ΔＶの大小関係を比較し、補間データｇｖ、ｇｈのいずれを出力すべきかを判定する。セレクタ５２は、比較判定回路５４の判定結果に基づき、補間データｇｖ、ｇｈのいずれか一方を補間データＧとして出力する。なお、比較判定回路５４の結果に基づき、Ｇデータ算出回路５３においてｇｖ、ｇｈのいずれか一方を算出するように構成してもよい。
【００５７】
このように、画像の特徴に応じて最適な補間処理を選択することにより、高画質な画像を得ることが可能となる。また、第１方式部３および第２方式部４の処理を並列して動作させるため、従来のシステムに比べてセレクタ５での選択動作にかかる時間のみが増加する。したがって従来のシステムとほぼ同様の処理速度を保証することが可能となる。
【００５８】
［実施の形態２］
本発明の実施の形態２では、補間対象の画素の周辺に位置する画素について、水平方向・垂直方向および斜め方向の対称性を検出する。図１０は、本発明の実施の形態２における画像補間部２００の構成を説明するための図である。図１０に示す画像補間部２００が、図２に示す画像補間部１００と異なる点は、特徴抽出部１に代わり水平方向、垂直方向および斜め方向の特徴を抽出する特徴抽出部２１を、方式選択部２に代わり方式選択部２２を備える点にある。
【００５９】
図１１は、本発明の実施の形態２における特徴抽出部２１の構成について説明するための図である。図１１を参照して、特徴抽出部２１は、画素抽出部６、カウンタ７、および抽出した画素の評価を行なう評価部を含む。評価部は、水平方向の対称性を評価するための第１評価部８ａ、第２評価部８ｂおよび第３評価部８ｃと、垂直方向の対称性を評価するための第４評価部８ｄ、第５評価部８ｅおよび第６評価部８ｆと、斜め方向の対称性を評価するための第７評価部８ｇ、第８評価部８ｈ、第９評価部８ｉ、第１０評価部８ｊ、第１１評価部８ｋ、および第１２評価部８ｌを含む。
【００６０】
画素抽出部６、カウンタ７および第１評価部８ａ〜第６評価部８ｆは、実施の形態１で説明したとおりである。斜め方向の対称性について評価する第７評価部８ｇ〜第１２評価部８ｌについて説明する。
【００６１】
入力データとして、入力パターンＰ１を受けた場合について説明する。第７評価部８ｇは（Ｇ１１、Ｇ３３、Ｇ５５）に対して次式（１５）が、第８評価部８ｈは（Ｇ１５、Ｇ３３、Ｇ５１）に対して次式（１６）成り立つか否かをそれぞれ調べる。
【００６２】
Ｇ１１−Ｇ５５＜ｔｈ１、（Ｇ１１＋Ｇ５５）−Ｇ３３＞ｔｈ２…（１５）
Ｇ１５−Ｇ５１＜ｔｈ１、（Ｇ１５＋Ｇ５１）−Ｇ３３＞ｔｈ２…（１６）
なお、ｔｈ１、ｔｈ２はしきい値であり、ｔｈ１＜ｔｈ２が成り立つ任意の数で実験的に定めるものとする。特徴抽出部２１は、第１評価部８ａ〜第８評価部８ｈの結果（真・偽）を出力Ａ１〜Ａ８する。この際、第９評価部８ｉ〜第１２評価部８ｌは考慮しない。
【００６３】
次に、入力データが入力パターンＰ２に対応する場合について説明する。第９評価部８ｉは（Ｇ２１、Ｇ３２、Ｇ４３、Ｇ５４）について式（１７）が、第１０評価部８ｊは（Ｇ１２、Ｇ２３、Ｇ３４、Ｇ４５）について式（１８）が、第１１評価部８ｋは（Ｇ１４、Ｇ２３、Ｇ３２、Ｇ４１）に対して式（１９）が、第１２評価部８ｌは（Ｇ２５、Ｇ３４、Ｇ４３、Ｇ５２）について式（２０）が成立するか否かをそれぞれ調べる。
【００６４】
Ｇ２１−Ｇ５４＜ｔｈ１、Ｇ３２−Ｇ４３＜ｔｈ１、
（Ｇ２１＋Ｇ５４）−（Ｇ３２−Ｇ４３）＞ｔｈ３ …（１７）
Ｇ１２−Ｇ４５＜ｔｈ１、Ｇ２３−Ｇ３４＜ｔｈ１、
（Ｇ１２＋Ｇ４５）−（Ｇ２３−Ｇ３４）＞ｔｈ３ …（１８）
Ｇ１４−Ｇ４１＜ｔｈ１、Ｇ２３−Ｇ３２＜ｔｈ１、
（Ｇ１４＋Ｇ４１）−（Ｇ２３−Ｇ３２）＞ｔｈ３ …（１９）
Ｇ２５−Ｇ５２＜ｔｈ１、Ｇ３４−Ｇ４３＜ｔｈ１、
（Ｇ２５＋Ｇ５２）−（Ｇ３４−Ｇ４３）＞ｔｈ３ …（２０）
なお、ｔｈ１、ｔｈ３はしきい値であり、ｔｈ１＜ｔｈ３が成り立つ任意の数で実験的に定めるものとする。特徴抽出部２１は、第１評価部８ａ〜第６評価部８ｆ、第９評価部８ｉ〜第１２評価部８ｌの結果（真・偽）を出力Ａ１〜Ａ６、Ａ９〜Ａ１２する。この際、第７評価部８ｇ〜第８評価部８ｈについては特に考慮しない。
【００６５】
図１２は、本発明の実施の形態２における方式選択部２２の構成の概要を説明するための図である。図１２を参照して、方式選択部２２は、水平方向対称性判定回路９、垂直方向対称性判定回路１０、カウンタ１２、斜め方向対称性判定回路２６およびＯＲ回路２７を含む。水平方向対称性判定回路９、垂直方向対称性判定回路１０、カウンタ１２については、実施の形態１で説明したとおりである。
【００６６】
斜め方向対称性判定回路２６は、斜め方向の対称性を評価する第７評価部８ｇ〜第１２評価部８ｌの出力Ａ７〜Ａ１２を受けて、斜め方向の対称性について判定する。この際、１ビットカウンタ（カウンタ１２）の出力０／１に基づき、処理対象（入力パターンＰ１、Ｐ２）を切換える。
【００６７】
たとえば、入力データが入力パターンＰ１に対応する場合には、出力Ａ７が真または出力Ａ８が真の場合には真を、それ以外の場合には偽を出力する。入力データが入力パターンＰ２に対応する場合には、出力Ａ９およびＡ１０がともに真、または出力Ａ１１およびＡ１２がともに真の場合には真を、それ以外の場合には偽を出力する。
【００６８】
ＯＲ回路２７は、水平方向対称性判定回路９の出力、垂直方向対称性判定回路１０の出力および斜め方向対称性判定回路２６の出力のうちいずれか一つが真の場合には、第２方式部４を、それ以外の場合には第１方式部３を選択するための選択信号を出力する。すなわち、水平方向、垂直方向または斜め方向のいずれかに対称性がある場合には第２方式部４を選択し、いずれにおいても対称性が検出されない場合には第１方式部３の補間処理を適用することを指定する。
【００６９】
これにより、図１０に示すセレクタ５は、水平方向、垂直方向または斜め方向のいずれかに対称性がある場合には第２方式部４の出力する補間データを、それ以外の場合には第１方式部３の出力する補間データを選択的に出力することになる。
【００７０】
このように構成することにより、画像の特徴（対称性）をより精度よく抽出することが可能となるため、より高画質な画像を得ることが可能となる。
【００７１】
［実施の形態３］
本発明の実施の形態３では、補間対象の画素と同じ種類の色データを有する画素を用いて、水平方向および垂直方向の対称性を検出する。
【００７２】
図１３は、本発明の実施の形態３における画像補間部３００の構成の概要を説明するための図である。図１３を参照して、画像補間部３００は、特徴抽出部３１、方式選択部３２、第１方式部３３、第２方式部３４およびセレクタ５を備える。
【００７３】
特徴抽出部３１は、補間対象の画素と同じ種類の色データ（Ｒ、Ｇ、Ｂ）をもつ画素を抽出し、水平方向・垂直方向に関して対称性があるか否かを調べる。具体的には、図１４に示す入力パターンＰ３を入力に受け、Ｘ画素の特徴を抽出する。なお、図１４に示すＸは、補間対象となる画素であって、Ｒ画素、Ｇ画素またはＢ画素のいずれかに対応している。
【００７４】
図１５は、本発明の実施の形態３における特徴抽出部３１の構成の概要について説明するための図である。図１５を参照して、特徴抽出部３１は、画素抽出部３５、第１評価部８ａ、第２評価部８ｂ、第３評価部８ｃ、第４評価部８ｄ、第５評価部８ｅおよび第６評価部８ｆを含む。画素抽出部３５は、図１４に示す画素Ｘ１１、Ｘ１３、Ｘ１５、Ｘ３１、Ｘ３３、Ｘ３５、Ｘ５１、Ｘ５３およびＸ５５を抽出する。
【００７５】
第１評価部８ａは（Ｘ１１、Ｘ１３、Ｘ１５）について次式（２１）が、第２評価部８ｂは（Ｘ３１、Ｘ３３、Ｘ３５）について次式（２２）が、第３評価部８ｃは（Ｘ５１、Ｘ５３、Ｘ５５）について次式（２３）がそれぞれ成り立つか否かを調べる。
【００７６】
Ｘ１１−Ｘ１５＜ｔｈ１、（Ｘ１１＋Ｘ１５）−Ｘ１３＞ｔｈ２…（２１）
Ｘ３１−Ｘ３５＜ｔｈ１、（Ｘ３１＋Ｘ３５）−Ｘ３３＞ｔｈ２…（２２）
Ｘ５１−Ｘ５５＜ｔｈ１、（Ｘ５１＋Ｘ５５）−Ｘ５３＞ｔｈ２…（２３）
なお、ｔｈ１、ｔｈ２はしきい値であり、ｔｈ１＜ｔｈ２が成り立つ任意の数で実験的に定めるものとする。回路の大きさを考慮して、第２評価部８ｂのみで構成してもよい。
【００７７】
第４評価部８ｄは（Ｘ１１、Ｘ３１、Ｘ５１）について次式（２４）が、第５評価部８ｅは（Ｘ１３、Ｘ３３、Ｘ５３）について次式（２５）が、第６評価部８ｆは（Ｘ１５、Ｘ３５、Ｘ５５）について次式（２６）がそれぞれ成立するか否かを調べる。
【００７８】
Ｘ１１−Ｘ５１＜ｔｈ１、（Ｘ１１＋Ｘ５１）−Ｘ３１＞ｔｈ２…（２４）
Ｘ１３−Ｘ５３＜ｔｈ１、（Ｘ１３＋Ｘ５３）−Ｘ３３＞ｔｈ２…（２５）
Ｘ１５−Ｘ５５＜ｔｈ１、（Ｘ１５＋Ｘ５５）−Ｘ３５＞ｔｈ２…（２６）
なお、回路の大きさを考慮して、第５評価部８ｅのみを配置するようにしてもよい。特徴抽出部３１は、第１評価部８ａ〜第６評価部８ｆの結果（真・偽）を出力Ａ１〜Ａ６する。
【００７９】
図１６は、本発明の実施の形態３における方式選択部３２の構成の概要について説明するための図である。図１６を参照して、方式選択部３２は、水平方向対称性判定回路９、垂直方向対称性判定回路１０およびＯＲ回路１１を含む。水平方向対称性判定回路９は、第１評価部８ａ、第２評価部８ｂおよび第３評価部８ｃのそれぞれの出力Ａ１〜Ａ３に基づき水平方向に並ぶＸ画素のデータの対称性を判定する。垂直方向対称性判定回路１０は、第４評価部８ｄ、第５評価部８ｅおよび第６評価部８ｆのそれぞれの出力Ａ４〜Ａ６に基づき垂直方向に並ぶＸ画素のデータの対称性を判定する。
【００８０】
ＯＲ回路１１は、水平方向対称性判定回路９の出力または垂直方向対称性判定回路１０の出力のいずれか一方が真の場合には、第２方式部３４を、偽の場合には第１方式部３３を選択するための選択信号を出力する。すなわち、水平方向、垂直方向のいずれかに対称性がある場合には第２方式部３４を、それ以外の場合には第１方式部３３の補間処理を適用することを指示する。
【００８１】
続いて、本発明の実施の形態３における第１方式部３３および第２方式部３４の補間処理について説明する。Ｒ画素およびＢ画素のそれぞれに補間データＧを与えるための処理については実施の形態１で説明したとおりである。以下、Ｇ画素に補間データＲ、Ｂを与え、Ｂ画素に補間データＲを、Ｒ画素に補間データＢを求める処理について説明する。
【００８２】
なお、Ｒ、Ｂ画素は、Ｇ画素と異なり、補間する画素の位置によって参照できる画素の位置が変化する。よって、補間する画素の位置により補間式を変更しなければならない。このため、補間データＲ、Ｂを求める場合は、参照する画素範囲を３×３に限定し、その範囲内にある補間対象色の色データと同位置における補間後のデータ（補間データＧ）とを用いて色データ間の関係を求める。これらの関係に基づき補間位置のＧデータから補間位置の色データを算出する。以下の式において、Ｇは、入力データまたは補間データを表わしている。
【００８３】
第１方式部３３の処理について説明する。図１７は、補間処理について説明するための概念図であり、図１７（ａ）は、Ｘ・Ｙ座標系における座標（ｉ，ｊ）がＧ画素に、図１７（ｂ）は、座標（ｉ，ｊ）がＢ画素に対応する場合をそれぞれ示している。
【００８４】
図１７（ａ）を参照して、Ｇ画素は、上下方向および左右方向に補間すべき色の画素が存在する。色の変化の割合（差）が等しいと仮定すると、式（２７）〜（２８）が成立する。
【００８５】
Ｒ（ｉ，ｊ）−Ｇ（ｉ，ｊ）≒Ｒ（ｉ−１，ｊ）−Ｇ（ｉ−１，ｊ）
≒Ｒ（ｉ＋１，ｊ）−Ｇ（ｉ＋１，ｊ） …（２７）
Ｂ（ｉ，ｊ）−Ｇ（ｉ，ｊ）≒Ｂ（ｉ，ｊ−１）−Ｇ（ｉ，ｊ−１）
≒Ｂ（ｉ，ｊ＋１）−Ｇ（ｉ，ｊ＋１） …（２８）
よって、Ｇ（ｉ，ｊ）における補間データＲ、Ｂを、式（２９）〜（３０）を用いて算出する。
Ｒ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）＋１／２・｛Ｒ（ｉ−１，ｊ）−Ｇ（ｉ−１，ｊ）＋Ｒ（ｉ＋１，ｊ）−Ｇ（ｉ＋１，ｊ）｝ …（２９）
Ｂ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）＋１／２・｛Ｂ（ｉ，ｊ−１）−Ｇ（ｉ，ｊ−１）＋Ｂ（ｉ，ｊ＋１）−Ｂ（ｉ，ｊ＋１）｝ …（３０）
図１７（ｂ）を参照して、Ｂ画素（またはＲ画素）は、斜め方向、上下および左右方向に補間すべき色の画素が存在する。よって、式（３１）が成立する。
【００８６】
よって、Ｂ（ｉ，ｊ）における補間データＲを式（３２）に基づき算出する（なお、座標（ｉ，ｊ）がＲ画素の場合には、式（３１）〜（３２）におけるＲを対応するＢに置換える。
【００８７】
Ｒ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）＋１／４・｛Ｒ（ｉ−１，ｊ−１）−Ｇ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）−Ｇ（ｉ＋１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）−Ｇ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）−Ｇ（ｉ＋１，ｊ＋１）｝…（３２）
続いて、第２方式部３４の処理について説明する。色の変化の比率が等しい（低周波成分の比率が等しい）と仮定すると、図１７（ａ）については式（３３）〜（３４）が成立し、図１７（ｂ）については、式（３５）が成立する。
【００８８】
Ｒ（ｉ，ｊ）／Ｇ（ｉ，ｊ）≒Ｒ（ｉ−１，ｊ）／Ｇ（ｉ−１，ｊ）
≒Ｒ（ｉ＋１，ｊ）／Ｇ（ｉ＋１，ｊ） …（３３）
Ｂ（ｉ，ｊ）／Ｇ（ｉ，ｊ）≒Ｂ（ｉ，ｊ−１）／Ｇ（ｉ，ｊ−１）
≒Ｂ（ｉ，ｊ＋１）／Ｇ（ｉ，ｊ＋１） …（３４）
Ｒ（ｉ，ｊ）／Ｇ（ｉ，ｊ）≒Ｒ（ｉ−１，ｊ−１）／Ｇ（ｉ−１，ｊ−１）
≒Ｒ（ｉ＋１，ｊ−１）／Ｇ（ｉ＋１，ｊ−１）
≒Ｒ（ｉ−１，ｊ＋１）／Ｇ（ｉ−１，ｊ＋１）
≒Ｒ（ｉ＋１，ｊ＋１）／Ｇ（ｉ＋１，ｊ＋１） …（３５）
したがって、図１７（ａ）におけるＧ（ｉ，ｊ）の補間データＲ、Ｂを式（３６）〜（３７）を用いて算出する。図１７（ｂ）におけるＢ（ｉ，ｊ）の補間データＲを式（３８）を用いて算出する。なお、座標（ｉ，ｊ）がＲ画素の場合には、式（３５）、（３８）におけるＲを対応するＢに置換える。
【００８９】
Ｒ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）×｛Ｒ（ｉ−１，ｊ）＋Ｒ（ｉ＋１，ｊ）｝／Ｇ（ｉ＋１，ｊ）＋Ｇ（ｉ−１，ｊ） …（３６）
Ｂ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）×｛Ｂ（ｉ，ｊ−１）＋Ｂ（ｉ，ｊ＋１）｝／｛Ｇ（ｉ，ｊ＋１）＋Ｇ（ｉ，ｊ−１）｝ …（３７）
Ｒ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）×｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）｝／Ｇ（ｉ−１，ｊ＋１）＋Ｇ（ｉ＋１，ｊ−１）＋Ｇ（ｉ−１，ｊ＋１）＋Ｇ（ｉ＋１，ｊ＋１）…（３８）
ここで、本発明の実施の形態３における方式部（第１方式部３３、第２方式部３４）の構成例について、図１８〜図１９を用いて説明する。
【００９０】
図１８は、本発明の実施の形態３における第１方式部３３の構成例について説明するための図である。図１８を参照して、第１方式部３３は、画素判定回路６０、Ｇデータ算出回路５５、Ｒ／Ｂデータ算出回路５６および５７を含む。画素判定回路６０は、入力する画素が、Ｇ画素、Ｒ画素またはＢ画素であるか否かを判定する。Ｇ画素であれば、Ｒ／Ｂデータ算出回路５６を、Ｒ画素またはＢ画素であれば、Ｒ／Ｂデータ算出回路５７およびＧデータ算出回路５５を実行する。
【００９１】
Ｒ／Ｂデータ算出回路５６は、式（２９）〜（３０）で説明したように、ＧデータおよびＲデータに基づきＧ画素におけるＲデータを算出し、ＧデータおよびＢデータに基づきＧ画素におけるＢデータを算出する。
【００９２】
Ｇデータ算出回路５５は、実施の形態１で説明したＧデータ算出回路５０、比較判定回路５１およびセレクタ５２を含み、Ｒ画素またはＢ画素のＧデータを算出する。
【００９３】
Ｒ／Ｂデータ算出回路５７は、式（３２）で説明したように、ＲデータおよびＧデータに基づきＢ画素のＲデータを、ＢデータおよびＧデータに基づきＲ画素のＢデータを算出する。
【００９４】
図１９は、本発明の実施の形態３における第２方式部３４の構成を説明するための図である。第２方式部３４は、画素判定回路６０、Ｇデータ算出回路６５、Ｒ／Ｂデータ算出回路６６および６７を含む。画素判定回路６０の判定に基づき、Ｇ画素であれば、Ｒ／Ｂデータ算出回路６６を、Ｒ画素またはＢ画素であれば、Ｒ／Ｂデータ算出回路６７およびＧデータ算出回路６５を実行する。
【００９５】
Ｒ／Ｂデータ算出回路６６は、式（３６）〜（３７）で説明したように、ＧデータおよびＲデータに基づきＧ画素におけるＲデータを算出し、ＧデータおよびＢデータに基づきＧ画素におけるＢデータを算出する。
【００９６】
Ｇデータ算出回路６５は、実施の形態１で説明したＧデータ算出回路５３、比較判定回路５４およびセレクタ５２を含み、Ｒ画素またはＢ画素のＧデータを算出する。
【００９７】
Ｒ／Ｂデータ算出回路６７は、式（３８）で説明したように、ＲデータおよびＧデータに基づきＢ画素のＲデータを、ＢデータおよびＧデータに基づきＲ画素のＢデータを算出する。
【００９８】
図１３におけるセレクタ５は、Ｇ、Ｂ、Ｒ画素のそれぞれについて、方式選択部３２の出力する選択信号が真の場合（データの対称性あり）は、第２方式部３４の補間データを、それ以外の場合には第２方式部３３の補間データを出力する。
【００９９】
なお、本発明の実施の形態３においては入力パターンが１種類であるためカウンタは不要となる。したがって、単純な回路構成でかつ実施の形態１と同様に高画質な画像を得ることが可能となる。
【０１００】
［実施の形態４］
本発明の実施の形態４においては、補間対象の画素と同じ種類の色データを有する画素を用いて、垂直方向、水平方向および斜め方向の対称性を検出する。
【０１０１】
図２０は、実施の形態４における画像補間部４００の構成を説明するための図である。図２０に示す画像補間部４００は、図１３に示す特徴抽出部３１に代わり水平方向、垂直方向および斜め方向の特徴を抽出する特徴抽出部４１を、方式選択部３２に代わり方式選択部４２を備える。
【０１０２】
図２１は、本発明の実施の形態４における特徴抽出部４１の構成の概要について説明するための図である。図２１を参照して、特徴抽出部４１は、画素抽出部３５、第１評価部８ａ、第２評価部８ｂ、第３評価部８ｃ、第４評価部８ｄ、第５評価部８ｅ、第６評価部８ｆ、第７評価部８ｇおよび第８評価部８ｈを含む。
【０１０３】
第１評価部８ａ〜第６評価部８ｆは、実施の形態３で説明したように（Ｘ１１、Ｘ１３、Ｘ１５）、（Ｘ３１、Ｘ３３、Ｘ３５）、（Ｘ５１、Ｘ５３、Ｘ５５）、（Ｘ１１、Ｘ３１、Ｘ５１）、（Ｘ１３、Ｘ３３、Ｘ５３）および（Ｘ１５、Ｘ３５、Ｘ５５）についての対称性の有無を評価する。
【０１０４】
第７評価部８ｇおよび第８評価部８ｈは、斜め方向の対称性について評価する。具体的には、第７評価部８ｇは、（Ｘ１１、Ｘ３３、Ｘ５５）について次式（３９）が成り立つか否かを調べる。また、第８評価部８ｈは、（Ｘ１５、Ｘ３３、Ｘ５１）について次式（４０）が成立するか否かを調べる。
【０１０５】
Ｘ１１−Ｘ５５＜ｔｈ１、（Ｘ１１＋Ｘ５５）−Ｘ３３＞ｔｈ２ …（３９）
Ｘ１５−Ｘ５１＜ｔｈ１、（Ｘ１５＋Ｘ５１）−Ｘ３３＞ｔｈ２ …（４０）
なお、ｔｈ１、ｔｈ２はしきい値であり、ｔｈ１＞ｔｈ２が成り立つ任意の数で実験的に定めるものとする。特徴抽出部４１は、第１評価部８ａ〜第８評価部８ｈの結果（真・偽）を出力Ａ１〜Ａ８する。
【０１０６】
図２２は、本発明の実施の形態４における方式選択部４２の構成の概要を説明するための図である。方式選択部４２は、水平方向対称性判定回路９、垂直方向対称性判定回路１０、斜め方向対称性判定回路４６およびＯＲ回路２７を含む。斜め方向対称性判定回路４６は、第７評価部８ｇの出力Ａ７または第８評価部８ｈの出力Ａ８が真の場合には真を、それ以外の場合には偽を出力する。ＯＲ回路２７は、水平方向対称性判定回路９の出力、垂直方向対称性判定回路１０の出力および斜め方向対称性判定回路４６の出力のうちいずれか一つが真であれば真を、それ以外の場合は偽を出力する。ＯＲ回路２７から出力される選択信号が真の場合には、図２０に示すセレクタ５は、第２方式部３４の補間データを、それ以外の場合には第１方式部３３の補間データを選択的に出力する。
【０１０７】
以上のように、本発明の実施の形態４における構成をとることにより、すべての画素に対して最適な補間処理を行なうことができるため、高画質な画像を得ることが可能となる。また、カウンタを必要としないため回路構成を単純化することが可能となる。
【０１０８】
なお、実施の形態１〜実施の形態４はハードウェアまたはソフトウェアのいずれにおいても実現可能である。
【０１０９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１１０】
【発明の効果】
以上のように、この発明の実施の形態に係る画素データ処理装置によれば、各々が特定の色データを有する複数の画素について、色データの特徴に応じて補間データを選択するように構成することにより、高精度な画像を再現することが可能となる。また、補間処理を並列して実施することにより高速性を満たすことが可能となる。
【０１１１】
この発明の実施の形態に係る画素データ処理装置は、請求項２に係る画素データ処理装置であって、特に色データの水平方向・垂直方向の対称性を特徴として抽出し、これにより補正データを選択する。この結果、対称性が認められる場合には色の変化の割合に基づく補正データを、その他の場合には、色の変化の割合に基づく補正データを選択的に出力できるため適切な補間が可能となる。
【０１１２】
この発明の実施の形態に係る画素データ処理装置は、請求項２に係る画素データ処理装置であって、特に色データの水平方向・垂直方向・斜め方向の対称性を特徴として抽出し、これにより補正データを選択する。この結果、対称性が認められる場合には色の変化の割合に基づく補正データを、その他の場合には、色の変化の割合に基づく補正データを選択的に出力できるため高精度な補間が可能となる。
【０１１３】
この発明の実施の形態に係る画素データ処理装置は、請求項２に係る画素データ処理装置であって、Ｇデータの対称性を特徴として抽出する。データ数の最も多いＧデータを用いるため、高精度な特徴抽出が可能となる。
【０１１４】
この発明の実施の形態に係る画素データ処理装置は、請求項２に係る画素データ処理装置であって、補間する画素と同色の色データの対称性を特徴として抽出する。これにより、ベイヤー配列のＣＣＤを介して得た色データの全てに対して対称性を容易に抽出することが可能となる。
【０１１５】
さらに、この発明の実施の形態に係る画素データ処理方法によれば、各々が特定の色データを有する複数の画素について、色データの特徴に応じて補間データを選択することにより、高精度な画像を再現することが可能となる。また、補間処理を並列して実施することにより高速性を満たすことが可能となる。
【０１１６】
この発明の実施の形態に係る画素データ処理方法は、請求項８に係る画素データ処理方法であって、特に色データの水平方向・垂直方向の対称性を特徴として抽出し、これにより補正データを選択する。この結果、対称性が認められる場合には色の変化の割合に基づく補正データを、その他の場合には、色の変化の割合に基づく補正データを選択的に出力できるため適切な補間が可能となる。
【０１１７】
この発明の実施の形態に係る画素データ処理方法は、請求項８に係る画素データ処理方法であって、特に色データの水平方向・垂直方向・斜め方向の対称性を特徴として抽出し、これにより補正データを選択する。この結果、対称性が認められる場合には色の変化の割合に基づく補正データを、その他の場合には、色の変化の割合に基づく補正データを選択的に出力できるため高精度な補間が可能となる。
【０１１８】
この発明の実施の形態に係る画素データ処理方法は、請求項８に係る画素データ処理方法であって、Ｇデータの対称性を特徴として抽出する。データ数の最も多いＧデータを用いるため、高精度な特徴抽出が可能となる。
【０１１９】
この発明の実施の形態に係る画素データ処理方法は、請求項８に係る画素データ処理方法であって、補間する画素と同色の色データの対称性を特徴として抽出する。これにより、ベイヤー配列のＣＣＤを介して得た色データの全てに対して対称性を容易に抽出することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１における画素データ処理装置および画素データ処理方法が適用されるデジタルスチルカメラ１０００の構成の概要を示すブロック図である。
【図２】 本発明の実施の形態１における画像補間部１００の構成を説明するための図である。
【図３】 ＣＣＤ１０４に含まれるベイヤー型原色フィルタの特徴について説明するための図である。
【図４】 本発明の実施の形態１における入力パターンを説明するための図である。
【図５】 本発明の実施の形態１における特徴抽出部１の構成の概要について説明するための図である。
【図６】 本発明の実施の形態１における方式選択部２の構成の概要について説明するための図である。
【図７】 補間処理について説明するための図である。
【図８】 本発明の実施の形態１における第１方式部３の構成例について説明するための図である。
【図９】 本発明の実施の形態１における第２方式部４の構成例について説明するための図である。
【図１０】 本発明の実施の形態２における画像補間部２００の構成の概要について説明するための図である。
【図１１】 本発明の実施の形態２における特徴抽出部２１の構成の概要について説明するための図である。
【図１２】 本発明の実施の形態２における方式選択部２２の構成の概要について説明するための図である。
【図１３】 本発明の実施の形態３における画像補間部３００の構成の概要について説明するための図である。
【図１４】 本発明の実施の形態３における入力パターンについて説明するための図である。
【図１５】 本発明の実施の形態３における特徴抽出部３１の構成の概要について説明するための図である。
【図１６】 本発明の実施の形態３における方式選択部３２の構成の概要について説明するための図である。
【図１７】 補間処理について説明するための概念図である。
【図１８】 本発明の実施の形態３における第１方式部３３の構成例について説明するための図である。
【図１９】 本発明の実施の形態３における第２方式部３４の構成例について説明するための図である。
【図２０】 本発明の実施の形態４における画像補間部４００の構成の概要について説明するための図である。
【図２１】 本発明の実施の形態４における特徴抽出部４１の構成の概要について説明するための図である。
【図２２】 本発明の実施の形態４における方式選択部４２の構成の概要について説明するための図である。
【符号の説明】
１０２ 光学系、１０４ ＣＣＤ、１０６ 周辺回路、１１２ データ処理部、１１６ カメラ制御部、１１８ 入出力インタフェース回路、１１４ メモリ、１００〜４００ 画像補間部、１，２１，３１，４１ 特徴抽出部、２，２２，３２，４２ 方式選択部、３，３３ 第１方式部、４，３４ 第２方式部、５セレクタ、８ａ〜８ｆ 評価部、７ カウンタ、６，３５ 画像抽出部、１０００ デジタルスチルカメラ。
【発明の属する技術分野】
本発明は、画素データ処理装置および画素データ処理に関し、より特定的には、入力された画素の色データから高品質な画像を再現するための画素データ処理装置および画素データ処理方法に関する。
【０００２】
【従来の技術】
デジタルスチルカメラの普及により、デジタル処理に適した撮像素子の開発が進められている。こうした撮像素子のなかでもベイヤー型原色方式のＣＣＤイメージセンサは、色信号の感度、色再現性が良く多くのデジタル機器に使用されている。
【０００３】
【発明が解決しようとする課題】
ところで、ベイヤー型原色方式のＣＣＤは、赤色（Ｒ）、青色（Ｂ）、緑色（Ｇ）のフィルタが交互に配列されていて、たとえば、赤色のフィルタが配置されている画素については、青データや緑データが得られない。したがって、ベイヤ型原色方式のＣＣＤを使用した場合、欠落したデータを補間する必要が生じる。このため、従来のデジタルスチルカメラをはじめとするデジタル機器は、補間対象色と同一色の画素だけを用いて欠落している色データを生成する補間処理回路を備え、画像の再現を行なっている。
【０００４】
しかしながら、このような単純な補間処理回路のみでは、高品質な画像を再現することは困難である。その一方で、デジタルスチルカメラのような民生用途では、高解像度化とともに高速処理、さらにはマイクロプロセッサでの実現（小型化）が必須となる。
【０００５】
そこで、本発明はこのような問題を解決するためになされたものであり、その目的は、小規模の回路で高速に高解像度の画素データを得ることができる画素データ処理装置および当該画素データ処理装置のための画素データ処理方法を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１に係る画素データ処理装置は、複数の画素に対して配置される複数の色フィルタから出力される複数の色データを処理する画素データ処理装置であって、複数の色データの特徴を抽出する特徴抽出部と、補間対象画素に色データを補間するための互いに異なる処理を並列して行なう補間部と、特徴抽出部において抽出された特徴に基づき、補間部の出力する複数の補間処理結果のうちいずれか一つを選択的に出力するセレクタとを備え、補間部は、補間対象画素の周辺領域における画素の色データの変化量に基づき色データを補間する第１補間処理回路と、補間対象画素の周辺領域における、補間する色データと同種類の色データと補間対象画素と同種類の画素の色データとの比に基づき、色データを補間する第２補間処理回路とを含む。特徴抽出部は、補間対象画素の周辺領域における画素の色データが、補間対象画素に対して対称性があるか否かを検出し、セレクタは、対称性がある場合には、第２補間処理回路の出力を選択的に出力する。
【０００８】
請求項２に係る画素データ処理装置は、請求項１に係る画素データ処理装置であって、複数の画素は、垂直方向および水平方向にマトリックス状に配置され、特徴抽出部は、垂直方向の対称性を検出する第１評価部と、水平方向の対称性を検出する第２評価部とを含み、第１評価部および第２評価部の結果を統合して、第１補間処理回路または第２補間処理回路のいずれか一方を選択するための選択信号を出力する方式選択部をさらに備え、セレクタは、選択信号に応じて、第１補間処理回路または第２補間処理回路のいずれか一方の出力を選択的に出力する。
【０００９】
請求項３に係る画素データ処理装置は、請求項１に係る画素データ処理装置であって、複数の画素は、垂直方向および水平方向にマトリックス状に配置され、特徴抽出部は、垂直方向の前記対称性を検出する第１評価部と、水平方向の前記対称性を検出する第２評価部と、斜め方向の前記対称性を検出する第３評価部とを含み、第１評価部、第２評価部および第３評価部の結果を統合して、第１補間処理回路または第２補間処理回路のいずれか一方を選択するための選択信号を出力する方式選択部をさらに備え、セレクタは、選択信号に応じて、第１補間処理回路または第２補間処理回路のいずれか一方の出力を選択的に出力する。
【００１０】
請求項４に係る画素データ処理装置は、請求項１に係る画素データ処理装置であって、複数の色フィルタは、ベイヤー配列に従って配置され、記複数の色データのそれぞれは、赤データ、青データ、緑データのいずれかであって、特徴抽出部は、緑データの対称性を検出する。
【００１１】
請求項５に係る画素データ処理装置は、請求項１に係る画素データ処理装置であって、特徴抽出部は、補間対象画素の色データと同種類の色データの対称性を検出する。
【００１２】
請求項６に係る画素データ処理方法は、複数の画素のそれぞれに対して複数の種類の色フィルタから出力される複数の色データを処理して画像を再現する画素データ処理方法であって、補間対象画素に色データを補間するための互いに異なる複数の補間処理を並列して行なう補間ステップと、補間ステップに同期して、複数の色データの特徴を抽出する特徴抽出ステップと、抽出された特徴に応じて、複数の補間処理の結果のうちいずれか一つを選択的に出力する選択ステップとを備え、複数の補間処理は、補間対処画素の周辺領域における画素の色データの変化量に基づき色データを補間する第１補間処理と、補間対象画素の周辺領域における、補間する色データと同種類の色データと補間対象画素と同種類の画素の色データとの比に基づき色データを補間する第２補間処理とを含む。特徴抽出ステップは、補間対象画素の周辺領域に位置する画素の色データが、補間対象画素に対して対称性があるか否かを検出し、選択ステップは、対称性がある場合には、第２補間処理の結果を選択的に出力する。
【００１４】
請求項７に係る画素データ処理方法は、請求項６に係る画素データ処理方法であって、複数の画素は、垂直方向および水平方向にマトリックス状に配置され、特徴抽出ステップは、垂直方向の前記対称性、および水平方向の対称性を検出する評価ステップと、評価ステップの結果を統合して、第１補間処理または第２補間処理のいずれか一方を選択するための選択信号を出力する方式選択ステップとを含み、選択ステップは、選択信号に応じて、第１補間処理または第２補間処理のいずれか一方の出力を選択的に出力する。
【００１５】
請求項８に係る画素データ処理方法は、請求項６に係る画素データ処理方法であって、複数の画素は、垂直方向および水平方向にマトリックス状に配置され、特徴抽出部は、垂直方向、水平方向および斜め方向の対称性を検出する評価ステップと、評価ステップの結果を統合して、第１補間処理または第２補間処理のいずれか一方を選択するための選択信号を出力する方式選択ステップとを含み、選択ステップは、選択信号に応じて、第１補間処理または第２補間処理のいずれか一方の出力を選択的に出力する。
【００１６】
請求項９に係る画素データ処理方法は、請求項６に係る画素データ処理方法であって、複数の色フィルタは、ベイヤー配列に従って配置され、複数の色データのそれぞれは、赤データ、青データ、緑データのいずれかであって、特徴抽出ステップは、緑データの対称性を検出する。
【００１７】
請求項１０に係る画素データ処理方法は、請求項６に係る画素データ処理方法であって、特徴抽出ステップは、補間対象画素の色データと同種類の色データの対称性を検出する。
【００１８】
【発明の実施の形態】
［実施の形態１］
本発明の実施の形態１における画素データ処理装置について説明する。本発明の実施の形態１における画素データ処理装置は、入力した色データの特徴に基づき、特定の色データが与えられている各々の画素に他の色データを補間するための処理を行なう。
【００１９】
本発明の実施の形態１における画素データ処理装置が適用されるデジタルスチルカメラについて図１を用いて説明する。なお、以下において、同一構成要素には同じ記号および符号を付しその説明を省略する。
【００２０】
図１は、本発明の実施の形態１における画素データ処理装置が適用されるデジタルスチルカメラ１０００の構成の概要を示すブロック図である。図１を参照して、デジタルスチルカメラ１０００は、光学系１０２、ＣＣＤ１０４、周辺回路１０６、データ処理部１１２、メモリ１１４、カメラ制御部１１６および入出力インタフェース回路１１８を備える。
【００２１】
光学系１０２は、内部に撮像レンズを含む。カメラ制御部１１６は光学系の撮影動作やデータ処理動作を制御する。光学系１０２で取得された光信号はＣＣＤ１０４により電気信号に変換される。ＣＣＤ１０４は、ベイヤー型原色フィルタで構成される。周辺回路１０６は、ＣＣＤ１０４の出力をデジタルデータに変換し、データ処理部１１２に出力する。
【００２２】
データ処理部１１２は、画像処理部１０８と圧縮伸張部１１０とを含む。画像処理部１０８は、欠落した色データを生成する（補間データを生成する）画像補間部を含む。圧縮伸張部１１０は、画像データを圧縮し、または圧縮された画像データを伸張するための伸張処理を行なう。画像メモリ１１４は、画像データを記憶する。入出力インタフェース回路１１８は、撮影条件等を外部から受けたり、また所定の処理を施した画像データを図示しないメモリカードの形で取出すための制御を行なう。
【００２３】
次に、画像処理部１０８に含まれる画像補間部１００について説明する。図２は、本発明の実施の形態１における画像補間部１００の構成の概要を説明するための図である。図２を参照して、画像補間部１００は、特徴抽出部１、方式選択部２、第１方式部３、第２方式部４およびセレクタ５を含む。
【００２４】
特徴抽出部１は、入力した画像データの特徴を抽出する。方式選択部２は、特徴抽出部１における抽出結果に基づき、第１方式部３または第２方式部４のいずれかの補間処理を選択するための選択信号を出力する。第１方式部３および第２方式部４のそれぞれは、互いに異なる補間処理を実行して補間データを生成する。セレクタ５は、方式選択部２の出力する選択信号に従い、第１方式部３または第２方式部４のいずれか一方の補間データを選択的に出力する。
【００２５】
図３は、ＣＣＤ１０４に含まれるベイヤー型原色フィルタの特徴について説明するための図である。Ｒは赤色、Ｇは緑色、Ｂは青色に対応する色フィルタであり、それぞれは１画素に対応している。垂直方向・水平方向ともに１画素おきに同色のフィルタが配置されている（ベイヤー配列）。ＣＣＤ１０４により、各画素毎に、３原色（Ｒ、Ｇ、Ｂ）のうちの特定の色情報が得られる。（Ｒ、Ｇ、Ｂ）のうち、Ｒデータを有する画素をＲ画素、Ｇデータを有する画素をＧ画素、Ｂデータを有する画素をＢ画素とそれぞれ称す。
【００２６】
図２を参照して、画像補間部１００は、各画素毎に特定の色情報を有する画像データ（入力データ）を受ける。図４は、入力パターンの一例を示す図である。画像補間部１００は、図４（ａ）に示す入力パターンＰ１または図４（ｂ）に示す入力パターンＰ２を受ける。入力パターンＰ１およびＰ２において記号ＲはＲ画素、記号ＧはＧ画素、記号ＢはＢ画素にそれぞれ対応している。なお、記号Ｒと記号Ｂとを互いに入れ替えた場合も含まれる。
【００２７】
実施の形態１においては、第１方式部３および第２方式部４は、Ｒ画素、Ｂ画素にＧデータを与える（補間データＧを与える）ための処理を行なう。特徴抽出部１は、補間対象となる画素を中心にＧデータの対称性の有無を検出する。なお、処理時間を短縮するため、２種類の補間回路（第１方式部３および第２方式部４）と特徴抽出部１とを並列に動作させ、特徴抽出および方式選択を行なっている間に補間処理が実行されるように構成する。
【００２８】
なお、Ｒ画素に対するＢデータの補間、Ｂ画素に対するＲデータの補間、およびＧ画素に対するＲデータ、Ｂデータの補間については後述する実施の形態において説明する。
【００２９】
次に、本発明の実施の形態１における特徴抽出部１について図５を用いて説明する。図５は、本発明の実施の形態１における特徴抽出部１の構成の概要を説明するための図である。図５を参照して、特徴抽出部１は、画素を抽出するための画素抽出部６、入力パターンＰ１およびＰ２に対応する切替を行なうためのカウンタ７および抽出した画素の評価を行なう評価部を含む。評価部は、水平方向の対称性を評価するための第１評価部８ａ、第２評価部８ｂおよび第３評価部８ｃと、垂直方向の対称性を評価するための第４評価部８ｄ、第５評価部８ｅおよび第６評価部８ｆとで構成される。なお、以下の例では、特徴を抽出する範囲を５×５画素の範囲とする。
【００３０】
画素抽出部６は、入力パターンＰ１またはＰ２に対し、Ｇ画素を抽出する。なお、入力パターンＰ１とＰ２とは交互に入力されるため、画素抽出部６は、１ビットカウンタ（カウンタ７）の出力に基づき抽出する画素を変える。
【００３１】
入力データとして、入力パターンＰ１を受けた場合について説明する。入力パターンＰ１に対しては、画素抽出部６は、Ｇ画素、すなわち画素Ｇ１１、Ｇ１３、Ｇ１５、Ｇ３１、Ｇ３３、Ｇ３５、Ｇ５１、Ｇ５３およびＧ５５を抽出する。第１評価部８ａ〜第３評価部８ｃは、水平方向に配列するデータの対称性の有無を調べる。具体的には、第１評価部８ａは（Ｇ１１、Ｇ１３、Ｇ１５）について次式（１）が、第２評価部８ｂは（Ｇ３１、Ｇ３３、Ｇ３５）について次式（２）が、第３評価部８ｃは（Ｇ５１、Ｇ５３、Ｇ５５）について次式（３）が成り立つか否かをそれぞれ調べる。
【００３２】
Ｇ１１−Ｇ１５＜ｔｈ１、（Ｇ１１＋Ｇ１５）−Ｇ１３＞ｔｈ２…（１）
Ｇ３１−Ｇ３５＜ｔｈ１、（Ｇ３１＋Ｇ３５）−Ｇ３３＞ｔｈ２…（２）
Ｇ５１−Ｇ５５＜ｔｈ１、（Ｇ５１＋Ｇ５５）−Ｇ５３＞ｔｈ２…（３）
なお、ｔｈ１、ｔｈ２はしきい値であり、ｔｈ１＜ｔｈ２が成り立つ任意の数で実験的に定めるものとする。回路の大きさを考えて、第２評価部８ｂのみを配置するようにしてもよい。
【００３３】
同様に、第４評価部８ｄ〜第６評価部８ｆは、垂直方向に配列するデータの対称性の有無を調べる。具体的には、第４評価部８ｄは（Ｇ１１、Ｇ３１、Ｇ５１）について次式（４）が、第５評価部８ｅは（Ｇ１３、Ｇ３３、Ｇ５３）について次式（５）が、第６評価部８ｆは（Ｇ１５、Ｇ３５、Ｇ５５）について次式（６）がそれぞれ成り立つか否かを調べる。
【００３４】
Ｇ１１−Ｇ５１＜ｔｈ１、（Ｇ１１＋Ｇ５１）−Ｇ３１＞ｔｈ２…（４）
Ｇ１３−Ｇ５３＜ｔｈ１、（Ｇ１３＋Ｇ５３）−Ｇ３３＞ｔｈ２…（５）
Ｇ１５−Ｇ５５＜ｔｈ１、（Ｇ１５＋Ｇ５５）−Ｇ３５＞ｔｈ２…（６）
なお、回路の大きさを考えて、第５評価部８ｅのみを配置するようにしてもよい。特徴抽出部１は、第１評価部８ａ〜第６評価部８ｆの結果（真・偽）を出力Ａ１〜Ａ６する。
【００３５】
次に、入力データとして入力パターンＰ２を受けた場合について説明する。入力パターンＰ２については、画素抽出部６は、Ｇ画素である画素Ｇ１２、Ｇ１４、Ｇ２１、Ｇ２３、Ｇ２５、Ｇ３２、Ｇ３４、Ｇ４１、Ｇ４３、Ｇ４５、Ｇ５２およびＧ５４を抽出する。
【００３６】
第１評価部８ａ〜第２評価部８ｂは、水平方向に配列するデータの対称性の有無について調べる。具体的には、第１評価部８ａは（Ｇ２１、Ｇ２３、Ｇ２５）について次式（１ｂ）が、第２評価部８ｂは（Ｇ４１、Ｇ４３、Ｇ４５）について次式（２ｂ）が成り立つか否かを調べる。
【００３７】
Ｇ２１−Ｇ２５＜ｔｈ１、（Ｇ２１＋Ｇ２５）−Ｇ２３＞ｔｈ２…（１ｂ）Ｇ４１−Ｇ４５＜ｔｈ１、（Ｇ４１＋Ｇ４５）−Ｇ４３＞ｔｈ２…（２ｂ）第４評価部８ｄ〜第５評価部８ｅは、垂直方向に配列するデータの対称性の有無について調べる。具体的には、第４評価部８ｄは（Ｇ１２、Ｇ３２、Ｇ５２）について次式（４ｂ）が、第５評価部８ｅは（Ｇ１４、Ｇ３４，Ｇ５４）について次式（５ｂ）が成り立つか否かをそれぞれ調べる。
【００３８】
Ｇ１２−Ｇ５２＜ｔｈ１、（Ｇ１２＋Ｇ５２）−Ｇ３２＞ｔｈ２…（４ｂ）
Ｇ１４−Ｇ５４＜ｔｈ１、（Ｇ１４＋Ｇ５４）−Ｇ３４＞ｔｈ２…（５ｂ）
特徴抽出部１は、第１評価部８ａ〜第２評価部８ｂ、第４評価部８ｄ〜第５評価部８ｅの結果（真・偽）を出力Ａ１〜Ａ２、Ａ４〜Ａ５する。この際、第３評価部８ｃおよび第６評価部８ｆについては特に考慮しない。
【００３９】
図６は、本発明の実施の形態１における方式選択部２の構成の概要を説明するための図である。図６を参照して、方式選択部２は、水平方向対称性判定回路９、垂直方向対称性判定回路１０、ＯＲ回路１１およびカウンタ１２を含む。水平方向対称性判定回路９は、第１評価部８ａ、第２評価部８ｂおよび第３評価部８ｃのそれぞれの出力Ａ１〜Ａ３に基づきＧデータの水平方向における対称性を判定する。垂直方向対称性判定回路１０は、第４評価部８ｄ、第５評価部８ｅおよび第６評価部８ｆのそれぞれの出力Ａ４〜Ａ６に基づきＧデータの垂直方向における対称性を判定する。なお、水平方向対称性判定回路９および垂直方向対称性判定回路１０は、１ビットカウンタ（カウンタ１２）の出力０／１に基づき、処理対象（入力パターンＰ１、Ｐ２）を切換える。
【００４０】
水平方向対称性判定回路９は、入力パターンＰ１については、出力Ａ１〜Ａ３のすべてが真の場合には真を、それ以外の場合には偽を出力し、入力パターンＰ２については、出力Ａ１およびＡ２が真の場合には真を、それ以外の場合には偽を出力する。
【００４１】
また、垂直方向対称性判定回路１０は、入力パターンＰ１については、出力Ａ４〜Ａ６のすべてが真の場合には真を、それ以外の場合には偽を出力し、入力パターンＰ２については、出力Ａ４およびＡ５が真の場合には真を、それ以外の場合には偽を出力する。
【００４２】
ＯＲ回路１１は、水平方向対称性判定回路９の出力または垂直方向対称性判定回路１０の出力のいずれか一方が真の場合には、第２方式部４を、偽の場合には第１方式部３を選択するための選択信号を出力する。すなわち、Ｇデータに関し水平方向または垂直方向のいずれかに対称性がある場合には第２方式部４を選択し、それ以外の場合には第１方式部３の補間処理を適用することを指定する。
【００４３】
続いて、本発明の実施の形態１における第１方式部３および第４方式部４について説明する。図７は、補間処理について説明するための図である。図７では、画素の並びを、水平方向をＸ軸で、垂直方向をＹ軸で表現し、Ｘ座標（ｉ−２）〜（ｉ＋２）、Ｙ座標（ｊ−２）〜（ｊ＋２）に配置された２５画素を表示している。座標（Ｋ，Ｌ）の画素またはデータを、色Ｇ、Ｒ、Ｂに対応して、記号Ｇ（Ｋ，Ｌ）、Ｒ（Ｋ，Ｌ）、Ｂ（Ｋ，Ｌ）で表わす。
【００４４】
図７を参照して、画素Ｒ（ｉ，ｊ）に対して補間データＧを求める方法について説明する。なお、Ｒ画素とＢ画素とを置換えることにより、同様の手順でＢ画素の補間データＧが算出される。
【００４５】
補間対象である画素Ｒ（ｉ，ｊ）を中心とする垂直方向のＲデータの変化量をΔＶ、水平方向のＲデータの変化量をΔＨとする。
【００４６】
ΔＶ＝｛Ｒ（ｉ，ｊ−２）＋Ｒ（ｉ，ｊ＋２）｝−Ｒ（ｉ，ｊ） …（７）
ΔＨ＝｛Ｒ（ｉ−２，ｊ）＋Ｒ（ｉ＋２，ｊ）｝−Ｒ（ｉ，ｊ） …（８）
第１方式部３では、色の変化の割合（差）が等しいと仮定して、ΔＶまたはΔＨを予測誤差とみなして次式（９）〜（１０）に示す補間データｇｖ、ｇｈを算出する。
【００４７】
ｇｖ（ｉ，ｊ）＝１／２・｛Ｇ（ｉ，ｊ＋１）＋Ｇ（ｉ，ｊ−１）｝−１／２・ΔＶ …（９）
ｇｈ（ｉ，ｊ）＝１／２・｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝−１／２・ΔＨ …（１０）
第１方式部３では、垂直方向の相関が強い場合（△Ｈ＞△Ｖ）、式（９）に示す補間データｇｖを、それ以外の場合には式（１０）に示す補間データｇｈを出力する。
【００４８】
第２方式部４では、色の変化の比率（低周波成分の比率）が等しいと仮定して補間データを算出する。まず、次式に示す低周波成分を算出する。
【００４９】
ＧLPF３ｖ＝１／２・（Ｇ２ｖ＋Ｇ４ｖ） …（１１ａ）
ＲLPF３ｖ＝１／４・Ｒ１ｖ＋１／２・Ｒ３＋１／４・Ｒ５ｖ …（１２ａ）
ＧLPF３ｈ＝１／２・（Ｇ２ｈ＋Ｇ４ｈ） …（１１ｂ）
ＲLPF３ｈ＝１／４・Ｒ１ｈ＋１／２・Ｒ３＋１／４・Ｒ５ｈ …（１２ｂ）
ここで、Ｒ３は、補間対象となるＲ画素のＲデータを、Ｇ２ｖ、Ｇ４ｖは、画素Ｒ３に対し垂直方向に隣接するＧ画素のＧデータを、Ｒ１ｖ、Ｒ５ｖは、画素Ｇ２ｖ、Ｇ４ｖに対し垂直方向に隣接するＲ画素のＲデータを示している。具体的には、図７において、Ｒ３はＲ（ｉ、ｊ）に、Ｇ２ｖはＧ（ｉ，ｊ＋１）に、Ｇ４ｖはＧ（ｉ，ｊ−１）に、Ｒ１ｖはＲ（ｉ，ｊ＋２）に、Ｒ５ｖはＲ（ｉ，ｊ−２）に、それぞれ対応している。
【００５０】
さらに、Ｇ２ｈ、Ｇ４ｈは、画素Ｒ３に対し水平方向で隣接するＧ画素のＧデータを、Ｒ１ｈ、Ｒ５ｈは、画素Ｇ２ｈ、Ｇ４ｈに対し水平方向で隣接するＲ画素のＲデータを示している。具体的には、図７において、Ｇ２ｈはＧ（ｉ−１，ｊ）に、Ｇ４ｈはＧ（ｉ＋１，ｊ）に、Ｒ１ｈはＲ（ｉ−２，ｊ）に、Ｒ５ｈはＲ（ｉ＋２，ｊ）にそれぞれ対応している。
【００５１】
座標（ｉ，ｊ）におけるＧとＲとの相関は、低周波成分ＧLPFと低周波成分ＲLPFとの相関に等しいと仮定する。第２方式部４は、式（１１ａ）〜（１２ａ）を用いて式（１３）の補間データを、式（１１ｂ）〜（１２ｂ）を用いて式（１４）の補間データを算出する。
【００５２】
ｇｖ（ｉ，ｊ）＝Ｒ（ｉ，ｊ）×ＧLPF３ｖ／ＲLPF３ｖ…（１３）
ｇｈ（ｉ，ｊ）＝Ｒ（ｉ，ｊ）×ＧLPF３ｈ／ＲLPF３ｈ…（１４）
第２方式部４は、垂直方向の相関が強い場合（ΔＨ＞ΔＶ）には式（１３）の補間データｇｖを、それ以外の場合には式（１４）の補間データｇｈを出力する。
【００５３】
図２を参照して、セレクタ５は、選択信号に応じて、Ｇデータに対称性がある場合には、低周波成分を考慮した第２方式部４の補間データを、それ以外の場合には第１方式部３の補間データを出力する。
【００５４】
ここで、上述した補間処理を行なう方式部（第１方式部３、第２方式部４）の構成例について、図８〜図９を用いて説明する。
【００５５】
図８は、本発明の実施の形態１における第１方式部３の構成例について説明するための図である。図８を参照して、第１方式部３は、Ｇデータ算出回路５０、比較判定回路５１およびセレクタ５２を含む。Ｇデータ算出回路５０は、入力データを受けて、式（９）〜（１０）に対応する補間データｇｖ、ｇｈを算出する。比較判定回路５１は、水平方向の変位ΔＨおよび垂直方向の変位ΔＶの大小関係を比較し、補間データｇｖ、ｇｈのいずれを出力すべきかを判定する。セレクタ５２は、比較判定回路５１の判定結果に基づき、補間データｇｖ、ｇｈのいずれか一方を補間データＧとして出力する。なお、比較判定回路５１の結果に基づき、Ｇデータ算出回路５０においてｇｖ、ｇｈのいずれか一方を算出するように構成してもよい。
【００５６】
図９は、本発明の実施の形態１における第２方式部４の構成例について説明するための図である。図９を参照して、第２方式部４は、Ｇデータ算出回路５３、比較判定回路５４およびセレクタ５２を含む。Ｇデータ算出回路５３は、入力データを受けて式（１３）〜（１４）に対応する補間データｇｖ、ｇｈを算出する。比較判定回路５４は、水平方向の変位ΔＨおよび垂直方向の変位ΔＶの大小関係を比較し、補間データｇｖ、ｇｈのいずれを出力すべきかを判定する。セレクタ５２は、比較判定回路５４の判定結果に基づき、補間データｇｖ、ｇｈのいずれか一方を補間データＧとして出力する。なお、比較判定回路５４の結果に基づき、Ｇデータ算出回路５３においてｇｖ、ｇｈのいずれか一方を算出するように構成してもよい。
【００５７】
このように、画像の特徴に応じて最適な補間処理を選択することにより、高画質な画像を得ることが可能となる。また、第１方式部３および第２方式部４の処理を並列して動作させるため、従来のシステムに比べてセレクタ５での選択動作にかかる時間のみが増加する。したがって従来のシステムとほぼ同様の処理速度を保証することが可能となる。
【００５８】
［実施の形態２］
本発明の実施の形態２では、補間対象の画素の周辺に位置する画素について、水平方向・垂直方向および斜め方向の対称性を検出する。図１０は、本発明の実施の形態２における画像補間部２００の構成を説明するための図である。図１０に示す画像補間部２００が、図２に示す画像補間部１００と異なる点は、特徴抽出部１に代わり水平方向、垂直方向および斜め方向の特徴を抽出する特徴抽出部２１を、方式選択部２に代わり方式選択部２２を備える点にある。
【００５９】
図１１は、本発明の実施の形態２における特徴抽出部２１の構成について説明するための図である。図１１を参照して、特徴抽出部２１は、画素抽出部６、カウンタ７、および抽出した画素の評価を行なう評価部を含む。評価部は、水平方向の対称性を評価するための第１評価部８ａ、第２評価部８ｂおよび第３評価部８ｃと、垂直方向の対称性を評価するための第４評価部８ｄ、第５評価部８ｅおよび第６評価部８ｆと、斜め方向の対称性を評価するための第７評価部８ｇ、第８評価部８ｈ、第９評価部８ｉ、第１０評価部８ｊ、第１１評価部８ｋ、および第１２評価部８ｌを含む。
【００６０】
画素抽出部６、カウンタ７および第１評価部８ａ〜第６評価部８ｆは、実施の形態１で説明したとおりである。斜め方向の対称性について評価する第７評価部８ｇ〜第１２評価部８ｌについて説明する。
【００６１】
入力データとして、入力パターンＰ１を受けた場合について説明する。第７評価部８ｇは（Ｇ１１、Ｇ３３、Ｇ５５）に対して次式（１５）が、第８評価部８ｈは（Ｇ１５、Ｇ３３、Ｇ５１）に対して次式（１６）成り立つか否かをそれぞれ調べる。
【００６２】
Ｇ１１−Ｇ５５＜ｔｈ１、（Ｇ１１＋Ｇ５５）−Ｇ３３＞ｔｈ２…（１５）
Ｇ１５−Ｇ５１＜ｔｈ１、（Ｇ１５＋Ｇ５１）−Ｇ３３＞ｔｈ２…（１６）
なお、ｔｈ１、ｔｈ２はしきい値であり、ｔｈ１＜ｔｈ２が成り立つ任意の数で実験的に定めるものとする。特徴抽出部２１は、第１評価部８ａ〜第８評価部８ｈの結果（真・偽）を出力Ａ１〜Ａ８する。この際、第９評価部８ｉ〜第１２評価部８ｌは考慮しない。
【００６３】
次に、入力データが入力パターンＰ２に対応する場合について説明する。第９評価部８ｉは（Ｇ２１、Ｇ３２、Ｇ４３、Ｇ５４）について式（１７）が、第１０評価部８ｊは（Ｇ１２、Ｇ２３、Ｇ３４、Ｇ４５）について式（１８）が、第１１評価部８ｋは（Ｇ１４、Ｇ２３、Ｇ３２、Ｇ４１）に対して式（１９）が、第１２評価部８ｌは（Ｇ２５、Ｇ３４、Ｇ４３、Ｇ５２）について式（２０）が成立するか否かをそれぞれ調べる。
【００６４】
Ｇ２１−Ｇ５４＜ｔｈ１、Ｇ３２−Ｇ４３＜ｔｈ１、
（Ｇ２１＋Ｇ５４）−（Ｇ３２−Ｇ４３）＞ｔｈ３ …（１７）
Ｇ１２−Ｇ４５＜ｔｈ１、Ｇ２３−Ｇ３４＜ｔｈ１、
（Ｇ１２＋Ｇ４５）−（Ｇ２３−Ｇ３４）＞ｔｈ３ …（１８）
Ｇ１４−Ｇ４１＜ｔｈ１、Ｇ２３−Ｇ３２＜ｔｈ１、
（Ｇ１４＋Ｇ４１）−（Ｇ２３−Ｇ３２）＞ｔｈ３ …（１９）
Ｇ２５−Ｇ５２＜ｔｈ１、Ｇ３４−Ｇ４３＜ｔｈ１、
（Ｇ２５＋Ｇ５２）−（Ｇ３４−Ｇ４３）＞ｔｈ３ …（２０）
なお、ｔｈ１、ｔｈ３はしきい値であり、ｔｈ１＜ｔｈ３が成り立つ任意の数で実験的に定めるものとする。特徴抽出部２１は、第１評価部８ａ〜第６評価部８ｆ、第９評価部８ｉ〜第１２評価部８ｌの結果（真・偽）を出力Ａ１〜Ａ６、Ａ９〜Ａ１２する。この際、第７評価部８ｇ〜第８評価部８ｈについては特に考慮しない。
【００６５】
図１２は、本発明の実施の形態２における方式選択部２２の構成の概要を説明するための図である。図１２を参照して、方式選択部２２は、水平方向対称性判定回路９、垂直方向対称性判定回路１０、カウンタ１２、斜め方向対称性判定回路２６およびＯＲ回路２７を含む。水平方向対称性判定回路９、垂直方向対称性判定回路１０、カウンタ１２については、実施の形態１で説明したとおりである。
【００６６】
斜め方向対称性判定回路２６は、斜め方向の対称性を評価する第７評価部８ｇ〜第１２評価部８ｌの出力Ａ７〜Ａ１２を受けて、斜め方向の対称性について判定する。この際、１ビットカウンタ（カウンタ１２）の出力０／１に基づき、処理対象（入力パターンＰ１、Ｐ２）を切換える。
【００６７】
たとえば、入力データが入力パターンＰ１に対応する場合には、出力Ａ７が真または出力Ａ８が真の場合には真を、それ以外の場合には偽を出力する。入力データが入力パターンＰ２に対応する場合には、出力Ａ９およびＡ１０がともに真、または出力Ａ１１およびＡ１２がともに真の場合には真を、それ以外の場合には偽を出力する。
【００６８】
ＯＲ回路２７は、水平方向対称性判定回路９の出力、垂直方向対称性判定回路１０の出力および斜め方向対称性判定回路２６の出力のうちいずれか一つが真の場合には、第２方式部４を、それ以外の場合には第１方式部３を選択するための選択信号を出力する。すなわち、水平方向、垂直方向または斜め方向のいずれかに対称性がある場合には第２方式部４を選択し、いずれにおいても対称性が検出されない場合には第１方式部３の補間処理を適用することを指定する。
【００６９】
これにより、図１０に示すセレクタ５は、水平方向、垂直方向または斜め方向のいずれかに対称性がある場合には第２方式部４の出力する補間データを、それ以外の場合には第１方式部３の出力する補間データを選択的に出力することになる。
【００７０】
このように構成することにより、画像の特徴（対称性）をより精度よく抽出することが可能となるため、より高画質な画像を得ることが可能となる。
【００７１】
［実施の形態３］
本発明の実施の形態３では、補間対象の画素と同じ種類の色データを有する画素を用いて、水平方向および垂直方向の対称性を検出する。
【００７２】
図１３は、本発明の実施の形態３における画像補間部３００の構成の概要を説明するための図である。図１３を参照して、画像補間部３００は、特徴抽出部３１、方式選択部３２、第１方式部３３、第２方式部３４およびセレクタ５を備える。
【００７３】
特徴抽出部３１は、補間対象の画素と同じ種類の色データ（Ｒ、Ｇ、Ｂ）をもつ画素を抽出し、水平方向・垂直方向に関して対称性があるか否かを調べる。具体的には、図１４に示す入力パターンＰ３を入力に受け、Ｘ画素の特徴を抽出する。なお、図１４に示すＸは、補間対象となる画素であって、Ｒ画素、Ｇ画素またはＢ画素のいずれかに対応している。
【００７４】
図１５は、本発明の実施の形態３における特徴抽出部３１の構成の概要について説明するための図である。図１５を参照して、特徴抽出部３１は、画素抽出部３５、第１評価部８ａ、第２評価部８ｂ、第３評価部８ｃ、第４評価部８ｄ、第５評価部８ｅおよび第６評価部８ｆを含む。画素抽出部３５は、図１４に示す画素Ｘ１１、Ｘ１３、Ｘ１５、Ｘ３１、Ｘ３３、Ｘ３５、Ｘ５１、Ｘ５３およびＸ５５を抽出する。
【００７５】
第１評価部８ａは（Ｘ１１、Ｘ１３、Ｘ１５）について次式（２１）が、第２評価部８ｂは（Ｘ３１、Ｘ３３、Ｘ３５）について次式（２２）が、第３評価部８ｃは（Ｘ５１、Ｘ５３、Ｘ５５）について次式（２３）がそれぞれ成り立つか否かを調べる。
【００７６】
Ｘ１１−Ｘ１５＜ｔｈ１、（Ｘ１１＋Ｘ１５）−Ｘ１３＞ｔｈ２…（２１）
Ｘ３１−Ｘ３５＜ｔｈ１、（Ｘ３１＋Ｘ３５）−Ｘ３３＞ｔｈ２…（２２）
Ｘ５１−Ｘ５５＜ｔｈ１、（Ｘ５１＋Ｘ５５）−Ｘ５３＞ｔｈ２…（２３）
なお、ｔｈ１、ｔｈ２はしきい値であり、ｔｈ１＜ｔｈ２が成り立つ任意の数で実験的に定めるものとする。回路の大きさを考慮して、第２評価部８ｂのみで構成してもよい。
【００７７】
第４評価部８ｄは（Ｘ１１、Ｘ３１、Ｘ５１）について次式（２４）が、第５評価部８ｅは（Ｘ１３、Ｘ３３、Ｘ５３）について次式（２５）が、第６評価部８ｆは（Ｘ１５、Ｘ３５、Ｘ５５）について次式（２６）がそれぞれ成立するか否かを調べる。
【００７８】
Ｘ１１−Ｘ５１＜ｔｈ１、（Ｘ１１＋Ｘ５１）−Ｘ３１＞ｔｈ２…（２４）
Ｘ１３−Ｘ５３＜ｔｈ１、（Ｘ１３＋Ｘ５３）−Ｘ３３＞ｔｈ２…（２５）
Ｘ１５−Ｘ５５＜ｔｈ１、（Ｘ１５＋Ｘ５５）−Ｘ３５＞ｔｈ２…（２６）
なお、回路の大きさを考慮して、第５評価部８ｅのみを配置するようにしてもよい。特徴抽出部３１は、第１評価部８ａ〜第６評価部８ｆの結果（真・偽）を出力Ａ１〜Ａ６する。
【００７９】
図１６は、本発明の実施の形態３における方式選択部３２の構成の概要について説明するための図である。図１６を参照して、方式選択部３２は、水平方向対称性判定回路９、垂直方向対称性判定回路１０およびＯＲ回路１１を含む。水平方向対称性判定回路９は、第１評価部８ａ、第２評価部８ｂおよび第３評価部８ｃのそれぞれの出力Ａ１〜Ａ３に基づき水平方向に並ぶＸ画素のデータの対称性を判定する。垂直方向対称性判定回路１０は、第４評価部８ｄ、第５評価部８ｅおよび第６評価部８ｆのそれぞれの出力Ａ４〜Ａ６に基づき垂直方向に並ぶＸ画素のデータの対称性を判定する。
【００８０】
ＯＲ回路１１は、水平方向対称性判定回路９の出力または垂直方向対称性判定回路１０の出力のいずれか一方が真の場合には、第２方式部３４を、偽の場合には第１方式部３３を選択するための選択信号を出力する。すなわち、水平方向、垂直方向のいずれかに対称性がある場合には第２方式部３４を、それ以外の場合には第１方式部３３の補間処理を適用することを指示する。
【００８１】
続いて、本発明の実施の形態３における第１方式部３３および第２方式部３４の補間処理について説明する。Ｒ画素およびＢ画素のそれぞれに補間データＧを与えるための処理については実施の形態１で説明したとおりである。以下、Ｇ画素に補間データＲ、Ｂを与え、Ｂ画素に補間データＲを、Ｒ画素に補間データＢを求める処理について説明する。
【００８２】
なお、Ｒ、Ｂ画素は、Ｇ画素と異なり、補間する画素の位置によって参照できる画素の位置が変化する。よって、補間する画素の位置により補間式を変更しなければならない。このため、補間データＲ、Ｂを求める場合は、参照する画素範囲を３×３に限定し、その範囲内にある補間対象色の色データと同位置における補間後のデータ（補間データＧ）とを用いて色データ間の関係を求める。これらの関係に基づき補間位置のＧデータから補間位置の色データを算出する。以下の式において、Ｇは、入力データまたは補間データを表わしている。
【００８３】
第１方式部３３の処理について説明する。図１７は、補間処理について説明するための概念図であり、図１７（ａ）は、Ｘ・Ｙ座標系における座標（ｉ，ｊ）がＧ画素に、図１７（ｂ）は、座標（ｉ，ｊ）がＢ画素に対応する場合をそれぞれ示している。
【００８４】
図１７（ａ）を参照して、Ｇ画素は、上下方向および左右方向に補間すべき色の画素が存在する。色の変化の割合（差）が等しいと仮定すると、式（２７）〜（２８）が成立する。
【００８５】
Ｒ（ｉ，ｊ）−Ｇ（ｉ，ｊ）≒Ｒ（ｉ−１，ｊ）−Ｇ（ｉ−１，ｊ）
≒Ｒ（ｉ＋１，ｊ）−Ｇ（ｉ＋１，ｊ） …（２７）
Ｂ（ｉ，ｊ）−Ｇ（ｉ，ｊ）≒Ｂ（ｉ，ｊ−１）−Ｇ（ｉ，ｊ−１）
≒Ｂ（ｉ，ｊ＋１）−Ｇ（ｉ，ｊ＋１） …（２８）
よって、Ｇ（ｉ，ｊ）における補間データＲ、Ｂを、式（２９）〜（３０）を用いて算出する。
Ｒ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）＋１／２・｛Ｒ（ｉ−１，ｊ）−Ｇ（ｉ−１，ｊ）＋Ｒ（ｉ＋１，ｊ）−Ｇ（ｉ＋１，ｊ）｝ …（２９）
Ｂ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）＋１／２・｛Ｂ（ｉ，ｊ−１）−Ｇ（ｉ，ｊ−１）＋Ｂ（ｉ，ｊ＋１）−Ｂ（ｉ，ｊ＋１）｝ …（３０）
図１７（ｂ）を参照して、Ｂ画素（またはＲ画素）は、斜め方向、上下および左右方向に補間すべき色の画素が存在する。よって、式（３１）が成立する。
【００８６】
【００８７】
Ｒ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）＋１／４・｛Ｒ（ｉ−１，ｊ−１）−Ｇ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）−Ｇ（ｉ＋１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）−Ｇ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）−Ｇ（ｉ＋１，ｊ＋１）｝…（３２）
続いて、第２方式部３４の処理について説明する。色の変化の比率が等しい（低周波成分の比率が等しい）と仮定すると、図１７（ａ）については式（３３）〜（３４）が成立し、図１７（ｂ）については、式（３５）が成立する。
【００８８】
Ｒ（ｉ，ｊ）／Ｇ（ｉ，ｊ）≒Ｒ（ｉ−１，ｊ）／Ｇ（ｉ−１，ｊ）
≒Ｒ（ｉ＋１，ｊ）／Ｇ（ｉ＋１，ｊ） …（３３）
Ｂ（ｉ，ｊ）／Ｇ（ｉ，ｊ）≒Ｂ（ｉ，ｊ−１）／Ｇ（ｉ，ｊ−１）
≒Ｂ（ｉ，ｊ＋１）／Ｇ（ｉ，ｊ＋１） …（３４）
Ｒ（ｉ，ｊ）／Ｇ（ｉ，ｊ）≒Ｒ（ｉ−１，ｊ−１）／Ｇ（ｉ−１，ｊ−１）
≒Ｒ（ｉ＋１，ｊ−１）／Ｇ（ｉ＋１，ｊ−１）
≒Ｒ（ｉ−１，ｊ＋１）／Ｇ（ｉ−１，ｊ＋１）
≒Ｒ（ｉ＋１，ｊ＋１）／Ｇ（ｉ＋１，ｊ＋１） …（３５）
したがって、図１７（ａ）におけるＧ（ｉ，ｊ）の補間データＲ、Ｂを式（３６）〜（３７）を用いて算出する。図１７（ｂ）におけるＢ（ｉ，ｊ）の補間データＲを式（３８）を用いて算出する。なお、座標（ｉ，ｊ）がＲ画素の場合には、式（３５）、（３８）におけるＲを対応するＢに置換える。
【００８９】
Ｒ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）×｛Ｒ（ｉ−１，ｊ）＋Ｒ（ｉ＋１，ｊ）｝／Ｇ（ｉ＋１，ｊ）＋Ｇ（ｉ−１，ｊ） …（３６）
Ｂ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）×｛Ｂ（ｉ，ｊ−１）＋Ｂ（ｉ，ｊ＋１）｝／｛Ｇ（ｉ，ｊ＋１）＋Ｇ（ｉ，ｊ−１）｝ …（３７）
Ｒ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）×｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）｝／Ｇ（ｉ−１，ｊ＋１）＋Ｇ（ｉ＋１，ｊ−１）＋Ｇ（ｉ−１，ｊ＋１）＋Ｇ（ｉ＋１，ｊ＋１）…（３８）
ここで、本発明の実施の形態３における方式部（第１方式部３３、第２方式部３４）の構成例について、図１８〜図１９を用いて説明する。
【００９０】
図１８は、本発明の実施の形態３における第１方式部３３の構成例について説明するための図である。図１８を参照して、第１方式部３３は、画素判定回路６０、Ｇデータ算出回路５５、Ｒ／Ｂデータ算出回路５６および５７を含む。画素判定回路６０は、入力する画素が、Ｇ画素、Ｒ画素またはＢ画素であるか否かを判定する。Ｇ画素であれば、Ｒ／Ｂデータ算出回路５６を、Ｒ画素またはＢ画素であれば、Ｒ／Ｂデータ算出回路５７およびＧデータ算出回路５５を実行する。
【００９１】
Ｒ／Ｂデータ算出回路５６は、式（２９）〜（３０）で説明したように、ＧデータおよびＲデータに基づきＧ画素におけるＲデータを算出し、ＧデータおよびＢデータに基づきＧ画素におけるＢデータを算出する。
【００９２】
Ｇデータ算出回路５５は、実施の形態１で説明したＧデータ算出回路５０、比較判定回路５１およびセレクタ５２を含み、Ｒ画素またはＢ画素のＧデータを算出する。
【００９３】
Ｒ／Ｂデータ算出回路５７は、式（３２）で説明したように、ＲデータおよびＧデータに基づきＢ画素のＲデータを、ＢデータおよびＧデータに基づきＲ画素のＢデータを算出する。
【００９４】
図１９は、本発明の実施の形態３における第２方式部３４の構成を説明するための図である。第２方式部３４は、画素判定回路６０、Ｇデータ算出回路６５、Ｒ／Ｂデータ算出回路６６および６７を含む。画素判定回路６０の判定に基づき、Ｇ画素であれば、Ｒ／Ｂデータ算出回路６６を、Ｒ画素またはＢ画素であれば、Ｒ／Ｂデータ算出回路６７およびＧデータ算出回路６５を実行する。
【００９５】
Ｒ／Ｂデータ算出回路６６は、式（３６）〜（３７）で説明したように、ＧデータおよびＲデータに基づきＧ画素におけるＲデータを算出し、ＧデータおよびＢデータに基づきＧ画素におけるＢデータを算出する。
【００９６】
Ｇデータ算出回路６５は、実施の形態１で説明したＧデータ算出回路５３、比較判定回路５４およびセレクタ５２を含み、Ｒ画素またはＢ画素のＧデータを算出する。
【００９７】
Ｒ／Ｂデータ算出回路６７は、式（３８）で説明したように、ＲデータおよびＧデータに基づきＢ画素のＲデータを、ＢデータおよびＧデータに基づきＲ画素のＢデータを算出する。
【００９８】
図１３におけるセレクタ５は、Ｇ、Ｂ、Ｒ画素のそれぞれについて、方式選択部３２の出力する選択信号が真の場合（データの対称性あり）は、第２方式部３４の補間データを、それ以外の場合には第２方式部３３の補間データを出力する。
【００９９】
なお、本発明の実施の形態３においては入力パターンが１種類であるためカウンタは不要となる。したがって、単純な回路構成でかつ実施の形態１と同様に高画質な画像を得ることが可能となる。
【０１００】
［実施の形態４］
本発明の実施の形態４においては、補間対象の画素と同じ種類の色データを有する画素を用いて、垂直方向、水平方向および斜め方向の対称性を検出する。
【０１０１】
図２０は、実施の形態４における画像補間部４００の構成を説明するための図である。図２０に示す画像補間部４００は、図１３に示す特徴抽出部３１に代わり水平方向、垂直方向および斜め方向の特徴を抽出する特徴抽出部４１を、方式選択部３２に代わり方式選択部４２を備える。
【０１０２】
図２１は、本発明の実施の形態４における特徴抽出部４１の構成の概要について説明するための図である。図２１を参照して、特徴抽出部４１は、画素抽出部３５、第１評価部８ａ、第２評価部８ｂ、第３評価部８ｃ、第４評価部８ｄ、第５評価部８ｅ、第６評価部８ｆ、第７評価部８ｇおよび第８評価部８ｈを含む。
【０１０３】
第１評価部８ａ〜第６評価部８ｆは、実施の形態３で説明したように（Ｘ１１、Ｘ１３、Ｘ１５）、（Ｘ３１、Ｘ３３、Ｘ３５）、（Ｘ５１、Ｘ５３、Ｘ５５）、（Ｘ１１、Ｘ３１、Ｘ５１）、（Ｘ１３、Ｘ３３、Ｘ５３）および（Ｘ１５、Ｘ３５、Ｘ５５）についての対称性の有無を評価する。
【０１０４】
第７評価部８ｇおよび第８評価部８ｈは、斜め方向の対称性について評価する。具体的には、第７評価部８ｇは、（Ｘ１１、Ｘ３３、Ｘ５５）について次式（３９）が成り立つか否かを調べる。また、第８評価部８ｈは、（Ｘ１５、Ｘ３３、Ｘ５１）について次式（４０）が成立するか否かを調べる。
【０１０５】
Ｘ１１−Ｘ５５＜ｔｈ１、（Ｘ１１＋Ｘ５５）−Ｘ３３＞ｔｈ２ …（３９）
Ｘ１５−Ｘ５１＜ｔｈ１、（Ｘ１５＋Ｘ５１）−Ｘ３３＞ｔｈ２ …（４０）
なお、ｔｈ１、ｔｈ２はしきい値であり、ｔｈ１＞ｔｈ２が成り立つ任意の数で実験的に定めるものとする。特徴抽出部４１は、第１評価部８ａ〜第８評価部８ｈの結果（真・偽）を出力Ａ１〜Ａ８する。
【０１０６】
図２２は、本発明の実施の形態４における方式選択部４２の構成の概要を説明するための図である。方式選択部４２は、水平方向対称性判定回路９、垂直方向対称性判定回路１０、斜め方向対称性判定回路４６およびＯＲ回路２７を含む。斜め方向対称性判定回路４６は、第７評価部８ｇの出力Ａ７または第８評価部８ｈの出力Ａ８が真の場合には真を、それ以外の場合には偽を出力する。ＯＲ回路２７は、水平方向対称性判定回路９の出力、垂直方向対称性判定回路１０の出力および斜め方向対称性判定回路４６の出力のうちいずれか一つが真であれば真を、それ以外の場合は偽を出力する。ＯＲ回路２７から出力される選択信号が真の場合には、図２０に示すセレクタ５は、第２方式部３４の補間データを、それ以外の場合には第１方式部３３の補間データを選択的に出力する。
【０１０７】
以上のように、本発明の実施の形態４における構成をとることにより、すべての画素に対して最適な補間処理を行なうことができるため、高画質な画像を得ることが可能となる。また、カウンタを必要としないため回路構成を単純化することが可能となる。
【０１０８】
なお、実施の形態１〜実施の形態４はハードウェアまたはソフトウェアのいずれにおいても実現可能である。
【０１０９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１１０】
【発明の効果】
以上のように、この発明の実施の形態に係る画素データ処理装置によれば、各々が特定の色データを有する複数の画素について、色データの特徴に応じて補間データを選択するように構成することにより、高精度な画像を再現することが可能となる。また、補間処理を並列して実施することにより高速性を満たすことが可能となる。
【０１１１】
この発明の実施の形態に係る画素データ処理装置は、請求項２に係る画素データ処理装置であって、特に色データの水平方向・垂直方向の対称性を特徴として抽出し、これにより補正データを選択する。この結果、対称性が認められる場合には色の変化の割合に基づく補正データを、その他の場合には、色の変化の割合に基づく補正データを選択的に出力できるため適切な補間が可能となる。
【０１１２】
この発明の実施の形態に係る画素データ処理装置は、請求項２に係る画素データ処理装置であって、特に色データの水平方向・垂直方向・斜め方向の対称性を特徴として抽出し、これにより補正データを選択する。この結果、対称性が認められる場合には色の変化の割合に基づく補正データを、その他の場合には、色の変化の割合に基づく補正データを選択的に出力できるため高精度な補間が可能となる。
【０１１３】
この発明の実施の形態に係る画素データ処理装置は、請求項２に係る画素データ処理装置であって、Ｇデータの対称性を特徴として抽出する。データ数の最も多いＧデータを用いるため、高精度な特徴抽出が可能となる。
【０１１４】
この発明の実施の形態に係る画素データ処理装置は、請求項２に係る画素データ処理装置であって、補間する画素と同色の色データの対称性を特徴として抽出する。これにより、ベイヤー配列のＣＣＤを介して得た色データの全てに対して対称性を容易に抽出することが可能となる。
【０１１５】
さらに、この発明の実施の形態に係る画素データ処理方法によれば、各々が特定の色データを有する複数の画素について、色データの特徴に応じて補間データを選択することにより、高精度な画像を再現することが可能となる。また、補間処理を並列して実施することにより高速性を満たすことが可能となる。
【０１１６】
この発明の実施の形態に係る画素データ処理方法は、請求項８に係る画素データ処理方法であって、特に色データの水平方向・垂直方向の対称性を特徴として抽出し、これにより補正データを選択する。この結果、対称性が認められる場合には色の変化の割合に基づく補正データを、その他の場合には、色の変化の割合に基づく補正データを選択的に出力できるため適切な補間が可能となる。
【０１１７】
この発明の実施の形態に係る画素データ処理方法は、請求項８に係る画素データ処理方法であって、特に色データの水平方向・垂直方向・斜め方向の対称性を特徴として抽出し、これにより補正データを選択する。この結果、対称性が認められる場合には色の変化の割合に基づく補正データを、その他の場合には、色の変化の割合に基づく補正データを選択的に出力できるため高精度な補間が可能となる。
【０１１８】
この発明の実施の形態に係る画素データ処理方法は、請求項８に係る画素データ処理方法であって、Ｇデータの対称性を特徴として抽出する。データ数の最も多いＧデータを用いるため、高精度な特徴抽出が可能となる。
【０１１９】
この発明の実施の形態に係る画素データ処理方法は、請求項８に係る画素データ処理方法であって、補間する画素と同色の色データの対称性を特徴として抽出する。これにより、ベイヤー配列のＣＣＤを介して得た色データの全てに対して対称性を容易に抽出することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１における画素データ処理装置および画素データ処理方法が適用されるデジタルスチルカメラ１０００の構成の概要を示すブロック図である。
【図２】 本発明の実施の形態１における画像補間部１００の構成を説明するための図である。
【図３】 ＣＣＤ１０４に含まれるベイヤー型原色フィルタの特徴について説明するための図である。
【図４】 本発明の実施の形態１における入力パターンを説明するための図である。
【図５】 本発明の実施の形態１における特徴抽出部１の構成の概要について説明するための図である。
【図６】 本発明の実施の形態１における方式選択部２の構成の概要について説明するための図である。
【図７】 補間処理について説明するための図である。
【図８】 本発明の実施の形態１における第１方式部３の構成例について説明するための図である。
【図９】 本発明の実施の形態１における第２方式部４の構成例について説明するための図である。
【図１０】 本発明の実施の形態２における画像補間部２００の構成の概要について説明するための図である。
【図１１】 本発明の実施の形態２における特徴抽出部２１の構成の概要について説明するための図である。
【図１２】 本発明の実施の形態２における方式選択部２２の構成の概要について説明するための図である。
【図１３】 本発明の実施の形態３における画像補間部３００の構成の概要について説明するための図である。
【図１４】 本発明の実施の形態３における入力パターンについて説明するための図である。
【図１５】 本発明の実施の形態３における特徴抽出部３１の構成の概要について説明するための図である。
【図１６】 本発明の実施の形態３における方式選択部３２の構成の概要について説明するための図である。
【図１７】 補間処理について説明するための概念図である。
【図１８】 本発明の実施の形態３における第１方式部３３の構成例について説明するための図である。
【図１９】 本発明の実施の形態３における第２方式部３４の構成例について説明するための図である。
【図２０】 本発明の実施の形態４における画像補間部４００の構成の概要について説明するための図である。
【図２１】 本発明の実施の形態４における特徴抽出部４１の構成の概要について説明するための図である。
【図２２】 本発明の実施の形態４における方式選択部４２の構成の概要について説明するための図である。
【符号の説明】
１０２ 光学系、１０４ ＣＣＤ、１０６ 周辺回路、１１２ データ処理部、１１６ カメラ制御部、１１８ 入出力インタフェース回路、１１４ メモリ、１００〜４００ 画像補間部、１，２１，３１，４１ 特徴抽出部、２，２２，３２，４２ 方式選択部、３，３３ 第１方式部、４，３４ 第２方式部、５セレクタ、８ａ〜８ｆ 評価部、７ カウンタ、６，３５ 画像抽出部、１０００ デジタルスチルカメラ。
Claims (10)
- 複数の画素に対して配置される複数の色フィルタから出力される複数の色データを処理する画素データ処理装置であって、
前記複数の色データの特徴を抽出する特徴抽出部と、
補間対象画素に色データを補間するための互いに異なる処理を並列して行なう補間部と、
前記特徴抽出部において抽出された前記特徴に基づき、前記補間部の出力する複数の補間処理結果のうちいずれか一つを選択的に出力するセレクタとを備え、
前記補間部は、
前記補間対象画素の周辺領域における画素の色データの変化量に基づき前記色データを補間する第１補間処理回路と、
前記補間対象画素の周辺領域における、前記補間する色データと同種類の色データと前記補間対象画素と同種類の画素の色データとの比に基づき、前記色データを補間する第２補間処理回路とを含み、
前記特徴抽出部は、前記補間対象画素の周辺領域における画素の色データが、前記補間対象画素に対して対称性があるか否かを検出し、
前記セレクタは、前記対称性がある場合には、前記第２補間処理回路の出力を選択的に出力する、画素データ処理装置。 - 前記複数の画素は、
垂直方向および水平方向にマトリックス状に配置され、
前記特徴抽出部は、
垂直方向の前記対称性を検出する第１評価部と、
水平方向の前記対称性を検出する第２評価部とを含み、
前記第１評価部および前記第２評価部の結果を統合して、前記第１補間処理回路または前記第２補間処理回路のいずれか一方を選択するための選択信号を出力する方式選択部をさらに備え、
前記セレクタは、前記選択信号に応じて、前記第１補間処理回路または前記第２補間処理回路のいずれか一方の出力を選択的に出力する、請求項１に記載の画素データ処理装置。 - 前記複数の画素は、
垂直方向および水平方向にマトリックス状に配置され、
前記特徴抽出部は、
垂直方向の前記対称性を検出する第１評価部と、
水平方向の前記対称性を検出する第２評価部と、
斜め方向の前記対称性を検出する第３評価部とを含み、
前記第１評価部、前記第２評価部および前記第３評価部の結果を統合して、前記第１補間処理回路または前記第２補間処理回路のいずれか一方を選択するための選択信号を出力する方式選択部をさらに備え、
前記セレクタは、前記選択信号に応じて、前記第１補間処理回路または前記第２補間処理回路のいずれか一方の出力を選択的に出力する、請求項１に記載の画素データ処理装置。 - 前記複数の色フィルタは、
ベイヤー配列に従って配置され、
前記複数の色データのそれぞれは、
赤データ、青データ、緑データのいずれかであって、
前記特徴抽出部は、
前記緑データの対称性を検出する、請求項１に記載の画素データ処理装置。 - 前記特徴抽出部は、
前記補間対象画素の色データと同種類の色データの対称性を検出する、請求項１に記載の画素データ処理装置。 - 複数の画素のそれぞれに対して複数の色フィルタから出力される複数の色データを処理して画像を再現する画素データ処理方法であって、
補間対象画素に色データを補間するための互いに異なる複数の補間処理を並列して行なう補間ステップと、
前記補間ステップに同期して、複数の色データの特徴を抽出する特徴抽出ステップと、
前記抽出された特徴に応じて、前記複数の補間処理の結果のうちいずれか一つを選択的に出力する選択ステップとを備え、
前記複数の補間処理は、
前記補間対象画素の周辺領域における画素の色データの変化量に基づき前記色データを補間する第１補間処理と、前記補間対象画素の周辺領域における、前記補間する色データと同種類の色データと前記補間対象画素と同種類の画素の色データとの比に基づき前記色データを補間する第２補間処理とを含み、
前記特徴抽出ステップは、
前記補間対象画素の周辺領域に位置する画素の色データが、前記補間対象画素に対して対称性があるか否かを検出し、
前記選択ステップは、
前記対称性がある場合には、前記第２補間処理の結果を選択的に出力する、画素データ処理方法。 - 前記複数の画素は、
垂直方向および水平方向にマトリックス状に配置され、
前記特徴抽出ステップは、
垂直方向の前記対称性、および水平方向の前記対称性を検出する評価ステップと、
前記評価ステップの結果を統合して、前記第１補間処理または前記第２補間処理のいずれか一方を選択するための選択信号を出力する方式選択ステップとを含み、
前記選択ステップは、
前記選択信号に応じて、前記第１補間処理または前記第２補間処理のいずれか一方の出力を選択的に出力する、請求項６に記載の画素データ処理方法。 - 前記複数の画素は、
垂直方向および水平方向にマトリックス状に配置され、
前記特徴抽出部は、
垂直方向、水平方向および斜め方向の前記対称性を検出する評価ステップと、
前記評価ステップの結果を統合して、前記第１補間処理または前記第２補間処理のいずれか一方を選択するための選択信号を出力する方式選択ステップとを含み、
前記選択ステップは、
前記選択信号に応じて、前記第１補間処理または前記第２補間処理のいずれか一方の出力を選択的に出力する、請求項６に記載の画素データ処理方法。 - 複数の種類の色フィルタは、
ベイヤー配列に従って配置され、
前記複数の色データのそれぞれは、
赤データ、青データ、緑データのいずれかであって、
前記特徴抽出ステップは、
前記緑データの対称性を検出する、請求項６に記載の画素データ処理方法。 - 前記特徴抽出ステップは、
前記補間対象画素の色データと同種類の色データの対称性を検出する、請求項６に記載の画素データ処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15910799A JP4371469B2 (ja) | 1999-06-07 | 1999-06-07 | 画素データ処理装置および画素データ処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15910799A JP4371469B2 (ja) | 1999-06-07 | 1999-06-07 | 画素データ処理装置および画素データ処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000350223A JP2000350223A (ja) | 2000-12-15 |
| JP4371469B2 true JP4371469B2 (ja) | 2009-11-25 |
Family
ID=15686408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15910799A Expired - Fee Related JP4371469B2 (ja) | 1999-06-07 | 1999-06-07 | 画素データ処理装置および画素データ処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4371469B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4225795B2 (ja) * | 2003-01-22 | 2009-02-18 | オリンパス株式会社 | 撮像システム、画像処理プログラム |
| KR100967742B1 (ko) | 2004-09-07 | 2010-07-06 | 크로스텍 캐피탈, 엘엘씨 | 이미지센서의 색 보간 방법 |
| JP4583871B2 (ja) * | 2004-10-18 | 2010-11-17 | 三菱電機株式会社 | 画素信号生成装置、撮像装置および画素信号生成方法 |
| JP2009012930A (ja) * | 2007-07-04 | 2009-01-22 | Toshiba Elevator Co Ltd | エレベータの群管理システム |
-
1999
- 1999-06-07 JP JP15910799A patent/JP4371469B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000350223A (ja) | 2000-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1761072B1 (en) | Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera | |
| JP2931520B2 (ja) | 単板式カラービデオカメラの色分離回路 | |
| EP1977613B1 (en) | Interpolation of panchromatic and color pixels | |
| JP5461568B2 (ja) | カラーおよび全色性チャネルｃｆａ画像の修正 | |
| US7835573B2 (en) | Method and apparatus for edge adaptive color interpolation | |
| EP1357760B1 (en) | Image processing device and method | |
| US20080123997A1 (en) | Providing a desired resolution color image | |
| KR100505681B1 (ko) | 베이어 패턴 컬러 신호에 대한 적응형 필터로 보간을수행하여 해상도를 높이는 보간기, 이를 구비한 디지털영상 신호 처리 장치, 및 그 방법 | |
| JP5645051B2 (ja) | 画像処理装置 | |
| JP5513978B2 (ja) | 撮像装置、集積回路および画像処理方法 | |
| JP4329542B2 (ja) | 画素の類似度判定を行う画像処理装置、および画像処理プログラム | |
| JP2010537228A (ja) | パンクロ画素を使用する画素アスペクト比の補正 | |
| CN110944160A (zh) | 一种图像处理方法及电子设备 | |
| JP2013031154A (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
| JP4649171B2 (ja) | 倍率色収差補正装置、倍率色収差補正方法及び倍率色収差補正プログラム | |
| JP5212046B2 (ja) | デジタルカメラおよび画像処理装置並びに画像処理プログラム | |
| JP4371469B2 (ja) | 画素データ処理装置および画素データ処理方法 | |
| CN110896444B (zh) | 一种双摄像头切换方法和设备 | |
| JP5036524B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
| JP3786300B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
| JP2003134523A (ja) | 撮像装置及び撮像方法 | |
| WO2003107684A1 (ja) | 画像処理装置及び方法、画像出力装置、並びにこれらを用いたデジタルカメラ装置及び携帯情報端末 | |
| KR100776385B1 (ko) | 에지 향상과 노이즈 제거를 위한 컬러 보간 장치 | |
| JPH0795595A (ja) | カラー撮像装置 | |
| EP3992901A1 (en) | Image correction device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060605 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090901 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |