JP4032200B2 - 画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4032200B2 JP4032200B2 JP31645598A JP31645598A JP4032200B2 JP 4032200 B2 JP4032200 B2 JP 4032200B2 JP 31645598 A JP31645598 A JP 31645598A JP 31645598 A JP31645598 A JP 31645598A JP 4032200 B2 JP4032200 B2 JP 4032200B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- interpolation
- image
- component
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 150
- 238000012545 processing Methods 0.000 claims description 70
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000012888 cubic function Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 239000003086 colorant Substances 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000740 bleeding effect Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000000593 degrading effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Color, Gradation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
コンピュータなどで画像を扱う際には、画像をドットマトリクス状の画素で表現し、各画素を階調値で表している。例えば、コンピュータの画面で水平方向に６４０ドット、垂直方向に４８０ドットの画素で写真やコンピュータグラフィックスを表示することが多い。
【０００３】
一方、カラープリンタの性能向上がめざましく、そのドット密度は７２０ｄｐｉというように極めて高精度となっている。すると、６４０×４８０ドットの画像をドット単位で対応させて印刷させようとすると極めて小さくなってしまう。この場合、階調値も異なる上、解像度の意味合い自体が異なるのであるから、ドット間を補間して印刷用のデータに変換しなければならない。
従来、このような場合にドットを補間する手法として、最近隣内挿法（ニアリストネイバ補間：以下、ニアリスト法と呼ぶ）や、３次たたみ込み内挿法（キュービックコンボリューション補間：以下、キュービック法と呼ぶ）などの手法が知られている。
【０００４】
ところで、ニアリスト法は演算処理が簡易である反面、画質の面で補間精度が高いとはいえない。一方、キュービック法は画質の面で補間精度が高いので良好にも思われるが、演算処理の負担が大きい。従って、従来は時間がかかってもよいか否かに応じてニアリスト法かキュービック法かを決定していた。また、その選択をユーザに委ね、良好な画質を望む場合には時間がかかってしまうことを前提としてキュービック法を選択できるようにしていた。
【０００５】
【発明が解決しようとする課題】
上述した従来の手法においては、処理速度を重視するか画質を重視するかによってニアリスト法かキュービック法かを切り換えていたが、ユーザからは画質を劣化させることなくより高速な処理が望まれていた。本発明は、上記課題にかんがみてなされたもので、画質を劣化させることなくより高速に画素補間を実現することが可能な画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体の提供を目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、演算手段を有するコンピュータを用いて画像データの補間処理を実行する画像データ補間方法であって、上記演算手段により、画像を構成する複数の画素を少なくとも輝度成分と色差成分を含む各構成要素についての程度を示す階調値で表すようにした画像データを取得する画像データ取得工程と、上記演算手段により、上記輝度成分について上記画像をシャープにさせるとともに上記色差成分について実行する補間処理よりも補間精度が高い第１の補間処理を実行し、上記色差成分について上記第１の補間処理より補間速度が速く上記画像をぼやけさせる第２の補間処理を実行する構成要素別画素補間工程と、上記演算手段により、補間された画像データを出力する画像データ出力工程とを含む構成としてある。
【０００７】
上記のように構成した請求項１にかかる発明においては、その対象とする画像データがカラーの自然画像を複数の画素で表現し、各画素の色調や明るさを表現するために複数の構成要素ごとにその階調値で程度を表すようにしたものであり、画像データ取得工程にてこの画像データを取得すると、構成要素別画素補間工程では各構成要素に応じて補間処理を対応付け、最適な組み合わせで補間処理を実行する。そして、続く画像データ出力工程でこの補間された画像データを出力する。
【０００８】
すなわち、画像データの各構成要素について一律に一つの補間処理を実行するのではなく、その構成要素ごとに補間処理を変えている。その前提として、各構成要素について補間処理を高精度にすることが必ずしも画質に比例しない場合があるからである。従って、高精度に補間処理することがあまり画質に寄与しない構成要素については演算処理を簡易なものとし、補間処理の精度が敏感に画質に影響を与えるような構成要素については演算処理の負荷は大きいものの高精度な補間処理を対応づけて組み合わせることが妥当である。
【０００９】
画像データは一次元的な表現は不便であるので多次元的な表現が好ましく、多次元的に表現することによって表色空間を表す。従って、かかる表色空間ではその座標軸に一連の関連性があり、座標軸ごとに補間処理の負担と効果との対応関係が異なることが多い。このため、座標軸を基準として補間処理を変えることにより、最適な結果を導出させうる。
【００１０】
表色空間が色分解した複数の要素色によって表されているが、ここにおいて各要素色に対する人の視覚感度が相違することが多い。例えば、光の三原色として表されるＲ（赤）、Ｇ（緑）、Ｂ（青）の場合、青に対する人の視覚感度は低い。従って、青の成分について演算処理が簡易なものを実行したとしても補間結果はあまり劣化しない。すなわち、各要素色に対する人の視覚感度の相違に着眼し、感度の鋭い要素色に精度の高い補間処理を対応づけつつ、感度の鈍感な要素色に精度の低い補間処理を対応づければ、画質の劣化を感じさせることなく全体の演算処理量は低減する。
【００１１】
上記表色空間は輝度成分座標軸と色差成分座標軸とを有しており、この場合に、上記構成要素別画素補間工程では、輝度成分の構成要素について補間処理を実行する際に色差成分の構成要素について実行する補間処理よりも補間精度を高くしている。
【００１２】
例えば、テレビジョン放送の例からも明らかなように、情報量としては輝度信号の方が色差信号よりも絶対的に多い。別の言葉で表せば輝度信号を変調するのに要する周波数帯域の方が色差信号を変調するのに要する周波数帯域より広くなるのと同様である。このように輝度と色差とでは元々の情報量に偏りがあるため、情報量の多い輝度に演算処理を要する補間精度の高い補間処理を実行し、情報量の少ない色差にはあまり演算処理を要しない補間精度の低い補間処理を実行している。ここにおいて、色差について演算処理の負荷が大きくない補間処理として画素をぼけさせる補間処理を対応づけておく。この結果、本来の補間という目的を果たしつつも、これと併せてにじみを低減させる効果を生じさせることになる。
【００１５】
一方、画像データを取得する工程は既に用意されている画像データをそのまま入力するだけにとどまらず、画像データを生成する工程であるとか加工処理する工程などを含むものであっても構わない。従って、処理の全体としてみると表色空間の変換が必要な場合もあり、そのような場合に好適な例として、請求項２にかかる発明は、請求項１に記載の画像データ補間方法において、上記画像データ取得工程では、前準備として入力した画像データの表色空間を変換する構成としてある。
【００１６】
先の例に照らしてみると、最初の画像データにおいては構成要素間に重要度の差異がなかったものの、後工程で要求される表色空間が輝度と色差の構成要素を必要とする場合には構成要素間に重要度のばらつきが生じるわけであり、このような変換が必要な場合には本発明が好適に適用されうる。従って、請求項２にかかる発明においては、画像データ取得工程を実施する際に入力した画像データの表色空間を変換し、これに対して上述したような画素補間処理を実行した画像データを出力するので、以後の工程では画質が劣化することなく高速に画素補間処理された画像データを得られることになる。
【００１７】
ところで、画像データ取得工程が画像を取り込む工程も含む例として、デジタルスチルカメラなどのような撮像機器に適用されることもある。デジタルスチルカメラの場合、固体撮像素子で撮影を行うが、単板の固体撮像素子ではドットマトリクス状に感光素子を配置しながらＲＧＢの三色を表現するのであるから、全感光素子をＲＧＢの三色に割り振って利用することになる。従って、碁盤の升目のように感光素子が配置されていれば、ＲＧＢのそれぞれは歯抜けの状態で割り振られ、現実にはかかる歯抜けの状態で受光しながらも画像データとして出力する際にはＲＧＢのそれぞれが碁盤の升目の全てにデータを持つように欠けている画素のデータを演算で算出している。
【００１８】
このようにして画素のデータを補充する場合、各要素色ごとに密度が均一でないことなどから画像データににじみが発生することが知られている。これを解消するには画像、特に色差をぼかす処理が有用であるので、にじみを消すために画像をぼかす画像処理が別途行われている。
【００２０】
同様に、画像データを出力する工程といっても画素補間した画像データを後工程に受け渡すだけにとどまらず、画像データからプリントアウトする工程であるとかデータ形式を変換する加工処理を行なう工程などを含むものであっても構わない。このような場合、後工程で要求される画像データの構成要素には上述したような偏りがあるものとすると、単に表色空間を変換することによって本来の情報量が減ってしまうことになりかねない。すなわち、せっかく情報量の多い画像データであったにもかかわらず、そのようになってしまうのは残念である。このような場合に好適な一例として、請求項３にかかる発明は、請求項１〜請求項７のいずれかに記載の画像データ補間方法において、上記構成要素別画素補間工程で、画像密度を向上させた後、上記画像データ出力工程で、情報精度を劣化させることになる画像データの形式変換を実行する構成としてある。
【００２１】
上記のように構成した請求項３にかかる発明においては、予め演算処理に大きな負担をかけることなく高画質を維持できる構成要素別画素補間工程で画像密度を向上させておき、画像データ出力工程では情報精度を劣化させることになる画像データの形式変換を行なう。このようにすると、画像密度を上げてから画像データの形式変換を行うだけのようであるが、情報量の少ない構成要素に対してデータが割り振られる際に、情報の落ちが少なくなるといえる。実質的にみても情報量が劣化するようなデータ形式であるものの、画像密度は高くなっているので両者を相殺したときに全体としては以前のデータ形式に近い情報量を維持しているといえるからである。
【００２２】
このように、画像データの各構成要素について一律に一つの補間処理を実行するのではなく、その構成要素ごとに補間処理を変える手法は実体のある装置において実現され、その意味で本発明を実体のある装置としても適用可能であることは容易に理解できる。このため、請求項６にかかる発明は、画像を構成する複数の画素を少なくとも輝度成分と色差成分を含む各構成要素についての程度を示す階調値で表すようにした画像データを取得する画像データ取得する画像データ取得手段と、上記演算手段により、上記輝度成分について上記画像をシャープにさせるとともに上記色差成分について実行する補間処理よりも補間精度が高い第１の補間処理を実行し、上記色差成分について上記第１の補間処理より補間速度が速く上記画像をぼやけさせる第２の補間処理を実行する構成要素別画素補間手段と、補間された画像データを出力する画像データ出力手段とを有する構成としてある。
【００２３】
すなわち、実体のある装置としても有効であることに相違はない。このような画像データ補間装置は単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。従って、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。発明の思想の具現化例として画像データ補間方法を実施するソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
【００２４】
その一例として、請求項７にかかる発明は、演算手段を有するコンピュータに、上記演算手段により、画像を構成する複数の画素を少なくとも輝度成分と色差成分を含む各構成要素についての程度を示す階調値で表すようにした画像データを取得する画像データ取得ステップと、上記演算手段により、上記輝度成分について上記画像をシャープにさせるとともに上記色差成分について実行する補間処理よりも補間精度が高い第１の補間処理を実行し、上記色差成分について上記第１の補間処理より補間速度が速く上記画像をぼやけさせる第２の補間処理を実行する構成要素別画素補間ステップと、上記演算手段により、補間された画像データを出力する画像データ出力ステップとを実行させるための画素補間プログラムを記録したコンピュータ読み取り可能な記録媒体としてある。
【００２５】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行なう場合でも本発明が利用されていることにはかわりない。
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【００２６】
【発明の効果】
以上説明したように本発明は、画質を劣化させることなくより高速に画素補間を実現することが可能な画像データ補間方法を提供することができる。
【００３０】
【発明の実施の形態】
図１は、本発明の画像データ補間方法をフローチャートにより示しており、図２〜図５は、本画像データ補間方法を実施するディジタルスチルカメラの概略構成をブロック図により示している。各種の機構的および電子的な制御を行うのがコントローラ１０であり、図３に示すようにその主たる構成はＣＰＵ１１とＲＯＭ１２とＲＡＭ１３とであり、これらはバス１４を介して相互に接続されるとともにＩ／Ｏ１５を介して外部の主構成部品と電気的に接続されている。
【００３１】
この主構成部品の一つとして撮像部２０がコントローラ１０に接続されている。撮像部２０については図４により詳細に示しており、光学系路２１の一部として測距部２１ａとオートフォーカス機構２１ｂとを備えている。本実施形態においては、測距部２１ａにて三角法などによって距離を測定し、オートフォーカス機構２１ｂが測定結果に基づいて焦点合わせを行うようにしている。この場合、焦点合わせの対象となるのは予め予想された中央位置などとなる。また、撮像部２０には、ＣＣＤ素子からなる撮像素子２２と、この撮像素子２２の出力データを所定増幅率で増幅するＡＧＣ回路２３と、同ＡＧＣ回路２３のアナログ出力値をディジタルデータに変換するＡ／Ｄコンバータ２４とが備えられている。これらは個々にコントローラ１０と接続されて制御されるとともに、撮像データはＡ／Ｄコンバータ２４の変換データとして画像処理部３０に出力されている。
【００３２】
画像処理部３０は光学系路２１の特性であるとか撮像素子２２の特性をチューニングするために備えられたハードウェア回路である。単板のＣＣＤ素子の場合には平面的に赤、緑、青の受光素子を配置せざるを得ず、縦横二次元に配列された個別の受光素子に赤緑青（ＲＧＢ）のフィルタを被せて被写体画像を撮像することになる。すると、図６に示すようにある画素は緑だけ、他の画素は赤だけ、次の画素は青だけのデータしか存在しないことになってしまうため、周りの画素から他の要素色のデータを補間生成することになる。フィルタ補間回路３１はこのような補間演算をハードウェアで実現するものであり、単板ＣＣＤ素子からなる撮像素子２２において必須となる。なお、この例では画像データは赤、緑、青の三つの構成要素からなり、さらにこれらは光の三原色であって通常の色分解によって得られる構成要素である。また、この場合の表色空間は赤、緑、青の座標軸を有していることになる。
【００３３】
単板ＣＣＤにおいては各画素の受光感度のバラツキが大きくないにしてもＲＧＢというフィルタを被せているので、自ずからその出力特性間には偏重が生じうる。自動ホワイトバランス回路３２はこのような偏りを解消するものであるが、ハードウェア回路で実現するので概略的には平均的となるか特定の範囲のデータ分布が一定となるようにすることになる。また、γ補正回路３３は撮像素子２２の受光感度をフラットにすることが主たる役割である。
【００３４】
フィルタ補間回路３１についてはデータが入力されれば機械的にそのまま実行されるだけであるが、自動ホワイトバランス回路３２やγ補正回路３３についてはハードウェア回路で設計された補正機能に加えてコントローラ１０からの具体的な指示も入力可能であり、ホワイトバランスについても意図的にシフトすることが可能であったり、γ補正回路で各要素色毎に異なるγ補正を掛けるなどして能動的な調整を可能としている。
【００３５】
このような画像処理部３０を経て画像データは、一旦、ＤＲＡＭ４０に保存されるが、撮像素子２２の出力イメージのままでは画像データが大きくなりすぎるため、コントローラ１０は画像データをＤＲＡＭ４０から読み出し、符号化部７０にてＪＰＥＧの圧縮フォーマットに変換させ、その後でフラッシュメモリ６０に保存する。
これらの他、コントローラ１０には操作表示部８０が接続され、図示しないシャッターボタンなどの各種操作子と共にＬＣＤなどの画像表示パネルも備えられている。むろん、コントローラ１０は各操作子の操作状況を逐次入力しているし、撮像した画像を表示パネルに表示する。また、夜間撮影のためにストロボ９０も備えられ、上記操作子で操作されたときあるいはコントローラ１０によって所定の判断処理が行われたときに発光するようになっている。
【００３６】
本実施形態においては、以上のようなハードウェア構成となっているが、ディジタルスチルカメラとしての構成は概略において共通するし、他の構成とすることも当然に可能である。また、この例ではディジタルスチルカメラとして実現しているが、ディジタルビデオカメラなどに組み込んで実現することも可能である。
コントローラ１０は本ディジタルスチルカメラの全体的な制御を行うが、撮影時の一連の処理の流れを図７のフローチャートに示している。撮像素子２２の出力データはＡＧＣ回路２３に入力されて所定増幅率で増幅され、同ＡＧＣ回路２３のアナログ出力値はＡ／Ｄコンバータ２４でディジタルデータに変換される。この時点ではまだ色フィルタの配置に起因した歯抜けのデータであるため、フィルタ補間回路３１が欠陥画素を補間し、自動ホワイトバランス回路３２とγ補正回路３３とでＲＧＢの出力特性間偏重を解消しつつ、受光感度をフラットにする。
【００３７】
このようにしてＲＧＢという三原色を基準としたいわゆるビットマップ形式の画像データが生成されるが、最終的に必要なのはＪＰＥＧ方式の画像データであり、ＪＰＥＧ符号化が必要である。このＪＰＥＧ符号化を行うにあたってＲＧＢ形式のままでは演算処理の負担が大きいため、この負担を低減させるためにコントローラ１０内部でＲＧＢからＹＵＶへの表色空間の変換を行う。すなわち、三原色ＲＧＢの各色ごとに明るさで階調表現していたものを、輝度（Ｙ）と色差（Ｕ，Ｖ）で表現し直すためにデータ形式の変換を行う。むろん、ＲＧＢの表色空間とＹＵＶの表色空間との間では色自体が変化するものではなく、単に座標系だけが変化することになる。そして、ＹＵＶの座標系へ変換した後でＪＰＥＧ符号化を行ってフラッシュメモリ６０に保存する。
【００３８】
この場合は最終的なデータフォーマットがＪＰＥＧ方式であるが、このＪＰＥＧ方式は圧縮フォーマットであるが故に画像の劣化を伴う。従って、本実施形態ではできる限り画像品質を保持できるようにＪＰＥＧ符号化を行う前に画像を拡大しておき、ＪＰＥＧ符号化を行ったときの劣化分を低減させることにしている。
拡大は、少なくとも画素の欠陥が無くなっていて、各種の調整も終えた後であることが必要なため、実行できるのはステップ１４０よりも後である。従って、ステップ１５０においてＲＧＢからＹＵＶへ変換する前後で実現可能である。図８および図９は、前後のいずれかに行なうかに対応したフローチャートを示している。
【００３９】
図８はＲＧＢの画像データに対して画素補間を行う例を示し、図９はＹＵＶの画像データに対して画素補間を行う例を示しているが、ここにおいて特徴的なのは、いずれの場合でも全ての構成要素に対して一律の補間手法を実施していない点である。
ＲＧＢの各構成要素が人間の視覚において完全に同等な感度ではないことがよく知られている。例えば、ＲＧＢのデータから簡易的に輝度Ｙを求める際には、Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ
として計算されることが多い。この計算式からも明らかなようにＢ成分であれば全体の明度に対して１１％の寄与しかなしておらず、Ｇ成分は５９％であって半分強を占めている。Ｒ成分は３０％でほぼ均等割りに近いが、それでもＢ成分の約３倍の寄与度がある。
【００４０】
これから言えるのは、Ｂ成分についての補間演算を高精度に行ったとしても画像データとして一つの画素を表す際の寄与度は極めて小さいし、逆に補間演算を簡易な演算によったとしても各画素への寄与度は小さいから画質の劣化もあまり影響しないということである。このため、ＲＧ成分についてはステップ１５１にて演算処理の負担が大きいものの画質をシャープにできるキュービック法を採用するし、Ｂ成分については演算処理が簡易なニアリスト法を採用している。
【００４１】
ここでこれらのキュービック法の補間処理とニアリスト法の補間処理とについて説明する。各種の補間処理のうちで最もシンプルなものはニアリスト法の補間処理であり、図１０に示すように周囲の四つの格子点Ｐｉｊ，Ｐｉ＋１ｊ，Ｐｉｊ＋１，Ｐｉ＋１ｊ＋１と内挿したい点Ｐｕｖとの距離を求め、もっとも近い格子点のデータをそのまま移行させる。これを一般式で表すと、
Ｐｕｖ＝Ｐｉｊ
となる。ここで、ｉ＝［ｕ＋０．５］、ｊ＝［ｖ＋０．５］である。なお、［］はガウス記号で整数部分を取ることを示している。
【００４２】
ニアリスト法においては最も近い格子点を判断するものの、その格子点のデータをそのまま利用するので演算処理量が最も少ない。しかし、画像のエッジがそのまま保持される特徴を有するため、拡大すればジャギーが目立つので画質としては良好と言えない。
一方、シャープでありながらジャギーを生じさせにくい高精度な補間処理がキュービック法であり、その反面演算処理量が大きいという特徴も有している。キュービック法は図１１に示すように、内挿したい点Ｐｕｖを取り囲む四つの格子点のみならず、その一周り外周の格子点を含む計１６の格子点のデータを利用し、３次たたみ込み関数を用いた一般式は次式のようになる。
【数１】
となる。これをＰについて展開すると、
【数２】
となる。なお、
【数３】
と置換可能である。
【００４３】
従って、ステップ１５１でＲＧ成分を高精度な補間処理で画素補間し、ステップ１５２でＢ成分について演算処理量の低い補間処理で画素補間することになる。このようにＢ成分について補間精度が低い補間処理を採用してはいるが、上述したようにＢ成分に対する人間の視覚が鈍感であるため、画質の劣化はあまり感じられず、その割には演算処理量を低減させる効果が得られるのである。
ステップ１５３ではＲＧＢからＹＵＶへのデータ変換を行うが、具体的には、上述した輝度Ｙを利用し、
Ｃ１＝Ｒ−Ｙ
Ｃ２＝Ｂ−Ｙ
を求めた後、
Ｖ＝Ｃ１／１．１４
Ｕ＝Ｃ２／２．０３
として、ＹＵＶの全てを演算で求める。
【００４４】
一方、図９に示すように、先にステップ１５４にてＲＧＢからＹＵＶへのデータ変換を行い、その後、画素補間を行うことも可能である。この場合、ステップ１５５ではＹ成分についてのみキュービック法で画素補間し、ステップ１５６ではＵＶ成分についてはニアリスト法で画素補間するようにしている。画像は白黒画像としても理解できるように、人間の視覚として輝度に対しては敏感であり、色差については比較的鈍感である。従って、色差については補間精度は低いものの演算処理の簡易なニアリスト法を採用し、最も重要な輝度についてだけ高精度な補間処理であるキュービック法を採用している。
【００４５】
図８に示す順番と図９に示す順番とを比較した場合、図９に示す場合の方がキュービック法の演算処理を施す画素数が少ないことは明らかであり、その意味では後者の方が演算処理を低減させる上でより効果的である。
なお、図７に示すフローチャートと図１に示す本発明の画像データ補間方法とを対応づけると、画像データ取得工程Ａ１はステップ１００〜ステップ１４０までが該当するし、構成要素別画素補間工程Ａ２はステップ１５０が該当するし、画像データ出力工程Ａ３はステップ１６０とステップ１７０が該当するといえる。
【００４６】
以上の処理では、ＲＧＢの座標系とＬＵＶの座標系を利用する場合について説明したが、他の座標系であるＬａｂやＬｕｖやＹＣＣなどにおいても構成要素に各座標軸を採用するようなものについても同様に適用できる。
ところで、上述したＲＧＢからＹＵＶへの座標変換時、輝度Ｙに対する色差ＵＶの重要度の低さを予め考慮して実質的な画素密度を低減化することも多い。図１３は輝度Ｙの画素密度と色差ＵＶの画素密度との差を示している。画像データを構成する各画素ごとに輝度Ｙのデータは独立しているのに対し、色差ＵＶのデータは左右の２画素ごとに一つのデータが割り当てられているので、データ量は同等であっても実質的な情報量は半分となっている。この意味で実質的な画素密度は均等ではない。
【００４７】
上述したフィルタ補間回路３１がハードウェア的にこのような変換を行う場合には、ＲＧＢからＹＵＶへの変換であるステップ１５０の処理として図９に示す処理が妥当である。すなわち、ハードウェアで色差ＵＶの画素密度が減っているのであるから、これに対して高精度な補間処理を実施したとしてもあまり意味がない。従って、ニアリスト法で画素補間することとし、それによって演算処理量の低減を図ることにする。
【００４８】
また、撮像素子２２は単板のＣＣＤ素子に図６に示すようなＲＧＢのフィルタを配置して構成されていることは上述したが、欠けている画素を隣接している現実の画素に基づいて当該欠陥画素を補充しているのがフィルタ補間回路３１である。しかしながら、このような補充を行うと色にじみが発生しやすい。
例えば、図１４（ａ）において、矢印（→）で示す中段の色フィルタに着目する。そして、同図（ｂ）に示すように中央から左半分に光が当たっており（白色部分）、同中央から右半分には光が当たっていない（黒色部分）ものとする。ここにおいて、光があたっている状態の各色の色信号レベルを「１」とし、光が当たっていない状態の同色信号レベルを「０」とすると、ＲおよびＧの色信号レベルは、本来、同図（ｃ）に示す値になるはずである。
【００４９】
しかし、Ｒの色フィルタの画素についてはＧの色信号は直接的には得られないし、Ｇの色フィルタの画素についてはＲの色信号は直接的に得られず、結局、Ｒの色フィルタに対応する画素のＧの色信号については、隣接する画素におけるＧの色信号を線形補間して得ることになる。他方、Ｇの色フィルタに対応する画素のＲの色信号についても、隣接する画素におけるＲの色信号を線形補間して得る。すると、各画素におけるＧおよびＲの色信号レベルは、それぞれ同図（ｄ）および（ｅ）に示す値となる。この結果、光が当たる領域と光が当たらない領域との境界付近の画素に偽の色信号が発生し、この偽の色信号により画像上に色にじみが発生する。特に、この色にじみはグレイ・ホワイト間の境界に顕著に現れることが知られている。
【００５０】
このような色にじみを低減するには、色差データに対して平滑化フィルタ（ローパスフィルタ）を作用させる画像処理を行なうと、色にじみが目立たなくなる。従って、従来は色にじみを低下させるために色差ＵＶに対して平滑化フィルタを適用する画像処理を行なっていた。
しかしながら、このような色にじみを低減させるためという目的においても、本発明は極めて有効である。図１５は色にじみを同時に低減させることが可能な画素補間処理の主要部をフローチャートにより示しており、図９に示すものと比較してＹ成分についてのキュービック法の補間処理に代えてステップ１５７にてＭキュービック法の補間処理を実行し、ＵＶ成分についてのニアリスト法の補間処理に代えてステップ１５８にてバイリニア法の補間処理を実行するようにしている。ここで、これらのＭキュービック法の補間処理とバイリニア法の補間処理について説明する。
【００５１】
キュービック法では一方の格子点から他方の格子点へと近づくにつれて徐々に変化していき、その変化具合がいわゆる３次関数的になるという特徴を有している。キュービック法によれば３次関数的に表せる以上、そのカーブの形状を調整することによって補間結果の品質を左右することができる。
その調整の一例として、
【数４】
としたものをＭキュービック法と呼ぶことにする。
【００５２】
図１２には上述したキュービック法やニアリスト法とともにこのＭキュービック法における補間関数ｆ（ｔ）を示している。同図において、横軸に位置を示し、縦軸に補間関数を示している。ｔ＝０、ｔ＝１、ｔ＝２の位置に格子点が存在し、内挿点はｔ＝０〜１の位置となる。キュービック法とＭキュービック法とを比較すると、Ｍキュービック法の方が３次関数的なカーブがわずかに急峻となり、画像全体のイメージがよりシャープとなる。
【００５３】
次に、バイリニア法（共１次内挿法）の補間手法を説明すると、図１２に示すように、一方の格子点から他方の格子点へと近づくにつれて徐々に変化していく点でキュービック法やＭキュービック法と共通するが、その変化が両側の格子点のデータだけに依存する一次関数的となっている。すなわち、図１０に示すように内挿したい点Ｐｕｖを取り囲む四つの格子点Ｐｉｊ，Ｐｉ＋１ｊ，Ｐｉｊ＋１，Ｐｉ＋１ｊ＋１で区画される領域を当該内挿点Ｐｕｖで四つの区画に分割し、その面積比で対角位置のデータに重み付けする。これを式で表すと、
となる。なお、ｉ＝［ｕ］、ｊ＝［ｖ］である。
【００５４】
キュービック法とバイリニア法では、その変化状況が３次関数的であるか１次関数的であるかが異なり、画像としてみたときの差異は大きい。バイリニア法の場合、隣接する二点間（ｔ＝０〜１）で直線的に変化するだけであるので境界をスムージングすることになり、画面の印象はぼやけてしまう。これは画像に対して平滑化フィルタをかけたのと同様の効果を得られる。
図１５に示すフローチャートにおいて、ステップ１５４ではＲＧＢからＹＵＶへのデータ変換を行い、ステップ１５７では輝度であるＹ成分についてＭキュービック法で画素補間すると、図９に示したキュービック法の場合以上にシャープな画像が得られる。また、ステップ１５８では色差であるＵＶ成分についてバイリニア法で画素補間するので、必要数の画素に拡大されつつ、平滑化フィルタをかけたのと同様になる。従って、色差自体がぼける感じとなり、色にじみは低減される。
【００５５】
以上は、本発明をディジタルスチルカメラ内での画像処理に適用しているが、画素補間処理を行なう過程で構成要素ごとに補間手法を代えるのはこのような場合に限定されるわけではない。図１６はこのようにして撮影された画像データに基づいてパソコンの画面に表示したり印刷したりする場合の概略のデータの流れを示している。
フラッシュメモリあるいはハードディスクに転送された画像データをステップ２００にて読み出し、ステップ２１０にてＪＰＥＧ複合化を行うと画像データはＹＵＶ形式で復元される。パソコン内ではＲＧＢ形式による処理が基本であるため、ステップ２２０にてＹＵＶからＲＧＢへデータ変換し、ステップ２３０にてプリンタに印字させたりディスプレイに表示したりする。
【００５６】
ディスプレイに表示する場合には解像度変換を要することは多くないが、プリンタの解像度は非常に高いため、画像データの解像度を上げる必要がある。従って、この場合も先ほどと同様にしてＹＵＶで画素補間したり、ＲＧＢで画素補間するべく、ステップ２２０のデータ変換時に図８や図９に示すようにして画素補間する。すると、画質を維持しつつ処理速度を高速化させることができる。
このように、ＲＧＢ成分を含んでいたり、ＹＵＶ成分を含んでいたりする画像データについて、その構成要素に対して一律に一つの補間処理を実行するのではなく、その構成要素ごとに補間処理を変え（ステップ１５１，１５２，１５５，１５６，１５７，１５８）、例えば、人間の視覚感度が鈍い成分については補間精度を低くして演算処理量を低減させたり、画素密度自体が低いというように情報量が減っている成分についても補間精度を低くして演算処理量を低減させることにより、画質を維持しつつ全体の演算処理量を低減させることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる画像データ補間方法のフローチャートである。
【図２】同画像データ補間方法を適用したディジタルスチルカメラのブロック図である。
【図３】同ディジタルスチルカメラにおけるコントローラのブロック図である。
【図４】同ディジタルスチルカメラにおける撮像部のブロック図である。
【図５】同ディジタルスチルカメラにおける画像処理部ブロック図である。
【図６】同ディジタルスチルカメラにおけるフィルタとフィルタ補間結果を示す図である。
【図７】同ディジタルスチルカメラにおける撮影時のフローチャートである。
【図８】ＲＧＢ成分について構成要素別に補間処理する場合のフローチャートの一部である。
【図９】ＹＵＶ成分について構成要素別に補間処理する場合のフローチャートの一部である。
【図１０】基本的な画素補間で生成される画素を示す図である。
【図１１】キュービック法の画素補間手法を示す図である。
【図１２】画素補間で利用する補間関数の変化を示す図である。
【図１３】構成要素ごとに実質的な画素密度が相違する場合を示す図である。
【図１４】色フィルタの配置に基づいて色にじみが発生する状況を示す図である。
【図１５】構成要素ごとに補間処理を変えつつ色にじみを低減させる場合のフローチャートの一部である。
【図１６】パソコンで画像データを処理する過程を示すフローチャートである。
【符号の説明】
１０…コントローラ
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…バス
２０…撮像部
２１…光学系路
２１ａ…測距部
２１ｂ…オートフォーカス機構
２２…撮像素子
２３…ＡＧＣ回路
２４…Ａ／Ｄコンバータ
３０…画像処理部
３１…フィルタ補完回路
３２…自動ホワイトバランス回路
３３…γ補正回路
４０…ＤＲＡＭ
６０…フラッシュメモリ
７０…符号化部
８０…操作表示部
９０…ストロボ
【発明の属する技術分野】
本発明は、画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
コンピュータなどで画像を扱う際には、画像をドットマトリクス状の画素で表現し、各画素を階調値で表している。例えば、コンピュータの画面で水平方向に６４０ドット、垂直方向に４８０ドットの画素で写真やコンピュータグラフィックスを表示することが多い。
【０００３】
一方、カラープリンタの性能向上がめざましく、そのドット密度は７２０ｄｐｉというように極めて高精度となっている。すると、６４０×４８０ドットの画像をドット単位で対応させて印刷させようとすると極めて小さくなってしまう。この場合、階調値も異なる上、解像度の意味合い自体が異なるのであるから、ドット間を補間して印刷用のデータに変換しなければならない。
従来、このような場合にドットを補間する手法として、最近隣内挿法（ニアリストネイバ補間：以下、ニアリスト法と呼ぶ）や、３次たたみ込み内挿法（キュービックコンボリューション補間：以下、キュービック法と呼ぶ）などの手法が知られている。
【０００４】
ところで、ニアリスト法は演算処理が簡易である反面、画質の面で補間精度が高いとはいえない。一方、キュービック法は画質の面で補間精度が高いので良好にも思われるが、演算処理の負担が大きい。従って、従来は時間がかかってもよいか否かに応じてニアリスト法かキュービック法かを決定していた。また、その選択をユーザに委ね、良好な画質を望む場合には時間がかかってしまうことを前提としてキュービック法を選択できるようにしていた。
【０００５】
【発明が解決しようとする課題】
上述した従来の手法においては、処理速度を重視するか画質を重視するかによってニアリスト法かキュービック法かを切り換えていたが、ユーザからは画質を劣化させることなくより高速な処理が望まれていた。本発明は、上記課題にかんがみてなされたもので、画質を劣化させることなくより高速に画素補間を実現することが可能な画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体の提供を目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、演算手段を有するコンピュータを用いて画像データの補間処理を実行する画像データ補間方法であって、上記演算手段により、画像を構成する複数の画素を少なくとも輝度成分と色差成分を含む各構成要素についての程度を示す階調値で表すようにした画像データを取得する画像データ取得工程と、上記演算手段により、上記輝度成分について上記画像をシャープにさせるとともに上記色差成分について実行する補間処理よりも補間精度が高い第１の補間処理を実行し、上記色差成分について上記第１の補間処理より補間速度が速く上記画像をぼやけさせる第２の補間処理を実行する構成要素別画素補間工程と、上記演算手段により、補間された画像データを出力する画像データ出力工程とを含む構成としてある。
【０００７】
上記のように構成した請求項１にかかる発明においては、その対象とする画像データがカラーの自然画像を複数の画素で表現し、各画素の色調や明るさを表現するために複数の構成要素ごとにその階調値で程度を表すようにしたものであり、画像データ取得工程にてこの画像データを取得すると、構成要素別画素補間工程では各構成要素に応じて補間処理を対応付け、最適な組み合わせで補間処理を実行する。そして、続く画像データ出力工程でこの補間された画像データを出力する。
【０００８】
すなわち、画像データの各構成要素について一律に一つの補間処理を実行するのではなく、その構成要素ごとに補間処理を変えている。その前提として、各構成要素について補間処理を高精度にすることが必ずしも画質に比例しない場合があるからである。従って、高精度に補間処理することがあまり画質に寄与しない構成要素については演算処理を簡易なものとし、補間処理の精度が敏感に画質に影響を与えるような構成要素については演算処理の負荷は大きいものの高精度な補間処理を対応づけて組み合わせることが妥当である。
【０００９】
画像データは一次元的な表現は不便であるので多次元的な表現が好ましく、多次元的に表現することによって表色空間を表す。従って、かかる表色空間ではその座標軸に一連の関連性があり、座標軸ごとに補間処理の負担と効果との対応関係が異なることが多い。このため、座標軸を基準として補間処理を変えることにより、最適な結果を導出させうる。
【００１０】
表色空間が色分解した複数の要素色によって表されているが、ここにおいて各要素色に対する人の視覚感度が相違することが多い。例えば、光の三原色として表されるＲ（赤）、Ｇ（緑）、Ｂ（青）の場合、青に対する人の視覚感度は低い。従って、青の成分について演算処理が簡易なものを実行したとしても補間結果はあまり劣化しない。すなわち、各要素色に対する人の視覚感度の相違に着眼し、感度の鋭い要素色に精度の高い補間処理を対応づけつつ、感度の鈍感な要素色に精度の低い補間処理を対応づければ、画質の劣化を感じさせることなく全体の演算処理量は低減する。
【００１１】
上記表色空間は輝度成分座標軸と色差成分座標軸とを有しており、この場合に、上記構成要素別画素補間工程では、輝度成分の構成要素について補間処理を実行する際に色差成分の構成要素について実行する補間処理よりも補間精度を高くしている。
【００１２】
例えば、テレビジョン放送の例からも明らかなように、情報量としては輝度信号の方が色差信号よりも絶対的に多い。別の言葉で表せば輝度信号を変調するのに要する周波数帯域の方が色差信号を変調するのに要する周波数帯域より広くなるのと同様である。このように輝度と色差とでは元々の情報量に偏りがあるため、情報量の多い輝度に演算処理を要する補間精度の高い補間処理を実行し、情報量の少ない色差にはあまり演算処理を要しない補間精度の低い補間処理を実行している。ここにおいて、色差について演算処理の負荷が大きくない補間処理として画素をぼけさせる補間処理を対応づけておく。この結果、本来の補間という目的を果たしつつも、これと併せてにじみを低減させる効果を生じさせることになる。
【００１５】
一方、画像データを取得する工程は既に用意されている画像データをそのまま入力するだけにとどまらず、画像データを生成する工程であるとか加工処理する工程などを含むものであっても構わない。従って、処理の全体としてみると表色空間の変換が必要な場合もあり、そのような場合に好適な例として、請求項２にかかる発明は、請求項１に記載の画像データ補間方法において、上記画像データ取得工程では、前準備として入力した画像データの表色空間を変換する構成としてある。
【００１６】
先の例に照らしてみると、最初の画像データにおいては構成要素間に重要度の差異がなかったものの、後工程で要求される表色空間が輝度と色差の構成要素を必要とする場合には構成要素間に重要度のばらつきが生じるわけであり、このような変換が必要な場合には本発明が好適に適用されうる。従って、請求項２にかかる発明においては、画像データ取得工程を実施する際に入力した画像データの表色空間を変換し、これに対して上述したような画素補間処理を実行した画像データを出力するので、以後の工程では画質が劣化することなく高速に画素補間処理された画像データを得られることになる。
【００１７】
ところで、画像データ取得工程が画像を取り込む工程も含む例として、デジタルスチルカメラなどのような撮像機器に適用されることもある。デジタルスチルカメラの場合、固体撮像素子で撮影を行うが、単板の固体撮像素子ではドットマトリクス状に感光素子を配置しながらＲＧＢの三色を表現するのであるから、全感光素子をＲＧＢの三色に割り振って利用することになる。従って、碁盤の升目のように感光素子が配置されていれば、ＲＧＢのそれぞれは歯抜けの状態で割り振られ、現実にはかかる歯抜けの状態で受光しながらも画像データとして出力する際にはＲＧＢのそれぞれが碁盤の升目の全てにデータを持つように欠けている画素のデータを演算で算出している。
【００１８】
このようにして画素のデータを補充する場合、各要素色ごとに密度が均一でないことなどから画像データににじみが発生することが知られている。これを解消するには画像、特に色差をぼかす処理が有用であるので、にじみを消すために画像をぼかす画像処理が別途行われている。
【００２０】
同様に、画像データを出力する工程といっても画素補間した画像データを後工程に受け渡すだけにとどまらず、画像データからプリントアウトする工程であるとかデータ形式を変換する加工処理を行なう工程などを含むものであっても構わない。このような場合、後工程で要求される画像データの構成要素には上述したような偏りがあるものとすると、単に表色空間を変換することによって本来の情報量が減ってしまうことになりかねない。すなわち、せっかく情報量の多い画像データであったにもかかわらず、そのようになってしまうのは残念である。このような場合に好適な一例として、請求項３にかかる発明は、請求項１〜請求項７のいずれかに記載の画像データ補間方法において、上記構成要素別画素補間工程で、画像密度を向上させた後、上記画像データ出力工程で、情報精度を劣化させることになる画像データの形式変換を実行する構成としてある。
【００２１】
上記のように構成した請求項３にかかる発明においては、予め演算処理に大きな負担をかけることなく高画質を維持できる構成要素別画素補間工程で画像密度を向上させておき、画像データ出力工程では情報精度を劣化させることになる画像データの形式変換を行なう。このようにすると、画像密度を上げてから画像データの形式変換を行うだけのようであるが、情報量の少ない構成要素に対してデータが割り振られる際に、情報の落ちが少なくなるといえる。実質的にみても情報量が劣化するようなデータ形式であるものの、画像密度は高くなっているので両者を相殺したときに全体としては以前のデータ形式に近い情報量を維持しているといえるからである。
【００２２】
このように、画像データの各構成要素について一律に一つの補間処理を実行するのではなく、その構成要素ごとに補間処理を変える手法は実体のある装置において実現され、その意味で本発明を実体のある装置としても適用可能であることは容易に理解できる。このため、請求項６にかかる発明は、画像を構成する複数の画素を少なくとも輝度成分と色差成分を含む各構成要素についての程度を示す階調値で表すようにした画像データを取得する画像データ取得する画像データ取得手段と、上記演算手段により、上記輝度成分について上記画像をシャープにさせるとともに上記色差成分について実行する補間処理よりも補間精度が高い第１の補間処理を実行し、上記色差成分について上記第１の補間処理より補間速度が速く上記画像をぼやけさせる第２の補間処理を実行する構成要素別画素補間手段と、補間された画像データを出力する画像データ出力手段とを有する構成としてある。
【００２３】
すなわち、実体のある装置としても有効であることに相違はない。このような画像データ補間装置は単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。従って、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。発明の思想の具現化例として画像データ補間方法を実施するソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
【００２４】
その一例として、請求項７にかかる発明は、演算手段を有するコンピュータに、上記演算手段により、画像を構成する複数の画素を少なくとも輝度成分と色差成分を含む各構成要素についての程度を示す階調値で表すようにした画像データを取得する画像データ取得ステップと、上記演算手段により、上記輝度成分について上記画像をシャープにさせるとともに上記色差成分について実行する補間処理よりも補間精度が高い第１の補間処理を実行し、上記色差成分について上記第１の補間処理より補間速度が速く上記画像をぼやけさせる第２の補間処理を実行する構成要素別画素補間ステップと、上記演算手段により、補間された画像データを出力する画像データ出力ステップとを実行させるための画素補間プログラムを記録したコンピュータ読み取り可能な記録媒体としてある。
【００２５】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行なう場合でも本発明が利用されていることにはかわりない。
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【００２６】
【発明の効果】
以上説明したように本発明は、画質を劣化させることなくより高速に画素補間を実現することが可能な画像データ補間方法を提供することができる。
【００３０】
【発明の実施の形態】
図１は、本発明の画像データ補間方法をフローチャートにより示しており、図２〜図５は、本画像データ補間方法を実施するディジタルスチルカメラの概略構成をブロック図により示している。各種の機構的および電子的な制御を行うのがコントローラ１０であり、図３に示すようにその主たる構成はＣＰＵ１１とＲＯＭ１２とＲＡＭ１３とであり、これらはバス１４を介して相互に接続されるとともにＩ／Ｏ１５を介して外部の主構成部品と電気的に接続されている。
【００３１】
この主構成部品の一つとして撮像部２０がコントローラ１０に接続されている。撮像部２０については図４により詳細に示しており、光学系路２１の一部として測距部２１ａとオートフォーカス機構２１ｂとを備えている。本実施形態においては、測距部２１ａにて三角法などによって距離を測定し、オートフォーカス機構２１ｂが測定結果に基づいて焦点合わせを行うようにしている。この場合、焦点合わせの対象となるのは予め予想された中央位置などとなる。また、撮像部２０には、ＣＣＤ素子からなる撮像素子２２と、この撮像素子２２の出力データを所定増幅率で増幅するＡＧＣ回路２３と、同ＡＧＣ回路２３のアナログ出力値をディジタルデータに変換するＡ／Ｄコンバータ２４とが備えられている。これらは個々にコントローラ１０と接続されて制御されるとともに、撮像データはＡ／Ｄコンバータ２４の変換データとして画像処理部３０に出力されている。
【００３２】
画像処理部３０は光学系路２１の特性であるとか撮像素子２２の特性をチューニングするために備えられたハードウェア回路である。単板のＣＣＤ素子の場合には平面的に赤、緑、青の受光素子を配置せざるを得ず、縦横二次元に配列された個別の受光素子に赤緑青（ＲＧＢ）のフィルタを被せて被写体画像を撮像することになる。すると、図６に示すようにある画素は緑だけ、他の画素は赤だけ、次の画素は青だけのデータしか存在しないことになってしまうため、周りの画素から他の要素色のデータを補間生成することになる。フィルタ補間回路３１はこのような補間演算をハードウェアで実現するものであり、単板ＣＣＤ素子からなる撮像素子２２において必須となる。なお、この例では画像データは赤、緑、青の三つの構成要素からなり、さらにこれらは光の三原色であって通常の色分解によって得られる構成要素である。また、この場合の表色空間は赤、緑、青の座標軸を有していることになる。
【００３３】
単板ＣＣＤにおいては各画素の受光感度のバラツキが大きくないにしてもＲＧＢというフィルタを被せているので、自ずからその出力特性間には偏重が生じうる。自動ホワイトバランス回路３２はこのような偏りを解消するものであるが、ハードウェア回路で実現するので概略的には平均的となるか特定の範囲のデータ分布が一定となるようにすることになる。また、γ補正回路３３は撮像素子２２の受光感度をフラットにすることが主たる役割である。
【００３４】
フィルタ補間回路３１についてはデータが入力されれば機械的にそのまま実行されるだけであるが、自動ホワイトバランス回路３２やγ補正回路３３についてはハードウェア回路で設計された補正機能に加えてコントローラ１０からの具体的な指示も入力可能であり、ホワイトバランスについても意図的にシフトすることが可能であったり、γ補正回路で各要素色毎に異なるγ補正を掛けるなどして能動的な調整を可能としている。
【００３５】
このような画像処理部３０を経て画像データは、一旦、ＤＲＡＭ４０に保存されるが、撮像素子２２の出力イメージのままでは画像データが大きくなりすぎるため、コントローラ１０は画像データをＤＲＡＭ４０から読み出し、符号化部７０にてＪＰＥＧの圧縮フォーマットに変換させ、その後でフラッシュメモリ６０に保存する。
これらの他、コントローラ１０には操作表示部８０が接続され、図示しないシャッターボタンなどの各種操作子と共にＬＣＤなどの画像表示パネルも備えられている。むろん、コントローラ１０は各操作子の操作状況を逐次入力しているし、撮像した画像を表示パネルに表示する。また、夜間撮影のためにストロボ９０も備えられ、上記操作子で操作されたときあるいはコントローラ１０によって所定の判断処理が行われたときに発光するようになっている。
【００３６】
本実施形態においては、以上のようなハードウェア構成となっているが、ディジタルスチルカメラとしての構成は概略において共通するし、他の構成とすることも当然に可能である。また、この例ではディジタルスチルカメラとして実現しているが、ディジタルビデオカメラなどに組み込んで実現することも可能である。
コントローラ１０は本ディジタルスチルカメラの全体的な制御を行うが、撮影時の一連の処理の流れを図７のフローチャートに示している。撮像素子２２の出力データはＡＧＣ回路２３に入力されて所定増幅率で増幅され、同ＡＧＣ回路２３のアナログ出力値はＡ／Ｄコンバータ２４でディジタルデータに変換される。この時点ではまだ色フィルタの配置に起因した歯抜けのデータであるため、フィルタ補間回路３１が欠陥画素を補間し、自動ホワイトバランス回路３２とγ補正回路３３とでＲＧＢの出力特性間偏重を解消しつつ、受光感度をフラットにする。
【００３７】
このようにしてＲＧＢという三原色を基準としたいわゆるビットマップ形式の画像データが生成されるが、最終的に必要なのはＪＰＥＧ方式の画像データであり、ＪＰＥＧ符号化が必要である。このＪＰＥＧ符号化を行うにあたってＲＧＢ形式のままでは演算処理の負担が大きいため、この負担を低減させるためにコントローラ１０内部でＲＧＢからＹＵＶへの表色空間の変換を行う。すなわち、三原色ＲＧＢの各色ごとに明るさで階調表現していたものを、輝度（Ｙ）と色差（Ｕ，Ｖ）で表現し直すためにデータ形式の変換を行う。むろん、ＲＧＢの表色空間とＹＵＶの表色空間との間では色自体が変化するものではなく、単に座標系だけが変化することになる。そして、ＹＵＶの座標系へ変換した後でＪＰＥＧ符号化を行ってフラッシュメモリ６０に保存する。
【００３８】
この場合は最終的なデータフォーマットがＪＰＥＧ方式であるが、このＪＰＥＧ方式は圧縮フォーマットであるが故に画像の劣化を伴う。従って、本実施形態ではできる限り画像品質を保持できるようにＪＰＥＧ符号化を行う前に画像を拡大しておき、ＪＰＥＧ符号化を行ったときの劣化分を低減させることにしている。
拡大は、少なくとも画素の欠陥が無くなっていて、各種の調整も終えた後であることが必要なため、実行できるのはステップ１４０よりも後である。従って、ステップ１５０においてＲＧＢからＹＵＶへ変換する前後で実現可能である。図８および図９は、前後のいずれかに行なうかに対応したフローチャートを示している。
【００３９】
図８はＲＧＢの画像データに対して画素補間を行う例を示し、図９はＹＵＶの画像データに対して画素補間を行う例を示しているが、ここにおいて特徴的なのは、いずれの場合でも全ての構成要素に対して一律の補間手法を実施していない点である。
ＲＧＢの各構成要素が人間の視覚において完全に同等な感度ではないことがよく知られている。例えば、ＲＧＢのデータから簡易的に輝度Ｙを求める際には、Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ
として計算されることが多い。この計算式からも明らかなようにＢ成分であれば全体の明度に対して１１％の寄与しかなしておらず、Ｇ成分は５９％であって半分強を占めている。Ｒ成分は３０％でほぼ均等割りに近いが、それでもＢ成分の約３倍の寄与度がある。
【００４０】
これから言えるのは、Ｂ成分についての補間演算を高精度に行ったとしても画像データとして一つの画素を表す際の寄与度は極めて小さいし、逆に補間演算を簡易な演算によったとしても各画素への寄与度は小さいから画質の劣化もあまり影響しないということである。このため、ＲＧ成分についてはステップ１５１にて演算処理の負担が大きいものの画質をシャープにできるキュービック法を採用するし、Ｂ成分については演算処理が簡易なニアリスト法を採用している。
【００４１】
ここでこれらのキュービック法の補間処理とニアリスト法の補間処理とについて説明する。各種の補間処理のうちで最もシンプルなものはニアリスト法の補間処理であり、図１０に示すように周囲の四つの格子点Ｐｉｊ，Ｐｉ＋１ｊ，Ｐｉｊ＋１，Ｐｉ＋１ｊ＋１と内挿したい点Ｐｕｖとの距離を求め、もっとも近い格子点のデータをそのまま移行させる。これを一般式で表すと、
Ｐｕｖ＝Ｐｉｊ
となる。ここで、ｉ＝［ｕ＋０．５］、ｊ＝［ｖ＋０．５］である。なお、［］はガウス記号で整数部分を取ることを示している。
【００４２】
ニアリスト法においては最も近い格子点を判断するものの、その格子点のデータをそのまま利用するので演算処理量が最も少ない。しかし、画像のエッジがそのまま保持される特徴を有するため、拡大すればジャギーが目立つので画質としては良好と言えない。
一方、シャープでありながらジャギーを生じさせにくい高精度な補間処理がキュービック法であり、その反面演算処理量が大きいという特徴も有している。キュービック法は図１１に示すように、内挿したい点Ｐｕｖを取り囲む四つの格子点のみならず、その一周り外周の格子点を含む計１６の格子点のデータを利用し、３次たたみ込み関数を用いた一般式は次式のようになる。
【数１】
【数２】
【数３】
【００４３】
従って、ステップ１５１でＲＧ成分を高精度な補間処理で画素補間し、ステップ１５２でＢ成分について演算処理量の低い補間処理で画素補間することになる。このようにＢ成分について補間精度が低い補間処理を採用してはいるが、上述したようにＢ成分に対する人間の視覚が鈍感であるため、画質の劣化はあまり感じられず、その割には演算処理量を低減させる効果が得られるのである。
ステップ１５３ではＲＧＢからＹＵＶへのデータ変換を行うが、具体的には、上述した輝度Ｙを利用し、
Ｃ１＝Ｒ−Ｙ
Ｃ２＝Ｂ−Ｙ
を求めた後、
Ｖ＝Ｃ１／１．１４
Ｕ＝Ｃ２／２．０３
として、ＹＵＶの全てを演算で求める。
【００４４】
一方、図９に示すように、先にステップ１５４にてＲＧＢからＹＵＶへのデータ変換を行い、その後、画素補間を行うことも可能である。この場合、ステップ１５５ではＹ成分についてのみキュービック法で画素補間し、ステップ１５６ではＵＶ成分についてはニアリスト法で画素補間するようにしている。画像は白黒画像としても理解できるように、人間の視覚として輝度に対しては敏感であり、色差については比較的鈍感である。従って、色差については補間精度は低いものの演算処理の簡易なニアリスト法を採用し、最も重要な輝度についてだけ高精度な補間処理であるキュービック法を採用している。
【００４５】
図８に示す順番と図９に示す順番とを比較した場合、図９に示す場合の方がキュービック法の演算処理を施す画素数が少ないことは明らかであり、その意味では後者の方が演算処理を低減させる上でより効果的である。
なお、図７に示すフローチャートと図１に示す本発明の画像データ補間方法とを対応づけると、画像データ取得工程Ａ１はステップ１００〜ステップ１４０までが該当するし、構成要素別画素補間工程Ａ２はステップ１５０が該当するし、画像データ出力工程Ａ３はステップ１６０とステップ１７０が該当するといえる。
【００４６】
以上の処理では、ＲＧＢの座標系とＬＵＶの座標系を利用する場合について説明したが、他の座標系であるＬａｂやＬｕｖやＹＣＣなどにおいても構成要素に各座標軸を採用するようなものについても同様に適用できる。
ところで、上述したＲＧＢからＹＵＶへの座標変換時、輝度Ｙに対する色差ＵＶの重要度の低さを予め考慮して実質的な画素密度を低減化することも多い。図１３は輝度Ｙの画素密度と色差ＵＶの画素密度との差を示している。画像データを構成する各画素ごとに輝度Ｙのデータは独立しているのに対し、色差ＵＶのデータは左右の２画素ごとに一つのデータが割り当てられているので、データ量は同等であっても実質的な情報量は半分となっている。この意味で実質的な画素密度は均等ではない。
【００４７】
上述したフィルタ補間回路３１がハードウェア的にこのような変換を行う場合には、ＲＧＢからＹＵＶへの変換であるステップ１５０の処理として図９に示す処理が妥当である。すなわち、ハードウェアで色差ＵＶの画素密度が減っているのであるから、これに対して高精度な補間処理を実施したとしてもあまり意味がない。従って、ニアリスト法で画素補間することとし、それによって演算処理量の低減を図ることにする。
【００４８】
また、撮像素子２２は単板のＣＣＤ素子に図６に示すようなＲＧＢのフィルタを配置して構成されていることは上述したが、欠けている画素を隣接している現実の画素に基づいて当該欠陥画素を補充しているのがフィルタ補間回路３１である。しかしながら、このような補充を行うと色にじみが発生しやすい。
例えば、図１４（ａ）において、矢印（→）で示す中段の色フィルタに着目する。そして、同図（ｂ）に示すように中央から左半分に光が当たっており（白色部分）、同中央から右半分には光が当たっていない（黒色部分）ものとする。ここにおいて、光があたっている状態の各色の色信号レベルを「１」とし、光が当たっていない状態の同色信号レベルを「０」とすると、ＲおよびＧの色信号レベルは、本来、同図（ｃ）に示す値になるはずである。
【００４９】
しかし、Ｒの色フィルタの画素についてはＧの色信号は直接的には得られないし、Ｇの色フィルタの画素についてはＲの色信号は直接的に得られず、結局、Ｒの色フィルタに対応する画素のＧの色信号については、隣接する画素におけるＧの色信号を線形補間して得ることになる。他方、Ｇの色フィルタに対応する画素のＲの色信号についても、隣接する画素におけるＲの色信号を線形補間して得る。すると、各画素におけるＧおよびＲの色信号レベルは、それぞれ同図（ｄ）および（ｅ）に示す値となる。この結果、光が当たる領域と光が当たらない領域との境界付近の画素に偽の色信号が発生し、この偽の色信号により画像上に色にじみが発生する。特に、この色にじみはグレイ・ホワイト間の境界に顕著に現れることが知られている。
【００５０】
このような色にじみを低減するには、色差データに対して平滑化フィルタ（ローパスフィルタ）を作用させる画像処理を行なうと、色にじみが目立たなくなる。従って、従来は色にじみを低下させるために色差ＵＶに対して平滑化フィルタを適用する画像処理を行なっていた。
しかしながら、このような色にじみを低減させるためという目的においても、本発明は極めて有効である。図１５は色にじみを同時に低減させることが可能な画素補間処理の主要部をフローチャートにより示しており、図９に示すものと比較してＹ成分についてのキュービック法の補間処理に代えてステップ１５７にてＭキュービック法の補間処理を実行し、ＵＶ成分についてのニアリスト法の補間処理に代えてステップ１５８にてバイリニア法の補間処理を実行するようにしている。ここで、これらのＭキュービック法の補間処理とバイリニア法の補間処理について説明する。
【００５１】
キュービック法では一方の格子点から他方の格子点へと近づくにつれて徐々に変化していき、その変化具合がいわゆる３次関数的になるという特徴を有している。キュービック法によれば３次関数的に表せる以上、そのカーブの形状を調整することによって補間結果の品質を左右することができる。
その調整の一例として、
【数４】
【００５２】
図１２には上述したキュービック法やニアリスト法とともにこのＭキュービック法における補間関数ｆ（ｔ）を示している。同図において、横軸に位置を示し、縦軸に補間関数を示している。ｔ＝０、ｔ＝１、ｔ＝２の位置に格子点が存在し、内挿点はｔ＝０〜１の位置となる。キュービック法とＭキュービック法とを比較すると、Ｍキュービック法の方が３次関数的なカーブがわずかに急峻となり、画像全体のイメージがよりシャープとなる。
【００５３】
次に、バイリニア法（共１次内挿法）の補間手法を説明すると、図１２に示すように、一方の格子点から他方の格子点へと近づくにつれて徐々に変化していく点でキュービック法やＭキュービック法と共通するが、その変化が両側の格子点のデータだけに依存する一次関数的となっている。すなわち、図１０に示すように内挿したい点Ｐｕｖを取り囲む四つの格子点Ｐｉｊ，Ｐｉ＋１ｊ，Ｐｉｊ＋１，Ｐｉ＋１ｊ＋１で区画される領域を当該内挿点Ｐｕｖで四つの区画に分割し、その面積比で対角位置のデータに重み付けする。これを式で表すと、
【００５４】
キュービック法とバイリニア法では、その変化状況が３次関数的であるか１次関数的であるかが異なり、画像としてみたときの差異は大きい。バイリニア法の場合、隣接する二点間（ｔ＝０〜１）で直線的に変化するだけであるので境界をスムージングすることになり、画面の印象はぼやけてしまう。これは画像に対して平滑化フィルタをかけたのと同様の効果を得られる。
図１５に示すフローチャートにおいて、ステップ１５４ではＲＧＢからＹＵＶへのデータ変換を行い、ステップ１５７では輝度であるＹ成分についてＭキュービック法で画素補間すると、図９に示したキュービック法の場合以上にシャープな画像が得られる。また、ステップ１５８では色差であるＵＶ成分についてバイリニア法で画素補間するので、必要数の画素に拡大されつつ、平滑化フィルタをかけたのと同様になる。従って、色差自体がぼける感じとなり、色にじみは低減される。
【００５５】
以上は、本発明をディジタルスチルカメラ内での画像処理に適用しているが、画素補間処理を行なう過程で構成要素ごとに補間手法を代えるのはこのような場合に限定されるわけではない。図１６はこのようにして撮影された画像データに基づいてパソコンの画面に表示したり印刷したりする場合の概略のデータの流れを示している。
フラッシュメモリあるいはハードディスクに転送された画像データをステップ２００にて読み出し、ステップ２１０にてＪＰＥＧ複合化を行うと画像データはＹＵＶ形式で復元される。パソコン内ではＲＧＢ形式による処理が基本であるため、ステップ２２０にてＹＵＶからＲＧＢへデータ変換し、ステップ２３０にてプリンタに印字させたりディスプレイに表示したりする。
【００５６】
ディスプレイに表示する場合には解像度変換を要することは多くないが、プリンタの解像度は非常に高いため、画像データの解像度を上げる必要がある。従って、この場合も先ほどと同様にしてＹＵＶで画素補間したり、ＲＧＢで画素補間するべく、ステップ２２０のデータ変換時に図８や図９に示すようにして画素補間する。すると、画質を維持しつつ処理速度を高速化させることができる。
このように、ＲＧＢ成分を含んでいたり、ＹＵＶ成分を含んでいたりする画像データについて、その構成要素に対して一律に一つの補間処理を実行するのではなく、その構成要素ごとに補間処理を変え（ステップ１５１，１５２，１５５，１５６，１５７，１５８）、例えば、人間の視覚感度が鈍い成分については補間精度を低くして演算処理量を低減させたり、画素密度自体が低いというように情報量が減っている成分についても補間精度を低くして演算処理量を低減させることにより、画質を維持しつつ全体の演算処理量を低減させることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる画像データ補間方法のフローチャートである。
【図２】同画像データ補間方法を適用したディジタルスチルカメラのブロック図である。
【図３】同ディジタルスチルカメラにおけるコントローラのブロック図である。
【図４】同ディジタルスチルカメラにおける撮像部のブロック図である。
【図５】同ディジタルスチルカメラにおける画像処理部ブロック図である。
【図６】同ディジタルスチルカメラにおけるフィルタとフィルタ補間結果を示す図である。
【図７】同ディジタルスチルカメラにおける撮影時のフローチャートである。
【図８】ＲＧＢ成分について構成要素別に補間処理する場合のフローチャートの一部である。
【図９】ＹＵＶ成分について構成要素別に補間処理する場合のフローチャートの一部である。
【図１０】基本的な画素補間で生成される画素を示す図である。
【図１１】キュービック法の画素補間手法を示す図である。
【図１２】画素補間で利用する補間関数の変化を示す図である。
【図１３】構成要素ごとに実質的な画素密度が相違する場合を示す図である。
【図１４】色フィルタの配置に基づいて色にじみが発生する状況を示す図である。
【図１５】構成要素ごとに補間処理を変えつつ色にじみを低減させる場合のフローチャートの一部である。
【図１６】パソコンで画像データを処理する過程を示すフローチャートである。
【符号の説明】
１０…コントローラ
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…バス
２０…撮像部
２１…光学系路
２１ａ…測距部
２１ｂ…オートフォーカス機構
２２…撮像素子
２３…ＡＧＣ回路
２４…Ａ／Ｄコンバータ
３０…画像処理部
３１…フィルタ補完回路
３２…自動ホワイトバランス回路
３３…γ補正回路
４０…ＤＲＡＭ
６０…フラッシュメモリ
７０…符号化部
８０…操作表示部
９０…ストロボ
Claims (7)
- 演算手段を有するコンピュータを用いて画像データの補間処理を実行する画像データ補間方法であって、
上記演算手段により、画像を構成する複数の画素を少なくとも輝度成分と色差成分を含む各構成要素についての程度を示す階調値で表すようにした画像データを取得する画像データ取得工程と、
上記演算手段により、上記輝度成分について上記画像をシャープにさせるとともに上記色差成分について実行する補間処理よりも補間精度が高い第１の補間処理を実行し、上記色差成分について上記第１の補間処理より補間速度が速く上記画像をぼやけさせる第２の補間処理を実行する構成要素別画素補間工程と、
上記演算手段により、補間された画像データを出力する画像データ出力工程とを含むことを特徴とする画像データ補間方法。 - 上記請求項１に記載の画像データ補間方法において、上記画像データ取得工程では、前準備として入力した画像データの表色空間を変換することを特徴とする画像データ補間方法。
- 上記請求項１または請求項２に記載の画像データ補間方法において、上記構成要素別画素補間工程では、画像密度を向上させ、その後、上記画像データ出力工程では、上記画像を劣化させることになる画像データの形式変換を実行することを特徴とする画像データ補間方法。
- 上記請求項１から請求項３のいずれか一項に記載の画像データ補間方法において、上記第２の補間処理における周囲画素の位置と当該周囲画素の階調値についての重みとの関係を示す補間関数は、キュービック法における補間関数よりも３次関数的なカーブが急峻となるよう調整されていることを特徴とする画像データ補間方法。
- 上記請求項４に記載の画像データ補間方法において、上記第２の補間処理における補間関数の３次項の係数の絶対値は１よりも大きいことを特徴とする画像データ補間方法。
- 画像を構成する複数の画素を少なくとも輝度成分と色差成分を含む各構成要素についての程度を示す階調値で表すようにした画像データを取得する画像データ取得する画像データ取得手段と、
上記演算手段により、上記輝度成分について上記画像をシャープにさせるとともに上記色差成分について実行する補間処理よりも補間精度が高い第１の補間処理を実行し、上記色差成分について上記第１の補間処理より補間速度が速く上記画像をぼやけさせる第２の補間処理を実行する構成要素別画素補間手段と、
補間された画像データを出力する画像データ出力手段とを有することを特徴とする画像データ補間装置。 - 演算手段を有するコンピュータに、
上記演算手段により、画像を構成する複数の画素を少なくとも輝度成分と色差成分を含む各構成要素についての程度を示す階調値で表すようにした画像データを取得する画像データ取得ステップと、
上記演算手段により、上記輝度成分について上記画像をシャープにさせるとともに上記色差成分について実行する補間処理よりも補間精度が高い第１の補間処理を実行し、上記色差成分について上記第１の補間処理より補間速度が速く上記画像をぼやけさせる第２の補間処理を実行する構成要素別画素補間ステップと、
上記演算手段により、補間された画像データを出力する画像データ出力ステップとを実行させるための画素補間プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31645598A JP4032200B2 (ja) | 1998-11-06 | 1998-11-06 | 画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31645598A JP4032200B2 (ja) | 1998-11-06 | 1998-11-06 | 画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000151989A JP2000151989A (ja) | 2000-05-30 |
| JP2000151989A5 JP2000151989A5 (ja) | 2006-02-02 |
| JP4032200B2 true JP4032200B2 (ja) | 2008-01-16 |
Family
ID=18077292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31645598A Expired - Fee Related JP4032200B2 (ja) | 1998-11-06 | 1998-11-06 | 画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4032200B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4225795B2 (ja) | 2003-01-22 | 2009-02-18 | オリンパス株式会社 | 撮像システム、画像処理プログラム |
| KR100769193B1 (ko) * | 2006-02-06 | 2007-10-23 | 엘지.필립스 엘시디 주식회사 | 평판표시장치와 그 화질제어 방법 및 장치 |
| JP4693649B2 (ja) * | 2006-02-17 | 2011-06-01 | シャープ株式会社 | 画像処理装置および画像データの補間方法 |
| JP5098054B2 (ja) | 2007-11-22 | 2012-12-12 | オリンパス株式会社 | 画像処理装置及び画像処理プログラム |
| CN111526370B (zh) * | 2020-04-17 | 2023-06-02 | Oppo广东移动通信有限公司 | 视频编码、解码方法及装置和电子设备 |
-
1998
- 1998-11-06 JP JP31645598A patent/JP4032200B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000151989A (ja) | 2000-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4081219B2 (ja) | 画像処理方法及び画像処理装置 | |
| US20020176113A1 (en) | Dynamic image correction and imaging systems | |
| JP3668014B2 (ja) | 画像処理方法及び装置 | |
| JPH0355078B2 (ja) | ||
| JP2002262094A (ja) | 画像処理方法及び画像処理装置 | |
| JP2007096509A (ja) | 画像処理装置、および画像処理方法 | |
| JP4600424B2 (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム | |
| JP2007202218A (ja) | 原デジタル画像を強調する方法および装置 | |
| JP5136209B2 (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム | |
| JP3913356B2 (ja) | 画像処理方法 | |
| JP3998369B2 (ja) | 画像処理方法および画像処理装置 | |
| JP2021140663A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体 | |
| US20010016081A1 (en) | Image filter circuit | |
| JP4032200B2 (ja) | 画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP7296745B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP5070921B2 (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム | |
| JPH11317863A (ja) | 画像処理装置 | |
| JP3783817B2 (ja) | 画像処理方法および画像処理装置 | |
| JP2008219230A (ja) | 撮像装置及び画像処理方法 | |
| JP3951993B2 (ja) | 撮像装置及びこの撮像装置に用いられるカラーデータ計測方法 | |
| JPH11225270A (ja) | 画像処理方法および画像処理装置 | |
| JP2011041094A5 (ja) | ||
| JP2011041094A (ja) | 画像処理装置、撮像装置および画像処理方法 | |
| JP4807315B2 (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理を実行するためのコンピュータプログラム | |
| JP5109804B2 (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051102 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051102 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070709 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070926 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071009 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |