JP4403397B2 - ユーザインタフェース提供装置 - Google Patents

Description

本発明は、ユーザインタフェース提供装置に関する。例えばデジタルカメラ撮影画像などの画像データの画素値補正等を伴う画像処理に適用可能であり、特に、特定の選択画素の画素値補正に好適であり、処理に必要となる様々なパラメータの設定や、処理態様の設定などの操作性を向上させたユーザインタフェース提供装置に関する。

昨今、デジタルカメラが普及し、多くのユーザが日常的にデジタルカメラによって撮影した画像をＰＣ等のディスプレイに表示したり、プリントアウトするなどの処理を行っている。しかし、カメラ撮影画像を出力すると、自然な色と異なる色が出力されてしまう場合がある。

このような問題に対処するため、撮影画像の色相、彩度などの調整処理を行なうことを可能とした画像処理プログラムが提供されているが、画像処理の調整に必要なパラメータは多数あり、知識を持たないユーザにとって画像調整処理を行うことは困難である。撮影画像データ全体の色相の変更や、彩度の変更処理は、比較的容易な処理であるが、例えば、画像データから特定画素を選択して補正したり、一部の画像領域の画素値のみを選択して変更するなどの処理は、ユーザにとっては非常に面倒な処理となる。

例えば、カメラのレンズ素材に対する光の屈折率がその波長により異なることに起因し、撮像面において偽色を生じ、特定位置の画素の値が不自然な値に設定されることがある。これは色収差と呼ばれる。色収差による偽色は主に画像中のエッジ部分に現れるが、すべての部分で一様に同程度の偽色が現れるとは限らない。そのような場合に、偽色の目立つ画素を選択して画素値の補正を行なうことは、一般のユーザにとっては困難である。

偽色の発生の原因とされる色収差に基づいて誤った画素値が設定される現象として、例えば、輝度レベルが飽和状態である白とび画素の近傍に発生する紫色の偽色がある。これはパープルフリンジとして知られている。パープルフリンジ以外にも、画像の撮影条件や撮影時のデータ処理における様々なトラブルによって、画像データを構成する画素の中には、画素値が特定できない画素や、誤った画素値が設定された画素が発生することがある。

このような部分的に発生する偽色などの画素を効率的に選択し、補正することは、一般ユーザにとって非常な困難な処理である。

本発明は、上述の問題点に鑑みてなされたものであり、例えば白とび画素の周辺に発生するパープルフリンジ等の偽色画素領域などを効率的に選択し、選択された画素の画素値の補正を効率的に確実に実行することを可能としたユーザインタフェース提供装置を提供することを目的とする。

本発明の第１の側面は、
ユーザインタフェース提供装置であり、
画像データの構成画素の画素値補正処理に適用するユーザインタフェースを提示する構成を有し、
前記ユーザインタフェースは、
白とび画素の周囲に発生する偽色（パープルフリンジ）の色相を指定した画素選択を行なうための色相設定部と、
白とび画素を検出するための白とび画素検出閾値を設定する画素値閾値設定部と、
前記白とび画素の周囲に発生する偽色（パープルフリンジ）の検出サイズを設定するためのパープルフリンジサイズ閾値設定部と、
を有することを特徴とするユーザインタフェース提供装置にある。

さらに、本発明のユーザインタフェース提供装置の一実施態様において、前記ユーザインタフェースは、彩度を指定した画素選択を行なうための彩度設定部を有することを特徴とする。

さらに、本発明のユーザインタフェース提供装置の一実施態様において、前記ユーザインタフェースは、色相設定部または彩度設定部において設定した色相または彩度に対応する色選択領域情報を表示する選択色表示部を有することを特徴とする。

さらに、本発明のユーザインタフェース提供装置の一実施態様において、色相を指定した画素選択を行なう検索画像領域を設定するための検索画像領域設定部を有することを特徴とする。

さらに、本発明のユーザインタフェース提供装置の一実施態様において、補正対象画像および補正処理結果画像を提示する画像表示部を有することを特徴とする。

さらに、本発明のユーザインタフェース提供装置の一実施態様において、前記画像表示部は、前記色相設定部において設定された色相に対応する画素値を持つ画素を識別可能な表示を行なう構成を有することを特徴とする。

さらに、本発明のユーザインタフェース提供装置の一実施態様において、前記画像表示部は、画像データの構成画素中、白とび画素を識別可能な表示を行なう構成を有することを特徴とする。

さらに、本発明のユーザインタフェース提供装置の一実施態様において、前記画像表示部は、ユーザインタフェースを介するユーザ操作によるパラメータ更新に基づいて補正された処理画像データを、パラメータ更新処理に応じて提示する構成であることを特徴とする。

さらに、本発明のユーザインタフェース提供装置の一実施態様において、補正対象画像領域を選択する領域設定部を有することを特徴とする。

さらに、本発明のユーザインタフェース提供装置の一実施態様において、ユーザインタフェースを介するユーザ操作によって設定されたパラメータの保存処理のための操作部を有することを特徴とする。

さらに、本発明のユーザインタフェース提供装置の一実施態様において、ユーザインタフェースを介するユーザ操作によって設定されたパラメータの記憶部からの読み込み処理のための操作部を有することを特徴とする。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、ユーザインタフェースに、色相や彩度を指定した画素選択を行なうための色相、彩度設定部を構成し、設定情報に基づく画素選択を実行可能とした。本構成によって、例えば白とび画素の周辺に発生するパープルフリンジ等の偽色画素を効率的に選択することが可能であり、選択された画素の画素値の補正を効率的に確実に実行することが可能となる。さらに、補正対象画像である原画像、および画素値補正処理後の結果画像を表示する表示領域を設定し、パラメータの更新に即応して処理画像を表示する構成としたので、ユーザは、画像処理結果を見ながら、設定を変更することができ、効率的かつ効果的に、パープルフリンジ軽減等の画像処理を行なうことができる。

さらに、本発明の構成では、補正対象領域を選択して、選択した領域に対してのみ設定パラメータを適用した補正を施すことを可能としたので、一組のパラメータによる全体処理によっては、破綻が起こる可能性のある画像データなどに対して、部分画像に限定した補正を行うことができ、また、画像の場所によってパラメータを変更した画像処理を施すことができる。この結果、破綻の回避ばかりではなく、高品質な補正処理画像データを得ることができる。

以下、図面を参照しながら、本発明のユーザインタフェース提供装置の詳細について説明する。

まず、図１を参照して、本発明のユーザインタフェース提供装置によって提供されるユーザインタフェースを適用して実行される画像処理の一例について説明する。

背景技術の欄においても説明したように、例えば、色収差によるパープルフリンジや、その他、画像の撮影条件や撮影時のデータ処理における様々なトラブルによって、画像データを構成する多数の画素の中には、画素値が特定できない画素や、明らかに誤った画素値が設定される場合があり、このような画素（着目画素）に対応する適切な画素値の決定のための処理として、周囲の画素値に基づいて着目画素の画素値を決定する処理が行なわれる。この処理が穴埋め（Ｈｏｌｅ ｆｉｌｌｉｎｇ）処理、あるいは穴埋め補間処理と呼ばれる。

穴埋め補間処理の一例として、色収差によるパープルフリンジに対する穴埋め補間処理を適用した画像データの補正処理例を説明する。図１（Ａ）に色収差によるパープルフリンジの発生した画像データの例を示す。

図１（Ａ）に示されるように、画素は、「白とび画素１１」、「偽色（パープルフリンジ）画素１２」、「白とびでもパープルフリンジでもないその他の画素１３」のいずれかに分類される。この中で、画素値の再設定が必要な画素は、「白とび画素１１」、「偽色（パープルフリンジ）画素１２」であり、これらの画素の画素値を「白とびでもパープルフリンジでもないその他の画素１３」に基づいて決定する。すなわち、「白とび画素１１」、「偽色（パープルフリンジ）画素１２」のような補正の必要な画素を、その周囲にある正しい画素値の設定された画素の画素値の平均値などを取得して、補正すべき画素の画素値に設定する処理などが行なわれる。

この穴埋め補間処理は、図１（Ｂ）の矢印１５の方向に、順次、繰り返し実行され、順次「補間済み画素１４」として、各画素の画素値が設定される。すなわち、最初の穴埋め補間処理で「白とびでもパープルフリンジでもないその他の画素１３」に隣接する「偽色（パープルフリンジ）画素１２」の補正画素値が決定され「補間済み画素１４」に設定される。

次に、２回目の穴埋め補間処理で、「白とびでもパープルフリンジでもないその他の画素１３」または初回の穴埋め補間処理で生成された「補間済み画素１４」に隣接する「偽色（パープルフリンジ）画素１２」の補正画素値が、これらの画素に基づいて決定されて新たに「補間済み画素１４」に設定される。これらの処理が予め定められた回数、またはユーザの設定した回数分繰り返し実行される。

穴埋め補間処理を適用した画像データ補正処理の処理手順について説明する。パープルフリンジに対する穴埋め補間処理を適用した画像データの補正処理は、例えば図２に示すフローに従った処理手順によって実行される。

ステップＳ１０１は、色空間変換処理であり、入力画像に対し、色空間の変換を施し輝度成分画像と色成分画像に分離する。具体的には、例えば入力画像がＲＧＢ画像である場合、これを変換し、輝度成分画像Ｌと色成分画像Ｃに分離する。つまりＲＧＢカラーの入力画像を、輝度成分と色成分を別々に持つ色空間データに変換する。変換データの色空間としては、例えばＹＣｂＣｒやＣＩＥ Ｌ^＊ａ^＊ｂ^＊などが適用可能である。

次に、ステップＳ１０２は、白とび領域検出処理であり、補正対象の入力画像データ中から白とび部分を検出する。色収差の目立つ紫色をおびた画素は、画像の中で「白とび」を起こしている周囲の部分であることより、ステップＳ１０２で、「白とび」の画素を検出する。「白とび」の画素検出は、画素値の値が所定の値より高い画素（高輝度画素）を選択する処理として実行される。

ステップＳ１０３は、偽色画素検出領域設定（Ｄｉｌａｔｅ）処理であり、「白とび」の周囲において偽色、すなわちパープルフリンジが存在する可能性のある画像中の領域を偽色発生部検索領域として設定する。

ステップＳ１０４は、偽色画素検出処理であり、検索領域内にある紫色画素を検出する。すなわち、紫色をおびた画素を選択し、これを偽色（パーブルフリンジ）画素、すなわち補間処理対象画素として選択する。

ステップＳ１０５は、偽色画素補正処理であり、検出された紫色の画素の色成分を補正する。具体的には、補正処理対象画素を、周囲の画素の画素値に基づいて補間する処理を実行する。この処理は、穴埋め補間処理と呼ばれ、図１を参照して説明したように、図１（Ｂ）の矢印１５の方向に、順次、繰り返し実行される。繰り返し実行回数は、例えばユーザが設定することができる。なお、この際、補正すべきであるにも係わらず補正できなかった画素については、例外的に、彩度を落とす処理を実行する。

さらに、ステップＳ１０６は、色ぼかし処理（フィルタリング処理）であり、自然な結果を得るためのフィルタリング処理である。ステップＳ１０５での補正処理を行った画素（周囲より補間した画素）と、例外処理の画素（彩度を落とした画素）との画素値の差を目立たなくするために、全体的にぼかす処理を実行する。ぼかし処理は、複数の隣接画素についてなだらかな画素値変化を示すように画素値を再設定する処理として実行される。

このような画像処理をユーザが実行する場合、様々な処理条件やパラメータを設定することが必要となる。

例えば、ステップＳ１０２における白とび領域検出処理における閾値の設定、すなわち、どの程度の画素値（輝度レベル）以上の画素を白とび画素として選択するかの閾値の設定処理
ステップＳ１０３における偽色画素検出領域の設定における領域設定条件、すなわち、白とび画素からどの方向にどの程度の画素数分の領域を偽色（パープルフリンジ）画素検出領域として設定するかの処理
ステップＳ１０４における偽色画素検出処理における偽色（パープルフリンジ）として選択すべき画素の画素値（色）の設定処理、
ステップＳ１０５における穴埋め処理繰り返し回数、
ステップＳ１０６における色ぼかし処理繰り返し回数
などがある。ただし、ぼかし処理繰り返し回数は、パープルフリンジ部分の色補正後の不自然さを解消するためのもので、最終的な画像の解像度に合わせた自動調整が可能であり、ユーザが操作する必要性は高くない。

ユーザが設定値を変更することにより、柔軟な画像処理が可能になる処理条件、パラメータの詳細について説明する。

まず、第１のパラメータである白とび閾値は、白とびか否かを判定する際の輝度の閾値である。補正対象画像である原画像の各画素の輝度値がある一定の閾値より大きい場合には、白とびと判定される。この閾値がユーザにより設定できれば、パープルフリンジ軽減画像処理をより柔軟に適用することができる。

白とびの周囲にパープルフリンジが発生するが、白とび周囲のどの範囲に発生する可能性があるかは、画像上の位置（ｘ，ｙ）により異なり、その範囲（ｘ０，ｙ０，ｘ１，ｙ１）が、パープルフリンジ軽減画像処理では必要となる。また、光学系の種類や絞り、焦点距離などの設定によって、発生するパープルフリンジの大きさが変わる。ユーザによりこれらの範囲が設定できれば、さらに柔軟に、パープルフリンジの軽減処理を行うことができる。また、前述の穴埋め処理の繰り返し回数に関しては、この発生範囲を元に、定めることができる。

次に、白とび周囲の画素に関して、パープルフリンジであるかどうか、色情報をチェックして、判定をおこなう。例えば、色相を表わすスカラー値が指定された範囲に入っているかどうかをチェックし、彩度を表わすスカラー値に関しても別に指定された範囲に入っているかどうかをチェックし、偽色かどうかの判定をおこなうことができる。これらの色相範囲、彩度範囲もユーザが指定可能なパラメータとして設定できれば、より効果的に画像処理を行うことができる。

本発明のユーザインタフェース提供装置の提示するユーザインタフェースは、これらのパラメータをユーザが自在に設定することが可能な構成であり、また、パラメータの設定の際に設定パラメータに応じた色相、彩度情報を提示する領域を有し、さらに、設定パラメータに基づく補正画像を提示する構成を有する。以下、図３を参照して本発明のユーザインタフェース提供装置が提供するユーザインタフェースの構成について説明する。

図３に示すユーザインタフェースは、画像データ中の特定の画素を選択して補正処理を実行する際に好適なユーザインタフェースであり、上述したパープルフリンジ軽減のための画像処理を効率的に確実に実行することができる。なお、以下では、補正対象画像をパープルフリンジを発生した画像とし、パープルフリンジの軽減を目的とした補正例について説明するが、本発明のユーザインタフェース提供装置は、パープルフリンジのみならず、その他の画素値補正を必要とする画像処理において適用可能である。

この図３に示すユーザインタフェースは、例えば画像処理装置に付属のディスプレイ、スクリーンに表示され、ユーザは、画像処理装置に接続されたキーボードやマウスなどの入力装置を用いて、各種の処理条件の設定、パラメータの設定などを行うことができる。ユーザは画像補正処理の対象画像を指定し、図３に示すユーザインタフェースを表示する。

図３に示すユーザインタフェースの構成について説明する。
パープルフリンジ色相・彩度設定表示部１０１は、パープルフリンジの色相、彩度設定および選択された色の表示をおこなう。
白とびの閾値設定部１０２は、白とび画素として選択すべき画素の画素値の閾値を設定する。
パープルフリンジ大きさ設定部１０３，１０４は、白とび画素の周囲に設定すべき偽色画素検出領域の設定条件を決定するユーザ設定部である。すなわち、白とび画素の周囲にどの方向に、どの程度の大きさの領域を偽色（パープルフリンジ）画素検出領域として設定するかの処理を可能としている。

パープルフリンジ大きさ設定部１０３は、光学中心から見たとき白とびの外側向きに発生するパープルフリンジの範囲の大きさの設定、パープルフリンジ大きさ設定部１０４は、光学中心を基準としたとき、白とびの内側向きに発生するパープルフリンジの範囲の大きさの設定を行うスライダを有し、ユーザは、マウスやキーボードなどの入力装置でスライダを移動して設定を変更することができる。

画像表示部１０５は、補正対象となる原画像、あるいは補正結果としての結果画像、あるいは白とび画素・パープルフリンジ画素を表わすマスク画像などを表示するための画像表示部である。
表示画像設定部１０６，１０７は、画像表示部１０５に何が表示されるのかを設定する部分である。
ＯＫボタン１０８、キャンセルボタン１０９は、ユーザが設定したパラメータを用いて、原画像に画像処理を施すかまたは、何もしないかのいずれかを確定するためのボタンである。

パラメータ保存ボタン１１０、パラメータ読み込みボタン１１１は、ユーザインタフェースにより設定される各種のパラメータの保存や、保存されたパラメータの読み込みのためのボタンである。

拡大表示ボタン１２１、縮小表示ボタン１２２、スクロールボタン１２３、領域設定ボタン１２４は、画像表示部１０５の表示画像の拡大、縮小、スクロール処理と、表示領域の設定ボタンである。選択領域表示設定部１２５は、表示領域を決定する際にチェックするための設定部である。

次に、図４以下を参照して、ユーザインタフェースの各構成部の詳細について説明する。まず、図４を参照してパープルフリンジ色相・彩度設定表示部１０１の詳細な構成例について説明する。

図４は、パープルフリンジ色相・彩度設定表示部１０１の一例を表わす図である。本実施例においては、補正対象画像を補正する再に適用する色空間としてＹＣｂＣｒ空間を使用した礼を説明する。ＹＣｂＣｒ空間では、各画素は輝度を表わすＹと色を表わすＣｂＣｒで表現される。パープルフリンジの色相、彩度判定にはＣｂＣｒの値を用いる。ここで、色相ｈを以下の式で表わすこととする。
ｈ＝ａｒｃｔａｎ（Ｃｒ−１２８，Ｃｂ−１２８）・・・（１）
また、彩度ｓは、以下の式で表わすこととする。

パープルフリンジ色相・彩度設定表示部１０１は、図４に示すように、色相中心設定部２０１、色相範囲設定部２０２、彩度下限設定部２０３を有する。色相中心設定部２０１は、パープルフリンジと想定される色相を指定する。色相範囲設定部２０２は、色相中心設定部２０１で指定した値を中心とした色相の範囲の大きさ指定する。彩度下限設定部２０３は、彩度の下限（図の選択色表示部２０４に示す彩度下限２０８）を設定する。これらの詳細については、図５を参照して後段で説明する。

選択色表示部２０４は、選択されたパープルフリンジの色を表示する領域である。すなわち、補正対象となる画素の持つ色を選択する色選択情報としての色相選択領域情報を表示する。なお、選択されたすべての色を一枚の２次元画像で表示することは難しいので、選択色表示部２０４では、輝度設定スライダ２０５で、輝度Ｙの値を変えることができるように構成されている。

輝度設定スライダ２０５をあるポイントに設定すると、設定ポイント対応の輝度Ｙにおける色相空間（Ｃｂ，Ｃｒ）のカラー情報が２次元表示される。このようにして、ユーザは選択したすべての色を選択色表示部２０４に表示することができる。選択色表示部２０４では、Ｃｂ＝１２８，Ｃｒ＝１２８である原点２０６を中心として、横方向にＣｂ軸、縦方向にＣｒ軸を設定し、選択されている色を表示する。原点２０６で表わされる部分に、現在、輝度設定スライダ２０５で選択されている輝度Ｙにおいて、色相・彩度の選択範囲に入っている色相選択領域２０７がプロットされて表示される。

パープルフリンジ色相・彩度設定表示部１０１における色相中心設定部２０１、色相範囲設定部２０２、彩度下限設定部２０３の設定による色選択の具体例について、図５を参照して説明する。

図５は、パープルフリンジ色相・彩度設定表示部１０１における選択色表示部２０４を示した図であり、原点２０６を中心として、Ｃｂ軸Ｃｒ軸を基準に色がプロットされる。角度３０１は色相を表わす値：色相中心ｈに相当し、前述の式（１）により算出される。色相中心設定部２０１では、この色相中心ｈを指定することができる。色相中心設定部２０１のスライダ（図４参照）を左右に移動させることで、図５の矢印ａｂ方向に、色相中心ｈが移動することになる。

また、色相範囲設定角度３０２は、色相範囲設定部２０２において設定可能な角度（θ）であり、パープルフリンジ色相として選択すべき色相中心ｈからの範囲を設定する角度である。例えば色相中心ｈの色相があるＣｂ，Ｃｒの値によって特定される紫色を示す色相である場合、そのＣｂ，Ｃｒの値とは異なるが、類似するＣｂ，Ｃｒを持つ色の範囲をこの色相範囲設定部２０２の設定により調整することができる。色相範囲設定部２０２のスライダ（図４参照）を狭〜広の範囲で移動させることで、図５に示すθの設定が０〜ＭＡＸ（例えば１８０度）まで変化する。

図５は、特定のＣｂ，Ｃｒ値を持つ色として選択された色相中心：ｈを中心として、ｈ−θからｈ＋θまでの色相範囲が、パープルフリンジ色相として選択されている状態を表わしている。

図５において、彩度の範囲の下限として彩度下限２０８が設定されている。この彩度下限は、前述の式（２）で算出される。この彩度下限２０８より大きい彩度を有する領域が、パープルフリンジ色相として選択された選択色相領域２０７とされる。彩度下限２０８は、彩度下限設定部２０３のスライダ（図４参照）を低〜高の範囲で移動させることにより変化し、図５の彩度下限設定距離３０３が小〜大に変化して選択色相領域２０７の彩度下限を変化させることができる。

このように、ユーザは、色相中心設定部２０１、色相範囲設定部２０２、彩度下限設定部２０３の各スライダを操作することで、パープルフリンジとして選択すべき画素の色相の範囲を効率的にかつ、確実に選択することができる。選択された色範囲は、選択色表示部２０４に表示されるので、ユーザはどのような色が選択されているのかを容易に確認できる。ユーザが色相中心設定部２０１、色相範囲設定部２０２、彩度下限設定部２０３の各スライダを操作したときは、選択色表示部２０４に表示される選択色相領域２０７は、即座に更新されるので、ユーザは選択されている色相を確認しながらパープルフリンジとして選択すべき色の選択処理を行なうことができる。

なお、上述したパープルフリンジ色相・彩度設定表示部１０１の構成例は、色相中心設定部２０１、色相範囲設定部２０２、彩度下限設定部２０３を有し、これらをユーザが調整してパープルフリンジとして選択すべき色相、彩度を設定する構成としたが、この構成の他、パープルフリンジの色範囲を設定する構成として、以下のような構成としてもよい。例えば、図３に示す画像表示部１０５に表示される補正対象となる原画像の画素の色を直接選択する構成としてもよい。ユーザがパープルフリンジ部分であると判断した画素を、マウスなどを用いて選択し、その画素の色を含むように、色相範囲ならびに彩度範囲を広げるようにして、パープルフリンジの色相・彩度の範囲を設定する。また、反対にユーザが明示的にパープルフリンジでない部分の画素を選択した場合に、その画素の色が含まれないように、色相範囲ならびに彩度範囲を狭める構成としてもよい。この構成とすることで、ユーザは実際の補正対象画像を使いながら、パープルフリンジとして選択すべき画素の色相、彩度の範囲、すなわち色範囲を設定することができる。

次に、図３に示す白とび閾値設定部１０２の操作に基づく、白とび閾値の設定に関して説明する。図３に示す白とび閾値設定部１０２のスライダを暗〜明の範囲で移動させることで、ユーザは、白とび画素として選択すべき画素の閾値を変更できる。白とび閾値設定部１０２は、白とび画素として選択すべき画素の輝度値の閾値を設定する。本実施例では、色空間として、ＹＣｂＣｒを用いており、輝度を表わすＹが閾値設定部１０２で設定された閾値より大きいか否かで、白とびか否かを判定する。すなわち、閾値設定部１０２で設定された閾値より大きい輝度を持つ画素を白とび画素として選択することができる。

次に、図３に示すパープルフリンジ大きさ設定部１０３，１０４の操作に基づく処理について説明する。パープルフリンジ大きさ設定部１０３，１０４は、白とび画素の周囲に設定すべき偽色画素検出領域の設定条件を決定するユーザ設定部である。すなわち、パープルフリンジ大きさ設定部１０３，１０４は、パープルフリンジ色相・彩度設定表示部１０１において設定した色相・彩度を持つ画素の検索領域としての検索画像領域を設定するための検索画像領域設定部として利用される。

具体的には、白とび画素の周囲にどの方向に、どの程度の大きさの領域を偽色（パープルフリンジ）画素検出領域として設定するかを決定するための操作部として利用される。パープルフリンジ大きさ設定部１０３は、光学中心から見たとき白とびの外側向きに発生するパープルフリンジの範囲の大きさの設定、パープルフリンジ大きさ設定部１０４は、光学中心を基準としたとき、白とびの内側向きに発生するパープルフリンジの範囲の大きさの設定を行うスライダを有し、ユーザは、マウスやキーボードなどの入力装置でスライダを移動して設定を変更することができる。

白とび画素が補正対象画像上のある２次元位置（ｘ，ｙ）にあったと想定する。この白とび画素は、白とび閾値設定部１０２において設定された閾値輝度以上を持ち、白とびと判定された画素である。この白とび画素の周囲に、パープルフリンジ発生画素を検索するための領域を設定するのが、パープルフリンジ大きさ設定部１０３，１０４である。

光学系の種類や絞り、焦点距離などの設定や、白とびの位置（ｘ，ｙ）によって、白とびの周囲に発生するパープルフリンジの大きさが変わる。一般的に、パープルフリンジは、白とび部分から光学中心へ向かう方向（内向き：端から光学中心向き）で、またはその１８０度反対方向（外向き：光学中心から端向き）で発生する場合が多い。

図６を参照して、パープルフリンジ大きさ設定部１０３，１０４の操作に基づくパープルフリンジ発生画素検索領域設定処理の具体例について説明する。

図６中、画素４０１を白とびが起こっている画素とする。光学中心４０２は、この画像の光学中心に相当する位置である。白とび画素４０１の外向き方向は、矢印４０３で示される方向であり、内向き方向は矢印４０４で示される方向である。

図３に示すパープルフリンジ大きさ設定部１０３は、白とび画素４０１を起点として矢印４０３で示される方向にパープルフリンジ発生画素検索領域を設定する。パープルフリンジ大きさ設定部１０３のスライダ（図３参照）を小〜大に移動させることで、図６に示す矢印４０３の方向に設定される領域が小から大に変更される。

また、図３に示すパープルフリンジ大きさ設定部１０４は、白とび画素４０１を起点として矢印４０４で示される方向にパープルフリンジ発生画素検索領域を設定する。パープルフリンジ大きさ設定部１０４のスライダ（図３参照）を小〜大に移動させることで、図６に示す矢印４０４の方向に設定される領域が小から大に変更される。

設定領域の大きさは、画素数で設定する構成としてもよいが、画素数ではなく画角に対する割合を設定する構成としてもよい。例えば、補正対象画像の幅に対して、１％の大きさ、１．５％の大きさなどの設定を行なう構成とする。この画像の幅に対する割合をパープルフリンジ大きさ設定部１０３，１０４の操作によって設定する。この構成とすることで、大小様々な画像データに対応した効率的な領域設定が可能となる。

図３に示す画像表示部１０５には、補正対象の原画像、画像処理の結果画像、白とび部分・パープルフリンジ部分を表わすマスク画像などを表示する。画像表示は、キーボードやマウスで、拡大縮小したり、表示位置を変更したりすることもできる。また、図３に示す拡大表示ボタン１２１、縮小表示ボタン１２２、画像のスクロールのためのスクロールボタン１２３等の表示画像調整ボタンを操作することで、画像表示部１０５に表示する画像の態様を変更することができる。

図３に示す表示画像設定部１０６は、画像表示部１０５に原画像を表示するか、結果画像を表示するかを選択するための表示画像状態設定・表示部である。表示画像設定部１０６は、選択状態表示部と文字列のラベルから構成される。ユーザが、マウスまたはキーボードなどで表示画像設定部１０６の選択状態を変更すると、表示画像設定部１０６の選択状態表示部の表示も更新される。表示画像設定部１０６が選択されていない状態のとき、画像表示部１０５には原画像が表示され、選択されている場合は、結果画像が表示される。

図３の表示画像設定部１０７は、画像表示部１０５に白とび部分・パープルフリンジ部分を表わすマスク画像を表示するか否かを選択するためのマスク画像表示状態設定・表示部である。表示画像設定部１０７は、表示画像設定部１０６と同様に、選択状態表示部と文字列によるラベルにより構成される。本実施例における画像処理では、画像の各画素は、白とびまたは、パープルフリンジまたは、それ以外の画素に分類される。マスク画像とは、例えば、白とび部分を白色、パープルフリンジ部分を紫色、それ以外の部分を黒色にした原画像と同等の解像度の画像である。

表示画像設定部１０７が選択状態にある場合は、表示画像設定部１０６で選択されている原画像または、結果画像の上に、半透明のマスク画像を重ね合わせるなどの処理をして、画像表示部１０５に表示する。すなわち、補正対象画素としてのパープルフリンジ画素など、図４を参照して説明した色相設定などによって決定された色相に対応する画素値を持つ画素を識別可能とした表示を行なう。さらに、画像データの構成画素中、白とび画素についても識別可能な表示を行なう。一方、表示画像設定部１０７が選択状態にない場合は、表示画像設定部１０６で選択されている画像のみが画像表示部１０５に表示される。

図３に示すインタフェースにおいて、ユーザによる操作部の操作による各種処理条件、パラメータの設定の変更は、即座に画像表示部１０５の表示、あるいは、図４を参照して説明した選択色表示部２０４の表示データに反映される。すなわち、設定したパラメータに基づく画素値補正、すなわち先に図２を参照して説明した穴埋め補間、ぼかし処理を含む一連の画素値補正処理が設定パラメータに基づいて実行され、その結果画像が、画像表示部１０５に表示される。

画像表示部１０５は、ユーザインタフェースを介するユーザ操作によるパラメータ更新に基づいて補正された処理画像データを、パラメータ更新処理に応じて提示する。なお、図４を参照して説明した選択色表示部２０４には、設定パラメータに対応する色相選択領域情報がユーザ設定の更新に応じて、即座に更新されて表示される。

上述のように、パープルフリンジ色相・彩度設定表示部１０１、白とび閾値設定部１０２、パープルフリンジ大きさ設定部１０３，１０４の各設定部を操作することで、ユーザは画像処理のパラメータを自在に設定可能であり、パラメータが変更されれば、画像処理装置は必要に応じて即座に再計算、画素値補正処理を実行し、その結果を画像表示部１０５の表示画像として出力する。

本構成のユーザインタフェースでは、補正対象の画像の一部分だけに限定して画像処理を適用することもできる。図３に示す領域設定ボタン１２４をクリック後、例えば、マウス等の入力手段を適用して、画像表示部１０５に表示された画像の一部の長方形領域を指定し、その部分だけを処理対象画像として選択することが可能であり、その後、設定パラメータに基づいて限定領域のみの補正処理を実行することができる。すなわち、部分的なパープルフリンジ軽減処理を施すこともできる。

なお、設定領域は一つの長方形である必要はなく、原画像の範囲ならば任意の形状を取ることが可能である。例えば、筆ツールのようなもので任意の形状を指定し、その部分だけに画像処理を施す構成としてもよい。表示画像設定部１２５を操作することで画像表示部１０５には、ユーザが選択した領域のみを選択的に表示することもできる。なお、ユーザが選択領域を変更した場合も、画像処理装置は即座に再計算を行い、その結果を画像表示部１０５の表示画像に反映させる。

入力装置を用いて、図３に示すＯＫボタンを押す（クリック）と、画像処理結果を確定し結果画像として出力する。例えばディスプレイに対する出力、プリンタ出力、あるいはハードディスクなどの記憶部を持つデータファイル格納部に対する格納データとして出力する。キャンセルボタン１０９を押すと、補正処理をキャンセルし原画像をそのまま結果画像として出力する。

なお、ユーザが設定した一組のパラメータだけで全体の画像を処理すると、画像によっては、部分的に破綻が起こる可能性がある。その場合は、原画像の一部を選択したうえで、パラメータを調整し、選択した部分のみに、選択したパラメータに基づく画像処理を施し、結果画像を出力する。その後、その結果画像の別の部分を選択した上で、他のパラメータを設定するなどの処理を施すことで、１つの画像の領域毎に異なるパラメータを施した補正画像データを生成することができる。この補正処理によって、画像の場所により異なるパラメータで画像処理を施すことができ、破綻を回避できるばかりではなく、より効果的な結果画像を得ることができる。

さらに、本実施例のユーザインタフェースでは、ユーザがパープルフリンジ色相・彩度設定表示部１０１、白とび閾値設定部１０２、パープルフリンジ大きさ設定部１０３，１０４の各設定部を操作することで設定したパラメータを保存したり、保存済みのパラメータを読み込んだりすることができる。

ユーザが入力装置を用いて、図３に示すパラメータ保存ボタン１１０を操作すると、その時点で、ユーザがパープルフリンジ色相・彩度設定表示部１０１、白とび閾値設定部１０２、パープルフリンジ大きさ設定部１０３，１０４において設定したパラメータを保存する。例えば、パラメータ保存ボタン１１０の操作に基づいて、ファイル名を入力するためのファイル名設定画面がスクリーンに現れ、ユーザがファイル名を入力すると、そのファイル名でパラメータを保存する。

また図３に示すパラメータ読み込みボタン１１１を操作すると、既にハードディスク当に記憶されている保存パラメータを読み込み、現在の設定としてユーザインタフェースに反映させる。例えば、パラメータ読み込みボタン１１１のボタンが押されたと同時に、既存のパラメータが保存されたファイルを選択できるファイル選択画面がスクリーンに現れ、ユーザが選択したファイルから、パラメータを読み込み、現在の設定に反映する。また、ここでは詳細な例は示さないが、例えば、複数の画像を一度に指定し、同じパラメータで画像処理を施す処理を、保存済みのパラメータを用いることで実現できる。

なお、上述した実施例では、パープルフリンジを画素値補正対象として選択した例を説明したが、その他の特定の色相を持つ画素、例えば緑、赤、橙など、ある特定の色相の画素を選択して補正する処理を実行する場合も、上述と同様の色相、彩度選択処理、領域設定処理によって、特定の領域から、特定の色相、彩度を持つ画素データを補正対象として選択することが可能であり、それらの画素についての補正処理、例えば穴埋め補間、ぼかし処理を実行することができる。

前述したように、例えば、色収差によるパープルフリンジや、その他、画像の撮影条件や撮影時のデータ処理における様々なトラブルによって、画像データを構成する多数の画素の中には、画素値が特定できない画素や、明らかに誤った画素値が設定される場合があり、本発明のユーザインタフェース提供装置の提示するユーザインタフェースを利用することで、このような画素の選択を効率的に行なうことができる。

最後に、図７を参照して、本発明のユーザインタフェース提供装置を構成するハードウェア構成例について説明する。本発明のユーザインタフェース提供装置は、例えばパーソナルコンピュータ上で実現可能であり、デジタルカメラの撮影画像をパーソナルコンピュータに入力し、図３に示すインタフェースをパーソナルコンピュータのディスプレイに表示し、マウス、キーボードなどの入力手段を介して入力する操作情報に基づいて、画像処理を実行することができる。図７に示すのは、これらの処理を実行可能なパーソナルコンピュータの例である。

図７のハードウェア構成について説明する。ＣＰＵ(Central Processing Unit)５０１は、ＲＯＭ(Read Only Memory)５０２、またはＨＤＤ(hard disk drive)５０４等に記憶されているプログラムに従って、各種の処理を実行し、データ処理手段、あるいは通信制御処理手段として機能する。ＲＡＭ(random access memory)５０３には、ＣＰＵ５０１が実行するプログラムやデータが適宜記憶される。ＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３、ＨＤＤ５０４は、バス５０５を介して相互に接続されている。ＣＰＵ５０１の実行する処理は、たとえば先に図２のフローを参照して説明した処理であり、図３に示すユーザインタフェースを出力部５０８としてのディスプレイに提示して、入力部としてのマウス、キーポードなどからのユーザ操作情報に基づいて、各種のパラメータに基づく画素値補正処理を実行する。原画像、補正済み画像等の表示制御も実行する。

バス５０５には、入出力インタフェース５０６が接続されており、この入出力インタフェース５０６には、例えば、ユーザにより操作されるキーボード、スイッチ、ボタン、あるいはマウス等により構成される入力部５０７、ユーザに各種の情報を提示するＬＣＤ、ＣＲＴ、スピーカ等により構成される出力部５０８が接続される。さらに、データ送受信手段として機能する通信部５０９、さらに、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体５１１を装着可能で、これらのリムーバブル記録媒体５１１からのデータ読み出しあるいは書き込み処理を実行するドライブ５１０が接続される。

図７に示す構成は、本発明のユーザインタフェース提供装置として実現されるパーソナルコンピュータ（ＰＣ）の例であるが、ＰＣに限らず、デジタルカメラ、携帯電話、ＰＤＡ等の携帯端末、その他の様々な電子機器、情報処理装置によって本発明のユーザインタフェース提供装置は構成することが可能である。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには特許請求の範囲の欄を参酌すべきである。

以上、説明したように、本発明の構成によれば、ユーザインタフェースに、色相や彩度を指定した画素選択を行なうための色相、彩度設定部を構成し、設定情報に基づく画素選択を実行可能とした。本構成によって、例えば白とび画素の周辺に発生するパープルフリンジ等の偽色画素を効率的に選択することが可能であり、選択された画素の画素値の補正を効率的に確実に実行することが可能となる。さらに、補正対象画像である原画像、および画素値補正処理後の結果画像を表示する表示領域を設定し、パラメータの更新に即応して処理画像を表示する構成としたので、ユーザは、画像処理結果を見ながら、設定を変更することができ、効率的かつ効果的に、パープルフリンジ軽減等の画像処理を行なうことができる。

さらに、本発明の構成では、補正対象領域を選択して、選択した領域に対してのみ設定パラメータを適用した補正を施すことを可能としたので、一組のパラメータによる全体処理によっては、破綻が起こる可能性のある画像データなどに対して、部分画像に限定した補正を行うことができ、また、画像の場所によってパラメータを変更した画像処理を施すことができる。この結果、破綻の回避ばかりではなく、高品質な補正処理画像データを得ることができる。

パープルフリンジに対する穴埋め補間処理について説明する図である。 パープルフリンジに対する穴埋め補間処理を伴う画像補正処理シーケンスについて説明するフローチャートである。 本発明のユーザインタフェース提供装置によって提示されるユーザインタフェースの構成を示す図である。 本発明のユーザインタフェース提供装置によって提示されるユーザインタフェースにおけるパープルフリンジ色相・彩度設定表示部の構成について説明する図である。 本発明のユーザインタフェース提供装置によって提示されるユーザインタフェースにおけるパープルフリンジ色相・彩度設定表示部の処理について説明する図である。 本発明のユーザインタフェース提供装置によって提示されるユーザインタフェースにおけるパープルフリンジ大きさ設定部の設定処理について説明する図である。 本発明のユーザインタフェース提供装置を構成するハードウェア例を示す図である。

符号の説明

１１ 白とび画素
１２ 偽色（パープルフリンジ）画素
１３ その他の画素
１４ 補間済画素
１０１ パープルフリンジ色相・彩度設定表示部
１０２ 白とび閾値設定部
１０３，１０４ パープルフリンジ大きさ設定部
１０５ 画像表示部
１０６，１０７ 表示画像設定部
１０８ ＯＫボタン
１０９ キャンセルボタン
１１０ パラメータ保存ボタン
１１１ パラメータ読み込みボタン
１２１ 拡大表示ボタン
１２２ 縮小表示ボタン
１２３ スクロールボタン
１２４ 領域設定ボタン
１２５ 選択領域表示設定部
２０１ 色相中心設定部
２０２ 色相範囲設定部
２０３ 彩度下限設定部
２０４ 選択色表示部
２０５ 輝度設定スライダ
２０６ 原点
２０７ 色相選択領域
２０８ 彩度下限
３０１ 色相中心
３０２ 色相範囲設定角度
３０３ 彩度下限設定距離
４０１ 白とび画素
４０２ 光学中心
４０３，４０４ 矢印
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ ＨＤＤ
５０５ バス
５０６ 入出力インタフェース
５０７ 入力部
５０８ 出力部
５０９ 通信部
５１０ ドライブ
５１１ リムーバブル記録媒体

Claims (11)

1. ユーザインタフェース提供装置であり、
   画像データの構成画素の画素値補正処理に適用するユーザインタフェースを提示する構成を有し、
   前記ユーザインタフェースは、
   白とび画素の周囲に発生する偽色（パープルフリンジ）の色相を指定した画素選択を行なうための色相設定部と、
   白とび画素を検出するための白とび画素検出閾値を設定する画素値閾値設定部と、
   前記白とび画素の周囲に発生する偽色（パープルフリンジ）の検出サイズを設定するためのパープルフリンジサイズ閾値設定部と、
   を有することを特徴とするユーザインタフェース提供装置。
2. 請求項１に記載のユーザインタフェース提供装置において、
   前記ユーザインタフェースは、白とび画素の周囲に発生する偽色（パープルフリンジ）の彩度を指定した画素選択を行なうための彩度設定部を有することを特徴とするユーザインタフェース提供装置。
3. 請求項１または２に記載のユーザインタフェース提供装置において、
   前記ユーザインタフェースは、色相設定部または彩度設定部において設定した色相または彩度に対応する色選択領域情報を表示する選択色表示部を有することを特徴とするユーザインタフェース提供装置。
4. 請求項１に記載のユーザインタフェース提供装置において、
   色相を指定した画素選択を行なう検索画像領域を設定するための検索画像領域設定部を有することを特徴とするユーザインタフェース提供装置。
5. 請求項１乃至４いずれかに記載のユーザインタフェース提供装置において、
   補正対象画像および補正処理結果画像を提示する画像表示部を有することを特徴とするユーザインタフェース提供装置。
6. 請求項５に記載のユーザインタフェース提供装置において、
   前記画像表示部は、
   前記色相設定部において設定された色相に対応する画素値を持つ画素を識別可能な表示を行なう構成を有することを特徴とするユーザインタフェース提供装置。
7. 請求項５に記載のユーザインタフェース提供装置において、
   前記画像表示部は、
   画像データの構成画素中、白とび画素を識別可能な表示を行なう構成を有することを特徴とするユーザインタフェース提供装置。
8. 請求項１乃至７いずれかに記載のユーザインタフェース提供装置において、
   前記画像表示部は、
   ユーザインタフェースを介するユーザ操作によるパラメータ更新に基づいて補正された処理画像データを、パラメータ更新処理に応じて提示する構成であることを特徴とするユーザインタフェース提供装置。
9. 請求項１乃至８いずれかに記載のユーザインタフェース提供装置において、
   補正対象画像領域を選択する領域設定部を有することを特徴とするユーザインタフェース提供装置。
10. 請求項１乃至９いずれかに記載のユーザインタフェース提供装置において、
    ユーザインタフェースを介するユーザ操作によって設定されたパラメータの保存処理のための操作部を有することを特徴とするユーザインタフェース提供装置。
11. 請求項１乃至１０いずれかに記載のユーザインタフェース提供装置において、
    ユーザインタフェースを介するユーザ操作によって設定されたパラメータの記憶部からの読み込み処理のための操作部を有することを特徴とするユーザインタフェース提供装置。

Images