JP4982567B2 - フラッシュを用いて撮影された画像のアーチファクト除去 - Google Patents

フラッシュを用いて撮影された画像のアーチファクト除去 Download PDF

Info

Publication number
JP4982567B2
JP4982567B2 JP2009538798A JP2009538798A JP4982567B2 JP 4982567 B2 JP4982567 B2 JP 4982567B2 JP 2009538798 A JP2009538798 A JP 2009538798A JP 2009538798 A JP2009538798 A JP 2009538798A JP 4982567 B2 JP4982567 B2 JP 4982567B2
Authority
JP
Japan
Prior art keywords
image
image data
main
data
principal component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009538798A
Other languages
English (en)
Other versions
JP2010511340A (ja
Inventor
サカリ アレニアス
ユハ サーキヤーヴィ
オッシ カレヴォ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2010511340A publication Critical patent/JP2010511340A/ja
Application granted granted Critical
Publication of JP4982567B2 publication Critical patent/JP4982567B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624—Red-eye correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)

Description

本発明は、フラッシュを用いて撮影された画像におけるアーチファクト除去のための方法、コンピュータ可読媒体、コンピュータプログラム、および装置に関する。
発明の背景
フラッシュを用いて撮影された画像においてよく知られている特に厄介なアーチファクトに、人の目がその天然色ではなく赤色に映る、いわゆる「赤目現象」がある。この現象において、赤色は、血液を多く含む網膜に対するフラッシュ光の反射から生じる。この現象は、コンパクトカメラや、携帯電話機等のモバイル機器に搭載するカメラなどの小型のカメラにおいて顕著である。
赤目現象は、複数の方式で対処されうる。
特に簡単な方式として、カメラのレンズの光軸からフラッシュ光を離して、網膜からのフラッシュ光の直接反射をカメラのレンズが受光しないようにすることが挙げられる。しかしながら、この手法は、一般的に、サイズの制約により、コンパクトカメラやモバイル機器に搭載されるカメラについては実現可能ではない。
米国特許第４,285,588号に記載される別の手法によると、実際の画像を取り込む前に瞳孔を閉鎖させるプレフラッシュを使用する。プレフラッシュと実際の画像の取り込みとの間の時間は、瞳孔が閉じることができるように十分長い時間を選択しなければならない。米国特許第４,285,588号においては、約600ミリ秒の時間遅延が好ましいとされている。しかしながら、これにより、画像取り込みにおける遅延が大きくなり、さらに、プレフラッシュが、瞳孔を完全に閉鎖させないため、赤目現象の完全な除去には適当ではない。
さらに、赤目現象の除去は、取り込まれた画像を処理し、例えば、目の形状によって規定される幾何学的制約に基づいて、その画像に含まれる赤目の識別および除去を試みるアルゴリズムによって達成されうる。しかしながら、赤目の誤検出および検出見逃しの両方の率は、一般的に非常に高い。
米国特許出願公開第２006/0008171号は、赤目除去に関するさらなる手法について記載している。この手法は、フラッシュ無しで撮影された画像と、フラッシュ有りで撮影された後続の画像とを含む画像の対を撮影することに基づいている。この手法において、２つの画像は、例えば、1/30秒内の短時間で連続的に撮影される。フラッシュを用いずに撮影された画像とフラッシュを用いて撮影された画像との間の赤色のクロミナンスにおける差が判断され、閾値に基づいて、どの領域が赤目を形成している可能性があるかが決定される。その後、赤目領域が除去される。しかしながら、この手法の性能は、閾値の選択に決定的に依存する。さらに、フラッシュを用いずに撮影された画像が暗過ぎる場合には性能が大幅に劣化する。
米国特許第4,285,588号明細書 米国特許出願公開第2006/0008171号
したがって、本発明の目的は、とりわけ、フラッシュを用いて撮影された画像におけるアーチファクトを低減するための方法、コンピュータ可読媒体、コンピュータプログラム、および装置を提供することにある。
本発明の第１の側面によると、少なくとも、第１のレベルのフラッシュエネルギーを使用して取り込まれたリファレンス画像の画像データと、前記第１のレベルのフラッシュエネルギーよりも高い第２のレベルのフラッシュエネルギーを使用して取り込まれたメイン画像の画像データとを受け取ることと、前記リファレンス画像の画像データおよび前記メイン画像の画像データに少なくとも基づいて、第３の画像の画像データを決定することであって、前記第３の画像は、アーチファクトが除去された前記メイン画像の表現であることと、を含む方法が提示される。
本発明の第２の側面によると、コンピュータプログラムが格納されるコンピュータ可読媒体であって、前記コンピュータプログラムは、少なくとも、第１のレベルのフラッシュエネルギーを使用して取り込まれたリファレンス画像の画像データと、前記第１のレベルのフラッシュエネルギーよりも高い第２のレベルのフラッシュエネルギーを使用して取り込まれたメイン画像の画像データとを、プロセッサに受信させるように作用しうる命令と、前記リファレンス画像の画像データおよび前記メイン画像の画像データに少なくとも基づいて、第３の画像の画像データをプロセッサに決定させるように作用しうる命令であって、前記第３の画像は、アーチファクトが除去された前記メイン画像の表現である命令と、を含むコンピュータ可読媒体が提示される。
本発明の第３の側面によると、少なくとも、第１のレベルのフラッシュエネルギーを使用して取り込まれたリファレンス画像の画像データと、前記第１のレベルのフラッシュエネルギーよりも高い第２のレベルのフラッシュエネルギーを使用して取り込まれたメイン画像の画像データとを、プロセッサに受信させるように作用しうる命令と、前記リファレンス画像の画像データおよび前記メイン画像の画像データに少なくとも基づいて、第３の画像の画像データをプロセッサに決定させるように作用しうる命令であって、前記第３の画像は、アーチファクトが除去された前記メイン画像の表現である命令と、を含むコンピュータプログラムが提示される。
本発明の第４の側面によると、少なくとも、第１のレベルのフラッシュエネルギーを使用して取り込まれたリファレンス画像の画像データと、前記第１のレベルのフラッシュエネルギーよりも高い第２のレベルのフラッシュエネルギーを使用して取り込まれたメイン画像の画像データとを受信し、前記リファレンス画像の画像データおよび前記メイン画像の画像データに少なくとも基づいて、第３の画像の画像データを決定することであって、前記第３の画像は、アーチファクトが除去された前記メイン画像の表現であるように構成されるプロセッサを備える、装置が提示される。
本発明の第５の側面によると、少なくとも、第１のレベルのフラッシュエネルギーを使用して取り込まれたリファレンス画像の画像データと、前記第１のレベルのフラッシュエネルギーよりも高い第２のレベルのフラッシュエネルギーを使用して取り込まれたメイン画像の画像データとを受け取るための手段と、前記リファレンス画像の画像データおよび前記メイン画像の画像データに少なくとも基づいて、第３の画像の画像データを決定するための手段であって、前記第３の画像は、アーチファクトが除去された前記メイン画像の表現である手段を備える、装置が提示される。
本発明によると、少なくともリファレンス画像およびメイン画像の画像データが、第３の画像の画像データを決定するために取得され使用される。前記第３の画像は、アーチファクトが除去されたメイン画像の表現である。同様に、２つを上回る画像の画像データが、第３の画像の画像データを決定するために取得され使用されてもよい。アーチファクトの除去は、アーチファクトの実質的な除去または完全な除去として理解されうる。リファレンス画像は、メイン画像よりも低いレベルのフラッシュエネルギーで取り込まれている。２つを上回る画像が取り込まれる場合、追加の画像（つまり、第３、4等の画像）が、フラッシュ無しでまたはフラッシュ有りで取り込まれてもよい。例えば、プレビュー画像が、この追加の画像としての役割を果たしてもよい。
前記リファレンス画像は、前記メイン画像の前に、メイン画像と少なくとも部分的に一緒に（例えば、２つの画像センサまたは２つの画像を同時に取り込み可能な画像センサによって）取り込まれてもよく、あるいはメイン画像の後に取り込まれていてもよい。高いフラッシュレベルのメイン画像の後に低いフラッシュレベルのリファレンス画像を取り込むことは、例えば、画像の被写体の表情が、低レベルのプレフラッシュによって妨害される場合があるため有利でありうる。メイン画像に含まれるアーチファクトが赤目現象を含む場合、低い方のレベルのフラッシュエネルギーは、例えば、リファレンス画像において赤目現象が発生しないように、またはごくわずかな赤目現象しか発生しないように十分低く選択されうる。しかしながら、第３の画像の画像データの決定が、例えばリファレンス画像とメイン画像の画像データとの間の差に基づく場合、リファレンス画像の取り込み時にフラッシュを使用することによって、リファレンス画像が暗過ぎて、リファレンス画像とメイン画像の画像データとの比較が困難となることが避けられるため、適切な結果を得ることがより確かとなる。リファレンス画像の取り込み時にフラッシュを使用することによって、取り込まれた画像のアーチファクトの可能性がある領域の検出の質が高まるため、結果的にアーチファクト除去をより確実に行うことが可能となる。リファレンス画像およびメイン画像は、異なるフラッシュ光、つまり、リファレンス画像の取り込みのための第１の型のフラッシュ光、メイン画像の取り込みのための第２の型のフラッシュ光、を利用して取り込まれてもよい。使用されるフラッシュ光の型は、例えば、キセノンフラッシュ、LEDフラッシュ、または表示灯を含んでもよいが、これらに限定されない。
前記第３の画像の画像データを決定することは、リファレンス画像およびメイン画像の画像データを受信するプロセッサによって実行される。ここで、リファレンス画像およびメイン画像を取り込むための手段は、例えば、前記プロセッサが装備される同一の装置に搭載されていてもよく、別々の装置に存在してもよい。後者の場合、プロセッサは、例えば、リファレンス画像およびメイン画像の画像データを受信するためのインターフェースを備えてもよく、リファレンス画像およびメイン画像を取り込むためのカメラユニットを備える装置に搭載されうるモジュールとして具現化されてもよい。プロセッサは、例えば、固定内蔵式メモリユニットまたは着脱式メモリユニット等のコンピュータ可読媒体からプログラムコードを読み取ってもよく、このプログラムコードは、前記プロセッサに、リファレンス画像およびメイン画像の画像データを受信させ、かつ第３の画像の画像データを決定させるように作用しうる命令を含む。
アーチファクトは、例えば、血液を多く含んだ人の目の網膜におけるフラッシュ光の反射によって引き起こされる赤目現象を含んでもよい。アーチファクトは、動物（例えば、ネコおよびイヌを含む）の多くの群に見られる脈絡層タペタムにおいてフラッシュ光が反射する現象を含んでもよく、この現象は、フラッシュを用いて撮影された画像において異なる色でこれらの動物の目を不自然に光らせる。さらに、アーチファクトは、フラッシュ光の使用によって特に引き起こされ、かつ自然な外観を変更し、またはメイン画像の質を劣化する任意の現象を含むように理解される。
前記第３の画像の画像データを決定することは、リファレンス画像およびメイン画像の画像データに基づく。このようにして、前記決定することは、メイン画像の画像データに依存するだけでなく、２つの画像の間の画像データにおける変化を考慮することもできる。
ここで、前記画像データは、アナログ画像データまたはデジタル画像データであってもよい。前記画像データは、例えば、カメラユニットから入手されるRAW画像データであってもよく、または、例えば、YUVモデルまたはRGBモデル等の特定の色空間モデルに従って変換されていてもよく、または特定の画像フォーマットに変換されていてもよい。また、前記画像データは、例えば、YUVモデルのY、U、およびV成分、RGBモデルのR、G、およびB成分等の色空間モデルのうちの１つ以上の成分だけを表してもよい。
本発明の第１の例示的実施形態によると、リファレンス画像とメイン画像との間の取り込みの時間的距離は、100ミリ秒未満である。したがって、メイン画像は、リファレンス画像の後に100ミリ秒未満で取り込まれるか、またはリファレンス画像は、メイン画像の後に100ミリ秒未満で取り込まれるかである。例えば、前者の場合、リファレンス画像の取り込みの際に使用される低レベルフラッシュは、瞳孔を適切な状態にするように意図されないため、この時間遅延の規定の際に瞳孔の動的特性を考慮する必要はない。しかしながら、画像の取り込み間の被写体の主な移動が不可能であるように、時間遅延を規定することが有利でありうる。この時間遅延に適切な値は、例えば30ミリ秒とすることができるが、さらに短くてもよい。第１の例示的実施形態によると、画像取り込みのレイテンシ（待ち時間）を大幅に小さくすること可能となるが、依然としてアーチファクト除去も可能とする。同じ効果を提供しつつ、リファレンス画像とメイン画像との間の取り込みの時間的距離は、100ミリ秒よりも長くなりうる。例えば、動き補償（motion compensation）が２つの画像のうちの少なくとも１つに適用される場合、当該画像において補償された動きによって、アーチファクト除去の基礎として、当該画像を適切に比較することが可能になるため、リファレンス画像およびメイン画像の取り込みの間の遅延がさらに大きくなる可能性がありうる。
本発明の第２の例示的実施形態によると、第１のレベルのフラッシュエネルギーは、第２のレベルのフラッシュエネルギーの10パーセント未満である。第１のレベルのフラッシュエネルギーは、例えば、赤目現象等の特定のアーチファクトがリファレンス画像において発生しないように、またはわずかだけしか発生しないように、例えば、十分小さく規定されてもよいが、リファレンス画像が暗過ぎず、メイン画像との比較に適切であるように依然として十分大きい。リファレンス画像のフラッシュエネルギーのレベルおよび露光時間は、例えば、プレビュー画像の統計に基づいて決定されてもよい。第１のレベルのフラッシュエネルギーに適切な値は、例えば、第２のレベルのフラッシュエネルギーの5から10パーセントであってもよいが、十分同等に、さらに大幅に低くてもよい。リファレンス画像およびメイン画像は、同一のフラッシュを利用して取り込まれてもよく、フラッシュエネルギーのみが異なるレベルであるというものでもよい。異なる型のフラッシュ光を、リファレンス画像およびメイン画像の取り込みにそれぞれ使用してもよく、同等の効果を得られる。第１のおよび/または第２のレベルのフラッシュエネルギーは、例えば、分散タイプのフラッシュ光によって決定または境界付けされてもよい。例えば、リファレンス画像の取り込みでは、メイン画像の取り込みに使用されるフラッシュ光よりも小さいレベルのフラッシュエネルギーを使用してもよい。
本発明の第３の例示的実施形態によると、リファレンス画像は、メイン画像よりも低品質、低サンプリングレート、および低解像度のうちの少なくともいずれかである。低品質、低サンプリングレート、または低解像度は、リファレンス画像に必要とされるメモリがより少なくなりうるため有利でありうる。低品質、低サンプリングレート、または低解像度は、リファレンス画像の取り込み中に達成されてもよく、またはカメラユニットから入手した原画像の変換によって、画像取り込み後に達成されてもよい。
本発明の第４の例示的実施形態によると、第３の画像の画像データを決定することは、リファレンス画像の画像データとメイン画像の画像データとの間の差を考慮して、メイン画像におけるアーチファクトを検出することと、第３の画像の画像データを得るために検出されたアーチファクトを補正することと、を含む。
本発明の第４の実施形態に従うアーチファクトを検出することは、メイン画像の画像データに基づいて、メイン画像においてアーチファクトである可能性があるものを識別することと、リファレンス画像の画像データとメイン画像の画像データとの間の差を考慮して、アーチファクトである可能性があるものの中から誤って識別されたものを判断することと、アーチファクトである可能性があるものの中から誤って識別されたものを除去することとを含んでもよい。この補正は、アーチファクトである可能性があるもののうち除去されなかったものについてのみ実行されることを含んでもよい。ここで、アーチファクトである可能性があるものの識別は、例えば、パターン認識アルゴリズムによって実行されてもよく、例えば、メイン画像における顔形状パターンまたは目形状パターンを検索することによって実行されてもよい。ここで、リファレンス画像は、メイン画像におけるアーチフェクトの決定の前に処理されてもよい。リファレンス画像の処理は、例えば、動き、異なる画像サイズ、異なる露光、またはリファレンス画像とメイン画像との間の他の差異が補償されるようにリファレンス画像の等化を含んでもよい。
あるいは、本発明の第４の実施形態に従うアーチファクトを検出することは、リファレンス画像の画像データとメイン画像の画像データとの間の差に基づいて、メイン画像においてアーチファクトである可能性があるものを識別することと、リファレンス画像またはメイン画像の画像データを考慮して、アーチファクトである可能性があるものの中から誤って識別されたものを判断することと、アーチファクトである可能性があるものの中から誤って識別されたものを除去することとを含んでもよい。この補正は、アーチファクトである可能性があるもののうち除去されなかったものについてのみ実行されることを含んでもよい。リファレンス画像およびメイン画像の両方に基づくアーチファクトである可能性があるものの識別を実行することによって、アーチファクトである可能性があるものにおける誤って識別されたものの決定の複雑性を軽減することに貢献することができる。
本発明の第４の例示的実施形態において、検出されたアーチファクトを補正することは、リファレンス画像の画像データに少なくとも部分的に基づいてもよい。例えば、メイン画像の画像データは、第３の画像の画像データを得るために、リファレンス画像の画像データによって置換されてもよい。
本発明の第５の例示的実施形態によると、第３の画像の画像データを決定することは、リファレンス画像の画像データおよびメイン画像の画像データから形成されたデータの組の因子分析を行うことと、因子分析から得た変換をデータの組に適用して第４の画像の画像データを得ることとを含み、第３の画像の画像データを、第４の画像の画像データに少なくとも基づいて決定することを含む。因子分析を用いることによって、リファレンス画像とメイン画像との間の全体的な差異を自動的に（ブラインド"blind"で）抑制または除去することが可能になるため、パターン認識ステップが不要となる。本発明の第５の実施形態に従って第３の画像の画像データを決定することは、リファレンス画像がフラッシュ無しで取り込まれ、つまり第１のフラッシュを用いずに撮影され、次に第２のフラッシュを用いて画像データを撮影する場合にも適用可能であることに留意されたい。この場合、第３の画像の画像データは、第１のフラッシュを用いずに撮影された画像の画像データと第２のフラッシュを用いて撮影された画像の画像データとに基づいて決定されてもよい。本発明の第５の実施形態に従って第３の画像の画像データを決定することは、２つを上回る画像が取り込まれ、第３の画像の決定の基礎としての役割を果たす場合にも、同じように適用可能である。ここで、リファレンス画像およびメイン画像は、フラッシュ有りで取り込まれ、さらなる画像がフラッシュ有りまたはフラッシュ無しで取り込まれてもよい。後者の場合の例は、さらなる画像としてプレビュー画像を使用することである。
因子分析は、例えば、データの組の主成分分析であってもよい。主成分分析は、リファレンス画像の画像データおよびメイン画像の画像データに関する共通部分および異なる部分を決定する。ここで、共通部分は、共同信号の最大変動を表現し、異なる部分は、対応する差を表現する。
変換は、主成分分析から得た変換行列と、異なる部分を抑制または除去するように決定された修正変換行列とに基づいて決定されてもよい。変換行列を（転置して）前記データの組に適用することによって、前記データの組は新しい座標系へと変換される。また、修正変換行列を前記データの組に適用することによって、前記データの組は、新しい座標系から変換されるが、異なる部分、つまりリファレンス画像の画像データとメイン画像の画像データとの間の差を抑制または除去するという修正された方法で、変換される。
本発明の第５の実施形態では、リファレンス画像およびメイン画像からの情報に基づいてファジー尤度マップ（Fuzzy Likelihood Map）が決定されてもよい。ファジー尤度マップは、メイン画像の部分がアーチファクトを含むか否かを示す。リファレンス画像の画像データおよびメイン画像の画像データが因子分析の実行前にファジー尤度マップで重み付けされてもよい。ファジー尤度マップにおいて、例えば、画素毎に、領域［０，１］において値が存在してもよく、一方、値の大きさは、画素がアーチファクト領域（例えば、赤目領域）にある可能性があるか否かを表現する。リファレンス画像およびメイン画像の画像データをファジー尤度マップで重み付けすることによって、アーチファクトに対応する画像データは、アーチファクトに対応しない画像データに対して強調されるため、アーチファクトに対応する画像データが後続処理においてより重み付けされる。ファジー尤度を適用することによって、閾値の使用が不必要になる。閾値が適用されるために、画像アーチファクトを除去するように処理される範囲と処理されない範囲との間にエッジが見えてしまう方法とは違って、空間的に平滑な結果がもたらされうる。
本発明の第５の実施形態では、第３の画像の画像データは、ファジー尤度マップを考慮して、リファレンス画像の画像データ、メイン画像の画像データ、および第４の画像の画像データに少なくとも基づいてもよい。さらに、ファジー尤度マップの影響が、第３の画像の画像データから除去されてもよい。
本発明の第５の実施形態では、第３の画像の部分の強度は、さらに抑えられてもよい。例えば、アーチファクトが赤目現象を含む場合、本発明の第５の実施形態に従う処理は、瞳孔に関連する画像データの彩度を減少させてもよい。これらの瞳孔を暗くするために、強度が抑えられてもよい。
本発明の第５の実施形態では、画像データは色空間モデルの成分を表してもよく、第３の画像の画像データを決定することは、色空間モデルの成分のうちの少なくとも１つについて実行されてもよく、第３の画像の画像データを決定することは、成分について別々に実行されてもよい。
本発明の第５の実施形態において、前記色空間モデルは、例えばＹＵＶモデルであってもよく、第３の画像の画像データを決定することは、ＵおよびＶ成分のみについて実行されてもよい。第３の画像のＹ成分として、例えば、メイン画像のＹ成分を使用してもよい。
本発明の第５の実施形態において、前記色空間モデルは、例えば、ＹＵＶモデルであってもよく、第３の画像の画像データを決定することは、Ｕ、Ｖ、およびＹ成分について実行されてもよい。
本発明のこれらの側面および他の側面は、後述の実施形態により明らかになり、また説明されるであろう。
本発明に従う装置の例示的実施形態に関する略ブロック図である。 本発明に従う装置のさらなる例示的実施形態に関する略ブロック図である。 本発明に従う方法の例示的実施形態に関するフローチャートである。 本発明の例示的実施形態に従うフラッシュおよび画像取り込みのタイミングに関する略図である。 図２のフローチャートのステップ２０５の例示的実施形態に関するフローチャートである。 図２のフローチャートのステップ２０５のさらなる例示的実施形態に関するフローチャートである。
図1aは、本発明に従う装置1aの例示的実施形態に関する略ブロック図を示す。装置1aは、いくつかの異なるレベルのフラッシュエネルギーを使用して画像を撮影しうるカメラユニット16を備える。
この目的のために、カメラユニット16は、電荷結合素子（Charge Coupled Device; CCD）または相補型金属酸化膜半導体（Complementary Metal Oxide Semiconductor; CMOS）画像センサ等の画像センサを備え、この画像センサは、対応するカメラ光学系を介して、その表面に投影される画像を取り込むように構成される。画像センサ160によって取り込まれた画像は、一度に複数の画像を格納するように構成されうるフレームバッファ161に、少なくとも一時的に格納される。さらに、画像センサ160は、フレームバッファ161に格納するために、取り込まれた画像を表す信号をデジタルデータに変換するためのアナログ/デジタル変換器を装備してもよい。フレームバッファ161は、中央処理装置10の機能ブロックまたはカメラユニット16の機能ブロックとして十分同等に形成されうることに留意されたい。
カメラユニット16は、例えば、低レベルのフラッシュエネルギーでリファレンス画像の取り込みを行い、高レベルのフラッシュエネルギーでメイン画像の取り込みを行うように、異なるレベルのフラッシュエネルギーでフラッシュ光（例えば、フラッシュパルス）を発生させるように構成されるフラッシュユニット162をさらに備える。フラッシュユニットは、例えば、フラッシュコンデンサによって電力供給されうる。
さらにカメラユニット16は、シャッタユニット163を装備し、これは、画像センサ160の表面への画像の投影を制御するシャッタの開放を制御する。シャッタは、ほんの数例を挙げると、例えば、ローリングシャッタまたはグローバルシャッタであってもよい。さらに、シャッタは、機械的または電子的に実装されてもよい。
カメラユニット16が、例えば、カメラユニット16の自動焦点動作を制御するための自動焦点ユニットまたは類似のユニット等のさらなる機能ユニットを備えてもよいことが、当業者によって理解される。
装置1aは、装置1aの動作全体を制御するための中央処理装置10をさらに備える。具体的には、中央処理装置10は、画像センサ160、フレームバッファ161、フラッシュユニット162、およびシャッタユニット163を制御するように構成されるため、異なるレベルのフラッシュエネルギーによる後続の画像の撮影が可能になり、例えば、低レベルのフラッシュエネルギーによるリファレンス画像の撮影、高レベルのフラッシュエネルギーによるメイン画像の撮影が可能になる。
装置1aは、ディスプレイ11、ユーザインターフェース15、および撮影され処理された画像を格納するための画像メモリ13をさらに備える。画像メモリ13は、例えば、メモリスティックまたはカード等の固定内蔵式メモリまたは着脱式メモリとして具現化されてもよい。ディスプレイ11、ユーザインターフェース15、および画像メモリ13は、全て中央処理装置10によって制御される。
中央処理装置10は、プロセッサメモリ12に格納されるプログラムコードを実行してもよい。このプロセッサメモリ12は、さらに、中央処理装置10のデータメモリとしての役割を果たしてもよく、また、ほんの数例を挙げると、例えば、ランダムアクセスメモリ（Random Access Memory; RAM）、読み出し専用メモリ（Read- Only-Memory; ROM）として具現化されてもよい。プロセッサメモリ12は、装置1aから着脱可能であるメモリとして同じように具現化されてもよい。プロセッサメモリ12に格納されるプログラムコードは、例えば、装置1aのユニットを中央処理装置10がどのように制御するかを規定し、具体的には、後続して取り込まれる異なるフラッシュレベルの画像がどのように処理されてその画像に含まれるアーチファクトを除去するかを規定してもよい。
装置1aは、例えば、デジタルカメラを表してもよく、この場合、ディスプレイ11は、ファインダとして、および取り込まれた画像を表示するための手段として機能してもよく、ユーザインターフェース15は、カメラトリガ、ズームのための制御要素、メニュー構造を操作するための制御要素等の操作要素を備えてもよい。ここでディスプレイ11は、例えば、メニュー構造を表示することによって、ユーザインターフェースとして少なくとも部分的に機能してもよい。
同じように、装置1aは、いくつかの異なるレベルのフラッシュエネルギーで画像を撮影する機能が追加搭載された電子機器を表してもよい。
例えば、装置1aは、携帯電話機、携帯情報端末、またはノート型コンピュータ等のモバイル機器を表してもよい。ここで、中央処理装置10は、例えば、モバイル機器の機能を制御するための標準的なプロセッサであってもよく、ディスプレイ11は、その標準的なディスプレイであってもよく、ユーザインターフェース15は、例えば、キーボードまたはキーパッド等のその標準的なユーザインターフェースであってもよい。同様に、メモリ12および13は、モバイル機器に既に含まれる標準的な構成要素であってもよい。画像を取り込む機能をモバイル機器に備え付けるために、カメラユニット16が、モバイル機器に付加されてもよく、また、プロセッサメモリ12におけるプログラムコードは、異なるレベルのフラッシュエネルギーで後続画像を取り込み、かつその画像に含まれる画像アーチファクトを除去するために、プロセッサ10がカメラユニット16を制御可能にするように適宜変更されてもよい。
さらに、図1aは、装置1aが、専用のアーチファクト除去プロセッサ14をさらに備えうることを示すが、このプロセッサ14はオプションであるため、破線で示されている。画像アーチファクトの除去が、かなり複雑な計算タスクでありうることから、例えば、特定用途向け集積回路（Application Specific Integrated Circuit; ASIC）またはフィールドプログラマブルゲートアレイ（Field Programmable Gate Array; FPGA）等の専用のプロセッサアーキテクチャによって、画像アーチファクト除去を実行することが有利でありうる。専用のアーチファクト除去プロセッサ14は、異なるレベルのフラッシュエネルギーで取り込まれた画像の画像データを中央処理装置10から受信し、その画像に含まれる画像アーチフェクトを除去して、画像アーチファクトの無い画像の画像データを得る。
図1bは、本発明に従う装置1bのさらなる例示的実施形態に関する略ブロック図を示す。図1aの装置1aとは対照的に、図1bの装置1bでは、画像処理は、中央処理装置10'から画像プロセッサ17に部分的にまたは完全に外部委託される。画像プロセッサ17（画像エンジンおよび映像エンジンとしても示されうる）は、例えば、画像処理タスクのためのハードウェア回路および/またはプログラム可能な機能ブロックによって具現化されてもよく、とりわけ、本発明に従って画像アーチファクトを除去するための画像処理機能を含む。この目的のために、画像プロセッサ17は、本発明に従うアーチファクト除去を実行するために作用しうる命令を含むコンピュータプログラムを格納するための内部メモリおよび外部メモリを備えてもよい。図1aの装置1aと同様に、図1bの装置1bにおいても、例えば、モジュール形式の専用のアーチファクト除去プロセッサ14は、画像プロセッサ17から画像アーチファクト除去をさらに部分的または完全に外部委託すると考えてもよい。さらに、画像プロセッサ17は、画像メモリ13と直接インターフェース接続してもよい。
装置1bは、例えば、デジタルカメラを表してもよく、この場合、装置1bのユニットは、上記の図1aの装置1aを参照して既に説明したように機能する。同じように、装置1bは、いくつかの異なるレベルのフラッシュエネルギーで後続画像を取り込むための機能が追加搭載された電子機器を表してもよい。例えば、装置1bは、携帯電話機、携帯情報端末、またはノート型コンピュータ等のモバイル機器を表してもよい。
図2は、本発明に従う方法の例示的実施形態に関するフローチャート200を示す。本フローチャートのステップは、例えば、装置1a（図1a参照）の中央処理装置10（および/または任意の専用のアーチファクト除去プロセッサ14）によって、あるいは装置1b（図1b参照）の中央処理装置10'および画像プロセッサ17（および/または任意の専用のアーチファクト除去プロセッサ14）によって実行されてもよい。ここで、人の画像がフラッシュ光を使用して取り込まれ、その結果、取り込まれた画像から除去されるアーチファクトが、血液を多く含んだ人の目の網膜におけるフラッシュ光の反射によって引き起こされる赤目現象であることが例示的に仮定される。それにもかかわらず、本発明が、例えば、動物（例えば、ネコおよびイヌを含む）の多くの群に見られ、かつフラッシュを用いて撮影された画像において異なる色でこれらの動物の目を不自然に光らせる脈絡層タペタムにおけるフラッシュ光の反射等の、フラッシュを用いて撮影された画像における他の型のアーチファクトの除去に十分同等に適用可能であることは当業者に理解されるだろう。さらに、低レベルのフラッシュエネルギーによるリファレンス画像が、高レベルのフラッシュエネルギーによるメイン画像の前に取り込まれることが例示的に仮定される。あるいは、低レベルのフラッシュエネルギーによるリファレンス画像は、高レベルのフラッシュエネルギーによるメイン画像の後に取り込まれてもよい。
フローチャート200の第１のステップ201において、カメラトリガがユーザによって起動されたか否かが確認される。起動されていない場合、フローチャートは、任意のカメラトリガ起動を受信するために、無限ループでステップ201に戻る。
カメラトリガが起動されたことがステップ201において決定されると、カメラユニット16は、ステップ202において、低レベルのフラッシュエネルギーでリファレンス画像を取り込むように制御される。このリファレンス画像は、例えば、メイン画像の取り込みに使用されるフラッシュエネルギーの5〜10パーセントだけ（またはそれよりもさらに低い）で撮影され、また、例えば、10〜50ミリ秒の短い露光時間で撮影されうる。ここで、フラッシュエネルギーのレベルは、赤目現象が発生しないように、または最少の赤目現象のみしか発生しないように選択されることが有利であるが、その画像は、後でより高いレベルのフラッシュエネルギーで撮影されるメイン画像との適切な比較が可能になるように暗すぎないようにする。リファレンス画像のフラッシュエネルギーのレベルおよび露光時間は、例えば、プレビュー画像データの統計に基づいて決定されうる。プレビュー画像が十分明るい場合、プレビュー画像をリファレンス画像として使用し、リファレンス画像の撮影を全く省くことも可能でありうることに留意されたい。同様に、場合によっては、フラッシュ強度ゼロでリファレンス画像を撮影することが有利でありうる。さらに、リファレンス画像は、メイン画像に比べて、例えば、低品質、低サンプリングレート、およびより低解像度で撮影されうる。メイン画像に加えてリファレンス画像を格納しなければならないため、これにより、フレームバッファ161におけるリファレンス画像の一時的格納に必要なメモリを節約することに貢献することができる。
ステップ203において、カメラユニット16は、例えば、利用可能なフラッシュコンデンサエネルギーの100パーセントによって、高レベルのフラッシュエネルギーでメイン画像を撮影するように制御される。メイン画像は、最大解像度で取り込まれてもよい。フラッシュエネルギーのレベルおよび露光時間は、例えば、プレビュー画像の統計および/またはリファレンス画像の統計に基づいて決定されてもよい。メイン画像は、実際は、所望の写真であるだけである。しかしながら、被写体を適切に明るくするのに必要な高レベルのフラッシュエネルギーを有するフラッシュ光の使用により、赤目現象の発生も不可避になる。しかしながら、リファレンス画像およびメイン画像の両方からの情報に基づいて、赤目現象をメイン画像から除去することが可能であるため、赤目現象が除去されたメイン画像の表現が得られる。この赤目現象除去は、撮影中の大きな動きやコンテンツの変化が避けられるように、リファレンス画像とメイン画像との撮影間隔を短く抑えることにより、簡単になる。したがって、リファレンス画像の撮影の後、可能な限り早くメイン画像を撮影することが有利でありえる。例えば、リファレンス画像の撮影後、100ミリ秒以下、また、例外として、200ミリ秒以下でメイン画像を撮影する。例えば、動き補償が２つの画像のうちの片方または両方に適用される場合、２つの画像の撮影間隔が長くなる可能性がありうる。メイン画像およびリファレンス写真は、異なる露光時間で撮影されてもよく、例えば、より短い露光時間をメイン画像に使用してもよいことに留意されたい。さらに、リファレンス画像の撮影においてフラッシュを可能な限り遅くし、メイン画像の撮影において可能な限り早く使用することが有利でありうる。また、画像取り込み間隔内のフラッシュ間隔の位置決めは、固定または可変であってもよい。
ステップ204において、撮影されたリファレンス画像および撮影されたメイン画像の画像データが入手される。ここで、上記画像データは、例えば、単一の成分（例えば、RAWデータまたはY、U、V、R、G、B）または、例えば、YUVモデルまたはRGBモデル等の複数の成分の色空間モデルでありうる。リファレンス画像の画像データが、ステップ202におけるリファレンス画像の撮影の直後およびステップ203におけるメイン画像の撮影前に同じように入手されうることが当業者によって容易に理解される。ステップ204において、メイン画像の画像データのみが得られてもよい。２つの画像の画像データを同時に格納可能なフレームバッファを省くことが可能であってもよい。
ステップ205において、赤目現象が除去されたメイン画像の画像データが決定される。本ステップの具体的な実施形態は、以下の図4のフローチャート400および図5のフローチャート500に関してより詳細に説明される。この決定は、リファレンス画像およびメイン画像の両方の画像データに基づく。ここで、とりわけ、低レベルのフラッシュエネルギーで撮影されたリファレンス画像が、赤目現象を含まない可能性が高いことと、メイン画像の直前（あるいは直後）に撮影されるため、変化を検出するための両画像の比較が、動きおよび/またはシーン変化により引き起こされるアーチファクトをあまり被らずに可能であることとが利用される。
最後に、ステップ206において、赤目現象が除去されたメイン画像の画像データガ、例えば、画像メモリ13（図1a/1b参照）に格納される。オプションで、赤目現象が除去された上記メイン画像がディスプレイ11上に表示されてもよい。また、赤目現象除去処理により生じうる処理レイテンシがあるので、赤目現象が除去されていない画像をディスプレイ11上に表示してもよい。次に、フローチャートは、ステップ201に戻る。
図3は、本発明の例示的実施形態に従うフラッシュおよび画像撮影のタイミングを図式的に示す。上側のグラフ30は、画像撮影中のフラッシュ光の配置を示し、下側のグラフ31は、画像撮影の時間を示す。リファレンス画像がメイン画像の前に例示的に撮影される本例示的実施形態において、リファレンス画像の撮影310は、20ミリ秒の短い露光時間および低エネルギーフラッシュパルス300で実行されるが、一方、メイン画像の撮影311は、50ミリ秒のより長い露光時間および高エネルギーフラッシュパルス301で実行されることが容易に分かる。さらに、リファレンス画像310の撮影とメイン画像311の撮影との間の遅延は、合計で5ミリ秒だけである。前述のように、撮影間隔310および311内でフラッシュ300および301が起動される間隔の位置決めは、必須ではない。例えば、リファレンス画像の撮影310の最後に、低エネルギーフラッシュパルス300を起動することが有利であってもよい。同様に、リファレンス画像310およびメイン画像311の撮影は、異なる露光時間で実行されてもよい。さらに、フラッシュ300および301の振幅は異なってもよい。
図4は、図2のフローチャートのステップ205の例示的実施形態に関するフローチャート400を提示し、つまり、赤目現象が除去されたメイン画像の画像データの例示的な決定方法を提示する。
第１のステップ401において、リファレンス画像は、例えば、動き補償、色調整、露光調整、スケーリング、またはリファレンス画像をメイン画像と比較可能にするさらなる手法を実行することによって等化される。しかしながら、ステップ401は任意である。
後続のステップ402〜404において、赤目を検出および補正するべく、リファレンス画像とメイン画像との間の変化が、比較される。赤色レベルは、赤目の位置において大幅に変化する。リファレンス画像において瞳孔はほぼ黒色であるが、メイン画像において瞳孔は赤色である。画像変化に関する情報を使用して、赤目位置を決定することが可能である。検出された範囲において、赤みの大きさ（例えば、YUVモデルの赤色クロミナンスチャンネルVまたはRGB画像のR成分）は、赤目を除去するために低減する必要がある。
この目的のために、ステップ402において、メイン画像の画像データに基づいて赤目検出が実行される。例えば、顔検出または目検出等の技術を使用する赤目検出アルゴリズムが、メイン画像における赤目を発見するために搭載される。出力として、このアルゴリズムは、例えば、赤目と思われる画素のバイナリマップ、または赤目と思われる画素の座標の組、形状、およびサイズ等の、メイン画像における赤目候補を特徴付ける情報を生成する。このアルゴリズムは、高い誤り判定率を犠牲にしても検出速度が速くなるようにパラメータ化されうる。これは、赤目検出の精度を上げるフローチャート400の次のステップ403が誤判定の除去を処理するために可能となる。ここで、より多くの誤判定が許容されることによって、検出の複雑性が軽減されうる。
ステップ403において、赤目検出の高精度化は、ステップ402における赤目検出から入手した情報から誤判定を除去することによって実行される。赤目検出の精度向上は、例えば、赤目候補位置およびその周辺における色変化を分析するなどの、リファレンス画像とメイン画像との間の変化の分析に基づく。例えば、大幅な変化（例えば、リファレンス画像における暗色からメイン画像における赤色）に関連する赤目候補位置のみが、真判定として考えられうる。また、赤目検出の精度向上を行う際に、例えば、顔検出情報を利用することも可能でありうる。顔検出方法が非常に高性能である場合、ステップ402の赤目検出における赤目候補の数を限定するために、その情報を利用してもよい。
最後に、ステップ404において、ステップ403から入手した赤目候補に関する情報を利用し、かつメイン画像における赤目候補を補正する赤目補正アルゴリズムを使用して、赤目補正が実行され、赤目現象が除去されたメイン画像が入手される。ここで、リファレンス画像からの画像データを使用して赤目候補を補正してもよい。複数の赤目補正方法が本明細書において適用可能であることが当業者に既知である。以下の文献には、このような赤目補正方法の例が記載されている。
・ Georg Petschnigg，Maneesh Agrawala，Hugues Hoppe，Richard Szeliski，Michael Cohen，Kentaro Toyama，「フラッシュを用いて撮影された画像およびフラッシュを用いずに撮影された画像の対によるデジタル写真 」，ACM Transactions on Graphics（SIGGRAPH 2004会報），2004年。
・ GAUBATZ, M.およびULICHNEY, R.，2002年，「自動赤目検出および補正」， IEEE International Conference on Image Processing，頁 804〜807。
・ PATTI, A.，KONSTANTINIDES, K.，TRETTER, D.，およびLIN, Q.，1998年，「自動デジタル赤目低減」，IEEE International Conference on Image Processing，頁55〜59。
・ Huitao Luo，Yen J.，Tretter D.，「効果的な自動赤目検出および補正アルゴリズム」，ICPR 2004，Proceedings of the 17th International Conference on Pattern Recognition，第２巻，23〜26，2004年8月，頁883〜886。
ステップ404において適用可能な赤目補正アルゴリズムのさらなる例が、以下の図5のフローチャート500を参照して説明される。
メイン画像の画像データのみに基づいてステップ402において赤目検出を実行する代わりに、本赤目検出は、リファレンス画像およびメイン画像の両方の画像データに基づいても同じように構わないことに留意されたい。さらに、ステップ403における赤目検出の精度向上は、リファレンス画像またはメイン画像のいずれかの単一の画像の画像データに基づいて実行されてもよい。これにより、検索の必要な位置が少なくなるため、単一の画像の赤目検出の精度向上（例えば、顔/目形状検出に基づく）に必要な計算時間が短縮できる。
図5は、図2のフローチャートのステップ205のさらなる例示的実施形態に関するフローチャート500を示す。つまり、赤目現象が除去されたメイン画像の画像データを決定するさらなる例示的な方法を示す。本例示的実施形態において、YUV色空間モデルのYUV成分によってリファレンス画像およびメイン画像の画像データが表されることが仮定され、ここで、Yは輝度成分であり、UおよびVはクロミナンス成分である。当然ながら、RAW画像データ領域またはRGB領域等の他の色空間にも適用可能である。
第１のステップ501において、リファレンス画像およびメイン画像のY、U、およびV成分に基づいて、ファジー尤度マップ（Fuzzy Likelihood Map）が決定される。このマップは、画素毎に範囲[0、1]内の値を提供する。本例では、値が大きくなると、画素が赤目領域にある可能性が高いことを記述する。
ステップ502において、リファレンス画像およびメイン画像に、ファジー尤度マップを画素単位で乗じることによって、赤目である可能性のある画素が画素値において強調されるため、後続の計算にさらなる重みが付加される。これにより、明確な閾値が不必要になる。これは、閾値設定が一般的に非常に難しいタスクであることから有利であり、結果として、閾値設定を回避することによって赤目検出がより高性能になる。
次のステップ503〜507は、リファレンス画像およびメイン画像の少なくともクロミナンス成分UおよびVについて別々に実行され、この場合、成分が異なると、処理の程度（例えば、ステップ505におけるPCA変換行列の修正量）も異なってもよい。
ステップ503において、ステップ502で得られた重み付けされたリファレンス画像および重み付けされたメイン画像のクロミナンス成分（UまたはV）から、データの組が作成される。このデータの組は、例えば、重み付けされたリファレンス画像のV成分全体および重み付けされたメイン画像のV成分全体を含みうる。
ステップ504において、データの組（例えば、メイン画像の重み付けV成分およびリファレンス画像の重み付けV成分）の共分散行列に基づいて、（成分固有の）データの組について主成分分析（Principal Component Analysis; PCA）がコンピュータ実行される。例えば、赤クロミナンス成分Vでは、2x2 PCA変換行列vが計算されうる。PCA変換行列は、データの組にPCA変換を適用するための係数を提供し、ここで、データの組は、２つの成分に分離され、一方は、共同信号（共通部分）の最大変動またはエネルギーを表現し、もう一方は、残り、つまり画像間の差（異なる部分）を表現する。データの組の実際のPCA変換は、実行されなくてもよい。
ステップ505において、ステップ504で得られたPCA変換行列を、より小さいPCA成分（異なる部分）を抑制または除去するように修正する。例えば、PCA変換行列の修正は、最大固有値の最小固有値に対する比率の関数または固定パラメータでありうる。これにより、修正されたPCA変換行列vvがもたらされる。
ステップ506において、ステップ504で入手したPCA変換行列と、ステップ505で入手した修正PCA変換行列との組み合わせに基づいて、変換が決定される。この変換は、例えば、修正PCA変換行列vvと、転置PCA変換行列vとの行列積として規定されてもよく、ここで、転置行列は、順変換を適用し、非転置行列は、逆変換を適用する。転置変換行列をデータの組に適用する場合、データの組は新しい座標系に変換され、また、修正変換行列を適用することによって、データの組は、新しい座標系から変換されるが、異なる部分ひいてはリファレンス画像の画像データとメイン画像の画像データとの差を抑制または除去する修正方法で変換される。上記の２つの変換は、別々に適用されず、組み合わせ型行列として適用されうる。組み合わせ型変換は、順PCAおよび修正された逆PCAを効果的に実行する。
パラメータを変えて実行することにより、本実施形態は、赤目アーチファクトの低減のためだけでなく、フラッシュや周囲発光（リライト）の適応的な融合のために使用可能である。これは、PCA処理にY成分も組み込むことによって達成可能である。
ステップ507において、PCA混合画像のクロミナンス成分を入手するために、次に、ステップ506の変換がデータの組に適用される。ここで、ステップ507で入手したクロミナンス成分は、重み付けされたリファレンス画像のクロミナンス成分および重み付けされたメイン画像のクロミナンス成分の混合を表す。
ステップ503〜507は、リファレンス画像およびメイン画像のUおよびV成分のそれぞれについて別々に実行される。任意により、ステップ503〜507は、輝度成分Yについても実行されてもよい。Y成分が処理されない場合、メイン画像のY成分は、フローチャート500の残りのステップについて使用されうる。
ステップ508において、ファジー尤度マップを考慮して、重み付けされたリファレンス画像、重み付けされたメイン画像、およびPCA混合画像を合成して、合成画像を得る。このような１つの組み合わせは、PCA混合画像と、逆ファジー尤度マップで重み付けられたメイン画像と組み合わせられたファジー尤度マップで重み付けられたリファレンス画像との平均であってもよい。ここで、赤目の可能性がある部分は、主にPCA混合画像およびリファレンス画像からの画素値を有し、赤目の可能性の低い画素は、主にメイン画像からの値を有する。
この処理（具体的には、ステップ503〜508）は、メイン画像およびリファレンス画像の各色空間成分に関してパラメータを変えて繰り返してもよい（例えば、R対に対する大きな効果、G対およびB対に対するより小さな効果、またはV対に対する強力な効果、Uに対するより小さな効果、およびY対に対する効果無し）。
フローチャート500のこの段階において、赤色瞳孔は、例えば、赤色が抑えられる。
ステップ509において、ステップ508の合成画像にも存在するファジー尤度マップの影響を当該合成画像から分離し、調整された合成画像を得る。
ステップ510において、フローチャート500の先行するステップによって、彩度がメイン画像に比べて減った処理画像の画素の輝度が、瞳孔を暗くするために低減される。これらの画素は、例えば、調整された合成画像とメイン画像との差を決定することによって識別されうる。これによって、最終的に、赤目現象が除去されたメイン画像の表現がもたらされる。
前述のように、図5のフローチャート500に従う方法は、図4のフローチャート400における高精度化および/または補正方法（ステップ403および404）として使用されてもよいことに留意されたい。この場合、分析および補正は、フローチャート400のステップ402および/または403において検出される範囲についてのみ行なわれうる。
上述の処理における１つのオプション的な特徴は、輝度成分Yも考慮されるリライト（re-lighting）である。
簡単な実装において、Y成分の因子分離の代わりに、リファレンス画像の高値の輝度成分Yが使用され、これは、メイン画像において明るくないリファレンス画像における明るい部分（例えば、ランプ）を保護する。このような実装は、例えば、リファレンス画像およびメイン画像において独立にスケールされたY成分の最高輝度値の選択であってもよい。さらに高度なリライト実装において、輝度成分Yは、ステップ503〜507のPCA処理に含まれる。
図5のフローチャート500を参照して説明された本発明の実施形態は、ファジー尤度マップによって重み付けされた、（低レベルのフラッシュエネルギーで撮影された）リファレンス画像および（より高いレベルのフラッシュエネルギーで撮影された）メイン画像を使用して、因子分析方法によって、２つの画像間の局所的に重み付けされた全体的な色の差をブラインドで（盲目的に，自動的に）抑制または除去する。これにより、画像における目（目の形状）を発見するための閾値ステップおよびパターン認識ステップを行なわずに、赤目除去が可能となる。これにより、本実施形態は、いくつかの赤目除去方法の非常に厄介な特徴である目の見逃し（いわゆる、ハスキー犬現象）に対して強くなる。
上記図5のフローチャート500を参照して説明される本発明の実施形態が、フラッシュ無しでリファレンス画像を取り込む場合のアーチファクト除去に十分同等に適用可能であることが、当業者には容易に明確になる。例えば、フラッシュ無しで一般的に撮影されるプレビュー画像をリファレンス画像として使用してもよい。フラッシュ無しのリファレンス画像が既に十分明るいことから、フラッシュ有りでリファレンス画像を取り込む必要がないことが決定されてもよい。
さらに、図5のフローチャート500に示される本発明の実施形態は、赤目である可能性のある画素の計算の際にファジー重み付けを使用する。これにより、赤目除去が適用される範囲と適用されない範囲との間にエッジが見えてしまう可能性のある他の方法とは違って、空間的になめらかな結果が得られる。
図5のフローチャート500に示される本発明の実施形態によると、目の見逃しおよび明確な色エッジに対して得られる性能向上の代償として、赤目だけでなく他の色詳細を変更する傾向が若干ありうる。例えば、メイン画像と赤目現象が除去されたメイン画像の表現とを比較すると、色が若干異なるいくつかの物体、特に、影における赤い物体が見られる場合がある。しかしながら、ユーザは、画像の撮影の際に、メイン画像を見ずに、（フラッシュの無い）ファンダ画像のみを見るため、エンドユーザにとって、画像の見た目が自然である限りこれは問題ではない。色の小変化は、目の見逃しよりもかなり許容されるものである。
図5のフローチャート500に示される本発明の実施形態は、色差（ステップ503〜507参照）に加え、強度（輝度）の差も均衡化することによって、リライトに対しても使用可能である。赤目除去およびリライトの両方に関する利点として、現在の画像データに基づいてPCA変換行列を計算し、このデータ駆動型の行列の修正の量がパラメータ値によって（例えば、どれだけの最小PCA成分が低減または除去されるかを規定するパラメータ値によって）本実施形態を設定しうることが挙げられる。例えば、R対に対する大きな効果、G対およびB対に対するより小さな効果、またはV対に対する強力な効果、Uに対するより小さな効果、およびY対に対する中間効果に設定されうる。したがって、パラメータは、リファレンス画像およびメイン画像の色成分がどの量だけ組み合わされるかを規定しない。さらに、これらの量は、オンザフライで計算され、パラメータは、赤目除去動作の発生に必要な赤色差異閾値を特定しない。
図5のフローチャート500に示される本発明の実施形態は、PCAに限定されず、リファレンス画像およびメイン画像の共通部分および異なる部分を分離するための独立成分分析（Independent Component Analysis; ICA）等の他の因子分析方法を使用してもよい。また、本実施形態は、YUV色空間の使用に限定されない。十分同等に、他の色空間が使用可能である。例えば、バイエルのデモザイク化の前後いずれかにRGB空間において、実施形態を使用してもよい。
本発明の好適な実施形態に適用される本発明の基本的な新規の特徴を図示および記載および指摘したが、本発明の精神を逸脱することなく、記載の機器および方法の形式および詳細において種々の省略および置換および変更を当業者が加えてもよいことを理解されたい。例えば、同一の結果を達成するために実質的に同一の方式で実質的に同一の機能を実行するこれらの要素および/または方法ステップの全ての組み合わせが、本発明の範囲内にあることが明示的に意図される。さらに、本発明の任意の開示される形式または実施形態に関して図示および/または記載される構造および/または要素および/または方法ステップは、任意の他の開示または記載または提案される形式または実施形態に、設計選択の一般的な事項として組み込まれてもよいことを認識されたい。

Claims (24)

  1. 少なくとも、第１のレベルのフラッシュエネルギーを使用して取り込まれたリファレンス画像の画像データと、前記第１のレベルのフラッシュエネルギーよりも高い第２のレベルのフラッシュエネルギーを使用して取り込まれたメイン画像の画像データとを受け取ること；
    前記リファレンス画像の画像データおよび前記メイン画像の画像データに少なくとも基づいて、第３の画像の画像データを決定することであって、前記第３の画像は、アーチファクトが除去された前記メイン画像の表現であること；
    を含み、前記第３の画像の画像データを前記決定することが、さらに、
    前記リファレンス画像の画像データおよび前記メイン画像の画像データから形成されたデータの組の主成分分析を行うことであって、前記主成分分析は、前記リファレンス画像の画像データおよび前記メイン画像の画像データに関する共通部分および異なる部分を決定する、前記主成分分析を行うこと；
    第４の画像の画像データを得るために、前記主成分分析から得た変換を前記データの組に適用することであって、前記変換は、前記主成分分析から得た変換行列と、前記異なる部分を抑制または除去するように決定された修正変換行列とに基づいて決定され、前記第３の画像の画像データは、前記第４の画像の画像データに少なくとも基づいて決定される、前記適用すること；
    を含む、方法。
  2. 前記リファレンス画像と前記メイン画像との間の取り込みの時間的距離は、１００ミリ秒未満である、請求項１に記載の方法。
  3. 前記第１のレベルのフラッシュエネルギーは、前記第２のレベルのフラッシュエネルギーの１０パーセント未満である、請求項１又は２に記載の方法。
  4. 前記リファレンス画像は、前記メイン画像よりも低品質、低サンプリングレート、低解像度のうちの少なくともいずれかである、請求項１から３のいずれかに記載の方法。
  5. 前記リファレンス画像および前記メイン画像からの情報に基づいてファジー尤度マップが決定され、前記ファジー尤度マップは、前記メイン画像の部分がアーチファクトを含むか否かを示し、前記リファレンス画像の画像データおよび前記メイン画像の画像データは、前記主成分分析の実行前に前記ファジー尤度マップで重み付けされる、請求項１から４のいずれかに記載の方法。
  6. 前記第３の画像の画像データは、前記ファジー尤度マップを考慮して、前記リファレンス画像の画像データ、前記メイン画像の画像データ、および前記第４の画像の画像データに基づいて決定される、請求項５に記載の方法。
  7. 前記第３の画像の画像データから前記ファジー尤度マップの影響を除去することをさらに含む、請求項６に記載の方法。
  8. 前記第３の画像の部分の強度を低減することをさらに含む、請求項６又は７に記載の方法。
  9. 前記画像データは、色空間モデルの成分を表し、前記第３の画像の画像データを前記決定することは、前記色空間モデルの前記成分のうちの少なくとも１つについて実行され、前記第３の画像の画像データを前記決定することは、前記成分のそれぞれについて別々に実行される、請求項１から８のいずれかに記載の方法。
  10. 前記色空間モデルはＹＵＶモデルであり、前記第３の画像の画像データを前記決定することは、ＵおよびＶ成分のみについて実行される、請求項９に記載の方法。
  11. 前記色空間モデルはＹＵＶモデルであり、前記第３の画像の画像データを前記決定することは、Ｕ、Ｖ、およびＹ成分のみについて実行される、請求項９に記載の方法。
  12. コンピュータプログラムが格納されるコンピュータ可読媒体であって、前記コンピュータプログラムが、
    ・ 少なくとも、第１のレベルのフラッシュエネルギーを使用して取り込まれたリファレンス画像の画像データと、前記第１のレベルのフラッシュエネルギーよりも高い第２のレベルのフラッシュエネルギーを使用して取り込まれたメイン画像の画像データとを、プロセッサに受信させるように作用しうる命令と、
    ・ 前記リファレンス画像の画像データおよび前記メイン画像の画像データに少なくとも基づいて第３の画像の画像データを、プロセッサに決定させるように作用しうる命令であって、前記第３の画像は、アーチファクトが除去された前記メイン画像の表現である、前記命令と、
    を含み、前記第３の画像の画像データを前記決定させることが、
    前記リファレンス画像の画像データおよび前記メイン画像の画像データから形成されたデータの組の主成分分析を行うことであって、前記主成分分析は、前記リファレンス画像の画像データおよび前記メイン画像の画像データに関する共通部分および異なる部分を決定する、前記主成分分析を行うこと；
    第４の画像の画像データを得るために、前記主成分分析から得た変換を前記データの組に適用することであって、前記変換は、前記主成分分析から得た変換行列と、前記異なる部分を抑制または除去するように決定された修正変換行列とに基づいて決定され、前記第３の画像の画像データは、前記第４の画像の画像データに少なくとも基づいて決定される、前記適用すること；
    を含む、コンピュータ可読媒体。
  13. 前記リファレンス画像と前記メイン画像との間の取り込みの時間的距離は、１００ミリ秒未満である、請求項１２に記載のコンピュータ可読媒体。
  14. ・ 少なくとも、第１のレベルのフラッシュエネルギーを使用して取り込まれたリファレンス画像の画像データと、前記第１のレベルのフラッシュエネルギーよりも高い第２のレベルのフラッシュエネルギーを使用して取り込まれたメイン画像の画像データとを、プロセッサに受信させるように作用しうる命令と、
    ・ 前記リファレンス画像の画像データおよび前記メイン画像の画像データに少なくとも基づいて第３の画像の画像データを、プロセッサに決定させるように作用しうる命令であって、前記第３の画像は、アーチファクトが除去された前記メイン画像の表現である命令と、
    を含み、前記第３の画像の画像データを前記決定させることが、
    前記リファレンス画像の画像データおよび前記メイン画像の画像データから形成されたデータの組の主成分分析を行うことであって、前記主成分分析は、前記リファレンス画像の画像データおよび前記メイン画像の画像データに関する共通部分および異なる部分を決定する、前記主成分分析を行うこと；
    第４の画像の画像データを得るために、前記主成分分析から得た変換を前記データの組に適用することであって、前記変換は、前記主成分分析から得た変換行列と、前記異なる部分を抑制または除去するように決定された修正変換行列とに基づいて決定され、前記第３の画像の画像データは、前記第４の画像の画像データに少なくとも基づいて決定される、前記適用すること；
    を含む、コンピュータプログラム。
  15. 前記リファレンス画像と前記メイン画像との間の取り込みの時間的距離は、１００ミリ秒未満である、請求項１４に記載のコンピュータプログラム。
  16. プロセッサを備える装置であって、前記プロセッサは、
    ・ 少なくとも、第１のレベルのフラッシュエネルギーを使用して取り込まれたリファレンス画像の画像データと、前記第１のレベルのフラッシュエネルギーよりも高い第２のレベルのフラッシュエネルギーを使用して取り込まれたメイン画像の画像データとを受信し、
    ・ 前記リファレンス画像の画像データおよび前記メイン画像の画像データに少なくとも基づいて第３の画像の画像データを決定することであって、前記第３の画像は、アーチファクトが除去された前記メイン画像の表現である、
    ように構成されただし、前記第３の画像の画像データを前記決定することが、
    前記リファレンス画像の画像データおよび前記メイン画像の画像データから形成されたデータの組の主成分分析を行うことであって、前記主成分分析は、前記リファレンス画像の画像データおよび前記メイン画像の画像データに関する共通部分および異なる部分を決定する、前記主成分分析を行うこと；
    第４の画像の画像データを得るために、前記主成分分析から得た変換を前記データの組に適用することであって、前記変換は、前記主成分分析から得た変換行列と、前記異なる部分を抑制または除去するように決定された修正変換行列とに基づいて決定され、前記第３の画像の画像データは、前記第４の画像の画像データに少なくとも基づいて決定される、前記適用すること；
    を含む、装置。
  17. 前記リファレンス画像および前記メイン画像を取り込むように構成されるカメラユニットをさらに備える、請求項１６に記載の装置。
  18. 前記リファレンス画像と前記メイン画像との間の取り込みの時間的距離は、１００ミリ秒未満である、請求項１６又は１７に記載の装置。
  19. 前記第１のレベルのフラッシュエネルギーは、前記第２のレベルのフラッシュエネルギーの１０パーセント未満である、請求項１６から１８のいずれかに記載の装置。
  20. 前記リファレンス画像は、前記メイン画像よりも低品質、低サンプリングレート、低解像度のうちの少なくともいずれかである、請求項１６から１９のいずれかに記載の装置。
  21. 前記プロセッサは、前記リファレンス画像および前記メイン画像からの情報に基づいてファジー尤度マップを決定するように構成され、前記ファジー尤度マップは、前記メイン画像の部分がアーチファクトを含むか否かを示し、前記プロセッサは、前記リファレンス画像の画像データおよび前記メイン画像の画像データを、前記主成分分析の実行前に前記ファジー尤度マップで重み付けするように構成される、請求項１６から２０のいずれかに記載の装置。
  22. 前記プロセッサは、前記ファジー尤度マップを考慮して、前記リファレンス画像の画像データ、前記メイン画像の画像データ、および前記第４の画像の画像データに基づいて、前記第３の画像の画像データを決定するようにさらに構成される、請求項２１に記載の装置。
  23. 前記第３の画像の画像データから前記ファジー尤度マップの影響を除去するようにさらに構成される、請求項２２に記載の装置。
  24. 前記プロセッサは、前記第３の画像の部分の強度を低減するようにさらに構成される、請求項２２又は２３に記載の装置。
JP2009538798A 2006-12-22 2006-12-22 フラッシュを用いて撮影された画像のアーチファクト除去 Expired - Fee Related JP4982567B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2006/055024 WO2008078153A1 (en) 2006-12-22 2006-12-22 Removal of artifacts in flash images

Publications (2)

Publication Number Publication Date
JP2010511340A JP2010511340A (ja) 2010-04-08
JP4982567B2 true JP4982567B2 (ja) 2012-07-25

Family

ID=38212250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009538798A Expired - Fee Related JP4982567B2 (ja) 2006-12-22 2006-12-22 フラッシュを用いて撮影された画像のアーチファクト除去

Country Status (5)

Country Link
US (1) US8442349B2 (ja)
JP (1) JP4982567B2 (ja)
KR (1) KR101089393B1 (ja)
CN (1) CN101563913B (ja)
WO (1) WO2008078153A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571271B2 (en) 2011-05-26 2013-10-29 Microsoft Corporation Dual-phase red eye correction
US10477087B2 (en) 2017-11-16 2019-11-12 Duelight Llc System, method, and computer program for capturing a flash image based on ambient and flash metering
KR102075456B1 (ko) 2013-07-10 2020-02-10 삼성전자주식회사 화질 개선을 위한 영상 처리 방법 및 그것을 이용한 영상 처리 장치
US9824271B2 (en) * 2014-06-25 2017-11-21 Kodak Alaris Inc. Adaptable eye artifact identification and correction system
US9984466B1 (en) * 2014-09-02 2018-05-29 Jemez Technology LLC Autonomous camera-to-camera change detection system
CN104537633B (zh) * 2014-12-18 2017-07-11 河南师范大学 一种利用图像融合技术消除图像反影的方法
US10298864B2 (en) 2016-06-10 2019-05-21 Apple Inc. Mismatched foreign light detection and mitigation in the image fusion of a two-camera system
US10535122B2 (en) * 2017-07-26 2020-01-14 Microsoft Technology Licensing, Llc Composite image for flash artifact removal

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4285588A (en) 1980-07-24 1981-08-25 Eastman Kodak Company Apparatus and method for minimizing red-eye in flash photography
US6407777B1 (en) * 1997-10-09 2002-06-18 Deluca Michael Joseph Red-eye filter method and apparatus
US7738015B2 (en) * 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
JP2000102022A (ja) 1998-09-25 2000-04-07 Minolta Co Ltd デジタルカメラ
US7184059B1 (en) * 2000-08-23 2007-02-27 Nintendo Co., Ltd. Graphics system with copy out conversions between embedded frame buffer and main memory
GB2372391A (en) 2001-02-16 2002-08-21 Hewlett Packard Co Removal of specular reflection
US6859565B2 (en) 2001-04-11 2005-02-22 Hewlett-Packard Development Company, L.P. Method and apparatus for the removal of flash artifacts
US6980691B2 (en) 2001-07-05 2005-12-27 Corel Corporation Correction of “red-eye” effects in images
JP2003179807A (ja) * 2001-12-13 2003-06-27 Fuji Photo Film Co Ltd 撮像装置
CN1567377B (zh) * 2003-07-02 2011-05-04 致伸科技股份有限公司 数字图像的红眼处理方法
US20050163498A1 (en) * 2004-01-28 2005-07-28 Battles Amy E. User interface for automatic red-eye removal in a digital image
DE102004016564A1 (de) * 2004-03-30 2006-02-16 Frie, Werner Rudolf, Dr. Verfahren und Vorrichtung zur Verminderung der Reflexionen eines Blitzes bei der Bildaufnahme
US7457477B2 (en) 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
US7127095B2 (en) * 2004-10-15 2006-10-24 The Brigham And Women's Hospital, Inc. Factor analysis in medical imaging
JP2006166359A (ja) 2004-12-10 2006-06-22 Canon Inc 赤目補正方法
US7450756B2 (en) * 2005-04-28 2008-11-11 Hewlett-Packard Development Company, L.P. Method and apparatus for incorporating iris color in red-eye correction
US20070030816A1 (en) * 2005-08-08 2007-02-08 Honeywell International Inc. Data compression and abnormal situation detection in a wireless sensor network
WO2007056753A2 (en) * 2005-11-08 2007-05-18 General Atomics Apparatus and methods for use in flash detection
KR100734849B1 (ko) * 2005-11-26 2007-07-03 한국전자통신연구원 얼굴 인식 방법 및 그 장치
US20070237364A1 (en) * 2006-03-31 2007-10-11 Fuji Photo Film Co., Ltd. Method and apparatus for context-aided human identification
US7830418B2 (en) * 2006-04-28 2010-11-09 Hewlett-Packard Development Company, L.P. Perceptually-derived red-eye correction
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US8045140B2 (en) * 2007-10-18 2011-10-25 Stc.Unm Method for multivariate analysis of confocal temporal image sequences for velocity estimation
US8116859B2 (en) * 2007-10-24 2012-02-14 Ela Medical S.A.S. Electrocardiologic device for the assisted diagnosis of brugada syndrome or early repolarization syndrome
US8411938B2 (en) * 2007-11-29 2013-04-02 Sri International Multi-scale multi-camera adaptive fusion with contrast normalization
US20090285454A1 (en) * 2008-05-15 2009-11-19 Samsung Electronics Co., Ltd. Method and system for facial recognition training of users of entertainment systems

Also Published As

Publication number Publication date
US8442349B2 (en) 2013-05-14
JP2010511340A (ja) 2010-04-08
KR20090101951A (ko) 2009-09-29
KR101089393B1 (ko) 2011-12-07
WO2008078153A1 (en) 2008-07-03
CN101563913A (zh) 2009-10-21
US20100278452A1 (en) 2010-11-04
CN101563913B (zh) 2011-10-19

Similar Documents

Publication Publication Date Title
US10733472B2 (en) Image capture device with contemporaneous image correction mechanism
CN111402135B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP4966021B2 (ja) 赤目フィルターの性能を最適化する方法及びその装置
JP4982567B2 (ja) フラッシュを用いて撮影された画像のアーチファクト除去
US8682097B2 (en) Digital image enhancement with reference images
US8593542B2 (en) Foreground/background separation using reference images
US8330831B2 (en) Method of gathering visual meta data using a reference image
US8135184B2 (en) Method and apparatus for detection and correction of multiple image defects within digital images using preview or other reference images
US6278491B1 (en) Apparatus and a method for automatically detecting and reducing red-eye in a digital image
CN108198152B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US9838616B2 (en) Image processing method and electronic apparatus
CN108259770B (zh) 图像处理方法、装置、存储介质及电子设备
CN110536068A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
US8989510B2 (en) Contrast enhancement using gradation conversion processing
CN115550570A (zh) 图像处理方法与电子设备
CN107948511A (zh) 图像亮度处理方法、装置、存储介质和电子设备
CN108401109B (zh) 图像获取方法、装置、存储介质及电子设备
Wang et al. A novel automatic red-eye detection and removal method
CN114913085A (zh) 基于灰度提升的双路卷积低光照图像增强方法
IE20050052U1 (en) Optimized performance for red-eye filter method and apparatus
IES84151Y1 (en) Optimized performance for red-eye filter method and apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120423

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4982567

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees