JP4440681B2 - 様式化された画像を生成するための方法 - Google Patents

様式化された画像を生成するための方法 Download PDF

Info

Publication number
JP4440681B2
JP4440681B2 JP2004078637A JP2004078637A JP4440681B2 JP 4440681 B2 JP4440681 B2 JP 4440681B2 JP 2004078637 A JP2004078637 A JP 2004078637A JP 2004078637 A JP2004078637 A JP 2004078637A JP 4440681 B2 JP4440681 B2 JP 4440681B2
Authority
JP
Japan
Prior art keywords
image
images
pixel
silhouette
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004078637A
Other languages
English (en)
Other versions
JP2004289829A (ja
Inventor
ラメッシュ・ラスカー
ジンギ・ユ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2004289829A publication Critical patent/JP2004289829A/ja
Application granted granted Critical
Publication of JP4440681B2 publication Critical patent/JP4440681B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、包括的にはノンフォトリアリスティック画像をレンダリングすることに関し、より詳細には、ありのままのシーンから得られた画像から、ノンフォトリアリスティック画像を生成することに関する。
従来のカメラはシーンを写実的にとらえる場合に優れている。しかしながら、従来の画像は、物理的なリアリティではなく、変更された画像が望まれる数多くの応用形態の場合に不十分であることが度々である。その変更によって、他の細かい部分の強調の度合いを弱めながら、いくつかの細かい部分の画質を高めることができる。
それゆえ、数多くの新型のデジタルカメラは、見た目が概ねフォトリアリスティックであるように保ちながら、水あるいは空がより鮮やかに見えるようにするために、屋外のシーンの画像において、非線形のカラーマッピング、エッジの鮮鋭化、あるいは青色の色調を飽和させることなどの画像処理を実行する。
同様に、撮影者は、柔らかな照明、側方からの照明あるいは後方からの照明で、あるシーンを照明して、そのシーンに選択的にコントラストをつけることができる。さらに、種々の画像フィルタおよび拡張機能を適用するフォトエディタを用いて、画像を修正することができる。
見た目の美しさを満足させるほかに、画質を高め、簡略化された画像は、テクニカルイラストレーションあるいは高画質のサムネイル画像内の選択された特徴を強調するか、あるいは鮮明にするためにも有用である。多少の例外はあるが、画像の画質を高めるか、画像を抽象化するか、あるいは画像を様式化するために利用可能な技術は、入力として単一の画像を記録し、処理することを伴う。DeCarlo他著「Stylization and Abstraction of Photographs」(Proceedings of Siggraph’ 02, ACM Press, 2002)およびHertzmann著「Painterly Rendering with Curved Brush Strokes of Multiple Sizes」(Proceedings of Siggraph’ 98, ACM Press, 1998)を参照されたい。
最新のパッシブおよびアクティブ画像処理技術を用いる場合でも、正確な深度、法線および形状情報を得ることは未だに難しい。また、得られた画像から、あるシーンの新たな見方を生み出すことも難しい。
コンピュータグラフィックスでは、１つの手法によって、高画質の画像を用いることによりこれらの問題を隠している。テクスチャマッピングは対象領域内の低画質の画像を「隠す」ことができ、データ表現に頼るのではなく、光照射野によって、データ密度の高い画像を可能にする。
しかしながら、デジタルカメラは急速に進歩し続けている。その進歩には、画素解像度が高くなること、画素当たりのビット数が増えてダイナミックレンジが広がること、フレームレートが高くなること、異なる露出時間および波長、たとえば赤外線で多数の写真を撮影できるようになることが含まれる。
ノンフォトリアリスティック画像（ＮＰＲ）は、写真とは異なるように見えることを意図している。ＮＰＲ画像は広い意味で、芸術的なあるいは実用的な画像、たとえばテクニカルイラストレーションとして分類されることができる。ＮＰＲ画像は、物体のエッジのような重要な特徴を強調することができる。動きのある部分は異なる色で示すことができ、影および他の「乱雑な部分」のような重要度の低い細かい部分は削減あるいは削除することができる。さらに、ＮＰＲ画像は、画像解像度を、含まれている情報から切り離すことができる。
様式化された画像生成のための入力には、３Ｄ形状表現あるいは画像を用いることができる。Markosian他著「Real-Time Nonphotorealistic Rendering」(Proceedings of Siggraph ’97, Whitted, Ed., Computer Graphics Proceedings, Annual Conference Series,ACM SIGGRAPH, pp.415-420, 1997)、Gooch他著「Using Non-Photorealistic Rendering to Communicate Shape」(Siggraph ’99, Course Notes, Course on Non-Photorealistic Rendering, Green, Ed. Ch. 8., 1999)、Hertzmann著「Introduction to 3D Non-Photorealistic Rendering: Silhouettes and Outlines」(Siggraph ’99,Course Notes, Course on Non-Photorealistic Rendering, Green, Ed. New York, Ch.7, 1999)およびKowalski著「Art-Based Rendering of Fur, Green, and Trees」(Proceedings of Siggraph ’99, Computer Graphics Proceedings, Annual Conference Series, ACM SIGGRAPH, pp. 433-438, 1999)を参照されたい。
単一の画像から様式化された画像を生成するための従来技術による手法は、形態的な操作、画像のセグメント化、エッジ検出および色の割当てを伴っていた。しかしながら、それらの手法は、単一の入力画像への依存性によって制限される。手法のうちのいくつかは、様式化された表現を目的としており、一方、他の手法は、可読性を高めようとしている。様式化された表現を目的としている手法については、Ostromoukhov著「Digital facial engraving」(Proceedings of Siggraph ’99, Rockwood,Ed., ACM SIGGRAPH, pp. 417-424, 1999)を参照されたい。ロトスコーピングのようなインタラクティブな手法も同じく有効である。
種々の他の応用形態のために、多数の画像からの情報を組み合わせて１つの画像にするための方法が検討されてきた。それらの方法は、露出が可変で、広いダイナミックレンジの画像を圧縮するためのトーンマッピングとは異なる。Fattal他著「Gradient Domain High Dynamic Range Compression」(Proceedings of Siggraph ’02, ACM SIGGRAPH, 2002)およびReinhard他著「Photographic Tone Reproduction for Images」(Proceedings of Siggraph ’02, ACM SIGGRAPH, 2002)を参照されたい。
いくつかの手法は、大気条件を変化させて、３Ｄ情報を抽出し、霧の削除を実行することを考えている。Nayar他著「High dynamic range imaging: Spatially varying pixel exposure」(IEEE CVPR, 2000)を参照されたい。アクティブイルミネーション法は深度抽出および照度差ステレオの場合に用いられてきた。ただし、アクティブイルミネーションは深度不連続点において不安定であり、様式化されたレンダリングの場合には大きな問題である。
ヘルムホルツの立体視はこれらの問題のいくつかを克服することを試みている。Zickler著「Helmholtz Stereopsis: Exploiting Reciprocity for Surface Reconstruction」（ＥＣＣＶ，２００２）を参照されたい。陰影カービングのような他のアクティブな方法は、影を観測することにより、より急激に変化する外郭を計算する。Savarese他著「Shadow Carving」(Proc. of the Int. Conf. on Computer Vision, 2001)を参照されたい。
それゆえ、異なる照明条件下にあるシーンから得られる多数の画像を用いて、画質を高められた情報あるいは強調の度合いを弱められた情報を有する様式化された出力画像を生成することができるカメラおよび画像レンダリング方法を提供することが望ましい。
本発明は、たとえば低コントラストのシーン、幾何学的に複雑なシーンおよびアクションシーンのような従来のカメラの場合に問題を引き起こすシーンの様式化された画像を収集し、レンダリングするためのカメラおよび方法を提供する。その画像には、静止画像あるいは映像内の一連の画像を用いることができる。
そのカメラは異なる照明条件下にあるシーンからの多数の画像を収集する。これらの画像からの画素レベルの情報を組み合わせることにより、画像特徴が検出される。テクスチャの細かい部分が削減され、コンテクストが追加されて、様式化された画像が生成される。
異なる照明条件は、ライティングを制御することにより、あるいは自然に変化する照明によって得ることができる。ライティングの制御を用いるとき、エッジ分類手順が適用され、画像の再構成は勾配フィールドの操作に基づく。自然に変化する照明を用いる場合、あるシーンの高画質の画像から抽出される有用な情報が、おそらく同じシーンの画質が低い別の画像にコンテクストあるいは細部を与える。
種々のシーケンスのフィルタ動作を用いることにより、検出された特徴を強調することができ、多数の画像からの不要な細かい部分が削減され、すなわち簡略化された出力画像に合成することができる。結果として生成される画像はより単純であり、理解するのがより容易である。たとえば、その方法は、複雑な機械部品を図示すること、圧縮するために画像を簡略化すること、画像のサイズを変更すること、ノンフォトリアリスティックレンダリングそして映像監視のために用いることができる。
本発明は、照明の変化に起因する画像輝度の変化を観測することにより、画像特徴を抽出する。照明の変化には、制御された変化、あるいは無制御で自然な変化を用いることができる。無制御の照明下で、影の場所が、シルエットエッジのような幾何学的特徴を検出するための手掛かりとして用いられる。
自然な照明下では、本発明は、日中の太陽あるいは夜間の人工光のような、より大きなライティングの変化に基づいて、局部的な特徴を融合し、コンテクストを与えることにより有効に画像の画質を高める。
本発明は、画像特徴を検出し、処理して、低コントラストのシーン、幾何学的に複雑なシーンおよびアクションシーンに対処するための手順を提供する。
本発明による方法は、テクスチャエッジからシルエットエッジを分離するエッジ分類のための手順を提供する。その後、エッジの見え方を、定性的な深度情報、たとえば、そのシーン内の物体の手前あるいは背後の関係に基づいて、さらに改善することができる。
また本発明は、幾何学的特徴を保持しながら、テクスチャ領域の細かい部分を削減するための手順も提供する。
また本発明は、画像内の情報密度を改善するのに有用な情報を保持しながら、多数の画像を融合することもできる。空間的および時間的な勾配を用いることにより、映像の画質を高めることもできる。
また本発明は、あるシーンのノンフォトリアリスティック（ＮＰＲ）画像を直に生成することができる、内蔵型の様式化イメージング装置、すなわちノンフォトリアリスティック（ＮＰＲ）カメラも提供する。
画像あるいは映像は数多くの方法で、たとえば、画像をさらに理解しやすくするためにエッジを強調するとともに、画家が描いた様式あるいは漫画のような様式を真似るようにしてレンダリングすることができる。
また本発明は、複雑な機械部品を描くこと、圧縮するために画像を簡略化すること、写真展示場および映像監視などの他の応用形態のために用いることもできる。
ＮＰＲカメラ
図１Ａは、本発明によるノンフォトリアリスティック（ＮＰＲ）画像を生成するためのデジタルカメラ１００を示す。カメラ１００は複数のフラッシュユニット１０１〜１０４と、単一のレンズ１０５とを備える。フラッシュユニット１０１〜１０４は、レンズ１０５の投影中心（ＣＯＰ）１０６の周囲に分散して配置される。最も良好な結果を得るために、フラッシュユニットはできる限りＣＯＰの近くに配置される。それゆえ、それはフラッシュユニットがカメラの前面１０７に取り付けられることを意味する。フラッシュユニットはＣＯＰの周囲に均等に分散して配置させることができる。
図１Ｂに示される最適な構成では、フラッシュユニット１０１〜１０４は左右および上下の対で操作される。これにより、画像１１０〜１１４内の画素が、少なくとも５つのライティング条件、すなわち周囲からの光の下で、フラッシュなしで影がない場合、下側に影がある場合、上側に影がある場合、左側に影がある場合、および右側に影がある場合にイメージングされることができる。したがって、隣接する画素が、少なくとも１つの画像では影で覆われ、少なくとも１つの他の画像では影で覆われない。
また、この構成は、エピポーラ横断を効率的にする。左右対の場合、その横断は、水平方向の走査線に沿って近似することができる。上下対の場合、その横断は、垂直方向に沿う。図１Ｃは３つのフラッシュユニットを備える構成を示す。
フラッシュユニットは、光学的に結合されたＬＥＤによって起動することができる。ＬＥＤはマイクロコントローラによって、あるシーケンスで１つずつオンにされ、対応するフラッシュユニットが起動される。フラッシュ持続時間は約４ミリ秒である。フラッシュユニットのうちの１つでシーンを照明しながら、１つの画像が収集される。
カメラの解像度は約４メガピクセルであるが、それよりも低い解像度あるいは高い解像度も実現可能である。
全ての新型のデジタルカメラの場合のように、本発明のカメラもマイクロプロセッサ１２０およびメモリ１３０を備える。マイクロプロセッサ１２０は、本明細書に記載される動作、具体的には様式化された画像を生成するための方法２００を実行するように設計される。図２を参照されたい。メモリ１３０を用いて、収集された画像、線形化された形の他の中間的な画像が格納される。またメモリは、本明細書に記載される方法および手順によって用いられるデータも格納する。出力される様式化された画像２０１も、後にポート１４０を経由して視認するための外部のプロセッサにダウンロードするために、メモリに格納することができる。
カメラ１００は、多数の画像を連続して高速度撮影し、一連のフレームあるいは映像を生成することができることに留意されたい。これらも、本明細書に記載されるように様式化することができる。また、画像１１０〜１１４は、スタンドアローンプロセッサ、たとえばデスクトップシステムあるいはポータブルコンピューティング装置において後に処理するために、本発明と整合性のある他の技術を用いることにより収集することができることにも留意されたい。
カメラ動作
図２は、あるシーンの様式化された画像２０１を生成するための本発明の方法２００を示す。本明細書に記載されるように、様式化によって、エッジのような特定の細部を有する全てのノンフォトリアリスティック画像の画質が高められ、テクスチャおよび単調な背景のような他の細部が削減、抽象化あるいは他の方法で簡略化されることを意味している。
最初に、図１のカメラ１００によって、あるいは図示される構成を真似たいくつかの他のカメラおよびフラッシュユニットによって、１組の画像１１０〜１１４が収集される（２１０）。各画像は、制御された異なるライティング条件下で収集される。図示される構成の場合、ある画像は周囲からの光で、すなわちフラッシュを用いることなく撮影され、ある画像は上側フラッシュユニットを用いて撮影され、ある画像は下側フラッシュユニットを用いて撮影され、ある画像は左側フラッシュユニットを用いて撮影され、ある画像は右側フラッシュユニットを用いて撮影される。最低限、２つのフラッシュユニットおよび３つの画像が必要とされるが、さらに多くの画像およびフラッシュユニット、たとえば４〜８のフラッシュユニットを用いる場合、さらに良好な結果を得ることができる。
１組の画像がマイクロプロセッサ１２０によって処理され、シルエットエッジが検出され（２２０）、テクスチャ領域が特定される（２３０）。その後、画像の組み合わせのシルエットエッジおよびテクスチャ領域を用いて、様式化された画像（２０１）が提供される。たとえば、シルエットエッジの幅が、そのエッジにおける深度不連続点に比例するようになされ、テクスチャ領域が色勾配に従って強調の度合いを弱められる。
本発明は、各画像内の各画素を、シルエットエッジ画素、テクスチャエッジ画素あるいは特徴のない画素のいずれかとして分類する。
本発明では、シルエットエッジ画素という用語は、シーン内にＣ０の深度不連続点を有する画素のことを指す。これらシルエットエッジ画素は、法線が視認方向に垂直であるシーン内の物体の表面上の点に対応する画素を含む。また本発明は、薄い物体、たとえば一枚の葉あるいは一枚の紙の境界に対応する画素、および立方体のような視点に依存しない物体のエッジに対応する画素も含み、これらのタイプの物体はいずれも深度不連続点を有する。シルエットエッジ画素は、自己遮蔽に起因して、物体の内部に属することもできる。
テクスチャエッジ画素は、シーン内の反射率の変化および物質の不連続点に対応する。テクスチャ領域は通常テクスチャエッジによって輪郭を描かれる。しかしながら、テクスチャ領域は完全には包囲されない場合もある。
特徴のない領域内の画素は、概ね一定の反射率および低い曲率を有するシーン内の領域、たとえば単調な背景の壁に対応する。これらの画素は、金属およびプラスチックのような「光沢のある」物質上の異方性の反射を含む、照明あるいは視認方向の変化に起因する、見え方のわずかな変化にも対応することができる。
画像収集
１組の画像１１０〜１１４が、レンズ１０５の投影中心（ＣＯＰ）１０６の極めて近くに配置されるフラッシュユニット１０１〜１０４を用いて、あるシーンから収集される（２１０）。図１を参照されたい。ＣＯＰとフラッシュユニットとの間の基線が短いことに起因して、そのシーン内の深度不連続点を与える、その画像内の各シルエットエッジ付近に細い銀色の影が現れる。
個別のライティングを有する２つ以上の画像からのアタッチトキャストシャドウについての情報を組み合わせることにより、本発明はシルエットエッジ画素を検出することができる。
本明細書において、アタッチトキャストシャドウが画像空間において定義される。この定義は、物体空間内の従来のシェイプ・フロム・シャドウの定義とは全く異なる。その場合、光線が滑らかな表面に対して接線方向にある表面境界は、アタッチトシャドウ、すなわち「そのものの」影を有するものと見なされる。ここでは、アッタチトキャストシャドウは、物体と、その物体によって背景上に投じられる影とが画像空間において連続しているときに生成される。
大部分の視点に依存しないエッジの場合、影のあるエリアは次の深度層上に投じられる影を含む。視点に依存するエッジの場合、影のあるエリアのごく一部がそのものの影を含む。
一般的には、影はフラッシュユニットの「反対」側にあり、すなわちフラッシュユニットがレンズの右側にある場合には、影はカメラ画像の深度不連続点の左側に現れる。
シルエットエッジ画素の検出
図３Ａは、本手法の根底をなすシルエットエッジ画素を検出するための手順３００を示す。その概念は驚くほど簡単である。本発明の画像収集過程は照度差ステレオに密接に関連するが、本発明人が知る限りでは、それは、あるシーン内の影によって反映される深度不連続点を検出するためのコンピュータビジョンシステムにおいて用いられてこなかった。それにより、本発明は、消去の過程によって他のエッジを分類できるようになる。
その基本的な手順３００は以下のように動作する。
あるシーンの周囲画像Ｉａｍｂｉｅｎｔ３０１を収集する。ただし、Ｉａｍｂｉｅｎｔはフラッシュユニットを全く用いることなく、周囲光の下で撮影された画像である。
場所Ｐｋにおいて、点光源、すなわちフラッシュユニットを用いて、制御しながら照明されたそのシーンのｎ枚の画像Ｉ’ｋ（ｋ＝１，．．．，ｎ）３０２を収集する。その画像は任意の順序で収集することができる。本発明の例では、ｎ＝４である。
照明された画像から周囲画像を差し引くこと（３１０）、すなわちＩ’ｋ−Ｉａｍｂｉｅｎｔによって差画像Ｉｋ３０３が得られる。
差画像から、最大画像Ｉｍａｘ３０４が、Ｉｍａｘ（ｘ）＝ｍａｘｋ（Ｉｋ（ｘ））（ｋ＝１，．．．，ｎ）として生成される（３２０）。すなわち、最大画像内の各画素は、差画像内の対応する画素の中の最大輝度値を有するものである。
差画像Ｉｋ毎に、除算によって全ての画素（ｘ）のための比画像３０５が生成される（３３０）。すなわちＲｋ（ｘ）＝Ｉｋ（ｘ）／Ｉｍａｘ（ｘ）であり、各差画像が最大画像によって割られる。
比画像内の画素ｅｋ３４１はエピポール画素であり、すなわちエピポール画素はＰｋにおける対応する光源の画像である。従来の立体写真技術を用いて、エピポールを特定することができる。
比画像Ｒｋ３０５毎に、画素輝度とエピポール画素の画素輝度とを比較しながら、画像が横断される（３４０）。放射状の横断によって、本発明は、エピポール画素から所与の画素までの放射状の直線に沿って輝度エッジを検出することを意味する。この横断は、ライティングされたエリアから影のエリアへの、あるいはその逆への遷移を検出する。
負の輝度遷移を有するステップで画素ｙを特定する。負の輝度遷移を有するこれらの画素ｙをシルエットエッジ画素３０６として指示する。シルエット画素として特定された全ての画素が最大画像内に重ね合わされ、結果として、全ての画像が処理されたときに、最大画像が全てのシルエット輪郭を示すようになる。
図３Ｂは、本発明によるシルエットエッジで画質を高めた、花を生けた花瓶の画像３９０である。
ｎが十分に大きい場合、全ての向きおよび十分な深度差において、最低限２つであるが、通常４〜８のシルエットエッジ画素を検出することができる。そのシルエットがエピポーラ線に対して垂直な成分を有する場合には、照明された影のあるエリアからの負の輝度遷移を有するエッジ画素が検出される。
非常に簡単なシーンの場合、１つの照明された画像からいくつかのシルエットエッジが検出できることは理解されたい。たとえば、主に垂直方向の深度不連続点を有するシーン、たとえば杭の囲いでは、１つの側方からの照明によって、複数のエッジを検出することができる。
ここで、手順３００がさらに詳細に記載される。Ｉｍａｘ画像は、カメラのＣＯＰ１０６に光源を有する画像を近似したものである。点光源が同じ大きさを有し、光源間の基線がそのシーンの深度よりも著しく小さいとき、この近似は概ね正確である。したがって、Ｉｍａｘ画像は影内に画素を持たない。
光源ｋによって照明されるエリアでは、比（Ｉｋ／Ｉｍａｘ）は概ね１に等しく、影のあるエリアでは概ね０に等しい。それゆえ、負の輝度遷移の場所は影エッジを指示する。
Ｐｋに光源があるものとすると、カメラ座標系内の拡散反射を有する３Ｄシーンの点Ｘのための画素ｘにおける輝度はＩｋ（ｘ）によって与えられる。
３Ｄシーンの点Ｘが光源Ｐｋによって照明される場合には、以下の式が成り立つ。
Ｉｋ（ｘ）＝μｋρｋ （ｘ）Ｌｋ（ｘ）・Ｎ（ｘ）
そうでない場合には、
Ｉｋ（ｘ）＝０
ここで、μｋは光の大きさであり、ρｋ（ｘ）は点Ｘにおける反射率であり、Ｌｋ（ｘ）は正規化された光ベクトルＬｋ（ｘ）＝Ｐｋ−Ｘであり、Ｎ（ｘ）は表面法線であり、それらは全てカメラ座標系内にある。
したがって、Ｘが点光源Ｐｋによって照明されるとき、その比は以下のように表される。
Ｒｋ（ｘ）＝Ｉｋ（ｘ）／Ｉｍａｘ（ｘ）
＝μｋ（Ｌｋ（ｘ）・Ｎ（ｘ））／ｍａｘｉ（μｋ（Ｌｉ（ｘ）・Ｎ（ｘ）））
０以外のρｋを有する拡散物体の場合、Ｒｋ（ｘ）はアルベドρｋとは無関係であり、局部的な形状のみの関数である。さらに、光源がカメラのＣＯＰ１０６に近く、かつＸ＞＞Ｐ ｋ である場合には、この比は近似的に（μｋ／ｍａｘｉ（μｋ））であり、それは１組の無指向性の光源の場合に一定である。Ｒｋ（ｘ）は、視点に依存するエッジを有する湾曲した物体のシルエット付近で非常に小さいことに留意されたい。
これは、（Ｌｋ（ｘ）・Ｎ（ｘ）〜＝０）であり、反対側にある光源のためのドット積のほうが大きい、すなわち（Ｌｉ（ｘ）・Ｎ（ｘ）＞Ｌ（ｘ）・Ｎ（ｘ））のためである。したがって、比画像Ｒｋ（ｘ）内の画素の輝度は、その画素が影のあるエリアにはない場合であっても、急激に減少する。しかしながら、これは大きな問題ではなく、結果として、影のある領域が厚くなり、エピポーラ線に沿った輝度プロファイルの反転にはつながらない。
二次散乱に起因して、影のあるエリアでは、比Ｒｋ（ｘ）は概ね０に近くなる。エピポーラ線に沿った輝度プロファイルは、影のない前景から影のある背景に横断するときには、シルエットエッジにおいて急激な負の遷移を示し、背景上の影のある領域から影のない領域に横断するときには、急激な正の遷移を示す。
エピポールから所与の画素までの放射状のエピポーラ線に沿って、任意の標準的な１−Ｄエッジ検出器が適用でき、両方のこれらの遷移が検出され、負の遷移を有する画素がシルエットエッジ画素として指示される。
遷移が検出されるので、ノイズおよび二次散乱が、検出されたシルエットエッジ画素の場所の精度に、それも常にそれらが存在することに影響を及ぼすようになる。
シルエットエッジにおける負の遷移が比画像Ｒ ｋ （ｘ）内で検出できないとき、あるいは他の状態が誤った遷移を引き起こすとき、いくつかの条件が存在する。孤立した影、低い背景のアルベド、穴および窪みに起因して、あるいはシルエットが影のある領域内に存在するときに、シルエットは見逃される可能性がある。鏡面反射、自己遮蔽あるいは視点に依存するシルエットに起因して、いくつかの画素がシルエットエッジ画素として誤って分類される可能性がある。
カメラのＣＯＰとフラッシュユニットとの基線を選択する際にトレードオフがある。影ｄのための画像幅を大きくしていく場合、基線は長いほど良好であるが、基線が短くなると影の分離が回避される。
ある画像内のある特定のアタッチトキャストシャドウの幅はｄ＝ｆ（ｚ２−ｚ１）Ｂ／（ｚ１・ｚ２）である。ここで、ｆは焦点距離であり、Ｂはｍｍ単位の基線であり、ｚ１およびｚ２は、影を付けるエッジ及び影のあるエッジまでのｍｍ単位の深度である。
物体の閾値幅Ｔが（ｚ２−ｚ１）×Ｂ／ｚ２よりも小さいときに、影分離が生じる。それゆえ、基線が短くなると、影分離を生じることなく、より小さな幅Ｔが可能になる。より高い解像度のカメラを用いて、実効焦点距離を長くすることができるので、本発明では、非常に小さな基線および、物体（ｚ２）への長い距離あるいは「深度」を有する高解像度のカメラが用いられる。
光源の不均一性もその結果に影響を及ぼすようになる。（μｋ／ｍａｘｉ（μｋ））が定数ではないので、それはＲｋ（ｘ）に影響を及ぼす。都合がよいことに、不均一な光源を用いる場合でも、ローブ輝度がフィールドに渡って滑らかに変化するので、それはＲｋ内に誤ったエッジを導入しない。
影領域に導く負の輝度ステップの検出は二値判定であり、本発明による方法はノイズに耐えることができるようになる。しかしながら、フラッシュユニットによって生成される光は依然として周囲光よりも優位である必要がある。また本発明は、シルエットが、有限の深度を有する背景から分離されるという仮定を基にしており、それは、本発明が背景を必要とすることを意味する。
テクスチャ領域内の細かい部分の削減
また、本発明は、テクスチャおよび照明の変動のような、あるシーンのシルエットに関連しない、画像の領域内の細かい部分あるいは複雑な部分を削減するための手順も提供する。シルエットエッジ画素３０６が与えられるとき、テクスチャエッジに属する画素を特定することができる（２３０）。したがって、テクスチャ領域を特定することができる。これらの画素は照明の方向とは無関係である。テクスチャエッジは、最大画像Ｉｍａｘ内の輝度画素から、検出されたシルエットエッジを引いたものである。
理想的には、本発明は、全てのテクスチャ領域、すなわち元の画像内のテクスチャの細部に対応する画素の組を特定し、出力画像２０１内のテクスチャの細部を強調の度合いを弱めることが望ましい。しかしながら、本発明はテクスチャエッジを特定することができるが、全てのテクスチャ領域を確実に見つけることはできない。これは、シルエットエッジ検出後のギャップに起因して、テクスチャエッジが必ずしも、テクスチャ領域の周囲にある閉じた輪郭を形成するとは限らないため、あるいはそのような領域が次第に支配的な色になる可能性があるためである。
それゆえ、本発明では、たとえば、幾何学的特徴により高い重要度を与えることができる、「調整可能な」抽象化を実行することが望ましく、テクスチャ特徴、たとえば、エッジおよび領域の強調の度合いを弱めるができる。また本発明では、支配的な色を持たない画素を削除することも望ましい。
１つの対処方法では、テクスチャエッジに関連する領域がぼかされる。その方法は単に、テクスチャ画素および隣接する画素に対して、隣接する特徴のない画素の色の重み付けされた平均値を割り当てることができる。しかしながら、それはテクスチャ領域境界のみを減少させ、勾配を除去しない。さらに、テクスチャエッジによって輪郭を描かれたテクスチャ領域は数画素の幅を有することができ、それゆえ完全には削除されない。別の手法は、距離フィールドまたは拡散タイプの技術を用いる。
画素レベルで動作する代わりに、本発明はエッジを基にする手順を用いる。
本発明によるエッジを基にする手順は、テクスチャ画素における高い輝度勾配が、支配的でない色画素を支配的な色画素から分離するという観測に基づく。テクスチャ画素における高い勾配を用いることなく、画素が勾配から再構成される場合には、テクスチャ画素の他の側からの色によって滑らかに、支配的でない色画素が自動的に埋められる。従来の画素を基にするシステムの場合のように、穴を埋めるために用いられるのがどの輝度値であるかについて判定を行う必要はなく、フェザリングあるいはぼかしを行う必要もない。
図４は、本発明によるレンダリング手順４００のステップを示す。最初に、収集された画像１１０〜１１４からマスク画像Ｍ（ｘ，ｙ）４１１を生成する（４１０）。開始点として、全てのシルエットエッジ画素で覆われた最大画像を用いることができる。マスク画像Ｍ（ｘ，ｙ）内の画素（ｘ，ｙ）の輝度は、（ｘ，ｙ）がテクスチャエッジ画素である場合には０であり、（ｘ，ｙ）が特徴のない画素である場合にはｄ（ｘ，ｙ）であり、（ｘ，ｙ）がシルエットエッジ画素である場合には１である。
因子ｄ（ｘ，ｙ）は、テクスチャエッジ画素の距離フィールドとシルエットエッジ画素の距離フィールドとの比である。
その後、マスク画像内の輝度勾配▽Ｉ（ｘ，ｙ）４２１を判定する（４２０）。次に、以下の式によって、マスクされた画像内の勾配を積分する（４３０）。
Ｇ（ｘ，ｙ）＝▽Ｉ（ｘ，ｙ）・Ｍ（ｘ，ｙ）４３１
｜▽Ｉ’−Ｇ｜を最小にする画像Ｉ’（ｘ，ｙ）４４１を構成し（４４０）、入力画像Ｉ（ｘ，ｙ）内の色と概ね一致させるために、画像Ｉ’（ｘ，ｙ）内の色を正規化する（４５０）。
勾配フィールドから画像を再構成する（４４０）、すなわち近似的な可逆性問題の場合、本発明による方法は、Elder著「Are Edges Incomplete?」(International Journal of Computer Vision 34, 2/3, pp. 97-122, 1999)およびFattal他著「Gradient Domain High Dynamic Range Compression」(Proceedings of Siggraph, ACM SIGGRAPH, 2002)に記載される直接的な方法を適合させる。
ラプラス演算子および発散演算子を用いてポアソン微分方程式▽２Ｉ＝ｄｉｖＧを解くことにより、Ｇ＝▽Ｉであるような、輝度関数Ｉ’の推定値を得ることができる。
本発明はフルマルチグリッド法を用いて、ラプラス方程式を解く。Press他著「Numerical Recipes in C: The Art of Scientific Computing」(Pearson Education, 1992)を参照されたい。
画像の境界において、本発明は境界条件を特定し、その境界付近の画像アーティファクトを低減する。普通の選択はノイマン条件▽Ｉ・ｎ＝０であり、すなわち境界に垂直な方向の導関数が０である。これは、画像境界付近に高い勾配が存在するときには、明らかに正しくない。それゆえ、本発明は画像Ｉ’を変更し、それを、ガウスフィルタを用いて境界画素を滑らかにすることによって得られる色でパディングする。再構成された画素Ｉは後に元の画像サイズにクロッピングされる。５つの画素によって境界をパディングすることで十分である。最終的には、本発明は、細部を削減された出力画像４０１内の色値を得るために、画像を正規化する（４５０）。
本発明は輝度だけでなく、テクスチャも割り当てて、変更する。それゆえ、本発明は、マスクされた勾配を、各色チャネルにおいて個別に積分する（４３０）。一致する境界条件がない場合（▽Ｉ・ｎ＝０）、正規化のスケールおよびシフトは著しく異なるであろう。
レンダリング
色の割当て
勾配フィールドからの画像構成４４０はスケールおよびシフトの曖昧さを伴う。
Ｉ”（ｘ，ｙ）＝ｃ１Ｉ’（ｘ，ｙ）＋ｃ２
本発明は、再構成された画像の全ての見え方が元の画像と概ね一致することを要求する簡単なヒューリスティクスを用いて、最小二乗手段において未知数ｃ１およびｃ２を計算する。各画素によって、線形方程式が導かれる。
Ｉ（ｘ，ｙ）＝ｃ１Ｉ’（ｘ，ｙ）＋ｃ２
本発明が純粋に輝度画像上で動作し、クロミナンスを加減する場合には、テクスチャは除去されない。実際には、テクスチャを完全に分離することができる色空間は存在しない。それゆえ、本発明は、３つ全ての色チャネルにおいて画像の再構成を個別に実施し、チャネル毎に未知数を決定する。
境界条件（▽Ｉ・ｎ＝０）のために、３つのチャネル内のスケールおよびシフトは著しいアーティファクトを導入しない。
エッジの改善
シルエットエッジ画素を検出するための本発明による手順は、画像の画質を高めるために用いることができるさらに別の有用な情報も生成する。
影の幅ｄ＝ｆ（ｚ２−ｚ１）Ｂ／（ｚ１ｚ２）は、深度不連続点における深度差（ｚ２−ｚ１）に比例する。この情報は画像の画質を高めるときに用いることができる。
シルエットエッジにおいて、本発明は、シルエットのどの側が前景に属し、どの側が背景に属するかを判定することができる。その計算は、エッジのどの側が、エピポーラ線に沿った負の遷移において、Ｒｋ画像内により高い輝度を有するかに基づく。
この定性的な深度の関係は、エッジを改善するためにも用いることができる。本発明は最初に、シルエットが黒色の背景上に白色で存在するシルエット画像を生成する。本発明は、エッジ改善フィルタの勾配であるフィルタをたたみ込む。本発明は、ガウスフィルタからインパルス関数を引いたものを用いる。本発明により、たたみ込まれた画像が積分されるとき、シルエットエッジにおいて鋭い遷移が得られる。
従来技術との比較
より良好なライティングを用いて、背景に対するコントラストを改善し、物体を強調することができる。この手法の成功は一般的に撮影者の技量によるが、本発明は、明らかな幾何学的形状に基づく一般的な解決手段を提供する。さらに、光源がカメラのＣＯＰに近いので、本発明による単体で十分な機能を有するカメラ１００では、外部からの光源は不要であり、構成が簡略化される。
第２の簡単なオプションは、輝度画像上でエッジ検出を実行することである。しかしながら、画像値の鋭い変化は必ずしも物体の境界を意味するわけではなく、その逆の場合もある。たとえば、ある複雑なシーンは、数多くの誤った輝度エッジを生成する可能性があり、一方、簡単な画像では、ほとんど輝度エッジが検出されない。それゆえ、画像値変化のみを調べることによる画像の画質改善方式は失敗する場合も多い。単一の画像上で動作する従来のＮＰＲ技術は、輝度エッジ検出および色のセグメントの信頼性が高くなるように、非常に画質が高く、コントラストが良好な画像を基にする。
本発明による手法は、従来のステレオ、照度差ステレオおよびヘルムホルツステレオのようなアクティブな照明技術と同じように見えるかもしれない。しかしながら、深度不連続点が、従来のステレオ技術を用いるのを難しくしている。ステレオ技術は、照合過程を混乱させる自己遮蔽に起因して失敗する場合が多い。
照度差ステレオは、あるシーンに渡る形状およびアルベドを同時に推定する。古典的な照度差ステレオの主な制約は、光源がカメラのＣＯＰから大きく離れていなければならないこと、および光源の位置が正確にわからなければならないことである。これには、スタジオ、工業用あるいは研究所の環境内でなら可能であるが、自給式のカメラユニットでは不可能であるような、固定された照明リグが必要とされる。さらに、その手法は、滑らかな表面に沿って法線を検出することを基にしており、深度不連続点、影のある領域および自己遮蔽された部分では失敗する。本発明による手法は対照的であり、あるシーン深度不連続点において輝度変動のための二値判定を行う。
ヘルムホルツステレオの場合、影のある領域および自己遮蔽された領域は対応している。左側の画像における影内の表面は、右側の画像では見ることができず、その逆も成り立つ。その問題は、単一の画像内の影のある領域を計算することが難しい問題であるということである。ある画素が影の領域にあるものと分類するための唯一の信頼性のある方法は、その画素と、その画素が影の中にないときのさらに別の画素とを比較することである。この二値判定は、本発明の技術を強力にする。また本発明では、任意の照合あるいは相関過程を基にせず、大部分の動作を画素毎に行うことができる。これにより、本発明は、カメラのマイクロプロセッサ内に方法全体を組み込むことができるようになる。
ありのまま制御されることなく照明されたシーンの画像の画質改善
制御された照明を利用することに加えて、本発明は、自然に変化する照明で撮影されたシーンの画像の画質を高めることもできる。ありのまま制御されない照明は、照明の方向および輝度が制御されないことを意味する。
暗い、あるいは霞んだエリア、たとえば夜間あるいは霧のかかったシーン、低解像度あるいはノイズのある画像内のエリアによる低画質の画像を読み取るのは多くの場合に困難である。本発明の概念は、より良好な照明を用いて、たとえば日中に記録された他の高画質の画像を用いてコンテクストを与えることにより、これらの低画質の画像の画質を改善することである。コンテクストを与えることは、静的および動的なシーンの両方の場合に有用である。
静的なシーン
照明が変化することを別にして、あるシーンの幾何学的配置が一定のままであるとき、そのコンテクストはそのシーンを明瞭にし、対象のエリアを特定することができる。たとえば、あるシーンの低画質の夜間の画像を、それを同じシーンの高画質の日中の画像と組み合わせることにより改善することができる。
動的なシーン
時間とともにシーンの幾何学的配置が変化するときに、さらに多くの興味深い応用形態がある。静的な背景および動的な前景の概念を用いるとき、本発明は動作またはイベントのコンテクストを与えることができる。その動的なシーンの構成要素は、静的な画像あるいはビデオに収集することができる。
本発明による画像改善方法を用いることができるいくつかの例示的な応用形態は、監視、たとえば人が立っている場所の近くにある建物の一部を判定すること、人の手が覆い隠しているものを判定すること、暗いエリア内の反射、たとえば暗い建物の窓から反射しているヘッドライトを特定すること、あるいは夜間に点滅するライトを特定することを含む。
対称タイプおよびバイアスタイプの２つの実現可能なタイプの改善がある。対称タイプの改善では、全ての画像が同じ画質を有するものとして取り扱われ、全ての画像からの全ての「対象となる」画素が改善過程において用いられる。バイアスタイプの改善では、低画質の画像の画質を改善するために用いられる高画質の基準画像が明示的に特定され、重要度が高い特徴が高画質の基準画像内に現れる場合であっても、低画質の画像内の重要度の高い部分が保持される。
この問題は、２つ以上の画像からの重要な情報を如何に最適に組み合わせるかに帰着する。本発明の手法は２つのヒューリスティックに基づく。第１に、本発明は、指定されたバイアスによって局部的に重要であるように見える、各画像からの画素を保持する。第２に、画像内の一貫性を保持するために、本発明は、画像内の画素にコンテクストを与える。本発明は、個々の画素そのものの画質を改善するのではなく、単に、その画像を人が読み取るのを改善するだけの十分なコンテクストを与えることに留意されたい。
それゆえ、コントラスト改善、ヒストグラム等化、背景を推定するための混合ガウスモデルのような任意の従来の技術は、本発明による手法と異なるものである。Toyama他著「Wallflower: Principles and Practice of Background Maintenance」（ＩＣＣＶ（１），ｐｐ．２５５−２６１，１９９９）を参照されたい。しかしながら、それらの技術を後処理のステップにおいて適用して、最終的な結果をさらに改善することもできる。
カメラおよび視認される幾何学的配置が静止したままである場合には、そのシーンの照明およびわずかな部分のみが変化し、たとえば人、装置、車両などの被写体が移動するので、時間に渡って情報を収集することができるという基本的な観測に基づいて結果を構築する。
図５は、あるシーンから収集された画像の画質を高めるための本発明による方法５００のステップを示す。最初に、そのシーンから、画像Ｉ ｉ ５０１（ただしｉ＝１，．．．，ｎ）が収集される（５１０）。それらの画像は、照明の輝度および方向が異なり、ある画像は高画質であり、他の画像は低画質であるように収集される。たとえば、画像のうちのあるものは日中に撮影され、一方、他の画像は夜間に撮影される。
入力画像毎に、Ｇｉ＝▽Ｉｉ（ただしｉ＝１，．．．，ｎ）に従って画素の輝度勾配５２１を判定する（５２０）。
次に、各画像内の画素毎に、重みＷｉ（ｘ，ｙ）５３１が決定される（５３０）。その重みは、画像の種々の部分の重要度に対応する。その重みは、勾配フィールドＧを決定するために、Ｇ（ｘ，ｙ）＝ΣｉＷｉＧｉ（ｘ，ｙ）に従って、勾配と乗算され、全ての画像に渡って加算される（５４０）。その後、画質の改善された画像の正規化された最終的な出力画像５０９を得るために、勾配フィールドＧから、画質の改善された画像Ｉ５５１が構成され（５５０）、その改善された画像５５１内の画素輝度が正規化される（５６０）。
重みＷｉ（ｘ，ｙ）５３１は、応用形態に応じていくつかの方法で決定することができる。本発明の基本的な概念は、人間の視覚系は網膜に達する輝度の絶対値にはあまり敏感ではなく、むしろ局部的な輝度の比の変化に反応するという、広く受け入れられている仮説に基づく。
それゆえ、本発明による重要度の重みは、画像内の空間的な輝度勾配に基づく。映像の場合、時間的な輝度勾配も考慮することができる。最初に、日中および夜間の画像からの勾配を組み合わせる重要度を符号化するために、重み付けする画像が生成される。この画像は勾配が混在する画像である。この勾配が混在する画像を積分することにより、両方の画像の局部的な重要度を保持する、改善された画像を構成することができる。勾配フィールドの積分は滑らかな積分を計算することを含むので、ソース画像間の緩やかな移り変わりが自動的に得られる。
重みＷｉ（ｘ，ｙ）は１つの画像内の１つの画素の重要度を符号化し、フレーム内の一貫性を確保する。いくつかの対称タイプの手法について考えてみる。画素（ｘ，ｙ）においてどの画像が最大の分散を有するかを検査することにより、二値の０あるいは１の重みＷｉ（ｘ，ｙ）を割り当てることができる。ソース画像の分散の重み付けされた平均値に基づいて、範囲［０，１］に正規化された値を割り当てることができる。
フレーム内の一貫性を確保するために、本発明は、高い分散の領域を閾値によって処理することにより得られる二値画像の重み付けされた距離フィールドによって乗算する。バイアスタイプの手法の場合、重みはスカラーＢｉ、すなわち各画像のバイアスによってスケーリングされる。
本発明によれば、あるシーンの低画質の夜間の画像と高画質の日中の画像とを組み合わせることにより、低画質の夜間の画像を改善するための実用的な方法が提供される。この概念は、振り返ってみると、非常に簡単であるように見える。これまで、この概念はノンフォトリアリスティック画像合成の場合に用いられてこなかった。
日中の写真と夜間の写真とを自動的に組み合わせるための単純な手法は、ある重要度測定に基づく純粋な画素置換方法を用いることである。これは、ソース画像が概ね同一である、たとえば異なる焦点を有する同じシーンの２つの画像であるときにのみ良好に動作する。
同様に、ｍａｘｉ（Ｉｉ（ｘ，ｙ））あるいはａｖｅｒａｇｅｉ（Ｉｉ（ｘ，ｙ））のような混合する方式も問題を引き起こす。たとえば、日中の画像と夜間の画像とを組み合わせるとき、日中の画像内の高い分散と、夜間の画像内の大部分の低いコントラストおよび高いコントラストのパッチとに対処する必要がある。平均をとることは単に、夜間の画像内のかすかな細部を圧倒し、夜間に輝いているエリアの周囲に「ゴースティング」アーティファクトを与えるだけである。さらに、画像を並置あるいは混合することは通常、たとえば、暗い夜間の画素から明るい日中の画素への突然の移行のような、夜間の画像において伝達されるかすかな情報から転じる視認可能なアーティファクトにつながる。
低画質の映像の改善
記録されたイベントおよび動作にコンテクストを与えることにより、低画質の映像を改善することができる。上記のようなコンテクストは、画質が高い方の画像に由来する。しかしながら、映像はいくつかのさらに別の難題を突きつける。フレーム内の一貫性が保持されなければならない。すなわち、連続する画像内の重みが滑らかに変動するようにしなければならない。そして、局部的な分散が小さい場合、たとえば移動中の車のヘッドライトとテールライトとの間のエリアの場合であっても、低画質の画像からの画素が重要な場合もある。
本発明による解決手段は、移動中の物体が、移動する方向に対して、正面から背面まで概ね同じ画素に広がるという簡単な観測に基づく。たとえば、移動中の車の正面プロファイルは、その車の背面に達するまで、後続のフレームにおいて車の残りの部分によって覆われることになる全ての画素を網羅する。移動中の物体は十分なフレーム内あるいはフレーム間分散を示さないかもしれないが、本発明は、時間的なヒステリシスを用いて、物体の正面以降の大きな区間に渡って、重要度の重みを高く保持する。
ある画素における空間的および時間的な分散およびヒステリシスに基づく重要度は、フレームｊ毎に重みＷｊ（ｘ，ｙ）に符号化される。
静止画像の場合と同じように、高画質映像のセグメント化あるいはオプティカルフロー技術によって、本発明の結果を改善することもできる。ここでは、本発明による技術が複雑なオプティカルフローあるいは画像変化検出技術に完全に基づく必要がないことを例示するために、非常に簡単な技術、たとえば画素レベルでの差を意図的に用いる。
図６は、無制御の照明下で収集された映像の画質を改善するための本発明による方法６００のステップを示す。最初に、無制御の照明下で、あるシーンの入力映像ＶＪ６１１を収集する（６１０）。次に、入力映像を平滑化し（６２０）、ノイズが低減された映像Ｓｊ６２１にし、平滑化された映像のフレームｊ毎に勾配Ｇｊ ｔ（ｘ，ｙ）６３１を判定する。勾配Ｇｊ ｔ（ｘ，ｙ）６３１を閾値で処理することにより、二値マスクＭｊ（ｘ，ｙ）６４１が決定され（６４０）、以下の式に従って、その二値マスクのための重み６５１が決定される（６５０）。
Ｗｊ（ｘ，ｙ）＝Ｆ（Ｍｋ（ｘ，ｙ））、ｋ＝ｊ−ｃ：ｊ＋ｃ
ここで、ｃは時間的な広がりであり、たとえば各方向に１０フレームである。
その後、フレームｊ毎に、Ｗｊ（ｘ，ｙ）＞０である場合には、勾配フィールドが以下のように計算される（６６０）。
Ｇｊ ｘｙ（ｘ，ｙ）＝Ｗｊ（ｘ，ｙ）Ｇｊ ｘｙ（ｘ，ｙ）
＋（１−Ｗｊ（ｘ，ｙ））Ｇ＊ ｘｙ（ｘ，ｙ）
それ以外の場合には、以下のように計算される。
Ｇｊ ｘｙ（ｘ，ｙ）＝（１−Ｗｊ（ｘ，ｙ））ｍａｘ（Ｓｊ ｘｙ（ｘ，ｙ），Ｇ＊ ｘｙ（ｘ，ｙ））
ただし、Ｇ＊ ｘｙ６６２は「理想的な」照明下にあるシーンから収集される１つの高画質の画像内の勾配である。
ここで、出力映像Ｖｊ ｏｕｔ６０９のフレームは、勾配フィールドＧｊ ｘｙから構成することができる（６７０）。
ノイズが低減された映像Ｓは、入力映像のフレームに対して、空間および時間において、エッジを保持するバイラテラルフィルタリングを適用することにより生成される。
ある画素（ｘ，ｙ）における時間的な勾配はＧｊ ｔ（ｘ，ｙ）＝Ｓｊ（ｘ，ｙ）−Ｓｊ−１（ｘ，ｙ）であり、すなわちノイズが低減された映像の現在のフレームと先行するフレームとの間の差である。
空間的な勾配Ｇｊ ｘｙ（ｘ，ｙ）＝（Ｖｊ（ｘ，ｙ）−Ｖｊ−１（ｘ−１，ｙ），Ｖｊ（ｘ，ｙ）−Ｖｊ−１（ｘ，ｙ−１））が、細部を保持するために、元の映像から計算される。
重みＷｊ（ｘ，ｙ）は、二値マスク値｛Ｍｋ（ｘ，ｙ）｝（ｋ＝ｊ−ｃ：ｊ＋ｃ）に対して距離フィールドを適用することにより計算される。これは、割り当てられた重みの場合の時間的な一貫性を達成する。本発明は、各方向における影響の広がりｃが１０フレームになるように選択する。
最後に、本発明は計算された重みを用いて、各フレームからの空間的な勾配と、高画質画像Ｉ＊の空間的な勾配Ｇ＊ ｘｙ とを組み合わせる。時間変動に起因する重みが０である場合には、本発明は純粋な画像勾配比較に戻る。本発明は平滑化されたフレームＳｉからの勾配を用いて、フレーム内ノイズを悪化させるのを避けることに留意されたい。
実用的な実施態様の場合、本発明は、σ＝１５およびτ＝２０の３Ｄ Ｓｕｓａｎフィルタ、すなわち３×３×５近傍を用いる。高画質の静止画像は、日中の映像をメジアンフィルタリングすることにより得られる。
他の応用形態
本発明によるエッジ分類手順は、エッジを基にするステレオおよびエリアを基にするステレオの対応を改善することもできる。エッジの照合は、シルエットエッジが適当に照合されるときに改善される。エリアを基にする技術は部分的な遮蔽に起因して動作が劣化するが、そのような問題のあるエリアを検出することができる。またエッジ分類は、低コントラストの画像の場合でも、色およびテクスチャセグメント化技術を支援することができ、それにより、その画像をレイヤ抽出および画像圧縮のために用いることができる。
またシルエットエッジ検出は、ステレオ再構成、視覚的な外郭構成、顔認識、ならびにテクニカルイラストレーションおよび漫画のための初期ステップなどのコンピュータビジョンおよび画像処理アプリケーションにおいて用いることもできる。
また本発明のシルエット抽出方式は、類似の「影」の問題を抱える他の画像、たとえば赤外線カメラ、レーザレンジスキャナおよびレーダで撮影された画像のために用いることもできることに留意されたい。
本発明の映像改善方式は、映像監視の応用形態の場合に理想的である。複雑な従来技術の方式は、意味のあるイベントを検出し、表示するために画像を解析しようとする。対照的に、本発明による手法は簡単である。本発明は、見る人に調整可能な情報密度を提供する。
発明の効果
本発明は、複数のシーンの多数の画像の照明に依存する特性を利用することにより、それらの画像から有用な情報を抽出するための新規の技術を提供する。本発明は、基本的なプロトタイプ、エッジ改善、画像処理および映像処理のための関連する手順に関して記載されてきた。
関係のない細かい部分を除去することにより、本発明は幾何学的に複雑な、あるいは低コントラストのシーンを明瞭にすることができる。暗い、あるいは低画質の画像あるいは映像にコンテクストを与えることにより、本発明は、さらに有用な画像およびさらに良好な映像監視をもたらすことができる。本発明の技術は、ソフトウエアで容易に実施することができる。
別法では、本明細書に記載される方法は、カメラ単体の内部のハードウエアで実施することができる。収集された画像において「一度に一画素」の処理を実行することにより、カメラは直に様式化された画像を出力することができる。
本発明は好ましい実施形態を例示することにより記載されてきたが、本発明の精神および範囲内で、種々の他の適用形態および変更形態が実施されることは理解されたい。それゆえ、添付の特許請求項の目的は、本発明の真の精神および範囲内に入るような、全てのそのような変形あるいは変更を網羅することである。
本発明によるノンフォトリアリスティックカメラのブロック図である。 別の構成のフラッシュユニットを備える図１Ａのカメラのブロック図である。 さらに別の構成のフラッシュユニットを備える図１Ａのカメラのブロック図である。 本発明による様式化された画像を生成するための方法の流れ図である。 シルエットエッジを検出するための方法の流れ図である。 本発明によるシルエットエッジをさらに鮮鋭にした花を生けた花瓶の画像である。 テクスチャ画像の細かい部分を削減するための方法の流れ図である。 本発明によるあるシーンから得られた画像の画質を高めるための方法の流れ図である。 本発明による無制御の照明下で得られた映像の画質を高めるための方法の流れ図である。

Claims (8)

  1. 様式化された画像を生成するための方法であって、
    それぞれ異なる照明条件下で収集される、あるシーンの１組の画像を収集することと、
    前記異なる照明条件によって前記１組の画像内のシルエットエッジを検出することと、
    前記シルエットエッジに従って、前記１組の画像内のテクスチャ領域を特定することと、
    前記シルエットエッジおよび前記テクスチャ領域が修正された１組の画像の組み合わせから出力画像を生成することと
    を含み、
    前記１組の画像を収集することは、
    周囲光を用いて前記１組の画像のうちの１つの画像を収集することと、
    異なるフラッシュユニットを用いて前記１組の画像のうちの他の画像をそれぞれ収集することと
    を含み、
    前記異なるフラッシュユニットは、前記１組の画像を収集するために用いられるカメラのレンズの投影中心の周囲に均等に分散配置される
    方法。
  2. 前記シルエットエッジにおける深度不連続点を構成する画素数に比例する前記シルエットエッジの幅を形成することと、
    前記テクスチャ領域の色勾配に従って、前記テクスチャ領域の強調の度合いを弱めることと
    をさらに含む請求項１に記載の方法。
  3. 各画像内の各画素を、シルエットエッジ画素、テクスチャエッジ画素あるいは特徴のない画素のいずれかとして分類することをさらに含む請求項１に記載の方法。
  4. 前記シルエットエッジ画素は、前記シーン内の深度不連続点において特定され、前記テクスチャエッジ画素は、前記シーン内の反射率の変化および物質の不連続点によって特定され、前記特徴のない画素は、概ね一定の反射率および低い曲率を有する前記シーン内の部分に対応する請求項３に記載の方法。
  5. 前記シルエットエッジ画素は、ある画像空間において定義されるキャストシャドウに対応する請求項３に記載の方法。
  6. 前記フラッシュユニットは、前記投影中心の概ね近くにある前記カメラの前面に取り付けられる請求項１に記載の方法。
  7. 前記修正することは、
    前記シルエットエッジおよび前記テクスチャ領域の画質を改善することをさらに含む請求項１に記載の方法。
  8. 前記修正することは、
    前記シルエットエッジおよび前記テクスチャ領域の強調の度合いを弱めることをさらに含む請求項１に記載の方法。
JP2004078637A 2003-03-19 2004-03-18 様式化された画像を生成するための方法 Expired - Fee Related JP4440681B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/392,067 US7218792B2 (en) 2003-03-19 2003-03-19 Stylized imaging using variable controlled illumination

Publications (2)

Publication Number Publication Date
JP2004289829A JP2004289829A (ja) 2004-10-14
JP4440681B2 true JP4440681B2 (ja) 2010-03-24

Family

ID=32987825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004078637A Expired - Fee Related JP4440681B2 (ja) 2003-03-19 2004-03-18 様式化された画像を生成するための方法

Country Status (2)

Country Link
US (1) US7218792B2 (ja)
JP (1) JP4440681B2 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103227B2 (en) * 2003-03-19 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality images of naturally illuminated scenes
US7680342B2 (en) * 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US7606417B2 (en) * 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US20050111705A1 (en) * 2003-08-26 2005-05-26 Roman Waupotitsch Passive stereo sensing for 3D facial shape biometrics
EP1542150B1 (en) * 2003-12-09 2009-12-09 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for separating content types in images
JP4517664B2 (ja) * 2004-02-12 2010-08-04 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP4610411B2 (ja) * 2004-05-17 2011-01-12 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 物体を含むシーンの様式化された画像を生成する方法
US20050254720A1 (en) * 2004-05-17 2005-11-17 Kar-Han Tan Enhanced surgical visualizations with multi-flash imaging
JP4534756B2 (ja) * 2004-12-22 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
US20060170956A1 (en) * 2005-01-31 2006-08-03 Jung Edward K Shared image devices
US9082456B2 (en) 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US9621749B2 (en) * 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US9967424B2 (en) 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US9076208B2 (en) * 2006-02-28 2015-07-07 The Invention Science Fund I, Llc Imagery processing
US8964054B2 (en) 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
US9451200B2 (en) 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US9167195B2 (en) * 2005-10-31 2015-10-20 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US9942511B2 (en) 2005-10-31 2018-04-10 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US9191611B2 (en) 2005-06-02 2015-11-17 Invention Science Fund I, Llc Conditional alteration of a saved image
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US20070222865A1 (en) 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
WO2006118076A1 (ja) * 2005-04-28 2006-11-09 Aisin Seiki Kabushiki Kaisha 車両周辺監視システム
WO2007018008A1 (ja) * 2005-08-08 2007-02-15 Matsushita Electric Industrial Co., Ltd. 画像合成装置および画像合成方法
US20070120980A1 (en) 2005-10-31 2007-05-31 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Preservation/degradation of video/audio aspects of a data stream
WO2007054332A1 (de) * 2005-11-10 2007-05-18 OBE OHNMACHT & BAUMGäRTNER GMBH & CO. KG Kamerachip, kamera und verfahren zur bildaufnahme
US7692696B2 (en) * 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
IES20060559A2 (en) * 2006-02-14 2006-11-01 Fotonation Vision Ltd Automatic detection and correction of non-red flash eye defects
US7469071B2 (en) * 2006-02-14 2008-12-23 Fotonation Vision Limited Image blurring
US10026177B2 (en) 2006-02-28 2018-07-17 Microsoft Technology Licensing, Llc Compact interactive tabletop with projection-vision
US7599561B2 (en) * 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US7705231B2 (en) 2007-09-07 2010-04-27 Microsoft Corporation Automatic accompaniment for vocal melodies
IES20060564A2 (en) 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
US7724952B2 (en) * 2006-05-15 2010-05-25 Microsoft Corporation Object matting using flash and no-flash images
WO2008102205A2 (en) * 2006-08-09 2008-08-28 Fotonation Vision Limited Detection of airborne flash artifacts using preflash image
JP4992433B2 (ja) * 2007-01-17 2012-08-08 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4799428B2 (ja) * 2007-01-22 2011-10-26 株式会社東芝 画像処理装置及び方法
JP4910975B2 (ja) * 2007-10-15 2012-04-04 富士ゼロックス株式会社 情報処理装置、指示システム及び制御プログラム
US7974050B2 (en) * 2007-10-16 2011-07-05 Industrial Technology Research Institute Loading reduction device and method
US8094964B2 (en) * 2007-10-26 2012-01-10 Adobe Systems Incorporated Methods and systems for estimating illumination source characteristics from a single image
US7983487B2 (en) * 2007-11-07 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for locating and picking objects using active illumination
US8238651B2 (en) * 2008-06-05 2012-08-07 Microsoft Corporation Image-guided abstraction of building facades
US8903191B2 (en) * 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
US8358867B1 (en) * 2009-01-20 2013-01-22 Pixar Painterly filtering
US8861885B2 (en) * 2009-08-26 2014-10-14 Apple Inc. Directional noise filtering
EP2357606A1 (en) * 2009-12-24 2011-08-17 BAE SYSTEMS plc Enhancing the visibility of features of an image
WO2011077164A2 (en) * 2009-12-24 2011-06-30 Bae Systems Plc Image enhancement
US8805095B2 (en) 2010-12-03 2014-08-12 International Business Machines Corporation Analysing character strings
US8508652B2 (en) 2011-02-03 2013-08-13 DigitalOptics Corporation Europe Limited Autofocus method
WO2013079774A1 (en) 2011-11-29 2013-06-06 Nokia Corporation Method, apparatus and computer program product for generating animated images
US9111349B2 (en) 2011-12-16 2015-08-18 Microsoft Technology Licensing, Llc Object identification using 3-D curve matching
CN104091555B (zh) * 2014-06-20 2016-06-08 京东方科技集团股份有限公司 一种显示器残像等级的评价方法及其装置
CN106611406B (zh) * 2015-10-27 2019-08-16 富士通株式会社 图像校正方法和图像校正设备
CN112785489B (zh) * 2020-12-29 2023-02-17 温州大学 一种单目立体视觉图像生成方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2347499A (en) * 1998-11-03 2000-09-06 Cyberoptics Corp Tomographic reconstruction of electronic components from shadow image sensor data
US20020118209A1 (en) * 1999-09-21 2002-08-29 Hylen Steve H.L. Computer program product for introducing painting effects into a digitized photographic image
US6903359B2 (en) * 2002-09-20 2005-06-07 Pitney Bowes Inc. Method and apparatus for edge detection

Also Published As

Publication number Publication date
US7218792B2 (en) 2007-05-15
JP2004289829A (ja) 2004-10-14
US20040183925A1 (en) 2004-09-23

Similar Documents

Publication Publication Date Title
JP4440681B2 (ja) 様式化された画像を生成するための方法
JP4364686B2 (ja) 自然に照明されたシーンの画像の画質を高めるための方法
JP4364687B2 (ja) 低画質の映像の画質を高めるための方法
US7295720B2 (en) Non-photorealistic camera
US7206449B2 (en) Detecting silhouette edges in images
US7102638B2 (en) Reducing texture details in images
JP4610411B2 (ja) 物体を含むシーンの様式化された画像を生成する方法
US7738725B2 (en) Stylized rendering using a multi-flash camera
Wadhwa et al. Synthetic depth-of-field with a single-camera mobile phone
Rudnev et al. Nerf for outdoor scene relighting
Raskar et al. Non-photorealistic camera: depth edge detection and stylized rendering using multi-flash imaging
Khan et al. Image-based material editing
Zollmann et al. Image-based ghostings for single layer occlusions in augmented reality
US8320666B2 (en) Real-time image and video matting
JP2009543161A (ja) 拡散ベースの画像再照明のための方法および装置
AU2016273984A1 (en) Modifying a perceptual attribute of an image using an inaccurate depth map
Liu et al. Fog effect for photography using stereo vision
JP7120740B2 (ja) 適応的デプスガイドノンフォトリアリスティックレンダリング方法、対応するコンピュータプログラム製品、コンピュータ読取可能搬送媒体及びデバイス
Jeong et al. Photo quality enhancement by relocating subjects
Chuang New models and methods for matting and compositing
Endo et al. Matting and compositing for fresnel reflection on wavy surfaces
Xia et al. A Dark Flash Normal Camera
Giusti et al. Isolating Motion and Color in a Motion Blurred Image.
Kanthan et al. Single image fog removal using COIN filters
Lagger et al. Multiple light sources recovery in the presence of specularities and texture

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140115

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees