JPWO2018139237A1 - 画像処理方法 - Google Patents

Abstract

比較的強い外乱光の下で動体の形状を撮影画像から復元し、あるいは視認できない画像が埋め込まれた動画像からその埋め込み画像を復調し表示させる。本発明の画像処理方法は、（ａ）物体の表面にスペクトラム拡散変調された信号に基づき点滅光を照射するステップＳ１と、（ｂ）物体の表面からの反射光を受光し画像情報を含む信号を出力するステップＳ２と、（ｃ）画像情報を含む信号から低周波数成分を含むノイズを除去するフィルター処理ステップＳ３と、（ｄ）フィルター処理後の信号を逆拡散し復調するステップＳ４、Ｓ５と、（ｅ）復調後の信号に基づき物体の表面の状態を反映した画像を出力するステップＳ６と、を含む。

Description

本発明は、画像処理方法に関し、より具体的には、外乱光下で物体の表面に投影されるあるいは画面上に表示される特定パターンを含む撮影画像を処理することにより、物体形状の復元あるいは画面上の隠蔽画像の表示などを行うための画像処理方法に関する。

従来から、プロジェクタ等の光源とカメラを用いて、撮影画像から物体形状を復元する画像処理システム／方法が提案されている。例えば、特許文献１は、観測対象物上に投影されたグリッドパターンを含む撮影画像から対象物の形状を復元する画像処理方法を開示する。特許文献２は、運動する物体への投影パターンを含む撮影画像から復調された同期パターンの位相を用いて、物体形状を復元する画像処理方法を開示する。特許文献３は、環境光下で物体へ投影されたグリッドパターンを含む撮影画像からバンドパスフィルタを用いて物体の形状を復元する画像処理方法を開示する。

また、非特許文献１は、対象物へアダマール行列に基づいたパターンを用いて複数の光源を同時に点灯して、カメラでの撮影画像から対象物の形状を復元する画像処理方法を開示する。さらに、非特許文献２は、スペクトラム拡散変調を用いて画像中に埋め込んだ情報を復調して復元（表示）する方法を開示する。

特許第５３１７１６９号公報 特許第５７６１７５０号公報 国際公開ＷＯ２０１４／０２０８２３公報

Proceedings of the Ninth IEEE International Conference on Computer Vision (ICCV’03) IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 8, NO. 8, pp 1075-1083, AUGUST 1999

上記した特許文献および非特許文献の各々は、撮影画像から物体形状を復元したり、あるいは画像中に埋め込んだ情報を復元するための画像処理方法として個々にその目的を達成しているが、比較的強い外乱光の下で動体の形状を撮影画像から復元したり、あるいは視認できない画像が埋め込まれた動画像からその埋め込み画像を復調し表示させるような場合には必ずしも有効な画像処理方法を開示するものではない。

本発明の一態様の画像処理方法は、（ａ）物体の表面にスペクトラム拡散変調された信号に基づき点滅光を照射するステップと、（ｂ）物体の表面からの反射光を受光し画像情報を含む信号を出力するステップと、（ｃ）画像情報を含む信号から低周波数成分を含むノイズを除去するフィルター処理ステップと、（ｄ）フィルター処理後の信号を逆拡散し復調するステップと、（ｅ）復調後の信号に基づき物体の表面の状態を反映した画像を出力するステップと、を含む。

本発明の他の一態様の画像処理方法は、（ａ）表示画面に表示する動画像中への埋め込み映像を準備するステップであって、当該埋め込み映像は、スペクトラム拡散変調された信号に基づき前記表示画面の画素を点灯させることにより表示されるステップと、（ｂ）表示画面に表示された、埋め込み映像を含む動画像を撮影するステップと、（ｃ）撮影された動画像の信号から低周波数成分を含むノイズを除去するフィルター処理ステップと、（ｄ）フィルター処理後の信号を逆拡散し復調するステップと、（ｅ）復調後の信号に基づき埋め込み映像を出力するステップと、を含む。

本発明の一態様の画像処理システムは、（ａ）物体の表面にスペクトラム拡散変調された信号に基づき点滅する光を照射するための光源と、（ｂ）物体の表面からの反射光を受光し画像情報を含む信号を出力する撮像装置と、（ｃ）画像情報を含む信号から低周波数成分を含むノイズを除去するためのフィルターと、（ｄ）フィルターの処理後の信号を逆拡散し復調するための演算処理装置と、（ｅ）復調後の信号に基づき物体の表面の状態を反映した画像が表示する表示装置と、を含む。

本発明によれば、物体へのスペクトラム拡散変調光の照射と、その照射中の物体の撮影画像のフィルタリング処理を用いることにより、外乱光下において静止体あるいは動体の形状を計測することができる。また、本発明によれば、動画中へスペクトラム拡散変調を用いて映像を埋め込むことにより、その動画の撮影画像から復調した埋め込み映像を表示させることができる。

本発明の一実施形態の画像処理システムの構成を示す図である。 本発明の一実施形態の画像処理方法のフローを示す図である。 本発明の他の一実施形態の画像処理方法のフローを示す図である。 本発明の実施例１を説明するための図である。 本発明の実施例１を説明するための図である。 本発明の実施例２を説明するための図である。 本発明の実施例３を説明するための図である。 本発明の実施例３を説明するための図である。 本発明の実施例４を説明するための図である。

図面を参照しながら本発明の実施形態について説明する。図１は、本発明の一実施形態の画像処理システムの構成を示す図である。画像処理システム１００は、物体１に光を照射するための光源１０と、物体の表面からの反射光を受光することができる撮像装置１２と、光源１０と撮像装置１２に接続する演算処理装置１４を含む。被写体となる物体１は、少なくとも外形表面から光を反射可能な物体、言い換えれば撮像装置１２で撮影可能な物体であれば良く、静止体のみならず動体も含むことができる。動体は、自らが動く（自動式）物体あるいは他の手段（機構）によって動かされる（他動式）物体の双方を含むことができる。

光源１０は、物体１の表面にスペクトラム拡散変調された信号に基づき点滅する光を照射することができるように構成される。そのスペクトラム拡散変調された信号は演算処理装置１４によって供給される。光源１０は、発光ダイオード（ＬＥＤ）、レーザダイオード（ＬＤ）、ビデオプロジェクタなどの発光源を用いることができる。光源１０は、より具体的には、例えば所定のパターン（ドットパターン等）を物体１の表面に投影可能なレーザパターンプロジェクターを用いることができる。光源１０は、単一波長あるいは複数波長のスペクトルを含む光源を用いることができる。光源１０は、少なくとも１つあればよく、２以上の異なる方向から光を照射可能な同一または異なる種類の光源を用いることもできる。

撮像装置１２は、例えばＣＭＯＳやＣＣＤからなるイメージセンサ（エリアセンサ）を含むカメラを用いることができる。撮像装置１２は、モノクロまたはカラー（ＲＧＢ）のカメラ、あるいはハイパースペクトルカメラを用いることができる。撮像装置１２は、光源１０の発光（点滅）と同期して撮影する必要があることから撮影速度（コマ/秒）が速いハイスピードカメラを用いることができる。撮像装置１２は、画像情報を含む信号（映像データ）を演算処理装置１４に出力する。

演算処理装置１４は、撮像装置１２から受信する画像情報を含む信号（映像データ）を数値的に演算処理して表示可能な、プロセッサ（ＣＰＵ）、メモリ、ディスプレイ等を含むパーソナルコンピュータ（ＰＣ）等を用いることができる。演算処理装置１４は、その演算処理機能として、画像情報を含む信号（映像データ）から低周波数成分を含むノイズを除去するためのフィルターとしても機能する。なお、フィルターは、演算処理装置１４とは別の独立なあるいは付随する装置として構成してもよい。演算処理装置１４は、さらにフィルター処理後の信号を逆拡散し復調する機能も有する。復調後の信号に基づき物体の表面の状態を反映した画像が、演算処理装置１４が備えるディスプレイに表示される。

図２は、本発明の一実施形態の画像処理方法のフローを示す図である。図２のフローは、例えば図１の画像処理システムを用いて実行することができる。図２のフローは、室内または屋外の外乱光（室内照明、太陽光等）がある中で実行することができる。その際の外乱光は、撮像装置１２の各受光素子の出力が飽和しない範囲であれば比較的強い光強度（明るさ）の外乱光であってもよい。本発明のシステム及び方法では、その比較的強い外乱光（ノイズ）下でも物体表面の特定画像を得ることができることが１つの特徴である。

図２のステップＳ１において、物体の表面にスペクトラム拡散変調された信号に基づき点滅光を照射する。具体的には、例えば図１のシステムにおいて、物体１の表面に光源１０からスペクトラム拡散変調された信号に基づき発光する点滅光を照射する。スペクトラム拡散変調された信号は、演算処理装置１４によって生成される。物体１は、上述したように静止体のみならず動体も含むことができる。スペクトラム拡散変調には、直接拡散方式（ＤＳ）を用いることができる。

直接拡散方式（ＤＳ）において、スペクトラム拡散変調された信号は、元の信号（基準信号）を１次変調した信号に擬似ランダム雑音（ＰＮ）系列の拡散符号を乗算して得ることができる。拡散符号は、例えば長さＬの最長系列（ＭＬＳ）符号を含むことができる。その長さＬの最長系列（ＭＬＳ）符号は、例えば演算処理装置１４が内蔵する線形フィードバックシフトレジスタ（ＬＦＳＲ）を用いて生成することができる。拡散符号として、符号（−１と１）を含むアダマール行列や符号（０、１）を含むＳ行列を用いることもできる。

点滅光は、光源１０にレーザパターンプロジェクターを用いることにより、例えば所定のグリッドパターンを含むようにすることができる。点滅光は単一波長あるいは複数波長のスペクトルを含むようにすることができる。点滅光は複数の異なる方向から物体１に照射させることもできる。ステップＳ２において、物体の表面からの反射光を受光し画像情報を含む信号を出力する。具体的には、例えば図１のシステムにおいて、物体１の表面からの反射光を撮像装置１２で受光し、言い換えれば点滅光が照射されている物体１を撮像装置１２で撮影し、その撮影画像を内蔵するメモリに保管し、さらにその撮影画像を演算処理装置１４に送る。

ステップＳ３において、画像情報を含む信号から低周波数成分を含むノイズを除去するフィルター処理を行う。具体的には、例えば図１のシステムにおいて、演算処理装置１４において、ハイパスフィルターと、選択的に空間フィルターを用いて撮影映像信号（映像データ）を処理してノイズ成分を除去する。このノイズ成分は、撮影時の外乱光に起因して発生する比較的低周波数のノイズを含む。ハイパスフィルター処理において、例えば、逆離散フーリエ変換（ＩＤＦＴ）関数を用いて、さらに窓関数（例えばハン窓（Hanning Window））を用いて、すなわち撮影画像信号（映像データ）にこれらの関数を乗算して、低周波数のノイズ及びリップルノイズを除去することができる。空間フィルター処理においては、例えばガウシアンフィルタ（Gaussian Filter）を用いて処理することができる。

ステップＳ４において、フィルター処理後の信号（映像データ）を逆拡散する。具体的には、フィルター処理後の信号に逆拡散符号を乗算して逆拡散後の信号を生成する。逆拡散符号は、拡散符号と同じ符号を用いることができる。ステップＳ５において、逆拡散後の信号を復調する。なお、ステップＳ４の逆拡散とステップＳ５の復調は１つのステップとして同時に（連続して）実行することができる。ステップＳ６において、復調後の信号に基づき物体の表面の状態を反映した画像を出力する。その画像（映像）は、演算処理装置１４が備えるディスプレイに表示させることができる。

図２の画像処理方法で使用するスペクトラム拡散変調（直接拡散方式）は、下記の式（１）〜（５）で信号の流れが説明されるように、従来から無線通信等の技術分野で用いられているものである。本発明では、（ｉ）光源が発する光をスペクトラム拡散変調された点滅光として物体に照射して利用する点、及び（ｉｉ）その点滅光が照射される物体の撮影画像を逆拡散する前に所定のフィルタリング処理をして外乱光等に起因するノイズ成分を除去する点が従来技術と大きく異なる点（特徴）である。

＜直接拡散方式の信号の流れ＞
時間ｔ_kにおける基準信号ｓ_kを関数Ｆを用いて１次変調信号Ｍ₁(ｔ_k)とする。ただし、ｋＴ＜ｔ_k＜(ｋ＋１)Ｔ（Ｔ：基準信号の周期、ｋ：時間ステップ）である。

変調信号Ｍ₁(ｔ_k)は、時間ステップｋでＬ個のチップ（送信データビット）に分割された後、拡散符号Ｓによってスペクトラム拡散されてスペクトラム拡散変調信号Ｍ₂(ｔ_k)となる。

送信される変調信号Ｍ₂(ｔ_k)にはノイズｎ(ｔ_k)が加わり、受信信号Ｍ´₂(ｔ_k)として受信される。

受信信号Ｍ´₂(ｔ_k)は逆拡散符号Ｓ´により逆拡散されて信号Ｄ(ｔ_k)となる。

最後に、逆拡散後の信号Ｄ(ｔ_k)を関数Ｆに対応する関数Ｆ´を用いて復調して、復調信号ｓ_k´を得る。

ここで、外乱光下で動体を観測する場合の撮影映像のフィルター処理及び逆拡散・復調処理に関してさらに説明する。外乱光は動きの無いシーンでは撮影した映像信号中のほぼ一定な直流（ＤＣ）成分と捉えることができる。しかし、動きのあるシーンでは、その直流（ＤＣ）成分は一定ではなく、撮影速度（フレームレート）に比べて遅い動体の動きに応じて変化する比較的低周波な成分を含むことになる。したがって、外乱光下で動体を観測する場合は、ハイパスフィルターを用いて映像信号からその低周波な成分を除去してから復調する必要がある。

周波数ω_Tよりも大きな周波数を透過させるハイパスフィルターは、周波数領域として（６）式で表すことができる。

時間領域でのハイパスフィルターｈ(ｔ)は、（７）式で定義することができる。

ここで、ＩＤＦＨ（Ｈ）は、Ｈ(ω)の逆離散フーリエ変換（ＩＤＦＴ）を意味し、ω(ｔ)は、ω(ｔ)＝０.５−０.５ｃｏｓ(２π／Ｌ_ω)で定義されるハン窓（Hanning Window）を意味する。ノイズｎ(ｔ)が低周波数成分だけを含む場合、ｈ(ｔ)との畳み込みはｈ(ｔ)＊ｎ(ｔ)＝０となる。外乱光の影響は、受信信号Ｍ´₂(ｔ)とハイパスフィルターｈ(ｔ)の畳み込みによって除去することができる。

拡散符号Ｓ(ｔ)に最長系列（ＭＬＳ）符号を用いた場合、逆拡散符号Ｓ´(ｔ)＝Ｓ(ｔ)となり、動体が観測され低周波成分がゼロでない場合、逆拡散信号Ｄ(ｔ)は（８）式のようになる。

スペクトラム拡散信号もしかしながらゼロではない低周波成分を持っている。（８）式によって逆拡散される信号はハイパスフィルターによって影響を受けることになるので、復調させるための関数Ｆ´は元の関数Ｆに応じて変形させる必要がある。

追加のノイズフィルターは空間フィルターとの組み合わせによって得ることができる。周辺画素が類似信号を受信したと仮定することによって、ガウシアンフィルタ（Gaussian Filter）であるｇ（ｘ、ｙ）を受信信号に適用することができる。ここで、ｘ、ｙは画素の座標である。この場合、逆拡散信号Ｄは（９）式のように変形される。

次に、変調関数Ｆを用いた単純なケースとして直流（ＤＣ）成分の振幅変調について検討する。ちなみに、式（１）でも記載したように、１次変調信号Ｍ₁(ｔ_k)＝ｓ_k、ただし、ｋＴ_b＜ｔ_k＜(ｋ＋１)Ｔ_b（Ｔ_b：基準信号の周期、ｋ：時間ステップ）である。最初に、１つの光源の場合を想定する。ｓをｋＴ_b＜ｔ_k＜(ｋ＋１)Ｔ_bでの送信信号とし、ｍを空間フィルターを適用した後の受信信号Ｍ´₂(ｔ)のベクトルとする。さらに、拡散符号からベクトルＳ＝[Ｓ(ｔ)]（ｔ＝ｉｋＴ_b／Ｌ、ｉ＝０、・・・、Ｌ−１）とする。ハイパスフィルター値からなる行ベクトルｈによって、Ｌ×(Ｌ＋Ｌ_ω−１)行列Ｈは（１０）式で定義される。

ハイパスフィルターを用いてゼロでないノイズの低周波成分を除去することによって、（１１）式を得る。

（１１）式の最小二乗法による解は（１２）式となる。

（１２）式の右辺の係数の行列は逆拡散及び復調の合成関数に相当し、復調のために受信信号と畳み込みされるフィルターとして使われる。

複数の光源の場合を想定すると、最長系列（ＭＬＳ）によって与えられた符号から循環シフトされた拡散符号を用いて個々の信号が抽出される。Ｓ_jをｊ回の循環シフトＳによって与えられた拡散符号の列ベクトルとする。Ｍ個の光源が使われる場合、上述した１つの光源の場合と同様に、係数の行列は（１３）で得ることができる。

ここで、Ｑは（１４）式で表される拡散符号の行列である。

図３は、本発明の他の一実施形態の画像処理方法のフローを示す図である。図３のフローは、例えば図１のシステムにおける撮像装置１２と演算処理装置１４を用いて実行することができる。ステップＳ１０において、表示画面に表示する動画像中への埋め込み映像を準備する。具体的には、例えば演算処理装置１４によって動画像中への埋め込み映像を表示させるためのスペクトラム拡散変調された信号を生成し、そのスペクトラム拡散変調された信号に基づき演算処理装置１４が備えるディスプレイに表示（ディスプレイの画素を点灯）させることができるように準備する。ディスプレイには液晶モニタやビデオプロジェクタなどが含まれる。その際、スペクトラム拡散変調された埋め込み映像の表示は、比較的高い周波数で低い光出力（各画素の輝度）に設定し、動画の再生中にはそのままでは視認できないようにする。

ステップＳ１１において、表示画面に表示された、埋め込み映像を含む動画像を撮影する。具体的には、例えば演算処理装置１４が備えるディスプレイで再生された埋め込み映像を含む動画を撮像装置１２で撮影する。その撮影画像（映像データ）は、撮像装置１２が内蔵するメモリに保管され、さらに演算処理装置１４に送られる。ステップＳ１２において、演算処理装置１４において、撮影された動画像の信号（映像データ）から低周波数成分を含むノイズを除去するフィルター処理を行う。このフィルター処理は、基本的に上述した図２のステップＳ３のフィルター処理と同様な方法で行うことができる。

ステップＳ１３において、フィルター処理後の信号（映像データ）を逆拡散する。具体的には、フィルター処理後の信号に逆拡散符号を乗算して逆拡散後の信号を生成する。逆拡散符号は、拡散符号と同じ符号を用いることができる。ステップＳ１４において、逆拡散後の信号を復調する。なお、ステップＳ１３の逆拡散とステップＳ１４の復調は１つのステップとして同時に（連続して）実行することができる。ステップＳ１５において、復調後の信号に基づき動画像中に埋め込まれた埋め込み映像を出力する。その映像は、演算処理装置１４が備えるディスプレイに表示させることができる。これによりいわば動画中に隠された埋め込み映像を視認することができる。

図４と図５を参照しながら実施例１について説明する。実施例１は、強い外乱光下で対象物である彫刻像の表面にグリッドパターンを照射しながら彫刻像を撮影して、そのグリッドパターンを含む彫刻像の画像を表示（再現）させる場合の例である。図４はその測定の際の配置を示している。彫刻像（Target object）の斜め手前側に外乱光を模擬するためのランプ（External light）が置かれ、さらに手前側に本発明の方法によるスペクトラム拡散変調されたグリッドパターンを投光するためのレーザパターンプロジェクター（Laser pattern projector）と、彫刻像を撮影するためのハイスピードカメラ（High speed camera）が置かれている。なお、図示はされていなが、レーザパターンプロジェクターとハイスピードカメラは、ディスプレイを備えるコンピュータ（ＰＣ）に通信可能に接続されている。

図４の配置での測定において、ランプは、彫刻像から約０.７ｍの距離に置かれ、４００Ｗの出力を有し、彫刻像を約１００Ｋルクスで照らすことができる。レーザパターンプロジェクターは、彫刻像から約１.７ｍの距離に置かれ、約８００ｎｍの波長のスペクトラム拡散変調された波型グリッドパターン光を約４０ｍＷの光強度で彫刻像の表面に照射する。ハイスピードカメラは、約８００ｎｍの波長光を受光可能なバンドパスフィルタを備え、５１２×５１２画素の１２ビットの画像を２２５００ＦＰＳで撮影することができる。

図５は、上記した測定条件で測定した結果を示すディスプレイでの表示画像を示す。（ａ）は、彫刻像をランプによって約１００Ｋルクスで照らし、同時にペクトラム拡散変調された波型グリッドパターン光を照射した場合のハイスピードカメラでの撮影画像である。画像からは波型グリッドパターンは視認することはできない。（ｂ）〜（ｃ）は、撮影画像を上述した図２のステップＳ３〜Ｓ６の画像処理方法で処理した結果の表示画像である。ペクトラム拡散変調に用いる拡散符号の長さＬが、（ｂ）Ｌ＝１５、（ｃ）Ｌ＝６３、（ｄ）Ｌ＝２５５と異なっている。いずれも彫刻像の表面形状を反映した波型グリッドパターンが視認できている。波型グリッドパターンの鮮明度は、拡散符号の長さＬが長くなるほど鮮明になっていることがわかる。

図６を参照しながら実施例２について説明する。実施例２は、太陽光下で対象物として手から離れて動くゴムボール（動体）の表面にグリッドパターンを照射しながらゴムボールを撮影して、そのグリッドパターンを含む画像を表示（再現）させる場合の例である。測定において、図４の実施例１の場合と同様に、レーザパターンプロジェクターとハイスピードカメラを使用している。測定の際の太陽光の明るさは約５０Ｋルクスであり、約８００ｎｍの波長のスペクトラム拡散変調された波型グリッドパターン光を約８５ｍＷの光強度でゴムボールに照射している。スペクトラム拡散変調に用いる拡散符号の長さＬ＝２５５である。

図６は、測定した結果を示すディスプレイでの表示画像を示す。（ａ）はゴムボールの動く様子を撮影した３つの瞬間の撮影画像（処理なしの生画像）である。（ｂ）はレーザパターンプロジェクターでスペクトラム拡散変調された波型グリッドパターン光を照射した場合の３つの瞬間の撮影画像である。画像からは波型グリッドパターンは視認することはできない。（ｃ）は、撮影画像を上述した図２のステップＳ３〜Ｓ６の画像処理方法で処理した結果の表示画像である。ただし、ステップＳ３のフィルタリング処理は行っていない。ゴムボールと手の境界領域に本来あるべきでない画像（動きによるノイズ画像）が現れてしまっている。（ｄ）は、フィルタリング処理（ハイパスフィルター処理）を含めて、撮影画像を上述した図２の画像処理方法で処理した結果の表示画像である。（ｃ）であった動きによるノイズ画像が無くなっている。（ｅ）は得られた復調画像から復元した３次元（３Ｄ）画像である。

図７と図８を参照しながら実施例３について説明する。実施例３は、フォトメトリックステレオ法に本発明の画像処理方法を適用した場合の例である。図７は測定システムの様子を示す図である。（ａ）においてカメラのレンズの回りに６０個のＬＥＤを円形に配置している。隣り合う６個のＬＥＤが１セットとして点滅（オンオフ）するようになっている。ＬＥＤの点滅には、本発明のスペクトラム拡散変調された信号に基づく点滅（変調光）が用いられる。（ｂ）に示すように、ＬＥＤを配置したカメラを対象物である台上のあひる置物から約１.５ｍの距離に配置する。その結果、あひる置物は１０方向の各々から６個のＬＥＤで照射されることになる。図示はされていないが、実施例１、２の場合と同様にあひる置物はハイスピードカメラで撮影できるようになっている。

図８は、測定した結果を示すディスプレイでの表示画像を示す。（ａ）の３画像は外乱光無しの状態で長い露光時間で撮影した参照画像である。（ｂ）〜（ｄ）の各画像は、ＬＥＤをスペクトラム拡散変調信号を用いて点灯させた状態でのハイスピードカメラでの撮影画像を本発明の画像処理方法で処理した後の画像である。（ｂ）〜（ｄ）の各々の右端の画像は３次元の復元画像である。（ｂ）の３画像は外乱光無しの状態で得られた画像であり、（ｃ）と（ｄ）は外乱光有りの状態で得られた画像である。（ｃ）ではフィルタリング処理のハイパスフィルター処理を行っており、（ｄ）ハイパスフィルター処理に加えて空間フィルター処理も行っている。（ｃ）と（ｄ）の外乱光有りの状態でもあひる置物が十分に視認できるほど再現されていることがわかる。

図９を参照しながら実施例４について説明する。実施例４は、上述した図３の画像処理フローに基づき動画中に埋め込まれた埋め込み画像をコンピュータ（ＰＣ）のディスプレイに表示させる場合の例である。ディスプレイのリフレッシュレートは６０Ｈｚである。図９の（ａ）は入力画像（動画像）を示す。ヒヒの顔を視認することができる。（ｂ）は本発明の方法（スペクトラム拡散変調）を用いて埋め込まれる画像（女性画像）である。使用した拡散符号の長さＬ＝３１である。（ｃ）はスペクトラム拡散変調を用いて埋め込み画像を表示した場合の画像フレームを示している。ディスプレイの各画素の輝度が小さく埋め込み画像を視認できない黒画面状態となっている。（ｄ）は、ディスプレイ上において、（ａ）の視認可能な入力画像と、（ｃ）の視認できない埋め込み画像を左右にスライドさせながらカメラで撮影し、その撮影画像を本発明の方法で処理した後の復調画像である。この場合、ハイパスフィルター処理に加えて空間フィルター処理も行っている。埋め込み画像が表示（再現）されている。

本発明の実施形態について、図を参照しながら説明をした。しかし、本発明はこれらの実施形態に限られるものではない。さらに、本発明はその趣旨を逸脱しない範囲で当業者の知識に基づき種々なる改良、修正、変形を加えた態様で実施できるものである。

１：物体（対象物）
１０：光源
１２：撮像装置
１４：演算処理装置
１００：画像処理システム

Claims (14)

1. 画像処理方法であって、
   物体の表面にスペクトラム拡散変調された信号に基づき点滅光を照射するステップと、
   前記物体の表面からの反射光を受光し画像情報を含む信号を出力するステップと、
   前記画像情報を含む信号から低周波数成分を含むノイズを除去するフィルター処理ステップと、
   前記フィルター処理後の信号を逆拡散し復調するステップと、
   前記復調後の信号に基づき前記物体の表面の状態を反映した画像を出力するステップと、を含む画像処理方法。
2. 前記スペクトラム拡散変調された信号は、基準信号を１次変調した信号に擬似ランダム雑音（ＰＮ）系列の拡散符号を乗算して得られる、請求項１に記載の画像処理方法。
3. 前記拡散符号は長さＬの最長系列（ＭＬＳ）符号を含む、請求項２に記載の画像処理方法。
4. 前記フィルター処理ステップは、ハイパスフィルターと、選択的に空間フィルターとを用いて前記画像情報を含む信号を処理することを含む、請求項１に記載の画像処理方法。
5. 前記点滅光を照射するステップは、グリッドパターンの点滅光を照射するステップを含む、請求項１に記載の画像処理方法。
6. 前記点滅光を照射するステップは、波長の異なる複数の光を含む点滅光を照射するステップを含む、請求項１に記載の画像処理方法。
7. 前記点滅光を照射するステップは、複数の異なる方向から点滅光を照射するステップを含む、請求項１に記載の画像処理方法。
8. 前記物体は動体を含む、請求項１〜５のいずれか１項に記載の画像処理方法。
9. 画像処理方法であって、
   表示画面に表示する動画像中への埋め込み映像を準備するステップであって、当該埋め込み映像は、スペクトラム拡散変調された信号に基づき前記表示画面の画素を点灯させることにより表示される、ステップと、
   前記表示画面に表示された、前記埋め込み映像を含む前記動画像を撮影するステップと、
   撮影された前記動画像の信号から低周波数成分を含むノイズを除去するフィルター処理ステップと、
   前記フィルター処理後の信号を逆拡散し復調するステップと、
   前記復調後の信号に基づき前記埋め込み映像を出力するステップと、を含む画像処理方法。
10. 画像処理システムであって、
    物体の表面にスペクトラム拡散変調された信号に基づき点滅する光を照射するための光源と、
    前記物体の表面からの反射光を受光し画像情報を含む信号を出力する撮像装置と、
    前記画像情報を含む信号から低周波数成分を含むノイズを除去するためのフィルターと、
    前記フィルターの処理後の信号を逆拡散し復調するための演算処理装置と、
    前記復調後の信号に基づき前記物体の表面の状態を反映した画像が表示する表示装置と、を含む画像処理システム。
11. 前記スペクトラム拡散変調された信号は、基準信号を１次変調した信号に擬似ランダム雑音（ＰＮ）系列の拡散符号を乗算して得られる、請求項１０に記載の画像処理システム。
12. 前記拡散符号は長さＬの最長系列（ＭＬＳ）符号を含む、請求項１１に記載の画像処理システム。
13. 前記フィルター処理装置は、ハイパスフィルターと、選択的に空間フィルターとを用いて前記画像情報を含む信号を処理することを含む、請求項１０に記載の画像処理システム。
14. 前記光源は、（ｉ）グリッドパターンの点滅光を照射する、（ｉｉ）波長の異なる複数の光を含む点滅光を照射する、または（ｉｉｉ）複数の異なる方向から点滅光を照射するように構成されている、請求項１０に記載の画像処理システム。

Images