JP3984149B2 - 画像処理システム及び画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、対象物体やシーンの画像や形状情報を入力し、主に形状を変化させ、エンターテイメント性のあるシーンを再構成するための画像処理システム及び画像処理方法に関する。
【０００２】
【従来の技術】
近年、画像入力装置（カメラ）が非常に小型化、低価格化してきており、様々な装置にカメラが取り付けられるようになっている。本来通話をするための携帯電話にカメラが取り付けられ、画像を用いたコミュニケーションが出来るようになり、ヒット商品にもなった。また、ＰＤＡ（携帯型コンピュータ）にもカメラを付けることができるようになっているものがある。ＵＳＢという標準化された低価格なインタフェースが出現したこともあり、ＰＣに接続して用いることができる小型カメラは廉価になり、これとネットワーク技術を組み合わせればリアルタイムな画像コミュニケーション（いわゆるＴＶ電話のようなもの）も可能である。もちろん、デジタルスチルカメラ（いわゆるデジカメ）も低価格化、小型化が進み、いつでも持ち歩いて、気が向いたときに画像を取得することができる。
【０００３】
しかし、このようにどこでも画像入力ができるような環境になってきているのにも関わらず、その使い方はあまり変わっておらず、基本的に画像を取得して、再生するというものである。これは動画、静止画を問わない。レタッチソフトなどを用いて、取得した主に静止画像を加工する手段はあるが、クリエーターなどのプロはともかく、一般的なユーザがそういった加工を行う頻度は少ない。動画像に関しても、ムービーカメラなどの普及により、一般ユーザが動画像を撮影する機会は増えているものの、加工といえば、時間軸での切り張りのような編集やせいぜいテロップを入れたり、ちょっとした絵を加えるという程度である。もっと画像の内容に踏み込んだ加工などを自由に行え、特にそれが自動、あるいは半自動でできるようになると、画像をもっとエンターテイメントとして扱えるようになる。
【０００４】
現状の技術でそのようなことが難しい原因のひとつは、画像中から対象物に関する情報を得るのが難しいことである。一般的に画像は、主に撮像対象となっている物体と背景に分けられることが多く、例えばこの物体と背景を容易に分離することができれば、それを用いて加工をすることはできる。例えば、画像中からオブジェクトを背景から分離し、これを用いて、オブジェクトのみを用いて画像コミュニケーションを行う技術が記載されている（例えば、特許文献１）。ここでは、顔などのパーツを分離し、別に用意した背景に、対話をしている複数人の顔パーツを表示することで、サイバー空間でコミュニケーションを行っているような効果を与えている。
【０００５】
しかし、物体と背景を分離するだけでは複雑な加工を施すことは難しい。３次元情報を取得し、画像に加工を加える例もある。最近では非常に高価ではあるが、カラー画像と奥行き画像を同時に取得できる装置が開発されている（例えば、特許文献２）。この装置はその原理上、大型で高価であるため、放送局向けなどの専用装置として使われている。これを開発した会社のホームページでは、このカメラの応用として、取得した画像を３次元シーンとして捉え、その中に仮想のＣＧオブジェクトを重ねて表示する例が記載されている（非特許文献１）。しかし、画像中の対象物体を３次元物体と見なし、それを変形する、といったより高度な加工を施すことはできない。また、この装置は高価であるため、コンシューマエンターテイメント市場に供することは全く不可能である。
【０００６】
アートの世界では、ビデオを用いたアートとして、入力画像をさまざまに変形して表示するという形は多用される。しかし、これらも中に映っている物体に関しての情報を用いることはなく、決まった手順に沿って画像を変換しているだけである。一種独特の雰囲気を出すためにこのような加工を行うことは価値があるが、映っている特定の物体に特徴的な加工を施すことはできない。
【０００７】
ビデオゲームの世界では、３次元ＣＧの技術がふんだんに使われているが、カメラで取得した画像もしくは動画像を積極的に取り入れているものは少ない。画像で取得した人の顔を、ゲームのキャラクタの顔と入れ替えるなどのことは行われているが、部品の交換というレベルにとどまっている。動画像を真にエンターテイメントとして楽しむレベルに押し上げるためには、取得した画像を３次元で扱い、加工する技術の向上が必要である。
【０００８】
【特許文献１】
特開２００１−１８８９１０公報（【０１５８】−【０１７０】、第２４図）
【０００９】
【特許文献２】
特表２００２−５０２９８９公報
【００１０】
【非特許文献１】
３ＤＶ Ｓｙｓｔｅｍｓ社のホームページｈｔｔｐ：／／ｗｗｗ．３ｄｖｓｙｓｔｅｍｓ．ｃｏｍ／ｉｎｄｅｘ．ｈｔｍｌ
【００１１】
【発明が解決しようとする課題】
従来、３次元シーンを取得し、３次元オブジェクトを追加したり、可視画像を変化させたりと言った限定的な加工は実現しているが、さらにエンターテイメント性を高めるために、対象物体を３次元形状として捉え、その形状を変形させることを可能とすることはできなかった。
【００１２】
また、３次元オブジェクトを追加したり、可視画像を変化させたりと言った限定的な加工に限っても、従来は非常に高価な装置を使わなくては実現できず、一般コンシューマのエンターテイメントとして利用することは不可能であった。
【００１３】
３次元ＣＧだけの世界では、どんな物体も作り出すことができたし、どのような非現実的な挙動をさせることも可能であり、そのような技術を用いて様々なゲームやエンターテイメントが作られてきた。しかし、現実世界を映した自然画像などに対し、例えば実際とは異なる外観となるように加工し、再表示することで、エンターテイメントとしての楽しさを実現させるような効果を与える手段はこれまでなかった。
【００１４】
本発明は、上記事情を考慮してなされたもので、対象物体やシーンを撮像して、その形状や外観を変化させて、シーンを再構築することで、よりエンターテイメント性の高いシーンを作ることを可能にした画像処理システム及び画像処理方法を提供することを目的とする。
【００１５】
また、本発明は、上記のような機能をより低価格の装置で実現できるようにした画像処理システム及び画像処理方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明に係る画像処理システムは、対象物体を含むシーンの可視画像を入力するための可視画像入力手段と、前記対象物体の３次元形状を示す３次元形状情報を入力するための３次元形状情報入力手段と、前記３次元形状情報をもとに、前記対象物体の形状の特徴を解析する手段と、対象物体の形状の特徴と対象物体の３次元形状情報に加える変形の種類とを対応付けた対応情報に基づいて、解析された前記形状の特徴に対応する変形の種類を決定し、入力された前記３次元形状情報をもとに、前記対象物体の３次元形状に対して、当該決定した種類の変形を加えた場合の３次元形状を示す３次元形状情報を生成する処理手段と、生成された前記３次元形状情報及び入力された前記可視画像に基づいて、前記対象物体を含むシーンの画像を再構成するための再構成手段とを備えたことを特徴とする。本発明によれば、現実と異なるシーンを再構成することができる。また、これによって、その形状にふさわしい変形ができるようになる。
また、本発明に係る画像処理システムは、対象物体を含むシーンの可視画像を入力するための可視画像入力手段と、前記対象物体の３次元形状を示す３次元形状情報を入力するための３次元形状情報入力手段と、前記３次元形状情報をもとに、前記対象物体の動きの特徴を解析する手段と、対象物体の動きの特徴と対象物体の３次元形状情報に加える変形の種類とを対応付けた対応情報に基づいて、解析された前記動きの特徴に対応する変形の種類を決定し、入力された前記３次元形状情報をもとに、前記対象物体の３次元形状に対して、当該決定した種類の変形を加えた場合の３次元形状を示す３次元形状情報を生成する処理手段と、生成された前記３次元形状情報及び入力された前記可視画像に基づいて、前記対象物体を含むシーンの画像を再構成するための再構成手段とを備えたことを特徴とする。本発明によれば、現実と異なるシーンを再構成することができる。
【００１７】
好ましくは、前記３次元形状情報入力手段は、前記対象物体に対する奥行き画像を入力する奥行き画像入力手段を含むようにしてもよい。
【００１８】
好ましくは、前記３次元形状情報入力手段は、前記対象物体からの反射光画像を入力する反射光画像入力手段と、前記反射光画像から前記３次元形状情報を取得する３次元形状情報取得手段とを含むようにしてもよい。これによって、より低コストな装置として構成することができる。
【００１９】
好ましくは、前記可視画像を変形及び又は加工するための処理手段を更に備え、前記再構成手段は、前記変形後の３次元形状情報並びに変形及び又は加工された前記可視画像に基づいて、前記対象物体を含むシーンを再構成するようにしてもよい。これによって、よりエンターテイメント性を高めることができる。
【００２１】
好ましくは、前記可視画像入力手段と前記反射光画像入力手段とは、単一の撮像素子上に実装されているようにしてもよい。これによって、装置をより小型にし、低コストにすることが可能になる。
【００２２】
好ましくは、前記可視画像及び前記３次元形状情報はリアルタイムに取得されるようにしてもよい。これによって、例えば、今映した物が、その場で非リアルな変形をしているところを間近で見ることができ、よりエンターテイメント性を高めることができる。
【００２６】
好ましくは、前記処理手段は、取得されたシーン内にある実物体の構造を解析する手段を含むようにしてもよい。これによって、その物体の属性にあった、変形が行えるようになる。
【００２７】
好ましくは、前記処理手段は、一定の法則のもとに前記対象物体の３次元形状を変形させていくようにしてもよい。これによって、よりエンターテイメント性を高めることができる。
【００２８】
好ましくは、所定の仮想的な物体を合成するための手段を更に備えるようにしてもよい。これによって、よりエンターテイメント性を高めることができる。
【００２９】
好ましくは、前記合成するための手段は、前記所定の仮想的な物体と、前記対象物体の３次元的形状との位置的な干渉を求め、その結果を変形及び又は加工の結果として反映させるものであるようにしてもよい。これによって、より非現実なシーンを作成でき、よりエンターテイメント性を高めることができる。
【００３０】
好ましくは、２次元又は３次元の表示装置を更に備えるようにしてもよい。これによって、これらエンターテイメント性の高いシーンをその場で見ることができるようになる。
【００３１】
好ましくは、再構成されたシーンに関する情報を送信するための手段を更に備えるようにしてもよい。これによって、これらエンターテイメント性の高いシーンを離れたところに送信することができ、例えば、ＴＶ電話のような画像コミュニケーションで、よりエンターテイメント性の高い画像を交換し、楽しむことが可能となる。
【００３４】
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読取り可能な記録媒体としても成立する。
【００３５】
本発明によれば、３次元形状や画像など実物体の外観に関する情報を取得し、それを実際とは異なる形状や外観となるように加工し、再表示することで、エンターテイメントとしての楽しさを実現させることが可能となった。例えば、鉛筆を映すと、本当は曲がりはしないのに、重力によってそうなったかのようにぐにゃっと折れ曲がって、表示されたり、人形を映すと、それ全体がゼリーになったように半透明になって表示されたり、また人形を動かすとそれが本当のゼリーのように「ぷるぷる」と震えて表示されたりするような表現が可能となった。
【００３６】
また、上記のようなエンターテイメント性の高い、画像の加工、表示が、非常に低コストなシステムで実現でき、一般コンシューマのエンターテイメントとして利用することが可能となった。
【００３７】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
【００３８】
図１に、本発明の一実施形態に係る画像処理システムの構成例を示す。図２に、本画像処理システムの動作手順の一例を示す。
【００３９】
図１に示されるように、本画像処理システムは、可視画像入力部１、反射光画像入力部２、奥行き画像獲得部３、形状解析部４、動き解析部５、形状変形部６、合成部７、表示部８を備えている。
【００４０】
可視画像入力部１は、対象物体およびシーンの可視画像（好ましくは、例えばカラー画像など）を入力する（ステップＳ１）。
【００４１】
反射光画像入力部２は、図示しない光源からアクティブに発光された光の物体およびシーンからの反射光の強さを画像として表した、反射光画像を取得する（ステップＳ１）。
【００４２】
奥行き画像獲得部３は、画素値が反射光の強さを表す反射光画像を、画素値が奥行き値を表す奥行き画像に変換する（ステップＳ２）。物体からの反射光の強さは基本的に距離の２乗に反比例するという法則があり、この相関関係を用いることによって、反射光画像を奥行き画像に変換することができる。実際には、単純に距離との相関だけでなく、物体表面の反射率、反射特性、面の傾きなどの影響も受ける。例えば、反射率などは、物体の色などからある程度の推測も可能であり（例えば、黒色は光を反射しにくく、白色は反射しやすい、など）、反射光画像から奥行き画像を獲得する際には、可視画像を上手く活用することもできる。なお、この奥行き画像のそれぞれの画素値は、必ずしも正確な距離を表しているとは限らない。上述したように、距離と反射光の関係は、他の要因にも影響を受けるので、正確な距離の計測は難しい。また、本実施形態は、必ずしも正確な距離が求まらない状況でも、十分効果を発揮することが可能である。
【００４３】
奥行き画像が獲得できたところで、次に、形状解析部４及び又は動き解析部５で、実物体の形状及び又はその動きを解析する（ステップＳ３）。
【００４４】
なお、所定の特徴量の解析部として、形状解析部４及び動き解析部５は一例であり、形状解析部４と動き解析部５の一方のみを備えてもよいし、形状解析部４及び又は動き解析部５に加えて、あるいはそれらの代わりに、他の特徴量の解析部を備えてもよい。
【００４５】
ここでは、形状解析部４を用いた場合を例にとって説明している。
【００４６】
形状解析部４は、実物体あるいはその一部がどのような形状なっているか（例えば、細長い棒状になっている、平らな面になっている、球状に膨らんでいる、平べったくなっている、などの状態）を解析する。
【００４７】
形状変形部６で、それぞれの部分形状をどのように変形させるかを決め、変形を実行する（ステップＳ３）。例えば、細長い部分であれば、その付け根を軸にぶらぶらと動かしたり、平べったい部分であれば、ぱたぱたと折れ曲がるように変形する。
【００４８】
形状変形部６では、上述のように形状のみから変形の態様を決めても良いし、さらに動きの情報を用いても良い。例えば、実物体を手で持って、当該装置の前で振った場合には、その振った方向や速さに従って、それぞれの部分が揺れるように動かし、変形させることもできる。この場合には、動き解析部５にて、動きを解析し、その情報を基に、形状変形部６が変形を決定する。この場合には、ある程度物理法則に基づいた変形を行わせるのが望ましい。
【００４９】
合成部７では、変形した形状と、可視画像を合成する（ステップＳ３）。変形前には、カラー画像と奥行き画像は対応がとれているので、どのように変形したかが分かっていれば、変形した後の部分に可視画像のどの部分と合成すればよいかが分かる。
【００５０】
最後にこれを表示部８で表示する（ステップＳ４）。これによって、猫のぬいぐるみを撮影したときに表示されている猫のしっぽが動いている、というように、現実とは異なった演出・加工をして表示することが可能になる。
【００５１】
＜画像入力部の具体的な実装例について＞
以下では、可視画像入力部１と反射光画像入力部２の具体例について説明する。
【００５２】
可視画像入力部１と反射光画像入力部２は、いずれも画像入力部であり、例えば単一のイメージセンサ（固体撮像素子）上に実装することができる。例えば、Ｒ、Ｇ、Ｂのカラー画像情報を取得するセルと反射光の強さを取得するセルとを同一のシリコン基板上に生成した専用のＣＭＯＳイメージセンサにより実現できる。
【００５３】
図３に、専用イメージセンサの画素構成の一例を示す。
【００５４】
専用イメージセンサ（図中、２０）において、Ｒ（図中、２１）、Ｇ（図中、２２）、Ｂ（図中、２３）は、それぞれ、赤、緑、青の可視光を取得するセルであり、通常の可視光画像を取得するイメージセンサは、これらのセルからなっている。Ｄ（図中、２４）は、反射光を取得するためのセルであり、この例では、可視光用の４倍の面積を持っている。一般的に反射光を取得するためのセルは、通常のセルより構造が複雑になるので、大きな面積を割り当てているが、この大きさの比は、この例（４：１）に限定されるものではない。
【００５５】
図４に、図３に例示した専用イメージセンサにおけるＤのセルの構造をさらに詳細に記述した例を示す。
【００５６】
反射光画像を取得するには、発光部（図示せず）が発行すると同時に撮像すればよいのであるが、実際には、外光成分もセルに入射してくるため、これをキャンセルするために、複数回の撮像を行う。つまり、発光部が発光している間に撮像した時間と同じ時間だけ、発光部を撮像しないで撮像する。その後に、それらの差分を得れば、それが発光部の光が反射した成分として得られる。そのために、Ｄのセルには、典型的には、１つの光電変換部１２に対して、２つの電荷蓄積部、すなわち発光時電荷蓄積部１３と非発光時電荷蓄積部１４を持つ。２回の撮像での発生電荷はそれぞれ別の電荷蓄積部１２，１３で蓄えられ、セルの読み出し時に、読み出し部１５を経て読み出され、セル外にある差分回路（図示せず）で、差分が得られる。発光時と非発光時の撮像の組み合わせには、様々なバリエーションが考えられ、例えば、上述のように、１回ずつ発光しても良いし、交互に何度も発光時撮像、非発光時撮像を繰り返し、電荷蓄積部１２，１３の各々に徐々に電荷を蓄積する方法もある。また、１回ずつしか撮像しないなら、２つの電荷蓄積部１２，１３をシリアルに接続し、バケツリレー式に電荷を転送しても良い。これはＣＣＤ構造であり、構成が楽である。
【００５７】
実際には、可視画像入力部１と反射光画像入力部２を別々に実装することも可能である。しかし、複数の撮像部があると、それらで取得する画像が一致するように精度良く位置調整を行う必要があり、コスト高になってしまい、また大きさも大きくなってしまう。低コストに構成するためには、一体化することが望ましい。コンシューマエンターテイメントに関しては、このような機能を実現できる装置を低コストで供給できることは、産業上重要である。
【００５８】
＜他の奥行き画像入力部の例について＞
上記では、反射光画像から奥行き画像を取得する例を示しているが、奥行き画像を取得する手段は他にも種々のバリエーションがある。例えば、非常に高額であるが、レーザー光を物体に照射し、それを走査することで、物体の形状を取得するレーザーレンジファインダという装置があり、最近は、可視画像も同時に取得できる装置もあるが、本実施形態では、このような装置を用いることもできる。また、これに限らず、可視画像およびそれと関連付けられた３次元形状情報（奥行き画像はそのひとつである）が同時に取得できる装置であれば、どのようなものであっても利用可能である。
【００５９】
＜３次元ＣＧの表現の具体的な実装について＞
可視画像と形状情報の合成に関しては、用いる手法によって実装がやや異なることがある（用いる手法に応じて適宜修正すればよい）。図１は、例えば、現在３次元ＣＧを表現する典型的な手法のひとつであるポリゴンモデルとテクスチャマッピングを用いる場合の一例である。ポリゴンモデルとは、３次元形状を多角形の平面で表現するモデルであり、主に三角形が用いられる。また、このポリゴンモデルにテクスチャデータをマッピングすることで、色や模様などを表現する。もとの画像は、可視画像と奥行き画像の対応がとれているため、奥行き画像からポリゴンモデルを作成し、可視画像をテクスチャとしてマッピングすることで、３次元シーンが構築できる。すなわち、奥行き画像から、対象物あるいはシーンのポリゴンモデルをまず作成する。形状の変化は、そのポリゴンモデルを変形することで行う。変形前のポリゴンモデルと可視画像の対応関係は取れているため、変形後のポリゴンモデルの各ポリゴンについては、変形前の対応するポリゴンのテクスチャをマッピングすればよい。
【００６０】
他の手法のひとつとして、ボクセルモデルを用いたものがある。これは３次元形状を体素（ボクセル）で表すものであり、主に微小直方体を用いる。ボクセルモデルの場合、ボクセルが対応する可視画像の色データを持つことができる。従って、ボクセルモデルを変形した場合は、テクスチャ情報も同時に変形されることになるため、テクスチャマッピングなどは不要になる。ボクセルモデルを用いる場合には、例えば、図１の構成例を、図５のように修正すればよい。図１では処理の最後の方に合成部７があったが、図５では、処理の最初の方に、ボクセルモデルを生成するボクセル処理部１００がある点が異なる。
【００６１】
もちろん、形状データとテクスチャデータの保持と表現に関しては、様々な手法がある。
【００６２】
＜変形・加工のバリエーションについて＞
実物体を撮影したときに、それが立体として表示されるというのでは、どうしても実物体を見ている以上にはならない。そこに演出を加えて見せることで、面白みも増し、撮影して表示させることの意味が大きくなってくる。
【００６３】
この変形については、前述した、細長いものが揺れる、平べったいものがぱたぱたと動く、といったもの以外にも、様々なものが考えられる。例えば、猫のぬいぐるみを映すと、胴体部分だけが太ったように膨れたり、ラグビーボールを映したら、長手の方にどんどん細長くなっていったりと様々考えられる。
【００６４】
この変形は、単純に形状の種類に対して、適用してしまっても構わない。本当は同じ細長いものでも、柔らかいもののあれば、堅いものもある。しかし、それらを統一的に扱ってしまうことで逆に面白さが現れる。
【００６５】
同一の形状に対して、適用可能な変形はいくつかある。例えば、細長いものに対して、「ぶらぶら揺れる」というのはひとつの変形であるが、「長さが伸び縮みする」というのもあるし、「先端が膨らんでくる」というのもある。
【００６６】
同一の形状に対し、どのような変形をさせるかという点については、その都度ユーザに選択させても良いし、ランダムに選択しても良いし、その他の状況に応じて選択しても良い。
【００６７】
また、いわゆる変形ではないが、細長いものが「ミサイルのように発射される」という演出も可能である。このようなものも広義の変形と捉えると、ありとあらゆる演出・加工の可能性がある。
【００６８】
また、部分の形状によって、その部分にのみ変形を加えるのではなく、形状全体を一定の法則に従って、変形させるということも可能である。例えば、物体表面の凹凸形状が強調されたり、逆に平らに均されてしまったり、ミニカー（自動車のおもちゃ）のような角張ったものを映したら、丸っこくアレンジされたものが表示されたり、全体がゼリーのようにぷるぷると震えたり、全体が風船のようにどんどん膨らんで丸くなっていったり、ゲル状になって、地面にだらっと垂れ流れてしまったり、といった具合である。
【００６９】
図６は、鉛筆を持っている姿を映す（図中、３１）と、鉛筆がぐにゃっと曲がって表示（図中、３２）される例、図７は、人形を映す（図中、３３）と、それが風船のように膨らんで表示（図中、３４）される例、図８は、きりんのぬいぐるみを揺らす（図中、３５）と、長い首の部分が現実より誇張されて、大きく揺れて見えるように表示（図中、３６）される例を、それぞれ示している。
【００７０】
なお、現実には対象物体の陰に隠れている背景が、対象物体を変形させた場合に、表に現れてくることがある。しかし、その部分の画像データは存在しない。そこで、このような場合には、その画像データが存在しない部分については、例えば、黒塗りにする、所定の単色を塗り込む、より自然になるように付近の部分の画像データを用いて補完するなど、種々の補完方法を用いればよい。
【００７１】
＜素材感の変化の例について＞
ところで、このような演出・加工を施すときに、見た目の色、テクスチャなどは、元のままであることが面白いこともあるし、逆に少し見た目を変えた方が効果的であることもある。例えば、全体をゼリーのように震わせるときには、見た目をゼリーのように半透明にすることで、よりゼリーらしさを演出できる。また、例えば、ゲル状になって地面にだらっと垂れ流れてしまうという変形も、半透明にすると、まさにゲル状物体に見えるが、金属的な素材感を与えると、液体金属が流れているような演出を施すこともできる。
【００７２】
また、ある種の素材感を出す、あるいは表現のトーンを変える、という目的にも用いることができる。例えば、アニメーション風の表現にしたり、油絵調の表現にする、といったことも考えられる。例えば、背景が油絵調に表現されていて、実物体のみがアニメーション風に表現される、というような表示も可能である。
【００７３】
図９に、これらを実現する場合の画像処理システムの構成例を示す。本構成例の図１との相違いは、可視画像加工部９が追加されたことである。可視画像加工部９は、背景は変更せず、実物体の画像だけを変更する必要があるので、奥行き画像獲得部３で得られた奥行き画像情報を用いて、実物体の部分のみを変更する。また、ハイライトや陰影などの効果を与えるために実物体の形状情報が必要であり、そのためにも奥行き画像情報を用いる。このようにして、変更された画像が合成部７によって貼り込まれることで、素材感を変換した画像が表示される。
【００７４】
もちろん、変形はせず、素材感のみを変更して表示するという演出も可能である。
【００７５】
なお、図９は、図１を修正したものであり、前述と同様、ボクセルモデルを用いる場合には、例えば図５を上記と同様に修正すればよい。
【００７６】
＜構造を解析する例について＞
実物体の構造情報を解析して、それを元にした、変形を施すということも可能である。例えば、人形やぬいぐるみを撮像したときに、どこが手でどこが足かということを解析することで、それらしい変形を施すことが可能である。例えば、動物のぬいぐるみを撮像したときに、それが歩き出す、人形を撮像したときに、人形が手を振る、顔を撮像したときに、ウィンクをする、といったような演出が可能である。
【００７７】
図１０に、これらを実現する場合の画像処理システムの構成例を示す。本構成例の図１との相違いは、図１における形状解析部４と動き解析部５が、構造解析部１６に置き換えられている点である。構造解析部１６は、撮像した実物体の中の各パーツの属性を判定するわけであるが、この構造解析部１６の中では、形状や動きや色など様ざまな特徴を解析している。
【００７８】
実際には、何が映っているか分からない状態で、構造解析を行うのは難しいような場合がある。従って、例えば、直接ユーザがこの部分が「足」であるなどの情報を与えたり、今映っているのは「動物のぬいぐるみ」であるとか「車である」などのカテゴリーの情報を与えたりすることで、構造解析を補助する手段も考えられる。
【００７９】
また、構造の属性を与えずに、その部分の動きを直接与えるという方法もある。例えば、ぬいぐるみの手を振るように動かしながら、撮像すると、その部分は振るものなのだと解釈し、その後、静止した状態で提示しても、手を振るように演出することが可能になる。この場合は、構造としての属性情報を直接与えているわけではないが、動きの情報を直接与えていることになる。
【００８０】
なお、図１０は、図１を修正したものであり、前述と同様、ボクセルモデルを用いる場合には、例えば図５を上記と同様に修正すればよい。
【００８１】
＜仮想オブジェクトの例について＞
これまでの説明では、単体で撮影された物体が、単体で変形などの演出・加工を施され、表示されるというものであった。もっと効果を面白くするには、仮想のオブジェクトを生成し、それと撮像した物体との相互作用を用いることもできる。
【００８２】
図１１に、これらを実現する場合の画像処理システムの構成例を示す。本構成例は、図９を拡張したもので、仮想オブジェクト制御部１１および衝突判定部１０が加えられている。仮想オブジェクト制御部１１は、仮想オブジェクトのモデルを保持し、その位置や動きなどを制御する。衝突判定部１０は、仮想オブジェクトの位置と、実物体の位置の衝突判定を行い、衝突があった際には、後段の形状変形部６で決められた法則に従い物体が変形される。また、衝突判定の結果は、仮想オブジェクト自身の位置や動きにもフィードバックされる。また、表示部８は、仮想オブジェクトも実物体と同時に表示する。
【００８３】
これによって、例えば、仮想オブジェクトがぶつかったときに、そこだけへっこんだり、突起上のものに仮想オブジェクトがぶつかると、ぶらぶら揺れたり、といった演出が可能になる。もっと極端な例では、実物体がゲル状の物体であるとして、そこに仮想オブジェクトの球が飛んできてぶつかったときに、球はゲル状の実物体の中を突き抜け、それに従って、実物体には穴が空き、ゲル状物質が飛び散り、球が通り抜けた後は再び穴がふさがり元に戻る、といった演出が可能である。
【００８４】
図１２は、手を映した（図中、３７）ときに、その手に仮想のボールがぶつかり、手を突き抜けて飛んでいく、といったように表示（図中、３８）される例を示している。
【００８５】
なお、図１１は、図１を修正したものであり、前述と同様、ボクセルモデルを用いる場合には、例えば図５を上記と同様に修正すればよい。
【００８６】
＜反射光画像を用いるメリットについてについて＞
これまで演出・加工の種々のバリエーションについて説明してきたが、一見これらの演出・加工は、普通のカメラ画像を用いて、画像解析を行うことで可能であるかのように思われるかも知れない。しかし、いくつかの理由でそれは極めて難しい（あるいは、不可能である）。まず、映っているものは対象としての実物体だけでなく、背景も映っている。これまでに説明してきたような演出・加工を効果的に行うためには、何が背景で何が対象物であるかを切り分けねばならない。しかし、通常のカメラ画像だけを用いてこれを行うのは非常に難しい。もちろん、背景は常に黒であるとか、背景は静止していて、背景差分法で容易に取り除けると言った制約が付けられればある程度は可能であるが、一般的には難しい。また、仮に背景と物体の分離が可能であったとしても、物体の奥行き形状を用いた演出・加工が非常に有効であることは上述の通りであり、奥行き画像が同時に取得できることは重要である。奥行き画像を取得できる装置はいくつかあるが、小型で扱いやすく、リアルタイムな処理が可能であるものは少ない。その意味で、本実施形態で取り上げた反射光画像を用いる手法は、現時点で取りうる数少ない実現手段のひとつである。
【００８７】
なお、以上の各機能は、ソフトウェアとして実現可能である。
また、本実施形態は、コンピュータに所定の手段を実行させるための（あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるための）プログラムとして実施することもでき、該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。
【００８８】
なお、この発明の実施の形態で例示した構成は一例であって、それ以外の構成を排除する趣旨のものではなく、例示した構成の一部を他のもので置き換えたり、例示した構成の一部を省いたり、例示した構成に別の機能あるいは要素を付加したり、それらを組み合わせたりすることなどによって得られる別の構成も可能である。また、例示した構成と論理的に等価な別の構成、例示した構成と論理的に等価な部分を含む別の構成、例示した構成の要部と論理的に等価な別の構成なども可能である。また、例示した構成と同一もしくは類似の目的を達成する別の構成、例示した構成と同一もしくは類似の効果を奏する別の構成なども可能である。
また、この発明の実施の形態で例示した各種構成部分についての各種バリエーションは、適宜組み合わせて実施することが可能である。
また、この発明の実施の形態は、個別装置としての発明、関連を持つ２以上の装置についての発明、システム全体としての発明、個別装置内部の構成部分についての発明、またはそれらに対応する方法の発明等、種々の観点、段階、概念またはカテゴリに係る発明を包含・内在するものである。
従って、この発明の実施の形態に開示した内容からは、例示した構成に限定されることなく発明を抽出することができるものである。
【００８９】
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【００９０】
【発明の効果】
本発明によれば、対象物体やシーンを撮像して、その形状や外観を変化させて、シーンを再構築することで、よりエンターテイメント性の高いシーンを作ることが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像処理システムの構成例を示す図
【図２】同実施形態に係る画像処理システムの動作手順の一例を示すフローチャート
【図３】イメージセンサの画素配列の一例を示す図
【図４】反射光画像取得用セルの構成の一例を示す図
【図５】同実施形態に係る画像処理システムの他の構成例を示す図
【図６】同実施形態に係る画像処理システムの使用例を示す図
【図７】同実施形態に係る画像処理システムの使用例を示す図
【図８】同実施形態に係る画像処理システムの使用例を示す図
【図９】同実施形態に係る画像処理システムのさらに他の構成例を示す図
【図１０】同実施形態に係る画像処理システムのさらに他の構成例を示す図
【図１１】同実施形態に係る画像処理システムのさらに他の構成例を示す図
【図１２】同実施形態に係る画像処理システムの使用例を示す図
【符号の説明】
１…可視画像入力部
２…反射光画像入力部
３…奥行き画像獲得部
４…形状解析部
５…動き解析部
６…形状変形部
７…合成部
８…表示部
９…可視画像加工部
１０…衝突判定部
１１…仮想オブジェクト制御部
１２…光電変換部
１３…発光時電荷蓄積部
１４…非発光時電荷蓄積部
１５…読み出し部
１６…構造解析部
１００…ボクセル処理部

Claims (17)

1. 対象物体を含むシーンの可視画像を入力するための可視画像入力手段と、
   前記対象物体の３次元形状を示す３次元形状情報を入力するための３次元形状情報入力手段と、
   前記３次元形状情報をもとに、前記対象物体の形状の特徴を解析する手段と、
   対象物体の形状の特徴と対象物体の３次元形状情報に加える変形の種類とを対応付けた対応情報に基づいて、解析された前記形状の特徴に対応する変形の種類を決定し、入力された前記３次元形状情報をもとに、前記対象物体の３次元形状に対して、当該決定した種類の変形を加えた場合の３次元形状を示す３次元形状情報を生成する処理手段と、
   生成された前記３次元形状情報及び入力された前記可視画像に基づいて、前記対象物体を含むシーンの画像を再構成するための再構成手段とを備えたことを特徴とする画像処理システム。
2. 対象物体を含むシーンの可視画像を入力するための可視画像入力手段と、
   前記対象物体の３次元形状を示す３次元形状情報を入力するための３次元形状情報入力手段と、
   前記３次元形状情報をもとに、前記対象物体の動きの特徴を解析する手段と、
   対象物体の動きの特徴と対象物体の３次元形状情報に加える変形の種類とを対応付けた対応情報に基づいて、解析された前記動きの特徴に対応する変形の種類を決定し、入力された前記３次元形状情報をもとに、前記対象物体の３次元形状に対して、当該決定した種類の変形を加えた場合の３次元形状を示す３次元形状情報を生成する処理手段と、
   生成された前記３次元形状情報及び入力された前記可視画像に基づいて、前記対象物体を含むシーンの画像を再構成するための再構成手段とを備えたことを特徴とする画像処理システム。
3. 前記３次元形状情報入力手段は、前記対象物体に対する奥行き画像を入力する奥行き画像入力手段を含むことを特徴とする請求項１または２に記載の画像処理システム。
4. 前記３次元形状情報入力手段は、前記対象物体からの反射光画像を入力する反射光画像入力手段と、前記反射光画像から前記３次元形状情報を取得する３次元形状情報取得手段とを含むことを特徴とする請求項１または２に記載の画像処理システム。
5. 前記可視画像を変形及び又は加工するための処理手段を更に備え、
   前記再構成手段は、前記変形後の３次元形状情報並びに変形及び又は加工された前記可視画像に基づいて、前記対象物体を含むシーンを再構成することを特徴とする請求項１または２に記載の画像処理システム。
6. 前記可視画像入力手段と前記反射光画像入力手段とは、単一の撮像素子上に実装されていることを特徴とする請求項４に記載の画像処理システム。
7. 前記可視画像及び前記３次元形状情報はリアルタイムに取得されることを特徴とする請求項１ないし６のいずれか１項に記載の画像処理システム。
8. 前記処理手段は、取得されたシーン内にある実物体の構造を解析する手段を含むことを特徴とする請求項１ないし７のいずれか１項に記載の画像処理システム。
9. 前記処理手段は、一定の法則のもとに前記対象物体の３次元形状を変形させていくことを特徴とする請求項１ないし８のいずれか１項に記載の画像処理システム。
10. 所定の仮想的な物体を合成するための手段を更に備えたことを特徴とする請求項１ないし９のいずれか１項に記載の画像処理システム。
11. 前記合成するための手段は、前記所定の仮想的な物体と、前記対象物体の３次元的形状との位置的な干渉を求め、その結果を変形及び又は加工の結果として反映させるものであることを特徴とする請求項１０に記載の画像処理システム。
12. ２次元又は３次元の表示装置を更に備えたことを特徴とする請求項１ないし１１のいずれか１項に記載の画像処理システム。
13. 再構成されたシーンに関する情報を送信するための手段を更に備えたことを特徴とする請求項１ないし１２のいずれか１項に記載の画像処理システム。
14. 画像処理システムの画像処理方法であって、
    対象物体を含むシーンの可視画像を入力するためのステップと、
    前記対象物体の３次元形状を示す３次元形状情報を入力するためのステップと、
    前記３次元形状情報をもとに、前記対象物体の形状の特徴を解析するステップと、
    対象物体の形状の特徴と対象物体の３次元形状情報に加える変形の種類とを対応付けた対応情報に基づいて、解析された前記形状の特徴に対応する変形の種類を決定し、入力された前記３次元形状情報をもとに、前記対象物体の３次元形状に対して、当該決定した種類の変形を加えた場合の３次元形状を示す３次元形状情報を生成するステップと、
    生成された前記３次元形状情報及び入力された前記可視画像に基づいて、前記対象物体を含むシーンの画像を再構成するためのステップとを有することを特徴とする画像処理方法。
15. 画像処理システムの画像処理方法であって、
    対象物体を含むシーンの可視画像を入力するためのステップと、
    前記対象物体の３次元形状を示す３次元形状情報を入力するためのステップと、
    前記３次元形状情報をもとに、前記対象物体の動きの特徴を解析するステップと、
    対象物体の動きの特徴と対象物体の３次元形状情報に加える変形の種類とを対応付けた対応情報に基づいて、解析された前記動きの特徴に対応する変形の種類を決定し、入力された前記３次元形状情報をもとに、前記対象物体の３次元形状に対して、当該決定した種類の変形を加えた場合の３次元形状を示す３次元形状情報を生成するステップと、
    生成された前記３次元形状情報及び入力された前記可視画像に基づいて、前記対象物体を含むシーンの画像を再構成するためのステップとを有することを特徴とする画像処理方法。
16. 画像処理システムとしてコンピュータを機能させるためのプログラムであって、
    対象物体を含むシーンの可視画像を入力するための機能と、
    前記対象物体の３次元形状を示す３次元形状情報を入力するための機能と、
    前記３次元形状情報をもとに、前記対象物体の形状の特徴を解析する機能と、
    対象物体の形状の特徴と対象物体の３次元形状情報に加える変形の種類とを対応付けた対応情報に基づいて、解析された前記形状の特徴に対応する変形の種類を決定し、入力された前記３次元形状情報をもとに、前記対象物体の３次元形状に対して、当該決定した種類の変形を加えた場合の３次元形状を示す３次元形状情報を生成する機能と、
    生成された前記３次元形状情報及び入力された前記可視画像に基づいて、前記対象物体を含むシーンの画像を再構成するための機能とをコンピュータに実現させるためのプログラム。
17. 画像処理システムとしてコンピュータを機能させるためのプログラムであって、
    対象物体を含むシーンの可視画像を入力するための機能と、
    前記対象物体の３次元形状を示す３次元形状情報を入力するための機能と、
    前記３次元形状情報をもとに、前記対象物体の動きの特徴を解析する機能と、
    対象物体の動きの特徴と対象物体の３次元形状情報に加える変形の種類とを対応付けた対応情報に基づいて、解析された前記動きの特徴に対応する変形の種類を決定し、入力された前記３次元形状情報をもとに、前記対象物体の３次元形状に対して、当該決定した種類の変形を加えた場合の３次元形状を示す３次元形状情報を生成する機能と、
    生成された前記３次元形状情報及び入力された前記可視画像に基づいて、前記対象物体を含むシーンの画像を再構成するための機能とをコンピュータに実現させるためのプログラム。

Images