JP4521101B2 - 表示制御装置および方法、ならびに、表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、仮想３次元空間にて所定の回転軸周りで回転させつつ物体を表示するための表示制御技術に関する。
【０００２】
【従来の技術】
従来より、コンピュータ上で設定される仮想空間内で、人体モデルの立体画像に特定人物の顔部画像を貼り付けるように画像を合成し表示するための技術が知られている。
【０００３】
実際、これらの画像合成に際しては、人体モデルの顔部にテクスチャマッピング座標が設定され、特定人物を写した写真中の顔部画像が球面展開されテクスチャマッピングされており、これらにより、特定人物の顔部を有する立体的な人体モデルを動作させつつ表示することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の画像合成においては、所定の立体形状を有する人体モデルに合わせて顔部画像がテクスチャマッピングされるため、人体モデルの顔部画像は、写真中の顔部画像とは微妙に異なったもので違和感が強いものとなり、さらに髪の毛などをテクスチャマッピングするために立体モデル化することは非常に困難であり、テクスチャマッピングに際して非常に複雑な処理を要するものとなる。
【０００５】
本発明は、これらの問題点を考慮してなされたものであり、その目的は、精細な立体画像を簡便に表示することのできる表示制御装置および方法、ならびに、表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することである。
【０００６】
【課題を解決するための手段】
上記の目的を達成するための本発明に係る第１の表示制御装置は、仮想３次元空間にて所定の回転軸周りで回転させつつ物体を表示するよう制御する表示制御装置である。
【０００７】
本第１の表示制御装置では、物体の回転角度が、連続的に更新されつつ指示され、前記指示およびあらかじめ記憶されている画像データに基づいて、物体の第１部分が表示されるよう制御され、また、前記指示およびあらかじめ記憶されている回転角度に対応付けられた２次元画像データに基づいて、物体の第２部分が、第１部分に接合して表示されるよう制御される。
【０００８】
また、本発明に係る第２の表示制御装置は、仮想３次元空間にて所定の回転軸周りで回転させつつ物体を表示するよう制御する表示制御装置である。
【０００９】
本第２の表示制御装置では、物体の回転角度が、連続的に更新されつつ指示され、前記指示およびあらかじめ記憶されている３次元画像データに基づいて、物体の第１部分に対応する画像データが生成され、前記指示およびあらかじめ記憶されている回転角度に対応付けられた２次元画像データから、物体の第２部分に対応する画像データが抽出される。これらの画像データは、第１部分と第２部分とが接合されるよう合成され、合成された画像データに基づいて表示が行われるよう制御される。
【００１０】
上記のような第２の表示制御装置では、第１部分と第２部分とを接合する位置の指示が受け付けられ、指示された位置にて、第１部分と第２部分とが接合されるよう画像データが合成されるものとすることができる。
【００１１】
また、これらの第２の表示制御装置では、左回転に対する指示または右回転に対する指示が連続して受け付けられ、受け付けられた指示に応じて、物体の回転角度が指示されるものとしたり、物体の回転角度の範囲の指示が受け付けられ、回転角度が、前記範囲内で連続的に更新されつつ指示されるものとしたりすることができる。
【００１２】
特に、これらのような第１の表示制御装置および第２の表示制御装置では、前記第１部分が人体の頭部より下の部分であり、前記第２部分が人体の頭部であるものとすることができる。
【００１３】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態の１つである表示制御装置について説明する。
【００１４】
図１は本発明の実施の形態の１つである表示制御装置のハードウェア構成を示すブロック図であり、図２は本表示制御装置にて実行される人物回転像表示制御プログラム１００の構成を示すブロック図である。
【００１５】
図１に示すように、本表示制御装置は、通常用いられるプログラム記憶式コンピュータであり、キーボード、マウス等を含み操作者からの入力を受け付ける入力部１２と、操作者に対して表示を行う表示部１４と、プログラムおよびデータを記憶する補助記憶部（ＨＤＤ）１５と、プログラムおよびデータを一時的に記憶する主記憶部（ＲＡＭ）１１と、入力部１２、表示部１４および補助記憶部１５を制御しつつ主記憶部１１上のプログラムを実行する中央演算部（ＣＰＵ）１３とを含んでいる。
【００１６】
実際、本表示制御装置には、次に図２に示すような各処理部を含む人物回転像表示制御プログラム１００が所定のＯＳ上にインストールされており、図３のフローチャートに示すような手順に従ってこれらの各処理部での処理が実行されることにより、あらかじめ記憶されている２Ｄ人物画像データ１５１と３Ｄモデル画像データ１５２とが合成されつつ、回転動作を伴う人体の（模擬）立体画像が表示されることとなる。
【００１７】
図２に示すように、本表示制御装置の補助記憶装置１５では、連続する複数の（２次元）フレーム画像からなり、顔部および髪の毛等を含む人物の頭部が静止位置で回転していく様子を表す動画像データである２Ｄ人物画像データ１５１（後に図６に画像の例を示す）と、所定のパラメータの指定等を伴って人体モデルの画像を生成するための３Ｄモデル画像データ１５２（後に図５に画像の例を示す）とがあらかじめ記憶されている。
【００１８】
ここでは、２Ｄ人物画像データ１５１がＭＰＥＧ形式のデータとして記憶され、３Ｄモデル画像データ１５２がＯＢＪ形式のデータとして記憶されているものとし、特に、所定の映像音声記録装置により人物の頭部が映像として記録され２Ｄ人物画像データが生成される際、頭部の回転角度（コンピュータ上で設定される仮想３次元空間の所定の回転軸周りでの回転を特定するための角度）に応じて異なる周波数の音声信号が映像に対応付けられて記録され、このような音声信号を伴う２Ｄ人物画像データが補助記憶部１５に記憶されており、これらにより、回転角度を任意に指定してフレーム画像を抽出することができるものとする。
【００１９】
人物回転像表示制御プログラム１００には、入力部１２からの入力に応じて、２Ｄ人物画像データ１５１による画像と３Ｄモデル画像データ１５２による画像とを接合する位置を設定するための接合位置設定部１０１と、人体の左または右への回転角度に対する指示を、操作者から入力部１２を介して受け付ける回転角度指示部１０２と、回転角度の指示に応じた２Ｄ人物画像を含むフレームを２Ｄ人物画像データ１５１から抽出する２Ｄ人物画像フレーム抽出部１０３と、回転角度の指示に応じた３Ｄモデル画像を含むフレームを３Ｄモデル画像データ１５２に基づいて生成する３Ｄモデル画像フレーム生成部１０４と、抽出された２Ｄ人物画像のフレームと生成された３Ｄモデル画像のフレームとを合成し合成された画像（後に図７に画像の例を示す）を表示部１４に表示するフレーム合成部１０５とが含まれている。
【００２０】
図３は人物回転像表示制御処理の手順を示すフローチャートであり、図４は接合位置設定部１０１（図２参照）にて２Ｄ人物画像と３Ｄモデル画像との接合位置が指示される際の表示の例を示す図である。また、図５は３Ｄモデル画像データ１５２に基づく３Ｄモデル画像３２１〜３２６を示す図であり、図６は２Ｄ人物画像データ１５１に基づく２Ｄ人物画像３１１〜３１６を示す図である。さらに、図７はフレーム合成部１０５により生成されることとなる合成画像３３１〜３３６を示す図である。
【００２１】
上述のような各処理部での処理を伴う人物回転像表示制御処理では、図３に示すように、まず、接合位置設定部１０１により、２Ｄ人物画像（の頭部）と３Ｄモデル画像（の頭部より下の部分）との接合位置の設定が受け付けられる（ステップ１０１、以下、ステップをＳと略す）。操作者は、たとえば図４に示すように、所定のウインドウ上で２Ｄ人物画像３０１を３Ｄモデル画像３０２に対して上下に移動させ、３Ｄモデル画像３０２に対する２Ｄ人物画像３０１の位置を確定する。
【００２２】
この後、回転角度指示部１０２により、表示のための初期角度が設定される（Ｓ１０２）。ここでは、２Ｄ人物画像、３Ｄモデル画像のそれぞれに対して同一の回転基準が設定されており、２つの画像のそれぞれに対して同一の回転角度が指示されることを想定しているが、２Ｄ人物画像、３Ｄモデル画像のそれぞれに対して異なる回転基準が設定されており、２つの画像のそれぞれに対して異なる回転角度が指示されるものとすることができる。
【００２３】
続いて、３Ｄモデル画像フレーム生成部１０４により、指示された回転角度に応じた人体モデルのフレーム画像が３Ｄモデル画像データ１５２から生成され（Ｓ１０３）、２Ｄ人物画像フレーム抽出部１０３により、指示された回転角度に応じた人物頭部のフレーム画像が２Ｄ人物画像データ１５１から抽出される（Ｓ１０４）。実際、図５（ａ）〜（ｆ）は、回転角度θ₂＝０，６０，１２０，１８０，２４０，３００［°］のときの３Ｄモデル画像３２１〜３２６をそれぞれ示しており、図６（ａ）〜（ｆ）は、回転角度θ₁＝０，６０，１２０，１８０，２４０，３００［°］のときの２Ｄ人物画像３１１〜３１６をそれぞれ示している。
【００２４】
フレーム合成部１０５では、これらの２つのフレーム画像は各回転角度ごとに合成されるものであり、回転角度の指示に応じて、図７に示すような合成画像３３１〜３３６のうちの１つの合成画像が表示部１４に表示されることとなる（Ｓ１０５）。今、回転角度指示部１０２により物体の回転角度θがθ＝１２０［°］と指示されているときには、３Ｄモデル画像３２５（図５（ｅ））と２Ｄ人物画像３１５（図６（ｅ））とが（所定の背景上で）合成されて、合成画像３３５が表示される。
【００２５】
この後、回転角度指示部１０２により、さらに回転角度に対する指示が受け付けられ（Ｓ１０６）、左回転が指示されたか右回転が指示されたかが判定される（Ｓ１０７、Ｓ１０９）。左回転が指示されれば（Ｓ１０７にてＹｅｓ）、人体が所定の角度（たとえば６０°またこれより小さな角度を指定することができるよう設定することができる）左回転されるよう回転角度が更新され（Ｓ１０８）、また、右回転が指示されれば（Ｓ１０９にてＹｅｓ）、人体が所定の角度右回転されるよう回転角度が更新される（Ｓ１１０）。
【００２６】
これらの更新の後、Ｓ１０３からＳ１０６での処理により、回転された後の人体が表示され、ここで、飛び幅の十分小さい回転角度が一定方向に順に指示されるものとすると、人体の滑らかな回転画像が表示されていくこととなる。
【００２７】
左回転および右回転が指示されることなく（Ｓ１０７にてＮｏかつＳ１０９にてＮｏ）、さらに終了が指示されなければ（Ｓ１１１にてＮｏ）、Ｓ１０６にて指示の入力が受け付けられ、終了が指示されると（Ｓ１１１にてＹｅｓ）、本人物回転像表示制御処理は終了することとなる。
【００２８】
以上のような表示制御装置によると、操作者により指定された回転角度の指示に合わせて、人体モデルの頭部より下の部分の回転画像と操作者が所望する特定の人物の頭部の回転画像（たとえば別途作成した操作者本人の頭部の画像）とが、互いに接合されて表示されるよう制御される。従来人体の頭部の画像がテクスチャマッピングにより貼り合わせられていたのに対し、本発明の表示制御装置は、複雑な処理を要するものではなく、特に、２Ｄ人物画像データを適切に構成することにより、（顔の表情が変化し特定の髪型を有する）人物の頭部が緻密に忠実に表現され全体として精細な立体画像が簡便に表示されることとなる。
【００２９】
上述のような人物回転像表示制御装置を次のように変形することができる。図８は本発明の他の実施の形態の表示制御装置にて実行される人物回転像表示制御プログラム２００の構成を示すブロック図であり、図９は本表示制御装置での人物回転像表示制御処理の手順を示すフローチャートである。（本表示制御装置の以下に示す制御部の構成、動作以外については、上述の表示制御装置に準ずるものとする。）
本表示制御装置は、上述と同様の２Ｄ人物画像データ１５１、３Ｄモデル画像データ１５２を補助記憶部１５に記憶しており、次に示すような入力部１２からの操作を伴って、自動的に回転していく人物回転像を表示部１４に表示するものである。
【００３０】
図８に示すように、本表示制御装置の表示制御プログラム２００は、入力部１２からの入力に応じて、２Ｄ人物画像データ１５１による画像と３Ｄモデル画像データ１５２による画像とを接合する位置を設定するための接合位置設定部２０１と、人体の回転角度の範囲の指示（たとえば初期回転角度０°、最終回転角度３６０°）を操作者から入力部１２を介して受け付ける回転角度範囲設定部２０２と、指示された回転角度の範囲内で更新しつつ連続する回転角度を順に指示する回転角度指示部２０３と、指示された回転角度に応じた２Ｄ人物画像を含むフレームを２Ｄ人物画像データ１５１から抽出する２Ｄ人物画像フレーム抽出部２０４と、指示された回転角度に応じた３Ｄモデル画像を含むフレームを３Ｄモデル画像データ１５２に基づいて生成する３Ｄモデル画像フレーム生成部２０５と、抽出された２Ｄ人物画像のフレームと生成された３Ｄモデル画像のフレームとを合成し合成された画像を表示部に表示するフレーム合成部２０６とが含まれている。
【００３１】
上述のような各処理部での処理を伴う人物回転像表示制御処理では、図９に示すように、まず、接合位置設定部２０１により、２Ｄ人物画像と３Ｄモデル画像との接合位置の設定が受け付けられ（Ｓ２０１）、回転角度範囲設定部２０２により、人体を回転させる角度の範囲の設定が受け付けられる（たとえば初期回転角度０°から最終回転角度７２０°まで飛び幅が１０°に設定されると人体を１０°おきのフレームを表示させつつに２回転させることが指示される）（Ｓ２０２）。
【００３２】
続いて、設定された初期回転角度が人体の回転角度として指示されて（Ｓ２０３）、３Ｄモデル画像フレーム生成部２０５により、指示された回転角度に応じた人体モデルのフレーム画像が３Ｄモデル画像データ１５２から生成され（Ｓ２０４）、２Ｄ人物画像フレーム抽出部２０４により、指示された回転角度に応じた人物頭部のフレーム画像が２Ｄ人物画像データ１５１から抽出される（Ｓ２０５）。
【００３３】
フレーム合成部２０６ではこれらの２つのフレーム画像が合成され、１つの合成画像が表示部１４に表示されることとなる（Ｓ２０６）。この後、設定された回転角度範囲の人体の表示がすべて行われた否かが判定され（Ｓ２０７）、表示がすべて行われていなければ（Ｓ２０７にてＮｏ）、回転角度が更新された（Ｓ２０８）後、Ｓ２０４からの処理が繰り返され、表示がすべて行われていれば（Ｓ２０７にてＹｅｓ）、本人物回転像表示制御処理は終了する。
【００３４】
これらの表示制御装置によると、操作者により指定された範囲内で自動的に回転角度が更新されつつ、人体モデルの頭部より下の部分の回転画像と操作者が所望する特定の人物の頭部の回転画像とが、互いに接合されて表示されるよう制御される。これらは、従来のようにテクスチャマッピングを用いることがないので、複雑な処理を要するものではなく、特に、２Ｄ人物画像データを適切に構成することにより、頭部の部分が精細に表現される立体画像が簡便に表示されることとなる。
【００３５】
上記の実施の形態の表示制御装置では、人体の頭部を２次元画像データにまた頭部以外の部分（衣服を着用した胴体の部分）を３次元画像データに対応させてこれらを合成するものとしたが、人体の頭部を２次元画像データにまた頭部以外の部分を別の異なる２次元画像データに対応させてこれらを合成するものとすることができ、さらに、人体の胴体等他の部分を２次元画像データにまた胴体以外の部分を３次元画像データに対応させてこれらを合成するものとすることができる。特に、これらのような表示制御装置による表示は、ヘアーサロン、エステティックサロンにて有効に利用することができる。
【００３７】
【発明の効果】
請求項１、請求項５または請求項６に記載の発明によると、生成された３次元画像データに基づく物体の第１部分に対応する画像データと、抽出された２次元画像データに基づく物体の第２部分に対応する画像データとが接合され、接合された画像データによる画像が表示される。これらの３次元画像データおよび２次元画像データに基づく回転画像の表示では、２次元画像データによって第２部分の画像を緻密に表現させるものとすることにより、全体として精細な立体画像が複雑な処理を伴うことなく得られることになる。
また、請求項１、５、６に記載の発明によると、操作者は回転角度の範囲を指示しつつ、この範囲内で自動的に回転する所望の立体画像を表示させることができる。
【００３８】
請求項２に記載の発明によると、操作者に指示された位置にて第１部分と第２部分とが接合され、これにより、操作者は、接合位置を指示しつつ所望の立体画像を表示させることができる。
【００３９】
請求項３に記載の発明によると、操作者は左回転または右回転を指示しつつ所望の立体画像を表示させることができる。
【００４１】
請求項４に記載の発明によると、特に、顔の表情および髪の毛の状態が忠実に表現された人体を立体画像として回転させつつ表示させることができることとなる。
【図面の簡単な説明】
【図１】本発明の実施の形態の１つである表示制御装置のハードウェア構成を示すブロック図である。
【図２】本表示制御装置にて実行される人物回転像表示制御プログラム１００の構成を示すブロック図である。
【図３】人物回転像表示制御プログラム１００による人物回転像表示制御処理の手順を示すフローチャートである。
【図４】接合位置設定部１０１（図２参照）にて２Ｄ人物画像と３Ｄモデル画像との接合位置が指示される際の表示の例を示す図である。
【図５】３Ｄモデル画像データ１５２に基づく３Ｄモデル画像３２１〜３２６を示す図である。
【図６】２Ｄ人物画像データ１５１に基づく２Ｄ人物画像３１１〜３１６を示す図である。
【図７】フレーム合成部１０５により生成されることとなる合成画像３３１〜３３６を示す図である。
【図８】本発明の他の実施の形態の表示制御装置にて実行される人物回転像表示制御プログラム２００の構成を示すブロック図である。
【図９】人物回転像表示制御プログラム２００による人物回転像表示制御処理の手順を示すフローチャートである。
【符号の説明】
１１ 主記憶部（ＲＡＭ）
１２ 入力部
１３ 中央演算部（ＣＰＵ）
１４ 表示部
１５ 補助記憶部（ＨＤＤ）
１００ 人物回転像表示制御プログラム
１０１ 接合位置設定部
１０２ 回転角度指示部
１０３ ２Ｄ人物画像フレーム抽出部
１０４ ３Ｄモデル画像フレーム生成部
１０５ フレーム合成部
１５１ ２Ｄ人物画像データ
１５２ ３Ｄモデル画像データ
２００ 人物回転像表示制御プログラム
２０１ 接合位置設定部
２０２ 回転角度範囲設定部
２０３ 回転角度指示部
２０４ ２Ｄ人物画像フレーム抽出部
２０５ ３Ｄモデル画像フレーム生成部
２０６ フレーム合成部
３０１、３１１〜３１６ ２Ｄ人物画像
３０２、３２１〜３２６ ３Ｄモデル画像
３３１〜３３６ 合成画像

Claims (6)

1. 仮想３次元空間にて所定の回転軸周りで回転させつつ物体を表示するよう制御する表示制御装置であって、
   物体の回転角度を、連続的に更新しつつ指示する指示手段と、
   前記指示、および、あらかじめ記憶されている３次元画像データに基づいて、物体の第１部分に対応する画像データを生成する生成手段と、
   前記指示、および、あらかじめ記憶されている回転角度に対応付けられた２次元画像データから、物体の第２部分に対応する画像データを抽出する抽出手段と、
   第１部分と第２部分とが接合されるよう画像データを合成する合成手段と、
   合成された画像データに基づいて表示を行うよう制御する表示制御手段と、
   物体の回転角度の範囲の指示を受け付ける範囲入力手段とを有し、
   前記指示手段は、回転角度を、前記範囲内で連続的に更新しつつ指示し、
   前記表示制御手段は、前記範囲の初期回転角度から最終回転角度まで所定の角度おきで合成された画像データを表示することを特徴とする表示制御装置。
2. 第１部分と第２部分とを接合する位置の指示を受け付ける位置入力手段をさらに含み、
   前記合成手段は、指示された位置にて、第１部分と第２部分とが接合されるよう画像データを合成する請求項１に記載の表示制御装置。
3. 前記指示手段は、
   左回転に対する指示または右回転に対する指示を連続して受け付ける指示入力手段と、
   受け付けられた指示に応じて、物体の回転角度を指示する角度指示手段とを有する、請求項１または請求項２に記載の表示制御装置。
4. 前記第１部分は人体の頭部より下の部分であり、前記第２部分は人体の頭部である、請求項１から請求項３のいずれかに記載の表示制御装置。
5. 仮想３次元空間にて所定の回転軸周りで回転させつつ物体を表示するよう制御する表示制御方法であって、
   コンピュータが、操作者から入力部を介して受け付けられた物体の回転角度を、連続的に更新しつつ指示するステップと、
   コンピュータが、前記指示、および、あらかじめ記憶部に記憶されている３次元画像データに基づいて、物体の第１部分に対応する画像データを生成するステップと、
   コンピュータが、前記指示、および、あらかじめ記憶部に記憶されている回転角度に対応付けられた２次元画像データから、物体の第２部分に対応する画像データを抽出するステップと、
   コンピュータが、第１部分と第２部分とが接合されるよう画像データを合成するステップと、
   コンピュータが、合成された画像データに基づいて表示部に表示を行うよう制御するステップと、
   コンピュータが、物体の回転角度の範囲の指示を受け付ける範囲入力ステップとを有し、
   前記指示するステップは、回転角度を、前記範囲内で連続的に更新しつつ指示し、
   前記制御するステップは、前記範囲の初期回転角度から最終回転角度まで所定の角度おきで合成された画像データを表示することを特徴とする表示制御方法。
6. 仮想３次元空間にて所定の回転軸周りで回転させつつ物体を表示するよう制御する、表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   物体の回転角度を、連続的に更新しつつ指示する指示手段と、
   前記指示、および、あらかじめ記憶部に記憶されている３次元画像データに基づいて、物体の第１部分に対応する画像データを生成する生成手段と、
   前記指示、および、あらかじめ記憶部に記憶されている回転角度に対応付けられた２次元画像データから、物体の第２部分に対応する画像データを抽出する抽出手段と、
   第１部分と第２部分とが接合されるよう画像データを合成する合成手段と、
   合成された画像データに基づいて表示を行うよう制御する表示制御手段と、
   物体の回転角度の範囲の指示を受け付ける範囲入力手段としてコンピュータを機能させ、
   前記指示手段は、回転角度を、前記範囲内で連続的に更新しつつ指示し、
   前記表示制御手段は、前記範囲の初期回転角度から最終回転角度まで所定の角度おきで合成された画像データを表示することを特徴とする表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images