JPH0981777A

JPH0981777A - 映像の生成方法及び装置

Info

Publication number: JPH0981777A
Application number: JP7236399A
Authority: JP
Inventors: Takashi Torio; 隆鳥生; Toshio Endo; 利生遠藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1995-09-14
Filing date: 1995-09-14
Publication date: 1997-03-28

Abstract

(57)【要約】【課題】見せたい映像すなわち原映像データに加工を施
すことにより、画面に表示された映像を見たときの見え
方を本来見せたい映像にできるだけ一致させて、映像に
実在感を与えることを目的とする。【解決手段】人間の視覚に関する心理現象に基づいて、
視覚過程をシミュレートする視覚モデルｖを構築し、見
せたいものＡに対して映像生成手段ｆによる加工を行っ
て映像を生成するとともに、生成された映像についての
視覚モデルｖによってシミュレートされた見え方Ｂが、
見せたいものＡとできるだけ一致するように、映像生成
手段ｆを遂次的に最適化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータで作
成した映像〔コンピュータグラフィックス（ＣＧ）映
像〕、又はカメラなどから入力した映像を、さらにコン
ピュータで加工して映像を生成する方法及び装置に関
し、特に、人間の視覚特性を考慮しながら映像を加工す
ることにより、人間にとって自然で迫力のある映像を生
成する方法及び装置に関する。

【０００２】コンピュータの処理能力の向上や通信にお
ける帯域の増大にともなって、コンピュータにより生成
された映像や実写映像に加工処理を加えた映像が用いら
れている。映像ソフトを作成する業界においても、コン
ピュータを利用してより品質の高い映像をより少ない工
数で作成することのできる環境が望まれている。さら
に、コンピュータによる映像の利用者が増大するにつれ
て、映像の内容に関しても一般の関心が深まっている。
このような背景のもとで、コンピュータを利用した映像
の生成及び表示に関する技術に対して、より自然で迫力
のある映像への要望が高まっている。

【０００３】

【従来の技術】図９は従来における映像生成装置９０の
構成を示すブロック図、図１０は物体投影を説明する
図、図１１は人間の視覚に関する心理現象の例を説明す
る図である。

【０００４】映像の生成装置９０は、物体の３次元形状
データに基づいて、図１０に示すように、物体を適当な
視点から見た場合に得られる投影像をユークリッド幾何
学を基盤として生成し、それを画面に表示するものであ
る。

【０００５】図９において、映像生成装置９０は、３次
元形状データ格納部９１、映像生成部９２、及び表示部
９３から構成されている。映像生成部９２は、焦点距離
格納部９５、透視投影部９６、及び画像メモリ９７から
なっている。

【０００６】３次元形状データ格納部９１は、コンピュ
ータ内のメモリ又はコンピュータに接続された外部記憶
装置によって構成される。３次元形状データ格納部９１
には、表示したい多面体の各面の頂点の３次元座標が数
値データとして格納されている。焦点距離格納部９５に
は、透視投影に用いられる焦点が予め格納されている。
ここでの焦点とは、図１０に示すように、物体を画像面
に投影するに際して、その画像面から視点までの距離ｆ
のことである。

【０００７】透視投影部９６は、図１０に示すように、
視点と物体との間に存在する画像面に物体を投影して得
られる図形を演算により算出し、画像メモリ９７にその
図形を書き込む。表示部９３は、画像メモリ９７の内容
を画面に表示する。

【０００８】ところで、人間は網膜に写った２次元像に
基づいて外界の３次元構造（物体の３次元形状や３次元
運動）を推定している。しかし、人間の心理的な効果に
よって、推定する３次元構造は必ずしも現実の３次元構
造と合致しないことが知られている。つまり、人間が感
じる心理的な３次元空間は現実のユークリッド的な３次
元空間とは異なっており、心理的な歪みを生じると言わ
れている。

【０００９】例えば、図１１に示すように、３つの円筒
ａ，ｂ，ｃは互いに同一の大きさで描かれており、した
がって人間の網膜上での大きさは同一であるが、その背
景として描かれた通路によって遠近感が相違し、主観的
に近くにあると判断される円筒ａは小さく感じられ、遠
くにあると判断される円筒ｃは大きく感じられる。

【００１０】また、他の例として、回転するバーバーポ
ールを見たときに、人間にはバーバーポールが回転して
いるのではなく、ストライプ模様が鉛直方向に移動して
いるように見える。さらに他の例として、字体は全く同
一で大きさの相違する２つの文字フォントを見たとき
に、線の太さと間隔の関係がフォントの大きさにより異
なって感じられるため、人間には２つの字体のバランス
が相違して見える。

【００１１】

【発明が解決しようとする課題】上述したように、従来
の映像生成装置９０においては、人間に特有の心理的な
効果についての考慮がなされていないため、画面に表示
された物体像を見たときに人間が解釈する３次元構造は
現実の３次元世界の構造と必ずしも一致しなかった。

【００１２】また、画面に表示された映像を見たときの
人間の見え方は、現実のシーンを直接見たときの見え方
とは異なっている。両者が近いほどその映像には実在感
があるといえる。映像に実在感を持たせるためには、画
面から目に入る光のパターンと実物から目に入る光のパ
ターンとをできるだけ一致させるという考え方がある。
つまり、実物の映像に忠実な映像を画面に表示するので
ある。そのためには、カメラ及び表示装置（ディスプレ
イ）の分解能を高めて映像（画像）を高精細にし且つ表
現色の数や濃度階調数を増大したり、左右の目に入る光
に視差を持たせて立体視を可能とするなど、カメラや表
示装置の性能の向上を図る必要がある。従来においてこ
の方向で多くの提案がなされている（例えば、論文特集
「次世代画像技術」テレビジョン学会誌，Ｖｏｌ．４
８，Ｎｏ．１０，１９９４）。

【００１３】しかし、表示装置の性能や機能の向上は重
要な問題ではあるが、これで完璧ということはなく、ま
たコストの面も考慮しなければならない。そこで、本発
明者らは、映像を適切に加工することによって、与えら
れた表示装置の制約の下で可能な限り映像に実在感を与
えることを考えたのである。

【００１４】本発明は、人間の見え方を積極的に利用す
るという観点から、見せたい映像、すなわち原映像デー
タに加工を施すことにより、画面に表示された映像を見
たときの見え方を本来見せたい映像にできるだけ一致さ
せて、映像に実在感を与えることのできる映像の生成方
法及び装置を提供することを目的とする。

【００１５】

【課題を解決するための手段】まず、本発明の基本的な
原理を説明する。図１は本発明の基本的な考え方を示す
図、図２は本発明の映像の生成方法を説明するための図
である。

【００１６】カメラ（ＴＶカメラ）で撮影した映像を表
示装置に表示する。表示された映像はカメラや表示装置
の物理的な特性によって劣化するため、その映像を人間
が見たときに目に入る光のパターンは、実物からのもの
とは異なる。しかし、人間は目に入る光のパターンをそ
のまま感じ取っているわけではなく、人間の視覚過程に
おける様々な特性によって修飾されたものを知覚する。
したがって、目に入る光のパターンがたとえ異なってい
ても、人間が知覚するパターンは一致しているというこ
とはあり得る。例えば、３原色によって総ての色を表現
可能であることから分かるように、光の波長の分布が異
なっていても人間には同じ色に見える場合がある。つま
り、視覚過程の入力と出力との関係は必ずしも一対一で
はなく、多対一である。人間は目に入る情報の総てを知
覚しているわけではなく、視覚過程において情報の集約
を行っている。このことは、必ずしも光が目に入る前の
段階において、実シーンを見た場合と画面上の映像を見
た場合とを一致させる必要はなく、人間の視覚過程を経
た後で両者が一致するように映像を生成できることを示
している。

【００１７】表示装置に映像を表示する過程において、
人間の視覚過程に対するいわば「逆過程」を盛り込むこ
とによって、それが実現される。つまり、実シーンを見
たときの見え方に対してその「逆過程」を施したものに
できるだけ一致するように、映像を加工するのである。
「逆過程」は一対多であるので、画面上の映像を実シー
ンそのものに一致させる場合と比較して、一致させるべ
き対象の範囲が広くなり、したがってより一致度の高い
映像を容易に得ることができる。

【００１８】上述の考え方は、実シーンを見たときと画
面上の映像を見たときとを比較する場合のみではなく、
図１に示すように、より一般的に、映像を作成した者が
本来見せたいものとその映像を見たときの実際の見え方
を一致させたいという場合にも当てはまる。

【００１９】図１において、表示系の物理的な制約や錯
視現象に見られるような視覚過程における人間特有の心
理的効果のため、本来見せたいものを表示装置の画面に
直接に表示すると、それを見たときの見え方は本来見せ
たかったものと必ずしも一致しないが、上述した「逆過
程」を映像生成に盛り込むことによって、両者を一致さ
せることができる。

【００２０】図１に示す場合において、両者が一致した
か否かを判断するには、例えば、窓の開いた同一の２つ
の箱を準備し、その一方の箱には実物を入れ、他方の箱
にはその実物の映像を表示したＴＶモニタを入れる。こ
の２つの箱を被験者に提示し、窓から実物と映像とをそ
れぞれ見せてどちらが実物かを当てさせる。間違う頻度
が多ければ両者の一致度は高いと判断する。通常の環境
の下では両者を間違えることはほとんどない。そこで、
外部光を遮断した上で、箱の窓にフィルタを取り付けて
光の透過度を制約する。一般に、光の透過度が小さくな
ると間違う頻度は増加する。光の透過度が大きくても間
違う頻度が増加すれば、その映像の実在感は高い。光の
透過度を十分小さくしないと間違う頻度が増加しなけれ
ば、その映像の実在感は低いと定義することで、映像の
実在感（実物との一致の度合い）を定量化する。

【００２１】しかし、２つの箱を用いる方法では、実物
を見たときに目に入る光のパターンの持つ情報が少ない
場合には、光の透過度を小さくしなくても間違える頻度
が増加する。そのため、本来持っている情報が少ないほ
ど実在感が高くなってしまう。したがって、情報の量を
何らかの尺度で定義し、その情報量で正規化する必要が
ある。また、実在感の程度が測定できたとした場合に、
実在感が高まる方向に遂次的に映像生成方法を更新すれ
ばよいが、どの方向に更新すれば良いかの指針が無いの
で試行錯誤に頼らざるを得ない。そうすると試行錯誤の
過程に人間が介在するので、映像を最適化するのに時間
を要する。

【００２２】そこで、請求項１の発明においては、視覚
に関する様々な心理現象に基づいて、視覚過程をシミュ
レートする視覚モデルを構築し、人間による評価の代わ
りに、シミュレートされた見え方の一致の度合いを評価
するのである。

【００２３】すなわち、まず、図２の（１）で示すよう
に、視覚に関する様々な心理現象に基づいて視覚モデル
を構築する。ここでの心理現象には、例えば、人間の時
空間における周波数特性、オプティカルフローを算出す
るモデル、オプティカルフローから３次元を推定するモ
デルなどが含まれる。

【００２４】次に、図２の（２）で示すように、見せた
いものＡに対して映像生成手段ｆによる加工を行って映
像Ｊを生成するとともに、生成された映像Ｊについての
視覚モデルｖによってシミュレートされた見え方Ｂが、
見せたいものＡとできるだけ一致するように、前記映像
生成手段ｆを遂次的に最適化する。

【００２５】請求項３の発明においては、さらに、図２
の（３）で示すように、生成された映像Ｊの評価に応じ
て視覚モデルｖを検証して改良などの変更を行う。図２
において、映像の生成方法は内側のループ１Ａと外側の
ループ１Ｂの２つのループからなっている。内側のルー
プ１Ａでは、可変なパラメータを含む映像生成手段ｆと
表示系モデルｄによって、人間の目に入る光のパターン
をコンピュータ内部で生成し、視覚モデルｖによってそ
れを見たときの見え方Ｂをシミュレートする。そして、
シミュレートされた見え方Ｂが、見せたいものＡとでき
るだけ一致するように、映像生成手段ｆの可変なパラメ
ータを更新していく。外側のループ１Ｂでは、映像生成
手段ｆで生成された映像Ｊを実際に表示し、それを人間
が見て評価する。その評価に応じ必要であれば視覚モデ
ルｖを修正する。

【００２６】内側のループ１Ａにおいて、見せたいもの
Ａから図示しないフレームメモリ上の映像Ｊ（ｘ，ｙ，
ｔ）を生成する映像生成手段を写像ｆ、フレームメモリ
上の映像Ｊから目に入る光のパターンＩ（ｘ，ｙ，ｔ）
を生成する表示系モデルを写像ｄ、目に入る光パターン
Ｉから人間による見え方Ｂを生成する視覚モデルを写像
ｖと置くと、内側のループ１Ａでは、見せたいものＡと
見え方Ｂとの間に次の（１）式の関係がある。

【００２７】Ｂ＝ｖ＊ｄ＊ｆ＊Ａ ……（１）上述の（１）式ができるだけ成立するようなｆを探索す
る。換言すれば、ＡとＢの近さを、｜Ａ−Ｂ｜と表す
と、次の（２）式｜Ａ−Ｂ｜＝｜Ａ−ｖ＊ｄ＊ｆ＊Ａ｜ ……（２）が最小になるようなｆを繰り返して計算することにより
算出する。実際には幾つかの可変なパラメータで表現で
きるような写像ｆの族を考え、その族の中で最適のもの
を探すこととなる。

【００２８】また、特定の見せたいものＡに対して、
（２）式の代わりに次の（３）式｜Ａ−Ｂ｜＝｜Ａ−ｖ＊ｄ＊Ｉ｜ ……（３）が最小になるような映像Ｉを探索する。内側のループ１
Ａでは人間は介在せず、コンピュータ内部の演算だけで
閉じている。

【００２９】一方、外側のループ１Ｂでは、内側のルー
プ１Ａの映像生成手段ｆで生成した映像Ｊを表示系に実
際に表示し、それを人間が見て評価する。この評価は、
例えば「同一に見えますか」という質問に対して、評価
を行う者がイエス又はノーで答える。もし、視覚モデル
が完全であれば、見せたいものＡと見え方Ｂとは一致す
るはずである。しかし、見せたいものＡと見え方Ｂとの
ずれが許容範囲を越える場合には、視覚モデルを修正し
た後、再度内側のループ１Ａに戻る。なお、外側のルー
プ１Ｂには人間が介在することとなるが、人間が介在す
る頻度は大幅に少なくなるため余り問題とはならない。

【００３０】図３〜図７をも参照して、請求項２の発明
に係る方法は、見せたい原映像のデータである原映像デ
ータＤｐに対して表示映像算出部２２及び映像算出パラ
メータ格納部２３などの映像生成手段による処理を行っ
てフレームメモリＦＭ上の映像を生成し、生成された映
像に対して、人間の視覚に関する心理現象に基づく視覚
モデルによるシミュレートを行い、視覚される映像のデ
ータである視覚映像データＤｓを生成し、前記視覚映像
データＤｓと前記原映像データＤｐとの差異が最小とな
るように前記映像生成手段を遂次的に最適化する。

【００３１】請求項４の発明に係る装置は、原映像デー
タＤｐを格納する原映像データ格納部２１と、前記原映
像データＤｐに基づいて表示のための映像を算出する表
示映像算出部２２と、前記表示映像算出部２２における
算出に用いられる映像算出パラメータを格納する映像算
出パラメータ格納部２３と、人間の視覚に関する心理現
象に基づく視覚モデルにしたがって、前記映像を見たと
きの見え方に関するデータである見え方データＤｓを算
出する見え方算出部２５と、前記原映像データＤｐと前
記見え方データＤｓとを比較する比較部２６と、前記比
較部２６による比較結果に応じて、前記映像算出パラメ
ータの値を変更する映像算出パラメータ更新部２４とを
有して構成される。

【００３２】請求項５の発明に係る装置においては、表
示装置の表示特性についての情報であり、前記表示映像
算出部２２における算出に用いられる表示特性情報を格
納する表示特性情報格納部２７を有する。

【００３３】請求項６の発明に係る装置においては、前
記見え方算出部２５における算出に用いられる見え方算
出パラメータを格納する見え方算出パラメータ格納部２
８と、前記映像を画面に表示する表示装置３０と、前記
表示装置３０に表示された映像に対する評価を入力する
評価入力部３１と、前記評価に応じて前記見え方算出パ
ラメータを更新する見え方算出パラメータ更新部２９と
を有する。

【００３４】請求項７の発明に係る装置においては、原
映像データＤｐを格納する原映像データ格納部２１と、
前記原映像データＤｐに基づいて表示のための映像を算
出する表示映像算出部２２と、前記表示映像算出部２２
における算出に用いられる映像算出パラメータを格納す
る映像算出パラメータ格納部２３と、前記映像を画面に
表示する表示装置３０と、前記表示装置３０に表示され
た映像を撮像して撮映像データを入力する映像入力部３
２と、人間の視覚に関する心理現象に基づく視覚モデル
にしたがって、前記撮映像データについての見え方に関
するデータである見え方データＤｓを算出する見え方算
出部２５と、前記原映像データＤｐと前記見え方データ
Ｄｓとを比較する比較部２６と、前記比較部２６による
比較結果に応じて、前記映像算出パラメータの値を変更
する映像算出パラメータ更新部２４とを有する。

【００３５】請求項８の発明に係る装置においては、前
記原映像データＤｐとして３次元物体についての３次元
形状パラメータと３次元運動パラメータとを用い、前記
見え方算出部２５において、動いている物体を見たとき
の物体の３次元運動と３次元形状を知覚する人間の機能
のモデルを用いて構成される。

【００３６】

【発明の実施の形態】映像の生成方法は、コンピュータ
グラフィックス（ＣＧ）によるものと、実写映像を素材
にしたものとに大まかに分類される。ＣＧ技術の進展に
は目ざましいものがあるが、リアリティの面では実写映
像が優れている。実写映像はコンピュータ内部では数値
の２次元配列として表現されるので、ＣＧと比べてコン
ピュータによる自在な操作が容易でない。しかし、近年
においてモーフィングなど実写映像に幾何学的な変換を
加えながら映像を生成する技術や、ＣＧにおいて実写映
像をマッピングする技術が進展しており、ＣＧと実写映
像とを混用することにより一層実在感のある映像を生成
することができる。

【００３７】以下に説明する第１〜第４の態様はＣＧを
用いるものであり、第５の態様はＣＧと実写映像とを混
用するものである。図３は本発明に係る第１の態様の映
像生成装置３を示すブロック図である。

【００３８】図３において、映像生成装置３は、被表示
対象属性格納部２１ａ、表示映像算出部２２、映像算出
パラメータ格納部２３、映像算出パラメータ更新部２
４、見え方算出部２５、及び比較部２６からなってい
る。

【００３９】被表示対象属性格納部２１ａは、物体の２
次元形状又は３次元形状を表すパラメータ、文字のフォ
ントデータ、物体の３次元運動を表すパラメータ、及び
物体の表面の色の分布や光源の配置などの属性（属性デ
ータ）を格納する。従来のコンピュータグラフィクスで
は、これらの属性を用い、光学や幾何学に基づいて映像
を算出していたが、この映像生成装置３では、表示映像
算出部２２での算出において、焦点距離や各種画像変換
パラメータなどの変更可能なパラメータ（映像算出パラ
メータ）を調節することによって、光学や幾何学には必
ずしも忠実ではないけれども、人間が見たときにより正
確に外界や構造を理解することができるように算出す
る。なお、被表示対象属性格納部２１ａに格納される被
表示対象の属性は、本発明における原映像データＤｐの
一部である。したがって被表示対象の属性を、「属性Ｄ
ｐ」と記載することがある。

【００４０】映像算出パラメータ格納部２３は、映像算
出パラメータを格納する。映像算出パラメータの初期値
としては、通常のコンピュータグラフィクスにしたが
う。表示映像算出部２２は、表示映像パラメータを参照
して映像（映像データ）を算出する。算出された映像
は、ビットマップ方式のフレームメモリＦＭに書き込ま
れる。見え方算出部２５には、人間の視覚に関する各種
の心理現象に基づいて予め構築してある見え方のモデル
がコンピュータのプログラムとして搭載されている。見
え方算出部２５において、表示映像算出部２２で算出さ
れた映像に基づいて、人間の見え方を表す見え方データ
Ｄｓを算出する。比較部２６は、算出された見え方デー
タＤｓと被表示対象属性格納部２１ａに格納された被表
示対象の属性とを比較し、両者が近くなるように映像算
出パラメータを更新する。

【００４１】その後、更新された映像算出パラメータを
用いて映像を再度算出し、その結果から見え方データＤ
ｓを算出してそれと被表示対象の属性とを比較し、再度
映像算出パラメータを更新する。この処理を見え方デー
タＤｓと被表示対象の属性Ｄｐとが充分に近くなるまで
繰り返す。

【００４２】なお、図３における表示映像算出部２２及
び映像算出パラメータ格納部２３が、図２における映像
生成手段ｆに相当する。図４は本発明に係る第２の態様
の映像生成装置３Ａを示すブロック図である。

【００４３】映像生成装置３Ａにおいては、上述した映
像生成装置３に対して、ディスプレイ特性格納部２７が
追加されている。ディスプレイ特性格納部２７には、表
示装置（ディスプレイ）の解像度、表示可能な色数、表
示色のドットパターン、濃度階調数、ガンマ特性、残像
時間などの特性情報が記述して格納されている。映像生
成装置３Ａでは、表示映像算出部２２による映像の算出
にあたって、これらの特性情報に応じて表示装置の画面
に表示される映像を算出する。これによって、表示装置
毎に異なる特性に対応して最適な映像を算出することが
できる。

【００４４】なお、図４における表示映像算出部２２及
び映像算出パラメータ格納部２３は、図２における映像
生成手段ｆ及び表示系モデルｄに相当する。図５は本発
明に係る第３の態様の映像生成装置３Ｂを示すブロック
図である。

【００４５】映像生成装置３Ｂにおいては、上述した映
像生成装置３Ａに対して、見え方算出パラメータ格納部
２８、見え方算出パラメータ更新部２９、表示部（表示
装置）３０、及び評価入力部３１が追加されている。映
像生成装置３Ｂでは、表示映像算出部２２で算出された
映像を表示部３０の画面に表示し、その映像を人間が見
て評価し、その結果を評価入力部３１から入力する。評
価入力部３１から入力された評価に応じて、見え方算出
パラメータ更新部２９によって見え方算出パラメータ格
納部２８に格納された見え方算出パラメータを更新す
る。見え方算出部２５は、見え方算出パラメータを参照
して見え方データＤｓを算出する。このように、表示部
３０に表示された映像の評価に応じて見え方算出パラメ
ータを変更することにより、見え方のモデルをより妥当
なものに変更することができる。

【００４６】つまり、上述した第１及び第２の態様の映
像生成装置３，３Ａでは、各種の心理現象に基づいて構
築した見え方のモデルを搭載してあるが、見え方のモデ
ルは未だ完全なものではない。映像生成装置３Ｂのよう
に人間の評価に応じて見え方のモデルを更新することに
より、算出された映像を見たときの人間の見え方をより
正確に算出することができる。その結果として、見え方
データＤｓと属性Ｄｐをよりよく一致させることができ
る。

【００４７】図６は本発明に係る第４の態様の映像生成
装置３Ｃを示すブロック図である。映像生成装置３Ｃに
おいては、上述した映像生成装置３に対して、表示部３
０及び映像入力部３２が追加されている。すなわち、上
述の映像生成装置３Ａでは、表示装置（表示部）の特性
をパラメータとして表現し、これによって表示装置に表
示されるであろう映像をシミュレーションによって算出
していた。この例の映像生成装置３Ｃでは、映像を表示
部３０の画面に実際に表示することにより、パラメータ
では表現しきれない表示装置の特性をも計算に入れるこ
とができ、より確実に表示装置の特性に適応することが
できる。なお、映像入力部３２は種々の撮像デバイスを
用いたカメラである。

【００４８】図７は本発明に係る第５の態様の映像生成
装置３Ｄを示すブロック図である。映像生成装置３Ｄに
おいては、上述した映像生成装置３Ｂに対して、画像デ
ータ格納部２１ｂが追加されている。画像データ格納部
２１ｂには、カメラなどから入力した実写画像の画像デ
ータが格納されている。ここの映像生成装置３Ｄでは、
表示映像算出部２２において、画像データ格納部２１ｂ
に格納された画像データを素材とし、必要に応じて被表
示対象属性格納部２１ａの属性Ｄｐを用い、各種変換や
画像合成などを行うことによって映像を算出する。実写
画像を素材にしているので、従来のコンピュータグラフ
ィック技術では実現しきれないより実在感のある映像を
生成することができる。なお、被表示対象属性格納部２
１ａ及び画像データ格納部２１ｂによって原映像データ
格納部２１が構成されている。被表示対象属性格納部２
１ａに格納される属性はコンピュータグラフィックスに
用いられるデータであり、これと実写画像の画像データ
とを合わせたものが本発明における原映像データＤｐで
ある。

【００４９】図示は省略したが、本発明に係る第６の態
様の映像生成装置３Ｅにおいては、上述した第１〜第５
の態様の映像生成装置３〜３Ｄに対し、被表示対象の属
性としてＨＤＴＶなど高い解像度の映像に人間の視覚感
度特性に合致する時空間フィルタを施したものを用い
る。これは高い解像度の映像を見たときの人間の見え方
を表している。一方、画像データとしては高い解像度の
データを持っているが、使用できる表示装置の解像度が
低いためにそのままでは表示できないような場合があ
る。その場合に、従来は画素を間引いて表示していた
が、ここの映像生成装置３Ｅでは、人間が見たときに高
い解像度のままで見たときとできるだけ見え方が一致す
るように画像を表示できるようにしたものである。その
ため、見え方算出部２５に人間の視覚感度特性に合致す
る時空間フィルタを搭載し、低い解像度の画像を見たと
きの見え方を算出する。それが原映像データ格納部２１
に格納されている高い解像度の画像を見たときの見え方
とできるだけ一致するように映像を算出する。この映像
生成装置３Ｅによると、低い解像度の表示装置に表示し
たときにおいて、高い解像度の表示装置に表示した場合
と比較してほとんど遜色のない映像を表示することがで
きる。

【００５０】図示は省略したが、本発明に係る第７の態
様の映像生成装置３Ｆにおいては、上述した第１〜第５
の態様の映像生成装置３〜３Ｄに対し、被表示対象の属
性として３次元物体の３次元形状パラメータと３次元運
動パラメータとを用い、見え方算出部２５において、動
いている物体を見たときにその物体の３次元運動と３次
元形状を知覚する人間の機能のモデルを用いたものであ
る。３次元運動と３次元形状を知覚する人間の機能のモ
デルとしては、第６の態様の説明で述べた時空間フィル
タ、勾配法の原理によってオプティカルフローを算出す
る手段、さらにオプティカルフローから物体の３次元運
動と３次元形状を算出する手段を用いる。これによっ
て、例えば、実際に回転するバーバーポールをそのまま
見たときにはバーバーポールが回転しているのではなく
鉛直方向に移動しているように見えるが、この映像生成
装置３Ｆにしたがって映像を算出すれば、バーバーポー
ルが正しく回転しているように見える映像を生成するこ
とができる。

【００５１】次に、３種類の映像の本発明への適用例に
ついて説明する。まず、本発明を適用して標準文字フォ
ントＳＦからそれを縮小した縮小文字フォントＲＦの映
像を生成する例について説明する。

【００５２】図８は標準文字フォントから縮小文字フォ
ントを生成する過程を模式的に示す図である。図８
（Ａ）は標準文字フォントＳＦであり、標準文字フォン
トＳＦを特定の距離から見たときに見える映像が、本発
明における見せたいものＡ又は原映像データＤｐに相当
する。表示映像算出部２２において、標準文字フォント
ＳＦを２分の１の大きさに縮小する演算を行い、図８
（Ｂ）に示す縮小文字フォントＲＦを生成する。縮小文
字フォントＲＦは、全体の大きさが２分の１となってい
る他、各部のプロポーションが人間の視覚に関する心理
現象及び表示装置による制約を補うように変形されてい
る。縮小文字フォントＲＦは、図８（Ｃ）に示すように
フレームメモリ映像ＲＦ１としてフレームメモリＦＭに
書き込まれる。表示部３０がある場合にはそれが画面に
表示される。見え方算出部２５において、図８（Ｄ）に
示すように視覚文字フォントＲＦ２が算出される。視覚
文字フォントＲＦ２と標準文字フォントＳＦとが比較部
２６で比較され、両者が近くなるように映像算出パラメ
ータが更新される。更新された映像算出パラメータによ
って再度縮小文字フォントＲＦが生成され、以降これら
の処理が適当回数繰り返される。最終的に得られた縮小
文字フォントＲＦが目標とする映像である。最終的に映
像算出パラメータ格納部２３に格納されている映像算出
パラメータを用いることにより、同種の標準文字フォン
トから、視覚に関する心理現象及び表示装置による制約
を補った縮小文字フォントを生成することができる。

【００５３】また、標準文字フォントＳＦと画面に表示
された縮小文字フォントＲＦとを実際に見て比較し、そ
れに対する評価を入力することによって、見え方算出パ
ラメータを更新し、これによって視覚モデルに変更を加
える。なお、ここでの評価の手法として、例えば「２つ
のフォントは同一に見えるか」という質問に対して、イ
エス又はノーで答える。

【００５４】次に、円柱のＣＧデータに基づいて回転す
る円柱の映像を生成する例について説明する。この例で
は、本来見せたいものは映像中の剛体物体の３次元形状
と３次元運動であるとする。つまり、図２における一致
度の評価では、３次元形状及び３次元運動を比較する。

【００５５】円柱のＣＧデータは、３次元形状データ及
び３次元運動データとして被表示対象属性格納部２１ａ
に格納されている。それらのデータ（属性Ｄｐ）に基づ
いて、回転する円柱のデータが表示映像算出部２２で算
出され、その映像がフレームメモリＦＭに書き込まれ
る。回転する円柱のデータは、回転過程にあるそれぞれ
の姿勢又は位置における円柱の時系列データとして得ら
れる。得られたデータに基づいて、見え方算出部２５に
よって回転する円柱の見え方である見え方データＤｓが
算出される。それらが比較され、互いに一致するように
映像算出パラメータが更新される。

【００５６】フレームメモリＦＭに書き込まれた回転す
る円柱の映像を画面で実際に見て、それに対する評価を
入力して見え方算出パラメータを更新し、視覚モデルに
変更を加える。なお、ここでの評価の手法として、例え
ば「目標とする回転になっているか」又は「２つの円柱
の回転は同じか」などの質問に対して、イエス又はノー
で答える。

【００５７】ところで、人間は単眼の場合でも動いてい
る物体の３次元的な形や動きを知覚することができる。
これらの３次元情報を知覚するプロセスは次の二段階で
行われている。最初にオプティカルフローと呼称される
網膜上での２次元速度場を算出し、次にオプティカルフ
ローを基に物体の３次元的な動きと形を知覚する。ここ
で、時間的に変化するパターンを見たときの人間の知覚
特性に基づいてモデル化したオプティカルフローの算出
方法、及びオプティカルフローをもとに物体の３次元の
動きと形を類推する方法について、簡単に説明する。得
られた結果は視覚モデルの初期値として用いる。

【００５８】なお、これらの方法については、遠藤，鳥
生，吉田，「時空間に関する滑らかさ制約を用いたオプ
ティカルフローの算出」信学会論文集，Ｖｏｌ．Ｊ７４
−Ｄ−II，Ｎｏ．１２，ｐｐ１６７８−１６８５、及
び、Ｎ．Ｔａｇａｗａ，Ｔ．Ｔｏｒｉｕ，ａｎｄＴ．
Ｅｎｄｏｈ，“Ｕｎ−ＢｉａｓｅｄＬｉｎｅａｒＡ
ｌｇｏｒｉｔｈｍｆｏｒＲｅｃｏｖｅｒｉｎｇＴ
ｈｒｅｅ−ＤｉｍｅｎｓｉｏｎａｌＭｏｔｉｏｎｆ
ｒｏｍＯｐｔｉｃａｌＦｌｏｗ”，ＩＥＩＣＥＴ
ｒａｎｓ．Ｉｍｆｏｒｍ．＆Ｓｙｓｔ．Ｖｏｌ．Ｅ７
６−Ｄ，Ｎｏ．１０，ｐｐ１２６３−１２７５，１９９
３に詳しい。〔オプティカルフローの算出〕人間の視覚感度特性を近
似的に再現する時空間フィルタのモデルを構成し、この
モデルを拡張することでオプティカルフローを算出する
モデルを導く。目に入る光りのパターンをＩ（ｘ，ｙ，
ｔ）、時空間フィルタの出力をＬ（ｘ，ｙ，ｔ）とする
と、時空間フィルタは次の（４）式で表すことができ
る。

【００５９】Ｌ（ｘ，ｙ，ｔ）＝−〔Ｕ_N（ｘ，ｙ，ｔ）−Ｕ_N-1（ｘ，ｙ，ｔ）〕 τ（ｄＵ_n／ｄｔ）＝σ∇²Ｕ_n（ｘ，ｙ，ｔ） −〔Ｕ_n（ｘ，ｙ，ｔ）−Ｕ_n-1（ｘ，ｙ，ｔ）〕 ……（４）但し、〔ｎ＝１〜Ｎ，Ｕ₀（ｘ，ｙ，ｔ）＝Ｗ（ｘ，
ｙ，ｔ）〕この時空間フィルタの周波数特性は、人間の目の周波数
特性と良く一致している。上述の（４）式の時空間フィ
ルタは、スカラー場に対する方程式である。オプティカ
ルフローを算出するために、（４）式をベクトルの形式
に改め、それを（４）式の出力に施す。

【００６０】 τ〔∂（ｖｘ，ｖｙ）／∂ｔ〕＝σ∇²（ｖｘ，ｖｙ）−〔（Ｌｘ，Ｌｙ）／（Ｌｘ²＋Ｌｙ²）〕・（Ｌｘｖｘ＋Ｌｙｖｙ＋Ｌｔ）…（５）ここで、ｖｘ，ｖｙはオプティカルフローの成分であ
る。（４）（５）式によって、動画像からオプティカル
フローが算出される。〔３次元構造と運動の推定〕３次元空間を運動している
物体は、網膜上に２次元の速度ベクトル場、すなわちオ
プティカルフローを生じさせる。逆に網膜上でのオプテ
ィカルフローから物体の動きと形を復元することを考え
る。３次元が２次元の網膜に投影されるときに次元が１
つ落ちるので、一般的には２次元像から３次元像を復元
できない。そこで、物体が剛体であると仮定する。この
とき、物体の動きは並進運動（Ｔｘ，Ｔｙ，Ｔｚ）と回
転運動（Ｗｘ，Ｗｙ，Ｗｚ）だけで決まる。解くべき問
題はオプティカルフローから並進運動と回転運動、及び
網膜からの各点の奥行き座標を求めることである。

【００６１】物体上の点（Ｘ，Ｙ，Ｚ）は網膜上の点
（ｘ，ｙ）に投影されるとき、焦点距離を１とすると、ｘ＝Ｘ／Ｚｙ＝Ｙ／Ｚ ……（６）の関係がある。また、点（Ｘ，Ｙ，Ｚ）の速度は、

【００６２】

【数１】

【００６３】で表される。（６）式を時間で微分して
（７）式を使うと、ｖｘ＝−Ｗ_xｘｙ＋Ｗ_y（１＋ｘ²）＋Ｗ_zｙ＋（Ｔ_x−Ｔ_zｘ）Ｚｖｙ＝−Ｗ_x（１＋ｙ²）＋Ｗ_yｘｙ＋Ｗ_zｘ＋（Ｔ_y−Ｔ_zｘ）Ｚ ……（８）が得られる。（８）式は網膜上の各点で成立するが、こ
れらを、並進運動（Ｔｘ，Ｔｙ，Ｔｚ）、回転運動（Ｗ
ｘ，Ｗｙ，Ｗｚ）、及び奥行き座標Ｚをそれぞれ未知数
として解けばよい。

【００６４】次に、物体を多視点から実写し、得られた
複数の映像に基づいて任意視点の物体の映像を生成する
例について説明する。この例では、生成された映像を人
間が見たときに、本来の３次元形状と３次元運動を正し
く知覚できるようにする、というのが問題設定である。
実写の映像として、例えばビルを異なる位置から撮影し
た２枚の写真を用いる。これらの２枚の写真に基づい
て、それらの映像を補間して立体的なビルの回転の像を
作成する。その際に、どのように補間すれば実在感が得
られるかという問題に解が与えられるので、これによっ
て補間のパラメータを最適化することができる。

【００６５】与えられた複数の画像（映像）に基づいて
任意視点から見た映像を生成するには、特徴点抽出（指
定）、カメラの視点とカメラの方向推定、近傍３視点の
選択、及び、３視点画像の補間合成の各ステップを順次
実行する。特徴点抽出（指定）のステップでは、複数個
の視点から撮影したそれぞれの画像における特徴点の位
置と、ある画像と他の画像の特徴点の対応関係を指定す
る。カメラの視点とカメラの方向推定では、複数枚の画
像の特徴点の対応関係に基づいて、物体に固定された座
標系におけるカメラの視点の位置とカメラの方向を推定
する。ここでは、画像が透視投影によって生成されたと
の仮定の下に、特徴点の数と視点の数が多い極限で最適
性（最小分散性）が補償されている最尤推定に基づいて
推定する。近傍３視点の選択では、物体に固定された座
標系における指定された視点の近傍にある３つの視点を
選択する。具体的には、選択した３つの視点の位置ベク
トルが作る三角錐の内部に指定された視点の位置ベクト
ルが存在し、しかも、推定された視点の位置ベクトルと
選択した視点の位置ベクトルのなす角ができるだけ小さ
くなるような３視点を選択する。

【００６６】次に、３視点画像の補間合成では、選択さ
れた３視点から撮影した画像を基に、それらを以下のよ
うに補間合成して、指定された視点から見た画像を生成
する。まず、選択された３視点の画像における特徴点の
位置を基に、指定された視点の画像において対応する特
徴点の位置を定める。その方法には任意性があるが、図
２の内側のループ１Ａを回りながら最適な特徴点の位置
を求める。初期値としては、それぞれの画像を、原点を
中心にある角度だけ回転させて方向をそろえ、その上
で、指定した視点と選択した視点の間の角度に応じた重
みをつけて３つの特徴点の位置を平均したものを用い
る。

【００６７】次に、選択された３視点の画像のそれぞれ
を、指定した視点の画像に変換する座標変換を求める。
この座標変換は、それぞれの視点における画像の特徴点
の位置が、指定した視点における画像の対応する特徴点
の位置に変換されるという条件を満たす範囲で任意性が
ある。この任意性も、図２の内側のループ１Ａを回すこ
とによって、生成された映像を人間が見たときにできる
だけ正しく３次元形状と３次元運動が知覚できるように
解消する。座標変換の初期値としては、予め各特徴を頂
点とする三角形によってそれぞれの画像を分割してお
き、それぞれの三角形の内部を３頂点の対応で定まるア
フィン変換で変換するような座標変換を用いる。選択さ
れたそれぞれの３視点画像を指定した視点からみた画像
に変換する座標変換が定まると、その座標変換によって
それぞれの３視点画像を変換したものを適当に重みを付
けて合成し、その視点から見た画像を生成する。

【００６８】

【発明の効果】請求項１乃至請求項８の発明によると、
見せたいもの又は映像に加工を施すことによって、画面
に表示された映像を見たときの見え方を本来見せたい映
像にできるだけ一致させ、映像に実在感を与えることが
できる。

【００６９】請求項３の発明によると、見せたいものと
見え方とのずれが許容範囲を越える場合などにおいて、
視覚モデルをより妥当なものに変更することができる。
請求項５の発明によると、表示装置毎に異なる特性に対
応して最適な映像を算出することができる。

【００７０】請求項６の発明によると、算出された映像
を見たときの人間の見え方をより正確に算出することが
でき、原映像データと見え方データとをよりよく一致さ
せることができる。

【００７１】請求項７の発明によると、パラメータでは
表現しきれない表示装置の特性をも計算に入れることが
でき、より確実に表示装置の特性に適応することができ
る。請求項８の発明によると、３次元形状の物体の３次
元運動に実在感を与えることができる。

【図面の簡単な説明】

【図１】本発明の基本的な考え方を示す図である。

【図２】本発明の映像の生成方法を説明するための図で
ある。

【図３】本発明に係る第１の態様の映像生成装置を示す
ブロック図である。

【図４】本発明に係る第２の態様の映像生成装置を示す
ブロック図である。

【図５】本発明に係る第３の態様の映像生成装置を示す
ブロック図である。

【図６】本発明に係る第４の態様の映像生成装置を示す
ブロック図である。

【図７】本発明に係る第５の態様の映像生成装置を示す
ブロック図である。

【図８】標準文字フォントから縮小文字フォントを生成
する過程を模式的に示す図である。

【図９】従来における映像生成装置の構成を示すブロッ
ク図である。

【図１０】物体投影を説明する図である。

【図１１】人間の視覚に関する心理現象の例を説明する
図である。

【符号の説明】

３，３Ａ，３Ｂ，３Ｃ，３Ｄ映像生成装置Ａ見せたいものＤｐ原映像データＪ映像Ｂ見え方Ｄｓ視覚映像データｆ映像生成手段ｖ視覚モデルＦＭフレームメモリ２１原映像データ格納部２１ａ被表示対象属性格納部（原映像データ格納部）２１ｂ画像データ格納部（原映像データ格納部）２２表示映像算出部２３映像算出パラメータ格納部２４映像算出パラメータ更新部２５見え方算出部２６比較部２７ディスプレイ特性格納部（表示特性情報格納部）２８見え方算出パラメータ格納部２９見え方算出パラメータ更新部３０表示装置（表示部）３１評価入力部３２映像入力部

Claims

【特許請求の範囲】

【請求項１】人間の視覚に関する心理現象に基づいて、
視覚過程をシミュレートする視覚モデルを構築し、見せたいものに対して映像生成手段による加工を行って
映像を生成するとともに、生成された映像についての前
記視覚モデルによってシミュレートされた見え方が、前
記見せたいものとできるだけ一致するように、前記映像
生成手段を遂次的に最適化することを特徴とする映像の
生成方法。
【請求項２】見せたい原映像のデータである原映像デー
タに対して映像生成手段による処理を行ってフレームメ
モリ上の映像を生成し、生成された映像に対して、人間の視覚に関する心理現象
に基づく視覚モデルによるシミュレートを行い、視覚さ
れる映像のデータである視覚映像データを生成し、前記視覚映像データと前記原映像データとの差異が最小
となるように前記映像生成手段を遂次的に最適化するこ
とを特徴とする映像の生成方法。
【請求項３】生成された映像の評価に応じて前記視覚モ
デルの変更を行う請求項１又は請求項２記載の映像の生
成方法。
【請求項４】原映像データを格納する原映像データ格納
部と、前記原映像データに基づいて表示のための映像を算出す
る表示映像算出部と、前記表示映像算出部における算出に用いられる映像算出
パラメータを格納する映像算出パラメータ格納部と、人間の視覚に関する心理現象に基づく視覚モデルにした
がって、前記映像を見たときの見え方に関するデータで
ある見え方データを算出する見え方算出部と、前記原映像データと前記見え方データとを比較する比較
部と、前記比較部による比較結果に応じて、前記映像算出パラ
メータの値を変更する映像算出パラメータ更新部と、を有することを特徴とする映像の生成装置。
【請求項５】表示装置の表示特性についての情報であ
り、前記表示映像算出部における算出に用いられる表示
特性情報を格納する表示特性情報格納部を有する請求項
４記載の映像の生成装置。
【請求項６】前記見え方算出部における算出に用いられ
る見え方算出パラメータを格納する見え方算出パラメー
タ格納部と、前記映像を画面に表示する表示装置と、前記表示装置に表示された映像に対する評価を入力する
評価入力部と、前記評価に応じて前記見え方算出パラメータを更新する
見え方算出パラメータ更新部と、を有する請求項５記載の映像の生成装置。
【請求項７】原映像データを格納する原映像データ格納
部と、前記原映像データに基づいて表示のための映像を算出す
る表示映像算出部と、前記表示映像算出部における算出に用いられる映像算出
パラメータを格納する映像算出パラメータ格納部と、前記映像を画面に表示する表示装置と、前記表示装置に表示された映像を撮像して撮映像データ
を入力する映像入力部と、人間の視覚に関する心理現象に基づく視覚モデルにした
がって、前記撮映像データについての見え方に関するデ
ータである見え方データを算出する見え方算出部と、前記原映像データと前記見え方データとを比較する比較
部と、前記比較部による比較結果に応じて、前記映像算出パラ
メータの値を変更する映像算出パラメータ更新部と、を有することを特徴とする映像の生成装置。
【請求項８】前記原映像データとして３次元物体につい
ての３次元形状パラメータと３次元運動パラメータとを
用い、前記見え方算出部において、動いている物体を見たとき
の物体の３次元運動と３次元形状を知覚する人間の機能
のモデルを用いて構成されている請求項４乃至請求項７
のいずれかに記載の映像の生成装置。