JPWO2020049619A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JPWO2020049619A1
JPWO2020049619A1 JP2020540886A JP2020540886A JPWO2020049619A1 JP WO2020049619 A1 JPWO2020049619 A1 JP WO2020049619A1 JP 2020540886 A JP2020540886 A JP 2020540886A JP 2020540886 A JP2020540886 A JP 2020540886A JP WO2020049619 A1 JPWO2020049619 A1 JP WO2020049619A1
Authority
JP
Japan
Prior art keywords
information
appearance
information processing
unit
unit volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020540886A
Other languages
English (en)
Other versions
JP6990777B2 (ja
Inventor
昭 西山
昭 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2020049619A1 publication Critical patent/JPWO2020049619A1/ja
Application granted granted Critical
Publication of JP6990777B2 publication Critical patent/JP6990777B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/08Bandwidth reduction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/36Level of detail

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

描画対象となる対象物の外観に関する外観情報を取得し、取得した外観情報により特定される対象物表面の色分布、及び、所与の視点から対象物までの距離の情報に基づいて、当該視点から対象物を見た様子を描画する際における対象物の解像度に関するパラメータを決定する情報処理装置である。

Description

本発明は、描画対象となる対象物が配置された仮想空間の様子を示す画像を描画する際のパラメータを決定する情報処理装置、情報処理方法、及びプログラムに関する。
実在する人物などの対象物の外観を表す情報に基づいて、対象物が配置された仮想空間の様子を示す画像が描画されることがある。具体例として、被写体までの距離を特定可能な距離画像センサーによって距離画像を撮影し、その距離画像に含まれる単位部分に対応する所定形状、及び大きさの単位体積要素(ボクセル等)を仮想空間内に配置することによって、被写体の外観を再現した仮想オブジェクトを生成する技術が知られている。このような技術によれば、対象物を含む仮想空間の様子を示す空間画像を描画し、閲覧者に提示することができる。
対象物の外観を詳細に表現するためには、例えば単位体積要素の大きさを小さくするなどして、描画される対象物の解像度を向上させる必要がある。しかしながら、解像度の向上は、描画負荷の増大やデータ送信時の通信量の増大を招くことになる。
本発明は上記実情を考慮してなされたものであって、その目的の一つは、対象物の外観の特性に応じて、その外観に適した解像度で対象物を含む画像を描画することのできる情報処理装置、情報処理方法、及びプログラムを提供することにある。
本発明に係る情報処理装置は、描画対象となる対象物の外観に関する外観情報を取得する外観情報取得部と、前記取得した外観情報により特定される前記対象物表面の色分布、及び、所与の視点から前記対象物までの距離の情報に基づいて、前記視点から前記対象物を見た様子を描画する際における前記対象物の解像度に関するパラメータを決定するパラメータ決定部と、を含むことを特徴とする。
本発明に係る情報処理方法は、描画対象となる対象物の外観に関する外観情報を取得するステップと、前記取得した外観情報により特定される前記対象物表面の色分布、及び、所与の視点から前記対象物までの距離の情報に基づいて、前記視点から前記対象物を見た様子を描画する際における前記対象物の解像度に関するパラメータを決定するステップと、を含むことを特徴とする。
本発明に係るプログラムは、描画対象となる対象物の外観に関する外観情報を取得するステップと、前記取得した外観情報により特定される前記対象物表面の色分布、及び、所与の視点から前記対象物までの距離の情報に基づいて、前記視点から前記対象物を見た様子を描画する際における前記対象物の解像度に関するパラメータを決定するステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明の実施形態に係る情報処理装置を含む情報処理システムの全体概要図である。 距離画像センサーにより対象物Tの外観情報を取得する様子の一例を示す図である。 本発明の実施の形態に係る情報処理装置の機能を示す機能ブロック図である。 注目体積要素の大きさを変化させる制御について説明する図である。 コントラスト感度特性のグラフを示す図である。 本発明の実施の形態に係る情報処理装置が実行する処理の流れの一例を示す図である。
以下、本発明の実施形態について、図面に基づき詳細に説明する。
図1は、本発明の一実施形態に係る情報処理装置を含む情報処理システム1の全体概要図である。情報処理システム1は、図1に示すように、情報取得装置10と、画像出力装置20と、サーバ装置30と、を含んで構成されており、各装置は、インターネット等の通信ネットワークを介して相互にデータ送受信可能に接続されている。以下の具体例では、サーバ装置30が本発明の一実施形態に係る情報処理装置として機能する。なお、この図において情報処理システム1は、情報取得装置10、画像出力装置20、及びサーバ装置30のそれぞれを1台ずつ含むこととしているが、情報処理システム1は各種類の装置を複数台含んでもよい。
この情報処理システム1によれば、描画対象となる対象物Tの外観を反映したオブジェクトが配置された仮想空間の様子を示す画像が描画され、閲覧者(画像出力装置20のユーザー)に提示される。以下では、対象物Tは情報取得装置10を利用する人物であるものとする。
情報取得装置10は、パーソナルコンピュータや家庭用ゲーム機などの情報処理装置であって、距離画像センサー11と接続されている。距離画像センサー11は、対象物Tを含む現実空間の様子を観測して、距離画像(デプスマップ)の生成に必要な情報を取得する。例えば距離画像センサー11は、左右に並んだ複数のカメラによって構成されるステレオカメラであってよい。情報取得装置10は、これら複数のカメラによる撮影画像を取得して、その撮影画像に基づいて距離画像を生成する。具体的に情報取得装置10は、複数のカメラの視差を利用することで、距離画像センサー11の撮影位置(観測点)から撮影画像内に写っている被写体までの距離を算出することができる。なお、距離画像センサー11は、ステレオカメラに限らず、例えばTOF方式など、その他の方式で被写体までの距離を計測可能なセンサーであってもよい。
距離画像は、視野範囲内に含まれる単位領域のそれぞれについて、当該単位領域内に写っている被写体までの距離を示す情報を含んだ画像である。本実施形態において距離画像センサー11は、対象物T(人物)に向けて設置される。そのため情報取得装置10は、距離画像センサー11の検出結果を用いて、対象物Tの表面のうち、距離画像に写っている複数の単位部分のそれぞれについて、その実空間内における位置座標を算出できる。ここで単位部分とは、距離画像内の単位領域に対応する対象物T表面の一部分である。
情報取得装置10は、距離画像に含まれる被写体までの距離の情報に基づいて、対象物Tを構成する各単位部分の実空間内における位置を特定する。また、各単位部分の色成分値を、距離画像に対応する撮影画像の画素値から特定する。これにより情報取得装置10は、対象物Tの表面を構成する各単位部分の位置、及び色を示すデータを得ることができる。以下、対象物Tを構成する各単位部分の位置、及び色を特定するデータのことを、外観情報という。情報取得装置10は、所定時間おきに、距離画像センサー11の検出結果に基づいて対象物Tの外観を表す外観情報を生成し、サーバ装置30に送信する。後述するように、この外観情報を用いて複数の単位部分のそれぞれに対応する単位体積要素を仮想空間内に配置することで、対象物Tの外観を仮想空間内に再現することができる。この場合の単位体積要素は、予め定められた形状(例えば立方体や球など)、及び大きさを有する比較的小さなオブジェクトである。なお、単位体積要素の大きさを小さくすればするほど、対象物Tを仮想空間に再現する際の解像度を向上させ、より現実の対象物Tに近づけることができる。
なお、以上の説明では、情報取得装置10に対して一つの距離画像センサー11が接続されているものとしている。しかしながらこれに限らず、情報取得装置10には、複数の距離画像センサー11が接続されることとしてもよい。例えば2個以上の距離画像センサー11が対象物Tを囲むように異なる位置及び向きで配置されていれば、それらのセンサーから得られる情報を統合することで、情報取得装置10は、対象物T表面のより広い範囲について、外観情報を取得することができる。図2は、このように複数の距離画像センサー11によって対象物T全体の外観情報を取得する場合の例を示している。
画像出力装置20は、パーソナルコンピュータや家庭用ゲーム機、携帯型ゲーム機、スマートフォン、タブレットなどの情報処理装置であって、表示装置21と接続されている。
表示装置21は、画像出力装置20から供給される映像信号に基づく映像を表示する。表示装置21は、液晶ディスプレイ等の据え置き型のデバイスであってもよいし、ヘッドマウントディスプレイ等の、ユーザーが頭部に装着して使用する頭部装着型の表示装置であってもよい。また、表示装置21は画像出力装置20の筐体内に配置される各種の表示パネルであってもよい。
サーバ装置30は、情報取得装置10から受信した外観情報に基づいて、仮想空間内に対象物Tを表す単位体積要素や、その他のオブジェクト等を配置する。また、物理演算等の演算処理により、仮想空間内に配置されたオブジェクトの挙動を計算する。そして、その結果として得られる仮想空間内に配置されるオブジェクトの位置や形状などの情報を、画像出力装置20に対して送信する。
特に本実施形態において、サーバ装置30は、画像出力装置20が描画する空間画像に含まれる対象物Tの解像度に関するパラメータを決定する。具体的にサーバ装置30は、対象物Tを表す単位体積要素の大きさを、後述するような制御によって、所与の基準値から変化させることとする。単位体積要素の大きさは、空間画像内に含まれる対象物Tの解像度を規定しており、単位体積要素の大きさが基準値よりも大きく変更されると、空間画像の解像度が粗くなることになる。
図1に示されるように、サーバ装置30は、制御部31と、記憶部32と、通信部33と、を含んで構成されている。制御部31は少なくとも一つのプロセッサを含んで構成され、記憶部32に記憶されているプログラムを実行して各種の情報処理を実行する。本実施形態において制御部31が実行する処理の具体例については、後述する。記憶部32は、RAM等のメモリデバイスを少なくとも一つ含み、制御部31が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部33は、LANカード等の通信インタフェースであって、通信ネットワークを介して情報取得装置10及び画像出力装置20との間でデータの送受信を行う。
以下、本実施形態においてサーバ装置30が実現する機能について、図3に基づいて説明する。図3に示されるように、サーバ装置30は、機能的に、外観情報取得部51と、視点情報取得部52と、パラメータ決定部53と、仮想空間情報出力部54と、を含んで構成されている。これらの機能は、制御部31が記憶部32に格納されているプログラムを実行することで実現される。このプログラムは、インターネット等の通信ネットワークを介して画像出力装置20に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
外観情報取得部51は、情報取得装置10から送信される対象物Tの外観情報を取得する。前述したように、本実施形態における外観情報は、対象物Tの表面を構成する単位体積要素の位置、及び色成分値を示すデータである。
視点情報取得部52は、対象物Tを含む空間画像が描画される際の、仮想空間内における視点位置VPの位置座標、及び視線方向を示す視点情報を取得する。本実施形態において視点情報取得部52は、画像出力装置20から視点情報を取得することとする。例えば閲覧者(画像出力装置20のユーザー)は、操作デバイスを操作したりすることで視点位置VPや視線方向を変化させる指示を入力する。画像出力装置20は、閲覧者から受け付けた指示に応じて決定される視点情報を、定期的にサーバ装置30に対して送信する。
パラメータ決定部53は、対象物Tを含む空間画像が描画される際の対象物Tの解像度に関するパラメータを決定する。具体的にパラメータ決定部53は、解像度に関するパラメータとして、仮想空間内に配置される個々の単位体積要素の大きさを決定することとする。その結果、対象物Tを構成する各単位体積要素は、互いに異なる大きさになり得る。
特に本実施形態において、パラメータ決定部53は、外観情報取得部51が取得した外観情報により特定される対象物T表面の色分布、及び、仮想空間内における視点位置VPから対象物Tまでの距離の情報に基づいて、各単位体積要素の大きさを決定することとする。例えばパラメータ決定部53は、ある単位体積要素に注目した場合に、この注目体積要素の色が隣接する周囲の単位体積要素の色とほぼ同じであれば、注目体積要素の大きさを大きくし、その代わりに周囲の単位体積要素を削除することとする。より具体的に、隣接する単位体積要素同士において、注目する色成分値(ここでは輝度値とする)の差が所与の閾値以下の場合、閲覧者はその色差を見分けることが困難であると想定される。そのため、注目体積要素の大きさを大きくして対象物Tの解像度を低下させても、閲覧者に気づかれにくくなる。そこでパラメータ決定部53は、このように隣接体積要素と色成分値が近い注目体積要素の大きさを大きくするとともに、隣接体積要素を削除することとする。これにより、注目体積要素の位置近傍における対象物Tの解像度は低下するが、単位体積要素の数を減らすことができる。そして、このような制御によって対象物Tの解像度を低下させたとしても、対象物T表面の色分布に比較的変化がない領域であれば、空間画像を閲覧する閲覧者にとって違和感が生じにくい。図4は、以上説明したような制御により注目体積要素の大きさが変更される様子の一例を示しており、仮想空間内に配置された一部の単位体積要素を側面から見た様子を示している。
さらに本実施形態において、パラメータ決定部53は、注目体積要素近傍の色分布の変化が小さい(隣接する単位体積要素との間の色成分値の差が小さい)と判定するための閾値を、視点位置VPから注目体積要素までの距離dに応じて変化させることとする。例えばパラメータ決定部53は、距離dが大きい場合には隣接する単位体積要素が同じ色成分値を持つと判定するための閾値を大きくし、距離dが小さい場合には閾値を小さくする。こうすれば、視点位置VPから対象物Tが比較的近い位置にあるときには解像度を低下させにくくし、比較的遠い位置にあるときには解像度を低下させやすくすることができる。
さらに、この場合の閾値は、距離dやその二乗に比例して変化させるのではなく、人の視覚特性を考慮して非線形に変化させることが望ましい。具体的に、人間の視覚特性として、CSF(Contrast sensitivity function)と呼ばれる特性が知られている。これは一般に、コントラスト感度Aと空間周波数f(cycle/degree)の関係を表す以下のような特性関数によって規定される。
Figure 2020049619
この空間周波数fは視点位置VPから見た角度1度あたりのコントラスト変化のサイクル数を示している。隣接する単位体積要素間の距離は予め定められているため、空間周波数fは距離dと対応づけられている。そこでパラメータ決定部53は、視点情報取得部52が取得した視点位置VPの位置情報に基づいて距離dを算出し、その距離dに対応する空間周波数fの値を決定する。決定したfの値を上述した特性関数に代入することによって、隣接する単位体積要素間のコントラストの許容値(人が識別可能と想定される輝度差の下限値)を算出することができる。注目体積要素とその隣接体積要素との間の輝度値の差がこの許容値を下回っている場合、人はその色の違いを認識することが困難であると想定されるため、パラメータ決定部53は、注目体積要素の大きさを拡大する。併せて、その拡大に伴って注目体積要素の範囲内に含まれることとなった隣接体積要素を削除する。これにより、単位体積要素の数を削減できる。逆に、輝度値の差が許容値以上の場合には、注目体積要素の大きさを変化させずに、初期値のままとする。
図5は、上述した特性関数によって算出されるコントラスト感度Aのグラフを示している。このような非線形な関数を適用して都度空間周波数fに応じた許容値を算出すると処理負荷が高くなるため、図5において破線で示すように、離散的な許容値を予め用意することとしてもよい。この場合、複数の空間周波数帯のそれぞれに対して、一つの許容値が定められる。一つの閾値に対応する空間周波数帯の幅は、周波数帯によって異なってよく、図の例では特性関数の値が急激に変化する領域では狭く、緩やかに変化する領域では広くなっている。このように予め用意された離散的な許容値を利用することで、パラメータ決定部53が各単位体積要素の大きさを決定する際の演算負荷を抑えることができる。
以上の説明では、コントラストを評価するために用いる色成分値を、特定の色に依存しない輝度値であることとした。特に空間周波数が高い場合、視覚特性の傾向は色によって大きく変化しないことが知られている。そのため、輝度値を用いることにより、計算負荷を抑えつつ人が隣接する単位体積要素間の色差を識別可能か推定することができる。ただし、パラメータ決定部53は、CIE LABやCIE LUV色空間などで表現された複数の色成分値のそれぞれについて、人の視覚特性を考慮して色差を識別可能かの判定を行ってもよい。また、輝度値の代わりに、明度値などその他の指標値を用いて判定を行ってもよい。
以上説明したような判断基準に従って、パラメータ決定部53は、外観情報取得部51が取得した外観情報に含まれる単位体積要素のそれぞれについて、その大きさを決定するとともに不要となった単位体積要素を削除するパラメータ調整処理を実行する。これにより、各単位体積要素の大きさは互いに異なることになるが、周囲の色分布に応じて適した解像度で対象物Tの外観を描画できるようになる。なお、パラメータ決定部53が実行する処理の流れの一例について、後に詳しく説明する。
仮想空間情報出力部54は、仮想空間内の様子を描画するために必要な空間情報を、画像出力装置20に対して送信する。仮想空間情報出力部54が送信する空間情報には、仮想空間内に配置される対象物Tを構成する単位体積要素の情報が含まれる。この単位体積要素は、パラメータ決定部53によって大きさが変化されたものになっている。そのため、情報取得装置10からサーバ装置30に送信された外観情報に含まれる単位体積要素の数と比較して、空間情報に含まれる単位体積要素の数は少なくなり、通信負荷を軽減することができる。
画像出力装置20は、サーバ装置30から受信した空間情報を用いて、対象物Tを表す単位体積要素が配置された仮想空間内の様子を示す空間画像を描画する。このとき画像出力装置20は、サーバ装置30に対して送信した視点位置VPに基づいて、空間画像を描画することとする。描画された空間画像は、表示装置21の画面に表示され、閲覧者に提示される。このようにして、対象物Tの外観を含んだ空間画像が閲覧者に提示される。この場合の対象物Tの空間画像内における解像度は、対象物T表面の色分布、及び仮想空間内における視点位置VPから対象物Tまでの距離dに応じて調整されたものになっている。
ここで、パラメータ決定部53が各単位体積要素の大きさを決定する具体的な処理の流れの一例について、図6のフロー図を用いて説明する。
まずパラメータ決定部53は、外観情報取得部51が取得した外観情報、及び視点情報取得部52が取得した視点位置VPの位置座標を用いて、視点位置VPから最も近い位置にある単位体積要素を注目体積要素として特定する(S1)。
次にパラメータ決定部53は、注目体積要素に隣接する単位体積要素(隣接体積要素)を特定する(S2)。ここでの隣接体積要素は、注目体積要素の上下前後左右の6方向それぞれの位置で隣接する単位体積要素であってよい。
続いてパラメータ決定部53は、S2で特定された隣接体積要素と注目体積要素との間の輝度値の差分値を算出する(S3)。なお、特定された隣接体積要素が複数ある場合、そのそれぞれとの間で差分値を算出し、算出された差分値のうちの最小値を特定する。
さらにパラメータ決定部53は、視点位置VPの位置、及び注目体積要素の位置に基づいて両者の間の距離dを算出し、この距離dに対応するコントラストの許容値を決定する(S4)。この許容値は、前述したような特性関数に従って算出される値であってもよいし、特性関数に基づいて予めテーブル内に格納されている値であってもよい。
そして、パラメータ決定部53は、S3で算出された輝度値の差分値がS4で決定された許容値以下か否かを判定する(S5)。差分値が許容値以下の場合、パラメータ決定部53は、注目体積要素の大きさを大きくするパラメータの変更を行う(S6)。併せて、注目体積要素に含まれることとなった隣接体積要素を削除する(S7)。なお、差分値が許容値を超えている場合、S6及びS7の処理はスキップされ、注目体積要素の大きさは維持される。
注目体積要素について以上の処理が完了すると、パラメータ決定部53は、全ての単位体積要素について処理を実行したか判定する(S8)。未処理の単位体積要素が残っていれば、パラメータ決定部53はS1に戻って新たな単位体積要素を次の注目体積要素として特定し、処理を繰り返す。この場合においてパラメータ決定部53は、未処理の単位体積要素のうち、最も視点位置VPに近い単位体積要素を次の注目体積要素として特定する。すなわち、パラメータ決定部53は、視点位置VPに近い位置に配置される単位体積要素から順に、各単位体積要素についての処理を実行することとする。これにより、他の単位体積要素の大きさを大きくした結果削除される可能性のある単位体積要素の処理を後回しにして、結果として処理回数を少なくできる可能性が高くなる。
なお、以上の例では個々の単位体積要素について個別に隣接体積要素との間の輝度値の差分値を評価することとしたが、より広範囲において互いに輝度の差が許容値以下となる単位体積要素を特定して、大きな一つの単位体積要素にグルーピングしてもよい。
以上説明したように、本実施形態に係るサーバ装置30によれば、閲覧者に提示する空間画像内における対象物Tの解像度を、周囲の色分布と視点位置VPから対象物Tまでの距離dに応じて適切に調整することができ、閲覧者に違和感を感じさせないようにしつつ空間画像を描画する際の処理負荷や情報処理装置間のデータ通信量を抑えることができる。
なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明における許容値の決定方法は、一例に過ぎない。人の視覚特性には個人差があり、特に視力によって識別可能な色分布には差が生じると想定される。そこでサーバ装置30は、閲覧者の視力や視覚特性などに関する情報を予め取得し、その内容に応じてパラメータ調整処理に使用する許容値を変化させてもよい。
また、以上の説明では対象物Tは実在する人物であることとし、その外観をリアルタイムで反映した画像を描画する場合の処理について説明した。しかしながら対象物Tは人物に限らず、他の物体でもよい。また、現実空間に存在する物体に限らず、仮想空間内に配置される仮想オブジェクトであってもよい。特に予め用意されて形状等が大きく変化しないオブジェクトを対象物Tとする場合、その対象物Tを構成する各単位体積要素について、隣接体積要素との色差を示す差分値を予め算出することができる。そのためサーバ装置30は、各単位体積要素について周囲の単位体積要素との間の色の差分値を記録しておいてもよい。パラメータ決定部53は、画像出力装置20からの要求に応じて、記録された差分値が距離dに対応する許容値以下か否かを判定し、各単位体積要素の大きさを変化させる。こうすれば、リアルタイムで実行すべき計算量を削減することができる。
また、以上の説明においてサーバ装置30が実行することとした処理の少なくとも一部は、他の装置によって実行されてもよい。具体的に、パラメータ決定部53が単位体積要素の大きさを変化させるパラメータ調整処理は、画像出力装置20によって実現されてもよい。この場合、画像出力装置20が本発明の一実施形態に係る情報処理装置として機能する。こうすれば、画像出力装置20は視点情報をサーバ装置30に通知する必要がなくなる。画像出力装置20がパラメータ調整処理を実行する場合でも、各単位体積要素の大きさを適切に調整することで、空間画像を描画する際の処理負荷を軽減することができる。
また、パラメータ調整処理は情報取得装置10によって実現されてもよい。この場合、情報取得装置10が本発明の一実施形態に係る情報処理装置として機能する。こうすれば、サーバ装置30に送信する前に各単位体積要素の大きさを適切に調整するとともに単位体積要素の数を削減することができ、サーバ装置30に対して送信される単位体積要素のデータ量を抑えることができる。
また、以上の説明では仮想空間内の対象物Tは単位体積要素によって構成されるものとしたが、これに限らずポリゴン等によって構成される場合であっても、その表面の色分布と距離dとに応じて空間画像を描画する際の解像度を変化させてもよい。この場合、例えば視点位置VPから見た仮想空間の様子を投影面に投影する際に、距離d及び対象物T表面の色分布に応じて投影するオブジェクトの解像度を低下させることとする。これにより、閲覧者に気づかれにくい態様で解像度を低くすることができる。
1 情報処理システム、10 情報取得装置、11 距離画像センサー、20 画像出力装置、21 表示装置、30 サーバ装置、31 制御部、32 記憶部、33 通信部、51 外観情報取得部、52 視点情報取得部、53 パラメータ決定部、54 仮想空間情報出力部。

Claims (7)

  1. 描画対象となる対象物の外観に関する外観情報を取得する外観情報取得部と、
    前記取得した外観情報により特定される前記対象物表面の色分布、及び、所与の視点から前記対象物までの距離の情報に基づいて、前記視点から前記対象物を見た様子を描画する際における前記対象物の解像度に関するパラメータを決定するパラメータ決定部と、
    を含むことを特徴とする情報処理装置。
  2. 請求項1に記載の情報処理装置において、
    前記外観情報は、仮想空間内に配置されて前記対象物を構成する複数の単位体積要素に関する情報を含み、
    前記パラメータ決定部は、前記解像度に関するパラメータとして、前記複数の単位体積要素それぞれの大きさを決定する
    ことを特徴とする情報処理装置。
  3. 請求項2に記載の情報処理装置において、
    前記パラメータ決定部は、前記複数の単位体積要素のそれぞれについて、当該単位体積要素、及び当該単位体積要素に隣接する単位体積要素の色成分値の差分値に基づいて、当該単位体積要素の大きさを所与の基準値から変化させる
    ことを特徴とする情報処理装置。
  4. 請求項3に記載の情報処理装置において、
    前記パラメータ決定部は、閲覧者の視覚特性に応じて前記距離に対して非線形に変化する閾値と、前記差分値とを比較することで、前記単位体積要素の大きさを前記基準値から変化させるか否か決定する
    ことを特徴とする情報処理装置。
  5. 請求項2から4のいずれか一項に記載の情報処理装置において、
    前記外観情報は、実空間内に存在する前記対象物を観測して得られる距離画像に基づいて生成される情報であって、前記複数の単位体積要素のそれぞれは、前記距離画像内に含まれる単位部分に対応する
    ことを特徴とする情報処理装置。
  6. 描画対象となる対象物の外観に関する外観情報を取得するステップと、
    前記取得した外観情報により特定される前記対象物表面の色分布、及び、所与の視点から前記対象物までの距離の情報に基づいて、前記視点から前記対象物を見た様子を描画する際における前記対象物の解像度に関するパラメータを決定するステップと、
    を含むことを特徴とする情報処理方法。
  7. 描画対象となる対象物の外観に関する外観情報を取得するステップと、
    前記取得した外観情報により特定される前記対象物表面の色分布、及び、所与の視点から前記対象物までの距離の情報に基づいて、前記視点から前記対象物を見た様子を描画する際における前記対象物の解像度に関するパラメータを決定するステップと、
    をコンピュータに実行させるためのプログラム。

JP2020540886A 2018-09-03 2018-09-03 情報処理装置、情報処理方法、及びプログラム Active JP6990777B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/032653 WO2020049619A1 (ja) 2018-09-03 2018-09-03 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020049619A1 true JPWO2020049619A1 (ja) 2021-06-10
JP6990777B2 JP6990777B2 (ja) 2022-01-12

Family

ID=69722407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020540886A Active JP6990777B2 (ja) 2018-09-03 2018-09-03 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US11461957B2 (ja)
EP (1) EP3848908A4 (ja)
JP (1) JP6990777B2 (ja)
WO (1) WO2020049619A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133940A (ja) * 2004-11-04 2006-05-25 Matsushita Electric Ind Co Ltd 詳細度を用いたリアルタイム画像生成装置
WO2006132194A1 (ja) * 2005-06-07 2006-12-14 Sony Corporation 情報処理装置及び情報処理方法、画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP2011070387A (ja) * 2009-09-25 2011-04-07 Mitsubishi Electric Corp 3次元形状表示装置およびプログラム
JP2017191351A (ja) * 2016-04-11 2017-10-19 株式会社日立製作所 作業支援システム及び方法
WO2018062251A1 (ja) * 2016-09-30 2018-04-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
WO2018074419A1 (ja) * 2016-10-21 2018-04-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US20160012646A1 (en) * 2014-07-10 2016-01-14 Perfetch, Llc Systems and methods for constructing a three dimensional (3d) color representation of an object
JP2017019351A (ja) 2015-07-09 2017-01-26 オムロン株式会社 転落者検知装置、転落者検知システム、転落者検知方法、および転落者検知プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133940A (ja) * 2004-11-04 2006-05-25 Matsushita Electric Ind Co Ltd 詳細度を用いたリアルタイム画像生成装置
WO2006132194A1 (ja) * 2005-06-07 2006-12-14 Sony Corporation 情報処理装置及び情報処理方法、画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP2011070387A (ja) * 2009-09-25 2011-04-07 Mitsubishi Electric Corp 3次元形状表示装置およびプログラム
JP2017191351A (ja) * 2016-04-11 2017-10-19 株式会社日立製作所 作業支援システム及び方法
WO2018062251A1 (ja) * 2016-09-30 2018-04-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
WO2018074419A1 (ja) * 2016-10-21 2018-04-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
中村浩子 ほか: "色分布を考慮した区間型ボリュームの詳細度制御", VISUAL COMPUTING グラフィクスとCAD 合同シンポジウム2000 予稿集, JPN6018039845, 15 January 2001 (2001-01-15), pages 27 - 32, ISSN: 0004650786 *
松本茂 ほか: "視覚特性を利用した詳細度制御による没入型システムでの高速表示", 第25回 日本シミュレーション学会大会 発表論文集, JPN6018039844, 14 August 2007 (2007-08-14), pages 65 - 68, ISSN: 0004650785 *

Also Published As

Publication number Publication date
EP3848908A4 (en) 2022-05-11
EP3848908A1 (en) 2021-07-14
WO2020049619A1 (ja) 2020-03-12
US11461957B2 (en) 2022-10-04
JP6990777B2 (ja) 2022-01-12
US20210312699A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
JP7051457B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR102342668B1 (ko) 화상 처리장치, 화상 처리방법 및 기억매체
US11663778B2 (en) Method and system for generating an image of a subject from a viewpoint of a virtual camera for a head-mountable display
RU2708437C1 (ru) Устройство обработки изображений, система обработки изображений, способ обработки изображений и носитель данных
KR102120046B1 (ko) 오브젝트를 표시하는 방법
US10917622B2 (en) Information processing apparatus, display control method, and storage medium
KR101671185B1 (ko) 렌더링을 위한 빛 및 질감 추출 장치 및 방법, 그리고, 빛 및 질감을 이용한 렌더링 장치
JP2018180655A5 (ja)
WO2017217296A1 (ja) 画像処理装置
JP5762600B1 (ja) 情報処理装置及び情報処理方法
RU2735382C2 (ru) Устройство обработки изображений, способ управления устройства обработки изображений и компьютерно-читаемый носитель хранения данных
KR20120075829A (ko) 적응적 부화소 렌더링 장치 및 방법
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
JP5911292B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
US11526267B2 (en) Setting apparatus, setting method, and storage medium
TW201315209A (zh) 呈現立體影像之系統及方法
JPWO2019012632A1 (ja) 認識処理装置、認識処理方法及びプログラム
JP2022105590A (ja) 情報処理装置、情報処理方法、及び、プログラム
US20200167933A1 (en) Image processing apparatus, image processing method, and a non-transitory computer readable storage medium
JP6990777B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2005018529A (ja) 画像処理装置
EP3796132A1 (en) Heat map presentation device and heat map presentation program
CN116661143A (zh) 图像处理装置、图像处理方法及存储介质
JP7297515B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20130005082A (ko) 3차원 컨텐츠의 시청 피로도를 제공하는 3d 디스플레이 장치 및 그의 피로도 제공 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211206

R150 Certificate of patent or registration of utility model

Ref document number: 6990777

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150