JP6896452B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP6896452B2 JP6896452B2 JP2017031448A JP2017031448A JP6896452B2 JP 6896452 B2 JP6896452 B2 JP 6896452B2 JP 2017031448 A JP2017031448 A JP 2017031448A JP 2017031448 A JP2017031448 A JP 2017031448A JP 6896452 B2 JP6896452 B2 JP 6896452B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- importance
- processing apparatus
- partial region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、仮想視点画像の生成に関する。
近年、複数のカメラでそれぞれの異なる位置から同じ注視点を撮影した画像から、3次元空間上の任意に選択された視点(以降、仮想視点と呼ぶ)からの見え方を再現する仮想視点画像が注目されている。仮想視点画像を生成する場合、選択される仮想視点は無数に存在するため、それらに対応した画像を全て用意することは非現実的である。そこで従来は、撮影された被写体や背景を3次元空間上に再現することで任意の仮想視点からの見え方の再現を実現している。
ここで、背景を3次元空間上で再現する方法としては、あらかじめ用意された背景を表す形状データ(背景モデル)に撮影した複数の背景画像を対応する箇所に貼り付けることで実現される。動画が入力された場合は、背景画像が入力される度に背景モデルへ貼りつける画像を更新する処理が行われる。
また、近年の撮影画像の解像度の増大により、データ伝送の帯域の圧迫や処理負荷が増大し、複数の撮影画像からリアルタイムに仮想視点画像を生成するには、撮影画像を占める割合の高い背景画像を効率良く画像処理する必要がある。
画像を効率的に処理する技術として、特許文献1には、コンピュータの画面を部分領域に分割して時間的な変化が頻繁に生じる部分領域は動画圧縮してデータ量を削減することで処理負荷を低減させる技術が開示されている。
しかしながら、特許文献1に記載の技術のように頻繁に変化する領域のデータ量を削減しても、自然画を用いた仮想視点画像では多くの領域で頻繁に変化は生じる。このため、データ量の削減効果は小さく処理負荷の低減は十分ではない。また、仮想視点から離れた領域など重要ではない領域の画像処理が十分に抑制されず、処理負荷の低減は十分ではない。
本発明は前述の問題点に鑑み、仮想視点画像を生成するための背景を、精度よくかつ処理負荷を低くして更新できるようにすることを目的としている。
本発明に係る画像処理装置は、例えば、以下の構成を有する。すなわち、入力画像における複数の部分領域毎に時間的な変化に関する変化情報を取得する取得手段と、前記複数の部分領域毎に注目度に関する注目情報を判定する判定手段と、前記取得手段によって取得された変化情報と、前記判定手段によって判定された注目情報とから前記複数の部分領域毎の重要度を決定する決定手段と、前記決定手段によって決定された重要度に応じて前記部分領域を更新する更新手段とを有する。
本発明によれば、仮想視点画像を生成するための背景を、精度よくかつ処理負荷を低くして更新することができる。
(第1の実施形態)
以下、本発明を実施するための第1の実施形態について、図面を用いて詳細に説明する。本実施形態では、仮想視点画像を生成する前段階として背景を3次元空間上に再現するために、背景形状の部分領域毎に画像の更新を行い、3次元空間上で背景の変化に対応させる。具体的には、仮想視点画像の生成に係る注視点位置からの距離に着目し、注視点位置からの距離と時間的な変化とに基づいて重要度を決定し、重要度に応じて画像を更新処理する。これにより、ユーザが注目しない領域の画像処理を抑制し、処理負荷を低減するようにする。
なお、本実施形態における仮想視点画像とは、仮想的な視点から被写体を撮像した場合に得られる画像を模擬して生成される画像である。言い換えると、仮想視点画像は、仮想的な視点における見えを表す画像であるとも言える。仮想的な視点(仮想視点)は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。仮想視点画像に似た概念の言葉として、自由視点画像や任意視点画像などが存在する。本実施形態のシステムは、仮想視点画像に限らず、自由視点画像や任意視点画像についても同様に処理できる。
以下、本発明を実施するための第1の実施形態について、図面を用いて詳細に説明する。本実施形態では、仮想視点画像を生成する前段階として背景を3次元空間上に再現するために、背景形状の部分領域毎に画像の更新を行い、3次元空間上で背景の変化に対応させる。具体的には、仮想視点画像の生成に係る注視点位置からの距離に着目し、注視点位置からの距離と時間的な変化とに基づいて重要度を決定し、重要度に応じて画像を更新処理する。これにより、ユーザが注目しない領域の画像処理を抑制し、処理負荷を低減するようにする。
なお、本実施形態における仮想視点画像とは、仮想的な視点から被写体を撮像した場合に得られる画像を模擬して生成される画像である。言い換えると、仮想視点画像は、仮想的な視点における見えを表す画像であるとも言える。仮想的な視点(仮想視点)は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。仮想視点画像に似た概念の言葉として、自由視点画像や任意視点画像などが存在する。本実施形態のシステムは、仮想視点画像に限らず、自由視点画像や任意視点画像についても同様に処理できる。
図2は、本実施形態に係る画像処理装置10のハードウェア構成例を示すブロック図である。
図2において、CPU201は、画像処理装置10全体を制御し、ROM202に格納されたプログラムに従って各種処理を行う。ROM202には、前述のプログラムやその他の情報が格納されている。RAM203は、前述のプログラムが実行される場合に、該プログラムがROM202から展開され、CPU201のワークエリアとして利用される。
図2において、CPU201は、画像処理装置10全体を制御し、ROM202に格納されたプログラムに従って各種処理を行う。ROM202には、前述のプログラムやその他の情報が格納されている。RAM203は、前述のプログラムが実行される場合に、該プログラムがROM202から展開され、CPU201のワークエリアとして利用される。
入力装置204は、ユーザの指示を入力するための操作部材等から構成される。通信I/F205は、外部装置との間でネットワーク等を介してデータの送受信を行うためのインターフェースである。外部I/F206は、記憶装置207に記憶されたデータをプリンタや表示装置などの外部装置に出力するためのインターフェースである。記憶装置207は例えば画像データを記憶するためのメモリ等であり、通信I/F205等から入力されたデータや、CPU201により処理されたデータを記憶する。
次に、本実施形態に係る画像処理装置10の機能構成について説明する。なお、本実施形態では、画像処理装置10は、同じ注視点を画角の中心とする3つのカメラで撮影された画像データを入力するものとする。
図1は、本実施形態における画像処理装置10の機能構成例を示すブロック図である。本実施形態において、図1で示す各機能は、図2のCPU201が所定のプログラムを実行して各部を制御することによって実現される。ただし、図1で示す各機能の一部又はすべてがASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、DSP(デジタルシグナルプロセッサ)などの1つ以上のプロセッサーによる処理に基づいて実行されるようにしても良い。
図1において、入力部101は、背景の形状データ、注視点位置情報、複数の画像データ、およびカメラ情報を入力し、これらの情報を記憶装置207に格納する。ここで、背景の形状データとは、三角形や四角形のメッシュの集合であり、例えばスタジアムやコンサートホールなど撮影対象となる背景の形状を示したものでる。入力部101の機能は、図2の通信I/F205及び入力装置204のうち、少なくとも何れか一方と、CPU201とを用いて実現される。
図1において、入力部101は、背景の形状データ、注視点位置情報、複数の画像データ、およびカメラ情報を入力し、これらの情報を記憶装置207に格納する。ここで、背景の形状データとは、三角形や四角形のメッシュの集合であり、例えばスタジアムやコンサートホールなど撮影対象となる背景の形状を示したものでる。入力部101の機能は、図2の通信I/F205及び入力装置204のうち、少なくとも何れか一方と、CPU201とを用いて実現される。
図3に、形状データの例として、複数の三角メッシュ301の集合で天井面のない直方体形状を表した形状データ300を示す。三角メッシュは三角形の点の3次元座標で表され、座標系は底面の中心位置302を原点として表現される。以下、図3に示す直方体形状のメッシュモデルを例に説明する。なお、本実施形態では、形状データとしてメッシュの集合で表したがこれに限るものではない。また、形状データをメッシュの集合で表すとしても、三角メッシュに限るものでもない。つまり、形状データ300は任意の形状の集合で表すことができる。
注視点位置情報とは、仮想視点画像の生成のために入力される複数の画像データにおける撮像範囲の中心位置の3次元座標である。注視点位置情報は、図3に示した形状データ300と同じ座標系で表現され、座標系の中心からx軸方向に注視点が50メートル離れている場合は、注視点の座標(x,y,z)=(50,0,0)となる。
複数の画像データは、前述の3台のカメラでそれぞれ撮影された画像データ(以下、入力画像)である。
複数の画像データは、前述の3台のカメラでそれぞれ撮影された画像データ(以下、入力画像)である。
図4は、3台のカメラから撮影された、注視点を含む入力画像の例を示す図である。図4(a)は、異なる位置に配置された3台のカメラからそれぞれ異なる方向402〜403で同じ注視点401を画角の中心として撮影する状態を説明するための図である。また、図4(b)〜図4(d)は、それぞれのカメラで撮影された入力画像の例を示しており、各画像の中心は注視点401が位置する。図4(b)〜図4(d)における注視点の三次元空間上における位置は共通である。
また、カメラ情報とは、前述の入力画像を撮影した複数のカメラの位置、姿勢、及び設定値を示す情報である。
また、カメラ情報とは、前述の入力画像を撮影した複数のカメラの位置、姿勢、及び設定値を示す情報である。
画像選択部102は、カメラ情報に基づき、入力画像と形状データとで対応する領域を特定し、入力画像を形状データに示される複数の部分領域に分割する。そして、分割された部分領域毎に画像処理の対象として用いる入力画像を選択し、形状データと分割した入力画像とを変化情報取得部103と注目度判定部104とに出力する。部分領域への分割と入力画像の選択方法とについては後述する。
変化情報取得部103は、部分領域毎に分割された入力画像と直前のフレームの該当する部分領域の入力画像とを比較して、部分領域内で変化のある領域の割合を取得し、各部分領域の変化情報として重要度決定部105に出力する。
注目度判定部104は、形状データと注視点位置情報とから、各部分領域の重心位置と注視点位置との距離を判定し、注視点距離情報(注目情報)として重要度決定部105に出力する。
注目度判定部104は、形状データと注視点位置情報とから、各部分領域の重心位置と注視点位置との距離を判定し、注視点距離情報(注目情報)として重要度決定部105に出力する。
重要度決定部105は、変化情報取得部103で取得した各部分領域の変化情報と注目度判定部104で算出した注視点距離情報とから各部分領域の重要度を決定する。決定方法については後述する。
画像更新部106は、部分領域毎に重要度から入力画像を更新するか否かを判定する。更新すると判定した場合は、該当する部分領域を入力画像で更新し、更新しないと判定した場合、その部分領域の更新は行わないようにする。更新方法については後述する。
画像出力部107は、部分領域の更新が行われた画像データを、仮想視点画像を生成する外部装置に出力する。画像出力部107の機能は、図2の通信I/F205と、CPU201とにより実現される。
画像更新部106は、部分領域毎に重要度から入力画像を更新するか否かを判定する。更新すると判定した場合は、該当する部分領域を入力画像で更新し、更新しないと判定した場合、その部分領域の更新は行わないようにする。更新方法については後述する。
画像出力部107は、部分領域の更新が行われた画像データを、仮想視点画像を生成する外部装置に出力する。画像出力部107の機能は、図2の通信I/F205と、CPU201とにより実現される。
図5は、本実施形態に係る画像処理装置10により背景画像を更新する処理手順の一例を示すフローチャートである。
S501において、画像選択部102は、カメラ情報に基づき、図3に示した複数の三角形の部分領域で表された形状データ300の部分領域に入力画像を分割する。なお、本実施形態では入力画像の全体を部分領域に分割する例を中心に説明するが、必ずしも入力画像の全体を部分領域に分割しなくても良い。入力画像を撮影したカメラの位置や姿勢を示すカメラ情報を用いて、それぞれ撮影された入力画像が形状データのどの位置を撮影したか対応を判定することで入力画像を形状データで示した三角形の部分領域に分割することができる。図6(a)〜図6(c)は、それぞれ図4(b)〜図4(d)に示した入力画像を、図3で示した形状データで部分領域に分割した例を示している。図6において、破線は部分領域の境界を示し、各部分領域は形状データに従って三角形で表現される。ただし上述の通り、形状データは必ずしも三角形の部分領域の集合で示されなければならないわけではなく、任意の形状の集合で表すことができる。
S501において、画像選択部102は、カメラ情報に基づき、図3に示した複数の三角形の部分領域で表された形状データ300の部分領域に入力画像を分割する。なお、本実施形態では入力画像の全体を部分領域に分割する例を中心に説明するが、必ずしも入力画像の全体を部分領域に分割しなくても良い。入力画像を撮影したカメラの位置や姿勢を示すカメラ情報を用いて、それぞれ撮影された入力画像が形状データのどの位置を撮影したか対応を判定することで入力画像を形状データで示した三角形の部分領域に分割することができる。図6(a)〜図6(c)は、それぞれ図4(b)〜図4(d)に示した入力画像を、図3で示した形状データで部分領域に分割した例を示している。図6において、破線は部分領域の境界を示し、各部分領域は形状データに従って三角形で表現される。ただし上述の通り、形状データは必ずしも三角形の部分領域の集合で示されなければならないわけではなく、任意の形状の集合で表すことができる。
次に、S502において、画像選択部102は、形状データに貼りつける対象の入力画像を部分領域ごとに選択する。部分領域によっては、複数の入力画像で重複して存在する場合があり、部分領域の画像として用いる画像を選択する必要がある。選択方法として、該当する部分領域を含む割合が最も大きい入力画像を選択する。ただし最も大きい入力画像を選択する方法に限らず、予め定められた選択方針に沿って入力画像が選択されるようにすればよい。例えば、部分領域の予め定められた位置を含む入力画像が選択されるようにしても良いし、部分領域の頂点を最も多く含む入力画像を選択するようにしても良い。すべての部分領域について入力画像の選択が終了したら、次のS503に進む。
以下、図6を例に入力画像の選択方法について説明する。例えば、注視点401付近に存在する部分領域Aが、図6(a)〜図6(c)に示す3つの入力画像に含まれている。図6(a)及び図6(b)に示す入力画像では、部分領域Aの一部が入力画像からはみ出ているが、図6(c)に示す入力画像では、部分領域Aの略全部が存在している。したがって、部分領域Aの場合は、部分領域Aが含まれる割合が最も大きい図6(c)の入力画像を該部分領域の画像として選択する。なお、本実施形態では、部分領域を含む割合が最大の入力画像を選択したが、これに限らず部分領域の解像度が最大の入力画像を選択するなど、他の基準によって入力画像を選択してもよい。
次に、以下に説明するS503〜S506の処理を部分領域ごとに繰り返す。まず、S503において、変化情報取得部103は、対象となる部分領域において、直前のフレームと差分のある画素数の割合(変化値)に基づいて変化情報を生成する。図7は、図3の形状データにおける各部分領域の変化値の例を示す図である。図7では、図3の形状データを展開して示しており、各部分領域に記された数字は直前のフレームからの差分のあった領域の割合(%)を示している。図7の例では、直方体の側面部での変化が大きく、底面部での変化が小さいことを示している。なお、本実施形態では変化値(変化情報)として直前のフレームと差分のある画素数の割合としたが、直前のフレームとの差分値の平均値や直前のフレームとの差分が一定期間継続した画素数を変化値とするなどとしてもよい。また、本実施形態では画像処理装置10の変化情報取得部103が変化情報を算出する例を中心に説明しているが、例えば、他の装置から変化情報が取得される構成を採用しても良い。
次に、S504において、注目度判定部104は、対象となる部分領域の重心位置と注視点との距離を算出して距離情報を生成する。当該距離は、注視点位置情報と各部分領域の座標情報を含む形状データとから判定される。図8は、図3の形状データにおける各部分領域の重心位置と注視点401との距離を判定した例を示し、各部分領域に記された値が注視点からの距離を示す。なお、本実施形態では注視点と部分領域との距離として重心位置を用いたが、これに限らず、注視点に最も近い部分領域内の位置との距離などを用いてもよい。また、本実施形態では画像処理装置10の注目度判定部104が距離を算出する例を中心に説明しているが、例えば、他の装置から距離に関する情報が取得される構成を採用しても良い。
次に、S505において、重要度決定部105は、S503で生成した変化情報とS504で生成した距離情報とから、対象となる部分領域の重要度を決定する。以下、重要度を決定する基準について説明する。
図9は、重要度の決定条件の例を示す図である。図9に示す条件の場合、変化値が10%未満であれば、直前に更新した画像と変化が小さいため、画像の更新は不要とみなし、重要度「低」とする。また、変化値が10%以上であるが、注視点からの距離が120以上の場合も、注視点からの距離が離れており、ユーザは仮想視点としてその領域を注目することは少ないとみなし、重要度「低」とする。
これに対して、変化値が10%以上で注視点からの距離が80以上120未満の場合、前回更新した画像から変化があり、かつ注視点からそれほど離れておらずユーザが注目する可能性があるとみなし、重要度「中」とする。さらに、変化値が10%以上で注視点からの距離が80未満の場合、前回更新した画像から変化があり、かつ注視点の近くでユーザが注目する可能性が高いとみなし、重要度「高」とする。なお、本実施形態では画像処理装置10の重要度決定部105が重要度を決定する例を中心に説明しているが、例えば、他の装置から重要度に関する情報が取得される構成を採用しても良い。
図10は、図9に示した条件より各部分領域の重要度を求めた例を示す図である。直前のフレームから変化が大きく、注視点から近い部分領域ほど重要度は高く設定されている。以上のように、変化値と注視点からの距離とによって各部分領域の重要度が決定される。なお、本実施形態では変化情報と注視点からの距離を各々閾値で判定して重要度を3段階に求めたがこれに限らず、数値などで表現してもよい。
次に、S506において、画像更新部106は、S505で決定された重要度に従い、画像を更新するか否かを判定して部分領域毎に処理する。ここでは、重要度が「高」の部分領域の場合、画像更新部106は、入力画像でその部分領域を更新し、その部分領域に係る画像を記憶装置207に格納する。重要度が「中」の部分領域では、更新頻度を半分に間引くようにし、更新する場合は、画像更新部106は、入力画像の解像度を30%縮小した画像を用いて更新し、その部分領域に係る画像を記憶装置207に格納する。重要度が「低」の部分領域では、更新頻度を1秒に一度に下げ、更新する場合は、画像更新部106は、入力画像の解像度を50%縮小した画像を用いて更新し、その部分領域に係る画像を記憶装置207に格納する。このように重要度に応じた処理を行うことにより、重要度の低い領域の更新頻度とデータ量とが低減され、画像処理装置10の平均的な処理負荷は軽減される。
なお、画像出力部107は、部分領域を更新した場合に、その部分領域に係る画像を外部装置に出力する。外部装置では、更新した部分領域に係る画像を背景モデルに貼り付けて3次元空間上の背景を更新し、更新した3次元空間上の背景から仮想視点画像を生成することができる。このように、画像処理装置10による送信の処理負荷も低減することができる。
なお、本実施形態では、重要度に応じて入力画像の更新頻度と解像度とを変更したが、これに限らず、更新する画像の色深度を低下させたり更新する画像を圧縮したりするなどを行ってもよい。以上のように本実施形態によれば、各部分領域の注視点位置からの距離と画像の変化値とから重要度を決定し、重要度に応じて画像の更新頻度と解像度とを制御する。これにより、外部装置では、ユーザが注目する領域で高品位に画像を生成し、かつ処理負荷を低減させることが可能となる。
(第2の実施形態)
以下、本発明の第2の実施形態について説明する。本実施形態では、ユーザが注目する領域であるか否かの指標として、ユーザにより選択された3次元空間上の任意の視点である仮想視点の画角に含まれるか否かを指標としている。そして、変化情報と、仮想視点に基づく指標値と、画像処理装置が過負荷な状態での画像処理を抑制するため負荷情報とを重要度の決定に用いる。なお、本実施形態に係る画像処理装置のハードウェア構成については図2と同様であるため、説明は省略する。
以下、本発明の第2の実施形態について説明する。本実施形態では、ユーザが注目する領域であるか否かの指標として、ユーザにより選択された3次元空間上の任意の視点である仮想視点の画角に含まれるか否かを指標としている。そして、変化情報と、仮想視点に基づく指標値と、画像処理装置が過負荷な状態での画像処理を抑制するため負荷情報とを重要度の決定に用いる。なお、本実施形態に係る画像処理装置のハードウェア構成については図2と同様であるため、説明は省略する。
図11は、本実施形態における画像処理装置1100の機能構成例を示すブロック図である。以下、図1と異なる点についてのみ説明する。
入力部101は、背景の形状データ、仮想視点情報、複数の画像データ及びカメラ情報を入力し、これらの情報を記憶装置207に格納する。ここで、仮想視点情報とは、カメラ情報と同様に仮想視点の位置や姿勢を示す情報であり、例えばユーザの操作により入力装置204から入力される。注目度判定部104は、入力される仮想視点情報を基に仮想視点の画角に含まれる部分領域を特定し、重要度決定部105に出力する。
入力部101は、背景の形状データ、仮想視点情報、複数の画像データ及びカメラ情報を入力し、これらの情報を記憶装置207に格納する。ここで、仮想視点情報とは、カメラ情報と同様に仮想視点の位置や姿勢を示す情報であり、例えばユーザの操作により入力装置204から入力される。注目度判定部104は、入力される仮想視点情報を基に仮想視点の画角に含まれる部分領域を特定し、重要度決定部105に出力する。
処理負荷管理部1101は、画像処理装置1100の処理負荷の状態を監視し、負荷状態を示す値を重要度決定部105に出力する。処理負荷の状態を示す値は、例えば画像処理装置1100におけるCPU201の使用率に相当する。なお、本実施形態では処理負荷の状態を示す情報としてCPU201の使用率を用いるがこれに限定するものではなく、例えば、RAM203の使用率を用いても良いし、CPU201の使用率とRAM203の使用率の組合せを用いても良い。
図12は、本実施形態において、画像処理装置1100により背景画像を更新する処理手順の一例を示すフローチャートである。なお、第1の実施形態と同様の処理については説明を省略する。
S1201においては、注目度判定部104は、該当する部分領域が仮想視点の画角内に含まれるか否かを判定し、その部分領域の指標を決定する。仮想視点情報に基づき、仮想視点の画角を形状データに投影することで仮想視点の画角に含まれる部分領域が特定される。
S1201においては、注目度判定部104は、該当する部分領域が仮想視点の画角内に含まれるか否かを判定し、その部分領域の指標を決定する。仮想視点情報に基づき、仮想視点の画角を形状データに投影することで仮想視点の画角に含まれる部分領域が特定される。
図13は、仮想視点の画角に含まれるか否かを判定して指標を決定する処理を説明するための図である。図13(a)に示すように、ユーザの操作により入力装置204から矢印1301に示す方向の仮想視点を指定する仮想視点情報が入力部101により入力された場合、図13(b)に示す画角が想定される。そして、図3の形状データ300に当てはめると、図13(b)に示す仮想視点の画角に3つの部分領域が存在することになる。また、仮想視点に含まれる部分領域の指標を2、仮想視点に含まれる部分領域に接する部分領域を1、それ以外の部分領域の指標を0とする。この場合、各部分領域の指標は図13(c)に示すような分布となる。なお、仮想視点に含まれる部分領域の隣接領域は仮想視点の画角判定の誤差を考慮して指標を1としている。
次に、S1202において、処理負荷管理部1101は、画像処理装置1100の処理負荷を示す値であるCPU使用率を検出する。そして、S1203において、重要度決定部105は、該当する部分領域の変化情報、仮想視点による指標、およびCPU使用率より重要度を決定する。
図14は、CPU使用率が低い(所定値未満の)場合の変化情報と仮想視点に基づく指標とにより重要度を決定する条件の例を示す図である。例えば、各部分領域の変化情報が図7に示したものであり、各部分領域の仮想視点による指標が図13(c)に示したものである場合、各部分領域の重要度は、図15(a)に示すような分布となる。また、画像処理装置1100のCPU使用率が高い(所定値以上の)場合は、全体の処理負荷を低減させるため重要度は全て一段階下げる。つまり、図15(b)に示す重要度として画像処理の全体の処理負荷を低減し、画像処理装置1100の過負荷状態を回避するようにする。
以上のように本実施形態によれば、ユーザによって入力された仮想視点の画角より重要度を決定し、重要度に応じて画像の更新頻度と解像度とを制御するようにした。これにより、ユーザが視聴している領域で高品位に画像を生成し、かつ処理負荷を低くすることが可能となる。なお、本実施形態では仮想視点が単一である場合について示したが、複数の仮想視点が入力される場合は、各部分領域が仮想視点の画角に含まれるか否かを仮想視点毎に判定する。そして、画角に部分領域が含まれる仮想視点の数を各部分領域の注目度の指標値としてもよい。例えば、仮想視点が3つ存在し、対象とする部分領域が3つのうち2つの仮想視点の画角に含まれている場合は、その部分領域の指標を2とする。
(第3の実施形態)
以下、本発明の第3の実施形態について説明する。本実施形態では、ユーザが注目する領域であるか否かの指標として、ユーザが注目する被写体との距離に着目し、変化情報と、ユーザが注目する被写体との距離と、画像出力までに求められる処理時間である要求性能とを用いて部分領域毎に重要度を決定する。なお、本実施形態に係る画像処理装置のハードウェア構成については図2と同様であるため、説明は省略する。
以下、本発明の第3の実施形態について説明する。本実施形態では、ユーザが注目する領域であるか否かの指標として、ユーザが注目する被写体との距離に着目し、変化情報と、ユーザが注目する被写体との距離と、画像出力までに求められる処理時間である要求性能とを用いて部分領域毎に重要度を決定する。なお、本実施形態に係る画像処理装置のハードウェア構成については図2と同様であるため、説明は省略する。
図16は、本実施形態における画像処理装置1600の機能構成例を示すブロック図である。以下、図1と異なる点についてのみ説明する。
入力部101は、背景の形状データ、注目被写体情報、複数の画像データ及びカメラ情報を入力し、これらの情報を記憶装置207に格納する。ここで、注目被写体情報とは、ユーザが注目する被写体の3次元空間上の位置座標を示す情報であり、例えばユーザの操作により入力装置204から入力される。注目度判定部104は、注目被写体情報に係る被写体と各部分領域との距離を判定し、重要度決定部105に出力する。
入力部101は、背景の形状データ、注目被写体情報、複数の画像データ及びカメラ情報を入力し、これらの情報を記憶装置207に格納する。ここで、注目被写体情報とは、ユーザが注目する被写体の3次元空間上の位置座標を示す情報であり、例えばユーザの操作により入力装置204から入力される。注目度判定部104は、注目被写体情報に係る被写体と各部分領域との距離を判定し、重要度決定部105に出力する。
要求性能管理部1601は、ユーザの要求に応じて画像出力部107から出力されるまでの時間を要求性能値として管理し、要求性能値の情報を重要度決定部105に送る。例えば、ユーザがリアルタイム処理を要求した場合は、入力画像のフレームレートで出力する必要があり、60fps(Frame Per Second)の場合1000m秒÷60=16m秒を要求性能値として管理する。
図17は、本実施形態において、画像処理装置1600により背景画像を更新する処理手順の一例を示すフローチャートである。なお、第1の実施形態と同様の処理については説明を省略する。
S1701においては、注目度判定部104は、注目被写体情報と形状データとから、注目する被写体の位置と各部分領域との距離を特定する。各部分領域との距離を計測する際の基準点は、第1の実施形態と同様に各部分領域の重心位置とする。
S1701においては、注目度判定部104は、注目被写体情報と形状データとから、注目する被写体の位置と各部分領域との距離を特定する。各部分領域との距離を計測する際の基準点は、第1の実施形態と同様に各部分領域の重心位置とする。
次に、S1702において、要求性能管理部1601は、現在の要求性能値を検出する。そして、S1703において、重要度決定部105は、該当する部分領域と注目する被写体との距離、変化情報および要求性能値より重要度を決定する。
例えば図18に示す被写体1801を注目する被写体として指定した場合、各部分領域との距離は図19に示すような距離が判定される。また、第1の実施形態と同様の基準で決定した重要度の結果を図20に示す。図20(a)は要求性能が閾値以下の場合、図20(b)は要求性能が閾値以上の場合であり、要求性能が大きい場合は重要度を下げることで処理負荷を低減させている。
以上のように本実施形態によれば、注目する物体の距離より重要度を決定し、重要度に応じて画像の更新頻度と解像度とを制御するようにした。これにより、ユーザが注目する領域で高品位に画像を生成し、かつ処理負荷を低くすることが可能となる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
103 変化情報取得部
104 注目度判定部
105 重要度決定部
106 画像更新部
104 注目度判定部
105 重要度決定部
106 画像更新部
Claims (13)
- 入力画像における複数の部分領域毎に時間的な変化に関する変化情報を取得する取得手段と、
前記複数の部分領域毎に注目度に関する注目情報を判定する判定手段と、
前記取得手段によって取得された変化情報と、前記判定手段によって判定された注目情報とから前記複数の部分領域毎の重要度を決定する決定手段と、
前記決定手段によって決定された重要度に応じて前記部分領域を更新する更新手段と、
を有することを特徴とする画像処理装置。 - 前記更新手段は、前記重要度に応じた更新頻度で前記部分領域毎に更新することを特徴とする請求項1に記載の画像処理装置。
- 前記更新手段は、前記重要度に応じた解像度で前記部分領域毎に更新することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記判定手段は、前記注目情報として前記入力画像の注視点位置からの距離を前記部分領域毎に判定することを特徴とする請求項1〜3の何れか1項に記載の画像処理装置。
- 前記判定手段は、前記注目情報として仮想視点の画角に含まれるか否かの指標を前記部分領域毎に判定することを特徴とする請求項1〜3の何れか1項に記載の画像処理装置。
- 前記判定手段は、前記注目情報として画角に部分領域が含まれる仮想視点の数を前記部分領域毎に判定することを特徴とする請求項5に記載の画像処理装置。
- 前記決定手段は、前記画像処理装置の処理負荷に応じて重要度を決定することを特徴とする請求項5又は6に記載の画像処理装置。
- 前記判定手段は、注目する物体からの距離を前記注目情報として前記部分領域毎に判定することを特徴とする請求項1〜3の何れか1項に記載の画像処理装置。
- 前記判定手段は、前記注目する物体の位置情報を入力して前記注目する物体からの距離を判定することを特徴とする請求項8に記載の画像処理装置。
- 前記決定手段は、前記画像処理装置の要求性能に応じて重要度を決定することを特徴とする請求項8又は9に記載の画像処理装置。
- 前記更新手段によって更新された部分領域に係る画像を外部装置に出力する出力手段をさらに有することを特徴とする請求項1〜10の何れか1項に記載の画像処理装置。
- 入力画像における複数の部分領域毎に時間的な変化に関する変化情報を取得する取得工程と、
前記複数の部分領域毎に注目度に関する注目情報を判定する判定工程と、
前記取得工程において取得された変化情報と、前記判定工程において判定された注目情報とから前記複数の部分領域毎の重要度を決定する決定工程と、
前記決定工程において決定された重要度に応じて前記部分領域を更新する更新工程と、
を有することを特徴とする画像処理方法。 - 入力画像における複数の部分領域毎に時間的な変化に関する変化情報を取得する取得工程と、
前記複数の部分領域毎に注目度に関する注目情報を判定する判定工程と、
前記取得工程において取得された変化情報と、前記判定工程において判定された注目情報とから前記部分領域毎の重要度を決定する決定工程と、
前記決定工程において決定された重要度に応じて前記部分領域を更新する更新工程と、
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017031448A JP6896452B2 (ja) | 2017-02-22 | 2017-02-22 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017031448A JP6896452B2 (ja) | 2017-02-22 | 2017-02-22 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018136793A JP2018136793A (ja) | 2018-08-30 |
JP6896452B2 true JP6896452B2 (ja) | 2021-06-30 |
Family
ID=63365562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017031448A Active JP6896452B2 (ja) | 2017-02-22 | 2017-02-22 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6896452B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7233873B2 (ja) * | 2018-09-19 | 2023-03-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US10839594B2 (en) * | 2018-12-11 | 2020-11-17 | Canon Kabushiki Kaisha | Method, system and apparatus for capture of image data for free viewpoint video |
WO2021084698A1 (ja) * | 2019-10-31 | 2021-05-06 | 三菱電機株式会社 | 解析装置および解析方法 |
WO2023074522A1 (ja) * | 2021-11-01 | 2023-05-04 | ソニーセミコンダクタソリューションズ株式会社 | 物理量検出装置及び撮像装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09130767A (ja) * | 1995-11-06 | 1997-05-16 | Hitachi Ltd | 画像伝送装置 |
JP2002083286A (ja) * | 2000-09-06 | 2002-03-22 | Telecommunication Advancement Organization Of Japan | アバタ生成方法、装置及びそのプログラムを記録した記録媒体 |
JP2004086550A (ja) * | 2002-08-27 | 2004-03-18 | Matsushita Electric Ind Co Ltd | 表示画面更新システム |
-
2017
- 2017-02-22 JP JP2017031448A patent/JP6896452B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018136793A (ja) | 2018-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6896452B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10916048B2 (en) | Image processing apparatus, image processing method, and storage medium | |
RU2708437C1 (ru) | Устройство обработки изображений, система обработки изображений, способ обработки изображений и носитель данных | |
KR20190085087A (ko) | 화상 처리 장치, 화상 처리 방법 및 저장 매체 | |
KR20140100656A (ko) | 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법 | |
US20190340777A1 (en) | Image processing apparatus, control method of image processing apparatus, and non-transitory computer-readable storage medium | |
JP2019083402A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
WO2018100928A1 (ja) | 画像処理装置および方法 | |
US11100699B2 (en) | Measurement method, measurement device, and recording medium | |
JP2012511200A (ja) | 写実的画像形成の処理負荷を分散するためのシステム及び方法 | |
CN108665510B (zh) | 连拍图像的渲染方法、装置、存储介质及终端 | |
CN110166796A (zh) | 视频帧的处理方法、装置、计算机可读介质及电子设备 | |
JP2002279449A (ja) | 3次元空間データ送信表示装置、3次元空間データ送信方法、3次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
WO2018037976A1 (ja) | データ処理装置、データ処理方法およびコンピュータプログラム | |
CN110928509A (zh) | 显示控制方法、显示控制装置、存储介质、通信终端 | |
JP6980913B2 (ja) | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム | |
WO2021079592A1 (ja) | 情報処理装置、3dデータの生成方法及びプログラム | |
JP2017123589A (ja) | 情報処理装置、情報処理方法および映像投影システム | |
CN111435589A (zh) | 一种目标显示的方法、装置及目标显示系统 | |
JP2017184136A (ja) | 情報処理装置、情報処理方法、情報処理システム及びプログラム | |
JP2020187529A (ja) | 画像処理装置、画像処理システム、制御方法、および、プログラム | |
JP6854629B2 (ja) | 画像処理装置、画像処理方法 | |
WO2023058545A1 (ja) | 情報処理装置および方法、プログラム | |
WO2022176719A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017018245A (ja) | ビデオゲーム処理プログラム及びビデオゲーム処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210609 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6896452 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |