JP6181549B2 - 画像生成方法、画像生成装置及び画像生成プログラム - Google Patents

Description

本発明は、既存の画像から所望の視点位置の画像を生成する画像生成方法、画像生成装置及び画像生成プログラムに関する。

従来から、視点の変化に応じた画像を２次元ディスプレイ上に表示する技術が知られている（例えば、特許文献１参照）。図６（特許文献１の図１から引用）は、従来技術による映像表示のイメージを示す概念図である。図６において、ユーザ１が視点を変えると（３軸移動に対応）、映像中の対話相手２の奥行き位置（対話相手２とその背景の壁３）を、その視点の変化に応じて２次元ディスプレイ４上に表示することで、対話相手２、背景の壁３の見え方があたかも現実のように再現することができる。

これは、ユーザ１が位置Ｐ１にて２次元ディスプレイ４に対峙する場合には、対話相手２を正面から見ているように表示し、ユーザ１が左側の位置Ｐ２から見ている場合には、対話相手２、及びその背景にある壁３との位置関係（奥行き）を反映し、対話相手２を左側から見ているように表示し、ユーザ１が右側の位置 Ｐ３から見ている場合には、対話相手２、及びその背景にある壁３との位置関係（奥行き）を反映し、対話相手２を右側から見ているように表示するものである。

この従来技術を実現するために、ディスプレイ４に対するユーザ１の視点位置・姿勢の検出、ユーザ１の視点位置に応じた対話相手２の映像の生成・表示の２つの技術が重要であり、カメラから撮影された２次元映像から、人物と背景を分離し、多層化して奥行きを持つ３次元映像を生成し、ユーザの視点位置に応じて、ディスプレイ面に投影して表示することを提案している。

しかしながら、特許文献１に記載の映像表示方法にあっては、ユーザと背景の位置関係や大きさを正しく表現はできるものの、背景が立体的な構造を有していた場合、ユーザ１の視点が変化しても背景が変化しないため、背景の状態を正しく表現することができないという問題がある。このような問題は、視線方向に応じた背景画像を生成すれば解決することができる。このような問題を解決する技術として、複数のカメラ画像から所望の位置の視点からの映像を生成する仮想視点画像生成方法が知られている（例えば、特許文献２参照）。

しかしながら、特許文献２に記載の仮想視点画像生成方法にあっては、複数の画像のマッチングにより奥行位置を推定して画像を計算するため、画像のテクスチャ状態によって奥行が取得できなかったり、奥行の誤差が大きすぎてしまったりという問題を有している。特許文献２に記載の仮想視点画像生成方法においては奥行位置の尤度を考慮して画質の向上を図っているが、高臨場感を与えられるような品質での特定の視点からの画像を作成することは困難であるという問題がある。

特許第５２３７２３４号公報 特許第４０５２３３１号公報

ところで、特許文献１に記載の仮想視点画像生成方法にあっては、複数の画像のマッチングにより奥行位置を推定して画像を計算するため、画像のテクスチャ状態によって奥行が取得できなかったり、奥行の誤差が大きすぎてしまったりという問題を有している。また、特許文献２に記載の仮想視点画像生成方法においては奥行位置の尤度を考慮して画質の向上を図っているが、高臨場感を与えられるような品質での特定の視点からの画像を作成することは困難であるという問題がある。

本発明は、このような事情に鑑みてなされたもので、広い奥行き範囲の被写体に対し所望の視点位置から見た画像を高臨場感が与えられる品質で生成することができる画像生成方法、画像生成装置及び画像生成プログラムを提供することを目的とする。

本発明は、被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、前記被写体に対するデプスマップを撮像するデプスマップ撮像手段と、前記被写体に対する視点位置を設定する視点位置設定手段とを備えた画像生成装置が行う画像生成方法であって、前記被写体と前記視点位置との位置関係と、前記被写体と前記撮像手段との位置関係とが近い前記撮像手段を複数選択する選択ステップと、前記選択ステップにおいて選択された複数の前記撮像手段によって撮像された複数の画像と前記デプスマップとに基づいて、前記視点位置設定手段によって設定された前記視点位置から見た前記被写体の画像を複数生成する画像生成ステップと、前記生成した複数の画像を加算して得られる画像を前記視点位置の画像とする画像加算ステップとを有することを特徴とする。

本発明は、前記画像生成ステップにおいて生成される複数の画像は、複数の相異なる奥行き範囲に設定される仮想スクリーン上の画像であることを特徴とする。

本発明は、前記画像生成ステップでは、選択された複数の前記撮像手段によって撮像された複数の画像の対象画素の輝度値から加重平均によって求めた値を生成すべき画像の対象画素の輝度値とすることを特徴とする。

本発明は、前記画像生成ステップにおいて生成すべき画像の対象画素の輝度値を加重平均によって求める際に、前記撮像手段に対応する前記デプスマップ撮像手段によって撮像されたデプスマップの値が前記奥行き範囲に含まれない場合には、前記撮像手段によって撮像された画像の対象画素の輝度値をゼロとして加重平均を計算することを特徴とする。

本発明は、前記画像生成ステップでは、前記加重平均する際の加重の係数を、前記位置関係の近さに応じた値とすることを特徴とする。

本発明は、前記画像生成ステップでは、前記加重平均する際の加重の係数を、前記位置関係の近さに反比例する値とすることを特徴とする。

本発明は、被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、前記被写体に対するデプスマップを撮像するデプスマップ撮像手段と、前記被写体に対する視点位置を設定する視点位置設定手段と、前記被写体と前記視点位置との位置関係と、前記被写体と前記撮像手段との位置関係とが近い前記撮像手段を複数選択する選択手段と、前記選択ステップにおいて選択された複数の前記撮像手段によって撮像された複数の画像と前記デプスマップとに基づいて、前記視点位置設定手段によって設定された前記視点位置から見た前記被写体の画像を複数生成する画像生成手段と、前記生成した複数の画像を加算して得られる画像を前記視点位置の画像とする画像加算手段とを備えることを特徴とする。

本発明は、コンピュータに、前記画像生成方法を実行させるための画像生成プログラムである。

本発明によれば、広い奥行き範囲の被写体に対し所望の視点位置から見た画像を高臨場感が与えられる品質で生成することができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 図１に示す画像生成部５が行う画像生成処理の概略を示す説明図である。 図１に示す画像生成部５の処理動作を示すフローチャートである。 ２つの画像の加重平均と輪郭位置の関係を示す図である。 カメラ位置の後方に視点位置がある場合の説明図である。 従来技術による映像表示のイメージを示す概念図である。

以下、図面を参照して、本発明の一実施形態による画像生成装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、画像生成対象の被写体である。符号２は、生成すべき画像を映す仮想のスクリーンである。符号３−１、３−２は、被写体１を撮像する複数のカメラである。本カメラは、２次元映像（テクスチャ）の撮影機能だけでなく奥行き映像（デプスマップ）の撮影機能も有する。図１においては、カメラを２台のみ図示したが、必要に応じて３台以上のカメラを備えていてもよい。

生成する画像の品質を向上させるためには、多数のカメラを備えていることが望ましい。また、複数のカメラは、スクリーン２と平行な面状に配置されていることが望ましい。符号４は、生成した画像を見る者の視点位置を検出して、生成すべき画像の視点位置を設定する視点位置設定部である。符号５は、視点位置設定部４によって設定した視点位置から見た被写体１の画像を生成する画像生成部である。符号６は、画像生成部５において生成された生成画像を表示する表示装置である。

次に、図２を参照して、図１に示す画像生成部５の画像生成の原理について説明する。図２は図１に示す画像生成部５が行う画像生成処理の概略を示す説明図である。図２では、奥行方向に平行な奥行範囲を複数設け（図２に示す例では、奥行範囲１、奥行範囲２、奥行範囲３）それぞれに仮想的なスクリーン位置を想定している。奥行範囲の判定は、デプスマップの値に基づいて行う。図２は、スクリーン２に垂直な断面を示しており、奥行範囲２にある画素のうちスクリーン上のある画素の輝度の計算方法の概略を示している。図２に示す視点位置から見た場合の画像の生成方法を説明する。各奥行範囲ごとに仮想的なスクリーン２上の画像を計算した後、全ての奥行範囲の画像を加算したものをその視点位置の画像として使用する。

各奥行範囲での画像の計算方法を以下に詳細に説明する。仮想的なスクリーン２上の対象画素の輝度は、対象画素から出た光が視点位置に達する光線の近傍にあるカメラ位置から撮像された画像から計算する。図２に示す例では、第１のカメラ位置（例えば、カメラ３−１の位置）、第２のカメラ位置（例えば、カメラ３−２の位置）の２箇所のカメラによって撮像した画像から設定した視点位置の画像を生成する。

対象画素の輝度Ｌは、第１のカメラ位置、第２のカメラ位置から撮像した画像の仮想スクリーン２上の対象画素の位置の画素の輝度（画素値）をＬ１、Ｌ２とし、第１のカメラ位置、第２のカメラ位置それぞれから光線までの距離をｄ１、ｄ２とすると、（１）式によって求める。ここで、ｄ１、ｄ２の値は、第１、第２のカメラ位置の座標Ｘ１、Ｘ２と視点位置の座標Ｘ０として、ｄ１＝Ｘ０−Ｘ１、ｄ２＝Ｘ２−Ｘ０として計算することにより算出される。但し、カメラが撮像した画像の画素のデプスマップ値がこの奥行範囲外の場合は画素の輝度（画素値）は０として計算する。

なお、カラー画像の場合には、各原色ごとに同様の計算をすればよい。また、演算量を減らすため三原色の中で分解能が最も高い緑色のみについて計算し、他の原色については一方のカメラ画像の画素値を使用してもよい。また、ＹＰｂＰｒのように輝度信号と色差信号で映像が提供される場合に輝度信号のみに対してのみ同様の計算を行い色差信号については一方のカメラの情報を用いてもよい。カメラと光線の距離は、カメラ位置から光線におろした垂線の長さであるが、格子状にカメラを配置している場合は、格子を形成する面と光線の交点とカメラ位置の距離を用いるなど近似をしてもよい。

また、近傍のカメラ数を２としたが、２より多くてもよい。この場合には近傍のカメラ数をｎとすると、対象画素の輝度Ｌは、（２）式によって求める。

なお、視点位置がカメラ位置と同一の場合、（１）式、（２）式は不安定になるがその場合は視点位置に配置されたカメラの画像の輝度値をそのまま対象画素の輝度Ｌとして用いればよい。但し、カメラが撮像した画像の画素のデプスマップ値が当該奥行範囲外の場合は画素の輝度（画素値）は０として計算する。

次に、図３を参照して、図１に示す画像生成部５の処理動作を説明する。図３は、図１に示す画像生成部５の処理動作を示すフローチャートである。図３に示す処理動作は、１枚の静止画像を生成する処理動作であるが、図３に示す処理動作を連続して繰り返すことで動画像にも対応することができる。

画像生成処理は奥行範囲ごとに行うため、まず、画像生成部５は、演算の対象となる奥行範囲を選択する（ステップＳ１）。続いて、画像生成部５は、生成すべきスクリーン上の画像中の対象画素を１個選択する（ステップＳ２）。そして、画像生成部５は、選択した対象画素と、視点位置設定部４において設定した視点位置とを結ぶ光線（直線）を計算する（ステップＳ３）。

次に、画像生成部５は、求めた光線の近傍に位置するカメラを選択する（ステップＳ４）。ここで、近傍に位置するカメラの選択は、（１）各カメラ位置について光線からの距離を計算し近い順に所定の個数選ぶ、（２）視点位置とカメラ位置の距離を算出し近い順に所定の個数選ぶ、（３）カメラを格子状にならべ、格子の単位胞がなす多角形の頂点に相当するカメラ位置を選ぶ、などの手法を適用することができる。

次に、画像生成部５は、光線からの距離をパラメータとする所定の重みで、選択されたカメラの画像のスクリーン上の対象画素の輝度を加重平均し、対象画素の輝度値とする（ステップＳ５）。そして、画像生成部５は、未計算の画素が残っているか否かを判定し（ステップＳ６）、残っていればステップＳ２に戻って他の対象画素の計算を繰り返し、残っていなければ次へ進む。

次に、画像生成部５は、見計算の奥行範囲が残っているか否かを判定し（ステップＳ７）、残っていればステップＳ１に戻り未計算の奥行範囲について計算する。すべての奥行範囲の計算が完了していた場合には、各奥行範囲で生成した画像を加算合成して生成画像とする（ステップＳ８）。この処理動作により作成された画像は、複数カメラ位置から撮像された画像となり、カメラ位置の違いによりずれた画像の加重平均となる。隣接カメラ間での画像のずれの幅が３ ａｒｃ ｍｉｎ．程度の小さい値となるように奥行範囲の奥行幅を選定した場合には図４に示すように輪郭位置が加重比によって連続的に変化するため、視点位置にあった適切な輪郭位置の画像が生成されることになる。図４は、２つの画像の加重平均と輪郭位置の関係を示す図である。

前述した説明では、カメラ位置と視点が同一直線上に並んだ場合を説明したが、異なってもよい。図５はカメラ位置の後方に視点位置がある場合の説明図である。このような場合にも図３に示す処理動作に従って画像生成を行えばよい。図３に示す処理動作に従うと画素によって加重平均する画像が変化する。図５に示す第１の対象画素（画素１）については第１、第２のカメラ位置の画像、第２の対象画素（画素２）については第２、第３のカメラ位置の画像、第３の対象画素（画素３）については第３、第４のカメラ位置の画像になるが、カメラ位置が前後に変化しても同様な処理動作によって画像生成することができる。

本実施形態で使用する各カメラ位置から撮像された画像は、それぞれのカメラ位置で撮像された画像をスクリーン面に対し射影したものとする。このような画像は、一般的なカメラよって所定の位置から画像を撮像し、カメラの光軸がスクリーンの法線からずれに相当する台形補正を施すことで容易に取得することができる。また、カメラの光軸をスクリーン法線と平行として撮像し、スクリーンの表示領域に相当する部分を切り抜いてもよい。また、カメラの光軸をスクリーン法線と平行とし、シフト可能なレンズを使用しスクリーンの表示領域の中心と光軸のずれを補償しながら撮像して取得し、表示領域に相当する部分を切り抜いてもよい。

このように、所望の視点位置から見た画像生成において、複数カメラの画像から特定の視点の画像を生成する際に、画像を劣化させる原因となる奥行情報を使用しないようにしたため、高臨場感を与えられる品質で所望の視点位置から見た画像を生成することができる。

なお、前述した説明ではすべてのカメラにデプスマップ撮影機能を具備したが、一部のカメラに具備し、カメラの位置関係から座標変換によってる算出することで設備の簡略化を図ってもよい。

次に、前述した実施形態による画像生成装置によって生成した所望の視点位置における画像を表示装置６に表示した結果について図１を参照して説明する。使用者（画像を見る者）の視点位置の検出し、視点位置設定部４によって視点位置を設定して、画像生成部５によって視点位置に応じた画像を表示装置６に表示した。表示装置６に表示される画像は、視点位置に対応した画像となるので定位感が高く高臨場な表示が可能であった。

また、表示装置６に表示される表示画像を被写体１の実サイズとすることで、より高い臨場感を得ることができた。また、使用者の左右眼の位置に合わせた画像を生成し、３Ｄメガネを使用して左右眼それぞれに画像を提示したところあたかもそこに実物があるかのような高臨場感で画像を見ることができた。さらに表示装置として、裸眼式の３Ｄ表示装置を使用し、各視点位置に対応した画像を生成表示したところ、３Ｄメガネのような特殊な器具を装着しなくてもあたかもそこに実物があるかのような高臨場感で画像を見ることができた。

以上説明したように、所望の視点位置における画像の生成において、視点位置と画面上の位置を結ぶ直線（光線）の近傍の位置において撮像された画像を所定の比率で加重平均して画像生成するようにした。そして、所定の比率として、直線（光線）と撮像位置の距離に反比例する量を加重として用いるようにした。また、所定の比率として、直線（光線）と撮像位置の距離が最も近い画像に対する加重を重くするようにした。さらに、奥行範囲を限定して計算することで、二重像の目立たない高画質な画像を生成可能とした。

この構成により、所望の視点位置における画像の生成において、奥行情報を使用することで加重平均となる対象の画像間のずれを抑制して高画質の画像を生成することができる。これにより、高臨場な表現の画像を生成して表示することが実現できる。

前述した実施形態における視点位置設定部４及び画像生成部５をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

既存の画像から所望の視点位置の画像を生成することが不可欠な用途に適用できる。

１・・・被写体、２・・・スクリーン、３−１、３−２・・・カメラ、４・・・視点位置設定部、５・・・画像生成部、６・・・表示装置

Claims (4)

1. 被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、前記被写体に対するデプスマップを撮像するデプスマップ撮像手段と、前記被写体に対する視点位置を設定する視点位置設定手段とを備えた画像生成装置が行う画像生成方法であって、
   前記被写体の画像を映す仮想スクリーンを複数の相異なる奥行き範囲に設定し、各仮想スクリーン上の各々の対象画素について、対象画素と前記視点位置を結ぶ光線に近い前記撮像手段を複数選択する選択ステップと、
   前記選択ステップにおいて選択された複数の前記撮像手段によって撮像された複数の画像と前記デプスマップとに基づいて、前記仮想のスクリーン上の各対象画素の画素値を前記撮像手段と前記光線との位置関係の近さに応じた値を加重の係数とした加重平均によって算出し、前記視点位置から見た前記被写体の画像を各仮想スクリーンに対して生成する画像生成ステップと、
   前記生成した各仮想スクリーンの画像を加算して得られる画像を前記視点位置の画像とする画像加算ステップと
   を有することを特徴とする画像生成方法。
2. 前記画像生成ステップにおいて生成すべき画像の対象画素の画素値を加重平均によって求める際に、前記撮像手段に対応する前記デプスマップ撮像手段によって撮像されたデプスマップの値が奥行き範囲に含まれない場合には、前記撮像手段によって撮像された画像の対象画素の画素値をゼロとして加重平均を計算することを特徴とする請求項１に記載の画像生成方法。
3. 被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、
   前記被写体に対するデプスマップを撮像するデプスマップ撮像手段と、
   前記被写体に対する視点位置を設定する視点位置設定手段と、
   前記被写体の画像を映す仮想スクリーンを複数の相異なる奥行き範囲に設定し、各仮想のスクリーン上の各々の対象画素について、対象画素と前記視点位置を結ぶ光線に近い前記撮像手段を複数選択する選択手段と、
   前記選択手段において選択された複数の前記撮像手段によって撮像された複数の画像と前記デプスマップとに基づいて、前記仮想のスクリーン上の各対象画素の画素値を前記撮像手段と前記光線との位置関係の近さに応じた値を加重の係数とした加重平均によって算出し、前記視点位置から見た前記被写体の画像を各仮想スクリーンに対して生成する画像生成手段と、
   前記生成した各仮想スクリーンの画像を加算して得られる画像を前記視点位置の画像とする画像加算手段と
   を備えることを特徴とする画像生成装置。
4. コンピュータに、請求項１または２に記載の画像生成方法を実行させるための画像生成プログラム。

Images