JP4293945B2

JP4293945B2 - 画像生成方法

Info

Publication number: JP4293945B2
Application number: JP2004178506A
Authority: JP
Inventors: 健増谷
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2004-06-16
Filing date: 2004-06-16
Publication date: 2009-07-08
Anticipated expiration: 2024-06-16
Also published as: JP2006005563A

Description

この発明は、立体視用の画像に適した画像生成方法に関する。

従来より、特殊な眼鏡を必要とせずに立体映像表示を実現する方法しとて、パララックスバリア方式やレンチキュラーレンズ方式等が知られているが、これらの方式は両眼視差を有する右眼用映像と左眼用映像とを、例えば縦ストライプ状に画面に交互に表示し、この表示映像をパララックスバリアやレンチキュラーレンズ等で分離して観察者の右眼と左眼に各々導くことで立体視を行わせるものである。また、複数のピンホールを斜めに配置する斜めバリア方式として下記の特許文献１が知られている。

図８は、右眼用画像（視点番号０）と左眼用画像（視点番号１）を用いて斜めバリア方式の合成画像（立体視用画像）を生成するときの処理内容を示している。なお、図中の数字における上段一桁の数字は視点番号であり、下段二桁の数字は座標を表している。また、各画像においては、Ｒ（赤色）画素とＧ（緑色）画素とＢ（青色）画素とが並んでおり、例えば、座標「００」の一つのＲ画素と、座標「００」の一つのＧ画素と、座標「００」の一つのＢ画素で、座標「００」の一つの絵素（ピクセル）が構成される。この処理では、画素（サブピクセル）単位で右眼画像と左眼画像から交互に画素を取り出して並べることで合成画像を得ている。また、図９には、４視点斜めバリア方式の合成画像（立体視用画像）における第１視点画素の並びを示している。
特許第３０９６６１３号

図８及び図９から分かるように、各視点画像からは当該図で示される画素（座標）のデータが利用されが、他の画素（座標）のデータは捨てられる。別言すれば、視点画像上の或る絵素におけるＲデータとＧデータとＢデータの全てが利用されるのではなく、一部のみが利用される。図９のごとく斜めに並ぶ３つの画素を１絵素として扱う方法を考えてみる。この場合、各絵素の中心が代表点となるが、この代表点の位置は行によって異なる（垂直線上に並ばない）。また、各絵素内の画素のＲＧＢの並びもまちまちである。従って、このような視点画像を合成して得られる立体視用画像では十分な画質は望めない。また、このように斜めに並ぶ３つの画素を１絵素として扱う場合、これら画素の座標はまちまちであることから、本来の絵素間の相関性は反映できない。従って、このように斜めに並ぶ３つの画素を１絵素として扱って画像を非可逆圧縮を行うと、画質が劣化する。

この発明は、上記の事情に鑑み、斜めバリア方式の合成画像（立体視用画像）を得るのに好適で且つ圧縮処理を行うのにも適した画像生成方法を提供することを目的とする。

この発明の画像生成方法は、上記の課題を解決するために、複数の視点画像を用いて斜めバリア方式の立体視用画像を生成することに利用できる画像生成方法であって、立体視用画像上での各視点画像のＲ画素とＧ画素とＢ画素の並びが一致する組み合わせを絵素とし、前記絵素の斜め並び方向が水平線又は垂直線に対してなす角度に一致する角度で各視点画像を回転させ、この回転させた各視点画像上で縦横に並ぶ絵素を用いて前記立体視用画像の斜めに並ぶ絵素とすることを特徴とする。

斜めバリア方式の立体視用画像では各視点画像の絵素は斜めに並ぶ。従来の画像生成方法では、視点画像の中から斜めに画素を取り出していた。本願発明の方法であれば、回転画像（座標変換画像）上で回転後の辺に対して縦横に並ぶ絵素（辺を基準に見なければ斜めに並ぶ絵素）を用いて立体視用画像上の斜めに並ぶ絵素を生成するから、各絵素同士の相関性がよくなって立体視の画質向上が図れる。また、このように各視点画像における各絵素同士の相関性がよくなることで、非可逆画像圧縮を行っても画質の劣化を極力抑えることが可能になる。

上記画像生成方法において、コンピュータグラフィックスにてカメラ回転させて前記回転画像を得ることとしてもよい。また、実写用のカメラ又は撮像素子を斜めにして前記回転画像を得ることとしてもよい。これら、方法において、前記水平線又は垂直線に対してなす角度が非４５°で前記絵素の斜め並びに沿う線によって平行四辺形が形成される場合に、矩形が当該非４５°の角度を持つ平行四辺形となる歪み処理を前記視点画像に施すのがよい。また、前記立体視用画像から各視点画像を取り出し、各視点画像ごとに画像圧縮処理を行うのがよい。

この発明によれば、斜めバリア方式の合成画像（立体視用画像）を得るのに好適で且つ圧縮処理を行うのにも適した画像生成が行えるという効果を奏する。

以下、この発明の実施形態の画像生成方法を図１乃至図７に基づいて説明していく。

図１は４眼斜めバリア方式の画素配列（立体視用画像）を示している。図中の「１」は第１視点画像であり、「２」は第２視点画像であり、「３」は第３視点画像であり、「４」は第４視点画像である。Ｒは赤色の画素（又は赤色データ）、Ｇは緑色の画素（又は緑色データ）、Ｂは青色の画素（又は、青色データ）である。斜めバリア方式では、同一視点の画素は斜め方向に並ぶ。視点が異なる複数の視点画像は、例えば互いに眼間距離離して設けた複数のカメラにて被写体を撮像することにより得ることができる。また、コンピュータグラフィックスにより、ポリゴン画像の３次元映像に対して複数の視線方向を設定して各々平面投影することでも視点が異なる複数の２次元映像データを得ることができる。

図２は、前記立体視用画像のなかで第１視点画像のみを抽出して示している。図中の各太実線枠内には、Ｒ，Ｇ，Ｂが存在する。一纏まりのＲ，Ｇ，Ｂを絵素という。各太実線枠（絵素）は、Ｒ，Ｇ，Ｂの並び（配置）が一致している。この図には、Ｒ，Ｇ，Ｂの並び（配置）が一致する絵素同士の並びに対応させて右下がり斜め線と右上がり斜め線を描いている。両方の斜め線共に水平線又は垂直線に対して４５°の傾きを有するものとなり、また、両線のなす角度は９０°となる。いわば、方形領域が４５°傾いたものとなる。

コンピュータグラフィックスによって上記図２のごとく斜め絵素配置による視点画像の生成を行うことが考えられる。しかしながら、一般的なコンピュータグラフィックスの画像生成では、縦横に並ぶ絵素にて画像を生成している。実際にはディスプレイ上の異なる座標にＲＧＢが配置されることになるが、データとしては同じ絵素のものである。

図３（ａ）の人物画像を仮にコンピュータグラフィックス上での実線方形枠範囲内の画像データであるとする。この実線方形枠内では絵素は縦横に並ぶ。この人物画像に対してコンピュータグラフィックス上のカメラを４５°回転させて点線方形枠範囲内の人物画像データを得る。カメラ回転による回転画像（点線方形枠）の絵素の並びは、図３（ｂ）に示すごとく、点線方形の辺に沿ったものとなる。すなわち、辺を基準に見れば絵素は斜めではなく縦横に並ぶ（辺を基準に見なければ絵素は斜めに並ぶ）。実写に際してカメラ或いは撮像素子を回転させることでも回転画像を得ることができる。

図４はカメラ回転（４５°回転）による座標変換処理を示した説明図である。図４中の縦横に並ぶ縦長方形枠は第１視点画像の絵素であり、絵素内の縦方向に並ぶ３つの数字のうち、一番上の数字は視点番号であり、真ん中の数字は行番号であり、一番下の数字は列番号である。この例の変換後では、”１０２”の絵素が左上隅に位置する。変換後の絵素配置において、”１０２”の絵素から右側に行くほど行番号及び列番号が共に増加し、”１０２”の絵素から下側に行くほど行番号は増加で列番号は減少する。また、”１０２”の絵素から右下斜め方向に行くほど行番号は増加であるが列番号は変化しない。実際には絵素ピッチ（ピクセルピッチ）も考慮する必要がある。図２の４５°傾いた方形領域においては、右下がり方向のピクセルピッチは、右上がり方向のピクセルピッチの２倍である。図４においては、１行おきのピクセルだけが存在するものと考え、同様の変換処理を行えばよい。コンピュータグラフィックスでは予めピクセルアスペクト比が１：２となるように設定しておけばよい。

上記変換後の第１視点画像の絵素配置は、４視点斜めバリア方式で要求される絵素並びに一致するものとなる。例えば、図５における第１視点画像の絵素Ｐ１のＲＧＢは、図４中の”１３５”の絵素のＲＧＢを用いればよく、第１視点画像の絵素Ｐ２のＲＧＢは、”１３４”の絵素のＲＧＢを用いればよく、第１視点画像の絵素Ｐ３のＲＧＢは、”１４２”の絵素のＲＧＢを用いればよく、第１視点画像の絵素Ｐ４のＲＧＢは、”１４３”の絵素のＲＧＢを用いればよい。視点画像の絵素のＲＧＢはディスプレイ上の合成画像（立体視用画像）の斜めに並ぶＲＧＢ（絵素）に全て引き継がれる。実写の画像に対しても同様の座標変換を行うことができる。

次に、第１視点画像を画像圧縮することについて考える。画像圧縮としては、離散コサイン変換があり、この離散コサイン変換では水平８絵素×垂直８絵素の絵素群を一纏めにして演算を行う。図６では点線方形枠内に２×４の絵素群が存在しているが、これを８×８の絵素群に拡張すればよい。カメラ回転された第１視点画像上では、先にも述べたが、絵素の並びは、点線方形の辺に沿ったものとなり、離散コサイン変換の対象となる絵素群は縦横に並ぶものとなる。従って、相関性が高い８×８の絵素群を用いた変換が行えることになる。

図７は７視点斜めバリア方式の各視点画像における画素の並びを示した説明図である。この図には、Ｒ，Ｇ，Ｂの並び（配置）が一致する絵素同士の並びに対応させて（中心画素となるＧの並びに対応させて）右下がり斜め線と右上がり斜め線を描いている。７視点の場合における各視点画像のカメラ回転の角度は、４５°とはならない。また、右下がり斜め線と右上がり斜め線とのなす角度は９０°とはならず、各視点画像は平行四辺形の形で存在することになる。このため、ビューボリュームを歪ませて方形を平行四辺形にして投影する。或いは、通常投影後の画像に対して平行四辺形となる歪みを与える処理を行う。ビューボリュームや投影後の画像を歪ませる角度量をθとすると、このあとビューポート変換して取得する画像はθだけ歪んだ画像となる。そして、この画像を−θ歪ませることで図７の平行四辺形が得られるようにθを予め決めておけば、歪みが相殺されて正しい画像が得られることになる。

４視点の合成画像（立体視用映像）の画素配列を示した説明図である。４視点の合成画像のうちの第１視点画像の絵素の並びを太線枠で示した説明図である。同図（ａ）及び同図（ｂ）はカメラ回転の説明図である。カメラ回転による座標変換の説明図である。カメラ回転後の絵素配列を示した説明図である。カメラ回転後の絵素配列上での圧縮単位絵素群を示した説明図である。７視点の合成画像のうちの第１視点画像の中心画素（Ｇ）の並びを太線枠で示した説明図である。右眼用（Ｒ）画像と左眼用（Ｌ）画像を用いて斜めバリア方式の合成画像（立体視用画像）を生成する従来の処理内容を示した説明図である。４視点の合成画像のうちの第１視点画像の絵素の並びを示した説明図である。

Claims

複数の視点画像を用いて斜めバリア方式の立体視用画像を生成することに利用できる画像生成方法であって、立体視用画像上での各視点画像のＲ画素とＧ画素とＢ画素の並びが一致する組み合わせを絵素とし、前記絵素の斜め並びに沿う線が水平線又は垂直線に対してなす角度に一致する角度で各視点画像を回転させ、この回転させた各視点画像上で縦横に並ぶ絵素を用いて前記立体視用画像の斜めに並ぶ絵素とすることを特徴とする画像生成方法。
請求項１に記載の画像生成方法において、コンピュータグラフィックスにてカメラ回転させて前記回転画像を得ることを特徴とする画像生成方法。
請求項１に記載の画像生成方法において、実写用のカメラ又は撮像素子を斜めにして前記回転画像を得ることを特徴とする画像生成方法。
請求項１乃至請求項３のいずれかに記載の画像生成方法において、前記水平線又は垂直線に対してなす角度が非４５°で前記絵素の斜め並びに沿う線によって平行四辺形が形成される場合に、矩形が当該非４５°の角度を持つ平行四辺形となる歪み処理を前記視点画像に施すことを特徴とする画像生成方法。
請求項１乃至請求項４のいずれかに記載の画像生成方法において、前記立体視用画像から各視点画像を取り出し、各視点画像ごとに画像圧縮処理を行うことを特徴とする画像生成方法。