JP4243095B2

JP4243095B2 - 立体画像処理方法及びプログラム及び記録媒体

Info

Publication number: JP4243095B2
Application number: JP2002340246A
Authority: JP
Inventors: 健増谷
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2002-11-25
Filing date: 2002-11-25
Publication date: 2009-03-25
Anticipated expiration: 2022-11-25
Also published as: JP2004179703A

Description

【０００１】
【産業上の利用分野】
この発明は、立体画像処理方法及びプログラム及び記録媒体に関する。
【０００２】
【従来の技術】
図２に示すように、視差を有する視点１画像（右眼画像Ｒ）と視点２画像（左眼画像Ｌ）とを用い、立体画像を合成する方法が知られている。前記立体画像に対しては、パララックスバリア等を用いることで、右眼画像Ｒを観察者の右眼に、左眼画像Ｌを観察者の左眼にそれぞれ導くことができ、眼鏡無しで立体視が可能となる。合成後の立体画像はドット（画素）単位で異なる画像が混在し、隣り合うピクセル間でも相関性が低いものとなり、画像相関性に関係した各種処理を施すには不都合である。画像相関性に関係した各種処理とは、例えば、画像の拡大、縮小、エッジ強調などのフィルタ処理、高圧縮率での符号化などである。
【０００３】
このため、従来は、合成前の画像にこれらの処理を適宜施し、その都度再合成するということが行われていた。合成前の画像に所定の処理を施す従来技術としては、４８０ｉ（走査線４８０本のインタレース映像）映像フォーマットで撮影した２画面（右目用映像と左目用映像）を４８０Ｐ（走査線４８０本のプログレッシブ映像）映像フォーマット一画面の上下に多重し、ディジタル放送波を使ってこれを放送し、受信機側で受信した上下多重映像を元の二画面に戻して立体表示装置で視聴する立体放送システムが提案されている（特許文献１参照）。
【０００４】
【特許文献１】
特開平１０−１７４０６４号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、立体処理前画像を受信して立体画像生成の処理としてドット単位での並べ替え処理を行なうには時間がかかる。動画像、特にストリーミングにおいては実用的とはいえないものである。
【０００６】
この発明は、上記の事情に鑑み、画像相関性に関係した各種処理を施すのに好都合となる立体画像処理方法及びプログラム及び記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明の立体画像処理方法は、上記の課題を解決するために、立体画像上で色と視点番号との組み合わせが一致するピクセルだけを選択して処理用画像を生成し、この処理用画像に対して画像相関性に関係する処理を施すことを特徴とする。前記処理を施した後に立体画像に戻すこととしてもよい。
【０００８】
また、この発明の立体画像処理方法は、立体画像上で色と視点番号との組み合わせが一致するピクセルだけを選択したものに相当する処理用画像を生成し、この処理用画像に対して画像相関性に関係する処理を施すことを特徴とする。
【０００９】
また、この発明の立体画像処理方法は、立体画像上で色と視点番号との組み合わせが一致するピクセルだけを選択したものに相当する処理用画像を複数視点の原画像から生成し、この処理用画像に対して画像相関性に関係する処理を施すことを特徴とする。
【００１０】
これらの立体画像処理方法において、前記相関性に関係する処理として処理用画像データを周波数空間に変換する処理を行なうこととしてもよい。
【００１１】
視点数おきにピクセルを選択しながら周波数空間に変換する処理を行うこととしてもよい。また、周波数空間に変換するためのブロックのサイズを視点数に基づいて決定するようにしてもよい。また、通常のブロックサイズに対して、水平視点数をＮ、垂直視点数をＭとしたときに、ブロックサイズを水平Ｎ倍、垂直Ｍ倍することとしてもよい。
【００１２】
これらの立体画像処理方法において、前記相関性に関係する処理は、画像の拡大、画像の縮小、フィルタ処理、及び符号化処理のうちの少なくとも一つとしてもよい。また、前記立体画像は水平及び垂直の少なくとも一方の一画素毎に複数の視点画像を順に並べた立体画像であることとしてもよい。また、処理用画像データのヘッダに立体情報か否かを示す情報が記録されており、その情報に基づいて画像の種類を判定し、処理の手法を決めることとしてもよい。
【００１３】
また、この発明のプログラムは、コンピュータを、上述したいずれかの立体画像処理方法を実行する手段として機能させる。すなわち、コンピュータを、立体画像上で色と視点番号との組み合わせが一致するピクセルだけを選択して処理用画像を生成する手段と、この処理用画像に対して画像相関性に関係する処理を施す手段として機能させる。コンピュータを、前記処理を施した後に立体画像に戻すための手段として機能させることとしてもよい。コンピュータを、立体画像上で色と視点番号との組み合わせが一致するピクセルだけを選択したものに相当する処理用画像を生成する手段と、この処理用画像に対して画像相関性に関係する処理を施す手段として機能させる。コンピュータを、立体画像上で色と視点番号との組み合わせが一致するピクセルだけを選択したものに相当する処理用画像を複数視点の原画像から生成するための手段と、この処理用画像に対して画像相関性に関係する処理を施す手段として機能させる。これらのプログラムにおいて、コンピュータを、前記相関性に関係する処理として処理用画像データを周波数空間に変換する処理を行なう手段として機能させるためのものとしてもよい。また、コンピュータを、視点数おきにピクセルを選択しながら周波数空間に変換する処理を行う手段として機能させるためのものとしてもよい。また、コンピュータを、周波数空間に変換するためのブロックのサイズを視点数に基づいて決定する手段として機能させるためのものとしてもよい。また、コンピュータを、通常のブロックサイズに対して、水平視点数をＮ、垂直視点数をＭとしたときに、ブロックサイズを水平Ｎ倍、垂直Ｍ倍する手段として機能させるためのものとしてもよい。また、コンピュータを、前記相関性に関係する処理として、画像の拡大、画像の縮小、フィルタ処理、及び符号化処理のうちの少なくとも一つを行なわせる手段として機能させるためのものとしてもよい。また、コンピュータを、前記立体画像が水平及び垂直の少なくとも一方の一画素毎に複数の視点画像を順に並べた立体画像とするための手段として機能させるためのものとしてもよい。また、コンピュータを、処理用画像データのヘッダに立体情報か否かを示す情報を読み出す手段と、その情報に基づいて画像の種類を判定する手段と、処理の手法を決める手段として機能させるためのものとしてもよい。
【００１４】
また、この発明の記録媒体は、上述したいずれかのプログラムが記録された記録媒体（ＣＤ−ＲＯＭ等）である。
【００１５】
【発明の実施の形態】
以下、この発明の実施形態の立体画像処理方法を図１乃至図９に基づいて説明していく。
【００１６】
図１に示す立体画像において（図２の立体画像と同じである）、隣同士のピクセルについては従来項でも述べたが、相関性は低い。だが、１ピクセルおきに見ると、視点と色の関係が同じ組み合わせとなるため相関性が高くなる。なお、１ピクセルは、図１の立体画像や処理用画像おける太枠で囲まれた３つの画素（赤画素と緑画素と青画素）又は細線で囲まれた３つの画素（赤画素と緑画素と青画素）となる。一般には、視点数をＮとするとＮピクセルおきに相関性が高くなる。この相関性の高いピクセル同士を集めれば（すなわち、処理用画像とすれば）、通常の画像に対する処理と同じ処理を施すことが可能となる。この手法であれば、ピクセル単位での並べ替えとなるので、各種処理が高速になる。
【００１７】
処理例について説明する。いずれも従来と比較して高速に処理できる。
【００１８】
▲１▼原画像を前処理し、処理用画像の状態で符号化等を行う。原画像に対する処理の一例を図３のフローチャートに示す。送信側装置のＣＰＵ（コンピュータ）は、原画像の視点１のＮ番目（Ｎは１から始まる整数とする）のピクセル（Ｒ（赤），Ｇ（緑），Ｂ（青））データをメモリ（図示せず）から読み出す（ステップＳ１）。また、原画像の視点１のＮ番目のピクセル（Ｒ，Ｇ，Ｂ）データをメモリから読み出す（ステップＳ２）。そして、視点１のピクセルのＧを視点２のピクセルのＧと交換して処理用画像１のピクセルとしてメモリに書き込む（ステップＳ３）。また、視点２のピクセルのＧを視点１のピクセルのＧと交換して処理用画像２のピクセルとしてメモリに書き込む（ステップＳ４）。かかる処理を全ピクセルについて行なう（ステップＳ５，ステップＳ６，ステップＳ７，ステップＳ８）。このようにして得られた処理用画像を、例えばストリーミング配信し、受信側で並べ替え処理を行うことで立体動画を見ることができる。また、送信側装置のＣＰＵ（コンピュータ）は、処理用画像データのヘッダに立体情報か否か等を示す情報を付加する。この情報としては、例えば、立体情報か否か、立体方式、視点数などがあり、その情報に基づいて画像の種類を判定し、処理の手法を決めることとしてもよい。
【００１９】
▲２▼処理用画像から立体画像を生成する処理の一例を図４のフローチャートに示す。受信側装置（コンピュータ機能を有する放送受信装置、パーソナルコンピュータ等）のＣＰＵは、受信した処理用画像１のＮ番目（Ｎは１から始まる整数とする）のピクセル（Ｒ，Ｇ，Ｂ）データをメモリから読み出す（ステップＳ１１）。そして、立体画像のデータが格納されるメモリ（ＶＲＡＭ等）の２Ｎ−１番目に相当するアドレスにピクセル（Ｒ，Ｇ，Ｂ）データを書き込む（ステップＳ１２）。また、処理用画像２のＮ番目のピクセル（Ｒ，Ｇ，Ｂ）データをメモリから読み出す（ステップＳ１３）。そして、立体画像のデータが格納されるメモリの２Ｎ番目に相当するアドレスにピクセル（Ｒ，Ｇ，Ｂ）データを書き込む（ステップＳ１４）。かかる処理を全ピクセルについて行なう（ステップＳ１５，ステップＳ１６，ステップＳ１７，ステップＳ１８）。ピクセル単位での並べ替えとなるので受信側装置での処理の負担は軽くなり、高速処理が行なえる。また、受信側装置（コンピュータ機能を有する放送受信装置、パーソナルコンピュータ等）は処理用画像データのヘッダに記録された情報に基づいて、立体情報か否か、立体方式、視点数などを判断する。その情報に基づいて画像の種類を判定し、立体処理の手法（斜めバリア配置用画素並び、垂直バリア配置用画素並び、水平バリア配置用画素並び等）を決める。
【００２０】
▲３▼受信側装置では、立体画像から処理用画像に逆変換し、拡大（画素補完処理等）、縮小（画素間引き処理等）、フィルタ処理（ディジタルフィルタ処理等）などの各種処理を施した後に、再変換して立体画像を生成することができる。この逆変換の一例を図５のフローチャートに示す。立体画像のデータが格納されるメモリ（ＶＲＡＭ等）の２Ｎ−１（Ｎは１から始まる整数とする）番目に相当するアドレスのピクセル（Ｒ，Ｇ，Ｂ）データを読み出す（ステップＳ２１）。そして、処理用画像１のＮ番目に相当するアドレスにピクセル（Ｒ，Ｇ，Ｂ）データを書き込む（ステップＳ２２）。また、立体画像のデータが格納されるメモリ（ＶＲＡＭ等）の２Ｎ番目に相当するアドレスのピクセル（Ｒ，Ｇ，Ｂ）データを読み出す（ステップＳ２３）。そして、処理用画像２のＮ番目に相当するアドレスにピクセル（Ｒ，Ｇ，Ｂ）データを書き込む（ステップＳ２４）。かかる処理を全ピクセルについて行なう（ステップＳ２５，ステップＳ２６，ステップＳ２７，ステップＳ２８）。ピクセル単位での並べ替えとなるので受信側装置での処理の負担は軽くなり、高速処理が行なえる。
【００２１】
▲４▼送信側装置では、原画像から立体画像を生成し、記録媒体への保存時は処理用画像で符号化するのがよい。符号化（記録時や送信時）においては、その処理の中にこの発明の立体画像処理方法を組み込むことも可能である。例えば通常の離散コサイン変換では、図６に示すように、画像は８ピクセル×８ピクセルのブロックで周波数変換され、所定の処理を経て符号化される。なお、図中の上段の数値は視点番号であり、１，１等は原画像の列，行を示す。
【００２２】
２視点画像の場合は、図７に示すように、ブロックを１６×８ピクセルとし、図１の立体画像については１ピクセルおきに選択し（図１の処理用画像としてメモリに格納されているのであれば各視点画像内で隣りのピクセルを選択し）、周波数変換すればよい。例えば、この周波数変換を、視点１画像に対して施した後に、続いて視点２に対して施し、次のブロックに処理を移す。復号時にはその逆の処理を行う。通常の高速変換処理も、画素値から係数値を導出するだけで、画素の位置関係には影響されないので、対応可能である。上記処理は、図８に示すように並べ替えた画像を符号化するのと同等である。
【００２３】
なお、上記符号化の処理は、カラー立体画像だけでなく、白黒立体画像に対しても有効である。
【００２４】
視点数がＮであれば、ブロックを８Ｎピクセル×８ピクセルとする。垂直方向に複数の視点画像が交互に並ぶ場合も同様で、Ｎ×Ｍ視点であれば、ブロックは８Ｎ×８Ｍとなる。ただし、通常の変換と同じで、必ずしも８の倍数である必要はない。
【００２５】
複数のピンホールを斜めに配置する立体映像表示装置（斜めバリア方式：特許第３０９６６１３号等参照）の場合は、図９に示すようにピクセルが並ぶ。この並びに対して図８に示したごとくピクセルが集まるようにピクセル単位で読出アドレスを設定し符号化を行なえばよいことになる。
【００２６】
【発明の効果】
以上説明したように、この発明によれば、画像相関性に関係した各種処理を施すのに好都合になる等の諸効果を奏する。
【図面の簡単な説明】
【図１】発明の実施形態の立体画像処理方法を示した説明図である。
【図２】従来の立体画像処理方法を示した説明図である。
【図３】発明の実施形態の立体画像処理方法（アルゴリズム）を例示したフローチャートである。
【図４】発明の実施形態の立体画像処理方法（アルゴリズム）を例示したフローチャートである。
【図５】発明の実施形態の立体画像処理方法（アルゴリズム）を例示したフローチャートである。
【図６】ピクセル単位の並べ替えを示した説明図である。
【図７】ピクセル単位の並べ替えを示した説明図である。
【図８】ピクセル単位の並べ替えを示した説明図である。
【図９】
【符号の説明】
Ｒ右映像
Ｌ左映像

Claims

複数の視点画像の合成によって各視点画像を構成する画素が１画素ごとに順に配置された立体画像から画素の色と視点との組合せが一致するピクセルを選択して前記視点画像の数と同数の処理用画像を生成する処理画像生成ステップと、
前記生成した各処理用画像ごとに、前記同一色ごとの画素群について行う処理である、画像拡大、縮小、エッジ強調、圧縮符号化、周波数空間に変換する処理のいずれかを行う処理ステップと、
を備える立体画像処理方法。
前記立体画像は、１つの赤画素、１つの緑画素、１つの青画素を１ピクセルとしており、
前記処理画像生成ステップにおいて、前記立体画像のピクセルの並び替えによって、前記処理用画像を生成することを特徴とする、請求項１に記載の立体画像処理方法。
複数の視点画像から、当該視点画像の数と同数の処理用画像を生成するステップであって、前記処理用画像として各視点画像から抽出したピクセルのなかの画素を他の視点画像の画素と入れ替えることによって画素の色と視点との組合せが一致するピクセルからなる処理用画像を生成する処理画像生成ステップと、
前記生成した各処理用画像ごとに、前記同一色ごとの画素群について行う処理である、画像拡大、縮小、エッジ強調、圧縮符号化、周波数空間に変換する処理のいずれかを行う処理ステップと、
を備える立体画像処理方法。
コンピュータを、
複数の視点画像の合成によって各視点画像を構成する画素が１画素ごとに順に配置された立体画像から画素の色と視点との組合せが一致するピクセルを選択して前記視点画像の数と同数の処理用画像を生成する処理画像生成手段と、
前記生成した各処理用画像ごとに、前記同一色ごとの画素群について行う処理である、画像拡大、縮小、エッジ強調、圧縮符号化、周波数空間に変換する処理のいずれかを行う処理手段と、
して機能させるプログラム。
前記立体画像は、１つの赤画素、１つの緑画素、１つの青画素を１ピクセルとしており、
前記処理画像生成手段として、前記立体画像のピクセルの並び替えによって、前記処理用画像を生成する請求項４に記載のプログラム。
コンピュータを、
複数の視点画像から、当該視点画像の数と同数の処理用画像を生成する手段であって、前記処理用画像として各視点画像から抽出したピクセルのなかの画素を他の視点画像の画素と入れ替えることによって画素の色と視点との組合せが一致するピクセルからなる処理用画像を生成する処理画像生成手段と、
前記生成した各処理用画像ごとに、前記同一色ごとの画素群について行う処理である、画像拡大、縮小、エッジ強調、圧縮符号化、周波数空間に変換する処理のいずれかを行う処理手段と、
して機能させる立体画像処理用のプログラム。
請求項４乃至請求項６のいずれかに記載のプログラムが記録されたコンピュータ読取可能な記録媒体。