JP5937871B2 - 立体的画像表示装置、立体的画像表示方法及び立体的画像表示プログラム - Google Patents

Description

本発明は、奥行き感のある立体的な画像を表示する技術に関する。

近年、３Ｄテレビが登場し、画像表示方法に奥行き感を求めるユーザが出現している。３Ｄテレビの場合、一般的に左右の視差を利用して画像の奥行き感を表現している。その他、特許文献１によれば、ステレオ画像のカメラパラメータを用いて焦点距離を変化させることにより、画像の奥行き感を表現する技術が開示されている。

特開平９−１７９９９８号公報

現在、ＰＣ，携帯電話，スマートフォン，タブレットＰＣ，２Ｄ専用デジタルテレビといった、インタラクティブな操作を簡単に実現可能な端末が普及しているが、そのような普及端末で３Ｄ表示を実現するには３Ｄ専用ディスプレイを新たに搭載させ、若しくは別に用意する必要があるため、それら既存の普及端末のみを用いて画像に奥行き感を与えることは難しい。

特許文献１の技術を利用することによってその問題を解消できるが、入力画像としてステレオ画像を事前に準備しなければならず、また、正規化相互関数等の複雑な計算式に当てはめて演算処理を画素毎に実行するため、出力画像の生成に係る計算処理量が膨大になる。

本発明は、上記課題を鑑みてなされたものであり、その課題とするところは、奥行き感のある画像表示を既存の普及端末で簡易に実現することにある。

請求項１記載の立体的画像表示装置は、被写体が撮影された撮影画像と、前記撮影画像における前記被写体の奥行距離が画素に設定された距離画像とを入力し、立体的な画像を表示する立体的画像表示装置において、前記撮影画像をぼかしてぼかし画像を生成する生成手段と、画像に対する奥行方向への移動命令の入力を受け付ける受付手段と、前記入力に対応した奥行位置の画素を前記距離画像から選択する選択手段と、前記選択手段で選択された画素である選択画素に対応した画像を前記撮影画像から抽出する抽出手段と、前記ぼかし画像に、前記抽出手段で抽出された画像である抽出画像を合成して画像表示手段に出力する出力手段と、を備え、前記選択手段は、前記選択画素の奥行距離と当該選択画素に近傍する第１の近傍画素の奥行距離との差分が所定値よりも小さい場合に当該第１の近傍画素を選択画素に含め、更に、選択画像に含めた第１の近傍画素の奥行距離と当該第１の近傍画素に近傍する第２の近傍画素の奥行距離との差分が前記所定値よりも小さい場合に当該第２の近傍画素も選択画素に含める処理を繰り返すことにより、選択画素を選択することを特徴とする。

請求項２記載の立体的画像表示方法は、被写体が撮影された撮影画像と、前記撮影画像における前記被写体の奥行距離が画素に設定された距離画像とを入力し、立体的な画像を表示する立体的画像表示装置で行う立体的画像表示方法において、画像に対する奥行方向への移動命令の入力を受け付ける受付ステップと、前記入力に対応した奥行位置の画素を前記距離画像から選択する選択ステップと、前記選択ステップで選択された画素である選択画素に対応した画像を前記撮影画像から抽出する抽出ステップと、前記撮影画像をぼかして生成したぼかし画像に、前記抽出ステップで抽出された画像である抽出画像を合成して画像表示手段に出力する出力ステップと、を備え、前記選択ステップでは、前記選択画素の奥行距離と当該選択画素に近傍する第１の近傍画素の奥行距離との差分が所定値よりも小さい場合に当該第１の近傍画素を選択画素に含め、更に、選択画像に含めた第１の近傍画素の奥行距離と当該第１の近傍画素に近傍する第２の近傍画素の奥行距離との差分が前記所定値よりも小さい場合に当該第２の近傍画素も選択画素に含める処理を繰り返すことにより、選択画素を選択することを特徴とする。

請求項３記載の立体的画像表示プログラムは、請求項２記載の立体的画像表示方法をコンピュータに実行させることを特徴とする。

以上より、本発明によれば、画像に対する奥行方向への移動命令の入力を受け付けて、その入力に対応した奥行位置の画素を距離画像から選択し、その選択画素に対応した画像を撮影画像から抽出して、撮影画像をぼかして生成したぼかし画像に抽出画像を合成して画像表示手段に出力するため、それら処理は少ない計算量で実行可能なことから、奥行き感のある画像表示を既存の普及端末で簡易に実現できる。

本発明によれば、奥行き感のある画像表示を既存の普及端末で簡易に実現できる。

第１の実施の形態に係る立体的画像表示装置の機能ブロック構成を示す図である。 入力画像および出力画像の例を示す図である。 奥行方向に対する各物体の位置関係を示す図である。 距離画像の例を示す図である。 立体的画像表示装置の処理フローの例を示す図である。 初期時の処理フローで特定される特定領域ｐ１を示す図である。 ユーザ操作時の処理フローで特定される特定領域ｐ２を示す図である。 第２の実施の形態に係る立体的画像表示システムの構成を示す図である。

従来、写真の撮影テクニックとして、被写界深度を調節して特定距離範囲内の対象をはっきりと撮影し、それ以外をぼかすことによって像の奥行き感を表現する方法が知られている（「被写界深度」、Wikipedia、[online]、[平成24年3月12日検索]、＜URL:http://ja.wikipedia.org/wiki/被写界深度＞）。

本発明は、そのような表現方法に着目し、奥行き感のある画像表示を既存の普及端末で簡易に実現することにある。なお、既存の普及端末とは、ＰＣ，携帯電話，スマートフォン，タブレットＰＣ等のモバイル端末や、２Ｄ専用デジタルテレビが例とされる。

以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。

〔第１の実施の形態〕
図１は、第１の実施の形態に係る立体的画像表示装置の機能ブロック構成を示す図である。この立体的画像表示装置１００は、被写体（後述する物体や背景）が撮影された入力画像Ａと、その入力画像Ａにおける被写体の奥行距離が画素に設定された距離画像Ｃとの組を入力し、奥行き感のある立体的な出力画像Ｂを画面に表示する装置である。

すなわち、画像に対する奥行方向への移動命令の入力を受け付ける表示指示部１１と、その入力に対応した奥行位置の画素を距離画像Ｃから選択する距離解析部１２と、その選択画素に対応した画像を鮮明画像Ｂ＿１として入力画像Ａから抽出する画像領域抽出部１３と、入力画像Ａをぼかしてぼかし画像Ｂ＿２を生成するぼかし画像生成部１４と、ぼかし画像Ｂ＿２に鮮明画像Ｂ＿１を合成した出力画像Ｂをモニタ出力部１６に出力する画像合成部１５と、その出力画像Ｂを画面に表示するモニタ出力部１６とで主に構成される。

このような立体的画像表示装置１００は、メモリ等の記憶手段，ＣＰＵ等の計算手段，モニタ等の画像表示手段を備えるコンピュータによって実現可能である。また、上記各機能部はプログラムによって実行される。

また、入力される入力画像Ａや距離画像Ｃは、立体的画像表示装置１００内の記憶手段（図１において不図示）に一旦記憶され、その記憶手段から読み出されて適宜処理される。

図２に、立体的画像表示装置１００に入力される入力画像Ａと、その立体的画像表示装置１００で画面に表示される出力画像Ｂの例を示す。

立体的画像表示装置１００には、人物や風景等を撮影した被写界深度の深い入力画像Ａが入力される。この入力画像Ａには、撮影したカメラ側から見て奥行方向で異なる距離に位置する複数の物体Ｐが映し出されている。

本実施の形態では、図３の位置関係に示すように、奥行方向において基準位置から第１の奥行距離Ｌ１〜第３の奥行距離Ｌ３にそれぞれ位置する第１の物体Ｐ１〜第３の物体Ｐ３が入力画像Ａに映し出されているとする。

そのような入力画像Ａを入力した立体的画像表示装置１００は、指定された奥行距離Ｌに位置する物体Ｐのみをはっきりと表示し、それ以外をぼかして表示した出力画像Ｂを画面に表示する。その出力画像Ｂには、ユーザによって指定された物体Ｐのみがはっきりと映し出されるので、表示された画像に奥行き感を与えることができる。

例えば、第２の奥行距離Ｌ２が指定されると、それに対応する第２の物体Ｐ２の輪郭のみがはっきりと撮影された出力画像Ｂ２が表示される。なお、図２の出力画像Ｂ１〜Ｂ３では、はっきりと表示された状態を実線とし、ぼかして表示された状態を破線で模式的に表現している。

図４に、入力画像Ａと共に立体的画像表示装置１００に入力される距離画像Ｃの例を示す。

距離画像Ｃは、入力画像Ａに対応して予め生成される画像であり、入力画像Ａに撮影されている物体Ｐ及びその背景の奥行距離Ｌが入力画像Ａの各画素に対応付けて画素毎に設定されている。

例えば、入力画像Ａに映し出されている第１の物体Ｐ１に対応する各画素には、第１の奥行距離Ｌ１やそれに近似する奥行距離Ｌとして５０や５２が設定されている。

次に、本実施の形態に係る立体的画像表示装置１００の動作を説明する。最初に、図５を参照しながら、立体的初期画像として出力画像Ｂ１を表示する場合の初期処理フローについて説明する。

まず、表示指示部１１は、保持手段に第１の奥行距離Ｌ１をデフォルト値として予め保持しており、その第１の奥行距離Ｌ１を当該保持手段から読み出して距離解析部１２に送信する（ステップＳ１０１）。

次に、距離解析部１２は、自機への入力対象である入力画像Ａに対して事前生成された距離画像Ｃを入力し、その距離画像Ｃの各画素値ｖ（ｘ，ｙ）を検索して、式（１）の関係が成立する画素（ｘ，ｙ）を選択する（ステップＳ１０２）。

Ｌ１≦ｖ（ｘ，ｙ）≦Ｌ１＋ｄ ・・・式（１）
式（１）のｄは、第１の奥行距離Ｌ１に対して任意に設定されたマージンの値である。例えば、Ｌ１＝５０，ｄ＝５の場合、５０〜５５に該当する奥行距離Ｌの画素（図４の斜線で示す画素群Ｒ）が選択される。この画素群Ｒは、図６で示す位置関係において斜線の特定領域ｐ１に相当する。

次に、画像領域抽出部１３は、上記入力対象の入力画像Ａを入力し、距離解析部１２によって選択された画素の位置に対応する画像Ｂ１＿１を当該入力画像Ａから抽出する（ステップＳ１０３）。以下、画像Ｂ１＿１を鮮明画像Ｂ１＿１という。

ステップＳ１０３と並行して、ぼかし画像生成部１４は、同入力画像Ａを入力し、その入力画像Ａの全画素に対して所定のぼかし処理（例えば、ガウス性ノイズ処理等）を実行してぼかし画像Ｂ１＿２を生成する（ステップＳ１０４）。

最後に、画像合成部１５は、ぼかし画像Ｂ１＿２に鮮明画像Ｂ１＿１を重ね合わせて出力画像Ｂ１を生成し、モニタ出力部１６に送信して画面に表示する（ステップＳ１０５）。

以上の動作より、第１の物体Ｐ１のみがはっきりと表示され、それ以外がぼかして表示された立体的な出力画像Ｂ１が立体的初期画像として表示される。

なお、ステップＳ１０２で用いたマージンの値ｄについては、上述のように固定値としてもよいが、第１の奥行距離Ｌ１及びその近傍に位置する第１の物体Ｐ１に合わせて可変値としてもよい。例えば、第１の奥行距離Ｌ１の近傍でなだらかに奥行距離Ｌが変化する画素を選択することにより、第１の物体Ｐ１を含む選択領域Ｒを特定領域ｐ１とする。

具体的には、まず、第１の奥行距離Ｌ１の画素を選択した後、その選択画素と当該選択画素に近傍する近傍画素との差分が任意の差分値ｄ’よりも小さいものについては特定領域ｐ１に含まれるとし、更に、その特定領域ｐ１に含まれる近傍画素と当該近傍画素に近傍する近傍画素との差分値が上記差分値ｄ’よりも小さいものについては特定領域ｐ１に含まれるとする処理を繰り返していくことにより、特定領域ｐ１を求めてもよい。

また、ステップＳ１０４で行ったぼかし処理は、ステップＳ１０１〜Ｓ１０３の各処理とは無関係に実行可能であることから、ステップＳ１０３よりも前に行うことも可能である。例えば、一度生成されたぼかし画像をぼかし画像生成部１４で保持しておくことにより、他の出力画像Ｂ２を表示する際に行われるであろうぼかし処理を省くことができるため、ぼかし処理に係る処理負荷を軽減できる。

続いて、現在表示されている立体的初期画像（出力画像Ｂ１）を参照したユーザによって表示指示部１１が操作され、その操作に応じて出力画像Ｂ２を表示する場合のユーザ操作時処理フローについて説明する。なお、本処理フローは、図５に示した初期処理フローと同様であるため、図示は省略する。

ユーザは、画面に表示されている立体的初期画像に対して奥行方向での前後（手前側・奥側）移動を表示指示部１１で操作する。このような表示指示部１１としては、例えば、リモコンの上下ボタン、ジョイスティック、マウス、タッチパネル等、奥行方向での前後移動操作を命令可能なデバイスであればよい。

まず、表示指示部１１は、ユーザ操作によって入力された立体的初期画像に対する前後情報（例えば、奥行位置指定命令や奥行移動距離命令）をデフォルト値（第１の奥行距離Ｌ１）との差分とし、その差分にデフォルト値を演算した奥行距離Ｌを距離解析部１２に送信する（ステップＳ２０１）。

例えば、リモコンの上ボタンの押下継続時間を奥行距離Ｌに換算し、下ボタンではなく上ボタンの操作であることから当該奥行距離Ｌを「（第２の奥行距離Ｌ２−第１の奥行距離Ｌ１）だけ奥側方向への距離」と判定し、現時点の奥行距離Ｌ（第１の奥行距離Ｌ１）にその差分距離を加えた奥行距離Ｌ（＝Ｌ１＋（Ｌ２−Ｌ１）＝Ｌ２）を送信する。

次に、距離解析部１２は、ステップＳ１０２で用いた距離画像Ｃの各画素値ｖ（ｘ，ｙ）を検索して、式（２）の関係が成立する画素（ｘ，ｙ）を選択する（ステップＳ２０２）。

Ｌ２≦ｖ（ｘ，ｙ）≦Ｌ２＋ｄ ・・・式（２）
式（２）のｄは、第２の奥行距離Ｌ２に対して任意に設定されたマージンの値である。ここで選択された画素群は、図７で示す位置関係において斜線の特定領域ｐ２に相当する。

次に、画像領域抽出部１３は、距離解析部１２によって選択された画素の位置に対応する鮮明画像Ｂ２＿１を入力画像Ａから抽出する（ステップＳ２０３）。

ステップＳ２０３と並行して、ぼかし画像生成部１４は、入力画像Ａの全画素に対して所定のぼかし処理を実行してぼかし画像Ｂ２＿２を生成する（ステップＳ２０４）。

最後に、画像合成部１５は、ぼかし画像Ｂ２＿２に鮮明画像Ｂ２＿１を重ね合わせて出力画像Ｂ２を生成し、モニタ出力部１６に送信して画面に表示する（ステップＳ２０５）。

以上の動作より、第２の物体Ｐ２のみがはっきりと表示され、それ以外がぼかして表示された立体的な出力画像Ｂ２がユーザ所期画像として表示される。表示指示部１１でのユーザ操作によって、モニタ出力部１６に表示されている画像を出力画像Ｂ１から出力画像Ｂ２に切り替えることができるので、ユーザに対して奥行き方向への画像の操作感を与え、結果としてユーザは画像の奥行きを感じることができる。

なお、出力画像Ｂ１から出力画像Ｂ２への一足飛びの出力変更として説明したが、ユーザによる表示指示部１１の操作が連続的に行われるような場合、第１の奥行距離Ｌ１から第２の奥行距離Ｌ２の間に相当する値で出力画像Ｂを連続的に生成し、出力画像Ｂ１から出力画像Ｂ２へシームレスに切り替えることも実現可能である。この方法を採用することによって、奥行き感を更に感じることができるようになる。

なお、立体的画像表示装置１００に入力される画像は、静止画像と動画像のどちらでもよい。動画像の場合、入力画像の各フレームに対して距離画像やぼかし画像がそれぞれ生成されることになる。

〔第２の実施の形態〕
図８は、第２の実施の形態に係る立体的画像表示システムの構成を示す図である。この立体的画像表示システムは、第１の実施の形態で説明した立体的画像表示装置１００の機能部を、立体画像を生成する立体的画像生成装置１００ａと、生成された立体画像を表示する立体的画像表示装置１００ｂとに分離している。

すなわち、距離解析部１２と、画像領域抽出部１３と、ぼかし画像生成部１４と、画像合成部１５とをサーバ側としての立体的画像生成装置１００ａに具備させると共に、表示指示部１１と、モニタ出力部１６とをクライアント側としての立体的画像表示装置１００ｂに具備させている。

また、それら両装置１００ａ，１００ｂを所定の通信ネットワーク５００を介して相互に通信可能にするため、通信ネットワーク接続部１７，１８を各装置１００ａ，１００ｂにそれぞれ具備させている。

なお、立体的画像表示装置１００ｂとしては、例えば、ＰＣ，携帯電話，スマートフォン，タブレットＰＣ等のモバイル端末が例とされる。また、通信ネットワーク５００としては、例えば、インターネットや携帯電話網、ＩＰＴＶのＳＴＢやＮＧＮ網の組み合わせ等が例とされる。

本実施の形態での処理は、第１の実施の形態と同様であるが、ユーザが操作するのは立体的画像表示装置１００ｂを実装しているクライアント端末である。表示指示部１１で入力されたユーザ操作情報は、通信ネットワーク接続部１８から通信ネットワーク５００を経由して立体的画像生成装置１００ａに送信される。

立体的画像生成装置１００ａでは、通信ネットワーク接続部１７がそのユーザ操作情報を受け取り、距離解析部１２へ送信して第１の実施の形態と同様の処理を実行する。

そして、その処理結果は画像合成部１５から出力され、通信ネットワーク接続部１７から通信ネットワーク５００を経由して立体的画像表示装置１００ｂに返信される。

立体的画像表示装置１００ｂでは、通信ネットワーク接続部１８がその処理結果情報を受け取り、モニタ出力部１６で画像を表示する。

以上の動作より、たとえ第１の実施の形態で説明した立体的画像表示装置１００の機能部が複数の装置に分離された場合であっても、表示指示部１１でのユーザ操作によって、モニタ出力部１６に表示されている画像を切り替えて表示できるので、ユーザに対して奥行き方向への画像の操作感を与え、結果としてユーザは画像の奥行きを感じることができる。

以上より、各実施の形態によれば、表示指示部１１が、画像に対する奥行方向への移動命令の入力を受け付けて、距離解析部１２が、その入力に対応した奥行位置の画素を距離画像Ｃから選択し、画像領域抽出部１３が、その選択画素に対応した鮮明画像Ｂ＿１を入力画像Ａから抽出し、ぼかし画像生成部１４が、入力画像Ａをぼかしてぼかし画像Ｂ＿２を生成し、画像合成部１５が、ぼかし画像Ｂ＿２に鮮明画像Ｂ＿１を合成してモニタ出力部１６に出力するため、それら処理は少ない計算量で実行可能なことから、奥行き感のある画像表示を既存の普及端末で簡易に実現できる。

１００…立体的画像表示装置
１００ａ…立体的画像生成装置
１００ｂ…立体的画像表示装置
１１…表示指示部
１２…距離解析部
１３…画像領域抽出部
１４…画像合成部
１５…ぼかし画像生成部
１６…モニタ出力部
１７，１８…通信ネットワーク接続部
５００…通信ネットワーク
Ｓ１０１〜Ｓ１０５，Ｓ２０１〜Ｓ２０５…ステップ

Claims (3)

1. 被写体が撮影された撮影画像と、前記撮影画像における前記被写体の奥行距離が画素に設定された距離画像とを入力し、立体的な画像を表示する立体的画像表示装置において、
   前記撮影画像をぼかしてぼかし画像を生成する生成手段と、
   画像に対する奥行方向への移動命令の入力を受け付ける受付手段と、
   前記入力に対応した奥行位置の画素を前記距離画像から選択する選択手段と、
   前記選択手段で選択された画素である選択画素に対応した画像を前記撮影画像から抽出する抽出手段と、
   前記ぼかし画像に、前記抽出手段で抽出された画像である抽出画像を合成して画像表示手段に出力する出力手段と、を備え、
   前記選択手段は、
   前記選択画素の奥行距離と当該選択画素に近傍する第１の近傍画素の奥行距離との差分が所定値よりも小さい場合に当該第１の近傍画素を選択画素に含め、更に、選択画像に含めた第１の近傍画素の奥行距離と当該第１の近傍画素に近傍する第２の近傍画素の奥行距離との差分が前記所定値よりも小さい場合に当該第２の近傍画素も選択画素に含める処理を繰り返すことにより、選択画素を選択する
   ことを特徴とする立体的画像表示装置。
2. 被写体が撮影された撮影画像と、前記撮影画像における前記被写体の奥行距離が画素に設定された距離画像とを入力し、立体的な画像を表示する立体的画像表示装置で行う立体的画像表示方法において、
   画像に対する奥行方向への移動命令の入力を受け付ける受付ステップと、
   前記入力に対応した奥行位置の画素を前記距離画像から選択する選択ステップと、
   前記選択ステップで選択された画素である選択画素に対応した画像を前記撮影画像から抽出する抽出ステップと、
   前記撮影画像をぼかして生成したぼかし画像に、前記抽出ステップで抽出された画像である抽出画像を合成して画像表示手段に出力する出力ステップと、を備え、
   前記選択ステップでは、
   前記選択画素の奥行距離と当該選択画素に近傍する第１の近傍画素の奥行距離との差分が所定値よりも小さい場合に当該第１の近傍画素を選択画素に含め、更に、選択画像に含めた第１の近傍画素の奥行距離と当該第１の近傍画素に近傍する第２の近傍画素の奥行距離との差分が前記所定値よりも小さい場合に当該第２の近傍画素も選択画素に含める処理を繰り返すことにより、選択画素を選択する
   ことを特徴とする立体的画像表示方法。
3. 請求項２記載の立体的画像表示方法をコンピュータに実行させることを特徴とする立体的画像表示プログラム。

Images