WO2013140702A1

WO2013140702A1 - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: WO2013140702A1
Application number: PCT/JP2013/000045
Authority: WO
Inventors: 次夫遠藤
Original assignee: Ｎｅｃカシオモバイルコミュニケーションズ株式会社
Priority date: 2012-03-22
Filing date: 2013-01-10
Publication date: 2013-09-26
Also published as: EP2830315A4; JPWO2013140702A1; EP2830315A1; US20150054822A1

Abstract

　位置算出部（１１０）は、ユーザの顔を撮像して生成された画像データを取得する。そして位置算出部（１１０）は、画像データ内における顔の位置を算出する。立体画像生成部（１３０）は、左目用画像、右目用画像、及び立体画像表示用のパラメータに基づいて、立体画像を表示するための立体画像データを生成する。パラメータ設定部（１２０）は、位置算出部（１１０）の算出値に基づいて、上記したパラメータを設定する。このパラメータは、例えば左目用画像及び右目用画像の少なくとも一方のずらし量である。

Description

画像処理装置、画像処理方法、及びプログラム

　本発明は、立体画像を表示するための立体画像データを生成する画像処理装置、画像処理方法、及びプログラムに関する。

　画像を立体的に表示させるための技術として、例えば特許文献１，２に記載の技術がある。特許文献１に記載の技術は、画像を処理することによってユーザの視点の位置を検出し、この検出結果に基づいて立体画像を回転させることが記載されている。

　特許文献２に記載の技術は、画像表示装置に左目用画像と右目用画像を交互に表示させることにより、ユーザに立体画像を認識させるものである。特に特許文献２に記載の技術では、画像表示装置に左目用画像を表示させているときには、ユーザの左目に向けて画像の光路を傾斜させ、画像表示装置に右目用画像を表示させているときには、ユーザの右目に向けて画像の光路を傾斜させることが記載されている。

特開平４－２５３２８１号公報特開平８－６２５３４号公報

　左目用画像と右目用画像の画像は、輻輳角や基線長が予めずれている。これらの値は、一般的に固定値である。しかし、ユーザにとって最適な輻輳角や基線長は、ユーザによって異なる。このため、ユーザは手入力で立体画像表示用のパラメータを設定する必要があった。

　本発明の目的は、立体画像表示用のパラメータを設定しやすくした画像処理装置、画像処理方法、及びプログラムを提供することにある。

　本発明によれば、ユーザの顔を撮像して生成された画像データを取得し、前記画像データ内における前記顔の位置を算出する位置算出手段と、
　左目用画像、右目用画像、及び立体画像表示用のパラメータに基づいて、立体画像を表示するための立体画像データを生成する立体画像生成手段と、
　前記位置算出手段の算出値に基づいて、前記パラメータを設定するパラメータ設定手段と、
を備える画像処理装置が提供される。

　本発明によれば、コンピュータが、
　　ユーザの顔を撮像して生成された画像データを取得し、前記画像データにおける前記顔の位置を算出し、
　　左目用画像、右目用画像、及び立体画像表示用のパラメータに基づいて、立体画像を表示するための立体画像データを生成し、
　　前記顔の位置に基づいて、前記パラメータを設定する画像処理方法が提供される。

　本発明によれば、コンピュータに、
　　ユーザの顔を撮像して生成された画像データを取得し、前記画像データにおける前記顔の位置を算出する機能と、
　　左目用画像、右目用画像、及び立体画像表示用のパラメータに基づいて、立体画像を表示するための立体画像データを生成する機能と、
　　前記顔の位置に基づいて、前記パラメータを設定する機能と、
を持たせるためのプログラムが提供される。

　本発明によれば、ユーザは、立体画像表示用のパラメータを設定しやすい。

　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

第１の実施形態に係る画像処理装置の機能構成を示す図である。第２の実施形態に係る画像処理装置の機能構成を示す図である。画像処理装置における撮像部及び表示部のレイアウトを示す平面図である。パラメータ設定部が行う動作の一例を示す図である。パラメータ設定部が行う動作の一例を示す図である。画像処理装置のユーザが行う動作の一例を示す図である。図４の変形例を示す図である。画像処理装置の動作を説明するためのフローチャートである。

　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

　なお、以下に示す説明において、各装置の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。各装置の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶メディア、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。

（第１の実施形態）
　図１は、第１の実施形態に係る画像処理装置１０の機能構成を示す図である。画像処理装置１０は、位置算出部１１０、パラメータ設定部１２０、及び立体画像生成部１３０を備えている。位置算出部１１０は、ユーザの顔を撮像して生成された画像データを取得する。そして位置算出部１１０は、画像データ内における顔の位置を算出する。立体画像生成部１３０は、左目用画像、右目用画像、及び立体画像表示用のパラメータに基づいて、立体画像を表示するための立体画像データを生成する。パラメータ設定部１２０は、位置算出部１１０の算出値に基づいて、上記したパラメータを設定する。このパラメータは、例えば左目用画像及び右目用画像の少なくとも一方のずらし量である。

　本実施形態によれば、ユーザは、画像データを生成する撮像デバイスに対する顔の相対位置をずらすのみで、立体画像表示用のパラメータを設定することができる。従って、ユーザは、立体画像表示用のパラメータを設定しやすい。

（第２の実施形態）
　図２は、第２の実施形態に係る画像処理装置１０の機能構成を示す図である。本実施形態に係る画像処理装置１０は、撮像部１４０、画像データ記憶部１５０、及び表示部１６０を備える点を除いて、第１の実施形態に係る画像処理装置１０と同様の構成である。

　撮像部１４０は、画像データを生成する。画像データ記憶部１５０は、立体画像表示用の左目用画像及び右目用画像を記憶している。これらの画像は、例えばマルチピクチャフォーマット形式である。画像データ記憶部１５０は、通信手段（図示せず）を介して左目用画像及び右目用画像を取得しても良いし、記憶媒体を介して左目用画像及び右目用画像を取得しても良い。また画像データ記憶部１５０は、パラメータの設定値を記憶していても良い。表示部１６０は、立体画像データを用いて立体画像を表示する。表示部１６０は、例えば視差バリア方式やレンチキュラー方式など、裸眼で立体視可能な表示デバイスである。ただし表示部１６０は、メガネなどの補助機器を用いて立体画像を表示するデバイスであっても良い。

　図３は、画像処理装置１０における撮像部１４０及び表示部１６０のレイアウトを示す平面図である。画像処理装置１０は、例えば携帯型の電子機器であり、通信機能を有していても良い。画像処理装置１０の筐体の一面には、表示部１６０が設けられている。そして撮像部１４０は、表示部１６０と同一面に設けられている。このため、ユーザは、表示部１６０で表示される立体画像を見ながら、撮像部１４０と顔の相対位置をずらして立体画像用のパラメータを調節することができる。

　図４及び図５は、パラメータ設定部１２０が行う動作の一例を示している。本図に示す例において、パラメータ設定部１２０は、画像データ内に基準エリアを設けている。そしてパラメータ設定部１２０は、基準エリア内に顔が含まれている間のみ、パラメータの設定動作を行う。

　詳細には、パラメータ設定部１２０は、図４（ａ）に示すように、基準エリア内において顔の傾きが基準値以下の場合、パラメータの設定を開始する。またパラメータ設定部１２０は、図４（ｂ）に示すように、基準エリア内に顔があっても、顔の傾きが基準値以上の場合には、パラメータの設定を始めない。この理由については、図６を用いて後述する。

　そして図５に示すように、パラメータ設定部１２０は、基準エリアに顔が含まれなくなったとき、パラメータの設定を終了する。このようにすると、パラメータの設定終了が簡単になる。パラメータ設定部１２０は、顔のうち基準割合以上の部分が基準エリアから外れたときに、パラメータの設定を終了してもよい。

　図６は、画像処理装置１０のユーザが行う動作の一例を示している。本図に示す例では、画像処理装置１０のユーザは、画像処理装置１０の傾きを変えることで、基準エリア内における顔の位置を上下に変化させる。パラメータ設定部１２０は、この顔の表示位置の高さに基づいて、立体画像用のパラメータの値を変化させる。例えばパラメータ設定部１２０は、顔の表示位置の高さが基準位置より高くなった場合、パラメータをデフォルト値から＋の方向に変化させる。またパラメータ設定部１２０は、顔の表示位置の高さが基準位置より低くなった場合、パラメータをデフォルト値から－の方向に変化させる。このようにすると、ユーザが行う動作は簡単になる。なおこの処理において、パラメータの値が上限又は下限になった場合、パラメータ設定部１２０はパラメータの設定動作を終了しても良い。

　なお、画像処理装置１０のユーザは、画像処理装置１０の横方向の傾きを変えることで、基準エリア内における顔の位置を左右に変化させることも考えられる。この場合、パラメータ設定部１２０は、顔の表示位置が基準位置より右に移動した場合、パラメータをデフォルト値から＋（又は－）の方向に変化させる。またパラメータ設定部１２０は、顔の表示位置が基準位置より左に移動した場合、パラメータをデフォルト値から－（又は＋）の方向に変化させる。ただし、表示部１６０が視差バリア方式で立体画像を表示する場合、画像処理装置１０を横方向に傾けると、ユーザは立体画像を視認しにくくなる。このため、表示部１６０が視差バリア方式の場合、パラメータ設定部１２０は、顔の表示位置の高さに基づいて、立体画像用のパラメータの値を変化させるのが好ましい。

　図４に示した基準エリア内において顔が傾いている状態で図６を用いて説明した処理を行うと、パラメータの修正方向は、ユーザの意図とは異なる可能性が出てくる。このため、図４を用いて説明した処理が必要になる。

　また、図７に示すように、図４で説明したパラメータの設定開始における基準エリアは、パラメータの設定動作を行っている間の基準エリアよりも狭くても良い。

　図８は、画像処理装置１０の動作を説明するためのフローチャートである。まず立体画像生成部１３０は、撮像部１４０が撮像した画像データを、２次元の画像データとして表示部１６０に表示させる（ステップＳ１０）。画像処理装置１０のユーザは、表示部１６０の表示を見ながら、顔を基準エリア内に位置させる（ステップＳ２０：Ｙｅｓ）。これにより、パラメータの設定処理が開始される。

　まず立体画像生成部１３０は、画像データ記憶部１５０から左目用画像、右目用画像、及びデフォルトのパラメータ値を読み出し、読み出したデータを用いて表示部１６０に立体画像を表示させる（ステップＳ３０）。ユーザは、表示部１６０で表示された立体画像の見やすさに基づいて、画像処理装置１０を傾ける。すると、撮像部１４０が生成した画像データ内における顔の位置が変化する。パラメータ設定部１２０は、この顔の位置を判断し（ステップＳ４０）、判断結果に基づいて、立体画像表示用のパラメータを修正する（ステップＳ５０）。立体画像生成部１３０は、パラメータ設定部１２０が修正したパラメータを用いて立体画像データを修正する（ステップＳ６０）。表示部１６０は、修正後の立体画像データを用いて立体画像を表示する（ステップＳ７０）。

　ユーザは、パラメータの修正が終了すると、顔が基準エリアから外れるように、顔又は画像処理装置１０を移動させる（ステップＳ８０：Ｎｏ）。これにより、パラメータの設定処理が終了する。なお、設定されたパラメータは、画像データ記憶部１５０に記憶されても良い。

　以上、本実施形態によっても、第１の実施形態と同様の効果を得ることができる。また、画像処理装置１０の傾きを変えることで、基準エリア内における顔の位置を上下に変化させ、これによりパラメータの値を変えている。このようにすると、パラメータの設定はさらに容易になる。そして本実施形態では、この設定が正常に行われるようにするために、画像データ内において顔が傾いている場合にはパラメータの設定処理が行われないようになっている。このため、ユーザの意図と反した方向にパラメータが変化することを抑制できる。

　また、撮像部１４０は、表示部１６０と同一面に設けられている。このため、ユーザは、表示部１６０で表示される立体画像を見ながら、撮像部１４０と顔の相対位置をずらして立体画像用のパラメータを調節することができる。

　また、パラメータ設定部１２０は、基準エリアに顔が含まれなくなったとき、パラメータの設定を終了する。このようにすると、パラメータの設定終了が簡単になる。

　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

　なお、上記した実施形態によれば、以下の発明が開示されている。
（付記１）
　ユーザの顔を撮像して生成された画像データを取得し、前記画像データ内における前記顔の位置を算出する位置算出手段と、
　左目用画像、右目用画像、及び立体画像表示用のパラメータに基づいて、立体画像を表示するための立体画像データを生成する立体画像生成手段と、
　前記位置算出手段の算出値に基づいて、前記パラメータを設定するパラメータ設定手段と、
を備える画像処理装置。
（付記２）
　付記１に記載の画像処理装置において、
　前記パラメータは、前記左目用画像及び前記右目用画像の少なくとも一方のずらし量である画像処理装置。
（付記３）
　付記１又は２に記載の画像処理装置において、
　前記画像処理装置の一面に設けられ、前記画像データを生成する撮像手段と、
　前記一面に設けられ、前記立体画像データを表示する表示手段と、
を備える画像処理装置。
（付記４）
　付記１～３のいずれか一つに記載の画像処理装置において、
　前記パラメータ設定手段は、前記画像データ内の基準エリアに前記顔が含まれなくなったとき、前記パラメータの設定を終了する画像処理装置。
（付記５）
　付記１～４のいずれか一つに記載の画像処理装置において、
　前記パラメータ設定手段は、前記画像データにおいて前記顔の傾きが基準値以下の場合、前記パラメータの設定を開始する画像処理装置。
（付記６）
　コンピュータが、
　　ユーザの顔を撮像して生成された画像データを取得し、前記画像データにおける前記顔の位置を算出し、
　　左目用画像、右目用画像、及び立体画像表示用のパラメータに基づいて、立体画像を表示するための立体画像データを生成し、
　　前記顔の位置に基づいて、前記パラメータを設定する画像処理方法。
（付記７）
　付記６に記載の画像処理方法において、
　前記パラメータは、前記左目用画像及び前記右目用画像の少なくとも一方のずらし量である画像処理方法。
（付記８）
　付記６又は７に記載の画像処理方法において、
　前記コンピュータは、前記画像データ内の基準エリアに前記顔が含まれなくなったとき、前記パラメータの設定を終了する画像処理方法。
（付記９）
　付記６～８のいずれか一つに記載の画像処理方法において、
　前記コンピュータは、前記画像データにおいて前記顔の傾きが基準値以下の場合、前記パラメータの設定を開始する画像処理方法。
（付記１０）
　コンピュータに、
　　ユーザの顔を撮像して生成された画像データを取得し、前記画像データにおける前記顔の位置を算出する機能と、
　　左目用画像、右目用画像、及び立体画像表示用のパラメータに基づいて、立体画像を表示するための立体画像データを生成する機能と、
　　前記顔の位置に基づいて、前記パラメータを設定する機能と、
を持たせるためのプログラム。
（付記１１）
　付記１０に記載のプログラムにおいて、
　前記パラメータは、前記左目用画像及び前記右目用画像の少なくとも一方のずらし量であるプログラム。
（付記１２）
　付記１０又は１１に記載のプログラムにおいて、
　前記コンピュータに、前記画像データ内の基準エリアに前記顔が含まれなくなったとき、前記パラメータの設定を終了する機能を持たせるプログラム。
（付記１３）
　付記１０～１２のいずれか一つに記載のプログラムにおいて、
　前記コンピュータに、前記画像データにおいて前記顔の傾きが基準値以下の場合、前記パラメータの設定を開始する機能を持たせるプログラム。

　この出願は、２０１２年３月２２日に出願された日本出願特願２０１２－６４８９４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims

　ユーザの顔を撮像して生成された画像データを取得し、前記画像データ内における前記顔の位置を算出する位置算出手段と、
　左目用画像、右目用画像、及び立体画像表示用のパラメータに基づいて、立体画像を表示するための立体画像データを生成する立体画像生成手段と、
　前記位置算出手段の算出値に基づいて、前記パラメータを設定するパラメータ設定手段と、
を備える画像処理装置。
　請求項１に記載の画像処理装置において、
　前記パラメータは、前記左目用画像及び前記右目用画像の少なくとも一方のずらし量である画像処理装置。
　請求項１又は２に記載の画像処理装置において、
　前記画像処理装置の一面に設けられ、前記画像データを生成する撮像手段と、
　前記一面に設けられ、前記立体画像データを表示する表示手段と、
を備える画像処理装置。
　請求項１～３のいずれか一項に記載の画像処理装置において、
　前記パラメータ設定手段は、前記画像データ内の基準エリアに前記顔が含まれなくなったとき、前記パラメータの設定を終了する画像処理装置。
　請求項１～４のいずれか一項に記載の画像処理装置において、
　前記パラメータ設定手段は、前記画像データにおいて前記顔の傾きが基準値以下の場合、前記パラメータの設定を開始する画像処理装置。
　コンピュータが、
　　ユーザの顔を撮像して生成された画像データを取得し、前記画像データにおける前記顔の位置を算出し、
　　左目用画像、右目用画像、及び立体画像表示用のパラメータに基づいて、立体画像を表示するための立体画像データを生成し、
　　前記顔の位置に基づいて、前記パラメータを設定する画像処理方法。
　コンピュータに、
　　ユーザの顔を撮像して生成された画像データを取得し、前記画像データにおける前記顔の位置を算出する機能と、
　　左目用画像、右目用画像、及び立体画像表示用のパラメータに基づいて、立体画像を表示するための立体画像データを生成する機能と、
　　前記顔の位置に基づいて、前記パラメータを設定する機能と、
を持たせるためのプログラム。