JP4144492B2 - 画像表示装置 - Google Patents

Description

本発明は、画像表示装置に関し、例えばカメラ付き携帯画像表示装置に関する。

従来、カメラ付きの画像表示装置等において、撮影した画像を基に、顔の位置や向き・表情やしぐさを３次元キャラクターである３Ｄアバターとしてデータ化して送信したり、画像データにして送信・保存・表示したりする手法が提案されていた（例えば、特許文献１参照）。

また、カメラ付きの画像表示装置等で、表示部を見ながら自分を撮影する場合に、正面画像を得るために、ハーフミラー等を使って表示部とカメラとの光学的な軸を合わせて正面画像を得る手法が提案されていた（例えば、特許文献２参照）。

特開平１０−１１６０９号公報

特開平５−２３６４７０号公報

しかしながら、ハーフミラー等を使用するとシステムが大型化するため、小型化・軽量化等の観点から画像表示装置、特に携帯型の画像表示装置には向かないという問題があった。

また、画像表示装置において正面撮影しようとする場合（特に自分撮りする場合）、表示部を見ながら撮影する必要があるため、撮影対象の視線がカメラの中心線からずれて正面撮影できないという問題があった。即ち、正面撮影をするには、表示部を見ないでカメラを見るか、表示部をカメラの中心線を合わせた至近に配置して正面からのずれを最小限にする必要があり、表示部を見ながら正面撮影できるようにするとカメラの配置が制限されてしまうという問題があった。このことは、部品配置を限られたスペースで行う画像表示装置の場合特に問題である。

さらに、可動の回転式カメラなどの場合は回転の角度によって画像の見え方が違うので使用時の角度によって、方向がずれるという問題がある。また、最近では表示部も可動なため、カメラとの位置関係で見え方が違い、方向がずれるという問題もある。

以上のような問題点があることから、斜めにずれた位置から撮影した画像を基に３Ｄアバターを生成すると、斜めにずれた３Ｄアバターが出来てしまうこととなる。このような場合には、補正することによりずれを解消又は低減し、正面を向いた３Ｄアバターを生成することが適切である。

そこで、本願発明は、使い勝手の良い画像表示装置を提供することを目的とする。

本発明にかかる画像表示装置は、上記目的を達成するために、被写体を撮影して該被写体の画像データを出力するカメラと、前記画像データに基いて前記被写体のキャラクター画像を生成する制御部と、前記被写体のキャラクター画像を表示する表示部と、を備え、前記カメラあるいは前記表示部は可動式であり、前記カメラと前記表示部の位置関係は変化し、前記制御部は、前記カメラと前記表示部との角度を検出し、前記検出した前記カメラと前記表示部との角度に基いて前記被写体の向いている方向および前記被写体の向いている方向のずれを検出し、該方向および該方向のずれを補正したキャラクター画像を生成し、前記表示部は、前記制御部により補正されたキャラクター画像を表示することを特徴とする。

本発明によれば、使い勝手の良い画像表示装置を提供することができる。

まず、従来の、画像から３Ｄアバターを作成・表示する手法を簡単に説明する。

従来の手法においては、撮影画像した画像から顔の方向や動きを検出し、この検出された方向や動きに基いて３Ｄアバターを作成・表示していた。

具体的には、まず、撮影した画像から顔や目・鼻・口等を検出して、顔の向いている方向や動きを決める。画像から顔や目・鼻・口を検出して顔の方向や動きを決定する方法は、顔のいろいろな方向を向いた画像とのパターンマッチング、肌色検出して顔領域を特定した後に目・鼻・口を色検出等で特定する手法、人間の黒目を検出するハフ変換等の様々な手法（例えば、電子情報通信学会論文誌D-II Vol.J84-D-II No.10 pp.2190-2200 2001年10月等）が知られており、ここでは説明を割愛する。

次に、３Ｄアバターをこの方向や動きに合わせて描画する。３Ｄアバターの画像データはメモリにあらかじめ用意されており、図９に示すように、多面体で作った骨格と、面に貼り付けるテクスチャと呼ばれる画像作成の為のデータがある。撮影画像データから上記のように得た顔の方向や動きのデータより、この骨格やテクスチャの方向や形を変化させたりして表示画像を作成し、描画する。

以上が従来の３Ｄアバターの表示方法である。従来の表示方法だと、斜め方向から撮った画像を表示する場合は斜めを向いたままの画像となり、表示する画像には違和感が生ずる。

以下、本発明にかかる画像表示装置を図面を用いて説明する。

まず、本発明の概要を図２を用いて簡単に説明する。図２は、本発明の第一の実施例の概要を示しており、カメラ付き画像表示装置１００で被写体Ａを自分撮りして、撮影した自分の画像を３Ｄアバターに置き換えて表示部２に表示した場合の例を示す図である。

図２におけるカメラ付き画像表示装置１００のカメラ１で、表示部２に正対している被写体Ａを撮影しようとすると、得られる画像データはａのような斜めを向いた画像となる。被写体Ａは表示部２を確認しながら撮影しようとするため、被写体Ａの視線がカメラの中心線からずれてしまうからである。この画像ａを基に３次元アバターをそのまま作成すると、斜めを向いた３次元アバターができてしまうことになる。本願発明においては、これを、画像ａより検出した被写体の方向や、カメラ１の位置・方向や、表示部２の位置・方向等を基に方向を補正した３次元アバターの画像ｂを作成し、表示部に画像Ｂを表示する。このようにすることで、表示部２を見ながら撮影しても、正面からの画像Ｂを得ることができる。

以上の手法により、カメラを向かず表示部を向いた斜めの画像からでも、画像とカメラや表示部の位置・方向を処理し、表示・保存・送信する画像やデータの角度補正をすることで、表示・保存・送信される画像やデータを、正面を向いた違和感のないものにすることができる。本発明の、画像表示装置、画像表示方法の概要は以上である。

以下、本発明の実施例の構成及び動作の詳細を図１〜図１４を用いて詳細に説明する。

まず、本発明の第一の実施例における画像表示装置の構成について、図１を用いて説明する。

図１は、本発明の第一の実施例であるカメラ付き画像表示装置の構成図である。図１に示すカメラ付き画像表示装置１００は、カメラ１と、表示部２と、制御部３と、メモリ部４と、入出力部５と、送受信部９と、を有し、制御部３の内部に画像認識処理部６と、方向解析部７と、画像変換処理部８を有して構成される。

そして、カメラ付き画像表示装置１００は、送受信部９を介して外部のネットワーク２００と接続され、他の通信機器等につながっている。

カメラ付き画像表示装置１００は、カメラ付き携帯電話等の通信端末であり、画像の撮影や撮影した画像の保存・伝送等を行う装置である。

カメラ１は、被写体の静止画や動画を撮影できる撮像装置であり、撮影した被写体の画像データを出力する。表示部２は、ＬＣＤなどの表示画面で、画像や文字などの情報を表示し、被写体の画像やその３次元キャラクター画像等を表示する。制御部３は、例えばＣＰＵであり、表示部２、メモリ部４、入出力部５、送受信部９等を制御し、画像等の情報の出し入れや処理、電話機の動作の制御を行う。また、制御部３は、画像認識処理部６、方向解析部７、画像変換処理部８を有しており、これにより、被写体の画像データから前記被写体の向いている方向および被写体の向いている方向のずれを検出し、該方向および方向のずれを補正した３次元キャラクター画像を生成する。かかる３次元キャラクター画像は、被写体の画像データとメモリ部４に保持されたデータに基いて生成される。ここで、３次元キャラクター画像とは、図９のように多面体の骨格にテクスチャを貼り付けたものをいう。ここでは３次元のキャラクター画像を例に説明するが、３次元に限らず２次元のキャラクター画像であっても構わない。メモリ部４は、例えばＩＣであり、画像や３次元キャラクター画像の生成に必要なデータ等を記憶したり、機器固有のデータを保存する。入出力部５は、キーボタンやマイク・スピーカ等の音声入出力装置等、ユーザの命令や音声などを制御部３に入力したり音声を出力したりする動作を行う。画像認識処理部６は、カメラ１で得た画像データを基に被写体の顔の位置や方向、目・鼻・口などの特徴等を抽出する処理を行い、被写体が向いている方向を検出する。方向解析部７は、画像認識処理部６のデータを基に被写体が向いている方向のずれを検出する。画像変換処理部８は、画像認識処理部６や方向解析部７のデータを用いて、表示する動画や静止画等の画像を作成する処理を行い、方向および方向のずれを補正した３次元キャラクター画像を生成する。送受信部９は、携帯電話の通信部やケーブルなどが考えられ、外部とデータの送受信を行い画像データ、画像作成に必要なデータ、３次元キャラクター画像のデータ等の送受信を行う。以上が第一の実施例のシステム構成である。

次に、第一の実施例におけるカメラ付き画像表示装置１００の動作について、図２〜図１０を用いて説明する。

まず、顔の角度の検出の動作について、図２を用いて説明する。図２は、本発明の第一の実施例の概要を示すものであり、カメラ付き画像表示装置１００で被写体Ａを自分撮りして、撮影した自分の画像を３Ｄアバターに置き換えて表示部２に表示した場合の例を示している。

図２のカメラ付き画像表示装置１００のカメラ１を用いて表示部２に正対している被写体Ａを撮影すると、画像ａのように斜めを向いた画像となり、斜め方向に角度がずれた画像データが得られることになる。被写体Ａは表示部２を確認しながら撮影しようとするため、被写体Ａの視線がカメラの中心線からずれてしまうからである。この際、斜め方向の角度は、表示部２から被写体Ａまでの距離と、カメラ１及び表示部２の位置関係とによって決まる。即ち、カメラ１と表示部２が離れれば被写体Ａの視線もそれだけカメラからずれるため角度が大きくなる一方、逆にカメラ１と表示部２が近ければ角度は小さくなる。また、表示部２から被写体Ａまでの距離が近ければ角度が大きくなる一方、遠ければ角度は小さくなる。なお、画像表示装置を自分で保持したまま自分を撮影する自分撮りにおいては、表示部２から被写体Ａまでの距離が近いため角度が大きくなりやすく、特に補正する必要があることに留意すべきである。

この角度を補正するためには、上述したように画像ａから被写体Ａの顔及び方向・特徴を検出する必要がある。この検出は、制御部３の画像認識処理部６によりなされる。検出方法は、上述したように、例えば画像より肌色領域を抽出しその付近を顔と判断し、その領域から顔の目・鼻・口をパターンマッチングや色検出等で位置を検出する。目なら黒色検出や円を検出するハフ変換処理等が挙げられ、口なら赤色検出なども挙げられ、様々な方法で位置検出を行うことができる。そして、顔の目・鼻・口の特徴を検出して、顔の向いている方向や表情などを作るためのデータ等を得る。

以上により、顔の角度の検出がなされる。

次に、３Ｄアバターの方向の補正の動作について、図３〜５を用いて説明する。

まず、画像認識処理部６で得られた顔の方向等のデータから、方向解析部７で、表示する画像の正面方向を決定する。画像認識処理部６で得られた顔方向のデータをカメラ正面の方向からの角度で示すと、図３に示すようにＸ角度とＹ角度の数値になる。ここで、Ｘ角度とＹ角度は、図３の座標軸の図に示したように、それぞれ水平方向の角度のずれ、垂直方向の角度のずれを意味する。例えば、図３においてＸ角度が４５°とあるのはカメラの正面方向からみて水平方向右側に４５°ずれていることを示しており、この角度が水平方向で補正すべき角度となる。同様に、Ｙ角度が２°とあるのはカメラの正面方向からみて垂直方向上側に２°ずれていることを示しており、この角度が垂直方向で補正すべき角度となる。

ここで、Ｘ角度、Ｙ角度の数値は時間毎に検出されるので、図３の表に示すように、１回目、２回目・・と検出される。補正はそれぞれ時間毎に検出された角度に基いて行われるが、図４に示すように、１回目に得られた太枠線内のＸ角度とＹ角度を基準として、２回目以降に補正すべき補正Ｘ角度と補正Ｙ角度を得て、これらの角度により補正をすることも可能である。ここで、補正Ｘ角度と補正Ｙ角度は、図４に示したように、それぞれ１回目に検出されたＸ角度を基準とした水平方向の角度のずれ、１回目に検出されたＹ角度を基準とした垂直方向の角度のずれを意味する。例えば、図４の２回目の検出結果において、補正Ｘ角度が−３°とあるのは、１回目の補正角度４５°と２回目の補正角度４２°の角度のずれを示すものであり、補正Ｙ角度が１°とあるのは、１回目の補正角度２°と２回目の補正角度３°の角度のずれを示すものである。即ち、方向解析部７では、このデータより表示画像の方向を補正するが、図４の表のように、例えば１回目に得られた太枠線のＸ角度及びＹ角度の数値を基準として、それぞれの回の補正Ｘ角度及び補正Ｙ角度が得られる。このように、１回目の角度を基準として２回目以降の補正Ｘ角度、補正Ｙ角度を得ることにより、３Ｄアバター等の正面画像、つまり顔方向として表示する際の正面方向とすると、表示時の３Ｄアバターなどの顔方向は補正Ｘ角度、補正Ｙ角度で表すことができる。このように１回目の角度を基準とすると、処理時間を短縮し、高速表示が可能となる。以上により画像や画像データを生成すると、図４のｂのような正面を向いた画像を得ることができ、画像及び画像データを、表示部２に表示やメモリ部４に保存や送受信部９を介して送信することができる。

以下、上記の動作の流れを図５に示すフローチャートを用いて説明する。

制御部３はカメラ１からの撮影画像データを取り込み(S100)、画像認識処理部６で画像データより顔の角度を検出する(S101)。そして、方向解析部７において、１回目の角度を正面の角度と推定し(S102)、標準の角度とする。また、同じ方向解析部７において、画像データより得た顔の角度と、標準の角度より表示する３Ｄアバターなどの画像の顔方向を補正する(S103)。修正した方向に合わせ、３Ｄアバターなどの表示する画像を画像変換処理部８で作成する(S104)。制御部３は、作成した画像を表示部２に表示する(S105)。

以上が補正方法の動作の流れであるが、この他の例をあげると上記の説明で、１回目の角度を正面の角度と推定して標準の角度としたが、複数回の角度を統計処理して角度の平均を求め、それを正面の角度と推定して標準の角度としても良い。このようにすれば１回目の方向の角度を検出した際に変な方向を向いていたとしても統計的には正面方向を見ることが多いので、正しい補正を行うことができ、精度の高い結果を得ることができる。

また、他の例をあげると、図６のように正面の角度の推定(S102)を表示部２とカメラ１の相互の位置や方向や角度から推定し(S106)、標準の角度としても良い。

表示部とカメラの相互の位置関係は、表示部とカメラが固定されている場合には、カメラ付き画像表示装置固有のもので変化しない。逆に、表示部とカメラが固定されておらず可動となっている場合は位置関係が変化する。以下、図８を用いて説明する。

図８に示すように、表示部２の正面方向とカメラ１の中心軸とが交わる点は一箇所以下であり、撮像される被写体が表示部２の正面に正対しながら撮像の中心におさまるためには、この点付近に居なければならない。表示部２の正面方向に沿ってずれると撮像の中心からはずれることになり、カメラ１の中心軸方向に沿ってずれると表示部２を正面から見られなくなるからである。

仮に、カメラ１と表示部２が固定されておりその位置関係に変化がない場合には、表示部２の正面方向とカメラ１の中心軸方向の角度データ等をメモリ部４に記憶し、これらを結ぶ一点で撮影される被写体の斜め方向の角度θがわかる。これを標準の角度として角度補正に用いても良い。

また、カメラ１と表示部２が回転式など可動でありその位置関係が変化する場合であっても、制御部３はカメラ１や表示部２の位置・角度など変化したデータをそれぞれ表示部２やカメラ１の設定角度から得て相互の方向を検出し、それら相互の方向を方向解析部７で処理することで、被写体の斜め方向の角度を推定することができ、これを標準の角度として計算することで補正が可能となる。即ち、制御部において、カメラ１と表示部２との位置関係（より具体的にはカメラ１の中心軸の方向と表示部２の正面方向との角度）に基いて、被写体の向いている方向および被写体の向いている方向のずれを検出し、該方向および該方向のずれを補正したキャラクター画像を生成する。

その他、前述の図５と図６の方式を組み合わせて、図７のように、正面の角度の推定(S102)を、画像データより顔の角度を検出(S101)した角度と、表示部２とカメラ１の相互の位置や方向や角度(S106)から推定した角度の両方を利用することで、より正確な標準の角度を求めることができ、補正の精度を増すことができる。

以上のようにすれば撮影した画像データの斜め方向のずれの補正角度を得ることができ、 この補正角度をもとに、図１の画像変換処理部８は、表示部２に表示したり、メモリ部４に保存したり、送信部９を介して外部に送信したりする画像及び画像データを作成する。

次に、図９を用いて画像及び画像データを作成する方法について説明する。

３Ｄアバターの場合、図９（ａ）の３次元骨格データと（ｂ）の骨格の面に貼り付ける画像であるテクスチャデータをメモリ部４で持っている。また、定形の表情画像データや動きのデータなどもメモリ４に持つことも出来る。

まず、３Ｄアバターの骨格を用意し、画像認識処理部６で顔の特徴データより得た顔の表情より、骨格の設定や動き及び貼り付ける画像のテクスチャデータを決定して３Ｄアバターとする。ここで、方向解析部７で得た補正された方向を、この３Ｄアバターを見る視点方向として設定して、３Ｄ表示用の画像データを作成する。さらに、３Ｄアバターを見る視点方向から得られる画像を、骨格の点の座標データやテクスチャの貼り付け角度などを計算して作成する。そして、制御部３は方向を補正して作成した画像を表示部２に出力することで、表示部に正面を向いた画像を表示することができる。また、制御部３は、メモリ部４に画像や３Ｄ表示用の画像データを保存したり、送受信部９を介して画像や３Ｄ表示用の画像データを送信することが出来る。

ここで、画像は静止画や動画のデータだが、３Ｄ表示用の画像データは３Ｄアバターを作成する為のデータである。このデータには、前述の３Ｄの骨格データやテクスチャデータだけでなく、３Ｄアバターを動かす動作データや３Ｄアバターの表示方向、笑う・怒るなどの表情変形の為のデータなども含まれる。３Ｄアバターの場合、これらの動作データや表示方向や表情変形の為のデータのみを通信相手に送信し、受信した通信相手側で３Ｄの骨格及びテクスチャを用意することにより、送られてきた動作データ等を基に３Ｄアバターを表示することが可能となる。この場合には、少ない通信データ量で送信することができるため通信速度が遅い場合には特に有効である。なお、これらの送信する３Ｄ表示用の画像データを、画像変換処理部８で補正して作成することで、通信相手にも補正した表示をするような３Ｄ表示用の画像データを送ることが出来る。

また、逆に、画像や３Ｄ表示用の画像データを外部より送受信部９を介して受信したとすると、画像の場合には制御部はメモリ部４に画像を保存したり表示部２に表示したりする。３Ｄ表示用の画像データの場合にはメモリ部４に保存したり、３Ｄ表示用の画像データにしたがって、メモリ部４にあらかじめ保持する３Ｄアバターの骨格やテクスチャなども含めて表示する３Ｄアバター画像を作成し、表示部２に表示する。３Ｄ表示用の画像データに３Ｄアバター画像を作成する全ての要素があれば送られてきた３Ｄ表示用の画像データのみで表示を行えるが、通信のデータ量を抑える場合は、送信側の人物の動きのデータだけを受け取りその他の３Ｄアバター表示用のデータはあらかじめ受信側に保持しているデータを使用するという方法もある。

通信を行う双方で、送信する画像は角度を補正された３Ｄアバターの画像や３Ｄ表示用の画像データとし、表示部に受信した画像や画像データから作成した画像を表示すれば、３Ｄアバターを利用したテレビ電話のようなことが出来、本発明により表示される画像は角度を補正した違和感の無いものとなる。

また、前記では３次元キャラクターを用いた３Ｄアバターの画像及び３Ｄ表示用のデータの角度補正を行ったが、撮影した人物の画像を用いても可能である。即ち、３Ｄアバター用の人物の顔の骨格だけ標準的なものを用意し、骨格に貼り付ける画像であるテクスチャデータを、撮影した画像より作成することにより、撮影した人物の画像を用いて角度補正をすることが可能となる。具体的には、前述の手法により撮影した画像から顔の向きや目・鼻・口等の位置を検出し、これらの位置と３Ｄアバター用の人物の顔の骨格の目・鼻・口等の位置とを対応付け、骨格に貼り付ける画像を撮影画像における対応する位置から作成する。即ち、この場合には、図９に示す多面体の骨格に、撮影画像から作成したテクスチャを貼り付けることによりキャラクター画像を生成することとなる。

図１の例では斜め横からの画像なので、見える部分の画像貼り付けは容易にできるが、見えない部分は顔を左右対称のものとして作成することになる。また、図１０のように撮影するカメラを複数台とすれば、様々な角度から被写体をとらえることができるので、容易かつ正確に画像作成することが出来る。

以上のようにして、第一の実施例のカメラ付き画像表示通信装置１００は動作する。

次に、本発明の第二の実施例にかかる画像表示装置の構成について、図１１を用いて説明する。

図１１からも明らかなように、本実施例と第一の実施例の違いは、送受信部９を送信部１０に置き換えた構成になっていることである。動作は、第一の実施例とほぼ同様で、撮影した画像や３Ｄ表示用の画像データを保存したり送信したりするものであり、送信専用のカメラ付き画像表示装置である。

また、図１１の送信部１０を無くした構成も考えられる。この場合は通信を行わないで、補正された画像を撮影表示及び保存するだけの装置となる。

この他、前記では３Ｄアバターの方向の補正を行っていたが、カメラを複数使用すれば、カメラで撮影した斜め方向の画像から直接、方向の補正をした正面画像を作成することも可能である。最近ではステレオカメラなどと呼ばれ、立体認識などに利用されている技術である。カメラを複数利用すれば、人間の目のように、複数の画像の視差より、画像の３次元の位置情報を、三角測量の原理を用いて得ることができる。構成は第一の実施例と同様で、カメラ１を複数使った場合と同様である。図１２を使って動作を説明する。

図１２でｖ１とｖ２はカメラの位置でそれぞれのカメラから得た画像１、画像２がある。
画像１と画像２の画像処理よりｐ１とｐ２が対応する点とわかれば、ｖ１とｖ２のカメラの三次元位置は既知なので、点Ｐの三次元位置は直線ｖ１ｐ１と直線ｖ２ｐ２の交点として求めることができる。人物を撮る場合は、前述の第一の実施例の説明でもしたように、１枚の画像から目・鼻・口等の位置を検出することが可能なので、複数の画像間のそれぞれの対応する点がわかる。あとは上述のように計算処理し、人物の各点の三次元位置が求められる。よって、被写体の３次元位置がわかるので、アバターの骨格のようなモデルが作成できることになる。作成した骨格に、対応するテクスチャである画像をカメラより得た複数の画像より取り出して貼り付ける。以上の様にすれば、被写体である人物の画像からキャラクターでない人物のアバターが作成出来る。これをもとに、第一の実施例のように角度を補正することで、人物の方向の補正をした正面画像を作成することが可能である。

以上の様にして、撮影する被写体の方向を補正した画像及び画像データが得られ、補正した画像や画像データの表示・保存及び送信することが可能となる。表示部中央の至近にカメラを設置しなくても、表示部を見ながらの撮影時に正面からの補正した画像を得ることが可能となる。特に表示部の画面が大きくなった場合には中心部からカメラが大きく外れることになるのでこれを補正するのに有効である。

今まで説明してきた本発明のカメラ付き画像表示装置・通信装置及び撮影方法は、カメラを複数台使用すれば、様々な角度からの被写体の画像を得ることが出来るので、１つでは見えなかった部分や複数画像からのデータの平均などが得られるので、より正確な画像の方向補正を行うことが出来る。

また、前記画像の方向補正は自分撮りのときのみ実行して、それ以外は通常どおりの撮影を行うようにもできる。携帯電話のカメラなどでは自分撮り用のカメラと他を撮るカメラの２つ持っているものがある。自分撮り用のカメラを使用する場合は前記の画像の方向補正を行い、他のカメラを使用する場合は方向補正を行わない撮影とする。回転式のカメラの場合も同様に、表示部と同じ側にカメラを回転させて撮影する場合には自分撮りと判断して方向補正を実行するようにし、表示部と違う側にカメラを回転させた場合には自分撮りではないと判断して方向補正を停止するように制御する。表示部が回転する場合も同様にカメラと同じ方向なら方向補正を行い、違えば方向補正を停止する。自分撮りの場合は表示部を見ながらの撮影になるので、方向の補正が有効だが、そうでない場合には方向の補正はあまり必要ではない。このように制御することで、自動で切替えが出来れば、設定の手間が省け、使い勝手が良くなる。

さらに、表示部やカメラが回転式など可動である場合、表示部が閉じていたりカメラと表示部の相互位置が明らかに自分撮りでない場合には方向の補正を自動的に停止することも出来る。表示部やカメラの回転角などを検出・計算することで表示部とカメラの向いている方向がわかり、比較的同じ方向を向いていても自分撮りと判断できない場合は自動的に画像の方向補正を停止するように制御するものである。

また、画像の方向補正を設定によって停止できるように制御することで、設定で画像の方向補正を使用する場合は前記のように自分撮りに好適な撮影となり、使用しない場合は通常の撮影となり、ユーザの意向にあった撮影をすることが出来る。設定は使用者からの設定命令を入出力部５から入力し、その設定をメモリ部４に記憶することで可能である。

また、前述のように、自分撮影時に表示部をみることが出来るので、図１３のように自分撮りのカメラ１ａとは別にもう一つカメラ１ｂをつけて撮影者の進行方向を撮り、表示部にその画像を表示することで、撮影者は、自分撮りしながら進行方向を確認することが出来る。即ち、撮影者自身を撮影する第一のカメラと、撮影者の進行方向を撮影する第二のカメラとを備え、第一のカメラにより撮影された撮影者の画像と第二のカメラにより撮影された撮影者の進行方向の画像を表示部２に表示し、これによって歩きながらの自分撮りをしていても進行方向に注意を払うことが出来る。即ち、移動しながら自分撮影するとカメラを見るため進行方向が確認できず危険であるが、本手法のようにすれば移動方向を確認でき安全性が高まる。進行方向の画像を見ながら自分撮影の位置を確認したい場合は、図１３のように進行方向の画像の上に自分撮影の自分の輪郭だけ表示すれば、両方同時に確認できる。即ち、第一のカメラにより撮影された撮影者の輪郭の画像と第二のカメラにより撮影された撮影者の進行方向の画像を表示部２に表示するもできる。

また、自分撮影時に表示部をみることが出来るので、表示部に文字などのテキストを表示しながら自分撮影をするなどの使い方も考えられる。この時、テキストを見ながら撮影している自分の位置を確認したい。撮影している画像とテキストを同時に表示すれば良いが、この場合、テキストが見にくくなるという問題がある。そこで、図１４のように撮影人物と背景を単色で影のように表示してテキストと同時に表示すれば、テキストの文字も見やすいし、自分の撮影位置を同時に確認できることになる。即ち、被写体の画像と被写体以外の廃液の画像とをそれぞれ単色にして表示することも可能である。また、この場合において前述のように人物の輪郭のみ表示しても良い。

また、被写体の言う台詞を表示部にテキストとして表示し、それを見ながらしゃべり、撮影する場合、表示部でテキストの文字の色を変えてどこまでしゃべったかを表示したり、長い文章の場合はテキストの表示をスクロールして表示したりすることが考えられる。この時、装置を操作して行うことが考えられるが、装置を操作する場合、カメラで撮影した画像がブレてしまうという問題がある。特に携帯用の小さい端末ではブレが大きくなる。そこで、撮影開始時点から時間的に自動で文字色変化やスクロールを行えば良い。時間的に文字色を変化させたりスクロールさせたりする速さはユーザが設定で行えても良いし、あらかじめ決めてある速さでも良い。その他、音声を検知して自動的に行ったり、動画の撮れるカメラ付き携帯電話のように撮影の制限時間があるものは、制限時間とテキスト文字数を計算し、時間内に自動的に行うように制御することも考えられる。音声を検知して自動的に動作させるには、図１の入出力部より入力された音声を制御部３で音声の有無を判断し、音声がある場合はスクロール動作を行い、ない場合はスクロール動作を停止することで実現できる。即ち、テキストの色変化、テキストのスクロールを、撮影時間、撮影の制限時間とテキストの文字数、又は音声の検知のいずれかにより行うことも可能である。

以上のように、カメラ付き携帯表示装置及びそれを用いた通信装置において、人物撮影時に、3Dアバターや自分撮りの正面画像を表示部を見ながら表示・保存・送信することができ、さらに撮影中でも表示部に撮影位置やテキストや通信相手の顔など、見やすい表示をおこなったり、使い勝手の良い撮影・表示機能及びそれを持った装置を実現することができる。また、表示部への情報同時表示の工夫や撮影時操作の自動化等により、使い勝手をさらに向上させることができる。

本発明の、実施例のシステム構成を示す図。 本発明の、概要を説明する図。 本発明の、画像から角度検出する動作を説明する図。 本発明の、画像から角度補正を行う動作を説明する図。 本発明の、実施例における動作シーケンスを示す図（１）。 本発明の、実施例における動作シーケンスを示す図（２）。 本発明の、実施例における動作シーケンスを示す図（３）。 本発明の、カメラと表示部の位置関係から角度検出する動作を説明する図。 ３Ｄアバターなどの、３次元キャラクター画像の作成を説明する図。 本発明の、カメラを複数使用した場合の概要を説明する図。 本発明の、第二の実施例のシステム構成を示す図。 本発明の、カメラを複数使用して、三次元位置を検出する動作を説明する図。 本発明の、人物と他の画像とを同時表示する場合の画像処理を説明する図。 本発明の、人物とテキストを同時表示する場合の画像処理を説明する図。

符号の説明

１…カメラ，２…表示部，３…制御部，４…メモリ部，５…入出力部，６…画像認識処理部，７…方向解析部，８…画像変換処理部，１００…カメラ付き画像表示装置。

Claims (9)

1. 被写体を撮影して該被写体の画像データを出力するカメラと、
   前記画像データに基いて前記被写体のキャラクター画像を生成する制御部と、
   前記被写体のキャラクター画像を表示する表示部と、を備え、
   前記カメラあるいは前記表示部は可動式であり、前記カメラと前記表示部の位置関係は変化し、
   前記制御部は、前記カメラと前記表示部との角度を検出し、前記検出した前記カメラと前記表示部との角度に基いて前記被写体の向いている方向および前記被写体の向いている方向のずれを検出し、該方向および該方向のずれを補正したキャラクター画像を生成し、
   前記表示部は、前記制御部により補正されたキャラクター画像を表示することを特徴とする画像表示装置。
2. 請求項１記載の画像表示装置において、前記キャラクター画像を保存するメモリ部を有することを特徴とする画像表示装置。
3. 請求項１又は２記載の画像表示装置において、前記制御部により生成されたキャラクター画像を送信する送信部を備えることを特徴とする画像表示装置。
4. 請求項１又は２記載の画像表示装置において、他の画像表示装置において補正された画像データを受信する受信部を備えることを特徴とする画像表示装置。
5. 請求項１又は２記載の画像表示装置において、
   前記制御部により生成されたキャラクター画像を送信する送信部と、
   他の画像表示装置において補正された画像データを受信する受信部と、を備え、
   前記表示部は、前記受信部により受信された画像データを表示することを特徴とする画像表示装置。
6. 請求項１ないし５のいずれかに記載の画像表示装置において、前記キャラクター画像は、３次元キャラクター画像であることを特徴とする画像表示装置。
7. 請求項１ないし６のいずれかに記載の画像表示装置において、前記制御部は、前記方向および該方向のずれを補正する必要がないと判断したときは、該補正をすることなく前記キャラクター画像を生成することを特徴とする画像表示装置。
8. 請求項１ないし７のいずれかに記載の画像表示装置において、被写体を撮影する際に、前記表示部は、被写体とテキストとを表示することを特徴とする画像表示装置。
9. 請求項１ないし８のいずれかに記載の画像表示装置において、前記被写体を撮影するカメラを複数備えていることを特徴とする画像表示装置。

Images