JP6226741B2 - 撮像部を備える表示装置およびその制御方法 - Google Patents

Description

本発明は、有機ＥＬ（エレクトロルミネッセンス）、液晶、プラズマ方式などの表示機器に一体的に撮像装置を備えた表示装置に関する。さらに詳しくは、テレビ電話などのリアルタイム双方向通信などに好適な撮像機能を有する表示装置に関する。

近年、通信網が発達し、テレビ電話などのリアルタイム双方向通信が可能となった。テレビ電話装置は、被写体像を電気的な画像信号に変換する撮像手段と、電気的な画像信号を光信号に変換して表示する表示手段を備える。観察者（撮影画像の視聴者）は、表示画面に映った相手の顔画像を見ながら会話をし、同時に観察者本人の顔は、撮像手段により撮影され電気信号に変換されて相手側装置に送られる。従来のテレビ電話などの双方向通信用装置では、撮像装置が表示装置の端部付近（表示装置のフレーム枠など）に配置されている。または表示装置とは別に撮像装置を設置する構成である。このため、表示画面を見ている観察者の撮影は、斜め方向から行われることになる。観察者側装置の表示画面に映った相手の視線は真正面からずれた状態となり、視線が合致していない。よって、その場に居合わせて対面して会話をする場合と比べて違和感をもたらすという問題がある。

特許文献１には、表示装置の背面に撮像装置を内蔵し、観察者の像を正面から撮影する構成が提案されている。観察者は、対面して会話をする場合と同様に、双方の視線が合致した状態で会話することができる。特許文献１には、観察者の像を撮像するために表示部を通して被写体光を撮像すると、表示部が回折格子の構造となっているために回折現象が起こり、撮像された観察者の像の解像度が低下する事が開示されている。そして、撮像された回折像を回折補正手段によって補正する方法が開示されている。

特開２０１１−１５１６５２号公報

しかしながら、前記特許文献１に開示の構成では、撮像装置が配置されている位置が表示面の中央付近であり、その撮影方向は表示装置の表示面に垂直方向である。このため、表示装置の観察者（と同時に撮像装置によって撮影される被写体）が、表示面のほぼ中央で正面に位置していない場合、観察者と通信相手の像が撮影範囲から外れて撮影できない可能性がある。観察者または通信相手の像全体が撮影されない場合、双方の視線が合致した制御を行うことが困難になる。

撮像装置によって広範囲を撮影するためには、撮像光学系に広角レンズを用いる方法が考えられるが、撮影画像の周辺部の歪が大きくなり、良好な画質が得られないことがあり得る。例えば、広角レンズが表示装置に固定されていて、撮影画像の周辺部に撮影対象である観察者が存在している場合、画像の歪が大きいために撮影対象である観察者の視線がどこを向いているか分からない不明瞭な画質になってしまう可能性がある。このような場合にも双方の視線が合致した制御を行うことが困難になる。
本発明の目的は、撮影対象者（観察者や話者）が表示面の真正面に位置していない場合でも、撮影対象者に係る良好な撮影画像を生成することができ、双方の観察者の視線が合致した状態で違和感のない会話を可能にすることである。

上記課題を解決するために、本発明に係る装置は、表示部と該表示部の背面に配置された撮像部を備える表示装置であって、前記表示部の表示面に対して垂直な方向と前記撮像部の光軸とがなす角度の情報を取得して、前記表示部を通して前記撮像部が撮像した画像の回折補正演算を行う演算手段と、前記演算手段による演算データを用いて前記撮像部が撮像した回折画像を補正する補正手段と、を備える。

本発明によれば、撮影対象者（観察者や話者）が表示面の真正面に位置していない場合でも、撮影対象者に係る良好な撮影画像を生成することができ、双方の観察者の視線が合致した状態で違和感のない会話を行うことができる。

図２から図９と併せて本発明の第１実施形態を説明するために、撮像部を備える表示装置の外観を示す図である。 表示パネルの構造を説明する図である。 撮像部を備える表示装置の構成例を示す図である。 撮像部を備える表示装置の光学系を簡略化して示す模式図である。 図４の回折格子４１を示す拡大図である。 回折光強度分布を説明する図である。 回折光強度の推移を説明する図である。 動作原理を説明する図である。 表示状態を例示する図である。 本発明の第２実施形態に係る装置の構成を説明する図である。 本発明の第２実施形態に係る装置の表示状態を例示する図である。

以下に、本発明の各実施形態を添付図面に基づいて詳細に説明する。各実施形態では、表示部と該表示部の背面に配置された撮像部を備える表示装置として、テレビ電話やテレビ会議などのリアルタイム双方向通信に使用される装置を例示する。

［第１実施形態］
まず、図１および図２を参照して、本発明の第１実施形態に係る撮像装置付き表示装置（以下、単に表示装置という）の構成について説明する。
図１は表示装置の外観図であり、図１（Ａ）から（Ｃ）は正面図、右側面図、上面図をそれぞれ示す。なお図１において、装置の電源ボタン、画像送受信ケーブル、電源ケーブル、その端子などは既知として図示を省略する。
表示パネル１は薄型の直方体形状であり、表示画面には画像を表示する多数の画素部が格子状に構成されている。一例として有機ＥＬの構造を図２に模式的に示す。実際の表示パネルでは非常に多くの画素が配列されるが、説明を簡単にするために、図２は一組のＲ（赤）Ｇ（緑）Ｂ（青）の部分だけ抽出した模式的な拡大図となっている。図２（Ａ）は表示パネル１を表示面の方向から見た図であり、図２（Ｂ）は図２（Ａ）のＡ−Ａ線に沿う断面図である。

透明基板７１はガラスやプラスチックなどで形成される。透明基板７１には、陽極７２−１〜７２−３が形成されており、これらはＩＴＯ（スズドープ酸化インジウム）などの透明電極層である。有機物層７３Ｒ、７３Ｇ、７３Ｂ（発光部）はそれぞれ赤、緑、青の発色に対応し、有機電子輸送層、有機発光層、有機正孔輸送層からなる。陰極７４は金属薄膜で形成された金属電極である。陰極７４が形成された透明基板７５はガラスやプラスチックなどの基板である。各画素の周辺に施された不透明な電極７６−１〜７６−３は、陽極７２−１〜７２−３とそれぞれ接続されている。電極７６−１〜７６−３は図示のように規則的に設けられているため、回折格子の構造となっている。

陽極７２−１〜７２−３と陰極７４との間に電圧を印加すると、各画素の有機発光層が発光し、透明の陽極７２−１〜７２−３と透明基板７１を透過して観察者側へ照射される。表示パネル１の少なくとも一部には、表示面からその裏側の面まで透過する光透過領域が施されている。これは、一部の陰極７４を透明電極で形成し、透明基板７１と７５の間を可視光が透過する部分とされる。なお、電極全体をＩＴＯなどの透明電極で構成すれば、表示パネル１のほぼ全面が光透過領域となり、この場合にも本発明の構成は成り立つ。

図１の枠体２は、表示パネル１の表示面のみを露出させた状態で表示パネル全体を保護する外筐部材である。柱部材３は枠体２を支持する支柱である。ベース部材４は表示パネル１を倒れないように立てる基台部分である。

撮像装置ボックス５は、撮像装置６と、撮像装置６の動作制御を行う処理回路基板７を内蔵する。撮像装置６の撮像光学系は、表示パネル１の背面でほぼ中央の光透過領域６ａに配置される。撮像光学系は、表示パネル１の透過光、つまり図２の透明基板７１から入射した光が陽極７２、有機物層７３Ｒ、７３Ｇ、７３Ｂ、陰極７４、透明基板７５を通り、出射した光を撮像できるように、表示パネル１側に撮影方向を向けて配置されている。なお、撮像装置６は、図１（Ｃ）に示すＲｃ軸を回転軸として図中の矢印で示す方向に回転可能な構造になっている。撮像装置６の光軸と表示パネル１の表示面に垂直な方向との間になす角をθとする。撮像装置６は、処理回路基板７からの駆動指令により、回転角度を変更可能である。表示パネル１の正面には、リモートコントロール用の第１センサ部８と、撮影対象者を検出する第２センサ部９が配置される。これらのセンサ部は正面から見た場合、表示画面の中心に関して上下方向の反対側に位置している。図１の例では第１センサ部８が下側（柱部材３側）に位置し、第２センサ部９が上側に位置する。

次に、図３を参照して、本実施形態に係るシステム構成と、後述の駆動機構部（２８）によって撮影対象者の方向に撮像装置の光軸を向ける際の原理を説明する。図３は表示装置のシステム構成例を示すブロック図である。撮像装置６は、撮像光学系２９、駆動機構部２８、撮像素子３０を備える。撮像装置６の動作制御を行う処理回路基板７は、システム制御回路２１、映像表示回路２３、駆動回路２７、撮像信号処理回路３１、回折補正処理回路３２、映像入力端子２２、映像出力端子３３を備える。

システム制御回路２１は、システム全体の信号処理を司るＣＰＵ（中央演算処理装置）を有する。映像入力端子２２には、本実施形態に係る表示装置と同様の、相手側の表示装置から映像信号が入力される。映像信号は映像表示回路２３によって表示用信号に処理されて表示パネル２４（図１の表示パネル１に相当する）に表示される。その際、相手の目の位置（例えば、両眼の間の位置）は、正面を向いた状態の撮像装置６の光軸が表示パネル１と交差する位置にほぼ一致するように表示される。これは、表示装置の観察者が相手の目を見ながら話す状態では、自然に観察者が撮像装置を見ている映像を取得できるからである。取得される映像信号は相手側の表示装置に伝送され、表示画面に同様の表示が行われる。よって、両者とも視線の合った状態で会話できるので、違和感がなくなる。なお、表示のタイミングは撮像装置６が撮像をしないタイミングである。

撮影対象者検出センサ２５は第２センサ部９（図１）に設けられ、撮影対象者の位置を検出して検出信号をシステム制御回路２１に出力する。例えば、複数の観察者が表示装置に対面する場合や、一人の観察者が表示装置の真正面に対面せず、片寄った位置に存在する場合であってもセンサ２５により撮影対象者を検出できる。撮影対象者の検出方法には、音声認識技術により話者の方向を特定する方法や、画像認識技術により撮影対象者の方向を特定する方法などがある。システム制御回路２１は、音声認識技術や画像認識技術などによる撮影対象者の方向に関する検出信号が入力されると、撮影対象者の方向と表示パネル２４の表示面に垂直な方向とのなす角度を演算により算出する。システム制御回路２１は、撮像装置６の光軸を、撮像装置６の回転軸（Ｒｃ軸）を中心として駆動させる回転角度を演算により求めて制御信号を駆動回路２７に出力する。これにより、駆動機構部２８は撮影対象者の方向に撮像装置６の光軸を向けるように駆動される。

リモートコントロール（以下、リモコンと略称する）センサ２６は第１センサ部８（図１参照）に設けられる。これは、撮影対象者検出センサ２５による撮影対象者の自動検出以外に、操作者が手動で特定の観察者の方向に撮影方向を合わせる際などに使用する。リモコン通信については、赤外線の投受光方式などの周知の通信技術を用いる。

撮像装置６の撮像光学系２９には、ズーム駆動、フォーカス駆動、絞り駆動などの、撮像機能のための駆動機構が設けられる。駆動機構部２８は、表示パネル２４の表示面に対して撮像装置６の光軸方向を変更するために、撮像光学系全体を駆動する機構部である。この駆動機構部２８には、撮像装置６の光軸と表示パネル２４の表示面に垂直な方向との間の、実際の角度を検出する角度センサ３４が取り付けられている。角度センサ３４の出力はシステム制御回路２１へ送られる。

撮像素子３０は、撮像光学系２９を通して結像される被写体光を受光して光電変換する。撮像信号処理回路３１は撮像素子３０により光電変換された撮像信号を取得し、デジタル信号処理を可能にする処理を行う。また、システム制御回路２１からの撮像タイミングの指令に基づいた撮像処理などが行われる。この撮像タイミングについては、表示のタイミングとはずらして行われる。つまり、周期的な非表示の期間において撮像動作が行われる。これにより、不要な表示光を撮像することを防止できる。
回折格子の構造を有する表示パネル２４を光が通過する際、撮像された観察者の撮像画像（撮像信号処理回路３１の出力）は、回折現象により画像の鮮鋭度が低下する（表示パネルの構造および回折の原理については前記特許文献１にも記載されている）。そこで回折補正処理回路３２は、撮像された回折像を補正し、画像の鮮鋭度を上げる役目をもつ。回折補正処理回路３２により補正処理を施された信号は映像出力端子３３に出力される。

撮像信号処理回路３１の出力は、システム制御回路２１（回折補正演算部を含む）にも入力される。回折補正演算部は、撮像装置の回転角度情報に基づいて回折の補正に必要な演算（回折補正処理演算）を実行し、演算データを回折補正処理回路３２に出力する。回折補正演算部は、システム制御回路２１がメモリから読み出して実行するプログラムに従って演算を行う。なお、撮影対象者の方向に撮像装置６の光軸を向けた状態で撮影した後の、回折補正の原理の詳細については後述する。
映像出力端子３３は、回折補正処理回路３２により回折補正処理が行われた、観察者の画像データを相手側の表示装置へ送信する。

撮影対象者の方向に撮像装置６の光軸を向けるための、一連の処理の流れを説明する。システム制御回路２１は、撮影対象者検出センサ２５から撮影対象者の方向に関する信号を取得し、撮影対象者の方向と表示パネル２４の表示面に垂直な方向との角度を演算する。そして、撮像装置６の光軸を、回転軸（Ｒｃ軸）を中心として駆動させるための駆動角度指令値が演算により算出される。一方、角度センサ３４は、実際の撮像装置６の角度検出を行い、角度検出情報をシステム制御回路２１に出力する。システム制御回路２１は、駆動角度指令値と撮像装置６の検出角度との比較演算を行い、比較結果に基づいた駆動信号を駆動回路２７へ出力する。これにより駆動機構部２８は、撮像装置６の実際の角度が駆動角度指令値とほぼ一致するように駆動される結果、撮像装置６の光軸が撮影対象者の方向へ向けられる。

また、リモコン操作によって撮影対象者の方向に撮像装置６の光軸を向けるための、一連の処理の流れを説明すると、まず、ユーザ操作による操作指示信号をリモコンセンサ２６が受信し、その信号をシステム制御回路２１に出力する。システム制御回路２１はユーザにより指示される操作量に応じて、撮像装置６の光軸を、回転軸（Ｒｃ軸）を中心として駆動させる駆動角度指令値を演算する。一方、撮像装置６の角度センサ３４は実際の撮像装置６の回転角度を検出してシステム制御回路２１に出力する。システム制御回路２１は駆動角度指令値と撮像装置６の実際の検出角度との比較演算を行い、比較結果基づく駆動信号を駆動回路２７へ出力する。駆動機構部２８は、撮像装置６の実際の角度がリモコン操作量に応じた駆動角度指令値とほぼ一致するように駆動される。その結果、撮像装置６の光軸が撮影対象者の方向へ向けられる。
本実施形態では、以上の原理により、撮影対象者の方向に撮像装置の光軸を向ける駆動制御が可能である。

次に、表示装置の回折補正の原理について、図４から図６を参照して説明する。
図４は本実施形態の表示装置の光学系を簡略化した模式図である。点光源は観察者の顔が存在する位置（点Ｐ）に相当し、この点Ｐから発した光は回折格子４１を通った後、凸レンズＧを通って結像する。図５は、回折格子４１の拡大図であり、図４（Ａ）および（Ｂ）に示す点光源からの光の入射方向に対して垂直な方向における開口部のピッチの違いを説明する図である。図６（Ａ）、（Ｂ）は、図４（Ａ）、（Ｂ）にそれぞれ対応する、結像位置での特定波長の光強度分布を示す。図４に点Ｐで示す点光源の位置は、図中の凸レンズＧの前側焦点位置よりも十分遠方にあるものとする。また凸レンズＧ内の光路は、近似的な作図によって描かれている。

まず、図４を参照して、表示装置の状態を説明する。図４（Ａ）では、点Ｐから発した点光源の光が回折格子４１を通過する。回折格子４１は、凸レンズＧよりも点光源側に距離Ｌｒだけ離れて配置される。回折格子４１を通った光は、点Ｐから距離Ｌｐの位置にある凸レンズＧを通過し、凸レンズＧから距離Ｌｃにある結像面３５上に結像する。点Ｃは０次回折光の結像点を示す。図４（Ａ）に示す直線３６は点Ｐと点Ｃを通って図の上下方向に延びており、凸レンズＧの光軸３７と一致している状態である。ただし、回折格子４１については点線で描かれており、一定のピッチで配列された遮蔽部と開口部を模式的に示す。

図４（Ａ）では、点Ｐから発した光線が回折格子４１に到達し、その開口部により回折現象が起こる。これにより、０次回折光３７−１と１次回折光３７−２、３７−３が発生する（２次以上の回折光も発生するが説明を簡単にするために省略する）。
一般に、回折格子への入射光と回折格子の法線とのなす角（入射角）をαとし、回折光と回折格子の法線とのなす角（回折角）をβとすると、次の関係式が成り立つ。
ｐ（ｓｉｎα±ｓｉｎβ） ＝ ｍλ （１）
（１）式にて、ｐは回折格子の周期（開口部または遮蔽部のピッチ）を表し、ｍは回折の次数（０、±１、±２・・・）を表す。λは光の波長を表す。（１）式より、回折格子４１を通過した光線については、０次回折光３７−１と１次回折光３７−２がなす角度と、０次回折光３７−１と１次回折光３７−３がなす角度がほぼ等しい。

１次回折光３７−２と３７−３に着目すると、図４（Ａ）にて１次回折光３７−２は凸レンズＧのｓ１に入射し、１次回折光３７−３は凸レンズＧのｔ１に入射する。この時の光軸からの距離をＷｓ１、Ｗｔ１として比較すると、
Ｗｓ１ ＝ Ｗｔ１ （２）
となる。

したがって、図４（Ａ）に示す結像面３５上では、１次回折光３７−２と３７−３は、０次回折光３７−１の結像位置（光軸中心に結像）に対してＷｃｓ１、Ｗｃｔ１の距離にあるＣｓ１、Ｃｔ１の位置で結像することになる。この時の、ある波長での光強度分布を図６（Ａ）に示す。横軸は撮像面上の位置をピクセル単位で示し、縦軸は回折光の強度を任意単位で示す。図６（Ａ）の中央に示すピーク波形は０次回折光の強度６３−０を表す。その左右のピーク波形はそれぞれ、１次回折光の強度６３−１Ｒ、６３−１Ｌを表す。さらにその左右のピーク波形はそれぞれ、２次回折光の強度６３−２Ｒ、６３−２Ｌを表す（３次以上の回折光は省略する）。ピクセル数Ｂ０は、０次回折光の強度６３−０のピークと、１次回折光の各強度６３−１Ｒ、６３−１Ｌのピークとの間の距離を示す。

次に、図４（Ｂ）の状態を説明する。これは、図４（Ａ）の状態に対して、凸レンズＧと結像面３５が点Ｒｃを回転中心として角度θａだけ時計回り方向に回転した状態である。点光源位置を示す点Ｐから発した光線３７ａは、回折格子４１を通過して回折現象が起こる。図４（Ｂ）には、０次回折光３７ａ−１、１次回折光３７ａ−２、３７ａ−３だけを示し、２次以上の回折光は説明を簡単にするために省略している。

この場合、回折格子４１への光線の入射角度が変わると、その開口部のピッチが見かけ上変化することについて、図５を用いて説明する。
まず図５（Ａ）に示すように、回折格子４１の遮蔽部４１ａの間に設けられた開口部４１ｂのピッチをｐｇとする。同様に、回折格子４１の面に垂直な基準方向（図５の上下方向）からの入射光５１の入射ピッチはｐｇである。一方、図５（Ｂ）に示すように、撮像装置６が点Ｒｃを回転中心として回転角θaだけ回転した場合、回折格子４１の面に垂直な基準方向に対して、θａの方向からの入射光５１ａの入射ピッチはｐｇｃｏｓθａとなる。
したがって、図５（Ａ）と図５（Ｂ）とで入射ピッチを比較すると、
ｐｇ ＞ ｐｇｃｏｓθａ （３）
となる。つまり、入射角が大きくなるほど、見かけ上のピッチ（入射ピッチ）は小さくなる。

図４（Ｂ）にて、１次回折光３７ａ−２は凸レンズＧのｓａに入射し、１次回折光３７ａ−３は凸レンズＧのｔａに入射する。この時の光軸からの距離をそれぞれＷｓａ、Ｗｔａとすると、
Ｗｓａ ＝ Ｗｔａ （４）
となる。
したがって、図４（Ｂ）に示す結像面３５上では、１次回折光３７ａ−２と３７ａ−３は、０次回折光３７ａ−１の結像位置（光軸中心に結像）に対してＷｃｓａ、Ｗｃｔａの距離にあるＣｓａ、Ｃｔａの位置でそれぞれ結像することになる。

ここで、図４（Ａ）と図４（Ｂ）を比較すると、図４（Ａ）よりも図４（Ｂ）の方が、見かけ上のピッチ（入射ピッチ）が小さくなっている。回折角は図４（Ａ）よりも図４（Ｂ）の方が大きくなることがわかる。
つまり、
Ｗｃｓ１ ＜ Ｗｃｓａ （５）
Ｗｃｔ１ ＜ Ｗｃｔａ （６）
の関係となる。

図４（Ｂ）の場合の、ある波長での光強度分布を図６（Ｂ）に示す。横軸および縦軸は図６（Ａ）の場合と同様である。図６（Ｂ）の中央のピーク波形は０次回折光の強度６３ａ−０を表す。その左右のピーク波形はそれぞれ１次回折光の強度６３ａ−１Ｒ、６３ａ−１Ｌを表す。さらにその左右のピーク波形はそれぞれ２次回折光の強度６３ａ−２Ｒ、６３ａ−２Ｌを表している（３次以上の回折光は省略する）。ピクセル数Ｂ１は、０次回折光の強度６３ａ−０のピークと１次回折光の強度６３ａ−１Ｒ、６３ａ−１Ｌのピークとの間の距離を示す。尚、比較のため、図６（Ａ）の１次回折光および２次回折光の強度分布を点線のグラフで対比して示す。

図６（Ｂ）に示すように、図４（Ｂ）の状態での１次回折光および２次回折光は、中央の０次回折光から離れる方向へ左右にずれていることが分かる。つまり、ピクセル数Ｂ０とＢ１を比較すれば、「Ｂ０＜Ｂ１」の関係になっている。撮像装置６を回転させて観察者を画面中央に捉えようとすると、撮像装置６の回転角度θａが増加する。それに伴い、見かけの入射ピッチはｐｇｃｏｓθａとなって減る方向に変化していく。その結果、１次回折光および２次回折光が撮像面に到達する位置は、０次回折光から次第に離れて行くことになる。

図７は、横軸に角度θをとり、縦軸にピクセル数Ｂをとって両者の関係を例示したグラフである。θは、撮像装置６の光軸方向と表示パネル１の表示面に垂直な方向とのなす角度を表す。また、Ｂは、０次回折光強度のピークと１次回折光強度のピークとの間の距離に相当するピクセル数である。Ｂ０はＢ軸上の切片の値であり、つまり、θが０°の時にＢはＢ０となる。θがθａの時には、ＢはＢ１（Ｂ０＜Ｂ１）となって、θの増加とともにＢの値が一次関数的に増加する関係となっている。なお、２次以上の回折光強度のピークについても上記と同様に変化する。

本実施形態では、以下の処理を実行することで回折補正された画像が得られる。
（Ｉ）表示パネル１の表示面に垂直な方向と撮像装置６の光軸方向とがなす角度θを随時検出するステップ。
（ＩＩ）撮影された回折像（後述の劣化画像ｇ（ｘ，ｙ））に対して、（Ｉ）で検出された角度情報を用いて最適な回折補正を行う回折補正フィルタ（後述の補正関数ｈ（ｘ，ｙ））に係る演算を実行するステップ。
（ＩＩＩ）回折補正演算部（システム制御回路２１内）の演算結果により得られた（ＩＩ）の回折補正フィルタを用いて、回折補正処理回路３２により回折補正処理を行うステップ。
以上の処理により、回折補正処理が行われた良好な画像（後述の理想画像ｆ（ｘ，ｙ））を得ることができる。

前記（ＩＩ）の回折補正フィルタは、撮像装置６の特性情報等に基づいて予め求められる。理想画像をｆ（ｘ，ｙ）とし、回折による劣化画像をｇ（ｘ，ｙ）とし、画像の補正関数をｈ（ｘ，ｙ）とすると、理想画像ｆ（ｘ，ｙ）は、
ｆ（ｘ，ｙ）＝∫∫ｈ（ｘ−ｘ′，ｙ−ｙ′）ｇ（ｘ′，ｙ′）ｄｘ′ｄｙ′ （７）
と表される。ここで、理想画像ｆ（ｘ，ｙ）のフーリエ変換をＦ（ｕ，ｖ）、劣化画像ｇ（ｘ，ｙ）のフーリエ変換をＧ（ｕ，ｖ）、画像の補正関数ｈ（ｘ，ｙ）のフーリエ変換をＨ（ｕ，ｖ）とする。（７）式は
Ｆ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）Ｇ（ｕ，ｖ） （８）
と書き表される。（８）式を変形することにより、
Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）／Ｇ（ｕ，ｖ） （９）
が得られる。よって、（９）式で求めた補正関数Ｈ（ｕ，ｖ）を逆フーリエ変換することにより、補正関数ｈ（ｘ，ｙ）が算出される。回折補正処理回路３２は、補正関数ｈ（ｘ，ｙ）を用いて、（７）式に相当する処理を実行する。

なお、この回折補正処理を装置へ搭載する場合には、回折補正フィルタの演算を簡素化することで処理負担を軽減し、高速化できる。例えば、表示パネル１に対する撮像装置６の角度が特定の角度値である場合の回折補正フィルタのデータがメモリに記憶されており、撮像装置６の角度情報に対応した回折補正フィルタが適時に選択される。特定の角度値とは、例えば０°（表示パネル１の表示面に垂直な方向と撮像装置６の光軸方向とが一致している状態）と、表示パネル１に対する撮像装置６の角度が５°、１０°、１５°、２０°などである。角度値にそれぞれ対応する回折補正フィルタのデータは、参照テーブルとしてシステム制御回路２１内のメモリに保持されている。参照テーブルに存在しない角度（例えば５°と１０°の間の５．５°など）については、その前後のテーブル値を用いて回折補正演算部が補間演算を行う。

上述の説明では、図４の点Ｐに位置する点光源からの主光線を用いたが、周辺光については撮像装置６の角度によって回折光の強度に変化が生じることが考えられる。この場合、その回折光強度の大小に応じて、光強度の補正（例えばエッジ強調やコントラスト補正などの処理）を行うことによって良好な画像を得ることができる。また、点光源に限らず、点Ｐの位置に人物などの被写体が存在する場合でも、同様に補正すれば、良好な画像が得られる。補正された画像を送信して相手側装置の表示パネルに表示させれば、鮮鋭度が高い画像を観察可能になる。

ところで、図４（Ａ）は、例えばテレビ会議等での撮影において、表示装置に対面する単独の撮影対象者（観察者や話者）が、点光源の位置である点Ｐにて表示面の真正面にいる場合を想定した図となっている。また、図４（Ｂ）は、例えばテレビ会議等での撮影において、表示装置を見ている単独の撮影対象者（観察者や話者）が、表示面の真正面にいない場合を想定した図となっている。あるいは、一つの表示装置に複数人が対面して観察する状態で、撮影対象者（観察者や話者）が表示面の真正面にいない場合、撮影対象者に撮像装置を向けることが想定される。なお、少なくとも本装置の観察者または相手側装置の観察者が複数人であって、聞いている（話していない）側のいずれかの観察者に撮像装置の光軸を向ける場合の動作については後述する。

本実施形態における動作例として、観察者と相手側（観察者）が、表示パネルの背面にある撮像装置の正面方向（表示パネル中央の表示面に垂直な方向）にいない場合を想定する。図８を参照して、撮影対象の位置検出、撮像装置の光軸制御（撮影方向制御）、回折補正という一連の動作を説明する。なお、図８において、図１と同じ部分について既に使用した符号を使用する。

図８では、表示パネル１の中央の表示面に垂直な方向に仮想的に配置した観察者８１と、実際に存在する観察者８２を示す。つまり、観察者８１については実際には存在しない位置を示しており、観察者８２は表示パネル中央の表示面に垂直な方向Ｙに対して角度θｂで示す方向に存在する。撮影対象者検出センサ２５は、撮影対象である観察者（例えば話者）８２を検出し、システム制御回路２１は検出信号に応じて、撮像装置６の駆動量を計算して駆動回路２７に出力する。駆動回路２７により駆動機構部２８が駆動され、撮像光学系２９が撮影対象の観察者へ向けられる。その後、撮像素子３０により観察者が撮像され、撮像信号は撮像信号処理回路３１へ送られる。撮像信号処理回路３１が処理した映像信号は、システム制御回路２１と回折補正処理回路３２に入力されて、前記の回折補正処理が行われる。その際、システム制御回路２１は角度θｂに対応する回折補正フィルタを選択する。つまり、観察者８１を撮像する場合とは異なる回折補正フィルタが使用される。その理由は、角度θｂの値に応じて回折の状況が異なるので、使用する最適な回折補正フィルタが異なるからである。回折補正処理回路３２によって最適な回折補正処理が行われた画像データは、映像出力端子３３から相手側の表示装置へ送信され、相手側の表示パネル上に画像表示が行われる。

一方、相手側観察者の表示装置でも前記と同様にして、表示装置の撮影対象者検出センサにより、撮影対象となる観察者が検出される。前記の説明にて、観察者８１を、実際には存在しない位置での相手側観察者と読み替え、観察者８２を、表示パネル中央の表示面に垂直な方向Ｙに対して角度θｂで示す方向に存在する相手側観察者と読み替えればよい。相手側の表示装置の回折補正処理回路によって最適な回折補正処理が行われた画像データは、映像出力端子から送信されて、送信先の表示装置の画面上に画像表示される。
観察者８２が見ている表示状態を図９に例示する。観察者８２の視線と合致した状態で相手の画像１１０が表示される。なお、観察者または相手側観察者が複数であって、聞いている（話していない）側の複数の観察者に対して撮像装置の光軸制御を行う場合、それまで話していた人に撮像装置が向けられる。あるいは、リモコン操作を行った人（例えばリモコンには自分を撮影対象者とする操作用のボタンがあって、そのボタンを操作した人）へ向けるように撮像装置の光軸制御を行ってもよい。

以上の過程を経て、双方で相手の撮影映像を確認することができる。その際には、図９に示すように、観察者に向けられた撮像装置の光軸と表示面との交点位置において、相手側観察者の画像１１０における目の位置（両眼の間あたり）が表示される。これにより、双方の視線が合致した状態で会話を行うことができる。
本実施形態によれば、表示部に対面する単独の撮影対象者（観察者や話者）が表示面の真正面に位置していない場合でも、表示部の背面に配置した撮像装置を撮影対象者へ向けることで撮影可能である。また、一つの表示装置に複数人が対面して観察する状態であって、撮影対象者（観察者や話者）が表示面の真正面に位置していない場合でも、撮像装置を撮影対象者へ向けることで撮影が可能になる。そして、撮影された画像を最適に補正処理することで撮影対象者（観察者や話者）の良好な画像を生成でき、撮影対象者同士の視線が合致した状態で違和感のない会話を行える。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では、表示装置内に複数の撮像部（撮像装置）を配置した構成および動作を説明する。

図１０および図１１を参照して、本実施形態に係る表示装置の構成を説明する。表示装置の表示パネル９１は、表示面に画像を表示する多数の画素部が格子状に配置されている。表示パネル９１には部分的に光透過領域が施されている。枠体９２は、表示パネル９１の表示面のみを露出させた状態で表示パネル全体を保護する部材である。撮像装置ボックス９５は、複数の撮像装置を内蔵する。例えば、撮像装置９６Ｃ、９６Ｒ、９６Ｌが設けられ、各撮像装置は撮像装置６と同様の構成（撮像光学系２９、駆動機構部２８、撮像素子３０）を有する。撮像装置の動作制御を行う処理回路基板９７は、前述のシステム制御回路２１、映像表示回路２３、駆動回路２７、撮像信号処理回路３１、回折補正処理回路３２、映像入力端子２２、映像出力端子３３を備える。枠体９２にて、表示面の下方にリモコンセンサ部１０８が位置し、表示面の上方に撮影対象者検出センサ部１０９が位置する。
図１１に示す柱部材１０３は枠体９２を支持する部材であり、ベース部材１０４は表示パネル９１を倒れないように立てる基台部分である。

図１０に示すように、撮像装置９６Ｃは表示面の中央に位置し、表示面に垂直な方向に向けられている。表示装置の正面から見た場合、撮像装置９６Ｒは撮像装置９６Ｃの左側に位置し、撮像装置９６Ｌは撮像装置９６Ｃの右側に位置している。撮像装置９６Ｒは、表示面に垂直な方向よりもやや外側（図の左側）に向けられ、撮像装置９６Ｌは、表示面に垂直な方向よりもやや外側（図の右側）に向けられている（二点鎖線はそれぞれの撮像装置の撮影範囲を示す）。撮像装置９６Ｒ、９６Ｌの設置角度については、表示面に垂直であって、かつ各撮像装置の回転中心を通る基準線ＹＲ、ＹＬ（図中の細線参照）に対してなす角度として、それぞれθＲ、θＬで示す。

観察者９８と９９が、図１０（Ａ）に示す位置に存在し、観察者９８が話者である場合を想定する。この場合、観察者９８の位置は撮像装置９６Ｃの撮影範囲外であるため、撮像装置９６Ｃは観察者９８を撮影できない。しかし、観察者９８の位置は撮像装置９６Ｒの撮影範囲内であるので、撮像装置９６Ｒは観察者９８を撮影可能である。よって、観察者９８は、撮像装置９６Ｒで撮影されることになる。この場合、観察者９８の画像は、基準線ＹＲに対してθＲの角度に設置された撮像装置９６Ｒによって得られた画像（回折画像）である。すなわち、撮像装置９６Ｃで撮影された画像（回折画像）とは回折の状況が異なる。そこで角度θＲに応じた回折補正フィルタを用いて最適な回折補正処理を施すことによって、良好な画像を得ることができる。相手側観察者（図１１（Ａ）に示す観察者１１１）の撮影画像は、撮像装置９６Ｒの撮像光学系の光軸９６Ｒ−１が表示パネル９１の面と交わる位置にて、相手側観察者の目の位置（両眼の間あたり）を一致させた状態で表示される。よって観察者９８は相手側観察者と視線を合致させることができる。

一方、観察者９９は、相手側観察者が表示されている方向を見ているものとする。ここでは、相手側観察者が見ている表示装置の設定および観察者の位置と向きが図１０（Ａ）と同一である場合を想定する。観察者９８が見ている表示状態を、図１１（Ａ）に示す。観察者９８と相手側観察者１１１は互いの視線が合った状態となっている。一方、相手側観察者１１２は、自分が観察している表示装置に表示された観察者９８を見ている。観察者１１２は撮影可能な撮像装置（図１０の撮像装置９６Ｌと同一設定の相手側の撮像装置）により撮影されている。このため、図１１（Ａ）に示すように観察者９８とは視線が合致していない表示状態となっている。

なお、撮像装置９６Ｌ、および９６Ｌと同一設定とされた相手側表示装置の撮像装置で撮影された画像についても、前記基準線ＹＬに対してθＬの角度に設置された撮像装置によって得られた画像（回折画像）である。つまり、撮像装置９６Ｃで撮影して画像（回折画像）とは、回折の状況が異なる。そこで、角度θＬに応じた回折補正フィルタを用いて最適な回折補正処理を施すことによって良好な画像を得ることができる。
なお、相手側表示装置も図１１（Ａ）のような表示状態であり、観察者１１１の位置に観察者９８が表示され、観察者１１２の位置に観察者９９が表示されている。

次に、観察者９８と９９が図１０（Ｂ）に示す位置に存在し、観察者９９が話者である場合を想定する。すなわち、図１０（Ａ）とは、観察者９８と９９の視線方向が異なる（いずれの観察者も視線が、相対的に図の右寄りに向いている）。この場合、観察者９９の位置は撮像装置９６Ｃの撮影範囲外であるため、撮像装置９６Ｃは観察者９９を撮影できない。しかし、観察者９９の位置は撮像装置９６Ｌの撮影範囲内であるので、撮像装置９６Ｌは観察者９９を撮影可能である。よって、観察者９９は、撮像装置９６Ｌにより撮影されることになる。観察者９９の撮影画像は、基準線ＹＬに対してθＬの角度に設置された撮像装置９６Ｌによって得られた画像（回折画像）であり、撮像装置９６Ｃで撮影された画像（回折画像）とは、回折の状況が異なる。そこで角度θＬに応じた回折補正フィルタを用いて最適な回折補正処理を施すことによって良好な画像を得ることができる。相手側観察者（図１１（Ｂ）に示す観察者１１３）の画像は、撮像装置９６Ｌの撮像光学系の光軸９６Ｌ−１が表示パネル９１の表示面と交わる位置にて、相手側観察者の目の位置（両眼の間あたり）を一致させた状態で表示される。よって観察者９９と相手側観察者の視線を合致させることができる。一方、観察者９８は、相手側観察者が表示されている方向を見ている。

ここで、相手側観察者が見ている表示装置の設定および観察者の位置と向きも図１０（Ｂ）と同一である場合を想定する。観察者９９が見ている表示状態を、図１１（Ｂ）に示す。観察者９９と相手側観察者１１３の視線が合った状態となっている。一方、相手側観察者１１４は表示装置に表示された観察者９９を見ており、観察者１１４は撮影可能な撮像装置（図１０の撮像装置９６Ｌと同一設定の相手側表示装置の撮像装置）により撮影される。このため、図１１（Ｂ）に示すように観察者９９とは視線が合致していない表示状態となっている。

なお、撮像装置９６Ｒ、および９６Ｒと同一設定とされた相手側表示装置の撮像装置で撮影された画像は、基準線ＹＬに対してθＬの角度に設置された撮像装置による撮影画像（回折画像）である。よって、撮像装置９６Ｃで撮影された画像（回折画像）とは、回折の状況が異なる。そこで角度θＬに応じた回折補正フィルタを用いて最適な回折補正処理を施すことによって良好な画像を得ることができる。さらに、相手側の表示装置も図１１（Ｂ）のような表示状態であり、観察者１１３の位置に観察者９９が表示され、観察者１１４の位置に観察者９８が表示される。
本実施形態では、撮影対象者へ向けられる複数の撮像装置で撮影を可能とし、撮影画像の回折補正を行うことによって、撮影対象者（観察者や話者）の良好な画像を生成できる。つまり、一つの表示装置に複数人が対面して観察する状態にて、撮影対象者（観察者や話者）が表示面の真正面に位置していない場合でも、双方の観察者の視線が合致した状態で違和感のない会話を行うことができる。

［変形実施形態］
第２実施形態の説明では、複数の撮像装置に係る撮影方向の設定角度が固定された状態の構成を例示した。これに限らず、第１実施形態の場合と同様、複数の撮像装置に対してそれぞれ駆動手段が設けられており、各撮像装置の撮影方向を制御する構成でもよい。本構成では、観察者の位置検出情報に応じて各撮像装置がそれぞれ駆動される。この場合、複数の撮像装置の撮影方向に対応する角度がそれぞれ検出され、角度値に応じた回折補正フィルタを用いて最適な回折補正処理を施すことによって良好な画像が得られる。したがって、図１０に例示した位置とは異なる位置に観察者がいたとしても、その観察者に撮像装置の撮影方向を合わせることができるので、より多様なシーンに対応した撮影が可能となる。

１・・・表示パネル
６・・・撮像装置
２１・・・システム制御回路（回折補正演算部）
３２・・・回折補正処理回路

Claims (6)

1. 表示部と該表示部の背面に配置された撮像部を備える表示装置であって、
   前記表示部の表示面に対して垂直な方向と前記撮像部の光軸とがなす角度の情報を取得して、前記表示部を通して前記撮像部が撮像した画像の回折補正演算を行う演算手段と、
   前記演算手段による演算データを用いて前記撮像部が撮像した回折画像を補正する補正手段と、を備えることを特徴とする表示装置。
2. 前記表示部の表示面に垂直な方向と前記撮像部の光軸とがなす角度を検出する角度検出手段と、
   前記角度検出手段により検出された角度の情報を取得して、前記撮像部の撮影方向を変更する制御手段と、
   前記制御手段からの制御信号に従って前記撮像部の光軸方向を変更する駆動手段と、を備えることを特徴とする請求項１に記載の表示装置。
3. 前記演算手段は、前記角度の情報に対応する回折補正フィルタを選択して回折補正演算を行い、前記補正手段は前記回折補正フィルタによる演算データを用いて前記回折画像を補正することを特徴とする請求項２に記載の表示装置。
4. 被写体の方向を検出する対象者検出手段を備え、
   前記制御手段は、前記対象者検出手段により検出される被写体の方向の情報と、前記角度検出手段による前記撮像部の光軸方向の情報を取得し、前記撮像部の光軸を変更して前記被写体の方向へ向ける制御を行うことを特徴とする請求項２または３に記載の表示装置。
5. 前記撮像部は、前記表示部の表示面に対して垂直な方向と光軸とのなす角度がそれぞれ異なる複数の撮像装置により構成され、
   前記演算手段は、前記撮像装置ごとに前記角度の情報に対応する回折補正フィルタを選択して回折補正演算を行うことを特徴とする請求項１に記載の表示装置。
6. 表示部と該表示部の背面に配置された撮像部を備える表示装置にて実行される制御方法であって、
   演算手段により、前記表示部の表示面に対して垂直な方向と前記撮像部の光軸とがなす角度の情報を取得して、前記表示部を通して前記撮像部が撮像した画像の回折補正演算を行う演算ステップと、
   補正手段により、前記回折補正演算の演算データを用いて、前記撮像部が撮像した回折画像を補正する補正ステップと、を有することを特徴とする表示装置の制御方法。

Images