WO2021045054A1

WO2021045054A1 - 表示システム、及び表示方法

Info

Publication number: WO2021045054A1
Application number: PCT/JP2020/033108
Authority: WO
Inventors: 亮佑中越
Original assignee: 株式会社Ｊｖｃケンウッド
Priority date: 2019-09-04
Filing date: 2020-09-01
Publication date: 2021-03-11
Also published as: JP7379961B2; JP2021040261A; CN114208157A; US20220191444A1; CN114208157B

Abstract

表示システム１において、撮像装置１０は、固体撮像素子１４または光学部材を物理的に動かしてフレーム単位でピクセルシフトさせて、撮像する。投写型映像表示装置２０は、撮像装置１０により撮像された映像を取得し、撮像装置１０において撮像時に実行されたピクセルシフトに対応したピクセルシフトを光学的に実行して、取得した映像を投写する。

Description

表示システム、及び表示方法

　本発明は、撮像装置と投写型映像表示装置を用いた表示システム、及び表示方法に関する。

　近年、４Ｋ／８Ｋの高解像度な映像データが増えてきている。高解像度の映像データはデータ量が多いため、高解像度の映像データを伝送する際は、離散コサイン変換（ＤＣＴ）や離散ウェーブレット変換（ＤＷＴ）などの直交変換処理を行って、データ量を圧縮させてから伝送することが多い。

　直交変換処理は、ある種のフィルタ処理となるため、ブロックノイズやＭＴＦ（Modulation Transfer Function）特性の劣化が発生する。従って、直交変換処理により圧縮された映像は、非圧縮の映像と比較して劣化した映像になる。

　そこで、時間方向に解像度を分割して撮像し、表示時に人間の視覚で映像を時間積分して、解像度が分割された映像を結合することで、撮像された映像を高解像度化することが考えられる。

　例えば特許文献１では、ビデオカメラの前に画素ずらし器を配置し、画素ずらし器は、第１フレーム期間にビデオカメラに被写体の画像をそのまま送り、第２フレーム期間に被写体の画像を垂直方向に１／２画素ピッチずらして送る。ＣＲＴ（Cathode Ray Tube）モニタは、第１及び第２フレーム期間に得た画像を１／２画素ピッチずれた状態で表示する。

特開平０７－２７４０７０号公報

　上記の手法では、インターレース方式で映像を伝送し、フレーム１の奇数フィールドとフレーム１の偶数フィールドの間に、フレーム２の奇数フィールドを走査し、フレーム１の偶数フィールドとフレーム１の奇数フィールドの間に、フレーム２の偶数フィールドを走査している。従って、解像度は２倍になるがフレーム周波数は半分になる。また、ＣＲＴモニタのように、走査位置を自由に変えられる表示装置以外への適用が難しい。

　本実施形態はこうした状況に鑑みてなされたものであり、その目的は、撮像装置と投写型映像表示装置のピクセルシフト機能を使用して、汎用性の高い高解像度化機能を実現することにある。

　上記課題を解決するために、本実施形態のある態様の表示システムは、固体撮像素子または光学部材を物理的に動かしてフレーム単位でピクセルシフトさせて、撮像する撮像装置と、前記撮像装置により撮像された映像を取得し、前記撮像装置において撮像時に実行されたピクセルシフトに対応したピクセルシフトを光学的に実行して、取得した映像を投写する投写型映像表示装置と、を備える。

　本実施形態の別の態様は、表示方法である。この方法は、固体撮像素子または光学部材を物理的に動かしてフレーム単位でピクセルシフトさせて、撮像するステップと、撮像された映像を取得し、前記撮像するステップ時に実行されたピクセルシフトに対応したピクセルシフトを光学的に実行して、取得した映像を投影面に投写するステップと、を有する。

　なお、以上の構成要素の任意の組合せ、本実施形態の表現を方法、装置、システムなどの間で変換したものもまた、本実施形態の態様として有効である。

　本実施形態によれば、撮像装置と投写型映像表示装置のピクセルシフト機能を使用して、汎用性の高い高解像度化機能を実現することができる。

本発明の実施の形態１に係る表示システムの全体構成を示す図である。図１の撮像装置の構成例を示す図である。図１の投写型映像表示装置の構成例を示す図である。ピクセルシフト機能を利用して、撮像されたフレーム画像の解像度を見かけ上、２倍にして表示する例を説明するための図である。図５（ａ）、（ｂ）は、図４に示した撮像装置で撮像した映像の伝送方法の一例を説明するための図である。ピクセルシフト機能を利用して、撮像されたフレーム画像の解像度を見かけ上、４倍にして表示する例を説明するための図である。図７（ａ）、（ｂ）は、図６に示した撮像装置で撮像した映像の伝送方法の一例を説明するための図である。撮像装置におけるピクセルシフト機能の別の例を説明するための図である。本発明の実施の形態２に係る表示システムの全体構成を示す図である。図１０（ａ）、（ｂ）は、ベイヤ配列のＲＡＷ画像と、デモザイク処理後の画像の一例を示す図である。

（実施の形態１）
　図１は、本発明の実施の形態１に係る表示システム１の全体構成を示す図である。実施の形態１では表示システム１は、撮像装置１０及び投写型映像表示装置２０を備える。撮像装置１０と投写型映像表示装置２０はネットワーク２を介して接続される。

　ネットワーク２は、インターネットや専用線などの通信路の総称であり、その通信媒体やプロトコルは問わない。通信媒体として例えば、有線ＬＡＮ、無線ＬＡＮ、携帯電話網（セルラー網）、光ファイバ網、ＡＤＳＬ網、ＣＡＴＶ網などを使用することができる。通信プロトコルとして例えば、ＴＣＰ（Transmission Control Protocol）／ＩＰ（Internet Protocol）、ＵＤＰ（User Datagram Protocol）／ＩＰ、ＳＲＴ（Secure Reliable Transport）などを使用することができる。

　本実施の形態に係る表示システム１は、解像度を時間方向に分割して撮像および表示することで、データを圧縮しつつ高解像度な映像を表示可能とするものである。撮像装置１０はピクセルシフト機能を使用して、フレーム単位でピクセルシフトさせて撮像し、撮像した映像データを投写型映像表示装置２０に伝送する。投写型映像表示装置２０はピクセルシフト機能を使用して、撮像装置１０から取得した映像を、撮像時のピクセルシフトに同期したピクセルシフトを実行して、投影面に投写する。これにより、伝送データを圧縮しつつ高解像度な映像を表示することができる。以下、具体的に説明する。

　図２は、図１の撮像装置１０の構成例を示す図である。撮像装置１０は、レンズ１１、レンズ駆動部１２、撮像部１３、ピエゾ駆動部１７及び処理部１８を備える。撮像部１３は、固体撮像素子１４、ピエゾステージ１５及び信号処理回路１６を含む。

　固体撮像素子１４には例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Devices）イメージセンサを使用することができる。固体撮像素子１４は、レンズ１１を透過して入射された光を電気信号に変換して信号処理回路１６に出力する。信号処理回路１６は、固体撮像素子１４から入力される画像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施し、処理部１８に出力する。

　固体撮像素子１４はピエゾステージ１５に固定されている。ピエゾステージ１５は、光軸方向をＺ方向とした場合に、Ｘ方向とＹ方向に固体撮像素子１４を任意のシフト量で移動させることができる微動ステージである。ピエゾ駆動部１７は、処理部１８から供給されるピエゾ駆動信号に応じて、固体撮像素子１４をＸ方向およびＹ方向にそれぞれ指定された量、移動させ、固体撮像素子１４を変位させる。これにより、１／ｎ画素ピッチでのピクセルシフトが可能となる。処理部１８は、後述するピクセルシフトの設定情報に基づいてピエゾ駆動信号を生成する。

　レンズ１１は、光軸方向に移動可能なフォーカス用のレンズである。レンズ駆動部１２は、処理部１８から供給されるレンズ駆動信号に応じて、レンズ１１を光軸方向に移動させ、レンズ１１の位置を調整する。処理部１８は、例えば図示しない入力手段からのフォーカス調整信号等に基づいてレンズ１１の光軸方向の位置を算出し、レンズ駆動信号を生成する。

　なお図２に示す例ではピクセルシフト機能を、ピエゾステージ１５を使用して固体撮像素子１４を物理的に動かして実現しているが、レンズ（フォーカスレンズ以外）などの光学部材をピエゾアクチュエータ等でＸ方向とＹ方向に物理的に動かして実現してもよい。

　処理部１８はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＩＳＰ(Image Signal Processor)、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。

　図３は、図１の投写型映像表示装置２０の構成例を示す図である。図２に示す投写型映像表示装置２０は液晶プロジェクタである。投写型映像表示装置２０は、光源２１、ダイクロイックミラー２２ａ、２２ｂ、反射ミラー２３ａ、２３ｂ、２３ｃ、赤用液晶パネル２４Ｒ、緑用液晶パネル２４Ｇ、青用液晶パネル２４Ｂ、合成プリズム２５、ピクセルシフトデバイス２６、投写レンズ２７、駆動部２８及び処理部２９を含む。

　光源２１には、ハロゲンランプ、キセノンランプ、メタルハライドランプ、超高圧水銀ランプ、レーザーダイオード等を使用することができる。

　第１ダイクロイックミラー２２ａは、光源２１からの白色光を、赤色光とシアン色光に分離する。第２ダイクロイックミラー２２ｂは、シアン色光を、緑色光と赤色光に分離する。第１ダイクロイックミラー２２ａにより分離された赤色光は、反射ミラー２３ａで反射されて赤用液晶パネル２４Ｒに入射する。第２ダイクロイックミラー２２ｂにより分離された緑色光は、緑用液晶パネル２４Ｇに入射する。第２ダイクロイックミラー２２ｂにより分離された青色光は、反射ミラー２３ｂ、２３ｃで反射されて青用液晶パネル２４Ｂに入射する。

　赤用液晶パネル２４Ｒ、緑用液晶パネル２４Ｇ、青用液晶パネル２４Ｂは透過型の液晶パネルであり、入射された赤色光、緑色光、青色光と、処理部２９から設定された映像信号をもとに赤色映像、緑色映像、青色映像をそれぞれ生成する。合成プリズム２５は、赤色映像、緑色映像、青色映像を合成してカラー映像を生成する。

　ピクセルシフトデバイス２６は、例えば任意の方向に傾斜できるようなアクチュエータを備えたガラス板である。アクチュエータとして例えば所定の電圧を加えられると伸長する圧電素子を用いることができる。駆動部２８は、処理部２９から供給されるピクセルシフト駆動信号に応じてアクチュエータを駆動させガラス板の傾斜角度を制御する。これによりピクセルシフトデバイス２６は、合成プリズム２５からの入射光の光路をずらす。処理部２９は、後述するピクセルシフトの設定情報に基づいてピクセルシフト駆動信号を生成する。ピクセルシフトデバイス２６を挿入することにより、１／ｎ画素ピッチでのピクセルシフトが可能となる。投写レンズ２７は、ピクセルシフトデバイス２６から入射される光を拡大して、スクリーン等の投影面に出力する。

　なおピクセルシフトデバイス２６の構成は一例であり、アクチュエータによりガラス板を傾斜させる代わりに偏光デバイスを利用して光学的に光路をずらしてもよい。また光学的に光路をずらすのではなく、光学デバイスを物理的に動かして、投影される映像をシフトさせてもよい。

　処理部２９はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＩＳＰ、ＧＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。

　図４は、ピクセルシフト機能を利用して、撮像されたフレーム画像の解像度を見かけ上、２倍にして表示する例を説明するための図である。ここで解像度とは水平解像度と垂直解像度とを掛け合わせた数である総解像度のことである。図４に示すピクセルシフト機能により、水平解像度は見かけ上√２倍となり、垂直解像度は見かけ上√２倍となる。よって総解像度は見かけ上２倍となる。撮像装置１０側では、固体撮像素子１４をフレームごとに、斜め方向に１／２画素シフト（ピクセルシフト）しながら撮像する。具体的には撮像装置１０は、斜め方向に１／２画素ずれた第０フレームＦ０の位置と第１フレームＦ１の位置で交互に撮像する。

　投写型映像表示装置２０側では、ピクセルシフトデバイス２６でフレームごとに、斜め方向に１／２画素シフト（ピクセルシフト）しながら映像を投影する。これにより、投写型映像表示装置２０の物理的な投影位置が、斜め方向に１／２画素ずれた第０フレームＦ０の位置と第１フレームＦ１の位置との間で交互に切り替わる。

　撮像装置１０と投写型映像表示装置２０間で、ピクセルシフトの方向と量、ピクセルシフトの位置数、各フレームの位置、フレームレートが同期している必要がある。つまり、撮像装置１０と投写型映像表示装置２０間で、ピクセルシフトの設定情報が対応している必要がある。図４に示す例のピクセルシフトの設定情報は、ピクセルシフトの方向が左斜め下４５度、ピクセルシフトの量が１／２画素ピッチ、ピクセルシフトの位置が２通り、初期位置が偶数フレームの位置であり奇数フレームの位置が初期位置から右斜め下の位置、フレームレートが１２０Ｈｚである。

　撮像装置１０と投写型映像表示装置２０が連携機能を有する製品である場合、これらのピクセルシフトの設定情報は、撮像装置１０と投写型映像表示装置２０内のＲＯＭに予め設定される。撮像装置１０と投写型映像表示装置２０が連携機能を持たない製品である場合、ユーザが撮像装置１０と投写型映像表示装置２０にそれぞれピクセルシフトの設定情報を入力する。または、撮像装置１０からネットワーク２を介して投写型映像表示装置２０にピクセルシフトの設定情報を送信する。例えば、ピクセルシフトの設定情報を、画像データ内にメタデータとして埋め込んでもよい。また映像データをＩＰ伝送する場合、ピクセルシフトの設定情報を、ＩＰパケットのヘッダのユーザ領域に付加してもよい。

　撮像装置１０の処理部１８は、投写型映像表示装置２０の処理部２９と通信チャネルの確立後、処理部２９に、ピクセルシフトの設定情報を送信する。投写型映像表示装置２０の処理部２９は、撮像装置１０の処理部１８から受信した設定情報をもとに、ピクセルシフトデバイス２６のピクセルシフト位置毎の傾斜角度とピクセルシフト位置の変更タイミングを指示するピクセルシフト駆動信号を生成する。

　ピクセルシフトの設定情報を画像データ内にメタデータとして設定情報を埋め込む場合、撮像装置１０は画像（フレーム）毎に投写型映像表示装置２０に設定情報を送信することができる。これにより、撮像装置１０と投写型映像表示装置２０においてフレーム単位で確実にピクセルシフトの設定情報を同期することができる。

　図５（ａ）、（ｂ）は、図４に示した撮像装置１０で撮像した映像の伝送方法の一例を説明するための図である。図５（ａ）に示すように撮像装置１０の処理部１８は、撮像部１３から１２０Ｈｚ周期で、第０フレームＦ０の位置で撮像された画像と、第１フレームＦ１の位置で撮像された画像を交互に取得する。例えば処理部１８は、第０フレームＦ０の位置で撮像された画像Ｆ０１、第１フレームＦ１の位置で撮像された画像Ｆ１１、第０フレームＦ０の位置で撮像された画像Ｆ０２、第１フレームＦ１の位置で撮像された画像Ｆ１２の順番に取得する。

　撮像装置１０の処理部１８は例えば、３Ｄフォーマットの一つであるフレームパッキング方式でシーケンシャルにフレーム画像を伝送する。処理部１８は図５（ｂ）に示すように、１つの垂直同期期間に、第０フレームＦ０の位置で撮像された画像と、第１フレームＦ１の位置で撮像された画像の２枚のフレーム画像をパッキングする。例えば処理部１８は、第０フレームＦ０の位置で撮像された画像Ｆ０１と第１フレームＦ１の位置で撮像された画像Ｆ１１とをパッキングし、第０フレームＦ０の位置で撮像された画像Ｆ０２と第１フレームＦ１の位置で撮像された画像Ｆ１２とをパッキングする。具体的には処理部１８は、垂直同期信号Ｖｓｙｎｃの周期を１２０Ｈｚから６０Ｈｚに変更する。処理部１８は、フレームパッキング方式で格納したフレーム画像を含む映像データを、ネットワーク２を介して投写型映像表示装置２０に送信する。

　投写型映像表示装置２０の処理部２９は、撮像装置１０から送信された映像データを受信する。処理部２９は、撮像装置１０から指定されたピクセルシフトの設定情報をもとに、受信した映像データからフレーム画像を取り出す。具体的には処理部２９は、設定情報においてピクセルシフトの位置が２通りであるので、垂直同期信号Ｖｓｙｎｃの周期を６０Ｈｚから１２０Ｈｚに変更する。処理部２９は、ピクセルシフトデバイス２６のピクセルシフト位置毎の傾斜角度とピクセルシフト位置の変更タイミングを指示するピクセルシフト駆動信号を生成する。

　なお上記のフレームパッキング方式は一例であり、他のフォーマットを使用してもよい。例えば、サイドバイサイド方式やトップアンドボトム方式で、第０フレームＦ０の位置で撮像された画像と、第１フレームＦ１の位置で撮像された画像を伝送してもよい。サイドバイサイド方式の場合、第０フレームＦ０の位置で撮像された画像と、第１フレームＦ１の位置で撮像された画像とを左右方向に並べて１つのフレーム画像とする。トップアンドボトム方式の場合、第０フレームＦ０の位置で撮像された画像と、第１フレームＦ１の位置で撮像された画像とを上下方向に並べて１つのフレーム画像とする。ただし、この場合、撮像装置１０と投写型映像表示装置２０に、第０フレームＦ０の位置で撮像されたフレーム画像を一時記憶するためのフレームバッファが必要となる。この点、フレームパッキング方式ではフレーム画像がシーケンシャルに伝送され、投写型映像表示装置２０でそのまま投影されるため、撮像装置１０と投写型映像表示装置２０に上記フレームバッファを設ける必要がない。

　本実施の形態では、撮像装置１０で撮像された映像を投写型映像表示装置２０にライブ伝送する用途を主に想定している。その場合、撮像装置１０は基本的に、非圧縮の映像データを送信する。なお、撮像装置１０の処理部１８と投写型映像表示装置２０の処理部２９の処理能力に余裕があれば、撮像装置１０の処理部１８が映像データを所定のフォーマットで圧縮符号化して送信し、投写型映像表示装置２０の処理部２９が、受信した映像データを伸張復号して使用してもよい。

　図６は、ピクセルシフト機能を利用して、撮像されたフレーム画像の解像度を見かけ上、４倍にして表示する例を説明するための図である。ここで解像度とは水平解像度と垂直解像度とを掛け合わせた数である総解像度のことである。図６に示すピクセルシフト機能により、水平解像度は見かけ上２倍となり、垂直解像度は見かけ上２倍となる。よって総解像度は見かけ上４倍となる。この例では、４Ｋの解像度（３８４０×２１６０）で撮像した画像を、８Ｋの解像度（７６８０×４３２０）で見かけ上、表示することができる。

　撮像装置１０側では、固体撮像素子１４をフレームごとに、上下方向、左右方向、斜め方向に１／２画素シフト（ピクセルシフト）しながら撮像する。具体的には撮像装置１０は、初期の第０フレームＦ０の位置、初期位置から上方向に１／２画素ずれた第１フレームＦ１の位置、初期位置から右斜め上方向に１／２画素ずれた第２フレームＦ２の位置、初期位置から右方向に１／２画素ずれた第３フレームＦ３の位置の４通りの位置で順番に撮像する。

　投写型映像表示装置２０側では、ピクセルシフトデバイス２６を使用して、初期の第０フレームＦ０の位置、初期位置から上方向に１／２画素ずれた第１フレームＦ１の位置、初期位置から右斜め上方向に１／２画素ずれた第２フレームＦ２の位置、初期位置から右方向に１／２画素ずれた第３フレームＦ３の位置の４通りの位置で順番に、フレーム画像の投影位置を切り替える。これにより、４通りの投影位置に投写レンズ２７から順番にフレーム画像が投写される。なお、上記の撮像または投影する４通りの位置の切り替え順番は一例である。例えば撮像装置１０及または投写型映像表示装置２０は、４通りの位置を反時計回りまたはジグザグの順番に切り替えてもよい。

　図６に示す例のピクセルシフトの設定情報は、ピクセルシフトの方向が上方向、及び右斜め上４５度、及び右方向である。ピクセルシフトの量は１／２画素ピッチである。ピクセルシフトの位置は４通りである。初期位置はｎを自然数とした場合に（４ｎ－４）番目のフレームの位置であり、（４ｎ－３）番目のフレームの位置は初期位置から上方向の位置、（４ｎ－２）番目のフレームの位置は初期位置から左斜め上４５度の位置、（４ｎ－１）番目のフレームの位置は初期位置から右方向の位置、である。フレームレートは２４０Ｈｚである。

　図７（ａ）、（ｂ）は、図６に示した撮像装置１０で撮像した映像の伝送方法の一例を説明するための図である。図７（ａ）に示すように撮像装置１０の処理部１８は、撮像部１３から２４０Ｈｚ周期で、第０フレームＦ０の位置で撮像された画像、第１フレームＦ１の位置で撮像された画像、第２フレームＦ２の位置で撮像された画像、第３フレームＦ３の位置で撮像された画像を順番に取得する。例えば処理部１８は、第０フレームＦ０の位置で撮像された画像Ｆ０１、第１フレームＦ１の位置で撮像された画像Ｆ１１、第２フレームＦ２の位置で撮像された画像Ｆ２１、第３フレームＦ３の位置で撮像された画像Ｆ３１、第０フレームＦ０の位置で撮像された画像Ｆ０２、第１フレームＦ１の位置で撮像された画像Ｆ１２、第２フレームＦ２の位置で撮像された画像Ｆ２２、第３フレームＦ３の位置で撮像された画像Ｆ３２の順番に取得する。

　撮像装置１０の処理部１８は例えば、フレームパッキング方式でシーケンシャルにフレーム画像を伝送する。処理部１８は図７（ｂ）に示すように、１つの垂直同期期間に、第０フレームＦ０の位置で撮像された画像、第１フレームＦ１の位置で撮像された画像、第２フレームＦ２の位置で撮像された画像、第３フレームＦ３の位置で撮像された画像の４枚のフレーム画像をパッキングする。例えば処理部１８は、第０フレームＦ０の位置で撮像された画像Ｆ０１と、第１フレームＦ１の位置で撮像された画像Ｆ１１と、第２フレームＦ２の位置で撮像された画像Ｆ２１と、第３フレームＦ３の位置で撮像された画像Ｆ３１とをパッキングし、第０フレームＦ０の位置で撮像された画像Ｆ０２と、第１フレームＦ１の位置で撮像された画像Ｆ１２と、第２フレームＦ２の位置で撮像された画像Ｆ２２と、第３フレームＦ３の位置で撮像された画像Ｆ３２とをパッキングする。具体的には処理部１８は、垂直同期信号Ｖｓｙｎｃの周期を２４０Ｈｚから６０Ｈｚに変更する。処理部１８は、フレームパッキング方式で格納したフレーム画像を含む映像データを、ネットワーク２を介して投写型映像表示装置２０に送信する。

　投写型映像表示装置２０の処理部２９は、撮像装置１０から送信された映像データを受信する。処理部２９は、撮像装置１０から指定されたピクセルシフトの設定情報をもとに、受信した映像データからフレーム画像を取り出す。具体的には処理部２９は、設定情報においてピクセルシフトの位置が４通りであるので、垂直同期信号Ｖｓｙｎｃの周期を６０Ｈｚから２４０Ｈｚに変更する。処理部２９は、ピクセルシフトデバイス２６のピクセルシフト位置毎の傾斜角度とピクセルシフト位置の変更タイミングを指示するピクセルシフト駆動信号を生成する。

　図８は、撮像装置１０におけるピクセルシフト機能の別の例を説明するための図である。ここでは固体撮像素子１４は、ベイヤ配列のカラーフィルタを備えるものとする。撮像装置１０は、固体撮像素子１４をフレームごとに、上下方向、左右方向、斜め方向に１画素シフト（ピクセルシフト）しながら撮像する。具体的には撮像装置１０は、初期の第０フレームＦ０の位置、初期位置から上方向に１画素ずれた第１フレームＦ１の位置、初期位置から右斜め上方向に１画素ずれた第２フレームＦ２の位置、初期位置から右方向に１画素ずれた第３フレームＦ３の位置の４通りの位置で順番に撮像する。

　図８に示す例のピクセルシフトの設定情報は、ピクセルシフトの方向が上方向、及び右斜め上４５度、及び右方向である。ピクセルシフトの量は１画素ピッチである。ピクセルシフトの位置は４通りである。初期位置はｎを自然数とした場合に（４ｎ－４）番目のフレームの位置であり、（４ｎ－３）番目のフレームの位置は初期位置から上方向の位置、（４ｎ－２）番目のフレームの位置は初期位置から右斜め上４５度の位置、（４ｎ－１）番目のフレームの位置は初期位置から右方向の位置である。フレームレートは２４０Ｈｚである。

　通常、撮像装置１０がピクセルシフトの量を１画素ピッチで設定する場合、撮像装置１０は固体撮像素子１４の各画素についてＲの情報、及びＧの情報、及びＢの情報をすべて揃える目的でピクセルシフト機能を使用する。例えば撮像装置１０の処理部１８は、第０フレームＦ０から第３フレームＦ３までの４枚のフレームを用いて１枚の画像を生成する。この方式によれば処理部１８が後述するデモザイク処理による補間処理を行わないため画質は良化するが、画素数は見かけ上増加しない。しかし本実施の形態では画素数を見かけ上増加させるため、処理部１８は、ピクセルシフトの量を１画素ピッチで設定する場合においても、各フレームをそれぞれ１枚の画像として生成し、投写型映像表示装置２０に送信する。

　撮像装置１０の処理部１８は例えば、フレームパッキング方式でシーケンシャルにフレーム画像を伝送する。処理部１８は１つの垂直同期期間に、第０フレームＦ０の位置で撮像された画像、第１フレームＦ１の位置で撮像された画像、第２フレームＦ２の位置で撮像された画像、第３フレームＦ３の位置で撮像された画像の４枚のフレーム画像をパッキングする。具体的には処理部１８は、垂直同期信号Ｖｓｙｎｃの周期を２４０Ｈｚから６０Ｈｚに変更する。処理部１８は、フレームパッキング方式で格納したフレーム画像を含む映像データを、ネットワーク２を介して投写型映像表示装置２０に送信する。

　前述のとおり撮像装置１０の処理部１８から投写型映像表示装置２０の処理部２９に送信される設定情報のシフト量は１画素ピッチである。しかし、投写型映像表示装置２０は、上下方向、左右方向、斜め方向に１画素シフトさせて表示しても、各シフト位置において画素の位相差（ずれ量）がなしとなるため解像度を見かけ上高めることができない。そこで投写型映像表示装置２０の処理部２９はシフト量を上下方向、左右方向、斜め方向に１／２画素ずつとなるように設定情報を変更し、ピクセルシフトデバイス２６のピクセルシフト位置毎の傾斜角度とピクセルシフト位置の変更タイミングを指示するピクセルシフト駆動信号を生成してもよい。つまり、投写型映像表示装置２０の処理部２９は、設定情報のシフト量を補正してもよい。

　以上説明したように実施の形態１によれば、解像度を時間方向に分割して撮像および表示することで、不可逆圧縮となる直交変換を使用せずとも、伝送データを圧縮しつつ高解像度な映像を表示させることができる。直交変換処理を使用しない場合、信号処理の負荷が軽減され低遅延になる。また高域成分が削除されないため、画質劣化も抑制される。なお、直交変換処理を使用する場合、更なるデータ圧縮が可能となり、一般的なネットワーク２を使用して、８Ｋ以上の解像度の映像を伝送することも可能となる。

　またフレームパッキング方式を利用して映像データを伝送することにより、撮像装置１０の処理部１８と投写型映像表示装置２０の処理部２９における処理を単純化することができる。これにより、撮像装置１０の処理部１８と投写型映像表示装置２０の処理部２９の処理負荷を軽減することができる。

　また撮像装置１０から投写型映像表示装置２０に、ピクセルシフトの設定情報を送信することにより、撮像装置１０と投写型映像表示装置２０間のピクセルシフトの同期を簡単かつ正確に取ることができる。投写型映像表示装置２０が設定情報のうちピクセルシフトの量を補正することにより、撮像装置１０のピクセルシフトの方式に拠らず高解像度な映像を表示することができる。

　以上から、撮像装置１０で撮像している映像を、低遅延でコマ落ちせずに高解像度で、投写型映像表示装置２０でライブ投影することができる。

　上記の例では、撮像された画像の解像度を見かけ上、２倍または４倍にして表示する例を示した。この点、ピエゾステージ１５及びピクセルシフトデバイス２６は、１／２画素より細かいピッチでピクセルシフトすることも可能である。例えば、１／３画素ピッチで９通りの位置にピクセルシフトすることも可能である。この場合、フレームレートを９倍に設定することにより、撮像された画像の解像度を見かけ上、９倍にして表示することができる。このように実施の形態１では、柔軟性・汎用性が高い高解像度機能を実現することができる。

（実施の形態２）
　図９は、本発明の実施の形態２に係る表示システム１の全体構成を示す図である。実施の形態２では、表示システム１は撮像装置１０、情報処理装置３０及び投写型映像表示装置２０を備える。撮像装置１０と情報処理装置３０がネットワーク２ａを介して接続され、情報処理装置３０と投写型映像表示装置２０がネットワーク２ｂを介して接続される。

　情報処理装置３０は例えば、クラウドサーバで構成される。情報処理装置３０は処理部と記憶部を備える。情報処理装置３０の処理部は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。情報処理装置３０の記憶部は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の不揮発性の大容量記録媒体を有する。

　実施の形態２では、撮像装置１０の処理部１８は、映像データを情報処理装置３０に送信する。情報処理装置３０は、撮像装置１０から送信される映像データを受信し、受信した映像データを投写型映像表示装置２０に送信する。この場合、情報処理装置３０は映像データの中継サーバとして機能する。また情報処理装置３０は、撮像装置１０から受信した映像データを投写型映像表示装置２０に転送するとともに、記憶部に保存することもできる。この場合、撮像装置１０は投写型映像表示装置２０への映像データの送信と、情報処理装置３０への映像データの保存を同時に行うことができる。

　撮像装置１０の固体撮像素子１４が単板カラーの固体撮像素子である場合、固体撮像素子１４から出力される画像はＲＡＷ画像になり、撮像装置１０の処理部１８でデモザイク処理する必要がある。例えば、固体撮像素子１４がベイヤ配列のカラーフィルタを備える固体撮像素子である場合、撮像装置１０の処理部１８は、デモザイク処理する必要がある。

　実施の形態２では、撮像装置１０の処理部１８は、撮像部１３から取得した画像データに対してデモザイク処理せずに、ＲＡＷ画像のままフレームパッキングして、ＲＡＷ画像を含む映像データを情報処理装置３０に送信する。情報処理装置３０の処理部は、撮像装置１０から受信した映像データに含まれるＲＡＷ画像をデモザイク処理して現像データを生成する。情報処理装置３０の処理部は、現像データを含む映像データを投写型映像表示装置２０に送信する。

　図１０（ａ）、（ｂ）は、ベイヤ配列のＲＡＷ画像と、デモザイク処理後の画像の一例を示す図である。一般的にＲＧＢの各画素で撮像されるＲＡＷ画像の各画素のデータは８ビットで規定される。デモザイク処理のアルゴリズムには様々なものがあるが、各画素において欠落する色データを、隣接する複数の画素に基づく補間処理により生成するものが一般的である。例えばデモザイク処理は、緑色画素の場合、隣接する複数の赤色画素に基づく補間処理により赤色データ（８ビット）を生成し、隣接する複数の青色画素に基づく補間処理により青色データ（８ビット）を生成する。このデモザイク処理により、各画素のデータ（８ビット）は、２４ビットで規定されるカラー（ＲＧＢ）データに変換される。ＲＡＷ画像の各画素のデータのビット数は８ビットに限定されるものではなく、例えば１２ビットまたは１４ビットでもよい。

　情報処理装置３０の処理部は、撮像装置１０から受信した映像データに含まれるＲＡＷ画像をデモザイク処理した後に、ホワイトバランス調整を実行してもよい。この場合、撮像装置１０の処理部１８は、ホワイトバランス調整に必要な色温度等の設定値を情報処理装置３０の処理部へ送信してもよい。情報処理装置３０の処理部は、撮像装置１０から受信した色温度等の設定値に基づいてホワイトバランス調整を実行してもよい。

　実施の形態２では、このデモザイク処理を情報処理装置３０の処理部で行うことにより、撮像装置１０から情報処理装置３０に伝送される映像データが各画素２４ビットで規定されるカラー（ＲＧＢ）データから、各画素８ビットのデータとすることができる。つまり、撮像装置１０から情報処理装置３０に伝送される映像データの量を１／３に圧縮することができる。一般的にインターネットでは、上り回線より、下り回線に広い帯域が割り当てられており、下りの方が上りより通信速度が速くなる。

　以上説明したように実施の形態２によれば、撮像装置１０から情報処理装置３０へＲＡＷ画像を含む映像データで送信することにより、上り回線を使用した映像伝送のデータ量を圧縮することができる。従って、撮像装置１０から情報処理装置３０への伝送遅延を抑制することができる。また、撮像装置１０の処理部１８でデモザイク処理を行わないため、処理部１８の処理負荷を軽減することができ、処理部１８の基板実装を簡略化することができる。これにより、撮像装置１０の大型化を抑制でき、撮像装置１０をスマートフォンやドローンに搭載しやすくすることができる。

　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　実施の形態１、２では、投写型映像表示装置２０として、３ＬＣＤ（Liquid Crystal Display）方式のプロジェクタを使用する例を説明した。この点、１／ｎ画素ピッチで光学的にピクセルシフトする機能を搭載したプロジェクタであれば、ＤＬＰ（Digital Light Processing）方式のプロジェクタを使用してもよいし、ＬＣｏＳ（Liquid Crystal on Silicon）方式のプロジェクタを使用してもよい。

　実施の形態１、２では、ピクセルシフトの設定情報を、撮像装置１０から投写型映像表示装置２０に送信して、ピクセルシフトの方向と量を撮像装置１０側から指定する例を説明した。この点、投写型映像表示装置２０が実行するピクセルシフトの方向と量を含む設定情報（位相情報）を、投写型映像表示装置２０から撮像装置１０に送信する形態でもよい。撮像装置１０の処理部１８は、投写型映像表示装置２０の処理部２９から受信した設定情報をもとに、ピエゾステージ１５のＸ方向とＹ方向の移動量と移動タイミングを含むピエゾ駆動信号を生成し、ピエゾ駆動部１７に供給する。なお撮像装置１０の処理部１８は、ピエゾステージ１５が斜め方向に移動可能な圧電素子を使用している場合は斜め方向の移動量と移動タイミングを設定する。

　実施の形態２では、情報処理装置３０の処理部がデモザイク処理する例を説明した。この点、情報処理装置３０の処理部は、撮像装置１０から受信したＲＡＷ画像を含む映像データをそのまま投写型映像表示装置２０に転送してもよい。投写型映像表示装置２０の処理部２９は、情報処理装置３０から受信した映像データに含まれるＲＡＷ画像をデモザイク処理して現像データを生成する。また実施の形態１においても、撮像装置１０から投写型映像表示装置２０へＲＡＷ画像データを含む映像データを送信し、投写型映像表示装置２０の処理部２９がＲＡＷ画像をデモザイク処理して現像データを生成してもよい。

　本発明は、撮像装置と投写型映像表示装置を用いた表示システムに利用可能である。

　１　表示システム、　２　ネットワーク、　１０　撮像装置、　１１　レンズ、　１２　レンズ駆動部、　１３　撮像部、　１４　固体撮像素子、　１５　ピエゾステージ、　１６　信号処理回路、　１７　ピエゾ駆動部、　１８　処理部、　２０　投写型映像表示装置、　２１　光源、　２２　ダイクロイックミラー、　２３　反射ミラー、　２４Ｒ　赤用液晶パネル、　２４Ｇ　緑用液晶パネル、　２４Ｂ　青用液晶パネル、　２５　合成プリズム、　２６　ピクセルシフトデバイス、　２７　投写レンズ、　２８　駆動部、　２９　処理部、　３０　情報処理装置。

Claims

　固体撮像素子または光学部材を物理的に動かしてフレーム単位でピクセルシフトさせて、撮像する撮像装置と、
　前記撮像装置により撮像された映像を取得し、前記撮像装置において撮像時に実行されたピクセルシフトに対応したピクセルシフトを光学的に実行して、取得した映像を投写する投写型映像表示装置と、
　を備えることを特徴とする表示システム。
　前記撮像装置におけるピクセルシフトの実行中、前記固体撮像素子または前記光学部材は、ｎ（ｎは２以上の整数）通りの位置を順番に変位し、
　前記投写型映像表示装置におけるピクセルシフトの実行中、前記投写型映像表示装置は前記ｎ通りの投影位置を順番に切り替え、
　前記撮像装置は、１つの垂直同期期間に、前記ｎ通りの位置で撮像されたフレーム画像を含む映像データを生成し、
　前記投写型映像表示装置は、前記１つの垂直同期期間に含まれる前記ｎ枚のフレーム画像を、前記ｎ通りの投影位置に順番に投写することを特徴とする請求項１に記載の表示システム。
　前記撮像装置は、前記投写型映像表示装置において実行されるピクセルシフトの方向と量を指定した設定情報を、前記投写型映像表示装置に送信し、
　前記投写型映像表示装置は、受信した設定情報をもとにピクセルシフトを実行することを特徴とする請求項１または２に記載の表示システム。
　前記投写型映像表示装置は、前記設定情報のうちピクセルシフトの量を補正することを特徴とする請求項３に記載の表示システム。
　前記投写型映像表示装置は、前記撮像装置において実行されるピクセルシフトの方向と量を指定した設定情報を、前記撮像装置に送信し、
　前記撮像装置は、受信した設定情報をもとにピクセルシフトを実行することを特徴とする請求項１または２に記載の表示システム。
　前記撮像装置から送信される映像データを受信し、受信した映像データを前記投写型映像表示装置に送信する情報処理装置をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の表示システム。
　前記固体撮像素子は、単板カラーの固体撮像素子であり、
　前記撮像装置は、ＲＡＷ画像を含む映像データを前記情報処理装置に送信し、
　前記情報処理装置は、受信した映像データに含まれるＲＡＷ画像をデモザイク処理して得られる現像データを含む映像データを前記投写型映像表示装置に送信することを特徴とする請求項６に記載の表示システム。
　固体撮像素子または光学部材を物理的に動かしてフレーム単位でピクセルシフトさせて、撮像するステップと、
　撮像された映像を取得し、前記撮像するステップ時に実行されたピクセルシフトに対応したピクセルシフトを光学的に実行して、取得した映像を投影面に投写するステップと、
　を有することを特徴とする表示方法。