WO2019054179A1

WO2019054179A1 - 画像処理装置および方法

Info

Publication number: WO2019054179A1
Application number: PCT/JP2018/031872
Authority: WO
Inventors: 紀晃高橋; 隆浩永野
Original assignee: ソニー株式会社
Priority date: 2017-09-12
Filing date: 2018-08-29
Publication date: 2019-03-21
Also published as: US20210074243A1; US11397376B2

Abstract

本開示は、主観画質の低減を抑制することができるようにする画像処理装置および方法に関する。動画像の各フレーム画像に基づいて、ユーザがその動画像の各フレーム画像の投影画像を視認可能な時間を制御する。例えば、制御部は、輝度の減少による動画像と投影画像との差、および、ユーザが投影画像を視認可能な時間が長くなることにより増大する動画像と投影画像との差を抑制するように、ユーザが投影画像を視認可能な時間を制御する。本開示は、例えば、画像処理装置、画像投影装置、制御装置、情報処理装置、画像投影システム、画像処理方法、またはプログラム等に適用することができる。

Description

画像処理装置および方法

　本開示は、画像処理装置および方法に関し、特に、主観画質の低減を抑制することができるようにした画像処理装置および方法に関する。

　従来、高フレームレートの映像を低フレームレートの画像投影装置に分配して投影する方法があった（例えば、特許文献１乃至特許文献３参照）。

特開２００９－１１００２８号公報特開２００５－１３６８６８号公報特開２００４－２６６８０８号公報

　しかしながら、これらの場合、同時刻に複数のフレーム画像が投影されるため、動きのある部分に重畳ボケが発生し、主観画質が低減するおそれがあった。また、各フレーム画像の投影時間を低減させ、各フレーム画像の投影画像が重畳しないようにする方法も考えられるが、その場合、投影画像の輝度が低減し、主観画質が低減するおそれがあった。

　本開示は、このような状況に鑑みてなされたものであり、主観画質の低減を抑制することができるようにするものである。

　本技術の一側面の画像処理装置は、動画像の各フレーム画像に基づいて、ユーザが前記動画像の各フレーム画像の投影画像を視認可能な時間を制御する制御部を備える画像処理装置である。

　本技術の一側面の画像処理方法は、動画像の各フレーム画像に基づいて、ユーザが前記動画像の各フレーム画像の投影画像を視認可能な時間を制御する画像処理方法である。

　本技術の一側面の画像処理装置および方法においては、動画像の各フレーム画像に基づいて、ユーザがその動画像の各フレーム画像の投影画像を視認可能な時間が制御される。

　本開示によれば、画像を処理することができる。特に、主観画質の低減を抑制することができる。

画像投影システムの主な構成例を示すブロック図である。画像投影の様子の例を説明するための図である。投影画像の例を示す図である。画像投影の様子の例を説明するための図である。画像投影システムの主な構成例を示すブロック図である。画像処理部の主な構成例を示すブロック図である。出力時間の制御の様子の例を説明するための図である。出力時間を制御した画像投影の様子の例を説明するための図である。出力時間を制御した画像投影の様子の例を説明するための図である。画像表示処理の流れの例を説明するフローチャートである。画像処理の流れの例を説明するフローチャートである。出力時間算出処理の流れの例を説明するフローチャートである。出力時間算出処理の流れの例を説明するフローチャートである。画像処理部の主な構成例を示すブロック図である。画像投影の様子の例を説明するための図である。係数Ｂの例を示す図である。係数D_kの例を示す図である。画像処理の流れの例を示すフローチャートである。学習処理の流れの例を説明するフローチャートである。予測処理の流れの例を説明するフローチャートである。学習処理の流れの例を説明するフローチャートである。画像投影システムの主な構成例を示すブロック図である。画像投影と遮光の様子の例を説明するための図である。制御装置の主な構成例を示すブロック図である。遮光時間の制御の様子の例を説明するための図である。画像表示処理の流れの例を説明するフローチャートである。画像投影システムの主な構成例を示すブロック図である。画像投影システムの主な構成例を示すブロック図である。画像投影システムの主な構成例を示すブロック図である。画像投影システムの主な構成例を示すブロック図である。コンピュータの主な構成例を示すブロック図である。

　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．複数の投影装置による高フレームレート画像投影
　２．第１の実施の形態（画像投影システム・出力時間の制御）
　３．第２の実施の形態（画像投影システム・出力時間および輝度の制御）
　４．アクティブシャッタ方式による立体視画像投影
　５．第３の実施の形態（画像投影システム・出力時間の制御）
　６．第４の実施の形態（画像投影システム・出力時間および輝度の制御）
　７．第５の実施の形態（画像投影システム・他の構成例）
　８．その他

　＜１．複数の投影装置による高フレームレート画像投影＞
　　＜画像投影システム＞
　従来、例えば、特許文献１乃至特許文献３に記載のように、高フレームレートの映像を低フレームレートの画像投影装置に分配して投影する方法があった。例えば、図１に示される画像投影システム１０は、動画像を、４台の投影装置１２（投影装置１２－１乃至投影装置１２－４）により投影するシステムである。

　この画像投影システム１０に入力される動画像（入力画像とも称する）のフレームレートは毎秒１２０フレームである。これに対して、投影装置１２－１乃至投影装置１２－４は、それぞれ、毎秒３０フレームで画像を投影する。そこで、振分装置１１は、図２に示されるように、入力画像の各フレーム画像を、順次、投影装置１２－１乃至投影装置１２－４に循環的に振り分ける。投影装置１２－１乃至投影装置１２－４は、自身に振り分けられたフレーム画像を順次投影する。投影装置１２のフレームレートは毎秒３０フレームであるので、各投影装置１２には、前のフレーム画像の投影が終了するタイミングで、次のフレーム画像が振分装置１１から供給される。したがって、各投影装置１２は、その次のフレーム画像を投影する。このように各投影装置１２は、互いに１２０分の１秒ずつずれたタイミングでフレーム画像を投影する。

　例えば、投影装置１２－１は、フレーム番号１、５、９、・・・のフレーム画像を投影し、投影装置１２－２は、それより１２０分の１秒遅れたタイミングで、フレーム番号２、６、１０、・・・のフレーム画像を投影し、投影装置１２－３は、それより１２０分の１秒遅れたタイミングで、フレーム番号３、７、１１、・・・のフレーム画像を投影し、投影装置１２－４は、それより１２０分の１秒遅れたタイミングで、フレーム番号４、８、１２、・・・のフレーム画像を投影する。

　したがって、スクリーン１３に投影された投影画像は、各投影装置１２から投影された画像が重畳された画像となる。例えば、点線枠２１に示されるように、フレーム番号４の投影画像は、投影装置１２－１より投影されたフレーム番号１のフレーム画像、投影装置１２－２より投影されたフレーム番号２のフレーム画像、投影装置１２－３より投影されたフレーム番号３のフレーム画像、および、投影装置１２－４より投影されたフレーム番号４のフレーム画像が重畳された画像となる。図２に示されるように、このように重畳されるフレーム画像は、１２０分の１秒毎に変化する。つまり、投影画像は１２０分の１秒毎に変化するので、投影画像のフレームレートは毎秒１２０フレームとなる。

　しかしながら、この方法の場合、投影画像において、図２の点線枠２１に示されるように、互いに異なる時刻のフレーム画像が重畳される。そのため、動きのある画像の場合、その部分に重畳ボケが発生し、主観画質が低減するおそれがあった。

　例えば、入力画像が、図３のＡのように自動車３１が右から左に移動する動画像である場合、各フレーム画像において自動車３１の位置が異なるので、それらのフレーム画像を重畳すると、図３のＢに示される例のように、自動車３１の位置が互いにずれて重畳され、残像のように見える所謂重畳ボケが発生してしまう。そのため主観画質が低減するおそれがあった。

　これに対して、例えば、図４に示されるように、各投影装置１２が各フレーム画像を１２０分の１秒しか投影しないようにする方法が考えられる。このようにすることにより、投影画像において各投影装置１２から投影された画像が互いに重畳しないので、重畳ボケの発生を抑制することができる。しかしながら、この場合、図２の例に比べて明るさが４分の１に低減してしまうので主観画質が低減するおそれがあった。

　　＜投影画像の見える時間制御＞
　そこで、動画像の各フレーム画像に基づいて、ユーザがその動画像の各フレーム画像の投影画像を視認可能な時間を制御するようにする。例えば、画像処理装置が、動画像の各フレーム画像に基づいて、ユーザがその動画像の各フレーム画像の投影画像を視認可能な時間を制御する制御部を備えるようにする。このようにすることにより、入力画像と投影画像との差がより小さくなるように動画像を投影することができる。すなわち、主観画質の低減を抑制することができる。

　＜２．第１の実施の形態＞
　　＜画像投影システム＞
　図５は、本技術を適用した画像投影システムの一実施の形態の主な構成例を示すブロック図である。図５において、画像投影システム１００は、入力される動画像（入力画像とも称する）の各フレーム画像を複数の投影装置を循環的に用いて投影することにより、投影装置のフレームレートよりも高フレームレートの動画像を投影することができるシステムである。

　図５に示されるように、画像投影システム１００は、中央処理装置１１１、並びに、投影装置１１２－１乃至投影装置１１２－４を有する。中央処理装置１１１は、本技術を適用した画像処理装置の一実施の形態であり、投影対象である動画像（入力画像）の各フレーム画像に関する処理を行う。中央処理装置１１１は、例えば、画像処理部１２１および振分部１２２を有する。画像処理部１２１は、本技術を適用した画像処理部の一実施の形態であり、投影対象である動画像（入力画像）の各フレーム画像に対する画像処理に関する処理を行う。振分部１２２は、投影対象である動画像（入力画像）の各フレーム画像の振り分けに関する処理を行う。

　投影装置１１２－１乃至投影装置１１２－４は、画像を投影する機能を備える装置であり、画像の投影に関する処理を行う。なお、投影装置１１２－１乃至投影装置１１２－４を互いに区別して説明する必要がない場合、投影装置１１２と称する。投影装置１１２は、例えば、毎秒３０フレームのフレームレートで画像を投影する。

　画像投影システム１００に入力される入力画像は、フレームレートが毎秒１２０フレームの動画像である。この入力画像は、中央処理装置１１１（の画像処理部１２１）に入力される。画像処理部１２１は、その入力画像の各フレーム画像に基づいて、ユーザがその入力画像の各フレーム画像がスクリーン１１３に投影された投影画像を視認可能な時間を制御するための画像処理を行う。この画像処理の詳細については後述する。画像処理部１２１は、各フレーム画像を毎秒１２０フレームのフレームレートで振分部１２２に供給する。

　振分部１２２は、供給される各フレーム画像を、順次、投影装置１１２－１乃至投影装置１１２－４に循環的に振り分ける。例えば、振分部１２２は、投影装置１１２－１に対してフレーム番号１、５、９、・・・のフレーム画像を振り分け、投影装置１１２－２に対してフレーム番号２、６、１０、・・・のフレーム画像を振り分け、投影装置１１２－３に対してフレーム番号３、７、１１、・・・のフレーム画像を振り分け、投影装置１１２－４に対してフレーム番号４、８、１２、・・・のフレーム画像を振り分ける。

　各投影装置１１２は、自身に振り分けられたフレーム画像を、出力画像として順次出力し、スクリーン１１３の同じ位置に投影する。上述のように各投影装置１１２には、フレームレートが毎秒１２０フレームの動画像の４フレーム毎に１フレームが振り分けられる。つまり、各投影装置１１２には、毎秒３０フレームのフレームレートでフレーム画像が供給される。したがって、毎秒３０フレームのフレームレートで画像を投影することができる各投影装置１１２は、供給されるフレーム画像を順次投影することができる。つまり、画像投影システム１００は、入力画像のフレームレートよりも低レートで画像を投影する投影装置１１２を用いて、その入力画像を、入力画像のフレームレートで投影することができる。換言するに、画像投影システム１００は、投影装置１１２の画像投影のフレームレートよりも高レートの入力画像を、その入力画像のフレームレートで投影することができる。

　また、振分部１２２が毎秒１２０フレームの動画像の各フレーム画像を順次振り分けることにより、各投影装置１１２にフレーム画像が振り分けられるタイミングは１２０分の１秒ずつずれる。そのため、各投影装置１１２の出力画像を投影するタイミングも１２０分の１秒ずつずれる。したがって、画像投影システム１００は、図１の画像投影システム１０の場合と同様に、毎秒１２０フレームのフレームレートで画像を投影することができる。

　　＜画像処理部＞
　図６は、画像処理部１２１の主な構成例を示すブロック図である。図６に示されるように、画像処理部１２１は、記憶部１３１および出力時間算出部１３２を有する。記憶部１３１は、入力画像を記憶する。記憶部１３１は、所定のタイミングにおいて、または、出力時間算出部１３２等の外部の要求に基づいて、記憶している入力画像を出力時間算出部１３２に供給する。

　出力時間算出部１３２は、記憶部１３１から入力画像の各フレーム画像を取得し、その各フレーム画像に基づいて、各フレーム画像を投影装置１１２から出力する時間（出力時間とも称する）を制御する。

　フレームレート程度のような短時間においては、一般的に、フレーム画像の出力時間が短くなる程投影画像は暗くなる（輝度が低減する）。つまり、入力画像と投影画像の輝度の差は、ユーザが投影画像を視認可能な時間が短くなることにより増大する。したがって、図７のグラフの直線１５１のように、出力時間が短くなる程、投影画像の入力画像に対する誤差（この場合、投影画像と入力画像との輝度差）は大きくなる。

　また、一般的に、フレーム画像の出力時間が長くなる程、注目フレーム画像の投影画像が他のフレーム画像の投影画像と重畳（オーバーラップ）する時間が長くなる（場合によっては重畳するフレーム画像の数も増大する）。時刻の異なる複数のフレーム画像（の投影画像同士）が重畳すると図３のＢを参照して説明したように所謂重畳ボケが発生する。つまり、複数のフレーム画像の投影画像が重畳することにより生じる投影画像と入力画像との差は、ユーザが投影画像を視認可能な時間が長くなることにより増大する。したがって、図７のグラフの曲線１５２のように、複数のフレーム画像の投影画像が重畳する程各フレーム画像の出力時間が長い場合、その出力時間が長くなる程、投影画像の入力画像に対する誤差（この場合、重畳ボケ）は大きくなる。

　図７のグラフに示されるように、以上のような表現可能な輝度値の制約による誤差（輝度減少による誤差）と、残像劣化による誤差（重畳ボケによる誤差）との両方を考慮した総合的な誤差は、直線１５１と曲線１５２との増減の様子から、例えば、曲線１５３のような曲線状となる。換言するに、出力時間算出部１３２は、各フレーム画像の出力時間を制御することにより、この総合的な誤差（輝度の減少による入力画像と投影画像との差、および、ユーザが投影画像を視認可能な時間が長くなることにより増大する入力画像と投影画像との差）の大きさを制御することができる。

　例えば、入力画像が毎秒１２０フレーム（120Hz）であり、投影装置１１２－１乃至投影装置１１２－４がそれぞれ毎秒３０フレーム（30Hz）で出力画像を出力するとする。また、各フレーム画像の出力時間の最大値をフレームレートの１フレーム分の時間（この場合1/30秒（約33.3ms））とし、パラメータαが、出力時間を、その最大値に対する割合（％）で表すパラメータであるとする。

　α＝50％の場合、投影装置１１２－１乃至投影装置１１２－４は、図８のように各フレーム画像を出力する。図８に示される各長方形は、各投影装置１１２が出力画像を出力している期間を示し、数字はその出力画像のフレーム番号を示している。この場合、各フレーム画像は、その前後のフレーム画像と1/120秒（約8.3ms）ずつ重畳（オーバーラップ）している。

　このように、出力時間算出部１３２（画像処理部１２１）は、フレーム画像の出力時間を表すパラメータαを求め、それを各投影装置１１２に供給することにより、各フレーム画像の出力時間を制御することができる。各フレーム画像の出力時間が変化することにより、ユーザが各フレーム画像の投影画像を視認可能な時間が変化する。つまり、出力時間算出部１３２（画像処理部１２１）は、入力画像の各フレーム画像に基づいて、ユーザがその各フレーム画像の投影画像を視認可能な時間を制御することができる。

　上述のように、「ユーザがその各フレーム画像の投影画像を視認可能な時間」として「各フレーム画像の出力時間」を制御することにより、輝度減少による誤差と重畳ボケによる誤差との総合的な誤差の大きさを制御することができるのであるから、出力時間算出部１３２は、このような制御により、投影画像の主観画質の低減を抑制することができる。

　例えば、出力時間算出部１３２が、輝度減少による誤差（輝度の減少による投影画像と入力画像との差）と重畳ボケによる誤差（複数のフレーム画像（の投影画像）が重畳した状態の投影画像と入力画像との差）との総合的な誤差を抑制するように（すなわち、この総合的な誤差の大きさが低減するように）、このパラメータαを求めるようにしてもよい。このようにすることにより、出力時間算出部１３２は、投影画像の主観画質の低減を抑制することができる。

　例えば、出力時間算出部１３２が、この輝度減少による誤差と重畳ボケによる誤差との総合的な誤差が最小となるように、パラメータαを求めるようにしてもよい。例えば、出力時間算出部１３２が、図７のグラフにおいて、曲線１５３の最小値が得られる出力時間である最適出力時間（点線１５４）を求め、その最適出力時間を表すパラメータαを各投影装置１１２に供給するようにしてもよい。このようにすることにより、出力時間算出部１３２は、投影画像の主観画質の低減をより抑制することができる。

　なお、出力時間算出部１３２が、このパラメータαを、フレーム画像毎に求めるようにしてもよい。例えば、図９に示される例のように、全てのフレーム画像の出力時間が統一されていなくてもよい。つまり、出力時間算出部１３２は、入力画像の各フレーム画像について、ユーザが投影画像を視認可能な時間を制御するようにしてもよい。

　一般的に、上述した輝度減少による誤差や重畳ボケによる誤差は、画像の内容によって変化する。したがって、出力時間算出部１３２が、各フレーム画像の内容に応じて、フレーム画像毎にパラメータαを求めるようにすることにより、総合的な誤差をより抑制することができる。つまり、出力時間算出部１３２は、投影画像の主観画質の低減をより抑制することができる。

　　＜パラメータαの求め方１＞
　次に、上述の出力時間を示すパラメータαの求め方について説明する。上述のように、このパラメータαは、フレーム画像の出力時間を、その出力時間の最大値（例えばフレームレートの１フレーム分の時間）に対する割合（％）で表すとする。

　フィルタ演算（係数D_i,α）によって、投影装置１１２から出力される出力画像の画素値（出力画素値）Y_i,αは、入力画像の画素値（入力画素値）X_iを用いて以下の式（１）のように見積もることができる。なお、kは、フィルタの周辺タップループを示すパラメータである。

　・・・（１）

　なお、この画素値を輝度値とすると、入力画素値X_iは、入力輝度値X_iとも称する。また、出力画素値Y_i,αは、出力輝度値Y_i,αとも称する。さらに、入力画素値X_iをそのまま出力させる場合、出力画素値Y_i,αは、以下の式（２）のように見積もることもできる。

　・・・（２）

　出力時間の減少（パラメータα）に応じて、出力画素値に対して以下の式（３）のように制約がくわわる。なお、出力時間が減少しない場合（すなわちパラメータα＝１００％の場合）の最大出力画素値（最大出力輝度値）をY_maxとする。また、式（３）において、CLIP（x,L,H）は、xを最小値L、最大値Hの間にクリップする関数とする。

　・・・（３）

　スクリーン１１３に投影された投影画像の画素値（投影画素値）Z_i,αは、オーバーラップによるぼけ係数B_j,αを用いて以下の式（４）のように見積もることができる。なお、式（４）において、ｊは、投影装置１１２を識別するパラメータである。

　・・・（４）

　なお、この画素値を輝度値とすると、投影画素値Z_i,αは、投影輝度値Z_i,αとも称する。画像投影システム１００が有する投影装置１１２は４台であるので、投影画素値Z_i,αの理想値は、各フレーム画像の輝度値が互いに同一であるとすると、入力画素値X_iの４倍（すなわち、４X_i）である。したがって、画素毎の誤差（画素毎の入力画像と投影画像との差）e_i,αは、以下の式（５）のように求めることができる。

・・・（５）

　この値を一画面内（フレーム画像全体）で集計することにより、そのフレーム画像全体の誤差E_i,αは、以下の式（６）のように求めることができる。

　・・・（６）

　なお、式（６）においては、フレーム画像全体の誤差E_i,α（面内総和E_i,αとも称する）を二乗誤差和として求めたが、このフレーム画像全体の誤差E_i,αの算出方法は任意であり、この例に限定されない。例えば、一乗誤差の総和をフレーム画像全体の誤差E_i,αとしてもよいし、最大誤差値を選択し、それをフレーム画像全体の誤差E_i,αとするようにしてもよい。

　つまり、フレーム画像全体の誤差E_i,αは、パラメータαの関数として表すことができる。したがって、出力時間算出部１３２は、出力時間、すなわち、パラメータαを設定することにより、フレーム画像全体の誤差E_i,αを設定することができる。つまり、出力時間算出部１３２は、パラメータαを設定することにより、投影画像の主観画質の低減を抑制するように制御することができる。

　したがって、例えば、出力時間算出部１３２は、このフレーム画像全体の誤差E_i,αの増大を抑制するように、出力時間（パラメータα）を設定することにより、投影画像の主観画質の低減を抑制することができる。また、例えば、出力時間算出部１３２は、フレーム画像全体の誤差E_i,αが最小となるように、出力時間（パラメータα）を設定する（つまり最適出力時間を求める）ことにより、投影画像の主観画質の低減をより抑制することができる。

　　＜画像表示処理の流れ＞
　次に、このような画像投影システム１００において実行される処理の流れについて説明する。画像投影システム１００は、上述のように高フレームレートの動画像を投影する場合、画像表示処理を行う。図１０のフローチャートを参照して、この画像表示処理の流れの例を説明する。

　画像表示処理が開始されると、画像処理部１２１は、ステップＳ１０１において、フレームレートが毎秒１２０フレームの入力画像に基づいて、出力時間を制御する画像処理を行う。

　ステップＳ１０２において、振分部１２２は、その入力画像の各フレーム画像を、各投影装置１１２に振り分ける。また、振分部１２２は、ステップＳ１０１において算出されたパラメータαを各投影装置１１２に振り分ける。

　ステップＳ１０３において、各投影装置１１２は、自身に振り分けられた各フレーム画像を、自身に振り分けられたパラメータαに応じた出力時間で出力する（投影する）。このようにして各フレーム画像が順次投影される。

　画像の投影が終了すると画像表示処理が終了する。

　　＜画像処理の流れ＞
　次に、図１１のフローチャートを参照して、図１０のステップＳ１０１において実行される画像処理の流れの例を説明する。

　画像処理が開始されると、画像処理部１２１の記憶部１３１は、ステップＳ１１１において、入力画像の全フレーム画像を記憶する。

　ステップＳ１１２において、出力時間算出部１３２は、記憶部１３１に記憶されている入力画像の各フレーム画像に基づいて、各フレーム画像の出力時間を求める。例えば、出力時間算出部１３２は、その出力時間を表すパラメータαを求める。

　出力時間（パラメータα）が求められると画像処理が終了し、処理は図１０に戻る。

　　＜出力時間算出処理の流れ＞
　次に、図１２のフローチャートを参照して、図１１のステップＳ１１２において実行される出力画像算出処理の流れの例を説明する。

　出力時間算出処理が開始されると、出力時間算出部１３２は、ステップＳ１２１において、処理対象とする水平座標である注目水平座標を、入力画像のフレーム画像の未処理の水平座標の中から設定する。

　ステップＳ１２２において、出力時間算出部１３２は、処理対象とする垂直座標である注目垂直座標を、入力画像のフレーム画像の未処理の垂直座標の中から設定する。

　ステップＳ１２３において、出力時間算出部１３２は、周辺タップループkを設定する（k=-m～m）。

　ステップＳ１２４において、出力時間算出部１３２は、記憶部１３１より入力画素値Xi+kを読み出す。

　ステップＳ１２５において、出力時間算出部１３２は、上述の式（１）（または式（２））で示される予測演算により出力画素値Y_i,αを算出する。

　ステップＳ１２６において、出力時間算出部１３２は、上述の式（３）により、出力時間制御による最大輝度の制約を出力画素値Y_i,αに反映する。

　ステップＳ１２７において、出力時間算出部１３２は、上述の式（４）により、輝度値制約後の投影画素値Z_i,αを算出する。

　ステップＳ１２８において、出力時間算出部１３２は、入力画素値X_iと投影画素値Z_i,αとの誤差e_i,αを算出する。

　ステップＳ１２９において、出力時間算出部１３２は、全ての周辺タップループkについて処理を行ったか否かを判定する。未処理の周辺タップループkが存在すると判定された場合、処理はステップＳ１２３に戻り、それ以降の処理を繰り返す。すなわち、ステップＳ１２３乃至ステップＳ１２９の各処理が周辺タップループk毎に繰り返される。そして、ステップＳ１２９において全ての周辺タップループkについて処理が行われたと判定された場合、処理はステップＳ１３０に進む。

　ステップＳ１３０において、出力時間算出部１３２は、全ての垂直座標について処理を行ったか否かを判定する。未処理の垂直座標が存在すると判定された場合、処理はステップＳ１２２に戻り、それ以降の処理を繰り返す。すなわち、ステップＳ１２２乃至ステップＳ１３０の各処理が垂直座標毎に繰り返される。そして、ステップＳ１３０において全ての垂直座標について処理が行われたと判定された場合、処理はステップＳ１３１に進む。

　ステップＳ１３１において、出力時間算出部１３２は、全ての水平座標について処理を行ったか否かを判定する。未処理の水平座標が存在すると判定された場合、処理はステップＳ１２１に戻り、それ以降の処理を繰り返す。すなわち、ステップＳ１２１乃至ステップＳ１３１の各処理が水平座標毎に繰り返される。そして、ステップＳ１３１において全ての水平座標について処理が行われたと判定された場合、処理はステップＳ１３２に進む。

　ステップＳ１３２において、出力時間算出部１３２は、ステップＳ１２８において算出された画素毎の誤差e_i,αの面内総和E_i,αを算出する。

　ステップＳ１３３において、出力時間算出部１３２は、ステップＳ１３２において算出された面内総和E_i,αが最小となる最適出力時間（そのパラメータα）を求める。

　ステップＳ１３３の処理が終了すると、出力時間算出処理が終了し、処理は図１１に戻る。

　以上のように各処理を行うことにより、出力時間算出部１３２（画像処理部１２１）は、入力画像と投影画像との誤差が最小となるように各フレーム画像の出力時間を制御することができる。したがって、画像投影システム１００は、投影画像における重畳ボケの発生および輝度低減による主観画質の低減を抑制することができる。

　なお、画像投影システム１００は、上述のように画像投影を行うことにより、低フレームレートの投影装置１１２を用いて高フレームレートの映像を投影することができる。したがって、より安価に高フレームレートの投影を実現することができる。また、以上のように、画像投影システム１００は、眼鏡等の特殊な視聴装置を必要とせずに、画像処理部１２１による映像信号の変換のみで主観画質の低減を抑制することができる。つまり、画像投影システム１００は、より容易かつ安価に主観画質の低減を抑制することができる。さらに、画像投影システム１００は、投影装置１１２の数を増大させることにより、さらなる高フレームレートの画像投影を実現することができる。

　なお、以上においては、フレーム画像の全画素を対象として入力画像と投影画像との差（誤差）を求めるように説明したが、これに限らず、一部の画素について誤差を算出し、その一部の画素の誤差を用いて誤差の面内総和を求めるようにしてもよい。

　　＜パラメータαの求め方２＞
　なお、出力時間を示すパラメータαの求め方は、任意であり、上述の例に限定されない。このパラメータαの求め方の他の例について、いかに説明する。上述のように、このパラメータαは、フレーム画像の出力時間を、その出力時間の最大値（例えばフレームレートの１フレーム分の時間）に対する割合（％）で表すとする。

　輝度減少による誤差e_clip.i.α（第１の差）は、入力画素値Xiを出力時間の減少（パラメータα）に応じて制約することで、以下の式（７）のように見積もることができる。つまり、この第１の差は、ユーザが投影画像を視認可能な時間の長さに基づいて見積もることができる。例えば、この第１の差は、ユーザが投影画像を視認可能な時間の、その最大値に対する割合（ユーザが投影画像を視認可能な時間が最大の場合に対する割合）に基づいて見積もることができる。

　・・・（７）

　また、輝度変化が大きい箇所程重畳ボケが発生しやすいので、重畳ボケによる誤差e_deblur,i,α（第２の差）は、周囲の隣接画素との差分値の総和を特徴量として、以下の式（８）のように見積もることができる。つまり、この第２の差は、注目画素と周辺画素との差に基づいて見積もることができる。

　・・・（８）

　したがって、フレーム画像全体の誤差E_i,α（第１の差および第２の差の画像全体の総和）は、以下の式（９）のように求めることができる。

　・・・（９）

　　＜出力時間算出処理の流れ＞
　この場合も、画像表示処理は、図１０のフローチャートを参照して説明した場合と同様の流れで行われる。また、その画像表示処理のステップＳ１０１において実行される画像処理も、図１１のフローチャートを参照して説明した場合と同様の流れで行われる。

　また、この場合の、図１１のステップＳ１１２において実行される出力画像算出処理の流れの例を、図１３のフローチャートを参照して説明する。

　この場合も、出力時間算出処理が開始されると、出力時間算出部１３２は、ステップＳ１４１において、処理対象とする水平座標である注目水平座標を、入力画像のフレーム画像の未処理の水平座標の中から設定する。

　ステップＳ１４２において、出力時間算出部１３２は、処理対象とする垂直座標である注目垂直座標を、入力画像のフレーム画像の未処理の垂直座標の中から設定する。

　ステップＳ１４３において、出力時間算出部１３２は、周辺タップループkを設定する（k=-m～m）。

　ステップＳ１４４において、出力時間算出部１３２は、記憶部１３１より入力画素値X_i+kを読み出す。

　ステップＳ１４５において、出力時間算出部１３２は、上述の式（７）に示されるように、輝度減少による誤差e_clip,i,αを算出する。

　ステップＳ１４６において、出力時間算出部１３２は、上述の式（８）に示されるように、重畳ボケによる誤差e_deblur,i,αを算出する。

　ステップＳ１４７において、出力時間算出部１３２は、全ての周辺タップループkについて処理を行ったか否かを判定する。未処理の周辺タップループkが存在すると判定された場合、処理はステップＳ１４３に戻り、それ以降の処理を繰り返す。すなわち、ステップＳ１４３乃至ステップＳ１４７の各処理が周辺タップループk毎に繰り返される。そして、ステップＳ１４７において全ての周辺タップループkについて処理が行われたと判定された場合、処理はステップＳ１４８に進む。

　ステップＳ１４８において、出力時間算出部１３２は、全ての垂直座標について処理を行ったか否かを判定する。未処理の垂直座標が存在すると判定された場合、処理はステップＳ１４２に戻り、それ以降の処理を繰り返す。すなわち、ステップＳ１４２乃至ステップＳ１４８の各処理が垂直座標毎に繰り返される。そして、ステップＳ１４８において全ての垂直座標について処理が行われたと判定された場合、処理はステップＳ１４９に進む。

　ステップＳ１４９において、出力時間算出部１３２は、全ての水平座標について処理を行ったか否かを判定する。未処理の水平座標が存在すると判定された場合、処理はステップＳ１４１に戻り、それ以降の処理を繰り返す。すなわち、ステップＳ１４１乃至ステップＳ１４９の各処理が水平座標毎に繰り返される。そして、ステップＳ１４９において全ての水平座標について処理が行われたと判定された場合、処理はステップＳ１５０に進む。

　ステップＳ１５０において、出力時間算出部１３２は、ステップＳ１４５において算出された画素毎の輝度減少による誤差e_clip,i,αと、ステップＳ１４６において算出された重畳ボケによる誤差e_deblur,i,αとの面内総和E_i,αを、上述した式（９）に示されるように算出する。

　ステップＳ１５１において、出力時間算出部１３２は、ステップＳ１５０において算出された面内総和E_i,αが最小となる最適出力時間（そのパラメータα）を求める。

　ステップＳ１５１の処理が終了すると、出力時間算出処理が終了し、処理は図１１に戻る。

　以上のように各処理を行うことにより、出力時間算出部１３２（画像処理部１２１）は、この場合も、入力画像と投影画像との誤差が最小となるように各フレーム画像の出力時間を制御することができる。したがって、画像投影システム１００は、投影画像における重畳ボケの発生および輝度低減による主観画質の低減を抑制することができる。

　以上においては、出力画素値Y_i,αや投影画素値Z_i,αを見積もる際に、フィルタ演算を用いるように説明したが、この見積もりの手法は任意であり、フィルタ演算に限定されない。例えば、線形計画法による最適化等、他の方法を用いるようにしてもよい。

　＜３．第２の実施の形態＞
　　＜画像投影システム＞
　第１の実施の形態においては、フレーム画像の出力時間を制御するように説明したが、この例に限らず、例えば、画像処理部１２１が、さらに、入力画像の各フレーム画像の投影画像において複数のフレーム画像が重畳することによる影響を抑制する画像処理を、投影前の各フレーム画像に対して行うようにしてもよい。

　より具体的には、例えば、画像処理部１２１が、投影画像（複数フレーム画像同士の）の重畳に応じて、各フレーム画像の画素値（輝度値）を補正する画像処理を行うようにしてもよい。例えば、画像処理部１２１が、入力画像と投影画像との誤差が最小となるように画素値を補正するようにしてもよい。

　画像処理部１２１が、投影画像の重畳に応じて、入力画像の各フレーム画像の画素値（輝度値）を補正する場合も、ある程度の誤差低減を図ることはできるものの、投影装置１１２の同期ズレに起因するモデルずれ等により、補正性能には限界がある。したがって、図７のグラフの曲線１５２の場合と同様に、その限界を超えると、出力時間の長期間化に伴って補正誤差（残像劣化の補正誤差）が増大する。

　そのため、第１の実施の形態の場合と同様に、画像投影システム１００は、各フレーム画像の出力時間を制御する（ユーザの、入力画像の各フレーム画像の投影画像を視認可能な時間を制御する）ことにより、輝度減少による誤差と残像劣化の補正誤差の総合的な誤差の増大を抑制することができる。したがって、画像投影システム１００は、投影画像の主観画質の低減を抑制することができる。

　このような場合も、画像投影システム１００は、基本的に第１の実施の形態の場合（図５）と同様の構成を有する。

　　＜画像処理部＞
　ただし、この場合、画像処理部１２１は、図１４に示されるように、記憶部１３１および出力算出部２０１を有する。

　出力算出部２０１は、入力画像の各フレーム画像に基づいて、各フレーム画像の出力時間に関する情報（例えばパラメータα）と、出力画素値Y_i,αとを求め、それらを各投影装置１１２に供給することにより、各フレーム画像の出力時間や各画素の出力輝度値を制御する。例えば、図１４に示されるように、出力算出部２０１は、学習部２１１および予測部２１２を有する。

　第１の実施の形態の場合と同様に、記憶部１３１は、入力される動画像の全フレーム画像を記憶する。また、記憶部１３１は、所定のタイミングにおいて、または、学習部２１１や予測部２１２等の外部の要求に基づいて、記憶している入力画像を学習部２１１および予測部２１２に供給する。

　学習部２１１は、フィルタの最適化するための学習処理に関する処理を行う。例えば、学習部２１１は、第１の実施の形態において説明したように、出力時間（パラメータα）を設定する。

　さらに学習部２１１は、図１５に示されるように、予め用意された所定の動画像を学習サンプルとして用いて空間方向および時間方向にフィルタを形成し、そのフィルタを用いて学習サンプルをフィルタ処理する。そして、学習部２１１は、そのフィルタ処理結果と投影画像とが一致するように学習処理を行い、パラメータαに対応するフィルタ係数D_k,αを算出する。

　　＜パラメータαの求め方３＞
　第１の実施の形態において説明したように、出力画素値Z_i,αは、式（４）のように見積もることができる。図１６にぼけ係数B_j,αの値の例を示す。また、第１の実施の形態において説明したように、出力画素値Y_i,αは、入力画素値X_iの線形結合により式（１）のように見積もることができる。

　これらの式から、画素値Z_i,αは、画素値X_iを用いて、以下の式（１０）のように表すことができる。

　・・・（１０）

　スクリーン１１３に投影された投影画素値Z_i,αが入力画素値X_iと一致（定数倍）するように出力画素値Y_i,αを最適化するためには、入力画像と投影画像との誤差e_i,αを最小化する必要がある。画素値Z_i,αは、誤差e_i,αを用いて以下の式（１１）のように表すことができる。

　・・・（１１）

　式（１０）および式（１１）から、誤差e_i,αは、以下の式（１２）のように表すことができる。

　・・・（１２）

　したがって、学習部２１１は、予め用意された動画像を学習サンプルとし、既知の値をB_j,αとし、変数をD_i,αとし、学習サンプルをX_i,sとして、最小化関数を以下の式（１３）として、最小二乗法により係数D_k,αを算出する。

　・・・（１３）

　m=7の場合の係数D_k,αの算出例を図１７に示す。図１７のＡは、各ｋの場合の係数D_k,αの値を表で表したものであり、図１７のＢは、それをグラフ化したものである。

　学習部２１１は、以上のような学習の結果得られたパラメータαと係数D_k,αを予測部２１２に供給する。

　予測部２１２は、入力画像（入力画素値X_i）から出力画像（出力画素値Y_i,α）を予測する予測演算に関する処理を行う。例えば、予測部２１２は、学習部２１１から供給されたパラメータαおよび係数D_k,αと式（１２）を用いて、入力画素値X_iから出力画素値Y_i,αを予測する。予測部２１２は、注目座標毎に同様に予測演算を行い、出力画素値Y_i,αを算出する。このようにすることにより、投影画像と入力画像との誤差（差分値）が最小となるような出力画素値Y_i,αが得られる。予測部２１２は、その出力画素値Y_i,αおよびパラメータαを、毎秒１２０フレームのフレームレートで振分部１２２に供給する。

　振分部１２２は、このように画像処理部１２１により画像処理された（画素値が補正された）フレーム画像を順次各投影装置１１２に振り分ける。また振分部１２２は、画像処理部１２１から供給されたパラメータαを順次各投影装置１１２に振り分ける。

　各投影装置１１２は、自身に振り分けられたフレーム画像を、自身に振り分けられたパラメータαに対応する出力時間で出力する（スクリーン１１３に投影する）。このようにすることにより、スクリーン１１３に投影された投影画像は、入力画像との誤差が最小となるように画素値（輝度値）および出力時間が調整された状態となる。したがって、主観画質の低減を抑制することができる。

　なお、フレーム番号ｉ＝１、２、３の区間については投影画像において４つのフレーム画像が重畳されていないため、以上においては制約条件に含めていない。これらの区間については、別途、制約条件式を立てて算出するようにしてもよい。このようにすることにより、最初のフレームから主観画質の低減を抑制することができる。また、これらの区間については画像処理を省略するようにしてもよい。このようにすることにより、画像処理を行うことによる負荷の増大を抑制することができる。

　　＜画像表示処理の流れ＞
　次に、このような画像投影システム１００において実行される処理の流れについて説明する。この場合も画像投影システム１００は、上述のように高フレームレートの動画像を投影する場合、画像表示処理を行う。この画像表示処理の流れは、第１の実施の形態の場合（図１０のフローチャート）と同様であるので、その説明を省略する。

　　＜画像処理の流れ＞
　次に、図１８のフローチャートを参照して、この場合の、図１０のステップＳ１０１において実行される画像処理の流れの例を説明する。

　画像処理が開始されると、学習サンプルとして予め用意された動画像が入力される。画像処理部１２１の記憶部１３１は、ステップＳ２０１において、その動画像の全フレーム画像を記憶する。

　ステップＳ２０２において、学習部２１１は、学習処理を行い、出力時間を示すパラメータαとフィルタ係数D_k,αとを求める。

　ステップＳ２０３において、予測部２１２は、ステップＳ２０２において得られたパラメータαおよびフィルタ係数D_k,αを用いて、出力画素値Y_i,αを予測する予測処理を行う。出力画素値Y_i,αが求められると画像処理が終了し、処理は図１０に戻る。

　　＜学習処理の流れ＞
　次に、図１９のフローチャートを参照して、図１８のステップＳ２０２において実行される学習処理の流れの例を説明する。

　学習処理が開始されると、学習部２１１は、ステップＳ２１１乃至ステップＳ２２３の各処理を、図１２の出力時間算出処理のステップＳ１２１乃至ステップＳ１３３の各処理と同様に実行し、パラメータαを求める。

　ステップＳ２２４において、学習部２１１は、そのパラメータαを用いて、最小化関数を上述した式（１３）として、最小二乗法によりフィルタ係数D_k,αを算出する。フィルタ係数D_k,αが算出されると学習処理が終了し、処理は図１８に戻る。

　　＜予測処理の流れ＞
　次に、図２０のフローチャートを参照して、図１８のステップＳ２０３において実行される予測処理の流れの例を説明する。

　予測処理が開始されると、予測部２１２は、ステップＳ２３１において、処理対象とする水平座標である注目水平座標を、入力画像のフレーム画像の未処理の水平座標の中から設定する。

　ステップＳ２３２において、予測部２１２は、処理対象とする垂直座標である注目垂直座標を、入力画像のフレーム画像の未処理の垂直座標の中から設定する。

　ステップＳ２３３において、予測部２１２は、周辺タップループkを設定する（k=-m～m）。

　ステップＳ２３４において、予測部２１２は、入力画素値X_i+kを読み出す。

　ステップＳ２３５において、予測部２１２は、予測演算により出力Y画素値_i,αを算出する。すなわち、予測部２１２は、図１９の学習処理により求められたフィルタ係数D_k,αを式（１）に代入し、その式（１）を用いて出力画素値Y_i,αを求める。

　ステップＳ２３６において、予測部２１２は、全ての周辺タップループkについて処理を行ったか否かを判定する。未処理の周辺タップループkが存在すると判定された場合、処理はステップＳ２３３に戻り、それ以降の処理を繰り返す。すなわち、ステップＳ２３３乃至ステップＳ２３６の各処理が周辺タップループk毎に繰り返される。そして、ステップＳ２３６において全ての周辺タップループkについて処理が行われたと判定された場合、処理はステップＳ２３７に進む。

　ステップＳ２３７において、予測部２１２は、全ての垂直座標について処理を行ったか否かを判定する。未処理の垂直座標が存在すると判定された場合、処理はステップＳ２３２に戻り、それ以降の処理を繰り返す。すなわち、ステップＳ２３２乃至ステップＳ２３７の各処理が垂直座標毎に繰り返される。そして、ステップＳ２３７において全ての垂直座標について処理が行われたと判定された場合、処理はステップＳ２３８に進む。

　ステップＳ２３８において、予測部２１２は、全ての水平座標について処理を行ったか否かを判定する。未処理の水平座標が存在すると判定された場合、処理はステップＳ２３１に戻り、それ以降の処理を繰り返す。すなわち、ステップＳ２３１乃至ステップＳ２３８の各処理が水平座標毎に繰り返される。そして、ステップＳ２３８において全ての水平座標について処理が行われたと判定された場合、予測処理が終了し、処理は図１９に戻る。

　以上のように各処理を行うことにより、画像処理部１２１は、入力画像と投影画像との誤差が最小となるように、出力時間を制御することができるだけでなく、画素値を補正することができる。したがって、画像投影システム１００は、投影画像における重畳ボケの発生を抑制することができるとともに、投影画像の明るさの低減も抑制することができる。つまり、画像投影システム１００は、主観画質の低減を抑制することができる。

　なお、以上においては、フレーム画像の全画素を対象として学習と予測を行うように説明したが、これに限らず、上述の学習と予測は一部の画素について行うようにしてもよい。その場合、フレーム画像を複数回に分けて学習と予測を行うようにしてもよいし、学習と予測を行わずに所定の関数を用いる等して補間する画素を設けるようにしてもよい。

　　＜パラメータαの求め方４＞
　なお、第１の実施の形態の場合と同様に、出力時間を示すパラメータαの求め方は、任意であり、上述の例に限定されない。例えば、第１の実施の形態の＜パラメータαの求め方２＞において説明したのと同様の、輝度減少による誤差e_clip.i.α（第１の差）と残像劣化の補正誤差e_deblur,i,α（第２の差）の画像全体の総和であるフレーム画像全体の誤差E_i,αを用いてパラメータαを設定するようにしてもよい。

　例えば、学習部２１１は、このフレーム画像全体の誤差E_i,αの増大を抑制するように、出力時間（パラメータα）を設定することにより、投影画像の主観画質の低減を抑制することができる。また、例えば、学習部２１１は、フレーム画像全体の誤差E_i,αが最小となるように、出力時間（パラメータα）を設定する（つまり最適出力時間を求める）ことにより、投影画像の主観画質の低減をより抑制することができる。

　　＜学習処理の流れ＞
　この場合も、画像表示処理は、図１０のフローチャートを参照して説明した場合と同様の流れで行われる。また、その画像表示処理のステップＳ１０１において実行される画像処理も、図１８のフローチャートを参照して説明した場合と同様の流れで行われる。

　また、この場合の、図１８のステップＳ２０２において実行される学習処理の流れの例を、図２１のフローチャートを参照して説明する。

　この場合も、学習処理が開始されると、学習部２１１は、ステップＳ２５１において、処理対象とする水平座標である注目水平座標を、入力画像のフレーム画像の未処理の水平座標の中から設定する。

　ステップＳ２５２において、学習部２１１は、処理対象とする垂直座標である注目垂直座標を、入力画像のフレーム画像の未処理の垂直座標の中から設定する。

　ステップＳ２５３において、学習部２１１は、周辺タップループkを設定する（k=-m～m）。

　ステップＳ２５４において、学習部２１１は、記憶部１３１より入力画素値X_i+kを読み出す。

　ステップＳ２５５において、学習部２１１は、上述の式（７）に示されるように、輝度減少による誤差e_clip,i,αを算出する。

　ステップＳ２５６において、学習部２１１は、上述の式（８）に示されるように、残像劣化の補正誤差e_deblur,i,αを算出する。

　ステップＳ２５７において、学習部２１１は、全ての周辺タップループkについて処理を行ったか否かを判定する。未処理の周辺タップループkが存在すると判定された場合、処理はステップＳ２５３に戻り、それ以降の処理を繰り返す。すなわち、ステップＳ２５３乃至ステップＳ２５７の各処理が周辺タップループk毎に繰り返される。そして、ステップＳ２５７において全ての周辺タップループkについて処理が行われたと判定された場合、処理はステップＳ２５８に進む。

　ステップＳ２５８において、学習部２１１は、全ての垂直座標について処理を行ったか否かを判定する。未処理の垂直座標が存在すると判定された場合、処理はステップＳ２５２に戻り、それ以降の処理を繰り返す。すなわち、ステップＳ２５２乃至ステップＳ２５８の各処理が垂直座標毎に繰り返される。そして、ステップＳ２５８において全ての垂直座標について処理が行われたと判定された場合、処理はステップＳ２５９に進む。

　ステップＳ２５９において、学習部２１１は、全ての水平座標について処理を行ったか否かを判定する。未処理の水平座標が存在すると判定された場合、処理はステップＳ２５１に戻り、それ以降の処理を繰り返す。すなわち、ステップＳ２５１乃至ステップＳ２５９の各処理が水平座標毎に繰り返される。そして、ステップＳ２５９において全ての水平座標について処理が行われたと判定された場合、処理はステップＳ２６０に進む。

　ステップＳ２６０において、学習部２１１は、ステップＳ２５５において算出された画素毎の輝度減少による誤差e_clip,i,αと、ステップＳ２５６において算出された画素毎の残像劣化の補足誤差e_deblur,i,αとの面内総和E_i,αを、上述した式（９）に示されるように算出する。

　ステップＳ２６１において、学習部２１１は、ステップＳ２６０において算出された面内総和E_i,αが最小となる最適出力時間（そのパラメータα）を求める。

　ステップＳ２６１の処理が終了すると、出力時間算出処理が終了し、処理は図１８に戻る。

　以上のように各処理を行うことにより、学習部２１１（画像処理部１２１）は、この場合も、入力画像と投影画像との誤差が最小となるように各フレーム画像の出力時間を制御することができる。したがって、画像投影システム１００は、投影画像における重畳ボケの発生および輝度低減による主観画質の低減を抑制することができる。

　＜４．アクティブシャッタ方式による立体視画像投影＞
　以上においては、輝度低減による誤差と、互いに時刻が異なる複数のフレーム画像の投影画像が重畳する場合に発生する重畳ズレによる誤差との総合的な誤差の増大について説明したが、本技術は、これ以外にも、例えば、立体視用の互いに異なる視点の複数のフレーム画像のクロストークによる誤差の増大の抑制にも適用することができる。

　左目用のフレーム画像と右目用のフレーム画像とからなる動画像を投影する場合、その左目用のフレーム画像と右目用のフレーム画像（互いに視点が異なる複数のフレーム画像）が交互に投影されるため、投影画像において、それらのフレーム画像が重畳する場合がある。このように互いに視点が異なる複数のフレーム画像が重畳するクロストークが発生し、主観画質が低減するおそれがある。

　一般的に、ユーザが各フレーム画像を視認可能な時間が長くなる程、クロストークが発生しやすくなる。例えば、各フレーム画像の出力時間が長くなる程（投影されている時間が長くなる程）、クロストークが発生する可能性も高くなる。

　　＜投影画像の見える時間制御＞
　そこで、第１の実施の形態や第２の実施の形態の場合と同様に、動画像の各フレーム画像に基づいて、ユーザがその動画像の各フレーム画像の投影画像を視認可能な時間を制御するようにしてもよい。例えば、輝度低減による誤差とクロストークによる誤差との総合的な誤差の増大を抑制するように、ユーザがその動画像の各フレーム画像の投影画像を視認可能な時間を制御するようにしてもよい。このようにすることにより、投影画像の主観画質の低減を抑制することができる。

　＜５．第３の実施の形態＞
　　＜画像投影システム＞
　図２２は、本技術を適用した画像投影システムの一実施の形態の主な構成例を示すブロック図である。図２２に示される画像投影システム３００は、ユーザがシャッタ（遮光機構）を有する眼鏡型の立体視装置を介して投影画像を見ることにより立体視を実現するアクティブシャッタ方式の立体視画像投影システムの一実施の形態を示している。

　図２２に示されるように、この画像投影システム３００は、例えば、制御装置３０１、投影装置３０２、および立体視装置３０３を有する。制御装置３０１は、ケーブル３０４を介して投影装置３０２に接続され、さらに、ケーブル３０５を介して立体視装置３０３に接続されている。

　制御装置３０１は、ケーブル３０４を介して、入力画像を投影装置３０２に供給したり、投影装置３０２による画像投影を制御したりする。また、制御装置３０１は、ケーブル３０５を介して立体視装置３０３の駆動を制御する。

　投影装置３０２は、制御装置３０１により制御され、制御装置３０１から供給される動画像の各フレーム画像を、スクリーン３１０に順次投影する。

　制御装置３０１は、互いに視差を有する複数視点のフレーム画像（例えば右目用のフレーム画像と左目用のフレーム画像）を有する立体視用の動画像を投影装置３０２に供給する。投影装置３０２は、その動画像の各視点のフレーム画像（例えば右目用のフレーム画像と左目用のフレーム画像）を、スクリーン３１０に順次投影する。なお、この立体視用の動画像は、入力画像として外部から制御装置３０１に供給されるようにしてもよいし、制御装置３０１によって生成されるようにしてもよい。例えば、制御装置３０１が、外部から供給される通常の動画像の各フレーム画像を複数視点化し、立体視用の動画像に変換するようにしてもよい。

　立体視装置３０３は、眼鏡型の装置であり、自身を装着したユーザが、投影装置３０２によりスクリーン３１０に投影された投影画像３１１を立体視することができるようにする装置であり、動画像の右目用のフレーム画像および左目用のフレーム画像の投影タイミングに合わせて右目に対する遮光および左目に対する遮光を交互に行う遮光機構を備える。

　より具体的には、立体視装置３０３は、ユーザに正しく装着された状態においてユーザの左目前方に位置し、自身を介して左目に入射する光を遮光することができる左目用遮光部３２１と、ユーザに正しく装着された状態においてユーザの右目前方に位置し、自身を介して右目に入射する光を遮光することができる右目用遮光部３２２とを備える。つまり、左目用遮光部３２１は、通常の眼鏡の左目用のレンズの位置に形成される。同様に、右目用遮光部３２２は、通常の眼鏡の右目用のレンズの位置に形成される。

　この左目用遮光部３２１は、例えば制御装置３０１により制御されて、投影装置３０２が右目用のフレーム画像を投影するタイミングに同期して駆動し、その右目用のフレーム画像をユーザの左目に見せないように遮光する。

　同様に、右目用遮光部３２２は、例えば制御装置３０１により制御されて、投影装置３０２が左目用のフレーム画像を投影するタイミングに同期して駆動し、その左目用のフレーム画像をユーザの右目に見せないように遮光する。

　このようにすることにより、立体視装置３０３を装着したユーザは、左目用のフレーム画像の投影画像を左目で見て、右目用のフレーム画像の投影画像を右目で見ることができる。したがって、ユーザは、スクリーン３１０に投影された投影画像３１１を立体視することができる。

　　＜遮光制御＞
　以上のような立体視の為の立体視装置３０３の駆動の制御について、より詳細に説明する。図２３は、投影および遮光制御の様子の例を示すタイミングチャートである。投影装置３０２により、各フレーム画像は、図２３の上側の平行四辺形のように投影される。動画像のフレームレートは毎秒２４０フレーム（240Hz）であり、各フレーム画像は1/240秒ずつ投影される。各フレーム画像の投影が平行四辺形のように傾斜しているのは、ライン走査方式により、ライン（行）毎に投影タイミングがずれているからである。図中平行四辺形内の横線は、各ラインの投影期間の例を示す。

　このような画像投影に対して、立体視装置３０３は、制御装置３０１により制御されて、左目用遮光部３２１（左目用シャッタとも称する）と、右目用遮光部３２２（右目用シャッタとも称する）とを、図２３中の両矢印で示されるようなタイミングで閉じる（遮光する）。

　図２３に示されるように、右目用遮光部３２２のみが閉じている期間（例えば、時刻Ｔ０乃至Ｔ１、Ｔ４乃至Ｔ５、Ｔ８乃至Ｔ９等）において、ユーザは、左目用のフレーム画像の投影画像（左目用画像）を左目で見ることができる。また、左目用遮光部３２１のみが閉じている期間（例えば、時刻Ｔ２乃至Ｔ３、Ｔ６乃至Ｔ７等）において、ユーザは、右目用のフレーム画像の投影画像（右目用画像）を右目で見ることができる。つまり、ユーザは、投影画像３１１を立体のように見る（立体視）することができる。

　つまり、制御装置３０１は、投影装置３０２を制御して動画像の右目用のフレーム画像および左目用のフレーム画像を順次投影させ、ユーザが立体視装置３０３を介してその動画像の右目用のフレーム画像および左目用のフレーム画像の投影画像を見る際の、その動画像の右目用のフレーム画像および左目用のフレーム画像の投影画像を視認可能な時間を制御する。

　その際、制御装置３０１は、投影装置３０２による画像の出力時間を制御する代わりに、立体視装置３０３による遮光を制御することにより、ユーザが動画像の各フレーム画像の投影画像を視認可能な時間を制御する。

　ところで、上述したように、投影装置３０２がライン走査方式により画像投影を行うため、ライン（行）毎に投影タイミングがずれる。そのため、図２３に示されるように、左目用のフレーム画像と右目用のフレーム画像とが重畳するクロストークが発生する。各視点のフレーム画像は互いに視差を有するため、このようなクロストークが発生すると主観画質が低減するおそれがあった。

　図２３にも示されるように、立体視装置３０３は、このような、投影画像において左目用のフレーム画像と右目用のフレーム画像とが重畳する期間（例えば、期間Ｔ１乃至Ｔ２、期間Ｔ３乃至Ｔ４、期間Ｔ５乃至Ｔ６、期間Ｔ７乃至Ｔ８、期間Ｔ９乃至Ｔ１０等）において、左目用遮光部３２１および右目用遮光部３２２の両方を閉じる。つまり、この期間は、右目に対する遮光および左目に対する遮光が重複しており、ユーザは、左目用画像も右目用画像も見ることができない（ブラックアウト）。このようなブラックアウトの期間を設けることにより、複数視点のフレーム画像が重畳するクロストークの発生を抑制することができる。

　ただし、このブラックアウトの期間が長くなる程、ユーザから見た投影画像３１１の輝度は低減する（輝度低減による誤差が大きくなる）。また、ブラックアウトの期間が短くなる程、クロストークが発生しやすくなる（またはクロストークが発生する期間が長くなる）。

　そこで、制御装置３０１は、この右目に対する遮光および左目に対する遮光が重複する時間（遮光時間とも称する）を制御することにより、ユーザが動画像の各フレーム画像の投影画像を視認可能な時間を制御する。例えば、制御装置３０１は、ユーザから見た投影画像３１１の主観画質の低減を抑制するように、この遮光時間の長さを制御する。

　なお、以上においては、制御装置３０１と投影装置３０２とがケーブル３０４により有線接続されるように説明したが、制御装置３０１と投影装置３０２とが無線通信を行うことができるようにしてもよい。その場合、ケーブル３０４を省略することができる。また、以上においては、制御装置３０１と立体視装置３０３とがケーブル３０５により有線接続されるように説明したが、制御装置３０１と立体視装置３０３とが無線通信を行うことができるようにしてもよい。その場合、ケーブル３０５を省略することができる。

　　＜制御装置＞
　制御装置３０１の主な構成例を、図２４に示す。図２４に示されるように、制御装置３０１は、画像処理部３５１、投影制御部３５２、およびシャッタ制御部３５３を有する。

　画像処理部３５１は、入力画像の各フレーム画像に基づいて、ユーザが動画像の各フレーム画像の投影画像を視認可能な時間を制御する。より具体的には、画像処理部３５１は、ユーザが動画像の各フレーム画像の投影画像を視認可能な時間として、立体視装置３０３による遮光時間の長さを制御する。例えば、画像処理部３５１は、入力画像の各フレーム画像に基づいて、その遮光時間の長さを表すパラメータαを算出し、それをシャッタ制御部３５３に供給する。

　また、画像処理部３５１は、入力画像（入力画素値X_i）に基づいて出力画像（出力画素値Y_i,α）を生成し、それを投影制御部３５２に供給する。

　投影制御部３５２は、画像処理部３５１から供給された出力画像（出力画素値Y_i,α）を投影装置３０２に供給し、動画像の各視点のフレーム画像を順次投影させる。

　シャッタ制御部３５３は、画像処理部３５１より供給されたパラメータαを立体視装置３０３（メガネ）に供給し、立体視装置３０３による遮光時間の長さが、そのパラメータαに対応する長さとなるように、立体視装置３０３の駆動を制御する。

　　＜遮光時間の長さと誤差＞
　上述したように、遮光時間（左右両目に対する遮光が行われる時間）が長くなる程、ユーザにとっての投影画像の輝度は低減する。したがって、図２５のグラフの直線３７１のように、遮光時間が長くなる程、投影画像の入力画像に対する誤差（この場合、投影画像と入力画像との輝度差）は大きくなる。

　また、一般的に、遮光時間が短くなる程、クロストークが増大する。したがって、図２５のグラフの曲線３７２のように、遮光時間が短くなる程、クロストークによる誤差（投影画像と入力画像との差）が大きくなる。

　図２５のグラフに示されるように、以上のような表現可能な輝度値の制約による誤差（輝度減少による誤差）と、クロストークによる誤差との両方を考慮した総合的な誤差は、直線３７１と曲線３７２との増減の様子から、例えば、曲線３７３のような曲線状となる。換言するに、図２４の画像処理部３５１は、各フレーム画像の出力時間を制御することにより、この総合的な誤差（輝度の減少による入力画像と投影画像との差、および、ユーザが投影画像を視認可能な時間が長くなることにより増大する入力画像と投影画像との差）の大きさを制御することができる。

　このように、画像処理部３５１は、遮光時間を表すパラメータαを求め、それを各投影装置１１２に供給することにより、立体視装置３０３による遮光時間を制御することができる。この遮光時間が変化することにより、ユーザが各フレーム画像の投影画像を視認可能な時間が変化する。つまり、画像処理部１２１は、入力画像の各フレーム画像に基づいて、ユーザがその各フレーム画像の投影画像を視認可能な時間を制御することができる。

　上述のように、「ユーザがその各フレーム画像の投影画像を視認可能な時間」として「遮光時間」を制御することにより、輝度減少による誤差とクロストークによる誤差との総合的な誤差の大きさを制御することができるのであるから、画像処理部３５１は、このような制御により、投影画像の主観画質の低減を抑制することができる。

　例えば、画像処理部３５１が、輝度減少による誤差（輝度の減少による投影画像と入力画像との差）とクロストークによる誤差（右目用のフレーム画像および左目用のフレーム画像が重畳した状態の投影画像と入力画像との差）との総合的な誤差を抑制するように（すなわち、この総合的な誤差の大きさが低減するように）、このパラメータαを求めるようにしてもよい。このようにすることにより、画像処理部３５１は、投影画像の主観画質の低減を抑制することができる。

　例えば、画像処理部３５１が、この輝度減少による誤差とクロストークによる誤差との総合的な誤差が最小となるように、パラメータαを求めるようにしてもよい。例えば、画像処理部３５１が、図２５のグラフにおいて、曲線３７３の最小値が得られる遮光時間である最適遮光時間（点線３７４）を求め、シャッタ制御部３５３が、その最適遮光時間を表すパラメータαを立体視装置３０３に供給するようにしてもよい。このようにすることにより、画像処理部３５１は、投影画像の主観画質の低減をより抑制することができる。

　なお、画像処理部３５１が、このパラメータαをフレーム画像毎に求めるようにしてもよい。例えば、全てのフレーム画像に対する遮光時間が統一されていなくてもよい。つまり、画像処理部３５１は、入力画像の各フレーム画像について、ユーザが投影画像を視認可能な時間を制御するようにしてもよい。

　一般的に、上述した輝度減少による誤差やクロストークによる誤差は、画像の内容によって変化する。したがって、画像処理部３５１が、各フレーム画像の内容に応じて、フレーム画像毎にパラメータαを求めるようにすることにより、総合的な誤差をより抑制することができる。つまり、画像処理部３５１は、投影画像の主観画質の低減をより抑制することができる。

　　＜画像処理部＞
　なお、本実施の形態のパラメータαは遮光時間の長さを表すパラメータであるが、これが第１の実施の形態のように最大値に対する割合であるとすると、（１－α）は「遮光されていない時間」を表すことになる。つまり、本実施の形態のパラメータαも、第１の実施の形態と同様に、ユーザが動画像の各フレーム画像の投影画像を視認可能な時間を表していると言える。

　したがって、画像処理部３５１は、第１の実施の形態において説明したのと同様の処理を行えば良い。つまり、第１の実施の形態における画像処理部１２１に関する説明を、パラメータαを（１－α）とすることにより、画像処理部３５１にも適用することができる。

　　＜パラメータαの求め方５＞
　換言するに、画像処理部３５１は、第１の実施の形態における画像処理部１２１と同様の構成を有し、同様の処理を行うようにすることができる。また、この場合のパラメータαも、＜パラメータαの求め方１＞において説明したのと同様の方法で求めることができる。

　　＜画像表示処理の流れ＞
　次に、このような画像投影システム３００において実行される処理の流れについて説明する。図２６のフローチャートを参照して、この場合の画像表示処理の流れの例を説明する。

　画像表示処理が開始されると、画像処理部３５１は、ステップＳ３０１において、入力画像に基づいて、「ユーザが動画像の各フレーム画像の投影画像を視認可能な時間」を制御する画像処理を行う。

　ステップＳ３０２において、投影制御部３５２は、その入力画像の各フレーム画像を、投影装置１１２に供給し、順次投影させる。

　ステップＳ３０３において、シャッタ制御部３５３は、立体視装置３０３（の左目用遮光部３２１および右目用遮光部３２２）の駆動を制御し、ユーザが投影画像を立体視することができるように、動画像の投影に同期した遮光を行わせる。

　画像の投影が終了すると画像表示処理が終了する。

　なお、ステップＳ３０１において実行される画像処理の流れは、図１１のフローチャートを参照して上述した例と基本的に同様に行い、出力時間を算出する代わりに遮光時間を算出すればよい。

　また、その遮光時間を算出する処理の流れは、図１２のフローチャートを参照して説明した出力時間算出処理の流れと基本的に同様に行えばよい。

　以上のように各処理を行うことにより、画像処理部３５１は、入力画像と投影画像との誤差が最小となるように立体視装置３０３による遮光時間を制御することができる。したがって、画像投影システム３００は、投影画像におけるクロストークの発生や輝度低減による主観画質の低減を抑制することができる。

　なお、画像投影システム３００は、図２２においては投影装置３０２を１台のみ図示しているが、投影装置３０２の台数は任意であり、複数であってもよい。投影装置３０２を複数用いる場合、画像投影システム１００のように入力画像の各フレーム画像を振り分けるようにしてもよい。このようにすることにより、低フレームレートの投影装置３０２を用いて高フレームレートの映像を投影することができる。したがって、より安価に高フレームレートの投影を実現することができる。また、画像投影システム３００は、投影装置３０２の数を増大させることにより、さらなる高フレームレートの画像投影を実現することができる。

　　＜パラメータαの求め方６＞
　また、第１の実施の形態の場合と同様に、遮光時間を示すパラメータαの求め方は、任意であり、上述の例に限定されない。例えば、＜パラメータαの求め方２＞において上述した方法と基本的に同様の方法によりパラメータαを求めるようにしてもよい。

　　＜処理の流れ＞
　この場合も、画像表示処理は、図２６のフローチャートを参照して説明した場合と同様の流れで行われる。また、その画像表示処理のステップＳ１０１において実行される画像処理も、図１１のフローチャートを参照して説明した場合と同様の流れで行われる。さらに、その画像処理のステップＳ１１２において実行される遮光時間を算出する処理も、図１３のフローチャートを参照して説明した出力時間算出処理の流れと基本的に同様に行えば良い。

　以上のように各処理を行うことにより、画像処理部３５１は、この場合も、入力画像と投影画像との誤差が最小となるように、立体視装置３０３による遮光時間を制御することができる。したがって、画像投影システム３００は、投影画像におけるクロストークの発生や輝度低減による主観画質の低減を抑制することができる。

　なお、この場合も、画像投影システム３００は、複数の低フレームレートの投影装置３０２を用いて高フレームレートの映像を投影することができる。したがって、より安価に高フレームレートの投影を実現することができる。また、画像投影システム１００は、投影装置３０２の数を増大させることにより、さらなる高フレームレートの画像投影を実現することができる。

　また、出力画素値Y_i,αや投影画素値Z_i,αの見積もりの手法は任意であり、フィルタ演算に限定されない。例えば、線形計画法による最適化等、他の方法を用いるようにしてもよい。

　＜６．第４の実施の形態＞
　　＜画像投影システム＞
　第３の実施の形態の場合も、第２の実施の形態の場合と同様に、画像処理部３５１が、さらに、入力画像の各フレーム画像の投影画像において複数のフレーム画像が重畳することによる影響を抑制する画像処理を、投影前の各フレーム画像に対して行うようにしてもよい。

　より具体的には、例えば、画像処理部３５１が、投影画像（複数フレーム画像同士の）の重畳に応じて、各フレーム画像の画素値（輝度値）を補正する画像処理を行うようにしてもよい。例えば、画像処理部３５１が、入力画像と投影画像との誤差が最小となるように画素値を補正するようにしてもよい。

　　＜画像処理部＞
　この場合、画像処理部３５１は、第２の実施の形態の場合の画像処理部１２１（図１４）と基本的に同様の構成を有し、基本的に同様の処理を行うようにすればよい。つまり、第２の実施の形態における画像処理部１２１に関する説明を、パラメータαを（１－α）とすることにより、画像処理部３５１にも適用することができる。

　　＜パラメータαの求め方７＞
　なお、パラメータαに対応するフィルタ係数D_k,αは、第２の実施の形態の場合と同様に算出することができる。

　　＜処理の流れ＞
　画像表示処理は、図２６のフローチャートを参照して説明した、第３の実施の形態の場合と同様の流れで行えば良い。ステップＳ３０１において行われる画像処理は、図１８のフローチャートを参照して説明した場合と同様の流れで行えば良い。図１８のステップＳ２０２において実行される学習処理は、図１９のフローチャートを参照して説明した場合と同様の流れで行えば良い。図１８のステップＳ２０３において実行される予測処理は、図２０のフローチャートを参照して説明した場合と同様の流れで行えば良い。

　以上のように各処理を行うことにより、画像処理部３５１は、入力画像と投影画像との誤差が最小となるように、遮光時間を制御することができるだけでなく、画素値を補正することができる。したがって、画像投影システム３００は、投影画像におけるクロストークの発生を抑制することができるとともに、投影画像の明るさの低減も抑制することができる。つまり、画像投影システム１００は、主観画質の低減を抑制することができる。

　また、図２３を参照して上述したように、投影装置３０２は、ラインスキャン方式により画像を投影しており、投影のタイミングがライン毎にずれている。これに対して、立体視装置３０３は、面全体を一斉に遮光するために、このブラックアウトの期間（遮光時間）における左目用のフレーム画像と右目用のフレーム画像との混合比がライン毎に異なる。したがって、画像処理部３５１は、画素値の補正を、動画像の各フレーム画像のライン毎に行うようにしてもよい。このようにすることにより、画像処理部３５１は、ライン単位でフレーム画像同士の混合比に応じた補正を行うことができ、より正確に画素値の補正を行うことができる。すなわち、主観画質の低減をより抑制することができる。

　　＜パラメータαの求め方８＞
　なお、この場合も、遮光時間を示すパラメータαの求め方は、任意であり、上述の例に限定されない。例えば、第１の実施の形態の＜パラメータαの求め方２＞において説明したのと同様の、輝度減少による誤差e_clip.i.α（第１の差）と残像劣化の補正誤差e_deblur,i,α（第２の差）の画像全体の総和であるフレーム画像全体の誤差E_i,αを用いてパラメータαを設定するようにしてもよい。

　例えば、画像処理部３５１は、このフレーム画像全体の誤差E_i,αの増大を抑制するように、遮光時間（パラメータα）を設定することにより、投影画像の主観画質の低減を抑制することができる。また、例えば、画像処理部３５１は、フレーム画像全体の誤差E_i,αが最小となるように、遮光時間（パラメータα）を設定する（つまり最適遮光時間を求める）ことにより、投影画像の主観画質の低減をより抑制することができる。

　　＜処理の流れ＞
　この場合も、画像表示処理は、図２６のフローチャートを参照して説明した、第３の実施の形態の場合と同様の流れで行えば良い。ステップＳ３０１において行われる画像処理は、図１８のフローチャートを参照して説明した場合と同様の流れで行えば良い。図１８のステップＳ２０２において実行される学習処理は、図２１のフローチャートを参照して説明した場合と同様の流れで行えば良い。図１８のステップＳ２０３において実行される予測処理は、図２０のフローチャートを参照して説明した場合と同様の流れで行えば良い。

　以上のように各処理を行うことにより、画像処理部３５１は、この場合も、入力画像と投影画像との誤差が最小となるように各フレーム画像の出力時間を制御することができる。したがって、画像投影システム３００は、投影画像におけるクロストークの発生および輝度低減による主観画質の低減を抑制することができる。

　なお、出力画素値Y_i,αや投影画素値Z_i,αの見積もりの手法は任意であり、フィルタ演算に限定されない。例えば、線形計画法による最適化等、他の方法を用いるようにしてもよい。

＜７．第５の実施の形態＞
　　＜その他の構成１＞
　本技術を適用した画像投影システム１００の構成は、上述した例に限定されない。例えば、中央処理装置１１１および投影装置１１２の数は、それぞれ任意である。例えば、中央処理装置１１１が複数であってもよいし、投影装置１１２が３台以下であってもよいし、５台以上であってもよい。また、各投影装置１１２の仕様（例えば、解像度、明るさ、フレームレート等）がすべて同一であってもよいし、同一でなくてもよい。

　また例えば図２７に示されるように、中央処理装置１１１の画像処理部１２１と振分部１２２とをそれぞれ独立した装置とし、画像投影システム１００が、中央処理装置１１１の代わりに画像処理装置５１１と振分装置５１２とを備えるようにしてもよい。

　また、図２８に示されるように、各装置が、ネットワーク５３０を介して互いに接続されるようにしてもよい。図２８に示される例の画像投影システム１００の場合、図２７の画像処理装置５１１、振分装置５１２、並びに、各投影装置１１２が、ネットワーク５３０を介して互いに接続されている。

　このネットワーク５３０は、任意の通信網である。ネットワーク５３０において採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、ネットワーク５３０は、単数の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク５３０に含まれるようにしてもよい。

　各装置は、このネットワーク５３０に通信可能に接続されている。なお、この接続は有線（すなわち、有線通信を介した接続）であってもよいし、無線（すなわち、無線通信を介した接続）であってもよいし、その両方であってもよい。各装置は、ネットワーク５３０を介して互いに通信を行う（情報の授受等を行う）ことができる。換言するに、各装置は、他の設備（装置や伝送路等）を介して互いに通信可能に接続されるようにしてもよい。このような構成の場合も、画像投影システム１００は、上述した他の実施の形態の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

　なお、図２８の例において、画像処理装置５１１および振分装置５１２の代わりに、図５の中央処理装置１１１が設けられるようにしてもよい。

　また、例えば図２９に示されるように、画像投影システム１００の全構成が１つの装置として構成されるようにしてもよい。図２９に示される画像投影装置５５１は、画像処理部１２１、振分部１２２、並びに、投影部５６２－１乃至投影部５６２－４を有する。

　投影部５６２－１乃至投影部５６２－４は、互いに同様の処理部であり、互いに区別して説明する必要がない場合、投影部５６２と称する。投影部５６２は、投影装置１１２と同様の処理を行い、自身に振り分けられたフレーム画像を投影する。

　したがって、画像投影装置５５１は、画像投影システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。もちろん、画像投影装置５５１の構成は任意であり、図２９の例に限定されない。例えば、画像処理部１２１、振分部１２２、および投影部５６２の数はそれぞれ任意である。また、各投影装置１１２の仕様（例えば、解像度、明るさ、フレームレート等）がすべて同一であってもよいし、同一でなくてもよい。

　また、例えば図３０に示されるように、画像処理部１２１、振分部１２２、および、一部の投影装置１１２が１つの装置として構成されるようにしてもよい。図３０に示される画像投影装置５８１は、画像処理部１２１、振分部１２２、および投影部５６２－１を有する。振分部１２２には、画像投影装置５８１に内蔵される投影部５６２－１だけでなく、外部の投影装置１１２－１、投影装置１１２－３、投影装置１１２－４も接続されている。振分部１２２は、画像処理部１２１から供給される各フレーム画像を、投影部５６２－１、並びに、投影装置１１２－１乃至投影装置１１２－４に循環的に振り分ける。このような画像投影装置５８１にも、画像投影システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

　　＜その他の構成２＞
　同様に、本技術を適用した画像投影システム３００の構成は、上述した例に限定されない。例えば、制御装置３０１、投影装置３０２、および立体視装置３０３の数は、それぞれ任意である。

　また、図２７の例の場合と同様に、制御装置３０１の画像処理部３５１、投影制御部３５２、およびシャッタ制御部３５３を、それぞれ独立した装置としてもよい。

　また、図２８の例の場合と同様に、その各装置が、ネットワーク５３０を介して互いに接続されるようにしてもよい。

　また、図２９の例の場合と同様に、制御装置３０１と投影装置３０２とが１つの装置として構成されるようにしてもよい。さらに、投影装置３０２が複数存在する場合、図３０の例の場合と同様に、制御装置３０１と一部の投影装置３０２とが１つの装置として構成されるようにしてもよい。

　なお、制御装置３０１と立体視装置３０３とが１つの装置として構成されるようにしてもよい。さらに、立体視装置３０３が複数存在する場合、制御装置３０１と一部の立体視装置３０３とが１つの装置として構成されるようにしてもよい。もちろん、制御装置３０１、投影装置３０２、および立体視装置３０３が１つの装置として構成されるようにしてもよい。

　＜８．その他＞
　　＜フレームレート＞
　なお、入力画像、各投影部または投影装置より出力される出力画像、および、スクリーンに投影された投影画像のフレームレートはそれぞれ任意であり、上述した例に限定されない。例えば、入力画像と投影画像とでフレームレートが互いに異なっていてもよい。

　　＜本技術の適用分野＞
　本技術は、画像を処理するものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。

　例えば、本技術は、鑑賞の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、交通管理の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。

　　＜ソフトウエア＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

　図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

　図３１に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。

　バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。

　入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。

　以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。

　　＜補足＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

　コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

　本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

　なお、本技術は以下のような構成も取ることができる。
　（１）　動画像の各フレーム画像に基づいて、ユーザが前記動画像の各フレーム画像の投影画像を視認可能な時間を制御する制御部
　を備える画像処理装置。
　（２）　前記制御部は、輝度の減少による前記動画像と前記投影画像との差、および、前記ユーザが前記投影画像を視認可能な時間が長くなることにより増大する前記動画像と前記投影画像との差を抑制するように、前記ユーザが前記投影画像を視認可能な時間を制御する
　（１）に記載の画像処理装置。
　（３）　前記ユーザが前記投影画像を視認可能な時間が長くなることにより増大する前記動画像と前記投影画像との差は、複数のフレーム画像の投影画像が重畳することにより生じる差である
　（２）に記載の画像処理装置。
　（４）　前記複数のフレーム画像は、前記動画像において互いに時刻が異なるフレーム画像である
　（３）に記載の画像処理装置。
　（５）　前記複数のフレーム画像は、右目用のフレーム画像および左目用のフレーム画像である
　（３）または（４）に記載の画像処理装置。
　（６）　前記制御部は、画素毎に求めた前記動画像と前記投影画像との差の、画像全体の総和が最小となるように、前記ユーザが前記投影画像を視認可能な時間を制御する
　（１）乃至（５）のいずれかに記載の画像処理装置。
　（７）　前記制御部は、
　　前記動画像の輝度値である入力輝度値に基づいて投影部が出力する輝度値である出力輝度値を見積もり、
　　見積もった前記出力輝度値と、前記ユーザが前記投影画像を視認可能な時間の長さによる前記出力輝度値の制約とに基づいて、前記投影画像の輝度値である投影輝度値を見積もり、
　　前記入力輝度値と見積もった前記投影輝度値とに基づいて前記動画像と前記投影画像との差を画素毎に求め、
　　画素毎に求めた前記動画像と前記投影画像との差の、画像全体の総和が最小となるように、前記ユーザが前記投影画像を視認可能な時間を制御する
　（６）に記載の画像処理装置。
　（８）　前記制御部は、フィルタ演算により前記出力輝度値を見積もる
　（７）に記載の画像処理装置。
　（９）　前記制御部は、線形計画法による最適化により前記出力輝度値を見積もる
　（７）または（８）に記載の画像処理装置。
　（１０）　前記制御部は、前記ユーザが前記投影画像を視認可能な時間の、前記ユーザが前記投影画像を視認可能な時間が最大の場合に対する割合に応じて、前記出力輝度値の最大値を制限する
　（７）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記制御部は、複数のフレーム画像の投影画像のオーバーラップすることによるぼけ具合を表すぼけ係数を用いて、前記投影輝度値を見積もる
　（７）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　前記制御部は、重畳する全てのフレーム画像の、前記入力輝度値と前記投影輝度値とに基づいて、前記動画像と前記投影画像との差を求める
　（７）乃至（１１）のいずれかに記載の画像処理装置。
　（１３）　前記制御部は、
　　輝度の減少による前記動画像と前記投影画像との差を第１の差として画素毎に見積もり、
　　前記ユーザが前記投影画像を視認可能な時間が長くなることにより増大する前記動画像と前記投影画像との差を第２の差として画素毎に見積もり、
　　前記第１の差および前記第２の差の、画像全体の総和を算出し、
　　前記総和が最小となるように、前記ユーザが前記投影画像を視認可能な時間を制御する
　（６）に記載の画像処理装置。
　（１４）　前記制御部は、前記ユーザが前記投影画像を視認可能な時間の長さに基づいて、前記第１の差を見積もる
　（１３）に記載の画像処理装置。
　（１５）　前記制御部は、前記ユーザが前記投影画像を視認可能な時間の、前記ユーザが前記投影画像を視認可能な時間が最大の場合に対する割合に応じて、前記第１の差を見積もる
　（１４）に記載の画像処理装置。
　（１６）　前記制御部は、注目画素と周辺画素との差に基づいて、前記第２の差を見積もる
　（１３）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　前記制御部は、前記動画像の各フレーム画像について、前記ユーザが前記投影画像を視認可能な時間を制御する
　（１）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）　前記制御部は、前記動画像の各フレーム画像を複数の投影部を循環的に用いて投影する際の、前記ユーザが前記動画像の各フレーム画像の投影画像を視認可能な時間を制御する
　（１）乃至（１７）のいずれかに記載の画像処理装置。
　（１９）　前記制御部は、前記複数の投影部による、前記動画像の各フレーム画像の出力時間を制御する
　（１８）に記載の画像処理装置。
　（２０）　前記制御部は、前記動画像の右目用のフレーム画像および左目用のフレーム画像を順次投影し、前記ユーザが、前記動画像の立体視が可能なように前記動画像の右目用のフレーム画像および左目用のフレーム画像の投影タイミングに合わせて右目に対する遮光および左目に対する遮光を交互に行う遮光機構を備える立体視装置を介して、前記動画像の右目用のフレーム画像および左目用のフレーム画像の投影画像を見る際の、前記動画像の右目用のフレーム画像および左目用のフレーム画像の投影画像を視認可能な時間を制御する
　（１）乃至（１９）のいずれかに記載の画像処理装置。
　（２１）　前記制御部は、前記立体視装置による、右目に対する遮光および左目に対する遮光が重複する時間を制御する
　（２０）に記載の画像処理装置。
　（２２）　前記制御部は、さらに、前記動画像の各フレーム画像の投影画像において複数のフレーム画像が重畳することによる影響を抑制する画像処理を、投影前の各フレーム画像に対して行う
　（１）乃至（２１）のいずれかに記載の画像処理装置。
　（２３）　前記制御部は、各フレーム画像の画素値を補正する画像処理を行う
　（２２）に記載の画像処理装置。
　（２４）　前記制御部は、フレーム画像と投影画像との誤差が最小となるように画素値を補正する
　（２３）に記載の画像処理装置。
　（２５）　前記制御部は、前記画素値の補正を、前記動画像の各フレーム画像のライン毎に行う
　（２４）に記載の画像処理装置。
　（２６）　前記動画像の各フレーム画像を複数の投影部に循環的に振り分ける振り分け部をさらに備える
　（１）乃至（２５）のいずれかに記載の画像処理装置。
　（２７）　前記振り分け部により自身に振り分けられたフレーム画像を投影する複数の前記投影部をさらに備える
　（２６）に記載の画像処理装置。
　（２８）　複数の前記投影部は、自身に振り分けられたフレーム画像を、前記動画像のフレームレートよりも低レートで投影する
　（２７）に記載の画像処理装置。
　（２９）　前記動画像の右目用のフレーム画像および左目用のフレーム画像を順次投影する投影部と、
　前記動画像の立体視が可能なように、前記投影部による前記動画像の右目用のフレーム画像および左目用のフレーム画像の投影タイミングに合わせて、右目に対する遮光および左目に対する遮光を交互に行う遮光機構を備える立体視部と
　をさらに備える（１）乃至（２８）のいずれかに記載の画像処理装置。
　（３０）　動画像の各フレーム画像に基づいて、ユーザが前記動画像の各フレーム画像の投影画像を視認可能な時間を制御する
　画像処理方法。

　１００　画像投影システム，　１１１　中央処理装置，　１１２　投影装置，　１１３　スクリーン，　１２１　画像処理部，　１２２　振分部，　１３１　記憶部，　１３２　出力時間算出部，　２０１　出力算出部，　２１１　学習部，　２１２　予測部，　３００　画像投影システム，　３０１　制御装置，　３０２　投影装置，　３０３　立体視装置，　３１０　スクリーン，　３２１　左目用遮光部，　３２２　右目用遮光部，　３５１　画像処理部，　３５２　投影制御部，　３５３　シャッタ制御部，　５１１　画像処理装置，　５１２　振分装置，　５３０　ネットワーク，　５５１　画像投影装置，　５６２　投影部，　５８１　画像投影装置，　８００　コンピュータ

Claims

　動画像の各フレーム画像に基づいて、ユーザが前記動画像の各フレーム画像の投影画像を視認可能な時間を制御する制御部
　を備える画像処理装置。
　前記制御部は、輝度の減少による前記動画像と前記投影画像との差、および、前記ユーザが前記投影画像を視認可能な時間が長くなることにより増大する前記動画像と前記投影画像との差を抑制するように、前記ユーザが前記投影画像を視認可能な時間を制御する
　請求項１に記載の画像処理装置。
　前記ユーザが前記投影画像を視認可能な時間が長くなることにより増大する前記動画像と前記投影画像との差は、複数のフレーム画像の投影画像が重畳することにより生じる差である
　請求項２に記載の画像処理装置。
　前記複数のフレーム画像は、前記動画像において互いに時刻が異なるフレーム画像である
　請求項３に記載の画像処理装置。
　前記複数のフレーム画像は、右目用のフレーム画像および左目用のフレーム画像である
　請求項３に記載の画像処理装置。
　前記制御部は、画素毎に求めた前記動画像と前記投影画像との差の、画像全体の総和が最小となるように、前記ユーザが前記投影画像を視認可能な時間を制御する
　請求項１に記載の画像処理装置。
　前記制御部は、前記動画像の各フレーム画像について、前記ユーザが前記投影画像を視認可能な時間を制御する
　請求項１に記載の画像処理装置。
　前記制御部は、前記動画像の各フレーム画像を複数の投影部を循環的に用いて投影する際の、前記ユーザが前記動画像の各フレーム画像の投影画像を視認可能な時間を制御する
　請求項１に記載の画像処理装置。
　前記制御部は、前記複数の投影部による、前記動画像の各フレーム画像の出力時間を制御する
　請求項８に記載の画像処理装置。
　前記制御部は、前記動画像の右目用のフレーム画像および左目用のフレーム画像を順次投影し、前記ユーザが、前記動画像の立体視が可能なように前記動画像の右目用のフレーム画像および左目用のフレーム画像の投影タイミングに合わせて右目に対する遮光および左目に対する遮光を交互に行う遮光機構を備える立体視装置を介して、前記動画像の右目用のフレーム画像および左目用のフレーム画像の投影画像を見る際の、前記動画像の右目用のフレーム画像および左目用のフレーム画像の投影画像を視認可能な時間を制御する
　請求項１に記載の画像処理装置。
　前記制御部は、前記立体視装置による、右目に対する遮光および左目に対する遮光が重複する時間を制御する
　請求項１０に記載の画像処理装置。
　前記制御部は、さらに、前記動画像の各フレーム画像の投影画像において複数のフレーム画像が重畳することによる影響を抑制する画像処理を、投影前の各フレーム画像に対して行う
　請求項１に記載の画像処理装置。
　前記制御部は、各フレーム画像の画素値を補正する画像処理を行う
　請求項１２に記載の画像処理装置。
　前記制御部は、フレーム画像と投影画像との誤差が最小となるように画素値を補正する
　請求項１３に記載の画像処理装置。
　前記制御部は、前記画素値の補正を、前記動画像の各フレーム画像のライン毎に行う
　請求項１４に記載の画像処理装置。
　前記動画像の各フレーム画像を複数の投影部に循環的に振り分ける振り分け部をさらに備える
　請求項１に記載の画像処理装置。
　前記振り分け部により自身に振り分けられたフレーム画像を投影する複数の前記投影部をさらに備える
　請求項１６に記載の画像処理装置。
　複数の前記投影部は、自身に振り分けられたフレーム画像を、前記動画像のフレームレートよりも低レートで投影する
　請求項１７に記載の画像処理装置。
　前記動画像の右目用のフレーム画像および左目用のフレーム画像を順次投影する投影部と、
　前記動画像の立体視が可能なように、前記投影部による前記動画像の右目用のフレーム画像および左目用のフレーム画像の投影タイミングに合わせて、右目に対する遮光および左目に対する遮光を交互に行う遮光機構を備える立体視部と
　をさらに備える請求項１に記載の画像処理装置。
　動画像の各フレーム画像に基づいて、ユーザが前記動画像の各フレーム画像の投影画像を視認可能な時間を制御する
　画像処理方法。