JPWO2016157671A1 - 情報処理装置、情報処理方法、プログラム、及び画像表示装置 - Google Patents

Abstract

本技術の一形態に係る情報処理装置は、投射指示部と、出力部とを具備する。前記投射指示部は、１以上の代表画素が表示された校正用画像の投射を指示する。前記出力部は、前記投射された校正用画像内の前記１以上の代表画素の各々のボケ度合いを入力するためのＧＵＩ（Graphical User Interface）を出力する。

Description

本技術は、プロジェクタ等の画像表示装置、これを制御する情報処理装置、情報処理方法、及びプログラムに関する。

従来からプロジェクタ等の画像表示装置が広く用いられている。例えば光源からの光が液晶素子等の光変調素子により変調され、その変調光がスクリーン等に投影されることで画像が表示される。光変調素子としては、反射型液晶表示素子、透過型液晶素子、又はＤＭＤ（Digital Micromirror Device）等が用いられる。

特許文献１に記載のプロジェクタでは、投射光学系における結像性能の低下による画像の劣化を減少し、入力された画像情報に近い投影画像を生成するための技術が公開されている。このプロジェクタでは、投射レンズのＭＴＦ（Modulation Transfer Function）低下の逆フィルタ等を用いて、投影画像の劣化を補償する逆フィルタ処理が実行される。その後、所定の画素領域ごとに、逆フィルタ処理の結果が光変調部により表現可能な範囲内であるか否かが判定される。そして表現不可能な画素領域の画像情報については、元画像の画像情報に戻される、あるいは表現可能な限界値に変更される。これにより元画像の完全な再現はできないまでも、高品質な画像が投影可能となっている（特許文献１の明細書段落［００２６］［００３１］［００３５］等）。

特開２００８−１３１０９９号公報

このようにプロジェクタ等の画像表示装置により画像を投射する際には、投射光学系等の性能に起因するボケ等の発生を防止することが重要となる。例えば画像が投射されるスクリーン等の形状によっても、投射される画像にボケ等が発生する場合もあり得る。このようなボケ等の発生を防止して、高品質な画像を投射可能とする技術が求められている。

以上のような事情に鑑み、本技術の目的は、高品質な画像を投射可能とする情報処理装置、情報処理方法、プログラム、及び画像表示装置を提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、投射指示部と、出力部とを具備する。
前記投射指示部は、１以上の代表画素が表示された校正用画像の投射を指示する。
前記出力部は、前記投射された校正用画像内の前記１以上の代表画素の各々のボケ度合いを入力するためのＧＵＩ（Graphical User Interface）を出力する。

この情報処理装置では、投射された校正用画像内の各代表画素のボケ度合いが、ＧＵＩを介してユーザにより入力される。当該入力されたボケ度合いをもとに画像を補正することで、高品質な画像を投射することが可能となる。

前記情報処理装置は、さらに、前記ＧＵＩを介して入力された前記１以上の代表画素の各々のボケ度合いをもとに、投射される画像を補正する補正部を具備してもよい。
これにより高品質な画像を投射することができる。

前記情報処理装置は、さらに、前記ＧＵＩを介して入力された前記１以上の代表画素の各々のボケ度合いをもとに、投射される画像の各画素についてのＰＳＦ（Point spread function）を算出する算出部を具備してもよい。
算出されたＰＳＦを用いて入力画像に逆フィルタ処理を実行することで、高品質な画像を投射することが可能となる。

前記出力部は、前記ボケ度合いを表す形状を作成可能なＧＵＩを出力してもよい。
これによりユーザから見て破綻のない画像を投射することが可能となる。

前記算出部は、前記入力された前記ボケ度合いを表す形状と、ボケによる前記代表画素からの光の広がりのサイズとをもとに、前記代表画素についてのＰＳＦを算出してもよい。
これによりユーザから見て破綻のない高品質な画像の投射が可能となる。

前記出力部は、前記ボケによる前記代表画素からの光の広がりのサイズを示す枠画像を、前記枠画像内にて前記ボケ度合いを表す形状が作成可能に出力してもよい。
これによりボケによる光の広がりのサイズを入力する操作を省くことが可能となり、簡単にＰＳＦを算出することが可能となる。

前記出力部は、ボケの発生しない状態の前記代表画素を示す基準画像を、前記基準画像の形状を変更可能に出力してもよい。
これにより基準画像のサイズを基準として、自動的にボケによる光の広がりのサイズを算出することが可能となり、当該サイズを入力する操作を省くことが可能となる。

前記出力部は、前記ボケによる前記代表画素からの光の広がりのサイズを入力するためのＧＵＩを出力してもよい。
これによりユーザにとってのシンプルな操作が実現する。

前記情報処理装置は、さらに、前記校正用画像を投射する投射装置のスポットダイアグラムを記憶する記憶部を具備してもよい。この場合、前記算出部は、前記記憶されたスポットダイアグラムをもとに、前記ボケによる前記代表画素からの光の広がりのサイズを算出してもよい。
これにより簡単にＰＳＦを算出することが可能となる。

前記出力部は、前記ボケ度合いを表す形状の候補となる複数の候補形状画像を出力してもよい。
これによりユーザは、簡単にボケ度合いを入力することが可能となる。

前記出力部は、前記複数の候補形状画像を、各々の形状を変更可能に出力してもよい。
これによりＰＳＦの算出の精度を向上させることが可能となる。

前記投射指示部は、前記算出部により算出された前記各画素についてのＰＳＦをもとに補正された画像の投射を指示してもよい。
これによりユーザは、投射された画像を確認しながらボケ度合いを入力することができる。

本技術の一形態に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、１以上の代表画素が表示された校正用画像の投射を指示することを含む。
前記投射された校正用画像内の前記１以上の代表画素の各々のボケ度合いを入力するためのＧＵＩが出力される。

本技術の一形態に係るプログラムは、コンピュータに以下のステップを実行させる。
１以上の代表画素が表示された校正用画像の投射を指示するステップ。
前記投射された校正用画像内の前記１以上の代表画素の各々のボケ度合いを入力するためのＧＵＩを出力するステップ。

本技術の一形態に係る画像表示装置は、入力部と、画像投射部と、投射指示部と、出力部と、補正部とを具備する。
前記入力部には、画像情報が入力される。
前記画像投射部は、前記画像情報をもとに画像を生成して投射することが可能である。
前記投射指示部は、前記画像投射部に１以上の代表画素が表示された校正用画像を投射させる。
前記出力部は、前記投射された校正用画像内の前記１以上の代表画素の各々のボケ度合いを入力するためのＧＵＩを出力する。
前記補正部は、前記ＧＵＩを介して入力された前記１以上の代表画素の各々のボケ度合いをもとに、前記入力された画像情報を補正する。

以上のように、本技術によれば、高品質な画像を投射することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

第１の実施形態に係る画像表示システムの構成例を示す概略図である。 プロジェクタの内部の構成例を示す概略図である。 ＰＣの構成例を示す模式的なブロック図である。 第１の実施形態に係るＰＳＦの算出の概要を示すブロック図である。 詳細なＰＳＦの算出例を示すフローチャートである。 入力される校正用画像の構成例を示す模式的な図である。 プロジェクタにより投射された校正用画像を示す模式的な図である。 ボケ度合い再現用のＧＵＩの構成例を示す模式的な図である。 作成されたボケ形状をもとにしたＰＳＦの算出例を説明するための図である。 作成されたボケ形状をもとにしたＰＳＦの算出例を説明するための図である。 ボケ度合い再現用のＧＵＩの他の構成例を示す模式的な図である。 ボケ度合い再現用のＧＵＩの他の構成例を示す模式的な図である。 ＰＳＦ補間の処理例を説明するための図である。 第２の実施形態に係るＰＳＦの算出例を示すブロック図である。 複数の候補画像の構成例を示す模式的な図である。 代表画素におけるボケ強度を変更するためのＧＵＩの例を示す図である。 他の実施形態に係るＰＳＦの算出例を示すブロック図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
［画像表示システム］
図１は、本技術の第１の実施形態に係る画像表示システムの構成例を示す概略図である。画像表示システム５００は、プロジェクタ１００と、本技術に係る情報処理装置として動作するＰＣ（Personal Computer）２００とを有する。プロジェクタ１００及びＰＣ２００は互いに接続されており、ＰＣ２００を操作することでプロジェクタ１００の動作を制御することが可能である。

プロジェクタ１００は、例えばプレゼンテーション用、もしくはデジタルシネマ用のプロジェクタとして用いられる。その他の用途に用いられるプロジェクタ、あるいはプロジェクタ以外の画像表示装置にも本技術は適用可能である。

プロジェクタ１００は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子等やＷｉＦｉモジュール等が備えられた入力インタフェース１０１を有する。当該入力インタフェース１０１に、有線又は無線を介して、ＰＣ２００が接続される。また入力インタフェース１０１には、図示しない画像供給源から、投射対象となる画像情報が入力される。なおＰＣ２００が画像供給源となることもあり得る。

図２は、プロジェクタ１００の内部の構成例を示す概略図である。プロジェクタ１００は、光源部１１０と、光変調部１２０と、投射部１３０と、表示制御部１４０とを有する。光源部１１０は、典型的には、白色光を生成して光変調部１２０に出射する。光源部１１０には、例えばＬＥＤ（Light Emitting Diode）やＬＤ（Laser Diode）等の固体光源、又は水銀ランプやキセノンランプ等が配置される。

光変調部１２０は光源部１１０からの光を、入力インタフェース１０１に入力された画像情報をもとに変調して、画像１（図１参照）を生成する。光変調部１２０は、例えばインテグレータ素子、偏光変換素子、白色光をＲＧＢの３色の光に分割する分割光学系、各色光を変調する３つの光変調素子、及び変調された各色光を合成する合成光学系等を有する。これらの部材や光学系の具体的な構成は限定されない。

投射部１３０は、複数のレンズを有し、光変調部１２０により生成された画像１をスクリーン等の投射面５（図１参照）に投射する。投射部１３０の構成は限定されず、任意の構成が適宜採用されてよい。本実施形態では、光源部１１０、光変調部１２０、及び投射部１３０により、画像投射部が実現される。

表示制御部１４０は、画像表示装置１００内の各機構の動作を制御する。また表示制御部１４０は、入力インタフェース１０１から入力された画像情報に対して種々の処理を実行する。例えば表示制御部１４０は、入力された画像情報を補正することが可能である。表示制御部１４０の構成は限定されず、任意のハードウェア及びソフトウェアが適宜用いられてよい。

図３は、ＰＣ２００の構成例を示す模式的なブロック図である。ＰＣ２００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、入出力インタフェース２０５、及び、これらを互いに接続するバス２０４を備える。

入出力インタフェース２０５には、表示部２０６、操作部２０７、記憶部２０８、通信部２０９、ドライブ部２１０、Ｉ/Ｆ（インタフェース）部２１２等が接続される。

表示部２０６は、例えば液晶、ＥＬ（Electro-Luminescence）等を用いた表示デバイスである。操作部２０７は、例えばキーボード、ポインティングデバイス、その他の操作装置である。操作部２０７がタッチパネルを含む場合、そのタッチパネルは表示部２０６と一体となり得る。

記憶部２０８は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。ドライブ部２１０は、例えば光学記録媒体等のリムーバブルの記録媒体２１１を駆動することが可能なデバイスである。

通信部２０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するための通信機器である。通信部２０９は、有線及び無線のどちらを利用して通信するものであってもよい。

Ｉ／Ｆ部２１２は、ＵＳＢ（Universal Serial Bus）端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子、又はネットワーク端子等の、他のデバイスや種々のケーブルを接続するためのインタフェースである。

ＰＣ２００による情報処理は、記憶部２０８またはＲＯＭ２０２等に記憶されたソフトウェアと、ＰＣ２００のハードウェア資源との協働により実現される。具体的には、ＣＰＵ２０１が記憶部２０８等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ２０３にロードして実行することにより実現される。

本実施形態では、ＣＰＵ２０１が所定のプログラムを実行することで、投射指示部、出力部、補正部及び算出部が実現される。これらのブロックを実現するために専用のハードウェアが用いられてもよい。

プログラムは、例えば記録媒体２１１を介してＰＣ２００にインストールされる。またはグローバルネットワーク等を介してインストールが行われてもよい。なお本技術に係る情報処理装置は、上記したＰＣ２００に限定されず種々のコンピュータが用いられてよい。

［投射画像の補正方法］
例えば光変調部１２０や投射部１３０に配置されるレンズやミラー等の光学素子の性能や、画像１が表示される投射面５の形状等により、投射される画像１にボケ等の劣化が発生する場合がある。このボケ等の劣化を補正するために本実施形態では、ＰＣ２００により投射画像１の各画素についてＰＳＦ（Point spread function：点広がり関数）が算出される。そして算出されたＰＳＦを用いて逆フィルタ演算が実行される。

図４は、本実施形態に係るＰＳＦの算出の概要を示すブロック図である。まず投射指示部として機能するＣＰＵ２０１により、プロジェクタ１００に校正用画像１０の投射が指示される（ステップ１０１）。当該指示を受けたプロジェクタ１００により、校正用画像１５が投射される（ステップ１０２）。投射された校正用画像１５は、上記したボケ等の劣化を含む画像となる。なお校正用画像について、画像情報と投射画像とで符号を区別して記載する。

ユーザ６により、投射面５に投射された校正用画像１５が目視され、校正用画像１５内に発生している焦点ボケが再現される。焦点ボケの再現は、ボケ度合いの入力に相当する（ステップ１０３）。後に詳しく説明するが、焦点ボケは、校正用画像１５内の代表点（代表画素）１６ごとに再現される。

再現された焦点ボケをもとに、算出部として機能するＣＰＵ２０１により、代表点１６ごとのＰＳＦが算出される（ステップ１０４）。代表点１６ごとのＰＳＦをもとに、代表点１６以外の画素のＰＳＦが補間により算出される（ステップ１０５）。この結果、プロジェクタ１００により投射される投射画像１の各画素について、ＰＳＦが出力される（ステップ１０６）。

このように投射された校正用画像１５内のボケをユーザ６が目視し、当該ボケの度合いをユーザ６自身が入力することで、ユーザ６が目で見て違和感のない、高精度にボケが補正された画像１を投射することが可能となる。

例えば投射された校正用画像１５をカメラで撮影して自動的にＰＳＦを算出する場合や、プロジェクタ１００の設計値をもとに自動的にＰＳＦを算出する場合では、ユーザ６から見て明らかにおかしい部分、すなわち画像が破綻している部分が発生する場合が有り得る。またカメラの撮影によりＰＳＦを実測する場合には、カメラレンズの収差やノイズ等によりＰＳＦの推定精度が低下してしまうことも考えられる。さらに設計値を利用してＰＳＦを算出する場合には、投射時のスクリーンの形状や材質等、投射面５側の特性によるボケ等を補正することが難しい。

本技術に係るＰＳＦの算出方法では、上記したような問題点を解決することが可能となり、高品質な画像を投射することが可能となる。またカメラ等を含む複雑かつ高コストな自動検出系が不要となるのでコストの削減も図ることができる。以下、本技術に係るＰＳＦの算出について詳しく説明する。

図５は、詳細なＰＳＦの算出例を示すフローチャートである。まず校正用画像１０がプロジェクタ１００に入力されて投射される（ステップ２０１）。図６は、入力される校正用画像１０の構成例を示す模式的な図である。図７は、プロジェクタ１００により投射された校正用画像１５を示す模式的な図である。

図６に示すように、校正用画像１０は、単体の画素（１ドット）が縦及び横方向に所定の間隔をあけて表示された画像である。これら複数並べられた単体の画素が、本実施形態に係る１以上の代表画素１１となる。代表画素１１の数、縦方向及び横方向における間隔のサイズ等は限定されない。代表画素１１は、画素ごとの光の広がりを表すＰＳＦを算出する対象となる画素である。

校正用画像１０の代表画素１１に設定される画素値は限定されない。例えば定義されている画素値の最大値（８ビットならば２５５、１０ビットならば１０２３）が代表画素１１の画素値として設定される。これにより投射される代表画素１６（図７参照）のボケ度合いを目視により把握することが容易となる。もちろん他の画素値が設定されてもよい。なお１以上の代表画素１１を含む校正用画像１０は、１ドットパターン画像ともいう。

図７に示すように、投射された校正用画像１５内には、ボケが発生している、特に本実施形態では、校正用画像１５の四隅の領域Ｄ１−Ｄ４内の代表画素１６ｄがぼけて表示されている。すなわち領域Ｄ１−Ｄ４は、デフォーカス領域となる（以下、同じ符号を用いてデフォーカス領域Ｄ１−Ｄ４と記載する）。

一方、画像を投射する際には、オートフォーカスや手動等により、少なくとも一部の領域を基準としてフォーカスが合わせられる。従って当該所定の領域については、代表画素１６は、ほぼぼけることなく表示される。本実施形態では、中央の領域がフォーカスの合っているフォーカス領域Ｆとなる。従ってフォーカス領域Ｆ内の代表画素１６ｆは、ほぼぼけることなく投射された画素となる。フォーカス領域Ｆ及びデフォーカス領域Ｄの位置等は限定されず、投射面５の形状等に依存する。

図５に戻り、ユーザ６によりＰＳＦの算出の対象となる代表画素１６が選択される（ステップ２０２）。そのためにＰＣ２００は、例えば選択操作を説明するためのテキスト画像を表示部２０６に表示させたり、代表画素１６を選択するためのポインタ等をプロジェクタ１００に投射させる。ユーザ６は、ＰＣ２００の操作部２０７を操作することで代表画素１６を選択する。ここでは右上のデフォーカス領域Ｄ１内の代表画素１６ｄが選択されたとする。

出力部として機能するＣＰＵ２０１により、ボケ度合いを再現するためのＧＵＩが表示部２０６に表示される（ステップ２０３）。すなわち投射された校正用画像１５内の１以上の代表画素１６の各々のボケ度合いを入力するためのＧＵＩが出力される。

図８は、ボケ度合い再現用のＧＵＩの構成例を示す模式的な図である。本実施形態では、ボケ度合い再現用ＧＵＩとして、ボケ度合いを表す形状（以下、ボケ形状と記載する）を作成可能なＧＵＩ２０が表示される。図８Ａは、ユーザ６により形状が作成される前のＧＵＩ２０ａである。図８Ｂは、ユーザにより形状が作成された後のＧＵＩ２０ｂである。

図８Ａに示すＧＵＩ２０ａは、所定のサイズの枠画像２１と、枠画像２１内に配置された形状作成の基準となる基準画像２２とを有する。枠画像２１は、内部にてボケ形状を作成可能である画像として表示される。基準画像２２は、枠画像２１内の中央に配置され、例えば最大画素値にて表示される。ユーザ６は、基準画像２２の形状を変形させることで代表画素１６ｄの形状を再現する。

図７のデフォーカス領域Ｄ１内の代表画素１６ｄは、右斜め方向を長軸方向とする長円形状に広がって表示される。この形状は、代表画素１６ｄから広がる光の形状に相当し、図８Ｂに示すように、この形状がボケ形状２５として作成される（ステップ２０４）。

ボケ形状２５として、当該形状２５内の画素値を部分的に変更することも可能である。例えば校正用画像１５内の代表画素１６ｄを目視した際に、代表画素１６ｄの中心から縁部に向けて光の輝度が低下しているとする。この場合、ボケ形状２５の中心から縁部に向かう領域の画素値を段階的に低くすることで、当該光の輝度の低下を再現することができる。図８Ｂでは、画素値が低い部分がグレー色で図示されている。

枠画像２１及び基準画像２２の色は限定されない。例えばＲＧＢの３色に分けて本技術に係るＰＳＦの算出が実行される場合には、算出対象となる色にて枠画像２１及び基準画像２２が表示される。なお色ごとにＰＳＦを算出することで高精度の補正が可能となり、一方１つの色で代表してＰＳＦを算出する場合には処理の簡素化を図ることができる。

このようにＵＩ上でボケ形状２５を再現するための技術は限定されず、任意の技術が用いられてよい。例えば周知の描画技術等を用いることで、ボケ形状２５の作成は実現可能である。またボケ形状２５の作成の各操作をユーザ６に説明したり促したりするためのテキスト情報等が適宜表示されてもよい。以下このようなテキスト情報等の表示については説明を省略する場合がある。

ボケ形状２５が作成されてユーザ６により決定されると、当該ボケ形状２５をもとに代表画素１６ｄについてのＰＳＦが算出される（ステップ２０５）。図９及び図１０は、作成されたボケ形状２５をもとにしたＰＳＦの算出例を説明するための図である。なお図９及び図１０では、図の理解を容易にするために、ボケ形状２５が破線で図示されている。

図９に示すように枠画像２１内の領域が、ボケの発生しない状態の代表画素１６ｄのサイズＳ１にて区分けされる。このサイズＳ１は、代表画素１６ｆにボケが発生していない場合の光の広がりのサイズのことである。以下ボケの発生しない状態の代表画素１６ｄを、単にボケのない代表画素１６ｄと記載する場合がある。サイズＳ１は、ボケによる代表画素１６ｄからの光の広がりのサイズ、すなわちボケサイズＳ２をもとに算出可能である。

例えば代表画素１６ｄからの光が、縦方向及び横方向にそれぞれ３画素分の範囲に広がっており、ボケサイズＳ２が「縦横３画素分」であるとする。この場合、枠画像２１内の領域が、縦横３画素分の領域となるように９等分される。区分けされた８×８画素分の領域を代表画素領域３０とすると、代表画素領域３０のサイズがボケのない代表画素１６ｄのサイズＳ１となる。なお中央の代表画素領域３０ａは、ボケのない代表画素１６ｄの表示領域となる。すなわち代表画素領域３０ａを中心にボケが発生していることになる。

ボケサイズＳ２を取得する方法については、後に詳しく説明する。

図１０Ａに示すように、各代表画素領域３０内の６４個の画素の画素値Ｐが合算され、各代表画素領域３０ごとに合算値Ｓが算出される。図１０Ｂに示すように、合算値Ｓが正規化されることで、各代表画素領域３０ごとに正規化値Ｎが算出される。この正規化値Ｎが代表画素１６ｄについてのＰＳＦとして出力される。すなわち代表画素１６ｄについてのＰＳＦは、図８Ｂに示すボケ形状２５と、ボケサイズＳ２とをもとに算出される。

ＰＣ２００がボケサイズＳ２を取得する方法としては、いくつかの実施形態がある。例えば操作部２０７を介してユーザ６によりボケサイズＳ２が入力されてもよい。ユーザ６は投射された校正用画像１５のフォーカス領域Ｆ内の代表画素１６ｆと、デフォーカス領域Ｄ内の代表画素１６ｄとを目視により比較する。そして代表画素１６ｆのサイズを基準として、代表画素１６ｄからの光の広がりのサイズを把握する。当該サイズが、ボケサイズＳ２としてＰＣ２００に入力される。なおボケサイズＳ２を入力するためのＧＵＩは任意に設定されてよい。

記憶部２０８等に、プロジェクタ１００のスポットダイアグラムが格納されており、当該スポットダイアグラムにより、ボケサイズＳ２が自動的に算出されてもよい。スポットダイアグラムは、光線が評価面と交差する点をプロットしたものであり、像の特長（例えばフレアの出方等）の評価を可能とする情報である。

スポットダイアグラムにより、プロジェクタ１００から投射される画像の、投射面５上の各位置におけるスポット形状が取得可能である。スポットダイアグラム内のフォーカスの合っているフォーカス点のスポットサイズと、ボケ再現対象点のスポットサイズとの比をもとに、当該ボケ再現対象点のボケサイズＳ２を算出することができる。なおスポットサイズは、例えばＲＭＳ（重心位置と各点位置の差分を自乗和したものを１００％で表示したもの（単位：ｍｍ））である。もちろんこれに限定されない。

スポットダイアグラムを利用することで、簡単にボケサイズＳ２を取得することが可能となり、処理の簡素化及び処理時間の短縮を図ることができる。一方、ユーザ６によりボケサイズＳ２が入力される場合には、ユーザ６の目視をもとにした信頼性の高いボケサイズＳ２が取得可能となる。

ユーザ６による入力又はスポットサイズの利用により、ボケ形状２５の作成前に、ボケサイズＳ２が取得されているとする。その場合、例えば図８Ａ及びＢに示す枠画像２１が、ボケサイズＳ２を示す画像として表示されてもよい。また基準画像２２が、ボケのない代表画素１６ｄを示す画像として表示されてもよい。

さらに図１１に示すように、枠画像２１内の領域がボケのない状態の代表画素１６ｄの１ドット分のサイズとなる代表画素領域３０にて区分けされた１ドット画像２０ｃが表示されてもよい。これらの画像が、その旨を示すテキスト画像とともに表示されることで、ユーザ６は、ボケ形状２５を操作性よく高精度に作成することが可能となる。

一方、ボケサイズＳ２が取得されていない場合に、基準画像２２がボケのない代表画素１６ｄとしてユーザ６に提示されてもよい。そして当該基準画像２２を変形させてボケ形状２５を作成することが、ユーザ６に要求されてもよい。例えばユーザ６は、基準画像２２をフォーカス領域Ｆ内の代表画素１６ｆと見立てて、ＰＳＦ算出対象の代表画素１６ｄの形状となるように、ボケ形状２５を作成する。ＰＣ２００は、作成されたボケ形状２５のサイズ（例えば中心から最も離れた画素までの線を対角線の半分とする矩形の領域のサイズ）を、最初に提示された基準画像２２のサイズで割ることで、ボケサイズＳ２を算出することができる。

その他、ボケサイズＳ２を算出する方法として、任意の方法が用いられてよい。例えば作成されたボケ形状２５の中心部分に、ボケのない代表画素１６ｄのサイズＳ１を示す画像が描画されてもよい。あるいは一度推定されたＰＳＦにより実行された補正の結果がフィードバックされることでボケサイズＳ２が算出されてもよい。

またボケ形状２５を作成する、又はボケサイズＳ２を入力するためのＧＵＩとして、任意のＧＵＩが適宜用いられてよい。例えば図１２に示すように、所定の画素群３１を形状作成の単位とするようなＧＵＩ２０ｄが表示されてもよい。各画素群３１ごとに画素値を選択することで、投射面５からの光の輝度を再現することができる。

図５に戻り、その他の代表画素１６のボケ度合いを再現するか否かが判定される（ステップ２０６）。例えば未だボケ度合いの再現が実行されていない代表画素１６が存在する場合には、ステップ２０６のＹｅｓからステップ２０２に戻る。全ての代表画素１６についてボケ度合いの入力が完了している場合には、ステップ２０６のＮｏからステップ２０７に進む。もちろんユーザ６の操作に応じてステップ２０６の判定が実行されてもよい。

各代表画素１６についてＰＳＦが算出されると、ＰＳＦの補間を実行するか否かが判定される（ステップ２０７）。判定の結果がＹｅｓならばＰＳＦが補間され（ステップ２０８）、投射される画像１の各画素についてのＰＳＦであるＰＳＦマップが算出される（ステップ２０９）。ステップ２０７の判定がＮｏの場合は、ＰＳＦの補間をすることなく、ＰＳＦマップが算出される（ステップ２０９）。

図１３は、ＰＳＦ補間の処理例を説明するための図である。例えば図１３Ａに示すように代表画素１６である代表点１−４の各ＰＳＦが算出されているとする。これら代表点１−４に囲まれた領域内の画素（補間対象点３５）のＰＳＦが補間により算出されるとする。

例えば補間対象点３５に対して座標位置が最も近い代表点１のＰＳＦｇａ、補間対象点３５のＰＳＦとして設定されてもよい。これにより簡単にＰＳＦを補間することが可能となる。

図１３Ｂ及びＣに示すように、座標値に応じて、代表点１−４の各ＰＳＦがミキシングされてもよい。例えば図１３Ｂに示すように、水平方向の座標値をもとに代表点１及び２の各ＰＳＦがミキシングされ水平補間ＰＳＦ１が算出される。同様に水平方向の座標値をもとに代表点３及び４の各ＰＳＦがミキシングされ水平補間ＰＳＦ２が算出される。

次に図１３Ｃに示すように、垂直方向の座標値をもとに水平補間ＰＳＦ１及びＰＳＦ２がミキシングされ垂直補間ＰＳＦが算出される。当該垂直補間ＰＳＦが、補間対象点３５のＰＳＦとなる。ミキシングを実行することで精度の高いＰＳＦマップが算出可能となる。なおＰＳＦ補間の方法は限定されず、他の方法が用いられてもよい。

ＰＣ２００により算出されたＰＳＦマップは、プロジェクタ１００に出力されメモリ等に記憶される。例えばプロジェクタ１００の表示制御部１４０等が補正部として機能し、記憶されたＰＳＦマップをもとに、入力された画像情報が補正される。この結果、高品質な画像を投射することが可能となる。

ＰＣ２００に画像情報が入力され、補正部として機能するＣＰＵ２０１により、当該画像情報が補正されてもよい。補正された画像情報は、プロジェクタ１００に出力され投射される。このような処理においても、高品質な画像の投射が実現する。

＜第２の実施形態＞
本技術に係る第２の実施形態の情報処理装置について説明する。これ以降の説明では、上記の実施形態で説明したＰＣ２００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。

図１４は、本実施形態に係るＰＳＦの算出例を示すブロック図である。ステップ３０１及びステップ３０２にて、１ドットパターンの校正用画像１５が投射される。本実施形態では、校正用画像１５内の１以上の代表画素１６の各々のボケ度合いを入力するためのＧＵＩとして、ボケ形状の候補となる複数の候補画像が表示される。

図１５は、複数の候補画像の構成例を示す模式的な図である。例えば図１５Ａ−Ｃに示すような候補画像４０が、データベース５０に格納されており、適宜読み出される。当該候補画像４０としてどのような形状を表現する画像が準備されるかは限定されない。例えばスポットダイアグラムをもとに、ボケ形状２５となる確率が高い形状が、複数の候補画像４０として作成される。もちろん外形状は同じであるがボケサイズが異なるものがそれぞれ候補画像４０として準備されてもよい。

ユーザ６は、校正用画像１５内のＰＳＦ算出の対象となる代表画素１６を目視しながら、複数の候補画像４０の中から最も形状（ボケサイズも含む）が近い候補画像４０を選択する（ステップ３０３）。当該選択された候補画像４０をもとに、代表画素１４についてのＰＳＦが算出され（ステップ３０４）、以下第１の実施形態と同様の処理によりＰＳＦマップが出力される（ステップ３０５、ステップ３０６）。

複数の候補画像４０を予め準備し、それをユーザ６に選択させることで、ＰＳＦ算出の処理が簡素化し、処理時間も短縮される。またユーザ６にとっても、簡単にボケ度合いを入力することが可能となる。

選択された候補画像４０の形状がさらに変更可能であってもよい。これにより入力されるボケ度合いの精度を向上させることができ、ＰＳＦの算出精度も向上する。候補画像４０の形状を変更する方法は限定されず、任意の技術が用いられてよい。

ボケ形状２５のボケサイズを大きくすることは、当該代表画素１６でのボケの強度が強い旨を入力することに相当する。逆にボケ形状２５のサイズを小さくすることは、当該代表画素１６でのボケの強度が弱い旨を入力することに相当する。一方ボケの強度は、当該代表画素１６での補正の強度に対応する。すなわちボケ強度が強い場合には、逆フィルタ演算における補正強度も強くなる。ボケ強度が弱い場合には、補正強度も弱くなる。

図１６は、代表画素におけるボケ強度（補正強度）を変更するためのＧＵＩの例を示す図である。図１６に示すように、ガウス関数のグラフを表す図（以下、ガウス形状図と記載する）４５が、ボケの強度を変更するための図として表示されてもよい。図１６Ａ−Ｃに示すように、ガウス形状のσの大きさを変更することで、ボケの強度は調整可能である。なおｘ０やｙ０の大きさが変更可能であってもよい。図１６に示すガウス形状図４５は、本技術に係るボケ度合いを入力するためのＧＵＩに含まれる。

＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

図１７は、他の実施形態に係るＰＳＦの算出例を示すブロック図である。この実施形態では、データベース５５に複数のＰＳＦが予め記憶されている。ＰＣは、複数のＰＳＦから所定のＰＳＦを選択し、プロジェクタに当該ＰＳＦをもとに補正された校正用画像６０の投射を指示する（ステップ４０１）。

ユーザ６は、投射された校正用画像６０内のＰＳＦ算出の対象となる代表画素６１を目視で確認しながら、実際に使用すべきＰＳＦを選択する。例えばＰＣの操作部を操作することで、データベース５５内のＰＳＦが切り替えられ、最も高精度に補正が実行されるＰＳＦが選択される。本技術においても高品質な画像の投射が可能となる。

ＰＣにより選択されたＰＳＦをもとに補正された校正用画像６０は、プレビュー画像ともいえる。またＰＳＦは、各代表画素６１のボケ度合いと対応する情報である。従ってプレビュー画像は、１以上の代表画素の各々のボケ度合いを入力するためのＧＵＩに含まれる。なおプレビュー画像を通して決定されたＰＳＦの強度等がユーザ６により調整可能であってもよい。この場合、例えば図１６等に示すガウス形状図４５等が表示されてもよい。

図１７に示す実施形態では、校正用画像として、１ドットパターンではない画像が用いられてもよい。あるいは、投射対象となる画像がそのまま用いられ、そのプレビュー画像をもとにＰＳＦが算出されてもよい。なお他の実施形態においても、１ドットパターンではない画像が校正用画像として用いられてもよい。

投射される校正用画像内の代表画素の中に、フォーカスが合っている代表画素が存在しないとする。この場合でも、最もフォーカスが合っているとユーザが判断する代表画素を基準として、本技術に係るＰＳＦの算出が可能である。例えば非常に奇抜な形状の投射面に、ある程度の品質にて画像を投射する場合等において、ユーザの目視をもとにＰＳＦを算出する本技術は有効である。

図１３Ｂ及びＣに示すミキシングに代えて、補正された代表点の結果がミキシングされて、補間対象点の補正結果として算出されてもよい。

上記の実施形態では、ＰＳＦの算出対象となる代表画素が１つずつ選択された。これに限定されず、所定の範囲のデフォーカス領域内の複数の代表画素の中から、代表となる代表画素が選択されてもよい。そして当該代表となる代表画素について算出されたＰＳＦがデフォーカス領域内の他の代表画素のＰＳＦとして設定されてもよい。すなわち局所ごとに共通のＰＳＦが設定されてもよい。これにより処理の簡素化、処理時間の短縮を図ることができる。

上記では、ＰＣ２００の表示部２０６に、ボケ度合いを入力するためのＧＵＩが表示された。これに限定されず、例えば投射面５上にボケ度合いを入力するためのＧＵＩが表示され、投射面５上でボケ形状２５の作成等が実行されてもよい。投射面５に投射される画像にはボケ等が発生するが、比較的大きいサイズの領域を用いてボケ形状２５の作成等を実行させることで、当該ボケ等の影響を的抑えることができる。すなわち各代表画素についてのＰＳＦを十分な精度にて算出することができる。

ＧＵＩを介して入力されたボケ度合いをもとに画像情報を補正する方法として、ＰＳＦ以外のパラメータが用いられてもよい。すなわち入力されたボケ度合いをもとに画像を補正する方法は限定されず、任意の方法が用いられてよい。

上記の各実施形態で説明したＰＣ２００による種々の処理が、プロジェクタ１００により実行されてもよい。例えば図２に示すプロジェクタ１００の表示制御部１４０が、本技術に係る出力部及び算出部として機能してもよい。これによりプロジェクタ１００は、本技術に係る画像表示装置として動作可能となる。なお当該プロジェクタ１００は、本技術に係る情報処理装置としても機能することになる。

以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

なお、本技術は以下のような構成も採ることができる。
（１）１以上の代表画素が表示された校正用画像の投射を指示する投射指示部と、
前記投射された校正用画像内の前記１以上の代表画素の各々のボケ度合いを入力するためのＧＵＩ（Graphical User Interface）を出力する出力部と
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、さらに、
前記ＧＵＩを介して入力された前記１以上の代表画素の各々のボケ度合いをもとに、投射される画像を補正する補正部を具備する
情報処理装置。
（３）（１）又は（２）に記載の情報処理装置であって、さらに、
前記ＧＵＩを介して入力された前記１以上の代表画素の各々のボケ度合いをもとに、投射される画像の各画素についてのＰＳＦ（Point spread function）を算出する算出部を具備する
情報処理装置。
（４）（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
前記出力部は、前記ボケ度合いを表す形状を作成可能なＧＵＩを出力する
情報処理装置。
（５）（４）に記載の情報処理装置であって、
前記算出部は、前記入力された前記ボケ度合いを表す形状と、ボケによる前記代表画素からの光の広がりのサイズとをもとに、前記代表画素についてのＰＳＦを算出する
情報処理装置。
（６）（５）に記載の情報処理装置であって、
前記出力部は、前記ボケによる前記代表画素からの光の広がりのサイズを示す枠画像を、前記枠画像内にて前記ボケ度合いを表す形状が作成可能に出力する
情報処理装置。
（７）（５）又は（６）に記載の情報処理装置であって、
前記出力部は、ボケの発生しない状態の前記代表画素を示す基準画像を、前記基準画像の形状を変更可能に出力する
情報処理装置。
（８）（５）から（７）のうちいずれか１つに記載の情報処理装置であって、
前記出力部は、前記ボケによる前記代表画素からの光の広がりのサイズを入力するためのＧＵＩを出力する
情報処理装置。
（９）（５）から（８）のうちいずれか１つに記載の情報処理装置であって、さらに、
前記校正用画像を投射する投射装置のスポットダイアグラムを記憶する記憶部を具備し、
前記算出部は、前記記憶されたスポットダイアグラムをもとに、前記ボケによる前記代表画素からの光の広がりのサイズを算出する
情報処理装置。
（１０）（４）から（９）のうちいずれか１つに記載の情報処理装置であって、
前記出力部は、前記ボケ度合いを表す形状の候補となる複数の候補形状画像を出力する
情報処理装置。
（１１）（１０）に記載の情報処理装置であって、
前記出力部は、前記複数の候補形状画像を、各々の形状を変更可能に出力する
情報処理装置。
（１２）（３）から（１１）のうちいずれか１つに記載の情報処理装置であって、
前記投射指示部は、前記算出部により算出された前記各画素についてのＰＳＦをもとに補正された画像の投射を指示する
情報処理装置。

Ｓ１…ボケが発生しない状態の代表画素サイズ
Ｓ２…ボケサイズ
１…投射画像
１０…校正用画像（画像情報）
１１…校正用画像（画像情報）の代表画素
１５…校正用画像（投射画像）
１６…校正用画像（投射画像）の代表画素
２０…ボケ形状を作成可能なＧＵＩ
２１…枠画像
２２…基準画像
２５…ボケ形状
４０…候補画像
６０…校正用画像（補正後）
６１…校正用画像（補正後）の代表画素
１００…プロジェクタ
２００…ＰＣ
５００…画像表示システム

Claims (15)

1. １以上の代表画素が表示された校正用画像の投射を指示する投射指示部と、
   前記投射された校正用画像内の前記１以上の代表画素の各々のボケ度合いを入力するためのＧＵＩ（Graphical User Interface）を出力する出力部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、さらに、
   前記ＧＵＩを介して入力された前記１以上の代表画素の各々のボケ度合いをもとに、投射される画像を補正する補正部を具備する
   情報処理装置。
3. 請求項１に記載の情報処理装置であって、さらに、
   前記ＧＵＩを介して入力された前記１以上の代表画素の各々のボケ度合いをもとに、投射される画像の各画素についてのＰＳＦ（Point spread function）を算出する算出部を具備する
   情報処理装置。
4. 請求項１に記載の情報処理装置であって、
   前記出力部は、前記ボケ度合いを表す形状を作成可能なＧＵＩを出力する
   情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   前記算出部は、前記入力された前記ボケ度合いを表す形状と、ボケによる前記代表画素からの光の広がりのサイズとをもとに、前記代表画素についてのＰＳＦを算出する
   情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   前記出力部は、前記ボケによる前記代表画素からの光の広がりのサイズを示す枠画像を、前記枠画像内にて前記ボケ度合いを表す形状が作成可能に出力する
   情報処理装置。
7. 請求項５に記載の情報処理装置であって、
   前記出力部は、ボケの発生しない状態の前記代表画素を示す基準画像を、前記基準画像の形状を変更可能に出力する
   情報処理装置。
8. 請求項５に記載の情報処理装置であって、
   前記出力部は、前記ボケによる前記代表画素からの光の広がりのサイズを入力するためのＧＵＩを出力する
   情報処理装置。
9. 請求項５に記載の情報処理装置であって、さらに、
   前記校正用画像を投射する投射装置のスポットダイアグラムを記憶する記憶部を具備し、
   前記算出部は、前記記憶されたスポットダイアグラムをもとに、前記ボケによる前記代表画素からの光の広がりのサイズを算出する
   情報処理装置。
10. 請求項４に記載の情報処理装置であって、
    前記出力部は、前記ボケ度合いを表す形状の候補となる複数の候補形状画像を出力する
    情報処理装置。
11. 請求項１０に記載の情報処理装置であって、
    前記出力部は、前記複数の候補形状画像を、各々の形状を変更可能に出力する
    情報処理装置。
12. 請求項３に記載の情報処理装置であって、
    前記投射指示部は、前記算出部により算出された前記各画素についてのＰＳＦをもとに補正された画像の投射を指示する
    情報処理装置。
13. １以上の代表画素が表示された校正用画像の投射を指示し、
    前記投射された校正用画像内の前記１以上の代表画素の各々のボケ度合いを入力するためのＧＵＩ（Graphical User Interface）を出力する
    ことをコンピュータが実行する情報処理方法。
14. １以上の代表画素が表示された校正用画像の投射を指示するステップと、
    前記投射された校正用画像内の前記１以上の代表画素の各々のボケ度合いを入力するためのＧＵＩ（Graphical User Interface）を出力するステップと
    をコンピュータに実行させるプログラム。
15. 画像情報が入力される入力部と、
    前記画像情報をもとに画像を生成して投射することが可能な画像投射部と、
    前記画像投射部に１以上の代表画素が表示された校正用画像を投射させる投射指示部と、
    前記投射された校正用画像内の前記１以上の代表画素の各々のボケ度合いを入力するためのＧＵＩ（Graphical User Interface）を出力する出力部と、
    前記ＧＵＩを介して入力された前記１以上の代表画素の各々のボケ度合いをもとに、前記入力された画像情報を補正する補正部と
    を具備する画像表示装置。