JP6274839B2 - 画像処理装置、画像処理方法 - Google Patents

画像処理装置、画像処理方法 Download PDF

Info

Publication number
JP6274839B2
JP6274839B2 JP2013251393A JP2013251393A JP6274839B2 JP 6274839 B2 JP6274839 B2 JP 6274839B2 JP 2013251393 A JP2013251393 A JP 2013251393A JP 2013251393 A JP2013251393 A JP 2013251393A JP 6274839 B2 JP6274839 B2 JP 6274839B2
Authority
JP
Japan
Prior art keywords
image
projection
projected
test pattern
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013251393A
Other languages
English (en)
Other versions
JP2015109559A (ja
JP2015109559A5 (ja
Inventor
大内 朗弘
朗弘 大内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013251393A priority Critical patent/JP6274839B2/ja
Priority to US14/559,743 priority patent/US9551918B2/en
Publication of JP2015109559A publication Critical patent/JP2015109559A/ja
Priority to US15/379,266 priority patent/US9930306B2/en
Publication of JP2015109559A5 publication Critical patent/JP2015109559A5/ja
Application granted granted Critical
Publication of JP6274839B2 publication Critical patent/JP6274839B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/147Optical correction of image distortions, e.g. keystone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Description

本発明は、投射型画像表示システムにおける投射画像の歪み補正に関する。
プロジェクタの投射画像の歪み補正について、該投射画像を撮像し、該撮像画像から歪補正パラメータを算出して補正する技術が知られている。
例えば、特許文献1には、プロジェクタによる投射サイズがスクリーンよりも大きい場合に、投射画像のサイズを縮小させて歪み補正を実施することが記載されている。より具体的には、プロジェクタ装置が、投射画像全体の75%サイズの画像と50%サイズの画像を投射し、それぞれの撮像画像を取得することでプロジェクタ装置の投射画像全体の位置を算出し、投射画像の歪み補正を実施することが記載されている。
特許第3996610号公報
しかしながら、投射画像のサイズによっては、投射画像の歪み補正を適切に行えない恐れがあった。
例えば、引用文献1の例において、投射画像全体の75%サイズの画像を投射しても当該投射画像の範囲を特定できない場合、投射画像の歪み補正が適切に行えない恐れがあった。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、投射画像の歪み補正をより効果的に行えるようにすることである。
上記の課題を解決するために、本発明の画像処理装置は、例えば以下の構成を有する。すなわち、画像を投射する投射手段と、前記投射手段による投射画像を縮小する縮小処理を実行するかを、前記投射手段により画像が投射された投射面から取得される情報に基づいて判定する判定手段と、記判定手段により縮小処理を実行すると判定された場合、前記投射画像よりも縮小された第1縮小画像を前記投射手段に投射させる第1縮小処理と、前記第1縮小画像よりも縮小された第2縮小画像を前記投射手段に投射させる第2縮小処理とを少なくとも含む複数の縮小処理を実行する処理手段と、前記処理手段により前記第1縮小画像が投射された投射面の撮像に基づく第1撮像画像から所定の座標が検出された場合、前記投射手段により投射される画像の歪み補正処理を前記第1及び第2の縮小画像に基づいて実行する補正手段とを有する。
本発明によれば、投射画像の歪み補正をより効果的に行えるようになる。
実施形態における投射型画像表示システムのブロック図 実施形態における画像処理装置の動作を説明するためのフローチャート テストパターンの投射状況を説明するための図 最大投射画像サイズの算出方法を説明するための図 実施形態における画像処理装置の動作を説明するためのフローチャート 実施形態におけるテストパターンを説明するための図 実施形態における画像処理装置の動作を説明するためのフローチャート 歪み補正の方法を説明するための図
以下、本発明の実施の形態を図面に基づいて説明する。
<第1の実施形態>
図1は、本発明の実施形態における投射型画像表示システムの構成の一例を示している。本構成において、100はパターン生成部、200は投射部、300は撮像部、400は状態判定部、500は歪補正部、600は映像入力部、700はスクリーンである。
なお、本実施形態では、パターン生成部100、投射部200、状態判定部400、歪補正部500、映像入力部600を1つの画像処理装置として構成する例を中心に説明するが、この例に限らない。例えば、撮像部300が画像処理装置に組み込まれていてもよいし、投射部200が画像処理装置とは別体の装置であってもよい。
パターン生成部100で生成されたテストパターンは、投射部200によりスクリーン700上に投射される。なお、図1では、パターン生成部100により生成されたテストパターンが歪補正部500で必要な歪み補正が行われてから投射されるように構成しているが、これに限るものではない。例えば、パターン生成部100は、歪補正部500と投射部200との間に配置するように構成しても良い。また、パターン生成部100は、予め記憶されたテストパターンを読み出すようにしてもよい。また、本実施形態では、投射画像の歪み補正のためにテストパターンを投射させる例を中心に説明しているが、この例に限らない。例えば、テストパターンではない任意の投射画像に基づいて歪み補正が行われるようにすることも可能である。映像入力部600は、外部からの映像信号を入力するために動作する。映像入力部600は、例えば、PC等から映像信号を入力することも可能であるし、インターネット等に接続して映像信号を取得することも可能である。
撮像部300は、投射部200により画像(テストパターン)が投射された状態のスクリーン700を撮像し、撮像画像を状態判定部400に渡す。
状態判定部400は、撮像部300から取得した撮像画像からテストパターンの頂点を検出する。そして、状態判定部400は、テストパターンから頂点を検出できた場合は、検出された頂点の位置情報を歪補正部500に渡し、テストパターンから頂点を検出できなかった場合は、パターン生成部100に頂点を検出できなかったことを通知する。本実施形態のパターン生成部100は、頂点を検出できなかったことを示す通知を受けると、テストパターンの投射サイズを縮小する。
歪補正部500は、状態判定部400から通知された頂点の位置情報に基づいて、投射画像の歪み補正のための補正量を決定し、投射部200を制御する。歪補正部500の処理の詳細は後述する。
本実施形態における画像処理装置の動作を図2のフローチャートを用いて説明する。なお、本実施形態の画像処理装置は、不図示のCPUを備えており、図2の処理を実行するために必要なプログラムを不図示のメモリから読み出して実行することにより、図2の各処理を実現する。
ステップS100において、状態判定部400は縮小回数初期値RSを1に初期化する。次に、ステップS101において、パターン生成部100は、投射部200の表示領域の100%のサイズのテストパターンを生成する。そして、生成されたテストパターンは投射部200により投射される。
ステップS102において、撮像部300は、テストパターンが投射された状態のスクリーン700を撮像する。そしてステップS103において、状態判定部400は、撮像部300による撮像画像からテストパターンの頂点を検出する。なお、本実施形態では、矩形のテストパターンが投射され、状態判定部400が矩形の4つの頂点を検出する例を中心に説明するが、テストパターンの形状や検出される頂点の数は上記の例に限らない。また、検出対象は、頂点でなくても、テストパターンが投射されている領域と投射されていない領域の境界が識別できればよい。すなわち、状態判定部400は、撮像部300による撮像画像(テストパターン)を解析し、所定の座標(例えば、投射画像の頂点に対応する座標)を検出する。
状態判定部400はステップS103において、テストパターンの4つの頂点が全て検出されるか否かで投射状態を判定する。4つの頂点がすべて検出された場合はステップS110に進み、4つの頂点が検出されなかった場合はステップS104に進む。
なお、本実施形態のパターン生成部100は、頂点を識別可能なテストパターンを生成する。具体的には、パターン生成部100は、例えば頂点のみ輝度と色の少なくとも一方を異ならせたテストパターンを生成する。また、パターン生成部100は、例えば、テストパターン中心を示すパターンが付加されたテストパターン(例えば、4つの頂点の対角線が描かれたテストパターン)を生成することも可能である。このように、頂点を識別可能なテストパターンを生成することで、スクリーン700にテストパターンの投射領域が完全に一致した場合などにおいて頂点の誤判定を防ぐことが可能である。
また、状態判定部400は、スクリーン面上にテストパターンが投射されているか否かをスクリーン700の面上の輝度値で判定可能である。テストパターンの中心を示すパターンがテストパターンに付加される場合、状態判定部400は、投射画像の頂点を結ぶ線分が該パターンの中心を通るか否かによってスクリーン面上にテストパターン全体が投射されているか否かを判定することが可能である。
図3(A)に示すようにスクリーン面701に対して投射画像800がはみ出していた場合、本実施形態の状態判定部400は、投射画像800の頂点A、B、Dを検出できない。
この場合、ステップS104へ進み、状態判定部400は、パターン生成部100に対して、頂点が検出できなかったことを通知する。該通知を受けたパターン生成部100は、テストパターンのサイズを縮小しステップS101へ戻る。
すなわち、パターン生成部100は、ステップS103における解析結果(所定の座標の検出結果)に応じて、ステップS104でテストパターンのサイズを変更する。本実施形態のパターン生成部100は、ステップS104において、縮小前のテストパターンを縦横均等に75%に縮小するが、縮小ステップは任意に決めることが出来る。また、縮小前と縮小後のテストパターンの中心は最大投射画面中心(投射部200が最大サイズで画像を投射した場合の投射画像の中心)と一致しているものとする。状態判定部400がステップS103で、4つの頂点を検出するまでステップS101からステップS104の処理が繰り返される。
ステップS101からステップS104を繰り返した結果、例えば図3(B)に示すようにスクリーン面701上で投射画像802の頂点A、B、C、Dが検出されると、ステップS110に進む。本実施形態では、表示領域のサイズに対して縦横均等に75%に縮小されたテストパターンの投射画像802において、4つの頂点A、B、C、Dが検出されたものとする。
ステップS110において、状態判定部400は、縮小回数初期値RSが0と等しい否かを判定する。本実施形態では、RS=1として初期化されているため、RS≠0であると判定され、ステップS111に進む。ステップS111では、RS=RS−1となり、ステップS112へ進む。
ステップS112では、パターン生成部100が、現在のサイズよりもさらに50%縮小したテストパターンを生成し、ステップS101へ戻る。本実施形態では、表示領域に対して縦横均等に75%に縮小されたサイズ変更後のテストパターンが、さらに縦横均等に50%に縮小されたテストパターンが生成される。
なお、本実施形態ではRSの初期値を1としているが、2以上の値とすることも可能である。パターン生成部100は、4つの頂点が検出されたテストパターンよりもさらに縮小されたテストパターンを、縮小回数初期値RSに応じた数だけ生成する。
本実施形態ではRSの値を1としているので、4つの頂点が検出されたテストパターンよりもさらに50%縮小されたテストパターンが生成され、ステップS120へ進む。なお、例えば、RSの初期値を2にしていれば、4つの頂点が検出されたテストパターンがさらに50%縮小されたテストパターンが生成されると共に、当該50%縮小されたテストパターンがさらに50%縮小されたテストパターンが生成される。そして、撮像部300は、それぞれのテストパターンの撮像画像を状態判定部400へ送る。
ステップS120において、歪補正部500は、4つの頂点が検出された複数のテストパターンの撮像画像から最大投射サイズを特定する。すなわち、歪補正部500は、投射部200がテストパターンを縮小せずに投射した場合の投射画像800のサイズを特定する。
本実施形態において、4つの頂点が検出された2つのテストパターンは、図4に示すように投射部200の表示領域サイズに対して縦横均等に75%(Rate2)に縮小された投射画像802と、それがさらに縦横均等に1/2された投射画像803である。つまり、投射画像803のサイズは、表示領域サイズが縦横均等に37.5%に縮小されたサイズである。本実施形態の歪補正部500は、投射画像802と投射画像803のそれぞれの頂点の位置に基づいて、投射画像800の各頂点の位置を算出する。すなわち、歪補正部500は、所定数(4つ)の頂点が検出されたテストパターンと、当該テストパターンの変更サイズ(Rate)とに基づいて、サイズの変更前の投射画像(投射画像800)の領域を特定する。
例えば、図4において、投射画像800の左上の頂点Aを算出する方法について説明する。テストパターン中心から投射画像803、802、800の左上頂点までの距離をそれぞれLa3、La2、La0とする。
テストパターンの中心から投射画像803、802、800のそれぞれの左上頂点までの距離は線形比例している。例えば、テストパターンの中心から投射画像802の左上頂点までの距離L2は、投射画像802の50%のサイズである投射画像803の左上頂点までの距離L3の2倍である。
つまり、テストパターンの縮小率(Rate)と、テストパターン中心から各投射画像の左上頂点までの距離(La)との関係は、αを定数として次式となる。
La=α*Rate
α=(La2−La3)/(Rate2−Rate3)
従って、テストパターン中心から投射画像800の左上頂点Aまでの距離La0はLa0=100*αとして算出される。歪補正部500は、投射画像800の他の頂点B、C、Dについても同様にテストパターン中心からの距離を算出し、これによって投射画像800のサイズを特定できる。
歪補正部500は、テストパターンの中心から投射画像800の各頂点A、B、C、Dまでの距離から投射画像800の各頂点の位置を特定すると、ステップS130へ進む。ステップS130において、歪補正部500は、ステップS130で特定された投射画像800の各頂点の位置と歪み補正後の目標画像形状との関係から歪補正パラメータを算出する。
より具体的には、図8(C)で示すように投射画像800が歪んで投射されている場合、歪補正部500は、以下のようにして歪補正パラメータを決定する。まず、歪補正部500は、スクリーン面701に投射されている投射画像800の4つの頂点座標A、B、C、Dを、図8(B)に示すように投射部200の表示領域上の座標Ap、Bp、Cp、Dpに変換するための座標変換式を求める。次に、歪補正部500は、スクリーン700上の座標A’、B’、C’、D’から投射部200の表示領域上の座標A’p、B’p、C’p、D’pを求める。そして、歪補正部500は、投射部200の表示領域上の座標Ap、Bp、Cp、Dpと座標A’p、B’p、C’p、D’pの差分から歪補正パラメータを算出する。このようにすることで、図8(C)の投射画像800のような歪んだ投射画像を補正して目標画像形状900のような形状にすることができる。
すなわち、歪補正部500は、スクリーン700上の座標と投射部200の表示領域上の座標との対応付けを行う。そして、歪補正部500は、該対応付けに従って、スクリーン700上の目標画像形状の頂点A’、B’、C’、D’の座標を投射部200の表示領域上の座標A’p、B’p、C’p、D’pに変換する。そして、歪補正部500は、表示領域上の座標Ap、Bp、Cp、Dpと座標A’p、B’p、C’p、D’pとの差分に基づいて歪み補正のための補正量を決定する。なお、歪補正パラメータの決定方法は上記の方法に限らず、公知の種々の方法を用いることが可能である。また、図8(A)は、最大投射サイズでの投射画像800がスクリーン700に収まった場合を示した図である。
以上説明したように、本実施形態の画像処理装置は、投射画像から4つの頂点(所定の座標)が検出されなかった場合は、投射画像のサイズを縮小する。そして、画像処理装置は、縮小後の投射画像から頂点が検出されると、当該検出された頂点の位置を用いて、縮小前の投射画像の頂点の位置を特定し、歪み補正を行う。このようにすることで、例えば投射部200による投射画像サイズがスクリーン700よりも大きい場合であっても、より適切な歪み補正ができるようになる。
なお、本実施形態では、初めに4頂点を検出したテストパターンと更に1回縮小したテストパターンを使用する例を中心に説明したが、歪補正部500は、初めに4頂点を検出したテストパターンのみを使用して歪み補正を行うことも可能である。すなわち、歪補正部500は、最初に4頂点が検出されたテストパターンにおける4頂点と、当該テストパターンの縮小率から、縮小しなかった場合の投射画像800の頂点の位置を特定し、歪補正パラメータを決定することも可能である。
また、3つ以上のテストパターンを使用して歪み補正をすることも可能である。3つ以上のテストパターンを使用する場合、使用するテストパターンの組合せ毎に上記の算出式のαを求め、それを平均することにより誤差を小さくすることができる。また、本実施形態では、テストパターンを白色のベタパターンとして説明したが、これに限るものではない。
また、本実施形態では、スクリーンに対する撮像画像から投射画像を解析する例を中心に説明しているが、この例に限らない。他の方法として、例えば、スクリーン上に設けられた輝度センサーで検出された輝度の情報を画像処理装置が取得して、それを解析することも可能である。
<第2の実施形態>
次に第2の実施形態について、第1の実施形態との差異を中心に説明する。本実施形態が第1の実施形態と大きく異なる点は、最初に縮小されたテストパターンを投射させ、4つの頂点が検出されると当該テストパターンを拡大している点である。なお、投射される画像はテストパターンに限らず、任意の画像データを用いることができる点は、第1の実施形態と同様である。
本実施形態の画像処理装置の動作について、図5のフローチャートを用いて説明する。なお、図2のステップに対応するステップについては、同一のステップ番号としている。本実施形態の画像処理装置は、不図示のCPUを備えており、図5の処理を実行するために必要なプログラムを不図示のメモリから読み出して実行することにより、図5の各処理を実現する。
ステップS200で初期値として拡大回数値KS、縮小率SR、前縮小率ZDB、前拡大率ZUBを設定する。本実施形態例ではKS=10、SR=50%、ZDB=0%、ZUB=100%とする。各パラメータについては後述する。
ステップS101において、パターン生成部100は、初期縮小率SRで縮小されたテストパターンを生成する。そして、投射部200は、ステップS101において、テストパターンを投射する。本実施形態では初期縮小率SR=50%であるため、投射部200の表示領域サイズが縦横均等に50%に縮小されたテストパターンが投射される。
ステップS102において、撮像部300は、テストパターンが投射された状態のスクリーン700を撮像する。そしてステップS103において、状態判定部400は、撮像部300による撮像画像からテストパターンの頂点を検出する。すなわち、状態判定部400は、投射部200による投射画像を解析する。ステップS103で撮像画像から検出される頂点数が4点ではなかった場合、ステップS105へ進む。ステップS105において、パターン生成部100は、テストパターンのサイズを縮小する。具体的には、パターン生成部100は、前縮小率ZDBと現縮小率SRの中間となる縮小率を設定する。図5の処理フローを開始してから最初でステップS105に進んだ場合、前縮小率ZDB=0%、現縮小率SR=50%であるためステップS105における変更後の縮小率SR=25%となる。また、ステップS105において、パターン生成部100は、前縮小率ZDBと現縮小率SRのうち大きい方を前拡大率(ZUB=50%)、小さい方を前縮小率(ZDB=0%)としてステップS101へ進む。
なお、処理フローの途中でステップS105に進み、現縮小率SR=75%で前縮小率ZDB=50%であった場合、縮小率SR=62.5%、前縮小率ZDB=50%、前拡大率ZUB=75%となる。テストパターンの縮小とパラメータのアップデートが完了すると、S101へ進む。
ステップS103において、状態判定部400が撮像画像から4点の頂点を検出した場合、ステップS113へ進む。ステップS113において、状態判定部400は、拡大回数値KSが0であるか否かを判定する。KS≠0の場合、ステップS114でKS=KS−1としてステップS115へ進む。
ステップS115において、パターン生成部100は、前拡大率ZUBと現縮小率SRの中間となる縮小率になるようにテストパターンを拡大する。すなわち、本実施形態のパターン生成部100は、状態判定部400が投射画像の解析によって所定数(4つ)の頂点を検出した場合、投射部200による投射画像を拡大させる。図5の処理フローを開始してからステップS105を経由せずに最初にステップS115に進んだ場合、前拡大率ZUB=100%、現縮小率SR=50%なので縮小率SR=75%となる。
また、前縮大率ZUBと現縮小率SRのうち大きい方を前拡大率(ZUB=100%)、小さい方を前縮小率(ZDB=50%)としてステップS101へ進む。また、例えば、ステップS115に進んだ場合において、現縮小率SR=75%で前拡大率ZUB=100%であった場合、拡大後の縮小率SR=87.5%、前縮小率ZDB=75%、前拡大率ZUB=100%としてステップS101へ進む。
ステップS113で、拡大回数値KS=0となるまでステップS101からステップS113を繰り返してステップS120へ進む。すなわち、本実施形態のパターン生成部100は、第1のサイズのテストパターンの撮像画像から4つの頂点が検出された場合、テストパターンを所定の割合だけ拡大し、当該拡大後の第2のサイズのテストパターンを投射部200に投射させる。そして、パターン生成部100は、拡大後の第2のテストパターンの撮像画像から4つの頂点が検出されなかった場合、第1のテストパターンよりも大きく、第2のテストパターンよりも小さい第3のサイズのテストパターンを生成し、投射させる。
ステップS113において拡大回数値KSが0になったと状態判定部400により判定されると、ステップS120に進む。ステップS120において、歪補正部500は、1つ又は複数のテストパターンの撮像画像のそれぞれから検出された4つの頂点の位置に基づいて投射部200の投射画像の補正量を決定する。
以上説明したように、本実施形態の画像処理装置は、投射画像からの頂点の検出状況に応じて、テストパターンのサイズの縮小/拡大を行う。このようにすることで、投射画像(テストパターン)の全体がスクリーン面に投射されるサイズのうち、できるだけ大きなサイズのテストパターンの頂点の位置に基づいて歪み補正を行うことができる。
<第3の実施形態>
次に第3の実施形態について、第1、及び第2の実施形態との差異を中心に説明する。本実施形態では、投射部200により投射されるテストパターンの内容に特徴がある。
本実施形態で使用されるテストパターンの例を図6に示す。例えば、図6(A)は、中心が一致する複数の矩形で構成されるテストパターンである。図6(B)は、最大投射画像が縦横均一に縮小された矩形を並べたチェッカーパターンである。また、図6(B)でテストパターンの中心を明確にするため、中心の矩形は他の矩形と、例えば、色で識別可能なパターンとしている。すなわち、本実施形態で使用されるテストパターンは、複数の矩形が所定の位置関係で存在する画像である。このようなテストパターンは、中心が明確で、且つ、スクリーン上の画像サイズと、実際の投射画像のサイズとの差分や比率を推定可能なテストパターンである。なお、テストパターンはこれに限らない。
本実施形態の画像処理装置の動作について、図7のフローチャートを用いて説明する。なお、図2のステップに対応するステップについては、同一のステップ番号としている。また、本実施形態の画像処理装置は、不図示のCPUを備えており、図7の処理を実行するために必要なプログラムを不図示のメモリから読み出して実行することにより、図7の各処理を実現する。
ステップS101において、パターン生成部100は、図6(A)に示したようなテストパターンを生成する。そして、投射部200は、生成されたテストパターンを投射する。ステップS102において、撮像部300は、テストパターンが投射された状態のスクリーン700を撮像する。
そしてステップS103において、状態判定部400は、図6(A)に示したテストパターンに含まれる複数の矩形のうち4つの頂点を検出可能な矩形を特定してステップS120へ進む。ステップS120において、歪補正部500は、4つの頂点が検出された矩形に基づいて、最大投射サイズの画像の各頂点を特定する。例えば、図6(A)のテストパターンが投射された場合、歪補正部500は、4つの頂点が検出された各矩形の頂点に基づいて、最も外側の矩形の頂点の位置を特定する。そして、歪補正部500は、ステップS130において、ステップS120で特定された最も外側の矩形の頂点の位置に基づいて、投射部200による投射画像の歪み補正のための補正量(補正パラメータ)を決定する。なお、図6(B)で示したテストパターンを用いた場合も、同様の考え方で補正パラメータを決定することが可能である。
なお、図6(B)に示すようなテストパターンが投射された場合も、状態判定部400は、撮像画像から検出された範囲に基づいて、最大投射サイズの画像の各頂点を特定し、歪み補正のための制御を行なうことが可能である。
以上説明したように、本実施形態の画像処理装置は、中心が明確、且つ、スクリーン上の画像サイズと、実際の投射画像のサイズとの差分や比率を推定可能なテストパターンを投射する。例えば、図6(A)のようなテストパターンを用いれば、スクリーン面に全体が投射されるテストパターンのうち、最も大きなテストパターンを短い時間で見つけることができる。そして、該テストパターンの頂点を用いて歪み補正パラメータを決定することで、テストパターンの投射画像がスクリーンからはみ出すようなことがある場合であっても、より適切な歪み補正ができるようになる。
なお、上記の各実施形態では、投射画像が矩形であり、当該投射画像の4つの頂点を検出する例を中心に説明したが、この例に限らない。

Claims (16)

  1. 画像を投射する投射手段と、
    前記投射手段による投射画像を縮小する縮小処理を実行するかを、前記投射手段により画像が投射された投射面から取得される情報に基づいて判定する判定手段と、
    記判定手段により縮小処理を実行すると判定された場合、前記投射画像よりも縮小された第1縮小画像を前記投射手段に投射させる第1縮小処理と、前記第1縮小画像よりも縮小された第2縮小画像を前記投射手段に投射させる第2縮小処理とを少なくとも含む複数の縮小処理を実行する処理手段と、
    前記処理手段により前記第1縮小画像が投射された投射面の撮像に基づく第1撮像画像から所定の座標が検出された場合、前記投射手段により投射される画像の歪み補正処理を前記第1及び第2の縮小画像に基づいて実行する補正手段を有することを特徴とする画像処理装置。
  2. 前記所定の座標とは、前記第1縮小画像の頂点であることを特徴とする請求項1に記載の画像処理装置。
  3. 前記判定手段は、前記投射手段による投射画像の4つの頂点が検出されなかった場合、前記投射手段による投射画像を縮小するための縮小処理を実行すると判定することを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記判定手段は、前記投射手段による投射画像の所定の座標が検出されなかった場合、前記投射手段による投射画像を縮小するための縮小処理を実行すると判定することを特徴とする請求項1又は2に記載の画像処理装置。
  5. 前記判定手段は、前記投射手段による画像投射領域と非画像投射領域との境界が検出されなかった場合、前記投射手段による投射画像を縮小するための縮小処理を実行すると判定することを特徴とする請求項1又は2に記載の画像処理装置。
  6. 前記投射手段により画像が投射された投射面から取得される情報とは、前記投射手段により投射される画像の少なくとも一部を含む領域の撮像により得られる撮像画像であることを特徴とする請求項1乃至のうち、何れか1項に記載の画像処理装置。
  7. 前記投射手段により画像が投射された投射面から取得される情報とは、前記投射面の輝度を検出するためのセンサーから取得したセンサー情報であることを特徴とする請求項1乃至のうち、何れか1項に記載の画像処理装置。
  8. 前記投射手段は、予め定められたパターンを有するテストパターン画像を投射し、
    前記判定手段は、前記投射手段によりテストパターン画像が投射された投射面の撮像画像を用いることで、前記縮小処理を実行するかを判定することを特徴とする請求項1乃至のうち、何れか1項に記載の画像処理装置。
  9. 前記投射手段により画像が投射された投射面から取得される情報とは、前記投射手段により画像が投射された投射面の輝度データであることを特徴とする請求項1乃至のうち、何れか1項に記載の画像処理装置。
  10. 前記投射手段により画像が投射された投射面から取得される情報とは、前記投射手段により画像が投射された投射面の色データであることを特徴とする請求項1乃至のうち、何れか1項に記載の画像処理装置。
  11. 前記補正手段は、前記投射手段による投射画像の歪み補正パラメータを決定し、当該決定された歪み補正パラメータに基づいて前記投射手段による投射画像の形状を変更する処理を前記歪み補正処理として実行する請求項1乃至10の何れか1項記載の画像処理装置。
  12. 射手段による投射画像を制御する制御方法であって、
    前記投射手段による投射画像を縮小する縮小処理を実行するかを、前記投射手段により画像が投射された投射面から取得される情報に基づいて判定する判定工程と、
    前記投射手段による投射画像を縮小する縮小処理を実行すると前記判定工程により判定された場合、前記投射画像よりも縮小された第1縮小画像を前記投射手段に投射させる第1縮小処理と、前記第1縮小画像よりも縮小された第2縮小画像を前記投射手段に投射させる第2縮小処理とを少なくとも含む複数の縮小処理を実行する処理工程と、
    前記処理工程により前記第1縮小画像が投射された投射面の撮像に基づく第1撮像画像から所定の座標が検出された場合、前記投射手段により投射される画像の歪み補正処理を前記第1及び第2の縮小画像に基づいて実行する補正工程を有することを特徴とする制御方法。
  13. 前記所定の座標とは、前記第1縮小画像の頂点の座標であることを特徴とする請求項12に記載の制御方法。
  14. 前記判定工程は、前記投射手段による投射画像の4つの頂点が検出されなかった場合、前記投射手段による投射画像を縮小するための縮小処理を実行すると判定することを特徴とする請求項12又は13に記載の制御方法。
  15. 投射手段による投射画像を制御する制御方法であって、
    前記投射手段による投射画像を拡大する拡大処理を実行する処理工程と、
    前記処理工程による拡大処理の実行済み回数が所定回数に達した場合、前記投射手段による投射画像の歪み補正処理を実行すると判定する判定工程と、
    前記判定工程により前記歪み補正処理を実行すると判定された場合、前記処理工程による複数回の拡大処理に基づく複数の投射画像に対応する複数の撮像画像のそれぞれから検出される所定の座標の位置情報に基づいて、前記投射手段による投射画像の歪み補正処理を実行する補正工程とを有することを特徴とする制御方法。
  16. コンピュータに請求項12乃至15のうち何れか1項に記載の制御方法を実行させるためのプログラム。
JP2013251393A 2013-12-04 2013-12-04 画像処理装置、画像処理方法 Expired - Fee Related JP6274839B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013251393A JP6274839B2 (ja) 2013-12-04 2013-12-04 画像処理装置、画像処理方法
US14/559,743 US9551918B2 (en) 2013-12-04 2014-12-03 Image processing apparatus, image processing method, and computer-readable storage medium
US15/379,266 US9930306B2 (en) 2013-12-04 2016-12-14 Image processing apparatus, image processing method, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013251393A JP6274839B2 (ja) 2013-12-04 2013-12-04 画像処理装置、画像処理方法

Publications (3)

Publication Number Publication Date
JP2015109559A JP2015109559A (ja) 2015-06-11
JP2015109559A5 JP2015109559A5 (ja) 2017-06-01
JP6274839B2 true JP6274839B2 (ja) 2018-02-07

Family

ID=53266400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013251393A Expired - Fee Related JP6274839B2 (ja) 2013-12-04 2013-12-04 画像処理装置、画像処理方法

Country Status (2)

Country Link
US (2) US9551918B2 (ja)
JP (1) JP6274839B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3034889B1 (fr) * 2015-04-10 2017-04-28 Cn2P Sas Bracelet electronique pour l’affichage d’un contenu numerique interactif destine a etre projete sur une zone d’un bras
CN105072430B (zh) * 2015-08-19 2017-10-03 海信集团有限公司 一种调整投影图像的方法和设备
JP6594170B2 (ja) * 2015-11-12 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法、画像投影システムおよびプログラム
US11393366B2 (en) * 2017-07-11 2022-07-19 Hewlett-Packard Development Company, L.P. Projection calibrations
JP2019220887A (ja) * 2018-06-21 2019-12-26 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7228966B2 (ja) * 2018-06-29 2023-02-27 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
CN115118941A (zh) * 2021-03-19 2022-09-27 三菱电机株式会社 投影装置、投影方法和存储器
WO2023162688A1 (ja) * 2022-02-28 2023-08-31 富士フイルム株式会社 制御装置、制御方法、及び制御プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60327289D1 (de) * 2002-07-23 2009-06-04 Nec Display Solutions Ltd Bildprojektor mit Bild-Rückkopplungs-Steuerung
JP3996610B2 (ja) 2002-07-23 2007-10-24 Necディスプレイソリューションズ株式会社 プロジェクタ装置とその画像歪補正方法
JP4042695B2 (ja) * 2004-01-08 2008-02-06 セイコーエプソン株式会社 プロジェクタおよびズーム調整方法
JP5069038B2 (ja) * 2007-04-20 2012-11-07 三菱電機株式会社 背面投射型表示装置
JP5405047B2 (ja) * 2008-05-09 2014-02-05 三洋電機株式会社 投写型映像表示装置
JP5266953B2 (ja) * 2008-08-19 2013-08-21 セイコーエプソン株式会社 投写型表示装置および表示方法
JP5549667B2 (ja) * 2009-03-30 2014-07-16 日本電気株式会社 マルチプロジェクションディスプレイシステム及び画面形成方法
JP2011155412A (ja) * 2010-01-26 2011-08-11 Panasonic Electric Works Co Ltd 投影システムおよび投影システムにおける歪み修正方法
US8727539B2 (en) * 2010-10-28 2014-05-20 Seiko Epson Corporation Projector and method of controlling projector
JP5644461B2 (ja) * 2010-12-14 2014-12-24 富士ゼロックス株式会社 画像処理装置及びプログラム
JP2014056199A (ja) * 2012-09-14 2014-03-27 Hitachi Media Electoronics Co Ltd 走査型投影装置
JP6205777B2 (ja) * 2013-03-22 2017-10-04 カシオ計算機株式会社 投影装置、投影方法、及び投影のためのプログラム
JP6322993B2 (ja) * 2013-12-19 2018-05-16 カシオ計算機株式会社 幾何学補正調整方法

Also Published As

Publication number Publication date
US9930306B2 (en) 2018-03-27
US20170094237A1 (en) 2017-03-30
JP2015109559A (ja) 2015-06-11
US9551918B2 (en) 2017-01-24
US20150156467A1 (en) 2015-06-04

Similar Documents

Publication Publication Date Title
JP6274839B2 (ja) 画像処理装置、画像処理方法
JP5521855B2 (ja) 投影画像領域検出装置
WO2022179109A1 (zh) 投影校正方法、装置、存储介质和电子设备
JP6525570B2 (ja) 画像表示システム、制御装置、制御方法及びプログラム
JP6115214B2 (ja) パターン処理装置、パターン処理方法、パターン処理プログラム
CN111083456B (zh) 投影校正方法、装置、投影仪及可读存储介质
US11025874B2 (en) Image processing apparatus, control method, and non-transitory computer-readable storage medium
WO2017156465A1 (en) Perspective correction for curved display screens
JP2015173430A (ja) 投影システム、半導体集積回路、および画像補正方法
US10469812B2 (en) Projection display system, information processing apparatus, information processing method, and storage medium therefor
JP2017188046A (ja) 画像処理装置及びその制御方法、画像処理システム
JP2009159496A5 (ja)
JP6566768B2 (ja) 情報処理装置、情報処理方法、プログラム
US10992913B2 (en) Image processing apparatus, method, and storage medium storing program for transforming distortion of image projected by projection apparatus
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
US20180220114A1 (en) System for controlling projector, information processing apparatus, information processing method, and storage medium
JP2015109559A5 (ja)
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
JP2017212638A (ja) 表示装置、表示装置の制御方法、及びプログラム
JP2008281481A (ja) 解像測定装置及び方法
JP6543067B2 (ja) 投影システム、プロジェクター装置、撮像装置、および、プログラム
JP5955003B2 (ja) 画像処理装置および画像処理方法、プログラム
CN114615483A (zh) 调整方法、测量方法、投射系统、信息处理装置和记录介质
JP6307843B2 (ja) 補間方法、プログラムおよび補間装置
JP6074198B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180109

R151 Written notification of patent or utility model registration

Ref document number: 6274839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees