JP6347604B2

JP6347604B2 - 映像投影装置、映像投影方法及びプログラム

Info

Publication number: JP6347604B2
Application number: JP2013267143A
Authority: JP
Inventors: 玲子白澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-12-25
Filing date: 2013-12-25
Publication date: 2018-06-27
Anticipated expiration: 2033-12-25
Also published as: JP2015126238A

Description

本発明は映像投影装置、映像投影方法及びプログラムに関し、特に任意形状の投影面に対して歪みを抑制して映像を投影する技術に関する。

近年、プロジェクションマッピングのような、平面ではない任意形状の投影面に映像を投影する技術が存在する。このような技術では、投影面の形状を認識し、当該投影面の形状に応じた歪み補正を施すことにより、歪みのない映像を投影することが可能である。従来、投影面の形状に応じた歪み補正においては、平面の投影面及び任意形状の投影面をメッシュモデル化し、平面の投影面を任意形状の投影面に適用した場合の対応マップ（以下、格子点）を用いて歪み補正を行っていた（特許文献１）。即ち、特許文献１では、当該格子点を用いることで平面の投影面に映像を投影する場合の平面映像信号に歪み補正を施し、任意形状の投影面に投影された映像の歪みが生じないように出力映像信号を生成していた。

特許文献１のように格子点を用いて歪み補正を施す従来のシステムにおいて、平面映像信号を補正して出力映像信号を生成する場合、例えば図１２に示すように平面映像信号における格子点を出力信号における格子点に補正する処理を行う。ここで、図１２（ａ）に示す平面映像信号における各格子点Ｄ１、Ｄ２、Ｄ３、Ｄ４を補正すると、図１２（ｂ）に示す出力映像信号における各格子点Ｄ１´、Ｄ２´、Ｄ３´、Ｄ４´を取得することができるものとする。さらに、上記従来のシステムにおいては、補正後の各格子点Ｄ１´、Ｄ２´、Ｄ３´、Ｄ４´に基づいて、線形補間等の方法を用いて各格子点以外の点の座標を算出して補間する処理（補間処理）を行う。図１２（ａ）には、各格子点Ｄ１´、Ｄ２´、Ｄ３´、Ｄ４´に囲まれる範囲（各格子点の間）にある点Ｄ２１´の座標を算出する例を示している。

特願２００６−２５７９３２号公報

しかしながら、上述した従来の歪み補正の補間処理では、投影面の形状によっては変形後の格子点間隔が大きくなる箇所が生じることがある。このように、格子点間隔が大きくなる箇所において、線形補間等を用いて各格子点の間にある点の座標を算出すると格子点間隔が小さい箇所よりも誤差が大きくなってしまう。このように、格子点間隔が大きい箇所の座標の誤差が大きい場合、ユーザにとって当該格子点間隔が大きい箇所がぼやけて見える等、画質が劣化してしまう。このため、従来の歪み補正では、格子点間隔が大きくなる箇所に、ユーザが着目すべき内容（例えば文字列等）が存在した場合、ユーザは当該内容を認識できないという課題があった。

上記課題を解決する為、本発明の画像処理装置は、下記の構成を有する。即ち、ユーザ操作に応じた設定に基づいて、入力画像に対応する複数の画像領域の歪み補正処理の精度に関するパラメータを決定する決定手段と、前記複数の画像領域のうち第１画像領域と第２画像領域とに対して異なる精度に関するパラメータが前記ユーザ操作に応じた設定に基づいて前記決定手段により決定された場合、当該パラメータに従って、前記第１及び第２画像領域に対して異なる精度で歪み補正処理を実行する補正手段と、前記補正手段による歪み補正処理に基づいて得られた画像を投影手段に投影させる投影制御手段とを有することを特徴とする。

本発明の映像投影装置によれば、ユーザが着目している特定の領域の補間精度を高めることができる。また、格子点間隔を全画面に対してではなく、映像の特定の領域に対して増減させることにより、メモリのコスト削減が可能となる。

実施形態１における、映像投影装置１００の機能ブロック図実施形態１における、映像投影装置１００の処理フローを示すフローチャート図実施形態１における、ユーザの視線に基づく特徴領域検出の処理フローを示すフローチャート図実施形態１における、映像の種別に基づく特徴領域検出の処理フローを示すフローチャート図実施形態１における、特徴領域検出部１０４にて保持している映像種別と優先度との関係をテーブル化した図実施形態１における、通常領域の格子点間隔を増減させず、特徴領域の格子点数を増減させる処理フローを示すフローチャート図実施形態１における、領域種別と格子点間隔との関係をテーブル化した図実施形態１における、通常領域の格子点間隔を増減させず、特徴領域の格子点数を増減させる処理での格子点イメージ図実施形態２における、全格子点数を増減させず、特徴領域の格子点数を増減させない処理フローを示すフローチャート図実施形態２における、全格子点数を増減させず、特徴領域の格子点数を増減させない処理での格子点イメージ図本発明の映像投影装置に適用可能なコンピュータのハードウェア構成例平面映像信号における格子点を出力信号における格子点に補正する処理について説明するための図

以下、本発明の実施形態について図面及びフローチャートを用いて説明する。ただし、本発明の技術的範囲がこの実施の形態に限定されるものではない。

＜実施形態１＞
図１は本実施形態における映像投影装置の構成を示す機能ブロック図である。以下、映像投影装置の主要部を説明するが、これ以外の処理部を備えていても構わない。１００は映像投影装置であり、任意形状の投影面に対して歪みのない出力映像信号を投影する。１０１は映像入力部であり、ＨＤＭＩ（登録商標）やアナログ入力のような外部入力端子から入力映像信号を受信する。映像入力部１０１は、受信した入力映像信号を後述する画素算出部１０７へ出力する。

１０２は映像投影装置１００と連携して動作するカメラである。１０３は画像入力部であり、カメラ１０２からの画像（静止画）を受信する。１０４は特徴領域検出部であり、映像入力部１０１から受信した入力映像信号及び画像入力部１０３から受信した静止画から、人物（ユーザ）が着目している領域やコンテンツ内容を解析し、投影される映像内の特徴領域を検出（又は抽出又は検知）する。１０５は格子点間隔算出部であり、特徴領域検出部１０４にて検出された特徴領域に基づいて格子点間隔を算出する。１０６は格子点補間処理部であり、格子点間隔算出部１０５で算出した格子点間隔に基づいて、補間格子点を用いて補間処理を行い、各格子点の座標値を算出する。１０７は画素算出部であり、格子点補間処理部１０６で算出した座標値と映像入力部１０１から入力された入力映像信号とに基づいて、画素値を算出する。

次に本実施形態における映像投影装置１００の処理フローについて説明する。図２は、図１における特徴領域検出部１０４、格子点間隔算出部１０５、格子点補間処理部１０６、及び画素算出部１０７における処理フローを示した図である。

ステップＳ２００において、特徴領域検出部１０４は投影される映像の１画像内の特徴領域を検出する。ここで本実施形態では、特徴領域検出部１０４による特徴領域の検出方法の２つの例について図３及び図４を用いて説明する。まず一つ目の例は、図３に示すように、カメラ１０２で撮影した画像を用いて人物の視線が集中する領域（視線集中領域）を特定することで、視線集中領域を特徴領域として決定する実施例である。次に二つ目の例は、図４に示すように、映像のコンテンツ内容を解析して１画像内を種別毎に領域分割（分類）することで、各種別に対応する優先度に基づいて特徴領域を決定する実施例である。以下、特徴領域の検出方法の各例についてそれぞれ説明する。

まず一つ目の例である、カメラ１０２で撮影された静止画を用いて、人物の視線が集中する視線集中領域を特定することで、当該視線集中領域を投影面に投影される映像内の特徴領域として決定する実施例について、図３を用いて詳細を説明する。図３は、図２のステップＳ２００における、視線集中領域に基づく特徴領域検出の処理フローを示すフローチャートである。

ステップＳ３００において特徴領域検出部１０４は、カメラ１０２によって撮影された静止画を取得する。尚、ステップＳ３００にて映像投影装置１００内部の制御部（不図示）がカメラ１０２に撮影の指示をし、カメラ１０２は投影面から投影された映像を目視する人物を撮影するものとする。そして、ステップＳ３００にて特徴領域検出部１０４が取得する静止画には映像投影装置１００により投影された映像を目視する人物が含まれるとする。

次に、ステップＳ３０１において特徴領域検出部１０４は、ステップＳ３００において取得した静止画を解析する。即ち、ステップＳ３０１において特徴領域検出部１０４は、当該静止画に含まれる人物が、映像投影装置１００によって投影された映像内のどこの領域を注目しているかを解析する。処理の詳細としては、特徴領域検出部１０４はステップＳ３００にて取得した静止画から人物を抽出し、抽出された人物とカメラ１０２の位置に関する情報とに基づいて、投影された映像に対する人物の視線を検出する。これを撮影された静止画内に含まれる人物の数分繰り返す。尚、本実施形態において映像投影装置１００は、カメラ１０２の位置に関する情報を予め保持しており、特徴領域検出部１０４は保持されていたカメラ１０２の位置に関する情報を取得することによって上記処理を行うこととするが、本発明はこれに限定されない。即ち、カメラ１０２等の映像投影装置１００の外部にある他の装置がカメラ１０２の位置に関する情報を保持し、映像投影装置１００の特徴領域検出部１０４に入力する構成であっても構わない。また、本実施形態において特徴領域検出部１０４は抽出した人物の視線を検出するが、本発明はこれに限定されず、例えば人物の顔の向きを検出する等、種々の方法を用いて人物が注目している映像の位置を検出する構成でも構わない。

ステップＳ３０２において特徴領域検出部１０４（第１取得手段）は、ステップＳ３０１における画像解析の結果をさらに解析して、視線集中領域を取得する。即ち、ステップＳ３０２において特徴領域検出部１０４は、ステップＳ３０１にて検出された各人物の視線に基づいて、投影された映像内の視線が集中する領域である視線集中領域を決定する。そして、決定された視線集中領域は特徴領域として後段の処理で用いられる。尚、本発明において、視線集中領域に関しては形に制限されず、特徴領域検出部１０４は視線集中領域を矩形になるような領域に決定してもよいし、円形になるように決定してもよい。また、特徴領域検出部１０４は視線集中領域を複数決定してもよい。また、本実施形態のステップＳ３０２において特徴領域検出部１０４は視線集中領域に基づく領域を特徴領域とするが、本発明における特徴領域検出部１０４は視線集中領域の一部を特徴領域としてもよいし、視線集中領域を含む領域を特徴領域としてもよい。

以上が図３における特徴領域検出のシーケンスとなる。尚、本実施形態はステップＳ３００にて映像投影装置１００内部の制御部（不図示）がカメラ１０２に撮影の指示をし、カメラ１０２は映像を目視する人物を撮影するが本発明はこれに限定さない。即ち、投影される映像の所定数フレーム単位でカメラ１０２が撮影する構成でも構わない。また、本実施形態は各ステップＳ３０１〜Ｓ３０２に示すように、カメラ１０２によって撮影された静止画を映像投影装置１００内の特徴領域検出部１０４によって解析され特徴領域を検出するが、本発明はこれに限定されない。即ち、カメラ１０２又は他の外部装置（不図示）が静止画を解析してもよいし、さらに解析した結果に基づいて特徴領域を検出しても構わない。尚、上記ステップＳ３０１、及びステップＳ３０２における静止画の具体的な解析方法に関して本発明は限定されず、種々の方法を適用可能である。例えば、特開２００６−１７１６００にあるような注目度分析方法を用いてもよい。従って、具体的な技術に関しては本実施形態では言及しない。また、本シーケンスにおいて、カメラ１０２を用いて撮影された静止画を解析して映像に対する視線を検出する方法に限定されず、映像を目視する人物が注目している領域を検出する方法であれば構わない。

次に二つ目の例である、映像のコンテンツ内容を解析して１画像内を種別毎に領域分割することで、各種別に対応する優先度に基づいて特徴領域を決定する実施例について、図４を用いて詳細を説明する。図４は、図２のステップＳ２００における、各種別に対応する優先度に基づく特徴領域検出の処理フローを示すフローチャートである。

ステップＳ４００において特徴領域検出部１０４（第２の取得手段）は、予め当該特徴領域検出部１０４に保持されている映像の種別と優先度とを対応付けたテーブルを読み出す（取得する）。ここで、本実施形態において特徴領域検出部１０４にて保持しているテーブルを図５に示し、当該テーブルについて説明する。図５において５００は映像の種別を表す列である。５０１は列５００の各種別に対応する優先度を表す列である。また、列５０１は、数字が高い方が優先度が高いことを示し、数字が小さい方が優先度が低いことを示す。

ステップＳ４０１において特徴領域検出部１０４は、ステップＳ４００にて読み出したテーブル（図５）の列５００の各種別に基づいて映像入力部１０１から受信した映像を解析し、当該映像の１画像を種別毎の領域に分割する。さらに、特徴領域検出部１０４は、ステップＳ４００にて読み出したテーブルの列５０１の優先度に基づいて、分割した各領域毎に優先度付けを行う。

次に、ステップＳ４０２において特徴領域検出部１０４は、ステップＳ４０１の入力映像解析ステップにて解析された結果に基づいて特徴領域を特定するステップである。即ち、特徴領域検出部１０４は、ステップＳ４０１にて解析された各領域毎の優先度に基づいて、最も優先度が高い領域を特徴領域として決定する。尚、本実施形態では、最も優先度が高いと判定された領域を特徴領域とするが、本発明はこれに限定されるものではない。即ち、ステップＳ４０２において特徴領域検出部１０４は、優先度が所定の値より高いと判定された領域を特徴領域としてもよいし、ユーザの指示等によって設定された所定の優先度に対応する領域を特徴領域としてもよい。

以上が図４における特徴領域抽出のシーケンスとなる。尚、本実施形態において、特徴領域検出部１０４は、当該特徴領域検出部１０４に予め保持しているテーブルを用いて上記の各ステップＳ４００、ステップＳ４０１、及びステップＳ４０２の処理を実行したが、本発明はこれに限定されない。即ち、映像の種別と優先度とを対応付けたテーブルの取得方法として種々の方法を適用可能である。例えば、ユーザにより種別毎の優先度が指定できる仕組みや、ユーザの嗜好に合致するよう自動的に映像投影装置１００内でテーブルを更新する等、他の実施形態で実現してももちろん構わない。また、特徴領域検出部１０４に予めテーブル（図５）を保持している構成に限定されず、映像投影装置１００内の他の処理部又は映像投影装置１００の外部装置等、他の処理部で保持しているテーブルを特徴領域検出部１０４が読み出す構成でもよい。

このようにして、本実施形態のステップＳ２００において、特徴領域検出部１０４は上述の２つの例のうち少なくとも一例を用いて特徴領域を検出し、検出した特徴領域に基づく特徴領域情報を格子点間隔算出部１０５へ出力する。即ち、特徴領域検出部１０４は、上述の２つの例を組み合わせて、視線集中領域と分割領域に対応する優先度とに基づいて特徴領域を検出しても構わない。ここで、特徴領域情報には例えば特徴領域の画像内の座標及び範囲に関する情報が含まれる。尚、本発明において特徴領域の検出方法は、これらの２つの例に限定されるものではなく、特徴領域を検出する種々の方法を適用可能である。

また、本発明は特徴領域検出部１０４が特徴領域を検出するタイミングに限定されず、投影する映像の１フレーム単位で特徴領域を検出してもよいし、数フレーム単位で検出してもよいし、予めユーザによって設定されたタイミングで検出してもよい。ここで、特徴領域検出部１０４は数フレーム単位で特徴領域を検出する方が、１フレーム単位で特徴領域を検出するよりも映像投影装置１００の処理負荷は軽減される。

次に、図２のステップＳ２０１における処理について説明する。ステップＳ２０１において格子点間隔算出部１０５（設定手段）は、ステップＳ２００において特徴領域検出部１０４によって出力された特徴領域情報に基づいて、１画像内の各格子点の間隔を算出する。以下、特徴領域以外の通常領域の格子点数を増減させず全格子点数を増減させて通常領域及び特徴領域の各格子点間隔を決定する実施例について、図６を用いて詳細を説明する。図６は、図２のステップＳ２０１における、通常領域及び特徴領域の格子点間隔に関するテーブルに基づく格子点間隔算出の処理フローを示すフローチャートである。

ステップＳ６００において格子点間隔算出部１０５は、予め当該格子点間隔算出部１０５に保持されている通常領域及び特徴領域の格子点間隔に関するテーブルを読み出す。ここで、本実施形態において格子点間隔算出部１０５にて保持しているテーブルを図７に示し、当該テーブルについて説明する。図７において７００は領域種別を表す列である。本実施形態では、図２のステップＳ２００にて特定された特徴領域は列７００の特徴領域に該当し、一方、特徴領域以外の領域は通常領域に対応付けることとする。また、７０１は列７００の各領域種別に対応する格子点間隔を表す列である。尚、本発明は特徴領域検出部１０４に予めテーブル（図７）を保持している構成に限定されず、映像投影装置１００内の他の処理部又は映像投影装置１００の外部装置等、他の処理部で保持しているテーブルを特徴領域検出部１０４が読み出す構成でもよい。

次に、ステップＳ６０１において格子点間隔算出部１０５は、処理対象の座標領域が特徴領域であるか否かを判定する。即ち、格子点間隔算出部１０５は、処理対象の座標領域が、図２のステップＳ２００にて特徴領域検出部１０４によって検出された特徴領域の座標空間に含まれるか否かを判定する。そして、ステップＳ６０１において処理対象の座標領域が特徴領域でない（即ち、通常領域である）と判定された場合、格子点間隔算出部１０５はステップＳ６０２の処理を行う。一方、ステップＳ６０１において処理対象の座標領域が特徴領域であると判断された場合、格子点間隔算出部１０５はステップＳ６０３の処理を行う。

ステップＳ６０２において格子点間隔算出部１０５は、ステップＳ６００において読み出したテーブルに基づいて、当該テーブルにおける通常領域の格子点間隔を処理対象の座標領域の格子点間隔として適用する処理を行う。一方、ステップＳ６０３において格子点間隔算出部１０５は、ステップＳ６００において読み出したテーブルに基づいて、当該テーブルにおける特徴領域の格子点間隔を処理対象の座標領域の格子点間隔として適用する処理を行う。そして、ステップＳ６０４において格子点間隔算出部１０５は、ステップＳ６０２及びステップＳ６０３にて算出した処理対象の座標領域の格子点間隔に基づいて、格子点データを作成する。

以上が図６における特徴領域の格子点間隔算出のシーケンスとなる。このように、図６に示すシーケンスでは、ステップＳ６０２及びステップＳ６０３の処理において、特徴領域の格子点数に関わらずステップＳ６００で読み出したテーブルの値をそのまま適用するため、全格子点数を増減させる処理となる。従って、特徴領域の格子点間隔及び格子点数を増減させずに各領域毎に格子点間隔を調整することが可能となる。さらに、上記各ステップＳ６００〜Ｓ６０３の処理にて生成される格子点に関して、図８を用いて説明する。

図８において８００は、本実施形態を適用しない場合における格子点のイメージ図であり、図７のテーブルの領域種別が通常領域である場合の格子点間隔を画像全体に用いたものである。８０１及び８０３は本実施形態を適用した場合における格子点のイメージ図である。８０１は通常領域と、図２のステップＳ２００において検出された特徴領域８０２とからなる画像を表すイメージ図である。８０３は８０１に対して、図２のステップＳ２０１の処理を適用したイメージ図である。図７に示すように、８０１の通常領域の格子点間隔は１６ピクセルとなり、特徴領域８０２の格子点間隔は８ピクセルとなる。尚、本発明は図７に示す格子点間隔に限定されず、特徴領域の格子点間隔が通常領域の格子点間隔よりも小さい間隔であれば構わない。

図８に示すように、１画像が通常領域と特徴領域とからなる場合（８０３）の通常領域の格子点間隔は、１画面内が通常領域のみからなる場合（８００）の通常領域の格子点間隔と同じになる。そして、特徴領域の格子点間隔を通常領域の格子点間隔よりも小さく設定する。このため、図６及び図８に示す方法を用いると、１画像が通常領域と特徴領域とからなる場合（８０３）の画像全体の格子点数（全格子点数）は、１画像が通常領域のみからなる場合（８００）の全格子点数より多くなる。

次に図２のステップＳ２０２以降の処理について説明する。ステップＳ２０２において格子点補間処理部１０６は、ステップＳ２０１で算出した処理対象の座標領域の格子点座標を用いて補間処理を行うことにより１画像内の各座標値を算出する。ここでは、格子点座標を用いて補間処理を行うことで、平面の投影面における格子点と任意形状の投影面における格子点との各座標値の対応付けを行う。尚、本実施形態のステップＳ２０１において格子点補間処理部１０６は、補間処理として線形補間を用いて補間処理を行ったが、本発明はこれに限定されず、バイリニア補間等の他の種々の方法を適用することが可能である。

ステップＳ２０３において画素算出部１０７は、ステップＳ２０２において格子点補間処理部１０６によって補間処理された格子点座標を用いて処理対象の座標領域の画素値を算出することにより補正を行う。尚、本実施形態のステップＳ２０３において、画素算出部１０７はバイキュービックによる画像補正方法又はバイリニアによる画像補正方法等を用いて処理対象の座標領域の画素値を算出するが、本発明はこれに限定されず、種々の補正方法を適用可能である。

上述したように、ステップＳ２０２及びステップＳ２０３における各処理は補間処理であるため、用いる格子点間隔が小さいほど補間精度が高まるため、格子点間隔が大きい場合と比較して画像の画質の劣化を抑制することができる。

以上、本実施形態の映像投影装置１００は図２に示すシーケンスを実行することにより、投影する映像のうちユーザが注目している特定の領域の補間精度を高めることができる。即ち、格子点を用いる歪み補正において、局所的に補正精度の悪い領域が生じる場合であっても、本発明により当該補正精度の悪い領域に対して格子点を追加することができるため、映像全体に対して均一な解像感を与えることができる。また、補正精度が悪い領域にユーザが着目すべき内容、例えば文字列等が存在した場合でも、本発明により格子点を追加することができるため、文字等がより鮮明に表示可能となる。以上より、本実施形態を適用する事で、歪みをより抑制した高画質な投影が可能となる。また、格子点間隔を全画面に対してではなく、映像の特定の領域に対して増減させることにより、メモリのコスト削減が可能となる。

＜実施形態２＞
本発明の実施形態２について説明する。尚、本実施形態が実施形態１と異なるのは図２の格子点間隔の算出処理（ステップＳ２０１）の詳細のみであることから、簡単のため本実施形態におけるステップＳ２０１の詳細処理を表す図９及び図１０の説明のみを行い、その他の説明は省略する。

実施形態１では、格子点間隔算出部１０５による通常領域及び特徴領域の各格子点間隔を決定する処理において、通常領域の格子点数を増減させず全格子点数を増減させて各格子点間隔を決定する実施例を、図６を用いて詳細を説明した。本実施形態では、格子点間隔算出部１０５による格子点間隔の算出方法の他の例として、全格子点数を増減させず通常領域の格子点数を増減させて、通常領域及び特徴領域の各格子点間隔を決定する実施例を、図９を用いて説明する。図９は、図２のステップＳ２０１における、通常領域と特徴領域との割合に基づく格子点間隔算出の処理フローを示すフローチャートである。

ステップＳ９００において格子点間隔算出部１０５は、１画像内に占める特徴領域の割合を算出する。本実施形態において格子点間隔算出部１０５は、図２のステップＳ２００において算出した特徴領域を１画像全体の領域で除算することで特徴領域の割合を算出する。

ステップＳ９０１において格子点間隔算出部１０５は、予め保持している格子点間隔に関する情報を読み出す。尚、本実施形態のステップＳ９０１において読み出す格子点間隔に関する情報は、特徴領域、通常領域に関係なく一律の値である。

ステップＳ９０２において格子点間隔算出部１０５は、１画像内の全格子点数（図９の（Ａ））を算出する。即ち、本実施形態において格子点間隔算出部１０５は、画像の水平方向の長さをステップＳ９０１にて読み出した格子点間隔で除算して求まる水平方向の格子点数と、画像の垂直方向の長さを当該格子点間隔で除算して求まる垂直方向の格子点数とを乗算する。この乗算された結果が１画像内の全格子点数を示す。

ステップＳ９０３において格子点間隔算出部１０５は、特徴領域の格子点間隔を通常時領域の格子点間隔の１／２とし、特徴領域の格子点数（図９の（Ｂ））を算出する。尚、本実施形態において格子点間隔算出部は、特徴領域の格子点間隔を上記のとおり、通常領域の格子点間隔の１／２としたが、本発明はこの値に限定されるものではない。即ち、本発明において格子点間隔算出部１０５は、特徴領域の格子点間隔を通常領域の格子点間隔より小さい値に決定するように各領域の格子点間隔を算出すればよい。

ステップＳ９０４において格子点間隔算出部１０５は、ステップＳ９０２で求めた１画像内の全格子点数（Ａ）から、ステップＳ９０３で求めた特徴領域の格子点数（Ｂ）を減算した値（Ｃ）を算出する。

ステップＳ９０５において格子点間隔算出部１０５は、ステップＳ９０４で求めた値（Ｃ）に基づいて、通常領域の格子点間隔を算出する。即ち、本実施形態のステップＳ９０５において格子点間隔算出部１０５は、通常領域の格子点数がステップＳ９０４で求めた値（Ｃ）となるように、通常領域の格子点間隔を算出する。

次に、ステップＳ９０６において格子点間隔算出部１０５は、処理対象の座標領域が特徴領域であるか否かを判定する。即ち、格子点間隔算出部１０５は、処理対象の座標領域が、図２のステップＳ２００にて特徴領域検出部１０４によって検出された特徴領域の座標空間に含まれるか否かを判定する。そして、ステップＳ９０６において処理対象の座標領域が特徴領域でない（即ち、通常領域である）と判定された場合、格子点間隔算出部１０５はステップＳ９０７の処理を行う。一方、処理対象の座標領域が特徴領域であると判断された場合、格子点間隔算出部１０５はステップＳ９０８の処理を行う。

ステップＳ９０７において格子点間隔算出部１０５は、ステップＳ９０１において読み出した格子点間隔を、処理対象の座標領域の格子点間隔として適用する処理を行う。一方、ステップＳ９０８において格子点間隔算出部１０５は、ステップＳ９０３の過程で求めた特徴領域の格子点間隔を処理対象の座標領域の格子点間隔として適用する処理を行う。そして、ステップＳ９０９において格子点間隔算出部１０５は、ステップＳ９０７及びステップＳ９０８にて算出した処理対象の座標領域の格子点間隔に基づいて、格子点データを作成する。

以上が図９における特徴領域の格子点間隔算出のシーケンスとなる。このように、図９に示すシーケンスでは図６での処理とは異なり、ステップＳ９０７及びステップＳ９０８の処理において、各ステップＳ９００〜Ｓ９０５の処理で算出した格子点間隔を適用するため、領域に応じて格子点数を増減させる処理となる。従って、全格子点数を増減させずに各領域毎に格子点間隔を増減させて制御することが可能となる。さらに、上記各ステップＳ９００〜Ｓ９０８の処理にて生成される格子点に関して、図１０を用いて説明する。

１０００は本実施形態を適用しない場合における格子点のイメージ図であり、図１の格子点間隔算出部１０５から読み出した格子点間隔に関する情報に基づく格子点間隔を画像全体に用いたものである。１００１及び１００３は本実施形態を適用した場合における格子点のイメージ図であって、図９のシーケンス図に示す処理を適用した場合のイメージ図である。１００１は通常領域と、図２のステップＳ２００において検出された特徴領域を１００２とからなる画像を表す図である。１００３は１００１に対して、図２のステップＳ２０１の処理を適用したイメージ図である。１００１の特徴領域１００２の格子点間隔は、通常領域の格子点間隔の１／２となり、通常領域の格子点間隔は全体格子点数を増減させることなく調整されたものとなる。

以上が図９及び図１０における格子点間隔算出のシーケンスである。１画像が通常領域と特徴領域とからなる場合の全格子点数を、１画像が通常領域のみからなる場合の全格子点数と同じ数に制限する実施例である。そして、特徴領域の格子点間隔を通常領域の格子点間隔よりも小さくする。即ち図９及び図１０に示す例では、１画像が通常領域と特徴領域とからなる場合（図１０の１００３）の通常領域の格子点間隔は、１画像が通常領域のみからなる場合（図１０の１０００）の通常領域の格子点間隔よりも大きくなる。

また、本実施形態において、格子点間隔算出部１０５は１画像内の全格子点数を一定にする格子点の算出方法を用いることによって、全格子点数を増加させる実施形態１における格子点の算出方法と比較してメモリ・コストの増加を抑制することができる。しかしながら、全格子点数を増加させる場合と比較して格子点間隔が大きいため、画像品質は劣化する。即ち、格子点数が増加すること即ち格子点間隔が小さいことは、メモリ・コストの増加につながる欠点がある一方、画像品質の向上につながるため、トレードオフを考慮して適切に制御する必要がある。

＜実施形態３＞
上記実施形態１及び実施形態２において、図１に示した各処理部はハードウェアでもって構成しているものとして説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムで実行してもよい。

図１１は、上記実施形態１及び実施形態２に係る映像投影装置１００の各処理部が行う処理を実行するコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１１０１は、ＲＡＭ１１０２やＲＯＭ１１０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記実施形態１及び実施形態２に係る映像投影装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１１０１は、図１に示した各処理部として機能することになる。

ＲＡＭ１１０２は、外部記憶装置１１０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１１０７を介して、外部から取得したデータ等を一時的に記憶するためのエリアを有する。さらに、ＲＡＭ１１０２は、ＣＰＵ１１０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１１０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１１０３は、本コンピュータの設定データや、ブートプログラム等を格納する。

操作部１１０４は、キーボードやマウス等により構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１１０１に対して入力することができる。

出力部１１０５は、ＣＰＵ１１０１による処理結果を表示する。また、出力部１１０５は、例えば液晶ディスプレイで構成される。

外部記憶装置１１０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１１０６には、ＯＳ（オペレーティングシステム）や、図１に示した各処理部の機能をＣＰＵ１１０１に実現させるためのコンピュータプログラムが保存されている。さらには、外部記憶装置１１０６には、処理対象としての各画像が保存されていてもよい。

外部記憶装置１１０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１１０１による制御に従って適宜、ＲＡＭ１１０２にロードされ、ＣＰＵ１１０１による処理対象となる。

Ｉ／Ｆ１１０７には、ＬＡＮやインターネット等のネットワーク、他の投影装置や表示装置等の他の機部を接続することができ、本コンピュータはこのＩ／Ｆ１１０７を介して様々な情報を取得したり、送出したりすることができる。

バス１１０８は、上述の各部を繋ぐ。

上述の構成における作動は、前述のフローチャートで説明した作動をＣＰＵ１１０１が中心となってその制御を行う。

＜その他の実施形態＞
尚、上述した実施形態１、実施形態２及び実施形態３において、格子点間隔算出部１０５は、特徴領域検出部１０４にて検出された特徴領域に基づいて格子点間隔を算出する処理部であるが本発明はこれに限定されない。即ち、格子点間隔算出部１０５は、当該格子点間隔算出部１０５外の処理部において特徴領域検出部１０４にて検出された特徴領域に基づいて算出された格子点間隔を取得し、設定するような構成でも構わない。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

ユーザ操作に応じた設定に基づいて、入力画像に対応する複数の画像領域の歪み補正処理の精度に関するパラメータを決定する決定手段と、
前記複数の画像領域のうち第１画像領域と第２画像領域とに対して異なる精度に関するパラメータが前記ユーザ操作に応じた設定に基づいて前記決定手段により決定された場合、当該パラメータに従って、前記第１及び第２画像領域に対して異なる精度で歪み補正処理を実行する補正手段と、
前記補正手段による歪み補正処理に基づいて得られた画像を投影手段に投影させる投影制御手段とを有することを特徴とする画像処理装置。
前記決定手段は、前記入力画像の内容を解析した結果と、前記ユーザ操作に応じた設定とに基づいて前記歪み補正処理の精度に関するパラメータを決定することを特徴とする請求項１に記載の画像処理装置。
前記決定手段は、前記投影手段により画像が投影される投影面における人物の注目位置に関する情報と、前記ユーザ操作に応じた設定とに基づいて、前記複数の画像領域のそれぞれについての歪み補正処理の精度に関するパラメータを決定することを特徴とする請求項１又は２に記載の画像処理装置。
前記決定手段は、撮影画像に基づいて前記人物の注目位置を判定することを特徴とする請求項３に記載の画像処理装置。
前記決定手段は、前記複数の画像領域のそれぞれに対応するコンテンツの種別と、前記ユーザ操作に基づくコンテンツの種別ごとの優先度情報とに基づいて、前記複数の画像領域のそれぞれについての歪み補正処理の精度に関するパラメータを決定することを特徴とする請求項１乃至４のうち何れか１項に記載の画像処理装置。
前記ユーザ操作によって文字領域が写真領域よりも高い優先度が設定された場合、前記決定手段は、前記複数の画像領域のうち文字が表示される文字領域は、写真が表示される写真領域よりも高い精度で歪み補正処理が実行されるように、前記歪み補正処理の精度に関するパラメータを決定することを特徴とする請求項５に記載の画像処理装置。
前記ユーザ操作によって人物領域が風景領域よりも高い優先度が設定された場合、前記決定手段は、前記複数の画像領域のうち人物が表示される人物領域は、風景が表示される風景領域よりも高い精度で歪み補正処理が実行されるように、前記歪み補正処理の精度に関するパラメータを決定することを特徴とする請求項５又は６に記載の画像処理装置。
前記決定手段は、前記複数の画像領域のうち他の画像領域より高精度で歪み補正処理されるべき画像領域の格子点間距離が、前記他の画像領域の格子点間距離より短くなるように前記歪み補正処理の精度に関するパラメータとして格子点間距離を決定することを特徴とする請求項１乃至７のうち何れか１項に記載の画像処理装置。
前記補正手段は、前記格子点に対応する座標については、前記歪み補正処理済みの画像の座標と前記入力画像の座標との対応を前記入力画像の座標を用いて算出し、前記格子点以外に対応する座標については、前記歪み補正処理済みの画像の座標と前記入力画像の座標との対応を前記算出により得られた出力画像の複数の座標に対する補間によって算出することを特徴とする請求項８に記載の画像処理装置。
前記補正手段は、前記歪み補正処理済みの画像の座標に対応する画素値を、当該座標に対応する前記入力画像の座標の画素値に基づいて決定することを特徴とする請求項１乃至９のうち何れか１項に記載の画像処理装置。
ユーザ操作に応じた信号を受け付け、
前記受け付けられた信号に応じた設定に基づいて、入力画像に対応する複数の画像領域の歪み補正処理の精度に関するパラメータを決定し、
前記複数の画像領域のうち第１画像領域と第２画像領域とに対して異なる精度に関するパラメータが前記受け付けられた信号に応じた設定に基づいて決定された場合、当該パラメータに従って、前記第１及び第２画像領域に対して異なる精度で歪み補正処理を実行し、
前記歪み補正処理に基づいて得られた画像を投影手段に投影させることを特徴とする画像処理方法。
前記歪み補正処理の精度に関するパラメータは、前記入力画像の内容を解析した結果と、前記受け付けられた信号に応じた設定に基づいて決定されることを特徴とする請求項１１に記載の画像処理方法。
前記歪み補正処理の精度に関するパラメータは、前記複数の画像領域のそれぞれに対応するコンテンツの種別と、前記ユーザ操作に基づくコンテンツの種別ごとの優先度情報とに基づいて決定されることを特徴とする請求項１１又は１２に記載の画像処理方法。
コンピュータを請求項１乃至１０のうち何れか１項に記載の画像処理装置の各手段として動作させるためのプログラム。