JPH11248413A - 画像推定装置および画像推定プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 常に画像の各画素値を参照する必要があり、
計算過程の簡素化は困難であった。 【解決手段】 画像センサ６により白色四角枠９の画像
を撮影する画像入力部１と、その撮影画像から四角枠像
７の特徴量を演算する特徴抽出部２と、その特徴量から
白色四角枠９を含む画像領域を推定する領域推定部３
と、その画像領域から画像センサ６の撮影方向が撮影対
象上に当たる位置の相対座標を推定する座標推定部４と
を備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像センサの撮
影方向が撮影対象に当たる位置の相対座標を推定する画
像推定装置および画像推定プログラムを記録した記録媒
体に関するものである。

【０００２】

【従来の技術】現在パソコン等の情報機器で用いられて
いるポインティングデバイスの代表例であるマウスは、
付属するボールの転がりから差し示す画面上の座標を計
算する。このようなポインティングデバイスは机上での
使用に限定されており、会議や学会発表の講演などで講
演者がスクリーン上の事物を指し示すためには、オーバ
ーヘッドプロジェクタ専用のノートパソコン上のマウス
の使用などに限られる。別のポインティングデバイスの
例として、赤色レーザ光によるペン型の点光源の使用が
考えられるが、これはスクリーン上のレーザ光照射位置
を聴衆に見せるためのものであり、スクリーン上の指示
位置を座標として出力するものではない。

【０００３】スクリーン上の指示位置の相対座標を出力
するために、ポインティングデバイスとして画像センサ
を用いてスクリーンを含む画像を撮影し、画像に含まれ
るスクリーンの位置や傾きから画像センサ自体の傾きや
撮影方向を算出し、その結果から画像センサの撮影方向
が指し示すスクリーン上の相対座標を計算する方法が考
えられる。このような方式によれば、講演者はパソコン
で使用するマウスと同様にスクリーン上の対象を指示す
ることができる。

【０００４】上記を実現するためには、画像中のスクリ
ーン等、撮影対象の位置や傾きを推定する必要がある。
画像に含まれる撮影対象の傾きを推定する従来の技術と
しては、国際学会予稿集「ＩＥＥＥ ２ｎｄ Ｉｎｔｅ
ｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａ
ｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ
Ｒｅｃｏｇｎｉｔｉｏｎ Ｏｃｔｏｂｅｒ １９９
６、“ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ ｆｏｒ Ｃｏｍ
ｐｕｔｅｒ Ｇａｍｅｓ”」に掲載された画像モーメン
ト計算の例がある。この方法は、画像中に含まれる撮影
対象の二次元的広がりを近似する四角形とその傾きを計
算するものである。

【０００５】

【発明が解決しようとする課題】従来の画像モーメント
計算方法は以上のように構成されているので、画像中の
撮影対象の二次元的広がりが均一でない場合、近似四角
形の傾きが必ずしも実際の撮影対象の傾きを正確に反映
しないという課題があり、計算量の観点からは、近似四
角形の傾き計算は画像の列方向と行方向の画素値の総和
計算に加えて、常に画像の各画素値を参照する必要があ
り、計算過程の簡素化は困難となるなどの課題があっ
た。

【０００６】この発明は上記のような課題を解決するた
めになされたもので、撮影画像に含まれる撮影対象から
特徴量を演算し、以降の計算過程では各画素値を参照す
ることなく、演算された特徴量を利用して撮影対象が含
まれる画像領域を推定し、画像センサの撮影方向が撮影
対象に当たる位置の相対座標を推定する画像推定装置お
よび画像推定プログラムを記録した記録媒体を得ること
を目的とする。

【０００７】

【課題を解決するための手段】この発明に係る画像推定
装置は、画像センサにより撮影対象の画像を撮影する画
像入力部と、その撮影画像から撮影対象の特徴量を演算
する特徴抽出部と、その特徴量から撮影対象を含む画像
領域を推定する領域推定部と、その画像領域から画像セ
ンサの撮影方向が撮影対象上に当たる位置の相対座標を
推定する座標推定部とを備えたものである。

【０００８】この発明に係る画像推定装置は、領域推定
部において、特徴量から撮影対象を含む画像領域を推定
する際に、その撮影対象の一部がその撮影画像の範囲外
にはみ出ている時に、予め設定されたその撮影対象の形
状に基づいてその撮影対象を含む画像領域を推定するも
のである。

【０００９】この発明に係る画像推定装置は、画像入力
部において、撮影対象の形状を調節する機能を有し、特
徴抽出部において、画像入力部により調節された撮影対
象の特徴量を演算し、領域推定部において、特徴抽出部
により演算された特徴量から撮影対象の傾き角度を推定
するものである。

【００１０】この発明に係る画像推定装置は、座標推定
部において、領域推定部により推定された撮影対象を含
む画像領域、およびその撮影対象の推定傾き角度を用い
て相対座標を推定するものである。

【００１１】この発明に係る画像推定装置は、座標推定
部により推定された相対座標を座標表示用画面上に表示
する座標表示部を備えたものである。

【００１２】この発明に係る画像推定装置は、座標表示
部において、座標推定部により推定された相対座標を撮
影対象上に輝点として表示するものである。

【００１３】この発明に係る画像推定プログラムを記録
した記録媒体は、画像センサにより撮影された撮影画像
に含まれる撮影対象の特徴量を演算する特徴量抽出工程
と、その特徴量から撮影対象を含む画像領域を推定する
領域推定工程と、その画像領域から画像センサの撮影方
向が撮影対象上に当たる位置の相対座標を推定する座標
推定工程とをコンピュータに実行させるものである。

【００１４】この発明に係る画像推定プログラムを記録
した記録媒体は、特徴量抽出工程において、調節された
撮影対象の特徴量を演算し、領域推定工程において、特
徴量から撮影対象の傾き角度を推定し、座標推定工程に
おいて、領域推定工程により推定された撮影対象を含む
画像領域および撮影対象の推定傾き角度から画像センサ
の撮影方向が撮影対象上に当たる位置の相対座標を推定
するものである。

【００１５】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による画
像推定装置を示すブロック構成図であり、図において、
１は画像センサを含み、撮影対象を含む画像を撮影する
画像入力部、２は画像入力部１の撮影画像から撮影対象
の特徴量を計算する特徴抽出部、３は特徴抽出部２で演
算された特徴量から撮影対象を含む画像領域を推定する
領域推定部、４は領域推定部３で推定された画像領域か
ら上記画像センサの撮影方向が撮影対象に当たる位置の
相対座標を推定する座標推定部である。

【００１６】図２はモニタと表示される白色四角枠およ
び画像センサとの位置関係を示す斜視図であり、この実
施の形態では、撮影対象をモニタ８の画面上に表示され
る白色四角枠９とし、画像センサ６をモニタ８正面に三
脚１１により固定して配置するものとする。また、画像
センサ６は視軸１０を中心として回転は不可能であると
する。さらに、特徴抽出部２で計算される撮影対象の特
徴量を、列方向と行方向の画素値の総和（以下、それぞ
れ垂直射影と水平射影と称す）として演算する場合で説
明する。

【００１７】次に動作について説明する。図３は画像セ
ンサによって撮影された白色四角枠を含む入力画像を示
す概念図であり、画像入力部１による撮影結果を示すも
のである。四角枠像７は白色四角枠９の撮影結果であ
り、背景には他の像は含まれていない。このような画像
を撮影する技法としては、画像センサ６の照度に対する
感度を調節して、白色四角枠９以外の物体像を含まない
ようにするか、もしくは、白色四角枠９を点滅させ、白
色四角枠９表示時の画像から消滅時の画像を差し引くこ
となどによって得ることができる。

【００１８】次に、図３に示したような、入力画像に対
する特徴抽出部２および領域推定部３の動作を図４を用
いて説明する。図４（ａ）は画像センサによる白色四角
枠の撮影画像および特徴抽出部によって演算される特徴
量を示す概念図であり、図において、１２は水平射影、
１３は垂直射影であり、１４と１５はそれぞれ水平射影
１２と垂直射影１３に関する閾値である。水平射影１２
の各値の並びは、上端を先頭、下端を終端として、図中
右方向が値の大きさを示す。垂直射影１３に関しては、
左端を先頭、右端を終端として、図中下方向が値の大き
さを示す。具体的な閾値設定は、自動的に水平射影１２
と垂直射影１３の平均値をそれぞれ閾値として設定する
ことができるが、予め設定された値を閾値として用いる
こともできる。

【００１９】図４（ｂ）は領域推定部による四角枠像の
存在領域を推定する動作を説明する概念図であり、図に
おいて、１６は四角枠像７を含む推定領域の上端であ
り、水平射影１２の各値を先頭から調べて、その値が最
初に閾値１４を上回る時の入力画像における垂直座標で
求めることができる。１７は四角枠像７を含む推定領域
の下端であり、水平射影１２の各値を後端から調べるこ
とで上端１６と同様に得られる。四角枠像７を含む推定
領域の左端１８と右端１９については、垂直射影１３と
閾値１５を用いて、上端１６および下端１７と同様に得
られる。

【００２０】座標推定部４は、領域推定部３の推定領域
を利用して、画像センサ６の視軸１０がモニタ８の画面
に当たる位置の相対座標を推定する。具体的には、入力
画像の中心位置２４が上記推定領域内で占める位置の相
対座標を計算する。ここで、モニタ８の画面の水平／垂
直比をａ：ｂ、画面全体を整数値で横ｎ_x分割、縦ｎ_y
分割し、推定領域の左上隅の相対座標を（０，０）、右
下隅を（ｎ _x ，ｎ_y ）とする。さらに、入力画像におい
て、中心位置２４の画素の座標を（Ｘ_c ，Ｙ_c ）、領域
推定部３による四角枠像７の推定領域の左上隅の画素の
座標を（Ｌ，Ｔ）、推定領域横幅画素数をｗ、推定領域
縦幅画素数をｈとすると、中心位置２４の相対座標（ｘ
_m ，ｙ_m ）は式（１）で与えられる。

【００２１】

【数１】

【００２２】以上のように、この実施の形態１によれ
ば、座標推定部４により画像センサ６の撮影方向がモニ
タ８に当たる位置の相対座標を推定することができ、モ
ニタ８上の任意の位置を画像センサ６の撮影方向で指し
示すことにより、その位置の相対座標が得られるので、
会議や講演などでスクリーン上の事物を指し示すポイン
ティングデバイスとして実現できる。尚、上記実施の形
態１では、画像推定装置について説明したが、特徴抽出
部２の機能を特徴量抽出工程とし、領域推定部３の機能
を領域推定工程とし、さらに、座標推定部４の機能を座
標推定工程とした画像推定プログラムを記録した記録媒
体として、その記録媒体の画像推定プログラムによりコ
ンピュータを実行させるものであっても良い。

【００２３】実施の形態２．図５はこの発明の実施の形
態２による入力画像に対する特徴抽出部および領域推定
部の動作を示す概念図であり、この実施の形態２では、
実施の形態１の領域推定部３において、特徴抽出部２に
より演算された特徴量から撮影対象を含む画像領域を推
定する際に、その撮影対象の一部が撮影画像の範囲外に
はみ出ている時に、予め設定された撮影対象の形状に基
づいて撮影対象を含む画像領域を推定するものである。

【００２４】次に動作について説明する。図５（ａ）は
四角枠像７の下部枠が隠れている場合の特徴抽出部２に
よって演算される四角枠像７の水平射影１２と垂直射影
１３である。この場合、閾値１５と垂直射影１３を用い
て、領域推定部３は推定領域の左端１８と右端１９を推
定することができる。しかし、閾値１４と水平射影１２
だけからでは推定領域の上端１６は推定可能であるが、
下端１７は推定不可能である。そこで、モニタ画面幅の
比が既知であれば、図５（ａ）の場合、横幅が左端１８
と右端１９の位置からわかるので、推定される縦幅と上
端１６の位置を用いて下端１７を図５（ｂ）のように推
定することができる。また、図５（ｃ）のように四角枠
像７の右枠が隠れている場合にも同様に図５（ｄ）のよ
うに右端１９を推定することができる。さらに、上枠ま
たは左枠が隠れている場合にも上端または左端を推定す
ることができる。

【００２５】以上のように、この実施の形態２によれ
ば、領域推定部３により、撮影対象の一部が撮影画像の
範囲外にはみ出ている場合でも、モニタ８の画面幅の水
平／垂直比を利用して撮影対象を含む画像領域を推定す
るので、撮影対象の全体が画像に含まれていない場合で
もモニタ８上の任意の位置を画像センサ６の撮影方向で
指し示すことにより、その位置の相対座標が得られるの
で、会議や講演などでスクリーン上の事物を指し示すポ
インティングデバイスとして実現できる。

【００２６】実施の形態３．図６はこの発明の実施の形
態３による入力画像に対する特徴抽出部および領域推定
部の動作を示す概念図であり、この実施の形態３では、
画像センサ６は視軸１０を中心として回転可能であり、
画像入力部１はモニタ８上の白色四角枠９の枠幅を調節
する機能を有し、領域推定部３は撮影対象の傾き角度を
推定するものである。

【００２７】次に動作について説明する。図６（ａ）は
モニタ８に対して画像センサ６を右に傾けたときの白色
四角枠９の撮影画像および特徴抽出部２によって演算さ
れる特徴量であり、図６（ｂ）は画像センサ６を傾けた
場合に四角枠像７が存在する推定領域に関する上端１
６、下端１７、左端１８、および右端１９を図４（ｂ）
の場合と同様に推定した結果である。

【００２８】上記領域推定部３による推定領域内に存在
する四角枠像７の縦横比ａ：ｂが一定であれば、四角枠
像７の傾き角度θに関するｔａｎθの絶対値は式（２）
によって一意に与えられる。

【００２９】

【数２】 尚、推定領域横幅画素数をｗ、推定領域縦幅画素数をｈ
とする。

【００３０】白色四角枠９の枠幅が全て同じである場
合、上記ｔａｎθの符号を特徴抽出部２で演算された水
平射影と垂直射影からは決定することはできないが、こ
の実施の形態３では、画像入力部１の有する白色四角枠
９の枠幅を調節する機能により入力画像中の四角枠像７
に非対称性を持たせて四角枠像７の傾き角度θに関する
ｔａｎθの符号を推定する。図７は白色四角枠の上下枠
幅調節により傾き角度の符号を推定する動作を示す概念
図、図８は白色四角枠の左右枠幅調節により傾き角度の
符号を推定する動作を示す概念図である。

【００３１】図７（ａ）は、画像入力部１による白色四
角枠９の上下枠幅調節により、上部水平枠に対する下部
水平枠の幅を太くした場合に得られる、画像センサ６を
水平にして撮影した場合の入力画像の例である。画像セ
ンサ６を右に傾ければ図７（ｂ）、左に傾ければ図７
（ｃ）のような入力画像が得られる。次に四角枠像７の
傾き角度の符号推定方法について述べる。

【００３２】図７（ｂ），図７（ｃ）に示すように、領
域推定部３の推定領域の左端１８と右端１９について、
それぞれ水平区間２０および２１を設ける。ここで上部
水平枠に対して下部水平枠が太いことに着目して、区間
２０および２１内でそれぞれ特徴抽出部２による垂直射
影の総和を演算し、値を比較すると、図７（ｂ）の場
合、区間２１の値が常に大きく、図７（ｃ）の場合、区
間２０の値が常に大きくなる。つまり、二つの設定区間
内の垂直射影の総和を比較することで四角枠像７の傾き
角度の符号を推定することができる。

【００３３】図８（ａ）は、画像入力部１による白色四
角枠９の左右枠幅調節により得られる、画像センサ６を
水平にして撮影した場合の入力画像の例である。画像セ
ンサ６を右に傾ければ図８（ｂ）、左に傾ければ図８
（ｃ）のような入力画像が得られる。この場合の傾き角
度符号推定には垂直区間２２と２３を設ける。右枠が左
枠より太いことに着目し、区間２２および２３内でそれ
ぞれ水平射影の総和を演算し、値を比較すると、図８
（ｂ）の場合、区間２２の値が常に大きく、図８（ｃ）
の場合、区間２３の値が常に大きくなる。つまり、図７
の場合同様、四角枠像７の傾き角度の符号を推定するこ
とができる。このように、上記式（２）と上記傾き角度
の符号推定により、四角枠像７の傾き角度を推定するこ
とができる。

【００３４】以上のように、この実施の形態３によれ
ば、画像入力部１により、モニタ８上の撮影対象の形状
を調節し、領域推定部３により、特徴抽出部２で演算さ
れた特徴量を用いて撮影対象の傾き角を推定するので、
モニタ８が水平に固定されている場合には上記の傾き角
度判定によって、画像センサ６自体の傾き角度を推定す
ることができる。また、レーシングゲームなどでハンド
ルの傾き検出に適用することで、ゲームインタフェース
ヘの応用も実現できる。

【００３５】実施の形態４．図９はこの発明の実施の形
態４による座標推定部の動作を示す概念図であり、この
実施の形態４では、座標推定部４は領域推定部３による
四角枠像７の推定領域と撮影対象の推定傾き角度を利用
して、画像センサ６の撮影方向がモニタ８上に当たる位
置の相対座標を推定するものである。

【００３６】次に動作について説明する。座標推定部４
の相対座標演算は、領域推定部３により推定された撮影
対象の傾き角符号により二つの場合に分かれる。図９は
各場合における四角枠像７の傾き角θの計算を説明する
ための図である。傾き角θの符号は、辺ＡＢに対して時
計回り方向を正として、図９（ａ）はθ≧０、図９
（ｂ）はθ＜０の場合に対応する。四角形ＡＢＣＤは、
領域推定部３による四角枠像７の推定領域を表わし、辺
ＡＢは推定領域上端、ＣＤは推定領域下端、ＡＤは推定
領域左端、ＢＣは推定領域右端に相当する。

【００３７】座標推定部４で演算される相対座標とは、
四角枠像７が四角形Ｋ₀ Ｋ₁ Ｋ₂ Ｋ₃ として四角形ＡＢ
ＣＤに内接する時、頂点Ｋ₀ を原点としてベクトルＫ₀
Ｋ₁とベクトルＫ₀ Ｋ₃ で決定される直交座標上におい
て入力画像の中心位置２４が占める位置の座標である。
尚、θ≧０の時は、図９（ａ）のように頂点Ｋ₀ は辺Ａ
Ｄ上にあり、θ＜０の時は図９（ｂ）のように辺ＡＢ上
にあるとする。

【００３８】ここで、モニタ画面の水平／垂直比をａ：
ｂとし、入力画像上のモニタ画面の横幅をａ・ｋ、縦幅
をｂ・ｋとする。画面全体を整数値で横ｎ_x 分割、縦ｎ
_y 分割し、画面左上隅をＫ₀ （０，０）、右下隅をＫ₂
（ｎ_x ，ｎ_y ）で表わすとする。さらに、入力画像にお
いて、中心位置２４の画素の座標を（Ｘ_c ，Ｙ_c ）、領
域推定部３による四角枠像７の推定領域の左上隅の画素
の座標を（Ｌ，Ｔ）、推定領域横幅画素数をｗ、推定領
域縦幅画素数をｈとすると、中心位置２４のモニタ画面
上の相対座標（ｘ_m ，ｙ_m ）はθ≧０の時

【００３９】

【数３】 但し、

【数４】 で与えられ、θ＜０の時は

【数５】 但し、

【数６】 で与えられる。

【００４０】以上のように、この実施の形態４によれ
ば、座標推定部４により、領域推定部３で推定された撮
影対象を含む画像領域、およびその撮影対象の推定傾き
角度を用いて相対座標を推定するので、モニタ８が水平
に固定されている場合には上記傾き角度判定によって、
画像センサ６自体の傾き角度を推定することができる。
また、レーシングゲームなどでハンドルの傾き検出に適
用することで、ゲームインタフェースヘの応用も実現で
きる。尚、上記実施の形態４では、画像推定装置につい
て説明したが、座標推定部４の機能を座標推定工程とし
た画像推定プログラムを記録した記録媒体として、その
記録媒体の画像推定プログラムによりコンピュータを実
行させるものであっても良い。

【００４１】実施の形態５．図１０はこの発明の実施の
形態５による画像推定装置を示すブロック構成図であ
り、図において、５は座標推定部４により推定された相
対座標を座標表示用画面上に表示する座標表示部であ
り、その他の構成は、図１と同一なのでその重複する説
明を省略する。

【００４２】次に動作について説明する。図１１は座標
表示部の動作を示す概念図であり、座標推定部４によっ
て推定される入力画像の中心位置２４の四角枠像７上の
相対座標を相対座標表示用グリッド画面に表示する例で
あり、モニタ８の水平／垂直比を４：３とし、モニタ８
の縦横分割数をｎ_x ＝４０，ｎ_y ＝３０としたものであ
る。図１１（ａ）のように画像センサ６を水平にして、
撮影方向をモニタ８中央上方に向けた場合には、図１１
（ｂ）の黒四角の位置に相対座標が表示され、図１１
（ｃ）のように画像センサ６を右に傾けて、撮影方向を
モニタ８左下方に向けた場合には、図１１（ｄ）の黒四
角の位置に相対座標が表示される。この場合、座標表示
部５の出力である相対座標（ｘ_m ，ｙ_m ）を整数値に変
換する必要があるが、例えば、小数点第一位を四捨五入
することで整数値の相対座標が得られる。

【００４３】以上のように、この実施の形態５によれ
ば、座標表示部５により、座標推定部４で推定された座
標を用いて、相当する位置を座標表示用画面上に表示す
るので、画像センサ６により指し示された位置を点とし
て描画することが可能なポインティングデバイスを実現
できる。

【００４４】実施の形態６．この実施の形態６による画
像推定装置の構成は、座標表示部５により、座標推定部
４によって演算された画像センサ６の撮影方向のモニタ
８上に当たる位置の相対座標を撮影対象上に輝点として
表示するものである。例えば、赤色レーザ光による点光
源を用いて、画像センサ６の撮影方向がモニタ８上に当
たる位置に向けて点光源を照射することで実現できる。

【００４５】以上のように、この実施の形態６によれ
ば、座標表示部５により、座標推定部４によって演算さ
れた画像センサ６の撮影方向のモニタ８上に当たる位置
の相対座標を撮影対象上に輝点として表示するので、会
議や講演などで聴衆に対し、スクリーン上のどの位置が
指し示されているかを表示するポインティングデバイス
を実現できる。尚、上記実施の形態１から実施の形態６
によれば、会議や講演などで使用するポインティングデ
バイスの実現だけでなく、ビデオゲームなどでボタン操
作やジョイスティック等に代わるゲームインタフェース
を提供し、射撃ゲーム等の幅広い応用が可能である。

【００４６】

【発明の効果】以上のように、この発明によれば、座標
推定部により画像センサの撮影方向が撮影対象に当たる
位置の相対座標を推定することができ、撮影対象上の任
意の位置を画像センサの撮影方向で指し示すことによ
り、その位置の相対座標が得られるので、会議や講演な
どでスクリーン上の事物を指し示すポインティングデバ
イスとして実現できる効果が得られる。また、会議や講
演などで使用するポインティングデバイスの実現だけで
なく、ビデオゲームなどでボタン操作やジョイスティッ
ク等に代わるゲームインタフェースを提供し、射撃ゲー
ム等の幅広い応用が可能となる効果が得られる。

【００４７】この発明によれば、領域推定部により、撮
影対象の一部が撮影画像の範囲外にはみ出ている場合で
も、撮影対象の形状を利用して撮影対象を含む画像領域
を推定するので、撮影対象の全体が画像に含まれていな
い場合でも撮影対象上の任意の位置を画像センサの撮影
方向で指し示すことにより、その位置の相対座標が得ら
れるので、会議や講演などでスクリーン上の事物を指し
示すポインティングデバイスとして実現できる効果が得
られる。

【００４８】この発明によれば、画像入力部により、撮
影対象の形状を調節し、領域推定部により、特徴抽出部
で演算された特徴量を用いて撮影対象の傾き角を推定す
るので、撮影対象が水平に固定されている場合には上記
の傾き角度判定によって、画像センサ自体の傾き角度を
推定することができる。また、レーシングゲームなどで
ハンドルの傾き検出に適用することで、ゲームインタフ
ェースヘの応用も実現できる効果が得られる。

【００４９】この発明によれば、座標推定部により、領
域推定部で推定された撮影対象を含む画像領域、および
その撮影対象の推定傾き角度を用いて相対座標を推定す
るので、撮影対象が水平に固定されている場合には上記
傾き角度判定によって、画像センサ自体の傾き角度を推
定することができる。また、レーシングゲームなどでハ
ンドルの傾き検出に適用することで、ゲームインタフェ
ースヘの応用も実現できる効果が得られる。

【００５０】この発明によれば、座標表示部により、座
標推定部で推定された座標を用いて、相当する位置を座
標表示用画面上に表示するので、画像センサにより指し
示された位置を点として描画することが可能なポインテ
ィングデバイスを実現できる効果が得られる。

【００５１】この発明によれば、座標表示部により、座
標推定部によって演算された画像センサの撮影方向の撮
影対象上に当たる位置の相対座標を撮影対象上に輝点と
して表示するので、会議や講演などで聴衆に対し、スク
リーン上のどの位置が指し示されているかを表示するポ
インティングデバイスを実現できる効果が得られる。

【００５２】この発明によれば、座標推定工程により画
像センサの撮影方向が撮影対象に当たる位置の相対座標
を推定することができ、撮影対象上の任意の位置を画像
センサの撮影方向で指し示すことにより、その位置の相
対座標が得られるので、会議や講演などでスクリーン上
の事物を指し示すポインティングデバイスとして実現で
きる効果が得られる。

【００５３】この発明によれば、座標推定工程により、
領域推定工程で推定された撮影対象を含む画像領域、お
よびその撮影対象の推定傾き角度を用いて相対座標を推
定するので、撮影対象が水平に固定されている場合には
上記傾き角度判定によって、画像センサ自体の傾き角度
を推定することができる。また、レーシングゲームなど
でハンドルの傾き検出に適用することで、ゲームインタ
フェースヘの応用も実現できる効果が得られる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による画像推定装置
を示すブロック構成図である。

【図２】 モニタと表示される白色四角枠および画像セ
ンサとの位置関係を示す斜視図である。

【図３】 画像センサによって撮影された白色四角枠を
含む入力画像を示す概念図である。

【図４】 入力画像に対する特徴抽出部および領域推定
部の動作を示す概念図である。

【図５】 この発明の実施の形態２による入力画像に対
する特徴抽出部および領域推定部の動作を示す概念図で
ある。

【図６】 この発明の実施の形態３による入力画像に対
する特徴抽出部および領域推定部の動作を示す概念図で
ある。

【図７】 白色四角枠の上下枠幅調節により傾き角度の
符号を推定する動作を示す概念図である。

【図８】 白色四角枠の左右枠幅調節により傾き角度の
符号を推定する動作を示す概念図である。

【図９】 この発明の実施の形態４による座標推定部の
動作を示す概念図である。

【図１０】 この発明の実施の形態５による画像推定装
置を示すブロック構成図である。

【図１１】 座標表示部の動作を示す概念図である。

【符号の説明】 １ 画像入力部、２ 特徴抽出部、３ 領域推定部、４
座標推定部、５ 座標表示部、６ 画像センサ、７
四角枠像、８ モニタ、９ 白色四角枠（撮影対象）、
１０ 画像センサの視軸、１１ 三脚、１２ 水平射
影、１３ 垂直射影、１４ 水平射影のしきい値、１５
垂直射影のしきい値、１６ 四角枠像を含む推定領域
の上端、１７ 四角枠像を含む推定領域の下端、１８
四角枠像を含む推定領域の左端、１９ 四角枠像を含む
推定領域の右端、２０ 領域左端からの水平方向の画像
範囲、２１ 領域右端からの水平方向の画像範囲、２２
領域上端からの垂直方向の画像範囲、２３ 領域下端
からの垂直方向の画像範囲、２４ 入力画像の中心位
置。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 画像センサにより撮影対象の画像を撮影
   する画像入力部と、その画像入力部の撮影画像から上記
   撮影対象の特徴量を演算する特徴抽出部と、その特徴抽
   出部により演算された特徴量から上記撮影対象を含む画
   像領域を推定する領域推定部と、その領域推定部により
   推定された画像領域から上記画像センサの撮影方向が上
   記撮影対象上に当たる位置の相対座標を推定する座標推
   定部とを備えた画像推定装置。
2. 【請求項２】 領域推定部は、特徴抽出部により演算さ
   れた特徴量から撮影対象を含む画像領域を推定する際
   に、その撮影対象の一部がその撮影画像の範囲外にはみ
   出ている時に、予め設定されたその撮影対象の形状に基
   づいてその撮影対象を含む画像領域を推定することを特
   徴とする請求項１記載の画像推定装置。
3. 【請求項３】 画像入力部は、撮影対象の形状を調節す
   る機能を有し、特徴抽出部は、上記画像入力部により調
   節された上記撮影対象の特徴量を演算し、領域推定部
   は、上記特徴抽出部により演算された特徴量から上記撮
   影対象の傾き角度を推定することを特徴とする請求項１
   記載の画像推定装置。
4. 【請求項４】 座標推定部は、領域推定部により推定さ
   れた撮影対象を含む画像領域、およびその撮影対象の推
   定傾き角度を用いて相対座標を推定することを特徴とす
   る請求項３記載の画像推定装置。
5. 【請求項５】 座標推定部により推定された相対座標を
   座標表示用画面上に表示する座標表示部を備えたことを
   特徴とする請求項１記載の画像推定装置。
6. 【請求項６】 座標表示部は、座標推定部により推定さ
   れた相対座標を撮影対象上に輝点として表示することを
   特徴とする請求項５記載の画像推定装置。
7. 【請求項７】 画像センサにより撮影された撮影画像に
   含まれる撮影対象の特徴量を演算する特徴量抽出工程
   と、その特徴量抽出工程により演算された上記特徴量か
   ら上記撮影対象を含む画像領域を推定する領域推定工程
   と、その領域推定工程により推定された上記画像領域か
   ら上記画像センサの撮影方向が上記撮影対象上に当たる
   位置の相対座標を推定する座標推定工程とをコンピュー
   タに実行させる画像推定プログラムを記録した記録媒
   体。
8. 【請求項８】 特徴量抽出工程は、調節された撮影対象
   の特徴量を演算し、領域推定工程は、上記特徴量抽出工
   程により演算された上記特徴量から上記撮影対象の傾き
   角度を推定し、座標推定工程は、上記領域推定工程によ
   り推定された上記撮影対象を含む画像領域およびその撮
   影対象の推定傾き角度から画像センサの撮影方向が上記
   撮影対象上に当たる位置の相対座標を推定することを特
   徴とする請求項７記載の画像推定プログラムを記録した
   記録媒体。